本発明は、複数の画素を2次元状に配列して構成された撮像素子と、該撮像素子を用いた撮像装置と、に関する。
複数の画素が2次元状に配列されて構成された撮像素子において、画素からの光電変換信号を所定の周期毎に複数回読み出す技術は、種々のものが提案されている。
このような技術としては、例えば、特開平10−93868号公報(特許文献1)に記載のものが挙げられる。この特許文献1に記載された技術は、光電変換信号に重畳するノイズを低減するためのものとなっている。すなわち、撮像素子に設けられた複数の画素は、大きさが微細であることから、全てを同一性能、同一サイズのものとすることは困難である。従って、各画素毎に個体差が生じるのは避けられず、特に、各画素に発生するノイズ成分には個体差があることが知られている。画素からの光電変換信号に重畳しているこうしたノイズ成分を低減するための従来技術としては、次のようなものが一例として挙げられる。まず、各画素から、所定の期間だけ受光を行い蓄積して得た光電変換信号を読み出す。次に、光電変換信号を読み出した直後に各画素のリセットを行って蓄積された電荷の掃き出しを行い、該リセット後の信号成分を各画素からすぐに読み出す。そして、前者の信号から後者の信号を減算することにより、画素毎に固有のノイズを低減するものとなっている。このような技術を用いることにより、蓄積時間が0[秒](=リセット直後)の光電変換信号と、所定の期間だけ受光を行い蓄積して得られた光電変換信号と、の両方に重畳しているノイズを相殺することが可能となる。しかし、こうした技術では、被写体が低照度であるときに特に顕著となる光量依存性ノイズを低減することはできない。そこで、上記特許文献1に記載された技術は、この光量依存性ノイズも低減することが可能な技術となっている。すなわち、該特許文献1に記載された技術では、第1の所定期間だけ受光を行い蓄積して得た光電変換信号に第1の読み出しを行い、この第1の読み出しを終えた後に、蓄積された電荷をリセットすることなく、そのまま引き続いて第2の所定期間だけ受光を行い電荷を蓄積する。この第2の所定期間が終了した後で、蓄積して得られた光電変換信号に第2の読み出しを行う。この第2の読み出しが終了した後に、リセット動作を行う。このような一連の動作を繰り返して、画素電荷の読み出しを行うようになっている。そして、上記第1の読み出しにより得られた光電変換信号と、上記第2の読み出しにより得られた光電変換信号と、の差分を取ることにより、各々の信号に重畳しているノイズ成分、特に被写体が低照度であるときの上記光量依存性ノイズ成分、を相殺しあるいは低減するものとなっている。さらに、該特許文献1に記載されたような技術によれば、所定の周期で複数回読み出して得た複数の光電変換信号を加算することにより、ダイナミックレンジの拡大を図ることも可能となっている。
ところで、例えば動画を撮像するためには、撮像装置の全画素の信号を所定の時間(動画を構成する1フレーム当たりの読出時間)以内に読み出さなければならない。しかし、画素を読み出すに要する時間は、画素数が多くなるほど長くなるために、何らかの工夫を凝らさないと、そのままでは多画素の撮像素子を動画撮影に用いることは困難となる。そこで、撮像素子の画素部を複数の領域に分割すると共に、分割された領域毎に対応するように、画素からの光電変換信号を読み出すための読出手段を複数設け、これら複数の読出手段により読み出し動作を同時に分担して行うようにした技術が知られている。このような技術を用いることにより、多くの画素の信号を、短い時間で読み出すことが可能となる。
しかし、このような技術では、読出手段を複数としたために、個々の読出手段に回路特性の相違があると、これが光電変換信号特性にばらつきを生じさせる要因となり、分割領域毎に固定パタンノイズが発生して画質劣化を引き起こしてしまう。
そこで、特開2000−209503号公報(特許文献2)には、画素部を分割する際に、分割される領域同士の境界部分に重複画素部を設けて、該重複画素部の信号については複数の読出手段からそれぞれ独立して読み出すことができるように構成する技術が記載されている。そして、重複画素部については、複数の読出手段から読み出した光電変換信号を平均化した信号を採用することにより、領域同士の境界部分に発生する画質劣化を低減するようにしたものとなっている。
一方、撮像素子としては、各画素に蓄積された電荷が、読み出す度に破壊されるタイプ(以下、破壊読出型と呼ぶ。)と、リセットを行わない限りは何度読み出しても破壊されないタイプ(以下、非破壊読出型と呼ぶ。)と、がある。これらの内で、近年各種の機器に採用されて主流となっているのは、前者の破壊読出型の撮像素子である。
例えば、CCD型の撮像素子は、光電変換により生成された電荷をそのまま映像信号として読み出すために、一度読み出してしまえば二度と読み出すことができない破壊読出型である。また、CMOS型の撮像素子は、特有のkTCノイズと呼ばれる雑音を低減するために破壊読み出しの動作を行っており、やはり同一画素からの光電変換電荷を異なるタイミングで再度読み出すことができない破壊読出型である。
ここで、本発明の実施例に係る図9および図10を参照して、破壊読出しを行うCMOS型の撮像素子の一般的な画素の構造と、その読み出し動作と、について説明する。
破壊読出しを行うCMOS型の撮像素子の画素は、一般的に、図9に示すように、フォトダイオードPDと、トランジスタTr1,Tr2,Tr3,Tr4と、を有して構成されている。フォトダイオードPDは、光電変換を行って電荷を蓄積するものである。トランジスタTr4は、フォトダイオードPDに蓄積された電荷をトランジスタTr2のゲートへ接続するためのスイッチとして機能するものである。トランジスタTr2は、フォトダイオードPDから転送された電荷を電圧に変換するものである。トランジスタTr1は、トランジスタTr2のゲートに蓄積された電荷をリセットするためのものである。トランジスタTr3は、トランジスタTr2のゲートに蓄積された電荷に応じて、該トランジスタTr2のソース−ドレイン間に流れる電流を、画素信号読出ラインVnへ接続するか否かをオン/オフするためのスイッチとして機能するものである。
このような撮像素子の画素における動作は、図10に示すように行われる。
まず、トランジスタTr2のゲート部の電荷をトランジスタTr1によってリセットする。これにより、それまでに蓄積されていた電荷がなくなって、いわゆる破壊が行われる。
そして、このリセットを行った直後に、トランジスタTr3をオンすることにより、該リセット直後のトランジスタTr2の信号を、リセット信号として画素信号読出ラインVnへ読み出す。
その後、フォトダイオードPDにより所定時間だけ電荷の蓄積を行う。所定時間が経過したら、トランジスタTr4をオンすることにより、フォトダイオードPDに蓄積されている光電変換信号を、トランジスタTr2のゲート部へ転送する。
続いて、トランジスタTr3をオンすることにより、トランジスタTr2の信号を、画素の光電変換信号として画素信号読出ラインVnへ読み出す。
上述したリセット信号と光電変換信号とには、ほぼ同等のkTCノイズが重畳しているために、これらの信号の差分を取ることにより、雑音成分を低減した信号を得ることができる。
また、被写体を撮像するための撮像装置においては、自動焦点調整(AF)や自動露出調整(AE)を行うことにより、撮像素子上に結像される被写体像のピントを合わせたり、露光量を調整したりして、適切な画像信号を得るようになっている。このようなAFやAEは、なるべく短時間に行うことが望ましい。なぜならば、AEに基づき絞りの制御や電子シャッタの制御が行われ、AFに基づき撮影光学系のフォーカス制御が行われるために、これらが行われた後でないと、適切な映像を得ることができないからである。従って、AEやAFを行うのに時間を要すると、例えば静止画像を得るためのデジタルスチルカメラにおいてはシャッタボタンを押してから画像が撮像されるまでのタイムラグが増えてシャッタチャンスを失ってしまうことに繋がり、動画像を得るためのビデオカメラにおいては明るさやピントが調整されるまでの時間が長くなり不適切な画像が撮影される時間が長くなってしまうことになる。
上述したようなAFやAEは、撮像素子とは別に設けられた専用の装置により行うことも可能であるが、構成を簡単にしてコストを削減することができるために、撮像素子により得られた画像信号を用いて分析等を行いその結果に基づき行うこともある。後者の場合には、AEやAFなどを高速に行うには、該AEやAFなどの制御のために用いる光電変換信号を、可能な限り短時間で読み出す必要がある。
特開平10−93868号公報
特開2000−209503号公報
上述したような観点から、所定周期内に画素から複数回読み出される光電変換信号の内の、例えば、最後に読み出される光電変換信号を実際の映像信号として用い、それ以外の光電変換信号を、撮像装置における自動露出調整(AE)や自動焦点調整(AF)などの制御のために用いることが考えられる。
しかし、上述したような破壊読出型の撮像素子では、画素電荷が破壊されてしまうために、所定周期である1フレーム周期の内に複数回の読み出しを行うことができない。従って、例えば、画面内に一部が重複するように複数の領域を設定したときに、これら複数の領域の子画面の画像を得るのは、別途のフレームバッファ等を設けない限りは不可能である。
また、上記特許文献1に記載のものでは、特定の画素からの光電変換信号出力を所定周期である1フレーム周期の内に2回読み出すことが可能であるために、1回目に読み出した画像信号をAEやAFに用いることが考えられる。しかし、該特許文献1に記載のものでは、1回目の読み出しタイミングと2回目の読み出しタイミングとが同時でないようにしなければならない制限が付くために、1回目の信号を得る周期と、2回目の信号を得る周期とが同一となる。従って、通常の映像信号を得る周期とAEやAF用の信号を得る周期とが同一となり、高速なAEやAFを行う目的には合致しない。しかも、別途のフレームバッファ等を設けない限り、所望の部分領域の光電変換信号のみを取得して、AEやAFに用いることはできない。
さらに、上記特許文献2に記載のものでは、境界部分に含まれる特定画素からの光電変換信号は、複数の読出手段に各接続された読出ラインを介してそれぞれ独立に読み出すことが可能であるが、それ以外の画素については、何れか一つの読出手段の読出ラインにしか接続されていないために、一つの読出手段からしか読み出すことができない。従って、任意の領域の光電変換信号をAEやAFのために使用することはできない。さらに、該特許文献2に記載のものには、通常の映像信号を読み出しながら、境界部画素を所定の周期で複数回読み出すことは開示されていない。なお、この特許文献2に記載された固体撮像素子は、該公報の段落番号[0016]に記載されているように、非破壊読出型が前提となったものである。
本発明は上記事情に鑑みてなされたものであり、全画素領域の中から任意に選択した画素の光電変換信号を、所定の周期に複数回読み出すことができる撮像素子および撮像装置を提供することを目的としている。
また、本発明は、全画素領域の中から一部が重複する複数の子画面を、別途のフレームメモリ等を要することなく、リアルタイムで出力することができる撮像素子および撮像装置を提供することを目的としている。
上記の目的を達成するために、第1の発明による撮像素子は、露光量に応じた光電変換信号を生成して蓄積する画素を複数2次元状に配列して構成される画素部と、上記画素部の画素により蓄積された光電変換信号を所定の周期でそれぞれ読み出し得るように構成された複数の読出手段と、上記読出手段が読み出す画素を上記画素部に配列された全画素の中から選択するためのものであり上記複数の読出手段に一対一に対応して設けられた複数の選択手段と、を具備し、上記複数の読出手段の内の少なくとも1つは、対応する選択手段により選択された画素に蓄積されている光電変換信号を、上記所定の周期の内に、複数回読み出すものである。
第2の発明による撮像装置は、第1の発明による撮像素子と、該撮像素子に含まれる上記読出手段と該読出手段に対応する上記選択手段とでなる対を各対毎に個別に制御するための制御手段と、を具備したものである。
本発明の撮像素子および撮像装置によれば、全画素領域の中から任意に選択した画素の光電変換信号を、所定の周期に複数回読み出すことができる。
また、本発明の撮像素子および撮像装置によれば、全画素領域の中から一部が重複する複数の子画面を、別途のフレームメモリ等を要することなく、リアルタイムで出力することができる。
以下、図面を参照して本発明の実施例を説明する。
図1から図7は本発明の実施例1を示したものであり、図1は撮像素子の構成の概略を示すブロック図、図2は4×4画素で構成される撮像素子の例を示す図、図3は画素の具体的な構成例を示す回路図、図4は画素からの信号読み出しの動作を示すフローチャート、図5は上記図2の撮像素子におけるラインの構成を示す図、図6は撮像対象とする被写体の輝度分布の例を示す図、図7は上記図6に示した被写体を撮像するときの撮像素子の動作を示すタイミングチャートである。
この撮像素子1は、画素部3と、第1選択手段7を含む第1読出手段5と、第2選択手段8を含む第2読出手段6と、を有して構成されている。
上記画素部3は、複数の画素Pxlを、縦方向および横方向に2次元状(つまり、マトリクス状)に配列して構成されたものである。各画素Pxlに接続された画素信号読出ラインは、上記第1選択手段7と第2選択手段8との両方に接続されている。
上記第1選択手段7は、第1読出手段5により光電変換信号を読み出す対象となる画素を任意に選択するためのものである。この第1選択手段7により選択され、第1読出手段5により読み出された光電変換信号は、第1出力として出力される。
上記第2選択手段8は、同様に、第2読出手段6により光電変換信号を読み出す対象となる画素を任意に選択するためのものである。この第2選択手段8による画素の選択は、上記第1選択手段7による画素の選択とは独立して行われる。この第2選択手段8により選択され、第2読出手段6により読み出された光電変換信号は、第2出力として出力される。
従って、画素部3に含まれる任意の画素Pxlの光電変換信号を、第1読出手段5と第2読出手段6との何れからも所望に独立して読み出すことができるようになっている。
図2を参照して、上記図1に示したような撮像素子1の画素部3を、4×4画素で構成したときの例について説明する。
図示のように、撮像面に形成された画素部3は、画素Pxlを、縦4×横4となるように2次元状に配列して構成されている。横方向に配列された画素Pxlには、後述するラインセレクトパルスLslを出力することにより水平ライン(行ライン)を読出ラインとして選択するためのラインセレクト信号線が、上記第1選択手段7および第2選択手段8に含まれる垂直走査/制御回路13から接続されている。図示の例では、垂直走査/制御回路13から、4本のラインセレクト信号線が接続されている。この垂直走査/制御回路13からは、図2には示さないが、さらにリセット信号線が水平ラインに並んだ各画素Pxlに接続されていて、後述するようなゲート電荷リセットパルスRstが出力されるようになっている(図3参照)。
また、上述したように2次元状に配列された画素の内の、縦方向に配列された画素Pxlには、共通して画素信号読出ラインが接続されており、図示の例では、2重線で示すような4本の画素信号読出ラインが接続されている。これらの画素信号読出ラインは、第1読出手段5に含まれる第1読出部11と、第2読出手段6に含まれる第2読出部12と、の両方に接続されている。
各画素信号読出ラインには、第1読出手段5に含まれる記憶部M1a,M1bと、第2読出手段6に含まれる記憶部M2a,M2bと、がそれぞれ接続されている。上記記憶部M1a,M1bは、第1読出部11によりそれぞれ独立に制御されるようになっており、同様に、上記記憶部M2a,M2bは、第2読出部12によりそれぞれ独立に制御されるようになっている。これらの記憶部の詳細については、後で図3を参照して説明する。
次に、図3を参照して、画素部に設けられた画素と読出部の構成について説明する。ここでは、簡単のために、非破壊読出型の撮像素子を例に挙げて説明するが、本実施例の構成はこれに限定されるものではなく、破壊読出型の撮像素子にも応用することが可能である。
画素Pxlは、フォトダイオードPDと、トランジスタTr1,Tr2,Tr3と、を有して構成されている。
フォトダイオードPDは、撮像素子に照射された光を光電変換することにより、光量に応じた電荷を発生させて、発生した電荷を蓄積するものである。
トランジスタTr2は、ゲートがフォトダイオードPDに、ソースが電源ラインに、ドレインがトランジスタTr3に、それぞれ接続されている。このトランジスタTr2は、該フォトダイオードから転送された電荷を電圧に変換するものである。すなわち、トランジスタTr2のゲートに蓄積された電荷により発生する電圧に応じて、該トランジスタTr2のソース−ドレイン間に流れる電流が変化するようになっている。
トランジスタTr1は、ゲートが上記垂直走査/制御回路13からのリセット信号線に接続されており、ソースが電源ラインに、ドレインがフォトダイオードPDおよびトランジスタTr2のゲートに、それぞれ接続されている。このトランジスタTr1は、垂直走査/制御回路13からゲート電荷リセットパルスRstを受けると、フォトダイオードPDとトランジスタTr2のゲートとに蓄積された電荷をリセットするものである。
トランジスタTr3は、ゲートが上記垂直走査/制御回路13からのラインセレクト信号線に接続されており、ソースがトランジスタTr2に、ドレインが画素信号読出ラインVnに、それぞれ接続されている。このトランジスタTr3は、トランジスタTr2のドレインからの電流を画素信号読出ラインVnへ接続するか否かを、垂直走査/制御回路13からのラインセレクトパルスLslに応じて切り換えるものであり、オン/オフスイッチとして機能するようになっている。
このような画素Pxlの作用について、図4を参照して説明する。
まず、トランジスタTr3のゲートにラインセレクトパルスLslを印加することにより、フォトダイオードPDにより所定時間だけ蓄積した電荷を、画素信号読出ラインVnへ光電変換信号として読み出す(ステップS1)。ここで読み出された光電変換信号は、後述するように、上記記憶部M1aまたは記憶部M2aの何れかに記憶されるようになっている。
次に、トランジスタTr1のゲートにゲート電荷リセットパルスRstを印加することによって、トランジスタTr2のゲート部およびフォトダイオードPDに蓄積されている電荷をリセットする(ステップS2)。
そして、このリセットを行った直後に、トランジスタTr3にラインセレクトパルスLslを印加することにより、該リセット直後のトランジスタTr2の信号を、リセット信号として画素信号読出ラインVnへ読み出す(ステップS3)。ここで読み出されたリセット信号は、後述するように、上記ステップS1において光電変換信号が記憶部M1aに記憶されているときには上記記憶部M1bに、また、該ステップS1において光電変換信号が記憶部M2aに記憶されているときには記憶部M2bに、記憶されるようになっている。
このステップS3の動作が終了したら、また上記ステップS1へ戻って、上述したような動作を繰り返して行うようになっている。
再び図3に戻って、記憶部の構成について説明する。
上述したように、画素信号読出ラインVnには、第1読出手段5に含まれる記憶部M1a,M1bと、第2読出手段6に含まれる記憶部M2a,M2bと、がそれぞれ接続されている。
上記記憶部M1a,M1bは、第1読出部11により読み出される信号を記憶するためのものであり、記憶部M1aはスイッチSW1aとコンデンサC1aとを、記憶部M1bはスイッチSW1bとコンデンサC1bとを、それぞれ有して構成されている。スイッチSW1a,SW1bは、一端が画素信号読出ラインVnに、他端がコンデンサC1a,C1bの一端に、それぞれ接続されている。また、各コンデンサC1a,C1bの他端は、それぞれグランドに接続されている。上述したように、記憶部M1aは上記ステップS1で読み出された光電変換信号を記憶するためのものであり、記憶部M1bは上記ステップS3で読み出されたリセット信号を記憶するためのものである。
同様に、上記記憶部M2a,M2bは、第2読出部12により読み出される信号を記憶するためのものであり、記憶部M2aはスイッチSW2aとコンデンサC2aとを、記憶部M2bはスイッチSW2bとコンデンサC2bとを、それぞれ有して構成されている。スイッチSW2a,SW2bは、一端が画素信号読出ラインVnに、他端がコンデンサC2a,C2bの一端に、それぞれ接続されている。また、各コンデンサC2a,C2bの他端は、それぞれグランドに接続されている。記憶部M2aは上記ステップS1で読み出された光電変換信号を記憶するためのものであり、記憶部M2bは上記ステップS3で読み出されたリセット信号を記憶するためのものである。
このような記憶部の構成において、コンデンサC1aに光電変換信号を蓄積する場合には、スイッチSW1aのみをオンして、スイッチSW1b,SW2a,SW2bをオフすることにより行う。同様に、コンデンサC1bにリセット信号を蓄積する場合には、スイッチSW1bのみをオンして、スイッチSW1a,SW2a,SW2bをオフすることにより行う。コンデンサC2aに光電変換信号を蓄積する場合には、スイッチSW2aのみをオンして、スイッチSW1a,SW1b,SW2bをオフすることにより行う。コンデンサC2bにリセット信号を蓄積する場合には、スイッチSW2bのみをオンして、スイッチSW1a,SW1b,SW2aをオフすることにより行う。
上記記憶部M1aと記憶部M1bとは一対として構成されており、後述するように、記憶部M1aに記憶された光電変換信号から、記憶部1bに記憶されたリセット信号を減算することにより、各画素内で独立して発生する固定パタンノイズ(FPN)と呼ばれるノイズ成分を低減するようになっている。第1読出部11からの第1出力は、このノイズ成分を低減した後の出力である。
同様に、上記記憶部M2aと記憶部M2bとは一対として構成されており、記憶部M2aに記憶された光電変換信号から、記憶部2bに記憶されたリセット信号を減算することにより、固定パタンノイズを低減する。第2読出部12からの第2出力も、このノイズ成分を低減した後の出力である。
上記図2に示したような4行4列で構成される撮像素子1におけるラインの構造は、図5に示すようになっている。1ライン目から4ライン目までで構成される各ラインは、上記垂直走査/制御回路13からのラインセレクトパルスLslにより選択されるラインである。この図5に示すように、例えば1ライン目を選択する場合には、後述する図7に示すようなラインセレクトパルスLsl1を、1ライン目のラインセレクト信号線に印加すればよい。
このような構成の撮像素子1により、図6に示すような被写体OBJを撮像したときに出力される信号の一例を示すのが図7である。図6に示す被写体OBJは、左右方向にのみ輝度が直線的に変化するグラデーションをもっていて、左右方向の位置が同一であれば上下方向の位置が異なっても同一の輝度となる被写体となっている。
図7に示す撮像シーケンスは、撮像素子1により図6に示すような被写体を撮像して、第1読出部11により1〜4ラインの信号をこの順に読み出すとともに、第2読出部12により1ライン目の信号のみを繰り返して読み出すようにしたときのものとなっている。すなわち、第1読出部11は、1ライン目→2ライン目→3ライン目→4ライン目→1ライン目→…の順に光電変換信号を読み出すようになっている。また、第2読出部12は、1ライン目→1ライン目→1ライン目→1ライン目→1ライン目→…の順に光電変換信号を読み出すようになっている。
このような読み出すラインの選択は、第1読出手段5に関しては第1選択手段7により、第2読出手段6に関しては第2選択手段8により、それぞれ行われる。これら第1選択手段7および第2選択手段8は、上述したように、第1読出手段5および第2読出手段6が光電変換信号を読み出す画素を、全画素領域の中からそれぞれ任意に選択するためのものである。従って、この図7に示すような例においては、第1選択手段7が画素部3の全画素をライン毎に選択するようにし、第2選択手段8が画素部3の1ライン目の画素のみを繰り返して選択するようにしている。
図7に示すように、1フレームの画像信号を出力するための垂直読出期間は、4ライン分の水平読出期間により構成されている。各水平読出期間は、水平同期信号に示すように、水平ブランキング期間と、水平有効信号期間と、により構成されている。各画素Pxlからの信号は、ライン毎に一括して、水平ブランキング期間に読み出されるようになっている。なお、この図7においては、簡単のために、垂直ブランキング期間の図示を省略している。
また、図7において、Lsln,Rstnは、nライン目(n=1,…,4)を制御するための制御パルス(ラインセレクトパルス,ゲート電荷リセットパルス)をそれぞれ示している。これらの制御パルスの波形中に付した符号S1〜S3は、上記図4に示したフローチャートにおける各ステップを示し、また、波形の下に付した数字「1」または「2」は、それぞれ、第1読出部11からの第1出力または第2読出部12からの第2出力に関する動作であることを示している。
まず、ラインセレクトパルスLsl1により、1ライン目に配列された画素Pxlからの光電変換信号を読み出すために、上記ステップS1の動作を行って、第1出力用の光電変換信号を第1読出部11へ向けて読み出すとともに、第2出力用の光電変換信号を第2読出部12へ向けて読み出す。これにより、1ライン目に配列された各画素Pxlからの光電変換信号が、第1読出手段5に含まれる各コンデンサC1aと、第2読出手段6に含まれる各コンデンサC2aと、へそれぞれ転送される。
その後に、上記ステップS2の動作を行って、ゲート電荷リセットパルスRst1により1ライン目に配列された全ての画素のフォトダイオードPDに蓄積された電荷をリセットする。このリセットが行われた後は、1ライン目では新たな電荷蓄積が開始されることになる。このゲート電荷リセットパルスRst1は、1フレーム毎に、水平ブランキング期間において出力され、該1フレーム毎に、同様の動作を繰り返すようになっている。そして、次のリセットまでの期間が、電荷をフォトダイオードPDに蓄積するための蓄積期間となる。
このリセット動作を行った直後に、上記ステップS3の動作を行って、ラインセレクトパルスLsl1を出力することにより、リセット直後の画素Pxlからの信号を読み出す。ここで読み出された信号は、第1読出手段5に含まれる各コンデンサC1bと、第2読出手段6に含まれる各コンデンサC2bと、へそれぞれ転送されて、リセット信号として蓄積される。
第1読出部11は、上記コンデンサC1aに蓄積された光電変換信号と、上記コンデンサC1bに蓄積されたリセット信号と、の差分をとって上記固定パタンノイズ(FPN)を低減した後に、第1出力として転送する。
同様に、第2読出部12は、上記コンデンサC2aに蓄積された光電変換信号と、上記コンデンサC2bに蓄積されたリセット信号と、の差分をとって上記固定パタンノイズ(FPN)を低減した後に、第2出力として転送する。
この図7に示す例においては、1フレーム内の1番目の水平有効信号期間に、第1読出部11から出力される信号Sig1aと、第2読出部12から出力される信号Sig2aと、は基本的に同一となっている。
次の水平読出期間(1フレーム内の第2の水平読出期間)においては、まず、上記ステップS1の動作を行って、ラインセレクトパルスLsl1により、1ライン目に配列された画素Pxlからの光電変換信号を読み出して、第2読出手段6に含まれる各コンデンサC2aへ転送する。
続いて、上記ステップS1の動作を行って、ラインセレクトパルスLsl2により、2ライン目に配列された画素Pxlからの光電変換信号を読み出して、第1読出手段5に含まれる各コンデンサC1aへ転送する。
そして、上記ステップS2の動作を行って、ゲート電荷リセットパルスRst2により2ライン目に配列された全ての画素のフォトダイオードPDに蓄積された電荷をリセットする。従って、2ライン目における蓄積期間の終了タイミング(または開始タイミング)は、1ライン目における蓄積期間の終了タイミング(または開始タイミング)と、ほぼ1水平読出期間だけずれることになる。
このリセット動作を行った直後に、上記ステップS3の動作を行って、ラインセレクトパルスLsl2を出力することにより、リセット直後の2ライン目の各画素Pxlからの信号を読み出し、リセット信号として第1読出手段5に含まれる各コンデンサC1bへ転送する。
この第2の水平読出期間における水平有効信号期間では、第1読出部11,第2読出部12が、光電変換信号とリセット信号との差分をそれぞれとって出力を行うのは上述と同様である。このときには、第1読出部11からの第1出力である信号Sig1bは、ほぼ1垂直読出期間に相当する蓄積期間だけ電荷の蓄積が行われた2ライン目の信号であるが、第2読出部12からの第2出力である信号Sig2bは、ほぼ1水平読出期間に相当する蓄積期間だけ電荷の蓄積が行われた1ライン目の信号となる。従って、信号Sig2bのレベルは、上記信号Sig2aのほぼ1/4となっている。
さらに次の水平読出期間(1フレーム内の第3の水平読出期間)における動作も、上述した第2の水平読出期間における動作とほぼ同様となっているが、第2読出部12が1ライン目の読み出しを行って信号Sig2cを出力するのに対して、第1読出部11は3ライン目の読み出しを行って信号Sig1cを出力する点が異なっている。なお、信号Sig2cは、ほぼ2水平読出期間に相当する蓄積期間だけ電荷の蓄積が行われた信号となる。
その次の水平読出期間(1フレーム内の第4の水平読出期間)における動作も、上述した第2の水平読出期間における動作とほぼ同様となっており、第2読出部12が1ライン目の読み出しを行って信号Sig2dを出力するのに対して、第1読出部11は4ライン目の読み出しを行って信号Sig1dを出力する点が異なっている。なお、信号Sig2dは、ほぼ3水平読出期間に相当する蓄積期間だけ電荷の蓄積が行われた信号となる。
なお、この図7に示す例においては、第2〜第4の水平読出期間の水平ブランキング期間において、まず第2出力のための読み出しを行ってから、その後に第1出力のための読み出しを行っているが、この順序に限るものではなく、先に第1出力のための読み出しを行ってから、その後に第2出力のための読み出しを行うようにしても構わない。
また、第2出力は、1垂直読出期間内に同一のラインを複数回読み出すものであるために、Sig2a〜Sig2dの信号レベルがそれぞれ異なる。このような出力信号は、そのままではAFやAE等に用いるのに不便であるために、後述するように、1つ前の水平読出期間の出力信号との差分をとって、演算信号として出力すると良い。
すなわち、第1の水平読出期間においては、得られた信号Sig2aと、前回のフレームの第4の水平読出期間において得られた信号Sig2dと、の差分(Sig2a−Sig2d)をとって、各種処理用の出力として用いる。
また、第2の水平読出期間においては、得られた信号Sig2bが、蓄積期間がほぼ1水平読出期間のものであるために、そのままの信号Sig2bを、各種処理用の出力として用いる。
続く、第3の水平読出期間においては、上述した第1の水平読出期間とほぼ同様に、得られた信号Sig2cと、第2の水平読出期間において得られた信号Sig2bと、の差分(Sig2c−Sig2b)をとって、各種処理用の出力として用いる。
その後の、第4の水平読出期間においても、上述した第3の水平読出期間と同様に、得られた信号Sig2dと、第3の水平読出期間において得られた信号Sig2cと、の差分(Sig2d−Sig2c)をとって、各種処理用の出力として用いる。
このような差分をとることにより得られる信号は、蓄積期間が略1水平読出期間の信号となり、1フレームよりも蓄積期間が短時間の信号となる。
上述したような処理を行うことにより、第1読出部11からは、通常の画像を形成するための画素部3の全画素に係る撮像信号が1フレーム期間に得られる。これと同時に、第2読出部12からは、特定領域(この例では1ライン目)の信号が、1フレーム期間内に複数回得られる。この特定領域の信号は、各ライン毎に異なる蓄積開始時点から、概略、何水平読出期間が経過したか、の蓄積時間に応じたレベルの信号となる。
なお、上述した例においては、第2読出部12は1ライン目の信号のみを繰り返して取得しているが、複数ラインにまたがる部分領域(つまり、画素部3の全画素領域に対する部分領域)の信号が必要である場合には、該部分領域を含むラインの信号を、順次、フレーム期間内に繰り返して読み出すようにすればよい。これにより、該部分領域の信号を、1フレーム期間内に複数回取得することができる。
こうして、第2読出部12からは1フレーム期間内に複数回の信号が得られるために、該信号をAFやAEなどの撮像制御用信号として用いることにより、撮影状態の変化を、より高速に把握して、高速な撮像制御を行うことが可能となる。
一般的にいって、AEやAFなどの処理においては、画素部3の全画素の情報は必要ではなく、一部の領域(例えば、撮像エリアとなる画素部3の中央部、あるいは、注目被写体部)のみに関する情報が必要なだけである。従って、上述したような高速の撮像制御を行うことは、ほとんどの撮影シーンにおいて可能となる。
そして、撮像制御に必要となる部分領域は、撮影シーンに応じて動的に変化するために、上記第2読出部12から読み出す対象となるラインも、該撮影シーン等に応じて動的に変更するように制御すると良い。
また、撮像エリア全体の信号が概略的に必要な場合には、第2読出部12から例えば2ラインに1ラインの割合で読出を行うことにより、1フレーム期間内に2回の読出を行うことが可能となり、全体の様子を高速に把握することもできる。このような間引き読み出しは、勿論、2ラインに1ラインの割合に限るものではなく、m(mは2以上の整数)ラインにn(nは1以上で、かつn<mを満たす整数)ラインの割合で読み出すことが可能である。これにより、画素部3の全画素に係る通常のフレームレートの画像を取得することができ、かつこれと同時に、より高速なフレームレートの間引き読み出しされた画像を取得することが可能となる。
なお、上述では簡単のために読出手段を2つとしているが、これに限らず、2つ以上の任意の数の読出手段を設けて、それぞれが独立して画素を読み出すように構成することも勿論可能であり、この場合にはより高速な制御等が可能となる。
このような実施例1によれば、1フレーム期間内に画素部の全画素に係る通常の撮像信号を取得することができると同時に、該1フレーム期間内に画素部の一部の画素に係る撮像信号を複数回取得することができる。この1フレーム期間内に複数回取得した撮像信号を用いることにより、AFやAEなどの撮像制御動作を高速に行うことが可能となるとともに、その他の種々の用途に用いることが可能となる。
そして、読み出すラインを任意に設定することができるために、種々の撮影シーンに動的に適応して、最適な読み出しを行うことができる。
図8から図13は本発明の実施例2を示したものであり、図8は撮像素子の構成の概略を示すブロック図、図9は撮像素子に用いられる画素の具体的な構成例を示す回路図、図10は上記図9に示した画素からの信号読み出しの動作を示すフローチャート、図11は5×5画素で構成される撮像素子の例を示す図、図12は上記図11に示した撮像素子により撮像を行うときの動作を示すタイミングチャート、図13は上記図8に示した撮像素子においてメモリ手段をコンデンサにより構成した例を示す図である。
この実施例2において、上述の実施例1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この実施例2の撮像素子1は、図8に示すように、第1読出手段5に第1メモリ手段18を、第2読出手段6に第2メモリ手段19を、それぞれ設けたものとなっている。すなわち、複数の読出手段のそれぞれにメモリ手段を設けたものであるために、読出手段が3つ以上ある場合にも、各読出手段に個別のメモリ手段が設けられていることになる。また、図13に示す撮像素子1は、該メモリ手段をコンデンサにより構成した例を示し、第1メモリ手段18が第1コンデンサ18aに、第2メモリ手段19が第2コンデンサ19aに、それぞれ置き換えられたものとなっている。コンデンサは、半導体基板上に構成するのが比較的容易で、かつトランジスタ等のような制御も不要であるために、上記メモリ手段として用いるのに最も適したものの1つとなっている。
次に、図9を参照して、実施例2の撮像素子における画素の構成例について説明する。この実施例2においては、例えば破壊読出型の撮像素子を用いている。
該破壊読出型の撮像素子に構成された画素Pxlは、図9に示すように、フォトダイオードPDとトランジスタTr2との間に、トランジスタTr4が設けられたものとなっている。
このトランジスタTr4は、ゲートが垂直走査/制御回路35(図11参照)のゲート転送信号線Trnに、ソースがフォトダイオードPDに、ドレインがトランジスタTr2のゲートおよびトランジスタTr1のドレインに、それぞれ接続されている。該トランジスタTr4は、フォトダイオードPDに蓄積された電荷を、トランジスタTr2のゲートへ転送するか否かを切り換えるためのスイッチとして機能するものである。
なお、この図9においては、簡単のために、1つの読出手段に関する1ペアの記憶部(記憶部M1aおよび記憶部M1b)のみを図示しているが、読出手段の数に応じたペア数の記憶部が設けられるのは上述した実施例1と同様である。
このような構造の画素における読み出し動作は、上記背景技術において図10を参照して概要を述べたようなものとなっている。
すなわち、トランジスタTr1のゲートにゲート電荷リセットパルスRstを印加することによって、トランジスタTr2のゲート部に蓄積されている電荷をリセットする(ステップS11)。これにより、それまでに蓄積されていた電荷がなくなって、いわゆる破壊が行われる。
そして、このリセットを行った直後に、トランジスタTr3にラインセレクトパルスLslを印加することにより、該リセット直後のトランジスタTr2の信号を、リセット信号として画素信号読出ラインVnへ読み出す(ステップS12)。ここで読み出されたリセット信号は、上記記憶部M1bに記憶される。
その後、フォトダイオードPDにより所定時間だけ電荷の蓄積を行う。所定時間が経過したら、ゲート転送信号線Trnを印加してトランジスタTr4をオンすることにより、フォトダイオードPDに蓄積されている光電変換信号を、トランジスタTr2のゲート部へ転送する(ステップS13)。
続いて、トランジスタTr3のゲートにラインセレクトパルスLslを印加することにより、トランジスタTr2のゲート部に蓄積されている電荷を、画素信号読出ラインVnへ光電変換信号として読み出す(ステップS14)。ここで読み出された光電変換信号は、上記記憶部M1aに記憶される。この記憶部M1aに記憶された光電変換信号は、記憶部M1bに記憶されたリセット信号と差分を取ることにより、ノイズの低減を図るのは上述した実施例1と同様である。
このステップS14の動作が終了したら、また上記ステップS11へ戻って、上述したような動作を繰り返して行うようになっている。
次に、図11を参照して、5×5画素で構成される撮像素子について説明する。この実施例2における読み出し方法を説明するために、ここでは画素部3が5×5画素で構成される例を示している。
この撮像素子は、画素部3と、垂直走査回路36と、垂直走査/制御回路35と、水平走査回路23,24と、第1水平走査/制御回路21と、第2水平走査/制御回路22と、を有して構成されている。
上記画素部3は、マトリクス状に配置されていて入射光に応じた電荷を蓄積する画素P1a〜P5eと、これらの各画素P1a〜P5eに一対一に対応して設けられており対応する各画素の電荷を読み出すか否かを切り換えるための行選択スイッチSW1a〜SW5eと、を有して構成されている。なお、画素P1a〜P5eと行選択スイッチSW1a〜SW5eとにおいて、符号に含まれる数字1〜5はマトリクス状の配列における行番号を示し、この数字の後の英小文字a〜eはマトリクス状の配列における列番号を示している。各画素P1a〜P5eは、行選択スイッチSW1a〜SW5eを介して、列番号が同一の各画素信号読出ラインVSIG1〜VSIG5にそれぞれ接続されている。また、各行選択スイッチSW1a〜SW5eは、行番号が同一のラインセレクト信号線φV1〜φV5にそれぞれ接続されている。また、画素部3は、全画素領域が、垂直方向に2分割、かつ水平方向に2分割されており、つまり4つの分割領域1〜4に分割されている。なお、ここでは4分割を一例として挙げているが、これに限るものではなく、任意の数に分割することが可能である。これらの分割領域1〜4は、排他的に構成されているのではなく、上下左右に隣接する他の分割領域と互に共通の画素を含むように構成されている。具体的には、左上に構成される分割領域1は画素P1a〜P1c,P2a〜P2c,P3a〜P3cを含み、右上に構成される分割領域2は画素P1c〜P1e,P2c〜P2e,P3c〜P3eを含み、左下に構成される分割領域3は画素P3a〜P3c,P4a〜P4c,P5a〜P5cを含み、右下に構成される分割領域4は画素P3c〜P3e,P4c〜P4e,P5c〜P5eを含んでいる。そして、アミ点で示した画素P1c,P2c,P3a〜P3e,P4c,P5cが、複数の分割領域に含まれる重複画素となっている。
上記垂直走査回路36は、選択手段であって、上記ラインセレクト信号線φV1〜φV5の何れか一つに選択的にラインセレクトパルスを供給することにより、上記行選択スイッチSW1a〜SW5eの動作を制御するためのものである。該垂直走査回路36は、垂直走査/制御回路35から後述する垂直スタートパルスφVST1,φVST2が与えられると、該垂直スタートパルスφVST1,φVST2により指定された行から読み出しを開始するようにラインセレクトパルスを供給し、その後は所定のクロックタイミングで次行の読み出しに係るラインセレクトパルスを供給するようになっている。このラインセレクトパルスの供給は、垂直走査/制御回路35から後述する垂直リセットパルスφVRSTが供給されたところでリセットされる。
上記垂直走査/制御回路35は、選択手段であって、垂直走査回路36の動作を制御するためのものである。すなわち、垂直走査/制御回路35は、垂直走査回路36に上記垂直スタートパルスφVST1,φVST2を供給することにより、読み出しを開始するラインを制御するようになっている。また、垂直走査/制御回路35は、垂直走査回路36に上記垂直リセットパルスφVRSTを供給することにより、該垂直走査回路36による行選択をリセットさせるように制御する。
上記水平走査回路23,24は、上記垂直走査回路36により選択された画素の電荷を読み出して、出力するためのものである。水平走査回路23は、第1水平副走査回路25と、第2水平副走査回路26と、を有して構成されている。同様に、水平走査回路24は、第3水平副走査回路27と、第4水平副走査回路28と、を有して構成されている。このように、上記図8においては読出手段を2系統設ける例を示したが、この図11においては読出手段を4系統設ける例を示している。さらに、各水平副走査回路25〜28は、水平読出回路と、複数の画素信号読出ラインに各対応するサンプルホールド容量およびサンプルホールドスイッチと、を有して構成されている。すなわち、第1水平副走査回路25は、読出手段たる第1水平読出回路31と、一端がこの第1水平読出回路31に接続され他端が接地されたメモリ手段でありサンプルホールド容量たるコンデンサC1a〜C1eと、一端がコンデンサC1a〜C1eに接続され他端が画素信号読出ラインに接続された選択手段たるサンプルホールドスイッチSH_SW1a〜SH_SW1eと、を有して構成されている。また、第2水平副走査回路26は、読出手段たる第2水平読出回路32と、一端がこの第2水平読出回路32に接続され他端が接地されたメモリ手段でありサンプルホールド容量たるコンデンサC2a〜C2eと、一端がコンデンサC2a〜C2eに接続され他端が画素信号読出ラインに接続された選択手段たるサンプルホールドスイッチSH_SW2a〜SH_SW2eと、を有して構成されている。さらに、第3水平副走査回路27は、読出手段たる第3水平読出回路33と、一端がこの第3水平読出回路33に接続され他端が接地されたメモリ手段でありサンプルホールド容量たるコンデンサC3a〜C3eと、一端がコンデンサC3a〜C3eに接続され他端が画素信号読出ラインに接続された選択手段たるサンプルホールドスイッチSH_SW3a〜SH_SW3eと、を有して構成されている。そして、第4水平副走査回路28は、読出手段たる第4水平読出回路34と、一端がこの第4水平読出回路34に接続され他端が接地されたメモリ手段でありサンプルホールド容量たるコンデンサC4a〜C4eと、一端がコンデンサC4a〜C4eに接続され他端が画素信号読出ラインに接続された選択手段たるサンプルホールドスイッチSH_SW4a〜SH_SW4eと、を有して構成されている。上記サンプルホールドスイッチSH_SW1a〜SH_SW2eは、上記第1水平走査/制御回路21からのサンプルホールド制御信号線に接続されてサンプルホールド制御信号φSH1を供給されることにより制御されるようになっている。同様に、上記サンプルホールドスイッチSH_SW3a〜SH_SW4eは、上記第2水平走査/制御回路22からのサンプルホールド制御信号線に接続されてサンプルホールド制御信号φSH2を供給されることにより制御されるようになっている。上記第1水平読出回路31と第2水平読出回路32には、上記第1水平走査/制御回路21から水平スタートパルスφHSTが供給されるようになっており、該第1水平読出回路31にはさらに第1水平走査/制御回路21から水平リセットパルスφHRSTも供給されるようになっている。同様に、上記第3水平読出回路33と第4水平読出回路34には、上記第2水平走査/制御回路22から水平スタートパルスφHSTが供給されるようになっており、該第3水平読出回路33にはさらに第2水平走査/制御回路22から水平リセットパルスφHRSTも供給されるようになっている。
上記第1水平走査/制御回路21,第2水平走査/制御回路22は、選択手段であって、水平走査回路23,24の動作をそれぞれ制御するためのものである。すなわち、第1水平走査/制御回路21は、サンプルホールド制御信号φSH1を供給することにより、垂直走査回路36により選択された行に配列された画素の電荷を、コンデンサC1a〜C1eおよびコンデンサC2a〜C2eへそれぞれ蓄積させる制御を行う。同様に、第2水平走査/制御回路22は、サンプルホールド制御信号φSH2を供給することにより、垂直走査回路36により選択された行に配列された画素の電荷を、コンデンサC3a〜C3eおよびコンデンサC4a〜C4eへそれぞれ蓄積させる制御を行う。また、第1水平走査/制御回路21は、水平スタートパルスφHSTを供給することにより、第1水平読出回路31における読み出し開始位置と、第2水平読出回路32における読み出し開始位置と、を制御するようになっている。さらに、第1水平走査/制御回路21は、第1水平読出回路31へ水平リセットパルスφHRSTを供給することにより、これら第1水平読出回路31および第2水平読出回路32による読み出しをリセットする制御も行う。同様に、第2水平走査/制御回路22は、水平スタートパルスφHSTを供給することにより、第3水平読出回路33における読み出し開始位置と、第4水平読出回路34における読み出し開始位置と、を制御するようになっている。さらに、第2水平走査/制御回路22は、第3水平読出回路33へ水平リセットパルスφHRSTを供給することにより、これら第3水平読出回路33および第4水平読出回路34による読み出しをリセットする制御も行う。
続いて、図12を参照して、図11に示したような構成の撮像素子により撮像を行うときのシーケンスと、該シーケンスによって得られる光電変換信号の様子と、について説明する。
まず、垂直走査/制御回路35が、垂直スタートパルスφVST1を垂直走査回路36へ印加する。すると、垂直走査回路36が、行選択ラインであるラインセレクト信号線φV3を選択する。これにより、画素P3a〜P3eからの信号が、行選択スイッチSW3a〜SW3eを介して垂直信号ラインである画素信号読出ラインVSIG1〜VSIG5へ転送される。
このとき、第1水平走査/制御回路21がサンプルホールド制御信号φSH1を出力すると、上記画素信号読出ラインVSIG1〜VSIG5へ転送された信号が、第1水平副走査回路25に含まれるサンプルホールドスイッチSH_SW1a〜SH_SW1eを介してコンデンサC1a〜C1eに保存されると共に、第2水平副走査回路26に含まれるサンプルホールドスイッチSH_SW2a〜SH_SW2eを介してコンデンサC2a〜C2eに保存される。
また、第2水平走査/制御回路22がサンプルホールド制御信号φSH2を出力すると、上記画素信号読出ラインVSIG1〜VSIG5へ転送された信号が、第3水平副走査回路27に含まれるサンプルホールドスイッチSH_SW3a〜SH_SW3eを介してコンデンサC3a〜C3eに保存されると共に、第4水平副走査回路28に含まれるサンプルホールドスイッチSH_SW4a〜SH_SW4eを介してコンデンサC4a〜C4eに保存される。
その後、サンプルホールドスイッチSH_SW1a〜SH_SW4eをオープン(開)にして、画素信号読出ラインVSIG1〜VSIG5とコンデンサC1a〜C4eとを切り離す。この切り離しを行った後に、第1水平走査/制御回路21および第2水平走査/制御回路22から、水平スタートパルスφHSTを、第1水平読出回路31と第2水平読出回路32および第3水平読出回路33と第4水平読出回路34へそれぞれ印加する。すると、コンデンサC1a〜C1cに保存された画素P3a〜P3cの信号が第1水平読出回路31から第1出力として、コンデンサC2c〜C2eに保存された画素P3c〜P3eの信号が第2水平読出回路32から第2出力として、コンデンサC3a〜C3cに保存された画素P3a〜P3cの信号が第3水平読出回路33から第3出力として、コンデンサC4c〜C4eに保存された画素P3c〜P3eの信号が第4水平読出回路34から第4出力として、それぞれ順番に読み出される。
必要な画素信号を読み出した後に、第1水平走査/制御回路21および第2水平走査/制御回路22から水平リセットパルスφHRSTを第1水平読出回路31および第3水平読出回路33へそれぞれ印加することにより、第1水平副走査回路25および第3水平副走査回路27の動作を停止させて、画素P3a〜P3eの読み出しを終了する。
以上のような読み出し動作、つまり、選択された行の画素P3a,P3b,P3c,P3d,P3eの信号を、複数の出力ラインのそれぞれに対応する第1〜第4水平副走査回路25〜28に含まれるコンデンサC1a〜C4eに一旦保存してから読み出すようにしたために、複数の出力ラインからこれらの画素P3a,P3b,P3c,P3d,P3eの信号を得ることが可能となる。こうして、破壊読出型の画素を備える撮像素子であっても、同一画素の出力信号を複数の出力端子から読み出すことができる。加えて、コンデンサC1a〜C4eに対する画素P3a〜P3eからの信号のサンプリングタイミングを一致させることができる。
次に、垂直走査/制御回路35が、垂直スタートパルスφVST2を垂直走査回路36へ印加する。すると、垂直走査回路36が、行選択ラインであるラインセレクト信号線φV1を選択する。これにより、画素P1a〜P1eからの信号が、行選択スイッチSW1a〜SW1eを介して画素信号読出ラインVSIG1〜VSIG5へ転送される。
このとき、第1水平走査/制御回路21がサンプルホールド制御信号φSH1を出力すると、上記画素信号読出ラインVSIG1〜VSIG5へ転送された信号が、第1水平副走査回路25に含まれるサンプルホールドスイッチSH_SW1a〜SH_SW1eを介してコンデンサC1a〜C1eに保存されると共に、第2水平副走査回路26に含まれるサンプルホールドスイッチSH_SW2a〜SH_SW2eを介してコンデンサC2a〜C2eに保存される。
その後、サンプルホールドスイッチSH_SW1a〜SH_SW2eをオープン(開)にして、画素信号読出ラインVSIG1〜VSIG5とコンデンサC1a〜C2eとを切り離すことにより、画素P1a〜P1eからの信号の読み出しを終了する。
次に、垂直走査回路36が、行選択ラインであるラインセレクト信号線φV4を選択する。これにより、画素P4a〜P4eからの信号が、行選択スイッチSW4a〜SW4eを介して画素信号読出ラインVSIG1〜VSIG5へ転送される。
このとき、第2水平走査/制御回路22がサンプルホールド制御信号φSH2を出力すると、上記画素信号読出ラインVSIG1〜VSIG5へ転送された信号が、第3水平副走査回路27に含まれるサンプルホールドスイッチSH_SW3a〜SH_SW3eを介してコンデンサC3a〜C3eに保存されると共に、第4水平副走査回路28に含まれるサンプルホールドスイッチSH_SW4a〜SH_SW4eを介してコンデンサC4a〜C4eに保存される。
その後、サンプルホールドスイッチSH_SW3a〜SH_SW4eをオープン(開)にして、画素信号読出ラインVSIG1〜VSIG5とコンデンサC3a〜C4eとを切り離すことにより、画素P4a〜P4eからの信号の読み出しを終了する。
こうして、画素からコンデンサC1a〜C4eへの電荷の読み出しを行った後に、第1水平走査/制御回路21および第2水平走査/制御回路22から、水平スタートパルスφHSTを、第1水平読出回路31と第2水平読出回路32および第3水平読出回路33と第4水平読出回路34へそれぞれ印加する。すると、コンデンサC1a〜C1cに保存された画素P1a〜P1cの信号が第1水平読出回路31から第1出力として、コンデンサC2c〜C2eに保存された画素P1c〜P1eの信号が第2水平読出回路32から第2出力として、コンデンサC3a〜C3cに保存された画素P4a〜P4cの信号が第3水平読出回路33から第3出力として、コンデンサC4c〜C4eに保存された画素P4c〜P4eの信号が第4水平読出回路34から第4出力として、それぞれ順番に読み出される。
必要な画素信号を読み出した後に、第1水平走査/制御回路21および第2水平走査/制御回路22から水平リセットパルスφHRSTを第1水平読出回路31および第3水平読出回路33へそれぞれ印加することにより、第1水平副走査回路25および第3水平副走査回路27の動作を停止させて、画素P1a〜P1eおよび画素P4a〜P4eの読み出しを終了する。
その後に、上述した画素P1a〜P1eおよび画素P4a〜P4eの読み出しとほぼ同様の動作を行うことによって、画素P2a〜P2eおよび画素P5a〜P5eの読み出しが行われる。
この画素P2a〜P2eおよび画素P5a〜P5eの読み出しが終了したら、その後に、垂直走査/制御回路35が、垂直リセットパルスφVRSTを垂直走査回路36へ印加する。これにより、垂直走査回路36の動作が停止して、行選択が終了する。
上述したような読み出しを行った結果、第1水平読出回路31からの第1出力は分割領域1の画素信号を読み出したものとなり、第2水平読出回路32からの第2出力は分割領域2の画素信号を読み出したものとなり、第3水平読出回路33からの第3出力は分割領域3の画素信号を読み出したものとなり、第4水平読出回路34からの第4出力は分割領域4の画素信号を読み出したものとなる。
そして、図11においてアミ点で示した画素P1c,P2c,P3a,P3b,P3c,P3d,P3e,P4c,P5cの信号が、図12においてもアミ点で示すように、第1出力〜第4出力の内の対応する複数の出力ラインから重複して得られている。
なお、上述では、4分割した画素部の全領域を4系統の出力の全てから独立して読み出す例について説明したが、4系統全てを読み出すに限るものではなく、必要な系統のみを選択的に読み出すことも可能である。例えば、4系統の内の任意の2系統のみから信号を読み出すときにも、上述と同様の動作を行うことにより達成することができる。
このような実施例2によれば、上述した実施例1とほぼ同様の効果を奏するとともに、撮像素子が破壊読出型であっても、外部に別途のフレームメモリ等を要することなく、簡単な構成で、領域の一部が重畳する複数の子画面をリアルタイムに出力することが可能となる。また、画素数の多い撮像素子から必要な子画面のみを読み出すときには、全画素を読み出すときよりも低いフレームレートで読み出すことができるために、消費電力を低減することが可能となる。
図14、図15は本発明の実施例3を示したものであり、図14は撮像素子を用いて構成した撮像装置を示すブロック図、図15は撮像素子からの出力信号に基づき撮像制御を行うための撮像装置の構成を示すブロック図である。
この実施例3において、上述の実施例1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この撮像装置は、上述した実施例1の図1に示したような撮像素子1を、撮像装置41内に組み込んだものとなっている。
すなわち、この撮像装置41は、上記撮像素子1と、該撮像素子1の第1読出手段5および第2読出手段6を制御するための制御手段42と、を有して構成されている。
図15は、撮像素子の出力に基づいて撮像制御を行い得るように構成された撮像装置41の構成例をより具体的に示している。
図15に示す撮像装置は、上記撮像素子1と、上記制御手段42と、を有するとともに、さらに、メモリ44と、差動回路46と、撮像制御部47と、メモリ制御部45と、を有して構成されている。
上記撮像素子1の第1出力は、映像信号処理へ接続されていると共に、上記制御手段42に接続されている。
制御手段42は、第1出力に基づいて、撮像素子1を制御すると共に、メモリ制御部45を介してメモリ44を制御するようになっている。
また、上記撮像素子1の第2出力は、分岐されて、一方が上記差動回路46へ、他方が上記メモリ44を介して該差動回路46へ、それぞれ接続されている。この差動回路46は、上記図7に示したような演算信号を出力するためのものである。つまり、第2出力として出力される信号は、蓄積期間が異なるものであるために、差動回路46は、これらが常に同一の蓄積期間に相当する信号となるように演算するためのものとなっている。上記図7に示した具体的な例においては、メモリ44により1水平読出期間だけ信号を遅延し、差動回路46が第2出力として出力された信号と、このメモリ44により1水平読出期間だけ遅延された信号と、の差分を取ることにより、一定レベルの演算信号を得るようになっている。なお、該図7に示した第2の水平読出期間においては、上述したように、得られた信号Sig2bが、蓄積期間がほぼ1水平読出期間のものであるために、メモリ制御部45は、制御手段42の制御に基づいて、メモリ44に記憶されている1水平読出期間前の信号をリセットして全て0とする。これにより、差動回路46は、信号Sig2bをそのまま演算信号として出力する。
この差動回路46から出力される演算信号は、撮像制御部47に入力されて、AF制御やAE制御等の撮像制御に用いられる。該撮像制御部47により算出された結果に基づいて、上記撮像素子1の電荷蓄積時間等の制御も行われるようになっている。
このような構成の撮像装置41における、制御手段42による制御動作は、例えば以下のように行われる。
まず、制御手段42は、第1読出手段5の第1選択手段7を制御することにより、画素部3の全画素の信号を第1出力として読み出させる。
制御手段42は、該第1読出手段5から第1出力として読み出した画素部3の全画素の信号に基づいて、撮影シーンの推定等を行い、推定した撮影シーンに応じて、AFやAE等の撮像制御を行うに必要な部分領域を所定の基準に基づき判断する。
そして、該制御手段42は、判断した部分領域に含まれる画素の信号を読み出すように、上記第2読出手段6の第2選択手段8を制御する。これにより第2読出手段6は、撮像制御に必要な領域の信号を、垂直読出期間内に、複数回読み出すことが可能となる。なお、設定された部分領域の大きさや形により、メモリ44において遅延を行う時間などが異なるために、上記メモリ制御部45は、制御手段42により設定された部分領域の情報に基づいて、該メモリ44による遅延時間等も制御するようになっている。
こうして第2読出手段6から高速に読み出され、差動回路46により処理された演算信号を用いて、上記撮像制御部47がAEやAF等の撮像制御を高速に行うようになっている。
上記制御手段42は、上述したような画素部3の全画素の信号を用いた撮影シーンの判断を、例えば、所定の周期で行い、撮影シーンが変化したと判断されたときに、上記部分領域を動的に変更するようになっている。これにより、被写体の状況に動的に対応して、常に最適な撮像制御を行うことが可能となっている。
このような実施例3によれば、上述した実施例1,2とほぼ同様の効果を奏するとともに、撮像制御等を行うのに必要な部分領域が、撮影シーン等に応じて自動的に設定されるために、最適な撮像制御を動的に高速に行うことができる。
図16は本発明の実施例4を示したものであり、撮像装置にモニタを接続した撮像システムの構成例を示すブロック図である。
この実施例4において、上述の実施例1〜3と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この撮像システムは、撮像装置51に、第1HDモニタ55と第2HDモニタ56とを接続して構成されている。
上記撮像装置51に設けられた撮像素子1は、画素部3と、この画素部3から部分領域の信号を読み出す第1読出手段5と、該画素部3から他の部分領域の信号を読み出す第2読出手段6と、を有して構成されている。ここに、第1読出手段5により読み出される部分領域と、第2読出手段6により読み出される部分領域とは、一部が重複していても構わない。
より具体的には、例えば、上記画素部3が800万画素の画素構成となっており、第1読出手段5と第2読出手段6とによりそれぞれ読み出される部分領域は、200万画素で構成されるハイビジョン(HD)出力となっている。このHD出力とする部分領域は、第1読出手段5と第2読出手段6とがそれぞれ独立に、画素部3の全画素の中から任意の位置に設定することができるようになっている。なお、この図16には示していないが、撮像装置51内には、上記図14に示したような制御手段が同様に設けられており、第1読出手段5と第2読出手段6とを制御して、部分領域の設定や変更を行うようになっている。
第1読出手段5により読み出されたHD出力は、撮像装置51内に設けられた第1HD処理回路53に入力されて、リアルタイムに画像処理等が行われる。
同様に、第2読出手段6により読み出されたHD出力は、該撮像装置51内に設けられた第2HD処理回路54に入力されて、リアルタイムに画像処理等が行われる。
上記第1HD処理回路53により処理されたHD信号は、該撮像装置51に接続された第1HDモニタ55によりリアルタイムに表示される。また、上記第2HD処理回路54により処理されたHD信号は、該撮像装置51に接続された第2HDモニタ56によりリアルタイムに表示される。
なお、上述では2つの読出手段を設けて2つの部分領域を抽出し表示するようにしたが、勿論これに限るものではなく、任意の数の部分領域を抽出して表示するように構成することも可能である。また、部分領域の大きさや形も、各読出手段毎に任意に設定することが可能である。
このような実施例4によれば、上述した実施例1〜3とほぼ同様の効果を奏するとともに、多画素の撮像素子から、所望サイズかつ所望位置の部分領域の映像を、各独立して複数、リアルタイムに抽出して処理し、表示することが可能となる。
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本発明は、複数の画素を2次元状に配列して構成された撮像素子と、該撮像素子を用いた撮像装置と、に好適に利用することができる。
本発明の実施例1における撮像素子の構成の概略を示すブロック図。
上記実施例1において、4×4画素で構成される撮像素子の例を示す図。
上記実施例1における画素の具体的な構成例を示す回路図。
上記実施例1において、画素からの信号読み出しの動作を示すフローチャート。
上記図2の撮像素子におけるラインの構成を示す図。
上記実施例1において、撮像対象とする被写体の輝度分布の例を示す図。
上記図6に示した被写体を撮像するときの撮像素子の動作を示すタイミングチャート。
本発明の実施例2における撮像素子の構成の概略を示すブロック図。
上記実施例2の撮像素子に用いられる画素の具体的な構成例を示す回路図。
上記図9に示した画素からの信号読み出しの動作を示すフローチャート。
上記実施例2において、5×5画素で構成される撮像素子の例を示す図。
上記図11に示した撮像素子により撮像を行うときの動作を示すタイミングチャート。
上記図8に示した撮像素子においてメモリ手段をコンデンサにより構成した例を示す図。
本発明の実施例3において、撮像素子を用いて構成した撮像装置を示すブロック図。
上記実施例3において、撮像素子からの出力信号に基づき撮像制御を行うための撮像装置の構成を示すブロック図。
本発明の実施例4において、撮像装置にモニタを接続した撮像システムの構成例を示すブロック図。
符号の説明
1…撮像素子
3…画素部
5…第1読出手段
6…第2読出手段
7…第1選択手段
8…第2選択手段
11…第1読出部
12…第2読出部
13…垂直走査/制御回路
18…第1メモリ手段
18a…第1コンデンサ
19…第2メモリ手段
19a…第2コンデンサ
21…第1水平走査/制御回路(選択手段)
22…第2水平走査/制御回路(選択手段)
23,24…水平走査回路
25…第1水平副走査回路
26…第2水平副走査回路
27…第3水平副走査回路
28…第4水平副走査回路
31…第1水平読出回路(読出手段)
32…第2水平読出回路(読出手段)
33…第3水平読出回路(読出手段)
34…第4水平読出回路(読出手段)
35…垂直走査/制御回路(選択手段)
36…垂直走査回路(選択手段)
41…撮像装置
42…制御手段
44…メモリ
45…メモリ制御部
46…差動回路
47…撮像制御部
51…撮像装置
53…第1HD処理回路
54…第2HD処理回路
55…第1HDモニタ
56…第2HDモニタ
C1a〜C4e…コンデンサ(メモリ手段、サンプルホールド容量)
SH_SW1a〜SH_SW1e…サンプルホールドスイッチ(選択手段)
代理人 弁理士 伊 藤 進