JP4844853B2 - 固体撮像素子及びその駆動方法 - Google Patents

固体撮像素子及びその駆動方法 Download PDF

Info

Publication number
JP4844853B2
JP4844853B2 JP2009531124A JP2009531124A JP4844853B2 JP 4844853 B2 JP4844853 B2 JP 4844853B2 JP 2009531124 A JP2009531124 A JP 2009531124A JP 2009531124 A JP2009531124 A JP 2009531124A JP 4844853 B2 JP4844853 B2 JP 4844853B2
Authority
JP
Japan
Prior art keywords
pixel
signal
solid
storage unit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009531124A
Other languages
English (en)
Other versions
JPWO2009031302A1 (ja
Inventor
成利 須川
泰志 近藤
秀樹 冨永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Shimadzu Corp
Original Assignee
Tohoku University NUC
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Shimadzu Corp filed Critical Tohoku University NUC
Priority to JP2009531124A priority Critical patent/JP4844853B2/ja
Publication of JPWO2009031302A1 publication Critical patent/JPWO2009031302A1/ja
Application granted granted Critical
Publication of JP4844853B2 publication Critical patent/JP4844853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は固体撮像素子及びその駆動方法に関し、さらに詳しくは、破壊、爆発、燃焼などの高速の現象を撮影するために好適な高速動作可能な固体撮像素子、及びその駆動方法に関する。
例えば爆発、破壊、燃焼、衝突、放電などの高速の現象を、短時間だけ連続的に撮影するための高速撮影装置(高速ビデオカメラ)が従来より開発されている(非特許文献1など参照)。こうした高速撮影装置では、100万フレーム/秒程度以上もの、きわめて高速度の撮影が必要である。そのため、従来一般的にビデオカメラやデジタルカメラなどに利用されている撮像素子とは異なる、特殊な構造を有する高速動作可能な固体撮像素子が利用されている。
こうした固体撮像素子として、従来、特許文献1などに記載のものが利用されている。これは画素周辺記録型撮像素子(IS−CCD)と呼ばれるものである。この撮像素子について概略的に説明する。即ち、受光部であるフォトダイオード毎にそれぞれ記録枚数(フレーム数)分の転送を兼ねた蓄積用CCDを備え、撮影中には、フォトダイオードで光電変換された画素信号を蓄積用CCDに順次転送する。そして、撮影終了後に蓄積用CCDに記憶してある記録フレーム数分の画素信号をまとめて読み出し、撮像素子の外部で記録フレーム数分の画像を再現する。撮影中に記録フレーム数分を越えた画素信号は古い順に廃棄され、常に最新の所定フレーム数分の画素信号が蓄積用CCDに保持される。そのため、撮影の終了時に蓄積用CCDへの画素信号の転送を中止すれば、その時点から記録フレーム数分だけ時間的に遡った時点以降の最新の画像が得られる。
このように画素周辺記録型撮像素子では、1フレーム分の画像信号が得られる毎にそれを外部に取り出す必要がある一般的な撮像素子とは異なり、非常に高速に複数フレームの連続画像を得ることができるという特徴を有している。しかしながら、半導体チップ面積や消費電力など様々な制約により、1個の素子に搭載可能な蓄積用CCDの数には限界がある。そのため、上述のように高速撮影可能なフレーム数は限られており、例えば非特許文献1に記載の装置ではそのフレーム数は100程度である。この程度のフレーム数で十分な用途もあるが、撮影対象の現象や被写体などによっては、それほどの(例えば100万フレーム/秒程度もの)高速性は要求されないものの、もっと長い時間に亘る或いは多数のフレーム数に亘る撮影を行いたいような場合もある。しかしながら、上記画素周辺記録型撮像素子では、そうした撮影の要求に応えることは難しい。
そのため、連続記録フレーム数は限られるものの超高速である撮影と、高速性では劣るものの記録フレーム数に制限のない撮影との両方に対応するには、上述のようなCCD方式による画素周辺記録型撮像素子と周知の例えばCMOS方式による撮像素子とを併用する必要がある。そのため、こうした撮像装置はコストが高いものとなる。
また、上述のような高速撮影では観察対象の現象の発生タイミングに同期した撮影を行うことが重要であり、外部からトリガ信号が与えられるとそれに応じて撮影の終了や撮影の開始を行う制御が行われている。こうしたトリガ信号を生成するために、例えば接触センサ、位置センサ、振動センサ、圧力センサなどの別のセンサを用いることが一般に行われている。しかしながら、被写体とこうしたセンサとの距離を近付けることが困難である場合や被写体の自発的な変化を捉えて撮影を行う場合、或いは、顕微鏡の下での微小な物体の撮影を行う場合などにおいては、上記方法では適切なトリガ信号を得ることが困難であることが多い。
こうした課題に対し、特許文献2に記載の撮影装置では、撮像レンズの後方にビームスプリッタやハーフミラーなどの光分割手段を設け、入射光を複数に分割してそれぞれ異なる撮像装置に導入し、一方の撮像装置を画像の急激な変化を検出するためのモニタリング専用とし、それによって得られたトリガ信号に応じて他方の撮像装置で得られた画像信号の記憶を制御するようにしている。しかしながら、こうした従来の撮影装置では、撮影対象物から到来する入射光を複数に分割するための光学系部品が必要になるとともに撮像装置(撮像素子)も複数用意する必要があるため、装置が大掛かりとなり、コストを引き下げることが難しく、装置を小型化・軽量化するのも困難である。
特開2001−345441号公報 特開平5−336420号公報 近藤ほか5名、「高速度ビデオカメラHyperVision HPV-1の開発」、島津評論、島津評論編集部、2005年9月30日発行、第62巻、第1・2号、p.79−86
本発明は上記課題に鑑みて成されたものであり、その第1の目的は、記録フレーム数は限られるものの超高速である撮影と、高速性では劣るものの記録フレーム数に制限のない撮影との両方を行うことが可能な固体撮像素子及びその駆動方法を提供することにある。
また本発明の第2の目的は、連続的な撮影で得られる画像中の被写体の変化や観測対象の現象の生起などを捉えて、高速撮影の開始や停止などを的確に制御するのに好適な固体撮像素子及びその駆動方法を提供することにある。
上記課題を解決するために成された本発明に係る固体撮像素子の駆動方法は、光を受光して光電荷を生成する光電変換素子と、前記光電変換素子で生成された光電荷を検出ノードへ転送する転送素子と、前記検出ノードから画素出力線に信号を送出するバッファ素子とを少なくとも含む画素が二次元のアレイ状に複数配列され、前記画素出力線は画素毎に独立して設けられ、画素出力線を通して各画素から出力される信号を保持する記憶部を各画素に対して1つ以上有して成る固体撮像素子の駆動方法であって、
各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を前記記憶部の1つに保持する動作を全画素で一斉に行い、それに引き続いてその1フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第1の駆動モードと、
各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を前記記憶部の1つに保持する動作を全画素で一斉に、且つ信号を保持させる記憶部を順番に指定しながら繰り返し行い、複数フレーム分の信号が各記憶部に保持された後にその複数フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第2の駆動モードと、
の少なくとも一方を実行することを特徴としている。
ここで本発明に係る固体撮像素子の駆動方法の好ましい一態様として、前記記憶部は各画素に対して複数設けられ、第1の駆動モードと第2の駆動モードとを選択的に又は並行的に実行するとよい。
また上記課題を解決するために成された本発明に係る固体撮像素子は、上記駆動方法を実施するための固体撮像素子であり、
a)光を受光して光電荷を生成する光電変換素子と、前記光電変換素子で生成された光電荷を検出ノードへ転送する転送素子と、前記検出ノードから後記画素出力線に信号を送出するバッファ素子とを少なくとも含み、二次元のアレイ状に配列された複数の画素と、
b)画素毎に独立して設けられた画素出力線と、
c)前記画素出力線を通して各画素から出力される信号を保持するために各画素に対して複数設けられた記憶部と、
d)各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持する動作を全画素で一斉に行い、それに引き続いてその1フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第1の駆動モードと、各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持する動作を全画素で一斉に、且つ信号を保持させる記憶部を順番に指定しながら繰り返し行い、複数フレーム分の信号が各記憶部に保持された後にその複数フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第2の駆動モードと、を実行する駆動制御手段と、
を備えることを特徴としている。
各画素が備える光電変換素子は例えばフォトダイオードであり、検出ノードは例えばフローティングディフュージョン(フローティング領域)であり、転送素子は例えばトランジスタ(MOSトランジスタ)であり、バッファ素子は例えば複数のトランジスタから構成されるソースフォロアアンプであり、記憶部(及び記憶単位)は例えばキャパシタとトランジスタ等のスイッチとの組み合わせであるものとすることができる。
本発明に係る固体撮像素子及びその駆動方法において、第2の駆動モードでは、複数フレームの連続的な撮影の途中にその撮影で取得した信号(画素信号)を素子外部に読み出す必要がないので、きわめて高速に連続撮影を行うことができる。各画素から記憶部への信号の転送はきわめて短時間で行えるから、1フレームの撮影に要する時間の殆どは、光電変換素子で光を受光して光電荷を検出ノードなどに蓄積する時間で決まる。但し、第2の駆動モードでは、後で素子外部に読み出すことができる画像のフレーム数は各画素当たりに用意された記憶部の数により制約を受ける。つまり、1画素当たり100個の記憶部が設けられていれば、100フレームの連続した画像の取得が可能となる。
これに対し、第1の駆動モードでは、1フレーム撮影毎にその撮影で得られた画素信号を素子外部に読み出す必要があるため、この読み出し時間で繰り返し撮影が律速される。従って、第2の駆動モードほど高速の撮影は行えないものの、撮影フレーム数は各画素当たりに用意された記憶部の数の制約を受けない。従って、本発明に係る固体撮像素子及びその駆動方法によれば、撮影目的等に応じて第1の駆動モードと第2の駆動モードとを適宜に切り替えることにより、例えば100万フレーム/秒以上ものきわめて高速の撮影と、それよりも撮影速度は下がるものの長時間に亘る撮影とを1個の固体撮像素子で以て実現することができる。これを利用することにより、比較的低廉なコストで利用分野が広い、又は利用価値の高い撮像装置を提供することが可能となる。
また、例えば第1の駆動モードで固体撮像素子を動作させ、これにより出力される画素信号に基づいて撮影対象の現象の生起や被写体の変化などを捉え、これによりトリガ信号を生成して前記トリガ信号により第2の駆動モードへの切り替えを行う等、両駆動モードの動作をリンクさせた制御が可能となる。これにより、従来、振動センサなどの別のセンサで捉えることができない被写体の変化に対しても、或いはそうしたセンサを設けることが物理的にできない場合であっても、目的とする高速の現象を的確に撮影することができるようになる。また、そうした撮影を行うために、別の撮像装置を用意する必要もないので、高速撮影システムのコストの引き下げにも寄与する。
本発明に係る固体撮像素子及びその駆動方法の一態様として、好ましくは、1画素に対応した1つの記憶部はノイズ信号を保持する記憶単位と光電荷に応じた信号を保持する記憶単位とを少なくとも含み、各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持させる際に、ノイズ信号を全画素一斉に保持させる動作と光電荷に応じた信号を全画素一斉に保持させる動作とを異なるタイミングで行い、記憶部からの信号の逐次読み出し時に、各記憶単位からノイズ信号と光電荷に応じた信号とを並行して読み出して出力するものとするとよい。
ノイズ信号には例えばバッファ素子を構成するトランジスタの閾値電圧のばらつきなどの固定パターンノイズやフローティングディフュージョンなどの検出ノードで発生するランダムノイズなどが含まれ、こうしたノイズ成分は光電荷に応じた信号にも重畳される。上記態様によれば、記憶部からの信号の逐次読み出しの際に、光電荷に応じた信号からノイズ信号を差し引くようなアナログ演算を行うことで、ノイズの影響を軽減した画素信号を得ることができる。これにより、撮影画像のS/Nを向上させることができる。
また本発明に係る固体撮像素子及びその駆動方法の一態様として、好ましくは、各画素は、光電荷の蓄積動作時に前記光電変換素子から前記転送素子を通してオーバーフローした又は前記検出ノードからオーバーフローした光電荷を蓄積する電荷蓄積素子を少なくとも1つ含むとともに、1画素に対応した1つの記憶部は4つの記憶単位を有し、各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持させる際に、オーバーフロー前のノイズ信号、オーバーフロー後のノイズ信号、オーバーフロー前の電荷に応じた信号、オーバーフロー後の電荷に応じた信号をそれぞれ画素信号線を通して前記4つの記憶単位に順番に保持させる動作を全画素一斉に行い、記憶部からの信号の逐次読み出し時に、各記憶単位からオーバーフロー前のノイズ信号、オーバーフロー後のノイズ信号、オーバーフロー前の電荷に応じた信号、及びオーバーフロー後の電荷に応じた信号を並行して読み出して出力するものとするとよい。
ここで電荷蓄積素子は例えばダブルポリシリコン構造やスタック構造のキャパシタなどを用いることができる。
各画素において光電変換ゲインを上げるためには、フローティングディフュージョンなどの検出ノードの容量を小さくすることが望ましいが、そうすると強い光が入射して多量の光電荷が発生したときに検出ノードが飽和してしまうおそれがある。これに対し上記態様では、光電変換素子で発生して例えば検出ノードから溢れ出た(オーバーフローした)光電荷を電荷蓄積素子に蓄積する。これにより、強い光が入射して多量の光電荷が発生したときにも光電荷を無駄にすることがなく信号に反映させることができる。一方、入射光が弱く光電荷の発生量が少ない場合には、低容量の検出ノードに蓄積される信号のみが利用される。従って、上記態様によれば、ダイナミックレンジを拡大することができる。
また本発明に係る固体撮像素子及びその駆動方法にあって、第2の駆動モードにおいては、各画素に対応する複数の記憶部の全てに信号を保持した次に、時間的に最も古い信号を保持している記憶部をリセットして新たな信号を保持するように、複数の記憶部を循環的に用いた信号保持動作を行い、停止指示に応じて記憶部への新たな信号の保持動作を停止するとよい。停止指示が与えられてから、適宜遅延して、実際に記憶部への保持動作を停止することができるようにするとよく、好ましくは、その遅延時間やフレーム数が外部から設定可能であるようにするとよい。
これによれば、第2の駆動モードにおいて、画素信号を素子外部に読み出すことなく高速撮影を繰り返し、例えば外部からトリガ信号が与えられたタイミングで、その前後の撮影画像を取得することができる。これにより、被写体の変化等の何らかの状態が生起した瞬間に、それ以降のみならず、それ以前の撮影画像も得ることが可能となる。
また第1の駆動モードと第2の駆動モードとの利用の仕方として、例えば、第1の駆動モードを実行することにより出力される1フレーム分又は複数フレーム分の全体又はその中の一部の画像情報に基づいて特定のイベントを検知し、その検知結果に応じて第2の駆動モードを実行するようにすることができる。これは、特定のイベントの検知により上記トリガ信号が生成されるものであるとみなすことができる。
これによれば、例えば被写体に何らかの変化の兆候が生じた時点から、その被写体の高速な変化の様子を的確に撮影することが可能となる。
また本発明に係る固体撮像素子及びその駆動方法にあっては、第1の駆動モードと第2の駆動モードとを任意の回数又は任意の時間毎に交互に実行するようにしてもよい。
これによれば、第1の駆動モードで読み出された画素信号に基づいて被写体に何らかの変化が生じたことが検知されたときに、記憶部にはその直前の第2の駆動モードで撮影された信号が未だ残っているので、これを読み出すことにより、被写体の変化が検知されるよりも時間的に前の画像も得ることができる。
また本発明に係る固体撮像素子及びその駆動方法においては、その一態様として、第1の駆動モードの動作時に第2の駆動モードのための前記記憶部の一部を利用することができる。
これによれば、用意された記憶部を第2の駆動モードにおいて全て利用することができるので、連続撮影可能フレーム数をそれだけ増やすことができる。
また本発明に係る固体撮像素子及びその駆動方法においては、別の態様として、第1の駆動モードのための前記記憶部と第2の駆動モードのための記憶部とを独立して設けるようにしてもよい。
また本発明に係る固体撮像素子及びその駆動方法では、記憶部からの信号の逐次読み出しに際して、二次元のアレイ状に複数配列された画素の中の特定の画素に対応した信号を選択的に逐次読み出して出力するようにしてもよい。
具体的には、例えば二次元アレイ状に配列された画素の中で水平方向や垂直方向に1個おき、2個おきなど適宜の数だけ間引いて(飛ばして)信号を読み出すようにするとよい。これにより画像の解像度は下がるが、被写体の概略的な観察には十分である場合も多く、読み出し信号の数を減らすことで第1の駆動モードにおける撮影のフレームレートを上げることができる。また、画像全体でなく特定の一部分にのみ被写体の変化が生じることが既知である場合に、その一部分の画像信号だけを読み出すようにすれば、画像の解像度を下げずにフレームレートを上げることができる。
また本発明に係る固体撮像素子及びその駆動方法では、二次元のアレイ状に複数配列された画素の中の隣接する又は近接する画素に対応した信号を記憶部から同時に読み出してアナログ的な加算処理又は平均化処理を行うようにしてもよい。
例えば各記憶部でスイッチ(トランジスタ)のオン・オフにより同一の出力線に選択的にキャパシタから信号を出力する構成では、複数のスイッチを同時にオンして複数のキャパシタから信号を出力することにより、その出力線上でアナログ的な信号加算が行える。この場合、上述の間引き読み出しとは異なり信号を無駄にせずに利用できるので、間引き読み出しよりもS/Nを改善することができる。また、間引いた部分に被写体の重要な変化が生じていると上記態様では検知できないが、この態様ではそうした変化も反映されるので被写体の変化を確実に捉え易くなる。
また、この場合、アナログ的な加算処理又は平均化処理を行う際の複数の画素の組み合わせを、二次元のアレイ状の配列において水平方向及び垂直方向で互い違いに選択することで、それをしない場合に比べて視覚上の解像度の低下が抑えられる。
また本発明に係る固体撮像素子及びその駆動方法では、時間的に隣接する又は近接する異なるフレーム中で空間的に同一位置の1乃至複数の画素に対応した信号を記憶部から同時に読み出してアナログ的な加算処理又は平均化処理を行うようにしてもよい。
本発明に係る固体撮像素子及びその駆動方法によれば、1個の素子で、例えば100万フレーム/秒以上ものきわめて高速の撮影と、それよりも撮影速度は下がるものの長時間に亘る撮影とを実現することができる。これにより、比較的低廉なコストで、利用分野が広い又は利用価値の高い撮像装置を提供することが可能となる。
また、第1の駆動モードと第2の駆動モードとを適宜に使い分けることにより、例えば、被写体に変化が生じたり観察対象の現象が起こったりしたときにこれを迅速に検知し、その時点以降、或いはその時点前後の高速撮影を行うことができる。これにより、高速撮影の開始や終了のためのトリガ信号を得るために、振動センサなどの別のセンサによる検知信号や他の撮像装置による撮影画像が不要になるので、高速撮影システムのコストを抑えることができる。また、振動センサ等のセンサで捉えられないような変化がある場合やそうしたセンサの設置が困難であるような条件の下でも、撮影対象を的確に捉えて画像として残すことができる。
本発明の一実施例である固体撮像素子の半導体チップ上のレイアウトを示す概略平面図。 本実施例の固体撮像素子において画素領域内の1個の画素のレイアウトを示す概略平面図。 本実施例の固体撮像素子における画素領域及び記憶領域の概略構成を示す平面図。 本実施例の固体撮像素子における半導体チップの略半分の要部のブロック構成図。 本実施例の固体撮像素子における1個の画素の回路構成図。 本実施例の固体撮像素子において1個の画素における光電変換領域のレイアウトを示す概略平面図。 図6中のA−A’矢視線縦断面における概略ポテンシャル図。 本実施例の固体撮像素子において垂直方向に配列された132個の画素に対応する1個の記憶部ユニットの概略構成図。 本実施例の固体撮像素子における1個の記憶部の回路構成図。 本実施例の固体撮像素子における1個の記憶部のレイアウトを示す概略平面図。 本実施例の固体撮像素子において各記憶部に保持されている信号を出力線を通して読み出すための概略構成を示すブロック図。 本実施例の固体撮像素子において連続読み出しモードとバースト読み出しモードの概略タイムチャート。 本実施例の固体撮像素子において光電荷蓄積時間が短い場合の動作モードの駆動タイミング図。 図13に示した動作における画素内の概略ポテンシャル図。 本実施例の固体撮像素子において光電荷蓄積時間が相対的に長い場合の駆動タイミング図。 図15に示した動作における画素内の概略ポテンシャル図。 本実施例の固体撮像素子において連続読み出しモードでの1フレーム分の逐次読み出しの動作タイミング図。 本実施例の固体撮像素子においてバースト読み出しモードでの逐次読み出しの動作タイミング図。 各記憶部での読み出し順序を示す模式図。 本実施例の固体撮像素子を用いた撮影動作の一形態を示す概略タイミング図。 本実施例の固体撮像素子を用いた撮影動作の一形態を示す概略タイミング図。 本実施例の固体撮像素子における間引き読み出しの際に選択される画素の例を示す図。 本実施例の固体撮像素子における加算読み出しの際に選択される画素の例を示す図。
符号の説明
1…半導体基板
2、2a、2b…画素領域
3a、3b…記憶領域
4a、4b…垂直走査回路領域
5a、5b…水平走査回路領域
6a、6b…電流源領域
10…画素
11…光電変換領域
12…画素回路領域
13…配線領域
14、141…画素出力線
15…駆動ライン
20…記憶部ユニット
21…記憶部ユニット行
22…記憶部
23、23a、23b、23c、23d…出力線
24、24a、24b、24c、24d…記憶素子
25、25a、25b、25c、25d…キャパシタ
26、26a、26b、26c、26d…サンプリングトランジスタ
27、27a、27b、27c、27d…読み出しトランジスタ
31…フォトダイオード
32…転送トランジスタ
33、331、332…フローティングディフュージョン
333…金属配線
34…蓄積トランジスタ
35…リセットトランジスタ
36…蓄積キャパシタ
37、40…トランジスタ
38、41…選択トランジスタ
39…電流源
43…ソースフォロアアンプ
50…記憶部ユニットブロック
VSR1…垂直シフトレジスタ
HSR1…水平シフトレジスタ
以下、本発明の一実施例である固体撮像素子及びその駆動方法について図面を参照して説明する。
まず本実施例による固体撮像素子の全体の構成・構造について説明する。図1は本実施例の固体撮像素子の半導体チップ上の全体のレイアウトを示す概略平面図、図3は本実施例の固体撮像素子における画素領域及び記憶領域の概略構成を示す平面図、図4は本実施例の固体撮像素子における略半分の要部のブロック構成図である。
図1に示すように、この固体撮像素子においては、光を受光して画素毎の信号を生成するための画素領域2(2a、2b)と、前記信号を所定フレーム数分保持するための記憶領域3a、3bとが、半導体基板1上で混在せずに完全に分離され、それぞれまとまった領域として設けられている。略矩形状の画素領域2内には、N行、M列の合計N×M個の画素10が二次元アレイ状に配置され、この画素領域2はそれぞれ(N/2)×M個の画素10が配置された第1画素領域2a、第2画素領域2bの2つに分割されている。
第1画素領域2aの下側には、小面積の第1電流源領域6aを挟んで第1記憶領域3aが配置され、第2画素領域2bの上側には、同じく小面積の第2電流源領域6bを挟んで第2記憶領域3bが配置されている。第1及び第2記憶領域3a、3bにはそれぞれ、記憶領域3a、3bからの信号の読み出しを制御するためのシフトレジスタやデコーダなどの回路を設けた、第1及び第2垂直走査回路領域4a、4bと、第1及び第2水平走査回路領域5a、5bとが設けられている。図3に示すように、各記憶領域3a、3bからは、素子の外部に信号を読み出すための出力束線SS01〜SS64が上下に32組ずつ、合計64組配設されている。
本実施例の固体撮像素子は、画素領域2の略中央を上下の2つに区画する水平線を境界として、ほぼ上下対称の構造となっている。この上半分及び下半分の構造や動作は同じであるため、以下の説明では、下方の第1画素領域2a、第1記憶領域3a、第1垂直走査回路領域4a、第1水平走査回路領域5aの構造及び動作を中心に述べる。
画素数、つまり上記N、Mの値はそれぞれ任意に決めることができ、これらの値を大きくすれば画像の解像度は上がるが、その反面、全体のチップ面積が大きくなるか、或いは1画素当たりのチップ面積が小さくなる。この例では、N=264、M=320としている。従って、第1、第2画素領域2a、2bにそれぞれ配置される画素数は、図3、図4中に記載したように、水平方向が320画素、垂直方向が132画素の42240画素である。
図2は、画素領域2(2a、2b)中の1個の画素10の概略レイアウトを示す平面図である。1個の画素10が占める領域はほぼ正方形であり、この内部は3つの領域、即ち、光電変換領域11、画素回路領域12、及び配線領域13に大別される。配線領域13には、(M/2)+α本の画素出力線14が垂直方向に延伸するようにかためて配設されている。ここでαは0でもよく、その場合、本例では1つの配線領域13を通る画素出力線の本数は132本となる。但し、一般に、このように平行に延伸する配線(例えばAl等の金属配線)を多数形成する場合に、両端の配線の幅や寄生容量が異なるものとなり易い。そこで、実際に信号を通す132本の画素出力線を挟んで両端に、1本ずつダミーの配線を設ける。その場合、α=2であって、1つの配線領域13を通る配線の本数は134本となる。
図5は図2に示した1個の画素10の回路構成図である。各画素10は、光を受光して光電荷を生成するフォトダイオード(本発明における光電変換素子に相当)31と、フォトダイオード31に近接して設けられた光電荷を転送するための転送トランジスタ(本発明における転送素子に相当)32と、転送トランジスタ32を介してフォトダイオード31に接続され、光電荷を一時的に蓄積するとともに電圧信号に変換するフローティングディフュージョンFD(本発明における検出ノードに相当)33と、光電荷の蓄積動作時にフォトダイオード31から転送トランジスタ32を介して溢れ出る、つまりオーバーフローする電荷を蓄積するための蓄積トランジスタ34及び蓄積キャパシタ(本発明における電荷蓄積素子に相当)36と、フローティングディフュージョン33及び蓄積キャパシタ36に蓄積された電荷を排出するためのリセットトランジスタ35と、フローティングディフュージョン33に蓄積された電荷又はフローティングディフュージョン33及び蓄積キャパシタ36の両方に蓄積された電荷を電圧信号として出力するための、従属接続された2個のPMOS型のトランジスタ37、38、同じく従属接続された2個のNMOS型のトランジスタ40、41の2段構成であるソースフォロアアンプ(本発明におけるバッファ素子に相当)43と、ソースフォロアアンプ43の初段の2個のトランジスタ37、38に電流を供給するための定電流トランジスタなどによる電流源39と、を含む。
転送トランジスタ32、蓄積トランジスタ34、リセットトランジスタ35、及び、ソースフォロアアンプ43の選択トランジスタ38、41のゲート端子には、それぞれφT、φC、φR、φXなる制御信号を供給するための駆動ライン15が接続される。図4に示すように、これら駆動ラインは画素領域2内の全ての画素に共通である。これにより、全ての画素での同時駆動が可能である。
ソースフォロアアンプ43の2段目の低電圧側のトランジスタ41の出力42が、上述した配線領域13に配設される132本の画素出力線14のうちの1本(図5では符号141で示す画素出力線)に接続される。この画素出力線141は画素10毎にそれぞれ1本ずつ、つまり各画素10に対応して独立に設けられている。それ故に、この固体撮像素子では、画素数と同数の、つまり84480本の画素出力線が設けられている。
ソースフォロアアンプ43は、画素出力線141を高速で駆動するための電流バッファの機能を持つ。各画素出力線141は、図4に示したように、画素領域2aから記憶領域3aまで延伸されているため、或る程度大きな容量性負荷となり、これを高速で駆動するためには大きな電流を流すことが可能な、大きなサイズのトランジスタが必要である。しかしながら、画素10内で検出感度を高めるべく光電変換ゲインを上げるためには、光電荷を電圧に変換するためのフローティングディフュージョン33の容量はできるだけ小さいほうがよい。フローティングディフュージョン33に接続されるトランジスタのゲート端子の寄生容量はフローティングディフュージョン33の容量を実効的に増加させるため、上記理由により、このトランジスタ37はゲート入力容量が小さな小型のトランジスタであることが望ましい。そこで、出力側での大電流の供給と入力側での低容量とを共に満たすために、ここではソースフォロアアンプ43を2段構成とし、初段のトランジスタ37を小型のトランジスタとすることにより入力ゲート容量を抑え、後段のトランジスタ40、41は大きなトランジスタを使用して大きな出力電流を確保できるようにしている。
また、ソースフォロアアンプ43において、初段の選択トランジスタ38は基本的な動作を行う上でなくても構わないものであるが、後段の選択トランジスタ41がオフ状態であるときに同時に選択トランジスタ38もオフすることにより、電流源39からトランジスタ37に電流が流れないようにして、その分だけ電流消費を抑えることができる。
図6は1個の画素10における光電変換領域11のレイアウトを示す概略平面図、図7は図6中のA−A’矢視線縦断面における概略ポテンシャル図である。
上面視で略矩形状の受光面を有するフォトダイオード31は埋め込みフォトダイオード構造である。高速撮影では露光時間が極端に短いため、適切な露出を確保するには各画素10のフォトダイオードの受光面の面積をできるだけ広くして、入射(受光)する光量をできるだけ増やす必要がある。しかしながら、一般的に、フォトダイオードの受光面の面積を広くすると、特にその周辺側で生成された光電荷が検出ノードであるフローティングディフュージョンに到達するまでに掛かる時間が問題となり、高速撮影の短い1サイクル期間中に転送できない光電荷が無駄になったり残像現象を起こす原因となったりする。そこで、本実施例の固体撮像素子では、次のような特殊な構造を採用することで電荷転送の速度向上を図っている。
通常、フローティングディフュージョンはフォトダイオードの側方に配置されるが、この固体撮像素子では、図6に示すように、フォトダイオード31のほぼ中央部に小面積のフローティングディフュージョン331が形成され、そのフローティングディフュージョン331を取り囲むように環状に転送トランジスタ32のゲートが設けられている。このようにフォトダイオード31の中央にフローティングディフュージョン331を配置することにより、フォトダイオード31の周辺部からフローティングディフュージョン331までの光電荷の移動距離が平均的に短くなり、フォトダイオード31の周辺部のどの位置で発生した光電荷もフローティングディフュージョン331に到達し易くなる。
さらに、フォトダイオード31を形成する際に、複数のフォトマスクを使用して不純物の打ち込み(ドープ)量(又は打ち込み深さ)を複数段階に変化させることにより、フォトダイオード31の周辺部から中央(つまりフローティングディフュージョン331)に向かって不純物ドープ量(又は打ち込み深さ)の勾配又は階段状のステップを設けている。そのため、フォトダイオード31のPN接合に適宜のバイアス電圧が印加されると、図7(a)に示すように、フォトダイオード31の周辺部から中央に向かって下傾するポテンシャル勾配が形成される。この作り込みの、つまりプロセス上の工夫で形成されるポテンシャル勾配によって、受光によりフォトダイオード31で生成された光電荷はその周辺部で生成したものほど大きく加速され中央側に進行する。
このとき、転送トランジスタ32がオフ状態であれば、図7(a)に示したように転送トランジスタ32の環状のゲート直下に形成されるポテンシャル障壁の周囲に光電荷が集積される。そして、転送トランジスタ32がオンすればすぐに、図7(b)に示したように、集積されていた光電荷は転送トランジスタ32を経てフローティングディフュージョン331に落ち込む。一方、光が入射している期間中に転送トランジスタ32がオン状態を維持する場合には、ポテンシャル勾配に沿って中央に集まってきた光電荷はそのまま転送トランジスタ32を経てフローティングディフュージョン331に落ち込む。いずれにしても、フォトダイオード31で生成された光電荷を高い確率で且つ迅速にフローティングディフュージョン331に転送することができる。
フォトダイオード31の中央部にフローティングディフュージョン331を設けることで上述のような大きな利点がある。しかしながら、オーバーフローした光電荷を蓄積する蓄積キャパシタ36などをそのフローティングディフュージョン331に近接して配置すると、開口率が低下するという問題が生じる。そこでここでは、上記のように光電荷が直接流れ込むフローティングディフュージョン(以下、第1フローティングディフュージョンという)331とは別に画素回路領域12中に第2フローティングディフュージョン332を拡散層として形成し、第1フローティングディフュージョン331と第2フローティングディフュージョン332との間をアルミニウム等による金属配線333で接続することにより両者が同電位となるようにしている。つまり、ここでは、第1フローティングディフュージョン331及び第2フローティングディフュージョン332が一体となって、電荷信号を電圧信号に変換する検出ノードとしてのフローティングディフュージョン33として機能する。
次に、第1及び第2記憶領域3a、3bの内部の構成の詳細について説明する。図4に示すように第1及び第2記憶領域3a、3b内には、画素領域2a、2b内の垂直方向に並べられた132個の画素10に対してそれぞれ接続された132本の画素出力線14の延伸方向に沿って、蓄積フレーム数L分の記憶部ユニット20が配列されている。この例では、蓄積フレーム数Lつまり連続撮影フレーム数は104であり、垂直方向に104個の記憶部ユニット20が配列され、さらにこれが水平方向に320個並んでいる。従って、第1記憶領域3aには104×320個=33280個の記憶部ユニット20が配設されている。第2記憶領域3bにも同数の記憶部ユニット20が配設されている。
図8は1個の記憶部ユニット20の内部構成を示す概略図である。1個の記憶部ユニット20内には、水平方向に11個、垂直方向に12個の、合計132個の記憶部22が配設されており、各記憶部22はそれぞれ異なる1本ずつの画素出力線141に接続されている。画素出力線141を介して、各記憶部22はそれぞれ画素領域2a内の画素10に一対一に対応しており、1個の記憶部ユニット20内の132個の記憶部22には、画素領域2a内の垂直方向の132個の画素10の信号がそれぞれ保持される。従って、図4において水平方向の1行に並べられた320個の記憶部ユニット20(図4中で符号21で示した記憶部ユニット行)に、132×320画素(ピクセル)から成る1フレームの下半分の画素信号が保持される。図3に示した上側の第2記憶領域3bでも同様に、水平方向の1行に並べられた320個の記憶部ユニットに132×320画素から成る1フレームの上半分の画素信号が保持され、両方で1フレームの画像となる。記憶部ユニット行21が垂直方向に104個配列されていることで、104フレーム分の画素信号の保持が可能である。
図8に示すように、各記憶部ユニット20において132個の記憶部22の全ての出力は接続されて1本の出力線23となっている。さらに図4に示すように、水平方向に並べられた記憶部ユニット20は隣接する10個ずつがまとめられて1組となっており、水平方向に32組の記憶部ユニット20の組が存在し、組毎に10個の記憶部ユニット20の出力線23は接続されて1本となっている。さらにまた、垂直方向に配列された104個の記憶部ユニット20の出力線23も接続されて1本になっている。従って、記憶領域3aにおいて、水平方向に10個、垂直方向に104個の合計1040個の記憶部ユニット20、さらに各記憶部ユニット20に含まれる記憶部22の数で言うと、137280個の記憶部22の出力が接続されて1本の出力線23となっている。図3では、同一の出力線23を有する記憶部ユニット20のかたまりである記憶部ユニットブロックを符号50で示している。上記構成により、第1記憶領域3aからの出力線23の数は32本であり、第2記憶領域3bからも同数の出力線が取り出される。これら出力線23上の信号をSS01〜SS64として示している。
図9は1個の記憶部22の回路構成を示す図、図10は1個の記憶部22のレイアウトを示す概略平面図である。1個の記憶部22は4個の記憶単位を有する。即ち、1本の画素出力線141に接続されたサンプリングトランジスタ26(26a〜26d)と、サンプリングトランジスタ26を介して画素出力線141に接続されるキャパシタ25(25a〜25d)と、キャパシタ25に保持されたアナログ電圧信号を読み出すための読み出しトランジスタ27(27a〜27d)と、から記憶単位である記憶素子24(24a〜24d)が構成される。1個の記憶部22は4個の記憶素子24a〜24dが1組になって構成される。従って、1個の記憶部22には、同一の画素から同一の画素出力線141を通して出力される4つの異なるアナログ電圧信号を保持することが可能である。4個の読み出しトランジスタ27a〜27dを通した出力線23a〜23dはそれぞれ独立に設けられているから、図3、図4、図8に示した出力線23は実際には4本存在し、4本独立に出力される。或いは、素子内で差分などのアナログ的な演算処理が行われ、最終的には1本の出力線23として素子の外部に出力されるように構成してもよい。
上述のように1個の記憶部22が4個の記憶素子24a〜24dから成るのは、後述するようなダイナミックレンジ拡大処理、及びノイズ除去処理を行うために、オーバーフロー前の電荷に応じた信号、オーバーフロー後の電荷に応じた信号、オーバーフロー前の電荷に応じた信号に含まれるノイズ信号、オーバーフロー後の電荷に応じた信号に含まれるノイズ信号、の4つのアナログ電圧信号を独立に保持することが本来の目的である。但し、必ずしもそうした目的に拘泥することなく、他の動作態様で各記憶素子24a〜24dを利用することもできる。例えば、各画素10の蓄積キャパシタ36を利用しないのであれば、オーバーフロー後の電荷に応じた信号やオーバーフロー後の電荷に応じた信号に含まれるノイズ信号は考慮する必要がなく、その分だけ連続撮影のフレーム数を増やすのに記憶素子24を利用することができる。これにより、2倍の208フレームの連続撮影が可能となる。また、ノイズ除去も行わないのであれば、さらに2倍の416フレームの連続撮影が可能となる。
キャパシタ25a〜25dは各画素10内の蓄積キャパシタ36と同様に、例えばダブルポリシリコンゲート構造やスタック構造により形成することができる。CCD構造を利用した電荷保持を行う場合、熱励起等による暗電荷に由来する偽信号が光信号に加算されるという問題があるが、ダブルポリシリコンゲート構造やスタック構造のキャパシタ25a〜25dではそうした暗電荷の発生がないので偽信号が加算されることがなく、外部に読み出す信号のS/Nを高くすることができる。
図11は、記憶領域3a内の各記憶部に保持されている信号を上述したような出力線23を通して読み出すための概略構成を示すブロック図である。2次元アレイ状に配置された記憶部ユニット20(20−01〜20−10)の垂直方向の1列毎に水平シフトレジスタHSR1〜HSR320が配置され、水平方向の1行毎に垂直シフトレジスタVSR1〜VSR104が配置されている。逐次読み出しの際には、水平シフトレジスタHSR1〜HSR320と垂直シフトレジスタVSR1〜VSR104との組み合わせにより記憶部ユニット20が選択され、選択された記憶部ユニット20の中で順番に記憶部22が選択されて画素信号が読み出されるようになっている。但し、出力線23が分かれている異なる記憶部ユニットブロック50では同時並行的な動作が可能であるから、読み出し動作としては1個の記憶部ユニットブロック50の内部のみを考えればよい。
続いて、本実施例の固体撮像素子の駆動方法と動作について説明する。この実施例の固体撮像素子は、大別して、連続読み出しとバースト読み出しと呼ばれる2つの駆動モードを有する。連続読み出しモードは本発明における第1の駆動モードに相当し、バースト読み出しモードは第2の駆動モードに相当する。まず、この両駆動モードの概略的な動作について図12により説明する。図12は連続読み出しモードとバースト読み出しモードの概略タイムチャートである。
(A)連続読み出しモード
連続読み出しモードの基本は図12(a)に示すように、画素領域2(2a、2b)の各画素において1フレーム分の光電荷蓄積を実行した後に、全画素で一斉にそれぞれの画素出力線を通して信号を出力し、記憶部22のキャパシタ25に信号電荷を保持させる。これにより、1フレーム分の画素信号が記憶領域3a、3bの記憶部22に揃うから、引き続いて、上述のように水平シフトレジスタ、垂直シフトレジスタを駆動することにより、1フレームの画素信号を順番に読み出して外部へ出力する。このとき、記憶領域3aの中の最も上の1行の320個の記憶部ユニット20を使用するだけでよい。
水平及び垂直シフトレジスタを駆動させるクロック信号の周波数を50MHzとした場合、1画素信号当たりの読み出し時間は0.02μ秒である。1個の記憶部ユニットブロック50の最も上の行には、132×10=1320個の記憶部22が存在するから、これに要する総読み出し時間は26.4μ秒となる。上述のように異なる記憶部ユニットブロック50では同時に読み出しが行われるため、26.4μ秒で1フレーム分の画素信号の読み出しが行える。換言すれば、光電荷の蓄積時間をこの時間まで延ばすことができるから、後述するバースト読み出しモードに比べれば光電荷の蓄積時間設定の自由度が大きい。
図12(a)は1フレーム分だけの例であるが、画素領域2a、2bと記憶領域3a、3bとでは画素出力線14を通した信号のやりとりのとき以外は独立に動作可能であるため、記憶領域3a、3bから画素信号の逐次読み出しを行っているときに、画素領域2a、2bでは光電荷の蓄積が可能である。従って、図12(b)に示すように、ほぼ連続的に撮影を繰り返し行うことができる。
(B)バースト読み出しモードの場合
バースト読み出しモードでは、図12(c)に示すように、画素信号の逐次読み出しを行うことなしに、各画素において1フレーム分の光電荷蓄積を実行した後に、全画素で一斉にそれぞれの画素出力線を通して信号を出力し、記憶部22のキャパシタ25に信号電荷を保持させる、という動作を繰り返す。このとき、1フレームずつ順番に、104フレーム分用意された記憶部22に順番に信号を保持させる。そうして、その所定フレーム数分の画素信号を逐次的に読み出して外部へ出力する。このバースト読み出しモードでは撮影中に外部への信号読み出しを行わないため、上述のような読み出しのためのクロックの周波数の上限に起因するフレームレートの制約は受けず、非常に短いサイクルでの連続撮影が可能である。実施可能な最大のフレームレートは、主としてフォトダイオード31内で発生した光電荷を集積してフローティングディフュージョン33へ転送するまでの時間によって律速される。この実施例の固体撮像素子では、上述のように光電荷の蓄積時の光量が減ることを考慮してフォトダイオード31の構造設計などが為されているため、従来の画素周辺記録型撮像素子で実現されている100万フレーム/秒よりも高いフレームレートでの高速撮影が可能である。
次に、本実施例の固体撮像素子の詳細な駆動方法として、まず各画素10における光電変換動作とこれにより生成される信号を1個の記憶部22に格納するまでの動作について、図13〜図16により説明する。
本実施例の固体撮像素子では、光電荷蓄積時間が短い場合と光電荷蓄積時間が相対的に長い場合とで異なる2つの動作モードを選択し得る。目安として、前者は光電荷蓄積時間が10μs乃至100μs以下の場合であり、100万フレーム/秒以上もの高速撮影を行う場合に、つまり通常、バースト読み出しモードを実行する場合にはこの動作モードを採用することが好ましい。
(A)光電荷蓄積時間が短い場合の動作モード
図13は光電荷蓄積時間が短い場合の動作モードの駆動タイミング図、図14はこの動作における画素10内の概略ポテンシャル図である。なお、図14(後述の図16も同様)でCPD、CFD、CCSはそれぞれフォトダイオード31、フローティングディフュージョン33、蓄積キャパシタ36に蓄積された容量を示し、CFD+CCSはフローティングディフュージョン33と蓄積キャパシタ36との合成容量を示す。
各画素10に供給する共通の制御信号であるφXをハイレベルとし、ソースフォロアアンプ43内の選択トランジスタ38、41を共にオン状態に維持する。そして、光電荷蓄積を行う前に、同じく共通の制御信号であるφT、φC、φRをハイレベルとし、転送トランジスタ32、蓄積トランジスタ34、及びリセットトランジスタ35を共にオンする(時刻t0)。これにより、フローティングディフュージョン33及び蓄積キャパシタ36はリセット(初期化)される。またこのとき、フォトダイオード31は完全に空乏化された状態にある。このときのポテンシャルが図14(a)である。
次にφRをローレベルにしてリセットトランジスタ35をオフすると、フローティングディフュージョン33にはこのフローティングディフュージョン33と蓄積キャパシタ36で発生するランダムノイズと、ソースフォロアアンプ43のトランジスタ37の閾値電圧のばらつきに起因する固定パターンノイズを等価的に含むノイズ信号N2が生じ(図14(b)参照)、このノイズ信号N2に対応した出力が画素出力線141に現れる。そこで、このタイミング(時刻t1)で記憶部22にサンプリングパルスφN2を与えてサンプリングトランジスタ26dをオンすることにより、画素出力線141を通して出力されたノイズ信号N2を取り込んでキャパシタ25dに保持する。
次に、φCをローレベルにして蓄積トランジスタ34をオフすると、その時点でフローティングディフュージョン33及び蓄積キャパシタ36に蓄積されていた信号は、フローティングディフュージョン33と蓄積キャパシタ36とのそれぞれの容量CFD、CCSの比に応じて配分される(図14(c)参照)。このときフローティングディフュージョン33にはφCをオフしたときに発生するランダムノイズとソースフォロアアンプ43のトランジスタ37の閾値電圧のばらつきに起因する固定パターンノイズを等価的に含むノイズ信号N1が生じ、このノイズ信号N1に対応した出力が画素出力線141に現れる。そこで、このタイミング(時刻t2)で記憶部22にサンプリングパルスφN1を与えてサンプリングトランジスタ26cをオンすることにより、画素出力線141を通して出力されたノイズ信号N1を取り込んでキャパシタ25cに保持する。
転送トランジスタ32はオン状態に維持されるので、フォトダイオード31に入射した光により発生した光電荷は転送トランジスタ32を通して(図7(b)に示した状態)フローティングディフュージョン33に流れ込み、ノイズ信号N1に重畳してフローティングディフュージョン33に蓄積される(時刻t3)。仮に強い光が入射してフォトダイオード31で多量の光電荷が発生しフローティングディフュージョン33が飽和した場合には、オーバーフローした電荷が蓄積トランジスタ34を介して蓄積キャパシタ36に蓄積される(図14(d)参照)。蓄積トランジスタ34の閾値電圧を適宜に低く設定しておくことにより、フローティングディフュージョン33から蓄積キャパシタ36に効率良く電荷を転送することができる。これにより、フローティングディフュージョン33の容量CFDが小さく、そこに蓄積可能な最大飽和電荷量が少なくても、飽和した電荷を廃棄することなく有効に利用できる。このようにして、フローティングディフュージョン33での電荷飽和(オーバーフロー)前及び電荷飽和(オーバーフロー)後のいずれに発生した電荷も、出力に反映させることができる。
所定の光電荷蓄積時間(露光時間)が経過したならば、蓄積トランジスタ34をオフした状態で記憶部22にサンプリングパルスφS1を与えることでサンプリングトランジスタ26aをオンすることにより、その時点(時刻t4)でフローティングディフュージョン33に蓄積されている電荷に応じた信号を画素出力線141を通して取り込んでキャパシタ25aに保持する(図14(e)参照)。このときにフローティングディフュージョン33に蓄積されている信号はノイズ信号N1にオーバーフロー前の電荷に応じた信号S1が重畳されたものであるから、キャパシタ25aに保持されるのは、蓄積キャパシタ36に蓄積されている電荷の量を反映しないS1+N1である。
その直後にφCをハイレベルにして蓄積トランジスタ34をオンすると、その時点でフローティングディフュージョン33に保持されていた電荷と蓄積キャパシタ36に保持されていた電荷は混合される(図14(f)参照)。その状態で記憶部22にサンプリングパルスφS2を与えることでサンプリングトランジスタ26bをオンすることにより(時刻t5)、フローティングディフュージョン33及び蓄積キャパシタ36に蓄積されていた電荷に応じた信号、つまりノイズ信号N2にオーバーフロー後の電荷に応じた信号S2が重畳された信号を画素出力線141を通して取り込んでキャパシタ25bに保持する。従って、キャパシタ25bに保持されるのは、蓄積キャパシタ36に蓄積されている電荷の量を反映したS2+N2である。
以上のようにして、1個の記憶部22に含まれる4個のキャパシタ25a、25b、25c、25dにそれぞれ、信号S1+N1、S2+N2、N1、N2を保持し、これを以て1サイクルの画像信号の取り込みを終了する。上述のようにランダムノイズや固定パターンノイズを含むノイズ信号N1、N2が、これらノイズ信号を含む信号とは別に求まる。そこで、それぞれの信号をキャパシタ25a、25b、25c、25dから読み出した後に図示しないアナログ演算回路により減算処理することで、ノイズ信号N1、N2の影響を除去した高いS/Nの画像信号を得ることができる。また、フローティングディフュージョン33からオーバーフローした電荷も廃棄することなく利用できるので、強い光が入射した際にも飽和が起こりにくく、その光を反映した信号を得ることができ、広いダイナミックレンジを確保することができる。なお、こうしたダイナミックレンジの拡大が可能であることについての詳しい説明は、例えば特開2006−245522号公報などの文献に記載されているので、ここでは説明を省略する。
(B)露光電荷蓄積時間が相対的に長い場合の動作モード
次に、光電荷蓄積時間が相対的に長い場合の動作について説明する。図15は光電荷蓄積時間が相対的に長い場合の駆動タイミング図、図16はこの動作における画素内の概略ポテンシャル図である。
光電荷蓄積時間が短い場合と最も大きく異なる点は、光電荷蓄積期間中に転送トランジスタ32をオフし、フォトダイオード31で発生した光電荷を空乏層に蓄積することである。また、光電荷蓄積時間が長いため、消費電力を抑えるべくソースフォロアアンプ43の選択トランジスタ38、41を所定時間オフするようにしている。
光電荷蓄積を行う前にはφT、φC、φRをハイレベルとし、転送トランジスタ32、蓄積トランジスタ34及びリセットトランジスタ35を共にオンする(時刻t10)。これにより、フローティングディフュージョン33及び蓄積キャパシタ36はリセット(初期化)される。このとき、フォトダイオード31は完全に空乏化された状態にある。このときのポテンシャルの状態が図16(a)である。
次にφRをローレベルにしてリセットトランジスタ35をオフすると、フローティングディフュージョン33にはこのフローティングディフュージョン33と蓄積キャパシタ36で発生するランダムノイズと、ソースフォロアアンプ43のトランジスタ37の閾値電圧のばらつきに起因する固定パターンノイズを等価的に含むノイズ信号N2が生じ(図16(b)参照)、このノイズ信号N2に対応した出力が画素出力線141に現れる。そこで、このタイミング(時刻t11)で記憶部22にサンプリングパルスφN2を与えてサンプリングトランジスタ26dをオンすることにより、画素出力線141を通してノイズ信号N2を取り込んでキャパシタ25dに保持する。ここまでの動作は上記の光電荷蓄積時間が短い場合の動作モードと同じである。
次に、φCをローレベルにして蓄積トランジスタ34をオフすると、その時点でフローティングディフュージョン33及び蓄積キャパシタ36に蓄積されていた電荷は、フローティングディフュージョン33と蓄積キャパシタ36とのそれぞれの容量CFD、CCSの比に応じて配分される。さらにφTをローレベルにして転送トランジスタ32をオフし、φXもローレベルにしてソースフォロアアンプ43の2個の選択トランジスタ38、41もオフにする(時刻t12)。これにより、フォトダイオード31とフローティングディフュージョン33との間にはポテンシャル障壁が形成され、フォトダイオード31での光電荷の蓄積が可能な状態となる(図16(c)参照)。
フォトダイオード31に入射した光により発生した光電荷はフォトダイオード31に蓄積されるが、フォトダイオード31で電荷飽和が生じるとそれ以上の過剰な電荷はオーバーフローし転送トランジスタ32を介して、上述のように配分されたノイズ信号に重畳してフローティングディフュージョン33に蓄積される。さらに強い光が入射してフローティングディフュージョン33で飽和が生じると、オーバーフローした電荷が蓄積トランジスタ34を介して蓄積キャパシタ36に蓄積される(図16(d)参照)。
蓄積トランジスタ34の閾値電圧を転送トランジスタ32の閾値電圧よりも適宜に低く設定しておくことにより、フローティングディフュージョン33で飽和した電荷をフォトダイオード31側に戻すことなく蓄積キャパシタ36に効率良く転送することができる。これにより、フローティングディフュージョン33の容量CFDが小さく、そこに蓄積可能な電荷量が少なくても、オーバーフローした電荷を廃棄することなく有効に利用できる。このようにして、フローティングディフュージョン33でのオーバーフロー前及びオーバーフロー後のいずれに発生した電荷も出力に反映させることができる。
所定の光電荷蓄積時間が経過したならば、φXをハイレベルにして選択トランジスタ38、41をオンした後に、記憶部22にサンプリングパルスφN1を与えることでサンプリングトランジスタ26cをオンすることにより、その時点(時刻t13)でフローティングディフュージョン33に蓄積されている信号電荷に対応したノイズ信号N1を画素出力線141を通して取り込んでキャパシタ25cに保持する。このときのノイズ信号N1にはソースフォロアアンプ43のトランジスタ37の閾値電圧のばらつきに起因する固定パターンノイズが含まれる。なお、このときにはノイズのみならず光電変換により生起された光電荷の一部も含まれるが、ここではこれもノイズとみなしている。
次に、φTをハイレベルにして転送トランジスタ32をオンさせ、フォトダイオード31に蓄積されていた光電荷をフローティングディフュージョン33に完全に転送する(図16(e)参照)。その直後に(時刻t14)、記憶部22にサンプリングパルスφS1を与えることでサンプリングトランジスタ26aをオンすることにより、フローティングディフュージョン33に蓄積されている電荷に応じた信号を画素出力線141を通して取り込んでキャパシタ25aに保持する。このときの信号は先のノイズ信号N1にフォトダイオード31に蓄積されていた電荷による信号、つまりオーバーフロー前の信号S1が重畳したものであるから、S1+N1である。
続いて、φCをハイレベルにして蓄積トランジスタ34をオンすると、その時点でフローティングディフュージョン33に保持されていた電荷と蓄積キャパシタ36に保持されていた電荷は混合される(図16(f)参照)。その状態で(時刻t15)記憶部22にサンプリングパルスφS2を与えることでサンプリングトランジスタ26bをオンすることにより、フローティングディフュージョン33及び蓄積キャパシタ36に蓄積されていた電荷に応じた信号を画素出力線141を通して取り込んでキャパシタ25bに保持する。このときの信号はS2+N2となる。
以上のようにして、1個の記憶部22に含まれる4個のキャパシタ25a、25b、25c、25dにそれぞれ、信号S1+N1、S2+N2、N1、N2を保持し、これを以て1サイクルの画像信号の取り込みを終了する。光電荷蓄積時間が短い場合の動作モードと同様に、ランダムノイズや固定パターンノイズを含むノイズ信号N1、N2が、これらノイズ信号を含む信号とは別に求まる。そこで、それぞれの信号をキャパシタ25a、25b、25c、25dから読み出した後に減算等のアナログ演算処理することで、ノイズ信号N1、N2の影響を除去した高いS/Nの画像信号を得ることができる。また、フローティングディフュージョン33からオーバーフローした電荷も廃棄することなく利用できるので、強い光が入射した際にも飽和が起こりにくく、その光を反映した信号を得ることができ、広いダイナミックレンジを確保することができる。
上述のように各画素10に供給される制御信号φX、φT、φR、φCは全画素共通であるため、全ての画素10で同時に上記のような光電荷蓄積動作、及び各画素10から記憶部22への信号の転送動作が行われる。つまり、上記1サイクルで1フレーム分の画像信号が、図3、図4中の記憶部ユニット行21内の記憶部22に保持される。バースト読み出しモードでは、この動作が104回繰り返されることで、全ての記憶部ユニット行21内の記憶部22に画素信号が保持される。105回目以降は再び1番上の記憶部ユニット行21中の各記憶部22に信号が書き込まれるというように循環的に保持動作が実行される。例えば、このような動作を外部から撮影停止の指示信号が与えられるまで繰り返す。撮影停止の指示信号が与えられて撮影が中止されると、その時点で最新の104フレーム分の画素信号が記憶領域3a、3bに保持されている。これを逐次読み出しすることで104フレームの連続した画像信号を得ることができる。
なお、各記憶部22において上述のように既に何らかの信号が保持されているキャパシタに新たな信号を保持する際には、それ以前の信号を廃棄するべくリセットを実行する必要がある。そのため、図示しないものの、各画素出力線141にはそれぞれリセット用のトランジスタが接続されており、或る記憶部のキャパシタをリセットする際にはその記憶部のサンプリングトランジスタがオンされるとともに対応する画素出力線に接続されているリセット用トランジスタがオンされ、キャパシタに蓄積されている信号はサンプリングトランジスタ、画素出力線を通してリセットされる。こうしたリセットが実行された後に、新たな信号がキャパシタに保持される。
次に、記憶領域3a、3bからの信号の逐次読み出しの動作について説明する。図17は連続読み出しモードにおける1フレーム分の逐次読み出しの動作タイミング図、図18はバースト読み出しモードにおける逐次読み出しの動作タイミング図、図19は各記憶部22の読み出し順序を示す模式図である。
各記憶部22のキャパシタ25に保持された信号は、同一の出力線23に接続された読み出しトランジスタ27を順番にオンすることにより読み出される。同一の記憶部22の4個の読み出しトランジスタ27a〜27dはそれぞれ異なる出力線23a〜23dに接続されているから、同一の記憶部22内の4個のキャパシタ25a〜25dにそれぞれ保持されている信号を同時に読み出すことができる。そして、素子の外部又は内部に設けられた図示しない減算回路で(S1+N1)−N1、(S2+N2)−N2の減算処理を行うことにより、ランダムノイズや固定パターンノイズを除去したS1、S2信号を取り出すことができる。なお、画素信号としてS1とS2のいずれを使用するかは、S1の飽和信号量以下の適当な信号レベルを基準として、それ以上か又はそれ未満かによってそれぞれS1、S2を選択する。飽和信号量以下でこの切り替えを実施することによって、S1の飽和ばらつきの影響を回避することができる。
一例として、図11に示した1フレーム目の320個の記憶部ユニット20の中で、左端側の記憶部ユニットブロック50における読み出し順序を説明する。まず左端の記憶部ユニット20−01において、図8に示す水平方向の1行目の記憶部22の画素信号を左から右に向かって順に11画素分読み出す。この記憶部ユニット20−01は、水平シフトレジスタHSR1と垂直シフトレジスタVSR1とが能動化されることで選択され、水平方向の読み出しクロックH−CLKにより、水平方向の左から右方向へ1個ずつ記憶部22の読み出しトランジスタ27をオンするパルス信号が移動する。こうして1行分の読み出しが終わると、垂直方向への読み出しを進めるクロックV−CLKが与えられ、これにより次の2行目の記憶部22に移り、同様にこれを左から右に向かって11画素分読み出す。この繰り返しにより、12行目の終わりまで画素信号の読み出しを行う。
その後に、水平シフトレジスタHSR2と垂直シフトレジスタVSR1とが能動化されることで、右隣の記憶部ユニット20−02が選択され、図18、図19に示すように、読み出し対象がこの記憶部ユニット20−02へ移る。そうして先と同様に、行→列の順に1画素分ずつ各記憶部の読み出しトランジスタ27をオンすることにより信号を読み出す。こうして順に記憶部ユニットの選択を記憶部ユニット20−10まで進め、前記記憶部ユニット20−10の12行目の記憶部22の読み出しを終了すると、1フレーム分の読み出しが完了する。別の記憶部ユニットブロック50でも上記と並行して、対応する記憶部ユニットの記憶部からの信号の読み出しが実行される。
バースト読み出しモードにおける逐次読み出しの際には、上述のようにして1フレーム目の全ての画素信号の読み出しが終了した後に、引き続き、2フレーム目の画素信号の読み出しが開始される。即ち、図18に示すように、水平シフトレジスタHSR1と垂直シフトレジスタVSR2とが能動化されることで、図11に示した2行目の記憶部ユニットの中の左端のものが選択されるから、1フレーム目と同様の順序で読み出しが実行され、これを繰り返すことで104フレームまでの読み出しが完了する。
但し、読み出しの手順はこれに限定されるものではなく、適宜に変更することができる。例えば、バースト読み出しモードにおいては、一番上の水平方向に並んだ記憶部ユニット20に保持されている画素信号が時間的に最も古いものであるとは限らない。何故なら、上から下に向かって順番に各フレーム毎に信号の書き込みを行い、どのフレームで書き込み停止が為されるかは決まっていないためである。従って、好ましくは、最後に書き込みを行った行のその次の行から順番に逐次読み出しを行うようにすれば、時系列順に画像信号を取得することができる。
この固体撮像素子では、連続読み出しモードとバースト読み出しモードとでは各画素に供給する制御信号や、記憶部を制御する水平シフトレジスタ、垂直シフトレジスタの駆動信号などが相違するだけであるので、簡単に且つ迅速に外部からの制御指令に応じて切り替えることができる。次に、この切り替えを利用した、本実施例の固体撮像素子を用いた撮影動作の形態について説明する。図20、図21は、それぞれ本固体撮像素子を用いた撮影動作の一形態を示す概略タイミング図である。
図20に示した例では、上述した連続読み出しモードにより1フレームずつ読み出された画像信号を、固体撮像素子の外部の画像処理回路(可能であれば固体撮像素子に内蔵してもよい)で処理することで目的とする被写体の動きや変化を検知する。このときの処理には、例えば複数のフレーム間の画像信号の差を利用する等、従来知られている各種の動き検知処理技術を利用することができる。また、その際には画像全体でなく、ユーザーにより指定される画像中の特定の範囲内の変化や動きを検知するようにしてもよい。そうした処理の結果、被写体に動きや変化があったことが認識されると、それに応じてトリガ信号が生成される。このトリガ信号が与えられることにより、連続読み出しモードからバースト読み出しモードへと移行して104フレーム(又は指定された適宜のフレーム数)の高速撮影を実行し、バースト読み出しモードで素子外部に読み出された画素信号は外部のフレームメモリに格納される。そして、固体撮像素子では104フレーム(又は指定された適宜のフレーム数)分のバースト読み出しを終えると再び連続読み出しモードに戻る。
一方、図21に示した例では、基本的にはバースト読み出しモードにおける繰り返し速度での光電荷蓄積及び各画素から記憶部への信号転送を繰り返し、それを所定のフレーム数繰り返す毎に連続読み出しモードにおける光電荷蓄積とそれにより取得した画素信号の外部への逐次読み出しとを実行する。この逐次読み出しの際には同時に、バースト読み出しモードにおける繰り返し速度での光電荷蓄積及び各画素から記憶部への信号転送を行うことができる。逐次読み出しにより読み出された画素信号に基づき上記例と同様に、外部の画像処理回路で被写体の動きや変化を検知し、その検知結果に基づいてトリガ信号を生成する。トリガ信号が与えられるとバースト読み出しモードにおける各画素から記憶部への信号転送を停止するが、その際に、トリガ信号の生成時点から所定時間又は所定フレーム数の遅延を与えて信号の書き込みを停止するようにしてもよい。
この例の場合、記憶領域3a、3bの記憶部22には常に過去の104フレーム分の画素信号が保持されているので、トリガ信号の発生以降だけでなくトリガ信号の発生時点から過去に遡った画像を取得することができる。図21に示したタイミング図では、連続読み出しモードで読み出される信号に対応した光電荷の蓄積を行う際に露光時間が長くしてあるが、これをバースト読み出しモードの光電荷蓄積における露光時間と同一にしてもよい。これにより、トリガ信号発生時点よりも過去の画像を得たい場合に、画像が得られない期間を短くすることができる。
また、本実施例の固体撮像素子では、各画素10でソースフォロアアンプ43を通してアナログ電圧信号を各画素出力線に出力しているので、バースト読み出し用に用意された記憶部と連続読み出し用に用意された記憶部とで同時にサンプリングを行ってそれぞれのキャパシタに信号を保持することも可能である。これにより、連続読み出しを途中で行ってもバースト読み出しを途中で途切れさせることがなく、連続的な高速撮影画像を得ることができる。
上記説明では、連続読み出しモードにおいて全ての画素信号を読み出すようにしていたが、例えばこの画像に基づいて被写体の変化の有無を監視しトリガ信号を生成するような目的であれば、空間的な解像度が多少劣化しても構わない場合が多い。そこで、例えば画素領域上で水平方向に1個おき又は2個おき、垂直方向に1個おき又は2個おきなど、間引き読み出しを行うことにより、1フレームに対して読み出す画素信号の数を減らし読み出し時間を短縮することができる。
図22(a)は、画素領域2(2a、2b)上で水平方向及び垂直方向にそれぞれ1個おきの間引き読み出しを実行したときに、読み出される画素10を示す模式図である。この図では、読み出される画素を斜線で示している。この場合には、読み出される画素信号の数は全体の1/4となるので、総読み出し時間は約6.6μ秒で済む。図22(b)は、画素領域2(2a、2b)上で水平方向にのみ1個おきの間引き読み出しを実行したときに、読み出される画素10を示す模式図である。この場合には、読み出される画素信号の数は全体の1/2となるので、総読み出し時間は約13.2μ秒となる。
また、上記のような単純な間引き読み出しでは利用できる信号が減ってしまうが、画素領域2(2a、2b)上で隣接する複数の画素の信号を加算して読み出すこともできる。即ち、上述したように記憶部ユニットブロック50毎に出力線23は共通であるから、異なる記憶部22内の読み出しトランジスタ27を同時にオンしてキャパシタ25の保持電圧を出力すれば、その電圧信号は出力線23上でアナログ的に加算される。従って、例えば図23(a)に示すように水平方向、垂直方向に隣接する2画素ずつの合計4画素の画素信号を加算して出力することにより、総読み出し時間は上記間引き読み出し時と同じ約6.6μ秒で済む。また、信号が無駄にならないので、上記のような間引き読み出しに比べてS/Nを向上させることができる。
また、加算する複数の画素を選択する際に、上記のように画素領域2(2a、2b)内の水平方向、垂直方向で同じように画素を区切るのではなく、図23(b)に示すように、水平方向、垂直方向で隣接する画素の集合の区切りが互い違いになるように、同時にオンさせる読み出しトランジスタの選択を行うようにしてもよい。これにより、複数画素の画素信号をまとめてしまったことによる見た目の解像度の低下を、或る程度抑えることができる。
なお、上述の間引き読み出しや複数画素の加算処理なども、記憶領域3a、3b内の各記憶部22を駆動する垂直シフトレジスタ回路、水平シフトレジスタ回路の制御の切り替えで行うことができ、画素領域2(2a、2b)内の各画素10の構成などには全く影響を与えない。従って、上記のように画素信号の読み出し方法を変更する場合にも自由度が高い。
なお、上記実施例は本発明に係る固体撮像素子及びその駆動方法の一例であり、本発明の趣旨の範囲で適宜変形や修正、追加を行っても本願請求の範囲に包含されることは当然である。

Claims (25)

  1. 光を受光して光電荷を生成する光電変換素子と、前記光電変換素子で生成された光電荷を検出ノードへ転送する転送素子と、前記検出ノードから画素出力線に信号を送出するバッファ素子とを少なくとも含む画素が二次元のアレイ状に複数配列され、前記画素出力線は画素毎に独立して設けられ、画素出力線を通して各画素から出力される信号を保持する記憶部を各画素に対して1つ以上有して成る固体撮像素子の駆動方法であって、
    各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を前記記憶部の1つに保持する動作を全画素で一斉に行い、それに引き続いてその1フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第1の駆動モードと、
    各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を前記記憶部の1つに保持する動作を全画素で一斉に、且つ信号を保持させる記憶部を順番に指定しながら繰り返し行い、複数フレーム分の信号が各記憶部に保持された後にその複数フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第2の駆動モードと、
    の少なくとも一方を実行することを特徴とする固体撮像素子の駆動方法。
  2. 請求項1に記載の固体撮像素子の駆動方法であって、
    前記記憶部は各画素に対して複数設けられ、第1の駆動モードと第2の駆動モードとを選択的に又は並行的に実行することを特徴とする固体撮像素子の駆動方法。
  3. 請求項2に記載の固体撮像素子の駆動方法であって、
    1画素に対応した1つの記憶部はノイズ信号を保持する記憶単位と光電荷に応じた信号を保持する記憶単位とを少なくとも含み、
    各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持させる際に、ノイズ信号を全画素一斉に保持させる動作と光電荷に応じた信号を全画素一斉に保持させる動作とを異なるタイミングで行い、記憶部からの信号の逐次読み出し時に、各記憶単位からノイズ信号と光電荷に応じた信号とを並行して読み出して出力することを特徴とする固体撮像素子の駆動方法。
  4. 請求項2に記載の固体撮像素子の駆動方法であって、
    各画素は、光電荷の蓄積動作時に前記光電変換素子から前記転送素子を通してオーバーフローした又は前記検出ノードからオーバーフローした光電荷を蓄積する電荷蓄積素子を少なくとも1つ含むとともに、1画素に対応した1つの記憶部は4つの記憶単位を有し、
    各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持させる際に、オーバーフロー前のノイズ信号、オーバーフロー後のノイズ信号、オーバーフロー前の電荷に応じた信号、オーバーフロー後の電荷に応じた信号をそれぞれ画素信号線を通して前記4つの記憶単位に順番に保持させる動作を全画素一斉に行い、記憶部からの信号の逐次読み出し時に、各記憶単位からオーバーフロー前のノイズ信号、オーバーフロー後のノイズ信号、オーバーフロー前の電荷に応じた信号、及びオーバーフロー後の電荷に応じた信号を並行して読み出して出力することを特徴とする固体撮像素子の駆動方法。
  5. 請求項2に記載の固体撮像素子の駆動方法であって、
    第2の駆動モードにおいては、各画素に対応する複数の記憶部の全てに信号を保持した次に、時間的に最も古い信号を保持している記憶部をリセットして新たな信号を保持するように、複数の記憶部を循環的に用いた信号保持動作を行い、停止指示に応じて記憶部への新たな信号の保持動作を停止することを特徴とする固体撮像素子の駆動方法。
  6. 請求項5に記載の固体撮像素子の駆動方法であって、
    第1の駆動モードを実行することにより出力される1フレーム分又は複数フレーム分の全体又はその中の一部の画像情報に基づいて特定のイベントを検知し、その検知結果に応じて第2の駆動モードを実行することを特徴とする固体撮像素子の駆動方法。
  7. 請求項5に記載の固体撮像素子の駆動方法であって、
    第1の駆動モードと第2の駆動モードとを任意の回数又は時間毎に交互に実行することを特徴とする固体撮像素子の駆動方法。
  8. 請求項2に記載の固体撮像素子の駆動方法であって、
    第1の駆動モードの動作時に第2の駆動モードのための前記記憶部の一部を利用することを特徴とする固体撮像素子の駆動方法。
  9. 請求項2に記載の固体撮像素子の駆動方法であって、
    第1の駆動モードのための記憶部と第2の駆動モードのための記憶部とを独立して設けたことを特徴とする固体撮像素子の駆動方法。
  10. 請求項1〜9のいずれかに記載の固体撮像素子の駆動方法であって、
    記憶部からの信号の逐次読み出しに際して、二次元のアレイ状に複数配列された画素の中の特定の画素に対応した信号を選択的に逐次読み出して出力することを特徴とする固体撮像素子の駆動方法。
  11. 請求項1〜9のいずれかに記載の固体撮像素子の駆動方法であって、
    二次元のアレイ状に複数配列された画素の中の隣接する又は近接する画素に対応した信号を記憶部から同時に読み出してアナログ的な加算処理又は平均化処理を行うことを特徴とする固体撮像素子の駆動方法。
  12. 請求項11に記載の固体撮像素子の駆動方法であって、
    前記アナログ的な加算処理又は平均化処理を行う際の複数の画素の組み合わせを、二次元のアレイ状の配列において水平方向及び垂直方向で互い違いに選択することを特徴とする固体撮像素子の駆動方法。
  13. 請求項1〜9のいずれかに記載の固体撮像素子の駆動方法であって、
    時間的に隣接する又は近接する異なるフレーム中で空間的に同一位置の1乃至複数の画素に対応した信号を記憶部から同時に読み出してアナログ的な加算処理又は平均化処理を行うことを特徴とする固体撮像素子の駆動方法。
  14. a)光を受光して光電荷を生成する光電変換素子と、前記光電変換素子で生成された光電荷を検出ノードへ転送する転送素子と、前記検出ノードから後記画素出力線に信号を送出するバッファ素子とを少なくとも含み、二次元のアレイ状に配列された複数の画素と、
    b)画素毎に独立して設けられた画素出力線と、
    c)前記画素出力線を通して各画素から出力される信号を保持するために各画素に対して複数設けられた記憶部と、
    d)各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持する動作を全画素で一斉に行い、それに引き続いてその1フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第1の駆動モードと、各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持する動作を全画素で一斉に、且つ信号を保持させる記憶部を順番に指定しながら繰り返し行い、複数フレーム分の信号が各記憶部に保持された後にその複数フレーム分の信号を各画素に対応した記憶部から逐次読み出して出力するように各画素及び各記憶部を動作させる第2の駆動モードと、を実行する駆動制御手段と、
    を備えることを特徴とする固体撮像素子。
  15. 請求項14に記載の固体撮像素子であって、
    1画素に対応した1つの記憶部はノイズ信号を保持する記憶単位と光電荷に応じた信号を保持する記憶単位とを少なくとも含み、
    前記駆動制御手段は、各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持させる際に、ノイズ信号を全画素一斉に保持させる動作と光電荷に応じた信号を全画素一斉に保持させる動作とを異なるタイミングで行い、記憶部からの信号の逐次読み出し時に、各記憶単位からノイズ信号と光電荷に応じた信号とを並行して読み出して出力することを特徴とする固体撮像素子。
  16. 請求項14に記載の固体撮像素子であって、
    各画素は、光電荷の蓄積動作時に前記光電変換素子から前記転送素子を通してオーバーフローした又は前記検出ノードからオーバーフローした光電荷を蓄積する電荷蓄積素子を少なくとも1つ含むとともに、1画素に対応した1つの記憶部は4つの記憶単位を有し、
    前記駆動制御手段は、各画素における光電荷の蓄積動作及び画素出力線を通して画素から出力された信号を複数の記憶部の1つに保持させる際に、オーバーフロー前のノイズ信号、オーバーフロー後のノイズ信号、オーバーフロー前の電荷に応じた信号、オーバーフロー後の電荷に応じた信号をそれぞれ画素信号線を通して前記4つの記憶単位に順番に保持させる動作を全画素一斉に行い、記憶部からの信号の逐次読み出し時に、各記憶単位からオーバーフロー前のノイズ信号、オーバーフロー後のノイズ信号、オーバーフロー前の電荷に応じた信号、及びオーバーフロー後の電荷に応じた信号を並行して読み出して出力することを特徴とする固体撮像素子。
  17. 請求項14に記載の固体撮像素子であって、
    前記駆動制御手段は、第2の駆動モードにおいては、各画素に対応する複数の記憶部の全てに信号を保持した次に、時間的に最も古い信号を保持している記憶部をリセットして新たな信号を保持するように、複数の記憶部を循環的に用いた信号保持動作を行い、停止指示に応じて記憶部への新たな信号の保持動作を停止することを特徴とする固体撮像素子。
  18. 請求項17に記載の固体撮像素子であって、
    第1の駆動モードを実行することにより出力される1フレーム分又は複数フレーム分の全体又はその中の一部の画像情報に基づいて特定のイベントを検知するイベント検知手段を備え、前記駆動制御手段は、前記イベント検知手段による検知に応じて第2の駆動モードを実行することを特徴とする固体撮像素子。
  19. 請求項17に記載の固体撮像素子であって、
    前記駆動制御手段は、第1の駆動モードと第2の駆動モードとを任意の回数又は時間毎に交互に実行することを特徴とする固体撮像素子。
  20. 請求項14に記載の固体撮像素子であって、
    第1の駆動モードの動作時に第2の駆動モードのための前記記憶部の一部を利用することを特徴とする固体撮像素子。
  21. 請求項14に記載の固体撮像素子であって、
    第1の駆動モードのための前記記憶部と第2の駆動モードのための前記記憶部とを独立して設けたことを特徴とする固体撮像素子。
  22. 請求項14〜21のいずれかに記載の固体撮像素子であって、
    前記駆動制御手段は、記憶部からの信号の逐次読み出しに際して、二次元のアレイ状に複数配列された画素の中の特定の画素に対応した信号を選択的に逐次読み出して出力することを特徴とする固体撮像素子。
  23. 請求項14〜21のいずれかに記載の固体撮像素子であって、
    前記駆動制御手段は、二次元のアレイ状に複数配列された画素の中の隣接する又は近接する画素に対応した信号を記憶部から同時に読み出し、アナログ的な加算処理又は平均化処理を行うことを特徴とする固体撮像素子。
  24. 請求項23に記載の固体撮像素子であって、
    前記アナログ的な加算処理又は平均化処理を行う際の複数の画素の組み合わせを、二次元のアレイ状の配列において水平方向及び垂直方向で互い違いに選択することを特徴とする固体撮像素子。
  25. 請求項14〜21のいずれかに記載の固体撮像素子であって、
    前記駆動制御手段は、時間的に隣接する又は近接する異なるフレーム中で空間的に同一位置の1乃至複数の画素に対応した信号を記憶部から同時に読み出し、アナログ的な加算処理又は平均化処理を行うことを特徴とする固体撮像素子。
JP2009531124A 2007-09-05 2008-09-04 固体撮像素子及びその駆動方法 Active JP4844853B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009531124A JP4844853B2 (ja) 2007-09-05 2008-09-04 固体撮像素子及びその駆動方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007230179 2007-09-05
JP2007230179 2007-09-05
PCT/JP2008/002426 WO2009031302A1 (ja) 2007-09-05 2008-09-04 固体撮像素子及びその駆動方法
JP2009531124A JP4844853B2 (ja) 2007-09-05 2008-09-04 固体撮像素子及びその駆動方法

Publications (2)

Publication Number Publication Date
JPWO2009031302A1 JPWO2009031302A1 (ja) 2010-12-09
JP4844853B2 true JP4844853B2 (ja) 2011-12-28

Family

ID=40428626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009531124A Active JP4844853B2 (ja) 2007-09-05 2008-09-04 固体撮像素子及びその駆動方法

Country Status (7)

Country Link
US (1) US8482640B2 (ja)
EP (3) EP2663071B1 (ja)
JP (1) JP4844853B2 (ja)
KR (1) KR101036596B1 (ja)
CN (1) CN101796821B (ja)
TW (1) TWI405462B (ja)
WO (1) WO2009031302A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115937B2 (ja) * 2007-09-05 2013-01-09 国立大学法人東北大学 固体撮像素子及びその製造方法
US9420210B2 (en) * 2008-06-10 2016-08-16 Tohoku University Solid-state image sensor for capturing high-speed phenomena and drive method for the same
JP5412152B2 (ja) * 2009-03-18 2014-02-12 株式会社日立国際電気 撮像方法及び撮像装置
JP2011204878A (ja) * 2010-03-25 2011-10-13 Sony Corp 固体撮像デバイスおよび電子機器
JP4657379B1 (ja) * 2010-09-01 2011-03-23 株式会社ナックイメージテクノロジー 高速度ビデオカメラ
WO2012107995A1 (ja) * 2011-02-08 2012-08-16 国立大学法人東北大学 固体撮像素子及びその駆動方法
US8937666B1 (en) * 2012-10-09 2015-01-20 Google Inc. User interface for providing feedback for handheld image capture
JP6021613B2 (ja) * 2012-11-29 2016-11-09 キヤノン株式会社 撮像素子、撮像装置、および、撮像システム
JP2015060053A (ja) 2013-09-18 2015-03-30 株式会社東芝 固体撮像装置、制御装置及び制御プログラム
US20170336254A1 (en) * 2014-11-20 2017-11-23 Shimadzu Corporation Photodetector
JP6218799B2 (ja) 2015-01-05 2017-10-25 キヤノン株式会社 撮像素子及び撮像装置
US10070088B2 (en) * 2015-01-05 2018-09-04 Canon Kabushiki Kaisha Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation
US9749548B2 (en) 2015-01-22 2017-08-29 Google Inc. Virtual linebuffers for image signal processors
US9769356B2 (en) 2015-04-23 2017-09-19 Google Inc. Two dimensional shift array for image processor
US9756268B2 (en) 2015-04-23 2017-09-05 Google Inc. Line buffer unit for image processor
US10095479B2 (en) * 2015-04-23 2018-10-09 Google Llc Virtual image processor instruction set architecture (ISA) and memory model and exemplary target hardware having a two-dimensional shift array structure
US9965824B2 (en) 2015-04-23 2018-05-08 Google Llc Architecture for high performance, power efficient, programmable image processing
US10291813B2 (en) 2015-04-23 2019-05-14 Google Llc Sheet generator for image processor
US9785423B2 (en) 2015-04-23 2017-10-10 Google Inc. Compiler for translating between a virtual image processor instruction set architecture (ISA) and target hardware having a two-dimensional shift array structure
US9772852B2 (en) 2015-04-23 2017-09-26 Google Inc. Energy efficient processor core architecture for image processor
JP6239026B2 (ja) * 2015-05-29 2017-11-29 キヤノン株式会社 撮像素子および撮像装置
US9830150B2 (en) 2015-12-04 2017-11-28 Google Llc Multi-functional execution lane for image processor
US10313641B2 (en) 2015-12-04 2019-06-04 Google Llc Shift register with reduced wiring complexity
US10204396B2 (en) 2016-02-26 2019-02-12 Google Llc Compiler managed memory for image processor
US10387988B2 (en) 2016-02-26 2019-08-20 Google Llc Compiler techniques for mapping program code to a high performance, power efficient, programmable image processing hardware platform
US10380969B2 (en) 2016-02-28 2019-08-13 Google Llc Macro I/O unit for image processor
US20180005346A1 (en) 2016-07-01 2018-01-04 Google Inc. Core Processes For Block Operations On An Image Processor Having A Two-Dimensional Execution Lane Array and A Two-Dimensional Shift Register
US20180007302A1 (en) 2016-07-01 2018-01-04 Google Inc. Block Operations For An Image Processor Having A Two-Dimensional Execution Lane Array and A Two-Dimensional Shift Register
US20180005059A1 (en) 2016-07-01 2018-01-04 Google Inc. Statistics Operations On Two Dimensional Image Processor
US10546211B2 (en) 2016-07-01 2020-01-28 Google Llc Convolutional neural network on programmable two dimensional image processor
JP7330124B2 (ja) * 2020-03-19 2023-08-21 株式会社東芝 固体撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62190753A (ja) 1986-02-18 1987-08-20 Agency Of Ind Science & Technol 輪郭抽出用半導体装置
JPS63174356A (ja) 1987-01-14 1988-07-18 Agency Of Ind Science & Technol 画像処理用半導体装置
JPH0773339B2 (ja) 1992-06-04 1995-08-02 学校法人近畿大学 撮影装置
US6377304B1 (en) * 1998-02-05 2002-04-23 Nikon Corporation Solid-state image-pickup devices exhibiting faster video-frame processing rates, and associated methods
JP4326050B2 (ja) 1998-09-22 2009-09-02 ハイスペック合資会社 高速撮像素子
EP1166359A1 (de) 1999-03-04 2002-01-02 Böhm, Markus Bildsensoreinrichtung
TW411705B (en) 1999-03-15 2000-11-11 Avision Inc Charge transfer method for CCD image sensing device
US7136097B1 (en) * 1999-10-04 2006-11-14 Hamamatsu Photonics K.K. Camera system for high-speed image processing including selection of at least one frame based on processed results
JP3704052B2 (ja) 2000-03-28 2005-10-05 リンク・リサーチ株式会社 高速撮像素子及び高速撮影装置
JP2002354340A (ja) * 2001-05-24 2002-12-06 Olympus Optical Co Ltd 撮像装置
US7027092B2 (en) 2001-09-17 2006-04-11 Hewlett-Packard Development Company, L.P. Image capture and storage device
US20030206236A1 (en) * 2002-05-06 2003-11-06 Agfa Corporation CMOS digital image sensor system and method
US7586074B2 (en) * 2003-02-17 2009-09-08 Raytheon Company Multi-mode high capacity dual integration direct injection detector input circuit
US7154075B2 (en) * 2003-11-13 2006-12-26 Micron Technology, Inc. Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
EP1732134B1 (en) * 2004-02-27 2012-10-24 National University Corporation Tohoku Unversity Solid-state imagine device, line sensor, optical sensor, and method for operating solid-state imaging device
JP2005286677A (ja) * 2004-03-30 2005-10-13 Olympus Corp 撮像装置
GB0411648D0 (en) * 2004-05-25 2004-06-30 Fillfactory N V Method and pixel for performing correlated double sampling
JP2006101479A (ja) * 2004-09-02 2006-04-13 Canon Inc 固体撮像装置及びそれを用いたカメラ
JP5066704B2 (ja) 2005-02-04 2012-11-07 国立大学法人東北大学 固体撮像装置、および固体撮像装置の動作方法
WO2007010753A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. 撮像データ処理装置、撮像データ処理方法および撮像素子
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置

Also Published As

Publication number Publication date
EP2665256A1 (en) 2013-11-20
EP2192765B1 (en) 2015-11-11
WO2009031302A1 (ja) 2009-03-12
KR20100039884A (ko) 2010-04-16
US20100188538A1 (en) 2010-07-29
EP2663071A3 (en) 2013-11-20
EP2663071B1 (en) 2015-11-18
TW200920118A (en) 2009-05-01
JPWO2009031302A1 (ja) 2010-12-09
EP2663071A2 (en) 2013-11-13
EP2665256B1 (en) 2015-11-18
US8482640B2 (en) 2013-07-09
TWI405462B (zh) 2013-08-11
EP2192765A1 (en) 2010-06-02
EP2192765A4 (en) 2010-08-11
CN101796821A (zh) 2010-08-04
CN101796821B (zh) 2012-12-12
KR101036596B1 (ko) 2011-05-24

Similar Documents

Publication Publication Date Title
JP4844853B2 (ja) 固体撮像素子及びその駆動方法
JP4844854B2 (ja) 固体撮像素子及び撮影装置
JP4978818B2 (ja) 固体撮像素子及びその駆動方法
JP4931160B2 (ja) 固体撮像素子
KR101213451B1 (ko) 고체촬상소자
JP5115937B2 (ja) 固体撮像素子及びその製造方法
KR101945051B1 (ko) 전자 기기 및 전자 기기의 구동 방법
JP2017055328A (ja) 撮像装置及び撮像システム
JP6574653B2 (ja) 撮像装置及び撮像システム
JP6412347B2 (ja) 画素回路およびこれを搭載した撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4844853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250