JP7101721B2

JP7101721B2 - 固体撮像素子

Info

Publication number: JP7101721B2
Application number: JP2020092483A
Authority: JP
Inventors: 康弘松本; 佳直森川
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2019-08-01
Filing date: 2020-05-27
Publication date: 2022-07-15
Anticipated expiration: 2040-05-27
Also published as: JP2021027578A; US11146750B2; US20210037205A1

Description

本発明は、固体撮像素子に関する。

従来から、すべての単位画素から同時タイミングで画像データを出力するグローバルシャッター方式の固体撮像素子（以下、「グローバルシャッターＣＩＳ」）の研究開発が盛んに行われている。従来のグローバルシャッターＣＩＳは、シャッター動作中はすべての単位画素が制御されて動作する状態となることから、チップ全体の電源揺れ等に起因して大きなノイズが生じる。そのため、グローバルシャッターＣＩＳは、シャッター動作中に信号のアナログデジタル変換など他の動作を行うことができず、露光時間終了後にアナログデジタル変換を開始するなどシーケンシャルに動作する。例えば特許文献１に開示された撮像素子もグローバルシャッター方式のものであり、シーケンシャルに動作する。

近年、露光時間中に信号のアナログデジタル変換を行うことができるグローバルシャッターＣＩＳが開発されるようになってきた。例えば、特許文献２には、露光時間中の画素による電荷蓄積をフォトダイオードのみで行うことにより、露光時間中に信号のアナログデジタル変換を行う固体撮像素子が開示されている。

国際公開第２０１０／０２３９０３号特開２０１４－６０５１９号公報

固体撮像素子における従来のシャッター方式には、上述のグローバルシャッター方式の他、単位画素の行毎に異なるタイミングで画像データを出力するローリングシャッター方式がある。ローリングシャッター方式の固体撮像素子（以下、「ローリングシャッターＣＩＳ」）は、信号のアナログデジタル変換中にシャッター動作を行う。特許文献１に開示された撮像素子は、上述のように露光時間終了後に信号のアナログデジタル変換を開始し、該アナログデジタル変換中はシャッター動作を行わないことから、ローリングシャッターＣＩＳに比べてフレームレートが低下するという問題点があった。

また、特許文献２に開示された固体撮像素子は、露光時間終了後に信号のアナログデジタル変換を開始する従来のグローバルシャッターＣＩＳよりもフレームレートは向上する。しかしながら、この固体撮像素子は、フォトダイオードに蓄積された電荷を単位画素のアナログメモリに転送せず、アナログメモリでの電荷蓄積を行わない。そのため、飽和電荷量のダイナミックレンジが低下するという問題点があった。

本発明は、前記の各問題点に鑑みてなされたものであり、その目的は、飽和電荷量のダイナミックレンジの低下を防ぎまたは減らしつつ、フレームレートがローリングシャッターＣＩＳと同程度のグローバルシャッターＣＩＳを実現する。

（１）本発明の一実施形態は、グローバルシャッター方式の固体撮像素子であって、入射光量に応じた電荷量の電荷を発生させて蓄積する光電変換素子と、前記光電変換素子から転送された前記電荷を蓄積するメモリと、を有する、マトリックス状に配置された複数の単位画素と、シャッター動作を行い、かつ、複数の単位画素から前記メモリに蓄積された前記電荷の前記電荷量に関するアナログ信号を読み出す垂直駆動部と、前記垂直駆動部によって読み出された前記アナログ信号をアナログデジタル変換するＡＤ変換部と、を備え、前記垂直駆動部は、前記ＡＤ変換部が前記アナログデジタル変換を開始してから終了するまでの間に前記シャッター動作を行い、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間はデジタル信号を出力しない、固体撮像素子。
（２）また、本発明のある実施形態は、前記（１）の構成に加え、前記垂直駆動部による複数回の前記シャッター動作および前記ＡＤ変換部による複数回の前記アナログデジタル変換がパイプライン処理されるように、前記垂直駆動部および前記ＡＤ変換部を制御する制御部をさらに備えた、固体撮像素子。
（３）また、本発明のある実施形態は、前記（１）または（２）の構成に加え、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間、前記デジタル信号を出力する動作を停止する、固体撮像素子。
（４）また、本発明のある実施形態は、前記（３）の構成に加え、前記ＡＤ変換部から前記アナログデジタル変換が実行される毎に出力される複数の前記デジタル信号を記憶する記憶部と、前記ＡＤ変換部から前記アナログデジタル変換が実行される毎に出力される複数の前記デジタル信号を信号処理する処理部と、をさらに備え、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間、前記アナログデジタル変換を停止し、前記処理部は、前記記憶部に記憶された複数の前記デジタル信号の中から、前記ＡＤ変換部が前記アナログデジタル変換を停止した期間に生成される予定であった２行分以上の前記単位画素に対応する前記デジタル信号を、バッファデータとして前記信号処理に使用する、固体撮像素子。
（５）また、本発明のある実施形態は、グローバルシャッター方式の固体撮像素子であって、入射光量に応じた電荷量の電荷を発生させて蓄積する光電変換素子と、前記光電変換素子から転送された前記電荷を蓄積するメモリと、を有する、マトリックス状に配置された複数の単位画素と、シャッター動作を行い、かつ、前記複数の単位画素から前記メモリに蓄積された前記電荷の前記電荷量に関するアナログ信号を読み出す垂直駆動部と、前記垂直駆動部によって読み出された前記アナログ信号をアナログデジタル変換するＡＤ変換部と、を備え、前記垂直駆動部は、前記ＡＤ変換部が前記アナログデジタル変換を開始してから終了するまでの間に前記シャッター動作を行い、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間も前記アナログデジタル変換を行うとともに、前記アナログデジタル変換により生成したデジタル信号を無効化する、固体撮像素子。

本発明の一態様によれば、飽和電荷量のダイナミックレンジの低下を防ぎまたは減らしつつ、フレームレートがローリングシャッターＣＩＳと同程度のグローバルシャッターＣＩＳを実現する。

本発明の一実施形態に係る固体撮像素子の概要構成を示す回路図である。前記固体撮像素子の動作概要を示すフローチャートである。前記固体撮像素子における画像データの出力原理の一例を示すタイミングチャートである。本発明の一実施形態における第１の変形例に係る固体撮像素子について、画像データの出力原理の一例を示すタイミングチャートである。本発明の一実施形態における第２の変形例に係る固体撮像素子について、画像データの出力原理の一例を示すタイミングチャートである。

〔固体撮像素子の回路構成〕
まず、図１を用いて、本発明の一実施形態に係る固体撮像素子１の回路構成について説明する。固体撮像素子１は、グローバルシャッターＣＩＳであり、例えばグローバルシャッター方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。

図１に示すように、固体撮像素子１は、画素アレイ部２、垂直駆動部３、ＡＤＣ部４、水平駆動部５、制御部６および処理部７を備えている。画素アレイ部２は、ｍ行×ｎ列（ｍ、ｎともに２以上の任意の自然数）のマトリックス状に配置された複数の単位画素２１を有している。なお、「行」は、紙面向かって左右方向の単位画素２１の配列を指し、「列」は、紙面向かって上下方向の単位画素２１の配列を指す。

単位画素２１は、入射光量に応じた電荷量の電荷を発生させて蓄積するフォトダイオード２１ａを有している。フォトダイオード２１ａは、本発明に係る光電変換素子の一例である。また、単位画素２１は、フォトダイオード２１ａに蓄積された電荷が転送されるアナログメモリ２１ｂを有している。アナログメモリ２１ｂは、本発明に係るメモリの一例であり、下記の垂直駆動部３による読み出し動作の開始まで、フォトダイオード２１ａから転送された電荷を蓄積し、一時的に保持する。

垂直駆動部３は、例えばシフトレジスタまたはアドレスデコーダによって構成され、画素アレイ部２の複数の単位画素２１について、すべての単位画素２１を同時に、あるいは単位画素の２１の行単位等で駆動する。具体的には、垂直駆動部３は、シャッター動作および読み出し動作を行う。シャッター動作および読み出し動作の詳細については後述する。

ＡＤ変換部４は、ｎ個のＡＤＣ４１を備えている。つまり、単位画素２１の列毎に、垂直信号線２２を介して１つのＡＤＣ４１と接続されている。垂直信号線２２は、単位画素２１の列毎に、該単位画素２１の列に沿って形成されている。ＡＤＣ４１は、アナログデジタル変換器であり、垂直駆動部３の読み出し動作によって複数の単位画素２１から出力されたアナログ信号をアナログデジタル変換し、デジタル信号を生成する。生成されたデジタル信号は、それぞれのＡＤＣ４１から後述の処理部７に出力される。

水平駆動部５は、例えばシフトレジスタまたはアドレスデコーダによって構成され、ＡＤ変換部４のｎ個のＡＤＣ４１を順番に選択する。この選択走査により、ＡＤ変換部４で生成されたデジタル信号が順番に後述の処理部７に出力される。

制御部６は、例えば各種のタイミング信号を生成するタイミングジェネレータによって構成され、生成したタイミング信号を出力することにより、垂直駆動部３および水平駆動部５の駆動制御を行う。

さらに、制御部６は、垂直駆動部３による複数回のシャッター動作およびＡＤ変換部４による複数回のアナログデジタル変換がパイプライン処理されるように、垂直駆動部３のシャッター動作およびＡＤ変換部４のアナログデジタル変換を制御する。この制御により、固体撮像素子１のフレームレートがさらに向上する。なお、制御部６による、前記パイプライン処理を実現するための垂直駆動部３およびＡＤ変換部４の制御は、必須ではない。

処理部７は、少なくとも加算処理機能を有しており、ＡＤ変換部４から出力されたデジタル信号を信号処理して画像データを生成し、出力する。この信号処理は、ＡＤ変換部４がアナログデジタル変換を実行する毎に、連動して実行される。

また、処理部７には、ＡＤ変換部４からアナログデジタル変換が実行される毎に出力される複数のデジタル信号を記憶する記憶部７１が内蔵されている。記憶部７１は、例えばＳＲＡＭ（Static Random Access Memory）である。また、記憶部７１は、処理部７の信号処理に必要な各種データ、および処理部７が信号処理によって生成した画像データを記憶する。なお、記憶部７１は、処理部７に内蔵されていなくてもよい。記憶部７１は、例えば固体撮像素子１に内蔵され、かつ処理部７の外部に配置されていてもよい。

〔固体撮像素子の動作概要〕
次に、図２を用いて、固体撮像素子１の動作概要について説明する。まず、垂直駆動部３はシャッター動作を行う（Ｓ１０）。シャッター動作とは、垂直駆動部３が、複数の単位画素２１のすべてについて、フォトダイオード２１ａに蓄積された不要な電荷を一旦掃き出させ、その後、すべてのフォトダイオード２１ａに新たな電荷の蓄積を開始させることを指す。言い換えれば、シャッター動作とは、垂直駆動部３が複数の単位画素２１のフォトダイオード２１ａをすべてリセットして、リセット後のフォトダイオード２１ａに新たな露光を開始させることを指す。

Ｓ１０の後、新たな電荷の蓄積を開始したすべてのフォトダイオード２１ａは、蓄積した電荷をアナログメモリ２１ｂに転送する（Ｓ１１）。アナログメモリ２１ｂは、転送された電荷を一時的に保持する。Ｓ１１の後、垂直駆動部３は読み出し動作を行う（Ｓ１２）。

読み出し動作とは、シャッター動作後、複数の単位画素２１のすべてから、アナログメモリ２１ｂに蓄積された電荷の電荷量に関するアナログ信号を一括して読み出す動作を指す。具体的には、垂直駆動部３は、複数の単位画素２１のすべてを選択する選択信号を画素アレイ部２に出力する。選択信号が入力されたそれぞれの単位画素２１は、アナログメモリ２１ｂに蓄積された電荷の電荷量に関する情報をアナログ信号に変換する。次に、垂直駆動部３は、それぞれの単位画素２１から変換後のアナログ信号を出力させる。この一連の動作が読み出し動作となる。複数の単位画素２１のすべてから出力されたアナログ信号は、対応する垂直信号線２２を通じてＡＤ変換部４に入力される。

Ｓ１０～Ｓ１２の期間、つまり、シャッター動作による不要な電荷の掃き出しタイミングから読み出し動作によるアナログ信号の読み出しタイミングまでの期間が、複数の単位画素２１のそれぞれにおける電荷の蓄積時間、言い換えれば露光時間となる。

Ｓ１２の後、ＡＤ変換部４は、入力されたアナログ信号をアナログデジタル変換してデジタル信号を生成する（Ｓ１３）。このとき、垂直駆動部３は、ＡＤ変換部４がアナログデジタル変換を開始してから終了するまでの間において、いずれかのタイミングでＳ１０のシャッター動作の次のシャッター動作を行う。以下、Ｓ１０のシャッター動作の次のシャッター動作を「次回シャッター動作」とする。

ＡＤ変換部４は、垂直駆動部３が次回シャッター動作を開始してから終了するまでの間、アナログデジタル変換を一時的に停止する。したがって、本来、垂直駆動部３が次回シャッター動作を開始してから終了するまでの間に生成される予定であった単位画素２１の列分のデジタル信号は生成されないこととなる。

Ｓ１３の後、ＡＤ変換部４は、水平駆動部５の選択走査によって、ＡＤＣ４１毎に生成したデジタル信号を処理部７に順番に出力する（Ｓ１４）。但し、ＡＤ変換部４は、垂直駆動部３が次回シャッター動作を開始してから終了するまでの間はデジタル信号の出力動作を一時的に停止する。ＡＤ変換部４から出力されたデジタル信号は、処理部７内の記憶部７１に記憶される。

Ｓ１４の後、処理部７は、記憶部７１に記憶されたデジタル信号を使用して信号処理を行い、画像データを生成する（Ｓ１５）。この信号処理では、処理部７は、記憶部７１に記憶された複数のデジタル信号の中から、ＡＤ変換部４がアナログデジタル変換を停止した期間に生成される予定であった２行分以上の単位画素２１に対応するデジタル信号を、バッファデータとして使用する。本実施形態では、処理部７は、２行分の単位画素２１に対応するバッファデータを使用するものとする。

信号処理による画像データの生成は、具体的には、処理部７が記憶部７１から基礎画像データを読み出し、該基礎画像データに対して各種画像処理を行うことにより実現される。基礎画像データは、記憶部７１に記憶されたデジタル信号およびバッファデータで構成される。処理部７は、各種画像処理として、基礎画像データに対してデジタルゲイン、黒補正等のレベル補正および加算平均合成を行う。画像データを生成した処理部７は、該画像データを記憶部７１に一旦記憶する。但し、処理部７は、生成した画像データを記憶部７１に一旦記憶することなく、生成後直ちに出力してもよい。

なお、処理部７による各種画像処理は、記憶部７１から読み出した基礎画像データに対して行われなくてもよい。例えば処理部７は、ＡＤ変換部４から出力されたデジタル信号に対して、該デジタル信号が記憶部７１に記憶される前に各種画像処理を行ってもよい。この場合、各種画像処理が行われた後のデジタル信号が、記憶部７１に記憶されることになる。

Ｓ１６の後、処理部７は、記憶部７１から生成した画像データを読み出し、出力する（Ｓ１６）。バッファデータの使用により、処理部７は画像データをシームレスに出力することができる。

固体撮像素子１は、上述のＳ１０～Ｓ１６の各処理を、シャッター動作を繰り返す毎に実行する。ここで、上述のＳ１０～Ｓ１６の各処理は、制御部６による垂直駆動部３のシャッター動作の制御およびＡＤ変換部４のアナログデジタル変換の制御によってパイプライン処理される。

なお、固体撮像素子１が上述のＳ１０～Ｓ１６の各処理を行う間、ＡＤ変換部４は、例えば垂直駆動部３が次回シャッター動作を開始してから終了するまでの間も、アナログデジタル変換を行ってもよい。この場合、ＡＤ変換部４は、垂直駆動部３が次回シャッター動作を開始してから終了するまでの間、デジタル信号の出力を一時的に停止する動作を必ず行わなければならない。

また例えば、ＡＤ変換部４は、垂直駆動部３が次回シャッター動作を開始してから終了するまでの間も、デジタル信号の出力動作を行ってもよい。この場合、ＡＤ変換部４は、垂直駆動部３が次回シャッター動作を開始してから終了するまでの間、アナログデジタル変換を一時的に停止する動作を必ず行わなければならない。

つまり、固体撮像素子１は、垂直駆動部３がシャッター動作を開始してから終了するまでの間は、ＡＤ変換部４がデジタル信号を出力しない構成になっていればよい。

〔画像データの出力原理〕
次に、図３を用いて、固体撮像素子１の画像データの出力原理について説明する。なお、図３中の「Ｈ」は単位画素２１の行を表し、例えば「１Ｈ～４Ｈ」は第１行目の単位画素２１の行から第４行目の単位画素２１の行までを表す。また、図３中の「ＧＲ」はシャッター動作を表し、「Ｍ」は電荷のアナログメモリ２１ｂへの転送を表し、「Ｒ」はアナログデジタル変換により生成された単位画素２１の列分のデジタル信号を表す。

さらに、図３中の「記憶タイミング」は、記憶部７１がＡＤ変換部４から出力されたデジタル信号を記憶するタイミングのことを指す。「記憶部読み出しタイミング」は、処理部７が、信号処理のために記憶部７１からデジタル信号を読み出すタイミングのことを指す。これらのことは、図４および図５についても同様である。

まず、図３中の時間軸（紙面向かって左右方向に延伸する矢印）よりも紙面向かって上側の図に示すように、１ＨからｍＨまでのすべての単位画素２１の行について、垂直駆動部３による１回目の「ＧＲ」が行われる。１回目の「ＧＲ」が行われると、すべての単位画素２１のフォトダイオード２１ａが一括して「Ｍ」を行う。

その後、垂直駆動部３の読み出し動作によって、１Ｈから順に、アナログ信号をＡＤ変換部４に出力する。アナログ信号が入力されたＡＤ変換部４は、１Ｈのアナログ信号から順にアナログデジタル変換を行う。図３の例では、１Ｈのデジタル信号が「Ｒ０」、２Ｈのデジタル信号が「Ｒ１」、４Ｈのデジタル信号が「３」などとなっている。

図３の例の場合、垂直駆動部３は、本来９Ｈのアナログ信号がアナログデジタル変換されるタイミングで２回目の「ＧＲ」を行う。ＡＤ変換部４は、２回目の「ＧＲ」中はアナログデジタル変換を一時的に停止する。２回目の「ＧＲ」が終了した後、ＡＤ変換部４はアナログデジタル変換を再開する。そのため、９Ｈのデジタル信号である「８」以降の各デジタル信号は、２回目の「ＧＲ」の時間分だけ生成されるタイミングがずれる。

上述のアナログデジタル変換の停止により、図３中の時間軸よりも紙面向かって下側の図に示すように、本来９Ｈのデジタル信号である「８」が生成されるタイミングの時間帯は、デジタル信号が存在しない空白期間となる。

生成された１Ｈ～ｍＨのデジタル信号は、順次、水平駆動部５によってＡＤ変換部４から出力される。このとき、本来９Ｈのデジタル信号である「８」が生成されるタイミングの時間帯は２回目の「ＧＲ」中であることから、ＡＤ変換部４はこの時間帯でのデジタル信号の出力動作を一時的に停止する。したがって、本来８Ｈのデジタル信号である「７」が出力されるタイミングの時間帯は、転送されるデジタル信号が存在しない空白期間となる。

２回目の「ＧＲ」が終了した後、水平駆動部５によってＡＤ変換部４のデジタル信号の出力動作が再開する。そのため、８Ｈのデジタル信号である「７」以降の各デジタル信号は、２回目の「ＧＲ」の時間分だけ出力されるタイミングがずれる。

また、ＡＤ変換部４から出力された「７」以降の各デジタル信号は、２回目の「ＧＲ」の時間分だけ出力されるタイミングがずれることから、図３中の時間軸よりも紙面向かって下側の図に示すように「記憶タイミング」も２回目の「ＧＲ」の時間分だけずれる。また、本来８Ｈのデジタル信号である「７」が記憶部７１に記憶されるタイミングの時間帯は、記憶されるデジタル信号が存在しない空白期間となる。

しかしながら、処理部７は、信号処理では、１つの「Ｈ」分のデジタル信号を読み出す時間分だけずらして記憶部７１から各デジタル信号を読み出すように、「記憶部読み出しタイミング」が設定されている。また処理部７は、信号処理では、記憶部７１から２行分の単位画素２１に対応するバッファデータも読み出す。図３の例では、処理部７は、ＡＤ変換部４が過去に生成・出力したデジタル信号「７」および「８」を、バッファデータとして記憶部７１から読み出す。なお次回の信号処理では、処理部７は、ＡＤ変換部４が過去に生成・出力したデジタル信号「５」および「６」を、バッファデータとして記憶部７１から読み出す。

そのため、「記憶部読み出しタイミング」の時点ではデジタル信号が存在しない空白期間が存在しなくなり、処理部７は、従来のグローバルシャッターＣＩＳと同様のシームレスな状態でデジタル信号を信号処理することができる。

前記のようなタイミングで信号処理できることから、処理部７は、図３中の時間軸よりも紙面向かって下側の図に示すように、従来のグローバルシャッターＣＩＳと同様のシームレスな状態で画像データを出力することができる。

なお、処理部７は、信号処理で、２行分以上の単位画素２１に対応するバッファデータを使用しなくてもよい。この場合、画像データの出力時に該画像データが存在しない空白期間ができてしまうものの、飽和電荷量のダイナミックレンジの低下を防ぎまたは減らしつつ、ローリングシャッターＣＩＳと同程度のフレームレートを実現することはできる。

〔変形例〕
次に、図４および図５を用いて、本発明の一実施形態に係る固体撮像素子１の変形例について説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

＜第１の変形例＞
まず固体撮像素子１は、図４に示すように、処理部７が信号処理で３行分の単位画素２１に対応するバッファデータを使用してもよい。図４の例の場合、図４中の時間軸よりも紙面向かって上側の図に示すように、垂直駆動部３は、本来９Ｈのアナログ信号がアナログデジタル変換されるタイミングで２回目の「ＧＲ」を行う。ＡＤ変換部４は、２回目の「ＧＲ」の開始から終了までの間（以下、「２回目の「ＧＲ」中」と表記）、および本来８Ｈのアナログ信号がアナログデジタル変換される間は、アナログデジタル変換を一時的に停止する。つまりＡＤ変換部４は、２回目の「ＧＲ」中の他、２回目の「ＧＲ」が行われるタイミングの１つ前のタイミングでアナログデジタル変換が行われる間、該アナログデジタル変換を一時的に停止する。

２回目の「ＧＲ」が終了した後、ＡＤ変換部４はアナログデジタル変換を再開する。そのため、８Ｈのデジタル信号である「７」以降の各デジタル信号は、２回目の「ＧＲ」の時間分、および８Ｈのアナログ信号がアナログデジタル変換される期間分だけ生成されるタイミングがずれる。

上述のアナログデジタル変換の停止により、図４中の時間軸よりも紙面向かって下側の図に示すように、本来８Ｈ・９Ｈのデジタル信号である「７」・「８」が生成されるタイミングの時間帯は、デジタル信号が存在しない空白期間となる。

生成された１Ｈ～ｍＨのデジタル信号は、順次、水平駆動部５によってＡＤ変換部４から出力される。このとき、本来８Ｈ・９Ｈのデジタル信号である「７」・「８」が出力されるタイミングの時間帯は、転送されるデジタル信号が存在しない空白期間となる。

２回目の「ＧＲ」が終了した後、水平駆動部５によってＡＤ変換部４のデジタル信号の出力動作が再開する。そのため、８Ｈのデジタル信号である「７」以降の各デジタル信号は、２回目の「ＧＲ」の時間分、および８Ｈのアナログ信号がアナログデジタル変換される期間分だけ出力されるタイミングがずれる。

また、ＡＤ変換部４から出力された「７」以降の各デジタル信号は、前記の時間分および期間分だけ出力されるタイミングがずれることから、図４中の時間軸よりも紙面向かって下側の図に示すように「記憶タイミング」も前記の時間分および期間分だけずれる。また、本来８Ｈ・９Ｈのデジタル信号である「７」・「８」が記憶部７１に記憶されるタイミングの時間帯は、記憶されるデジタル信号が存在しない空白期間となる。

しかしながら、処理部７の信号処理では、２つの「Ｈ」分のデジタル信号を読み出す時間分だけずらして記憶部７１から各デジタル信号を読み出すように、「記憶部読み出しタイミング」が設定されている。また、処理部７の信号処理では、記憶部７１から３行分の単位画素２１に対応するバッファデータも読み出される。そのため、「記憶部読み出しタイミング」の時点ではデジタル信号が存在しない空白期間が存在しなくなり、処理部７は、従来のグローバルシャッターＣＩＳと同様のシームレスな状態でデジタル信号を信号処理することができる。

前記のようなタイミングで信号処理できることから、処理部７は、図４中の時間軸よりも紙面向かって下側の図に示すように、従来のグローバルシャッターＣＩＳと同様のシームレスな状態で画像データを出力することができる。

なお、図４に示す変形例において、２回目の「ＧＲ」中以外でアナログデジタル変換を一時的に停止する期間は、例えば、２回目の「ＧＲ」が行われるタイミングの１つ後のタイミングでアナログデジタル変換が行われる期間であってもよい。

＜第２の変形例＞
次に、固体撮像素子１は、図５に示すように、ＡＤ変換部４が、垂直駆動部３が２回目の「ＧＲ」を開始してから終了するまでの間もアナログデジタル変換を行ってもよい。この場合、ＡＤ変換部４は、アナログデジタル変換により生成したデジタル信号を無効化する。

図５の例の場合、図５中の時間軸よりも紙面向かって上側の図に示すように、垂直駆動部３は、９Ｈのアナログ信号がアナログデジタル変換されるタイミングで２回目の「ＧＲ」を行う。しかしながら、ＡＤ変換部４は、２回目の「ＧＲ」中もアナログデジタル変換を行うことから、９Ｈのアナログ信号はデジタル信号に変換される。

ここで、ＡＤ変換部４は、２回目の「ＧＲ」中に生成された９Ｈのデジタル信号については、ノイズの影響を受けていることから処理部７による信号処理の対象となるデジタル信号「８」としない。つまり、図５中の時間軸よりも紙面向かって下側の図に示すように、ＡＤ変換部４は、２回目の「ＧＲ」中に生成された９Ｈのデジタル信号を信号処理が行われないダミー信号「Ｄ０」とする。次に、ＡＤ変換部４は、一旦生成したダミー信号「Ｄ０」を無効化する。「ダミー信号「Ｄ０」の無効化」とは、例えば、ダミー信号「Ｄ０」をＡＤ変換部４に内蔵された不図示のメモリに格納して出力しない処理、またはダミー信号「Ｄ０」を消去する処理を挙げることができる。

ダミー信号「Ｄ０」を無効化した後の固体撮像素子１の各部の動作、デジタル信号の出力タイミング、「記憶タイミング」およびバッファデータの使用態様等については、図３の例と同様である。このような、ノイズの影響を受けたデジタル信号を無効化する方法を採用しても、従来のグローバルシャッターＣＩＳと同様のシームレスな状態で画像データを出力することができる。

〔まとめ〕
本発明の態様１に係る固体撮像素子（１）は、グローバルシャッター方式の固体撮像素子であって、入射光量に応じた電荷量の電荷を発生させて蓄積する光電変換素子（フォトダイオード２１ａ）と、前記光電変換素子から転送された前記電荷を蓄積するメモリ（アナログメモリ２１ｂ）と、を有する、マトリックス状に配置された複数の単位画素（２１）と、シャッター動作を行い、かつ、複数の単位画素から前記メモリに蓄積された前記電荷の前記電荷量に関するアナログ信号を読み出す垂直駆動部（３）と、前記垂直駆動部によって読み出された前記アナログ信号をアナログデジタル変換するＡＤ変換部（４）と、を備え、前記垂直駆動部は、前記ＡＤ変換部が前記アナログデジタル変換を開始してから終了するまでの間に前記シャッター動作を行い、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間はデジタル信号を出力しない。

前記構成によれば、垂直駆動部は、ＡＤ変換部がアナログデジタル変換を開始した後から終了する前までの間にシャッター動作を行う。また、垂直駆動部がシャッター動作を開始してから終了するまでの間、ＡＤ変換部からノイズの影響を受けたデジタル信号が出力されない。そのため、ＡＤ変換部は、アナログデジタル変換中のシャッター動作の実行に起因するノイズの影響が排除されたデジタル信号を出力することができる。よって、グローバルシャッター方式の固体撮像素子（以下、「グローバルシャッターＣＩＳ」）において、ローリングシャッター方式の固体撮像素子（以下、「ローリングシャッターＣＩＳ」）と同程度のフレームレートを実現することができる。

さらに、前記構成によれば、複数の単位画素のそれぞれが有するメモリは、光電変換素子から転送された電荷を蓄積する。つまり、光電変換素子に発生した電荷を蓄積するためにメモリを使用することができる。よって、ローリングシャッターＣＩＳと同程度のフレームレートを実現したグローバルシャッターＣＩＳにおいて、飽和電荷量のダイナミックレンジの低下を防ぐまたは減らすことができる。

本発明の態様２に係る固体撮像素子は、前記態様１において、前記垂直駆動部による複数回の前記シャッター動作および前記ＡＤ変換部による複数回の前記アナログデジタル変換がパイプライン処理されるように、前記垂直駆動部および前記ＡＤ変換部を制御する制御部をさらに備えていてもよい。

前記構成によれば、制御部により、複数回のシャッター動作および複数回の前記アナログデジタル変換がパイプライン処理される。よって、グローバルシャッターＣＩＳのフレームレートをより向上させることができる。

本発明の態様３に係る固体撮像素子は、前記態様１または２において、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間、前記デジタル信号を出力する動作を停止してもよい。

前記構成によれは、ＡＤ変換部のデジタル信号を出力する動作について、垂直駆動部がシャッター動作を開始してから終了するまでの間は、アナログデジタル変換の一時停止に起因するノイズの影響を受けることがない。そのため、アナログデジタル変換の再開後も、ＡＤ変換部はデジタル信号を出力する動作を安定的に行うことができる。

本発明の態様４に係る固体撮像素子は、前記態様３において、前記ＡＤ変換部から前記アナログデジタル変換が実行される毎に出力される複数の前記デジタル信号を記憶する記憶部（７１）と、前記ＡＤ変換部から前記アナログデジタル変換が実行される毎に出力される複数の前記デジタル信号を信号処理する処理部（７）と、をさらに備え、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間、前記アナログデジタル変換を停止し、前記処理部は、前記記憶部に記憶された複数の前記デジタル信号の中から、前記ＡＤ変換部が前記アナログデジタル変換を停止した期間に生成される予定であった２行分以上の前記単位画素に対応する前記デジタル信号を、バッファデータとして前記信号処理に使用してもよい。

前記構成によれば、垂直駆動部が、シャッター動作を開始してから終了するまでの間はデジタル信号の出力動作を停止しても、処理部は、信号処理で２行分以上の単位画素分のバッファデータを使用することができる。よって、処理部は、垂直駆動部がデジタル信号の出力動作を停止し、かつ、ＡＤ変換部がアナログデジタル変換を停止しても、信号処理によってシームレスな画像データを出力することができる。

本発明の態様５に係る固体撮像素子は、グローバルシャッター方式の固体撮像素子（１）であって、入射光量に応じた電荷量の電荷を発生させて蓄積する光電変換素子（フォトダイオード２１ａ）と、前記光電変換素子から転送された前記電荷を蓄積するメモリ（アナログメモリ２１ｂ）と、を有する、マトリックス状に配置された複数の単位画素（２１）と、シャッター動作を行い、かつ、前記複数の単位画素から前記メモリに蓄積された前記電荷の前記電荷量に関するアナログ信号を読み出す垂直駆動部（２）と、前記垂直駆動部によって読み出された前記アナログ信号をアナログデジタル変換するＡＤ変換部（４）と、を備え、前記垂直駆動部は、前記ＡＤ変換部が前記アナログデジタル変換を開始してから終了するまでの間に前記シャッター動作を行い、前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間も前記アナログデジタル変換を行うとともに、前記アナログデジタル変換により生成したデジタル信号を無効化してもよい。

前記構成によれば、ＡＤ変換部はアナログデジタル変換を行いつつ、該アナログデジタル変換中のシャッター動作の実行に起因するノイズの影響が排除されたデジタル信号を出力できる。そのため、通常のＡＤ変換部と同様にアナログデジタル変換を行う分、ＡＤ変換部の一連の動作中に発生するノイズを低減できる。また、ＡＤ変換部は通常のＡＤ変換部と略同じ制御・回路構成を採用することができることから、性能の発揮が安定したグローバルシャッターＣＩＳを実現することができる。

〔付記事項〕
本発明は上述した実施形態および変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態および変形例のそれぞれに開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態および変形例のそれぞれに開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１固体撮像素子
３垂直駆動部
４ＡＤ変換部
７処理部
２１単位画素
２１ａフォトダイオード（光電変換素子）
２１ｂアナログメモリ（メモリ）
７１記憶部

Claims

グローバルシャッター方式の固体撮像素子であって、
入射光量に応じた電荷量の電荷を発生させて蓄積する光電変換素子と、前記光電変換素子から転送された前記電荷を蓄積するメモリと、を有する、マトリックス状に配置された複数の単位画素と、
シャッター動作を行い、かつ、前記複数の単位画素から前記メモリに蓄積された前記電荷の前記電荷量に関するアナログ信号を読み出す垂直駆動部と、
前記垂直駆動部によって読み出された前記アナログ信号をアナログデジタル変換するＡＤ変換部と、
前記ＡＤ変換部から前記アナログデジタル変換が実行される毎に出力される複数のデジタル信号を記憶する記憶部と、
前記記憶部に記憶された前記複数のデジタル信号を信号処理する処理部と、を備え、
前記垂直駆動部は、前記ＡＤ変換部が前記アナログデジタル変換を開始してから終了するまでの間に前記シャッター動作を行い、
前記ＡＤ変換部は、前記垂直駆動部が前記シャッター動作を開始してから終了するまでの間も前記アナログデジタル変換を行うとともに、前記アナログデジタル変換により生成した前記デジタル信号を消去することにより、前記シャッター動作に起因するノイズの影響を受けた前記デジタル信号を無効化し、
前記処理部は、前記信号処理にて、１行分以上の前記単位画素に対応する前記デジタル信号を読み出す時間分だけずれるように設定された記憶部読み出しタイミングで、前記記憶部から前記デジタル信号を読み出す、固体撮像素子。