JP5168319B2 - Solid-state imaging device and driving method of solid-state imaging device - Google Patents
Solid-state imaging device and driving method of solid-state imaging device Download PDFInfo
- Publication number
- JP5168319B2 JP5168319B2 JP2010120890A JP2010120890A JP5168319B2 JP 5168319 B2 JP5168319 B2 JP 5168319B2 JP 2010120890 A JP2010120890 A JP 2010120890A JP 2010120890 A JP2010120890 A JP 2010120890A JP 5168319 B2 JP5168319 B2 JP 5168319B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- pixel array
- array unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、固体撮像装置および固体撮像装置の駆動方法に関し、特に暗所など非常に光量が少ない環境下で用いて好適な固体撮像装置および当該固体撮像装置の駆動方法に関する。 The present invention relates to a solid-state imaging device and a driving method of the solid-state imaging device, and more particularly to a solid-state imaging device suitable for use in an environment with a very small amount of light such as a dark place and a driving method of the solid-state imaging device.
電荷転送型固体撮像装置、例えばCCD(Charge Coupled Device)イメージセンサや、MOS型イメージセンサ、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサに代表される固体撮像装置は、動画を撮影するビデオカメラや、静止画を撮影する電子スチルカメラ等、各種の映像機器においてその撮像デバイスとして利用されている。 Solid-state imaging devices represented by charge transfer solid-state imaging devices such as CCD (Charge Coupled Device) image sensors and MOS-type image sensors such as CMOS (Complementary Metal Oxide Semiconductor) image sensors, video cameras that shoot moving images, It is used as an imaging device in various video equipment such as an electronic still camera that captures still images.
近年、半導体技術の進歩により数百万画素の固体撮像装置が開発され、高解像度が要求されるデジタルスチルカメラや映画用のビデオカメラなどのカメラ装置(撮像装置)においてその撮像デバイスとして利用されている。そのような固体撮像装置を利用したカメラ装置において、近年、夜景などを撮像する場合など、暗い場所で良好な画質を求める声が高まっており、この要求に応えるべく、画素の光電変換素子として、入射した光に対して多くの電子を発生させる光電子増倍膜を用いる技術が提案されている(例えば、特許文献1,2参照)。
In recent years, solid-state imaging devices with millions of pixels have been developed due to advances in semiconductor technology and used as imaging devices in camera devices (imaging devices) such as digital still cameras and movie video cameras that require high resolution. Yes. In camera devices using such solid-state imaging devices, in recent years, there has been an increasing demand for good image quality in dark places, such as when shooting night scenes, etc. Techniques using a photomultiplier film that generates many electrons with respect to incident light have been proposed (see, for example,
この光電子増倍膜を用いる技術は、未来の撮像装置技術として非常に期待されている。しかしながら、光電子増倍膜は、暗所など非常に光量が少ない(光強度が弱い)環境下では十分な能力を発揮できるものの、野外や蛍光灯下など、暗所に比べて光量が多い(光強度が強い)環境下では、光電子増倍膜の感度が高すぎるが故に瞬時に飽和領域に達してしまうために、階調をもった出力信号を得ることが困難であり、未だ民生機器に利用されるまでに至っていないのが現状である。このような問題は、光電子増倍膜を用いた光電変換素子に限らず、電荷の蓄積容量が小さく、瞬時に飽和領域に達する光電変換素子全般に言えることである。 The technology using this photomultiplier film is highly expected as a future imaging device technology. However, although the photomultiplier film can perform sufficiently in an environment with a very small amount of light (low light intensity) such as in a dark place, the photomultiplier film has a larger amount of light than in a dark place such as outdoors or under a fluorescent light (light In a high-strength environment, the sensitivity of the photomultiplier film is too high, so it reaches the saturation region instantly, making it difficult to obtain an output signal with gradation, and it is still used in consumer equipment The current situation has not been reached. Such a problem is not limited to a photoelectric conversion element using a photomultiplier film, but can be applied to all photoelectric conversion elements that have a small charge storage capacity and instantaneously reach a saturation region.
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、光電子増倍膜など、瞬時に飽和領域に達する光電変換素子を用いた場合において、野外や蛍光灯下など、暗所に比べて光量が多い環境下でも、十分に満足できるレベルでの撮像が可能な固体撮像装置および固体撮像装置の駆動方法を提供することにある。 The present invention has been made in view of the above problems, and the object of the present invention is in the case of using a photoelectric conversion element that instantaneously reaches a saturation region, such as a photomultiplier film, in the field, under a fluorescent lamp, etc. Another object of the present invention is to provide a solid-state imaging device and a driving method for the solid-state imaging device capable of imaging at a sufficiently satisfactory level even in an environment where the amount of light is larger than that in a dark place.
上記目的を達成するために、本発明では、光電変換素子を含む画素が行列状に配置されてなる画素アレイ部を有する固体撮像装置において、前記画素アレイ部からの信号を受け取ってアナログ・デジタル変換するAD変換部を設け、前記画素アレイ部の各画素から読み出される信号を記憶する全画素分またはそれ以上の記憶手段を前記画素アレイ部と同一の基板上に設け、前記AD変換部と前記記憶手段の間に配置され、前記AD変換部と前記記憶手段の両方からの信号を受け取って加算または加算・平均化して、前記記憶手段に格納する演算手段を設け、前記記憶手段から読み出される各画素の信号を前記基板の外部に出力する最終出力段のデータレートよりも高速に前記画素アレイ部の各画素から信号を読み出して前記記憶手段に格納する駆動手段とを備えたことを特徴としている。
本発明の固体撮像装置では、さらに、前記画素アレイ部の各画素ごとに有するカラーフィルタと、前記画素アレイ部の各前記画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する動きベクトル検出手段を備え、前記記憶手段は、1つのアドレスについて、前記カラーフィルタごとに記憶領域を持ち、前記演算手段で加算または加算・平均化する前に、前記動きベクトル検出手段の検出結果に基づいて、前記画素アレイ部から読み出された各画素の信号を前記記憶手段に格納するアドレスの補正が行われ、アドレスの補正後、各前記カラーフィルタにおける出力値及び加算回数が、前記記憶手段に記憶されることを特徴とする。
In order to achieve the above object, in the present invention, in a solid-state imaging device having a pixel array unit in which pixels including photoelectric conversion elements are arranged in a matrix, a signal from the pixel array unit is received and analog-to-digital conversion is performed. An AD conversion unit that stores all pixels for storing signals read from each pixel of the pixel array unit or more on the same substrate as the pixel array unit, and the AD conversion unit and the storage Each pixel read out from the storage means is provided between the AD converter and the storage means, provided with arithmetic means for receiving the signals from both the AD converter and the storage means, adding or averaging and averaging the signals, and storing them in the storage means The signal is read out from each pixel of the pixel array section at a higher speed than the data rate of the final output stage that outputs the signal of the above to the outside of the substrate and stored in the storage means It is characterized in that a drive means.
In the solid-state imaging device of the present invention, the movement of the subsequent image relative to the temporally previous image based on the color filter included in each pixel of the pixel array unit and the signal read from each pixel of the pixel array unit Motion vector detecting means for detecting a vector, and the storage means has a storage area for each color filter for one address, and before the addition or addition / averaging by the calculating means, the motion vector detecting means Based on the detection result, the address of each pixel signal read from the pixel array unit is corrected in the storage means, and after the address correction, the output value and the number of additions in each color filter are And stored in the storage means .
上記構成の固体撮像装置において、画素アレイ部の各画素の信号を格納する記憶手段を画素アレイ部と同一の基板上に設けることで、当該基板上の最終出力段のデータレートで決まるフレームレートよりも高速なフレームレートで画素アレイ部の各画素から信号を読み出すことが可能になる。そして、当該高速なフレームレートで画素アレイ部の各画素の信号を読み出して記憶手段に格納することで、光電子増倍膜など、瞬時に飽和領域に達する光電変換素子を用いた場合であっても、当該光電変換素子が飽和領域に達する前に何度か繰り返して各画素から信号を読み出して記憶手段に格納することで、十分なダイナミックレンジを確保することができる。 In the solid-state imaging device having the above-described configuration, by providing storage means for storing the signal of each pixel of the pixel array unit on the same substrate as the pixel array unit, the frame rate determined by the data rate of the final output stage on the substrate In addition, a signal can be read from each pixel of the pixel array unit at a high frame rate. Even when a photoelectric conversion element that instantaneously reaches the saturation region, such as a photomultiplier film, is used by reading out the signal of each pixel of the pixel array unit at the high frame rate and storing it in the storage means. A sufficient dynamic range can be ensured by repeatedly reading out signals from each pixel and storing them in the storage means before the photoelectric conversion element reaches the saturation region .
本発明によれば、光電子増倍膜など、瞬時に飽和領域に達する光電変換素子を用いた固体撮像装置において、最終出力段のデータレートで決まるフレームレートよりも高速なフレームレートで画素アレイ部の各画素から信号を読み出して記憶保持することで、野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができるため、十分に満足できるレベルでの撮像が可能となる。 According to the present invention, in a solid-state imaging device using a photoelectric conversion element that instantaneously reaches a saturation region, such as a photomultiplier film, the pixel array unit has a frame rate faster than the frame rate determined by the data rate of the final output stage. By reading and storing signals from each pixel and storing them, it is possible to ensure a sufficient dynamic range even in environments with a large amount of light, such as outdoors or under fluorescent lamps. It becomes possible.
以下、本発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[第1形態(本発明に対する参考例)]
図1は、第1形態(本発明に対する参考例)に係る固体撮像装置、例えば高感度CMOSイメージセンサの構成を示すブロック図である。図1に示すように、第1実施形態に係るCMOSイメージセンサ10は、画素アレイ部11、垂直駆動回路12、カラム信号処理回路13、記憶手段であるフレームメモリ14、デジタルアンプ15、タイミングジェネレータ16およびDSP(Digital Signal Processor;デジタル信号処理)回路17を有する構成となっている。
[ First Embodiment (Reference Example for the Present Invention) ]
FIG. 1 is a block diagram showing a configuration of a solid-state imaging device, for example, a high-sensitivity CMOS image sensor according to a first embodiment (reference example for the present invention) . As shown in FIG. 1, the CMOS image sensor 10 according to the first embodiment includes a
画素アレイ部11は、光電変換素子を含む画素111が、所定の繰り返し周期で行列状に2次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線112が配線された構成となっており、画素111の各々において被写体(図示せず)からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。光電変換素子としては、例えば光電子増倍膜で形成されたものが用いられる。
The
図2は、光電子増倍膜で形成された光電変換素子20の原理構造の一例を示す断面図である。図2から明らかなように、本光電変換素子20は、光電変換層21、信号電荷加速層22および信号電荷増倍層23が光照射側から順に積層され、光電変換層21と信号電荷増倍層23とにそれぞれ電極(図示せず)を介して所定の電圧が印加される構成となっている(特に、特許文献1参照)。
FIG. 2 is a cross-sectional view showing an example of the principle structure of the photoelectric conversion element 20 formed of a photomultiplier film. As apparent from FIG. 2, the photoelectric conversion element 20, the photoelectric conversion layer 21, the signal charge acceleration layer 22 and the signal charge multiplication layer 23 are stacked from the light irradiation side in this order, the photoelectric conversion layer 21 and the signal charge multiplication A predetermined voltage is applied to the layer 23 via an electrode (not shown), respectively (see
光電変換層21には、水素化アモルファスシリコン膜などが用いられる。信号電荷加速層22には、シリコン表面が酸化シリコンなどの絶縁膜または水素化アモルファスシリコン膜で覆われた直径数ナノメートルのシリコン結晶粒(シリコンナノ結晶)からなる膜が用いられる。信号電荷増倍層23には、単結晶シリコン基板などが用いられる。 For the photoelectric conversion layer 21, a hydrogenated amorphous silicon film or the like is used. For the signal charge acceleration layer 22, a film made of silicon crystal grains (silicon nanocrystals) with a diameter of several nanometers whose silicon surface is covered with an insulating film such as silicon oxide or a hydrogenated amorphous silicon film is used. A single crystal silicon substrate or the like is used for the signal charge multiplication layer 23.
かかる構成の光電変換素子20において、光照射を受けた光電変換層21は、その光量に応じた電荷量の信号電荷を生成する。信号電荷加速層22は、光電変換層21で光生成された信号電荷を加速する。信号電荷増倍層23は、信号電荷加速層22で加速された信号電荷を増倍する。これらの作用により、上記構成の光電変換素子20は、入射した光に対して多くの信号電荷を発生させることができる。 In the photoelectric conversion element 20 having such a configuration, the photoelectric conversion layer 21 that has been irradiated with light generates a signal charge having a charge amount corresponding to the amount of light. The signal charge acceleration layer 22 accelerates the signal charge generated by the photoelectric conversion layer 21. The signal charge multiplication layer 23 multiplies the signal charge accelerated by the signal charge acceleration layer 22. By these actions, the photoelectric conversion element 20 having the above configuration can generate a large amount of signal charges with respect to incident light.
画素111としては、ここでは図示を省略するが、光電変換素子20に加えて、当該画素111の駆動トランジスタ、例えば、光電変換素子20で光電変換して得られる信号電荷をフローティングディフュージョン(FD)に転送する転送トランジスタと、当該フローティングディフュージョンの電位を制御するリセットトランジスタと、フローティングディフュージョンの電位に応じた信号を出力する増幅トランジスタとを有する3トランジスタ構成のものや、画素選択を行うための選択トランジスタをさらに有する4トランジスタ構成のものなどを用いることができる。 The pixel 111 is not shown here, but in addition to the photoelectric conversion element 20, a signal charge obtained by photoelectric conversion by the driving transistor of the pixel 111, for example, the photoelectric conversion element 20, is converted into a floating diffusion (FD). A three-transistor configuration having a transfer transistor for transferring, a reset transistor for controlling the potential of the floating diffusion, and an amplifying transistor for outputting a signal corresponding to the potential of the floating diffusion, or a selection transistor for performing pixel selection Furthermore, the thing of the 4 transistor structure etc. which have can be used.
垂直駆動回路12は、シフトレジスタなどによって構成されており、画素111の各々を行単位で選択し、当該選択行の画素111をリセットしたり、画素111から信号を読み出したりする駆動手段である。この垂直駆動回路12による駆動時には、選択行の画素111の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによって光電変換素子20からフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。
The
カラム信号処理回路13は、CDS(Correlated Double Sampling;相関二重サンプリング)回路131、ADC(アナログ−デジタル変換)回路132および加算・平均化回路133などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。
The column signal processing circuit 13 performs various signal processing circuits such as a CDS (Correlated Double Sampling)
このカラム信号処理回路13において、CDS回路131は、垂直駆動回路12によって選択された行の画素111から出力される信号に対してノイズ除去のための処理(CDS処理)を行う。具体的には、先述したように、選択行の画素111から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このCDS回路131としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。
In the column signal processing circuit 13, the
ADC回路132は、CDS回路131でのCDS処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。加算・平均化回路133は、フレームメモリ14に既に格納されている各画素の信号と、ADC回路132でデジタル信号に変換後の各画素の信号とを演算する、例えば加算または加算・平均化する演算手段である。
The
フレームメモリ14は、加算・平均化回路133で演算(加算または加算・平均化)処理された後の各画素の信号を記憶する。デジタルアンプ15は、フレームメモリ14から順に出力されるデジタル画素データを適当なゲインで増幅(減衰を含む)する。タイミングジェネレータ16は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。
The
ここまでに説明した各回路部分、即ち垂直駆動回路12、カラム信号処理回路13、フレームメモリ14、デジタルアンプ15およびタイミングジェネレータ16は、画素111が行列状に配置されてなる画素アレイ部11と同じチップ(半導体基板)18上に集積され、以下に説明する回路部分、即ちDSP回路17はチップ18の外部に設けられている。なお、チップ18から出力される画像データのフレームレートは、チップ18上の最終出力段、例えばI/Oバッファ(図示せず)のデータレートで決まる。
Each circuit portion described so far, that is, the
DSP回路17は、チップ18内のフレームメモリ14からデジタルアンプ15を通して上記フレームレートで出力される画像データ(各画素の信号)を、本CMOSイメージセンサ10A外の記憶媒体(例えば、コンパクトフラッシュ(登録商標)やメモリスティック)へ伝送する前に各種の画像処理を行う。
The
上記構成の本形態に係るCMOSイメージセンサ10Aは、入射光に対して多くの信号電荷を発生させることができる光電子増倍膜で形成された光電変換素子20を、各画素111の受光部として用いた高感度の撮像装置であり、特に暗所など、入射光量が所定の閾値以下の非常に少ない環境下では十分な能力を発揮する。このように、入射光量が非常に少ない環境下で十分な能力を発揮する高感度のCMOSイメージセンサ10Aでは、通常、チップ18上の最終出力段(例えば、I/Oバッファ)のデータレートで決まる第1のフレームレートによる1フレーム期間の間に光電変換素子が飽和しないように設計される。
The
ただし、このような高感度のCMOSイメージセンサ10Aは、入射光量が非常に少ない環境下では十分な能力を発揮するものの、野外や蛍光灯下など、入射光量が当該所定の閾値を超える環境(特に、光量が非常に多い環境)下では、光電変換素子20の感度が高すぎるが故に瞬時に飽和領域に達してしまうために、入射光量が非常に少ない環境下での駆動時と同じような駆動を行ったのでは十分なダイナミックレンジを確保することができないことになる。
However, although such a high-sensitivity
そこで、本形態に係るCMOSイメージセンサ10Aでは、フレームメモリ14を画素アレイ部11と同じチップ18上に設けることにより、画素アレイ部11の各画素111からの信号の読み出しを、チップ18上の最終出力段、例えばI/Oバッファ(図示せず)のデータレートで決まる第1のフレームレートよりも高速な第2のフレームレートで実現するとともに、第1のフレームレートによる1フレーム期間の間に第2のフレームレートで複数フレーム分の画像データ(各画素の信号)を得て画素ごとに加算することにより、入射光量が非常に多い環境下でも十分なダイナミックレンジの確保を可能としている。
Therefore, in the
以下に、入射光量が非常に多い環境下における本形態に係る高感度CMOSイメージセンサ10Aの回路動作について説明する。
Hereinafter, the circuit operation of the high-sensitivity
垂直駆動回路12による垂直走査により、画素アレイ部11の各画素111が行単位で順に選択される。すると、その選択行(信号出力行)の各画素111において、光電変換素子20に蓄積された信号電荷(例えば、電子)に応じた信号レベルと、光電変換素子20をリセットした後のリセットレベル(例えば、0レベル)が、垂直信号線112を通して各列のカラム信号処理回路13に出力される。
By the vertical scanning by the
なお、図示を省略したが、用途に応じて、垂直駆動回路12と基本的に同じ構成のシャッタ駆動回路が当該垂直駆動回路12と並列的に設けられる。このシャッタ駆動回路による走査により、画素アレイ部11の各画素111が行単位で順に選択されると、その選択行(電子シャッタ行)の各画素111の光電変換素子がリセットされる。信号出力行を駆動した直後に、同様の駆動パルスで電子シャッタ行の各画素111が動作する。電子シャッタ行と信号出力行が一定の間隔で進んで行くとき、信号出力行から出力される信号は、電子シャッタ行から信号出力行まで進んで行く期間に光電変換された光の信号となる。
Although not shown, a shutter drive circuit having basically the same configuration as that of the
電子シャッタ行と信号出力行の時間的な間隔を調節することにより、光電変換素子20への照射時間(信号電荷の蓄積時間)を変更することができる。垂直駆動回路12および上記シャッタ駆動回路の駆動パルス、即ちスタートパルスおよびクロックパルスは、タイミングジェネレータ16で生成される。上記照射時間(信号電荷の蓄積時間)の調整は、タイミングジェネレータ16で生成する駆動パルスのタイミングを調節することによって実行される。
By adjusting the time interval between the electronic shutter row and the signal output row, the irradiation time (signal charge accumulation time) to the photoelectric conversion element 20 can be changed. The
画素111の全てから信号を読み出す全画素読出し時には、シャッタ動作および読み出し動作は、画素アレイ部11の第一行から最終行までを順に選択され、全ての行に対して行われる。ここまでの動作は、従来、一般的に知られているCMOSイメージセンサと同じ、周知の動作である。
At the time of all pixel readout for reading out signals from all of the pixels 111, the shutter operation and readout operation are sequentially selected from the first row to the last row of the
ここで、本形態に係るCMOSイメージセンサ10Aでは、画素アレイ部11と同じチップ19上にフレームメモリ14を搭載(内蔵)した構成を採っている。この構成を採ることにより、チップ19上の最終出力段、本例ではデジタルアンプ15のデータレートに律則されることなく、画素アレイ部11の各画素111の信号を、当該データレートで決まる第1のフレームレートよりも高速な第2のフレームレートで読み出してフレームメモリ14に格納する一方、フレームメモリ14からは最終出力段のデータレートで決まる第1のフレームレートで画像データ(各画素の信号)を読み出してチップ18外に出力することが可能になる。
Here, the
これは、フレームメモリ14から第1のフレームレートで1フレーム分(1枚分)の画像データを出力する期間(第1のフレームレートによる1フレーム期間)内において、第2のフレームレートで複数フレーム分(複数枚分)の画像データを繰り返して画素アレイ部11から読み出すことができることを意味する。ここで、十分なダイナミックレンジを確保するためには、画素アレイ部11の各画素111から信号を読み出す際に、光電子増倍膜で形成された光電変換素子20が飽和領域に達する前に、各画素111から信号を繰り返して読み出すことが必要である。
This is because a plurality of frames are output at the second frame rate within a period (one frame period based on the first frame rate) in which image data for one frame (one frame) is output from the
1フレーム目の各画素の信号は、上述した周知の動作と同じ動作により、行単位で順次読み出され、CDS回路131でCDS処理され、ADC回路132でデジタル信号に変換された後、加算・平均化回路133を経由してフレームメモリ14に画素ごとに格納される。2フレーム目の各画素の信号については、行単位で順次読み出され、CDS回路131でCDS処理され、ADC回路132でデジタル信号に変換された後、加算・平均化回路133において、既にフレームメモリ14に格納されている各画素の信号と例えば加算・平均化され、その平均値がフレームメモリ14に画素ごとに格納される。
The signal of each pixel in the first frame is sequentially read out in units of rows by the same operation as the above-described well-known operation, subjected to CDS processing by the
加算・平均化回路133において加算・平均化処理を行うのは次の理由による。すなわち、フレームメモリ14に格納される一行分(一回分)の各画素の信号は、ある無視できないランダムノイズ(例えば、熱雑音や電源の揺れ等に起因するノイズ)を持っていることが多い。このランダムノイズを持つ各画素の信号をそのまま用いた場合に、当該ランダムノイズに起因する画質低下を招く懸念もある。そこで、ランダムノイズを抑制するために、加算・平均化回路133においては、各画素の信号について各フレーム間において加算・平均化し、その平均値を各画素の信号としてフレームメモリ14に記憶するようにしている。具体的には、今回のフレームに関するアドレス補正後の各画素の信号と、フレームメモリ14に既に格納されている各画素の信号(前回の加算・平均値)との加算・平均値を算出して、今回の加算・平均値としてフレームメモリ14に格納する処理を複数回(複数フレーム)に亘って実行する。
The addition / averaging
なお、ここでは、複数フレームに亘って各画素の信号を加算・平均化することによってランダムノイズを抑制するとしたが、ランダムノイズについては必ずしも平均化しなくても、各画素の信号を複数フレームに亘って単純に加算するだけでも、ランダムノイズについてはそのまま加算とはならず、信号レベルについてはそのまま加算となるためS/Nを向上できる。 Here, random noise is suppressed by adding and averaging the signals of each pixel over a plurality of frames. However, even if random noise is not necessarily averaged, the signals of each pixel are transmitted over a plurality of frames. Even if the addition is simply performed, the random noise is not added as it is, and the signal level is added as it is, so that the S / N can be improved.
以降、最終フレームNまで同様の動作が繰り返される。その結果、フレームメモリ14には最終的に、Nフレーム分の各画素の平均値が画素ごとに格納されることになる。このようにして、フレームメモリ14に最終的に格納された各画素の平均値は、デジタルアンプ15で適当なゲインで増幅(減衰を含む)され、第1のフレームレートでチップ18外へ出力される。
Thereafter, the same operation is repeated until the last frame N. As a result, the average value of each pixel for N frames is finally stored in the
上述したように、光電子増倍膜で形成された光電変換素子20を含む画素111が多数配置されてなる高感度のCMOSイメージセンサ10Aにおいて、フレームメモリ14を画素アレイ部11と同じチップ18上に設けるとともに、チップ18上の最終出力段(具体的には、I/Oバッファ)のデータレートで決まる第1のフレームレートよりも高速な第2のフレームレートで、画素アレイ部11の各画素111から信号を読み出し、かつ加算してフレームメモリ14に格納することにより、野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができるため、十分に満足できるレベルでの撮像が可能となる。
As described above, in the high-sensitivity
ここまでは、野外や蛍光灯下など、入射光量が非常に多い環境下における動作について述べたが、暗所など、入射光量が非常に少ない環境下においても、基本的に同じ動作を実行することにより、高感度化を図ることができる。すなわち、入射光量が非常に少ない環境下での撮像時は、入射光量が非常に多い環境下での撮像時に比べて露光期間が非常に長くなるが、その長い露光期間において、第2のフレームレートでNフレームよりもさらに多いフレーム数分の画像データを繰り返して画素アレイ部11から読み出し、かつ加算してフレームメモリ14に格納することにより、露光期間において光電変換素子20で光電変換された電荷量に対応する画素値の画像データを得ることができる。
Up to this point, we have described operations in environments where the amount of incident light is very large, such as outdoors or under fluorescent lights, but basically the same operations should be performed even in environments where the amount of incident light is very small, such as in the dark. Therefore, high sensitivity can be achieved. That is, when imaging in an environment where the amount of incident light is very small, the exposure period is very long compared to when imaging in an environment where the amount of incident light is very large. The image data corresponding to the number of frames more than N frames is repeatedly read out from the
なお、入射光量が非常に少ない環境下において、画素アレイ部11の各画素111から第2のフレームレートで信号を読み出す駆動法を採る場合には、各フレームごとの画素の信号レベルが極めて小さいため、加算・平均化回路133では平均化処理を行わずに、単純に加算処理のみを行うことになる。
Note that when the driving method of reading signals from each pixel 111 of the
また、暗所など、入射光量が非常に少ない環境下における別の駆動法として、次のような駆動法を採ることも考えられる。 Further, as another driving method in an environment where the amount of incident light is very small, such as a dark place, the following driving method may be adopted.
すなわち、入射光量が非常に少ない環境下での撮像時には、画素アレイ部11の各画素111からの信号の読み出しを、第2のフレームレートで繰り返して行うのではなく、第1のフレームレートで行う駆動法である。所定の露光期間の終了後、各画素111から第1のフレームレートで信号を読み出すことで、当該露光期間において光電変換素子20で光電変換された電荷量に対応する画素値の画像データが得られることは容易に理解できることである。
That is, at the time of imaging in an environment where the amount of incident light is very small, reading of the signal from each pixel 111 of the
この駆動方法を採るということは、野外や蛍光灯下など、入射光量が非常に多い環境下での撮像時と、暗所など、入射光量が非常に少ない環境下での撮像時とで駆動方法を切り替えるということである。その切り替えは、手動操作により、あるいは、入射光量が所定の光量閾値を超えたか否かを検知するセンサを搭載し、当該センサの検知出力を用いることにより、切り替え情報をタイミングジェネレータ16に与えて、画素アレイ部11の各画素111から信号を読み出すタイミングを切り替えることによって容易に実現できる。
Using this driving method means driving when shooting in an environment where the amount of incident light is very high, such as outdoors or under a fluorescent lamp, and when shooting in an environment where the amount of incident light is very low, such as in a dark place. Is to switch. The switching is performed manually or by mounting a sensor that detects whether or not the incident light amount exceeds a predetermined light amount threshold, and using the detection output of the sensor, the switching information is given to the
このように、入射光量が非常に少ない環境下での撮像時には、画素アレイ部11の各画素111からの信号の読み出しを第1のフレームレートで行う駆動法を採ることにより、露光期間において垂直駆動回路12やカラム信号処理回路13などの回路部分を動作させなくて済み、これら回路部分については露光動作が完了した時点で動作を開始させれば良いため、第2のフレームレートで繰り返して信号を読み出し、常に各回路部分を動作させる必要がある場合に比べて消費電力を低減できる利点がある。
As described above, when imaging is performed in an environment where the amount of incident light is very small, vertical driving is performed in the exposure period by adopting a driving method in which signals are read from the respective pixels 111 of the
[第2形態(本発明の実施形態)]
図3は、第2形態(本発明の実施形態)に係るMOS型固体撮像装置、例えば手ぶれ補正機能を持つ高感度CMOSイメージセンサの構成を示すブロック図である。図3に示すように、第2形態に係るCMOSイメージセンサ10Bは、画素アレイ部31、垂直駆動回路32、カラム信号処理回路33、記憶手段であるフレームメモリ34、デジタルアンプ35、タイミングジェネレータ36、DSP回路37および動きベクトル検出手段としての例えば加速度センサー38を有する構成となっている。
[ Second Embodiment (Embodiment of the Present Invention) ]
FIG. 3 is a block diagram showing a configuration of a MOS type solid-state imaging device according to the second mode (embodiment of the present invention) , for example, a high-sensitivity CMOS image sensor having a camera shake correction function. As shown in FIG. 3, the
画素アレイ部31は、光電変換素子を含む画素311が、所定の繰り返し周期で行列状に2次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線312が配線された構成となっており、画素311の各々において被写体(図示せず)からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。光電変換素子としては、第1形態の場合と同様に、例えば光電子増倍膜で形成された光電変換素子20が用いられる。画素311としても、第1形態の場合と同様に、3トランジスタ構成のものや、4トランジスタ構成のものが用いられる。
The pixel array unit 31 has a configuration in which pixels 311 including photoelectric conversion elements are two-dimensionally arranged in a matrix with a predetermined repetition period, and
垂直駆動回路32は、シフトレジスタなどによって構成されており、画素311の各々を行単位で選択し、当該選択行の画素311をリセットしたり、画素311から信号を読み出したりする。この垂直駆動回路32による駆動時には、選択行の画素311の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによってフォトダイオードからフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。
The
カラム信号処理回路33は、CDS回路331、ADC(アナログ−デジタル変換)回路332、アドレス補正回路333および加算・平均化回路334などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。
The column signal processing circuit 33 has various signal processing circuits such as a
このカラム信号処理回路33において、CDS回路331は、垂直駆動回路32によって選択された行の画素311から出力される信号に対してノイズ除去のための処理(CDS処理)を行う。具体的には、先述したように、選択行の画素311から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このCDS回路331としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。
In the column signal processing circuit 33, the
ADC回路332は、CDS回路331でのCDS処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。アドレス補正回路333は、ADC回路332から出力される各画素情報をフレームメモリ34に記憶する際に、後述する加速度センサー38の検出結果に基づいてフレームメモリ34上の格納アドレスの補正を行う。加算・平均化回路334は、フレームメモリ34に既に格納されている各画素の信号と、アドレス補正回路333でアドレス補正された各画素の信号とを演算する、例えば加算・平均化する。
The
フレームメモリ34は、画素アレイ部31の画素数以上、または画像形成に実際に機能する有効画素部の画素数以上の画素情報を記憶できる容量を持ち、アドレス補正回路333でアドレス補正され、また加算・平均化回路334で演算(加算・平均化)処理された後の各画素情報を記憶する。デジタルアンプ35は、フレームメモリ34から順に出力されるデジタル画素データを、適当なゲインで増幅(減衰を含む)する。タイミングジェネレータ36は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。
The
ここまでに説明した各回路部分、即ち垂直駆動回路32、カラム信号処理回路33、フレームメモリ34、デジタルアンプ35およびタイミングジェネレータ36は、画素311が行列状に配置されてなる画素アレイ部31と同じチップ(半導体基板)39上に集積され、以下に説明する回路部分、即ちDSP回路37および加速度センサー38は、チップ39の外部に設けられている。
Each circuit portion described so far, that is, the
DSP回路37は、チップ39内のフレームメモリ34からデジタルアンプ15を介して出力される各画素の信号を、本CMOSイメージセンサ10B外の記憶媒体(例えば、コンパクトフラッシュ(登録商標)やメモリスティック)へ伝送する前に各種の画像処理を行う。加速度センサー38は、CMOSイメージセンサ10B自体(装置本体)のぶれ(いわゆる、手ぶれ)に伴う動きベクトル、即ち画素アレイ部31の各画素311から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出し、その検出結果をチップ39内のアドレス補正回路333に与える。
The
なお、ここでは、動きベクトル検出手段として例えば加速度センサー38を用いるとしたが、加速度センサー38に限られるものではなく、時間的に前の画像に対する後の画像の動きベクトルを検出できる構成のものであれば良い。
Here, for example, the
上記構成の本実施形態に係る高感度CMOSイメージセンサ10Bにおける、野外や蛍光灯下など、入射光量が非常に多い環境下での撮像時の動作や、暗所など、入射光量が非常に少ない環境下での撮像時の動作については、基本的に、第1形態に係る高感度CMOSイメージセンサ10Aの場合と同じであり、ここでは重複するのでその説明を省略するものとする。
In the high-sensitivity
ところで、本CMOSイメージセンサ10Bをカメラ装置に用いた場合において、夜景や暗い場所で撮像するときには、一般的には、明るい場所での撮像時に比べて長い時間に亘って露光(長時間露光)が行われるため、手で持ったカメラ装置のぶれ(以下、これを「手ぶれ」と呼ぶ)などにより、ノイズ感の高い画像(例えば、ぼやけた画像)となる。また、高倍率のカメラ装置で遠くの被写体を撮像するときは、少しの手ぶれによってもノイズ感の高い画像となる。そこで、本実施形態では、手ぶれを補正して画像を安定化させるために、加速度センサー38の情報を基に手ぶれ補正を行うようにしている。
By the way, when the present
次に、上記構成の本実施形態に係る高感度CMOSイメージセンサ10Bにおける手ぶれ補正時の動作について説明する。
Next, an operation at the time of camera shake correction in the high sensitivity
垂直駆動回路32による垂直走査により、画素311が1行ずつ、あるいは複数行同時に選択され、選択行の各画素311から信号が、最終出力段(I/Oバッファ)のデータレートよりも高速に、即ち当該データレートで決まる第1のフレームレートよりも速い第2のフレームレートで読み出される。この読み出された各画素311の信号は、カラム信号処理回路33において列ごとに、CDS回路331でCDS処理が行われ、ADC回路332でデジタル信号に変換された後、1フレーム目の各画素の信号についてはアドレス補正回路333および加算・平均化回路334を経由してフレームメモリ34に順次記憶される。
By the vertical scanning by the
続いて、加速度センサー38がぶれ量を計測する期間、およびアドレス補正回路133に信号を反映するタイミングについて、図4のタイミングチャートを用いて説明する。図4において、Hパルスは垂直駆動回路32を制御するための基準信号であり、Vパルスはフレームを制御するための基準信号であり、Gパルスは加速度センサー38から信号を受け取るタイミングを決めるための基準信号である。
Next, the period during which the
Vパルスが立ち上がった後、Hパルスのある発生回数目から画素行が順次選択され、その選択行の各画素311から信号が読み出される。1フレーム目の画像情報の取り込みが終了した時点から2フレーム目の画像情報の取り込みを開始するまでの間(例えば、V0〜V1の期間)に、手ぶれによってチップ39等が動いた場合、加速度センサー38はその動いた量を検出する。手ぶれによってチップ39などが動くと、画素アレイ部31の各画素311から読み出される信号に基づく、時間的に前の画像(1フレーム目の画像)に対して後の画像(2フレーム目の画像)が動くことになる。
After the V pulse rises, pixel rows are sequentially selected from the number of occurrences of the H pulse, and a signal is read from each pixel 311 of the selected row. If the chip 39 or the like moves due to camera shake during the period from when the capture of the image information of the first frame is completed until the capture of the image information of the second frame (for example, during the period of V0 to V1), the
したがって、手ぶれによってチップ39などが動いた場合には、加速度センサー38により、画素アレイ部31の各画素311から読み出される信号に基づく、時間的に前の画像(1フレーム目の画像)に対する後の画像(2フレーム目の画像)の動きベクトルが検出される。2フレーム目の画像情報が順次読み出され、CDS回路331でCDS処理が行われ、ADC回路332でデジタル信号に変換された後、アドレス補正回路333において、G1パルスのタイミングで得た加速度センサー38の検出結果を基に、1フレーム目の画像に対して2フレーム目の画像が動いた分だけ、2フレーム目の画像情報(各画素111の信号)に対して、フレームメモリ34上の格納アドレスの補正が行われる。
Therefore, when the chip 39 or the like is moved due to camera shake, the
このアドレス補正について、以下により具体的に説明する。ここでは、理解を容易にするために、画素アレイ部31上の画素311のアドレスと、当該画素311の信号が格納されるフレーメモリ34上の格納アドレスとを同一アドレスとして説明するものとする。
This address correction will be described more specifically below. Here, in order to facilitate understanding, the address of the pixel 311 on the pixel array unit 31 and the storage address on the
ある点Pを撮像した1フレーム目の画素(Xa,Yb)の信号がフレームメモリ34上の格納アドレス(Xa,Yb)に格納され、2フレーム目の画像情報を取り込むまでの間に生じた手ぶれにより、2フレーム目の画像では、同じ点Pが1フレーム目の画素(Xa,Yb)と異なる画素(Xc,Yd)で撮像されたと仮定したとき、画素(Xc,Yd)の信号に対して格納アドレスの補正を行わない場合には、当該画素(Xc,Yd)の信号は、1フレーム目の格納アドレス(Xa,Yb)と異なる格納アドレス(Xc,Yd)に格納される。
Camera shake that occurred during the time when the signal of the pixel (Xa, Yb) of the first frame that captured a certain point P was stored in the storage address (Xa, Yb) on the
すなわち、1フレーム目の画素(Xa,Yb)の信号と2フレーム目の画素(Xc,Yd)は、同じ点Pの画像情報であるにも拘わらず、フレームメモリ34上の異なるアドレス位置に格納されることになる。このアドレス位置のずれにより、格納アドレスがずれた分だけ1フレーム目と2フレーム目とで画像がぶれることになり、その結果、ノイズ感の高い画像(例えば、ぼやけた画像)となる。
That is, the signal of the pixel (Xa, Yb) of the first frame and the pixel (Xc, Yd) of the second frame are stored at different address positions on the
この手ぶれに伴う画像のぶれを補正するために、アドレス補正回路333は、上記の具体例の場合には、加速度センサー38の検出結果、即ち画素(Xa,Yb)に対する画素(Xc,Yd)の動きベクトルを基に、画素(Xc,Yd)の信号の格納アドレスを、格納アドレス(Xc,Yd)から画素(Xa,Yb)の信号と同じ格納アドレス(Xa,Yb)に補正する処理を行う。このアドレス補正回路333でのアドレス補正により、点Pについての2フレーム目の画素(Xc,Yd)の信号が、同じ点Pについての1フレーム目の画素(Xa,Yb)の信号と同じ格納アドレス(Xa,Yb)に格納されることになるため、1フレーム目と2フレーム目との間で画像がぶれることはない。
In order to correct the image blur due to the camera shake, the
アドレス補正回路333でアドレス補正された各画素の信号は、加算・平均化回路334において、フレームメモリ34に格納されている各画素の信号と加算・平均化処理された後、フレームメモリ34の該当する格納アドレスに格納される。
The signal of each pixel whose address is corrected by the
3フレーム目以降も、2フレーム目の読み出し補正動作と同様の動作が繰り返して実行される。適当な画素値が得られるまで、複数枚(複数フレーム)に亘って各画素の信号を加算し、もしくは加算・平均化した後、フレームメモリ34から1フレーム分の画像データとしてチップ39外へ出力する。その後、後段のDSP回路37などで所定の信号処理を行って、外部の記憶媒体などに出力される。
In the third and subsequent frames, the same operation as the read correction operation in the second frame is repeatedly performed. The signal of each pixel is added or averaged and averaged over a plurality of (multiple frames) until an appropriate pixel value is obtained, and then output from the
加算もしくは加算・平均化するフレーム数(画像枚数)については、画素アレイ部31の各画素311から信号を読み出す速度によって決まる。また、画素アレイ部31の各画素311の蓄積時間については、加算するフレーム数によって決まる。 The number of frames to be added or added / averaged (the number of images) is determined by the speed at which a signal is read from each pixel 311 of the pixel array unit 31. Further, the accumulation time of each pixel 311 of the pixel array unit 31 is determined by the number of frames to be added.
上述したように、光電子増倍膜で形成された光電変換素子20を含む画素311が多数配置されてなる手ぶれ補正機能を持つ高感度のCMOSイメージセンサ10Bにおいて、フレームメモリ34を画素アレイ部31と同じチップ38上に設けるとともに、チップ38上の最終出力段(具体的には、I/Oバッファ)のデータレートで決まる第1のフレームレートよりも高速な第2のフレームレートで、画素アレイ部31の各画素311から信号を読み出し、かつ加算してフレームメモリ34に格納することにより、第1形態の場合と同様の作用効果、即ち野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができることに加えて、次のような作用効果を得ることができる。
As described above, in the high-sensitivity
すなわち、画素アレイ部31の各画素311から第2のフレームレートで信号を読み出してフレームメモリ34に格納する一方、フレームメモリ34からは第1のフレームレートで画像データを出力することにより、フレームメモリ34から第1のフレームレートで1枚分の画像データを出力する期間内において、複数フレーム(複数枚)分だけ画素アレイ部31の各画素311から画像データを読み出し、かつ複数フレームの画像間に空間的なずれがあれば、複数フレームごとに手ぶれ補正を行って複数フレームの画像の空間的なアドレスを合わせることができる。したがって、静止画撮像および動画撮像のいずれにおいても、最終出力段のデータレートで決まる第1のフレームレートで読み出される画像データに対して手ぶれ補正を行うのに比べて、よりきめ細かな手ぶれ補正を行うことができるため、低ノイズで撮像することが可能になる。
That is, a signal is read out from each pixel 311 of the pixel array unit 31 at the second frame rate and stored in the
画素アレイ部31の各画素311から信号を読み出すフレームレートについては、読み出すフレーム(画像データ)間において発生する手ぶれの影響を減らすためには速ければ速い程、手ぶれを防止する効果は大きい。また、最終的に出力する画像データのダイナミックレンジについても、加算するフレーム数を増やすことによって拡大することが可能となる。 As for the frame rate at which a signal is read from each pixel 311 of the pixel array unit 31, the faster the speed of reducing the influence of camera shake that occurs between read frames (image data), the greater the effect of preventing camera shake. Also, the dynamic range of the image data to be finally output can be expanded by increasing the number of frames to be added.
なお、本実施形態では、加速度センサー38の検出結果をアドレス補正回路333に反映させるタイミングを1フレームごとに設定するとしたが、図5に示すように、フレームを飛ばして複数フレームごとに上記タイミングを設定するなど、用途に応じて、加速度センサー38の検出結果をアドレス補正回路333に反映するタイミングを適宜変更するようにしても良い。
In this embodiment, the timing at which the detection result of the
また、アドレス補正をフレーム単位で行うのではなく、図6に示すように、加速度センサー38による手ぶれ検出を行ごとに実施するとともに、その都度加速度センサー38の検出結果をアドレス補正回路333に反映させてアドレス補正も行ごとに実施するようにしても良い。アドレス補正を行単位で行うことにより、フレーム単位で行う場合よりも、よりきめ細かな手ぶれ補正の実現が可能になる。
Further, instead of performing address correction on a frame basis, as shown in FIG. 6, camera shake detection by the
さらに、画素アレイ部31の各画素を画素単位でアドレス指定することによって各画素の信号を画素単位で読み出し可能なCMOSイメージセンサにあっては、手振れ検出を画素ごとに実施するとともに、アドレス補正も画素ごとに実施することも可能である。アドレス補正を画素単位で行うことにより、行単位で行う場合よりも、さらにきめ細かな手ぶれ補正の実現が可能になる。 Furthermore, in a CMOS image sensor that can read out the signal of each pixel in pixel units by addressing each pixel in the pixel array unit 31 in pixel units, camera shake detection is performed for each pixel and address correction is also performed. It is also possible to carry out for each pixel. By performing address correction in units of pixels, it is possible to realize finer camera shake correction than in the case of performing it in units of rows.
上記構成の実施形態に係るCMOSイメージセンサ10Bにおいて、フレームメモリ34として、先述したように、画素アレイ部31の画素数よりも多い画素数分だけ画素情報を記憶可能な容量を持つメモリを用意し、上記手ぶれ補正の機能を活用することにより、最終的な画像データを、画素アレイ部31の画素数で決まる解像度よりも高い解像度、広い画角で出力することができる、という作用効果を得ることもできる。このことについて、以下により具体的に説明する。
In the
手ぶれ補正に伴うアドレス補正後の各画素値を、対応する画素の記憶領域に順に記憶する。ここで、手ぶれ補正の際に、画素アレイ部11からN枚(Nフレーム)分の画像データが順に読み出され、各画像(フレーム)ごとにアドレス補正が行われるものとすると、当該アドレス補正により、図7に示すように、1フレーム目、2フレーム目、……、Nフレーム目の各画像データが、手ぶれによる動きベクトルの分だけずれた状態でフレームメモリ34に記憶される。
Each pixel value after address correction accompanying camera shake correction is sequentially stored in the storage area of the corresponding pixel. Here, when image stabilization is performed, image data for N sheets (N frames) is sequentially read from the
これにより、画素アレイ部31の画素数で決まる画角よりも広い画角の画素情報がフレームメモリ34上に格納されることになる。したがって、フレームメモリ34から画素情報を読み出すときに、画素アレイ部31の画角よりも広い画角を1枚が画像として、当該画角の画素情報を読み出すことにより、結果として、画素アレイ部31の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部31の画素数で決まる画角よりも広い画角で出力することができる。
As a result, pixel information having a field angle wider than the field angle determined by the number of pixels in the pixel array unit 31 is stored in the
ただし、本CMOSイメージセンサ10Bが画素アレイ部31の各画素311ごとにカラーフィルタを有するカラー対応の場合には、単純にアドレス補正を行ったのでは混色の問題が発生する。そこで、カラーフィルタの色を合わせるために、アドレス補正回路333において、カラーフィルタのカラーコーディングにおける単位パターンの繰り返し画素数の整数倍でアドレス補正を行うようにする。
However, in the case where the
具体的には、例えば、カラーコーディングの単位パターンが水平方向(X方向)2画素繰り返し×垂直方向(Y方向)2画素繰り返しのカラーフィルタを持つ場合には、水平方向、垂直方向共に、2の整数倍でアドレス補正を行ってフレームメモリ34に記憶するようにする。これにより、常に同じ色の画素値がフレームメモリ34上の同じアドレスに格納され、異なる色の画素値が同じアドレスに格納されることがないため、アドレス補正によって混色が発生することはない。
Specifically, for example, when a color coding unit pattern has a color filter of 2 pixel repetitions in the horizontal direction (X direction) × 2 pixels repetitions in the vertical direction (Y direction), 2 in both the horizontal direction and the vertical direction. Address correction is performed at an integral multiple and the result is stored in the
次に、手ぶれ補正機能を活用することによる解像度向上についての他の例について説明する。 Next, another example of improving the resolution by utilizing the camera shake correction function will be described.
フレームメモリ34には、1つのアドレス(1つの画素の記憶領域)につきカラーフィルタごとに記憶領域を持たせるとともに、アドレス補正後加算したカラーフィルタ情報をもフレームメモリ14に記憶させるようにする。具体的には、例えばR(赤)G(緑)B(青)ベイヤ配列のカラーフィルタを持つ場合を例に挙げると、図8にその一例を示すように、フレームメモリ14の1画素分のデータ(1つのアドレスのデータ)として、B,G,Rの各出力値(加算・平均値)に加えて、各色(各カラーフィルタ)ごとの加算回数などを格納しておくようにする。
The
格納する加算回数については、後でカラーフィルタごとに画素値の平均値を求める際に用いるようにする。ただし、ここで述べた1つのアドレス(1つの画素の記憶領域)につきカラーフィルタごとに記憶領域を持たせる例は一例に過ぎず、これに限られるものではない。 The number of additions to be stored is used when an average value of pixel values is obtained for each color filter later. However, the example of providing a storage area for each color filter per address (storage area of one pixel) described here is merely an example, and the present invention is not limited to this.
このように、フレームメモリ34が1つのアドレス(1つの画素の記憶領域)につきカラーフィルタごとに記憶領域を持つことで、アドレス補正後の画素の情報をカラーフィルタごとに別々のフレームメモリ34に記憶させることができるため、アドレス補正によって混色が発生することはなく、また1つの画素について複数の画素値を読み出すことになり、結果として、画素アレイ部31の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部31の画素数で決まる解像度よりも高い解像度で出力することができる。
As described above, the
なお、上記実施形態では、画素の光電変換素子として、光電子増倍膜で形成された光電変換素子20を用いてなる高感度CMOSイメージセンサに適用した場合を例に挙げて説明したが、多画素化に伴う光電変換素子(例えば、フォトダイオード)の微細化によって電荷の蓄積容量が小さくなり、瞬時に飽和領域に達するような光電変換素子を用いてなるCMOSイメージセンサにも同様に適用可能である。この適用例によれば、電荷の蓄積容量が小さく、瞬時に飽和領域に達するような光電変換素子を用いても、十分なダイナミックレンジを確保することができることから、画素の微細化による多画素化に大きく寄与できる利点がある。 In the above embodiment , the case where the present invention is applied to a high-sensitivity CMOS image sensor using the photoelectric conversion element 20 formed of a photomultiplier film as the photoelectric conversion element of the pixel has been described as an example. This is also applicable to a CMOS image sensor using a photoelectric conversion element that has a charge storage capacity that is reduced by miniaturization of a photoelectric conversion element (e.g., a photodiode) that accompanies this process, and that instantaneously reaches a saturation region. . According to this application example, since a sufficient dynamic range can be ensured even if a photoelectric conversion element that has a small charge storage capacity and reaches the saturation region instantaneously is used, the number of pixels can be increased by miniaturizing pixels. There is an advantage that can greatly contribute to.
また、上記実施形態では、CMOSイメージセンサに適用した場合を例に挙げて説明したが、本発明はCMOSイメージセンサへの適用に限られるものではなく、MOS型イメージセンサに代表されるX−Yアドレス型固体撮像装置全般に適用可能である。 In the above-described embodiment , the case where the present invention is applied to a CMOS image sensor has been described as an example. However, the present invention is not limited to application to a CMOS image sensor, and XY represented by a MOS type image sensor. The present invention is applicable to all address type solid-state imaging devices.
また、上記実施形態では、画素を行列状に2次元配置してなるエリアセンサに適用した場合を例に挙げて説明したが、エリアセンサのみならず、画素を直線状に一次元配置してなるリニアセンサ(ラインセンサ)にも同様に適用可能である。リニアセンサの場合には、各画素の信号を格納する記憶手段として、フレームメモリに代えてラインメモリを用いるようにすれば良い。 In the above embodiment , the case where the pixel is applied to an area sensor in which the pixels are two-dimensionally arranged in a matrix has been described as an example. However, not only the area sensor but also the pixels are linearly arranged in a one-dimensional manner. The present invention can be similarly applied to a linear sensor (line sensor). In the case of a linear sensor, a line memory may be used in place of the frame memory as a storage means for storing the signal of each pixel.
本発明に係る固体撮像装置は、動画を撮影するビデオカメラや、静止画を撮影する電子スチルカメラ等、各種の映像機器の撮像デバイスとして用いることができる他、カメラ付き携帯電話などの携帯機器の撮像デバイスとしても用いることができ、特に画素の光電変換素子として光電子増倍膜を用いた場合にあっては、暗所など非常に光量が少ない環境下で用いて好適なものとなる。 The solid-state imaging device according to the present invention can be used as an imaging device for various video devices such as a video camera that captures moving images and an electronic still camera that captures still images, and can also be used for mobile devices such as mobile phones with cameras. It can also be used as an imaging device, and particularly when a photomultiplier film is used as a photoelectric conversion element of a pixel, it is suitable for use in an environment with a very small amount of light such as a dark place.
10A,10B CMOSイメージセンサ、11,31 画素アレイ部、12,32 垂直駆動回路、13,33 カラム信号処理回路、14,34 フレームメモリ、15,35 デジタルアンプ、16,36 タイミングジェネレータ、17,37 DSP(デジタル信号処理)回路、38 加速度センサー、111,311 画素、112,312 垂直信号線、131,331 CDS回路、132,322 ADC回路、133,334 加算・平均化回路、333 アドレス補正回路 10A, 10B CMOS image sensor, 11, 31 pixel array unit, 12, 32 vertical drive circuit, 13, 33 column signal processing circuit, 14, 34 frame memory, 15, 35 digital amplifier, 16, 36 timing generator , 17, 37 DSP (digital signal processing) circuit, 38 acceleration sensor, 111,311 pixels, 112, 312 vertical signal line, 131,331 CDS circuit, 132,322 ADC circuit, 133,334 adder / averaging circuit, 333 address correction circuit
Claims (4)
前記画素アレイ部からの信号を受け取ってアナログ・デジタル変換するAD変換部と、
前記画素アレイ部と同一の基板上に設けられ、前記画素アレイ部の各画素から読み出される信号を記憶する全画素分またはそれ以上の記憶手段と、
前記AD変換部と前記記憶手段の間に配置され、前記AD変換部と前記記憶手段の両方からの信号を受け取って加算または加算・平均化して、前記記憶手段に格納する演算手段と、
前記記憶手段から読み出される各画素の信号を前記基板の外部に所定のデータレートで出力する最終出力段と、
前記データレートよりも高速に前記画素アレイ部の各画素から信号を読み出して前記記憶手段に格納する駆動手段と、
前記画素アレイ部の各画素ごとに有するカラーフィルタと、
前記画素アレイ部の各前記画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する動きベクトル検出手段を備え、
前記記憶手段は、1つのアドレスについて、前記カラーフィルタごとに記憶領域を持ち、
前記演算手段で加算または加算・平均化する前に、前記動きベクトル検出手段の検出結果に基づいて、前記画素アレイ部から読み出された各画素の信号を前記記憶手段に格納するアドレスの補正が行われ、
前記アドレスの補正後、各前記カラーフィルタにおける出力値及び加算回数が、前記記憶手段に記憶される
固体撮像装置。 A pixel array unit in which pixels including photoelectric conversion elements are arranged in a matrix;
An AD converter that receives a signal from the pixel array unit and performs analog-digital conversion;
A storage unit provided on the same substrate as the pixel array unit, for storing all pixels for storing signals read from each pixel of the pixel array unit, or more,
Arranged between the AD conversion unit and the storage unit, receiving a signal from both the AD conversion unit and the storage unit, adding or averaging, averaging, and storing in the storage unit,
A final output stage for outputting a signal of each pixel read from the storage means to the outside of the substrate at a predetermined data rate;
Driving means for reading out a signal from each pixel of the pixel array unit at a higher speed than the data rate and storing it in the storage means;
A color filter for each pixel of the pixel array section ;
A motion vector detecting means for detecting a motion vector of a subsequent image relative to a temporally previous image based on a signal read from each pixel of the pixel array unit;
The storage means has a storage area for each color filter for one address ,
Prior to addition or addition / averaging by the arithmetic means, based on the detection result of the motion vector detection means, correction of an address for storing the signal of each pixel read from the pixel array unit in the storage means is performed. Done,
After the correction of the address, the output value and the number of additions in each color filter are stored in the storage unit.
前記画素アレイ部からの信号を受け取ってアナログ・デジタル変換するAD変換部と、
前記画素アレイ部と同一の基板上に設けられ、前記画素アレイ部の各画素から読み出される信号を記憶する全画素分またはそれ以上の記憶手段と、
前記AD変換部と前記記憶手段の間に配置され、前記AD変換部と前記記憶手段の両方からの信号を受け取って加算または加算・平均化して、前記記憶手段に格納する演算手段と、
前記記憶手段から読み出される各画素の信号を前記基板の外部に所定のデータレートで出力する最終出力段と、
前記画素アレイ部の各画素ごとに有するカラーフィルタと、
前記画素アレイ部の各前記画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する動きベクトル検出手段を備えた固体撮像装置の駆動方法であって、
前記記憶手段に、1つのアドレスについて、前記カラーフィルタごとに記憶領域を持たせて、
前記動きベクトル検出手段の検出結果に基づいて、前記画素アレイ部から読み出された各画素の信号を前記記憶手段に格納するアドレスの補正を行い、
前記アドレスを補正した後、各前記カラーフィルタにおける出力値及び加算回数も、前記記憶手段に記憶させる
固体撮像装置の駆動方法。 A pixel array unit in which pixels including photoelectric conversion elements are arranged in a matrix;
An AD converter that receives a signal from the pixel array unit and performs analog-digital conversion;
A storage unit provided on the same substrate as the pixel array unit, for storing all pixels for storing signals read from each pixel of the pixel array unit, or more,
Arranged between the AD conversion unit and the storage unit, receiving a signal from both the AD conversion unit and the storage unit, adding or averaging, averaging, and storing in the storage unit,
A final output stage for outputting a signal of each pixel read from the storage means to the outside of the substrate at a predetermined data rate;
A color filter for each pixel of the pixel array section ;
A driving method of a solid-state imaging device including a motion vector detection unit that detects a motion vector of a subsequent image with respect to a temporally previous image based on a signal read from each pixel of the pixel array unit ,
The storage means has a storage area for each color filter for one address,
Based on the detection result of the motion vector detection means, correct the address for storing the signal of each pixel read from the pixel array unit in the storage means,
A method for driving a solid-state imaging device, wherein after the address is corrected, the output value and the number of additions in each color filter are also stored in the storage unit .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010120890A JP5168319B2 (en) | 2010-05-26 | 2010-05-26 | Solid-state imaging device and driving method of solid-state imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010120890A JP5168319B2 (en) | 2010-05-26 | 2010-05-26 | Solid-state imaging device and driving method of solid-state imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004143105A Division JP4916095B2 (en) | 2004-05-13 | 2004-05-13 | Solid-state imaging device and driving method of solid-state imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010193524A JP2010193524A (en) | 2010-09-02 |
JP5168319B2 true JP5168319B2 (en) | 2013-03-21 |
Family
ID=42818980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010120890A Expired - Fee Related JP5168319B2 (en) | 2010-05-26 | 2010-05-26 | Solid-state imaging device and driving method of solid-state imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5168319B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2973162B1 (en) * | 2011-03-23 | 2013-11-22 | E2V Semiconductors | VERY HIGH DYNAMIC IMAGE SENSOR |
JP5784426B2 (en) * | 2011-09-06 | 2015-09-24 | オリンパス株式会社 | Imaging device |
JP6578834B2 (en) * | 2015-09-09 | 2019-09-25 | リコーイメージング株式会社 | Imaging device and imaging apparatus |
JP7007965B2 (en) | 2018-03-19 | 2022-01-25 | キヤノン株式会社 | Image sensor and electronic equipment having it |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02162970A (en) * | 1988-12-16 | 1990-06-22 | Hitachi Denshi Ltd | Signal processing circuit |
JPH08186760A (en) * | 1994-12-28 | 1996-07-16 | Philips Japan Ltd | Image shake correcting device |
JP2000244797A (en) * | 1999-02-23 | 2000-09-08 | Sony Corp | Device and method for processing image signal |
JP2000295537A (en) * | 1999-04-02 | 2000-10-20 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device |
JP4473363B2 (en) * | 1999-05-26 | 2010-06-02 | 富士フイルム株式会社 | Camera shake correction apparatus and correction method thereof |
JP4284570B2 (en) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | Imaging apparatus and method thereof |
JP2001145014A (en) * | 1999-11-16 | 2001-05-25 | Canon Inc | Image signal processor, image signal processing method and recording medium |
JP3349129B2 (en) * | 2000-02-18 | 2002-11-20 | 株式会社東芝 | Imaging device |
JP4403635B2 (en) * | 2000-05-31 | 2010-01-27 | パナソニック株式会社 | Dynamic range expansion camera |
JP2002252367A (en) * | 2001-02-23 | 2002-09-06 | Nippon Hoso Kyokai <Nhk> | High sensitivity photoelectric converter |
JP2002287198A (en) * | 2001-03-28 | 2002-10-03 | Tamron Co Ltd | Image stabilizing device for image pickup device |
-
2010
- 2010-05-26 JP JP2010120890A patent/JP5168319B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010193524A (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10771718B2 (en) | Imaging device and imaging system | |
JP5516960B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus | |
JP4609428B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
JP4973115B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
CN101998066B (en) | Solid-state image pickup device, driving method and electronic apparatus thereof | |
JP4862473B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
US8908065B2 (en) | Solid state imaging processing systems and method for providing signal correction of pixel saturation errors | |
US9036052B2 (en) | Image pickup apparatus that uses pixels different in sensitivity, method of controlling the same, and storage medium | |
JP5223953B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
KR101939402B1 (en) | Solid-state imaging device and driving method thereof, and electronic apparatus using the same | |
JP2010147614A (en) | Solid-state imaging apparatus and method for driving the same, imaging apparatus | |
JP4419675B2 (en) | Solid-state imaging device and driving method of solid-state imaging device | |
JP5885431B2 (en) | Imaging device and imaging apparatus | |
WO2011083541A1 (en) | Solid-state image capture device and image capture device | |
WO2018012068A1 (en) | Solid-state image pickup device, method for driving solid-state image pickup device, and electronic apparatus | |
JP2010245891A (en) | Imaging device and imaging method | |
JP2004282552A (en) | Solid state imaging device and solid state imaging apparatus | |
JP5168319B2 (en) | Solid-state imaging device and driving method of solid-state imaging device | |
JP2007074435A (en) | Solid-state imaging device and its drive method | |
JP4916095B2 (en) | Solid-state imaging device and driving method of solid-state imaging device | |
WO2016175036A1 (en) | Solid-state imaging element and drive method for same, and electronic device | |
JP4380403B2 (en) | Solid-state imaging device and driving method of solid-state imaging device | |
JP2008017100A (en) | Solid-state imaging device | |
JP2016167773A (en) | Imaging apparatus and processing method of the same | |
JP2020028115A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |