JP4764036B2 - Method and circuit for performing correlated double subsampling of pixels in an active pixel sensor array - Google Patents
Method and circuit for performing correlated double subsampling of pixels in an active pixel sensor array Download PDFInfo
- Publication number
- JP4764036B2 JP4764036B2 JP2005073341A JP2005073341A JP4764036B2 JP 4764036 B2 JP4764036 B2 JP 4764036B2 JP 2005073341 A JP2005073341 A JP 2005073341A JP 2005073341 A JP2005073341 A JP 2005073341A JP 4764036 B2 JP4764036 B2 JP 4764036B2
- Authority
- JP
- Japan
- Prior art keywords
- reset
- averaging
- charge
- image sensor
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000002596 correlated effect Effects 0.000 title description 4
- 239000003990 capacitor Substances 0.000 claims description 178
- 238000012935 Averaging Methods 0.000 claims description 99
- 238000005070 sampling Methods 0.000 claims description 41
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000013500 data storage Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 241000492493 Oxymeris Species 0.000 description 24
- 101100000587 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) acu-3 gene Proteins 0.000 description 19
- 101000849579 Arabidopsis thaliana 30S ribosomal protein S13, chloroplastic Proteins 0.000 description 11
- 101710170230 Antimicrobial peptide 1 Proteins 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 5
- 230000005570 vertical transmission Effects 0.000 description 5
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 3
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 101710170231 Antimicrobial peptide 2 Proteins 0.000 description 2
- 101000585507 Solanum tuberosum Cytochrome b-c1 complex subunit 7 Proteins 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- QUPFKBITVLIQNA-KPKJPENVSA-N (5e)-2-sulfanylidene-5-[[5-[3-(trifluoromethyl)phenyl]furan-2-yl]methylidene]-1,3-thiazolidin-4-one Chemical compound FC(F)(F)C1=CC=CC(C=2OC(\C=C\3C(NC(=S)S/3)=O)=CC=2)=C1 QUPFKBITVLIQNA-KPKJPENVSA-N 0.000 description 1
- 102100025074 C-C chemokine receptor-like 2 Human genes 0.000 description 1
- 101000798902 Homo sapiens Atypical chemokine receptor 4 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Description
本発明は、イメージセンサに係り、特に、APS(Active Pixel Sensor)アレイのN×Mピクセル領域でダイナミックに選択されるピクセルのCDSS(Correlated Double Sub−Sampling:相関性二重サブサンプリング)(サブサンプリングとその後の相関性二重サンプリング)を行い得る方法及び回路に関する。 The present invention relates to an image sensor, and more particularly to a correlated double sub-sampling (CDSS) of pixels dynamically selected in an N × M pixel region of an active pixel sensor (APS) array (sub-sampling). And subsequent correlated double sampling).
1980年代の半ばからの最も普遍的なイメージピックアップ装置は、CCD(Charge−Coupled Device)であった。半導体産業の発展と共に、CCD方式は急速に発展し、結局、小型の高性能カメラに搭載されるに至った。CCDは、重要なイメージピックアップ装置であるが、デジタルカメラの核心であるCCDセンサは、比較的多量のエネルギを消費し、高速動作に適していないという問題点がある。 The most common image pickup device since the mid 1980's was a CCD (Charge-Coupled Device). With the development of the semiconductor industry, the CCD system developed rapidly and eventually came to be mounted on small high-performance cameras. The CCD is an important image pickup device, but the CCD sensor which is the core of the digital camera has a problem that it consumes a relatively large amount of energy and is not suitable for high-speed operation.
そのような観点から、数百万ピクセル以上の高解像度の実現が可能な大型CIS(CMOS Image Sensor)が開発されてきた。高集積で非常に多くのピクセルを配置でき、且つ高速でデータスキャニングが可能である以外に、CISは、現在使用されている標準CCDに比べて、低電力消費(CCDによって消費される電力の約1/5)という点で著しい長所がある。 From such a viewpoint, a large CIS (CMOS Image Sensor) capable of realizing a high resolution of several million pixels or more has been developed. Besides being highly integrated and capable of arranging a large number of pixels and allowing high-speed data scanning, CIS has a lower power consumption (about the power consumed by the CCD) compared to standard CCDs currently in use. 1/5) has a significant advantage.
CISの他の長所は、安い製造コストである。すなわち、相対的に、大型サイズのCISが低コストで供給されうる。CISは、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)やCMOS(Complementary Metal Oxide Semiconductor)トランジスタのような工程で同一チップ上に製造することができるため、信号処理回路は、連結線を減らしつつ同一チップ上に形成できる。更に、CISは、CCDより更に低い電圧で駆動され、周辺回路が同一チップ上に配置されるようにできるため、サイズを小さくすることが可能である。したがって、CISは、広範囲な応用分野のある将来のデジタル映像システムで、核心となる映像感知装置(CCD固体撮像素子の代替)として期待される。 Another advantage of CIS is its low manufacturing cost. That is, relatively large CIS can be supplied at low cost. Since CIS can be manufactured on the same chip in a process such as MOSFET (Metal Oxide Field Effect Transistor) or CMOS (Complementary Metal Oxide Semiconductor) transistor, the signal processing circuit reduces the number of connecting lines. Can be formed. Furthermore, since the CIS is driven at a voltage lower than that of the CCD and the peripheral circuits can be arranged on the same chip, the size can be reduced. Therefore, CIS is expected as a core image sensing device (substitute for CCD solid-state imaging device) in the future digital image system with a wide range of application fields.
CCDとCISとでは、映像データスキャニング方式に相違点が多い。例えば、3百万ピクセル解像度で、CCDセンサは、3百万アナログ電荷を連続的にスキャンし、電荷を電気的信号に変換する増幅は、一般的に最後のピクセルがスキャンされた後のみに発生する。それに対し、CIS、すなわち、図1のようなAPSは、ピクセル当り一つの増幅素子(電荷を電気的信号に変換するトランジスタやその他の変換器)を有する。したがって、CISは、一つのピクセルごとに信号増幅を行うため、伝達動作を減らすことができ、更に低エネルギ消費で更に高速のデータスキャンを行うことができる。 There are many differences in the video data scanning method between the CCD and the CIS. For example, at 3 million pixel resolution, a CCD sensor continuously scans 3 million analog charges, and amplification that converts the charges into electrical signals typically occurs only after the last pixel is scanned To do. On the other hand, the CIS, that is, the APS as shown in FIG. 1, has one amplifying element (a transistor or other converter that converts electric charges into an electrical signal) per pixel. Therefore, since CIS performs signal amplification for each pixel, the transmission operation can be reduced, and further high-speed data scanning can be performed with lower energy consumption.
CDS(Correlated Double Sampling:相関性二重サンプリング)
CISの電荷−電圧変換器は、基本的に一つのステージ以上の電圧フォロア(増幅トランジスタ)と一つのキャパシタ、及びこのキャパシタ電圧をリセットさせるための一つのスイッチより構成される。最も単純なビデオシステムで、スイッチは、各ピクセルの読み取りの初期に閉まって、出力レベルだけでなくキャパシタの電圧をリセットさせる。ピクセル電荷パケットがキャパシタに伝達された後には、電圧に変わり、その出力信号は該当ピクセル値と表わされる。スイッチのような構成要素は、それ自体の一定の誤差伝導率を有するため、キャパシタを不特定な一定値にプリチャージし、それ故、出力信号にエラーを発生させる。そのようなプリチャージの不確実性は、CDSによって補償することができる。そのような方法で、出力信号は、各ピクセルに対して2回ずつサンプリングされる。すなわち、キャパシタをプリチャージした直後に1回と、ピクセル電荷パケットが合わせられた後にまた1回である。そのような2つの値の差は、スイッチによって引き起こされたノイズ成分を排除できる。
CDS (Correlated Double Sampling)
A CIS charge-voltage converter basically includes a voltage follower (amplification transistor) of one stage or more, a capacitor, and a switch for resetting the capacitor voltage. In the simplest video system, the switch closes at the beginning of each pixel reading to reset the capacitor voltage as well as the output level. After the pixel charge packet is transferred to the capacitor, it changes to a voltage and its output signal is represented as the corresponding pixel value. A component such as a switch has its own constant error conductivity, thus precharging the capacitor to an unspecified constant value, thus causing an error in the output signal. Such precharge uncertainty can be compensated by CDS. In such a manner, the output signal is sampled twice for each pixel. That is, once after the capacitor is precharged and once after the pixel charge packets are combined. Such a difference between the two values can eliminate the noise component caused by the switch.
CDS方式は、集積されるイメージセンサのSNR(Signal to Noise Ratio)を改善するために考案された方式である。ピクセルのブラックレベルや基準レベル、またはリセットレベルを、実質的に光によって誘導された信号から引くことにより、静的FTP(Fixed Pattern Noise:固定パターンノイズ)と、多様な形態の時間的ノイズが、APSアレイ出力から効果的に除去される。 The CDS method is a method devised to improve the SNR (Signal to Noise Ratio) of an integrated image sensor. By subtracting the pixel black level, reference level, or reset level from the signal that is substantially induced by light, static FTP (Fixed Pattern Noise) and various forms of temporal noise Effectively removed from the APS array output.
図2は、APSアレイの4×4ピクセル領域の4つの同一色のCDSサンプルされたピクセル値を平均化するために適用できる一般的なCDS回路(例えば、図1のCDS&ADCブロック内に含まれた)を示すブロック図である。CDSサンプルされて平均される4ピクセルを含む2行が、図1の行ドライバによって選択される。 FIG. 2 illustrates a typical CDS circuit (eg, included in the CDS & ADC block of FIG. 1) that can be applied to average four identical color CDS sampled pixel values in a 4 × 4 pixel region of an APS array. FIG. Two rows containing 4 pixels that are CDS sampled and averaged are selected by the row driver of FIG.
APSアレイで、光電荷は、フォトダイオード(PD)によって収集され、各ピクセルごとに、その内部の一つのキャパシタンスCに保存される。光電荷は、キャパシタから、そのキャパシタによる電圧(V=Q/C)として読み取られる。CDS過程により、光電変化された信号電圧Vs=Qs/Cが、ブラックレベルや基準レベル、またはリセットレベル電圧のVr=Qr/Cと比較される。Vrはチャンネルオフされて、Cのあらゆる電荷が固定された電位となる時、すなわち、光電変化された信号電圧の生成以前に得られる。したがって、各ピクセルについて、最終出力電圧V=Vs−Vr=(Qs−Qr)/Cが得られる。CDS過程は、図1のようなAPSアレイと同一チップ上に製造された回路を有するオン−チップ上で行われ、または“オフ−チップCDS”によっても可能である。CDS過程には、一般的に、CDSサンプルされる各ピクセルカラムのための一つのメモリ(例えば、電荷を保存する一つのキャパシタ)と一つの減算器とが要求される。 In the APS array, the photocharge is collected by a photodiode (PD) and stored for each pixel in a single capacitance C within it. The photocharge is read from the capacitor as a voltage (V = Q / C) by the capacitor. The signal voltage Vs = Qs / C photoelectrically changed by the CDS process is compared with the black level, the reference level, or the reset level voltage Vr = Qr / C. Vr is obtained when the channel is turned off and all charges of C are at a fixed potential, that is, before the generation of the photoelectrically changed signal voltage. Therefore, the final output voltage V = Vs−Vr = (Qs−Qr) / C is obtained for each pixel. The CDS process can be performed on-chip with circuitry fabricated on the same chip as the APS array as in FIG. 1, or can be by “off-chip CDS”. The CDS process typically requires one memory (eg, one capacitor for storing charge) and one subtractor for each pixel column that is CDS sampled.
図2の回路で、4つのキャパシタ50a、51a、50b、51bは、4つのピクセルから4つの値を保存するために提供され、スイッチ2、21a、21bは、4つの保存された電荷によって“イメージ平均化処理”を行うために提供される。キャパシタ50a、51a、50b、51bのそれぞれは、一つのピクセルのアナログイメージデータを示す最終出力電圧V(V=Vs−Vr)を出力するための一つの電荷(Qs−Qr)を保存するために提供される。スイッチ21a、21bのそれぞれは、同じカラムで、相異なる行のピクセルから順に得られた二つの保存されたピクセル値を合わせて平均化するために提供される。例えば、同じサイズのキャパシタ50a、51aのそれぞれが、一つの第1カラムからサンプルされたピクセル値を保存している時、スイッチ21aが閉まれば、2つのキャパシタの電荷は合わせられて等化され、2つのキャパシタ50a、51aに均等に分けて分布される。このように、同じカラムの異なる行からのサンプルされたピクセル値は平均化される。スイッチ2は、二つの異なるカラム(例えば、第1及び第3カラム)からサンプルされたピクセル値を合わせて平均化するために提供される。例えば、同じサイズのキャパシタ50a、51a、50b、51bが、第1及び第3カラムのピクセルから互いに平均化されたサンプルされたピクセル値を保存している時、スイッチ2、21a及び21bが閉まれば、4つのキャパシタ50a、51a、50b、51bに保存された電荷は合わせられて平均化され、その4つのキャパシタに分けて分布される。そのように、2行及び2つのカラムから同一色を有する4ピクセルからサンプルされたピクセル値は平均化される。もし、スイッチ21a、21bが開放され、スイッチ2が閉まれば、図2の回路は、キャパシタ50a、50bに保存された同じ行の相異なる2つのカラムからの2つのピクセル値のみを平均化する。
In the circuit of FIG. 2, four
最終平均化されたCDSサンプルされたピクセル値のそれぞれは、増幅器54a、54b、カラム選択スイッチ(トランジスタ)20、及び共通出力ライン30を介して、アナログ−デジタル変換器(図示せず)に順次伝送される。
Each final averaged CDS sampled pixel value is sequentially transmitted to an analog-to-digital converter (not shown) via
図2は、それぞれの垂直選択ラインCL1及びCL3を経て、サンプルホールドスイッチ42a、42bを介して、2つのカラム(例えば、第1及び第3カラム)のうち、一つからピクセルのCDSサンプリングのための互いに連結された二つの同じ回路(a、b)を含む。APSアレイの一つのピクセルから出力されたリセットまたは信号電荷をホールディングするためのサンプルホールドキャパシタ44は、サンプルホールドスイッチ42によって垂直選択ラインに連結される。基準電圧ソース46a、46bのそれぞれは、サンプルホールドキャパシタ44a、44bのそれぞれに直列に連結される。アナログ電荷減算器は、サンプルホールドキャパシタ44a、44b、増幅器(例えば、非反転バッファ)48、及びCDSキャパシタ50a、50bより構成される。減算器の出力ノード(CDSキャパシタ50の出力端)は、出力増幅器54の入力端に連結される。サンプルホールドキャパシタ44にホールドされた電荷は、クランプスイッチ52が閉まることによりCDSキャパシタ50に複写される。なぜならば、サンプルホールドキャパシタ44によって保存された電荷量に対応する非反転増幅器48の出力電圧と同じ電圧(または電荷)が、CDSキャパシタ50に保存されるように誘導できるためである。次いで、CDSキャパシタ50は、クランプスイッチ52が開放されることによって、フローティング状態となり、その時、サンプルホールドキャパシタ44から複写された電圧/電荷を保存する。
FIG. 2 illustrates CDS sampling of pixels from one of two columns (eg, first and third columns) via
そのように、サンプルホールドキャパシタ44によって、最初に受信されてホールドされた一定のピクセルからの第1電荷(信号電荷)Qsが、CDSキャパシタ50に複写されて保存され、その後に同じピクセルからの第2電荷(リセット電荷)Qrが、サンプルホールドキャパシタ44によって受信されて保存される。 As such, the first charge (signal charge) Qs from a certain pixel initially received and held by the sample and hold capacitor 44 is copied and stored in the CDS capacitor 50, and then the second charge from the same pixel. Two charges (reset charges) Qr are received and stored by the sample and hold capacitor 44.
そのように、選択ラインCL1を介して一つのピクセルからの信号電圧VSが、まず減算器の入力端(サンプルホールドキャパシタ44のノード)に印加され、クランプスイッチ52が閉まった状態であれば、ピクセルからの信号電圧VSは、サンプルホールドキャパシタ44だけでなく、CDSキャパシタ50をも充電する。次いで、クランプスイッチ52が開放されれば、リセット電圧VRが同じピクセルから出力されて、アナログ減算器の入力端に入力され、サンプルホールドキャパシタ44によってホールドされる。結果的に、信号電圧VS及びリセット電圧VRの差に対応する信号VS−VRが、アナログ減算器の出力端、すなわち、CDSキャパシタ50の出力端で生成される。そのように、信号電圧VS及びリセット電圧VRが何れも反映された固定パターンノイズが除去されて、一つのピクセルのCDSサンプルされたアナログピクセルデータが得られる。CDSサンプルされたアナログピクセルデータは、スイッチ20が閉まった時に、スイッチ20、増幅器54及び共通出力ライン30を介して出力される。
In this way, the signal voltage VS from one pixel is first applied to the input terminal of the subtracter (node of the sample hold capacitor 44) via the selection line CL1, and if the clamp switch 52 is closed, the pixel The signal voltage VS from 1 charges not only the sample and hold capacitor 44 but also the CDS capacitor 50. Next, when the clamp switch 52 is opened, the reset voltage VR is output from the same pixel, input to the input terminal of the analog subtractor, and held by the sample hold capacitor 44. As a result, a signal VS−VR corresponding to the difference between the signal voltage VS and the reset voltage VR is generated at the output terminal of the analog subtractor, that is, the output terminal of the CDS capacitor 50. As such, the fixed pattern noise reflecting both the signal voltage VS and the reset voltage VR is removed, and CDS sampled analog pixel data of one pixel is obtained. CDS sampled analog pixel data is output via
キャパシタ50a、51a、50b、51bのそれぞれは、一つのピクセルのアナログイメージデータを示す最終出力電圧V=Vs−Vrを出力する電荷Qs/Qrを保存する。
Each of the
差異信号VS−VRは、CDSキャパシタ50によってホールドされ、それにより、CDSキャパシタ50a、51a、50b、51bのそれぞれは、4つのCDSサンプルされたピクセルのための4つの全体差異信号VS−VRを保存する。しかし、サンプルホールドキャパシタ44に保持された電荷、すなわち、非反転増幅器48の出力電圧を変化させつつ、一つのCDSキャパシタ50(例えば、50a、51a、50b、51bのうち一つ)に、全体差信号VS−VRを正確に示す電荷を保持させることは困難である。実際には、CDSキャパシタ50がQs−Qrによる全体差信号VS−VRを保存するというより、一定の一つのピクセルからの電荷(例えば、ピクセルから受信されたリセット電荷Qrまたは信号電荷Qsのうち、いずれか一つの電荷)と関連した電圧のみを保存する。
The difference signal VS-VR is held by the CDS capacitor 50 so that each of the
そのように、4ピクセルのリセット電荷Qrが、二つのサンプルホールドキャパシタ44a、44bのうち、いずれか一つによって受信されて保存される前に、4ピクセルのそれぞれのイメージ信号電荷Qsが、CDSキャパシタ50a、51a、50b、51bのうちの一つにまず保存され、CDSキャパシタ50a、51a、50b、51bに保存された4つのフローティング信号電荷Qsは、そのCDSキャパシタで合せられてそれぞれに分けて分布されるが、増幅器54a、54bによる結果的な出力は、二つのサンプルホールドキャパシタ44a、44bに保存された二つのリセット電荷に基づいている。そのように、減算器の結果的な出力(増幅器54による出力)は、図2の回路から順次に出力される4つのCDSサンプルされたピクセル値VS−VRの数学的な平均ではない。この場合に、二つの受信されたリセット電荷/電圧のみが、二つの保存された信号電荷/電圧と平均化される。
As such, before the reset charge Qr of 4 pixels is received and stored by any one of the two sample and hold
このように、図2に示す回路の動作では、4つのピクセルを代表する平均化されたピクセルには、固定パターンノイズ成分による発生したエラーが含まれる。 As described above, in the operation of the circuit shown in FIG. 2, the averaged pixel representing the four pixels includes an error caused by the fixed pattern noise component.
APSアレイによって、デジタルカメラで捕えられたイメージをサブサンプリングする能力は、縮少した解像度モードを実現しようとする場合には有効的である。例えば、動画キャプチャモードでビットレートを減らそうとする場合や、映像を、縮少した解像度でディスプレイしようとする場合である。アナログ−デジタル変換後のデジタルドメインでのサブサンプリングは、付加的な電力を消耗する大容量のメモリと処理時間とを必要とする。 The ability to subsample an image captured by a digital camera with an APS array is useful when trying to achieve a reduced resolution mode. For example, when trying to reduce the bit rate in the moving image capture mode, or when trying to display the video with a reduced resolution. Sub-sampling in the digital domain after analog-to-digital conversion requires a large amount of memory and processing time that consumes additional power.
アナログドメインでの平均化動作でピクセルサブサンプリングを行うための図2のような回路やその他の類似した回路は、バイヤーパターンのCDSサンプルされたピクセル、すなわち、4×4ピクセル領域にある各カラーの4ピクセルを平均化してサブサンプリングを行うために適用される。 A circuit such as FIG. 2 and other similar circuits for performing pixel sub-sampling in an analog domain averaging operation are used for CDS sampled pixels of the buyer pattern, ie, for each color in the 4 × 4 pixel region. It is applied to average 4 pixels for subsampling.
したがって、本発明が達成しようとする技術的課題は、サブサンプリングモード駆動時、ピクセルから出力される映像信号をアナログ的に平均化して、ディスプレイ品質を改善するイメージセンサ及び方法を提供することにある。 Accordingly, a technical problem to be achieved by the present invention is to provide an image sensor and a method for improving display quality by analogly averaging video signals output from pixels when driving in a sub-sampling mode. .
前記の技術的課題を達成するための本発明に係るイメージセンサは、行と列とに配列された複数のピクセルより構成され、各カラムピクセルが、少なくとも2つのリセット電荷を保存する少なくとも2つのリセットデータキャパシタと、少なくとも2つのイメージ電荷を保存する少なくとも2つのイメージ信号データキャパシタとにスイッチで連結されたことを特徴とする。 An image sensor according to the present invention for achieving the above technical problem is composed of a plurality of pixels arranged in rows and columns, and each column pixel stores at least two reset charges. A switch is connected to the data capacitor and at least two image signal data capacitors for storing at least two image charges.
前記イメージセンサは、各ピクセルが、リセット電圧及びイメージ信号電圧を出力する、N行とNカラムに配列されたN2ピクセルを有するAPSアレイで、第1キャパシタで、第1ピクセルのリセット電圧を第1電荷として保存する段階と、第2キャパシタで、第2ピクセルのリセット電圧を第2電荷として保存する段階と、前記第1及び第2電荷を平均されたリセット電荷に合成する段階と、を含むことを特徴とするサブサンプリング方法を行う。 The image sensor is an APS array having N 2 pixels arranged in N rows and N columns, in which each pixel outputs a reset voltage and an image signal voltage, and a first capacitor resets the reset voltage of the first pixel. Storing as a charge, storing a reset voltage of the second pixel as a second charge with a second capacitor, and combining the first and second charges into an averaged reset charge. A sub-sampling method is performed.
前記サブサンプリング方法は、APSアレイでピクセルをサブサンプリングする方法において、前記APSアレイで、L2ピクセルから受信されるL2アナログピクセルリセットデータ電荷を第1セットのN2キャパシタに保存する段階と、前記APSアレイで、L2ピクセルから受信されるL2アナログピクセルイメージ信号データ電荷を第2セットのN2キャパシタに保存する段階と、を含むことを特徴とする。Lは、1からNまでの間の整数である。前記サブサンプリング方法は、前記第1セットのN2キャパシタに保存されたL2アナログピクセルリセットデータ電荷で第1平均化動作を行う段階を更に含むことを特徴とする。前記サブサンプリング方法は、前記第2セットのN2キャパシタに保存されたL2アナログピクセルイメージ信号データ電荷で第2平均化動作を行う段階を更に含むことを特徴とする。 The sub-sampling method is a method of sub-sampling pixels in the APS array, in the APS array, the method comprising storing the L 2 analog pixel reset data charges received from L 2 pixels in the first set of N 2 capacitor, wherein in the APS array, characterized in that it comprises the steps of storing the L 2 analog pixel image signal data charges received from L 2 pixels in the second set of N 2 capacitor, a. L is an integer between 1 and N. The sub-sampling method is characterized by further comprising performing a first averaging operation with conserved L 2 analog pixel reset data charges to said first set of N 2 capacitor. The sub-sampling method is characterized by further comprising performing a second averaging operation with conserved L 2 analog pixel image signal data charges to said second set of N 2 capacitor.
前記イメージセンサは、前記少なくとも2つのリセット電荷を利用して、第1平均化動作を行って平均化されたリセット電荷を生成する平均化回路を更に備えることを特徴とする。前記平均化回路は、前記少なくとも2つのイメージ電荷を利用して、第2平均化動作を行って平均化されたイメージ電荷を生成することを特徴とする。前記第1及び第2平均化動作は、アナログドメインで行われる。前記イメージセンサは、前記平均化されたイメージ電荷から、前記平均化されたリセット電荷を減算して差分電圧を生成するアナログ減算器と、前記差分電圧をアナログ−デジタル変換するアナログ−デジタル変換器(Analog to Digital Converter:以下、ADC)とを更に備えることを特徴とする。 The image sensor may further include an averaging circuit that generates a reset charge averaged by performing a first averaging operation using the at least two reset charges. The averaging circuit may generate an averaged image charge by performing a second averaging operation using the at least two image charges. The first and second averaging operations are performed in the analog domain. The image sensor includes an analog subtractor that generates a differential voltage by subtracting the averaged reset charge from the averaged image charge, and an analog-digital converter that converts the differential voltage from analog to digital ( (Analog to Digital Converter: hereinafter referred to as ADC).
本発明の他の実施例に係るサブサンプリング方法は、それぞれのピクセルが、リセット電圧とイメージ信号電圧とを出力する複数の行と複数のカラムとに配列されたピクセルアレイで、複数のピクセル(L2)から出力されたアナログリセットデータ電荷、例えば、第1セットの保存キャパシタに保存されたL2リセットデータ電荷を互いに合成する段階と、複数のピクセル(L2)から出力されたアナログイメージ信号データ電荷、例えば、第2セットの保存キャパシタに保存されたL2イメージ信号データ電荷を互いに合成する段階と、を含む。一つのピクセルからのリセット及びイメージ信号電荷の代りに、前記合成された(平均された)リセットデータ電荷、及び前記合成されたイメージ信号データ電荷が使用されて、CDS動作が行われ、それにより、同色の平均化されるL2ピクセルについての正確な数学的平均化を示す差異電圧(VS−VR)が生成される。 A sub-sampling method according to another embodiment of the present invention is a pixel array in which each pixel is arranged in a plurality of rows and a plurality of columns that output a reset voltage and an image signal voltage. output analog reset data charges from 2), for example, the method of synthesizing a conserved L 2 reset data charges to the first set of storage capacitor together analog image signal data output from the plurality of pixels (L 2) Combining charges, eg, L 2 image signal data charges stored in a second set of storage capacitors, with each other. Instead of reset and image signal charge from one pixel, the combined (averaged) reset data charge and the combined image signal data charge are used to perform a CDS operation, thereby A difference voltage (VS-VR) is generated that indicates accurate mathematical averaging for the L 2 pixels being averaged of the same color.
本発明の実施例で行われる平均化(サブサンプリング)機能の正確性は、バイヤーパターンアレイの4×4ピクセル領域内の4つの同色のCDSサンプルされた値(Qs−Qrとして量子化された電荷)の数学的平均が、次の数式を満足するか否かによって確認することができる。減算器内のあらゆるキャパシタは、何れもキャパシタンスCを有し、何れも同じ基準電圧Vrefと関連して充電されると仮定する。 The accuracy of the averaging (sub-sampling) function performed in the embodiment of the present invention is the fact that four identically colored CDS sampled values (charge quantized as Qs-Qr) within the 4 × 4 pixel region of the buyer pattern array. ) Can be confirmed by whether or not the mathematical average satisfies the following formula. Assume that every capacitor in the subtracter has a capacitance C and is charged with respect to the same reference voltage Vref.
上記数式によって、互いに平均化される(サブサンプリングされる)4つのCDSサンプルされたピクセル値の正確な平均値は、4ピクセルからの4つの信号電荷の合成値QS11+QS13+QS31+QS33から、4ピクセルからの4つのリセット電荷の合成値QR11+QR13+QR31+QR33を減算して得られる。4つの信号電荷の合成値は、合成されたリセット電荷を減算する前に4で割れ、割れた値は、4つの同一キャパシタンスを有するキャパシタの間に等しく分配される。同様に、4つのリセット電荷の合成値は、合成された信号電荷から減算する前に4で割れ、割れた値は、4つの同じキャパシタンスを有するキャパシタの間に等しく分配される。これより、CDSサンプルされたピクセルの平均値を得る方法は、平均リセット電荷QRAVGを得るために、4つの関連リセット電荷を合成して割る段階と、平均信号電荷QSAVGを得るために、4つの関連信号電荷を合成して割る段階と、前記平均信号電荷QSAVGから前記平均リセット電荷QRAVGを減算して、一つのCDSサンプリング動作(減算動作)を行う段階と、を含む。そのような一般的な方法は、ここでCDSSとして記述される。なぜならば、そのような方法の結果が、4つのCDSサンプルされたピクセルについての正確な平均を示し、正確にサブサンプルされたピクセル値であるためである。
The exact average of the four CDS sampled pixel values that are averaged (subsampled) to each other by the above equation is from the combined value Q S11 + Q S13 + Q S31 + Q S33 of the four signal charges from the four pixels. It is obtained by subtracting the combined value Q R11 + Q R13 + Q R31 + Q R33 of four reset charges from four pixels. The combined value of the four signal charges is split at 4 before subtracting the combined reset charge, and the split value is equally distributed among the four capacitors with the same capacitance. Similarly, the combined value of the four reset charges is split at 4 before subtracting from the combined signal charge, and the split value is equally distributed among the four capacitors with the same capacitance. Thus, the method for obtaining the average value of the CDS sampled pixels is to combine and divide the four related reset charges to obtain the average reset charge Q RAVG and to obtain the average
本発明の実施例で、サブサンプリング率Bが4であるCDSSは、以下のように3段階からなる。まず、2対のリセット電圧(電荷)が、カラム方向に平均化され、2対の信号電圧(電荷)がカラム方向に平均化される。次いで、行方向に2対の平均リセット電圧が平均化されて、最終平均リセット電圧が得られ、行方向に2対の平均信号電圧が平均化されて、最終平均信号電圧が得られる。最後に、一つのアナログ減算器を使用して、前記最終平均イメージ信号電圧から前記最終平均リセット信号電圧が減算される。本発明の実施例で、電荷等の平均化は、4つのキャパシタンスCに保存された電荷を、結局一つとなる大きいキャパシタンス4Cに合成することと、同じキャパシタンスCを有する4つのキャパシタンスに分けて分配することを含む。 In the embodiment of the present invention, a CDSS with a sub-sampling rate B of 4 consists of three stages as follows. First, two pairs of reset voltages (charges) are averaged in the column direction, and two pairs of signal voltages (charges) are averaged in the column direction. The two pairs of average reset voltages are then averaged in the row direction to obtain a final average reset voltage, and the two pairs of average signal voltages are averaged in the row direction to obtain a final average signal voltage. Finally, the final average reset signal voltage is subtracted from the final average image signal voltage using one analog subtractor. In the embodiment of the present invention, the averaging of the charge and the like is performed by combining the charge stored in the four capacitances C into a large capacitance 4C that is eventually one, and dividing the charge into four capacitances having the same capacitance C. Including doing.
本発明の更に他の実施例に係るイメージセンサは、複数の行と複数のカラムとに配列されたピクセルアレイより構成され、各カラムピクセルの各ピクセルが平均化部に連結される動作が行われ、各平均化部は、第1ピクセル及び第2ピクセルからのアナログリセットデータを保存する第1及び第2保存キャパシタと、前記第1ピクセル及び前記第2ピクセルからのアナログイメージ信号データを保存する第3及び第4保存キャパシタと、を含むことを特徴とする。 An image sensor according to another embodiment of the present invention includes a pixel array arranged in a plurality of rows and a plurality of columns, and an operation is performed in which each pixel of each column pixel is connected to an averaging unit. Each averaging unit stores first and second storage capacitors for storing analog reset data from the first pixel and the second pixel, and analog image signal data from the first pixel and the second pixel. 3 and a fourth storage capacitor.
本発明によるイメージセンサ及びそのサブサンプリング方法は、APS内の複数のピクセルを直接及び正確にサブサンプリングして、それにより静的固定パターンノイズを除去できる。 The image sensor and its sub-sampling method according to the present invention can directly and accurately sub-sample a plurality of pixels in the APS, thereby removing static fixed pattern noise.
本発明と本発明の動作上の利点、及び本発明の実施によって達成される目的を十分に理解するには、本発明の好ましい実施例を示す添付図面及び添付図面に記載された内容を参照しなければならない。
以下、添付図面を参照して、本発明の好ましい実施例を説明することで、本発明を詳細に説明する。各図面に付された同一参照符号は、同一部材を示す。
For a full understanding of the invention and the operational advantages thereof and the objects achieved by the practice of the invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the invention and the contents described in the accompanying drawings. There must be.
Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the invention with reference to the accompanying drawings. The same reference numerals attached to the drawings indicate the same members.
図3は、本発明の一実施例に係る、APSアレイ及びCDSSを行う平均化及び比較回路(Averaging and Comparing Unit:以下、ACU)を含むCISを示すブロック図である。図4は、図3のCISのAPSアレイ内の各ピクセル構造を示す回路図である。 FIG. 3 is a block diagram illustrating a CIS including an APS array and an averaging and comparing unit (ACU) that performs CDSS according to an embodiment of the present invention. FIG. 4 is a circuit diagram showing each pixel structure in the CIS APS array of FIG.
図3及び図4を参照すると、APSアレイは、図4のピクセル回路のように、周知の複数のピクセル回路より構成される。このピクセル回路は、順次にVR(リセット信号)電圧とVS(イメージ信号)電圧とを出力する。APSアレイ内の各ピクセルは、一般的に、図4の光ダイオードPDのように、光電変換器を含む。行ドライバ回路は、周知のように、本発明の一実施例に係るCDSSの間に、順次に奇数行対(1、3、・・・)を選択し、次に偶数行対(2、4、・・・)を選択する。複数のラインのうち、1行を選択的にアクティブさせるために、各行にアクティブ行選択信号SELが伝送される。 Referring to FIGS. 3 and 4, the APS array includes a plurality of well-known pixel circuits such as the pixel circuit of FIG. This pixel circuit sequentially outputs a VR (reset signal) voltage and a VS (image signal) voltage. Each pixel in the APS array typically includes a photoelectric converter, such as the photodiode PD of FIG. As is well known, the row driver circuit sequentially selects odd row pairs (1, 3,...) And then even row pairs (2, 4,...) During CDSS according to one embodiment of the present invention. , ...) is selected. In order to selectively activate one row among the plurality of lines, an active row selection signal SEL is transmitted to each row.
各ピクセルの光ダイオードPDに存在するキャパシタンスに保存される電荷または電圧を読み取るには、信号TXによって制御されるスイッチTTXを閉める。スイッチTTXは、一般的に、リセット動作の間に開放される。リセットスイッチTRXと共にスイッチTTXが閉まれば、各ピクセルの光ダイオードPDの拡散領域もリセットされうる。リセット信号RXは、スイッチTRXを制御するために使用され、周知のように、信号TXによって制御されるスイッチTTXと共に使用されるスイッチTRXは、光ダイオードPDに存在するキャパシタンスに保存される電荷や電圧をリセットレベルにリセットさせる。 To read the charge or voltage stored in the capacitance present in the photodiode PD of each pixel, the switch T TX controlled by the signal TX is closed. The switch T TX is generally opened during the reset operation. If the switch T TX is closed together with the reset switch T RX , the diffusion region of the photodiode PD of each pixel can also be reset. The reset signal RX is used to control the switch T RX, and as is well known, the switch T RX used with the switch T TX controlled by the signal TX is stored in the capacitance present in the photodiode PD. Reset the charge or voltage to the reset level.
トランジスタTAMPは、電圧フォロア増幅器であって、光ダイオードPDに存在するキャパシタンスに保存された電荷や電圧を該当電圧または電流に変化させて、図3のACUに伝送して保存するようにする。 The transistor T AMP is a voltage follower amplifier that changes the electric charge or voltage stored in the capacitance present in the photodiode PD to the corresponding voltage or current, and transmits it to the ACU of FIG. 3 for storage.
リセット信号RXによって制御されるスイッチTRXは、各ピクセルの読み取り初期に閉まり、光ダイオードPDに存在するキャパシタンスに保存された電荷や電圧をリセットさせる。光ダイオードPDに存在するキャパシタンスのリセット電荷や電圧によって、スイッチTSELが閉まる時に、出力ノードOUTが出力電圧レベルVRで表わされる。APSアレイが、実際の映像(光)に露出されれば、光ダイオードPD及び各ピクセルの関連キャパシタは、光ダイオードPDに入射される光の強度に該当するイメージまたは信号電荷/電圧を引き起こす。スイッチTTXが閉まり、またスイッチTRXが開放されれば、実質的な光電変換された信号であるイメージ信号が、増幅器TAMPによって増幅され、スイッチTSELが閉まる時に、図3のACUのキャパシタにイメージ信号電圧VSとして伝送されて保存される。 The switch T RX controlled by the reset signal RX is closed at the initial reading of each pixel, and resets the charge and voltage stored in the capacitance present in the photodiode PD. When the switch TSEL is closed by the reset charge or voltage of the capacitance present in the photodiode PD, the output node OUT is represented by the output voltage level VR. If the APS array is exposed to the actual image (light), the photodiode PD and the associated capacitor of each pixel cause an image or signal charge / voltage that corresponds to the intensity of light incident on the photodiode PD. When the switch T TX is closed and the switch T RX is opened, the image signal, which is a substantially photoelectrically converted signal, is amplified by the amplifier T AMP and when the switch T SEL is closed, the capacitor of the ACU of FIG. And transmitted as an image signal voltage VS.
図5は、図3のAPSアレイ内のカラー感知ピクセルのバイヤーパターン配列と、その出力を示すブロック図である。バイヤーパターンは、APSアレイ内の光素子上に結合されたバイヤーパターンのCFA(Color Filter Array)によって実現される。本発明では、図5の太線内のピクセル領域でのように、4×4ピクセル領域内の同じカラーの4ピクセル(例えば、赤色ピクセルR11、R13、R31、R33)が平均化されてCDSSされる。そのように、CDSSされる4ピクセルの1セットは、一般的に、同じ2行及び同じ2カラムから同じカラーを有するピクセルより構成される。例えば、赤色ピクセルR11、R13、R31、R33がCDSSサンプルされ、緑色ピクセルG12、G14、G32、G34がCDSSサンプルされる。その後、緑色ピクセルG12、G14、G32、G34がCDSSサンプルされ、青色ピクセルB22、B24、B42、B44がCDSSサンプルされる。そのように、同じカラーのピクセルの4セットについてのCDSS結果は、赤色、青色、及び緑色のそれぞれに該当する4つの平均化されたピクセル値である。したがって、APSアレイの一定のピクセル領域についてCDSSを行うことは、アナログドメインで効果的にサブサンプリングして、静的固定パターンノイズ及び多様な形態の時間的ノイズを補償する。 FIG. 5 is a block diagram showing a buyer pattern array of color sensing pixels in the APS array of FIG. 3 and its output. The buyer pattern is realized by a CFA (Color Filter Array) of the buyer pattern coupled onto the optical elements in the APS array. In the present invention, four pixels of the same color (for example, red pixels R11, R13, R31, R33) in the 4 × 4 pixel region are averaged and CDSSed as in the pixel region in the thick line in FIG. . As such, a set of four pixels that are CDSS is typically composed of pixels having the same color from the same two rows and the same two columns. For example, red pixels R11, R13, R31, and R33 are CDSS sampled, and green pixels G12, G14, G32, and G34 are CDSS sampled. Thereafter, the green pixels G12, G14, G32, G34 are CDSS sampled, and the blue pixels B22, B24, B42, B44 are CDSS sampled. As such, the CDSS result for four sets of pixels of the same color is four averaged pixel values corresponding to red, blue, and green, respectively. Therefore, performing CDSS for a certain pixel region of the APS array effectively sub-samples in the analog domain to compensate for static fixed pattern noise and various forms of temporal noise.
行選択信号SEL1及びSEL3は、第1及び第3行に対応し、それらは、順次にアクティブされる。行選択信号のそれぞれがアクティブされる時、アクティブされた行のあらゆるピクセルは、まず、それぞれのリセット電圧VRを読み取り、次に実質的なイメージ信号電圧VSを読み取る(図8A、図8Bのタイミング図を参照)。図5のように、第1カラムのピクセルでは、赤色フィルタリングされたピクセルR11から信号VR11、VS11を出力し、次いで、赤色フィルタリングされたピクセルR31から信号VR31、VS31を出力する。それに対し、第3カラムのピクセルでは、赤色フィルタリングされたピクセルR13から信号VR13、VS13を出力し、次いで、赤色フィルタリングされたピクセルR33から信号VR33、VS33を出力する。ここで、第1行が先にアクティブされると仮定したが、第3行が先にアクティブされることもある。また、図5には示されていないが、図6に示すように、第2カラムのピクセルで、緑色フィルタリングされたピクセルG12から信号VR12、VS12を出力し、次いで、緑色フィルタリングされたピクセルG32から信号VR32、VS32を出力できる。また、第4カラムのピクセルで、緑色フィルタリングされたピクセルG14から信号VR14、VS14を出力し、次いで、緑色フィルタリングされたピクセルG34から信号VR34、VS34を出力できる。第2行及び第4行のピクセル値も、第1行及び第3行のピクセル値が何れもCDSSサンプルされた後に出力される。 Row selection signals SEL1 and SEL3 correspond to the first and third rows, which are activated sequentially. When each of the row selection signals is activated, every pixel in the activated row first reads the respective reset voltage VR and then reads the substantial image signal voltage VS (timing diagrams of FIGS. 8A and 8B). See). As shown in FIG. 5, in the pixel of the first column, the signals VR11 and VS11 are output from the red filtered pixel R11, and then the signals VR31 and VS31 are output from the red filtered pixel R31. On the other hand, in the pixel of the third column, the signals VR13 and VS13 are output from the red filtered pixel R13, and then the signals VR33 and VS33 are output from the red filtered pixel R33. Here, it is assumed that the first row is activated first, but the third row may be activated first. Although not shown in FIG. 5, as shown in FIG. 6, the signals VR12 and VS12 are output from the green-filtered pixel G12 and then the green-filtered pixel G32, as shown in FIG. Signals VR32 and VS32 can be output. In the fourth column, the signals VR14 and VS14 can be output from the green-filtered pixel G14, and then the signals VR34 and VS34 can be output from the green-filtered pixel G34. The pixel values of the second row and the fourth row are also output after the pixel values of the first row and the third row are both CDSS sampled.
図6は、図3のCISでCDSSを行う複数のACUの間のスイッチング連結を示すブロック図である。APSアレイのカラムにある各ピクセルは、それぞれの選択スイッチTSELを介して垂直伝送線に連結され、垂直伝送線を介してACUにも連結される。それにより、図6のように、4つの隣接するACUが、APSアレイピクセルの4つの隣接する1、2、3、4カラムに対応する。読み取り動作の間には、ACU−1及びACU−3が同一カラーピクセルから受信されるアナログピクセルデータを受信する。例えば、まず、赤色フィルタリングされたピクセルR11及びR13から受信し、次いで、R31及びR33から受信する。また、緑色フィルタリングされたピクセルまたは青色フィルタリングされたピクセルからも同じ方法で受信する。それにより、同一カラーピクセルと関連した受信アナログピクセルデータを効果的に平均化するために、ACU−1及びACU−3が第1平均化スイッチSavgを介して互いに連結される。同様に、ACU−2及びACU−4も、第2平均化スイッチSavgを介して互いに連結される。平均化スイッチSavgの機能は、ACU−1及びACU−3を具体的に示す図7の回路図についての説明で更に詳細に記述される。 FIG. 6 is a block diagram illustrating switching connections between a plurality of ACUs that perform CDSS in the CIS of FIG. Each pixel in the column of the APS array is connected to the vertical transmission line via a respective selection switch T SEL, it is also connected to ACU via the vertical transmission line. Thereby, as shown in FIG. 6, four adjacent ACUs correspond to four adjacent 1, 2, 3, 4 columns of the APS array pixel. During a read operation, ACU-1 and ACU-3 receive analog pixel data received from the same color pixel. For example, first receive from red filtered pixels R11 and R13, then receive from R31 and R33. It also receives in the same way from green filtered pixels or blue filtered pixels. Thereby, ACU-1 and ACU-3 are coupled together via a first averaging switch Savg in order to effectively average the received analog pixel data associated with the same color pixel. Similarly, ACU-2 and ACU-4 are connected to each other via the second averaging switch Savg. The function of the averaging switch Savg will be described in more detail in the description of the circuit diagram of FIG. 7 which specifically shows ACU-1 and ACU-3.
以下、図7及び図8Aを参照して、図3のCISで、ACUの構造及び動作方法について詳細に記述する。
図7は、図3のCISで、スイッチで連結された二つのACUを示すブロック図である。図8Aは、図3のCISで、CDSSの間に使用されるスイッチング信号と行選択信号の波形を示すタイミング図である。
Hereinafter, the structure and operation method of the ACU will be described in detail with reference to FIGS. 7 and 8A in the CIS of FIG.
FIG. 7 is a block diagram showing two ACUs connected by switches in the CIS of FIG. FIG. 8A is a timing diagram showing waveforms of switching signals and row selection signals used during CDSS in the CIS of FIG.
図3のACUに含まれるそれぞれのACU(ACU−1、ACU−2、ACU3等)は、ピクセルのそれぞれのTSELスイッチを介して一定行にあるあらゆるピクセルに選択的に連結される。それにより、ACU−1は、ピクセルR11及びR31を含む第1カラムピクセルのそれぞれに連結され、同様に、ACU−3は、ピクセルR13及びR33を含む第3カラムピクセルのそれぞれに連結される。一般的に、APSアレイの各カラムピクセルは、それぞれのTSELスイッチを介して垂直伝送線に連結され、垂直伝送線を介してACUにも連結される。動作の間に、APSアレイの各カラムピクセルは、APSアレイの各行のあらゆるピクセルに連結された水平ラインを介して入力される行選択信号によってアクティブにされる。もし、Wが、APSアレイの一行にあるピクセル数であれば、Wは、ACUの数と同じである。それにより、前述したように、動作の間に、ACU−1及びACU−3を含むあらゆるACUが、同時にAPSアレイの各行に置かれたピクセルから同時にアナログピクセルデータを受信できる。 Each ACU included in ACU in FIG 3 (ACU-1, ACU- 2, ACU3 etc.) is selectively connected to every pixel in a predetermined row through the respective T SEL switch of the pixel. Thereby, ACU-1 is coupled to each of the first column pixels including pixels R11 and R31, and similarly, ACU-3 is coupled to each of the third column pixels including pixels R13 and R33. In general, each column pixel of an APS array is connected to a vertical transmission line via a respective TSEL switch and is also connected to an ACU via a vertical transmission line. During operation, each column pixel of the APS array is activated by a row selection signal input via a horizontal line connected to every pixel in each row of the APS array. If W is the number of pixels in one row of the APS array, W is the same as the number of ACUs. Thereby, as described above, during operation, any ACU, including ACU-1 and ACU-3, can simultaneously receive analog pixel data from pixels located in each row of the APS array.
図8Aに示すように、第1行がSEL1によって先にアクティブにされ、次にSEL3によって第3行がアクティブにされる。それにより、動作の間に、ACU−1及びACU−3は、同色4ピクセル(例えば、R11、R31、R13、R33)のそれぞれからリセット電圧及びイメージ信号電圧を含むアナログピクセルデータを得る。ACU−1及びACU−3は、スイッチSavgによって連結されるため、ACU−1及びACU−3は、同色4ピクセル(例えば、R11、R31、R13、R33)から得られるアナログピクセルデータを共有できる。具体的には、ACU−1及びACU−3は、同色4ピクセルから得られた各タイプ(リセット及びイメージ信号)のピクセルデータを合成して割って、リセット電荷/電圧VRの平均化された値及びイメージ信号電荷/電圧VSの平均化された値を生成する。それぞれのACUは、イメージ信号電荷/電圧VSの平均化された値からリセット電荷/電圧VRの平均化された値を減算して、CDSサンプルされた4ピクセルの正確な数学的平均のような最終アナログピクセルデータを出力する。それにより、静的固定パターンノイズが除去される。 As shown in FIG. 8A, the first row is activated first by SEL1, and then the third row is activated by SEL3. Thereby, during operation, ACU-1 and ACU-3 obtain analog pixel data including a reset voltage and an image signal voltage from each of the four pixels of the same color (eg, R11, R31, R13, R33). Since ACU-1 and ACU-3 are connected by a switch Savg, ACU-1 and ACU-3 can share analog pixel data obtained from four pixels of the same color (for example, R11, R31, R13, R33). Specifically, ACU-1 and ACU-3 synthesize and divide pixel data of each type (reset and image signals) obtained from 4 pixels of the same color, and average the reset charge / voltage VR. And an averaged value of the image signal charge / voltage VS. Each ACU subtracts the averaged value of the reset charge / voltage VR from the averaged value of the image signal charge / voltage VS to obtain a final mathematical average such as the CDS sampled 4 pixels. Output analog pixel data. Thereby, static fixed pattern noise is removed.
ACUのそれぞれは、アナログ減算器(例えば、減算器−1及び減算器−3)及びアナログ減算器の出力を受信して伝送する増幅器AMP1を含む。
増幅器AMP1は、非反転増幅器(ここで、Vref=0)、または後述する並列アナログ−デジタル変換に使用される基準電圧Vrefに接続された差動増幅器でありうる。そのような配置によって、バイアスソースVrampを、平均化動作の間には第1電圧レベルに配置させ、アナログ−デジタル変換動作の間には第2電圧レベルに配置させる。第1電圧レベルは、第2電圧レベルとは異なる。バッファキャパシタCA及び第2出力増幅器AMP2はオプション事項であり、それらは、アナログ−デジタル変換の解像度のためにゲインを増加させるために用いられる。各ACU(例えば、ACU−1及びACU−3)内のアナログドメイン減算器出力は、増幅器AMP1によって感知され、オプションキャパシタCAによってバッファリングされ、オプション増幅器AMP2によってアナログ−デジタル変換のために更に増幅される。これにより、平均化されたVS−VRを示す電圧信号VCD1、VCD3が出力される。
Each ACU includes an analog subtractor (eg, subtractor-1 and subtractor-3) and an amplifier AMP1 that receives and transmits the output of the analog subtractor.
The amplifier AMP1 may be a non-inverting amplifier (where Vref = 0) or a differential amplifier connected to a reference voltage Vref used for parallel analog-to-digital conversion described below. With such an arrangement, the bias source Vramp is placed at the first voltage level during the averaging operation and at the second voltage level during the analog-to-digital conversion operation. The first voltage level is different from the second voltage level. The buffer capacitor CA and the second output amplifier AMP2 are optional items and they are used to increase the gain for analog-to-digital conversion resolution. The analog domain subtractor output in each ACU (eg, ACU-1 and ACU-3) is sensed by amplifier AMP1, buffered by optional capacitor CA, and further amplified for analog-to-digital conversion by optional amplifier AMP2. The As a result, voltage signals VCD1 and VCD3 indicating the averaged VS-VR are output.
本発明に係るそれぞれのアナログドメイン減算器(例えば、減算器−1)は、スイッチS1を介してACUによって処理されるカラムピクセル(例えば、ACU−1によって処理される第1カラムのピクセル)に連結された垂直伝送線上の一つの共通ノードに互いに連結された複数のデータ保存キャパシタ(例えば、ACU−1でCS11、CS31、CR11、CR31)を含み、それらは、必須構成要素である。各ACU内の4つのデータ保存キャパシタのそれぞれは、複数のスイッチ(例えば、S1、S2、S3、S4、SS、SR)を介して順次に連結されて決定され、ACU(例えば、ACU−1)に連結されたピクセル(同一カラムの第1行または第3行のピクセル)のうち一つから受信される一定のアナログピクセルデータ電荷(リセットまたは信号データ)で充填されて保存される。あらゆるACUにある当該スイッチ(例えば、S1、S2、S3、S4、SS、SR)及びACUの間のスイッチSavgは、同じ時間に開放されるか、または閉塞される。各ACU内のスイッチ(例えば、S1、S2、S3、S4、SS、SR)は、図8Aのタイミング図に示すように、行選択信号(例えば、SEL)との作用によって開放されるか、または閉塞される。 Each analog domain subtractor (eg, subtractor-1) according to the present invention is coupled to a column pixel processed by the ACU (eg, a pixel in the first column processed by ACU-1) via switch S1. Including a plurality of data storage capacitors (for example, CS11, CS31, CR11, CR31 in ACU-1) connected to one common node on a vertical transmission line, which are essential components. Each of the four data storage capacitors in each ACU is determined by being sequentially connected through a plurality of switches (eg, S1, S2, S3, S4, SS, SR) and an ACU (eg, ACU-1). Are stored with being filled with a certain analog pixel data charge (reset or signal data) received from one of the pixels (first row or third row pixels in the same column). The switch (S1, S2, S3, S4, SS, SR) in all ACUs and the switch Savg between the ACUs are opened or closed at the same time. Switches within each ACU (eg, S1, S2, S3, S4, SS, SR) are opened by the action of a row selection signal (eg, SEL), as shown in the timing diagram of FIG. 8A, or Blocked.
スイッチS1、S2、S3、S4、SS、SRを調節すれば、ピクセル、4つの保存キャパシタ(例えば、CS11、CS31、CR11、CR31)及び他の電流パスの間の連結を制御でき、4つの保存キャパシタは、次の順序によってアナログピクセルデータで充填される。まず、保存キャパシタCR11が、第1行の第1カラムのピクセルR11からのリセット電荷を保存する。次いで、保存キャパシタCS11が、第1行の第1カラムのピクセルR11からの信号電荷を保存する。次いで、保存キャパシタCR31が、第3行の第1カラムのピクセルR31からのリセット電荷を保存する。次いで、保存キャパシタCS31が、第3行の第1カラムのピクセルR31からの信号電荷を保存する。 By adjusting the switches S1, S2, S3, S4, SS, SR, the connection between the pixel, four storage capacitors (eg CS11, CS31, CR11, CR31) and other current paths can be controlled. The capacitors are filled with analog pixel data by the following order. First, the storage capacitor CR11 stores the reset charge from the pixel R11 in the first column of the first row. Next, the storage capacitor CS11 stores the signal charge from the pixel R11 in the first column of the first row. Next, the storage capacitor CR31 stores the reset charge from the pixel R31 in the first column of the third row. Next, the storage capacitor CS31 stores the signal charge from the pixel R31 in the first column of the third row.
一方、ACUが、CDSSではないモード、すなわち、標準CDSモードの間には、各ACU(ACU−1及びACU−3のそれぞれ)内のリセットデータ保存キャパシタCR(例えば、CR11やCR31、または一つのキャパシタのように動作するように合成されたCR11とCR31)のうち一つと、信号データ保存キャパシタCS(例えば、CS11やCS31、または一つのキャパシタのように動作するように合成されたCS11とCS31)のうちの一つが、当該ピクセルから受信されるアナログピクセルデータでロードされる。それにより、複数のACUが、1行のピクセルのみから完全なリセット及び信号アナログピクセルデータでロードされる。ACU内のデータ保存キャパシタCR、CSをローディングするそのような方法により、標準(サブサンプリングではないモード)CDSが、APSアレイの1行(例えば、第1行)にあるあらゆるピクセル(例えば、R11、G12、R13、G14、・・・)について行われる。次いで、行選択ラインがアクティブにされれば、標準CDSモードでのACUの次の動作は、APSアレイの1行(例えば、第2行)にあるあらゆるピクセル(例えば、G21、B22、G23、B24、・・・)について標準CDSを行う。標準CDSモードで、スイッチSS、SR、及びSavgは、動作せずに開放状態で固定される。 On the other hand, during a mode in which the ACU is not a CDSS, that is, in the standard CDS mode, a reset data storage capacitor CR (for example, CR11, CR31, or one) in each ACU (ACU-1 and ACU-3, respectively) One of CR11 and CR31 combined to operate like a capacitor, and a signal data storage capacitor CS (for example, CS11 and CS31, or CS11 and CS31 combined to operate like a single capacitor). One of which is loaded with analog pixel data received from that pixel. Thereby, multiple ACUs are loaded with complete reset and signal analog pixel data from only one row of pixels. By such a method of loading the data storage capacitors CR, CS in the ACU, a standard (non-subsampling mode) CDS is present in every pixel (eg, R11,) in one row (eg, the first row) of the APS array. G12, R13, G14,...). If the row select line is then activated, the next operation of the ACU in standard CDS mode is to make every pixel (eg, G21, B22, G23, B24) in one row (eg, the second row) of the APS array. ,... In the standard CDS mode, the switches SS, SR, and Savg are fixed in an open state without operating.
CDSSモード(サブサンプリングモード)では、8個の保存キャパシタが、ACU(例えば、ACU−1、ACU−3)にスイッチングによって連結され、4つのピクセルR11、R31、R13、R33からのアナログ(リセット及び信号)ピクセルデータで充填され、それにより、スイッチSS、SR、Savgは、スイッチS1、S2、S3、S4と共に作用して、順次に閉塞することで、4つのピクセルR11、R31、R13、R33から受信された同じタイプ(リセットまたは信号)のあらゆる電荷が合成され、且つ割られて平均化される。 In the CDSS mode (subsampling mode), 8 storage capacitors are connected to the ACU (eg, ACU-1, ACU-3) by switching, and analog (reset and reset) from the four pixels R11, R31, R13, R33. Signal) filled with pixel data, so that the switches SS, SR, Savg work together with the switches S1, S2, S3, S4 to block sequentially so that the four pixels R11, R31, R13, R33 Any charges of the same type (reset or signal) received are synthesized and divided and averaged.
しかし、本発明の一実施例に係るACUのCDSS方法において、平均化スイッチSavgが閉まることで、互いに連結される他のカラム(例えば、第1及び第3カラム)のACU内の当該保存キャパシタの間で、各タイプ(リセットまたは信号タイプ)のアナログピクセルデータが平均化される。それにより、例えば、データ保存キャパシタCS11が、ピクセルR11からの信号データでロードされることに対し、データ保存キャパシタCR11は、ピクセルR11のリセット値のみを保存せずに、ピクセルR11のリセットデータ及びピクセルR13のリセットデータの平均を保存する。 However, in the ACU CDSS method according to an embodiment of the present invention, when the averaging switch Savg is closed, the storage capacitors in the ACUs of other columns (for example, the first and third columns) connected to each other are connected. In between, each type (reset or signal type) of analog pixel data is averaged. Thereby, for example, the data storage capacitor CS11 is loaded with the signal data from the pixel R11, whereas the data storage capacitor CR11 does not store only the reset value of the pixel R11, but the reset data and the pixel of the pixel R11. Save the average of R13 reset data.
各ACU内の4つの保存キャパシタをローディングする過程を通じて平均化を行うために、スイッチ、特に、平均化スイッチSavgの動作方法が、図8Aのタイミング図に示されている。ここで、スイッチは、ハイレベルで閉まる。スイッチS1が閉まれば、データ保存キャパシタの当該セット、例えば、CR11、CR12(図示せず)、CR13、CR14(図示せず)が、アクティブにされた行選択ライン(例えば、第1行は、SEL1によってアクティブにされる)によって決定される行の一つのピクセルから出力されるアナログピクセルデータの一定のタイプでローディングされる。次いで、スイッチS1が開放され、平均化スイッチSavgが閉まる。それに対し、あらゆるACUで、スイッチS2、S3、S4、SS及びSRは開放されるか、または閉塞して、あらかじめ定められている各ACU内の4つのデータ保存キャパシタのうち、何れか一つが特定のアナログピクセルデータを受信して保存できるようにする。 In order to perform the averaging through the process of loading the four storage capacitors in each ACU, the operation of the switch, in particular the averaging switch Savg, is shown in the timing diagram of FIG. 8A. Here, the switch closes at a high level. When switch S1 is closed, the set of data storage capacitors, eg, CR11, CR12 (not shown), CR13, CR14 (not shown) are activated in the row selection line (eg, the first row is Loaded with a certain type of analog pixel data output from one pixel in a row determined by SEL1). Subsequently, the switch S1 is opened and the averaging switch Savg is closed. On the other hand, in any ACU, the switches S2, S3, S4, SS and SR are opened or closed, and one of the four data storage capacitors in each predetermined ACU is specified. Receive and store analog pixel data.
例えば、図8Aに示すように、(1)時間に平均化スイッチSavgは開放され、スイッチS1は閉塞されて、キャパシタCR11及びCR13にリセットデータがローディングされる。次いで、キャパシタCR11及びCR13にリセットピクセルデータがローディングが完了した後に、(2)時間にスイッチS1が開放され、平均化スイッチSavgが閉まって、キャパシタCR11及びCR13に保存されたアナログピクセルデータ(または、電荷)が合成されて割られる。そのように、アナログピクセルデータ(リセットデータ)が、あらゆるACUにあるそれぞれの選択されたデータ保存キャパシタ(例えば、CR11、CR12、CR13、CR14)によって受信された後に、データ保存キャパシタのローディング完了時に、スイッチS1が開放され、ACUの間の平均化スイッチSavgが閉まることによって、同行の同色ピクセルからの同じタイプの該当電荷(例えば、ピクセルR11及びR13からのリセット電荷)が互いに平均化(合成及び分割)される。そのように、同行同色の二つのピクセルから受信された同じタイプ(例えば、リセット)のアナログピクセルデータが、一定の保存キャパシタ対(例えば、CR11及びCR13)で平均化され、それぞれに保存される。例えば、(3)、(5)、(7)時間にスイッチS1が閉まり、スイッチSavgが開放された後に、(2)、(4)、(6)時間にスイッチS1が開放され、スイッチSavgが閉まる、そのような一般的な同行の平均化方式は、残りの3対のデータ保存キャパシタ(例えば、CS11とCS13、CR31とCR33、及びCS31とCS33)にも同じく適用される。すなわち、スイッチングによって連結されるACU(例えば、ACU−1及びACU−3)内の4対の当該保存キャパシタ(CR11とCR13、CS11とCS13、CR31とCR33、及びCS31とCS33)のそれぞれが、同行同色の二つのピクセルから受信されるリセット及び信号データの平均化された値を保存する。 For example, as shown in FIG. 8A, at (1) time, the averaging switch Savg is opened, the switch S1 is closed, and reset data is loaded into the capacitors CR11 and CR13. Next, after the reset pixel data is completely loaded into the capacitors CR11 and CR13, (2) the switch S1 is opened at time, the averaging switch Savg is closed, and the analog pixel data stored in the capacitors CR11 and CR13 (or Charge) is synthesized and divided. As such, after analog pixel data (reset data) is received by each selected data storage capacitor (eg, CR11, CR12, CR13, CR14) in every ACU, upon completion of loading of the data storage capacitor, By opening the switch S1 and closing the averaging switch Savg between the ACUs, corresponding charges of the same type from the same color pixels in the same row (for example, reset charges from the pixels R11 and R13) are averaged (combined and divided). ) As such, analog pixel data of the same type (eg, reset) received from two pixels of the same color in the same row is averaged with a fixed storage capacitor pair (eg, CR11 and CR13) and stored in each. For example, after the switch S1 is closed at time (3), (5), (7) and the switch Savg is opened, the switch S1 is opened at time (2), (4), (6), and the switch Savg is Such a general accompaniment averaging scheme that closes is equally applicable to the remaining three pairs of data storage capacitors (eg, CS11 and CS13, CR31 and CR33, and CS31 and CS33). That is, each of the four pairs of storage capacitors (CR11 and CR13, CS11 and CS13, CR31 and CR33, and CS31 and CS33) in the ACU (for example, ACU-1 and ACU-3) connected by switching is accompanied. Save the averaged values of reset and signal data received from two pixels of the same color.
次いで、他の行の同一カラムピクセルから受信される同じタイプのピクセルデータについての平均化(合成と分割)が行われる。他の行の同一カラムピクセルからデータ平均化は、例えば(9)時間にスイッチSSを閉めて、各ACU内のデータ保存キャパシタCS対(例えば、ACU−1内のCS11及びCS31)に保存された信号データ電荷を等しくし、スイッチSRを閉めて、各ACU内のデータ保存キャパシタCR対(例えば、ACU−1内のCR11及びCR31)に保存されたリセットデータ電荷を等しくすることで、簡単に行われる。そのような最終同一カラム平均化過程によって、スイッチングによって連結されるACU(例えば、ACU−1及びACU−3)内の4つのCSデータキャパシタ(例えば、CS11、CS13、CS31、CS33)のそれぞれは、同じ平均信号電荷を保持する。平均化された信号電荷は、同色4ピクセル(例えば、R11、R13、R31、及びR33)から受信された4つの信号電荷の正確な数学的平均を示す。同様に、そのような同一カラム平均化過程において、スイッチングによって連結されるACU(例えば、ACU−1及びACU−3)内の4つのCRデータキャパシタ(例えば、CR11、CR13、CR31、CR33)のそれぞれは、同じ平均リセット電荷を保持する。平均化されたリセット電荷は、同色の4つのピクセル(例えば、R11、R13、R31、及びR33)から受信された4つのリセット電荷の正確な数学的平均を示す。 An averaging (compositing and splitting) is then performed on the same type of pixel data received from the same column pixel in another row. Data averaging from the same column pixel in other rows was stored in the data storage capacitor CS pair (eg, CS11 and CS31 in ACU-1) in each ACU, eg, closing switch SS at (9) time The signal data charges are equalized, the switch SR is closed, and the reset data charges stored in the data storage capacitor CR pair (eg, CR11 and CR31 in ACU-1) in each ACU are equalized to make it easier. Is called. With such a final identical column averaging process, each of the four CS data capacitors (eg, CS11, CS13, CS31, CS33) in the ACU (eg, ACU-1 and ACU-3) connected by switching is Hold the same average signal charge. The averaged signal charge represents an accurate mathematical average of the four signal charges received from four pixels of the same color (eg, R11, R13, R31, and R33). Similarly, in such a same column averaging process, each of the four CR data capacitors (eg, CR11, CR13, CR31, CR33) in the ACU (eg, ACU-1 and ACU-3) connected by switching, respectively. Hold the same average reset charge. The averaged reset charge represents an accurate mathematical average of the four reset charges received from four pixels of the same color (eg, R11, R13, R31, and R33).
例えば、4つのピクセルR11、R13、R31及びR33についてCDSSを行うことについて、スイッチングによって連結される二つのACU(例えば、ACU−1及びACU−3)内の8個のデータキャパシタ(例えば、CR11、CR13、CR31、CR33とCS11、CS13、CS31、CS33)のデータローディングと平均化過程が、図8Aのタイミング図に示された時間(1)〜(9)での電荷を表示する次のような数式を参照して、更に詳細に説明する。下記の数式で、Qは、添字がついた当該保存キャパシタの電荷を表示し、“=”表示は同じタイプ、すなわち、CSまたはCRのあらゆる保存キャパシタのキャパシタンスが同一であると仮定する時、当該電荷が同一であることを示す。添字で表示された形態の電圧、例えば、VRESET11は、電圧VR11と同一である。添字で表示された形態のキャパシタンス、例えば、CCR11/CR31は、添字がついた当該保存キャパシタ、CR11及びCR31が並列に連結される時の、何れか一つのキャパシタンスを示す。 For example, for performing CDSS on four pixels R11, R13, R31 and R33, eight data capacitors (eg, CR11, C) in two ACUs (eg, ACU-1 and ACU-3) connected by switching. The data loading and averaging process of CR13, CR31, CR33 and CS11, CS13, CS31, CS33) displays the charges at times (1)-(9) shown in the timing diagram of FIG. This will be described in more detail with reference to mathematical expressions. In the following equation, Q represents the charge of the storage capacitor with the subscript, and the “=” display assumes the same type, ie, the capacitance of all storage capacitors of CS or CR is the same. Indicates that the charges are the same. The voltage in the form indicated by the subscript, for example, V RESET11 is the same as the voltage VR11. A capacitance in a form indicated by a subscript, for example, CCR11 / CR31 indicates one capacitance when the storage capacitor with the subscript, CR11 and CR31 are connected in parallel.
時間(1)で、ピクセルR11及びR13のそれぞれのリセット電圧VR11及びVR13がサンプリングされて、データ保存キャパシタCR11及びCR13のそれぞれにロードされる。その時、次の数式を満足する。
R11ピクセル:QCR11=QCR31=CCR11/CR31(VRESET11−Vref)
R13ピクセル:QCR13=QCR33=CCR13/CR33(VRESET13−Vref)
At time (1), reset voltages VR11 and VR13 of pixels R11 and R13, respectively, are sampled and loaded into data storage capacitors CR11 and CR13, respectively. At that time, the following formula is satisfied.
R11 Pixel: Q CR11 = Q CR31 = C CR11 / CR31 (V RESET11 -V ref)
R13 pixel: QCR13 = QCR33 = CCR13 / CR33 ( VRESET13 - Vref )
時間(1)では、キャパシタCS11、CS13、CS31、及びCS33も充電されるが、そのような最初の電荷は、後で一定のピクセルから受信される当該イメージ信号データに変更される。
時間(2)で、平均化スイッチSavgが閉まることで、ピクセルR11及びR13のそれぞれのリセット電圧VR11及びVR13が、データ保存キャパシタCR11及びCR13の間で合成され、且つ分割されて平均化される。その時、次の数式を満足する。
At time (1), capacitors CS11, CS13, CS31, and CS33 are also charged, but such initial charge is changed to the image signal data received later from certain pixels.
By closing the averaging switch Savg at time (2), the respective reset voltages VR11 and VR13 of the pixels R11 and R13 are combined between the data storage capacitors CR11 and CR13 and divided and averaged. At that time, the following formula is satisfied.
時間(3)で、ピクセルR11及びR13のそれぞれのイメージ信号電圧VS11及びVS13がサンプリングされて、データ保存キャパシタCS11及びCS13のそれぞれにロードされる。その時、次の数式を満足する。
R11ピクセル:QCS11=QCS31=CCS11/CS31(VSIGNAL11Vramp)
R13ピクセル:QCS13=QCS33=CCS13/CS33(VSIGNAL13Vramp)
At time (3), the image signal voltages VS11 and VS13 of the pixels R11 and R13, respectively, are sampled and loaded into the data storage capacitors CS11 and CS13, respectively. At that time, the following formula is satisfied.
R11 pixel: Q CS11 = Q CS31 = C CS11 / CS31 (V SIGNAL11 V ramp )
R13 pixel: Q CS13 = Q CS33 = C CS13 / CS33 (V SIGNAL13 V ramp )
時間(3)では、スイッチS3及びS4が開放されて、リセット電圧を保存するキャパシタCR11、CR13、CR31、及びCR33がフローティング状態にあるため、リセット電圧を保存するキャパシタCR11、CR13、CR31、及びCR33のそれぞれは、以前の時間(1)で充電された電荷量QCR11、QCR31、QCR13、及びQCR33を保持する。 At time (3), since the switches S3 and S4 are opened and the capacitors CR11, CR13, CR31, and CR33 that store the reset voltage are in a floating state, the capacitors CR11, CR13, CR31, and CR33 that store the reset voltage are in a floating state. each of the previous time (1) is charged by the charge amount Q CR11, Q CR31, Q CR13 , and holds the Q CR33.
時間(4)で、平均化スイッチSavgが閉まることで、ピクセルR11及びR13のそれぞれのイメージ信号電圧VS11及びVS13が、データ保存キャパシタCS11及びCS13の間で合成され、且つ分割されて平均化される。その時、次の数式を満足する。 At time (4), the averaging switch Savg is closed so that the respective image signal voltages VS11 and VS13 of the pixels R11 and R13 are synthesized between the data storage capacitors CS11 and CS13 and divided and averaged. . At that time, the following formula is satisfied.
時間(5)で、ピクセルR31及びR33のそれぞれのリセット電圧VR31及びVR33がサンプリングされて、データ保存キャパシタCR31及びCR33のそれぞれにロードされる。その時、次の数式を満足する。
R31ピクセル:QCR31=CCR31(VRESET31−Vref)
R33ピクセル:QCR33=CCR33(VRESET33−Vref)
At time (5), the respective reset voltages VR31 and VR33 of the pixels R31 and R33 are sampled and loaded into the data storage capacitors CR31 and CR33, respectively. At that time, the following formula is satisfied.
R31 pixel: QCR31 = CCR31 ( VRESET31 - Vref )
R33 pixel: QCR33 = CCR33 ( VRESET33 - Vref )
時間(5)では、スイッチSSが開放されて、信号電圧を保存するキャパシタCS11及びCS13がフローティング状態であり、スイッチSRが開放されて、リセット電圧を保存するキャパシタCR11及びCR13がフローティング状態であり、それにより、キャパシタCS11、CS13、CR11、及びCR13が以前に充電された電荷量を保持する。 At time (5), the switch SS is opened and the capacitors CS11 and CS13 that store the signal voltage are in a floating state, and the switch SR is opened and the capacitors CR11 and CR13 that store the reset voltage are in a floating state. Thereby, the capacitors CS11, CS13, CR11, and CR13 hold the amount of charge that has been previously charged.
時間(6)で、平均化スイッチSavgが閉まることで、ピクセルR31及びR33のそれぞれのリセット電圧VR31及びVR33が、データ保存キャパシタCR31及びCR33の間で合成され、且つ分割されて平均化される。その時、次の数式を満足する。 By closing the averaging switch Savg at time (6), the respective reset voltages VR31 and VR33 of the pixels R31 and R33 are synthesized between the data storage capacitors CR31 and CR33 and divided and averaged. At that time, the following formula is satisfied.
時間(7)で、ピクセルR31及びR33のそれぞれのイメージ信号電圧VS31及びVS33がサンプリングされて、データ保存キャパシタCS31及びCS33のそれぞれにロードされる。その時、次の数式を満足する。
R31ピクセル:QCS31=CCS31(VSIGNAL31−Vramp)
R33ピクセル:QCS33=CCS33(VSIGNAL33−Vramp)
At time (7), the image signal voltages VS31 and VS33 of the pixels R31 and R33, respectively, are sampled and loaded into the data storage capacitors CS31 and CS33, respectively. At that time, the following formula is satisfied.
R31 pixel: Q CS31 = C CS31 (V SIGNAL31 -V ramp )
R33 pixel: Q CS33 = C CS33 (V SIGNAL33 -V ramp )
時間(8)で、平均化スイッチSavgが閉まることで、ピクセルR31及びR33のそれぞれのイメージ信号電圧VS31及びVS33が、データ保存キャパシタCS31及びCS33の間で合成され、且つ分割されて平均化される。その時、次の数式を満足する。 At time (8), the averaging switch Savg is closed so that the respective image signal voltages VS31 and VS33 of the pixels R31 and R33 are synthesized between the data storage capacitors CS31 and CS33, and are divided and averaged. . At that time, the following formula is satisfied.
時間(9)で、4つのリセット電荷及び4つの信号電荷に対する最終平均化が行われる。スイッチSRが閉まることにより、各ACU内に保存された同行の二つのリセット電圧が平均化されて、平均リセット電荷QRAVGが当該キャパシタに保持される。また、スイッチSSが閉まることにより、各ACU内に保存された同行の二つのイメージ信号電圧が平均化されて、平均信号電荷QSAVGが当該キャパシタに保持される。すなわち、次の数式を満足する。 At time (9), a final averaging is performed on the four reset charges and the four signal charges. By closing the switch SR, two reset voltages in the same row stored in each ACU are averaged, and the average reset charge Q RAVG is held in the capacitor. Further, when the switch SS is closed, two image signal voltages in the same row stored in each ACU are averaged, and the average signal charge Q SAVG is held in the capacitor. That is, the following formula is satisfied.
このように、スイッチSS及びSRが閉まることにより、同色の4つのピクセルについての最終平均化、及びサブサンプルされた電圧差(VS−VR)が生成される。最終平均化、すなわち、時間(9)の後には、第1及び第3カラムについてのACU−1とACU−3内の当該CS及びCRデータ保存キャパシタに保存される電荷は、4つのピクセルから誘導された電荷の平均で同じく保持される。したがって、出力VCD1またはVCD3のうち何れか一つが、同色4つのCDSSサンプルされたピクセルを示す最終電圧差(VS−VR)として、アナログ−デジタル変換のために読み取られるように使用される。 Thus, closing the switches SS and SR produces a final averaged and subsampled voltage difference (VS−VR) for four pixels of the same color. After final averaging, ie, time (9), the charge stored in the CS and CR data storage capacitors in ACU-1 and ACU-3 for the first and third columns is derived from four pixels. It is also held on average with the charge taken. Thus, either one of the outputs VCD1 or VCD3 is used to be read for analog-to-digital conversion as the final voltage difference (VS-VR) indicating four CDSS sampled pixels of the same color.
図8Bは、図3のCISで、複数のACUからの複数の出力のアナログ−デジタル変換を行うために使用されたランプ電圧とカウンタラッチ制御信号の波形を示すタイミング図である。最終平均化、すなわち、図8Aの時間(9)の後に、第1及び第3カラムについてのACU−1及びACU−3内の当該CS及びCRデータ保存キャパシタに保存された平均リセット及び平均信号電荷は、各ACU内のアナログドメイン減算器(例えば、減算器−1)によって比較され、APSアレイの4つのCDSSサンプルされたピクセルについての一つのサブサンプル電圧が得られる。直列に連結されたCS及びCRキャパシタより構成される減算器(例えば、減算器−1)は、Vrampと増幅器AMP1の入力間に連結されている。そのように、AMP1の入力での電圧は、Vramp+VS+(−VR)のように各電圧の総和で表わされる。これは、CRキャパシタに保存されるVR電荷の極性と、CSキャパシタに保存されるVS電荷の極性とが逆になるように直列に連結されているためである。したがって、AMP1の入力電圧は、Vrampが、平均化された(VS−VR)によってクランプされ、それだけ更に高くなった電圧である。図3のカウンタイネーブル信号CEは、最終平均化後、すなわち、スイッチSS及びSRが閉まった後にカウントを始めるように印加される。したがって、図3のデジタル信号出力回路内のカウンタを初期化する瞬間に、一定のレートでVramp電圧を徐々に上昇させることで、(VS−VR)の当該サイズが、アナログ値から量子化された一定のデジタル値に変換される。デジタル変換は、減算器の出力からのAMP1入力が、一定の臨界電圧レベル(Vref)を過ぎる時のそのカウント値をラッチすることで得られる。(VS−VR)のサイズが大きくなるほど、AMP1の入力が臨界電圧(Vref)に到達する時間が更に短くなる。 FIG. 8B is a timing diagram showing waveforms of a ramp voltage and a counter latch control signal used to perform analog-to-digital conversion of a plurality of outputs from a plurality of ACUs in the CIS of FIG. After final averaging, ie, time (9) in FIG. 8A, the average reset and average signal charge stored in the CS and CR data storage capacitors in ACU-1 and ACU-3 for the first and third columns Are compared by an analog domain subtractor (eg, subtractor-1) within each ACU to obtain one subsample voltage for the four CDSS sampled pixels of the APS array. A subtractor (eg, subtractor-1) composed of CS and CR capacitors connected in series is connected between the input of Vramp and the amplifier AMP1. As such, the voltage at the input of AMP1 is represented by the sum of the voltages as Vramp + VS + (− VR). This is because the polarity of the VR charge stored in the CR capacitor is connected in series so that the polarity of the VS charge stored in the CS capacitor is reversed. Therefore, the input voltage of AMP1 is a voltage that Vramp is clamped by the averaged (VS-VR), and thus becomes higher. The counter enable signal CE in FIG. 3 is applied to start counting after final averaging, that is, after the switches SS and SR are closed. Therefore, by gradually increasing the Vramp voltage at a constant rate at the moment of initializing the counter in the digital signal output circuit of FIG. 3, the size of (VS-VR) is quantized from the analog value. Converted to a constant digital value. Digital conversion is obtained by latching the count value when the AMP1 input from the output of the subtracter passes a certain critical voltage level (Vref). As the size of (VS-VR) increases, the time for the input of AMP1 to reach the critical voltage (Vref) is further shortened.
AMP1の入力が臨界電圧(Vref)に到達する時、ACUの出力信号VCD(例えば、ACU−1のVCD1)がローからハイ値にトランジションする。したがって、各ACUからのVCD信号、例えば、VCD1、VCD2、VCD3、・・・が、カウント−ラッチ制御信号として図9のラッチ回路に出力される。 When the input of AMP1 reaches a critical voltage (Vref), the output signal VCD of the ACU (eg, VCD1 of ACU-1) transitions from a low to a high value. Therefore, VCD signals from each ACU, for example, VCD1, VCD2, VCD3,... Are output to the latch circuit of FIG.
図9は、図3のCISで、複数のACUからの複数の出力のアナログ−デジタル変換を行うために使用されたカウンタ及びラッチ回路を示すブロック図である。カウンタは、カウンタイネーブル信号CEがアクティブされ始める時のデジタルカウント値を出力する。例えば、カウンタイネーブル信号CEは、CDSSモードで動作するACUによる、4つのピクセルの最終平均化後、または一つのピクセルデータのみが、標準CDSモードの間に、ACUのそれぞれにロードされた後にアクティブにされる。ラッチ回路は、各ACU当り一つずつ対応する複数の並列カウント−ラッチを含み、それぞれのACUによって出力されたそれぞれのVCD信号によって定まる時間に、カウンタがあらゆるラッチに出力する当該カウント値をラッチする。各ACUによって出力されたVCD信号は、各ACUについてラッチ回路に提供されたそれぞれのカウント−ラッチを制御するために利用される。すなわち、VCD信号(例えば、ACU−1のVCD1)がローからハイ値にトランジションする時、当該ACUについて提供されたそれぞれのカウント−ラッチが、その瞬間のカウント値を保存する。これにより、カウンタがカウントを終了する時、複数のACUにある減算器から出力されるあらゆる独立の信号が、並列にアナログからデジタルに変換される。ラッチ回路内の各ACUについてのカウント値を保存する複数のラッチの保存値は、デジタル信号処理器に出力されて、更に再処理されるか、または各ACUからのサブサンプリングされた、またはサブサンプリングされていないピクセルデータを、デジタルピクセルデータとして保存または伝送させる。 FIG. 9 is a block diagram showing a counter and a latch circuit used for performing analog-digital conversion of a plurality of outputs from a plurality of ACUs in the CIS of FIG. The counter outputs a digital count value when the counter enable signal CE starts to be activated. For example, the counter enable signal CE is activated after the final averaging of four pixels by an ACU operating in CDSS mode, or only one pixel data is loaded into each of the ACUs during standard CDS mode. Is done. The latch circuit includes a plurality of parallel count-latches corresponding to each ACU, and latches the count value output by the counter to every latch at a time determined by each VCD signal output by each ACU. . The VCD signal output by each ACU is used to control the respective count-latch provided to the latch circuit for each ACU. That is, when the VCD signal (eg, VCD1 of ACU-1) transitions from a low to a high value, each count-latch provided for that ACU stores the instantaneous count value. Thus, when the counter finishes counting, all independent signals output from the subtractors in the plurality of ACUs are converted in parallel from analog to digital. The stored values of the plurality of latches that store the count value for each ACU in the latch circuit are output to the digital signal processor for further reprocessing or subsampled or subsampling from each ACU. Pixel data that has not been processed is stored or transmitted as digital pixel data.
図10は、図3のCISのAPSアレイにおいて、4より大きいサブサンプリングレートで、N2ピクセルを平均化/サブサンプリングする、CDSSを行うためのスイッチで連結された複数のACUを示す本発明の他の実施例に係るブロック図である。図10のACUは、図6と類似しており、ただし、相異なる2つのカラム以上のACUを同時に連結しうるという面で、複数のACU(NACUs)の間のスイッチング連結が更に弾力的である。そのような連結性の増大は、図6で連結されたACU対の場合のように、2つのカラム以上からのピクセルの電荷(例えば、リセット電荷及びイメージ信号電荷)を合成し、且つ分割して平均化できるようにする。このように、それぞれが2つのCRデータ保存キャパシタと、2つのCS保存キャパシタとを含む2つのACUの代りに、それぞれが、N個のCRデータ保存キャパシタと、N個のCS保存キャパシタとを含むN個のACUを互いに連結させることで、バイヤパターン2N×2Nピクセル領域がサブサンプルされて、それに該当する一つの平均化されたピクセルデータとして3色R(Red)、G(Green)、B(blue)を示すことができる。このように、図10のような連結システムは、図3のCISで、2N×2Nピクセル領域のCDSSを支援し、ここで、Nは、1(サブサンプリングしていない標準モードの場合)を含む正の整数(例えば、図6及び図7のように2でもよい)である。 FIG. 10 is a diagram of the present invention showing multiple ACUs connected by switches for CDSS averaging / subsampling N 2 pixels at a subsampling rate greater than 4 in the CIS APS array of FIG. It is a block diagram concerning other examples. The ACU of FIG. 10 is similar to FIG. 6, except that the switching connection between multiple ACUs (NACUs) is more flexible in that ACUs of two or more different columns can be connected simultaneously. . Such increased connectivity is achieved by combining and dividing pixel charges (eg, reset charge and image signal charge) from more than two columns, as in the case of the ACU pair linked in FIG. Allow averaging. Thus, instead of two ACUs each including two CR data storage capacitors and two CS storage capacitors, each includes N CR data storage capacitors and N CS storage capacitors. By connecting N ACUs to each other, the buyer pattern 2N × 2N pixel region is subsampled, and three colors R (Red), G (Green), B ( blue). Thus, the concatenated system as shown in FIG. 10 supports 2N × 2N pixel area CDSS in the CIS of FIG. 3, where N includes 1 (in the case of standard mode without sub-sampling). It is a positive integer (for example, it may be 2 as shown in FIGS. 6 and 7).
図11は、図3のCISのAPSにおいて、N2ピクセルを平均化/サブサンプリングするACUの本発明の他の実施例に係る具体的なブロック図である。図11のNACUは、図7に示すACUと類似している。ただし、図11のNACU内のアナログドメイン減算器は、4つのアナログピクセルデータ保存キャパシタの代りに、2N個のアナログピクセルデータ保存キャパシタを含む。付加されたデータ保存キャパシタと、そのローディングと平均化とを制御する付加スイッチとは、APSアレイの2N×2Nピクセル領域内のN個の他のカラムと、N個の他の行に置かれた同色のN2ピクセルをCDSSモードで平均化及びサブサンプリングできるように支援する。一つのNACUの減算器(例えば、N減算器−1)内のCRデータ保存キャパシタCR1〜CRNは、NACUに連結されたカラムのピクセルからのリセット電圧で充電される。一つのNACUの減算器(例えば、N減算器−1)内のCSデータ保存キャパシタCS1〜CSNは、NACUに連結されたカラムのピクセルからのイメージ信号電圧で充電される。 FIG. 11 is a detailed block diagram according to another embodiment of the present invention of an ACU that averages / subsamples N 2 pixels in the CIS APS of FIG. The NACU of FIG. 11 is similar to the ACU shown in FIG. However, the analog domain subtractor in the NACU of FIG. 11 includes 2N analog pixel data storage capacitors instead of four analog pixel data storage capacitors. Added data storage capacitors and additional switches that control their loading and averaging were placed in N other columns and 2 other rows in the 2N × 2N pixel area of the APS array. Helps N 2 pixels of the same color to be averaged and subsampled in CDSS mode. The CR data storage capacitors CR1 to CRN in one NACU subtractor (eg, N subtractor-1) are charged with a reset voltage from a column pixel connected to the NACU. The CS data storage capacitors CS1-CSN in one NACU subtractor (e.g., N subtractor-1) are charged with the image signal voltage from a column pixel connected to the NACU.
CDSS平均化またはサブサンプリングさせるために、ピクセルの各カラムのための一つのNACUが要求されるため、図11のNACUは、図10で示したように、少なくともN−1個の他の同じNACUとスイッチングによって連結される。実際には、図11のNACUは、一つのカラムについての1、2、3、またはNより小さい数LピクセルのみについてCDSS平均化またはサブサンプリングを行うことができるため、CIS内のあらゆる他のNACUが、図10で説明された方式でスイッチングによって連結される。しかし、それぞれの平均化スイッチSavgは、独立的にまたはダイナミックに制御され、L個のNACUを含む第1ブロックと、他のL個のNACUを含む隣接する第2ブロックとの間の平均化のための連結は行われないようにする。ただし、同じ2N×2N(または2L×2L)ピクセル領域が、L個またはN個のスイッチングによって連結されるNACUを含む各ブロックのCDSSモード動作によって、互いに平均化される。 Since one NACU for each column of pixels is required for CDSS averaging or sub-sampling, the NACU of FIG. 11 has at least N−1 other identical NACUs as shown in FIG. And connected by switching. In practice, the NACU of FIG. 11 can perform CDSS averaging or subsampling on only a few L pixels less than 1, 2, 3, or N for a column, so any other NACU in the CIS. Are connected by switching in the manner described in FIG. However, each averaging switch Savg is independently or dynamically controlled, and the averaging switch between a first block containing L NACUs and an adjacent second block containing other L NACUs. So that no connection is made. However, the same 2N × 2N (or 2L × 2L) pixel regions are averaged together by the CDSS mode operation of each block including NACUs concatenated by L or N switching.
スイッチSavg、S1、S2、S3、S4、及び(SS1・・・SSN)と(SR1・・・SRN)をダイナミックに制御することで、ACUがダイナミックに選択される正方形(または正方形ではないこともある)のピクセル領域に置かれた同色のL2ピクセルに対してサブサンプリングを行うことができる。 By dynamically controlling the switches Savg, S1, S2, S3, S4, and (SS1... SSN) and (SR1... SRN), the ACU can be dynamically selected square (or not square) it is possible to perform sub-sampling with respect to the same color of L 2 pixels placed in the pixel region of a).
前述のように、本発明に係る少なくとも一つの実施例は、複数のピクセルから受信されるリセット値をアナログドメインで平均化する段階、複数のピクセルから受信されるイメージ信号値をアナログドメインで平均化する段階、及びアナログドメインで、平均化された信号値から平均化されたリセット値を減算して、4つの一般的な同色のCDSサンプルされたピクセルの正確な数学的平均を示すCDSSサンプルされたアナログデータ値を生成する段階を含むCDSSを行う方法及び装置を提供する。このように、本発明に係る少なくとも一つの実施例は、APS内の複数のピクセルを直接及び正確にサブサンプリングでき、それにより静的固定パターンノイズも除去できる。 As described above, at least one embodiment of the present invention averages reset values received from a plurality of pixels in the analog domain, and averages image signal values received from the plurality of pixels in the analog domain. And subtracting the averaged reset value from the averaged signal value in the analog domain and CDSS sampled to show the exact mathematical average of the four common same color CDS sampled pixels A method and apparatus for performing CDSS that includes generating an analog data value is provided. Thus, at least one embodiment according to the present invention can directly and accurately sub-sample a plurality of pixels in the APS, thereby eliminating static fixed pattern noise.
以上のように、図面と明細書で最良の実施例が開示された。ここで、特定の用語が使用されたが、それは、単に本発明を説明するための目的で使用されたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。したがって、当業者ならば、これから多様な変形及び均等な他の実施例が可能であるということが理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決まらなければならない。 As described above, the best embodiment has been disclosed in the drawings and specification. Certain terminology has been used herein for the purpose of describing the invention only and is intended to limit the scope of the invention as defined by the meaning and claims. It was not used. Accordingly, those skilled in the art will appreciate that various modifications and equivalent other embodiments can be made therefrom. Therefore, the true technical protection scope of the present invention must be determined by the technical idea of the claims.
本発明に係るイメージセンサ及びそのサブサンプリング方法は、デジタルカメラ、携帯電話などのイメージピックアップ装置に利用することができる。 The image sensor and its sub-sampling method according to the present invention can be used for an image pickup device such as a digital camera or a mobile phone.
Claims (43)
各カラムのピクセルが、
少なくとも2つのリセット電荷を保存する少なくとも2つのリセットデータキャパシタと、少なくとも2つのイメージ電荷を保存する少なくとも2つのイメージ信号データキャパシタとに、スイッチを介して連結され、
各カラムの前記少なくとも2つのリセットデータキャパシタの少なくとも1つは、同一列にある前記少なくとも2つのイメージ信号データキャパシタの少なくとも1つにノードにおいて直列に連結され、
前記少なくとも2つのリセットデータキャパシタは、スイッチを介して互いに連結され、
前記イメージセンサは、
前記少なくとも2つのリセット電荷を利用して、第1平均化動作を行って、同一列にある少なくとも2つのピクセルのための平均化されたリセット電荷を生成する平均化回路を備え、
前記第1平均化動作は、
同一行に配列されたピクセルのリセット値を平均化する第1ステップと同一列に配列されたピクセルのリセット値を平均化する第2ステップとを含むことを特徴とするイメージセンサ。 An image sensor composed of a plurality of pixels arranged in rows and columns,
Each column pixel is
A switch coupled to at least two reset data capacitors for storing at least two reset charges and at least two image signal data capacitors for storing at least two image charges;
At least one of the at least two reset data capacitors of each column is coupled in series at a node to at least one of the at least two image signal data capacitors in the same column;
The at least two reset data capacitors are connected to each other through a switch;
The image sensor is
An averaging circuit that performs a first averaging operation using the at least two reset charges to generate an averaged reset charge for at least two pixels in the same column;
The first averaging operation is:
An image sensor comprising: a first step of averaging reset values of pixels arranged in the same row; and a second step of averaging reset values of pixels arranged in the same column.
前記少なくとも2つのイメージ電荷を利用して、第2平均化動作を行って同一列にある少なくとも2つのピクセルのための平均化されたイメージ電荷を生成することを特徴とする請求項1に記載のイメージセンサ。 The averaging circuit is
The method of claim 1, wherein the at least two image charges are used to perform a second averaging operation to generate an averaged image charge for at least two pixels in the same column. Image sensor.
前記平均化されたイメージ電荷から、前記平均化されたリセット電荷を減算して、差分電圧を生成するアナログ減算器を更に備えることを特徴とする請求項2に記載のイメージセンサ。 The image sensor is
The image sensor according to claim 2, further comprising an analog subtractor that subtracts the averaged reset charge from the averaged image charge to generate a differential voltage.
前記差分電圧をアナログ−デジタル変換するアナログ−デジタル変換器を更に備えることを特徴とする請求項4に記載のイメージセンサ。 The image sensor is
The image sensor according to claim 4, further comprising an analog-to-digital converter that performs analog-to-digital conversion on the differential voltage.
同じバイアスソースによって共通的にバイアスされることを特徴とする請求項5に記載のイメージセンサ。 The averaging circuit and the analog-to-digital converter are:
The image sensor according to claim 5, wherein the image sensor is commonly biased by the same bias source.
前記第1及び第2平均化動作の間に第1電圧レベルであり、前記アナログ−デジタル変換動作の間に第2電圧レベルであり、前記第1電圧レベルは、前記第2電圧レベルと異なることを特徴とする請求項6に記載のイメージセンサ。 The bias source is
A first voltage level during the first and second averaging operations; a second voltage level during the analog-to-digital conversion operation; and the first voltage level is different from the second voltage level. The image sensor according to claim 6.
前記平均化の第2ステップが行われる前に行われることを特徴とする請求項1に記載のイメージセンサ。 The first step of the averaging is
The image sensor according to claim 1, wherein the image sensor is performed before the second step of averaging is performed.
前記少なくとも2つのリセットデータキャパシタの間に位置したスイッチを含むことを特徴とする請求項1に記載のイメージセンサ。 The averaging circuit is
The image sensor of claim 1, further comprising a switch positioned between the at least two reset data capacitors.
前記少なくとも2つのイメージ信号データキャパシタの間に位置したスイッチを含むことを特徴とする請求項2に記載のイメージセンサ。 The averaging circuit is
3. The image sensor of claim 2, further comprising a switch positioned between the at least two image signal data capacitors.
前記APSアレイの第1列にあるN個のピクセルからN個のピクセルリセット電荷を受信し、第1ノードと第2ノードとの間にスイッチを介して互いに並列に連結されたN個の第1セットのリセット電荷蓄積キャパシタに連続的に格納する段階と、
前記第1ノードと前記第2ノードとの間の前記N個の第1セットのリセット電荷蓄積キャパシタに連結された(N−1)個のリセット電荷保持スイッチを閉じる段階と、
前記第1ノードと、前記APSアレイの第2列に対応するN個のリセット電荷蓄積キャパシタとの間に配置された行方向平均化スイッチを閉じる段階と、を備え、
前記N−1個のリセット電荷保持スイッチが閉じたとき、前記N個の第1セットのリセット電荷蓄積キャパシタは互いに並列に連結され、
前記第1列にあるN個のピクセルのための平均化されたリセット電荷が生成される第1平均化動作を行うことを特徴とするサブサンプリング方法。 In a method of subsampling N 2 pixels in an APS array,
N first reset charges are received from N pixels in the first column of the APS array and connected in parallel to each other via a switch between the first node and the second node. Continuously storing in a reset charge storage capacitor of the set;
Closing (N-1) reset charge retention switches coupled to the N first set of reset charge storage capacitors between the first node and the second node;
Closing a row direction averaging switch disposed between the first node and N reset charge storage capacitors corresponding to a second column of the APS array;
When the N-1 reset charge holding switches are closed, the N first set of reset charge storage capacitors are connected in parallel to each other;
A sub-sampling method comprising performing a first averaging operation in which an averaged reset charge for N pixels in the first column is generated.
前記APSアレイの第1列にあるN個のピクセルからN個のイメージ電荷をN個の第2セットのイメージ電荷蓄積キャパシタに格納する段階を更に含むことを特徴とする請求項12に記載のサブサンプリング方法。 The sub-sampling method includes:
13. The sub of claim 12, further comprising storing N image charges from N pixels in the first column of the APS array in N second sets of image charge storage capacitors. Sampling method.
アナログドメインで行われることを特徴とする請求項12に記載のサブサンプリング方法。 The first averaging operation is:
The sub-sampling method according to claim 12, wherein the sub-sampling method is performed in an analog domain.
N個の前記第2セットのイメージ電荷蓄積キャパシタに格納されたイメージ電荷に、第2平均化動作を行う段階を更に含むことを特徴とする請求項13に記載のサブサンプリング方法。 The sub-sampling method includes:
The sub-sampling method of claim 13 , further comprising performing a second averaging operation on the image charges stored in the N second image charge storage capacitors.
前記イメージ電荷を合成する段階と、
互いに並列である前記第2セットのイメージ電荷蓄積キャパシタのうち、少なくとも2つのキャパシタを連結する段階を含むことを特徴とする請求項15に記載のサブサンプリング方法。 The second averaging operation is as follows:
Synthesizing the image charge;
The sub-sampling method of claim 15, further comprising connecting at least two capacitors of the second set of image charge storage capacitors in parallel with each other.
アナログドメインで、減算動作を更に含み、
前記減算動作で、前記第2セットのイメージ電荷蓄積キャパシタのうち、少なくとも一つのキャパシタと、前記第1セットのイメージ電荷蓄積キャパシタのうち、少なくとも一つのキャパシタを直列に連結して、差分電圧を生成することを特徴とする請求項16に記載のサブサンプリング方法。 The sub-sampling method includes:
In the analog domain, further includes a subtraction operation,
In the subtraction operation, at least one of the second set of image charge storage capacitors and at least one of the first set of image charge storage capacitors are connected in series to generate a differential voltage. The sub-sampling method according to claim 16, wherein the sub-sampling method is performed.
前記減算動作からの前記差分電圧をアナログ−デジタル変換する段階を更に含むことを特徴とする請求項17に記載のサブサンプリング方法。 The sub-sampling method includes:
The sub-sampling method according to claim 17, further comprising analog-to-digital conversion of the differential voltage from the subtraction operation.
一つのソースバイアスによってバイアスされた回路により行われることを特徴とする請求項18に記載のサブサンプリング方法。 The averaging operation and the analog-to-digital conversion of the differential voltage are:
19. The sub-sampling method according to claim 18, wherein the sub-sampling method is performed by a circuit biased by one source bias.
前記平均化動作の間は低い電圧レベルであり、前記アナログ−デジタル変換の間は高い電圧であることを特徴とする請求項19に記載のサブサンプリング方法。 The one source bias is:
The sub-sampling method according to claim 19 , wherein the voltage level is low during the averaging operation and the voltage is high during the analog-to-digital conversion.
前記第1平均化動作は、
第1行の第1ピクセル対から、2つのリセット電荷に対する第1同一行平均を生成する段階と、
第2行の第2ピクセル対から、2つのリセット電荷に対する第2同一行平均を生成する段階と、
前記第1同一行平均と前記第2同一行平均とを平均する段階と、を含むことを特徴とする請求項21に記載のサブサンプリング方法。 The four pixels are arranged in 2 rows and 2 columns,
The first averaging operation is:
From the first row and the first pixel pair of the steps of generating a first same row average for the two reset charge,
Generating a second identical row average for two reset charges from a second pixel pair in the second row;
The subsampling method according to claim 21, further comprising: averaging the first same row average and the second same row average.
各カラムピクセルの各ピクセルが平均化部に連結される動作が行われ、
各平均化部は、
第1ピクセル及び第2ピクセルからのアナログリセットデータを保存する第1及び第2保存キャパシタと、
前記第1ピクセル及び前記第2ピクセルからのアナログイメージ信号データを保存する第3及び第4保存キャパシタと、を含み、
前記第1及び第2保存キャパシタの少なくとも1つは同一カラムの前記第3及び第4保存キャパシタの少なくとも1つにノードにおいて直列に連結され、
前記第1及び第2保存キャパシタは、同一カラムの前記第1及び第2ピクセルのために平均リセット電荷を生成するために、相互にスイッチで連結されることを特徴とするイメージセンサ。 It consists of a pixel array arranged in a plurality of rows and a plurality of columns,
An operation is performed in which each pixel of each column pixel is connected to the averaging unit,
Each averaging unit
First and second storage capacitors for storing analog reset data from the first pixel and the second pixel;
Third and fourth storage capacitors for storing analog image signal data from the first pixel and the second pixel;
At least one of the first and second storage capacitors is connected in series at a node to at least one of the third and fourth storage capacitors of the same column;
The image sensor, wherein the first and second storage capacitors are connected to each other by a switch to generate an average reset charge for the first and second pixels of the same column.
少なくとも2つの平均化部に保存されたアナログリセットデータを平均化することを含む第1平均化動作を行う第1平均化スイッチを更に含むことを特徴とする請求項23に記載のイメージセンサ。 The image sensor is
24. The image sensor of claim 23, further comprising a first averaging switch that performs a first averaging operation including averaging analog reset data stored in at least two averaging units.
少なくとも2つの平均化部に保存されたアナログイメージ信号を平均化することを含む第2平均化動作を行うことを特徴とする請求項25に記載のイメージセンサ。 The first averaging switch includes:
26. The image sensor of claim 25, wherein a second averaging operation including averaging analog image signals stored in at least two averaging units is performed.
アナログドメインで行われることを特徴とする請求項26に記載のイメージセンサ。 The first and second averaging operations are:
27. The image sensor according to claim 26, which is performed in an analog domain.
N番目のピクセルからのアナログイメージ信号データを保存するN番目の保存キャパシタを更に含むことを特徴とする請求項23に記載のイメージセンサ。 Each of the averaging units is
The image sensor of claim 23, further comprising an Nth storage capacitor for storing analog image signal data from the Nth pixel.
N番目のピクセルからのアナログリセットデータを保存する2N番目の保存キャパシタを更に含むことを特徴とする請求項23に記載のイメージセンサ。 Each of the averaging units is
The image sensor of claim 23, further comprising a 2Nth storage capacitor for storing analog reset data from the Nth pixel.
前記平均化部からの複数の出力をアナログ−デジタル変換する各カラムのためのアナログ−デジタル変換器を更に含むことを特徴とする請求項23に記載のイメージセンサ。 The image sensor is
24. The image sensor of claim 23, further comprising an analog-to-digital converter for each column for analog-to-digital conversion of a plurality of outputs from the averaging unit.
前記平均化部からの複数の出力を並列にアナログ−デジタル変換することを特徴とする請求項30に記載のイメージセンサ。 Each of the analog-to-digital converters is
The image sensor according to claim 30, wherein the plurality of outputs from the averaging unit are analog-to-digital converted in parallel.
共通的に同じバイアス電圧によってバイアスされることを特徴とする請求項30に記載のイメージセンサ。 The averaging unit and the analog - digital converter,
The image sensor according to claim 30 , wherein the image sensor is commonly biased by the same bias voltage.
前記平均化動作の間は第1電圧レベルであり、前記アナログ−デジタル変換の間は第2電圧レベルであり、前記第1電圧レベルは、前記第2電圧レベルと異なることを特徴とする請求項32に記載のイメージセンサ。 The bias voltage is
The first voltage level during the averaging operation is a first voltage level, and the second voltage level during the analog-to-digital conversion. The first voltage level is different from the second voltage level. The image sensor according to 32.
同じ行に配列されたピクセルについてのアナログリセットデータを平均化することを含むことを特徴とする請求項26に記載のイメージセンサ。 The first averaging operation is:
27. The image sensor of claim 26 including averaging analog reset data for pixels arranged in the same row.
同じ行に配列されたピクセルについてのアナログイメージ信号データを平均化することを含むことを特徴とする請求項27に記載のイメージセンサ。 The second averaging operation is as follows:
28. The image sensor of claim 27, comprising averaging analog image signal data for pixels arranged in the same row.
同じカラムのピクセルについてのアナログリセットデータを平均化する第1及び第2保存キャパシタの間に位置したリセット平均化スイッチを更に含むことを特徴とする請求項23に記載のイメージセンサ。 Each of the averaging units is
24. The image sensor of claim 23, further comprising a reset averaging switch positioned between first and second storage capacitors that averages analog reset data for pixels in the same column.
同じカラムのピクセルについてのアナログイメージ信号データを平均化する第3及び第4保存キャパシタの間に位置したイメージ信号平均化スイッチを更に含むことを特徴とする請求項23に記載のイメージセンサ。 Each of the averaging units is
24. The image sensor of claim 23, further comprising an image signal averaging switch positioned between third and fourth storage capacitors that averages analog image signal data for pixels in the same column.
CMOSタイプであることを特徴とする請求項23に記載のイメージセンサ。 The image sensor is
The image sensor according to claim 23, wherein the image sensor is a CMOS type.
デジタル信号処理器を更に含むことを特徴とする請求項23に記載のイメージセンサ。 The image sensor is
The image sensor according to claim 23, further comprising a digital signal processor.
前記N2個のピクセルから出力された複数のリセット電圧を第1セットの蓄積キャパシタに格納し、合成する段階と、
前記N2個のピクセルから出力された複数のイメージ信号電圧を第2セットの蓄積キャパシタに格納し、合成する段階と、
前記第1セットの蓄積キャパシタ中の少なくとも1個の蓄積キャパシタと前記第2セットの蓄積キャパシタ中の少なくとも1個の蓄積キャパシタとを直列に連結する段階と、を備え、
前記第1セットの蓄積キャパシタを互いにスイッチで連結し、同一カラムにある複数のピクセルのための平均化されたリセット電荷を生成することを特徴とするサブサンプリング方法。 In a method of subsampling N 2 pixels in an array having pixels arranged in a plurality of rows and a plurality of columns, each pixel outputting a reset voltage and an image signal voltage,
Storing and combining a plurality of reset voltages output from the N 2 pixels in a first set of storage capacitors;
Storing and synthesizing a plurality of image signal voltages output from the N 2 pixels in a second set of storage capacitors;
Serially connecting at least one storage capacitor in the first set of storage capacitors and at least one storage capacitor in the second set of storage capacitors;
A sub-sampling method, wherein the first set of storage capacitors are connected to each other by a switch to generate an averaged reset charge for a plurality of pixels in the same column.
第1行中の第1ピクセルの前記リセット電圧を第1電荷として第1キャパシタに、第1行中の第2ピクセルの前記リセット電圧を第2電荷として第2キャパシタにそれぞれ格納し、前記第1電荷と前記第2電荷とを直ちに結合させて第1行の平均化されたリセット電荷を生成する段階と、
第2行中の第1ピクセルの前記リセット電圧を第3電荷として第3キャパシタに、第2行中の第2ピクセルの前記リセット電圧を第4電荷として第4キャパシタにそれぞれ格納し、前記第3電荷と前記第4電荷とを直ちに結合させて第2行の平均化されたリセット電荷を生成する段階と、
前記第1行の平均化されたリセット電荷と前記第2行の平均化されたリセット電荷とを結合させてサブサンプリング用リセット電荷を合成する段階と、を備え、
前記第1キャパシタと前記第3キャパシタとは相互にスイッチで連結され、同一カラムの前記第1及び第2行にあるピクセルのための平均化されたリセット電荷を生成することを特徴とするサブサンプリング方法。 In the method each pixel outputs a reset voltage and the image signal voltage, subsampling N 2 pixels in the APS array having N 2 pixels arranged in the N rows and N columns,
The reset voltage of the first pixel in the first row is stored in the first capacitor as a first charge, the reset voltage of the second pixel in the first row is stored in the second capacitor as a second charge, and the first capacitor Immediately combining the charge and the second charge to produce an averaged reset charge for the first row;
The reset voltage of the first pixel in the second row is stored as a third charge in a third capacitor, the reset voltage of the second pixel in the second row is stored as a fourth charge in a fourth capacitor, and the third capacitor is stored. Combining the charge and the fourth charge immediately to produce an averaged reset charge of the second row;
Combining the reset reset charge for subsampling by combining the averaged reset charge of the first row and the averaged reset charge of the second row,
The sub-sampling characterized in that the first capacitor and the third capacitor are connected to each other by a switch to generate an averaged reset charge for pixels in the first and second rows of the same column. Method.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR2004-017675 | 2004-03-16 | ||
KR1020040017675A KR100994993B1 (en) | 2004-03-16 | 2004-03-16 | Solid state image sensing device and driving method thereof outputting digital image signals of averaged sub-sampled analog signals |
US11/068205 | 2005-02-28 | ||
US11/068,205 US7554584B2 (en) | 2004-03-16 | 2005-02-28 | Method and circuit for performing correlated double sub-sampling (CDSS) of pixels in an active pixel sensor (APS) array |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005269646A JP2005269646A (en) | 2005-09-29 |
JP4764036B2 true JP4764036B2 (en) | 2011-08-31 |
Family
ID=34921821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005073341A Active JP4764036B2 (en) | 2004-03-16 | 2005-03-15 | Method and circuit for performing correlated double subsampling of pixels in an active pixel sensor array |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP4764036B2 (en) |
CN (1) | CN100594709C (en) |
DE (1) | DE102005012509A1 (en) |
FR (1) | FR2867936B1 (en) |
TW (1) | TWI256840B (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101305602B (en) * | 2005-11-08 | 2011-11-09 | 松下电器产业株式会社 | Correlating double sampling circuit and sample hold circuit |
JP4546563B2 (en) * | 2006-03-01 | 2010-09-15 | 富士通セミコンダクター株式会社 | Semiconductor integrated circuit |
JP5142749B2 (en) * | 2008-02-14 | 2013-02-13 | キヤノン株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGING SYSTEM |
CN101557456B (en) * | 2008-04-10 | 2010-12-29 | 联咏科技股份有限公司 | Correlated duplex-sampling circuit and complementary metal oxide semiconductor (CMOS) image sensing unit |
JP5311954B2 (en) * | 2008-09-30 | 2013-10-09 | キヤノン株式会社 | Driving method of solid-state imaging device |
CN103901090B (en) * | 2008-10-22 | 2017-03-22 | 生命技术公司 | Integrated sensor arrays for biological and chemical analysis |
US20100137143A1 (en) | 2008-10-22 | 2010-06-03 | Ion Torrent Systems Incorporated | Methods and apparatus for measuring analytes |
JP5426587B2 (en) * | 2011-01-31 | 2014-02-26 | 株式会社東芝 | Solid-state imaging device and pixel averaging processing method thereof |
US8749656B2 (en) | 2011-03-16 | 2014-06-10 | Analog Devices, Inc. | Apparatus and method for image decimation for image sensors |
WO2013099264A1 (en) * | 2011-12-27 | 2013-07-04 | 株式会社ニコン | Solid-state imaging element, and imaging device |
CN103872065B (en) * | 2014-03-10 | 2016-09-21 | 北京空间机电研究所 | Vertical electric charge transfer imaging detector pixel merges method |
TWI559768B (en) * | 2015-06-22 | 2016-11-21 | 友達光電股份有限公司 | Sampling control circuit for passive pixel and method thereof |
CN113493735B (en) * | 2020-04-02 | 2023-06-16 | 成都今是科技有限公司 | Gene sequencing array structure and gene sequencing device |
CN113612948B (en) * | 2021-08-27 | 2024-03-05 | 锐芯微电子股份有限公司 | Readout circuit and image sensor |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1013746A (en) * | 1996-06-27 | 1998-01-16 | Sony Corp | Solid-state image pickup device |
JP2001036816A (en) * | 1999-06-23 | 2001-02-09 | Taiwan Advanced Sensors Corp | Automatic calibration of a/d converter in cmos-type image sensor |
JP2002165132A (en) * | 2000-11-22 | 2002-06-07 | Innotech Corp | Solid-state image pickup device and its drive method |
KR100498594B1 (en) * | 2000-12-30 | 2005-07-01 | 매그나칩 반도체 유한회사 | Cmos image sensor |
JP2002330349A (en) * | 2001-04-26 | 2002-11-15 | Fujitsu Ltd | Xy address type solid-state image pickup device |
US6914227B2 (en) * | 2001-06-25 | 2005-07-05 | Canon Kabushiki Kaisha | Image sensing apparatus capable of outputting image by converting resolution by adding and reading out a plurality of pixels, its control method, and image sensing system |
US20040246354A1 (en) * | 2003-06-04 | 2004-12-09 | Hongli Yang | CMOS image sensor having high speed sub sampling |
-
2005
- 2005-03-09 TW TW094107090A patent/TWI256840B/en active
- 2005-03-15 JP JP2005073341A patent/JP4764036B2/en active Active
- 2005-03-15 FR FR0502545A patent/FR2867936B1/en not_active Expired - Fee Related
- 2005-03-16 DE DE102005012509A patent/DE102005012509A1/en not_active Withdrawn
- 2005-03-16 CN CN200510074158A patent/CN100594709C/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2005269646A (en) | 2005-09-29 |
DE102005012509A1 (en) | 2005-10-13 |
FR2867936B1 (en) | 2009-04-17 |
CN100594709C (en) | 2010-03-17 |
TWI256840B (en) | 2006-06-11 |
CN1681290A (en) | 2005-10-12 |
TW200533191A (en) | 2005-10-01 |
FR2867936A1 (en) | 2005-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4764036B2 (en) | Method and circuit for performing correlated double subsampling of pixels in an active pixel sensor array | |
US7554584B2 (en) | Method and circuit for performing correlated double sub-sampling (CDSS) of pixels in an active pixel sensor (APS) array | |
KR101159014B1 (en) | Image sensor with charge binning | |
KR101317272B1 (en) | high dynamic range image sensor with reduced line memory for color interpolation | |
US7133073B1 (en) | Method and apparatus for color interpolation | |
KR100813344B1 (en) | X-y address type solid-state image pickup device | |
US8350940B2 (en) | Image sensors and color filter arrays for charge summing and interlaced readout modes | |
US6914227B2 (en) | Image sensing apparatus capable of outputting image by converting resolution by adding and reading out a plurality of pixels, its control method, and image sensing system | |
US8310577B1 (en) | Method and apparatus for color compensation | |
US7375748B2 (en) | Differential readout from pixels in CMOS sensor | |
TWI382757B (en) | Method, apparatus, and system providing multiple pixel integration periods | |
US8085324B2 (en) | Solid-state imaging apparatus | |
US20060113459A1 (en) | Image sensor having resolution adjustment employing an analog column averaging/row averaging for high intensity light or row binning for low intensity light | |
KR20050026864A (en) | Imaging device for adding signals including same color component | |
US7760959B2 (en) | Imaging apparatus and imaging system | |
RU2378791C2 (en) | Device for image perception and image grabber system | |
EP1549050A2 (en) | Imaging apparatus for processing noise signal and photoelectric conversion signal | |
US8582006B2 (en) | Pixel arrangement for extended dynamic range imaging | |
CN210694150U (en) | Image sensor with a plurality of pixels | |
JP2532374B2 (en) | Solid-state imaging device | |
JP2000295530A (en) | Solid-state image pickup device | |
JP3914655B2 (en) | Solid-state imaging device | |
KR100905082B1 (en) | Method and device for processing image | |
KR20030002865A (en) | Color interpolation apparatus in image sensor | |
KR100272338B1 (en) | Device for cahanging an output signal of interline transfer ccd |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4764036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |