JP3501682B2 - Color imaging apparatus and imaging system using the same - Google Patents

Color imaging apparatus and imaging system using the same

Info

Publication number
JP3501682B2
JP3501682B2 JP15161599A JP15161599A JP3501682B2 JP 3501682 B2 JP3501682 B2 JP 3501682B2 JP 15161599 A JP15161599 A JP 15161599A JP 15161599 A JP15161599 A JP 15161599A JP 3501682 B2 JP3501682 B2 JP 3501682B2
Authority
JP
Japan
Prior art keywords
pixels
color
signals
image pickup
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP15161599A
Other languages
Japanese (ja)
Other versions
JP2000341699A (en
Inventor
誠二 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP15161599A priority Critical patent/JP3501682B2/en
Priority to US09/584,198 priority patent/US6992714B1/en
Publication of JP2000341699A publication Critical patent/JP2000341699A/en
Application granted granted Critical
Publication of JP3501682B2 publication Critical patent/JP3501682B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明はカラー撮像装置及び
それを用いた撮像システムに係わり、特に各画素信号を
原信号で読出す動作と、加算して読出す動作を選択可能
なカラー撮像装置及びそれを用いた撮像システムに関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image pickup device and an image pickup system using the same, and more particularly, to a color image pickup device capable of selecting an operation of reading each pixel signal as an original signal and an operation of reading by addition. The present invention relates to an imaging system using the same.

【0002】[0002]

【従来の技術】デジタルスチルカメラは200万画素の
撮像素子が使用されるようになった。これは銀鉛写真画
質を追求した結果であって、静止画専用に用いられてい
た。従来NTSC用のビデオカメラは40万画素程度で
あり、読出し速度はインタレース走査で約13.5MH
z、プログレッシブ走査で約27MHzである。
2. Description of the Related Art Digital still cameras have come to use image pickup devices having 2 million pixels. This was a result of pursuing silver-lead photo quality and was used exclusively for still images. Conventional NTSC video cameras have about 400,000 pixels, and the read speed is about 13.5 MH in interlaced scanning.
z, about 27 MHz in progressive scanning.

【0003】200万画素の撮像素子を動画で使用する
と、上記40万画素の場合の5倍の読出し速度になる。
When an image pickup device having 2 million pixels is used for a moving image, the read speed becomes 5 times as high as that of the above 400,000 pixels.

【0004】このような読出し速度で読み出しを行う
と、消費電力が非常に増大し、また、かかる消費電力増
大によるノイズの悪化が生じ、さらに画像処理用のメモ
リの増大によるコストアップを招く問題があった。
When reading is performed at such a reading speed, the power consumption is greatly increased, the noise is deteriorated due to the increased power consumption, and the cost is increased due to the increase in the memory for image processing. there were.

【0005】この様な問題を解決するものとして、特開
平9−247689号公報に開示されたカラー撮像装置
がある。同公報に示される実施例(公報の図3)では、
4×4画素を単位として同一色を間引いて読み出し加算
している。
To solve such a problem, there is a color image pickup device disclosed in Japanese Patent Laid-Open No. 9-247689. In the embodiment shown in the publication (FIG. 3 of the publication),
The same color is thinned out in units of 4 × 4 pixels and read out and added.

【0006】[0006]

【発明が解決しようとする課題】この場合、問題になる
のは4×4画素のなかで利用される有効画素が1/4に
なっていること、また全体の画素数で考えると1/16
になっていることである。従って、200万画素の素子
の場合200万/16≒12.5万画素相当の解像度し
か得られない。即ち、利用効率が非常に悪くなり、実際
上モニタ程度にしか使うことができない。
In this case, the problem is that the number of effective pixels used in 4 × 4 pixels is 1/4, and considering the total number of pixels, it is 1/16.
That is. Therefore, in the case of an element having 2 million pixels, only a resolution equivalent to 2 million / 16≈125,000 pixels can be obtained. That is, the utilization efficiency becomes very poor, and it can be practically used only as a monitor.

【0007】さらに上記特開平9−247689号公報
の実施例(公報の図2)では複数の画素信号を混合して
読出すことが記載されているが、これをCCDで行うに
は実現性がなく(CCDでは電荷転送なのでX−Y走査
の読出しは困難)、また半導体スイッチと光ダイオード
で行うには、垂直信号線のKTCノイズが大きく、良好
なS/Nが得られない問題がある。
Further, in the embodiment of the above-mentioned Japanese Patent Application Laid-Open No. 9-247689 (FIG. 2 of the publication), a plurality of pixel signals are mixed and read out, but it is not feasible to perform this with a CCD. There is a problem (reading of XY scan is difficult because of charge transfer in CCD), and in performing with semiconductor switch and photodiode, there is a problem that good S / N cannot be obtained due to large KTC noise of vertical signal line.

【0008】上述の様に従来技術では画素信号を間引
き、また4×4画素単位による読出しのため、充分な解
像度が得られない、S/Nが悪いという課題があった。
As described above, the prior art has problems that the pixel signals are thinned out and read in units of 4 × 4 pixels, so that sufficient resolution cannot be obtained and S / N is poor.

【0009】また、画素から信号を読み出す場合、従来
は1行目の画素信号を上側のメモリ、2行目の画素信号
を下側のメモリへ転送していた。従って水平方向の加算
は容易であったが垂直及び斜め方向の加算は困難であっ
た。
Further, when reading a signal from a pixel, conventionally, the pixel signal of the first row is transferred to the upper memory and the pixel signal of the second row is transferred to the lower memory. Therefore, addition in the horizontal direction was easy, but addition in the vertical and diagonal directions was difficult.

【0010】本発明は従来技術の課題を解決し、高精細
の画像と、それより低解像の動画像を良画質で撮影でき
るカラー撮像装置を提供することを目的とする。
SUMMARY OF THE INVENTION It is an object of the present invention to solve the problems of the prior art and to provide a color image pickup apparatus capable of picking up a high-definition image and a moving image having a lower resolution than that with a good image quality.

【0011】[0011]

【課題を解決するための手段】本発明のカラー撮像装置
は、マトリクス状に配列された複数の画素を有し、第1
の色フィルターを一の斜め方向に配列するとともに、第
2の色フィルターと第3の色フィルターとを該一の斜め
方向と交差する他の斜め方向に配列した2行2列の基本
配列を、前記複数の画素に対して水平方向及び垂直方向
に配置した撮像素子と、前記第1の色フィルターが配列
された、前記一の斜め方向に隣接した2以上の画素の信
号を加算する第1の加算手段と、前記第2の色フィルタ
ーが配列された、水平方向の2以上の画素の信号を加算
するとともに、前記第3の色フィルターが配列された、
水平方向の2以上の画素の信号を加算する第2の加算手
段と、を備えたものである。
A color image pickup device of the present invention has a plurality of pixels arranged in a matrix,
The color filters of are arranged in one diagonal direction and
The second color filter and the third color filter are diagonally connected to each other.
2-by-2 basic array arranged in other diagonal directions that intersect the direction
An array is arranged in the horizontal and vertical directions for the plurality of pixels.
Array of the image sensor and the first color filter
Signal of two or more pixels adjacent to each other in one diagonal direction.
Number adding means for adding signals, and the second color filter
Signals of two or more pixels in the horizontal direction in which
And the third color filter is arranged,
A second adder for adding signals of two or more pixels in the horizontal direction
And a step.

【0012】[0012]

【0013】[0013]

【0014】本発明の撮像システムは、上記本発明のカ
ラー撮像装置と、該カラー撮像装置へ光を結像する光学
系と、該撮像装置からの出力信号を処理する信号処理回
路とを有することを特徴とするものである。
An image pickup system of the present invention comprises the color image pickup apparatus of the present invention, an optical system for forming an image of light on the color image pickup apparatus, and a signal processing circuit for processing an output signal from the image pickup apparatus. It is characterized by.

【0015】[0015]

【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。
Embodiments of the present invention will be described in detail below with reference to the drawings.

【0016】図1に本発明のカラー撮像装置による画素
信号読出し方法を示す概略説明図である。図1では撮像
素子の出力は4チャンネルあり、撮像素子のマトリクス
状に配された各画素のカラーフィルターは市松模様状に
配置されており、G(緑)フィルターは市松模様の半分
に配され、R(赤)フィルター、B(青)フィルターは
市松模様の残りの半分にそれぞれ半分づつ配されてい
る。
FIG. 1 is a schematic explanatory view showing a pixel signal reading method by the color image pickup device of the present invention. In FIG. 1, the image sensor has four outputs, the color filters of the pixels arranged in a matrix of the image sensor are arranged in a checkerboard pattern, and the G (green) filter is arranged in half of the checkerboard pattern. The R (red) filter and the B (blue) filter are each arranged in the other half of the checkered pattern.

【0017】高精細読出しの場合(システム1)は各画
素信号が独立に読出される。すなわち、出力Aからは読
み出し回路11により画素信号G11,G13,G15・・・
が出力され、出力Bからは読み出し回路11により画素
信号G22,G24,G26・・・が出力され、出力Cからは
読み出し回路12により画素信号B21,B23,B25・・
・が出力され、出力Dからは読み出し回路12により画
素信号R12,R14,R16・・・が出力される。
In the case of high-definition reading (system 1), each pixel signal is read independently. That is, the pixel signals G11, G13, G15, ...
Are output, the output B outputs pixel signals G22, G24, G26 ... From the output C, and the read circuit 12 outputs pixel signals B21, B23, B25 ...
. Is output, and the output circuit D outputs the pixel signals R12, R14, R16 ...

【0018】また、低解像読出し(システム2)では同
色画素信号が加算して読出され、Gフィルターが配され
た斜め方向の画素からの信号は読み出し回路11により
2行分加算読み出しされ、R又はBフィルターが配され
た水平方向の画素からの信号は読み出し回路12により
2行分加算読み出しされる。すなわち、出力Aからは読
み出し回路11により画素信号G11+G22,G13+G2
4,・・・、及び画素信号G15+G26,G17+G18,・
・・が出力され、出力Cからは読み出し回路12により
画素信号B21+B23,B25+B27,・・・が出力され、
出力Dからは読み出し回路12により画素信号R12+R
14,R16+R18・・・が出力される。なお、ここでは出
力Bから信号が出力されていないが、出力Aからは画素
信号G11+G22,G15+G26,・・・が出力され、出力
Bからは画素信号G13+G24,G17+G28・・・が出力
されるようにしてもよい。
Further, in the low resolution reading (system 2), the same color pixel signals are added and read, and the signals from the diagonally arranged pixels to which the G filter is arranged are added and read for two rows by the reading circuit 11, and R is read. Alternatively, the signals from the horizontal pixels to which the B filter is arranged are added and read by the reading circuit 12 for two rows. That is, the pixel signals G11 + G22 and G13 + G2 are output from the output A by the readout circuit 11.
4, ..., and pixel signals G15 + G26, G17 + G18, ...
.. is output, and the pixel signal B21 + B23, B25 + B27, ... Is output from the output C by the readout circuit 12,
The pixel signal R12 + R is output from the output D by the readout circuit 12.
14, R16 + R18 ... Are output. Although no signal is output from the output B here, the pixel signal G11 + G22, G15 + G26, ... Is output from the output A, and the pixel signal G13 + G24, G17 + G28 ... is output from the output B. May be.

【0019】撮像素子は画素数が1000V×2000
Hの200万画素のハイビジョン用センサーとする。
The image pickup device has a pixel number of 1000V × 2000.
H sensor with 2 million pixels for high definition.

【0020】システム1のハイビジョン動画の場合は、
各出力(A,B,C,D)からは各色信号が約40MH
z(200万画素×60フィールド/秒×(4/3))
で出力される(4/3はブランキング期間を考慮したも
のである。)。システム1のハイビジョン静止画(デジ
タルスチルカメラ)の場合は、例えば6枚/秒の時は約
4MHzで出力される。
In the case of the high-definition video of system 1,
Each color signal from each output (A, B, C, D) is about 40 MH
z (2 million pixels x 60 fields / sec x (4/3))
(The blanking period is taken into consideration in 4/3.). In the case of a high-definition still image (digital still camera) of the system 1, for example, when the number of images is 6 / sec, the output is about 4 MHz.

【0021】次にシステム2はNTSCインタレース走
査とすると、4チャンネル出力では約10MHz(イン
タレース走査で1/2、加算で1/2)(Gの加算信号
を1チャンネルで出力する場合は約20MHz)とな
る。
Next, assuming that the system 2 is an NTSC interlaced scan, it outputs about 10 MHz for 4-channel output (1/2 for interlaced scan, 1/2 for addition) (about 1 when outputting a G addition signal in one channel). 20 MHz).

【0022】システム2の特徴は2つの画素行において
G信号は斜め加算、R,B信号は水平加算としたことで
ある。G信号を斜め加算することにより、G(緑)の解
像度はR(赤),B(青)より2倍の解像度が得られ
る。
The feature of the system 2 is that the G signal is diagonally added and the R and B signals are horizontally added in two pixel rows. By diagonally adding the G signals, the resolution of G (green) is twice that of R (red) and B (blue).

【0023】Gの高域成分を輝度信号の高域成分として
利用すれば高解像度が得られるとともに、間引きして捨
てる信号がなく、低速駆動で消費電力を減らすことがで
きる。
If the high frequency component of G is used as the high frequency component of the luminance signal, high resolution can be obtained, and there is no signal to be thinned out and discarded, so that power consumption can be reduced by low speed driving.

【0024】図2はCMOSセンサーおよび読み出し回
路を示す回路図である。CMOSセンサーは各画素アン
プのバラツキとゲート部のリセットノイズがあるのでそ
のノイズを除去するため出力部に信号用メモリCT1
ノイズ用メモリCT2を設けて、減算処理によりノイズ
を除去している。
FIG. 2 is a circuit diagram showing a CMOS sensor and a readout circuit. Since the CMOS sensor has variations in each pixel amplifier and reset noise in the gate section, a signal memory CT 1 and a noise memory CT 2 are provided in the output section in order to remove the noise, and the noise is removed by subtraction processing. .

【0025】図2において、破線領域はCMOSセンサ
ーの一画素部を示し、PDはフォトダイオード、MTXは
転送用トランジスタ、MRESはリセット用トランジス
タ、MSELは画素アンプとなる増幅用トランジスタ、MS
ELは画素を選択する選択用トランジスタである。リセッ
ト用トランジスタMRES、MRVをオンして画素部および
垂直出力線のリセットを行った後に画素アンプ、選択用
トランジスタMSEL、トランジスタMCT2を介してノイズ
用メモリCT2にノイズ信号を蓄積する。また、転送用
トランジスタMTXをオンして、フォトダイオードPDか
ら光電変換された信号が画素アンプとなる増幅用トラン
ジスタMSELのゲートに転送され、画素アンプ、選択用
トランジスタMSEL、トランジスタMCT1を介して信号用
メモリCT 1にノイズ信号成分を含む信号を蓄積する。
そして、信号用メモリCT1に蓄積されたノイズ信号成
分を含む信号と、ノイズ用メモリCT2に蓄積されたノ
イズ信号とを水平出力線に出力し、減算処理して画素ア
ンプのバラツキとゲート部のリセットノイズ等のノイズ
成分が除去された信号を得る。φSEL、φTX、φRES、φ
RV、φTS、φTNはそれぞれ増幅用トランジスタMSEL、
転送用トランジスタMTX、リセット用トランジスタMRE
S,MRV、トランジスタMCT1,MCT2を制御する制御信
号である。また、トランジスタMLは画素アンプMSFの
負荷である。φLはφSELと共通に駆動するか、常にHレ
ベルとして抵抗としても良い。
In FIG. 2, a broken line area indicates a CMOS sensor.
Shows one pixel part, PD is a photodiode, MTX is
Transfer transistor, MRES is reset transistor
, MSEL is an amplifying transistor that becomes a pixel amplifier, and MS
EL is a selection transistor that selects a pixel. Reset
Turning on the transistor MRES, MRV for
Pixel amplifier for selection after resetting the vertical output line
Noise through the transistor MSEL and transistor MCT2
Memory CT2The noise signal is stored in. Also for transfer
Turn on the transistor MTX to turn on the photodiode PD.
The signal for photoelectric conversion from the
Transferred to the gate of the transistor MSEL for pixel amplifier and selection
For signal via transistor MSEL and transistor MCT1
Memory CT 1A signal containing a noise signal component is stored in.
And the signal memory CT1Noise signal accumulated in the
Signal including minute and noise memory CT2Accumulated in
And the pixel signal is output to the horizontal output line and subtracted
Noise and noise such as gate reset noise
Obtain the signal with the components removed. φSEL, φTX, φRES, φ
RV, φTS, and φTN are amplification transistors MSEL and
Transfer transistor MTX, reset transistor MRE
Control signal for controlling S, MRV and transistors MCT1, MCT2
No. Further, the transistor ML is the pixel amplifier MSF.
Is a load. φL is driven in common with φSEL, or is always high
It may be used as a bell and as a resistance.

【0026】図3は本発明のカラー撮像装置の回路構成
図である。なお図3の各画素部は図2に示したものと同
一構成である。ノイズ除去手段は簡略化のために省略さ
れているが図2と同様に、ノイズ用メモリとノイズ信号
出力用の水平出力線を設け、減算処理して画素アンプの
バラツキとゲート部のリセットノイズ等のノイズ成分が
除去された信号を得ることができる。
FIG. 3 is a circuit diagram of the color image pickup device of the present invention. Each pixel portion in FIG. 3 has the same configuration as that shown in FIG. Although the noise removing means is omitted for simplification, as in FIG. 2, a noise memory and a horizontal output line for outputting a noise signal are provided, and subtraction processing is performed to cause variations in pixel amplifiers and reset noise in the gate section. It is possible to obtain a signal from which the noise component of is removed.

【0027】図3の上側のメモリ回路は2行分のG信号
を蓄積する。また、下側のメモリ回路は2行分のR信号
とB信号を蓄積する。画素G11,R12,B21,G22の信
号読み出しを例にとって説明すると、画素G11からの信
号は切り換えトランジスタMG11を介してメモリCG11
に蓄積され、画素G22からの信号は切り換えトランジス
タMG12を介してメモリCG22に蓄積される。そして、
画素B21からの信号は切り換えトランジスタMB11を介
してメモリCB21に蓄積され、画素R12からの信号は切
り換えトランジスタMR12を介してメモリCR12に蓄積
される。トランジスタMA1はメモリCG11とメモリCG
22とに蓄積された信号を加算するトランジスタ、トラン
ジスタMA2はメモリCG13とメモリCG24とに蓄積され
た信号を加算するトランジスタ、トランジスタMA3はメ
モリCB21とメモリCB23とに蓄積された信号を加算す
るトランジスタ、トランジスタMA4はメモリCR12とメ
モリCR14とに蓄積された信号を加算するトランジスタ
である。φT1、φT2、φAは、それぞれトランジスタMG
11,MG21,MR12,MR22、トランジスタMG12,MG2
2,MB11,MB21、トランジスタMA1〜MA4を制御する
制御信号である。また、φhcは水平出力線をリセットす
るトランジスタMhc1〜Mhc4を制御する制御信号であ
る。
The memory circuit on the upper side of FIG. 3 stores G signals for two rows. Further, the lower memory circuit stores R signals and B signals for two rows. The signal read from the pixels G11, R12, B21 and G22 will be described as an example. The signal from the pixel G11 is transferred to the memory CG11 via the switching transistor MG11.
The signal from the pixel G22 is stored in the memory CG22 via the switching transistor MG12. And
The signal from pixel B21 is stored in memory CB21 via switching transistor MB11, and the signal from pixel R12 is stored in memory CR12 via switching transistor MR12. The transistor MA1 is a memory CG11 and a memory CG.
22 is a transistor for adding the signals accumulated in the memory 22, a transistor MA2 is a transistor for adding the signals accumulated in the memories CG13 and CG24, a transistor MA3 is a transistor for adding the signals accumulated in the memories CB21 and CB23, The transistor MA4 is a transistor for adding the signals accumulated in the memories CR12 and CR14. φT1, φT2 and φA are transistor MG
11, MG21, MR12, MR22, transistors MG12, MG2
2, MB11, MB21 and control signals for controlling the transistors MA1 to MA4. Further, φhc is a control signal for controlling the transistors Mhc1 to Mhc4 which reset the horizontal output line.

【0028】図4に画素信号をメモリへ転送するタイミ
ング図を示し、図5にメモリ信号を独立に読出す時と加
算して読出す時とのタイミング図を示す。
FIG. 4 shows a timing chart for transferring the pixel signals to the memory, and FIG. 5 shows a timing chart for reading the memory signals independently and for reading them together.

【0029】図4の期間t1で第1行目の画素列の制御
信号φRES、φRVをHレベルとしてリセット用トランジ
スタMRES、MRVをオンして画素及び垂直出力線のリセ
ットを行う。
In the period t 1 of FIG. 4, the control signals φRES and φRV of the first row pixel column are set to H level to turn on the reset transistors MRES and MRV to reset the pixels and the vertical output lines.

【0030】次に、期間t2で第1行目の画素列の制御
信号φTX,φSELをHレベルとして転送用トランジスタ
MTX,MSELをオンし、さらにφT1をHレベルとしてト
ランジスタMG11,MG21,MR12,MR22,・・・をオン
して画素G11,R12,・・・,G1(n-1),R1nで光電変
換された信号電荷に対応する信号をメモリCG11〜CG
1(n-1),CR12〜CR1nに転送する。なお、不図示のリ
セットノイズ等のノイズ信号の転送は期間t1と期間t2
との間に行う。
Next, during the period t 2 , the control signals φTX and φSEL of the first row pixel column are set to H level to turn on the transfer transistors MTX and MSEL, and φT1 is set to H level to set the transistors MG11, MG21 and MR12, The signals corresponding to the signal charges photoelectrically converted by the pixels G11, R12, ..., G1 (n-1), R1n by turning on MR22 ,.
Transfer to 1 (n-1), CR12 to CR1n. Note that noise signals such as reset noise (not shown) are transferred during the periods t 1 and t 2.
And between.

【0031】次に、期間t3で第2行目の画素列の制御
信号φRES、φRVをHレベルとしてリセット用トランジ
スタMRES、MRVをオンして画素及び垂直出力線のリセ
ットを行う。
Next, during the period t 3 , the control signals φRES and φRV of the second row pixel column are set to H level to turn on the reset transistors MRES and MRV to reset the pixels and the vertical output lines.

【0032】次に期間t4で第2行目の画素列の制御信
号φTX,φSELをHレベルとして転送用トランジスタMT
X,MSELをオンし、さらにφT2をHレベルとしてトラン
ジスタMB11,MB21,MG12,MG22をオンして画素B2
1,G22,・・・,B2(n-1),G2nで光電変換された信
号電荷に対応する信号をメモリCB21〜CB2(n-1),C
G22〜CG2nに転送する。なお、不図示のリセットノイ
ズ等のノイズ信号の転送は期間t3と期間t4との間に行
う。
Next, in the period t 4 , the control signals φTX and φSEL of the second row pixel column are set to the H level and the transfer transistor MT is set.
Pixel B2 is turned on by turning on X and MSEL, turning φT2 to H level and turning on transistors MB11, MB21, MG12 and MG22.
1, G22, ..., B2 (n-1), and signals corresponding to the signal charges photoelectrically converted by G2n are stored in the memories CB21 to CB2 (n-1), C.
Transfer to G22 to CG2n. Note that transfer of a noise signal such as reset noise (not shown) is performed between the period t 3 and the period t 4 .

【0033】以上の動作で2行の画素信号のなかで斜め
方向に配列されたG画素からのG信号は上側のメモリへ
蓄積され、R,B信号は下側のメモリへ蓄積されたこと
になる。
With the above operation, among the pixel signals of the two rows, the G signals from the G pixels arranged diagonally are stored in the upper memory, and the R and B signals are stored in the lower memory. Become.

【0034】システム1は各画素信号の独立読出しなの
で、図5に示すようにφModeはHレベルとなり、水平走
査回路(H・SR)からの水平シフトパルスh11〜hn1
とh12〜hn2は同相で駆動する。従って、2×2画素単
位のR,B,G信号が同相で水平出力線へ転送され、出
力アンプでノイズが除去され、出力される。
Since the system 1 independently reads each pixel signal, .phi.Mode becomes H level as shown in FIG. 5, and the horizontal shift pulses h11 to hn1 from the horizontal scanning circuit (H.SR).
And h12 to hn2 are driven in phase. Therefore, the R, B, and G signals in units of 2 × 2 pixels are transferred to the horizontal output line in the same phase, noise is removed by the output amplifier, and the signal is output.

【0035】システム2は加算読出しなので、φModeは
Lレベル、加算パルスφAがHレベルとなる。これによ
ってGは隣接する2列の信号が加算され、RとBは1列
おいた同色信号が加算される。この結果、Gは斜め加算
され、RとBは水平方向で同色加算されたことになる。
すなわち、各々G11とG12、G13とG24、・・・、G1
(n-1)とG2nが加算され、各々B21とB23、・・・、B2
(n-3)とB2(n-1)が加算され、各々R12とR14、・・
・、R1(n-2)とR1nが加算されたことになる。水平出力
線への転送は、水平シフトパルスh11〜h(n/2)1がHレ
ベル、水平シフトパルスh12〜h(n/2)2はLレベルのま
まの状態で行われる。
Since the system 2 is addition reading, φMode is at L level and the addition pulse φA is at H level. As a result, signals of two adjacent columns are added to G, and signals of the same color in one column are added to R and B. As a result, G is added diagonally, and R and B are added in the same color in the horizontal direction.
That is, G11 and G12, G13 and G24, ..., G1 respectively
(n-1) and G2n are added, and B21 and B23, ..., B2, respectively.
(n-3) and B2 (n-1) are added to obtain R12 and R14, ...
., R1 (n-2) and R1n are added. The transfer to the horizontal output line is performed with the horizontal shift pulses h11 to h (n / 2) 1 at the H level and the horizontal shift pulses h12 to h (n / 2) 2 at the L level.

【0036】本実施例では、G信号はAチャンネルへ、
B信号はCチャンネルへ、R信号はDチャンネルへ出力
される。Bチャンネルは信号が出力されず不使用なので
電源がオフに制御される。信号加算はメモリ上で行なっ
たが、加算方法はこれに限らず、メモリ信号を水平出力
線で加算してもよい。また画素上で加算しても良い。
In this embodiment, the G signal goes to the A channel,
The B signal is output to the C channel and the R signal is output to the D channel. Since the B channel does not output a signal and is not used, the power is controlled to be off. Although the signal addition is performed on the memory, the addition method is not limited to this, and the memory signals may be added on the horizontal output line. Moreover, you may add on a pixel.

【0037】図6は共通アンプ画素の例を示す図であ
る。図6に示すように、a11,a12,a21,a22は各画
素の光電変換部となるフォトダイオード、MSFは共通ア
ンプとなる増幅用トランジスタ、MTX1〜MTX4はフォト
ダイオードに蓄積された信号電荷を共通アンプの入力部
となるフローティングディフュージョン領域(FD領
域)に転送する転送用トランジスタ、MRESはFD領域
をリセットするリセット用トランジスタ、MSELは共通
アンプ画素を選択する選択用トランジスタである。トラ
ンジスタMSF,MSELはソースフォロア回路を構成す
る。かかる共通アンプ画素は4つのフォトダイオードか
らの信号が共通アンプを介して出力され、4画素で一つ
の単位セルを構成する。1つの画素はフォトダイオー
ド、転送用トランジスタを含み、共通アンプ,リセット
用トランジスタ、選択用トランジスタからなる共通回路
の一部を含んでいる。フォトダイオードa11,a22にG
フィルター、フォトダイオードa21にBフィルター、フ
ォトダイオードa12にRフィルターを配し、転送トラン
ジスタMTX1,MTX4をオンすると、フォトダイオードa
11(G11)とフォトダイオードa22(G22)からの信号
が共通アンプのゲートで加算され、出力される信号が2
倍になりS/Nが向上する。共通アンプを8画素単位に
すると共通アンプのゲートで各色毎(R,B,G毎)に
加算ができる。
FIG. 6 is a diagram showing an example of a common amplifier pixel. As shown in FIG. 6, a11, a12, a21, and a22 are photodiodes serving as photoelectric conversion units of each pixel, MSF is an amplifying transistor serving as a common amplifier, and MTX1 to MTX4 share the signal charges accumulated in the photodiodes. A transfer transistor that transfers to a floating diffusion region (FD region) that serves as an input unit of the amplifier, MRES is a reset transistor that resets the FD region, and MSEL is a selection transistor that selects a common amplifier pixel. The transistors MSF and MSEL form a source follower circuit. In such a common amplifier pixel, signals from four photodiodes are output through the common amplifier, and the four pixels form one unit cell. One pixel includes a photodiode, a transfer transistor, and a part of a common circuit including a common amplifier, a reset transistor, and a selection transistor. G in the photodiodes a11 and a22
When a B filter is provided for the filter and the photodiode a21 and an R filter is provided for the photodiode a12, and the transfer transistors MTX1 and MTX4 are turned on, the photodiode a
The signals from 11 (G11) and the photodiode a22 (G22) are added by the gate of the common amplifier, and the output signal is 2
It doubles and S / N improves. If the common amplifier is set to a unit of 8 pixels, the gate of the common amplifier can perform addition for each color (for each R, B, G).

【0038】図3のカラー撮像装置の走査としては、ノ
ンインタレース(プログレッシブ)走査では垂直走査回
路(V・SR)により水平信号線V1とV2を一組とし
て走査し、以後水平信号線V3とV4、水平信号線V5
とV6、のように2水平信号線を組として走査する。
In the non-interlaced (progressive) scanning as the scanning of the color image pickup apparatus of FIG. 3, a pair of horizontal signal lines V1 and V2 is scanned by the vertical scanning circuit (V.SR), and then the horizontal signal line V3 is scanned. V4, horizontal signal line V5
And V6, two horizontal signal lines are scanned as a set.

【0039】インタレース走査では、第一フィールドで
は水平信号線V1とV2、水平信号線V5とV6、水平
信号線V9とV10、・・・の組で走査し、第二フィー
ルドでは水平信号線V3とV4、水平信号線V7とV
8、・・・の組で走査する。この様に走査し、画素信号
を加算読出し信号処理をすることで、垂直500本の解
像度が得られる。
In the interlaced scanning, horizontal signal lines V1 and V2, horizontal signal lines V5 and V6, horizontal signal lines V9 and V10, ... Are scanned in the first field, and horizontal signal line V3 is scanned in the second field. And V4, horizontal signal lines V7 and V
Scan with a set of 8 ... By scanning in this manner and subjecting pixel signals to additive read signal processing, a resolution of 500 vertical lines can be obtained.

【0040】本実施例では2本の画素行で加算を行なっ
たが、それ以上の画素行を加算しても良い。また同様
に、水平方向の加算を2画素で行なったがそれ以上でも
良い。すなわち、システムの要請によって任意に設定す
ることができる。
In this embodiment, the addition is performed with two pixel rows, but more pixel rows may be added. Similarly, the addition in the horizontal direction is performed with two pixels, but it may be more than that. That is, it can be arbitrarily set according to the request of the system.

【0041】図7にシステム概略図を示す。同図に示す
ように、光学系71を通って入射した画像光はCMOS
センサー72上に結像する。CMOSセンサー72上に
配置されている画素アレーによって光情報は電気信号へ
と変換される。その電気信号は信号処理回路73によっ
て予め決められた方法によって信号変換処理され、出力
される。信号処理された信号は、記録系、通信系74に
より情報記録装置により記録、あるいは情報転送され
る。記録、あるいは転送された信号は再生系77により
再生される。CMOSセンサー72、信号処理回路73
はタイミング制御回路75により制御され、光学系7
1、タイミング制御回路75、記録系・通信系74、再
生系77はシステムコントロール回路76により制御さ
れる。タイミング制御回路75により独立読出しか、加
算読出しかを選択することができる。
FIG. 7 shows a schematic diagram of the system. As shown in the figure, the image light incident through the optical system 71 is CMOS
An image is formed on the sensor 72. Optical information is converted to electrical signals by a pixel array located on the CMOS sensor 72. The electric signal is subjected to signal conversion processing by a predetermined method by the signal processing circuit 73 and output. The signal processed signal is recorded or transferred by the information recording device by the recording system and the communication system 74. The recorded or transferred signal is reproduced by the reproducing system 77. CMOS sensor 72, signal processing circuit 73
Is controlled by the timing control circuit 75, and the optical system 7
1, the timing control circuit 75, the recording / communication system 74, and the reproduction system 77 are controlled by the system control circuit 76. The timing control circuit 75 can select independent reading or addition reading.

【0042】前述した高画素読出し(全画素読出し)と
低画素読出し(加算読出し)とでは水平と垂直駆動パル
スが異なる。従って読出しモード毎にセンサーの駆動タ
イミング、信号処理回路の解像度処理、記録系の記録画
素数を変える必要がある。これらの制御はシステムコン
トロール回路76で各読出しモードに応じて行われる。
また読出しモードで、加算により感度が異なる。例えば
高画素読出しに対し加算読出しでは信号量が2倍にな
る。このままではダイナミックレンジが1/2になるた
め不図示の絞りを半絞り小さく制御することにより適正
信号を得る。この結果、低照度時は1/2の明るさまで
撮影可能となる。信号処理回路及び記録系は高精細用と
動画像用に別に設けても良い。
The above-described high pixel read (all pixel read) and low pixel read (additive read) have different horizontal and vertical drive pulses. Therefore, it is necessary to change the driving timing of the sensor, the resolution processing of the signal processing circuit, and the number of recording pixels of the recording system for each read mode. These controls are performed by the system control circuit 76 according to each read mode.
In addition, in the read mode, the sensitivity varies depending on the addition. For example, the signal amount in the addition reading is doubled as compared with the high pixel reading. Since the dynamic range is halved as it is, an appropriate signal can be obtained by controlling the aperture (not shown) to a small aperture. As a result, when the illuminance is low, it is possible to shoot up to half the brightness. The signal processing circuit and the recording system may be separately provided for high definition and moving images.

【0043】[0043]

【発明の効果】以上説明したように、本発明によれば、
画素信号の読出しを、独立読出しと加算読出しを選択す
ることにより、高精細画像と動画像(標準画像あるいは
低解像画像)とを切替えることができる。動画像では間
引き処理をしないためモアレが少なく、またS/Nが向
上し、低消費電力である。
As described above, according to the present invention,
High-definition images and moving images (standard images or low-resolution images) can be switched by selecting independent reading or addition reading from the pixel signals. Since moving images are not thinned out, moire is reduced, S / N is improved, and power consumption is low.

【0044】また本発明では2行の信号の一部を同一メ
モリへ転送できる様にしたのでメモリあるいは水平信号
線での加算ができるようになった。
Further, in the present invention, since a part of the signals of two rows can be transferred to the same memory, it is possible to perform addition in the memory or the horizontal signal line.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明のカラー撮像装置による画素信号読出し
方法を示す概略説明図である。
FIG. 1 is a schematic explanatory diagram showing a pixel signal reading method by a color imaging device of the present invention.

【図2】CMOSセンサーおよび読み出し回路を示す回
路図である。
FIG. 2 is a circuit diagram showing a CMOS sensor and a readout circuit.

【図3】本発明のカラー撮像装置の回路構成図である。FIG. 3 is a circuit configuration diagram of a color imaging device of the present invention.

【図4】画素信号をメモリへ転送するタイミングを示す
タイミングチャートである。
FIG. 4 is a timing chart showing a timing of transferring a pixel signal to a memory.

【図5】メモリ信号を独立に読出す時と加算して読出す
時のタイミングを示すタイミングチャートである。
FIG. 5 is a timing chart showing timings of reading a memory signal independently and adding and reading the memory signal.

【図6】共通アンプ画素の例を示す図である。FIG. 6 is a diagram showing an example of a common amplifier pixel.

【図7】本発明による撮像システムの概略図である。FIG. 7 is a schematic diagram of an imaging system according to the present invention.

【符号の説明】[Explanation of symbols]

11,12 読み出し回路 11,12 Readout circuit

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 マトリクス状に配列された複数の画素を
有し、第1の色フィルターを一の斜め方向に配列すると
ともに、第2の色フィルターと第3の色フィルターとを
該一の斜め方向と交差する他の斜め方向に配列した2行
2列の基本配列を、前記複数の画素に対して水平方向及
び垂直方向に配置した撮像素子と、 前記第1の色フィルターが配列された、前記一の斜め方
向に隣接した2以上の画素の信号を加算する第1の加算
手段と、 前記第2の色フィルターが配列された、水平方向の2以
上の画素の信号を加算するとともに、前記第3の色フィ
ルターが配列された、水平方向の2以上の画素の信号を
加算する第2の加算手段と、 を備えたカラー撮像装置。
1. A plurality of pixels arranged in a matrix
And having the first color filter arranged in one diagonal direction
Both the second color filter and the third color filter
Two rows arranged in the other diagonal direction intersecting the one diagonal direction
A two-column basic array is applied horizontally to the plurality of pixels.
And the image sensor arranged in the vertical direction and the first diagonal direction in which the first color filter is arranged.
First addition for adding signals of two or more adjacent pixels
Means and two or more in the horizontal direction in which the second color filters are arranged.
The signals of the upper pixels are added and the third color filter is added.
The signals of two or more pixels in the horizontal direction in which the
A color image pickup apparatus comprising: a second adding unit for adding .
【請求項2】 請求項1に記載のカラー撮像装置におい
て、前記第1の色フィルターはG(緑)色の色フィルタ
ーであり、前記第2及び第3の色フィルターはR(赤)
及びB(青)色の色フィルターであるカラー撮像装置。
2. The color image pickup device according to claim 1, wherein the first color filter is a G (green) color filter, and the second and third color filters are R (red).
And a color image pickup device having B (blue) color filters.
【請求項3】 請求項2に記載のカラー撮像装置におい
て、前記G色の色フィルターが配された2以上の画素を
含む複数の画素で単位セルを構成し、該単位セル内でG
色の色フィルターが配された画素からの信号を加算する
ことを特徴とするカラー撮像装置。
3. The color image pickup device according to claim 2, wherein a unit cell is composed of a plurality of pixels including two or more pixels in which the G color filter is arranged, and the unit cell includes G pixels.
A color image pickup device, wherein signals from pixels provided with color filters are added.
【請求項4】 請求項1〜3のいずれかの記載のカラー
撮像装置において、各画素信号を独立に読出す手段と画
素信号をそれぞれ色ごとに加算して読出す手段とを切替
える切替手段を有することを特徴とするカラー撮像装
置。
4. The color image pickup device according to claim 1, further comprising a switching unit for switching between a unit for independently reading out each pixel signal and a unit for adding and reading out pixel signals for each color. A color image pickup device having.
【請求項5】 請求項1〜4のいずれか1項に記載のカ
ラー撮像装置において、 前記撮像素子は、前記第1の色フィルターが配列された
複数の画素からの信号を順次読み出すための第1の共通
出力線と、前記複数の画素が配された領域について前記
第1の共通出力線と反対方向に設けられた、前記第2及
び第3の色フィルターが配列された複数の画素からの信
号を順次読み出すための第2の共通出力線とを有し、前
記第1の加算手段によって加算された信号は、前記第1
の共通出力線を介して出力し、前記第2の加算手段で加
算された信号は、前記第2の共通 出力線を介して出力す
ることを特徴とするカラー撮像装置。
5. The engine according to any one of claims 1 to 4.
Image pickup device, the first color filter is arranged in the image pickup device.
First common for sequentially reading signals from a plurality of pixels
Regarding the output line and the area where the plurality of pixels are arranged,
The second and second electrodes are provided in the opposite direction to the first common output line.
And signals from a plurality of pixels in which the third color filter is arranged.
A second common output line for sequentially reading the signals,
The signal added by the first adding means is the first
Output through the common output line of the
The calculated signal is output via the second common output line.
A color image pickup device comprising:
【請求項6】 請求項1〜4のいずれか1項に記載のカ
ラー撮像装置において、 前記撮像素子は、複数の画素からの信号を蓄積する複数
のメモリと、前記メモリ間を接続するトランジスタと、
前記複数のメモリからの信号を順次出力する共通出力線
とを有し、前記第1及び第2の加算手段は、前記トラン
ジスタを制御することにより、複数の画素からの信号の
加算を行うことを特徴とするカラー撮像装置。
6. A mosquito according to any one of claims 1 to 4.
Image pickup device, the image pickup device includes a plurality of image pickup devices that store signals from a plurality of pixels.
And a transistor connecting between the memories,
A common output line for sequentially outputting signals from the plurality of memories
And the first and second adding means are
By controlling the register, the signal from multiple pixels
A color imaging device characterized by performing addition.
【請求項7】 請求項1〜のいずれかの請求項に記載
のカラー撮像装置と、該カラー撮像装置へ光を結像する
光学系と、該撮像装置からの出力信号を処理する信号処
理回路とを有することを特徴とする撮像システム。
A color imaging device according to any one of claims 7. The method of claim 1 to 6, an optical system for focusing light to said color imaging apparatus, signal processing for processing an output signal from the imaging device An imaging system comprising: a circuit.
JP15161599A 1999-05-31 1999-05-31 Color imaging apparatus and imaging system using the same Expired - Lifetime JP3501682B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15161599A JP3501682B2 (en) 1999-05-31 1999-05-31 Color imaging apparatus and imaging system using the same
US09/584,198 US6992714B1 (en) 1999-05-31 2000-05-31 Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15161599A JP3501682B2 (en) 1999-05-31 1999-05-31 Color imaging apparatus and imaging system using the same

Publications (2)

Publication Number Publication Date
JP2000341699A JP2000341699A (en) 2000-12-08
JP3501682B2 true JP3501682B2 (en) 2004-03-02

Family

ID=15522421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15161599A Expired - Lifetime JP3501682B2 (en) 1999-05-31 1999-05-31 Color imaging apparatus and imaging system using the same

Country Status (1)

Country Link
JP (1) JP3501682B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8003367B2 (en) 2004-03-16 2011-08-23 Ajinomoto Co., Inc. Method for producing L-amino acids by fermentation using bacteria having enhanced expression of xylose utilization genes

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003034714A1 (en) * 2001-10-15 2005-02-10 株式会社ニコン Solid-state imaging device
JP4027113B2 (en) * 2002-02-19 2007-12-26 キヤノン株式会社 Imaging apparatus and system
CN1235172C (en) * 2002-02-20 2006-01-04 佳能株式会社 Image input device
JP4499348B2 (en) 2002-11-28 2010-07-07 ソニー株式会社 Solid-state imaging device and signal readout method thereof
US7408443B2 (en) * 2003-01-13 2008-08-05 Samsung Electronics Co., Ltd. Circuit and method for reducing fixed pattern noise
JP2004312107A (en) * 2003-04-02 2004-11-04 Olympus Corp Solid state imaging apparatus and its reading method
KR100871688B1 (en) * 2004-02-27 2008-12-08 삼성전자주식회사 Solid State Imaging Device and Driving Method Therefor
JP4584634B2 (en) * 2004-06-29 2010-11-24 オリンパス株式会社 Solid-state imaging device
JP2006295620A (en) 2005-04-12 2006-10-26 Pentax Corp Solid state image sensor
KR101204803B1 (en) 2005-12-02 2012-11-26 삼성전자주식회사 Method to efficiently process data of bayer pattern
JP2008278453A (en) * 2007-04-03 2008-11-13 Canon Inc Image sensing apparatus and image capturing system
JP5026951B2 (en) * 2007-12-26 2012-09-19 オリンパスイメージング株式会社 Imaging device driving device, imaging device driving method, imaging device, and imaging device
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
JP5038188B2 (en) 2008-02-28 2012-10-03 キヤノン株式会社 Imaging apparatus and imaging system using the same
JP5426587B2 (en) * 2011-01-31 2014-02-26 株式会社東芝 Solid-state imaging device and pixel averaging processing method thereof
KR101962261B1 (en) * 2011-07-15 2019-03-26 가부시키가이샤 한도오따이 에네루기 켄큐쇼 Semiconductor device and method for driving the same
JP5553121B2 (en) * 2013-03-18 2014-07-16 ソニー株式会社 Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8003367B2 (en) 2004-03-16 2011-08-23 Ajinomoto Co., Inc. Method for producing L-amino acids by fermentation using bacteria having enhanced expression of xylose utilization genes

Also Published As

Publication number Publication date
JP2000341699A (en) 2000-12-08

Similar Documents

Publication Publication Date Title
JP3501682B2 (en) Color imaging apparatus and imaging system using the same
US7319218B2 (en) Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
JP3548410B2 (en) Solid-state imaging device and signal reading method of solid-state imaging device
US6992714B1 (en) Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
JP3156503B2 (en) Driving method of solid-state imaging device and signal processing circuit of solid-state imaging device
JP3501694B2 (en) Imaging device and imaging system using the same
US7893979B2 (en) Solid-state imager apparatus which carries out both progressive scanning and interlace scanning in one frame by an arbitrary combination, and a camera using the solid-state imager apparatus
US8384804B2 (en) Imaging apparatus for processing noise signal and photoelectric conversion signal
JP4497872B2 (en) Imaging device
JP3492029B2 (en) Imaging device
US8754971B2 (en) Image sensing apparatus and image capturing system
JP2001292453A (en) Color image pickup device and image pickup system using it
US20100245628A1 (en) Imaging apparatus and imaging system
JPH11261901A (en) Method for driving solid-state image pickup device
JP4677228B2 (en) Imaging device
JP2002165136A (en) Imaging apparatus and imaging system
JP3501686B2 (en) Color imaging apparatus and imaging system using the same
JP3985275B2 (en) Imaging apparatus and imaging method
JP3948456B2 (en) Solid-state image sensor and control method of solid-state image sensor
JP4133455B2 (en) Television camera and pixel signal readout method
JPH05268523A (en) Video camera
JP5089674B2 (en) Imaging device
JPH053554A (en) Solid-state image pickup device
JPH03261296A (en) Solid-state image pickup device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031202

R150 Certificate of patent or registration of utility model

Ref document number: 3501682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081212

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081212

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091212

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091212

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101212

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 10

EXPY Cancellation because of completion of term