JP3651396B2 - Image processing circuit - Google Patents

Image processing circuit Download PDF

Info

Publication number
JP3651396B2
JP3651396B2 JP2001007290A JP2001007290A JP3651396B2 JP 3651396 B2 JP3651396 B2 JP 3651396B2 JP 2001007290 A JP2001007290 A JP 2001007290A JP 2001007290 A JP2001007290 A JP 2001007290A JP 3651396 B2 JP3651396 B2 JP 3651396B2
Authority
JP
Japan
Prior art keywords
pixel
resolution conversion
data
pixels
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001007290A
Other languages
Japanese (ja)
Other versions
JP2002218224A (en
Inventor
啓一 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2001007290A priority Critical patent/JP3651396B2/en
Publication of JP2002218224A publication Critical patent/JP2002218224A/en
Application granted granted Critical
Publication of JP3651396B2 publication Critical patent/JP3651396B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、スムージング処理及び解像度変換を行う画像処理回路に関する。
【0002】
【従来の技術】
一般に、画像処理の1つとして、画素をより滑らかに見せるために、スムージング処理が行われることが多い。スムージングは、解像度変換とともに行われることが多い。例えば、200dpiの解像度のものを400dpiに変換する場合には、原画素データ(200dpi)の全てについて、1つの画素が4つの画素データに置き換えられる。ところが、解像度変換が整数倍でない場合、例えば400dpiを600dpiに変換する場合、原画素データのある画素では、1つの画素データを4つの画素データに置き換えるが(主走査及び副走査方向の変換)、その次の画素では1つの画素データを1つの画素データに置き換えることになる。その場合、スムージング回路を2つの処理で共通化させるため、同じスムージングパターンを適用し、両走査方向の変換の場合には、4つの画素を出力し、変換しない場合には、前記4つの画素のうち、特定の1画素のみを出力するようにしている。
【0003】
【発明が解決しようとする課題】
上記した従来のように、整数倍でない解像度変換において、両走査方向の変換の場合には4つの画素を出力し、変換しない場合には前記4つの画素のうちの特定の1画素を出力する方法では、置き換えられる4つの画素の配列によっては、原画像データの黒画素が白画素に置換されてしまう(あるいはその逆)ということが生じる不都合があった。
【0004】
例えば、原画像が図6の(a)の場合、3×3の画素の中心の画素に着目し、この画素を4つの画素に置き換え、図6の(b)に示す画素データとなり、これを4つの画素として出力する場合には、第3番目の画素のみが黒画素として出力される。しかし、1画素として出力される場合には、第1番目の白画素が出力されるため、変換された画像は図6の(c)に示すように、中心の画素は白画素となり、原画像とは異なる黒/白反転されたものとなる。
【0005】
この発明は上記問題点に着目してなされたものであって、整数倍でない解像度変換を行う場合において、解像度変換を行わない画素について、白/黒が逆転することを防止し得る画像処理回路を提供することを目的としている。
【0006】
【課題を解決するための手段】
この発明の画像処理回路は、所定のパターンとマッチングを取ることにより、解像度変換とスムージング処理を行う回路において、解像度変換及びスムージング処理された画素データと原画素データとを選択的に出力する選択回路を設け、整数倍でない解像度変換を行う場合は、選択回路は解像度変換を行う画素については、解像度変換及びスムージング処理された画素データを選択し、解像度変換を行わない画素については、原画素データを選択するようにしている。
【0007】
この画像処理回路においては、選択回路を設け、整数倍でない解像度変換を行う場合は、選択回路は解像度変換を行う画素については解像度変換及びスムージング処理された画素データを選択し、解像度変換を行わない画素については、原画素データを出力する。解像度変換を行わない画素については、原画素データを出力するので、画素データが黒白反転することはない。
【0008】
【発明の実施の形態】
以下、実施の形態により、この発明を更に詳細に説明する。
【0009】
図1は、実施形態に係る画像処理回路を備えたコピー機能及びファクシミリ機能兼有の複合装置の概略構成を示すブロック図である。この複合装置は、CPU(制御部)1、NCU2、モデム3、スキャナ4、操作部5、ROM6、RAM7、画像メモリ(DRAM)8、CODEC9、DMAC(ダイレクト・メモリ・アクセス・コントローラ)10、マッチングパターン用RAM12を有するプリンタ画像処理回路(画像データ処理部)11、ラインメモリ(FIFO)13、DMAC14、プリンタ(画像形成部)15を備える。これらの各要素は、システムバス19やイメージバス20で接続されている。
【0010】
CPU1は、この装置を構成する各部を制御する。
【0011】
NCU2は、電話回線(図示せず)との接続を制御すると共に、相手先の電話番号(FAX番号を含む)に対応したダイヤル信号を送出する機能及び着信を検出するための機能を備えている。モデム3は、ITU(国際電気通信連合)−T勧告T.30に従ったファクシミリ伝送制御手順に基づいて、V.17、V.27ter、V.29等に従った送信データの変調及び受信データの復調を行う。
【0012】
スキャナ4は、FAX送信及びコピーをするときに原稿の画像データを読み取る。操作部5は、ファクシミリ機能やコピー機能を使用するときに、ユーザがFAX送信・受信、プリント等の指示をするためのものである。
【0013】
ROM6は、この装置を制御するためのプログラムを記憶する。RAM7は、データ等を一時的に記憶する。画像メモリ8は、受信画像データやスキャナ4で読み取った画像データを圧縮状態で一時的に記憶する。CODEC9は、読み取った画像データを送信するためにMH、MR、MMR方式等により符号化(エンコード)し、受信画像データを復号(デコード)する。DMAC10は、画像メモリ8に格納された画像データをCODEC9に転送するためのもので、CPU1により起動される。
【0014】
プリンタ画像処理回路11は、入力される画素データにスムージング処理、解像度変換を行い、プリンタ15に供給する。マッチングパターンRAM12にはスムージング及び解像度変換を行うための原画素データと比較し、マッチングを取るための複数個のパターンデータが記憶されている。
【0015】
図2は、プリンタ画像処理回路11の回路構成を示すブロック図である。プリンタ画像処理回路11は、ラインメモリ13からの原画素データと、マッチングパターンRAM12から読み出されるマッチングパターンとを順次比較するコンパレータ21と、スムージングされた画データを記憶する画データメモリ22と、画データメモリ22に記憶されているスムージング処理及び解像度変換された画素データか、ラインメモリ13に記憶されている原画素データのいずれかを選択して出力するセレクタ(選択回路)23と、ラインメモリの書き込み読み出しアドレスをカウントするアドレスカウンタ24を備えている。
【0016】
図3は、図2のコンパレータ(比較回路)21の論理回路構成を更に具体的に示した回路図である。図4に、このコンパレータ21に入力する画データを示している。図4の(a)は、3行3列の原画データを示し、中心の注目画素と、その周囲の画素A、B、……、Hを示している。図4の(b)は、3行3列のマッチングパターンであり、やはり3行3列で中心の注目画素と、その周囲の画素a、b、……、hである。このマッチングパターンは、各画素a、b、……、hの論理状態が異なる複数個がマッチングパターン用RAM12に記憶されている。
【0017】
コンパレータ21は、ここでは8個のAND回路25a、25b、……、25hと、更に1個のAND回路26とから構成されている。AND回路25aの入力には、原画データの画素Aとマッチングパターンの画素aが入力され、AND回路bの入力には、原画データの画素Bとマッチングパターンの画素bが入力され、以下、同様にAND回路25c、……、25hの入力には、それぞれ画素Cとcと、……、画素Hとhが入力されている。AND回路25a、25b、……、25hの各出力は、AND回路26の入力に加えられる。
【0018】
プリンタ画像処理回路11において、ラインメモリ13から、アドレスカウンタ24がカウントしたアドレスに基づいて、読み出された原画データと、マッチングパターンRAM12から最初に読み出されるマッチングパターンが入力されると、コンパレータ21で両データを比較し、マッチング処理を行う。図4に示す原画素A、……、Hと、マッチング用画素の両データが一致しないと、マッチングパターンRAM12に記憶されている次のマッチングパターンを読み出し、マッチングが取れると、そのマッチングパターンに対応したデータを中心画素の変換画素とし、周囲データとともに、スムージングされたデータとして画データメモリ22に記憶される。
【0019】
今、400dpiの画像を600dpiの解像度に変換して出力する場合を想定し、元の原画データが例えば図5の(a)に示すものであったとすると、上記処理により、マッチングが取れると、スムージングされた画データは図5の(b)に示すように、元の中心画素は4つの画素とされ、ここでは1個の画素(3で示す)のみが黒画素となる。セレクタ23に加えられる選択信号が画素を増やす場合の信号であれば、図5の(b)を選択し、つまり画データメモリ22に記憶された4つの画素に増やされた元の中心画素分が出力され、図5の(c)に示す画データがプリンタ15に向けて出力される。
【0020】
一方、セレクタ23に加えられた選択信号が画素を増やさない場合には、ラインメモリ13に記憶される原画データ、つまり図5の(a)の画素データが図5の(d)に示すように、そのままプリンタ15に出力される。図5の(d)に示す中心画素は黒であり、原画素の黒と同様であり、黒白の反転が生じることはない。
【0021】
なお、上記実施形態ではマッチングパターン等は3×3のマトリクスで説明したが、5×5等、他の行列数のマトリクスでも本発明を適用できる。
【0022】
【発明の効果】
この発明によれば、解像度変換及びスムージング処理された画素データと原画素データとを選択的に出力する選択回路を設け、整数倍でない解像度変換を行う場合は、選択回路は解像度変換を行う画素については、解像度変換及びスムージング処理された画素データを選択し、解像度変換を行わない画素については、原画素データを選択するようにしているので、解像度変換を行わない画素は、原画素データを出力するから、白/黒が逆転するのを防止でき、画質の低下を防止することができる。
【図面の簡単な説明】
【図1】この発明の一実施形態である複合機能付きファクシミリ装置の構成を示すブロック図である。
【図2】同実施形態複合機能付きファクシミリ装置のプリンタ画像処理回路の構成を示すブロック図である。
【図3】同プリンタ画像処理回路のコンパレータの論理回路構成を示すブロック図である。
【図4】同プリンタ画像処理回路の原画データ及びマッチングパターンを説明する図である。
【図5】同プリンタ画像処理回路において、解像度変換について、画素を増やす場合と増やさない場合の処理を説明する図である。
【図6】従来装置の解像度変換において、画素を増やさない場合の処理を説明する図である。
【符号の説明】
11 プリンタ画像処理回路
12 マッチングパターン用RAM
13 ラインメモリ
15 プリンタ
21 コンパレータ
22 スムージング画データメモリ
23 セレクタ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing circuit that performs smoothing processing and resolution conversion.
[0002]
[Prior art]
In general, as one of image processes, a smoothing process is often performed in order to make pixels appear smoother. Smoothing is often performed together with resolution conversion. For example, when converting 200 dpi resolution to 400 dpi, one pixel is replaced with four pixel data for all of the original pixel data (200 dpi). However, when the resolution conversion is not an integral multiple, for example, when converting 400 dpi to 600 dpi, one pixel data is replaced with four pixel data in a pixel with original pixel data (conversion in the main scanning and sub-scanning directions). In the next pixel, one pixel data is replaced with one pixel data. In that case, in order to make the smoothing circuit common to the two processes, the same smoothing pattern is applied, and in the case of conversion in both scanning directions, four pixels are output. Of these, only one specific pixel is output.
[0003]
[Problems to be solved by the invention]
As described above, in resolution conversion that is not an integral multiple, a method of outputting four pixels in the case of conversion in both scanning directions, and outputting a specific one of the four pixels in the case of no conversion Then, depending on the arrangement of the four pixels to be replaced, there is a disadvantage that the black pixels of the original image data are replaced with white pixels (or vice versa).
[0004]
For example, when the original image is (a) in FIG. 6, paying attention to the pixel at the center of the 3 × 3 pixels, this pixel is replaced with four pixels, and the pixel data shown in (b) in FIG. When outputting as four pixels, only the third pixel is output as a black pixel. However, since the first white pixel is output when it is output as one pixel, the converted image is a white pixel at the center pixel as shown in FIG. It is different from that of black / white.
[0005]
The present invention has been made paying attention to the above problems, and in the case of performing resolution conversion that is not an integral multiple, an image processing circuit that can prevent white / black from being reversed for pixels that are not subjected to resolution conversion. It is intended to provide.
[0006]
[Means for Solving the Problems]
The image processing circuit of the present invention is a selection circuit that selectively outputs pixel data and original pixel data that have undergone resolution conversion and smoothing in a circuit that performs resolution conversion and smoothing processing by matching with a predetermined pattern. When performing resolution conversion that is not an integral multiple, the selection circuit selects pixel data that has been subjected to resolution conversion and smoothing for pixels for which resolution conversion is to be performed, and original pixel data for pixels that are not to be subjected to resolution conversion. I am trying to select it.
[0007]
In the image processing circuit is provided with selection circuits, when converting the resolution is not an integral multiple, for pixels perform a selection circuit resolution conversion, selects the resolution conversion and smoothing processed pixel data, performing resolution conversion For pixels that do not exist, the original pixel data is output. For pixels that are not subjected to resolution conversion, the original pixel data is output, so that the pixel data is not inverted black and white.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in more detail with reference to embodiments.
[0009]
FIG. 1 is a block diagram illustrating a schematic configuration of a combined apparatus having a copy function and a facsimile function including an image processing circuit according to the embodiment. This composite device includes a CPU (control unit) 1, NCU 2, modem 3, scanner 4, operation unit 5, ROM 6, RAM 7, image memory (DRAM) 8, CODEC 9, DMAC (direct memory access controller) 10, matching A printer image processing circuit (image data processing unit) 11 having a pattern RAM 12, a line memory (FIFO) 13, a DMAC 14, and a printer (image forming unit) 15 are provided. These elements are connected by a system bus 19 and an image bus 20.
[0010]
CPU1 controls each part which comprises this apparatus.
[0011]
The NCU 2 controls a connection with a telephone line (not shown), and has a function of transmitting a dial signal corresponding to a telephone number (including a FAX number) of a destination and a function of detecting an incoming call. . The modem 3 is an ITU (International Telecommunication Union) -T recommendation T.264. 30 based on the facsimile transmission control procedure according to 17, V. 27ter, V.I. The transmission data is modulated and the received data is demodulated in accordance with 29.
[0012]
The scanner 4 reads image data of a document when performing FAX transmission and copying. The operation unit 5 is used by the user to instruct FAX transmission / reception, printing, and the like when using the facsimile function or the copy function.
[0013]
The ROM 6 stores a program for controlling this apparatus. The RAM 7 temporarily stores data and the like. The image memory 8 temporarily stores the received image data and the image data read by the scanner 4 in a compressed state. The CODEC 9 encodes (encodes) the read image data by the MH, MR, MMR method, etc., and decodes the received image data. The DMAC 10 is used to transfer image data stored in the image memory 8 to the CODEC 9 and is activated by the CPU 1.
[0014]
The printer image processing circuit 11 performs smoothing processing and resolution conversion on the input pixel data, and supplies the pixel data to the printer 15. The matching pattern RAM 12 stores a plurality of pattern data for matching with original pixel data for smoothing and resolution conversion.
[0015]
FIG. 2 is a block diagram illustrating a circuit configuration of the printer image processing circuit 11. The printer image processing circuit 11 includes a comparator 21 that sequentially compares original pixel data from the line memory 13 and a matching pattern read from the matching pattern RAM 12, an image data memory 22 that stores smoothed image data, and image data. A selector (selection circuit) 23 that selects and outputs either smoothing and resolution-converted pixel data stored in the memory 22 or original pixel data stored in the line memory 13, and writing to the line memory An address counter 24 for counting read addresses is provided.
[0016]
FIG. 3 is a circuit diagram more specifically showing the logic circuit configuration of the comparator (comparison circuit) 21 of FIG. FIG. 4 shows image data input to the comparator 21. 4A shows the original image data in 3 rows and 3 columns, and shows the center pixel of interest and surrounding pixels A, B,... FIG. 4B shows a matching pattern of 3 rows and 3 columns, which is also the pixel of interest at the center in 3 rows and 3 columns and surrounding pixels a, b,. As for this matching pattern, a plurality of pixels a, b,..., H having different logic states are stored in the matching pattern RAM 12.
[0017]
Here, the comparator 21 includes eight AND circuits 25a, 25b,..., 25h, and one AND circuit 26. The pixel A of the original image data and the pixel a of the matching pattern are input to the input of the AND circuit 25a, and the pixel B of the original image data and the pixel b of the matching pattern are input to the input of the AND circuit b. Pixels C and c,..., Pixels H and h are input to the inputs of the AND circuits 25c,. Each output of the AND circuits 25a, 25b,..., 25h is applied to an input of the AND circuit 26.
[0018]
In the printer image processing circuit 11, when the read original image data and the first matching pattern read from the matching pattern RAM 12 are input from the line memory 13 based on the address counted by the address counter 24, the comparator 21 Both data are compared and matching processing is performed. If the data of the original pixels A,..., H shown in FIG. The converted data is used as a conversion pixel of the central pixel, and is stored in the image data memory 22 as smoothed data together with the surrounding data.
[0019]
Now, assuming that a 400 dpi image is converted to a 600 dpi resolution and output, and the original original image data is, for example, as shown in FIG. As shown in FIG. 5B, the original image has four pixels as the original center pixel, and here, only one pixel (indicated by 3) is a black pixel. If the selection signal applied to the selector 23 is a signal for increasing the number of pixels, (b) in FIG. 5 is selected, that is, the original central pixel portion increased to four pixels stored in the image data memory 22 is selected. The image data shown in FIG. 5C is output to the printer 15.
[0020]
On the other hand, when the selection signal applied to the selector 23 does not increase the number of pixels, the original image data stored in the line memory 13, that is, the pixel data of FIG. 5A is as shown in FIG. The data is output to the printer 15 as it is. The central pixel shown in (d) of FIG. 5 is black, which is the same as the original pixel black, and black / white inversion does not occur.
[0021]
In the above embodiment, the matching pattern and the like have been described as a 3 × 3 matrix, but the present invention can also be applied to a matrix having other number of matrices such as 5 × 5.
[0022]
【The invention's effect】
According to the present invention, the selection circuit that selectively outputs the pixel data subjected to resolution conversion and smoothing processing and the original pixel data is provided, and when performing resolution conversion that is not an integral multiple, the selection circuit performs the pixel conversion for the resolution conversion. selects the resolution conversion and smoothing processed pixel data, the pixel is not performed resolution conversion, since so as to select the original pixel data, the pixel is not performed resolution conversion, the original pixel data Since the output is performed, it is possible to prevent the white / black from being reversed, and to prevent the image quality from being deteriorated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a facsimile machine with multiple functions according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a printer image processing circuit of the facsimile apparatus with combined functions according to the first embodiment.
FIG. 3 is a block diagram illustrating a logical circuit configuration of a comparator of the printer image processing circuit.
FIG. 4 is a diagram illustrating original image data and a matching pattern of the printer image processing circuit.
FIGS. 5A and 5B are diagrams for explaining processing in the printer image processing circuit when resolution is increased and when pixels are not increased. FIGS.
FIG. 6 is a diagram for explaining processing in a case where the number of pixels is not increased in resolution conversion of a conventional apparatus.
[Explanation of symbols]
11 Printer Image Processing Circuit 12 Matching Pattern RAM
13 Line memory 15 Printer 21 Comparator 22 Smoothing image data memory 23 Selector

Claims (1)

所定のパターンとマッチングを取ることにより、解像度変換とスムージング処理を行う画像処理回路において、
解像度変換及びスムージング処理された画素データと原画素データとを選択的に出力する選択回路を設け、整数倍でない解像度変換を行う場合は、選択回路は解像度変換を行う画素については、解像度変換及びスムージング処理された画素データを選択し、解像度変換を行わない画素については、原画素データを選択することを特徴とする画像処理回路。
In an image processing circuit that performs resolution conversion and smoothing processing by matching with a predetermined pattern,
A selection circuit that selectively outputs pixel data and original pixel data that have undergone resolution conversion and smoothing processing is provided, and when performing resolution conversion that is not an integral multiple, the selection circuit performs resolution conversion and smoothing for pixels that are subjected to resolution conversion. An image processing circuit that selects processed pixel data and selects original pixel data for a pixel that is not subjected to resolution conversion.
JP2001007290A 2001-01-16 2001-01-16 Image processing circuit Expired - Lifetime JP3651396B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001007290A JP3651396B2 (en) 2001-01-16 2001-01-16 Image processing circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001007290A JP3651396B2 (en) 2001-01-16 2001-01-16 Image processing circuit

Publications (2)

Publication Number Publication Date
JP2002218224A JP2002218224A (en) 2002-08-02
JP3651396B2 true JP3651396B2 (en) 2005-05-25

Family

ID=18875064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001007290A Expired - Lifetime JP3651396B2 (en) 2001-01-16 2001-01-16 Image processing circuit

Country Status (1)

Country Link
JP (1) JP3651396B2 (en)

Also Published As

Publication number Publication date
JP2002218224A (en) 2002-08-02

Similar Documents

Publication Publication Date Title
KR19980019708A (en) Image magnification random change device and method
US7933049B2 (en) Multifunction printer and image processing method
US20060098227A1 (en) Image-processing apparatus, image-processing method and recording medium
JP2007088783A (en) Image processing device, program and image processing method
EP0541361B1 (en) Image processing apparatus and image processing method
JP3651396B2 (en) Image processing circuit
US6061151A (en) Image processing method and apparatus
JP3265100B2 (en) Facsimile machine
JPH0197065A (en) Facsimile equipment
JP3809767B2 (en) Image processing circuit
JP2003333267A (en) Communication terminal device and server device
JP2003179719A (en) Data communication apparatus
JP2002118756A (en) Data transfer method and data transfer device, and image processing unit and image forming device
JP4514180B2 (en) Image communication apparatus and image communication method
JPH08256259A (en) Image processor and its method
JP4437621B2 (en) Region detection apparatus and method
KR100214331B1 (en) Image decimation method
JP2005348046A (en) Image processing apparatus
JPH04132462A (en) Facsimile equipment
JPH09275488A (en) Image reader
KR19980016783A (en) Video arbitrary magnification conversion method
JPH04307867A (en) Picture processor and method therefor
JPH04310069A (en) Facsimile equipment
JP2004040609A (en) Data communication apparatus
JP2000358164A (en) Picture processor

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080304

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090304

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090304

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130304

Year of fee payment: 8