JPH0696217A - Luminance conversion circuit - Google Patents

Luminance conversion circuit

Info

Publication number
JPH0696217A
JPH0696217A JP4247432A JP24743292A JPH0696217A JP H0696217 A JPH0696217 A JP H0696217A JP 4247432 A JP4247432 A JP 4247432A JP 24743292 A JP24743292 A JP 24743292A JP H0696217 A JPH0696217 A JP H0696217A
Authority
JP
Japan
Prior art keywords
pixel data
histogram
brightness
luminance
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4247432A
Other languages
Japanese (ja)
Other versions
JP3260848B2 (en
Inventor
Mamoru Matsuda
守 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Nidec Sankyo Corp
Original Assignee
Glory Ltd
Nidec Sankyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd, Nidec Sankyo Corp filed Critical Glory Ltd
Priority to JP24743292A priority Critical patent/JP3260848B2/en
Publication of JPH0696217A publication Critical patent/JPH0696217A/en
Application granted granted Critical
Publication of JP3260848B2 publication Critical patent/JP3260848B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Television Receiver Circuits (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To process pixel data at a high speed. CONSTITUTION:This circuit is provided with an image memory 3 for storing respective pixel data, histogram preparing circuit 2 for preparing the histogram of luminance-to-frequency from the respective pixel data, histogram storage memory 4 for storing the histogram prepared by this histogram preparing circuit 2, luminance allocating circuit 5 for allocating the luminance order of the respective pixel data stored in the image memory 3 corresponding to the histogram stored in this histogram storage memory 4, and luminance conversion table 6 for converting the luminance order of respective pixel data allocated by this luminance allocating circuit 5 to the pixel data of new luminance.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は画像認識装置などに使用
される輝度変換回路に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a brightness conversion circuit used in an image recognition device or the like.

【0002】[0002]

【従来の技術】画像認識装置においては、認識しようと
する画像(対象画像)の各ドットを多値のデジタル画素
データ(輝度の画素データ)に変換し、この画素データ
を輝度変換回路により別の尺度を持った新たな輝度の画
素データに変換している。
2. Description of the Related Art In an image recognition device, each dot of an image to be recognized (target image) is converted into multivalued digital pixel data (pixel data of luminance), and this pixel data is converted into another by a luminance conversion circuit. It is converted into pixel data of a new brightness with a scale.

【0003】例えば硬貨の真偽を画像処理で判定する画
像認識装置では、硬貨の画像を読み取って一連の画素デ
ータを得、この一連の画素データを輝度変換回路により
別の尺度を持った新たな輝度の画素データ、つまり硬貨
のコントラストを示す画素データに変換した後に基準デ
ータと比較して硬貨の真偽を判定する。この場合、硬貨
の各ドットの輝度はその時の条件や硬貨の汚れ等により
変わるので、硬貨の読み取りで得た画像信号を輝度変換
回路により硬貨のコントラストを示す画素データに変換
することで、その時の条件や硬貨の汚れ等に影響されず
に硬貨の真偽を正確に行っている。
For example, in an image recognition apparatus for determining the authenticity of a coin by image processing, a series of pixel data is obtained by reading an image of a coin, and this series of pixel data is added to a new scale having a different scale by a brightness conversion circuit. The pixel data of luminance, that is, pixel data indicating the contrast of coins is converted and then compared with the reference data to determine the authenticity of coins. In this case, the brightness of each dot of the coin changes depending on the conditions at that time, dirt on the coin, etc., so by converting the image signal obtained by reading the coin into pixel data indicating the contrast of the coin by the brightness conversion circuit, Coins are accurately verified without being affected by conditions or the dirt of coins.

【0004】従来、上記輝度変換回路は、対象画像の各
画素データをフレームメモリに格納し、このフレームメ
モリの内容をマイクロコンピュータ(CPU)によりプ
ログラムに従って処理するのが一般的であった。
Conventionally, the brightness conversion circuit generally stores each pixel data of a target image in a frame memory and processes the content of the frame memory according to a program by a microcomputer (CPU).

【0005】[0005]

【発明が解決しようとする課題】上記輝度変換回路で
は、フレームメモリの内容をCPUによりプログラムに
従って処理するので、CPUのプログラムフッチのオー
バヘッド時間が大きくなって画素データの高速な変換を
行えず、短時間で多量の画素データを処理しようとする
画像認識装置には不向きであった。
In the above luminance conversion circuit, since the contents of the frame memory are processed by the CPU according to the program, the overhead time of the program footage of the CPU becomes large, and high-speed conversion of pixel data cannot be performed. It is unsuitable for an image recognition device that intends to process a large amount of pixel data in time.

【0006】本発明は、上記欠点を改善し、画素データ
の高速な処理を行うことができる輝度変換回路を提供す
ることを目的とする。
An object of the present invention is to provide a brightness conversion circuit which can improve the above-mentioned drawbacks and can perform high-speed processing of pixel data.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の発明は、各画素データを記憶する画
像メモリと、前記各画素データより輝度対度数のヒスト
グラムを作成するヒストグラム作成回路と、このヒスト
グラム作成回路で作成したヒストグラムを記憶するヒス
トグラム記憶メモリと、このヒストグラム記憶メモリに
記憶されたヒストグラムにより前記画像メモリに記憶さ
れた各画素データの輝度順位を割り付ける輝度割付け回
路と、この輝度割付け回路により割り付けられた各画素
データの輝度順位を新たな輝度の画素データに変換する
輝度変換テーブルとを備えたものである。
In order to achieve the above object, the invention according to claim 1 is an image memory for storing each pixel data, and a histogram creating circuit for creating a histogram of luminance versus frequency from each pixel data. A histogram storage memory for storing the histogram created by the histogram creation circuit; a brightness allocation circuit for assigning the brightness rank of each pixel data stored in the image memory by the histogram stored in the histogram storage memory; And a brightness conversion table for converting the brightness rank of each pixel data allocated by the allocation circuit into pixel data of a new brightness.

【0008】[0008]

【作用】各画素データが画像メモリに記憶され、ヒスト
グラム作成回路が前記各画素データより輝度対度数のヒ
ストグラムを作成してそのヒストグラムがヒストグラム
記憶メモリにより記憶される。このヒストグラム記憶メ
モリに記憶されたヒストグラムにより輝度割付け回路が
画像メモリに記憶された各画素データの輝度順位を割り
付け、この輝度順位が輝度変換テーブルにより新たな輝
度の画素データに変換される。
Each pixel data is stored in the image memory, the histogram creating circuit creates a histogram of luminance versus frequency from each pixel data, and the histogram is stored in the histogram storage memory. The brightness allocation circuit allocates the brightness rank of each pixel data stored in the image memory by the histogram stored in the histogram storage memory, and this brightness rank is converted into pixel data of new brightness by the brightness conversion table.

【0009】[0009]

【実施例】図1は本発明の一実施例を示す。この実施例
の輝度変換回路1はプログラムが介入しない個別部品か
らなるハードウェアによって構成され、画素データの高
速な処理を実現するものである。具体的には輝度変換回
路1はヒストグラム作成回路2,画像メモリ3,ワーク
メモリ4,輝度割付け回路5,輝度変換テーブル6及び
アドレス生成用カウンタ7により構成され、ヒストグラ
ム作成回路2及び輝度割付け回路5は加算器等で構成さ
れているハードウェアロジック回路である。画像メモリ
3及びワークメモリ4はRAMが用いられ、輝度変換テ
ーブル6はROM(またはRAM)により構成される。
FIG. 1 shows an embodiment of the present invention. The brightness conversion circuit 1 of this embodiment is composed of hardware composed of individual parts without intervention of a program, and realizes high-speed processing of pixel data. Specifically, the brightness conversion circuit 1 is composed of a histogram creation circuit 2, an image memory 3, a work memory 4, a brightness allocation circuit 5, a brightness conversion table 6 and an address generation counter 7, and a histogram creation circuit 2 and a brightness allocation circuit 5 Is a hardware logic circuit including an adder and the like. RAM is used for the image memory 3 and the work memory 4, and the brightness conversion table 6 is configured by ROM (or RAM).

【0010】また、フレームメモリ8は輝度変換処理を
行わせたい一連の画素データ、つまり、画像認識装置で
認識しようとする画像(対象画像)の各ドットを多値の
デジタル画素データ(輝度の画素データ)に変換したも
のが格納される。このフレームメモリ8は対象画像をC
CDからなる撮像素子で読み取って得た一連のアナログ
画素データを多値のデジタル画素データに変換するA/
D変換器を用いてもよい。コントローラ9は、輝度変換
処理を行わせたい一連の画素データをフレームメモリ8
またはA/D変換器から輝度変換回路1内のヒストグラ
ム作成回路2及び画像メモリ3に入力するための回路で
あって、フレームメモリ8が用いられた場合にはDMA
コントローラが用いられ、フレームメモリ8の代りにA
/D変換器が用いられた場合にはCPUが用いられる。
Further, the frame memory 8 stores a series of pixel data to be subjected to luminance conversion processing, that is, each dot of an image (target image) to be recognized by the image recognition device, into multivalued digital pixel data (pixels of luminance). The converted data is stored. This frame memory 8 displays the target image as C
A / A that converts a series of analog pixel data obtained by reading with an image sensor consisting of a CD into multi-valued digital pixel data
A D converter may be used. The controller 9 stores a series of pixel data to be subjected to the brightness conversion processing in the frame memory 8
Alternatively, it is a circuit for inputting from the A / D converter to the histogram creation circuit 2 and the image memory 3 in the brightness conversion circuit 1, and DMA when the frame memory 8 is used.
A controller is used and A is used instead of the frame memory 8.
A CPU is used when the / D converter is used.

【0011】また、輝度変換回路1は、フレームメモリ
8又はA/D変換器よりクロック発生器10からのシス
テムクロックに同期して多値のデジタル画素データがヒ
ストグラム作成回路2及び画像メモリ3に入力され、そ
の多値のデジタル画素データの処理をクロック発生器1
0からのシステムクロックに同期して行う。
In the brightness conversion circuit 1, multivalued digital pixel data is input to the histogram creation circuit 2 and the image memory 3 from the frame memory 8 or the A / D converter in synchronization with the system clock from the clock generator 10. The clock generator 1 processes the multi-valued digital pixel data.
It is performed in synchronization with the system clock from 0.

【0012】図2はこの輝度変換回路1の動作フローを
示す。輝度変換処理を行わせたい一連の画素データがコ
ントローラ9によりクロック発生器10からのシステム
クロックに同期して1画素分づつ順次にフレームメモリ
8またはA/D変換器から輝度変換回路1内のヒストグ
ラム作成回路2及び画像メモリ3に入力されると、その
一連の画素データは画像メモリ3に格納されると同時に
ヒストグラム作成回路2がその一連の画素データにより
ワークメモリ4中に図3に示すような輝度対度数のヒス
トグラムを作成する。
FIG. 2 shows an operation flow of the brightness conversion circuit 1. A series of pixel data to be subjected to the brightness conversion processing is sequentially synchronized with the system clock from the clock generator 10 by the controller 9 so that the pixel data is sequentially transferred from the frame memory 8 or the A / D converter to the histogram in the brightness conversion circuit 1. When input to the creating circuit 2 and the image memory 3, the series of pixel data is stored in the image memory 3, and at the same time, the histogram creating circuit 2 stores the series of pixel data in the work memory 4 as shown in FIG. Create a histogram of luminance versus frequency.

【0013】輝度割付け回路5は、一連の画素データの
入力が全て終了すると、ワークメモリ4中のヒストグラ
ムをもとに輝度に大きい方から(あるいは低い方から)
順位を付け、その輝度と順位とを図4に示すようにワー
クメモリ4のアドレスとデータとの関係になるようにワ
ークメモリ4に書き込む。例えば、輝度割付け回路5
は、100という輝度の順位が50位であるからワーク
メモリ4の100というアドレスに順位の50というデ
ータを書き込み、099という輝度の順位が53位であ
るからワークメモリ4の099というアドレスに順位の
53というデータを書き込み、098という輝度の順位
が60位であるからワークメモリ4の098というアド
レスに順位の60というデータを書き込む。
When the input of a series of pixel data is completed, the brightness allocating circuit 5 determines the brightness from the highest (or the lowest) based on the histogram in the work memory 4.
The ranking is performed, and the luminance and the ranking are written in the work memory 4 so as to have the relationship between the address and the data of the work memory 4 as shown in FIG. For example, the brightness allocation circuit 5
Since the luminance rank of 100 is the 50th, the data of the rank 50 is written to the address 100 of the work memory 4, and the luminance of 099 is the 53rd rank, so the address of 099 of the work memory 4 is ranked. Data 53 is written, and since the brightness ranking 098 is 60th, the data 60 is written to the address 098 in the work memory 4.

【0014】輝度割付け回路5が全ての輝度に順位を付
けてワークメモリ4に書き込んだ後に、カウンタ7が起
動されて画像メモリ3から一連の画素データが先頭から
順次に読み出され、この画素データをアドレスとしてワ
ークメモリ4がアクセスされて画素データに対応する輝
度順位のデータが取り出される。この輝度順位データで
輝度変換テーブル6がアクセスされてその輝度順位デー
タに対応した別の尺度を持った新たな輝度の画素データ
が輝度変換後の画素データとして出力される。
After the luminance allocating circuit 5 ranks all the luminances and writes them in the work memory 4, the counter 7 is activated to read a series of pixel data from the image memory 3 sequentially from the beginning. Is used as an address to access the work memory 4 to extract the data of the luminance rank corresponding to the pixel data. The brightness conversion table 6 is accessed by this brightness rank data, and pixel data of new brightness having another scale corresponding to the brightness rank data is output as the pixel data after the brightness conversion.

【0015】ここに、輝度変換テーブル6は図5に示す
ように輝度順位データと別の尺度を持った新たな輝度の
画素データとの関係がメモリアドレスとメモリデータと
の関係として記憶されている。新たな輝度の画素データ
は、例えば50位の輝度順位で200であり、51位の
輝度順位で202であり、52位の輝度順位で203で
あり、53位の輝度順位で210である。したがって、
元の100という輝度を持った画素データは200とい
う輝度を持った新しい画素データに変換されることにな
り、同様に元の099という輝度を持った画素データは
210という輝度を持った新しい画素データに変換され
ることになる。
Here, in the brightness conversion table 6, as shown in FIG. 5, the relationship between the brightness rank data and the pixel data of the new brightness having another scale is stored as the relationship between the memory address and the memory data. . The pixel data of the new luminance is, for example, 200 in the 50th luminance rank, 202 in the 51st luminance rank, 202 in the 52nd luminance rank, and 203 in the 53rd luminance rank. Therefore,
Original pixel data having a brightness of 100 will be converted into new pixel data having a brightness of 200, and similarly, original pixel data having a brightness of 099 is new pixel data having a brightness of 210. Will be converted to.

【0016】このようにして画像メモリ3中の全ての画
素データが新しい画素データに変換される。この実施例
では、プログラムが介入しないハードウェアによって構
成されているので、オーバヘッド時間がゼロになり、画
素データの処理を高速化することができる。なお、コン
トローラ9としてCPUを用いた場合にはCPUは輝度
変換回路1に一連の画素データを入力させるだけでよ
い。また、コントローラ9としてDMAコントローラを
用いた場合にはより高速な画素データ処理が実現可能と
なる。
In this way, all pixel data in the image memory 3 are converted into new pixel data. In this embodiment, since the hardware is configured so that the program does not intervene, the overhead time becomes zero and the pixel data processing can be speeded up. When a CPU is used as the controller 9, the CPU need only input a series of pixel data to the brightness conversion circuit 1. Further, when a DMA controller is used as the controller 9, higher speed pixel data processing can be realized.

【0017】ちなみに、上記実施例において、ヒストグ
ラム作成回路2,画像メモリ3,ワークメモリ4,輝度
割付け回路5,カウンタ7及びコントローラ9をゲート
アレイで構成して輝度変換テーブル6をEPROMと
し、フレームメモリ8を用いた場合、フレームメモリ8
から514×22ドットの画素データを切り出して輝度
変換回路1に入力すると、その画素データの輝度変換は
約3〜4msecで済み、従来のCPUを用いた輝度変
換回路に比べて100倍以上の高速化を計ることができ
た。
By the way, in the above embodiment, the histogram creating circuit 2, the image memory 3, the work memory 4, the brightness allocating circuit 5, the counter 7 and the controller 9 are constituted by a gate array, and the brightness conversion table 6 is an EPROM and the frame memory. If 8 is used, the frame memory 8
When pixel data of 514 × 22 dots is cut out and input to the brightness conversion circuit 1, the brightness conversion of the pixel data is about 3 to 4 msec, which is 100 times faster than a brightness conversion circuit using a conventional CPU. I was able to measure it.

【0018】[0018]

【発明の効果】以上のように請求項1記載の発明によれ
ば、各画素データを記憶する画像メモリと、前記各画素
データより輝度対度数のヒストグラムを作成するヒスト
グラム作成回路と、このヒストグラム作成回路で作成し
たヒストグラムを記憶するヒストグラム記憶メモリと、
このヒストグラム記憶メモリに記憶されたヒストグラム
により前記画像メモリに記憶された各画素データの輝度
順位を割り付ける輝度割付け回路と、この輝度割付け回
路により割り付けられた各画素データの輝度順位を新た
な輝度の画素データに変換する輝度変換テーブルとを備
えたので、プログラムが介入しないハードウェアによっ
て構成することができてオーバヘッド時間をゼロにする
ことが可能であり、画素データの高速な処理を行うこと
ができる。
As described above, according to the invention described in claim 1, an image memory for storing each pixel data, a histogram creating circuit for creating a histogram of luminance versus frequency from each pixel data, and this histogram creating A histogram storage memory that stores the histogram created by the circuit,
A luminance allocating circuit for allocating the luminance rank of each pixel data stored in the image memory by the histogram stored in the histogram storage memory, and a luminance rank of each pixel data allocated by the luminance allocating circuit for a pixel of a new luminance. Since the brightness conversion table for converting into data is provided, the program can be configured by hardware without intervention, the overhead time can be set to zero, and high-speed processing of pixel data can be performed.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of the present invention.

【図2】同実施例の動作フローを示すフローチャートで
ある。
FIG. 2 is a flowchart showing an operation flow of the same embodiment.

【図3】同実施例のヒストグラム例を示す図である。FIG. 3 is a diagram showing an example of a histogram of the same embodiment.

【図4】同実施例におけるワークメモリ内の輝度順位デ
ータの例を示す図である。
FIG. 4 is a diagram showing an example of luminance rank data in a work memory in the embodiment.

【図5】同実施例における輝度変換テーブル内のデータ
例を示す図である。
FIG. 5 is a diagram showing an example of data in a luminance conversion table in the same embodiment.

【符号の説明】[Explanation of symbols]

2 ヒストグラム作成回路 3 画像メモリ 4 ワークメモリ 5 輝度割付け回路 6 輝度変換テーブル 2 Histogram creation circuit 3 Image memory 4 Work memory 5 Luminance allocation circuit 6 Luminance conversion table

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】各画素データを記憶する画像メモリと、前
記各画素データより輝度対度数のヒストグラムを作成す
るヒストグラム作成回路と、このヒストグラム作成回路
で作成したヒストグラムを記憶するヒストグラム記憶メ
モリと、このヒストグラム記憶メモリに記憶されたヒス
トグラムにより前記画像メモリに記憶された各画素デー
タの輝度順位を割り付ける輝度割付け回路と、この輝度
割付け回路により割り付けられた各画素データの輝度順
位を新たな輝度の画素データに変換する輝度変換テーブ
ルとを備えたことを特徴とする輝度変換回路。
1. An image memory for storing each pixel data, a histogram creation circuit for creating a histogram of luminance vs. frequency from each pixel data, a histogram storage memory for storing the histogram created by this histogram creation circuit, A brightness allocation circuit that allocates the brightness rank of each pixel data stored in the image memory by the histogram stored in the histogram storage memory, and the brightness rank of each pixel data allocated by this brightness allocation circuit to the pixel data of the new brightness. And a brightness conversion table for converting the brightness into a brightness conversion circuit.
JP24743292A 1992-09-17 1992-09-17 Brightness conversion circuit Expired - Fee Related JP3260848B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24743292A JP3260848B2 (en) 1992-09-17 1992-09-17 Brightness conversion circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24743292A JP3260848B2 (en) 1992-09-17 1992-09-17 Brightness conversion circuit

Publications (2)

Publication Number Publication Date
JPH0696217A true JPH0696217A (en) 1994-04-08
JP3260848B2 JP3260848B2 (en) 2002-02-25

Family

ID=17163357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24743292A Expired - Fee Related JP3260848B2 (en) 1992-09-17 1992-09-17 Brightness conversion circuit

Country Status (1)

Country Link
JP (1) JP3260848B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295497A (en) * 2004-03-10 2005-10-20 Seiko Epson Corp Image quality display device, digital camera, developing apparatus, image quality display method and image quality display program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295497A (en) * 2004-03-10 2005-10-20 Seiko Epson Corp Image quality display device, digital camera, developing apparatus, image quality display method and image quality display program

Also Published As

Publication number Publication date
JP3260848B2 (en) 2002-02-25

Similar Documents

Publication Publication Date Title
CN101842809A (en) Information processing apparatus and information processing method
CN102067204A (en) Image processing device, display device, image processing method, program, and recording medium
JPS61115183A (en) Density gradation converting system in dark and light image processing
JPH0130184B2 (en)
US4949282A (en) Device for calculating the moments of image data
JPH0696217A (en) Luminance conversion circuit
KR950703188A (en) Image Processing Device and Method There for, and Game Machine Having Image Processing Part
JP2924528B2 (en) Labeling processing method and labeling processing apparatus
JP2001022881A (en) Device and method for detecting rough position of two- dimensional code
JP2840706B2 (en) Image processing method
JP2861435B2 (en) Pipeline type arithmetic unit
JPS6325784A (en) Computer graphics method and apparatus
JP2000276113A (en) Display controller and program recording medium for the controller
JP2628301B2 (en) Video processing system
JP3015227B2 (en) Image processing device
JPH0410669B2 (en)
JP2636273B2 (en) Image processing device
JPH07302187A (en) Data sorting method and sorter
CN108846872A (en) A kind of image processing method and device
JPH06103385A (en) Texture mapping processor
JPS62108381A (en) Density histogram detecting system
JPH0227487A (en) Circuit for counting/storing data number
JPS6354641A (en) Memory device for image processing
JPS62117080A (en) Picture processing device
JPH0375798A (en) Waveform display device

Legal Events

Date Code Title Description
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081214

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees