JPH06292021A - Picture compression device - Google Patents

Picture compression device

Info

Publication number
JPH06292021A
JPH06292021A JP5075962A JP7596293A JPH06292021A JP H06292021 A JPH06292021 A JP H06292021A JP 5075962 A JP5075962 A JP 5075962A JP 7596293 A JP7596293 A JP 7596293A JP H06292021 A JPH06292021 A JP H06292021A
Authority
JP
Japan
Prior art keywords
symbol
image
color
coded
symbols
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5075962A
Other languages
Japanese (ja)
Other versions
JP3481644B2 (en
Inventor
Haruhisa Kurane
治久 倉根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP07596293A priority Critical patent/JP3481644B2/en
Publication of JPH06292021A publication Critical patent/JPH06292021A/en
Application granted granted Critical
Publication of JP3481644B2 publication Critical patent/JP3481644B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

PURPOSE:To obtain a picture compression device suitable for compressing a multi-color picture or the like by converting a display symbol for multi-value indication into a coded symbol so as to code the symbol for each bit plane. CONSTITUTION:Color symbols R, G, B of a picture information source 2 are inputted to a symbol conversion means 1, in which they are converted into symbols D0-D2 for coding. A coded symbol is inputted to a coding means 3, in which the symbol is coded for each bit plane comprising the bits D0-D2 and the compressed data 7 are generated and recorded in a recorder 4. Through the constitution above, the information quantity of the color expansion picture after compression is made close to the information quantity after compression of a binary picture and then the picture compressor suitable for a multi-value picture such as multi-color produced by the device of personal computer and a personal portable device and a computer is obtained.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、2階層以上のビットプ
レーンをもつ画像、例えばマルチカラー画像等を高能率
に符号化する画像圧縮装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image compression apparatus for highly efficiently encoding an image having bit planes of two or more layers, such as a multicolor image.

【0002】[0002]

【従来の技術】現在、コンピューターにより作成した文
書、図、表等からなる画像(本文では単に文書画像とい
う)やコンピューターグラフィック(本文ではCGとい
う)を、電子的に記録・保存・データベース化し、任意
の時間に任意の画像を検索するシステムが登場してい
る。画像の保存形態としては、ビットマップ形態や、文
字コード、ベクトルデータ、フォント、制御データ等で
保存する形態が考えられる。前者は、描画のための計算
がなくなることから高速描画ができ、またデータの共有
化も可能である、等の利点がある。ビットマップで画像
を保存する場合、より多くの画像をより少ないメモリー
に保存する圧縮技術が必須であり、実用化のためには、
安価な装置で、かつ検索・再生に要す時間が短いことが
必要である。
2. Description of the Related Art At present, an image (a document image is simply referred to in the text) composed of a document, a figure, a table and the like created by a computer and a computer graphic (CG is referred to in the text) are electronically recorded, stored and made into a database, and are arbitrarily selected. A system for searching arbitrary images at the time has appeared. The image can be stored in a bitmap format, a format in which character codes, vector data, fonts, control data, or the like is stored. The former is advantageous in that high-speed drawing is possible because data for drawing is eliminated and data can be shared. When saving images as bitmaps, compression technology that saves more images in less memory is essential, and for practical use,
It is necessary that the device be inexpensive and that the time required for search / playback be short.

【0003】白黒表示の2値画像から多値画像、例えば
8色のマルチカラー画像に拡張する場合、1画素を3ビ
ットに拡張する必要がある。例えばR、G、Bに1ビッ
トづつ割り当てる。このマルチカラー画像の符号化方式
としては既存の符号化技術を、R、G、B各プレーンに
施す方法が提案されている。8色にカラー拡張した画像
を圧縮する場合、プレーン毎に符号化を行うため、画素
数が2値画像に比して3倍になる。よって、マルチカラ
ー画像の圧縮後の情報量は、2値のときよりも格段に増
大する。
When a binary image displayed in black and white is expanded to a multivalued image, for example, a multicolor image of 8 colors, it is necessary to expand one pixel to 3 bits. For example, one bit is assigned to R, G, and B. As an encoding method for this multi-color image, a method of applying an existing encoding technique to each of the R, G, and B planes has been proposed. When compressing an image that has been color-enhanced to 8 colors, since the encoding is performed for each plane, the number of pixels is three times that of a binary image. Therefore, the amount of information after the compression of the multi-color image is remarkably increased as compared with the binary information.

【0004】画像電子学会誌第21巻第3号の「バブル
ジェット記録とCOSMIC符号化を用いたディジタル
網対応カラーファクシミリ」においては、図8のごとく
プレーン毎に符号化する方式を提案している。図8の符
号化手段3はマルコフモデルを用いた画素予測手段11
と動的算術符号化手段12を組み合わせている。この方
式の重要な概念であるマルコフモデルの説明のために、
図9を用いる。図9では、ある一つのビットプレーン、
例えばRプレーンのみに着目する。同図において、符号
化すべき画素をxとし、その周辺の画素a、b、c、
d、e、fを参照画素と呼ぶ。この参照画素にて構成さ
れる部分(10)をマルコフモデルのモデルテンプレー
トという。図に示す順序9で画素xを符号化したとき、
各々の参照画素は既に符号化済みであり、よって参照が
可能である。この6個の参照画素の値で決まる状態を本
文ではマルコフ状態(64状態)という。
[0004] In the "Electronic Society of Image Electronics, Vol. 21, No. 3," Color Facsimile for Digital Network Using Bubble Jet Recording and COSMIC Coding ", a method of coding for each plane as shown in FIG. 8 is proposed. . The encoding means 3 in FIG. 8 is a pixel prediction means 11 using a Markov model.
And the dynamic arithmetic coding means 12 are combined. To explain the Markov model, which is an important concept of this method,
FIG. 9 is used. In FIG. 9, one bit plane,
For example, focus only on the R plane. In the figure, the pixel to be encoded is x, and the pixels a, b, c around it,
d, e, and f are called reference pixels. The part (10) formed by the reference pixels is called a Markov model template. When the pixel x is encoded in the order 9 shown in the figure,
Each reference pixel has already been coded and can therefore be referenced. The state determined by the values of the six reference pixels is called Markov state (64 states) in the text.

【0005】マルコフモデルを用いる方式は、符号化画
素xと参照画素の相関性を利用する。画素予測手段11
は、マルコフ状態から符号化画素xを予測する。例えば
参照画素が全て0の状態では符号化画素もまた0である
確率が高い。このように予測が可能である。マルコフ状
態から符号化画素の値を予測し、予測値と符号化画素の
値が一致した場合、本文ではその画素を優勢画素と呼
び、予測と違っていたら劣性画素と呼ぶ。ある1枚の画
像において、符号化画素が劣性である確率(=1−優勢
確率)はマルコフ状態によって違うが、その値は小さ
い。このように符号化手段3は、符号化画素と相関の強
い参照画素の状態(マルコフ状態)から符号化画素を予
測し、それが劣性か優勢か判断する。この判断と、マル
コフ状態によって決まる劣性の発生確率を用いて、算術
符号化を行う。図8では動的算術符号化手段12にて符
号化を行う。動的算術符号化はこの劣性の発生確率が、
過去の劣性の発生頻度に応じて動的に変化する。
The method using the Markov model utilizes the correlation between the coded pixel x and the reference pixel. Pixel prediction means 11
Predicts a coded pixel x from the Markov state. For example, when the reference pixels are all 0, the coded pixels are also likely to be 0. In this way, prediction is possible. When the value of a coded pixel is predicted from the Markov state and the predicted value and the value of the coded pixel match, that pixel is called a dominant pixel in the text, and if it is different from the prediction, it is called a recessive pixel. In one image, the probability that a coded pixel is inferior (= 1-dominant probability) differs depending on the Markov state, but the value is small. In this way, the coding means 3 predicts a coded pixel from the state (Markov state) of the reference pixel having a strong correlation with the coded pixel, and determines whether it is recessive or dominant. Arithmetic encoding is performed using this judgment and the probability of recessiveness determined by the Markov state. In FIG. 8, the dynamic arithmetic coding means 12 performs coding. In dynamic arithmetic coding, the probability of occurrence of this recessiveness is
It changes dynamically according to the frequency of past recessiveness.

【0006】算術符号、及び本方式のより詳しい内容は
例えば安田浩氏編著「マルチメディア符号化の国際標
準」(丸善)の2値符号化の章に記述されている。
The details of the arithmetic code and this method are described in the chapter of binary coding of "International Standard of Multimedia Coding" (Maruzen) edited by Hiroshi Yasuda.

【0007】前述のマルコフモデルと動的算術符号化を
組み合わせた方式では、プレーン間の色相関を利用し、
さらに符号化効率の向上をはかっている。すなわち、参
照画素としてプレーン内の画素(12画素)のみでな
く、他のプレーンの符号化済みの画素も参照する。
[0007] In the method combining the above-mentioned Markov model and dynamic arithmetic coding, color correlation between planes is used,
Furthermore, the coding efficiency is improved. That is, not only the pixels in the plane (12 pixels) but also the coded pixels of other planes are referred to as reference pixels.

【0008】[0008]

【発明が解決しようとする課題】従来技術のマルチカラ
ー画像の符号化方式は、その対象とする装置、画像は、 ・カラー複写機、カラーファクシミリ等の高価格、高品
質な装置向けである。
The prior art multi-color image encoding system is applicable to high-priced, high-quality devices such as color copying machines and color facsimiles.

【0009】・その出力手段は紙である。The output means is paper.

【0010】・符号化対象画像は、既に印刷済みの画
像、または写真である。
The image to be encoded is an already printed image or photograph.

【0011】これに対し本発明で対象とする画像、装置
は ・対象画像はコンピューター等で作ったマルチカラー等
の多値画像である。
On the other hand, the target image and apparatus of the present invention are as follows: The target image is a multi-valued image such as multi-color created by a computer or the like.

【0012】・圧縮画像は記録装置に蓄積し、ディスプ
レー等に出力する。
The compressed image is stored in a recording device and output to a display or the like.

【0013】・対象装置は、パソコン、個人向け携帯機
器である。
The target device is a personal computer or a personal portable device.

【0014】以上の点から、従来技術の符号化方式は本
発明の目的とする対象装置、画像に対して最適化されて
いない。また、参照画素が多いこと、プレーンによりマ
ルコフモデルのモデルテンプレートが異なること等から
ハードウェアが大型化する。本発明は、前記対象画像、
装置に適した画像符号化方式により高い圧縮率が得られ
る画像圧縮装置を提供し、またそれは簡単な構成で安価
に実現でき、さらに再生時間が短い画像圧縮装置である
ことを目的とする。
From the above point of view, the conventional encoding system is not optimized for the target device and the image which are the objects of the present invention. In addition, since the number of reference pixels is large and the model template of the Markov model differs depending on the plane, the size of the hardware increases. The present invention provides the target image,
(EN) Provided is an image compression device which can obtain a high compression rate by an image encoding method suitable for the device, and an object thereof is to be an image compression device which has a simple configuration and can be realized at low cost and has a short reproduction time.

【0015】[0015]

【課題を解決するための手段】前記課題の解決および目
的達成のために本発明は、多値表示のための表示シンボ
ルを符号化のための符号化シンボルに変換するシンボル
変換手段と、符号化シンボルをビットプレーン毎に符号
化する圧縮手段を備えたことを特徴とする。
In order to solve the above problems and achieve the object, the present invention provides a symbol conversion means for converting display symbols for multi-value display into coded symbols for coding, and coding. It is characterized in that a compression means for encoding the symbol for each bit plane is provided.

【0016】本発明の請求項2によれば、請求項1のご
とく構成され、nビットの表示シンボルをnビットの符
号化シンボルへ変換するシンボル変換手段を備えた画像
圧縮装置において、表示シンボルのみで形成した画像
の、その画像の統計的性質と前記圧縮手段の符号化方式
により決まるエントロピーを、表示シンボル全てに対し
て計算し、背景を示す表示シンボルはnビット全て0の
符号化シンボルに変換し、背景を除いた表示シンボル
は、エントロピーの大きい順に順位をつけ、上位n個の
表示シンボルは、各々別のビットのみ1で他のビットが
0の符号化シンボルに変換し、最もエントロピーの小さ
い表示シンボルはnビット全て1の符号化シンボルに変
換するシンボル変換手段を備えたことを特徴とする。
According to a second aspect of the present invention, in the image compressing apparatus configured as in the first aspect and provided with symbol converting means for converting an n-bit display symbol into an n-bit coded symbol, only the display symbol is displayed. The entropy determined by the statistical properties of the image and the encoding method of the compression means of the image formed in (3) is calculated for all the display symbols, and the display symbol indicating the background is converted into encoded symbols of all n bits 0. However, the display symbols excluding the background are ranked in descending order of entropy, and the upper n display symbols are converted into coded symbols in which only another bit is 1 and other bits are 0, and the entropy is the smallest. The display symbol is characterized by including symbol conversion means for converting an n-bit coded symbol into all 1's.

【0017】本発明の請求項3によれば、請求項1のご
とく構成され、nビットの表示シンボルをnビットの符
号化シンボルへ変換するシンボル変換手段を備えた画像
圧縮装置において、圧縮対象画像において表示シンボル
の発生頻度を求め、背景を示す表示シンボルはnビット
全て0の符号化シンボルに変換し、背景を除いた表示シ
ンボルは、発生頻度の大きい順に順位をつけ、上位n個
の表示シンボルは、各々別のビットのみ1で他のビット
が0の符号化シンボルに変換し、最も発生頻度の少ない
表示シンボルはnビット全て1の符号化シンボルに変換
するシンボル変換手段を備えたことを特徴とする。
According to a third aspect of the present invention, an image compression apparatus configured as in the first aspect and including a symbol converting means for converting an n-bit display symbol into an n-bit coded symbol, an image to be compressed Occurrence frequency of the display symbol is calculated, the display symbol indicating the background is converted into a coded symbol in which all n bits are 0, and the display symbols excluding the background are ranked in descending order of occurrence frequency, and the top n display symbols are displayed. Is provided with a symbol converting means for converting into a coded symbol in which only another bit is 1 and the other bits are 0, and the display symbol having the least frequency of occurrence is converted into a coded symbol in which all n bits are 1. And

【0018】[0018]

【実施例】(実施例1)本発明の実施例の一つを、地図
画像(CG)を例にあげて説明する。通常ビットマップ
化した地図は、例えば一般道路、有料道路、河、地名、
緑地、マーク等により色が決められ、その色に対してシ
ンボルが決められている。
EXAMPLES Example 1 One example of the present invention will be described by taking a map image (CG) as an example. Bitmaps that are usually bitmapped include general roads, toll roads, rivers, place names,
A color is determined by a green space, a mark, etc., and a symbol is determined for that color.

【0019】本文では、あるシンボル(色)の画像とし
ての情報量の大きさを、そのシンボルのみで作った画像
の情報量と定義する。そうして作った画像は、シンボル
によってその画像の統計的性質が全く違うことから、シ
ンボルの画像情報量も大きく異なる。例えば、一般道路
の画像としての情報量は非常に大きく、緑地、マーク等
の情報量は極めて小さい。また、異なる2つのシンボル
を合成した画像の情報量は、各々のシンボルの画像の情
報量を合成したもの(和)に近い値をとる。例えば道路
と、マークを合成した画像の情報量はそれぞれの情報量
の和に近い。本発明ではこの2点に着眼し、カラーシン
ボル(後述)を、最も高い圧縮効率が得られる符号化シ
ンボル(後述)に変換する。さらに本発明ではそのシン
ボル変換手段の構成方法を提供する。
In the text, the size of the amount of information as an image of a certain symbol (color) is defined as the amount of information of an image made of only that symbol. In the image thus created, the statistical information of the image is completely different depending on the symbol, and thus the image information amount of the symbol is also greatly different. For example, the amount of information as an image of a general road is very large, and the amount of information on green areas, marks, etc. is extremely small. Further, the information amount of the image in which two different symbols are combined takes a value close to the sum (sum) of the information amounts in the images of the respective symbols. For example, the information amount of the image in which the road and the mark are combined is close to the sum of the respective information amounts. In the present invention, focusing on these two points, color symbols (described later) are converted into coded symbols (described later) that achieve the highest compression efficiency. Furthermore, the present invention provides a method of configuring the symbol converting means.

【0020】本発明の実施例の一つを図1を用いて具体
的に説明する。画像情報源2は3ビットにカラー拡張し
た地図画像である。これは例えば図5に示すR、G、B
の3プレーンのごとく表現でき、図1のR、G、Bに対
応する。本文ではこの(R、G、B)をカラーシンボル
とする。カラーシンボルは本発明の主要要素であるシン
ボル変換手段1に入力され、図5のごとく符号化のため
のシンボル(D0、D1、D2)に変換される。本文で
はこれを符号化シンボルとする。このシンボル変換手段
の構成法については後述するが、これにより圧縮率が大
幅に向上する。符号化シンボルは、符号化手段3に入力
される。この符号化手段3は、符号化シンボルの各々の
ビットD0、D1、D2で構成されるビットプレーン
(図5)毎に符号化し、圧縮データ7を生成する。符号
化の点順序は例えば図6(a)、(b)、(c)に示す
ように、どのような順序でもよい。ここで(1)、
(2)、(3)...は符号化の順序を示す。符号化方
式はMH、MR、MMR、算術符号等いかなるものでも
よい。また各々のプレーンの符号化方式、またはパラメ
ーター等が異なってもよい。本実施例では、従来技術の
マルコフモデルと算術符号化を組み合わせた符号化方式
を用いるが、シンボル変換手段を用いたことで圧縮率が
大幅に向上する。また参照画素数を減らしても(プレー
ン間の色相関をとらなくても)圧縮率が高いので、装置
の小型化が可能である。圧縮データ7は記録装置4に記
録される。4は通信装置でもよい。
One embodiment of the present invention will be specifically described with reference to FIG. The image information source 2 is a map image whose color is expanded to 3 bits. This is, for example, R, G, B shown in FIG.
3 planes, and corresponds to R, G, and B in FIG. In the text, these (R, G, B) are color symbols. The color symbols are input to the symbol converting means 1 which is a main element of the present invention, and converted into symbols (D0, D1, D2) for encoding as shown in FIG. In the text, this is the coded symbol. Although the method of constructing the symbol converting means will be described later, the compression ratio is greatly improved. The encoded symbol is input to the encoding means 3. The encoding means 3 encodes each bit plane (FIG. 5) formed of each bit D0, D1, and D2 of the encoded symbol to generate compressed data 7. The order of encoding points may be any order as shown in FIGS. 6A, 6B, and 6C. Where (1),
(2), (3). . . Indicates the encoding order. Any encoding method such as MH, MR, MMR, arithmetic code, etc. may be used. In addition, the encoding method of each plane or the parameters may be different. In the present embodiment, a coding method combining the conventional Markov model and arithmetic coding is used, but the compression ratio is greatly improved by using the symbol conversion means. Further, even if the number of reference pixels is reduced (even if the color correlation between planes is not taken), the compression rate is high, so that the device can be downsized. The compressed data 7 is recorded in the recording device 4. 4 may be a communication device.

【0021】つぎにシンボル変換手段の構成法について
説明する。構成法とはカラーシンボルに対して符号化シ
ンボルを割り当てることである。これを行う前段階とし
て、一つのカラーシンボルのみで形成した画像の情報量
を、全てのカラーシンボル(本実施例では8個)に対し
て求める。カラーシンボルの画像情報量は、まず符号化
方式を想定し、それに基づいて画像の統計的な偏りを示
す量、ここではエントロピーを求め、これを情報量とす
る。エントロピーの計算法については実施例1の最後に
記述する。
Next, a method of configuring the symbol converting means will be described. The construction method is to assign coded symbols to color symbols. As a pre-step of performing this, the information amount of the image formed by only one color symbol is obtained for all color symbols (eight in this embodiment). The image information amount of the color symbol is assumed to be an encoding system first, and based on this, an amount indicating a statistical bias of the image, here, entropy is obtained, and this is used as the information amount. The method of calculating entropy will be described at the end of Example 1.

【0022】この前段階終了後、以下の手順に従ってシ
ンボル割当を行う。
After the completion of this previous step, symbol allocation is performed according to the following procedure.

【0023】手順1: 各々のシンボルを、エントロピ
ーの高い順に順位をつける。
Step 1: Rank each symbol in descending order of entropy.

【0024】本実施例では8個のカラーシンボルに順位
をつける。
In this embodiment, eight color symbols are ranked.

【0025】手順2: 通常最もエントロピーが高いバ
ックグランド(背景)に000を割り当てる。
Procedure 2: Normally, 000 is assigned to the background having the highest entropy.

【0026】手順3: バックグランドを除き、エント
ロピーの高い上位3つのシンボルに001、010、1
00を割り当てる。順序は本実施例では規定しない。
Procedure 3: Except for the background, 001, 010, 1 are assigned to the top three symbols with high entropy.
Assign 00. The order is not specified in this embodiment.

【0027】手順4: 割当が未決定のシンボルで、エ
ントロピーの高い上位3つのシンボルに011、10
1、110を割当てる。順序は本実施例では規定しな
い。
Step 4: 011 and 10 are assigned to the upper 3 symbols with high entropy, which are unassigned symbols.
Allocate 1, 110. The order is not specified in this embodiment.

【0028】手順5: エントロピーが最も低いシンボ
ルに111を割り当てる。
Step 5: Assign 111 to the symbol with the lowest entropy.

【0029】上記手順において1と0を全て反転しても
よい。
In the above procedure, all 1's and 0's may be inverted.

【0030】本発明で提案するシンボル変換手段の構成
法は、エントロピーの大きいカラーシンボルは、符号化
シンボルの各々のビットプレーンに独立に割り当て、小
さいカラーシンボルは、プレーンにまたがってシンボル
を割り当てる。このシンボル変換は、複数(ここでは8
個)のカラーシンボルの合成画像の情報量は大きなエン
トロピーのカラーシンボルで決まること、また、カラー
シンボルの画像情報量がシンボルによって大きく異なる
ことを利用している。カラー拡張画像の元画像の情報量
は2値画像に比し3倍になるが、本発明のシンボル変換
を用いた圧縮装置によれば、圧縮後の情報量は符号化手
段が同じ場合、2値画像の圧縮後の情報量に近づく。
In the method of constructing the symbol conversion means proposed in the present invention, color symbols having a large entropy are independently assigned to each bit plane of the coded symbols, and small color symbols are assigned across the planes. This symbol conversion is multiple (8 here).
The information amount of the composite image of the individual color symbols is determined by the color symbol with large entropy, and the fact that the image information amount of the color symbol greatly differs depending on the symbol is used. The information amount of the original image of the color expanded image is three times as large as that of the binary image, but according to the compression device using the symbol conversion of the present invention, the information amount after compression is 2 when the encoding means is the same. It approaches the amount of information after compression of the value image.

【0031】本発明の圧縮装置での符号化に要す時間
は、(R、G、B)のカラーシンボルを符号化するのに
要す時間に比べると、プレーン数が同じ、すなわち符号
化画素数が同じことから、同じ時間となる。また、シン
ボル変換に要す時間は、ハードウェアロジックで実現す
れば無視でき、また実施例2で記述するテーブルを用い
たルックアップテーブル形式にしても十分に小さい。
The time required for encoding by the compression device of the present invention has the same number of planes, that is, the number of encoded pixels, as compared with the time required for encoding (R, G, B) color symbols. Since the numbers are the same, it will be the same time. Further, the time required for symbol conversion can be neglected if it is realized by hardware logic, and even if it is a lookup table format using the table described in the second embodiment, it is sufficiently small.

【0032】本発明の圧縮装置の大きさは、R、G、B
のカラーシンボルの圧縮装置に比べると、シンボル変換
手段が追加するだけであり、前記の実現方法によればそ
の大きさは小さい。
The size of the compression device of the present invention is R, G, B.
Compared with the color symbol compression device of No. 1, only the symbol conversion unit is added, and the size thereof is small according to the above-mentioned implementation method.

【0033】ここではマルコフモデルを利用した場合の
エントロピーの計算法を説明する。説明のために図9を
用いる。本文では参照画素の値により決まるマルコフ状
態mを式1で定量化する。
Here, a method of calculating entropy when the Markov model is used will be described. FIG. 9 is used for explanation. In the text, the Markov state m determined by the value of the reference pixel is quantified by the equation 1.

【0034】 m = a・32 + b・16 + c・8 + d・4 + e・2 + f −−(式1) ここでa、b、c、d、e、fは図9にて対応する画素
の値(1/0)を示す。圧縮対象画像(本実施例では地
図)において、ある符号化画素xを注目した場合を考え
る。この符号化画素によって決まる参照画素値から式1
によりマルコフ状態mを計算し、同時に符号化画素xの
値(0/1)をみる。これを例えば符号化順序9に従っ
て全画素において行い、64個全てのマルコフ状態に対
しての0の発生頻度a0[m]、1の発生頻度a1
[m]を求める。また64個のマルコフ状態の発生頻度
b[m]を求める。これにより、あるマルコフ状態mに
おける1の発生確率Pa[1/m]、0の発生確率Pa
[0/m]を式2、3により計算する。また、そのマル
コフ状態の発生確率Pb[m]を式4により計算する。
M = a · 32 + b · 16 + c · 8 + d · 4 + e · 2 + f- (Equation 1) where a, b, c, d, e and f are shown in FIG. The value (1/0) of the corresponding pixel is shown. Consider a case where a certain coded pixel x is focused on in the image to be compressed (map in this embodiment). From the reference pixel value determined by this encoded pixel, Equation 1
The Markov state m is calculated by and the value (0/1) of the coded pixel x is observed at the same time. This is performed for all pixels according to the encoding order 9, for example, and the occurrence frequency a0 [m] of 0 and the occurrence frequency a1 of 1 for all 64 Markov states.
Find [m]. Further, the occurrence frequency b [m] of 64 Markov states is obtained. As a result, in a certain Markov state m, the occurrence probability Pa of 1 [1 / m] and the occurrence probability Pa of 0 are given.
[0 / m] is calculated by Equations 2 and 3. Further, the probability of occurrence Pb [m] of the Markov state is calculated by Equation 4.

【0035】 Pa[0/m] = a0[m]/(a1[m]+a0[m]) −(式2) Pa[1/m] = a1[m]/(a1[m]+a0[m]) −(式3) Pb[m] = b[m]/ T −(式4) ここでTは全画素数である。Pa [0 / m] = a0 [m] / (a1 [m] + a0 [m])-(Equation 2) Pa [1 / m] = a1 [m] / (a1 [m] + a0 [m])-(Formula 3) Pb [m] = b [m] / T- (Formula 4) Here, T is the total number of pixels.

【0036】これらの発生確率から式5に従ってエント
ロピーH[m]を計算する。
The entropy H [m] is calculated from these occurrence probabilities according to the equation (5).

【0037】 ここでlogの底は2とする。エントロピーの計算方法
は例えば岩波書店刊「情報と符号の理論」に記載されて
いる。
[0037] Here, the base of log is 2. The method of calculating entropy is described in, for example, "Theory of Information and Code" published by Iwanami Shoten.

【0038】(実施例2)本実施例ではコンピューター
で作成する文書画像を例えば3ビットにカラー拡張し、
圧縮する装置を提供する。カラー拡張により3倍になる
元画像の情報量も、本発明の圧縮装置によれば、2値画
像表現化した画像の圧縮後の情報量に近づけることでき
る。
(Embodiment 2) In this embodiment, a document image created by a computer is color-expanded to, for example, 3 bits,
A compression device is provided. According to the compression apparatus of the present invention, the information amount of the original image which is tripled by the color expansion can be made close to the information amount after compression of the image expressed as the binary image.

【0039】本実施例を、図2により具体的に説明す
る。通常マルチカラーの文書画像では、各色(シンボ
ル)に、文字、線画、罫線、べた塗り等を割り当てる。
シンボル(色)の画像としての情報量は、その画像の統
計的性質が異なることから、シンボルによって大きく異
なる。例えば、文字は情報量は大きく、線画、べた塗り
は小さい。これを利用し、シンボル割当を実施例1で示
した手順に従って決めることができる。
This embodiment will be described in detail with reference to FIG. Normally, in a multi-color document image, characters, line drawings, ruled lines, solid paint, etc. are assigned to each color (symbol).
The amount of information of a symbol (color) as an image differs greatly depending on the symbol because the statistical properties of the image differ. For example, a character has a large amount of information, and a line drawing and a solid color are small. Utilizing this, the symbol allocation can be determined according to the procedure shown in the first embodiment.

【0040】本実施例においては、色と符号化シンボル
の関係が固定であるとは限らないので、符号化処理の前
に、シンボル変換手段1のカラーシンボルと符号化シン
ボルの対応関係(本文ではこれをシンボル変換テーブル
という)を決める。そのために、シンボル変換手段1の
構成を、例えばRAM等によるルックアップテーブル方
式とする。このRAMテーブルの入力値はカラーシンボ
ルであり、出力値は符号化シンボルである。このテーブ
ルの実現は、図2の色−符号化シンボルテーブル情報8
を前記RAMに書き込むことで可能である。
In this embodiment, since the relationship between the color and the coded symbol is not always fixed, the correspondence relationship between the color symbol and the coded symbol of the symbol conversion means 1 (in the text, before the coding process). This is called the symbol conversion table). For that purpose, the symbol conversion means 1 is configured as a look-up table method using, for example, a RAM. The input values of this RAM table are color symbols and the output values are coding symbols. This table is implemented by the color-coded symbol table information 8 of FIG.
Can be written in the RAM.

【0041】シンボル変換テーブル書き込み後、画像情
報源2のカラーシンボル(R,G,B)をシンボル変換
手段1に入力し、符号化シンボル(D0、D1、D2)
に変換する。符号化シンボルは符号化手段3によって符
号化され、圧縮データ7が生成する。符号化手段3は例
えば実施例1で示したそれを用いる。圧縮データ7は、
記録フォーマット変換手段5により例えば図7のよう
に、属性情報の色−符号化シンボル情報と合成した記録
フォーマットの形にされ、記録装置4に記録される。
After writing the symbol conversion table, the color symbols (R, G, B) of the image information source 2 are input to the symbol conversion means 1 and the coded symbols (D0, D1, D2) are input.
Convert to. The coded symbol is coded by the coding means 3 to generate the compressed data 7. The coding means 3 uses, for example, that shown in the first embodiment. The compressed data 7 is
For example, as shown in FIG. 7, the recording format converting unit 5 converts the color information into the recording format that is combined with the color-coded symbol information of the attribute information, and records it in the recording device 4.

【0042】符号化シンボルは、文字、線、フォント、
塗りつぶし、図形、バックグランド等を示すシンボルと
解釈することもできる。よって、圧縮率向上の他の効果
として、シンボル変換テーブルを変更することで、任意
の色のマルチカラー画像を再生できる。例えば文字のみ
を赤色に変更する、といったことができる。また、任意
のシンボルのみ抽出し、ビットマップを形成することも
できる。例えば、文書中の図のみでビットマップを形成
することができる。これを利用すれば、2値表現の文書
を多値化することで、よりインテリジェントな文書処理
・出力できる。
Coded symbols are characters, lines, fonts,
It can also be interpreted as a symbol indicating a fill, a figure, a background, or the like. Therefore, as another effect of improving the compression rate, by changing the symbol conversion table, it is possible to reproduce a multi-color image of an arbitrary color. For example, it is possible to change only the characters to red. It is also possible to extract only arbitrary symbols and form a bitmap. For example, the bitmap can be formed only by the figures in the document. By utilizing this, it is possible to perform more intelligent document processing / output by converting a binary representation document into multiple values.

【0043】(実施例3)本実施例はカラースキャナー
等で読み込んだ画像について、本発明の圧縮装置を適応
する。本実施例を図3を用いて説明する。本実施例で
は、画像情報源2はカラースキャナーからのR、G、B
である。また、図4のようにカラースキャナーからの画
像データをフレームバッファーに蓄積したものでもよ
い。
(Embodiment 3) This embodiment applies the compression device of the present invention to an image read by a color scanner or the like. This embodiment will be described with reference to FIG. In this embodiment, the image information source 2 is R, G, B from the color scanner.
Is. Further, image data from the color scanner may be stored in the frame buffer as shown in FIG.

【0044】符号化処理を行う前に、前処理6を画像情
報源2を用いて行う。これは実施例1で記述したカラー
シンボルの画像情報量を求め、それに応じてシンボル割
当を決める処理である。前処理6は実施例1で示した手
順でもよいが、計算時間がかかることから、本実施例で
は別方式を提案する。これについては後述する。前処理
6によって決まるシンボル変換手段1は、符号化対象画
像の統計的性質が予想できないことから、シンボル変換
テーブルが変更可能なテーブル方式(実施例2で記述)
とする。前処理終了後、すなわちシンボル変換テーブル
書き込み後、以下に記述する符号化処理を行う。
Before performing the encoding process, the preprocessing 6 is performed using the image information source 2. This is a process in which the image information amount of the color symbol described in the first embodiment is obtained and the symbol allocation is determined accordingly. The pre-processing 6 may be the procedure shown in the first embodiment, but it takes a long calculation time, and therefore this embodiment proposes another method. This will be described later. The symbol conversion means 1 determined by the pre-processing 6 can change the symbol conversion table because the statistical property of the image to be encoded cannot be predicted (described in the second embodiment).
And After the preprocessing is completed, that is, after the symbol conversion table is written, the coding processing described below is performed.

【0045】シンボル変換テーブル(1)に基づいて、
カラースキャナーまたはフレームバッファーからのカラ
ーシンボル(R、G、B)を符号化シンボル(D0、D
1、D2)に変換する。符号化シンボルは符号化手段3
により符号化され、圧縮データ7が生成する。符号化手
段3は例えば実施例1で示したものとする。圧縮データ
7は実施例2で記述したように、記録フォーマット変換
手段5により記録フォーマット化され、記録装置4に記
録される。
Based on the symbol conversion table (1),
Color symbols (R, G, B) from a color scanner or frame buffer are encoded symbols (D0, D)
1, D2). The coding symbol is coding means 3
The compressed data 7 is generated. The encoding means 3 is assumed to be the one shown in the first embodiment, for example. As described in the second embodiment, the compressed data 7 is recorded in the recording format by the recording format conversion means 5 and recorded in the recording device 4.

【0046】本実施例で提案するシンボル変換テーブル
の構成法、すなわち前処理6の処理内容を記述する。こ
こでは、前処理6に必要なシンボルの画像情報量を、そ
のシンボルの発生頻度と定義する。すなわち、図9のよ
うな点順序で符号化画素を掃引し(本文ではプリスキャ
ンという)、カラーシンボルの発生頻度を計数する。1
画像全てプリスキャン後、各々のカラーシンボルの発生
頻度をその画像情報量とする。プリスキャンは、そのた
めにカラースキャナーを駆動してもよいし、図4のよう
にフレームバッファーに蓄積したデータを用いてもよ
い。また、画像に適当な代表点を複数決め、その点のみ
サンプリングしてカラーシンボルの発生頻度を計数する
方法でもよい。
The method of constructing the symbol conversion table proposed in this embodiment, that is, the processing contents of the preprocessing 6 will be described. Here, the image information amount of the symbol necessary for the preprocessing 6 is defined as the occurrence frequency of the symbol. That is, the coded pixels are swept in the dot order as shown in FIG. 9 (referred to as prescan in the text), and the frequency of occurrence of color symbols is counted. 1
After prescanning all the images, the frequency of occurrence of each color symbol is taken as the amount of image information. For the prescan, a color scanner may be driven for that purpose, or data stored in a frame buffer as shown in FIG. 4 may be used. Alternatively, a method may be adopted in which a plurality of suitable representative points are determined on the image and only those points are sampled to count the frequency of occurrence of color symbols.

【0047】発生頻度が分かったら、以下の手順に従っ
て、シンボル割当を行う。
When the occurrence frequency is known, symbol allocation is performed according to the following procedure.

【0048】手順1: 発生頻度の高い順序に並べる。Procedure 1: Arrange in order of high frequency of occurrence.

【0049】本実施例では8個のカラーシンボルに順序
をつける。
In this embodiment, the eight color symbols are ordered.

【0050】手順2: 通常最も発生頻度が高いバック
グランドのカラーシンボルに000を割り当てる。
Procedure 2: Normally, 000 is assigned to the background color symbol that is most frequently generated.

【0051】手順3: バックグランドカラーを除き、
発生頻度の高い上位3つのシンボルに001、010、
100を割り当てる。順序は本実施例では規定しない。
Step 3: Except for the background color,
001, 010, and
Allocate 100. The order is not specified in this embodiment.

【0052】手順4: 割当が未決定のシンボルで、発
生頻度の高い上位3つのシンボルに011、101、1
10を割り当てる。順序は本実施例では規定しない。
Step 4: 011, 101, and 1 are assigned to the three highest-ranked symbols whose allocation is undecided.
Assign 10. The order is not specified in this embodiment.

【0053】手順5: 発生頻度が最も低いシンボルに
111を割り当てる。
Step 5: Assign 111 to the symbol with the lowest occurrence frequency.

【0054】[0054]

【発明の効果】マルチカラー画像をビットマップ形態で
保存する利点としては、コンピューターにとって描画の
ための計算の負荷が軽減し、高速描画ができ、またデー
タの共有化も可能である。このビットマップ化したマル
チカラー(多値)画像に、本発明の圧縮装置を適用する
ことにより、以下の効果をもつ。
As an advantage of storing a multi-color image in the form of a bitmap, the calculation load on the computer is reduced, high-speed drawing is possible, and data sharing is also possible. By applying the compressing device of the present invention to this multi-colored image (bit-valued), the following effects can be obtained.

【0055】カラー拡張画像の元画像の情報量は、2値
画像に比し(プレーンの数)倍になるが、本発明のシン
ボル変換を用いた圧縮装置によれば、圧縮後の情報量
は、符号化方式が同じ場合、2値画像の圧縮後の情報量
に近づけることができる。
The information amount of the original image of the color extended image is (number of planes) times that of the binary image, but the compression device using the symbol conversion of the present invention provides the information amount after compression. , If the encoding methods are the same, it is possible to approximate the amount of information after compression of a binary image.

【0056】圧縮画像の、復号・再生時間はプレーン
数、すなわち符号化画素数によって決まるので、本発明
の装置では変わらない。また、シンボル変換に要す処理
時間は符号化に要す時間に比しほとんど無視できる。
Since the decoding / reproduction time of the compressed image is determined by the number of planes, that is, the number of coded pixels, it does not change in the apparatus of the present invention. Further, the processing time required for symbol conversion can be almost ignored as compared with the time required for encoding.

【0057】シンボル変換手段のハードウェア規模は、
符号化手段に比して十分に小さい。
The hardware scale of the symbol converting means is as follows.
It is sufficiently smaller than the encoding means.

【0058】よりインテリジェントな文書画像処理が可
能になる。
More intelligent document image processing becomes possible.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の圧縮装置の1例を示す図。FIG. 1 is a diagram showing an example of a compression device of the present invention.

【図2】 本発明をマルチカラー文書画像に応用したと
きの例を示す図。
FIG. 2 is a diagram showing an example when the present invention is applied to a multicolor document image.

【図3】 本発明をカラースキャナーに応用したときの
例を示す図。
FIG. 3 is a diagram showing an example in which the present invention is applied to a color scanner.

【図4】 第3図において画像情報源としてフレームバ
ッファーを設けた図。
FIG. 4 is a diagram in which a frame buffer is provided as an image information source in FIG.

【図5】 本発明の符号化シンボルの概念を説明するた
めの図。
FIG. 5 is a diagram for explaining the concept of encoded symbols according to the present invention.

【図6】 本発明の圧縮装置の符号化の点順序の例を示
す図。
FIG. 6 is a diagram showing an example of an encoding dot sequence of the compression apparatus of the present invention.

【図7】 本発明の圧縮装置による圧縮データの記録フ
ォーマットの1例を示す図。
FIG. 7 is a diagram showing an example of a recording format of compressed data by the compression device of the present invention.

【図8】 従来の画像圧縮のための符号化方式を説明す
るための図。
FIG. 8 is a diagram for explaining a conventional encoding method for image compression.

【図9】 マルコフモデルによる符号化方式を説明する
ための図。
FIG. 9 is a diagram for explaining an encoding method based on a Markov model.

【符号の説明】[Explanation of symbols]

1・・・本発明の主要要素であるシンボル変換手段 2・・・圧縮の対象となるマルチカラー(多値)画像情報
源 3・・・ビットプレーン毎の符号化手段 4・・・圧縮データの記録装置 5・・・圧縮データを記録フォーマットへ変換する手段 6・・・シンボル変換テーブルのシンボル割当を決める前
処理手段 7・・・圧縮データ 8・・・色−符号化シンボル情報 9・・・符号化順序、 10・・・マルコフモデルのモデルテンプレートの例 11・・・マルコフモデルを用いた画素予測手段 12は動的算術符号化手段
1 ... Symbol converting means which is a main element of the present invention 2 ... Multi-color (multi-value) image information source to be compressed 3 ... Encoding means for each bit plane 4 ... Compressed data Recording device 5 ... Means for converting compressed data into a recording format 6 ... Pre-processing means for determining symbol allocation of a symbol conversion table 7 ... Compressed data 8 ... Color-coded symbol information 9 ... Encoding order, 10 ... Example of model template of Markov model 11 ... Pixel prediction means using Markov model 12 is dynamic arithmetic coding means

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 2階層以上のビットプレーンをもつ画像
の圧縮装置において、 多値表示のための表示シンボルを符号化のための符号化
シンボルに変換するシンボル変換手段と、 符号化シンボルをビットプレーン毎に符号化する圧縮手
段を備えたことを特徴とする画像圧縮装置。
1. An apparatus for compressing an image having bit planes of two or more layers, symbol conversion means for converting display symbols for multilevel display into coded symbols for coding, and coded symbols for bitplanes. An image compression apparatus comprising a compression unit for encoding each image.
【請求項2】 請求項1のごとく構成され、nビットの
表示シンボルをnビットの符号化シンボルへ変換するシ
ンボル変換手段を備えた画像圧縮装置において、 表示シンボルのみで形成した画像の、その画像の統計的
性質と前記圧縮手段の符号化方式により決まるエントロ
ピーを、表示シンボル全てに対して計算し、 背景を示す表示シンボルはnビット全て0の符号化シン
ボルに変換し、背景を除いた表示シンボルは、エントロ
ピーの大きい順に順位をつけ、上位n個の表示シンボル
は、各々別のビットのみ1で他のビットが0の符号化シ
ンボルに変換し、最もエントロピーの小さい表示シンボ
ルはnビット全て1の符号化シンボルに変換するシンボ
ル変換手段を備えたことを特徴とする画像圧縮装置。
2. An image compression apparatus comprising the symbol conversion means configured to convert an n-bit display symbol into an n-bit coded symbol, wherein the image is formed of only the display symbol. , And the entropy determined by the encoding method of the compression means is calculated for all the display symbols, and the display symbol indicating the background is converted into an encoded symbol in which all n bits are 0, and the display symbol excluding the background is calculated. Are ranked in descending order of entropy, and the upper n display symbols are converted into coded symbols in which only one bit is 1 and the other bits are 0, and the display symbol with the smallest entropy is n bits with all 1s. An image compression apparatus comprising a symbol conversion means for converting into an encoded symbol.
【請求項3】 請求項1のごとく構成され、nビットの
表示シンボルをnビットの符号化シンボルへ変換するシ
ンボル変換手段を備えた画像圧縮装置において、 圧縮対象画像において表示シンボルの発生頻度を求め、 背景を示す表示シンボルはnビット全て0の符号化シン
ボルに変換し、背景を除いた表示シンボルは、発生頻度
の大きい順に順位をつけ、上位n個の表示シンボルは、
各々別のビットのみ1で他のビットが0の符号化シンボ
ルに変換し、最も発生頻度の少ない表示シンボルはnビ
ット全て1の符号化シンボルに変換するシンボル変換手
段を備えたことを特徴とする画像圧縮装置。
3. An image compression apparatus having the symbol conversion means configured to convert an n-bit display symbol into an n-bit coded symbol, wherein the display symbol occurrence frequency is calculated in an image to be compressed. , The display symbol indicating the background is converted into a coded symbol in which all n bits are 0, the display symbols excluding the background are ranked in descending order of occurrence frequency, and the upper n display symbols are
It is characterized in that a symbol converting means is provided for converting into a coded symbol in which only another bit is 1 and the other bit is 0, and the display symbol having the least frequency of occurrence is converted into a coded symbol in which all n bits are 1. Image compression device.
JP07596293A 1993-04-01 1993-04-01 Image compression device Expired - Lifetime JP3481644B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07596293A JP3481644B2 (en) 1993-04-01 1993-04-01 Image compression device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07596293A JP3481644B2 (en) 1993-04-01 1993-04-01 Image compression device

Publications (2)

Publication Number Publication Date
JPH06292021A true JPH06292021A (en) 1994-10-18
JP3481644B2 JP3481644B2 (en) 2003-12-22

Family

ID=13591361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07596293A Expired - Lifetime JP3481644B2 (en) 1993-04-01 1993-04-01 Image compression device

Country Status (1)

Country Link
JP (1) JP3481644B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307825A (en) * 1997-05-09 1998-11-17 Street Design:Kk Image information processing system and recording medium recording processing program for the system
JP2005229620A (en) * 2004-02-12 2005-08-25 Xerox Corp System and method for generating high compression image data file having multiple foreground planes

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307825A (en) * 1997-05-09 1998-11-17 Street Design:Kk Image information processing system and recording medium recording processing program for the system
JP2005229620A (en) * 2004-02-12 2005-08-25 Xerox Corp System and method for generating high compression image data file having multiple foreground planes

Also Published As

Publication number Publication date
JP3481644B2 (en) 2003-12-22

Similar Documents

Publication Publication Date Title
CN1993976B (en) Lossless compression of color image data using entropy encoding
US6985630B2 (en) Image processing apparatus and method, program and storage medium
CA1240789A (en) Image processing system
Kunt et al. Block coding of graphics: A tutorial review
US5524067A (en) Image processing device employing coding with edge information preserved
EP0680016B1 (en) System and method for compressing images
KR20120065394A (en) Image processing apparatus and processing method therefor
US6683990B2 (en) Image data encoding apparatus
KR100448111B1 (en) Image encoder, image decoder, character checker, and data storage medium
US6728412B1 (en) Method and apparatus for on-the-fly image coding
EP0902398B1 (en) Method and system for compressing and decompressing binary representations of dithered images
JPH08125868A (en) Method and device for processing picture
US4529228A (en) Method and apparatus for coding pictorial information for efficient storage, transmission and reproduction
US7259891B2 (en) Image compression method, decompression method thereof and program therefor
JPH10215379A (en) Image coder and image decoder
JP3045008B2 (en) Halftone image compression method
JPH06292021A (en) Picture compression device
JP2004201302A (en) Image resolution conversion method
JPH07273664A (en) Coding and decoding device, coder and decoder
JP2003087558A (en) Apparatus and method for processing image
JPH1117959A (en) Run length coding method for binary image and recording medium storing run length coding program
JP3323833B2 (en) Image encoding device and image decoding device
JPH0496575A (en) Picture coding method
JP2001103315A (en) Image coding method and image coder
KUNDU et al. The Comparative Study of a New Pattern Recognition Based Exact Coding Method with Conventional

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101010

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101010

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 10