JP3363536B2 - Color image processing apparatus and color image processing method - Google Patents

Color image processing apparatus and color image processing method

Info

Publication number
JP3363536B2
JP3363536B2 JP21564093A JP21564093A JP3363536B2 JP 3363536 B2 JP3363536 B2 JP 3363536B2 JP 21564093 A JP21564093 A JP 21564093A JP 21564093 A JP21564093 A JP 21564093A JP 3363536 B2 JP3363536 B2 JP 3363536B2
Authority
JP
Japan
Prior art keywords
processing
image data
color space
color image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21564093A
Other languages
Japanese (ja)
Other versions
JPH0774925A (en
Inventor
康幸 仲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP21564093A priority Critical patent/JP3363536B2/en
Priority to CN94107740A priority patent/CN1092446C/en
Priority to ES94303901T priority patent/ES2154667T3/en
Priority to EP94303901A priority patent/EP0627845B1/en
Priority to US08/252,169 priority patent/US5650861A/en
Priority to KR1019940012017A priority patent/KR0154352B1/en
Priority to DE69426792T priority patent/DE69426792T2/en
Publication of JPH0774925A publication Critical patent/JPH0774925A/en
Application granted granted Critical
Publication of JP3363536B2 publication Critical patent/JP3363536B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、カラー画像データを符
号化するカラー画像処理装置及びカラー画像処理方法に
関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image processing apparatus and a color image processing method for encoding color image data.

【0002】[0002]

【従来の技術】近年、膨大な情報量である自然画カラー
画像データを圧縮する国際標準方式がJPEG(Joint
Photographic Experts Group )により提案されている
(以下、JPEG符号化方式)。JPEG符号化方式
は、複数のシステムから構成されているが、そのうち最
も基本となるのがベースラインシステムである。
2. Description of the Related Art In recent years, JPEG (Joint
Proposed by Photographic Experts Group) (hereinafter referred to as JPEG encoding method). The JPEG encoding system is composed of a plurality of systems, and the most basic one is the baseline system.

【0003】図9は、ベースラインシステムのデータ圧
縮手順を示す図である。まず、スキャナ等の原稿読み取
り装置によって読み取られた入力画像データは8画素×
8画素からなるブロックに分割され、以後の圧縮処理は
このブロックを単位として行われる。JPEG符号化方
式では、原稿読み取り装置で読み込んだ画像データの、
符号化処理する色空間に対して規定はないが、多くは符
号化処理に先立つ処理として、色空間の変換処理が行わ
れている。この変換する色空間としては、符号化処理を
高能率で行うことが可能である色空間、例えば輝度信号
と色信号からなる色空間(YCbr 、YIQ、Lab
等)が多い。
FIG. 9 is a diagram showing a data compression procedure of the baseline system. First, the input image data read by a document reading device such as a scanner is 8 pixels x
It is divided into blocks of 8 pixels, and subsequent compression processing is performed in units of this block. In the JPEG encoding system, the image data read by the document reading device
Although there is no stipulation for the color space to be encoded, the conversion process of the color space is often performed as a process prior to the encoding process. As the color space to be converted, a color space capable of performing the encoding process with high efficiency, for example, a color space composed of a luminance signal and a color signal (YC b C r , YIQ, Lab).
Etc.) are many.

【0004】ベースラインシステムでは、分割された各
ブロックの画像データ(元の色空間或いは色空間変換後
の画像データ)に直交変換の一種である離散コサイン変
換(以下、DCT:Discrete Cosine Transform )が施
される(301)。DCTにより元の入力画像データが
空間周波数成分のデータに変換された後、8×8ブロッ
クの一番左上の係数は直流(DC)成分と呼ばれ、変換
前のブロックの画像データの平均値に相当する値であ
る。その他の63係数は交流(AC)成分と呼ばれ、変
換前のブロックの画像データにおいて、その位置に対応
する空間周波数成分をどれだけ含んでいるかを示す値で
ある。
In the baseline system, a discrete cosine transform (hereinafter referred to as DCT), which is a kind of orthogonal transform, is applied to the divided image data of each block (original color space or image data after color space conversion). It is given (301). After the original input image data is converted to the data of the spatial frequency component by the DCT, the coefficient at the upper left of the 8 × 8 block is called the direct current (DC) component. It is a corresponding value. The other 63 coefficients are called alternating current (AC) components, and are values indicating how many spatial frequency components corresponding to the position are included in the image data of the block before conversion.

【0005】変換後のDCT変換係数は、8×8個のし
きい値に、そのしきい値を何倍した値を使用するかを決
定するスケールファクタが乗算された値で除算され、量
子化される(302)。量子化後のDCT係数には、D
C成分とAC成分とで異なる符号化処理が施される。即
ち、DC成分は、隣接ブロック間の相関の強さを利用し
て、処理ブロックのDC成分と前ブロックのDC成分と
の差分がハフマン符号化される(303、304)。A
C成分は、ブロック内で空間周波数の低域から広域への
ジグザグスキャンにより1次元の配列に並べ直され(3
05)、零以外の係数(有効係数)と連続する零(無効
係数)の個数(ランレングス)とを組にして2次元のハ
フマン符号化が行われる(306〜309)。
The transformed DCT transform coefficient is divided by a value obtained by multiplying 8 × 8 threshold values by a scale factor that determines how many times the threshold value is used, and quantized. (302). For the quantized DCT coefficient, D
Different encoding processes are performed on the C component and the AC component. That is, for the DC component, the difference between the DC component of the processing block and the DC component of the previous block is Huffman-coded using the strength of correlation between adjacent blocks (303, 304). A
The C components are rearranged in a one-dimensional array by a zigzag scan from a low spatial frequency region to a wide spatial region within the block (3
05), two-dimensional Huffman coding is performed by combining a coefficient other than zero (effective coefficient) and the number of consecutive zeros (ineffective coefficient) (run length) (306 to 309).

【0006】一方、カラー画像通信装置の符号化側で
は、符号化処理の他に余白処理を行う必要がある。余白
処理は、送信画像のサイズを受信側の再生画像のサイズ
に合わせるために必要となる余白を送信側で付加するも
のである。従って、JPEG符号化方式のベースライン
システムを適用した場合、スキャナ等の画像読み取り部
で読み込んだ画像データに対してだけ色空間の変換処
理、DCT等の処理を施すのではなく、送信側で付加す
る余白データに関しても画像データに施されるのと同様
な処理を行わなければならない。
On the other hand, on the coding side of the color image communication device, it is necessary to perform margin processing in addition to the coding processing. The margin processing is to add a margin required on the transmitting side to match the size of the transmitted image with the size of the reproduced image on the receiving side. Therefore, when the baseline system of the JPEG encoding system is applied, color space conversion processing and DCT processing are not performed only on image data read by an image reading unit such as a scanner, but are added on the transmission side. The margin data to be processed must be processed in the same way as the image data.

【0007】よって、JPEG符号化方式を適用したカ
ラー画像通信装置では、余白領域の余白データ及びスキ
ャナ等で読み込んだカラー画像データに色空間の変換処
理、DCT処理、量子化処理等を施さねばならない。
Therefore, in the color image communication apparatus to which the JPEG coding method is applied, the space data in the blank area and the color image data read by the scanner or the like must be subjected to color space conversion processing, DCT processing, quantization processing and the like. .

【0008】[0008]

【発明が解決しようとしている課題】上述したように、
JPEG符号化方式においては、各符号化対象のブロッ
クは相関を利用した符号化(DC成分の差分符号化に相
当)が行われるということも有り、余白領域に相当する
符号化対象ブロックであっても、JPEG符号化処理を
行わない訳にはいかない。何故なら、余白領域であって
もJPEG符号化後の最終的な符号化データは一意に決
まらないからである
The present invention is trying to solve] As described above,
In the JPEG encoding system, each encoding target block is
Is a coding method that uses correlation (corresponding to the differential coding of the DC component).
This is also performed, which corresponds to the blank area.
Even if it is the block to be encoded, the JPEG encoding process
There is no reason not to do it. Because it ’s a blank area
Also, the final encoded data after JPEG encoding is uniquely determined.
Because it doesn't help .

【0009】本発明は上記問題点に鑑みてなされたもの
であり、その目的とするところは、カラー画像データに
対してJPEG符号化を行う形態において、出来るだけ
その符号化処理を軽減させることである
The present invention has been made in view of the above problems.
And the purpose is to add color image data
As much as possible in the form of performing JPEG encoding
This is to reduce the encoding process .

【0010】[0010]

【課題を解決するための手段】上記目的を達成するため
に、本発明は、カラー画像データをJPEG符号化方式
を用いて符号化するカラー画像処理装置であって、第1
の色空間で表されるカラー画像データを入力する入力手
段と、前記入力されたカラー画像データを第2の色空間
のカラー画像データに変換する色空間変換手段と、前記
色空間変換手段により得られた第2の色空間のカラー画
像データをDCT処理するDCT処理手段と、第1の色
空間で表される余白領域のカラー画像データが第2の色
空間のカラー画像データに変換され、かつ、DCT処理
されて得られる中間データを予め格納する格納手段と、
前記入力されたカラー画像データにおける符号化対象の
ブロックが余白領域に相当するか否かを判断する判断手
段と前記判断結果に基づいて、前記符号化対象のブロ
ックが余白領域の場合には、該ブロックの処理対象とし
て前記格納手段に格納された中間データを読み出して該
データに前記DCT処理以降のJPEG符号化処理を施
し、前記符号化対象のブロックが余白領域でない場合に
、前記色空間変換手段及びDCT処理手段を用いて前
記符号化対象ブロックを処理した後に得られたデータに
JPEG符号化処理を施す符号化手段とを有することを
特徴とする。
In order to achieve the above object, the present invention provides a JPEG encoding system for color image data.
A color image processing device for encoding using
Input means for inputting color image data represented in the color space of the above, and the input color image data in the second color space.
Color space conversion means for converting to color image data of
Color image of the second color space obtained by the color space conversion means
DCT processing means for DCT processing image data, and first color
The color image data of the blank area represented by the space is the second color.
Converted to spatial color image data and DCT processing
Storage means for storing intermediate data obtained in advance ,
A judgment means for judging whether or not the block to be encoded in the input color image data corresponds to a blank area.
And the block to be encoded based on the judgment result.
Tsu when click is blank area, the processing target of the block
Read the intermediate data stored in the storage means,
The data is subjected to the JPEG encoding process after the DCT process.
However , if the block to be encoded is not a blank area, the color space conversion unit and the DCT processing unit are used to
The data obtained after processing the block to be encoded
And a coding means for performing a JPEG coding process .

【0011】また上記目的を達成するために、本発明
は、カラー画像データをJPEG符号化方式を用いて符
号化するカラー画像処理方法であって、第1の色空間で
表されるカラー画像データを入力する入力ステップと、
前記入力されたカラー画像データを第2の色空間のカラ
ー画像データに変換する色空間変換ステップと、前記色
空間変換ステップで得られた第2の色空間のカラー画像
データをDCT処理するDCT処理ステップと、第1の
色空間で表される余白領域のカラー画像データが第2の
色空間のカラー画像データに変換され、かつ、DCT処
理されて得られる中間データを予め格納する格納ステッ
プと、前記入力されたカラー画像データにおける符号化
対象のブロックが余白領域に相当するか否かを判断する
判断ステップと前記判断結果に基づいて、前記符号化
対象のブロックが余白領域の場合には、該ブロックの処
理対象として前記格納ステップで格納された中間データ
を読み出して該データに前記DCT処理以降のJPEG
符号化処理を施し、前記符号化対象のブロックが余白領
域でない場合には、前記色空間変換ステップ及びDCT
処理ステップで前記符号化対象ブロックを処理した後に
得られたデータにJPEG符号化処理を施す符号化ステ
ップとを有することを特徴とする。
In order to achieve the above object, the present invention encodes color image data using a JPEG encoding system.
A color image processing method for encoding, the input step of inputting color image data represented in a first color space,
The input color image data is colored in a second color space.
-Color space conversion step of converting to image data, and the color
Color image of the second color space obtained in the space conversion step
A DCT processing step for DCT processing the data;
The color image data of the blank area represented by the color space is the second
Converted to color image data in color space and processed by DCT
A storing step of preliminarily storing intermediate data obtained by the processing, and determining whether or not the block to be encoded in the input color image data corresponds to a blank area.
A determination step and the encoding based on the determination result.
If the target block is in the margin area, the processing of the block
Intermediate data stored in the storage step as a target
And read the data as JPEG after the DCT processing.
When the encoding process is performed and the block to be encoded is not the blank area, the color space conversion step and the DCT
After processing the coding target block in the processing step
And an encoding step of subjecting the obtained data to a JPEG encoding process .

【0012】[0012]

【0013】[0013]

【実施例】以下、図面を参照して本発明に係る好適な一
実施例を詳細に説明する。 <第1の実施例>図1は、第1の実施例におけるカラー
画像通信装置の構成を示すブロック図である。同図にお
いて、101は原稿読み取り部であり、スキャナ等によ
り原稿の画像データを読み込む。102はダイレクト・
メモリ・アクセス・コントローラ(以下、DMAC)で
あり、原稿読み取り部101により読み込んだ画像デー
タを後述する画像メモリに転送する。103は画像メモ
リであり、原稿読み取り部101により読み込んだ画像
データを格納する。104はディジタル・シグナル・プ
ロセッサ(以下、DSP)であり、画像メモリ103に
格納された画像データを符号化処理する。105は余白
値設定レジスタであり、余白として付加するデータを格
納する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of the present invention will be described in detail below with reference to the drawings. <First Embodiment> FIG. 1 is a block diagram showing the arrangement of a color image communication apparatus according to the first embodiment. In the figure, reference numeral 101 denotes a document reading unit, which reads image data of a document with a scanner or the like. 102 is direct
A memory access controller (hereinafter, DMAC), which transfers the image data read by the document reading unit 101 to an image memory described later. An image memory 103 stores the image data read by the document reading unit 101. Reference numeral 104 denotes a digital signal processor (hereinafter referred to as DSP), which encodes image data stored in the image memory 103. A margin value setting register 105 stores data to be added as a margin.

【0014】106はインストラクションメモリであ
り、DSP104の処理プログラムを格納する。108
は符号メモリであり、DSP104により符号化された
データを格納する。109は回線制御装置(以下、CC
U)であり、符号メモリ108に格納された符号データ
を読み込み通信伝送路に送り出す。107はマイクロプ
ロセッサ(以下、メインCPU)であり、画像メモリ1
03、符号メモリ108、DSP104を制御し、更
に、余白値設定レジスタ105に余白として付加するデ
ータを書き込み、インストラクションメモリ106にD
SP104の処理プログラムをダウンロードする。
An instruction memory 106 stores the processing program of the DSP 104. 108
Is a code memory for storing the data coded by the DSP 104. 109 is a line control device (hereinafter, CC
U), the code data stored in the code memory 108 is read and sent to the communication transmission path. Reference numeral 107 denotes a microprocessor (hereinafter referred to as main CPU), which is an image memory 1
03, the code memory 108, and the DSP 104, and further, write data to be added as a margin to the margin value setting register 105, and D to the instruction memory 106.
Download the processing program of SP104.

【0015】以上の構成において、第1の実施例におけ
る符号化処理を図2及び図3に示すフローチャートに従
って以下に説明する。起動時に、メインCPU107は
DSP104の処理プログラムをインストラクションメ
モリ106にダウンロードし、同時に余白として付加す
る余白データを色成分毎に余白値設定レジスタ105に
書き込んでおく。例えば、余白として付加するデータが
“白”で、原稿読み取り部101で読み込む色空間が赤
(R)、緑(G)、青(B)であり各色信号のデータ精
度が8ビットである場合は、R=G=B=255(0F
FH)が余白値レジスタ105に書き込まれる。
With the above arrangement, the encoding process in the first embodiment will be described below with reference to the flowcharts shown in FIGS. At startup, the main CPU 107 downloads the processing program of the DSP 104 to the instruction memory 106, and simultaneously writes the margin data to be added as a margin into the margin value setting register 105 for each color component. For example, when the data to be added as a margin is “white”, the color space read by the document reading unit 101 is red (R), green (G), and blue (B), and the data precision of each color signal is 8 bits. , R = G = B = 255 (0F
FH) is written in the margin value register 105.

【0016】ここで、メインCPU107により、DS
P104の処理プログラムがダウンロードされると(ス
テップS101)、DSP104は初期設定を行い、符
号化処理のスタンバイ状態を保持する。メインCPU1
07から符号化処理の起動がかかると(ステップS10
2)、DSP104は符号化処理のイニシャル処理を行
う(ステップS103)。また、符号化処理の起動がか
からない場合、DSP104は符号化処理のスタンバイ
状態を保持し続ける。
Here, the main CPU 107 causes the DS
When the processing program of P104 is downloaded (step S101), the DSP 104 performs initialization and holds the standby state of the encoding process. Main CPU1
When the encoding process is started from 07 (step S10)
2), the DSP 104 performs the initial process of the encoding process (step S103). If the encoding process is not started, the DSP 104 keeps the encoding process standby state.

【0017】次に、DSP104は、余白値設定レジス
タ105に設定された余白値を読み込む(ステップS1
04)。この例においては、R=G=B=255(0F
FH)のデータをDSP104の内部レジスタ等のメモ
リに取り込む。DSP104は取り込んだ余白値データ
を符号化処理する色空間、例えばYCbr 色空間上の
データに変換し(ステップS105)、DSP104の
内部RAMに格納する(ステップS106)。また、符
号化処理する色空間がRGB色空間の場合は、余白値設
定レジスタ105から取り込んだ余白値データをDSP
104の内部RAMに格納し、以降の処理を行う。即
ち、ステップS105の処理は行わずに、ステップS1
06の処理を行う。
Next, the DSP 104 reads the margin value set in the margin value setting register 105 (step S1).
04). In this example, R = G = B = 255 (0F
FH) data is taken into a memory such as an internal register of the DSP 104. The DSP 104 converts the captured blank value data into data on a color space to be encoded, for example, the YC b C r color space (step S105), and stores it in the internal RAM of the DSP 104 (step S106). Further, when the color space to be encoded is the RGB color space, the blank space value data fetched from the blank space value setting register 105 is processed by the DSP.
The data is stored in the internal RAM 104 and the subsequent processing is performed. That is, without performing the process of step S105,
The processing of 06 is performed.

【0018】そして、符号化処理する領域が余白領域の
場合(ステップS107)、DSP104は上述の処理
でDSP104の内部RAMに格納された余白値データ
を、8×8画素のブロック単位のデータに構成して、以
後に続く処理、即ち、DCT処理を施す(ステップS1
08)。次に、DCT処理された後のデータを量子化し
(ステップS109)、ジグザグスキャンにより1次元
の配列に並び直して(ステップS113)、ハフマン符
号化処理する(ステップS114)。
If the area to be encoded is a blank area (step S107), the DSP 104 configures the blank value data stored in the internal RAM of the DSP 104 by the above-described processing into data of a block unit of 8 × 8 pixels. Then, the subsequent process, that is, the DCT process is performed (step S1).
08). Next, the data after the DCT processing is quantized (step S109), rearranged into a one-dimensional array by zigzag scanning (step S113), and Huffman coding processing is performed (step S114).

【0019】全画像データの符号化処理が終了した場
合、DSP104は符号化処理を終了するが、符号化処
理の途中である場合は、ステップS107に戻り処理を
行う。ステップS107において、符号化処理する領域
が余白領域でない場合、DSP104は画像メモリ10
3から画像データをブロック単位で読み込む(ステップ
S110)。そして、読み込んだ画像データを符号化処
理する色空間上のデータに変換する(ステップS11
1)。
When the coding process of all the image data is completed, the DSP 104 finishes the coding process, but if it is in the middle of the coding process, the process returns to step S107 to perform the process. In step S107, when the area to be encoded is not the blank area, the DSP 104 causes the image memory 10
The image data is read in blocks from 3 (step S110). Then, the read image data is converted into data on the color space to be encoded (step S11).
1).

【0020】尚、符号化処理する色空間が原稿読み取り
部110で読み込んだ色空間と同一である場合にはステ
ップS111での処理は行わない。次に、DSP104
はステップS110或いはS111で処理されたブロッ
ク単位のデータにDCT処理を施し(ステップS11
2)、上述した余白値データの処理時と同様に、量子化
(ステップS109)、ジグザグスキャン(ステップS
113)、ハフマン符号化(ステップS114)の各処
理を順に行っていく。
If the color space to be encoded is the same as the color space read by the document reading section 110, the process in step S111 is not performed. Next, the DSP 104
Performs DCT processing on the block-unit data processed in step S110 or S111 (step S11
2) Quantization (step S109) and zigzag scanning (step S) as in the processing of the margin value data described above.
113) and Huffman coding (step S114) are sequentially performed.

【0021】その後、DSP104により符号化された
符号データは、符号メモリ108に書き込まれ、CCU
109により符号メモリ108から読み出され、通信回
線へと伝送される。そして、DSP104は全画像デー
タの符号化処理が終了するまで、ステップS107〜S
114までの処理を余白領域、或いは画像データ領域に
ついてそれぞれ処理を行う。全画像の符号化処理を終了
すると、DSP104は、再度符号化処理のスタンバイ
状態を保持する。
Thereafter, the code data coded by the DSP 104 is written in the code memory 108, and the CCU
It is read from the code memory 108 by 109 and transmitted to the communication line. Then, the DSP 104 performs steps S107 to S until the encoding process of all the image data is completed.
The processing up to 114 is performed for each of the blank area and the image data area. When the encoding process of all the images is completed, the DSP 104 holds the standby state of the encoding process again.

【0022】このように、第1の実施例によれば、余白
領域のデータに対しては、あらかじめ色空間変換処理し
た余白値データを使用してDCT処理等を施しているた
め、余白領域のデータに施す色空間の変換処理が不必要
となる。これにより、DSP処理プログラムにおける、
色空間の変換に要する処理ステップ数が減り、全画像デ
ータの符号化処理時間を短くすることが可能となる。
As described above, according to the first embodiment, the data of the blank area is subjected to the DCT processing or the like using the blank value data which has been subjected to the color space conversion processing in advance. The conversion processing of the color space applied to the data becomes unnecessary. As a result, in the DSP processing program,
The number of processing steps required for color space conversion is reduced, and the coding processing time of all image data can be shortened.

【0023】<第2の実施例>次に、図面を参照して本
発明に係る第2の実施例を詳細に説明する。図4は、第
2の実施例におけるカラー画像通信装置の構成を示すブ
ロック図である。図1と同じものには同一の符号を付
し、その説明は省略する。図4において、110は外部
メモリであり、余白値の色空間変換処理、DCT処理後
のデータを格納する。また、外部メモリ110はメイン
CPU107及びDSP104が高速にアクセスするこ
とが可能なメモリである。
<Second Embodiment> Next, a second embodiment according to the present invention will be described in detail with reference to the drawings. FIG. 4 is a block diagram showing the configuration of the color image communication apparatus in the second embodiment. The same parts as those in FIG. 1 are designated by the same reference numerals and the description thereof is omitted. In FIG. 4, reference numeral 110 denotes an external memory that stores data after the color space conversion processing of the blank value and the DCT processing. The external memory 110 is a memory that the main CPU 107 and the DSP 104 can access at high speed.

【0024】以上の構成において、第2の実施例におけ
る符号化処理を図5及び図6に示すフローチャートに従
って以下に説明する。起動時に、メインCPU107は
DSP104の処理プログラムをインストラクションメ
モリ106にダウンロードし、同時に付加する余白値の
色空間変換処理、DCT処理後のデータを、色成分ごと
外部メモリ110に書き込む。
With the above arrangement, the encoding process in the second embodiment will be described below with reference to the flowcharts shown in FIGS. At the time of startup, the main CPU 107 downloads the processing program of the DSP 104 to the instruction memory 106, and simultaneously writes the data after the color space conversion processing of the blank value added and the DCT processing to the external memory 110 for each color component.

【0025】ここで、メインCPU107により、DS
P104の処理プログラムのダウンロードが終了し(ス
テップS201)、余白値の色空間変換処理、DCT処
理後のデータが外部メモリ110に書き込まれると(ス
テップS202)、DSP104は初期設定を行い(ス
テップS203)、符号化処理のスタンバイ状態を保持
する。メインCPU107から割り込み等により符号化
処理の起動がかかると(ステップS204)、DSP1
04は符号化処理のイニシャル処理を行う(ステップS
205)。また、符号化処理の起動がかからない場合、
DSP104は符号化処理のスタンバイ状態を保持し続
ける。
Here, the main CPU 107 causes the DS
When the download of the processing program of P104 is completed (step S201) and the data after the space value color space conversion processing and DCT processing is written to the external memory 110 (step S202), the DSP 104 performs initial setting (step S203). , Holds the standby state of the encoding process. When the encoding process is activated by the main CPU 107 due to an interrupt or the like (step S204), the DSP 1
04 performs an initial process of the encoding process (step S
205). Also, if the encoding process is not started,
The DSP 104 continues to hold the standby state of the encoding process.

【0026】符号化処理する領域が余白領域の場合(ス
テップS206)、DSP104はメインCPU107
により外部メモリ110に書き込まれた余白値の色空間
変換処理、DCT処理後のデータを用いてJPEG符号
化方式における以後の処理を行う。即ち、DSP104
は外部メモリ110からDCT処理後の余白値データを
各信号毎に読み込み、読み込んだデータに量子化を施し
(ステップS207)、ジグザグスキャンにより2次元
配列のデータを1次元配列に並び直して(ステップS2
08)、ハフマン符号化処理を行う(ステップS20
9)。
When the area to be encoded is a blank area (step S206), the DSP 104 causes the main CPU 107
By using the data after the color space conversion processing and the DCT processing of the blank value written in the external memory 110, the subsequent processing in the JPEG encoding system is performed. That is, DSP104
Reads the blank value data after DCT processing for each signal from the external memory 110, quantizes the read data (step S207), and rearranges the two-dimensional array data into a one-dimensional array by zigzag scanning (step S207). S2
08), Huffman encoding processing is performed (step S20).
9).

【0027】全画像データの符号化処理が終了した場
合、DSP104は符号化処理を終了するが、符号化処
理の途中である場合は、ステップS206に戻り継続し
て処理を行う(ステップS210)。ステップS206
において、符号化処理する領域が余白領域でない場合、
DSP104は原稿読み取り部101により読み込ま
れ、DMAC102により画像メモリ103に転送され
た画像データをブロック単位で読み込み(ステップS2
11)、読み込んだ画像データを符号化処理する色空間
上のデータに変換する(ステップS212)。
When the encoding process of all the image data is completed, the DSP 104 terminates the encoding process, but if it is in the middle of the encoding process, the process returns to step S206 to continue the process (step S210). Step S206
In, if the area to be encoded is not a blank area,
The DSP 104 reads the image data read by the document reading unit 101 and transferred to the image memory 103 by the DMAC 102 in block units (step S2).
11) The read image data is converted into data in the color space to be encoded (step S212).

【0028】次に、DSP104は色空間の変換後の画
像データにDCT処理を施し(ステップS213)、量
子化する(ステップS214)。量子化後のデータは余
白値データの処理と同様に、ジグザグスキャン(ステッ
プS208)、ハフマン符号化(ステップS209)の
各処理を順に行っていく。その後、DSP104により
符号化された符号データは、符号メモリ108に書き込
まれ、CCU109により符号メモリ108から読み出
され、通信回線へと伝送される。そして、DSP104
は全画像データの符号化処理が終了するまで、ステップ
S206〜S210までの処理を余白領域、或いは画像
データ領域についてそれぞれ処理を行う。全画像の符号
化処理を終了すると、DSP104は、再度符号化処理
のスタンバイ状態を保持する。
Next, the DSP 104 performs DCT processing on the image data after the color space conversion (step S213) and quantizes it (step S214). The quantized data is subjected to zigzag scanning (step S208) and Huffman coding (step S209) in the same manner as the blank value data processing. Thereafter, the code data encoded by the DSP 104 is written in the code memory 108, read out from the code memory 108 by the CCU 109, and transmitted to the communication line. And DSP104
Performs the processing of steps S206 to S210 for the blank area or the image data area, respectively, until the encoding processing of all the image data is completed. When the encoding process of all the images is completed, the DSP 104 holds the standby state of the encoding process again.

【0029】尚、第2の実施例では、メインCPU10
7が外部メモリ110に余白値の色空間変換処理、DC
T処理後のデータを書き込む方法に関して説明したが、
DSP104で符号化処理する色空間が原稿読み取り部
101で読み込んだ色空間と同じである場合、余白値デ
ータにDCT処理を施したデータをメインCPU107
が外部メモリ110に書き込むようにしてもよい。
In the second embodiment, the main CPU 10
7 is a space value color space conversion process for the external memory 110, DC
I explained how to write data after T processing,
When the color space encoded by the DSP 104 is the same as the color space read by the document reading unit 101, the data obtained by performing the DCT process on the margin value data is used as the main CPU 107.
May be written in the external memory 110.

【0030】<第3の実施例>次に、図面を参照して本
発明に係る第3の実施例を詳細に説明する。第2の実施
例では、メインCPU107が外部メモリ110に余白
値の色空間変換、DCT処理後のデータを書き込み、D
SP104がそのデータを使用して余白領域の符号化処
理を行っているが、この方法以外でも同様な処理を行う
ことが可能である。
<Third Embodiment> Next, a third embodiment of the present invention will be described in detail with reference to the drawings. In the second embodiment, the main CPU 107 writes the data after the color space conversion of the blank value and the DCT process to the external memory 110, and D
The SP 104 uses the data to perform the blank area coding processing, but similar processing can be performed by other than this method.

【0031】以下、第3の実施例における符号化処理を
図7及び図8に示すフローチャートに従って以下に説明
する。起動時に、メインCPU107はDSP104の
処理プログラムをインストラクションメモリ106にダ
ウンロードし、同時に余白として付加する余白データを
色成分毎に外部メモリ110に書き込む。例えば、余白
として付加するデータが“白”で、原稿読み取り部10
1で読み込む色空間が赤(R)、緑(G)、青(B)
で、データ精度が8ビットの場合は、R=G=B=25
5(0FFH)が外部メモリ110に書き込まれる。
The encoding process in the third embodiment will be described below with reference to the flowcharts shown in FIGS. 7 and 8. At the time of startup, the main CPU 107 downloads the processing program of the DSP 104 to the instruction memory 106, and simultaneously writes the margin data to be added as a margin into the external memory 110 for each color component. For example, when the data to be added as the margin is “white”, the document reading unit 10
The color space read in 1 is red (R), green (G), blue (B)
When the data precision is 8 bits, R = G = B = 25
5 (0FFH) is written in the external memory 110.

【0032】ここで、メインCPU107により、DS
P104の処理プログラムがダウンロードされると(ス
テップS301)、DSP104は初期設定を行い、符
号化処理のスタンバイ状態を保持する。メインCPU1
07から割り込み等により符号化処理の起動がかかると
(ステップS302)、DSP104は符号化処理のイ
ニシャル処理を行う(ステップS303)。また、符号
化処理の起動がかからない場合、DSP104は符号化
処理のスタンバイ状態を保持し続ける。
Here, the main CPU 107 causes the DS
When the processing program of P104 is downloaded (step S301), the DSP 104 performs initialization and holds the standby state of the encoding process. Main CPU1
When the encoding process is activated by an interrupt or the like from 07 (step S302), the DSP 104 performs the initial process of the encoding process (step S303). If the encoding process is not started, the DSP 104 keeps the encoding process standby state.

【0033】次に、DSP104は、外部メモリ110
に書き込まれた余白値を読み込む(ステップS30
4)。この例においては、R=G=B=255(0FF
H)のデータをDSP104の内部レジスタ等のメモリ
に取り込む。DSP104は取り込んだ余白値データを
符号化処理する色空間に変換し(ステップS305)、
DSP104の内部RAMに格納する。この時、前段階
で読み込んだ余白のR,G,Bデータは消去してもよ
い。即ち、色空間変換した余白データがDSP104の
内部RAMに格納されていればよい。そして、DSP1
04は、格納した余白データを各信号成分毎に、以後の
符号化処理単位であるブロックデータに展開し、展開し
たデータにDCT処理を施す。DCT処理後の余白デー
タは、DSP104によりDSP104が高速でアクセ
スすることが可能な外部メモリ110に格納される(ス
テップS306)。
Next, the DSP 104 operates the external memory 110.
The margin value written in is read (step S30
4). In this example, R = G = B = 255 (0FF
The data of H) is taken into the memory such as the internal register of the DSP 104. The DSP 104 converts the captured blank value data into a color space for encoding processing (step S305),
The data is stored in the internal RAM of the DSP 104. At this time, the blank R, G, B data read in the previous step may be erased. That is, it is only necessary that the color space converted blank data is stored in the internal RAM of the DSP 104. And DSP1
Reference numeral 04 expands the stored margin data for each signal component into block data which is a subsequent encoding processing unit, and performs DCT processing on the expanded data. The blank data after the DCT processing is stored in the external memory 110 which can be accessed by the DSP 104 at high speed by the DSP 104 (step S306).

【0034】次のステップS307以降の処理は、第2
の実施例におけるステップS206以降の処理と同様で
ある。従って、DSP104は以後の処理を第2の実施
例と同様の条件により行う。即ち、全画像データの符号
化処理が終了するまで、ステップS307〜S315ま
での処理を余白領域、或いは画像データ領域についてそ
れぞれ処理を行う。その後、DSP104により符号化
された符号データは、符号メモリ108に書き込まれ、
CCU109により符号メモリ108から読み出され、
通信回線へと伝送される。そして、全画像の符号化処理
を終了すると、DSP104は、再度符号化処理のスタ
ンバイ状態を保持する。
The processing from the next step S307 is the second step.
This is the same as the processing after step S206 in the embodiment. Therefore, the DSP 104 performs the subsequent processing under the same conditions as in the second embodiment. That is, the processes of steps S307 to S315 are performed for the blank area or the image data area, respectively, until the encoding processing of all the image data is completed. Thereafter, the code data encoded by the DSP 104 is written in the code memory 108,
Read from the code memory 108 by the CCU 109,
It is transmitted to the communication line. Then, when the encoding process of all the images is completed, the DSP 104 holds the standby state of the encoding process again.

【0035】尚、第3の実施例の説明では、DSP10
4が外部メモリ110に設定された余白データに色空間
変換処理、DCT処理を施し、処理結果のデータを外部
メモリ110に書き込むようにしたが、DSP104で
符号化処理する色空間が原稿読み取り部101で読み込
む色空間と同じ場合には、外部メモリ110に設定され
た余白データにDCT処理のみを施したものをDSP1
04が外部メモリ110に書き込むようにしてもよい。
In the description of the third embodiment, the DSP 10
4 performs color space conversion processing and DCT processing on the blank space data set in the external memory 110 and writes the processing result data to the external memory 110. However, the color space encoded by the DSP 104 is the original reading unit 101. If the color space is the same as the color space to be read in, the DSP 1 is the margin data set in the external memory 110 and is only DCT processed.
04 may be written in the external memory 110.

【0036】このように、第2及び第3の実施例によれ
ば、JPEG符号化方式による符号化処理をする際、余
白領域のデータに対しては、あらかじめ色空間変換処
理、DCT処理した余白値データを使用して量子化、ジ
グザグスキャン、ハフマン符号化の処理を行っているた
め、余白領域のデータに施す色空間変換処理、DCT処
理が不必要となる。これにより、DSP処理プログラム
における、色空間変換処理及びDCT処理に要するステ
ップ数が減るため、全画像データの符号化処理時間を短
縮することが可能となる。
As described above, according to the second and third embodiments, when the encoding process by the JPEG encoding method is performed, the margin area data is subjected to the color space conversion process and the DCT process in advance. Since the quantization, zigzag scanning, and Huffman coding are performed using the value data, the color space conversion process and the DCT process performed on the blank area data are unnecessary. As a result, the number of steps required for color space conversion processing and DCT processing in the DSP processing program is reduced, so that it is possible to shorten the encoding processing time for all image data.

【0037】尚、本発明は、複数の機器から構成される
システムに適用しても1つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Further, it goes without saying that the present invention can be applied to the case where it is achieved by supplying a program to a system or an apparatus.

【0038】[0038]

【発明の効果】以上説明したように本発明によれば、
ラー画像データに対してJPEG符号化を行う形態にお
いて、出来るだけその符号化処理を軽減させることが可
能となる。
According to the present invention as described above, according to the present invention, Ca
In the form of performing JPEG encoding on the color image data
Stomach, it is possible to Rukoto to reduce only the encoding process can be.

【図面の簡単な説明】[Brief description of drawings]

【図1】第1の実施例におけるカラー画像通信装置の構
成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a color image communication device according to a first embodiment.

【図2】第1の実施例における符号化処理を示すフロー
チャートである。
FIG. 2 is a flowchart showing an encoding process in the first embodiment.

【図3】第1の実施例における符号化処理を示すフロー
チャートである。
FIG. 3 is a flowchart showing an encoding process in the first embodiment.

【図4】第2の実施例におけるカラー画像通信装置の構
成を示すブロック図である。
FIG. 4 is a block diagram showing a configuration of a color image communication device according to a second embodiment.

【図5】第2の実施例における符号化処理を示すフロー
チャートである。
FIG. 5 is a flowchart showing an encoding process in the second embodiment.

【図6】第2の実施例における符号化処理を示すフロー
チャートである。
FIG. 6 is a flowchart showing an encoding process in the second embodiment.

【図7】第3の実施例における符号化処理を示すフロー
チャートである。
FIG. 7 is a flowchart showing an encoding process in the third embodiment.

【図8】第4の実施例における符号化処理を示すフロー
チャートである。
FIG. 8 is a flowchart showing an encoding process in the fourth embodiment.

【図9】JPEG符号化方式の符号化時の処理ブロック
図である。
FIG. 9 is a processing block diagram at the time of encoding in the JPEG encoding method.

【符号の説明】[Explanation of symbols]

101 原稿読み取り部 102 DMAC 103 画像メモリ 104 DSP 105 余白値設定レジスタ 106 インストラクションメモリ 107 CPU 108 符号メモリ 109 CCU 101 original reading section 102 DMAC 103 image memory 104 DSP 105 Margin value setting register 106 instruction memory 107 CPU 108 code memory 109 CCU

フロントページの続き (56)参考文献 特開 平5−114993(JP,A) 特開 平4−20073(JP,A) 特開 平1−144862(JP,A) 特開 平4−217176(JP,A) 特開 平7−30762(JP,A) 特開 平7−23234(JP,A) 特開 昭61−32664(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 1/41 Continuation of the front page (56) Reference JP-A-5-114993 (JP, A) JP-A-4-20073 (JP, A) JP-A-1-144862 (JP, A) JP-A-4-217176 (JP , A) JP 7-30762 (JP, A) JP 7-23234 (JP, A) JP 61-32664 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB Name) H04N 1/41

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 カラー画像データをJPEG符号化方式
を用いて符号化するカラー画像処理装置であって、 第1の色空間で表されるカラー画像データを入力する入
力手段と、前記入力されたカラー画像データを第2の色空間のカラ
ー画像データに変換する色空間変換手段と、 前記色空間変換手段により得られた第2の色空間のカラ
ー画像データをDCT処理するDCT処理手段と、 第1の色空間で表される余白領域のカラー画像データが
第2の色空間のカラー画像データに変換され、かつ、D
CT処理されて得られる中間 データを予め格納する格納
手段と、 前記入力されたカラー画像データにおける符号化対象の
ブロックが余白領域に相当するか否かを判断する判断手
段と前記判断結果に基づいて、前記符号化対象のブロックが
余白領域の場合には、該ブロックの処理対象として前記
格納手段に格納された中間データを読み出して該データ
に前記DCT処理以降のJPEG符号化処理を施し、前
記符号化対象のブロックが余白領域でない場合には、前
記色空間変換手段及びDCT処理手段を用いて前記符号
化対象ブロックを処理した後に得られたデータにJPE
G符号化処理を施す符号化手段とを有することを特徴と
するカラー画像処理装置。
1. A JPEG encoding method for color image data
A color image processing apparatus which encodes the color image data using an input means for inputting color image data represented in a first color space, and the input color image data in a second color space.
-Color space conversion means for converting into image data, and a color space of the second color space obtained by the color space conversion means
-DCT processing means for performing DCT processing on image data, and color image data of a blank area represented by the first color space
Converted to color image data in the second color space, and D
Storage means for storing intermediate data obtained by CT processing in advance, and a judgment means for judging whether or not the block to be encoded in the input color image data corresponds to a blank area.
If the block to be coded is a blank area based on the determination result and the determination result, the block is processed as the processing target of the block.
Read the intermediate data stored in the storage means
Is subjected to the JPEG encoding process after the DCT process,
If the block of serial encoded is not a blank area of the previous
The above-mentioned code using the color space conversion means and the DCT processing means
JPE is applied to the data obtained after processing the block to be digitized.
A color image processing apparatus comprising: an encoding unit that performs G encoding processing.
【請求項2】 更に、各々の符号化処理により得られた
符号化データを通信回線を介して伝送する伝送手段を有
することを特徴とする請求項1記載のカラー画像処理装
置。
2. The color image processing apparatus according to claim 1, further comprising a transmission means for transmitting encoded data obtained by each encoding process via a communication line.
【請求項3】 前記DCT処理以降のJPEG符号化
理には、量子化及びハフマン符号化が含まれることを特
徴とする請求項1記載のカラー画像処理装置。
3. Processing JPEG coding of subsequent said DCT processing
The sense, the color image processing apparatus according to claim 1, wherein Rukoto includes quantization and Huffman coding.
【請求項4】 カラー画像データをJPEG符号化方式
を用いて符号化するカラー画像処理方法であって、 第1の色空間で表されるカラー画像データを入力する入
力ステップと、前記入力されたカラー画像データを第2の色空間のカラ
ー画像データに変換す る色空間変換ステップと、 前記色空間変換ステップで得られた第2の色空間のカラ
ー画像データをDCT処理するDCT処理ステップと、 第1の色空間で表される余白領域のカラー画像データが
第2の色空間のカラー画像データに変換され、かつ、D
CT処理されて得られる中間 データを予め格納する格納
ステップと、 前記入力されたカラー画像データにおける符号化対象の
ブロックが余白領域に相当するか否かを判断する判断ス
テップと前記判断結果に基づいて、前記符号化対象のブロックが
余白領域の場合には、該ブロックの処理対象として前記
格納ステップで格納された中間データを読み出して該デ
ータに前記DCT処理以降のJPEG符号化処理を施
し、前記符号化対象のブロックが余白領域でない場合に
、前記色空間変換ステップ及びDCT処理ステップで
前記符号化対象ブロックを処理した後に得られたデータ
にJPEG符号化処理を施す符号化ステップとを有する
ことを特徴とするカラー画像処理装置。
4. A JPEG encoding method for color image data
A color image processing method for encoding using the above , comprising an input step of inputting color image data represented in a first color space, and a step of inputting the input color image data in a second color space.
A color space conversion step that converts the over image data, color of the second color space obtained by the color space conversion step
-The DCT processing step of performing DCT processing on the image data and the color image data of the blank area represented by the first color space are
Converted to color image data in the second color space, and D
A storage step of storing intermediate data obtained by CT processing in advance, and a determination step of determining whether or not the block to be encoded in the input color image data corresponds to a blank area .
If the block to be encoded is a blank area based on the step and the determination result, the block is processed as the target of the block.
The intermediate data stored in the storing step is read and the
Data to the JPEG encoding process after the DCT process.
If the block to be encoded is not a blank area, the color space conversion step and the DCT processing step are performed.
Data obtained after processing the block to be encoded
And a coding step of performing JPEG coding processing on the color image processing apparatus.
JP21564093A 1993-05-31 1993-08-31 Color image processing apparatus and color image processing method Expired - Fee Related JP3363536B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP21564093A JP3363536B2 (en) 1993-08-31 1993-08-31 Color image processing apparatus and color image processing method
CN94107740A CN1092446C (en) 1993-05-31 1994-05-30 Image processing method and apparatus
EP94303901A EP0627845B1 (en) 1993-05-31 1994-05-31 Image processing method and apparatus
US08/252,169 US5650861A (en) 1993-05-31 1994-05-31 Image processing method and apparatus for application to an image file or image communication apparatus
ES94303901T ES2154667T3 (en) 1993-05-31 1994-05-31 PROCEDURE AND APPARATUS FOR THE TREATMENT OF IMAGES.
KR1019940012017A KR0154352B1 (en) 1993-05-31 1994-05-31 Image processing method and apparatus
DE69426792T DE69426792T2 (en) 1993-05-31 1994-05-31 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21564093A JP3363536B2 (en) 1993-08-31 1993-08-31 Color image processing apparatus and color image processing method

Publications (2)

Publication Number Publication Date
JPH0774925A JPH0774925A (en) 1995-03-17
JP3363536B2 true JP3363536B2 (en) 2003-01-08

Family

ID=16675757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21564093A Expired - Fee Related JP3363536B2 (en) 1993-05-31 1993-08-31 Color image processing apparatus and color image processing method

Country Status (1)

Country Link
JP (1) JP3363536B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4968930B2 (en) * 2007-08-03 2012-07-04 キヤノン株式会社 Image processing apparatus, image correction method, image processing method, and program
JP6261020B2 (en) * 2016-06-28 2018-01-17 株式会社Nexpoint Screen image transfer method and screen image restoration method
JP6284172B1 (en) * 2017-12-06 2018-02-28 株式会社Nexpoint Screen image transfer method, image restoration method, screen image transfer system, image restoration system, screen image transfer program, image restoration program, image compression method, image compression system, image compression program

Also Published As

Publication number Publication date
JPH0774925A (en) 1995-03-17

Similar Documents

Publication Publication Date Title
US7499592B2 (en) Image decoding apparatus and its control method
Kim et al. Hierarchical prediction and context adaptive coding for lossless color image compression
JP3851350B2 (en) Image data preprocessing method and apparatus
JP4831547B2 (en) Method for image compression and decompression acceleration
JPH0832037B2 (en) Image data compression device
JP3363536B2 (en) Color image processing apparatus and color image processing method
JP3469438B2 (en) Image signal processing method and apparatus, recording medium
JPH06334986A (en) Weighted cosine transform method
JPH08186814A (en) Image compressor
JP3452115B2 (en) Image processing device
JP3382298B2 (en) Image processing device
JPH10336427A (en) Encoded image data display/conversion method
JPH1188884A (en) Image conversion encoding device
JPH0774961A (en) Image communication equipment
JP2846004B2 (en) Decoding method
JP2002112039A (en) Image encoding/decoding device
JP2003116009A (en) Image encoding control equipment and method therefor
JPH0799580A (en) Method and device for decoding color picture
JP2000244925A (en) Picture processor and its processing method
JP2001196935A (en) Data quantizer
JP3032281B2 (en) Image encoding method and image decoding method
JPH07135652A (en) Method and device for compression still picture data and method and device for expanding still picture data
JPH066608A (en) Picture output device
JP2002077626A (en) Apparatus and method for image processing and recording medium
JPH09261639A (en) Image coding processing system

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020920

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071025

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081025

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121025

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees