JP2601169B2 - Image data compression coding system - Google Patents

Image data compression coding system

Info

Publication number
JP2601169B2
JP2601169B2 JP5313722A JP31372293A JP2601169B2 JP 2601169 B2 JP2601169 B2 JP 2601169B2 JP 5313722 A JP5313722 A JP 5313722A JP 31372293 A JP31372293 A JP 31372293A JP 2601169 B2 JP2601169 B2 JP 2601169B2
Authority
JP
Japan
Prior art keywords
data
block
image data
bits
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5313722A
Other languages
Japanese (ja)
Other versions
JPH07170409A (en
Inventor
考司 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5313722A priority Critical patent/JP2601169B2/en
Publication of JPH07170409A publication Critical patent/JPH07170409A/en
Application granted granted Critical
Publication of JP2601169B2 publication Critical patent/JP2601169B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、画像データの圧縮符号
化システムに関し、特に近接する画素間の関連に注目し
て画像データを圧縮符号化し、画像伝送、蓄積等の画像
処理を効率良く行うための画像データ圧縮符号化システ
ムに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for compressing and encoding image data, and more particularly to a method for compressing and encoding image data by paying attention to the relationship between adjacent pixels, thereby efficiently performing image processing such as image transmission and storage. For compressing and encoding image data.

【0002】[0002]

【従来の技術】従来、この種の画像データ圧縮符号化シ
ステムとして、例えば、特開昭60−185468号に
掲載されているものがある。この画像データ圧縮符号化
システムにおいては、画素毎の差分値と同一の差分が連
続する数から圧縮符号を生成する。最初に、赤・緑・青
のどの成分に差分が生じているかを表すために次の表1
に示すような差分モード符号を発生する。
2. Description of the Related Art Conventionally, as this kind of image data compression encoding system, there is one disclosed in, for example, Japanese Patent Application Laid-Open No. 60-185468. In this image data compression encoding system, a compression code is generated from a number in which the same difference as the difference value for each pixel continues. First, the following Table 1 is used to indicate which component of red, green, and blue has a difference.
The differential mode code shown in FIG.

【0003】[0003]

【表1】 [Table 1]

【0004】それに続いて差分が生じている成分の差分
値のみを赤・緑・青の順に次の表2に示すようなWyl
e符号のような可変長の符号を用いて圧縮符号化してい
た。
Subsequently, only the difference value of the component having a difference is represented by Wyl as shown in the following Table 2 in the order of red, green and blue.
Compression encoding was performed using a variable-length code such as an e-code.

【0005】[0005]

【表2】 [Table 2]

【0006】ここで表2のSは差分値の正負を表わす符
号ビットであり、差分値が正のときは「0」、負のとき
は「1」となるものである。
[0006] Here, S in Table 2 is a sign bit indicating the sign of the difference value, which is "0" when the difference value is positive and "1" when the difference value is negative.

【0007】[0007]

【発明が解決しようとする課題】上述した従来の画像デ
ータ圧縮符号化システムでは、システム全体を制御する
マイクロプロセッサを用いてソフトウェアで復号化する
際、圧縮された符号ビットを1ビットづつ切り出して、
求める差分値が何ビットで構成されているのかを判断
し、その後、差分値のビット数分、データを圧縮された
符号ビットから切り出し、1つの差分値を求めることと
なる。しかも差分値のデータは3つの色成分毎に画像の
サイズ分存在するため、マイクロプロセッサでの処理ス
テップ数が膨大なものとなり、また、メモリのアクセス
も煩雑となり、多くの処理時間を有するという問題があ
った。
In the conventional image data compression encoding system described above, when decoding is performed by software using a microprocessor that controls the entire system, the compressed code bits are cut out one by one.
It is determined how many bits the difference value to be obtained is composed of, and thereafter, data is cut out from the compressed code bits by the number of bits of the difference value, and one difference value is obtained. Moreover, since the difference value data exists for the size of the image for each of the three color components, the number of processing steps in the microprocessor becomes enormous, the access to the memory becomes complicated, and the processing time is increased. was there.

【0008】本発明の目的は、高速にデ−タを処理する
ことができる画像データ圧縮符号化システムを提供する
ことにある。
It is an object of the present invention to provide an image data compression encoding system capable of processing data at high speed.

【0009】[0009]

【課題を解決するための手段】本発明は、Y(輝度信
号)、Cr、Cb(色差信号)の3成分から構成される
画像データの圧縮符号化を行う画像データ圧縮符号化シ
ステムにおいて、画像を複数のブロックに分割する手段
と、前記各ブロック単位に隣り合った画素同士における
前記Y(輝度信号)の差分値を計算する手段と、前記C
r、Cb(色差信号)が隣のブロックと同じ値であるか
否かの情報及び前記Y(輝度信号)の差分値によって4
bitの識別子に分類され、前記ブロック内のCr、C
b(色差信号)成分の値と前記ブロック内の画素数分の
Y(輝度信号)成分の差分値のうち、いずれの値を符号
列に含め、いずれの値を符号列に含めないのかと、含め
る場合に当該値を何ビットで表すかを指定するための複
数の符号化パターンに分類する手段と、各符号化パター
ン毎にn(nは前記Cr、Cbのビット精度を表す)ビ
ットの整数倍で表した符号列を作成する手段とを有する
ことを特徴とする。
SUMMARY OF THE INVENTION The present invention relates to an image data compression encoding system for compressing and encoding image data composed of three components of Y (luminance signal), Cr and Cb (color difference signal). To a plurality of blocks, a means for calculating a difference value of the Y (luminance signal) between adjacent pixels in each block unit,
Information on whether r and Cb (color difference signals) have the same value as the adjacent block and the difference value of the Y (luminance signal)
classified into bit identifiers, and Cr and C in the block.
Which of the difference between the value of the b (color difference signal) component and the difference value of the Y (luminance signal) component for the number of pixels in the block is included in the code string and which value is not included in the code string, Means for classifying the value into a plurality of coding patterns for designating how many bits the value is to be included in, and an integer of n bits (n represents the bit precision of the Cr and Cb) for each coding pattern Means for creating a code string represented by a double.

【0010】[0010]

【作用】本発明によれば、識別子によって複数の場合に
分けて符号化することによって復号時は各場合に応じて
少ないステップ数での処理が可能となり、マイクロプロ
セッサでの復号処理時間を高速にすることが可能とな
る。
According to the present invention, by performing coding by dividing into a plurality of cases by using an identifier, it is possible to perform processing with a small number of steps according to each case at the time of decoding, and to shorten the decoding processing time in the microprocessor. It is possible to do.

【0011】[0011]

【実施例】次に、本発明について図面を参照して詳細に
説明する。
Next, the present invention will be described in detail with reference to the drawings.

【0012】符号化の対象とする画像データが、Y(輝
度信号)、Cr、Cb(色差信号)の色空間で表現さ
れ、また画像のダウンサンプリングが、Y:Cr:Cb
=4:1:1、画像のbit精度が、Y6bit、Cr
4bit、Cb4bitで表現され、圧縮データの符号
長を4ビット固定とした場合の例を図面を用いて説明す
る。
Image data to be encoded is represented in a color space of Y (luminance signal), Cr, Cb (color difference signal), and downsampling of the image is performed by Y: Cr: Cb.
= 4: 1: 1, image bit precision is Y6 bit, Cr
An example in which the compression data is represented by 4 bits and Cb 4 bits and the code length of the compressed data is fixed to 4 bits will be described with reference to the drawings.

【0013】図1は本発明の一実施例の画像圧縮方式の
装置を示すブロック図である。同図において、中央処理
部(CPU)1は制御用RAM3を作業領域とし、制御
用ROM2に格納されたプログラムを実行して動作す
る。
FIG. 1 is a block diagram showing an apparatus of an image compression system according to an embodiment of the present invention. In FIG. 1, a central processing unit (CPU) 1 operates by executing a program stored in a control ROM 2 using a control RAM 3 as a work area.

【0014】ファイル装置4には圧縮する原画像データ
が入っており、CPU1はファイル装置4をアクセスし
てデータを読み込んで圧縮処理を行い、圧縮された画像
データはファイル装置4に書き込まれる。この圧縮され
たデータを表示する際には、CPU1はファイル装置4
をアクセスして圧縮画像データを読み込んで伸張処理を
施し、伸張画像データをフレームバッファメモリ8に書
き込むことによって表示装置9に画像表示する。
The file device 4 contains original image data to be compressed. The CPU 1 accesses the file device 4 to read data and perform a compression process. The compressed image data is written to the file device 4. When displaying the compressed data, the CPU 1 operates the file device 4
Is accessed, the compressed image data is read and subjected to decompression processing, and the decompressed image data is written to the frame buffer memory 8 to display an image on the display device 9.

【0015】以上の処理を高速に行うためのデータ構造
の例を図2に示す。ただしこの場合、各符号データは4
bitの識別子とそれに続く4bit単位のデータから
なる。
FIG. 2 shows an example of a data structure for performing the above processing at high speed. However, in this case, each code data is 4
It consists of a bit identifier followed by data in 4-bit units.

【0016】図2(a)は、ブロック内の画素位置と差
分値(Y0〜Y3)の関係を示した図である。
FIG. 2A is a diagram showing the relationship between the pixel position in the block and the difference values (Y0 to Y3).

【0017】差分Y0は1ブロック前のブロックの右下
の画素と符号化する目的のブロックの左上の画素との差
分であり、画像の一番始めのブロック(画像の左上のブ
ロック)の場合は1ブロック前のブロックの右下の画素
の値を0と仮定した差分値を求める。
The difference Y0 is the difference between the lower right pixel of the block one block before and the upper left pixel of the target block to be coded. In the case of the first block of the image (the upper left block of the image), A difference value is calculated assuming that the value of the lower right pixel of the block one block before is 0.

【0018】この差分の値によって、符号データを決定
するが、一般の自然画像においては隣合った画素同志の
差分をとった場合の差分値とその数との関係は図3に示
すように差分値0近辺が多く、また大きな値は少なくと
いう性質がある。このようなデータに対しては0のデー
タは符号化せず、0に近いデータはbit数の少ない符
号で、また0から遠いデータはbit数の多い符号で符
号化したほうが圧縮効率は上がる。
Code data is determined based on the difference value. In a general natural image, the difference between the difference between adjacent pixels and the number thereof is as shown in FIG. There is a property that there are many values near the value 0 and small values near the value. For such data, the compression efficiency is improved by encoding the data of 0 without encoding the data close to 0 with a code having a small number of bits, and encoding the data far from 0 with a code with a large number of bits.

【0019】図2(b)は、本発明におけるデータ構造
の例を示した図である。
FIG. 2B is a diagram showing an example of a data structure according to the present invention.

【0020】本実施例における符号化の対象とする画像
データは、画像のダウンサンプリングが、Y:Cr:C
b=4:1:1なので1つのブロック内にはCr、C
b、Y0、Y1、Y2、Y3の計6個のデータが存在す
ることになる。
The image data to be encoded in the present embodiment is such that the downsampling of the image is performed by Y: Cr: C
Since b = 4: 1: 1, Cr and C are contained in one block.
There are a total of six data, b, Y0, Y1, Y2, and Y3.

【0021】図中、□1個は4bitの符号を表してお
り、符号化のパターンは4bitの識別子に分類される
201〜214の14通りのパターンが存在する。
In the figure, one square represents a 4-bit code, and there are fourteen types of encoding patterns 201 to 214 classified as 4-bit identifiers.

【0022】CrCbについては生のデータ4bitで
符号化し、Yの差分値が全て4bit以下(−8〜+
7)の場合は201に示すデータ構成で符号化する。
(この場合のビット数は4画素分で28bitとな
る。)また、Yの差分値に4bit以上のデータが1つ
でも存在する場合は202に示すデータ構成で符号化す
る。(この場合のビット数は4画素分で44bitとな
る。)また、4つのYの値が全て同じ場合(差分値0の
場合)にはYのデータを1つで代表し、203及び20
4に示すデータ構成で符号化する。以下同様にYの差分
値によって205から206までの符号化パターンが存
在し、Cr、Cbの値が前のブロックと同じデータの場
合には、208〜214に示すデータ構成で符号化す
る。
CrCb is coded with 4 bits of raw data, and the difference values of Y are all 4 bits or less (−8 to +
In the case of 7), encoding is performed with the data configuration shown in 201.
(In this case, the number of bits is 28 bits for four pixels.) If there is even one piece of data of 4 bits or more in the Y difference value, encoding is performed using the data configuration shown in 202. (In this case, the number of bits is 44 bits for four pixels.) When all four Y values are the same (in the case of a difference value of 0), one Y data is represented by 203 and 20.
Encoding is performed using the data configuration shown in FIG. Similarly, if there are coding patterns from 205 to 206 depending on the difference value of Y, and if the values of Cr and Cb are the same as those of the previous block, the coding is performed with the data configuration shown in 208 to 214.

【0023】次に、圧縮処理について図4の流れ図を用
いて説明する。
Next, the compression processing will be described with reference to the flowchart of FIG.

【0024】圧縮処理を開始すると、ファイル装置4よ
り原画素ファイルを読み込み(ステップS401)、ブ
ロックの切り出しを行う(ステップS402)。符号化
処理は画像データを縦2画素、横2画素のブロック単位
で画像の左上から右下の方向に2ライン毎に処理する。
切りだしたブロック内でCrCbのデータが前のブロッ
クと同じか否をチェックし(ステップS403)、デー
タが前のブロックと同じでない場合には、Yのデータに
関しては差分計算処理部5により隣合った画素との差分
値を求める(ステップS404)。このようにして求め
た差分値によって図2に示すデータ構造のパターンに対
応する処理部に分岐して(ステップS405)、図2に
示すデータ構造のそれぞれのパターン毎の符号列の作成
処理をして、図2の201,〜,207に示す符号列を
作成し(ステップS406)、次のステップS410へ
行く。
When the compression process is started, an original pixel file is read from the file device 4 (step S401), and blocks are cut out (step S402). In the encoding process, the image data is processed every two lines in the direction from the upper left to the lower right of the image in a block unit of 2 pixels vertically and 2 pixels horizontally.
It is checked whether or not the data of CrCb is the same as the previous block in the cut out block (step S403). If the data is not the same as the previous block, the difference calculation processing unit 5 adjoins the Y data. A difference value from the pixel that has been obtained is obtained (step S404). The process branches to the processing unit corresponding to the pattern of the data structure shown in FIG. 2 based on the difference value obtained in this way (step S405), and performs a process of creating a code string for each pattern of the data structure shown in FIG. Thus, code strings 201, to 207 in FIG. 2 are created (step S406), and the procedure goes to the next step S410.

【0025】前記ステップS403で、切りだしたブロ
ック内でCrCbのデータが前のブロックと同じある場
合には、Yのデータに関しては差分計算処理部5により
隣合った画素との差分値を求める(ステップS40
7)。このようにして求めた差分値によって図2に示す
データ構造のパターンに対応する処理部に分岐して(ス
テップS408)、図2に示すデータ構造のそれぞれの
パターン毎の符号列の作成処理をして、図2の208,
〜,214に示す符号列を作成し(ステップS40
9)、次のステップS410へ行く。
In step S403, if the data of CrCb in the cut block is the same as that of the previous block, the difference calculation processing unit 5 obtains a difference value between adjacent pixels for the Y data ( Step S40
7). The process branches to the processing unit corresponding to the pattern of the data structure shown in FIG. 2 based on the difference value thus obtained (step S408), and performs the process of creating a code string for each pattern of the data structure shown in FIG. And 208 in FIG.
, 214 are created (step S40).
9) Go to the next step S410.

【0026】前記ステップS402からS409までの
処理を全ブロック分終了すると、ファイル装置4に圧縮
データを書き込み、圧縮処理終了となる。
When the processing of steps S402 to S409 is completed for all blocks, the compressed data is written to the file device 4, and the compression processing ends.

【0027】次に、本発明における伸張処理の流れを図
5を用いて説明する。
Next, the flow of the decompression process in the present invention will be described with reference to FIG.

【0028】伸張処理を開始すると、ファイル装置4よ
り圧縮データを読み込み(ステップS501)、識別子
のデータを読み込み(ステップS502)、その識別子
によって場合分けを行なう(ステップS503)。次
に、ステップS504で各場合毎に必要となるbit数
分のデータを圧縮符号から読み込んで、図2の202,
〜,214に示す符号列に復号し(ステップS50
4)、フレームバッファメモリ8に復号されたデータを
格納する(ステップS505)。これらのステップS5
02〜S505の処理を1ブロック単位で全ブロック分
処理して画像データの復号をする(ステップS50
5)。なお、前記符号列は、長さが一定でなくても良
い。
When the decompression process is started, compressed data is read from the file device 4 (step S501), identifier data is read (step S502), and cases are classified according to the identifier (step S503). Next, in step S504, data corresponding to the number of bits required for each case is read from the compression code, and data 202 and 202 in FIG.
, And 214 (step S50).
4) The decoded data is stored in the frame buffer memory 8 (step S505). These steps S5
02 to S505 are processed in units of one block for all blocks to decode image data (step S50).
5). Note that the code string need not have a constant length.

【0029】[0029]

【発明の効果】本発明は、識別子によって複数の場合に
分けて符号化することによって復号時は各場合に応じて
少ないステップ数での処理が可能となり、高速に画像デ
ータの復号をすることが可能となる。また、本発明は、
差分値0を多くすることによって符号データのサイズを
小さくすることが可能となる。
According to the present invention, it is possible to perform processing with a small number of steps according to each case at the time of decoding by performing encoding by dividing into a plurality of cases by an identifier, and to decode image data at high speed. It becomes possible. Also, the present invention
By increasing the difference value 0, the size of the code data can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の1実施例を示すブロック図である。FIG. 1 is a block diagram showing one embodiment of the present invention.

【図2】本発明の1実施例におけるデータ構造の例を示
す図である。
FIG. 2 is a diagram illustrating an example of a data structure according to an embodiment of the present invention.

【図3】本発明の1実施例におけるデータのヒストグラ
ムである。
FIG. 3 is a histogram of data in one embodiment of the present invention.

【図4】本発明の1実施例における圧縮処理を示す流れ
図である。
FIG. 4 is a flowchart showing a compression process according to an embodiment of the present invention.

【図5】本発明の1実施例における伸張処理を示す流れ
図である。
FIG. 5 is a flowchart showing a decompression process in one embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 CPU 2 制御用ROM 3 制御用RAM 4 ファイル装置 5 差分計算処理部 6 符号化処理部 7 復号化処理部 8 フレームバッファメモリ 9 表示装置 Reference Signs List 1 CPU 2 Control ROM 3 Control RAM 4 File device 5 Difference calculation processing unit 6 Encoding processing unit 7 Decoding processing unit 8 Frame buffer memory 9 Display device

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 Y(輝度信号)、Cr、Cb(色差信
号)の3成分から構成される画像データの圧縮符号化を
行う画像データ圧縮符号化システムにおいて、画像を複
数のブロックに分割する手段と、前記各ブロック単位に
隣り合った画素同士における前記Y(輝度信号)の差分
値を計算する手段と、前記Cr、Cb(色差信号)が隣
のブロックと同じ値であるか否かの情報及び前記Y(輝
度信号)の差分値によって4bitの識別子に分類さ
れ、前記ブロック内のCr、Cb(色差信号)成分の値
と前記ブロック内の画素数分のY(輝度信号)成分の差
分値のうち、いずれの値を符号列に含め、いずれの値を
符号列に含めないのかと、含める場合に当該値を何ビッ
トで表すかを指定するための複数の符号化パターンに分
類する手段と、各符号化パターン毎にn(nは前記C
r、Cbのビット精度を表す)ビットの整数倍で表した
符号列を作成する手段とを有することを特徴とする画像
データ圧縮符号化システム。
1. An image data compression encoding system for compressing and encoding image data composed of three components of Y (luminance signal), Cr, and Cb (color difference signal), means for dividing an image into a plurality of blocks. Means for calculating a difference value of the Y (luminance signal) between pixels adjacent to each other in the block unit, and information on whether the Cr and Cb (color difference signals) have the same value as an adjacent block. And a difference value between the Cr and Cb (color difference signal) components in the block and the Y (luminance signal) components for the number of pixels in the block. A means for classifying into a plurality of coding patterns for specifying which value is included in the code string and which value is not included in the code string, and when including, which bit is represented by the number of bits. , Each encoding N for each pattern (where n is the C
means for creating a code string represented by an integer multiple of bits (representing the bit precision of r and Cb).
JP5313722A 1993-12-14 1993-12-14 Image data compression coding system Expired - Fee Related JP2601169B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5313722A JP2601169B2 (en) 1993-12-14 1993-12-14 Image data compression coding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5313722A JP2601169B2 (en) 1993-12-14 1993-12-14 Image data compression coding system

Publications (2)

Publication Number Publication Date
JPH07170409A JPH07170409A (en) 1995-07-04
JP2601169B2 true JP2601169B2 (en) 1997-04-16

Family

ID=18044732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5313722A Expired - Fee Related JP2601169B2 (en) 1993-12-14 1993-12-14 Image data compression coding system

Country Status (1)

Country Link
JP (1) JP2601169B2 (en)

Also Published As

Publication number Publication date
JPH07170409A (en) 1995-07-04

Similar Documents

Publication Publication Date Title
JP2968582B2 (en) Method and apparatus for processing digital data
EP1034505B1 (en) System and method for fixed-rate block-based image compression with inferred pixel values
US8019166B2 (en) Image data compression method and apparatuses, image display method and apparatuses
JPH11161782A (en) Method and device for encoding color picture, and method and device for decoding color picture
WO1994000949B1 (en) Video compression and decompression using block selection and subdivision
CN112118449B (en) Method and device for compressing and decompressing image
KR100573527B1 (en) How to compress and restore graphic images
JPH11308465A (en) Encoding method for color image, encoder therefor, decoding method for color image and decoder therefor
JP2601169B2 (en) Image data compression coding system
JP2003087575A (en) Image display apparatus
JP3261208B2 (en) Picture information prediction encoding and decoding apparatus
JPH1130978A (en) Color image encoding method and its encoder and color image decoding method and its decoder
JPH11112817A (en) Method for compressing color image data, its compressing device and compression processing storage medium
JPH1098620A (en) Picture processor
Meyyappan et al. Lossless Digital Image Compression Method For Bitmap Images
JPH05260322A (en) Binary image compressing system
JP2833268B2 (en) Bitmap font compression device
JPS61198877A (en) Data compression coding method in computer animation
JPH07184067A (en) Binary image companding processing system and binary image segmentating method
JPH05258067A (en) Method for converting compressed image into decompressed reduce level of gray level
JP3075935B2 (en) Still image coding method
JPH10200715A (en) Picture data storage method/device
JPH10285408A (en) Image-coding method recording medium
JP2980615B2 (en) Code encoding method for location information
JPS6342587A (en) Data compressing method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19961126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080129

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090129

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100129

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110129

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110129

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120129

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120129

Year of fee payment: 15

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120129

Year of fee payment: 15

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120129

Year of fee payment: 15

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120129

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 16

LAPS Cancellation because of no payment of annual fees