JPH0541859A - 画像圧縮符号化装置 - Google Patents

画像圧縮符号化装置

Info

Publication number
JPH0541859A
JPH0541859A JP19543491A JP19543491A JPH0541859A JP H0541859 A JPH0541859 A JP H0541859A JP 19543491 A JP19543491 A JP 19543491A JP 19543491 A JP19543491 A JP 19543491A JP H0541859 A JPH0541859 A JP H0541859A
Authority
JP
Japan
Prior art keywords
image
quantization
input
quantization error
quantizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19543491A
Other languages
English (en)
Other versions
JP2934342B2 (ja
Inventor
Yukio Go
志雄 呉
Yoichi Yamada
陽一 山田
Koshi Sakurada
孔司 桜田
Yoko Harada
洋子 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP19543491A priority Critical patent/JP2934342B2/ja
Publication of JPH0541859A publication Critical patent/JPH0541859A/ja
Application granted granted Critical
Publication of JP2934342B2 publication Critical patent/JP2934342B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【目的】 所望の画質或いは安定した画質を得る。 【構成】 入力画像Siが統計量演算手段21及び情報
量圧縮手段11へ入力されると、該手段21ではSiの
統計量S21を検出してSN比予測手段23へ与える。
手段11では、Siの冗長を取り除いて画像データS1
1を量子化手段12及び量子化誤差計測手段22へ与え
る。手段12は、S11を量子化し、その量子化出力デ
ータS12を符号化手段13及び手段22へ与える。手
段13は、S12を符号化する。手段22は、量子化手
段12の入出力画像データより量子化誤差電力S22を
計測し、それを手段23へ与える。手段23では、S2
1及びS22から圧縮画像のSN比と量子化ステップ幅
との関係を予測し、該圧縮SN比(画質)が外部からの
要求SIを満たすように手段12内の量子化ステップ幅
を制御する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、静止画像或いは動画像
に対する画像圧縮符号化装置、特に画像の信号対雑音比
(以下、SN比という)、つまり品質を制御する画像圧
縮符号化装置に関するものである。
【0002】
【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがあった。
【0003】アイイーイーイー トランスアクションズ
オン コミュニケーシヨンズ(IEEE TRANSACTIONS ON
COMMUNICATIONS )COM−25[II](1977−1
1)(米)ALI HABIBI、“サーベイ オフ
アダプティブ イメージ コーディング テクニクス
(Survey of Adaptive Image Coding Techniques)”
P.1275−1283 従来、画像圧縮符号化装置としては、前記文献に記載さ
れているように、画像の空間的または時間的な冗長(相
関)を取り除くことにより、画像の効率的圧縮を行うよ
うになっている。以下、その構成を図を用いて説明す
る。
【0004】図2は、前記文献に記載された従来の画像
圧縮符号化装置の一構成例を示すブロック図である。
【0005】この画像圧縮符号化装置は、入力画像Si
を入力する情報量圧縮手段11を有している。この情報
量圧縮手段11は、入力画像Siの時間的又は空間的冗
長を取り除き、画像データS11を出力するもので、例
えば離散的余弦変換(DCT)手段や、予測(DPC
M)手段等で構成されている。この情報量圧縮手段11
の出力側には、量子化手段12を介して符号化手段13
が接続されている。
【0006】量子化手段12は、冗長の取り除かれた画
像データS11を量子化して量子化出力データS12を
出力するものであり、Midtread型の線形量子化
器等で構成されている。符号化手段13は、量子化出力
データS12を符号化して圧縮された出力データSoを
出力するものであり、各量子化出力データS12の性質
(例えば、分散)に応じてビットを割当て固定長符号化
する手段や、或いは量子化出力データS12の出現確率
に応じて符号を割当てて符号化する可変長符号化手段等
で構成されている。
【0007】次に、図3を参照しつつ、図2の動作を説
明する。図3は、従来のMidtread型の線形量子
化器を示す図である。横軸のxは量子化入力、縦軸のy
は量子化出力である。hは量子化ステップ幅である。
【0008】入力画像Siは、情報量圧縮手段11によ
って空間的又は時間的冗長が取り除かれる。この冗長の
取り除かれた画像データS11は、量子化手段12及び
符号化手段13によってそのデータ量(ビット数)が圧
縮され、出力データSoが出力される。
【0009】ここで、量子化手段12を例えば図3に示
すMidtread型の線形量子化器で構成した場合、
該線形量子化器では画像データS11を量子化して量子
化出力データS12を符号化手段13へ出力する。この
量子化出力データS12、つまり図3に示す量子化出力
yは、次式(1)で表すことができる。
【0010】
【数1】
【0011】この(1)式において、INT[x]はx
の整数部を取ることを意味する。そして、この量子化出
力yは、符号化手段13によって符号化され、圧縮され
た出力データSoが出力される。
【0012】
【発明が解決しようとする課題】しかしながら、上記構
成の装置では、量子化手段12内の量子化ステップ幅h
等を変えることにより、画像の圧縮率を制御することが
できるが、画像のSN比、つまり品質を制御することが
困難であった。そのため、ある一定品質(SN比)の画
像圧縮が要求される場合に、従来の装置では、対応でき
ず、画像の品質が不安定であるという問題を生じ、それ
を解決することが困難であった。
【0013】本発明は、前記従来技術が持っていた課題
として、圧縮画像の品質の不安定性について解決した画
像圧縮符号化装置を提供するものである。
【0014】
【課題を解決するための手段】第1の発明は前記課題を
解決するため、入力画像の時間的または空間的冗長を取
り除く情報量圧縮手段と、前記情報量圧縮手段により冗
長の取り除かれた画像データを量子化する量子化手段
と、前記量子化手段の量子化出力データを符号化する符
号化手段とを、備えた画像圧縮符号化装置において、次
のような手段を設けている。
【0015】即ち、この第1の発明では、前記入力画像
の統計的性質を演算してその統計量を出力する統計量演
算手段と、前記量子化手段の入出力画像データより量子
化誤差電力を計測する量子化誤差計測手段と、SN比予
測手段とを設けている。ここで、SN比予測手段は、前
記統計量及び量子化誤差電力から圧縮画像のSN比と前
記量子化手段の特性との関係を予測し、該SN比が所定
レベルになるように前記量子化手段を制御する機能を有
している。
【0016】第2の発明では、第1の発明のSN比予測
手段は、前記予測の結果を予め演算により求めてテーブ
ル化しておき、入力信号に応じた制御データを読出して
前記量子化手段を制御する構成にしている。
【0017】第3の発明では、第1又は第2の発明のS
N比予測手段は、予測量子化誤差電力と実量子化誤差電
力とを比較し、画像の分布関数を調節する構成にしてい
る。
【0018】
【作用】第1の発明によれば、以上のように画像圧縮符
号化装置を構成したので、入力画像が統計量演算手段及
び情報量圧縮手段へ入力されると、該統計量演算手段で
は、入力画像の統計的性質を検出してその検出結果をS
N比予測手段へ与える。情報量圧縮手段では、入力画像
の冗長を取り除いてその冗長の取り除かれた画像データ
を量子化手段及び量子化誤差計測手段へ与える。量子化
手段では、画像データを量子化して量子化出力データを
符号化手段及び量子化誤差計測手段へ与える。符号化手
段は、量子化出力データを符号化する。
【0019】量子化誤差計測手段は、量子化手段の入出
力画像データから量子化誤差を画像ごとに検出し、その
量子化誤差電力をSN比予測手段へ与える。SN比予測
手段は、入力画像の統計的性質から、その画像の圧縮S
N比と量子化手段の特性(例えば、量子化ステップ幅)
との関係を予測し、圧縮SN比(画質)が要求を満たす
ように量子化手段を制御する。これにより、要求された
画質或いは安定した画質を容易に達成できる。
【0020】第2の発明によれば、SN比予測手段は、
例えば予め相関係数等を想定して演算をしておき、その
演算結果をテーブル化しているので、統計量演算手段及
び量子化誤差計測手段等の出力を入力すると、その入力
信号に応じた制御データを読出して量子化手段を制御す
る。これにより、量子化手段に対する制御の高速処理が
行える。
【0021】第3の発明によれば、SN比予測手段は、
例えば量子化誤差予測手段より得られた実画像の量子化
誤差と、予測量子化誤差との比を用いてSN比予測精度
を向上させる働きがある。従って、前記課題を解決でき
るのである。
【0022】
【実施例】図1は、本発明の実施例を示す画像圧縮符号
化装置の構成ブロック図であり、従来の図2中の要素と
共通の要素には共通の符号が付されている。
【0023】この画像圧縮符号化装置では、従来と同様
に、入力画像Siの冗長を取り除いて画像データS11
を出力する情報量圧縮手段11と、制御データS23
(例えば、量子化ステップ幅等)に基づき画像データS
11を量子化して量子化出力データS12を出力する量
子化手段12と、量子化出力データS12を符号化して
出力データSoを出力する符号化手段13とを備えてい
る。この装置が従来のものと異なる点は、入力画像Si
を入力する統計量演算手段21と、量子化手段12の入
出力側に接続される量子化誤差計測手段22と、該量子
化誤差計測手段22及び統計量演算手段21の出力側に
接続されるSN比予測手段23とを、付加したことであ
る。
【0024】統計量演算手段21は、入力された1枚の
入力画像Siの統計的性質(例えば、画像の平均、分散
及び相関等)を求め、それらの統計量S21をSN比予
測手段23へ与える機能を有している。量子化誤差計測
手段22は、入力された1画像の量子化前後の画像デー
タS11及び量子化出力データS12から、量子化誤差
電力S22を計測し、それをSN比予測手段23へ与え
る機能を有している。SN比予測手段23は、画像の統
計量S21に基づき、所定の量子化方法(例えば、量子
化ステップ幅)を用いた場合の該量子化ステップ幅と圧
縮SN比との関係を算出し、その予測圧縮SN比が外部
からの要求SI、或いは内部所定のSN比と一致するよ
うに、制御データS23(例えば、量子化ステップ幅)
を算出し、その量子化ステップ幅を量子化手段12へ与
える機能を有している。さらに、このSN比予測手段2
3は、量子化誤差計測手段22で計測された実圧縮画像
の量子化誤差電力S22と予測誤差電力との比から、圧
縮SN比の予測精度を向上する機能を有している。
【0025】次に、動作を説明する。入力画像Siが統
計量演算手段21及び情報量圧縮手段11に入力される
と、該統計量演算手段21では、入力された一枚のM×
Nの入力画像Si=g(x,y)に対し、次式(2)〜
(5)より、そのg(x,y)の平均値μ、分散σ2
横方向の相関係数ρH 、及び縦方向の相関係数ρV を求
める。
【0026】
【数2】
【0027】そして、それらの統計量S21=(μ,σ
2 ,ρH ,ρV )をSN比予測手段23へ出力する。
【0028】情報量圧縮手段11では、例えば、入力画
像Siを小ブロック(n×n)に分割した後、離散的余
弦変換(DCT)し、相関を取り除く。このDCTで
は、入力画像Si=gb (x,y)に対し、画像データ
S11=yb (u,v)が次式(6)〜(8)のように
なる。
【0029】
【数3】
【0030】量子化手段12は、SN比予測手段23か
ら与えられた制御データS23、例えば量子化ステップ
幅hを用い、入力された画像データS11=yb (u,
v)に対して図3及び(1)式の量子化を行い、量子化
出力データS12=Zb (u,v)を次式(10)に従い
出力する。
【0031】
【数4】
【0032】符号化手段13は、量子化出力データS1
2に対して、予め設定した符号を割り当て、その出力デ
ータSoを出力する。
【0033】量子化誤差計測手段22では、1画像の量
子化前の画像データS11と、量子化後の量子化出力デ
ータS12との平均自乗誤差(量子化誤差電力)S22
(=MSE)を計測し、その量子化誤差電力S22(=
MSE)をSN比予測手段23へ出力する。
【0034】量子化前の画像データS11をy(x,
y)、量子化後の量子化出力データS12をz(x,
y)とすると、量子化誤差電力S22(=MSE)は、
次式(11)のようになる。
【0035】
【数5】
【0036】SN比予測手段23では、先ず、統計量演
算手段21から与えられた画像の相関係数に基づき、情
報量圧縮手段11で冗長が取り除かれた画像データS1
1の、分散を予測する。例えば、情報量圧縮手段11が
ブロック余弦変換を用いるとすると、正規化された画像
データS11(σ2 =1)のブロック余弦変換後の各成
分yb (u,v)の分散σN 2 (n,v)は、次式(1
2)で表わせる。 そして、DCT後の各成分の分布が確率密度関数f
(x,σ,r)で表わせるとし、それを用いて量子化に
よる画像の量子化誤差電力を予測する。ここで、確率密
度関数f(x,σ,r)は、一般に、次式(13)で表わ
すことができる。
【0037】
【数6】
【0038】rは、分布特性を示すパラメータである。
画像の分布として良く用いられるガウス分布はr=2
で、ラプラス分布はr=1である。
【0039】量子化手段12として、例えば図3及び
(1)式の量子化器を用いる場合、量子化ステップ幅が
hで、量子化ステップ数が十分多い(Nが十分大きい)
とすると、正規化画像データのDCT後の各成分の量子
化誤差電力σEN 2 (u,v)は、次式(16)で表わすこ
とができる。 正規化画像の平均量子化誤差電力σEN 2 は、次式(1
7)のようになる。
【0040】
【数7】
【0041】そして、分散がσ2 の画像の予測量子化誤
差電力(σE 2 )とSN比(SNR)は、次式(18),
(19)のようになる。
【0042】
【数8】
【0043】以上の演算より、画像データの分布が既知
のものとし、ある画像の相関係数が分かれば、その画像
の正規化量子化誤差電力、及び圧縮SN比と量子化ステ
ップ幅との関係が予測できる。即ち、外部から要求され
る圧縮SN比が与えられたとすると、そこから量子化ス
テップ幅を予測することができる。
【0044】また、上述の演算は、予め相関係数を想定
して行うことができる。そのため、その演算結果をテー
ブル化しておけば、実画像に対する演算処理は、ルック
アップテーブルの形式で、非常に高速にできる。
【0045】図4〜図6は、相関係数ρH =ρv =ρと
して予め算出した正規化量子化ステップ幅hと、正規化
量子化誤差電力σ2 ENとの関係を示す図である。図4は
ガンマ(1/2)分布(r=1/2)の場合、図5はラ
プラス分布(r=1)の場合、図6はガウス分布(r=
2)の場合である。
【0046】さらにSN比予測手段23では、予測量子
化誤差電力σ2 E と実際の量子化誤差電力MSEとの比
S S=MSE/σE 2 ・・・(20) と取る。そして、S>1であれば分布係数rを少し上
げ、S<1ならばrを少し下げるなどして、予測の精度
を高めることができる。次式(21)は、分布係数rの変
更法の一例を示すものである。
【0047】
【数9】
【0048】このように、本実施例では、外部からの圧
縮SN比に対する要求SIに答えることができ、それに
よって安定した画質の画像圧縮が可能となる。
【0049】
【発明の効果】以上詳細に説明したように、第1の発明
によれば、SN比予測手段により、圧縮画像のSN比と
量子化手段の特性との関係を予測し、その予測結果に基
づき量子化手段を制御するようにしたので、ある一定品
質(SN比)の圧縮画像が要求された場合、その要求に
答えることができ、安定した画質の画像圧縮が可能とな
る。
【0050】第2の発明によれば、SN比予測手段を、
予め相関係数等を想定して演算をし、その演算結果をメ
モリ等を用いてテーブル化するようにしたので、入力信
号に応じた制御データが読出され、その読出された制御
データにより量子化手段が制御されるので、高速処理が
実現できる。
【0051】第3の発明によれば、SN比予測手段は、
予測量子化誤差電力と実量子化誤差電力とを比較し、画
像の分布関数を調節する構成になっているので、該SN
比予測手段における予測精度を向上でき、それによって
所望の圧縮SN比(画質)をより的確に得ることができ
る。
【図面の簡単な説明】
【図1】本発明の実施例を示す画像圧縮符号化装置の構
成ブロック図である。
【図2】従来の画像圧縮符号化装置を示す構成ブロック
図である。
【図3】Midtread型線形量子化器を説明する図
である。
【図4】本実施例における正規化量子化ステップ幅hと
正規化量子化誤差電力σEN 2 との関係を示すガンマ分布
の図である。
【図5】本実施例における正規化量子化ステップ幅hと
正規化量子化誤差電力σEN 2 との関係を示すラプラス分
布の図である。
【図6】本実施例における正規化量子化ステップ幅hと
正規化量子化誤差電力σEN 2 との関係を示すガウス分布
の図である。
【符号の説明】
11 情報量圧縮手段 12 量子化手段 13 符号化手段 21 統計量演算手段 22 量子化誤差計測手段 23 SN比予測手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原田 洋子 東京都港区虎ノ門1丁目7番12号 沖電気 工業株式会社内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 入力画像の時間的または空間的冗長を取
    り除く情報量圧縮手段と、前記情報量圧縮手段により冗
    長の取り除かれた画像データを量子化する量子化手段
    と、前記量子化手段の量子化出力データを符号化する符
    号化手段とを、備えた画像圧縮符号化装置において、 前記入力画像の統計的性質を演算してその統計量を出力
    する統計量演算手段と、 前記量子化手段の入出力画像データより量子化誤差電力
    を計測する量子化誤差計測手段と、 前記統計量及び量子化誤差電力から圧縮画像の信号対雑
    音比と前記量子化手段の特性との関係を予測し、該信号
    対雑音比が所定レベルになるように前記量子化手段を制
    御する信号対雑音比予測手段とを、 設けたことを特徴とする画像圧縮符号化装置。
  2. 【請求項2】 請求項1記載の画像圧縮符号化装置にお
    いて、 前記信号対雑音比予測手段は、前記予測の結果を予め演
    算により求めてテーブル化しておき、入力信号に応じた
    制御データを読出して前記量子化手段を制御する構成に
    した画像圧縮符号化装置。
  3. 【請求項3】 請求項1又は2記載の画像圧縮符号化装
    置において、 前記信号対雑音比予測手段は、予測量子化誤差電力と実
    量子化誤差電力とを比較し、画像の分布関数を調節する
    構成にした画像圧縮符号化装置。
JP19543491A 1991-08-05 1991-08-05 画像圧縮符号化装置 Expired - Fee Related JP2934342B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19543491A JP2934342B2 (ja) 1991-08-05 1991-08-05 画像圧縮符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19543491A JP2934342B2 (ja) 1991-08-05 1991-08-05 画像圧縮符号化装置

Publications (2)

Publication Number Publication Date
JPH0541859A true JPH0541859A (ja) 1993-02-19
JP2934342B2 JP2934342B2 (ja) 1999-08-16

Family

ID=16340998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19543491A Expired - Fee Related JP2934342B2 (ja) 1991-08-05 1991-08-05 画像圧縮符号化装置

Country Status (1)

Country Link
JP (1) JP2934342B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506623A (en) * 1991-12-19 1996-04-09 Sony Corporation Data compression methods and systems with quantization distortion measurement means
US6256420B1 (en) 1991-12-24 2001-07-03 Sony Corporation Data transmission system
JP2012182831A (ja) * 2012-05-22 2012-09-20 Canon Inc 画像符号化装置及びその制御方法、コンピュータプログラム
WO2016051906A1 (ja) * 2014-10-03 2016-04-07 ソニー株式会社 情報処理装置および情報処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63222593A (ja) * 1987-03-12 1988-09-16 Fujitsu Ltd 画像情報のフレ−ム間符号化方式

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63222593A (ja) * 1987-03-12 1988-09-16 Fujitsu Ltd 画像情報のフレ−ム間符号化方式

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506623A (en) * 1991-12-19 1996-04-09 Sony Corporation Data compression methods and systems with quantization distortion measurement means
US6256420B1 (en) 1991-12-24 2001-07-03 Sony Corporation Data transmission system
JP2012182831A (ja) * 2012-05-22 2012-09-20 Canon Inc 画像符号化装置及びその制御方法、コンピュータプログラム
WO2016051906A1 (ja) * 2014-10-03 2016-04-07 ソニー株式会社 情報処理装置および情報処理方法
JP2016076766A (ja) * 2014-10-03 2016-05-12 ソニー株式会社 情報処理装置および情報処理方法
US10284856B2 (en) 2014-10-03 2019-05-07 Sony Corporation Information processing device and information processing method
US10547845B2 (en) 2014-10-03 2020-01-28 Sony Corporation Information processing device and information processing method
US10771788B2 (en) 2014-10-03 2020-09-08 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
JP2934342B2 (ja) 1999-08-16

Similar Documents

Publication Publication Date Title
EP0763925B1 (en) Image encoding optimising the amount of generated code
US8509556B2 (en) Image coding apparatus and image coding method to generate a targeted amount of code
JPH05316360A (ja) 画像信号の符号化復号装置
US6912255B2 (en) Bit rate control through selective modification of DCT coefficients
JP2633793B2 (ja) 映像データの可変長符号化/復号化方法及び装置
US7136531B2 (en) Image encoder, image encoding method, image encoding computer program, and storage medium
KR20040011100A (ko) 개선된 비트율 제어 방법과 그 장치
EP0768008B1 (en) Device and method for coding video pictures
JPH09307904A (ja) 映像信号符号化システム用量子化器
US6373894B1 (en) Method and apparatus for recovering quantized coefficients
US6351226B1 (en) Block-by-block data compression with quantization control
US9781433B2 (en) Systems, methods, and apparatus for real-time video encoding
JPH10108184A (ja) 画像データ処理装置およびその方法
KR100438856B1 (ko) 능동적인 테이블 생성에의한 양자화/역양자화 방법 및 장치
JPH0541859A (ja) 画像圧縮符号化装置
JPH0541860A (ja) 画像圧縮符号化装置
JP2734905B2 (ja) 画像符号化装置
JP3297471B2 (ja) 画像符号化装置
JP3297472B2 (ja) 画像圧縮符号化装置
JPH03140074A (ja) 動画像符号化装置
JP2735001B2 (ja) 画像符号化装置
JPH05276391A (ja) 画像圧縮装置及び画像圧縮方法
JPH09107293A (ja) 符号量制御方法、及びその装置
JPH06284401A (ja) 画像符号化装置
JP3014547B2 (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19970107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees