JP2833236B2 - 画像の予測符号化方式 - Google Patents

画像の予測符号化方式

Info

Publication number
JP2833236B2
JP2833236B2 JP3031504A JP3150491A JP2833236B2 JP 2833236 B2 JP2833236 B2 JP 2833236B2 JP 3031504 A JP3031504 A JP 3031504A JP 3150491 A JP3150491 A JP 3150491A JP 2833236 B2 JP2833236 B2 JP 2833236B2
Authority
JP
Japan
Prior art keywords
signal
prediction
generating
block
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3031504A
Other languages
English (en)
Other versions
JPH04245884A (ja
Inventor
睦 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP3031504A priority Critical patent/JP2833236B2/ja
Priority to CA002060341A priority patent/CA2060341C/en
Priority to US07/829,770 priority patent/US5355378A/en
Publication of JPH04245884A publication Critical patent/JPH04245884A/ja
Application granted granted Critical
Publication of JP2833236B2 publication Critical patent/JP2833236B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は画像の予測符号化方式に
関する。
【０００２】
【従来の技術】画像の高能率符号化方式としてハイブリ
ッド符号化方式が知られている。これは予測符号化方式
で得られた、予測誤差信号を直交変換符号化するもので
ある。
【０００３】図２に従来のハイブリッド符号化装置の例
を示す。この装置では３つの予測器６００，６１０，６
２０を持ちそれぞれが局所復号信号を用いて予測信号を
生成している。予測方式としては、フレーム間予測、フ
ィールド間予測、フレーム内予測、それらに入力信号か
ら得られる動きベクトル情報を用いた動き補償方式、内
挿予測など様々な方式が挙げられる。予測信号と入力と
の差分を差分器１００，１１０，１２０でとることで予
測誤差信号が生成される。これらの予測誤差信号につい
てパワーの累積値等が計算され、比較器２００で比較さ
れ、ブロック毎の最適予測方式が決定される。その結果
に基づき予測誤差信号がスイッチ３００で、予測信号が
スイッチ３１０で選択される。予測誤差信号の方は直交
変換され量子化され符号化データとして出力される。そ
れと同時に逆量子化、逆変換されスイッチ３１０で選択
された加算器１３０で予測信号に加え合わされて局所復
号信号となる。この局所復号信号は前記の各種予測器に
供給される。
【０００４】この方式は高い符号化効率をあげるが、い
くつかの問題点が指摘されている。もっとも重要なの
は、主な処理がすべてブロック単位でありブロックの中
で処理が完結するために隣接ブロック間での処理結果の
違いがブロック歪みとして知覚化される点である。例え
ば直交変換符号化はブロック単位で行われるし、最適予
測方式の選択もブロック単位である。また動き補償予測
で用いられる動きベクトルもブロック単位である。この
ため予測誤差信号は、ブロック境界において不連続とな
りやすくこれが画質劣化の原因となる。
【０００５】この劣化を克服するために直交変換の方式
改善が提案されている。すなわち互に交わらないブロッ
ク別に変換するのでなく、互にオーバーラップしたブロ
ックに対して変換することでブロック境界をなくしてし
まう方式で、現在エム・ディー・シィー・ティー（ＭＤ
ＣＴ）やエル・オー・ティー（ＬＯＴ）などの方式が提
案されている。またフィルタによる周波数分解を行うサ
ブバンド符号化方式を用いることも提案されている。し
かしながら予測符号側のブロック処理、最適予測の選択
や動き補償予測などは依然としてブロック処理のままで
あり、前記の変換符号化部分の改善を行ってもブロック
歪みの問題は解決していなかった。
【０００６】そこで、本発明の目的は予測符号化におけ
るブロック歪みを除去することにある。
【０００７】
【課題を解決するための手段】本発明による画像の予測
符号化方式の第１の構成は、複数の予測信号を発生する
手段と、入力信号と前記予測信号から複数の予測誤差信
号を生成する手段と、複数画素からなる画像ブロック毎
に最適予測信号を決定する手段と、ブロック内の画素位
置情報から、現ブロックの最適予測手段と隣接ブロック
の最適予測手段への重み付け係数を前記隣接ブロックよ
り遠ければ小さく、近ければ大きくなるように画素毎に
決定する手段と、各予測手段から生成する予測信号に対
して前記重み付け係数を掛合わせ加え合わせることで、
画素毎の予測信号を生成する手段と、前記各予測誤差信
号に対して前記重み付け係数を掛合わせ加え合わせるこ
とで、画素毎の予測誤差信号を生成する手段と、前記画
素毎の予測誤差信号を変換符号化或いはサブバンド符号
化して量子化して符号化データを生成する手段と、前記
量子化された信号を逆量子化し逆変換符号化あるいはサ
ブバンド合成復号化する手段と、前記逆量子化され、逆
変換符号化あるいはサブバンド合成復号化された信号に
前記画素毎の予測信号を加え合わせ局所復号信号を生成
する手段と、前記局所復号信号を前記予測信号を発生す
る手段へ供給する手段とを有することを特徴とする。
【０００８】本発明による画像の予測符号化方式の第２
の構成は、入力信号から複数画素からなるブロック毎に
動きベクトル情報を検出する手段と、前記動きベクトル
情報を用いて動き補償フレーム間予測信号を生成する手
段と、入力画像信号と前記動き補償フレーム間予測信号
の差分を計算し予測誤差信号を生成する手段と、その予
測誤差信号を符号化出力する手段と、前記符号化出力さ
れた信号を復号化する手段と、前記復号化された信号と
前記動き補償フレーム間予測信号に加算し局所復号化信
号を生成する手段と、前記局所復号信号を前記予測信号
を発生する手段へ供給する手段とを有する動画像の動き
補償フレーム間予測符号化方式において、ブロック内の
画素位置情報から、現ブロックの動きベクトルと隣接ブ
ロックの動きベクトルへの重み付け係数を前記隣接ブロ
ックより遠ければ小さく、近ければ大きくなるように画
素毎に決定する手段と、隣接ブロックへの動きベクトル
信号に対して前記重み付け係数を掛合わせ加え合わせる
ことで、画素毎の動きベクトルを生成し、前記動き補償
フレーム間予測信号生成手段へ供給する手段とを有する
ことを特徴とする。
【０００９】
【作用】本発明はブロック単位で決定された予測方式を
画素単位に展開すること、その際に各種予測信号を加重
平均して予測信号を生成すること、そして隣接ブロック
間で予測信号の急激な変化が起こらないように加重平均
の重み付けを徐々に変化させることに特徴がある。
【００１０】すなわち本発明の第１の構成に従えば、複
数の予測手段を持ちブロック毎に最適予測方式を決定す
るが、その予測方式をそのまま用いるのではなく、その
予測方式と近隣のブロックでの予測方式を加重平均して
最終的な予測信号を得る。
【００１１】この加重平均の求め方は様々であるが、例
えば各ブロックの中心点のうち最寄の４点からの距離に
従って加重値を求めるなどの方法がある。
【００１２】また本発明の第２の構成に従えば、まず最
適な動きベクトルをブロック毎に求めるがそのベクトル
をそのまま予測に用いるのではなく、その動きベクトル
と近隣ブロックの動きベクトルを加重平均して画素毎に
動きベクトルを求め、その動きベクトルを用いて予測を
行う。
【００１３】これらの予測方式によってブロック境界で
予測信号に不連続点が生じるのを防ぐことが出来る。
【００１４】
【実施例】本発明に従って構成した符号化装置の例を図
１に示す。図２で示した従来方式と異なるのは３００と
３１０の予測方式を切り替えるスイッチが９００，９１
０，９２０，９３０，９４０，９５０の乗算器と３２
０，３３０の加算器によって予測誤差信号の加重平均回
路に置き換えられていることである。乗算器９００，９
１０，９２０は予測信号ではなくて予測誤差信号に対す
る回路であるが重み付け係数の和がちょうど１になって
いれば、予測信号を加重平均した後に予測誤差信号を求
めたことと等価になる。これらの乗算器に対して重み付
けを決定するのは重み決定回路２５０であり、ここで比
較器２００からやってきた各ブロック毎の最適予測方式
と対象となる信号の画素位置情報とから各予測方式の重
みを決定する。
【００１５】また動きベクトル検出器７００の後には動
きベクトル平滑化回路７２０が位置しており、ここでブ
ロック単位に入力された動きベクトル信号が画素単位の
動きベクトル信号に展開され予測器６００，６１０，６
２０に用いられるために出力される。
【００１６】
【発明の効果】本発明に従えば、ブロック境界で急激な
変化を起こさない予測信号と、予測誤差信号を得ること
が可能になりオーバーラップ変換符号化やサブバンド符
号化と組合せることでブロック歪みが無く、圧縮効率の
高い符号化方式が実現できる。
【図面の簡単な説明】
【図１】本発明にしたがって構成した符号化装置の例を
示すブロック回路図。
【図２】従来のハイブリッド符号化方式の例を示すブロ
ック回路図。
【符号の説明】
１００，１１０，１２０ 減算器 １３０，３２０，３３０ 加算器 ２００ 比較器 ３００，３１０ スイッチ ４００ 変換器 ４１０ 逆変換器 ５００ 量子化器 ５１０ 逆量子化器 ６００，６１０，６２０ 予測器 ７００ 動きベクトル検出器 ２５０ 重み付け係数決定器 ７２０ 平滑化回路 ９００，９１０，９２０，９３０，９４０，９５０
乗算器

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】 複数の予測信号を発生する手段と、入力
    信号と前記予測信号から複数の予測誤差信号を生成する
    手段と、複数画素からなる画像ブロック毎に最適予測信
    号を決定する手段と、ブロック内の画素位置情報から、
    現ブロックの最適予測手段と隣接ブロックの最適予測手
    段への重み付け係数を前記隣接ブロックより遠ければ小
    さく、近ければ大きくなるように画素毎に決定する手段
    と、各予測手段から生成する予測信号に対して前記重み
    付け係数を掛合わせ加え合わせることで、画素毎の予測
    信号を生成する手段と、前記各予測誤差信号に対して前
    記重み付け係数を掛合わせ加え合わせることで、画素毎
    の予測誤差信号を生成する手段と、前記画素毎の予測誤
    差信号を変換符号化或いはサブバンド符号化して量子化
    して符号化データを生成する手段と、前記量子化された
    信号を逆量子化し逆変換符号化あるいはサブバンド合成
    復号化する手段と、前記逆量子化され、逆変換符号化あ
    るいはサブバンド合成復号化された信号に前記画素毎の
    予測信号を加え合わせ局所復号信号を生成する手段と、
    前記局所復号信号を前記予測信号を発生する手段へ供給
    する手段とを有することを特徴とする画像の予測符号化
    方式。
  2. 【請求項２】 入力信号から複数画素からなるブロック
    毎に動きベクトル情報を検出する手段と、前記動きベク
    トル情報を用いて動き補償フレーム間予測信号を生成す
    る手段と、入力画像信号と前記動き補償フレーム間予測
    信号の差分を計算し予測誤差信号を生成する手段と、そ
    の予測誤差信号を符号化出力する手段と、前記符号化出
    力された信号を復号化する手段と、前記復号化された信
    号と前記動き補償フレーム間予測信号に加算し局所復号
    化信号を生成する手段と、前記局所復号信号を前記予測
    信号を発生する手段へ供給する手段とを有する動画像の
    動き補償フレーム間予測符号化方式において、ブロック
    内の画素位置情報から、現ブロックの動きベクトルと隣
    接ブロックの動きベクトルへの重み付け係数を前記隣接
    ブロックより遠ければ小さく、近ければ大きくなるよう
    に画素毎に決定する手段と、隣接ブロックへの動きベク
    トル信号に対して前記重み付け係数を掛合わせ加え合わ
    せることで、画素毎の動きベクトルを生成し、前記動き
    補償フレーム間予測信号生成手段へ供給する手段とを有
    することを特徴とする画像の予測符号化方式。
JP3031504A 1991-01-31 1991-01-31 画像の予測符号化方式 Expired - Fee Related JP2833236B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP3031504A JP2833236B2 (ja) 1991-01-31 1991-01-31 画像の予測符号化方式
CA002060341A CA2060341C (en) 1991-01-31 1992-01-30 Predictive coding device capable of coding image data signals without a discontinuity among blocks
US07/829,770 US5355378A (en) 1991-01-31 1992-01-31 Predictive coding device capable of coding image data signals without a discontinuity among blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3031504A JP2833236B2 (ja) 1991-01-31 1991-01-31 画像の予測符号化方式

Publications (2)

Publication Number Publication Date
JPH04245884A JPH04245884A (ja) 1992-09-02
JP2833236B2 true JP2833236B2 (ja) 1998-12-09

Family

ID=12333059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3031504A Expired - Fee Related JP2833236B2 (ja) 1991-01-31 1991-01-31 画像の予測符号化方式

Country Status (3)

Country Link
US (1) US5355378A (ja)
JP (1) JP2833236B2 (ja)
CA (1) CA2060341C (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US6005627A (en) * 1991-05-31 1999-12-21 Kabushiki Kaisha Toshiba Video coding apparatus
US5986713A (en) * 1991-05-31 1999-11-16 Kabushiki Kaisha Toshiba Video coding apparatus using inter-field prediction
EP0520765B1 (en) * 1991-06-25 1999-05-12 Canon Kabushiki Kaisha Movement vector detecting method/apparatus and encoding method/apparatus using such method/apparatus
US5539466A (en) * 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
US6160849A (en) * 1992-06-29 2000-12-12 Sony Corporation Selectable field and frame based predictive video coding
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
DE4305911A1 (de) * 1993-02-26 1994-09-01 Philips Patentverwaltung Videodecoder mit einer Steuereinheit
KR0126657B1 (ko) * 1993-10-28 1997-12-29 구자홍 디지탈 영상 복원을 위한 움직임 보상장치
JPH07170521A (ja) * 1993-12-15 1995-07-04 Canon Inc 画像処理装置
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
JPH08181984A (ja) * 1994-12-26 1996-07-12 Sharp Corp 画像圧縮装置および画像圧縮方法
GB9502748D0 (en) * 1995-02-13 1995-03-29 Snell & Wilcox Ltd Video signal processing
GB2303267B (en) * 1995-06-06 2000-03-22 Sony Uk Ltd Video compression
KR0180170B1 (ko) * 1995-06-30 1999-05-01 배순훈 움직임 추정 방법 및 추정 장치
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
KR100308627B1 (ko) * 1995-10-25 2001-11-02 마찌다 가쯔히꼬 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
GB2360662B (en) * 1999-05-13 2002-01-09 Nec Corp Picture coding apparatus
JP2000324498A (ja) * 1999-05-13 2000-11-24 Nec Corp 動画像符号化装置
US7885336B2 (en) * 2001-02-05 2011-02-08 Ati Technologies Ulc Programmable shader-based motion compensation apparatus and method
US6873735B1 (en) 2001-02-05 2005-03-29 Ati Technologies, Inc. System for improved efficiency in motion compensated video processing and method thereof
WO2005004492A2 (en) * 2003-06-25 2005-01-13 Thomson Licensing S.A. Method and apparatus for weighted prediction estimation using a displaced frame differential
WO2009090735A1 (ja) * 2008-01-16 2009-07-23 Hitachi, Ltd. 動きベクトル検出方法及び装置、並びに、プラズマディスプレイパネルの駆動方法及びプラズマディスプレイ装置
JP7284375B2 (ja) * 2019-01-15 2023-05-31 富士通株式会社 動画像符号化プログラム、及び動画像符号化装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4727421A (en) * 1984-10-04 1988-02-23 Nec Corporation Method of coding picture signal and picture coding/decoding apparatus utilizing the same
JPH069061B2 (ja) * 1986-03-26 1994-02-02 富士写真フイルム株式会社 画像デ−タの平滑化方法
JPH0720228B2 (ja) * 1987-04-30 1995-03-06 日本電気株式会社 画像の圧縮記録システム
US4969039A (en) * 1987-07-01 1990-11-06 Nec Corporation Image processing system operable in cooperation with a recording medium
JP2570384B2 (ja) * 1988-05-30 1997-01-08 日本電気株式会社 動画像信号の符号化・復号化方式
JP2826321B2 (ja) * 1988-07-23 1998-11-18 日本電気株式会社 直交変換符号化装置
JP3018377B2 (ja) * 1990-03-29 2000-03-13 沖電気工業株式会社 動きベクトルを用いた動き内挿方法及び装置
EP0476603B1 (en) * 1990-09-20 1997-06-18 Nec Corporation Method and apparatus for coding moving image signal
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation

Also Published As

Publication number Publication date
CA2060341A1 (en) 1992-08-01
CA2060341C (en) 1997-12-09
US5355378A (en) 1994-10-11
JPH04245884A (ja) 1992-09-02

Similar Documents

Publication Publication Date Title
JP2833236B2 (ja) 画像の予測符号化方式
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100813963B1 (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
JP5401009B2 (ja) 映像のイントラ予測符号化、復号化方法及び装置
KR100727972B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
EP1404136B1 (en) Image encoder, image decoder, image encoding method, and image decoding method
US8107749B2 (en) Apparatus, method, and medium for encoding/decoding of color image and video using inter-color-component prediction according to coding modes
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN102415098B (zh) 图像处理设备和方法
KR20080069110A (ko) 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
KR20080088046A (ko) 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2000102016A (ja) 動き補償予測回路
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR20090095011A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101043758B1 (ko) 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
JPH01228384A (ja) 領域分割を用いた動画像符号化方式
JP3804764B2 (ja) 動き補償予測特異値展開符号化装置
JP2001128183A (ja) 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体
TWI825742B (zh) 視訊編碼方法和裝置
JP3169147B2 (ja) 動画像データの高能率符号化装置
JP2625424B2 (ja) テレビ信号符号化装置
JPH05344491A (ja) フレーム間予測符号化方式
WO2000062554A1 (en) Image processing method and image processing device
JP2005101914A (ja) 映像信号復号化装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19980901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071002

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081002

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091002

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees