JPH06350983A - 画像信号用可変レート符号化装置および復号化装置 - Google Patents

画像信号用可変レート符号化装置および復号化装置

Info

Publication number
JPH06350983A
JPH06350983A JP13878293A JP13878293A JPH06350983A JP H06350983 A JPH06350983 A JP H06350983A JP 13878293 A JP13878293 A JP 13878293A JP 13878293 A JP13878293 A JP 13878293A JP H06350983 A JPH06350983 A JP H06350983A
Authority
JP
Japan
Prior art keywords
data
network
image signal
encoding
abandonment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP13878293A
Other languages
English (en)
Other versions
JP3194317B2 (ja
Inventor
Kazunari Irie
一成 入江
Ryozo Kishimoto
了造 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP13878293A priority Critical patent/JP3194317B2/ja
Publication of JPH06350983A publication Critical patent/JPH06350983A/ja
Application granted granted Critical
Publication of JP3194317B2 publication Critical patent/JP3194317B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 【目的】 画像信号用可変レート符号化装置および復号
化装置に関し、ネットワーク側からの符号化レート指示
信号に対して、柔軟にかつ速やかに符号化レートを変更
することができることを目的とする。 【構成】 量子化ステップサイズが異なる複数の量子化
テーブルを有し、ネットワークからの輻輳状態に応じた
符号化レート指示信号を受けて対応する量子化テーブル
を選択し、その量子化ステップサイズに応じた符号化レ
ートで画像信号を符号化する符号化手段と、画像信号の
符号化データを一旦蓄積してネットワークに送出するバ
ッファメモリとを備えた画像信号用可変レート符号化装
置において、符号化レート指示信号を受け、それが符号
化レートの低減を指示するときに、バッファメモリ内の
データの中から優先順位の低いデータを廃棄し、優先順
位の高いデータのみをネットワークに送出するデータ廃
棄処理手段を備える。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像信号のディジタル
伝送装置において、符号化レートの変更が可能な画像信
号用可変レート符号化装置および復号化装置に関する。
【0002】
【従来の技術】可変レート伝送が可能なネットワークと
接続して画像信号をディジタル伝送するシステムでは、
符号化装置に量子化ステップサイズが異なる複数の量子
化テーブルを用意し、ネットワークの輻輳状態に対応し
て量子化テーブルを切り替えて符号化レートを可変させ
る方式をとっている。
【0003】図4は、従来の画像信号用可変レート符号
化装置の構成例を示す。図において、量子化テーブル4
1は、大きい量子化ステップサイズから小さい量子化ス
テップサイズまでを含むテーブルである。符号化制御部
42は1つの量子化テーブルを選択し、符号化部43は
その量子化ステップサイズに応じた符号化レートで入力
される画像信号aを符号化する。バッファメモリ44
は、その符号化データbを一旦蓄積した後にネットワー
クに送出する。
【0004】従来装置では、量子化テーブル41の選択
によって対応する符号化レートを設定する構成になって
いる。すなわち、同一入力信号に対して大きい量子化ス
テップサイズの量子化テーブルを用いれば出力量子化レ
ベル数は少なくなり、それに対応付けるコード長も短く
できるので、結果的に符号化レートが低減できるという
ものである。逆に、小さい量子化ステップサイズの量子
化テーブルを選択すれば符号化レートは増加する。
【0005】なお、量子化テーブル41の選択は、符号
化制御部42の制御に基づいて行われる。符号化制御部
42は、バッファメモリ44内のデータ量cを監視し、
データ量が所定値より大きくなれば大きい量子化ステッ
プサイズの量子化テーブルを選択し、データ量が所定値
より小さくなれば小さい量子化ステップサイズの量子化
テーブルを選択することにより、所定の符号化レートに
なるように制御する。
【0006】また、符号化制御部42はネットワークか
らの符号化レート指示信号dを受け、対応する量子化ス
テップサイズの量子化テーブルを使用することにより符
号化レートを制御する。たとえば、ネットワークが輻輳
状態になった場合には、ネットワーク側から符号化レー
トを低減させる符号化レート指示信号dを受け、大きい
量子化ステップサイズの量子化テーブルに切り替えて符
号化レートを低減させるようになっている。なお、符号
化レート指示信号dには、その他にネットワークの輻輳
状態に対応して、符号化レートの増加あるいは所定の符
号化レートの設定を指示するものがある。
【0007】
【発明が解決しようとする課題】このように、従来の画
像信号用可変レート符号化装置における符号化レートの
変更は、量子化ステップサイズの異なる量子化テーブル
への切り替えによる方法がとられていた。
【0008】しかし、符号化処理中のデータに対しては
量子化テーブルの変更ができない。そのために、符号化
レートの低減指示から実際に符号化レートが低減される
までに処理遅延が生じ、その間にネットワークの輻輳に
よるデータ廃棄が生ずることがあった。また、バッファ
メモリ内にすでに蓄積されている符号化データについて
も処理遅延の問題は同様であり、量子化テーブルが速や
かに切り替わったとしても、実際に符号化レートが変更
になるのはバッファメモリ内の蓄積データがすべて送出
されてからとなっていた。このように、従来装置では符
号化レートの変更指示に対する応答が遅く、さらにバッ
ファメモリにおける遅延も加わるために、その間にネッ
トワーク上でデータ廃棄が生じて画像品質を劣化させる
ことがあった。
【0009】さらに、量子化テーブル自体を符号化装置
側から復号化装置側に伝送する方式では、量子化テーブ
ルの変更に伴って量子化テーブル自体の情報を伝送しな
ければならず、その分の符号化データが伝送できなくな
る。これでは、却って画像品質を劣化させることにな
り、符号化レート低減のために頻繁に量子化テーブルを
変更することができなかった。すなわち、量子化テーブ
ル自体を伝送する方式では、符号化レートを柔軟に変更
することができなかった。
【0010】本発明は、ネットワーク側からの符号化レ
ート指示信号に対して、柔軟にかつ速やかに符号化レー
トを変更することができる画像信号用可変レート符号化
装置および復号化装置を提供することを目的とする。
【0011】
【課題を解決するための手段】請求項1に記載の発明
は、量子化ステップサイズが異なる複数の量子化テーブ
ルを有し、ネットワークからの輻輳状態に応じた符号化
レート指示信号を受けて対応する量子化テーブルを選択
し、その量子化ステップサイズに応じた符号化レートで
画像信号を符号化する符号化手段と、画像信号の符号化
データを一旦蓄積してネットワークに送出するバッファ
メモリとを備えた画像信号用可変レート符号化装置にお
いて、符号化レート指示信号を受け、それが符号化レー
トの低減を指示するときに、バッファメモリ内のデータ
の中から優先順位の低いデータを廃棄し、優先順位の高
いデータのみをネットワークに送出するデータ廃棄処理
手段を備えたことを特徴とする。
【0012】請求項2に記載の発明は、ネットワークか
ら受信する符号化データを蓄積するバッファメモリと、
符号化データからその符号化に用いた量子化テーブル情
報を検出し、対応する量子化テーブルを用いて画像信号
に復号化する復号化手段とを備えた画像信号用可変レー
ト復号化装置において、復号化手段から出力される画像
信号を記録するフレームメモリと、受信する符号化デー
タを監視し、データ欠落を検出したときにフレームメモ
リに記録された前フレームまたは前後のフレームのデー
タを用いて対応する画像信号を補間再生する補間処理手
段とを備えたことを特徴とする。
【0013】
【作用】請求項1に記載の発明の符号化装置では、バッ
ファメモリに蓄積されているデータのうち優先順位の低
いデータを廃棄し、優先順位の高いデータのみをネット
ワークに送出することにより、符号化レートを直接変更
することができる。これにより、量子化テーブルの切り
替えおよびバッファメモリに起因する符号化レートの変
更遅延が解消され、ネットワーク側からの符号化レート
低減指示に対して速やかに応答することができる。な
お、量子化テーブルの切り替えは、データ廃棄に伴う符
号化レートの低減と同時あるいは所定時間経過後に行
う。
【0014】請求項2に記載の発明の復号化装置では、
受信する符号化データの欠落を検出したときに、フレー
ムメモリ上でその補間再生を行うことにより、符号化装
置側でのデータ廃棄に容易に対応することができる。す
なわち、符号化レートの低減に伴うデータ廃棄が生じて
も、復号化装置側ではそれを補間することにより画像品
質への影響を最小限に抑えることができる。
【0015】
【実施例】図1は、請求項1に記載の発明の画像信号用
可変レート符号化装置の実施例構成を示す。
【0016】図において、図4に示す従来と同一のもの
は同一符号を付した。すなわち、量子化テーブル41,
符号化制御部42,符号化部43およびバッファメモリ
44は従来と同一である。
【0017】本実施例では、データ廃棄処理部11およ
びデータ廃棄制御部12を備える。データ廃棄処理部1
1は、バッファメモリ44が出力する符号化データbを
取り込み、廃棄データ指示信号eに応じて符号化データ
bの中から優先順位の低いデータを廃棄し、ネットワー
クに廃棄処理された符号化データfを出力する。データ
廃棄制御部12は、ネットワークから符号化レート指示
信号dを受け、指示された符号化レートに対応して廃棄
対象となるデータの優先順位を決定し、データ廃棄処理
部11にその優先順位に従った廃棄データ指示信号eを
送出する。
【0018】ここで、バッファメモリ44に蓄積される
符号化データbの優先順位について、図3に示すMPE
G(Moving Picture Expert Group)方式による符号化デ
ータを例にとって説明する。なお、MPEG方式は、複
数の動画像フレームを一組として符号化処理する動画像
符号化の国際標準の一つになっている。
【0019】図3において、(1)は中2フレームについ
て両方向予測符号化したものである。なお、Iはフレー
ム内符号化データであり、Iフレームデータのみで画像
信号の復元が可能である。Pは前方予測符号化データで
あり、IフレームデータまたはPフレームデータを用い
て予測符号化を行っているので、再生にはこれらのデー
タの再生が必要である。Bは両方向予測符号化データで
あり、IフレームデータとPフレームデータ、または前
後のPフレームデータを用いて予測符号化を行っている
ので、再生にはこれらのデータの再生が必要である。
(2) はこの予測符号化による各データの伝送順序の例を
示したものであり、受信側における復号処理の順序に合
わせてI,P,B,B,P,…,I,B,Bの順に伝送
される。各データには、定位置に同期信号、データ種別
および動きベクトル等の予測に用いたサイド情報が含ま
れており、データの途中から区切りを検出して情報を取
り出したり、符号化データの復号処理が可能になってい
る。
【0020】この3種類のデータに対して、I,P,B
フレームの順に優先順位を付ける。すなわち、Iフレー
ムは一組の符号化データの復号化処理において基準とな
るので、最も高い優先順位を設定する。
【0021】データ廃棄制御部12は、ネットワークか
ら符号化レートの低減指示を受けると、最も優先順位の
低いBフレームデータを廃棄するようにデータ廃棄処理
部11に廃棄データ指示信号eを送出する。データ廃棄
処理部11では、この廃棄データ指示信号eに応じて、
まずBフレームのデータ送信を中止し、これを廃棄す
る。したがって、ネットワークにはIおよびPフレーム
のデータのみが送られることになり、符号化レートを速
やかに低減することができる。すなわち、ネットワーク
からの符号化レート低減指示に対して応答が早く、ネッ
トワークでのデータ廃棄を防止することが可能となる。
なお、Bフレームの廃棄に続いてPフレームの廃棄も可
能であり、さらに符号化レートを低減させることができ
る。
【0022】一方、受信側では廃棄されたフレームが間
引かれた状態となる。すなわち、再生フレーム数が通常
の復号フレーム数よりも少ない状態となるので、補間処
理が必要となる。したがって、本発明の画像信号用可変
レート符号化装置に対応する復号化装置が必要となる。
【0023】図2は、請求項2に記載の発明の画像信号
用可変レート復号化装置の実施例構成を示す。図におい
て、受信された符号化データfはバッファメモリ21を
介して復号化部22に入力され、符号化装置側での処理
に対応する量子化テーブル23を用いて復号化される。
復号化制御部24は、受信された符号化データfから符
号化に用いた量子化テーブルを識別し、対応する量子化
テーブル23を選択する。また、復号化制御部24は、
例えば符号化データfのシーケンス番号を監視し、符号
化装置側のデータ廃棄によって生じたデータ欠落を検出
してデータ補間制御部25に通知する。一方、復号化部
22で復号化された信号はフレームメモリ26に記録さ
れ、データ補間制御部25の制御によって欠落部分の補
間再生が行われ、復号化された画像信号aが生成され
る。
【0024】ここで、補間方法について説明する。その
1は、前フレームを繰り返し表示する方法である。その
2は、前後のフレームの画素値を距離により重み付け平
均した値を用いる方法である。これは、例えばn,n+
1,n+2,n+3フレームのうち、n+1およびn+
2フレームが廃棄された場合に、その両フレームの画素
値Fn+1(i,j),Fn+2(i,j)は、前後のフレームとの時間
距離に対応して、 Fn+1(i,j)={2・Fn(i,j)+Fn+3(i,j)}/3 Fn+2(i,j)={Fn(i,j)+2・Fn+3(i,j)}/3 に基づいて補間することができる。ただし、i,jは画
素の位置を表す。
【0025】なお、上式は4フレームのうち中2フレー
ムが廃棄された場合(図3においてBフレームが廃棄さ
れた場合)の補間方法であるが、定数の変更により任意
のパターンに拡張可能である。また、Pフレームを廃棄
した場合には、一組のフレームデータにおいて、そのP
フレーム以降のフレームについて前フレームのデータの
繰り返し表示、あるいは次の組のIフレームデータを用
いた補間により再生可能である。ただし、Pフレームの
廃棄は画像品質の劣化が顕著になる可能性があるので、
Bフレームの廃棄に続いては従来の量子化テーブルの切
り替えを優先する方法もある。
【0026】このように、バッファメモリ44内のデー
タ量cに応じて、またネットワークからの符号化レート
指示信号dに応じて量子化テーブルを選択し、符号化レ
ートを制御する従来機能は、本発明符号化装置における
機能と同時または時間差をおいて併用することが可能で
ある。
【0027】
【発明の効果】以上説明したように本発明は、量子化テ
ーブルの切り替えおよびバッファメモリに起因する符号
化レートの変更遅延を解消し、ネットワーク側からの符
号化レート低減指示に対して柔軟にかつ速やかに応答
し、符号化レートを低減することができる。したがっ
て、ネットワーク上で輻輳によるデータ廃棄を防止する
ことができ、可変レート符号化方式における画像品質の
安定化を図ることができる。
【0028】また、本発明の符号化装置では、優先順位
に従ってフレーム単位に廃棄しているので、受信側での
補間処理が容易になり、簡単な構成で対応する復号化装
置を実現することができる。また、これにより、一組の
フレームデータ全体が再生不能になるIフレームデータ
の廃棄が回避できるので、画像品質の大幅な劣化を防ぐ
ことができる。
【図面の簡単な説明】
【図1】請求項1に記載の発明の画像信号用可変レート
符号化装置の実施例構成を示すブロック図。
【図2】請求項2に記載の発明の画像信号用可変レート
復号化装置の実施例構成を示すブロック図。
【図3】MPEG方式による符号化処理例を示す図。
【図4】従来の画像信号用可変レート符号化装置の構成
例を示すブロック図。
【符号の説明】
11 データ廃棄処理部 12 データ廃棄制御部 21 バッファメモリ 22 復号化部 23 量子化テーブル 24 復号化制御部 25 データ補間制御部 26 フレームメモリ 41 量子化テーブル 42 符号化制御部 43 符号化部 44 バッファメモリ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 量子化ステップサイズが異なる複数の量
    子化テーブルを有し、ネットワークからの輻輳状態に応
    じた符号化レート指示信号を受けて対応する量子化テー
    ブルを選択し、その量子化ステップサイズに応じた符号
    化レートで画像信号を符号化する符号化手段と、 前記画像信号の符号化データを一旦蓄積してネットワー
    クに送出するバッファメモリとを備えた画像信号用可変
    レート符号化装置において、 前記符号化レート指示信号を受け、それが符号化レート
    の低減を指示するときに、前記バッファメモリ内のデー
    タの中から優先順位の低いデータを廃棄し、優先順位の
    高いデータのみをネットワークに送出するデータ廃棄処
    理手段を備えたことを特徴とする画像信号用可変レート
    符号化装置。
  2. 【請求項2】 ネットワークから受信する符号化データ
    を蓄積するバッファメモリと、 前記符号化データからその符号化に用いた量子化テーブ
    ル情報を検出し、対応する量子化テーブルを用いて画像
    信号に復号化する復号化手段とを備えた画像信号用可変
    レート復号化装置において、 前記復号化手段から出力される画像信号を記録するフレ
    ームメモリと、 前記受信する符号化データを監視し、データ欠落を検出
    したときに前記フレームメモリに記録された前フレーム
    または前後のフレームのデータを用いて対応する画像信
    号を補間再生する補間処理手段とを備えたことを特徴と
    する画像信号用可変レート復号化装置。
JP13878293A 1993-06-10 1993-06-10 画像信号用可変レート符号化装置 Expired - Fee Related JP3194317B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13878293A JP3194317B2 (ja) 1993-06-10 1993-06-10 画像信号用可変レート符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13878293A JP3194317B2 (ja) 1993-06-10 1993-06-10 画像信号用可変レート符号化装置

Publications (2)

Publication Number Publication Date
JPH06350983A true JPH06350983A (ja) 1994-12-22
JP3194317B2 JP3194317B2 (ja) 2001-07-30

Family

ID=15230083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13878293A Expired - Fee Related JP3194317B2 (ja) 1993-06-10 1993-06-10 画像信号用可変レート符号化装置

Country Status (1)

Country Link
JP (1) JP3194317B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191451A (ja) * 1995-01-10 1996-07-23 Canon Inc 動画像送信装置
WO2000030278A1 (fr) * 1998-11-12 2000-05-25 Sony Corporation Dispositif de multiplexage de donnees, procede de multiplexage de donnees et emetteur de donnees
WO2004054148A1 (ja) * 2002-12-11 2004-06-24 Sony Corporation 符号化伝送装置及び符号化伝送方法
JP2007049312A (ja) * 2005-08-08 2007-02-22 Canon Inc 画像復号装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
WO2008139515A1 (ja) * 2007-04-27 2008-11-20 Fujitsu Limited 信号出力装置、情報機器、信号出力方法および信号出力プログラム
US7765324B2 (en) 2003-06-10 2010-07-27 Sony Corporation Transmission apparatus and method, recording medium, and program thereof
JP2010245822A (ja) * 2009-04-06 2010-10-28 Hitachi Ltd 動画像符号化装置および動画像符号化方法
WO2011030680A1 (ja) * 2009-09-08 2011-03-17 ブラザー工業株式会社 符号化装置、符号化方法、および符号化プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101739174B1 (ko) * 2014-12-19 2017-06-08 목포해양대학교 산학협력단 콘필터형 유해미생물 제거 장치

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191451A (ja) * 1995-01-10 1996-07-23 Canon Inc 動画像送信装置
WO2000030278A1 (fr) * 1998-11-12 2000-05-25 Sony Corporation Dispositif de multiplexage de donnees, procede de multiplexage de donnees et emetteur de donnees
US7130265B1 (en) * 1998-11-12 2006-10-31 Sony Corporation Data multiplexing device and data multiplexing method, and data transmitter
US8699527B2 (en) 2002-12-11 2014-04-15 Sony Corporation Encoding/transmitting apparatus and encoding/transmitting method
WO2004054148A1 (ja) * 2002-12-11 2004-06-24 Sony Corporation 符号化伝送装置及び符号化伝送方法
US10812789B2 (en) 2002-12-11 2020-10-20 Sony Corporation Encoding/transmitting apparatus and encoding/transmitting method
US10264251B2 (en) 2002-12-11 2019-04-16 Sony Corporation Encoding/transmitting apparatus and encoding/transmitting method
US9843798B2 (en) 2002-12-11 2017-12-12 Sony Corporation Encoding/transmitting apparatus and encoding/transmitting method
US7765324B2 (en) 2003-06-10 2010-07-27 Sony Corporation Transmission apparatus and method, recording medium, and program thereof
JP2007049312A (ja) * 2005-08-08 2007-02-22 Canon Inc 画像復号装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP5093233B2 (ja) * 2007-04-27 2012-12-12 富士通株式会社 信号出力装置、情報機器、信号出力方法および信号出力プログラム
US8422866B2 (en) 2007-04-27 2013-04-16 Fujitsu Limited Signal output device, signal output method and readable-by-computer recording medium
WO2008139515A1 (ja) * 2007-04-27 2008-11-20 Fujitsu Limited 信号出力装置、情報機器、信号出力方法および信号出力プログラム
JP2010245822A (ja) * 2009-04-06 2010-10-28 Hitachi Ltd 動画像符号化装置および動画像符号化方法
WO2011030680A1 (ja) * 2009-09-08 2011-03-17 ブラザー工業株式会社 符号化装置、符号化方法、および符号化プログラム

Also Published As

Publication number Publication date
JP3194317B2 (ja) 2001-07-30

Similar Documents

Publication Publication Date Title
US5602592A (en) Moving picture compressed signal changeover apparatus
US5847760A (en) Method for managing video broadcast
KR100225542B1 (ko) 영상신호부호화방법 및 영상신호부호화장치
US20040234145A1 (en) Encoding apparatus, video camera
JPH08214305A (ja) ビデオエンコーダ制御システム
MXPA02011734A (es) Flexibilidad de error de video.
JPH0795584A (ja) 画像符号化装置
JPS61118085A (ja) 画像信号の符号化方式およびその装置
JPH06350983A (ja) 画像信号用可変レート符号化装置および復号化装置
JP3516450B2 (ja) ビットストリームの伝送方法及び伝送システム
JP3159230B2 (ja) 画像信号用可変レート符号化装置
US20020097797A1 (en) Method and apparatus for decoding picture signal at variable picture rate
US6885703B1 (en) Video code processing method, which can generate continuous moving pictures
JP2834134B2 (ja) 多重符号化装置及び多重復号化装置
JPH08191451A (ja) 動画像送信装置
JP3750217B2 (ja) 動画像符号化伝送装置
JP2936627B2 (ja) 廃築補償機能を備えた画像復号化方式
JP2002335528A (ja) 動画像復号化装置及び方法
JP3312635B2 (ja) 蓄積画像伝送方法および装置
JP3871217B2 (ja) 動画像受信装置
JP2000138932A (ja) 可変長復号化方法及び装置
JPS63105587A (ja) テレビジヨン信号適応補間復号化装置
JPS5997286A (ja) 符号化方式
JP3024380B2 (ja) 画像符号化制御方式
JPH0313792B2 (ja)

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090601

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090601

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100601

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees