JP2971094B2 - 画像符号化装置 - Google Patents

画像符号化装置

Info

Publication number
JP2971094B2
JP2971094B2 JP9619990A JP9619990A JP2971094B2 JP 2971094 B2 JP2971094 B2 JP 2971094B2 JP 9619990 A JP9619990 A JP 9619990A JP 9619990 A JP9619990 A JP 9619990A JP 2971094 B2 JP2971094 B2 JP 2971094B2
Authority
JP
Japan
Prior art keywords
unit
frame
image signal
image
frame encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP9619990A
Other languages
English (en)
Other versions
JPH03295380A (ja
Inventor
賢一郎 細田
伸二 川口
光夫 辻角
豊 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP9619990A priority Critical patent/JP2971094B2/ja
Publication of JPH03295380A publication Critical patent/JPH03295380A/ja
Application granted granted Critical
Publication of JP2971094B2 publication Critical patent/JP2971094B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、伝送系において符号化画像信号の欠落等が
生じた場合にも高品質の再生画像信号を得ることができ
る画像符号化装置に関する。
[従来の技術] 第2図に従来の画像符号化装置を含む画像パケット符
号化装置、及び、従来の画像復号化装置を含む画像パケ
ット復号化装置の概略図を示す(野村他著、「DCTを用
いたフレーム間符号化におけるセル廃棄の影響とその対
策について」、1988年度画像符号化シンポジウム、pp85
−86)。
第2図(A)は符号化装置を示している。第2図
(A)において、入力端子21より入力された画像信号s
は、フレーム毎に幾つかのn×n画素よりなるブロック
に分割された後、離散コサイン変換器(DCT変換器)22
でブロック単位に離散コサイン変換される。得られた離
散コサイン係数から、減算器23によってフレームメモリ
24に記憶されている1フレーム前の対応ブロックの離散
コサイン係数が減算され、これらの差分値dが得られ
る。差分値dは量子化器25で符号iに変換されてスキャ
ン器26へ出力される。
また、この符号iは量子化器25の逆特性を有する逆量
子化器27へ送られ、逆量子化された後、加算器20によっ
て、差分値dを得るのに用いた1フレーム前の離散コサ
イン係数と加算されて局部再生離散コサイン係数に変換
されてフレームメモリ24へ出力される。この局部再生離
散コサイン係数は次フレームの符号化に用いられる。
このような処理系によって、離散コサイン係数に対し
て予測符号化した符号iが得られる。
スキャン器26は、第3図に示すように、入力された符
号iをブロック単位に対角方向に繰返し往復しながら順
次スキャンする。なお、第3図は、8×8画素のブロッ
クの符号iのスキャンニング順序を示している。このと
き、スキャンを低周波数成分iLと高周波数成分iHに2分
割することによって符号iを階層化する。階層化された
符号成分iL、iHはそれぞれ、対応する可変長符号化器2
8、29に送られてランレングス・ハフマン符号化された
後、パケット組立部210で、それぞれ優先セル、非優先
セルに階層化されて同一種類のパケット(セル)に組立
てられ、伝送路に送出される。
すなわち、各セルにはヘッダ情報として優先/非優先
を示す情報を付加する。網に優先度を持つ階層構造を導
入し、網輻輳時に生じるセル廃棄に対して、画像信号に
とって重要な低域要素を含む優先セルを廃棄させずに、
非優先セルから廃棄させることとし、廃棄による画質劣
化を最小限に抑えている。
第2図(B)は復号化装置の構成を示している。第2
図(B)において、符号化装置から送られてきたセルは
パケット分解部211で分解され、符号化画像データ及び
復号化に必要となるパラメータに分けられる。優先セ
ル、非優先セルを構成していた符号化画像データ(低域
符号iLについてのデータ、高域符号iHについてのデー
タ)はそれぞれ、対応する可変長復号化部212、213でラ
ンレングス/ハフマン復号化される。その後、データ合
成部214で優先/非優先に分割されていた画像符号(低
域符号iL、高域符号iH)が再構成され、さらに、符号化
装置でのスキャンの逆操作によって各ブロックごとの再
生符号isを得る。
再生符号isは、逆量子化器215で量子化器25の逆処理
である逆量子化が施され、その後、フレームメモリ216
に記憶されている1フレーム前の対応ブロックの再生離
散コサイン係数と加算器217で加算され、再生離散コサ
イン係数に交換される。再生離散コサイン係数に対して
逆DCT変換器218で離散コサイン変換の逆変換が行なわ
れ、これにより得られた再生画像信号ssが出力端子219
より出力されると共に、次フレームの処理のためにフレ
ームメモリ216に格納される。
[発明が解決しようとする課題] ところで、セルの伝送網として非同期転送モード(AT
M)網が検討されている。この非同期転送モード網での
信号劣化要因として、網輻輳に起因するセル廃棄が生じ
ることが知られている。
以上述べた画像パケット符号化/復号化装置では、セ
ル内のデータの重要度にしたがってセルに優先度をもた
せ、網についても優先チャネル/非優先チャネルといっ
た階層化された回線が用意されていることを前提として
いる。これによって優先度の高いセルを廃棄から保護す
ることによって画質劣化を抑えようとするものである
が、そのための制御構成等が複雑になっていた。
また、優先概念を導入しているが、優先チャネルが容
量不足となることも場合によっては生じ、優先セルが廃
棄されることもあり得る。このときの再生画質に及ぼす
影響は非常に大きくなる。
さらに、セル廃棄等、伝送路で誤りが生じた場合に
は、フレーム間符号化で用いられるフレームメモリ24と
フレーム間復号化で用いられるフレームメモリ216の内
容が不一致となり、適切に復号できず、この状態が長時
間に渡って伝播するといった問題もある。
本発明は、以上の点を考慮してなされたものであり、
階層化された網を用いることを前提としないで、しかも
伝送系で誤りが生じた場合にも大きな悪影響が長時間伝
播することを防止できて高画像品質を確保できる画像符
号化装置を提供しようとするものである。
[課題を解決するための手段] 本発明の画像符号化装置は、再生画像信号の高品質の
確保を期し、以下の要素から構成されている。
すなわち、入力画像信号を、画像で最も重要である低
域成分と他の帯域成分に分割する帯域分割フィルタ手段
と、分割された入力画像信号の低域成分をフレーム内符
号化するフレーム内符号化手段と、入力画像信号の低域
成分以外の帯域成分をフレーム間符号化するフレーム間
符号化手段とを備えている。
ここで、フレーム内符号化手段は、フレーム内符号化
と他の符号化とを組み合わせた構成であることもあり、
フレーム間符号化手段は、フレーム間符号化と他の符号
化とを組み合わせた構成であることもある。
なお、フレーム間符号化手段における符号化された信
号から予測信号を形成するためのループに、リーク操作
を行なうリーケージ部を設けることが好ましい。
[作用] 本発明において、帯域分割フィルタ手段は、入力画像
信号を、画像で最も重要である低域成分と他の帯域成分
に分割して低域成分をフレーム内符号化手段に与え、他
の帯域成分をフレーム間符号化手段に与える。フレーム
内符号化手段は、分割された入力画像信号の低域成分を
フレーム内符号化し、フレーム間符号化手段は、入力画
像信号の低域成分以外の帯域成分をフレーム間符号化す
る。このようにして符号化画像信号が形成される。
ここで、画像上重要な低域成分に対してフレーム内符
号化方法を採用しているのは、伝送系で符号化画像信号
に欠落等が生じた場合にも、その悪影響が1フレーム内
に止まるためである。
なお、フレーム間符号化手段における符号化された信
号から予測信号を形成するためのループに、リーク操作
を行なうリーケージ部を設けた場合には、このリーク操
作によって、符号化画像信号の欠落等による画像劣化を
時間経過と共に復帰させることができる。
[実施例] 画像パケット符号化装置の全体 本発明の一実施例の画像符号化装置を内蔵する画像パ
ケット符号化装置を説明する。
第1図はこの画像パケット符号化装置の構成を示すも
のであり、第4図及び第5図はそれぞれそのフレーム内
符号化部及びフレーム間符号化部の詳細構成を示すもの
である。
第1図において、入力端子11より入力された画像信号
は、2次元帯域分割フィルタとしてのQMF(Quadrature
Mirror Filter)部12によって、フレーム単位に水平方
向及び垂直方向のそれぞれについて高域成分と低域成分
の2帯域ずつに分割され、フレーム全体として2次元空
間周波数領域において4帯域の信号成分に分割される。
分割されて得られた4帯域のそれぞれの画像信号成分
は、対応するデシメーション部(間引き部)13、14、1
5、16に与えられ、水平方向及び垂直方向のそれぞれに
ついてサンプルが1/2ずつ間引かれ、計1/4に間引かれた
画像信号成分SLL、SLU、SUL、SUU(添字は水平方
向、垂直方向の順で、Lは低域成分を、Uは高域成分を
示す)が得られる。
水平方向及び垂直方向共に低域の周波数成分である画
像信号成分SLLは、第4図に詳細構成を示すフレーム内
符号化部17に与えられ、他の画像信号成分SLU、SUL、
SUUはそれぞれ、第5図に詳細構成を示す対応する動き
補償フレーム間符号化部18、19、110に与えられる。各
符号化部17、18、19、110は与えられた画像信号成分を
符号化し、その符号化値iLL、iLU、iUL、iUUを対応する
可変長符号化部111、112、113、114に与える。
各可変長符号化部111、112、113、114は、入力符号値
iLL、iLU、iUL、iUUを例えばランレングス/ハフマン符
号化してMUX部(多重部)115に出力する。
MUX部115は、入力符号を1系列の信号に多重してパケ
ット組立部116に与え、パケット組立部116はこれをある
一定の長さのセルに組み立てて、例えばATM伝送網に送
信する。この際にはヘッダ情報としてセル内の情報の種
類(どの帯域の信号であるか等)及び復号化に必要とな
るパラメータ(ブロック平均値hや動きベクトルMV L
U、MV UL、MV UU)等が付加される。
ここで、水平方向及び垂直方向共に低域の周波数成分
である画像信号成分SLLに対してのみフレーム内符号化
を用いるようにしたのは、かかる画像信号成分SLLは画
像にとって重要な成分であるため、この画像信号成分S
LLがセル廃棄等によって長期に渡って不安定であること
はまずく、フレーム内符号化を採用することでセル廃棄
の影響をそのフレーム内にとどめ、次フレームに影響を
及ぼさないようにしたためである。
フレーム内符号化部の詳細 次に、水平方向及び垂直方向共に低域の周波数成分で
ある画像信号成分SLLを符号化するフレーム内符号化部
17について説明する。
第4図において、入力画像信号成分SLLはブロック分
割部41に与えられる。ブロック分割部41は、フレーム単
位にn×n画素からなるいくつかのブロックに分割し
て、各ブロック毎の信号成分を平均値計算部42及び減算
器43に与える。平均値計算部42はブロック内平均値hを
計算して減算器43に与える。減算器43は、信号成分から
ブロック内平均値hを減算して得られた差分値dLLを例
えば離散コサイン変換器でなる直交変換部44に与える。
直交変換部44は、差分値dLLを直交変換して量子化器45
に与え、量子化器45はこの直交交換係数を量子化して出
力符号iLLを得る。
なお、平均値計算部42で得られたブロック内平均値h
は、上述したように、復号化処理に必要なパラメータと
して画像パケット復号化装置に伝送される。
フレーム間符号化部の詳細 次に、画像信号成分SLL以外の画像信号成分SLU、S
UL、SUUを符号化するフレーム間符号化部18、19、110
について説明する。
第5図において、入力画像信号成分SLU、SUL又はS
UUはブロック分割部51に与えられる。ブロック分割部51
は、入力画像信号成分を、フレーム単位にn×n画素か
らなるいくつかのブロックに分割して減算器52に与え
る。減算器52は、この信号成分から、動き補償部53から
与えられるこの信号成分の予測値を減算し、差分値dL
U、dUL又はdUUを例えば離散コサイン変換部でなる直交
変換部54に与える。直交変換部54は、差分値dLU、dUL又
はdUUをブロック毎に直交変換して量子化器55に与え、
量子化器55は直交変換係数を量子化し、得られた符号iL
U、iUL又はiUUを出力する。
この符号iLU、iUL又はiUUは逆量子化部56に与えら
れ、この逆量子化部56で量子化部55の逆処理が行われて
局部再生の直交変換係数に変換されて逆直交変換部57に
与えられる。逆直交変換部57は、この局部再生直交変換
係数に対して直交変換部54の逆処理を施して局部再生の
差分値を得て加算器58に与える。加算器58には、動き補
償部53から出力された、動き補償された1フレーム前の
局部再生直交変換係数(予測値)が与えられており、加
算器58は局部再生直交変換係数とこの予測値とを加算し
て局部再生の画像信号成分を得、この局部再生の画像信
号成分をリーケージ部59に与える。リーケージ部59は、
局部再生の画像信号成分にリーク係数α(1より小さ
い)を乗じた後、フレームメモリ510に与えて格納させ
る。
フレームメモリ510に格納された画像信号成分は、次
フレームの処理に用いられるものであり、動き補償部53
を介して動き補償されて上述したように予測値として減
算器52に与えられる。
なお、動き補償部53には、信号線の図示は省略してい
るがブロック分割部51からの画像信号成分が与えられて
おり、この画像信号成分とフレームメモリ510に格納さ
れている1フレーム前の信号とから動きベクトル(例え
ば、水平方向及び垂直方向の一対の動きベクトルでな
る)を検出し、この動きベクトルに基づいて動き補償を
行なっている。上述したように、この動きベクトル情報
MV LU、MV UL、MV UUは、復号化処理に必要なパラメー
タとして画像パケット復号化装置に伝送される。
画像パケット復号化装置の全体 次に、上記実施例に係る画像パケット符号化装置に対
応する、画像パケット復号化装置を説明する。
第6図はこの画像パケット復号化装置の構成を示すも
のである。
第6図において、伝送路からのセルはパケット分解部
61に与えられて分解される。パケット分解部61は、ま
た、セル廃棄位置の検出も行なう。パケット分解部61で
分解されたデータはDEMUX部(多重分離部)62に与えら
れる。
DEMUX部62は、これを符号化画像情報と復号化に必要
となるパラメータ(動きベクトル等)に分け、さらに、
各帯域の信号成分に分けて、それぞれ対応する可変長復
号化部63、64、65、66に与える。
可変長復号化部63、64、65、66は、上述した可変長符
号化部111、112、113、114の逆処理を行なって再生符号
YLL、YLU、LUL、YUU(それぞれiLL、iLU、iUL、iUU
に対応)を得て対応する復号化部67、68、69、610に与
える。水平方向及び垂直方向共に低域の画像信号成分に
係る再生符号YLLはフレーム内復号化部67に与えられ、
他の再生符号YLU、YUL、YUUはフレーム間復号化部6
8、69、610に与えられる。
各復号化部67、68、69、610は、再生符号YLL、YL
U、YUL、YUUに対する復号化を行ない、これにより得
た再生画像信号成分S′LL、S′LU、S′UL、S′UUを
それぞれ、対応するインターポレーション部(サンプル
補間部)611、612、613、614に与える。
各インターポレーション部611、612、613、614はそれ
ぞれ、与えられた再生画像信号成分S′LL、S′LU、
S′UL、S′UUを水平方向及び垂直方向に2倍ずつの計
4倍アップサンプリングしてQMF部615に与える。QMF部6
15はアップサンプリングされた各画像信号成分をフィル
タリングし、その後、4帯域の信号を合成して出力端子
616から再生画像信号を出力する。
ところで、一般にフレーム間符号化において伝送中に
誤りが生じると、符号化器内のフレームメモリ110と復
号化器内のフレームメモリ(図示せず)が非同期状態に
なり、誤りが時間経過と共に伝播するという問題があ
る。そこで、この実施例では、上述したリーケージ部を
付加することより時間経過と共に符号化器と復号化器の
フレームメモリを同期させることができるようにしてい
る。なお、リーケージ部を付加することで予測誤差が増
加して符号化効率が低下することが考えられるが、リー
ケージ部を設けるのは、ベースバンド以外の帯域の画像
信号成分SLU、SUL又はSUUに対してであり、比較的パ
ワーが小さいので、実用上問題はない。
実施例の効果 画像上重要成分である低域成分に対してフレーム内符
号化/復号化を適用しているので、セル廃棄の影響をそ
のフレーム内にとどめることができ、次にフレームに影
響を及ぼさないようにすることができる。
このような符号化/復号化方法を採用していることに
よって、各セルを階層化する必要がなくなり、また、伝
送路上で優先制御を行なう必要がなくなる。
他の実施例 画像符号化装置から画像復号化装置への伝送形態は、
パケット伝送に限定されない。例えば、記録媒体に対す
る記録再生という伝送形態であっても良い。
動きベクトルやブロック平均値等のパラメータの伝送
方法は、種々のものを適用できる。
また、帯域分割フィルタとしてはQFM以外のものを適
用しても良く、また、2次元ではなく1次元の帯域分割
フィルタを適用するようにしても良い。
フレーム内符号化方法は、上述した平均値を求めて行
なうものの他、ライン相関を利用するものや隣接画素と
の相関を利用するものであっても良い。
[発明の効果] 以上のように、本発明によれば、画像で最も重要であ
る入力画像信号の低域成分に対してフレーム内符号化を
行ない、他の帯域成分に対してフレーム間符号化を行な
うようにしたので、階層化された網を用いることを前提
とせず、しかも伝送系で誤りが生じた場合にも大きな悪
影響が長時間伝播することを防止できて高画像品質を確
保することができる。
【図面の簡単な説明】
第1図は本発明の一実施例に係る画像パケット符号化装
置を示すブロック図、第2図は従来の画像パケット符号
化装置/復号化装置を示すブロック図、第3図はその装
置における低域成分及び高域成分の取出し方法を示す説
明図、第4図は第1図のフレーム内符号化部を示すブロ
ック図、第5図は第1図のフレーム間符号化部を示すブ
ロック図、第6図は上記実施例に係る画像パケット符号
化装置に対応する画像パケット復号化装置を示すブロッ
ク図である。 12……QMF部、17……フレーム内符号化部、18、19、110
……フレーム間符号化部、59……リーケージ部。
フロントページの続き (72)発明者 植田 豊 東京都港区虎ノ門1丁目7番12号 沖電 気工業株式会社内 (56)参考文献 特開 平2−62176(JP,A) 特開 昭63−73786(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】入力画像信号を、画像を低域成分と他の帯
    域成分に分割する帯域分割フィルタ手段と、 前記分割された入力画像信号の低域成分をフレーム内符
    号化するフレーム内符号化手段と、 前記分割された入力画像信号の低域成分以外の帯域成分
    をフレーム間符号化するフレーム間符号化手段とを備
    え、このフレーム間符号化手段は、 前記分割された入力画像信号成分から予測値を減算して
    差分値を生成する減算器と、 前記差分値を直交変換する直交変換部と、 前記直交変換された差分値を量子化する量子化部と、 前記量子化部の出力を逆量子化する逆量子化部と、 前記逆量子化部の出力を逆直交変換する逆直交変換部
    と、 前記逆直交変換部からの出力に対してリーク操作を行な
    うリーケージ部とを有し、 前記リーケージ部からの出力を前記予測値の生成に用い
    ることを特徴とする画像符号化装置。
  2. 【請求項2】前記フレーム間符号化手段は動きベクトル
    情報を生成する動き補償部を有することを特徴とする請
    求項1に記載の画像符号化装置。
JP9619990A 1990-04-13 1990-04-13 画像符号化装置 Expired - Lifetime JP2971094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9619990A JP2971094B2 (ja) 1990-04-13 1990-04-13 画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9619990A JP2971094B2 (ja) 1990-04-13 1990-04-13 画像符号化装置

Publications (2)

Publication Number Publication Date
JPH03295380A JPH03295380A (ja) 1991-12-26
JP2971094B2 true JP2971094B2 (ja) 1999-11-02

Family

ID=14158618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9619990A Expired - Lifetime JP2971094B2 (ja) 1990-04-13 1990-04-13 画像符号化装置

Country Status (1)

Country Link
JP (1) JP2971094B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021603B2 (ja) * 1990-10-25 2000-03-15 三菱電機株式会社 映像パケット符号化装置、映像パケット復号化方法および映像パケット廃棄方法
JP3002019B2 (ja) * 1991-07-04 2000-01-24 富士通株式会社 セル廃棄補償機能を有する画像符号化伝送方式
US6016154A (en) * 1991-07-10 2000-01-18 Fujitsu Limited Image forming apparatus
US7685498B2 (en) * 2004-05-31 2010-03-23 Panasonic Corporation Digital broadcasting system and digital broadcast transmission and reception method

Also Published As

Publication number Publication date
JPH03295380A (ja) 1991-12-26

Similar Documents

Publication Publication Date Title
Le Gall The MPEG video compression algorithm
EP0691054B1 (en) Efficient transcoding device and method
EP0892560B1 (en) Picture encoding method and picture encoding apparatus
KR100289587B1 (ko) 화상 신호 부호화 방법 및 화상 신호 부호화 장치, 화상 신호 복호화 방법 및 화상 신호 복호화장치,및 화상 신호 기록매체
KR100253931B1 (ko) 디지탈 영상 시퀀스의 디코딩 방법 및 장치
AU766680B2 (en) Method for converting digital signal and apparatus for converting digital signal
KR100393125B1 (ko) 동화상의 부호화방법 및 복호화방법
JP2549479B2 (ja) 動き補償フレーム間帯域分割符号化処理方法
JP3093458B2 (ja) 可変レート符・復号化装置
JP3189258B2 (ja) 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP2001211455A (ja) 画像符号化方法及び画像符号化装置
PL175445B1 (pl) Sposób i urządzenie do kodowania sygnału wizyjnego
JP2830883B2 (ja) 動画像符号化装置及びその復号装置
EP1841235A1 (en) Video compression by adaptive 2D transformation in spatial and temporal direction
JP4028900B2 (ja) 動画像符号化装置及び動画像復号化装置
JP2971094B2 (ja) 画像符号化装置
US5614953A (en) Image signal decoding apparatus having an encoding error compensation
JP2647229B2 (ja) 画像符号化装置
JPH06209456A (ja) 小型の高品位テレビジョン受信機に用いるためのデコーディングシステム
JP3166501B2 (ja) 画像再圧縮方法及び画像再圧縮装置
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
JPH0591498A (ja) 帯域分割動画像符号化装置
JP2647230B2 (ja) 画像復号化装置
JPH07107464A (ja) 画像符号化装置および復号化装置
JPH10126794A (ja) 動き予測フレーム間画像信号圧縮装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070827

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090827

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090827

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100827

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100827

Year of fee payment: 11