JP3251576B2 - エラー補償方式 - Google Patents

エラー補償方式

Info

Publication number
JP3251576B2
JP3251576B2 JP04128790A JP4128790A JP3251576B2 JP 3251576 B2 JP3251576 B2 JP 3251576B2 JP 04128790 A JP04128790 A JP 04128790A JP 4128790 A JP4128790 A JP 4128790A JP 3251576 B2 JP3251576 B2 JP 3251576B2
Authority
JP
Japan
Prior art keywords
error
signal
drive signal
synthesis filter
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04128790A
Other languages
English (en)
Other versions
JPH03245199A (ja
Inventor
政巳 赤嶺
公生 三関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP04128790A priority Critical patent/JP3251576B2/ja
Publication of JPH03245199A publication Critical patent/JPH03245199A/ja
Application granted granted Critical
Publication of JP3251576B2 publication Critical patent/JP3251576B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】 [発明の目的] (産業上の利用分野) 本発明は、自動車電話等の移動体通信システムにおい
て回線エラーによる音質劣化を抑制するために用いられ
るエラー補償方式に関する。
(従来の技術) 自動車電話等の移動体通信システムにおいては、伝搬
径路上でビットエラーが生じ、音声品質が著しく劣化す
る問題がある。そこでビットエラーによる音声品質の劣
化を抑えるため、伝送路の誤り率が高い場合は復号化音
声の振幅を制限する方法が「復号化装置」(HI−20982
7)で提案されている。以下、この内容を説明する。
第7図は、ここに記載されているエラー補償法を含む
復号化装置の構成を示すブロック図である。
第7図において、501は入力端子であり、誤り訂正部5
02、フレーム周期検出部504、および誤り率測定部506に
接続されている。誤り訂正部502は復号器503に接続さ
れ、復号器503は可変振幅制限器507に接続され、可変幅
制限器507は出力端510に接続されている。フレーム周期
検出部504は誤り訂正部502、復号器503および誤り率測
定部506に接続され、誤り率測定部506は可変振幅制限器
507に接続されている。
次に上記実施例の動作について説明する。上記実施例
において、入力端501から入力された音声データから、
フレーム周期検出部504がフレームタイミングを獲得す
る。誤り訂正部502は入力端501から入力される音声デー
タの誤りを各フレーム毎に訂正し、復号器503は誤り訂
正を施された音声データを復号して音声信号を出力す
る。誤り率測定部506は入力端501から入力された音声デ
ータのフレーム周期ビットより伝送路の誤り率を測定
し、可変振幅制限器507を制御する。可変振幅制限器507
は伝送路の誤り率が一定値より低い場合、復号器503が
出力する復号化音声をそのまま出力端510へ出力し、誤
り率が一定値より高くなると復号器503が出力する復号
化音声を振幅制限して出力端510に出力する。
以上、述べたように、上記従来のエラー補償法でも伝
送路の誤り率が高くなると、出力音声を振幅制限するた
め、伝送路誤りによる雑音レベルを小さくすることがで
きる。
(発明が解決しようとする課題) しかしながら、上記従来の方法では、誤り率が高くな
ると復号出力を単純に絞っているので、雑音だけではな
く、音声のレベルも非常に小さくなってブッブッといっ
た後切れ々の音になってしまい音障りで不快な音を発す
るというんだいがあった。
本発明は、このような従来の問題点を解決するためな
されたものであり、伝送路エラーが多い場合でも雑音が
少なく自然な音声信号を再生することができるエラー補
償方式を提供することを目的とする。
[発明の構成] (課題を解決するための手段) 本発明は、固定長または可変長のフレーム毎に符号化
された音声信号系列をフレーム毎に入力する手段(10
0)と、前記音声信号系列の誤りを検出する手段(140)
と、前記音声信号系列の誤りを訂正する手段(130)
と、合成フィルタの予測パラメータ、合成フィルタの駆
動信号及び合成音声信号を得るために前記誤り訂正され
た音声信号系列を復号する手段(150)と、復号手段に
より得られる合成フィルタの予測パラメータを蓄積する
手段(160)と、復号手段により得られる合成フィルタ
の駆動信号を蓄積する手段(170)と、前記誤り検出手
段が一定以上の誤りを検出した場合に前記予測パラメー
タを蓄積する手段に蓄積されたピッチ周期に基づいて前
記駆動信号を蓄積する手段に蓄積された駆動信号の最後
から1ピッチ周期分の信号を切り出して(180)、切り
出された駆動信号を繰り返し接続することにより1フレ
ーム分の駆動信号を生成する手段(190)と、この駆動
信号を入力して合成音声信号を生成する手段(200)
と、前記誤り検出手段が一定以上の誤りを検出しなかっ
た場合に前記復号手段により得られた合成フィルタの予
測パラメータ及び合成フィルタの駆動信号を用いて合成
音声信号を生成する手段(334)とを具備したことを特
徴とするエラー補償方式を提供するものである。
(作用) 本発明において、入力手段はフレーム同期を確立して
符号化された音声信号系列をフレーム毎に入力し、音声
信号系列を誤り訂正手段と誤り検出手段へ出力する。誤
り訂正手段は音声信号系列の誤り訂正を行ない、誤り検
出手段は音声信号系列に一定以上の誤りがあったか否か
を検出する。復号手段は音声信号系列を復号し、合成フ
ィルタの予測パラメータ、合成フィルタの駆動信号を出
力する。合成フィルタの予測パラメータを蓄積する手段
と、合成フィルタの駆動信号を蓄積する手段は、音声信
号系列に一定以上の誤りが存在しないフレームの予測パ
ラメータと駆動信号をそれぞれ蓄積し、一定以上の誤り
が存在しないフレーム毎に更新する。また一定以上の誤
りが存在しなかった場合には、前記復号手段により得ら
れた予測パラメータ、駆動信号を用いて合成音声信号を
再生する。音声信号系列に一定以上の誤りがあった場合
には蓄積された予測パラメータの一部の情報であるピッ
チ周期に基づいて蓄積された駆動信号から1ピッチ周期
分の信号を切り出し、切り出された1ピッチ周期分の信
号を用いて合成音声を再生する。
(実施例) 以下、図面を参照して本発明の実施例について詳細に
説明する。
第1図と第2図はそれぞれ本発明の一実施例に係る符
号化装置と復号化装置のブロック図である。
第1図において、10は入力端子でありディジタル化さ
れた音声信号系列が入力される。入力された音声信号系
列はまず、符号化部20において符号化され、次に誤り訂
正符号化部30において誤り訂正符号が付加され、バッフ
ァ40へ出力される。誤り訂正符号としては公知の種々の
符号を用いることができるが移動体通信においてはバー
ストエラーが発生するので、バーストエラーに対する訂
正能力の高いリードソロモン符号を本実施例では用いる
ことにする。バッファ40では2フレーム分の符号化信号
系列を蓄積し、インタリーブ部へ接続する。インタリー
グ部では、例えば第3図に示すように、フレームAの符
号化信号系列の一部とフレームBの符号化信号系列の一
部からフレームB′の符号化信号系列よりを構成するよ
うに2フレームの符号化信号系列を入れ替えて伝送用の
フレームを構成する。このようにすることによって1フ
レーム中のバーストエラーが2フレームにランダム化さ
れるので、回線エラーによる合成音声の品質劣化を少な
くすることができる。60は符号化装置の出力端子であ
る。符号化部20の構成、動作については後述する。次に
復号化装置の説明を行う。
第2図において、バッファ110は入力端子100から入力
した復号化信号系列を2フレーム分蓄積する。ディンタ
リーブ部120は、インタリーブ部50との逆の処理をする
もので、第3図においてフレームA′,B′からフレーム
Aの符号化信号系列を構成する。誤り訂正部130は、フ
レーム毎に符号化信号系列に対しリードソロモンの誤り
訂正復号化を行い復号化信号系列の誤り訂正を行う。そ
れと共に、シンドロームを計算し、それを誤り検出部14
0へ出力する。誤り訂正符号については「符号理論」
(嵩化著、コロナ社)に詳述されている。
誤り検出部140は、誤り訂正部130で計算されたシンド
ロームから誤ったシンボル数を求め、その数が誤り訂正
能力より大のときError=1、以下のときError=0をパ
ラメータメモリ160、駆動信号メモリ170、切り出し回路
180、スイッチ回路210へ出力する。復号部150は誤り訂
正された符号化信号を復号し、合成フィルタのパラメー
タをパラメータメモリ160と、合成フィルタのパラメー
タの一部であるピッチ周期を切り出し回路180へ出力
し、合成フィルタの駆動信号を駆動信号メモリ170へ、
復号音声信号をスイッチ回路210へ出力する。復号部の
構成、動作については後述する。
パラメータメモリ160は、誤り検出部140の出力がErro
r=0のとき、復号部150の出力である合成フィルタのパ
ラメータを更新しながら蓄積する。同様に駆動信号メモ
リ170はError=0のとき、復号部の出力である駆動信号
を更新しながら蓄積する。切り出し回路180は、誤り検
出部140の出力がError=1のとき駆動信号メモリ170に
蓄積されている駆動信号の最後(Error=1となる直前
のフレーム)のサンプル点から1ピッチ周期サンプル分
の信号を切り出し、それを駆動信号生成回路190へ出力
する。駆動信号生成回路190では、1ピッチ周期分の駆
動信号をくり返し接続することにより1フレーム分の駆
動信号を生成し、合成フィルタ200へ出力する。合成フ
ィルタ200は駆動信号生成回路190で生成された駆動信号
を入力し、パラメータメモリ160に蓄積されているパラ
メータ、すなわち、誤り訂正が行われたフレームのパラ
メータを用いて音声信号を合成し、スイッチ回路210へ
出力する。スイッチ回路210は、誤りの発生が誤り訂正
可能な範囲(Error=0)のときは復号部150の出力であ
る復号音声信号を出力端子220へ出力し、誤りの発生か
誤り訂正能力以上(Error=1)のとき合成フィルタ200
の出力である合成音声信号を220へ出力する。次に、第
1図と第2図における符号化部と復号部の構成と動作に
ついて説明する。
第4図と第5図はそれぞれ、符号化部と復号部の一構
成例を示すブロック図である。
第4図において、フレームバッファ311は入力端子310
に入力される音声信号を1フレーム分蓄積する回路であ
り、第4図の各ブロックはフレームバッファ311を用い
てフレーム毎またはサブフレーム毎に以下の処理を行
う。
予測パラメータ計算回路312は、予測パラメータを公
知の方法を用いて計算する。予測フィルタ314が第6図
に示すような長時間予測フィルタ351と短時間予測フィ
ルタ352を継続接続して構成される場合、予測パラメー
タ計算回路312はピッチ周期とピッチ予測係数および線
形予測係数、(αパラメータまたはKパラメータ)を自
己相関法や共分散法等の公知の方法で計算する。計算法
については、例えば前記文献2(古井貞照著「ディジタ
ル音声処理」1985年東海大学出版会発行)に記述されて
いる。計算された予測パラメータは、予測パラメータ符
号化回路313へ入力される。予測パラメータ符号化回路3
13は、予測パラメータを予め定められた量子化ビット数
に基づいて符号化し、この符号をマルチプレクサ325に
出力すると共に、復号値を予測フィルタ314と合成フィ
ルタ315および聴感重みフィルタ320に出力する。予測フ
ィルタ314は、入力の音声信号と予測パラメータを入力
として予測残差信号を計算し、それを密度パターン選択
回路315へ出力する。
密度パターン選択回路315としては、本実施例におい
てはまず1フレームの予測残差信号を複数個のサブフレ
ームに分割し、それぞれのサブフレームの予測残差信号
の2乗和を計算する。次に、予測残差信号の2乗和を基
にサブフレームでの駆動パルス列信号の密度(パルス間
隔)パターンを求める。その具体的な方法の一例は、密
度パターンとしてパルス間隔が最短の2種類、パルス間
隔が長いサブフレームの個数を予め設定しておき、予測
残差信号の2乗和が大きいサブフレームの順にパルス間
隔が短くなる密度パターンを選択する方法である。
ゲイン計算回路327は選択された密度パターンの情報
を入力とし、駆動信号のゲインを例えばパルス間隔の短
い全サブフレームの予測残差信号の標準偏差を用いて2
種類求める。得られた密度パターンとゲインはそれぞれ
符号化回路316,328で符号化され、マルチプレクサ325に
入力されると共に、それらの復号値が駆動信号生成回路
317へ入力される。駆動信号生成回路317は、符号化回路
316,328から入力される密度パターンとゲイン、コード
ブック324から入力される駆動パルスの正規化された振
幅、および位相探索回路322から入力される駆動パルス
の位相を基に、サブフレーム単位で密度が可変の駆動信
号を生成する。
m番目のサブフレームにおける駆動パルスのゲインを
G(m)、駆動パルスの正規化された振幅をgi(m)、パルス
数をQm、パルスの位相をKm、サブフレームの長さをLと
おくと、駆動信号ex(m)(n)は次式で記述できる。
なお、位相Kmはサブフレームにおけるパルスの先頭位
置である。また、(n)はクロネッカのデルタ関数であ
る。
駆動信号生成回路317で生成された駆動信号は合成フ
ィルタ318に入力され、合成信号が出力される。合成フ
ィルタ318は、予測フィルタ314と逆フィルタの関係にあ
る。減算回路319の出力である入力音声信号と合成信号
との誤差は、聴感重みフィルタ320によりそのスペクト
ルが変形された後、2乗誤差計算回路321へ入力され
る。聴感重みフィルタ320は、伝達関数が で表わされるフィルタで、従来例における重み付けフィ
ルタと同様に聴感のマスキング効果を利用するためのも
のであり、文献2に詳述されているので説明は省略す
る。
2乗誤差計算回路321は、聴感重み付けされた誤差信
号の2乗和をコードブック324に蓄積されたコードベク
トル毎に、および位相探索回路322から出力される駆動
パルスの位相毎に計算し、計算結果を位相探索回路322
と振幅探索回路323へ出力する。振幅探索回路323は、位
相探索回路322から出力される駆動パルスの位相1個毎
に、誤差信号の2乗和を最小とするコードワードのイン
デックスをコードブック324から探索し、2乗和の最小
値を位相探索回路322へ出力すると共に、2乗和を最小
とするコードワードのインデックスを保持する。位相探
索回路322は、選択された密度パターンの情報を入力と
し、駆動パルス列の位相Kmを1≦Km≦Dmの範囲で変化さ
せ、その値を駆動信号生成回路317に与え、Dm個の位相
に対してそれぞれ決まる誤差信号の2乗和の最小値を振
幅探索回路323から受け、そのDm個の最小値の中で最も
小さい2乗和に対応する位相をマルチプレクサ325に出
力すると同時に、振幅探索回路323にその位相を知らせ
る。振幅探索回路323では、その位相に対応するコード
ワードのインデックスをマルチプレクサ325に出力す
る。マルチプレクサ325は予測パラメータ、密度パター
ン、ゲイン、駆動パルスの位相および振幅の符号を多重
化し、出力端子326を介して伝送路へ出力する。なお、
減算回路319の出力を聴感重みフィルタ320を介さずに直
接2乗誤差計算回路321へ入力してもよい。
次に、第5図に示す復号化装置について説明する。第
5図において、デマルチプレクサ331は入力端子330から
入力された符号を予測パラメータ、密度パターン、ゲイ
ン、駆動パルスの位相・振幅の符号に分離する。復号化
回路332,337はそれぞれ前記駆動パルスの密度パターン
と駆動パルスのゲインの符号を復号し、駆動信号生成回
路333へ出力する。コードブック335は第4図の符号化装
置内のコードブック324と同じものであり、送られた駆
動パルスの振幅のインデックスに対応するコードワード
を駆動信号生成回路333へ出力する。予測パラメータ復
号化回路336は、第4図の予測パラメータ符号化回路313
で符号化された予測パラメータの符号を復号し、合成フ
ィルタ334へ出力すると共に予測パラメータの一部であ
るピッチ周期を出力端子346へ出力する。駆動信号生成
回路333は、符号化装置内の駆動信号生成回路317と同様
に、入力された駆動パルスの正規化された振幅と駆動パ
ルスの位相を基に、サブフレーム単位で密度が可変の駆
動信号を生成し、それを合成フィルタ334と出力端子345
へ出力する。合成フィルタ334は符号化装置内の合成フ
ィルタ318と同じものであり、駆動信号と予測パラメー
タを受けて、合成信号をバッファ338へ出力する。バッ
ファ338は、入力される信号をフレーム毎に結合し、合
成信号を出力端子339へ出力する。
[発明の効果] 以上、説明したように、本発明によれば一符号化信号
系列に誤り訂正能力以上の誤り訂正不可能な誤りが発生
した場合には、単純に出力のレベルを制限するのではな
く、誤り訂正が行われたフレームの合成フィルタのパラ
メータと駆動信号を用いて音声信号を再生するので移動
体通信のような伝達路の誤り率が高い劣悪な環境でも、
雑音が少なく音がとぎれとぎれになることなく自然な音
声を得ることができる。また、本発明では、駆動信号の
レベルで誤り訂正不可能なフレームの補間処理を行って
いるので、補間処理に伴って、駆動信号の波形に不連続
点が生じても合成フィルタを通過することによって不連
続点が平滑され再生音声では、不連続音が分からなくな
るという効果がある。
【図面の簡単な説明】
第1図は、本発明の一実施例に係る符号化装置のブロッ
ク図、第2図は、本発明の一実施例に係る復号化装置の
ブロック図、第3図は、第1図におけるインタリーブ部
の動作を説明するためのフレーム構成図、第4図は、第
1図における符号化部の一右姓例を示すブロック図、第
5図は、第2図における復号部の一構成例を示すブロッ
ク図、第6図は、第4図における予測フィルタの構成を
示すブロック図、第7図は、従来のエラー補償法を含む
復号化装置のブロック図である。 20……符号化部、30……誤り訂正符号化部、 30,110……バッファ、50……インタリーブ部、 120……デインタリーブ部、130……誤り訂正部、 140……誤り検出部、150……復号部、 160……パラメータメモリ、 170……駆動信号メモリ、180……切り出し回路、 190……駆動信号生成回路、200……合成フィルタ、 210……スイッチ回路、312……予測パラメータ計算回
路、 313……不幸化回路、314……予測フィルタ、 315……密度パターン選択回路、 316……符号化回路、317……駆動信号生成回路、 318……ゲイン計算回路、319……減算回路、 320……聴感重みフィルタ、 321……2乗誤差計算回路、 322……位相探索回路、323……振幅探索回路、 324……コードブック、325……マルチプレクサ、 328……符号化回路、331……デマルチプレクサ、 332,337,336……復号化回路、 333……駆動信号生成回路、 334……合成フィルタ、338……バッファ、 351……長時間予測フィルタ、 352……短時間予測フィルタ、 502……誤り訂正部、503……復号器、 504……フレーム周期検出部、 506……誤り率測定部、507……可変振幅制限器、
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−67999(JP,A) 特開 平1−248200(JP,A) 特開 平2−84699(JP,A) 特開 昭59−153346(JP,A) 特開 平1−213036(JP,A)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】固定長または可変長のフレーム毎に符号化
    された音声信号系列をフレーム毎に入力する手段と、前
    記音声信号系列の誤りを検出する手段と、前記音声信号
    系列の誤りを訂正する手段と、合成フィルタの予測パラ
    メータ、合成フィルタの駆動信号及び合成音声信号を得
    るために前記誤り訂正された音声信号系列を復号する手
    段と、復号手段により得られる合成フィルタの予測パラ
    メータを蓄積する手段と、復号手段により得られる合成
    フィルタの駆動信号を蓄積する手段と、前記誤り検出手
    段が一定以上の誤りを検出した場合に前記予測パラメー
    タを蓄積する手段に蓄積されたピッチ周期に基づいて前
    記駆動信号を蓄積する手段に蓄積された駆動信号の最後
    から1ピッチ周期分の信号を切り出して、切り出された
    駆動信号を繰り返し接続することにより1フレーム分の
    駆動信号を生成する手段と、この駆動信号を入力して合
    成音声信号を生成する手段と、前記誤り検出手段が一定
    以上の誤りを検出しなかった場合に前記復号手段により
    得られた合成フィルタの予測パラメータ及び合成フィル
    タの駆動信号を用いて合成音声信号を生成する手段とを
    具備したことを特徴とするエラー補償方式。
JP04128790A 1990-02-23 1990-02-23 エラー補償方式 Expired - Lifetime JP3251576B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04128790A JP3251576B2 (ja) 1990-02-23 1990-02-23 エラー補償方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04128790A JP3251576B2 (ja) 1990-02-23 1990-02-23 エラー補償方式

Publications (2)

Publication Number Publication Date
JPH03245199A JPH03245199A (ja) 1991-10-31
JP3251576B2 true JP3251576B2 (ja) 2002-01-28

Family

ID=12604233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04128790A Expired - Lifetime JP3251576B2 (ja) 1990-02-23 1990-02-23 エラー補償方式

Country Status (1)

Country Link
JP (1) JP3251576B2 (ja)

Also Published As

Publication number Publication date
JPH03245199A (ja) 1991-10-31

Similar Documents

Publication Publication Date Title
JP3102015B2 (ja) 音声復号化方法
JP2746033B2 (ja) 音声復号化装置
KR102171293B1 (ko) 음성 부호화 장치, 음성 부호화 방법, 음성 부호화 프로그램, 음성 복호 장치, 음성 복호 방법 및 음성 복호 프로그램
JPH06149296A (ja) 音声符号化方法及び復号化方法
JPH11122120A (ja) 符号化方法及び装置、並びに復号化方法及び装置
JPH07123242B2 (ja) 音声信号復号化装置
JP2002268696A (ja) 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体
KR100299070B1 (ko) 음성억제장치
JP3251576B2 (ja) エラー補償方式
JP3131437B2 (ja) 誤り補償方式
JP3649854B2 (ja) 音声符号化装置
JP3308783B2 (ja) 音声復号化装置
JP4597360B2 (ja) 音声復号装置及び音声復号方法
JPH11298448A (ja) 誤り訂正符号生成方法および誤り訂正処理方法ならびに音声符号化装置および音声復号化装置
JP3824706B2 (ja) 音声符号化/復号化装置
JP3364827B2 (ja) 音声符号化方法、音声復号化方法及び音声符号化復号化方法並びにそれ等の装置
JPH01177225A (ja) 音声信号符号化復号化方式及びその装置
JP2947008B2 (ja) 音声符号化装置
EP1527440A1 (en) Speech communication unit and method for error mitigation of speech frames
JP2817196B2 (ja) 音声符号化方式
JPH06138898A (ja) 音声符号化装置
JPH0865275A (ja) 音声信号の受信方法
KR20000013870A (ko) 음성 부호화기에서 피치 예측을 이용한 오류 프레임 처리 방법및 그를 이용한 음성 부호화 방법
JPH02176800A (ja) 音声信号復号化装置
JPH11249697A (ja) ピッチ位置抽出方法及びピッチ位置抽出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 9

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 9