JPH07212279A - 反響消去装置 - Google Patents

反響消去装置

Info

Publication number
JPH07212279A
JPH07212279A JP559794A JP559794A JPH07212279A JP H07212279 A JPH07212279 A JP H07212279A JP 559794 A JP559794 A JP 559794A JP 559794 A JP559794 A JP 559794A JP H07212279 A JPH07212279 A JP H07212279A
Authority
JP
Japan
Prior art keywords
echo
signal
echo path
path
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP559794A
Other languages
English (en)
Other versions
JP3293706B2 (ja
Inventor
Shoji Makino
昭二 牧野
Yutaka Kaneda
豊 金田
Masafumi Tanaka
雅史 田中
Yoichi Haneda
陽一 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP00559794A priority Critical patent/JP3293706B2/ja
Publication of JPH07212279A publication Critical patent/JPH07212279A/ja
Application granted granted Critical
Publication of JP3293706B2 publication Critical patent/JP3293706B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

(57)【要約】 【目的】 語と語の区切り、息継ぎなどの無音区間でも
安定に動作し、収束速度を遅くすることなく、大きな反
響消去量を得る。 【構成】 入力信号x(n) からベクトルx(n) 、その
ノルム‖x(n) ‖2 を得る。x(n) 、反響信号y(n)
、残差信号e(n) から回路23で反響路の騒音レベル
を検出し、これに応じた正定数βを決定する。回路25
でのe(n) x(n)/(‖x(n) ‖2 +β)(α:ス
テップサイズ)を演算し、その結果を前回の推定反響路
インパルス応答h(n) ′に加算してh(n+1) ′とし
て擬似反響路に設定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、2線4線変換系およ
び拡声通話系などにおいてハウリングの原因および聴覚
上の障害となる反響信号を、反響路の特性を推定して設
定した擬似反響路よりの信号により消去する反響消去装
置、特に反響路の特性推定を学習同定法あるいはES法
により行う反響消去装置に関するものである。
【0002】
【従来の技術】衛星通信や音声会議の普及に伴い、同時
通話性能に優れ、反響感の少ない通話装置の提供が望ま
れている。この要求を満たすものとして反響消去装置が
ある。図6は従来の反響消去装置の一例を示すブロック
図で、拡声通話の場合を示している。受信信号(入力信
号)x(t) を受ける受話入力端1からスピーカ2に至る
受話系と、マイクロホン3から送話出力端4に至る送話
系とからなる通話系において、A/D変換器5により受
話信号x(t) がサンプル値化され、その受話信号x(n)
が擬似反響路6へ供給され、擬似反響路6からの擬似反
響信号y(n) ′を、マイクロホン3から入力され、A/
D変換器7によりサンプル値化された反響信号y(n) か
ら減算器8で差し引くことにより反響信号y(n) は消去
され、その消去された残りの信号がD/A変換器9でア
ナログ信号に変換されて送話出力端4へ出力される。
【0003】ここで擬似反響路6は反響路11の経時変
動に追従する必要がある。この構成例において擬似反響
路6はディジタルFIRフィルタを用いて構成し、残差
信号e(n) =y(n) −y(n) ′が0に近づくように、例
えばLMS法、学習同定法またはES法などを用いた推
定回路12によってフィルタ係数の逐次修正を行なう。
このように擬似反響路6の修正が行なわれることによっ
て、常に最適な反響消去が維持される。
【0004】学習同定法により、擬似反響路6は次の
(1)式に従って逐次修正され、擬似反響路6のインパ
ルス応答h(n) ′は新の反響路のインパルス応答h
(n) に近づいてゆく。 h(n+1) ′=h(n)′+αe(n) x(n) /‖x(n) ‖2 (1) ただし、h (n)′=(h1(n)′, h2(n)′, …, hL (n) ′)
T :擬似反響路(FIRフィルタ)6のインパルス応
答、つまりフィルタ係数x (n) =(x(n),x(n-1),…, x(n-L+1))T :受話信
号ベクトル α:ステップサイズ(スカラ量) e(n) :残差信号(=y(n) −y(n) ′) y(n) ′=h(n) ′T x(n) L:擬似反響路6のタップ数T :ベクトルの転置 n:離散化時間 ‖x(n) ‖:ベクトルx(n) のノルム演算 図7は学習同定法を用いた推定回路12の内部の一例を
示したものである。
【0005】受話信号x(n) は受話信号記憶回路13で
受話信号ベクトルx(n) とされると共にノルム演算回
路14で‖x(n) ‖2 が演算される。ステップサイズ
記憶回路15にはステップサイズαが記憶される。x
(n) ,‖x(n) ‖2 ,e(n) ,αは修正情報生成回路
16に供給されて αe(n) x(n) /‖x(n) ‖2 (2) が演算され、その演算結果は加算器17へ供給されてタ
ップ係数記憶回路18からのh(n) ′に加算されて
h(n+1) ′が得られる。その演算結果h(n+1)′は
擬似反響路6へ出力されると同時に、タップ係数記憶回
路18の値を更新する。
【0006】以上の操作により、擬似反響路6は(1)
式に従って逐次修正され、擬似反響路6のインパルス応
答h(n) ′は真の反響路11のインパルス応答h
(n) に近づいてゆく。ES法は、学習同定法において従
来スカラ量として与えられていたステップサイズαをス
テップサイズ行列Aという対角行列に拡張したもの
で、音響エコー経路の変動特性に着目した手法である
(詳細は特願昭63−45163に記載されている)。
ES法により、収束速度を学習同定法の約2倍に改善で
きる。ES法により擬似反響路6は次の(3)式に従っ
て逐次修正され、擬似反響路6のインパルス応答h
(n) ′は真の反響路11のインパルス応答h(n) に近
づいてゆく。
【0007】 h(n+1) ′=h(n) ′+Ae(n) x(n) /‖x(n) ‖2 (3) ただし、A = diag[α1 ,α2 ,…,αL ] :ステップサイズ
行列 αi =α0 λi-1 (i=1,2,…,L) λ:インパルス応答変動量の減衰率(0<λ<1) 図8はES法を用いた推定回路12の内部の一例を示し
たものであり、図7と対応する部分には同一符号を付け
てある。
【0008】受話信号x(n) は受話信号記憶回路13で
受話信号ベクトルx(n) とされると共にノルム演算回
路14で‖x(n) ‖2 が演算される。ステップサイズ
行列記憶回路19にはステップサイズ行列Aが記憶さ
れる。x(n) ,‖x(n) ‖2 ,e(n) ,Aは修正
情報生成回路21に供給されて Ae(n) x(n) /‖x(n) ‖2 (4) が演算され、その出力は加算器17へ供給されてタップ
係数記憶回路18からのh(n) ′に加算されてh(n
+1) ′が得られる。この演算結果h(n+1) ′は擬似反
響路6へ出力されると同時に、タップ係数記憶回路18
の値を更新する。
【0009】以上の操作により、擬似反響路6は(3)
式に従って逐次修正され、擬似反響路6のインパルス応
答h(n) ′は真の反響路11のインパルス応答h
(n) に近づいてゆく。
【0010】
【発明が解決しようとする課題】学習同定法およびES
法は、入力信号が白色信号のように定常な信号であれば
安定した動作を示す。しかし、音声信号のように語と語
の区切り、息継ぎなどによって無音区間が生じる場合に
は、学習同定法の(1)式およびES法の(3)式は、
入力信号ベクトルx(n) が零となって零除算を行なう
ことになるため発散し、擬似反響路(フィルタ)6は大
きく乱れる。その結果、このような無音区間では反響消
去量が低下するという問題があった。実際の反響消去装
置では、入力信号がないときには擬似反響路の適応修正
を止めるなどの対策(ダブルトーク制御)が講じられて
いるが、微小時間の無音区間にまでダブルトーク制御を
適用するのは困難であり、その解決策が強く求められて
いた。
【0011】この発明は上記の問題点に鑑みてなされた
もので、学習同定法あるいはES法を用いるが、微小時
間の無音区間がある場合にも収束速度を遅くすることな
く反響消去量の大きな反響消去装置を提供することを目
的とする。
【0012】
【課題を解決するための手段】この発明によれば、零除
算防止用の正の定数βが記憶部に記憶され、その定数β
は反響路の騒音レベルに応じてそれが大きいと大きく選
定されている。反響路の推定手段では学習同定法あるい
はES法の修正項における分母に定数βを加算して修正
演算が行われる。
【0013】さらに、定数βの大きさは周囲騒音レベル
に応じて適応的に決定される。
【0014】
【作用】この発明は、上記のように構成したから、音声
信号のように語と語の区切り、息継ぎなどによって無音
区間が生じる場合にも安定に動作し、収束速度を遅くす
ることなく反響消去量の大きな反響消去装置を得ること
ができる。学習同定法における(1)式の分母に正の定
数βを加えることにより、次の(5)式となり、微小時
間の無音区間があり、x(n) が0となる場合にも零除
算を防止する。
【0015】 h(n+1) ′=h(n) ′+αe(n) x(n) /(‖x(n) ‖2 +β) (5) ES法における(3)式の分母に正の定数βを加えるこ
とにより、次の(6)式となり、微小時間の無音区間が
あり、x(n) が0となる場合にも零除算を防止する。
【0016】 h(n+1) ′=h(n) ′+Ae(n) x(n) /(‖x(n) ‖2 +β) (6) βが小さ過ぎる場合には効果が期待できず、また、大き
過ぎる場合には収束速度が遅くなってしまう。βの最適
値は周囲騒音レベルに関係し、周囲騒音レベルが小さい
場合にはβの最適値は小さく、周囲騒音レベルが大きい
場合にはβの最適値は大きい。そこで、定数βの大きさ
を周囲騒音レベルに応じて適応的に決定する。
【0017】
【実施例】図1は学習同定法にこの発明を適用した実施
例を示したものであり、図7と対応する部分には同一符
号を付けてある。β決定回路23で受話信号x(n) 、反
響信号y(n) 、残差信号e(n) を用いて周囲騒音レベル
を検出し、この検出騒音レベルに応じて正の定数βを決
定する。即ち受話信号x(n) がない時の残差信号e(n)
又は反響信号y(n) (送話信号零)は反響路11の騒音
であり、また反響信号が十分抑圧された時の残差信号e
(n) (送話信号零)も反響路11の騒音とほぼ一致す
る。マイクロホン3への送話信号のレベルは、その周辺
の騒音レベルより通常は十分大である。よって、前述の
ようにして求めた騒音、つまり残差信号e(n) に対する
マイクロホン3からの信号y(n) の比y(n) /e(n) は
S/Nと対応する。このS/Nに応じてこれが大きい程
大きな定数βを決定する。このS/Nとβとの関係は予
めテーブルとして持っておき、求めたS/Nでそのテー
ブルを参照してβを求めればよい。このテーブルについ
ては後述する。β記憶回路24にはこのように決定され
た正の定数βが記憶される。受話信号x(n) は受話信号
記憶回路13で受話信号ベクトルx(n) とされると共
にノルム演算回路14で‖x(n) ‖2 が演算される。
ステップサイズ記憶回路15にはステップサイズαが記
憶される。
【0018】x(n) ,‖x(n) ‖2 ,e(n) ,αは
修正情報生成回路25に供給されて αe(n) x(n) /(‖x(n) ‖2 +β) (7) が演算され、その演算結果は加算器17へ供給されてタ
ップ係数記憶回路18からのh(n) ′に加算されて
h(n+1) ′が得られる。その演算結果h(n+1)′は
擬似反響路6へ出力されると同時に、タップ係数記憶回
路18の値を更新する。
【0019】以上の操作により、擬似反響路6は(5)
式に従って逐次修正され、擬似反響路6のインパルス応
答h(n) ′は真の反響路11のインパルス応答h
(n) に近づいてゆく。図2はES法にこの発明を適用し
た実施例を示したものであり、図8と対応する部分には
同一符号を付けてある。
【0020】β決定回路23で受話信号x(n) ,反響信
号y(n) ,残差信号e(n) を用いて周囲騒音レベルを検
出し、前述と同様に正の定数βを決定する。β記憶回路
24には正の定数βが記憶される。受話信号x(n) は受
話信号記憶回路13で受話信号ベクトルx(n) とされ
ると共にノルム演算回路14で‖x(n) ‖2 が演算さ
れる。ステップサイズ行列記憶回路19にはステップサ
イズ行列Aが記憶される。
【0021】x(n) ,‖x(n) ‖2 ,e(n) ,A
は修正情報生成回路26に供給されて Ae(n) x(n) /(‖x(n) ‖2 +β) (8) が演算され、その出力は加算器17へ供給されてタップ
係数記憶回路18からのh(n) ′に加算されてh(n
+1) ′が得られる。その演算結果h(n+1) は擬似反響
路6へ出力されると同時に、タップ係数記憶回路18の
値を更新する。
【0022】以上の操作により、擬似反響路6は(6)
式に従って逐次修正され、擬似反響路6のインパルス応
答h(n) ′は真の反響路のインパルス応答h(n) に
近づいてゆく。図3はサブバンドエコーキャンセラにこ
の発明を適用した実施例を示したものであり、図6と対
応する部分には同一符号を付けてある。
【0023】サブバンドエコーキャンセラは、信号を複
数の周波数帯域に分割し、それぞれの帯域に擬似反響路
(適応フィルタ)を設け、それぞれの帯域で独立に反響
を消去するものである。受話入力端1からの受話信号x
(t) は周波数帯域分割回路27で周波数帯域別のN個の
実数信号xk (m) (k=0,1,…,N−1)に分割さ
れる。同様にマイクロホン3からの反響信号y(t) は周
波数帯域分割回路28で周波数帯域別のN個の実数信号
k (m) に分割される。
【0024】それぞれの周波数帯域には擬似反響路6k
があり、擬似反響路6k からの擬似反響信号yk (m) ′
を反響信号yk (m) から減算器8k で差し引くことによ
り反響信号yk (m) は消去される。ここで擬似反響路6
k は反響路11の経時変動に追従する必要があり、残差
信号ek (m) =yk (m) −yk (m) ′が0に近づくよう
に、学習同定法またはES法を用いた推定回路12k
よって逐次推定され、擬似反響路6k の修正が行なわれ
ることによって、常に最適な反響消去が維持される。
【0025】各周波数帯域の誤差信号ek (m) は周波数
帯域合成回路29で全周波数帯域の誤差信号e(t) に合
成される。音声信号のパワーは低周波数帯域に集中して
おり、高周波数帯域には少ない。そのため、高周波数帯
域ほど無音区間が多くなる。その結果、零除算により発
散しエコー消去量が低下するという問題は高周波数帯域
ほど深刻になる。そこで、第k番目の周波数帯域の推定
回路12k の内部に、図1または図2で述べたβの加算
を実施する。定数βの大きさは各周波数帯域ごとに、各
周波数帯域における周囲騒音レベルに応じて適応的に決
定する。この各定数βの決定は図1中のβ決定回路23
について述べたと同様にして行えばよい。この場合S/
Nとβとの関係テーブルは各周波数帯域に対して共通の
ものを用いる。このように各周波数帯域ごとにβを用い
ることにより、各周波数帯域において零除算による発散
が防止され、収束速度を遅くすることなく反響消去量の
大きな反響消去装置を提供することができる。
【0026】この発明の収束特性の計算機シミュレーシ
ョンを行なった。計算機シミュレーションには実測した
インパルス応答(512タップ、サンプリング周波数8
kHz)を使用した。受話信号には日本語および英語の
音声信号を用い、反響信号にはS/N比=−10〜50
dBとなるように近端雑音を加えた。図4は反響消去量
の収束特性の計算機シミュレーション結果である。従来
の学習同定法(実線)では音声の無音区間に反響消去量
が−15dB以下にまで劣化している。これに対して、
この発明(破線)では、収束速度を遅くすることなく音
声の無音区間においても約10dBの反響消去量を保持
している。その結果、無音区間後の反響消去量も従来の
ものに比べて10dB以上大きくできることが分かる。
【0027】図5は学習開始後3秒間の平均エコー消去
量が最大となるときのβを最適値として求め、S/N比
との関係として表示したものである。βは分母項の平均
で正規化してあり、分母項の平均値に対してデシベルで
表示されている。βの最適値はS/N比と簡単な対応関
係にあり、S/N比を求めて図5に従いβを決定すれ
ば、最適な反響消去が達成できる。この図5の関係を予
め求め、これを前述したテーブルとしてもっておくこと
により、騒音レベルに応じて適応的にβを変更すること
ができる。
【0028】上述では零除算防止用定数βを適応的に変
更したが、反響消去装置を用いる環境に応じてその騒音
レベルがある範囲内にあることがある。このような場合
はその平均的騒音レベルに応じた定数βを固定的に設定
してもよい。サブバンドエコーキャンセラにおいては低
い帯域のβは小さく、高い帯域のβは大きな値にそれぞ
れ固定的に設定されることになる。
【0029】拡声通話系では人の移動などによる反響路
の変動が多く、これに迅速に適応できることは大きな利
点となる。以上、擬似反響路のディジタルフィルタとし
てFIRフィルタで説明したが、他の任意のディジタル
フィルタであってもよい。
【0030】
【発明の効果】以上説明したように、学習同定法あるい
はES法の修正項における零除算を防止するため、修正
項の分母に正の定数βを加えることにより、微小時間の
無音区間がある場合にも零除算を防止し、さらに、定数
βの大きさを周囲騒音レベルに応じて適応的に決定する
ようにしたから、音声信号のように語と語の区切り、息
継ぎなどによって無音区間が生じる場合にも安定に動作
し、収束速度を遅くすることなく反響消去量の大きな反
響消去装置を得ることができる。従って通話品質が改善
される効果がある。
【図面の簡単な説明】
【図1】この発明を学習同定法に適用した推定回路の実
施例を示すブロック図。
【図2】この発明をES法に適用した推定回路の実施例
を示すブロック図。
【図3】この発明をサブバンドエコーキャンセラに適用
した実施例を示すブロック図。
【図4】この発明と従来装置の収束過程のシミュレーシ
ョン結果を示す説明図。
【図5】βの最適値とS/N比との関係のシミュレーシ
ョン結果を示す説明図。
【図6】従来の反響消去装置の一例を示すブロック図。
【図7】従来の学習同定法を用いた推定回路12の内部
の一例を示すブロック図。
【図8】従来のES法を用いた推定回路12の内部の一
例を示すブロック図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽田 陽一 東京都千代田区内幸町1丁目1番6号 日 本電信電話株式会社内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 反響路への入力信号を、ディジタルフィ
    ルタで構成された擬似反響路へ通して擬似反響信号を
    得、 その擬似反響信号を、上記入力信号が上記反響路を経由
    した反響信号から差し引いて上記反響信号を消去し、 上記反響信号から上記擬似反響信号を差し引いた残差信
    号と上記入力信号とから推定手段で学習同定法あるいは
    ES法により上記反響路のインパルス応答を逐次推定し
    て、上記擬似反響路に設定する反響消去装置において、 上記反響路の騒音レベルと対応し、これが大きいと、大
    と選定された零除算防止用定数を記憶する記憶部を備
    え、 上記推定手段は、上記学習同定法あるいはES法の修正
    項における分母に上記零除算防止用定数を加算して演算
    を行う手段であることを特徴とする反響消去装置。
  2. 【請求項2】 上記入力信号及び上記反響信号はそれぞ
    れ複数のサブバンドに周波数帯域が分割され、これら対
    応サブバンドごとに上記推定手段、上記擬似反響路、上
    記記憶部がそれぞれ設けられ、上記記憶部の上記零除算
    防止用定数は高い周波数帯のものが低い周波数帯のもの
    より大とされていることを特徴とする請求項1記載の反
    響消去装置。
  3. 【請求項3】 上記反響路の騒音レベルに応じて適応的
    に上記零除算防止用定数を決定して上記記憶部に記憶す
    る手段を備えることを特徴とする請求項1又は2記載の
    反響消去装置。
JP00559794A 1994-01-24 1994-01-24 反響消去装置 Expired - Lifetime JP3293706B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00559794A JP3293706B2 (ja) 1994-01-24 1994-01-24 反響消去装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00559794A JP3293706B2 (ja) 1994-01-24 1994-01-24 反響消去装置

Publications (2)

Publication Number Publication Date
JPH07212279A true JPH07212279A (ja) 1995-08-11
JP3293706B2 JP3293706B2 (ja) 2002-06-17

Family

ID=11615646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00559794A Expired - Lifetime JP3293706B2 (ja) 1994-01-24 1994-01-24 反響消去装置

Country Status (1)

Country Link
JP (1) JP3293706B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6223194B1 (en) 1997-06-11 2001-04-24 Nec Corporation Adaptive filter, step size control method thereof, and record medium therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6223194B1 (en) 1997-06-11 2001-04-24 Nec Corporation Adaptive filter, step size control method thereof, and record medium therefor

Also Published As

Publication number Publication date
JP3293706B2 (ja) 2002-06-17

Similar Documents

Publication Publication Date Title
RU2109408C1 (ru) Сетевой эхоподавитель
US7031269B2 (en) Acoustic echo canceller
JP2538176B2 (ja) エコ―制御装置
US5721772A (en) Subband acoustic echo canceller
JP4975073B2 (ja) デジタル適応フィルタと同フィルタを用いたアコスティックエコーキャンセラ
US5390244A (en) Method and apparatus for periodic signal detection
US8160239B2 (en) Echo canceller and speech processing apparatus
WO1999014868A1 (fr) Procede de suppression d'echo, annuleur d'echo et commutateur vocal
WO1995031052A1 (fr) Compensateur d'echos et procede d'estimation de la trajectoire de l'echo
JPH04123621A (ja) 反響消去装置
JP2005142659A (ja) エコーキャンセラ
JPH11331046A (ja) エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体
JPH06113027A (ja) 反響消去装置
US5875246A (en) Distributed audio signal processing in a network experiencing transmission delay
JP3082898B2 (ja) 反響消去装置
KR100272131B1 (ko) 계층적 구조의 적응반향 제거장치
JP3180543B2 (ja) 反響消去装置
JP3293706B2 (ja) 反響消去装置
JP3403655B2 (ja) サブバンド適応フィルタを用いた未知システムの同定方法および装置
JP2602750B2 (ja) 反響消去装置
JPH0459812B2 (ja)
JP2551869B2 (ja) 反響消去装置
JP3248551B2 (ja) 反響消去装置
JPH11122144A (ja) エコー消去方法および装置
JP3187715B2 (ja) 反響消去装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110405

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120405

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130405

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140405

Year of fee payment: 12

EXPY Cancellation because of completion of term