JPH11513553A - 適応型エコーキャンセレーション方法 - Google Patents

適応型エコーキャンセレーション方法

Info

Publication number
JPH11513553A
JPH11513553A JP9514972A JP51497297A JPH11513553A JP H11513553 A JPH11513553 A JP H11513553A JP 9514972 A JP9514972 A JP 9514972A JP 51497297 A JP51497297 A JP 51497297A JP H11513553 A JPH11513553 A JP H11513553A
Authority
JP
Japan
Prior art keywords
term average
echo
filter
long
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9514972A
Other languages
English (en)
Other versions
JP4027421B2 (ja
Inventor
カールセン,ヨニイ
エリクソン,アンデルス
Original Assignee
テレフオンアクチーボラゲツト エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲツト エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲツト エル エム エリクソン(パブル)
Publication of JPH11513553A publication Critical patent/JPH11513553A/ja
Application granted granted Critical
Publication of JP4027421B2 publication Critical patent/JP4027421B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Telephone Function (AREA)

Abstract

(57)【要約】 適応型エコーキャンセレーション方法は、入力信号の長時間の平均(12)と、同じ信号の短時間の平均(14)と、を決定し、もし短時間の平均(14)が長時間の平均より低くなれば(24)、適応型フィルタの更新を阻止する。

Description

【発明の詳細な説明】 適応型エコーキャンセレーション方法 技術分野 本発明は、信号対バックグラウンドノイズ比の低い環境においてエコーキャン セラの適応を阻止する、適応型エコーキャンセレーション方法に関する。 発明の背景 エコーは、長い遅延を有する電話システム、例えば、長距離を経ての電話、ま たはディジタルセルラシステムのように長い処理遅延を用いる電話システムにお いて、知覚される通話品質に関連する問題である。エコーは、PSTN/加入者 インタフェースにおける4対2ワイヤ変換において起こる。このエコーを除去す るためには、通常エコーキャンセラが、長距離トラヒックのための中継交換機内 に、またセルラアプリケーションのための移動体サービス交換局内に、設けられ る。 エコーキャンセラの位置のために、それは適応性のものとされ、同じエコーキ ャンセラはPSTNにおける多くの異なる加入者のために用いられる。この適応 性は、伝送ネットワークの非固定的性質、例えば、位相スリップ、三者呼、など により、異なる呼の間においてのみでなく、それぞれの呼中においても必要であ る。 このフィルタ適応プロセスにおける問題は、もし入力信号がバックグラウンド ノイズレベルに近いレベルまで減少すればフィルタが発散することである。バッ クグラウンドノイズレベルが信号レベルに近い場合に、フィルタが発散すること を阻止するためには、〔1〕入力信号の電力が与えられたスレショルドより小さ い時、フィルタの更新を禁止すること、が示唆された。固定スレショルドの使用 に関連する問題を克服するためには、〔1〕においてスレショルドが適応性を与 えられる。〔1〕の方法は、入力信号の電力と、バックグラウンドノイズレベル と、の比較に基づく。適応は、もしエコーの電力(入力信号の電力−エコー経路 減衰ERL)が、バックグラウンドノイズレベルに1から5dBのマージンを加 えたものより小さければ、阻止される。 上述のアプローチにおける問題は、それがエコー経路減衰ERLの正確な推定 に依存することである。もしERLの大きい値が推定されれば、適応は完全に禁 止される。従って、フィルタ係数は凍結され、ERLがフィルタ係数から推定さ れるものと仮定すると、ERLの新しい推定値は求められない。もしここでエコ ー発生システムの特性が変化すれば、フィルタは新しい状況に適応しえない。従 って、〔1〕において示唆された方法は余りにも保存的であり、すなわち、フィ ルタの更新の禁止が、禁止を回避すべき場合においても行われる。 発明の要約 本発明の目的は、信号対バックグラウンドノイズ比の低い環境におけるエコー キャンセラの適応の阻止が、絶対的に必要である時にのみ行われる、適応型エコ ーキャンセレーション方法を提供することである。 この目的は、請求項1の特徴により解決される。 図面の簡単な説明 本発明は、本発明の他の目的および利点と共に、添付図面と併せて以下の説明 を参照することにより最も良く理解されうる。添付図面において、 図1は、エコー発生システムのブロック図であり、 図2は、エコーキャンセレーションシステムのブロック図であり、 図3は、エコーキャンセラへの入力信号電力の時間図であり、 図4は、本発明の方法の実施例のフローチャートである。 実施例の詳細な説明 図1は、電話システムにおけるエコー発生プロセスを示す。以下において遠端 加入者と呼ぶ加入者Aは、2線式回線を経てハイブリッド(ハイブリッドは、本 技術分野において公知のように、4線式および2線式接続間のインタフェースを 形成する)に接続されている。同様にして、以下において近端加入者と呼ぶ加入 者Bは、2線式回線を経てもう1つのハイブリッドに接続されている。2線式回 線は、入通話信号および出通話信号の双方を伝達する。遠端加入者Aからの出通 話は、図1の上部2線式回線を経て近端加入者Bへ伝達される。同様にして、近 端加入者Bからの出通話は、図1の下部2線式回線を経て遠端加入者Aへ伝達さ れる。しかし、加入者Bから加入者Aへの下部2線式回線はまた、加入者Bにお けるハイブリッドが完全に抑制しえなかった加入者Aからの出通話のエコーをも 含む。同様にして、図1の上部2線式回線は、加入者Bからの出通話のエコーを 含む。 図2は、加入者Aへ帰るエコーが近端側においてどのようにしてキャンセルさ れるかを示す(同様の構造は遠端側にも設けられる)。離散的時刻をnで示すと き、入力信号x(n)は、加入者Aからの通話を表す。入力信号x(n)は、ハ イブリッドにより減衰せしめられ(この減衰は、エコー経路減衰ERL(ERL =エコーリターン損失)により表される)、その結果得られるエコー信号s(n )は、近端通話を含んでも含まなくてもよい近端信号v(n)と組合わされる。 このようにして、得られる出力信号y(n)は、近端信号と、遠端信号のエコー とを含む。さらに、入力信号x(n)は適応型フィルタへも送られ、この適応型 フィルタは、ハイブリッドのインパルス応答を、そのフィルタ係数を調節するこ とによりモデル化する(典型的なフィルタ長は、512係数である)。これによ り (n)からこの推定値を減算して得られた信号e(n)は、適応型フィルタへ送 られてフィルタ係数の調節のために用いられ、また遠端加入者Aへ帰る2線式回 線へも送られる。 しばしばエコーs(n)は、FIR(有限インパルス応答)モデルを用いてモ 参照)により決定される。時不変信号に対しては、定常状態の調節の誤り、すな の一定のステップサイズμの場合に、 に等しいことを示しうる(例えば〔2〕参照)。ただし、Ev2(n)は、近端 ノイズv(n)(通話のない期間中における近端加入者Bからの信号)の分散で による。これらのFIRフィルタ係数の誤差は、フィルタ長をNとすると、( 〔2〕の方程式(45)に基づき) により近似することができる。このフィルタが定常シナリオにおいて収束したと 仮定すると、フィルタ係数の分散は(2)により与えられる。ここで、もし入力 信号x(n)の電力が減少すれば、(2)は、フィルタ係数の、増大した定常状 態分散を与え、フィルタは発散することになる。もしx(n)の電力が再び増大 すれば、フィルタは再収束することになるが、フィルタが再収束し終わる前に推 て、非定常的な入力信号特性の状況において、推定値誤差が劇的に増大し過ぎな いようにするためには、フィルタの更新プロセスのある種の制御が望ましい。 図3は、上述の状況を時間図の形式で示す。図3の曲線1は、入力信号x(n )の入力電力Rxを表す。この場合は、この信号はむしろ強くて、図3に破線で 示されているノイズレベルNL(近端通話がない場合はv(n))より十分に高 い。この場合フィルタは、曲線の谷においてさえ収束する。しかし、もしノイズ レベルNLと信号との間の距離が、図3の曲線2により表されているように信号 電力が低いため、またはノイズレベルNLが高いために減少すれば、フィルタは 発散する。上述のように、この問題を克服するために、〔1〕に述べられた方法 は、入力信号x(n)の電力を、バックグラウンドノイズレベルNLと比較する 。フィルタの適応は、もしエコーs(n)の電力が、1ないし5dBのマージン をもってバックグラウンドノイズレベルよりも小さければ阻止される。すなわち 、 の場合である。ただし、ERLはエコー経路減衰の推定値を表し、Cは(1から 5dBの範囲内の)一定の安全マージンである。 上述のアプローチにおける問題は、それがエコー経路減衰ERLの正確な推定 に依存することである。もしERLの大きい値が推定されれば、全ての入力信号 レベルに対し、Rx/ERLはC・NLより十分に小さくなるので、適応は完全 に禁止される。従って、フィルタ係数は凍結され、ERLはフィルタ係数の2乗 の和として推定されると仮定して、ERLの新しい推定は行われない。従って、 条件(3)は保存的過ぎる。フィルタは、最後には適応に行き詰まりうる。これ は、例えば、図3の、完全に破線ERL+NL+C(dBで表されたERL・N L・C)の下にある、曲線3に類似した入力信号の場合でありうる。 この問題を克服するための本発明の基本的考え方は、x(n)の電力の短時間 の平均Rx staを、x(n)の電力の長時間の平均Rx ltaと比較することにより、 フィルタの更新を制御することである。もし短時間の平均が、長時間の平均より 低くなれば、フィルタの適応は禁止される。 この基本的考え方は、以下のように定式化される:適応は、もし ならば、禁止される。ただし、Dは、低入力電力レベルと、低バックグラウンド ノイズレベルと、の双方の期間中に適応を禁止するために用いられる(例えば、 −45dBm0程度の)定義済みの定数であり、γは、 により与えられる。定数α(>0)は、フィルタの適応が、完全には禁止されな いことを保証する(ERLの推定値が大きい時は、αはERL・NL/Rx lta ば0.95)と選択することにより、フィルタは少なくとも、入力信号x(n) の短時間の平均Rx staが、長時間の平均Rx ltaを超えた時に更新される。 本発明の方法は、曲線3に示されている。短い2重矢印Rx staは、短時間の平 均を表している。2重矢印の長さは、この平均を形成するための時間間隔(典型 的な値は60−70ミリ秒)を表す。同様にして、Rx ltaとして示された2重矢 印は長時間の平均を表し、これは、短時間の平均を計算するための期間より典型 的に少なくとも1桁長い、例えば4秒程度の期間にわたって計算される。従って 、短時間の平均を計算するためには最も最近のサンプルのみが用いられるが、長 時間の平均を計算するためには多数のサンプルが用いられる。図からわかるよ うに、サンプル時点nにおける短時間の平均は、同じ時点における長時間の平均 を超えている(t軸から上方への距離が、対応する平均を表す)。従って、この 場合(曲線3、サンプル時点n)、本発明はフィルタの更新を許容するが、従来 技術の方法はフィルタの更新を禁止する。 ここで、図4のフローチャートを参照しつつ、本発明の方法の実施例を説明す る。ステップ10においては、入力信号x(n)の次のサンプルが収集される。 ステップ12においては、新しいサンプルを含む新しい長時間の平均Rx ltaが計 算される。同様にして、ステップ14においては、新しいサンプルを含む新しい 短時間の平均Rx staが計算される。ステップ16においては、上記(5)により γが計算される。ステップ16においては、上記の関係(4)の右辺により基準 レベルRが計算される。ステップ20においては、短時間の平均がこの基準と比 較される。もし短時間の平均がこの基準より低くなれば、ステップ24において フィルタの更新が禁止され、そうでない場合は、ステップ22においてフィルタ が更新される。その後、このアルゴリズムはステップ10へ復帰し、次のサンプ ルを収集する。 本発明の簡単化された実施例においては、Dは0にセットされ、これは−∞d Bm0、すなわちゼロのバックグラウンドノイズに対応する。この場合は、(4 )の右辺は常にγRx ltaに等しくなる。 当業者は、添付の請求の範囲により定められる本発明の精神および範囲から逸 脱することなく、本発明に対し、さまざまな改変および変更が行われうることを 理解しえよう。 参考文献 〔1〕WO93/09608、ノキア・テレコミュニケーションズ・OY(No kia Telecommunication OY) 〔2〕D.T.M.スロック(D.T.M.Slock)著「LMSアルゴリズ ムおよび正規化LMSアルゴリズムの収束動態について(On the con vergence behavior of the LMS and the normalized LMS algorithms)」、 IEEE・トランザクションズ・オン・シグナル・プロセッシング(IEEE Transactions on Signal Processing)、4 1(9):2811−2825、1993年9月。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(KE,LS,MW,SD,S Z,UG),UA(AM,AZ,BY,KG,KZ,MD ,RU,TJ,TM),AL,AM,AT,AU,AZ ,BA,BB,BG,BR,BY,CA,CH,CN, CU,CZ,DE,DK,EE,ES,FI,GB,G E,HU,IL,IS,JP,KE,KG,KP,KR ,KZ,LC,LK,LR,LS,LT,LU,LV, MD,MG,MK,MN,MW,MX,NO,NZ,P L,PT,RO,RU,SD,SE,SG,SI,SK ,TJ,TM,TR,TT,UA,UG,US,UZ, VN

Claims (1)

  1. 【特許請求の範囲】 1.信号対バックグラウンドノイズ比の低い環境においてエコーキャンセラの 適応が阻止される、適応型エコーキャンセレーション方法であって、前記環境に おけるエコー経路減衰(ERL)の推定値およびノイズレベルの推定値(NL) を決定するステップを含み、 前記エコーキャンセラへの入力信号x(n)の最近のサンプルの長時間の平均 (Rx lta)を決定するステップと、 前記入力信号x(n)の最近のサンプルの短時間の平均(Rx sta)を決定する ステップと、 もし前記短期間の平均が、前記長時間の平均に所定因子(γ)を乗算したもの と、第1所定定数(D)と、の最大値より小さければ、前記エコーキャンセラの 適応を阻止するステップと、 を特徴とする、前記方法。 2.前記所定因子が、 (a)第2所定定数(α)と、 (b)前記ノイズレベルの推定値と、前記エコー経路減衰の推定値(ERL) と、の積を、前記長期間の平均(Rx lta)により除算したものと、 の最小値であることを特徴とする、請求項1に記載の方法。 3.前記第1所定定数が、−45dBm0の程度のバックグラウンドノイズレ ベルに対応していることを特徴とする、請求項2に記載の方法。 4.前記第2所定定数が約1であることを特徴とする、請求項2または請求項 3に記載の方法。 5.前記第2所定定数が0.95に等しいことを特徴とする、請求項4に記載 の方法。 6.前記短期間の平均が、60−70msの程度の期間において形成されるこ とを特徴とする、請求項1から請求項5までのいずれかに記載の方法。 7.前記長期間の平均が、4秒程度の期間において形成されることを特徴とす る、請求項1から請求項6までのいずれかに記載の方法。 8.前記第1所定定数が、ゼロのバックグラウンドノイズレベルに対応する0 に等しいことを特徴とする、請求項2に記載の方法。
JP51497297A 1995-10-11 1996-10-02 適応型エコーキャンセレーション方法 Expired - Lifetime JP4027421B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE9503545A SE505152C2 (sv) 1995-10-11 1995-10-11 Adaptivt ekosläckningsförfarande
SE9503545-7 1995-10-11
PCT/SE1996/001239 WO1997014230A1 (en) 1995-10-11 1996-10-02 An adaptive echo cancellation method

Publications (2)

Publication Number Publication Date
JPH11513553A true JPH11513553A (ja) 1999-11-16
JP4027421B2 JP4027421B2 (ja) 2007-12-26

Family

ID=20399785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51497297A Expired - Lifetime JP4027421B2 (ja) 1995-10-11 1996-10-02 適応型エコーキャンセレーション方法

Country Status (10)

Country Link
US (1) US6137882A (ja)
EP (1) EP0855110B1 (ja)
JP (1) JP4027421B2 (ja)
KR (1) KR100320315B1 (ja)
CN (1) CN1098572C (ja)
AU (1) AU708551B2 (ja)
CA (1) CA2234555C (ja)
DE (1) DE69633454T2 (ja)
SE (1) SE505152C2 (ja)
WO (1) WO1997014230A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003521160A (ja) * 2000-01-21 2003-07-08 モトローラ・インコーポレイテッド ゼロ・エコー・パス,リンギングおよびオフフック検出を利用してエコー・キャンセレーションを制御するための方法およびシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423983B1 (en) * 1999-09-20 2008-09-09 Broadcom Corporation Voice and data exchange over a packet based network
JP4569618B2 (ja) * 2006-11-10 2010-10-27 ソニー株式会社 エコーキャンセラ及び通話音声処理装置
US9344579B2 (en) 2014-07-02 2016-05-17 Microsoft Technology Licensing, Llc Variable step size echo cancellation with accounting for instantaneous interference
KR200481190Y1 (ko) 2015-02-27 2016-08-26 최효묵 딱지 게임 세트

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3789165A (en) * 1972-04-24 1974-01-29 Communications Satellite Corp Echo canceller with variable threshold
US4129753A (en) * 1977-12-09 1978-12-12 Bell Telephone Laboratories, Incorporated Echo canceller using feedback to improve speech detector performance
US4491701A (en) * 1981-03-05 1985-01-01 At&T Bell Laboratories Adaptive filter including a far end energy discriminator
US4405840A (en) * 1981-03-05 1983-09-20 Bell Telephone Laboratories, Incorporated Echo canceler far end energy discriminator
US4591669A (en) * 1984-09-26 1986-05-27 At&T Bell Laboratories Adaptive filter update gain normalization
US4712235A (en) * 1984-11-19 1987-12-08 International Business Machines Corporation Method and apparatus for improved control and time sharing of an echo canceller
US4922530A (en) * 1988-03-18 1990-05-01 Tellabs, Inc. Adaptive filter with coefficient averaging and method
US4918727A (en) * 1988-06-09 1990-04-17 Tellabs Incorporated Double talk detector for echo canceller and method
FI97657C (fi) * 1991-11-04 1997-01-27 Nokia Telecommunications Oy Menetelmä adaptiivisen kaiunpoistajan divergoinnin estämiseksi kohinaisessa signaaliympäristössä
JP3094634B2 (ja) * 1992-02-19 2000-10-03 日本電気株式会社 エコー除去方法及びエコー除去装置
DE4430189A1 (de) * 1994-08-25 1996-02-29 Sel Alcatel Ag Verfahren zur adaptiven Echokompensation
JP2947093B2 (ja) * 1994-11-02 1999-09-13 日本電気株式会社 適応フィルタによるシステム同定の方法および装置
US5631900A (en) * 1995-09-29 1997-05-20 Crystal Semiconductor Double-Talk detector for echo canceller

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003521160A (ja) * 2000-01-21 2003-07-08 モトローラ・インコーポレイテッド ゼロ・エコー・パス,リンギングおよびオフフック検出を利用してエコー・キャンセレーションを制御するための方法およびシステム
JP4657556B2 (ja) * 2000-01-21 2011-03-23 モトローラ・インコーポレイテッド ゼロ・エコー・パス,リンギングおよびオフフック検出を利用してエコー・キャンセレーションを制御するための方法およびシステム

Also Published As

Publication number Publication date
SE9503545L (sv) 1997-04-12
CN1199519A (zh) 1998-11-18
DE69633454D1 (de) 2004-10-28
KR19990064190A (ko) 1999-07-26
DE69633454T2 (de) 2005-10-13
EP0855110B1 (en) 2004-09-22
AU7380296A (en) 1997-04-30
CA2234555C (en) 2004-12-21
KR100320315B1 (ko) 2002-04-22
AU708551B2 (en) 1999-08-05
CN1098572C (zh) 2003-01-08
JP4027421B2 (ja) 2007-12-26
US6137882A (en) 2000-10-24
CA2234555A1 (en) 1997-04-17
SE9503545D0 (sv) 1995-10-11
EP0855110A1 (en) 1998-07-29
WO1997014230A1 (en) 1997-04-17
SE505152C2 (sv) 1997-07-07

Similar Documents

Publication Publication Date Title
US5631900A (en) Double-Talk detector for echo canceller
JP3652705B2 (ja) 時間領域エコー消去処理においてトーンの存在に起因する誤集束を回避するためのシステムおよび方法
JP4026693B2 (ja) 適応デュアルフィルタエコーキャンセル方法
AU723722B2 (en) Method and device for echo cancellation using power estimation in a residual signal
US6516063B1 (en) Echo canceller having improved non-linear processor
US6654463B1 (en) Round trip delay estimator and compensator for the echo canceller
JP2001523925A (ja) 改良型非線形エコー経路検出を有するデュアルhアーキテクチャを利用するエコーキャンセラ
US5764753A (en) Half-duplex controller
JP2001523921A (ja) 可変適応利得設定を有するデュアルhアーキテクチャを利用するエコーキャンセラ
JP2001516986A (ja) エコーを推定および抑制するための方法および装置
US6064873A (en) Method and apparatus for controlling echo on both sides of a connection
US7570608B2 (en) Echo canceller disabler for modulated data signals
JP2001523924A (ja) 改良型係数転送を有するデュアルhアーキテクチャを利用するエコーキャンセラ
JP4027421B2 (ja) 適応型エコーキャンセレーション方法
JP2001523926A (ja) 改良型ダブルトーク検出を有するデュアルhアーキテクチャを利用するエコーキャンセラ
US7876718B1 (en) Echo reduction

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071010

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term