JP3679245B2 - エコー消去システム及び方法、並びに移動通信装置 - Google Patents

エコー消去システム及び方法、並びに移動通信装置 Download PDF

Info

Publication number
JP3679245B2
JP3679245B2 JP10988198A JP10988198A JP3679245B2 JP 3679245 B2 JP3679245 B2 JP 3679245B2 JP 10988198 A JP10988198 A JP 10988198A JP 10988198 A JP10988198 A JP 10988198A JP 3679245 B2 JP3679245 B2 JP 3679245B2
Authority
JP
Japan
Prior art keywords
signal
echo
residual
filter
adaptive filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10988198A
Other languages
English (en)
Other versions
JPH10341190A (ja
Inventor
マキネン ジョーマ
バハタロ アンティ
Original Assignee
ノキア モービル フォーンズ リミティド
ノキア テレコミュニケーションズ オサケユイチア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア モービル フォーンズ リミティド, ノキア テレコミュニケーションズ オサケユイチア filed Critical ノキア モービル フォーンズ リミティド
Publication of JPH10341190A publication Critical patent/JPH10341190A/ja
Application granted granted Critical
Publication of JP3679245B2 publication Critical patent/JP3679245B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電話システムで使用されるエコー消去方法に関し、特に2個のフィルターを使用するエコー消去方法に関する。
【0002】
【従来の技術】
電話回線網においてエコーの発生に寄与する要因は幾つかある。インピーダンスの不整合は、電話回線網の2/4線回路又はハイブリッド回路に電気エコーを発生させる原因となる。音がスピーカーからマイクロホンに回り込むと、音響エコーが電話装置において発生する。例えば、ハンドフリー電話機では、スピーカーから生じた音が部屋の壁を介してマイクロホンへ跳ね返ると音響エコーが発生することがある。音響エコーは、音響信号が例えば普通の電話機のハンドセットの構造体を介して、或いは移動電話のボディーの構造を介して伝わるときにも発生することがある。移動通信システムでは、有線回線網から生じたかも知れない電気エコー及び音響エコーを消去するために移動交換センターでエコーキャンセラを使用し、また移動通信装置ではその移動通信装置で発生している音響エコーを消去するためにエコーキャンセラを使用する。
【0003】
エコーキャンセラは通常は適応型フィルター (adaptive filter ) を使用して実現される。図1は、適応型フィルターを使って実現された典型的なエコーキャンセラの構造を示すブロック図である。適応型フィルター10は、遠端信号R INをフィルタリングし、この信号に基づいてエコー推定信号EST を作り、この信号はエレメント20において近端音声信号S INから差し引かれる。適応型フィルターにより作られるエコー推定信号EST が信号S INに生じている遠端信号エコーをなるべく正確に消去するように、該適応型フィルターは残差信号 (residual signal )L RES によって制御される。図1は、例として、典型的な適応型フィルターの構造も示している。そのフィルター10を、2つの機能ブロック、即ちフィルター・ブロック10aと係数計算ブロック10bとにより説明することができる。係数計算ブロックは、フィルター・ブロック10aが使用するフィルター係数についての新たな値を連続的に計算し続ける。
【0004】
適応型フィルターは、エコーの通路の特性に適応して、その通路が変化してもエコーを信号内で消去することができる。通常、適応型フィルターはエコーを完全には消去できなくて、残留エコーが信号中に残る。エコーキャンセラの残差信号を減衰させることによって、残っているエコーを弱めることができる。残差信号を減衰させることができるだけではなくて、その特性がS IN信号中の暗騒音に対応するノイズをそれに付加することもできる。通常、適応型フィルターの動作は、残っている信号に含まれているエコーが大きすぎるためにその信号を減衰させる必要があるかないかを判定するのに役立つ。図1に示されているエコーキャンセラでは、減衰ブロック5が残差信号の減衰と、場合によってはノイズの付加とを行う。
【0005】
エコーキャンセラの適応型フィルターは普通は最小平均二乗(least mean square )(LMS)アルゴリズムによって実現される。そのフィルターの係数は、通常は、受信信号が遠端話声(far-end talk)を含んでいて、送出音声信号が遠端信号エコーを含んでいるときに限って更新される。もし送出音声信号がエコーの他に近端話声(near-end talk )も含んでいるならば、両話状態(a double-talk situation )が発生する。その様な状態では、近端話声がフィルターモデルを劣化させるので、フィルター係数の更新を阻止しなければならない。
【0006】
フィルターの更新を制御するアルゴリズムが幾つか知られている。それらのアルゴリズムは通常は信号R IN、S IN、L RES 及びEST に基づいてフィルターの更新を制御する。例えば図2に示されているようなブロック図を使ってその様なエコーキャンセラを説明することができる。その構造は他の点では図1に示されているものと同一であるけれども、信号R IN、S IN、L RES 及びEST に基づいて適応型フィルター10の更新を制御するための制御エレメント30が付加されている。この構造では、制御エレメント30は、係数計算ブロック10bに係数の計算をやめさせる信号をフィルター10に送ることができる。しかし、それらの方法には、エコーが急速に強くなってゆく事態に対処する問題がある。その場合、強くなってゆくエコーは通常は近端話声信号であると解釈される、即ち、その様な事態は両話状態と解釈され、フィルター係数は更新されず、少なくとも或る程度の時間にわたってエコーは減衰させられずにフィルターを通過する。その様なエコーは、例えば係数の更新を阻止するしきい値を高めることによって補正することができる。しかし、その様な補正方法には、両話状態を見過ごしてしまう可能性があるという問題があり、その様な場合にはフィルターモデルが劣化する。
【0007】
2つの適応型フィルターを使って、即ち2エコー通路モデルによって、上記の問題を解決しようとする試みがなされている。その種の1つの解決方法が、”2エコー通路モデルを持ったエコーキャンセラ”という論文(the article "Echo Canceller with Two Echo Path Models" by Kazuo Ochiai, Takashi Araseki, Takashi Ogihara, 16 Transactions on Communications, Vol. COM-25, No. 6, June 1977)に開示されている。その方法は2つのフィルターを、即ち背景フィルター(”背景エコーモデル”("background echo model") )及び主フィルター(”前景エコーモデル”("foreground echo model") )を使用する。背景フィルターの係数は上記の通りに更新され、背景フィルターの残留エコーは主フィルターの残留エコーと比較される。主フィルターの係数は単独では更新されなくて、一定の条件が満たされたときに係数が背景フィルターから主フィルターへコピーされる。主フィルターによってフィルタリングされた信号がエコーキャンセラの出力信号である。この構成では、更新は常に背景フィルターに向けて行われるという問題がある。背景フィルターモデルの卓越性は、その更新後の残留エコーを主フィルターの残留エコーと比較した後にはじめて見いだされ得るので、主フィルターの係数は一定の遅延時間後にはじめて変更される。
【0008】
”2フィルター制御システムを使用する音響エコーキャンセラの実現方法及び評価”という論文(the article "Implementation and Evaluation of an Acoustic Echo Canceller using the Duo-Filter Control System" by Yoichi Haneda, Shoji Makino, Junji Kojima, Suehiro Shimauchi, International Workshop on Acoustic Echo and Noise Control, R nos, Norway, June 1995)で類似の解決方法が記述されている。この論文も、2つの適応型フィルターを使って実現される構造を開示しており、それらのフィルターの一方のみが更新される。
【0009】
出願文献EP 0 627 840は、2つの適応型フィルターを使用するもう一つの方法を開示している。それは、フィルター係数がコピーされなくて両方のフィルターの係数が更新される点で上記の2適応型フィルター方法とは異なっている。遠端信号中に話声が検出されるときには常に背景フィルターが更新される。両話検出器は主フィルター及び背景フィルターの残留エコーを比較し、前記の残留エコーに基づいて主フィルターの更新を制御する。この解決法の欠点は、大きな計算力を必要とすることである。フィルター係数によって表されるモデルを計算するには割合に大きな計算能力が必要であり、この出願文献EP 0 627 840に開示されている解決法では、両方のフィルターのモデルを同時に計算して更新することができる。
【0010】
計算能力を無駄に使わないために、出願文献EP 0 627 840が説明している構成では、背景フィルターのサンプリング速度を低下させることによって、必要な計算能力を小さくすることができるように、背景フィルターは低域フィルタリングされたある一定の周波数以下の周波数帯域だけをフィルタリングする。しかし、この解決法には、一方のフィルターの帯域を制限したためにフィルター出力の比較の信頼性に影響が及ぶという欠点がある。前記文献に開示されている構成では、背景フィルターは前記のある一定の周波数より高い信号部分を全く考慮に入れないので、背景フィルターのモデルは、この信号帯域に関する限りはエコー通路の特性に対応しない。更に、高周波数の楽音(tone) などの信号が前記のある一定の周波数より高い帯域にだけ存在するならば、背景フィルターは全く応答しない。
【0011】
【発明が解決しようとする課題】
本発明の目的は、両話(double talk )中エコー通路モデルをできるだけ良好に維持するエコーキャンセラを提供することである。本発明の他の目的は、従来技術の装置より迅速にエコー通路の変化に応答するエコーキャンセラを提供することである。
【0012】
【課題を解決するための手段】
これらの目的は、一方が主フィルターとして作用し、他方が背景フィルターとして作用する2つの適応型フィルターを使い、出力信号フィルタリングに使用されるフィルター係数の集合を、より低い残差信号レベルを有するフィルターに応じて選択することによって、達成される。残差信号を少なくとも2つの周波数帯域に分割し、その分割された周波数帯域同士を比較することによって、残差信号同士の比較を行う。
【0013】
本発明のエコー消去システムは、エコー消去システムを対象とする独立請求項で述べられている事項を特徴とする。本発明は、方法を対象とする独立請求項で述べられている事項を特徴とする方法をも目的としている。本発明は更に、移動通信装置を対象とする独立請求項で述べられている事項を特徴とする移動通信装置をも目的としている。従属請求項は更に本発明の有利な実施例を記述している。
【0014】
本発明のエコーキャンセラは、2つの適応型フィルターを、即ち主フィルター及び背景フィルターを使用する。背景フィルターの目的は、主フィルター・モデルが確実に正しく保たれるようにすることである。主フィルター及び背景フィルターの各係数はいろいろな条件で更新され、これらのフィルターにより作られる残差信号は互いに比較される。エコーキャンセラの出力信号の生成に使用されるフィルター係数の集合は、残差信号同士のこの比較に基づいて選択される。フィルター係数の集合の選択は、背景フィルターの係数を主フィルターにコピーすることにより、又は主フィルターの機能と背景フィルターの機能とを交換することにより、実行される。両話状態でのエコーキャンセラの動作は、2つのフィルターが作る残差信号同士を周波数帯域毎に比較することによって、両話状態において無秩序で大きな騒音に起因するエコーに似ている相関によって引き起こされるエラーを防止する、という方法で強化される。
【0015】
好ましい実施例と添付図面とを参照して本発明をいっそう詳しく説明する。
【0016】
【発明の実施の形態】
この出願では、S IN、S OUT 、R IN、R OUT 、EST1及びEST2という名称は、たとえ図面のいろいろな部分で同じ名称がそれらの信号に対応するインターフェースを指していても、ある一定の信号を指すものである。
【0017】
図3は、本発明の好ましい実施例の構造を例示している。本発明のエコーキャンセラは2つの適応型フィルター10,50を使用しており、それらを本出願では主フィルター10及び背景フィルター(background filter )50と称する。背景フィルターは、主フィルター・モデルを確実に正しくするために使用される。背景フィルターのエコー推定値EST2は信号S INから差し引かれ、この様にして背景フィルターの残差信号L RES2が作られる。同様に、主フィルターのエコー推定値EST1は信号S INから差し引かれ、この様にして主フィルターの残差信号L RES1が作られる。信号L RES1及びL RES2は制御エレメント60に入力され、このエレメントは、主フィルター10及び背景フィルター50の更新を必要なときに中断させることによって、これらのフィルターを制御する。制御エレメント60は、エコー推定値EST1及びEST2及び入力信号S INに基づいて主フィルター及び背景フィルターを制御する。必要ならば制御エレメント60は背景フィルター係数を主フィルターへコピーさせることもでき、そのことは図3にスイッチ90で表されている。
【0018】
次に、本発明のエコーキャンセラの動作を一般的レベルで説明する。主フィルター10のエコー推定値EST1のレベルが信号S INのレベルと比べて充分に高いときには、主フィルター10の各係数は更新される。もし主フィルターのエコー推定レベルが充分に高くなければ、両話状態があるか或いはエコーの強度が雑音と比べて低く、これらの両方の場合に主フィルター係数の更新は主フィルターのエコー通路モデルを劣化させる。その様な状況では、エコーの強度が信号路に沿って強まったならば、背景フィルター50の係数が更新され、主フィルターのエコー推定レベルがS IN信号レベルに関して低下しているので主フィルターの更新は阻止される。
【0019】
主フィルターが更新されないときに背景フィルター係数が更新される。残差信号L RES1及びL RES2の比較に基づいて背景フィルター係数が主フィルターにコピーされる。もしL RES2信号のレベルが所定時間にわたって所定程度までL RES1信号のレベルより低かったならば、背景フィルター係数が主フィルターにコピーされる。エコー通路減衰は大きいことがあり、また弱いエコー信号も近端背景雑音と混じり合っていることがあるので、必要なレベル差は割合に小さくなければならない。また、エコーキャンセラがエコー通路変化に充分迅速に応答するために、必要な時間は割合に短くなければならない。
【0020】
ある種の両話状態(double talk situation )では、背景フィルターは、S IN信号中の近端音声信号での狭い周波数帯域を減衰させることができる。例えば、近端音声に有声音(voiced sound)がある時にS IN信号に生じた有声音の強い周波数成分は、偶発的に遠端音声と瞬間的に相関することがある。そのような相関が原因となって、背景フィルターの残差信号L RES2のレベルが主フィルターの残差信号L RES1のレベルより低くなるという事態が発生することがあり、その事態の結果として背景フィルター係数が主フィルターにコピーされることがある。その様な両話状態では、背景フィルター・モデルは実際のエコー通路の状態に対応せず、そのことは主フィルターのモデルも歪むことを意味する。信号L RES1及びL RES2を少なくとも2つの周波数帯域に分割して、これらの信号のレベルを周波数帯域毎に比較し、信号L RES2の全ての周波数帯域のレベルが信号L RES1の対応する周波数帯域のレベルより低い場合に限って背景フィルター係数を主フィルターにコピーさせることによって、上記のようなエラーを防止することができる。
【0021】
上で説明した本発明の実施例では、背景フィルター係数の方が良い結果をもたらすことが分かったならば背景フィルター係数が主フィルターにコピーされる。本発明の好ましい実施例では、その様な場合には一方のフィルターから他方のフィルターへの係数のコピーは行われなくて、その残差信号がエコーキャンセラの出力信号として選択されることになるフィルターを交代させることによって主フィルターの機能と背景フィルターの機能とが交換される。図4は、その様な実施例の一般的構造の例を示している。この実施例では、エコーキャンセラの出力S OUT となる信号を選択するスイッチ80を比較エレメント70が制御する。図4の例では、比較エレメント70は、残差信号L RES1及びL RES2の比較に基づいて信号選択を行う。本発明のエコーキャンセラでは、比較エレメント70は該エコーキャンセラ内の他の信号を使ってこの信号選択を制御することもできる。当該実施例によっては、その様な場合には実施例のいろいろなエレメントの動作も別様に変更する必要があるかも知れない。例えば、信号プロセッサを使って実現される実施例において主フィルターに背景フィルターよりは長い計算時間が与えられる場合には、これらのフィルターのために確保される時間及び計算資源も交換されなければならない。
【0022】
本発明のエコーキャンセラは、2入力と唯一の出力とを有するようにも実現されることができる。図4の例では、その様な実現態様が破線で限られている領域内の構造90によって表されている。図4は、この例では遠端信号は入力R IN及び出力R OUT の間で全く処理されないことを示しており、従ってこの例での動作に関しては出力R OUT は不要であり、本発明のエコーキャンセラのアプリケーションでは対応する信号を該エコーキャンセラの外側に接続できることを示している。
【0023】
次に、本発明の好ましい実施例の構造について、フィルターの数学的表現を手段として詳しく説明する。例えば下記の式:
【数1】
Figure 0003679245
を使って主フィルターのエコー推定値を計算することができ、ここでEST1は主フィルターのエコー推定値であり、ベクトルh1(i) は主フィルター係数を含んでおり、ベクトルx(i)は入力信号R INの記憶されている前のサンプルを含んでおり、N はフィルターの長さである。ベクトルx(i)では最新のサンプルはx(1)であり、最も古いサンプルはx(N)である。主フィルターによりフィルタリングされた信号L RES1は、主フィルターエコー推定値EST1を入力信号S INから差し引くことによって得られる:
【数2】
Figure 0003679245
主フィルターの係数を例えば下記の式(3)を使って更新することができる:
【数3】
Figure 0003679245
ここでp は遅延線中でのサンプルのパワーである。式(3)は各フィルター係数h1(i) について反復され、ここでi = [1, N]である。式(3)は、公知の正規化LMS アルゴリズムに基づいている。例えば下記の式(4)を使って遅延線中での各サンプルのパワーp を計算することができる:
【数4】
Figure 0003679245
例えば、式(1)に対応する下記の式(5)を使って背景フィルターのエコー推定値を計算することができる:
【数5】
Figure 0003679245
式(5)においてh2(i) は背景フィルター係数を含むベクトルであり、EST2は背景フィルターによって作られたエコー推定値である。同様に、例えば下記の式
(6)を使って背景フィルター係数値を計算することができる:
【数6】
Figure 0003679245
式(6)は各フィルター係数h2(i) について反復され、ここでi = [1, N]である。背景フィルターによりフィルタリングされた信号L RES2は、背景フィルターエコー推定値EST2を入力信号S INから差し引くことによって得られる:
【数7】
Figure 0003679245
残差信号L RES1及びL RES2の2周波数帯域への分割は、例えば、当業者に知られているいわゆるオールパス・フィルター対を使って実行することができる:
【数8】
Figure 0003679245
【数9】
Figure 0003679245
式(8)及び(9)において、係数a 、b 及びc はフィルター対の応答を決定する係数であり、x(n)は時点n でのフィルター入力であり、A1(n) 及びA2(n) は時点n でのフィルター対の出力値である。所望の信号S の低い方の周波数帯域Slpは上記の式から次のように得られる:
【数10】
Figure 0003679245
高い方の周波数帯域Shpは下記の式(11)を使って得られる:
【数11】
Figure 0003679245
式(8)、(9)、(10)、及び(11)を使って、式(8)及び(9)でフィルター入力値x(n)に信号値L RES1を代入することによってL RES1信号の周波数帯域L RES1lp及びL RES1hpを計算することができ、同様に式(8)及び(9)でフィルター入力値x(n)に信号値L RES2を代入することによってL RES2信号の周波数帯域L RES2lp及びL RES2hpを計算することができる。
【0024】
普通は、連続するサンプルは大幅に変動することがあるので、個々のサンプルを使って信号同士の相対的強度関係を比較してもあまり意味がない。信号強度の比較には、例えば、次の式:
【数12】
Figure 0003679245
を使って計算された信号レベルなど、平均の量を使うのが好ましい。このαは適当な時定数であり、St は計算されるべき信号S についての信号レベル・カウンタであり、x(n)は時点n での対応する信号S のサンプルであり、abs() は絶対値を計算する関数である。係数αの値は、例えば0.95である。このアプリケーションでは、St は一般的に信号S についての信号レベル・カウンタの値を指しており、例えばS INt は信号S INについての信号レベル・カウンタの値を指す。
【0025】
図5乃至8は、上記の数式に言及して本発明の好ましい実施例の動作を示すブロック図である。これらの図の実施例は、デジタル信号処理装置によって特に有利に実現され得るものである。例えば新しい通話が開始されるときにエコー消去動作を開始することができる(100)。開始時(100)に、全ての信号レベル・カウンタとフィルター係数とが所定の初期値にリセットされる。次の段階110で、入力信号R IN及びS INの次のサンプルが取り出される。例えば、通話が終了したために新しいサンプルがなければ、動作を終わらせることができる(400)。そうでなければ、サンプルが取り出されると、主フィルターのエコー推定値EST1の信号レベルEST1t が、係数K が乗じられたS IN信号のレベルS INt と比較される(120)。定数係数K の値は例えば0.9 である。エコー推定値の信号レベルの方が高ければ、動作は段階130に入って主フィルターの係数を更新する。
【0026】
段階130及び135において、式(1)及び(2)に従って主フィルターエコー推定値と信号L RES1の次のサンプルが計算される。その後、式(3)及び(4)に従って主フィルターの新しい係数が計算される(140)。段階150において、式(12)に従って信号レベルEST1t 、S INt 、L RES1t の新しい値を計算する。段階160において、特別のコピー・カウンタ(copying counter )の値がゼロにリセットされる。このコピー・カウンタは、図5乃至8に示されている実施例において、動作を制御するために使用される。段階160の後に、動作は段階110に戻る。
【0027】
もし段階120において主フィルターのエコー推定値の信号レベルEST1t が前記限度より高くないことが分かったならば、動作は段階170に移行して、ここで主フィルターのエコー推定値が計算され、その後に段階175において式(1)及び(2)に従って信号L RES1の次のサンプルが計算される。段階180において、式(12)に従って信号レベルEST1t 、S INt 、L RES1t の新しい値を計算する。次の段階190において特別のサンプル・カウンタ(sample counter)の値を調べる。この実施例では、信号処理装置の負担を減らすために1つおきのサンプルで背景フィルター値を計算してその係数を更新するだけである。このサンプル・カウンタは、この計算を制御するために使われる。段階190において、このサンプル・カウンタの値がゼロより大きいか否か検査される。もしカウンタ値がゼロより大きくなければ、サンプル・カウンタの値は段階200において1にセットされ、その後に動作は段階110に戻る。もしカウンタ値がゼロより大きければ、サンプル・カウンタの値は段階210においてゼロにセットされる。従って、背景フィルター計算は1つおきのサンプルだけについて実行される。
【0028】
図7及び8は、図5及び6に示されているブロック図の続きを示している。段階210の後に、動作は段階220に移って、ここで背景フィルターのエコー推定値と、残差信号L RES2の新しい値と背景フィルター係数とが計算され、背景フィルターの係数が更新される。次に、残差信号L RES1及びL RES2が式(8)、(9)、(10)及び(11)に従って周波数帯域L RES1lp、L RES1hp、L RES2lp及びL RES2hpに分割される(230)。段階240において、式(12)に従って信号L RES1lp、L RES1hp、L RES2lp及びL RES2hpの信号レベルが計算される。
【0029】
次の段階250において、信号L RES1及びL RES2が相互に周波数帯域毎に比較される。もし信号L RES2の少なくとも1つの周波数帯域の信号レベルが、ある一定の定数K2が乗じられている信号L RES1の対応する周波数帯域の信号レベルより大きければ、コピー・カウンタの値が段階260においてゼロにセットされ、動作は段階110に戻る。定数K2の値は、1より大きいのが有利であり、例えば2である。
【0030】
次の段階270において、信号L RES1及びL RES2が再び相互に周波数帯域毎に比較される。もし背景フィルターの残差信号L RES2の両方の周波数帯域の信号レベルL RES2lpt 及びL RES2hpt が、ある一定の係数K3が乗じられている主フィルターの残差信号L RES1の対応する周波数帯域の信号レベルL RES1lpt 及びL RES1hpt より低くなければ、動作は段階110に戻る。定数K3の値は1より小さいのが有利であり、例えば0.5 である。もし信号レベルL RES2lpt 及びL RES2hpt の方が小さければ、動作は段階280に移って、ここでコピー・カウンタの値がインクリメントされる。次の段階290において、コピー・カウンタの値は所定限界値K4と比較される。定数K4の値は例えば160 である。この限界値を超えていなければ、動作は段階110に戻る。もしコピー・カウンタの値が限界値K4より大きければ、背景フィルター係数が主フィルターへコピーされ(300)、コピー・カウンタはゼロにセットされ(310)、その後に動作は段階110に戻る。
【0031】
本発明のエコーキャンセラがデジタル信号処理装置又はその他のマイクロプロセッサを使用するソフトウェアの形で実現される場合には、2つのフィルターを使っても、1つのフィルターを連続的に計算し更新する場合より必要な計算量が増えないように該エコーキャンセラを実現することができる。図5乃至8についての説明との関係で既に明らかにしたように、主フィルターが更新されないときに使える計算能力だけを使って背景フィルターを計算することができる。もし、例えば、フィルターのエコー推定値の計算と、フィルター係数の計算及び更新とが同数の処理装置クロック・サイクルを使用するならば、主フィルターが更新されないときには半数のクロック・サイクルを使用できる。背景フィルターのエコー推定値と係数とを例えば1つおきの信号サンプルで計算することができるが、その場合には背景フィルターの全ての計算は主フィルターの更新と実質的に同じ大きさの計算能力を利用して行われることになる。
【0032】
既に説明した、2周波数帯域への残差信号の分割は、本発明の好ましい実施態様の例である。本発明のエコーキャンセラでは、残差信号を3つ以上の周波数帯域に分割することもできる。残差信号を2周波数帯域に分割する実施例では適当な分割周波数は例えば1000Hzであり、その場合には周波数帯域は通常は0 〜1000Hzと1000Hz〜4000Hzとである。
【0033】
図5乃至8の説明との関係で、好ましい実施例における機能として背景フィルターの入力信号の一定割合の部分を間引きすること(decimation)、即ち背景フィルターの計算を1つおきのサンプルだけで行うこと、に言及した。毎秒8000サンプルのサンプリング周波数で0 〜4000Hzの周波数帯域で通常の音声信号から1つおきのサンプルだけを取り出すと、2000〜4000Hzの周波数帯域は0 〜2000Hzの周波数帯域に擬せられる(aliased )ことになる。その様な実施例で1000Hzを分割周波数として残差信号を2帯域に分割すると、高い方の1000〜2000Hz帯域は元の信号の1000〜3000Hz帯域の残差信号を包含し、低い方の0 〜1000Hz帯域は元の信号の0 〜1000Hzと3000〜4000Hz帯域の残差信号を含む。背景フィルターの場合には、残差信号は信号レベルの比較のためにだけ使われるので、信号の折り返し(folding )は無害である。上記のように信号の一定割合の部分が間引きされるけれども、元の信号の周波数帯域全体が背景フィルター・モデルの形状に影響を及ぼすので、背景フィルター・パラメータは該周波数帯域全体のエコー特性に応じた形状を持つことになり、必要ならば該パラメータを背景フィルターから主フィルターにコピーすることができる。本発明の好ましい実施例では、1つおきよりももっと低い頻度で背景フィルターを計算することができる。背景フィルターが全てのサンプルで計算されるように本発明のエコーキャンセラを実現することもできる。
【0034】
上記の本発明の例示的実施例では、エコーキャンセラの出力信号S OUT は残差信号から直接作られる。しかし、本発明のエコーキャンセラでは、従来技術の減衰ブロック5を使用し、出力信号S OUT を作るために残差信号を減衰させ且つ/又はそれにノイズを付け加えるようにすることもできる。減衰ブロック5を本来のエコーキャンセラの外側の機能ブロックとして実現することもできる。
【0035】
本発明の方法において例としてLMSアルゴリズムを使用することについて説明をした。しかし、本発明はLMSアルゴリズムの使用に限定されるものではなくて、本発明の方法は他の如何なる公知のアルゴリズムを使うこともできる。
【0036】
複式のフィルターを使用する従来技術システムの利点を、本発明の方法により小さな計算能力で達成する。本発明のシステムでは、計算能力を無駄に使わないために、背景フィルターにより使用される周波数帯域を制限する必要はなく、背景フィルターは周波数帯域全体にわたってエコー通路に適応する。更に、フィルター比較の信頼性が向上し、必要ならば背景フィルター係数を主フィルターに移すことができる。主フィルター更新中は背景フィルターは計算されないので、計算能力も節約される。
【0037】
本発明の解決法では、残差信号が周波数帯域毎に比較されるので、本発明の解決法は、たとえ信号レベル及び時間しきい値が低くても、両話状態においても確実に作用するので、主フィルター及び背景フィルターの比較に使われる信号レベル及び時間しきい値を従来技術の場合より低く保つことができる。本発明の解決法は従来技術の解決法より速やかにエコー通路の変化に適応し、更に弱いエコー信号も適応をもたらす原因となる。
【0038】
図9は、本発明の有利なアプリケーション、即ち本発明のエコーキャンセラ315を有する移動通信装置、のブロック図である。この移動通信装置は、該装置を特徴づける例えばマイクロホン301,キーパッド307,ディスプレイ306,イヤホン314,送受信切り替えスイッチ308,アンテナ309,及び制御ユニット305などの部分を持っている。また、この図は移動通信装置を特徴づける送信ブロック304及び受信ブロック311も示している。送信ブロック304は音声符号化、チャネル符号化、スクランブリング及び変調に必要な機能と、RF機能とを有する。受信ブロック311は、対応するRF機能と、復調、デスクランブリング、チャネル復号及び音声復号に必要な機能とを持っている。マイクロホン301から入ってきて増幅段302で増幅され、A/D変換器でデジタル形に変換された信号は、エコーキャンセラ315の入力信号S INを提供する。エコーキャンセラ315の出力信号S OUT は送信ブロック304に(通常はこの送信ブロックの音声符号化エレメントに)入力される。受信ブランチでは、エコーキャンセラは受信ブロック311の出力から(通常はこの受信ブロックの音声復号エレメントから)入力信号R INを得る。エコーキャンセラの出力信号R OUT は、D/A変換器312によってアナログ形に変換され、イヤホン314に入力される前に増幅段313で増幅される。この種の実施例では、通常は前記信号処理装置及び必要なメモリー及び制御回路を有するようにデジタル信号処理装置を使って本発明のエコーキャンセラ315を実現することができる。
【0039】
例えば通信網においてエコー消去のためにこのエコー消去方法及びシステムを使用することもできる。例えばGSMシステムの場合には、通信網の具体的構成に応じてエコーキャンセラを基地局(BTS)、基地局コントローラ(BSC)又は移動交換センター(MSC)に置くことができる。本明細書において言及した信号R IN、R OUT 、S IN及びS OUT は、通信網のアップリンク及びダウンリンクのそれぞれの信号に対応する。
【0040】
本発明の様々な実施例及びアプリケーションは本明細書に記載した例には限定されず、各請求項で定義されている範囲内でいろいろに変化し得ることは当業者には明らかなことである。
【0041】
特許請求の範囲の欄において、機能パラメータという用語は、適応型フィルター10,50のフィルタリング特性を決定する係数の集合(set )を指す。
【図面の簡単な説明】
【図1】1つの適応型フィルターを有する上記の従来技術のエコーキャンセラを示す図である。
【図2】1つの適応型フィルターを有する上記の従来技術の第2のエコーキャンセラを示す図である。
【図3】本発明の好ましい実施例の構造を示す図である。
【図4】本発明の好ましい実施例の構造を示す図である。
【図5】本発明の好ましい実施例の機能ブロック図の第1部分(その1)を示す図である。
【図6】本発明の好ましい実施例の機能ブロック図の第1部分(その2)を示す図である。
【図7】図5及び図6に示されているブロック図の終端部分(その1)を示す図である。
【図8】図5及び図6に示されているブロック図の終端部分(その2)を示す図である。
【図9】本発明の好ましいアプリケーションのブロック図である。
【符号の説明】
10…第1適応型フィルター(主フィルター)
20…第1差し引きエレメント
40…第2差し引きエレメント
50…第2適応型フィルター(背景フィルター)
EST1…第1エコー推定値(主フィルターのエコー推定値)
EST2…第2エコー推定値(背景フィルターのエコー推定値)
L RES1…第1残差信号(主フィルターの残差信号)
L RES2…第2残差信号(背景フィルターの残差信号)
R IN…第1入力
S IN…第2入力
S OUT …出力

Claims (7)

  1. 第1信号のエコーを第2信号から除去するためのエコー消去システムであって、このシステムは、
    該第1信号を入力するための第1入力(R IN)と、
    該第2信号を入力するための第2入力(S IN)と、
    処理された信号を出力するための出力(S OUT )とを有するとともに、
    第1エコー推定値(EST1)を作るための第1適応型フィルター(10)を有し、前記第1適応型フィルターは第1機能パラメータを有し、前記第1適応型フィルターは該第1入力に見いだされる信号から実質的に前記第1機能パラメータに基づいて前記第1エコー推定値を作るようになっており、
    該第2入力に見いだされる信号から該第1エコー推定値を差し引いて第1残差信号(L RES1)を作るための第1差し引きエレメント(20)を有し、
    第2エコー推定値(EST2)を作るための第2適応型フィルター(50)を有し、前記第2適応型フィルターは第2機能パラメータを有し、前記第2適応型フィルターは該第1入力に見いだされる信号から実質的に前記第2機能パラメータに基づいて前記第2エコー推定値を作るようになっており、
    該第2入力に見いだされる信号から該第2エコー推定値を差し引いて第2残差信号(L RES2)を作るための第2差し引きエレメント(40)を有し、
    このエコー消去システムは、該第2入力に見いだされる信号から該第1信号のエコーの少なくとも一部分を除去して、該第1信号のエコーの少なくとも一部分が除去されている対応する処理済み信号を該出力に作るようになっており、
    該エコー消去システムは、
    少なくとも該第1残差信号と該第2残差信号とを比較する比較エレメントを更に有し、また、
    該出力(S OUT )に見いだされる該処理済み信号を作るのに使われる機能パラメータを前記比較エレメントの出力信号に基づいて前記の第1及び第2の機能パラメータの中から選び出すようになっており、
    ここに該エコー消去システムは、該第1残差信号を少なくとも2つの周波数帯域に分割するようになっている第1周波数帯域分割エレメントと、該第2残差信号を少なくとも2つの周波数帯域に分割するようになっている第2周波数帯域分割エレメントとを更に有し、前記比較エレメントは、該第1残差信号の前記の少なくとも2つの周波数帯域を該第2残差信号の前記の少なくとも2つの対応する周波数帯域と比較することによって前記の第1及び第2の残差信号を比較するようになっていることを特徴とするエコー消去システム。
  2. 前記比較エレメントの出力信号での、該第1機能パラメータの代わりに該第2機能パラメータを使うことを要求する変化に応答して該第1機能パラメータの代わりに該第2機能パラメータを使うようになっていることを特徴とする請求項1に記載のエコー消去システム。
  3. 該出力を介して出力されるべき処理済み信号を前記比較エレメントの出力信号に基づいて前記の第1残差信号(L RES1)及び第2残差信号(L RES2)の中から選択するようになっていることを特徴とする請求項1に記載のエコー消去システム。
  4. 第1信号のエコーの少なくとも一部分を第2信号から除去することによって処理済み第2信号を作るためのエコー消去方法であって、前記方法は、第1機能パラメータに基づいて該第1信号から第1エコー推定値を作る第1適応型フィルターと、第2機能パラメータに基づいて該第1信号から第2エコー推定値を作る第2適応型フィルターとを使用し、
    前記方法は、該第1エコー推定値を該第2信号から差し引くことによって第1残差信号を作るとともに該第2エコー推定値を該第2信号から差し引くことによって第2残差信号を作り、
    この方法は、
    前記の処理済み第2信号を作るのに使われる機能パラメータを前記の第1及び第2の残差信号のレベルの比較に基づいて前記の第1及び第2の機能パラメータの中から選択するようになっており、
    ここに前記の第1残差信号及び第2残差信号の両方を少なくとも2つの周波数帯域に分割し、前記の第1及び第2の残差信号を各該周波数帯域同士で比較することによってそれらの残差信号の比較を行うことを特徴とするエコー消去方法。
  5. 前記の比較に基づいて該第1残差信号又は該第2残差信号を前記処理済み第2信号として選択することによって前記処理済み第2信号を作ることを特徴とする請求項4に記載のエコー消去方法。
  6. 該処理済み第2信号は、実質的に、該第1適応型フィルターにより作られた第1エコー推定値と該第1エコー推定値を使って作られた第1残差信号とに基づいて作られるようになっており、
    前記の比較の結果に応じて、該第1機能パラメータの値を該第2機能パラメータの値と置き換え、その後はこの様にして変更された該第1機能パラメータに基づいて該第1エコー推定値を作るか、又は該第1機能パラメータの値を変更せず、その後は、変更されていない第1機能パラメータに基づいて該第1エコー推定値を作ることを特徴とする請求項4に記載のエコー消去方法。
  7. 第1信号のエコーを第2信号から除去するエコー消去システムを有する移動通信装置であって、このエコー消去システムは、
    該第1信号を入力するための第1入力(R IN)と、
    該第2信号を入力するための第2入力(S IN)と、
    処理された信号を出力するための出力(S OUT )とを有するとともに、
    第1エコー推定値(EST1)を作るための第1適応型フィルター(10)を有し、前記第1適応型フィルターは第1機能パラメータを有し、前記第1適応型フィルターは該第1入力に見いだされる信号から実質的に前記第1機能パラメータに基づいて前記第1エコー推定値を作るようになっており、
    該第2入力に見いだされる信号から該第1エコー推定値を差し引いて第1残差信号(L RES1)を作るための第1差し引きエレメント(20)を有し、
    第2エコー推定値(EST2)を作るための第2適応型フィルター(50)を有し、前記第2適応型フィルターは第2機能パラメータを有し、前記第2適応型フィルターは該第1入力に見いだされる信号から実質的に前記第2機能パラメータに基づいて前記第2エコー推定値を作るようになっており、
    該第2入力に見いだされる信号から該第2エコー推定値を差し引いて第2残差信号(L RES2)を作るための第2差し引きエレメント(40)を有し、
    このエコー消去システムは、該第2入力に見いだされる信号から該第1信号のエコーの少なくとも一部分を除去して、該第1信号のエコーの少なくとも一部分が除去されている対応する処理済み信号を該出力に作るようになっており、
    該移動通信装置は、
    該移動通信装置のエコー消去システムが、少なくとも該第1残差信号と該第2残差信号とを比較する比較エレメントを更に有し、また、該出力(S OUT )に出現する該処理済み信号を作るのに使われる機能パラメータを前記比較エレメントの出力信号に基づいて前記の第1及び第2の機能パラメータの中から選び出すようになっており、
    ここに該移動通信装置のエコー消去システムは、該第1残差信号を少なくとも2つの周波数帯域に分割するようになっている第1周波数帯域分割エレメントと、該第2残差信号を少なくとも2つの周波数帯域に分割するようになっている第2周波数帯域分割エレメントとを更に有し、前記比較エレメントは、該第1残差信号の前記の少なくとも2つの周波数帯域を該第2残差信号の前記の少なくとも2つの対応する周波数帯域と比較することによって前記の第1及び第2の残差信号を比較するようになっていることを特徴とする移動通信装置。
JP10988198A 1997-04-18 1998-04-20 エコー消去システム及び方法、並びに移動通信装置 Expired - Fee Related JP3679245B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI971664A FI104524B (fi) 1997-04-18 1997-04-18 Kaiunpoistojärjestelmä ja -menetelmä sekä matkaviestin
FI971664 1997-04-18

Publications (2)

Publication Number Publication Date
JPH10341190A JPH10341190A (ja) 1998-12-22
JP3679245B2 true JP3679245B2 (ja) 2005-08-03

Family

ID=8548674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10988198A Expired - Fee Related JP3679245B2 (ja) 1997-04-18 1998-04-20 エコー消去システム及び方法、並びに移動通信装置

Country Status (6)

Country Link
US (1) US6163609A (ja)
EP (1) EP0872962B1 (ja)
JP (1) JP3679245B2 (ja)
AT (1) ATE343874T1 (ja)
DE (1) DE69836240T2 (ja)
FI (1) FI104524B (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19935808A1 (de) * 1999-07-29 2001-02-08 Ericsson Telefon Ab L M Echounterdrückungseinrichtung zum Unterdrücken von Echos in einer Sender/Empfänger-Einheit
US7068780B1 (en) * 2000-08-30 2006-06-27 Conexant, Inc. Hybrid echo canceller
US6999509B2 (en) 2001-08-08 2006-02-14 Octasic Inc. Method and apparatus for generating a set of filter coefficients for a time updated adaptive filter
US6970896B2 (en) 2001-08-08 2005-11-29 Octasic Inc. Method and apparatus for generating a set of filter coefficients
US6957240B2 (en) 2001-08-08 2005-10-18 Octasic Inc. Method and apparatus for providing an error characterization estimate of an impulse response derived using least squares
US6965640B2 (en) 2001-08-08 2005-11-15 Octasic Inc. Method and apparatus for generating a set of filter coefficients providing adaptive noise reduction
GB2389286A (en) * 2002-05-28 2003-12-03 Mitel Knowledge Corp Echo cancellation
US6961423B2 (en) * 2002-06-24 2005-11-01 Freescale Semiconductor, Inc. Method and apparatus for performing adaptive filtering
US7388954B2 (en) 2002-06-24 2008-06-17 Freescale Semiconductor, Inc. Method and apparatus for tone indication
US7215765B2 (en) 2002-06-24 2007-05-08 Freescale Semiconductor, Inc. Method and apparatus for pure delay estimation in a communication system
US7242762B2 (en) 2002-06-24 2007-07-10 Freescale Semiconductor, Inc. Monitoring and control of an adaptive filter in a communication system
GB2395878A (en) * 2002-11-29 2004-06-02 Mitel Knowledge Corp Method of capturing constant echo path information using default coefficients
US6947549B2 (en) * 2003-02-19 2005-09-20 The Hong Kong Polytechnic University Echo canceller
DE10329055B4 (de) * 2003-06-27 2005-10-13 Infineon Technologies Ag Verfahren und Vorrichtung zur Echokompensation
KR20060130067A (ko) * 2003-12-10 2006-12-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 개별 갱신 제어 전략을 갖는 직렬 배치의 적응 필터들을구비한 에코 제거기
US7596220B2 (en) * 2004-12-30 2009-09-29 Alcatel Lucent Echo cancellation using adaptive IIR and FIR filters
US7536007B2 (en) * 2004-12-30 2009-05-19 Alcatel Lucent Echo cancellation using adaptive IIR and FIR filters
GB2427332B (en) * 2005-06-16 2007-05-16 Trinity Convergence Inc Systems and methods for adaptive echo cancellation
US8335311B2 (en) * 2005-07-28 2012-12-18 Kabushiki Kaisha Toshiba Communication apparatus capable of echo cancellation
US8014516B2 (en) * 2006-01-27 2011-09-06 Mediatek Inc. Method and apparatus for echo cancellation
US8437757B2 (en) * 2006-06-30 2013-05-07 Nokia Corporation Systems for providing peer-to-peer communications
US8170224B2 (en) * 2008-09-22 2012-05-01 Magor Communications Corporation Wideband speakerphone
JP5373473B2 (ja) * 2009-05-11 2013-12-18 株式会社エー・アール・アイ 音声抽出装置
SE533956C2 (sv) * 2009-07-20 2011-03-15 Limes Audio Ab Enhet och metod för styrning av restekodämpning
EP2512040B1 (en) * 2011-04-14 2013-11-13 Alcatel Lucent A computation saving echo canceller for a wide band audio signal
US9479650B1 (en) 2015-05-04 2016-10-25 Captioncall, Llc Methods and devices for updating filter coefficients during echo cancellation
KR102266780B1 (ko) * 2019-07-04 2021-06-18 한양대학교 산학협력단 음성 통신 환경에서 발생하는 클리핑 현상 완화 및 마이크 입력 신호, 에러 신호 및 원단 신호의 상관관계를 이용한 음성 왜곡 감소 업데이트 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8423017D0 (en) * 1984-09-12 1984-10-17 Plessey Co Plc Echo canceller
AU4695485A (en) * 1984-09-21 1986-03-27 Alcatel N.V. Digital hybrid
US5307405A (en) * 1992-09-25 1994-04-26 Qualcomm Incorporated Network echo canceller
JP2538176B2 (ja) * 1993-05-28 1996-09-25 松下電器産業株式会社 エコ―制御装置
FI108830B (fi) * 1993-12-23 2002-03-28 Nokia Corp Menetelmä ja laite kaiun vaimentamiseksi puhelinlaitteessa
US5664011A (en) * 1995-08-25 1997-09-02 Lucent Technologies Inc. Echo canceller with adaptive and non-adaptive filters
SE505150C3 (sv) * 1995-10-18 1997-08-04 Ericsson Telefon Ab L M Adaptivt ekoslaeckningsfoerfarande av dubbelfiltertyp

Also Published As

Publication number Publication date
FI104524B (fi) 2000-02-15
EP0872962A2 (en) 1998-10-21
EP0872962B1 (en) 2006-10-25
FI971664A (fi) 1998-10-19
ATE343874T1 (de) 2006-11-15
DE69836240D1 (de) 2006-12-07
DE69836240T2 (de) 2007-02-08
US6163609A (en) 2000-12-19
JPH10341190A (ja) 1998-12-22
EP0872962A3 (en) 2004-12-08
FI971664A0 (fi) 1997-04-18

Similar Documents

Publication Publication Date Title
JP3679245B2 (ja) エコー消去システム及び方法、並びに移動通信装置
EP1446894B1 (en) Echo canceller ensuring further reduction in residual echo
JP4090505B2 (ja) エコー抑制装置及びエコー打消装置の非直線的プロセッサ
EP0868787B1 (en) Method and device for echo cancellation using power estimation in a residual signal
EP1391101B1 (en) Telephone apparatus
EP1022866A1 (en) Echo elimination method, echo canceler and voice switch
EP1012996B1 (en) Method and apparatus for echo estimation and suppression
JP2006191650A (ja) エコー打消装置においてエコーの位置を決定する方法
JP4457639B2 (ja) エコーキャンセラ
KR20010043833A (ko) 스펙트럼 종속 지수 이득 함수 평균화를 이용한 스펙트럼공제에 의한 신호 잡음 저감
EP1164712A1 (en) Sound communication device and echo processor
JPH09289474A (ja) ハンズフリー通話装置
US6185299B1 (en) Adaptive echo cancellation device in a voice communication system
JP3860305B2 (ja) エコーキャンセラ及びエコーキャンセラの制御方法
AU751482B2 (en) Method and apparatus for cancelling echo originating from a mobile terminal
JP4877083B2 (ja) 残留エコー抑圧制御装置、方法及びプログラム
JP2000138619A (ja) エコーキャンセラ
JPH08213939A (ja) エコーキャンセラ装置
JPH09275367A (ja) エコーキャンセラ装置
MXPA00005449A (en) Method and apparatus for cancelling echo originating from a mobile terminal
KR20020041556A (ko) 이동통신 시스템에서 반향 제거 방법
JPH0964792A (ja) 拡声情報通信システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050512

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees