JP3319403B2 - 多チャネルエコー除去方法及び装置 - Google Patents

多チャネルエコー除去方法及び装置

Info

Publication number
JP3319403B2
JP3319403B2 JP24802598A JP24802598A JP3319403B2 JP 3319403 B2 JP3319403 B2 JP 3319403B2 JP 24802598 A JP24802598 A JP 24802598A JP 24802598 A JP24802598 A JP 24802598A JP 3319403 B2 JP3319403 B2 JP 3319403B2
Authority
JP
Japan
Prior art keywords
signal
signals
circuit
processing
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24802598A
Other languages
English (en)
Other versions
JP2000078061A (ja
Inventor
昭彦 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP24802598A priority Critical patent/JP3319403B2/ja
Priority to EP99250302A priority patent/EP0984609B1/en
Priority to US09/388,398 priority patent/US6577731B1/en
Priority to DE69926451T priority patent/DE69926451T2/de
Publication of JP2000078061A publication Critical patent/JP2000078061A/ja
Application granted granted Critical
Publication of JP3319403B2 publication Critical patent/JP3319403B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00Adaptive networks
    • H03H21/0012Digital adaptive filters

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の受信信号と
単数または複数の送信信号を有するシステムにおける、
エコー除去方法及び装置に関するものである。
【0002】
【従来の技術】複数の受信信号と単数または複数の送信
信号を有するシステムにおいて、受信信号が空間音響経
路を伝搬することによって生じるエコーを除去する多チ
ャネルエコー除去方法あるいは装置に関しては、電子情
報通信学会技術研究報告Vol. 84, No. 330,pp. 7-14, C
S-84-178(以下文献1)において、縦続接続型及び線形
結合型の2種類が提案されている。文献1によれば、縦
続接続型はその構成による制約から、線形結合型よりも
エコー抑圧能力が劣る。そこで、従来例として、線形結
合型多チャネルエコー除去装置(エコーキャンセラ)を
受信信号、送信信号ともに2チャネルのシステムに適用
した場合について説明する。
【0003】図24に線形結合型多チャネルエコーキャ
ンセラを示す。第1の受信信号1が第1のスピーカ3で
再生され、空間音響経路を経て第1のマイク9に至って
生じる第1のエコー5と、第2の受信信号2が第2のス
ピーカ4で再生され、空間音響経路を経て第1のマイク
9に至って生じる第2のエコー6と、第1のマイク9に
至った話者11の発する音声である第1の送信信号12
が加算されて、第1の混在信号14となる。同様に、第
1の受信信号1が第1のスピーカ3で再生され、空間音
響経路を経て第2のマイク10に至って生じる第3のエ
コー7と、第2の受信信号2が第2のスピーカ4で再生
され、空間音響経路を経て第2のマイク10に至って生
じる第4のエコー8と、第2のマイク10に至った話者
11の発する音声である第2 の送信信号13が加算さ
れて、第2の混在信号15となる。
【0004】第1の混在信号14に混入したエコーを除
去するために、第1の適応フィルタ121に第の受信信
号1を入力して第1のエコー5に対応したエコーレプリ
カ125を生成し、第2の適応フィルタ122に第2の
受信信号2を入力して第2のエコー6に対応したエコー
レプリカ126を生成する。第1の減算器129で、第
1の混在信号14から第1及び第2のエコー5、6に対
応したエコーレプリカ125、126を差し引く。第1
及び第2の適応フィルタ121、122は、第1の減算
器129の出力が最小になるように制御する。第1の減
算器129の出力が、エコーキャンセラ100の第1の
出力信号16となる。
【0005】第2の混在信号15に混入したエコーを除
去するために、第3の適応フィルタ123に第1の受信
信号1を入力して第3のエコー7に対応したエコーレプ
リカ127を生成し、第4の適応フィルタ124に第2
の受信信号2を入力して第4のエコー8に対応したエコ
ーレプリカ128を生成する。第2の減算器130で、
第2の混在信号15から第3及び第4のエコー7、8に
対応したエコーレプリカ127、128を差し引く。第
3及び第4の適応フィルタ123、124は、第2の減
算器130の出力が最小になるように制御する。第2の
減算器130の出力が、エコーキャンセラ100の第2
の出力信号17となる。
【0006】多チャネルエコー除去の主要な応用分野の
一つである多チャネルテレビ会議システムにおいては、
複数のマイクで話者の音声を収録するため、各マイクで
収録される受信信号は、近似的に、話者と各マイクの距
離に応じた減衰量と時間遅れを持った信号とみなすこと
ができる。従って、異なったチャネルにおける受信信号
の相互相関は非常に高くなる。以下、第1の受信信号1
を遅延させたものに相当する第2の受信信号2、非巡回
型フィルタとして近似できるエコーパス、適応非巡回型
フィルタを用いた線形結合型エコーキャンセラを仮定す
る。
【0007】時刻nにおける第1及び第2の受信信号
1、2をx1 (n)、x2 (n)、第1の混在信号14
に混入するエコーをd(n)とする。第1及び第2の受
信信号1、2の間の時間差をnd (自然数)サンプルと
すると、 x2 (n)=x1 (n−nd ) (1) と表すことができる。簡単のため、第1及び第2のスピ
ーカ3、4から第1及び第2のマイク9、10に至る全
ての空間音響経路のインパルス応答長が等しいと仮定
し、それをNとする。また、スピーカ3からマイク9に
至る空間音響経路のインパルス応答標本値をh1,i 、ス
ピーカ4からマイク9に至る空間音響経路のインパルス
応答標本値をh2,i とする。ここに、iは0からN−1
の整数値をとる。混在信号14に混入したエコーd
(n)は、エコー5とエコー6の和として、
【0008】
【数1】
【0009】で与えられる。式(1)を式(2)に代入
してx2 (n)を消去すると、
【0010】
【数2】
【0011】となる。適応フィルタ121、122によ
って生成されるエコーレプリカd(n)ハットは、適応
フィルタ121、122のi番目のフィルタ係数をそれ
ぞれw1,i (n)、w2,i (n)とすると、
【0012】
【数3】
【0013】で与えられる。式(1)を式(4)に代入
してx2 (n)を消去すると、
【0014】
【数4】
【0015】となる。残留エコーe(n)は、
【0016】
【数5】
【0017】となる。式(6)より、エコーを完全に消
去するための条件は、
【0018】
【数6】
【0019】である。式(7)より、
【0020】
【外1】
【0021】は一意に定まるが、
【0022】
【外2】
【0023】の解には、無限の組み合わせが存在するこ
とがわかる。特に、
【0024】
【外3】
【0025】の解はnd の値に依存しており、話者位置
の移動によってnd の値が変化すると、解も変化する。
これは、エコーパスの変動がない場合でも、エコー消去
能力が低下することを意味しており、実環境における使
用に障害となる。以上、混在信号14に混入するエコー
を除去するために用いられる適応フィルタ121、12
2について検討したが、適応フィルタ123、124に
関しても、同様の議論が成立する。
【0026】この問題を解決するために、1つの受信信
号を入力とし、混在信号と1対1に対応する適応フィル
タでエコーレプリカを生成することにより、1つの音源
から複数の経路を伝搬して生じたエコーをチャネルあた
り1つの適応フィルタで推定する多チャネルエコー除去
方法が、アイイーイーイー・プロシーディングス・オブ
・インターナショナルカンファレンス・オン・アクース
ティックス・スピーチ・アンド・シグナルプロセシング
(IEEE Proceedings of International Conference on
Acoustics, Speech and Signal Processing )第2巻、
1994年、245〜248ページ(以下文献2)にお
いて、提案されている。
【0027】文献2で提案されている多チャネルエコー
除去方法では、一つのチャネルにおいて生じるエコーを
一つの適応フィルタで除去するため、解が不定となると
いう問題は起こらない。従って、適応フィルタの係数
は、一意に定まる最適値に収束する。しかしながら文献
2 では、話者の声を収録するマイクロフォンの配置な
どの使用環境によって定められるパラメータがある範囲
に収まらないときにエコー除去性能が劣化することが、
評価結果として述べられている。従って、あらゆる環境
で使用できることを前提とすれば、線形結合型の多チャ
ネルエコーキャンセラを使用せざるを得ない。
【0028】この前提に基づき、線形結合型多チャネル
エコーキャンセラにおいて受信信号を遅延させて遅延信
号を発生し、この遅延信号を受信信号と相互に連続して
切替えて新たな受信信号とすることにより、適応フィル
タの係数を一意に定めることができる方法が、電子情報
通信学会技術研究報告DSP97−1巻、1997年、
1〜8ページ(以下文献3)において、提案されてい
る。文献3で提案されている多チャネルエコー除去方法
では、適応フィルタの係数を算出するために用いる条件
式の数が、遅延した受信信号の導入で増加しており、解
が不定となるという問題は起こらない。従って、適応フ
ィルタの係数は、一意に定まる最適値に収束する。しか
しながら、同時に文献3で提案されている方法では、受
信信号と遅延受信信号を切替える際に音像の移動が知覚
されることがある。これを解決するために、受信信号と
遅延受信信号の切替えに際して、両チャネルの信号の振
幅補正をする方法が、電子情報通信学会第12回ディジ
タル信号処理シンポジウム講演論文集、1997年、5
31〜536ページ(以下文献4)において、提案され
ている。一方、受信信号と遅延受信信号の切替えの代わ
りに、両チャネルの受信信号に非線形処理を適用するこ
とによって、適応フィルタの係数を一意に定めることが
できる方法が、アイイーイーイー・プロシーディングス
・オブ・インターナショナルカンファレンス・オン・ア
クースティックス・スピーチ・アンド・シグナルプロセ
シング(IEEE Proceedings of International Conferen
ce on Acoustics, Speech and Signal Processing )第
1巻、1997年、303〜306ページ(以下文献
5)において、提案されている。しかし、文献4におい
て提案された方法は、線形結合型多チャネルエコーキャ
ンセラより収束が遅いことが、文献4において明らかに
されている。また、文献5において提案された方法は、
文献4において提案された方法より、さらに収束が遅い
ことが、アイイーイーイー・プロシーディングス・オブ
・インターナショナルカンファレンス・オン・アクース
ティックス・スピーチ・アンド・シグナルプロセシング
(IEEE Proceedings of International Conference on
Acoustics, speech and Signal Processing )第6巻、
1998年、3677〜3680ページ(以下文献6)
において、示されている。
【0029】
【発明が解決しようとする課題】以上、図24を用いて
詳細に説明したように、従来の多チャネルエコー除去方
法及び装置では、適応フィルタ係数の解が不定であり、
エコーパスのインパルス応答によって一意に定められる
解に一致することが保証されないという問題があった。
また、文献3で提案されている方法では、受信信号と遅
延受信信号を切替える際に音像の移動が知覚されること
がある。さらに、文献4及び5で提案されている方法で
は、従来の多チャネルエコー除去方法及び装置と比較し
て、収束速度が遅い。
【0030】本発明の目的は、適応フィルタの係数値が
エコーパスのインパルス応答によって一意に定められる
正しい値に収束し、さらに音質も良好で、収束時間の短
い多チャネルエコー除去方法及び装置を提供することに
ある。
【0031】
【課題を解決するための手段】本発明の多チャネルエコ
ー除去装置は、受信信号に非線形処理を施すと同時に、
一つの受信信号を遅延処理したものを新たな受信信号と
して用いる。
【0032】具体的には、受信信号1と2を非線形処理
する振幅処理回路(図1の605と606)と、受信信
号2を遅延処理してから適応フィルタ122、124、
ディジタルーアナログ変換器(DAC)19に供給する
遅延処理回路(図1の200)を有する。
【0033】また、本発明の多チャネルエコー除去装置
は、受信信号に非線形処理を施し、一つの受信信号を遅
延処理したものを新たな受信信号として用いると同時
に、他の入力信号に対して振幅補正を実施する。
【0034】具体的には、受信信号2を非線形処理する
振幅処理回路(図17の605)と、非線形処理された
信号を遅延処理してから適応フィルタ122、124、
ディジタルーアナログ変換器19に供給する遅延処理回
路(図17の300)と、受信信号1を非線形処理する
振幅処理回路(図17の606)と、非線形処理された
信号に対して振幅補正を実施してから適応フィルタ12
1、123、ディジタルーアナログ変換器18に供給す
る振幅補正回路(図17の400)を有する。
【0035】本発明の多チャネルエコー除去方法及び装
置は、1つの受信信号をフィルタ処理して補助信号を作
成し、元の受信信号と作成された補助信号を時間多重し
て得られる新たな受信信号を用いて、適応フィルタを動
作させる。1つの信号源から複数の経路を伝搬して生じ
たエコーを複数の適応フィルタで推定するために、適応
フィルタ係数を求める際の条件式数が増加し、解が不定
となるという問題は起こらない。従って、適応フィルタ
の係数は、一意に定まる最適値に収束する。また、元の
受信信号と補助信号の多重化パラメータを受信信号の性
質に基づいて制御すると同時に補助信号の導入によって
生じる音像移動を、入力信号に対する振幅補正処理で相
殺するため、直接スピーカに供給されて受聴される受信
信号の音質劣化が抑圧され、良好な音質を保つことがで
きる。さらに、非線形処理と補助信号の導入の相乗効果
で、収束時間を短縮することができる。
【0036】
【発明の実施の形態】図1から図23を用いて、本発明
の実施の形態を詳細に説明する。説明にあたっては、第
1及び第2の受信信号と、第1及び第2の混在信号を有
する場合、すなわち、2チャネルの場合で、受信信号が
スピーカから空間音響経路を伝搬して、マイクで収録さ
れることによって生じる音響エコーを除去するための音
響エコーキャンセラを仮定する。
【0037】図1に、本発明の多チャネルエコーキャン
セラにおいて受信信号及び送信信号の数がそれぞれ2で
ある場合の実施の形態を示す。図24 に示した線形結
合型との違いは、適応フィルタ122、124に供給さ
れる受信信号2が、非線形処理回路600と前処理回路
500によって処理されている点である。第1及び第2
の混在信号14、15は、図24に示した線形結合型と
同様にして生成される。非線形処理回路600は、振幅
処理回路605及び606でそれぞれ受信信号2と受信
信号1に非線形処理を施し、前処理回路500に出力を
伝達する。受信信号1と2の間に僅かでも違いがあれ
ば、この非線形処理によって違いが拡大され、受信信号
におけるチャネル間相関が減少する。これは、適応フィ
ルタの係数が正しく同定されることを意味するが、すで
に説明したように非線形処理だけでは収束が遅い。そこ
で前処理回路500を併用して、チャネル間相関のさら
なる削減をはかる。非線形処理回路600の出力は、前
処理回路500に含まれる遅延処理回路200で処理さ
れ、その出力である遅延処理信号は、適応フィルタ12
2、124、ディジタルアナログ変換器(DAC)19
に供給される。
【0038】図2は、振幅処理回路605又は606の
構成例を示すブロック図である。受信信号1は、振幅処
理回路606を構成する係数乗算器691と極性判定回
路692に供給される。係数乗算器691は、その入力
信号をα倍して出力する。極性判定回路692は、入力
に供給された信号の極性が正のときは1を、負のときは
0を出力する。乗算器693には、係数乗算器691と
極性判定回路692の出力が供給されており、両者の積
を加算器694 に伝達する。加算器694の他方の入
力端子には、受信信号1がそのまま供給されている。す
なわち、n番目の受信信号サンプルx1 (n)に対する
加算器694の出力は、入力信号の極性が正のときは
(1+α)x1 (n)、負のときはx1 (n)となる。
この信号が、振幅処理回路606の出力信号となる。同
様にして、振幅処理回路605の出力信号は、入力信号
の極性が正のときは(1+α)x2 (n)、負のときは
2(n)となる。
【0039】図3は、遅延処理回路200の構成例を示
すブロック図である。入力端子201に供給された振幅
処理回路605の出力は、スイッチ210の一方の入力
端子とフィルタ213に供給される。フィルタ213
は、振幅処理回路605から供給された信号をフィルタ
処理してから、スイッチ210のもう一方の入力端子に
供給する。すなわち、スイッチ210の2つの入力端子
には、振幅処理回路605から供給された信号と振幅処
理回路605から供給された信号をフィルタ213で処
理した信号が供給される。スイッチ210には、分周回
路212から制御信号が供給される。この制御信号は、
クロック信号発生回路211から供給されるクロック信
号を分周して、作成される。クロック信号としては、受
信信号2の標本化周期Tに等しい周期の矩形パルスが発
生される。なお、クロック信号発生回路21は説明の便
宜上図3に記載されており、実際には遅延処理回路20
0内に独立のクロック信号発生回路を有することは稀で
ある。この場合、システム全体に共通のクロック信号を
遅延処理回路200外から、分周回路212に供給す
る。分周回路212が、入力信号の周期を1/Mにする
1/M分周回路であると仮定すると、分周回路212は
MT/2周期で“1”と“0”のレベルを交互に出力
し、スイッチ210に供給する。スイッチ210は、分
周回路212から供給される矩形パルスの立ち上がりに
同期して、振幅処理回路605から供給された信号とフ
ィルタ213の出力信号を切り替え、これを出力端子2
02へ伝達する。以上の手順で遅延処理された信号が、
前処理信号として出力端子202から出力される。
【0040】図4(a)は、フィルタ213の構成例を
示すブロック図である。ここでは、フィルタ213とし
てLタップFIRフィルタを仮定しているが、IIRフ
ィルタに代表されるその他の構造であっても良い。図4
(a)の入力端子2130には、図1の振幅処理回路6
05の出力信号が供給される。図4(a)の出力端子2
134において得られる信号は、図3のスイッチ210
へ供給される。入力端子2130に供給された信号は、
遅延素子21311 及び係数乗算器21320 に伝達さ
れる。遅延素子21311 、21312 、・・・、21
31L-1 はそれぞれ入力信号サンプルを1サンプル遅延
させて出力する単位遅延素子であり、縦続に接続されて
Lタップのタップ付き遅延線を構成している。係数乗算
器21320 、21321 、・・・、2132L-1 はそ
れぞれ係数c0 、c1 、・・・、cL-1 を有する。い
ま、例としてL=2、c0 =0、c1 =1の場合を考え
ると、フィルタ213は遅延素子21311 だけから構
成され、図4(b)に示す回路で表される。さらに、M
=1、すなわち図1の分周回路212が分周しない場合
には、図4(b)に示した本発明の実施の形態は、電子
情報通信学会技術研究報告DSP96−100巻、19
96年、17〜24ページ(文献7)に開示された方法
に一致する。このような場合に適応フィルタ係数が一意
に定められることは、文献7に解析的に示されている。
【0041】ここで、M>1の場合を考えてみると、適
応フィルタ係数を求めるための条件式数が、M=1の場
合と比較して変化しないことは明らかである。従って、
この場合も適応フィルタ係数が一意に定められる。フィ
ルタ213がL=2、c0 =0、c1 =1で表されない
一般的な場合についても、同様に扱うことができる。フ
ィルタ213の出力が入力信号と全く同一になる場合、
すなわち、L=1、c0 =1で表される場合を除き、遅
延処理回路200の出力はスイッチ210の状態により
異なったものとなる。従って、適応フィルタ係数を求め
るための条件式数は、フィルタ213がL=2、c0
0、c1 =1で表される場合と等しくなり、適応フィル
タ係数を一意に定めることができる。
【0042】Mが無限大である場合を除き、スイッチ2
10の切替え操作により、スイッチ210の出力信号に
不連続性が生じる。この信号不連続性は、主観的には雑
音として知覚される。この雑音の発生頻度はMの値に反
比例し、Mが大きい場合にはMが小さい場合に比べて知
覚されにくいが、知覚自体は避けられない。この雑音
は、フィルタ213の係数cj (j=0,1,・・・,
L−1)を時変にすることで抑圧できることが、時変係
数の制御例と共に文献3に示されている。
【0043】適応フィルタ121、122、123、1
24の係数更新アルゴリズムとしては、アダプティブ・
シグナル・プロセッシング(Adaptive signal processi
ng),1985年、99〜113ページ,Prentice-Hal
l Inc.,USA(以下、文献8)及び、アダプティブ・フィ
ルタ(Adaptive filters),1985年、49〜56ペ
ージ,Kulwer Academic Publishers,USA(以下、文献
9)にLMSアルゴリズム及びノーマライズドLMS
(NLMS)アルゴリズムが記載されている。適応フィ
ルタ121、122の制御はLMSアルゴリズムを用い
て行ない、ステップサイズは同じであると仮定する。適
応フィルタ121のi番目係数の第n+1回目の更新後
の値w1,i (n+1)と適応フィルタ122のi番目係
数の第n+1回目の更新後の値w2,i (n+1)は、そ
れぞれに対応した第n回目の更新後の値w1,i (n)と
2,i (n)を用いて、 w1,i (n+1)=w1,i (n)+μe1 (n)x1 (n−i) (8) w2,i (n+1)=w2,i (n)+μe2 (n)x1 (n−nd −i) (9) で与えられる。適応フィルタ123、124の係数更新
についても同様である。
【0044】図5は、遅延処理回路200の第2の構成
例を示すブロック図である。図3を用いて説明した第1
の構成例との相違点は、分周回路212に加えて、分析
回路221及び論理積回路220を有することである。
図3に示した第1の構成例ではMサンプル毎にスイッチ
210の切替えを行うが、図5では、分周回路212の
出力信号と分析回路221の出力信号の論理積を用い
て、スイッチ210の切替えを行う。分析回路221に
おいては、振幅処理回路605の出力信号を分析し、分
析した結果が予め定められた条件を満足するときには
“1”を、満足しないときには“0”を出力し、論理積
回路220に伝達する。論理積回路220には、すでに
説明したように、分周回路212から“0”または
“1”の制御信号が供給されている。論理積回路220
は、分析回路221と分周回路212の出力、すなわ
ち、時間情報がMサンプルの周期に一致していること、
及び入力信号を分析した結果が予め定められた条件を満
足することの両者が同時に成立することを検出し、その
出力信号によってスイッチ210の切替えを制御する。
【0045】分析回路221における振幅処理回路60
5の出力信号の分析方法には、様々な方法が考えられ
る。一例として、信号不連続性による主観的な雑音を抑
圧することを考えると、振幅処理回路605の出力信号
において振幅の変化分を検出することができる。
【0046】図6に、分析回路221の第1の実施例を
示す。
【0047】図6に示す分析回路221は、遅延素子2
210、減算器2211、絶対値回路2212、判定回
路2213、記憶回路2214から構成される。分析回
路221の入力信号である幅処理回路605出力信号
は、遅延素子2210及び減算器2211に供給され
る。遅延素子2210は、入力信号を1サンプル周期遅
延させ、減算器2211に伝達する。減算器2211
は、振幅処理回路605の出力信号から遅延素子221
0の出力信号を減算し、結果を絶対値回路2212に供
給する。絶対値回路2212では、供給された信号の絶
対値を求め、結果を判定回路2213に伝達する。一
方、判定回路2213には、記憶回路2214からしき
い値θも供給されている。判定回路2213は、絶対値
回路2212から供給された信号がしきい値よりも小さ
い場合に“1”を、それ以外の場合に“0”を出力する
ように構成される。判定回路2213の出力が、図5の
論理積回路220に伝達される。すなわち、振幅処理回
路605の出力信号において振幅変化が小さいときに、
スイッチ210の切替えが実施される。
【0048】図7に、ポストマスキングに基づく、分析
回路221の第2の実施例を示す。ポストマスキングと
は、ある信号サンプルに続く小振幅信号が人間の耳に知
覚されなくなる現象で、ツビッカー著、山田訳、「心理
音響学」、西村書店、1992年、132〜146ペー
ジ(文献10)に詳しく記述されている。図7に示す分
析回路221は、遅延素子群22150 ,22151
・・・,2215N-1、差分評価回路群22160 ,2
2161 ,・・・,2216N-1 、制御信号発生回路2
217から構成される。ここに、Nは正整数である。振
幅処理回路605の出力信号は、遅延素子22150
差分評価回路22160 に供給される。遅延素子群22
150 ,22151 ,・・・,2215N-1 の各遅延素
子は、供給された信号をそれぞれ1サンプル周期遅延さ
せる、タップ付き遅延線を構成する。
【0049】差分評価回路22160 は、振幅処理回路
605出力信号と遅延素子22150 から供給された信
号の差分を評価し、その結果を制御信号発生回路221
7に伝達する。差分の評価は、例えば、遅延素子221
0 から供給される信号から振幅処理回路605の出力
信号を差し引いて、その結果が予め定められたしきい値
【0050】
【外4】
【0051】より大きい場合には“1”を、小さい場合
には“0”を出力することで行うことができる。また、
遅延素子22150 から供給される信号の絶対値から振
幅処理回路605の出力信号の絶対値を差し引いて、そ
の結果が予め定められたしきい値
【0052】
【外5】
【0053】より大きい場合には“1”を、小さい場合
には“0”を出力することもできる。
【0054】同様に、差分評価回路群22160 ,22
161 ,・・・,2216N-1 を構成する各差分評価回
路は、対応する遅延素子から供給された信号と振幅処理
回路605の出力信号の差分を評価し、その結果を制御
信号発生回路2217に伝達する。制御信号発生回路2
217は、差分評価回路群から供給された差分評価結果
を用いて、制御信号を生成する。制御信号の生成は、例
えば、差分評価回路群からの入力信号の一致をとって行
うことができる。すなわち、一致したときに“1”を、
一致しないときに“0”を出力する。また、差分評価回
路群からの入力信号の多数決をとり、これを制御信号と
することもできる。これは、“1”が入力の多数である
ときは“1”を、多数でないときは“0”を出力するこ
とに相当する。さらに、個々の入力信号に対応して予め
定められた独立な定数を各入力信号に乗算し、各乗算結
果の総和と予め定められたしきい値とを比較し、該総和
が該しきい値より大きい場合に“1”を、それ以外の場
合に“0”を出力することもできる。前記各乗算結果に
対して一致をとること及び多数決をとることも、すでに
述べた制御信号発生回路2217の動作例とできること
は、明らかである。以上の処理により、振幅処理回路6
05の出力信号の振幅が過去より減少したときに、スイ
ッチ210の切替えが実施される。
【0055】ポストマスキングに類似の現象として、プ
リマスキングについても文献10に記載されている。小
振幅信号が、それに続く信号にマスクされて知覚されな
い現象を言う。プリマスキングを検出するためには、信
号全体を遅延させなければならない。すなわち、図5の
構成において、スイッチ210の入力経路双方に遅延素
子を挿入した構成としなければならない。これに合わせ
て、受信信号1の経路においても、受信信号1が適応フ
ィルタ121、123に供給される前に、対応した遅延
量を有する遅延素子を挿入して遅延時間の調整を行う必
要がある。これらの遅延素子の遅延量は、プリマスキン
グ検出を行う時間長に依存し、例えば2サンプル遅れた
信号によるプリマスキングを検出するためには、最低2
サンプルの遅延時間を有する必要がある。さらに、図7
の差分評価回路群22160 ,22161 ,・・・,2
216N-1 における演算は、出力を反転する必要があ
る。すなわち、本来“1”が出力されるべきときに
“0”を、“0”が出力されるべきときに“1”を出力
する。この反転により、プリマスキングを検出すること
ができる。以上の処理により、振幅処理回路605の出
力信号の振幅が増大する直前に、スイッチ210の切替
えが実施される。
【0056】図5の構成例においては、分周回路212
の出力と分析回路221の出力のタイミングが一致しな
い場合には、その後、最低Mサンプル周期の間、スイッ
チ210を切り替えることができない。すなわち、スイ
ッチ210の切替え周期はMサンプルの整数倍になる。
スイッチ210の切替え周期がMサンプルの整数倍にな
らない遅延処理回路200の構成も可能である。
【0057】図8は、遅延処理回路200の第3の構成
例を示すブロック図である。図5を用いて説明した第2
の構成例との相違点は、分周回路212と分析回路22
1、及び論理積回路220に代えて、新たな分析回路2
22を有することである。すなわち、図5の構成例で
は、スイッチ210の切替えを分周回路212と分析回
路221の出力の論理積で制御していたが、図8の構成
例では、振幅処理回路605の出力信号を分析回路22
2で分析し、得られた分析結果と、クロック信号発生回
路211から分析回路222に供給される矩形パルスを
用いて、直接、スイッチ210の制御信号を生成する。
【0058】分析回路222では、基本的に分析回路2
21と同じ分析を行う。振幅処理回路605の出力信号
における振幅の変化分を検出することもできるし、プリ
/ポストマスキングに基づく分析を行うこともできる。
分析の結果、振幅処理回路605の出力信号が予め定め
られた条件を満足し、かつ直前の切替え動作から予め定
められた標本化周期(M2 T)以上の時間が経過してい
た場合に、分析回路222は制御信号“1”を出力す
る。ここに、M2 はM2 >1を満足する正整数である。
これ以外の場合には、制御信号として“0”を出力す
る。この制御信号はスイッチ210に伝達され、スイッ
チ210の切替えを制御する。具体的な標本化周期の評
価は、矩形パルスをカウンタで計数し、計数値を記憶素
子に蓄えた値であるM2 と比較する。比較の結果、両者
が等しければM2 T経過したと判定し、“1”を出力す
ると同時にカウンタをリセットする。
【0059】図3で、信号不連続性による主観的な雑音
を抑圧する目的で、フィルタ213の係数cj (j=
0,1,・・・,L−1)を時変にした例をL=2につ
いて説明したが、このときの係数c0 (k)とc1
(k)を適切に設定することにより、図2、5、8にお
けるスイッチ210が不用な遅延処理回路200を構成
することも可能である。
【0060】図9は、遅延処理回路200の第4の構成
例を示すブロック図である。入力端子201に供給され
た受信信号2は、フィルタ230に供給される。フィル
タ230は、供給された受信信号2をフィルタ処理して
から、出力端子202に供給する。フィルタ230に
は、クロック信号発生回路211及び分周回路212か
ら制御信号が供給される。クロック信号発生回路211
は、受信信号2の標本化周期Tに等しい周期の矩形パル
スを発生する。分周回路212から供給される制御信号
は、クロック信号発生回路211から供給されるクロッ
ク信号を分周したものである。フィルタ230は、これ
らの制御信号に基づいて、時変係数を制御する。
【0061】図3で、L=2と設定した場合、c0
(k)は図10に示すように、c1 (k)は c1 (k)=1−c0 (k) (10) に従って与える。ただし、図10において、iは任意の
自然数とする。c0 (k)は、2MTの周期でc0
(0)と0を交互にとるが、厳密には0をとる区間の最
初と最後JTだけは、c0 (0)から0に、又は0から
0 (0)に直線的に遷移する。c1 (k)が式(1
4)で与えられるので、c0 (k)とc1 (k)は、ほ
とんどの時間において、どちらかが零のときは他方が非
零となる。すなわち、c0 (k)とc1 (k)は排他的
となり、図3のスイッチ210なしにスイッチ210と
同等なスッチング動作を実行することができる。なお、
L≠2の場合には、フィルタ230の各タップが並列接
続されていると考えれば良い。すなわち、c0 (k)と
1 (k),c 2(k),・・・,cL-1 (k)は排他
的となり、どちらかが零のときは他方が非零となる。c
1 (k),c2 (k),・・・,cL-1 (k)の各値及
びそれぞれに対するJの値は、異なっても良い。
【0062】図11は、遅延処理回路200の第5の構
成例を示すブロック図である。入力端子201に供給さ
れた振幅処理回路605の出力信号は、フィルタ230
に供給される。フィルタ230は、供給された振幅処理
回路605の出力信号をフィルタ処理してから、出力端
子202に供給する。フィルタ230には、クロック信
号発生回路211及び論理積回路220から制御信号が
供給される。論理積回路220には、分析回路221及
び分周回路212から信号が供給される。クロック信号
発生回路211は、振幅処理回路605の出力信号の標
本化周期Tに等しい周期の矩形パルスを発生する。分周
回路212から論理積回路220に供給される制御信号
は、クロック信号発生回路211から供給されるクロッ
ク信号を分周したものである。分析回路221において
は、振幅処理回路605の出力信号を分析し、分析した
結果が予め定められた条件を満足するときには“1”
を、満足しないときには“0”を出力し、論理積回路2
20に伝達する。論理積回路220には、すでに説明し
たように、分周回路212から“0”または“1”の制
御信号が供給されている。論理積回路220は、分析回
路221と分周回路212の出力、すなわち、時間情報
がMサンプルの周期に一致していること、及び入力信号
を分析した結果が予め定められた条件を満足することの
両者が同時に成立することを検出し、その出力信号をフ
ィルタ230に供給する。フィルタ230は、これらの
制御信号に基づいて、時変係数を制御する。
【0063】図12は、遅延処理回路200の第6の構
成例を示すブロック図である。図11を用いて説明した
第5の構成例との相違点は、分周回路212と分析回路
221、及び論理積回路220に代えて、新たな分析回
路222を有することである。すなわち、図11の構成
例では、フィルタ230の時変係数を分周回路212と
分析回路221の出力の論理積で制御していたが、図1
2の構成例では、振幅処理回路605の出力信号を分析
回路222で分析し、得られた分析結果と、クロック信
号発生回路211から分析回路222に供給される矩形
パルスを用いて、直接、フィルタ230の制御信号を生
成する。
【0064】これまでの図1を用いた説明では、受信信
号2に対して遅延処理回路200が適用されるような構
造を有する前処理回路500について説明してきた。し
かし、前処理回路500は、受信信号1に対して遅延処
理回路200が適用されるような構造であっても、まっ
たく同じように説明できることは明らかである。
【0065】図13に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第2の実施の形態を示す。図1に示した第1の実施の
形態との違いは、前処理回路500と非線形処理回路6
00の順序が入れ替わっていることである。すでに説明
したように、前処理と非線形処理は独立に適用されてい
る。従って、これらの処理順序を入換えた構成でも、同
様な効果が期待できる。
【0066】図14に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第3の実施の形態を示す。図1に示した第1の実施の
形態との違いは、非線形処理回路600が非線形処理回
路610で置き換えられていることである。非線形処理
回路610は振幅処理回路607と608を含み、これ
らは全く同じ構成である。従って、非線形処理回路60
0と非線形処理回路610の違いは、振幅処理回路60
5と607の違いである。
【0067】図15は、振幅処理回路607又は608
の構成例を示すブロック図である。図2に示した振幅処
理回路605又は606の構成例との違いは、係数乗算
器691に供給される信号が、受信信号1ではなくて受
信信号2であることである。従って、n番目の受信信号
サンプルx1 (n)に対する加算器694の出力は、入
力信号の極性が正のときはx1 (n)+αx2 (n)、
負のときはx1 (n)となる。この信号が、振幅処理回
路608の出力信号となる。同様にして、振幅処理回路
606の出力信号は、入力信号の極性が正のときはx2
(n)+αx1(n)、負のときはx2 (n)となる。
この実施例では、非線形処理に他方のチャネル信号を用
いるため、元の信号からの変化量が大きくなり、チャネ
ル間相関の削減効果が大きくなる。
【0068】図16に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第4の実施の形態を示す。図1に示した第1の実施の
形態と図13に示した第2の実施の形態の関係と同じ
く、図14に示した第3の実施の形態における前処理回
路500と非線形処理回路610の順序が入れ替わった
構造となっている。第2の実施の形態と同様の理由によ
り、図14に示した第3の実施の形態と同等の効果が期
待できる。
【0069】次に、受信信号2に対して遅延処理回路を
適用して遅延処理信号を生成し、受信信号1に対しては
振幅補正回路を適用する、新たな前処理回路を採用した
場合について説明する。
【0070】図17に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第5の実施の形態を示す。図1に示した第1の実施の
形態との違いは、適応フィルタ122、124に供給さ
れる受信信号2が、振幅処理回路605によって非線形
処理されているだけでなく、適応フィルタ121、12
3に供給される受信信号1が、振幅補正回路606によ
って振幅補正されている点である。遅延処理回路300
は、遅延処理回路200と同様に振幅処理回路605の
出力信号を処理することによって、係数を正しい値に収
束させる。振幅補正回路400は、遅延処理回路300
の遅延処理によって生じる音響空間における音像の移動
を、振幅処理回路606 の出力信号の振幅を補正する
ことによって補償する。遅延処理回路300は、振幅補
正回路400において振幅補正が行われるときには同時
に、振幅処理回路605の出力信号の振幅を補正する。
遅延処理回路300及び振幅補正回路400は、遅延処
理回路200と同様に、図3、6、9、10、12、1
3に示した構成とすることができる。図3、6、9に示
した構成とするときにはフィルタ213を、図9、1
2、13に示した構成とするときにはフィルタ230
を、図4とは異なった構成とする。
【0071】図18は、遅延処理回路300を図3、
6、9に示した構成としたときのフィルタ213の構成
例、及び遅延処理回路300を図9、12、13に示し
た構成としたときのフィルタ230の構成例を示すブロ
ック図である。ここでは、LタップFIRフィルタを仮
定しているが、IIRフィルタに代表されるその他の構
造であっても良い。図4に示す構成例との違いは、c0
を除くすべての係数乗算器c1 ,c2 ,・・・,cL-1
に従属に別の係数乗算器g1 ,g2 ,・・・,gL-1
挿入されていることである。これは等価的に、図4の係
数乗算器c0 ,c1 ,・・・,cL-1 を係数乗算器c
0 ,g11 ,・・・,gL-1L-1 で置き換えたこと
になり、図18に示した回路の動作は図4に示した回路
の動作と全く等しい。従って、図4に示すフィルタを用
いて、係数乗算器21321 、21322 、・・・、2
132L-1 の係数値をc0 ,c1 ,・・・,cL-1 の代
わりにg11 ,・・・,gL-1L-1 とする構成が可
能であることは明らかである。
【0072】図19は、振幅補正回路400を図3、
6、9に示した構成としたときのフィルタ213の構成
例、及び振幅補正回路400を図9、12、13に示し
た構成としたときのフィルタ230の構成例を示すブロ
ック図である。ここでも、LタップFIRフィルタを仮
定しているが、IIRフィルタに代表されるその他の構
造であっても良い。図18に示す構成例との違いは、遅
延素子21311 、21312 、・・・、2131L-1
が存在しないことである。
【0073】図18と図19のフィルタは相補的に動作
する。すなわち、対応した係数乗算器の組である213
i と2138i (i=1,2,・・・,L−1)によ
って、音像の移動を補正する。振幅の補正によって遅延
量の変化によって生じた音像の移動を補正できる原理
は、メディカル・リサーチ・カウンシル・スペシャル・
レポート(Medical Research Coun-cil Special Repor
t)第166号、1932年、1〜32ページ(以下文
献11)、ジャーナル・オブ・アクースティカル・ソサ
イエティ・オブ・アメリカ(Journal of Acous-tical S
ociety of America)第32巻、1960年、685〜
692ページ(以下文献12)及びジャーナル・オブ・
アクースティカル・ソサイエティ・オブ・アメリカ(Jo
urnal of Acoustical Society of America)第94巻、
1993年、98〜110ページ(以下文献13)に開
示されている。図13の例では、遅延処理回路200の
出力に対して遅延を生じるので、話者11に対してスピ
ーカ3及び4によって再生される音響信号の音像は、ス
ピーカ3の方向へ移動する。これを補正して元に戻すた
めには、スピーカ4から音響空間に放射される信号の振
幅を増大させ、同時にスピーカ3から音響空間に放射さ
れる信号の振幅を減少させる。
【0074】文献13によれば、受信信号1と受信信号
2の総電力を一定に保ったまま、振幅補正によって音像
を移動させるためには、それぞれの電力P1 dBとP2
dBの間に、 P1 +P2 =C (11) という関係が成立しなければならない。ここに、Cは正
定数である。従って、振幅補正前に、受信信号1と受信
信号2の電力がそれぞれP1 バーdBとP2 バーdBで
あるときに、振幅補正後の受信信号1と受信信号2の電
力P1 dBとP2dBは、
【0075】
【数7】
【0076】の関係を満足しなければならない。ここ
に、
【0077】
【外6】
【0078】は、電力補正量である。このため、図18
と19に示すフィルタの対応する振幅補正用係数乗算器
i とfi の値は、式(16)と(17)から、
【0079】
【数8】
【0080】によって決定することができる。但し、
【0081】
【外7】
【0082】は、受信信号をiサンプル遅延させたとき
に、これを補償するために必要になる電力補償係数であ
る。
【0083】図20は、図19に示したフィルタの他の
構成例である。図19においては、直列接続された係数
乗算器が複数並列に接続されているが、図20ではこれ
が一つの係数乗算器に統合されている。入力信号は入力
端子2130に供給され、時変係数
【0084】
【外8】
【0085】を有した乗算器2139で
【0086】
【外9】
【0087】倍される。得られた出力信号は、出力端子
2134を介して、出力される。
【0088】
【外10】
【0089】は、次式で与えられる。
【0090】
【数9】
【0091】これまで、図13及び18〜20を用いた
説明では、受信信号2に対して遅延処理回路300を適
用し、受信信号1に対して振幅補正回路400を適用す
る場合について説明してきた。しかし、これらを入れ換
えて、受信信号1に対して遅延処理回路300を適用
し、受信信号2 に対して振幅補正回路400を適用す
る場合についても、まったく同じように説明できること
は明らかである。
【0092】図21に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第6の実施の形態を示す。図1と図13の関係と同様
に、図21は図17における前処理回路510と非線形
処理回路600の順序を入れ替えた構造を有する。
【0093】図22に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第7の実施の形態を示す。図17において、非線形処
理回路600を非線形処理回路610に置き換えた構造
を有しており、その有効性は図1と図14の関係から明
らかである。
【0094】図23に、本発明の多チャネルエコーキャ
ンセラで受信信号及び送信信号が2チャネルである場合
の第8の実施の形態を示す。図22において、非線形処
理回路610と前処理回路510の順序を入れ換えた構
造を有しており、その有効性は図14と図16の関係か
ら明らかである。
【0095】以上の実施の形態では多チャネルテレビ会
議システムを対象としたエコー除去について論じてきた
が、多チャネルエコー除去の別の応用分野である単一チ
ャネル多地点テレビ会議システムにおいてもまったく同
様の議論が成り立つ。単一チャネル多地点テレビ会議シ
ステムにおいては、通常、一つのマイクで収録した話者
の音声に対して、受信側で使用する複数スピーカの間で
希望する位置に話者が定位するような、適度な減衰量と
時間遅れを付加する処理を行なう。このような処理を施
された信号が、受信側で使用するスピーカの数だけ発生
される。受信側で使用するスピーカの数が2に等しい場
合は、図24に示した従来例において上記の減衰と遅延
の補正を加えた2種類の信号が、第1の受信信号1及び
第2の受信信号2に相当する。従って、本発明の実施の
形態をそのまま適用することができる。
【0096】ここでは図1に示す、第1及び第2の受信
信号1、2と、第1及び第2の混在信号14、15を有
する場合を例にとって説明したが、本発明は、複数の受
信信号と、単数または複数の送信信号が存在する場合に
適用可能である。また、受信信号がスピーカから空間音
響経路を伝搬して、マイクで収録される音響エコーを除
去する音響エコーを例にとっているが、音響エコー以外
のエコー、例えば回線の漏話などによるエコーに対して
も適用できる。また、適応フィルタ121、122、1
23、124として、LMSアルゴリズムによる非巡回
型適応フィルタを用いた例を示したが、本発明では、任
意の適応フィルタが使用可能である。例えば、NLMS
アルゴリズムによる非巡回型適応フィルタを用いた場合
のフィルタ係数更新は、
【0097】
【数10】
【0098】となる。適応フィルタのアルゴリズムとし
ては、文献8に記載されているシーケンシャル・リグレ
ッション・アルゴリズム(Sequantial Regression Algo
ritm:SRA)や文献9に記載されているRLSアルゴ
リズムなども使用できる。非巡回型適応フィルタの代わ
りに、巡回型を用いてもよい。また、サブバンド型適応
フィルタや変換領域の適応フィルタを用いてもよい。
【0099】
【発明の効果】本発明の多チャネルエコー除去方法及び
装置は、1つの受信信号をフィルタ処理して補助信号を
作成し、これを元の受信信号と時間多重して得られる新
たな受信信号を用いて、適応フィルタを動作させる。元
の受信信号と新たに作成された補助信号を多重して得ら
れる信号を入力として適応フィルタを動作させることに
より、1つの信号源から複数の経路を伝搬して生じたエ
コーを複数の適応フィルタで推定するために、適応フィ
ルタ係数を求める際の条件式数が増加し、解が不定とな
るという問題は起こらない。これは、実施の形態の説明
において記述したように、従来の線形結合型多チャネル
エコーキャンセラでは条件式として式(7)の3式しか
利用することができなかったが、本発明によれば、2倍
の6式を利用できるためである。従って、適応フィルタ
の係数は、一意に定まる最適値に収束する。
【0100】また、元の受信信号と補助信号の多重化パ
ラメータを受信信号の性質に基づいて制御すると同時に
補助信号の導入によって生じる音像移動を、入力信号に
対する振幅補正処理で相殺するため、直接スピーカに供
給されて受聴される受信信号の音質劣化が抑圧され、良
好な音質を保つことができる。さらに、非線形処理と補
助信号の導入による受信信号チャネル間相関の削減に関
する相乗効果で、収束時間を短縮することができる。
【図面の簡単な説明】
【図1】本発明の多チャネルエコー除去装置の第1 の
実施の形態を示すブロック図である。
【図2】振幅処理回路605又は606の構成例を示す
ブロック図である。
【図3】遅延処理回路200の第1の構成例を示すブロ
ック図である。
【図4】フィルタ213の構成例を示すブロック図であ
る。
【図5】遅延処理回路200の第2の構成例を示すブロ
ック図である。
【図6】分析回路221の第1の実施例を示すブロック
図である。
【図7】分析回路221の第2の実施例を示すブロック
図である。
【図8】遅延処理回路200の第3の構成例を示すブロ
ック図である。
【図9】遅延処理回路200の第4の構成例を示すブロ
ック図である。
【図10】図3に示すフィルタの係数乗算器の時変係数
0 (k)を表すグラフである。
【図11】遅延処理回路200の第5の構成例を示すブ
ロック図である。
【図12】遅延処理回路200の第6の構成例を示すブ
ロック図である。
【図13】本発明の多チャネルエコー除去装置の第2の
実施の形態を示すブロック図である。
【図14】本発明の多チャネルエコー除去装置の第3の
実施の形態を示すブロック図である。
【図15】振幅処理回路607又は608の構成例を示
すブロック図である。
【図16】本発明の多チャネルエコー除去装置の第4の
実施の形態を示すブロック図である。
【図17】本発明の多チャネルエコー除去装置の第5の
実施の形態を示すブロック図である。
【図18】遅延処理回路300に含まれるフィルタ21
3又はフィルタ230の構成例を示すブロック図であ
る。
【図19】振幅補正回路400に含まれるフィルタ21
3又はフィルタ230の第1の構成例を示すブロック図
である。
【図20】振幅補正回路400に含まれるフィルタ21
3又はフィルタ230の第2の構成例を示すブロック図
である。
【図21】本発明の多チャネルエコー除去装置の第6の
実施の形態を示すブロック図である。
【図22】本発明の多チャネルエコー除去装置の第7の
実施の形態を示すブロック図である。
【図23】本発明の多チャネルエコー除去装置の第8の
実施の形態を示すブロック図である。
【図24】線形結合型多チャネルエコー除去装置のブロ
ック図である。
【符号の説明】
1,2 受信信号 3,4 スピーカ 5,6,7,8 エコー 9,10 マイク 11 話者 12,13 送信信号 14,15 混在信号 16,17 エコー除去装置の出力信号 18,19 ディジタル・アナログ変換器 20,21 アナログ・ディジタル変換器 100 線形結合型多チャネルエコー除去装置 121,122,123,124 適応フィルタ 125,126,127,128 エコーレプリカ 129,130,2211 減算器 200,300 遅延処理回路 201,2130,2135,2136 入力端子 202,2134 出力端子 210 スイッチ 211 クロック信号発生回路 212 分周回路 213,230 フィルタ 220 論理積回路 221,222 分析回路 400 振幅補正回路 500,510 前処理回路 600,610 非線形処理回路 605,606,607,608 振幅処理回路 693 乗算器 2131,2210,2215 遅延素子 691,2132,2137,2138,2139 係
数乗算器 694,2133 加算器 2212 絶対値回路 2213 判定回路 2214 記憶回路 2216 差分評価回路 2217 制御信号発生回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−4183(JP,A) 特開 平9−200092(JP,A) 特開 平6−343051(JP,A) 杉山昭彦,マルチチャネルエコーキャ ンセラ −技術的課題と解決への挑戦 −,電子情報通信学会誌,日本,電子情 報通信学会,1998年 3月,第81巻第3 号,266−274 Yann JONCOUR,Akih iko SUGIYAMA,A Ste reo Echo Canceler with Correct Echo− Path Identificatio n,電子情報通信学会技術研究報告,日 本,電子情報通信学会,1997年 4月18 日,DSP97−1,1−8 (58)調査した分野(Int.Cl.7,DB名) H04B 3/23 H03H 21/00 H04M 1/60

Claims (22)

    (57)【特許請求の範囲】
  1. 【請求項1】複数の受信信号と少なくとも一つの送信信
    号を有するシステムにおいて、前記複数の受信信号が空
    間音響経路を伝搬することによって、あるいは回線で漏
    話すること等によって生じる複数のエコーと前記送信信
    号が混在する混在信号から、前記複数の受信信号を用い
    て生成された前記複数のエコーに対応したレプリカを差
    し引くことによってエコーを除去する際に、 前記複数の受信信号の各々に対して、少なくとも一つの
    自分自身とは別の受信信号を非線形処理して得た信号を
    自分自身に加算する処理を適用して複数の非線形処理信
    号を発生し、該複数の非線形処理信号のうち一つを選択
    して非線形選択受信信号とし、該非線形選択受信信号を
    フィルタ処理して処理信号を発生し、該処理信号と前記
    非線形選択受信信号を時間多重して新たな受信信号と
    し、該新たな受信信号及び他の非線形処理信号をそれぞ
    れ対応する適応フィルタに入力して前記複数のレプリカ
    を発生することを特徴とする多チャネルエコー除去方
    法。
  2. 【請求項2】複数の受信信号と少なくとも一つの送信信
    号を有するシステムにおいて、 前記複数の受信信号が空間音響経路を伝搬することによ
    って、あるいは回線で漏話すること等によって生じる複
    数のエコーと前記送信信号が混在する混在信号から、前
    記複数の受信信号を用いて生成された前記複数のエコー
    に対応したレプリカを差し引くことによってエコーを除
    去する際に、 前記複数の受信信号のうち一つを選択して選択受信信号
    とし、該選択受信信号をフィルタ処理して処理信号を発
    生し、該処理信号と前記選択受信信号を時間多重して新
    たな受信信号とし、該新たな受信信号及び他の受信信号
    の各々に対して、少なくとも一つの自分自身とは別の受
    信信号を非線形処理して得た信号を自分自身に加算する
    処理を適用した後にそれぞれ対応する適応フィルタに入
    力して前記複数のレプリカを発生することを特徴とする
    多チャネルエコー除去方法。
  3. 【請求項3】複数の受信信号と少なくとも一つの送信信
    号を有するシステムにおいて、前記複数の受信信号が空
    間音響経路を伝搬することによって、あるいは回線で漏
    話すること等によって生じる複数のエコーと前記送信信
    号が混在する混在信号から、前記複数の受信信号を用い
    て生成された前記複数のエコーに対応したレプリカを差
    し引くことによってエコーを除去する際に、 前記複数の受信信号を非線形処理して複数の非線形処理
    信号を発生し、該複数の非線形処理信号のうち一つを選
    択して非線形選択受信信号とし、該非線形選択受信信号
    をフィルタ処理して処理信号を発生し、該処理信号と前
    記非線形選択受信信号を時間多重して新たな受信信号と
    し、該新たな受信信号及び他の非線形処理信号に振幅補
    正を施した後にそれぞれ対応する適応フィルタに入力し
    て前記複数のレプリカを発生することを特徴とする多チ
    ャネルエコー除去方法
  4. 【請求項4】複数の受信信号と少なくとも一つの送信信
    号を有するシステムにおいて、前記複数の受信信号が空
    間音響経路を伝搬することによって、あるいは回線で漏
    話すること等によって生じる複数のエコーと前記送信信
    号が混在する混在信号から、前記複数の受信信号を用い
    て生成された前記複数のエコーに対応したレプリカを差
    し引くことによってエコーを除去する際に、 前記複数の受信信号のうち一つを選択して選択受信信号
    とし、該選択受信信号をフィルタ処理して処理信号を発
    生し、該処理信号と前記選択受信信号を時間多重して新
    たな受信信号とし、該新たな受信信号と他の受信信号に
    対して振幅補正と非線形処理を施した後にそれぞれ対応
    する適応フィルタに入力して前記複数のレプリカを発生
    することを特徴とする多チャネルエコー除去方法。
  5. 【請求項5】前記非線形処理は、入力信号の極性に応じ
    て、別のチャネルの受信信号を定数倍して入力信号に加
    算することを特徴とする請求項3又は4記載の多チャネ
    ルエコー除去方法。
  6. 【請求項6】前記選択受信信号と前記処理信号、また
    は、前記非線形選択受信信号と前記処理信号を切り替え
    て時間多重することを特徴とする請求項1、2、3、4
    又は5記載の多チャネルエコー除去方法。
  7. 【請求項7】ゼロと非ゼロの値をとる複数の時変フィル
    タ係数を用いて前記選択受信信号をフィルタ処理するこ
    とによって、前記選択受信信号と前記処理信号、また
    は、前記非線形選択受信信号と前記処理信号を時間多重
    することによって得られる信号を等価的に生成すること
    を特徴とする請求項1、2、3、4又は5記載の多チャ
    ネルエコー除去方法。
  8. 【請求項8】前記選択受信信号と前記処理信号、又は前
    記非線形選択受信信号と前記処理信号を時間多重する際
    の周期が一定で、多重化する信号の標本化周期より長い
    ことを特徴とする請求項1、2、3、4、5、6又は7
    記載の多チャネルエコー除去方法。
  9. 【請求項9】前記選択受信信号と前記処理信号、又は前
    記非線形選択受信信号と前記処理信号を時間多重する際
    の周期が、多重化する信号の標本化周期より長く、さら
    に多重化する信号を分析した結果により変化することを
    特徴とする請求項1、2、3、4、5、6又は7記載の
    多チャネルエコー除去方法。
  10. 【請求項10】複数の受信信号と少なくとも一つの送信
    信号を有するシステムにおいて、前記複数の受信信号が
    空間音響経路を伝搬することによって、あるいは回線で
    漏話すること等によって生じる複数のエコーと前記送信
    信号が混在する混在信号から、前記複数の受信信号を用
    いて生成された前記複数のエコーに対応したレプリカを
    差し引くことによってエコーを除去する装置において、 前記複数の受信信号の各々に対して、少なくとも一つの
    自分自身とは別の受信信号を非線形処理して得た信号を
    自分自身に加算する処理を適用して複数の非線形処理信
    号を発生する非線形処理回路と、 前記複数の非線形処理信号のうち一つを選択して非線形
    選択受信信号とし、該非線形選択受信信号をフィルタ処
    理して処理信号を発生し、該処理信号と前記非線形選択
    受信信号を時間多重する遅延処理回路を含む前処理回路
    と、 前記空間音響経路あるいは回線における漏話の経路と1
    対1に対応し、前記前処理回路の出力を受けて前記レプ
    リカを生成する複数の適応フィルタと、 前記生成されたレプリカを前記混在信号から差し引く複
    数の減算器を少なくとも具備し、 前記複数の減算器の出力を最小とするように前記複数の
    適応フィルタを制御することを特徴とする多チャネルエ
    コー除去装置。
  11. 【請求項11】複数の受信信号と少なくとも一つの送信
    信号を有するシステムにおいて、前記複数の受信信号が
    空間音響経路を伝搬することによって、あるいは回線で
    漏話すること等によって生じる複数のエコーと前記送信
    信号が混在する混在信号から、前記複数の受信信号を用
    いて生成された前記複数のエコーに対応したレプリカを
    差し引くことによってエコーを除去する装置において、 前記複数の受信信号のうち一つを選択して選択受信信号
    とし、該選択受信信号をフィルタ処理して処理信号を発
    生し、該処理信号と前記選択受信信号を時間多重する遅
    延処理回路を含む前処理回路と、 該前処理回路の出力の各々に対して、少なくとも一つの
    自分自身とは別の受信信号を非線形処理して得た信号を
    自分自身に加算する処理を適用して複数の非線形処理信
    号を発生する非線形処理回路と、 前記空間音響経路あるいは回線における漏話の経路と1
    対1に対応し、前記複数の非線形処理信号を受けて前記
    レプリカを生成する複数の適応フィルタと、 前記生成されたレプリカを前記混在信号から差し引く複
    数の減算器を少なくとも具備し、 前記複数の減算器の出力を最小とするように前記複数の
    適応フィルタを制御することを特徴とする多チャネルエ
    コー除去装置。
  12. 【請求項12】複数の受信信号と少なくとも一つの送信
    信号を有するシステムにおいて、前記複数の受信信号が
    空間音響経路を伝搬することによって、あるいは回線で
    漏話すること等によって生じる複数のエコーと前記送信
    信号が混在する混在信号から、前記複数の受信信号を用
    いて生成された前記複数のエコーに対応したレプリカを
    差し引くことによってエコーを除去する装置において、 前記複数の受信信号を非線形処理して複数の非線形処理
    信号を発生する非線形処理回路と、 前記複数の非線形処理信号のうち一つを選択して非線形
    選択受信信号とし、該非線形選択受信信号をフィルタ処
    理して処理信号を発生し、該処理信号と前記非線形選択
    受信信号を時間多重して新たな受信信号とし、該新たな
    受信信号及び他の非線形処理信号に対して振幅補正を施
    して出力する前処理回路と、 前記空間音響経路あるいは回線における漏話の経路と1
    対1に対応し、前記前処理回路の出力を受けて前記レプ
    リカを生成する複数の適応フィルタと、 前記生成されたレプリカを前記混在信号から差し引く複
    数の減算器を少なくとも具備し、前記複数の減算器の出
    力を最小とするように前記複数の適応フィルタを制御す
    ることを特徴とする多チャネルエコー除去装置。
  13. 【請求項13】複数の受信信号と少なくとも一つの送信
    信号を有するシステムにおいて、前記複数の受信信号が
    空間音響経路を伝搬することによって、あるいは回線で
    漏話すること等によって生じる複数のエコーと前記送信
    信号が混在する混在信号から、前記複数の受信信号を用
    いて生成された前記複数のエコーに対応したレプリカを
    差し引くことによってエコーを除去する装置において、 前記複数の受信信号のうち一つを選択して選択受信信号
    とし、該選択受信信号をフィルタ処理して処理信号を発
    生し、該処理信号と前記選択受信信号を時間多重して新
    たな受信信号とし、該新たな受信信号と他の受信信号に
    対して振幅補正を施して出力する前処理回路と、 該前処理回路の出力を受けて非線形処理を施す非線形処
    理回路と、 前記空間音響経路あるいは回線における漏話の経路と1
    対1に対応し、前記非線形処理回路の出力を受けて前記
    レプリカを生成する複数の適応フィルタと、 前記生成されたレプリカを前記混在信号から差し引く複
    数の減算器を少なくとも具備し、前記複数の減算器の出
    力を最小とするように前記複数の適応フィルタを制御す
    ることを特徴とする多チャネルエコー除去装置。
  14. 【請求項14】非線形処理回路は、 入力信号の極性を判別する極性判定回路と、 別のチャネルの入力信号を定数倍する係数乗算器と、 前記極性判定回路の出力と前記係数乗算器の出力を乗算
    する乗算器と、 該乗算器の出力と入力信号を加算する加算器とから構成
    される振幅処理回路を複数有し、 入力信号の極性に応じて、別のチャネルの入力信号の定
    数倍を入力信号に加算、又は減算して出力することを特
    徴とする請求項12又は13記載の多チャネルエコー除
    去装置。
  15. 【請求項15】前処理回路は、前記選択受信信号と前記
    処理信号、又は前記非線形選択受信信号と前記処理信号
    を切替えて時間多重するスイッチを有することを特徴と
    する請求項10、11、12、13又は14記載の多チ
    ャネルエコー除去装置。
  16. 【請求項16】前処理回路は、前記複数の受信信号を受
    け、ゼロと非ゼロの値をとる複数の時変係数を有するフ
    ィルタで処理することによって, 前記処理信号と前記受
    信信号、又は前記処理信号と前記非線形受信信号を時間
    多重した処理信号を発生する時変係数フィルタを有する
    ことを特徴とする請求項10、11、12、13又は1
    4記載の多チャネルエコー除去装置。
  17. 【請求項17】前処理回路は、 前記選択受信信号と前記処理信号、又は前記非線形選択
    受信信号と前記処理信号を切替えて時間多重するスイッ
    チと、 多重化する信号の標本化周期より長い周期の信号を基準
    クロックから分周する分周回路と、 時変係数フィルタを有し、 前記分周回路の出力である分周クロックで前記スイッチ
    を切替え、前記分周クロックと前記基準クロックによっ
    て前記時変係数の変化を制御することを特徴とする請求
    項15記載の多チャネルエコー除去装置。
  18. 【請求項18】前処理回路は、 多重化する信号の標本化周期より長い周期の信号を基準
    クロックから分周する分周回路と、 時変係数フィルタを有し、 前記分周回路の出力である分周クロックと前記基準クロ
    ックによって前記時変係数の変化を制御することを特徴
    とする請求項16記載の多チャネルエコー除去装置。
  19. 【請求項19】前処理回路は、 前記選択受信信号と前記処理信号又は前記非線形選択
    受信信号と前記処理信号を切替えて時間多重するスイッ
    チと、 多重化する信号の標本化 周期より長い周期の信号を基
    準クロックから分周する分周回路と、 前記選択受信信号を分析する分析回路と、 前記分周回路の出力である分周クロックと前記分析回路
    の出力の一致を検出する論理積回路と、 時変係数フィルタを有し、 前記論理積回路の出力で前記スイッチを切替え、前記論
    理積回路の出力と前記基準クロックによって前記時変係
    数の変化を制御することを特徴とする請求項15記載の
    多チャネルエコー除去装置。
  20. 【請求項20】前処理回路は、 多重化する信号の標本化周期より長い周期の信号を基準
    クロックから分周する分周回路と、 前記選択受信信号又は前記非線形選択受信信号を分析す
    る分析回路と、 前記分周回路の出力である分周クロックと前記分析回路
    の出力の一致を検出する論理積回路と、 時変係数フィルタを有し、 前記論理積回路の出力と前記基準クロックによって前記
    時変係数の変化を制御することを特徴とする請求項16
    記載の多チャネルエコー除去装置。
  21. 【請求項21】前処理回路は、 前記選択受信信号と前記処理信号、又は前記非線形選択
    受信信号と前記処理信号を切替えて時間多重するスイッ
    チと、 前記選択受信信号、又は、前記非線形選択受信信号を分
    析する分析回路と、 時変係数フィルタを有し、 前記分析回路の出力で前記スイッチを切替え、前記分析
    回路の出力と前記基準クロックによって前記時変係数の
    変化を制御することを特徴とする請求項15記載の多チ
    ャネルエコー除去装置。
  22. 【請求項22】前処理回路は、 前記選択受信信号、又は前記非線形選択受信信号を分析
    する分析回路と、時変係数フィルタを有し、前記分析回
    路の出力と前記基準クロックによって前記時変係数の変
    化を制御することを特徴とする請求項16記載の多チャ
    ネルエコー除去装置。
JP24802598A 1998-09-02 1998-09-02 多チャネルエコー除去方法及び装置 Expired - Fee Related JP3319403B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP24802598A JP3319403B2 (ja) 1998-09-02 1998-09-02 多チャネルエコー除去方法及び装置
EP99250302A EP0984609B1 (en) 1998-09-02 1999-09-01 Method and apparatus of canceling multi-channel echoes
US09/388,398 US6577731B1 (en) 1998-09-02 1999-09-01 Method and apparatus of cancelling multi-channel echoes
DE69926451T DE69926451T2 (de) 1998-09-02 1999-09-01 Verfahren und Vorrichtung zur Unterdrückung von Mehrkanalechos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24802598A JP3319403B2 (ja) 1998-09-02 1998-09-02 多チャネルエコー除去方法及び装置

Publications (2)

Publication Number Publication Date
JP2000078061A JP2000078061A (ja) 2000-03-14
JP3319403B2 true JP3319403B2 (ja) 2002-09-03

Family

ID=17172093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24802598A Expired - Fee Related JP3319403B2 (ja) 1998-09-02 1998-09-02 多チャネルエコー除去方法及び装置

Country Status (4)

Country Link
US (1) US6577731B1 (ja)
EP (1) EP0984609B1 (ja)
JP (1) JP3319403B2 (ja)
DE (1) DE69926451T2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771779B1 (en) * 2000-09-28 2004-08-03 Telefonaktiebolaget Lm Ericsson (Publ) System, apparatus, and method for improving speech quality in multi-party devices
KR20060016789A (ko) * 2003-05-27 2006-02-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 에코 제거 시스템을 가진 확성기-마이크로폰 시스템 및에코 제거 방법
US7471670B1 (en) * 2004-01-20 2008-12-30 Marvell International Ltd. Method and apparatus for reducing echo and crosstalk in a communication system
EP1845699B1 (en) * 2006-04-13 2009-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decorrelator
WO2007118583A1 (en) * 2006-04-13 2007-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decorrelator
US8370113B2 (en) 2006-09-29 2013-02-05 Netlogic Microsystems, Inc. Low-power and low-cost adaptive self-linearization system with fast convergence
US7693672B2 (en) * 2006-09-29 2010-04-06 Optichron Adaptive self-linearization
US7917337B2 (en) * 2006-09-29 2011-03-29 Optichron, Inc. Adaptive self-linearization with separation filter
US8032336B2 (en) * 2006-09-29 2011-10-04 Netlogic Microsystems, Inc. Distortion cancellation using adaptive linearization
US8041757B2 (en) 2006-09-29 2011-10-18 Netlogic Microsystems, Inc. Low power and low complexity adaptive self-linearization
DE102007060707B4 (de) * 2007-12-17 2017-12-07 Austriamicrosystems Ag Anordnung zur Detektion einer Bewegung eines Körpers sowie Verfahren zum Betrieb einer solchen Anordnung
JP5472643B2 (ja) * 2008-09-26 2014-04-16 日本電気株式会社 信号処理方法、信号処理装置、および信号処理プログラム
US9497330B2 (en) 2008-09-26 2016-11-15 Nec Corporation Signal processing method, signal processing device, and signal processing program
CN101854193B (zh) * 2009-04-03 2013-06-05 瑞昱半导体股份有限公司 回音处理装置与其相关方法
US9653060B1 (en) * 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation
US9659555B1 (en) * 2016-02-09 2017-05-23 Amazon Technologies, Inc. Multichannel acoustic echo cancellation
CN107452395B (zh) * 2017-08-23 2021-06-18 深圳创维-Rgb电子有限公司 一种语音信号回声消除装置及电视机
US10522167B1 (en) * 2018-02-13 2019-12-31 Amazon Techonlogies, Inc. Multichannel noise cancellation using deep neural network masking

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4268727A (en) * 1979-03-14 1981-05-19 International Telephone And Telegraph Corporation Adaptive digital echo cancellation circuit
JP2792252B2 (ja) * 1991-03-14 1998-09-03 日本電気株式会社 多チャンネルエコー除去方法および装置
JP2792311B2 (ja) * 1992-01-31 1998-09-03 日本電気株式会社 多チャンネルエコー除去方法および装置
JP2508574B2 (ja) * 1992-11-10 1996-06-19 日本電気株式会社 多チャンネルエコ―除去装置
US5568411A (en) * 1994-07-25 1996-10-22 National Semiconductor Corporation Method and apparatus for using polarity-coincidence correlators in LMS adaptive filters
US5828756A (en) * 1994-11-22 1998-10-27 Lucent Technologies Inc. Stereophonic acoustic echo cancellation using non-linear transformations
CA2186416C (en) * 1995-09-26 2000-04-18 Suehiro Shimauchi Method and apparatus for multi-channel acoustic echo cancellation
JPH09266456A (ja) * 1996-03-28 1997-10-07 Mitsubishi Electric Corp エコーキャンセラ
JP2842376B2 (ja) * 1996-05-22 1999-01-06 日本電気株式会社 ハンズフリー電話機
US5896452A (en) * 1996-05-24 1999-04-20 Motorola, Inc. Multi-channel echo canceler and method using convolution of two training signals
US5856970A (en) * 1996-08-05 1999-01-05 Motorola, Inc. Multi-channel echo cancellation method and apparatus
US5790658A (en) * 1996-10-28 1998-08-04 Advanced Micro Devices, Inc. High performance echo canceller for high speed modem

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yann JONCOUR,Akihiko SUGIYAMA,A Stereo Echo Canceler with Correct Echo−Path Identification,電子情報通信学会技術研究報告,日本,電子情報通信学会,1997年 4月18日,DSP97−1,1−8
杉山昭彦,マルチチャネルエコーキャンセラ −技術的課題と解決への挑戦−,電子情報通信学会誌,日本,電子情報通信学会,1998年 3月,第81巻第3号,266−274

Also Published As

Publication number Publication date
DE69926451D1 (de) 2005-09-08
EP0984609A3 (en) 2003-06-11
US6577731B1 (en) 2003-06-10
EP0984609B1 (en) 2005-08-03
EP0984609A2 (en) 2000-03-08
JP2000078061A (ja) 2000-03-14
DE69926451T2 (de) 2006-06-01

Similar Documents

Publication Publication Date Title
JP3152292B2 (ja) 多チャネルエコー除去方法及び装置
JP3319403B2 (ja) 多チャネルエコー除去方法及び装置
JP2792252B2 (ja) 多チャンネルエコー除去方法および装置
KR101250124B1 (ko) 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법
Benesty et al. Advances in network and acoustic echo cancellation
EP1417756B1 (en) Sub-band adaptive signal processing in an oversampled filterbank
EP1832104B1 (en) Audio system and method for acoustic echo cancellation
US9008327B2 (en) Acoustic multi-channel cancellation
EP1698159B1 (en) System and method for enhanced stereo audio
US7693291B2 (en) Multi-channel frequency-domain adaptive filter method and apparatus
JPH06343051A (ja) 多チャンネルエコー除去方法および装置
Tanaka et al. A block exact fast affine projection algorithm
JP5472642B2 (ja) 信号処理方法、信号処理装置、および信号処理プログラム
WO2005064908A1 (en) System and method for enchanced subjective stereo audio
JP5472643B2 (ja) 信号処理方法、信号処理装置、および信号処理プログラム
JP2002237769A (ja) 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体
JP2850826B2 (ja) 多チャネルエコー除去方法及び装置
Siqueira et al. Bias analysis in continuous adaptation systems for hearing aids
CA2397080C (en) Sub-band adaptive signal processing in an oversampled filterbank
Nathan et al. Acoustic Echo Cancellation Technique for VoIP
Benesty et al. An Introduction to the Problem of Echo in Speech Communication

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080621

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090621

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130621

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees