JP3507020B2 - Echo suppression method, echo suppression device, and echo suppression program storage medium - Google Patents

Echo suppression method, echo suppression device, and echo suppression program storage medium

Info

Publication number
JP3507020B2
JP3507020B2 JP2000274031A JP2000274031A JP3507020B2 JP 3507020 B2 JP3507020 B2 JP 3507020B2 JP 2000274031 A JP2000274031 A JP 2000274031A JP 2000274031 A JP2000274031 A JP 2000274031A JP 3507020 B2 JP3507020 B2 JP 3507020B2
Authority
JP
Japan
Prior art keywords
echo
signal
power
received signal
echo suppression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000274031A
Other languages
Japanese (ja)
Other versions
JP2002084212A (en
Inventor
澄宇 阪内
雅史 田中
陽一 羽田
和彦 山森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000274031A priority Critical patent/JP3507020B2/en
Publication of JP2002084212A publication Critical patent/JP2002084212A/en
Application granted granted Critical
Publication of JP3507020B2 publication Critical patent/JP3507020B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、2線4線変換系お
よび拡声通話系等において、エコー信号を抑圧する反響
抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒
体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an echo suppression method, an echo suppression device, and an echo suppression program storage medium for suppressing an echo signal in a 2-wire 4-wire conversion system, a voice communication system, and the like.

【0002】[0002]

【従来の技術】図4に、拡声通話系の一例を示す。図4
において、101、103は送話用マイクロホン、10
2、104は受話スピーカ、105、107は送話信号
増幅器、106、108は受話信号増幅器、109は伝
送路、110は送話者、111は受話者をそれぞれ表
す。送話者110の発声した送話音声は、送話用マイク
ロホン101、送話信号増幅器105、伝送路109、
受話信号増幅器108、受話スピーカ104を経て受話
者111に伝わる。
2. Description of the Related Art FIG. 4 shows an example of a voice communication system. Figure 4
, 101 and 103 are microphones for transmission and 10
Reference numerals 2 and 104 are receiver speakers, 105 and 107 are transmitter signal amplifiers, 106 and 108 are receiver signal amplifiers, 109 is a transmission line, 110 is a transmitter, and 111 is a receiver. The transmitted voice uttered by the transmitter 110 includes a transmission microphone 101, a transmission signal amplifier 105, a transmission line 109,
The signal is transmitted to the receiver 111 via the receiver signal amplifier 108 and the receiver speaker 104.

【0003】この拡声通話系は、従来の電話通話系のよ
うに送受話器を手に持つ必要がないため、作業をしなが
らの通話が可能であったり、また、自然な対面通話が実
現できるという長所を持ち、通信会議やテレビ電話、拡
声電話機などに広く利用が進められている。
Unlike the conventional telephone call system, this voice call system does not require a handset to be held in the hand, so that it is possible to make a call while working, or to realize a natural face-to-face call. It has advantages and is widely used in teleconferences, videophones, and loudspeakers.

【0004】しかしながら、上述した拡声通話系の欠点
として、エコーの存在が問題となっている。即ち、図4
において、スピーカ104から受話側に伝わった音声
が、マイクロホン103で受音され、送話信号増幅器1
07、伝送路109、受話信号増幅器106、スピーカ
102を経て送話側に再生される。送話者110にとっ
て、この現象は、自分の発声した音声が、スピーカ2か
ら再生されるというエコー現象であり、音響エコーなど
と呼ばれている。このエコー現象は、拡声通話系におい
て通話の障害や不快感などの悪影響を生じる。
However, the existence of echo has been a problem as a drawback of the above-mentioned voice communication system. That is, FIG.
In, the voice transmitted from the speaker 104 to the receiving side is received by the microphone 103, and the transmission signal amplifier 1
07, the transmission path 109, the reception signal amplifier 106, and the speaker 102, and is reproduced on the transmission side. For the speaker 110, this phenomenon is an echo phenomenon in which the voice uttered by the speaker is reproduced from the speaker 2, and is called an acoustic echo or the like. This echo phenomenon causes a bad influence such as a call trouble or discomfort in a voice call system.

【0005】さらに、スピーカ102から再生された音
は、マイクロホン101で受音されて信号の閉ループを
形成する。そして、ループゲインが1より大きい場合に
はハウリング現象が発生して、通話は不能となる。この
ような拡声通話系の問題点を克服するために、反響消去
装置(エコーキャンセラ)が利用されている。エコーキ
ャンセラは適応フィルタ部、非線形エコー抑圧処理部の
どちらか、もしくはそれらを組み合わせて構成される。
Further, the sound reproduced from the speaker 102 is received by the microphone 101 and forms a closed loop of the signal. When the loop gain is larger than 1, the howling phenomenon occurs and the call becomes impossible. An echo canceller is used to overcome the problems of the voice communication system. The echo canceller is configured with either an adaptive filter unit, a nonlinear echo suppression processing unit, or a combination thereof.

【0006】ここで、非線形エコー抑圧処理は、音声ス
イッチやセンタクリッパなどの適応フィルタ(線形処
理)以外のエコー抑圧処理を指す。適応フィルタ、非線
形エコー抑圧処理に関しては、辻井重男監修の「エコー
キャンセラ技術」(日本工業技術センター、昭61)な
どが詳しい。また、ITUの勧告P.201、P20
4、G165、G167などにも、構成および要求性能
が提示されている。これらの処理によって、比較的静か
な環境で利用する従来の通信会議やテレビ電話、拡声電
話機などは、十分な通話品質を保証することが可能であ
った。
Here, the nonlinear echo suppression processing refers to echo suppression processing other than adaptive filters (linear processing) such as voice switches and center clippers. For details on adaptive filters and nonlinear echo suppression processing, see "Echo Canceller Technology" (Japan Industrial Technology Center, Sho 61) supervised by Shigeo Tsujii. Also, ITU Recommendations P.201 and P20
4, G165, G167, etc., the configuration and the required performance are also presented. By these processes, it is possible to guarantee sufficient call quality in conventional communication conferences, videophones, loudspeakers, etc., which are used in a relatively quiet environment.

【0007】しかし、昨今、拡声通話の利用形態が拡大
している。例えば、高騒音下の自動車内でのハンズフリ
ー通話や、伝送遅延の大きいバケット網を用いたデスク
トップテレビ会議、残響の大きい講堂を用いる遠隔講義
などが挙げられる。このような利用環境においては、従
来の適応フィルタや非線形エコー抑圧処置では、十分な
通話品質の保証が困難となっている。
However, in recent years, the usage form of the voice call is expanding. For example, hands-free communication in a car in a noisy environment, desktop video conference using a bucket network with a large transmission delay, and remote lectures using a reverberant auditorium are examples. In such a usage environment, it is difficult to guarantee sufficient speech quality by the conventional adaptive filter and nonlinear echo suppression treatment.

【0008】高騒音下では、適応フィルタは一般的にエ
コー経路のインパルス応答を十分に推定することが困難
となる。適応フィルタのフィルタ係数長(タップ長)
は、エコー経路の残響時間に基づいて設定される。した
がって、残響時間が長い場合は、より多くのタップ長が
必要となり、収束速度の低下や装置のハードウェア規模
の増大を招く。さらに、伝送遅延が大きい場合には、エ
コーがより聞こえやすくなり、適応フィルタだけでは消
去しきれない残留エコーが通話品質の劣化を引き起こ
す。対して、非線形エコー抑圧処理は、挿入損失の制御
などにより大きくロバストにエコー抑圧できる利点があ
る。
Under high noise, adaptive filters generally have difficulty in fully estimating the impulse response of the echo path. Filter coefficient length (tap length) of adaptive filter
Is set based on the reverberation time of the echo path. Therefore, when the reverberation time is long, more tap lengths are required, which causes a decrease in the convergence speed and an increase in the hardware scale of the device. Furthermore, when the transmission delay is large, the echo becomes more audible, and the residual echo that cannot be canceled by the adaptive filter alone deteriorates the speech quality. On the other hand, the nonlinear echo suppression process has an advantage that the echo can be suppressed significantly robustly by controlling the insertion loss.

【0009】しかし、エコーと同時に送話音声が存在す
る場合は、それらを区別なく抑圧してしまうために、送
話音声に歪みや、音の途切れを引き起こしてしまうとい
った問題が発生してしまう。すなわち、非線形エコー抑
圧処理は、双方向同時通話(ダブルトーク)時に、通話
品質の劣化を引き起こすという問題がある。
However, in the case where the transmitted voice exists at the same time as the echo, they are suppressed without distinction, so that there arises a problem that the transmitted voice is distorted or the sound is interrupted. That is, the non-linear echo suppression processing has a problem that it causes deterioration of call quality during two-way simultaneous call (double talk).

【0010】以上のような問題に対し、周波数領域のエ
コー抑圧方法が提案されており、その抑圧方法につい
て、図5を用いて簡単に説明する。なお、該エコー抑圧
方法は、特開平11−331046号公報に記載されて
いる方法である。図5において、201、202が高速
フーリエ変換部、203が高速逆フーリエ変換部、20
4が片側発話状態検出部、205がエコー経路結合量計
算部、206がエコー信号パワー計算部、207がエコ
ー抑圧ゲイン決定部、208がエコー抑圧処理部であ
る。ここで図4と共通な部分には同一の番号を付した。
To solve the above problems, a frequency domain echo suppression method has been proposed, and the suppression method will be briefly described with reference to FIG. The echo suppression method is the method described in Japanese Patent Application Laid-Open No. 11-331046. In FIG. 5, 201 and 202 are fast Fourier transform units, 203 is a fast inverse Fourier transform unit, 20
Reference numeral 4 is a one-sided speech state detection unit, 205 is an echo path coupling amount calculation unit, 206 is an echo signal power calculation unit, 207 is an echo suppression gain determination unit, and 208 is an echo suppression processing unit. Here, the same parts as those in FIG. 4 are denoted by the same reference numerals.

【0011】はじめに、受話信号x(k)および送信信
号(エコー重畳信号)y(k)をそれぞれ、高速フーリ
エ変換し信号の短時間スペクトルX、Yをそれぞれ求め
る。片側発話状態検出部204で受話信号x(k)と送
信信号y(k)を用いて、受話信号だけの状態か否かを
検出する。そして、通話状態が受話信号だけの場合に、
先に変換した受話信号および送信信号(この場合、エコ
ー信号)のパワーPX、PY(=PE)から、エコー経
路結合量計算回路205において、推定エコー経路結合
量PHeを計算する。
First, the reception signal x (k) and the transmission signal (echo superimposed signal) y (k) are each subjected to fast Fourier transform to obtain short-time spectra X and Y of the signal. The one-sided utterance state detection unit 204 detects whether or not there is only the utterance signal by using the utterance signal x (k) and the transmission signal y (k). And when the call state is only the receiving signal,
The estimated echo path coupling amount PHe is calculated in the echo path coupling amount calculation circuit 205 from the powers PX and PY (= PE) of the reception signal and the transmission signal (echo signal in this case) converted previously.

【0012】次に、エコー信号パワー計算部206で、
受話信号パワーPXTに推定エコー経路結合量PHeを
乗じて、予測エコー信号パワーPEeを計算する。その
決定された予測エコー信号パワーPEeと、受話信号お
よび送信信号の短時間スペクトルX、Yをエコー抑圧ゲ
イン決定部207に入力する。エコー抑圧ゲイン決定部
207において、送信信号y(k)に重畳されたエコー
信号b(k)の割合に基づいてエコー抑圧ゲインGを計
算する。その値を、エコー抑圧部208において、送信
信号(エコー重畳信号)Yに乗じることにより、エコー
を抑圧した処理信号Seが得られ、その値を高速逆フー
リエ変換部203で逆フーリエ変換することにより、エ
コー信号b(k)を抑圧し送話信号s(k)を強調した
時間信号se(k)が得られる。
Next, in the echo signal power calculation unit 206,
The estimated echo signal power PEe is calculated by multiplying the received signal power PXT by the estimated echo path coupling amount PHe. The determined predicted echo signal power PEe and the short-term spectra X and Y of the reception signal and the transmission signal are input to the echo suppression gain determination unit 207. The echo suppression gain determination unit 207 calculates the echo suppression gain G based on the ratio of the echo signal b (k) superimposed on the transmission signal y (k). The echo suppression unit 208 multiplies the transmission signal (echo superimposed signal) Y by the value to obtain a processed signal Se in which the echo is suppressed, and the fast inverse Fourier transform unit 203 inverse Fourier transforms the value. , The time signal se (k) in which the echo signal b (k) is suppressed and the transmission signal s (k) is emphasized is obtained.

【0013】この方法を用いると、エコーが重畳された
送信信号y(k)からエコー信号b(k)だけを抑圧
し、送話信号s(k)だけを強調し、相手側に送信する
ことができる。すなわち、非線形エコー抑圧処理であり
ながら、ダブルトーク時にも送話信号s(k)が途切れ
ることなく、エコー信号b(k)だけを抑圧することが
可能となる。
When this method is used, only the echo signal b (k) is suppressed from the transmission signal y (k) on which the echo is superimposed, only the transmission signal s (k) is emphasized, and transmitted to the other party. You can That is, it is possible to suppress only the echo signal b (k) without interrupting the transmission signal s (k) even during double talk, although it is the nonlinear echo suppression process.

【0014】[0014]

【発明が解決しようとする課題】上述したように、従来
の方法では、信号対エコー比が良く、エコー経路の伝搬
遅延が小さい時には、十分な性能を有するという利点が
得られるが、下記のような条件の場合に三つの大きな問
題が生じる。
As described above, the conventional method has the advantage of having sufficient performance when the signal-to-echo ratio is good and the propagation delay of the echo path is small. There are three major problems under various conditions.

【0015】一つは、信号対エコー比が悪い場合に、処
理後の送話音声s(k)が歪み通話品質を劣化させる。
特開平11−331046号公報に記載のエコー抑圧方
法は、抑圧した後の送話信号s(k)にエコー信号b
(k)が全く残らない(0にする)という前提でエコー
抑圧ゲインを算出している。しかし、エコー抑圧ゲイン
Gを算出する際に必要となるエコー信号b(k)の推定
値には誤差が生じるために、エコー抑圧ゲインを正確に
求めることは困難であり、不正確なエコー抑圧ゲインを
重畳することになり、送話音声s(k)に歪みが生じ
る。そのため、エコー抑圧ゲインの算出方法が一つめの
課題となる。
First, when the signal-to-echo ratio is bad, the transmitted voice s (k) after processing is distorted and the speech quality deteriorates.
In the echo suppression method described in Japanese Patent Laid-Open No. 11-331046, the echo signal b is added to the suppressed transmission signal s (k).
The echo suppression gain is calculated on the assumption that (k) does not remain at all (set to 0). However, since an error occurs in the estimated value of the echo signal b (k) that is necessary when calculating the echo suppression gain G, it is difficult to accurately obtain the echo suppression gain, and the inaccurate echo suppression gain is inaccurate. Will be superimposed, and the transmitted voice s (k) will be distorted. Therefore, the first problem is how to calculate the echo suppression gain.

【0016】次に、上記エコー抑圧方法では、エコー経
路の伝搬遅延を考慮していない。すなわち、伝送遅延な
どが大きい利用形態で使用する場合には、エコー抑圧が
不可能となる。例えば、受話信号x(k)と送信信号
(エコー重畳信号)y(k)を周波数領域に変換してエ
コー抑圧ゲインを算出する場合を考えると、エコー経路
の伝搬遅延が周波数分析フレーム長以上の場合には、算
出したエコー抑圧ゲインを乗じる時点で、送信信号(エ
コー重畳信号)y(k)にその時点で抑圧しようとする
信号よりも以前のエコー信号が重畳していることにな
る。つまり、処理フレーム間に時間的なずれが生じるた
めに、原理的にエコーを抑圧することが不可能となる。
そのため、伝搬遅延を考慮することが二つめの課題とな
る。
Next, the echo suppression method does not consider the propagation delay of the echo path. That is, when used in a usage mode with a large transmission delay, echo suppression cannot be performed. For example, considering the case where the received signal x (k) and the transmitted signal (echo superimposed signal) y (k) are converted into the frequency domain to calculate the echo suppression gain, the propagation delay of the echo path is equal to or longer than the frequency analysis frame length. In this case, at the time of multiplying the calculated echo suppression gain, the echo signal earlier than the signal to be suppressed at that time is superimposed on the transmission signal (echo superimposed signal) y (k). That is, in principle, it is impossible to suppress the echo because a time lag occurs between the processing frames.
Therefore, the second issue is to consider the propagation delay.

【0017】最後に、上記エコー抑圧方法では、エコー
経路結合量を計算するために、送受話検出(片側発話状
態検出部)を必要とする。これは、送受話状態を誤検出
した場合に、エコー抑圧ゲインGを不正確なものとし、
通話品質の劣化を引き起こす可能性がある。そのため、
送受話検出を必要としないエコー経路結合量の算出が三
つめの課題となる。
Finally, the above echo suppression method requires transmission / reception detection (one-sided speech state detection unit) in order to calculate the echo path coupling amount. This makes the echo suppression gain G inaccurate when the transmission / reception state is erroneously detected,
May cause deterioration of call quality. for that reason,
The third issue is how to calculate the amount of echo path coupling that does not require transmission / reception detection.

【0018】本発明はこのような事情に鑑みてなされた
もので、2線4線変換系及び拡声通話系等において、ハ
ウジングの原因及び聴覚上の障害となるエコー信号を抑
圧することにより、通話品質の向上を図る反響抑圧方
法、反響抑圧装置及び反響抑圧プログラム記憶媒体を提
供することを目的とする。
The present invention has been made in view of the above circumstances, and in a two-wire to four-wire conversion system, a loudspeaker communication system, etc., a call is made by suppressing an echo signal that causes a cause of a housing and an auditory obstacle. An object is to provide an echo suppression method, an echo suppression device, and an echo suppression program storage medium for improving quality.

【0019】[0019]

【課題を解決するための手段】上記目的を達成するため
に、本発明は、収音信号(エコー重畳信号y(k))か
ら受話信号(x(k))によるエコー成分(エコー信号
b(k))を抑圧する反響抑圧方法であって、前記受話
信号と前記収音信号とに基づいてエコー信号を推定し
(推定したエコー信号be(k))、収音信号のパワー
(Py)からマスキング閾値によって補正された前記エ
コー信号のパワー(実施形態におけるPbe−Pd)を
差し引いたパワー値(Py−(Pbe−Pd)、即ちP
se+Pd、ここでPseは推定された送信者側の音声
信号のパワー)を、前記収音信号のパワー(Py)で規
格化してエコー抑圧ゲイン(G)を算出し、算出した前
記エコー抑圧ゲイン(G)を前記収音信号(y(k))
に乗算することを特徴とする。
In order to achieve the above object, the present invention provides an echo component (echo signal b (echo signal b (e) from a picked-up signal (echo superimposed signal y (k)) to a received signal (x (k))). k)), which is an echo suppression method, wherein an echo signal is estimated based on the received signal and the collected sound signal (estimated echo signal be (k)), and the power (Py) of the collected sound signal is calculated. The power value (Py- (Pbe-Pd), that is, P, obtained by subtracting the power (Pbe-Pd in the embodiment) of the echo signal corrected by the masking threshold value.
se + Pd, where Pse is the estimated power of the voice signal on the sender side) is standardized by the power (Py) of the collected sound signal to calculate an echo suppression gain (G), and the calculated echo suppression gain ( G) the collected signal (y (k))
Is multiplied by.

【0020】また、上記記載の反響抑圧方法において、
前記受話信号と前記収音信号とのパワー比を所定期間毎
に算出し、逐次算出する前記パワー比の内、最小値をエ
コー経路結合量として保持し、前記エコー経路結合量を
前記受話信号に乗じることにより前記エコー信号を推定
することを特徴とする。また、上記記載の反響抑圧方法
において、前記受話信号及び前記収音信号の特徴量を抽
出し、該特徴量の相互相関を用いて前記エコー経路伝搬
遅延量を推定し、前記受話信号及びエコー経路伝搬遅延
量から第2の受話信号を生成し、少なくとも前記エコー
信号の推定には、前記受話信号に代わって当該第2の受
話信号を用いることを特徴とする。
In the echo suppression method described above,
The power ratio between the received signal and the picked-up signal is calculated for each predetermined period, and among the power ratios that are sequentially calculated, the minimum value is held as the echo path coupling amount, and the echo path coupling amount is set to the reception signal. It is characterized in that the echo signal is estimated by multiplication. In the echo suppression method described above, the feature amount of the received signal and the picked-up signal is extracted, the echo path propagation delay amount is estimated using the cross-correlation of the feature amount, and the received signal and the echo path are obtained. A second reception signal is generated from the propagation delay amount, and at least the echo signal is estimated by using the second reception signal instead of the reception signal.

【0021】また、上記記載の反響抑圧方法において、
前記受話信号および前記収音信号は、波形符号化された
信号、分析合成符号化された信号、ハイブリッド符号化
された信号、周波数領域に変換された信号のいずれかで
あることを特徴とする。また、上記記載の反響抑圧方法
において、前記受話信号及び前記収音信号がハイブリッ
ド符号化された信号である場合には、前記特徴量として
ハイブリッド符号化で必要となる線スペクトル対係数、
駆動音源成分、雑音成分、利得のうちの少なくとも1つ
を用いることを特徴とする。
Further, in the echo suppression method described above,
The reception signal and the picked-up signal are any of a waveform coded signal, an analysis and synthesis coded signal, a hybrid coded signal, and a signal converted into a frequency domain. Further, in the echo suppression method described above, when the received signal and the picked-up signal are hybrid-encoded signals, a line spectrum pair coefficient required for hybrid encoding as the feature amount,
At least one of a driving sound source component, a noise component, and a gain is used.

【0022】また、本発明は、収音信号から受話信号に
よるエコー成分を抑圧する反響抑圧装置であって、前記
受話信号と前記収音信号とに基づいてエコー信号を推定
するエコー信号推定手段と、マスキング閾値によって補
正された収音信号のパワーから前記エコー信号推定手段
によって推定された前記エコー信号のパワーを差し引い
たパワー値を、前記受話信号のパワーで規格化してエコ
ー抑圧ゲインを算出するエコー抑圧ゲイン算出手段と、
前記エコー抑圧ゲイン算出手段によって算出された前記
エコー抑圧ゲインを前記収音信号に乗算して出力する乗
算手段とを具備することを特徴とする。
Further, the present invention is an echo suppressor for suppressing an echo component due to a received signal from a collected signal, and an echo signal estimating means for estimating an echo signal based on the received signal and the collected signal. An echo for calculating an echo suppression gain by normalizing a power value obtained by subtracting the power of the echo signal estimated by the echo signal estimating means from the power of the picked-up signal corrected by the masking threshold value with the power of the reception signal. Suppression gain calculation means,
And a multiplying unit that multiplies the collected sound signal by the echo suppression gain calculated by the echo suppression gain calculating unit and outputs the multiplied signal.

【0023】また、本発明は、上記反響抑圧方法により
実現される方法を、コンピュータを用いて実現するため
のプログラムを記録したコンピュータ読み取り可能な記
録媒体を提供する。
The present invention also provides a computer-readable recording medium having recorded therein a program for realizing the method realized by the echo suppression method using a computer.

【0024】なお、以上の発明の概要は、本発明に必要
なすべての要素を列挙したものではなく、これら要素の
任意の組み合わせでも実施可能である。
The above summary of the invention does not enumerate all the elements necessary for the present invention, and any combination of these elements can be implemented.

【0025】ところで、従来におけるエコー抑圧ゲイン
算出は、以下に示す(1)式を満たすエコー抑圧ゲイン
Gを算出することにより行われていた。 Pse=G・Py…(1)(Py=Ps+Pb) 上記(1)式において、Pse、Py、Ps、Pbは、
処理後の送信信号se(k)、送信信号(エコー重畳信
号)y(k)、所望信号s(k)、エコー信号b(k)
のパワーをそれぞれ示している。ここで、エコー抑圧ゲ
インGを正確に求めることができれば、エコー信号b
(k)は完全に抑圧でき、通信者が入力した送話信号s
(k)を完全に取り出すことが可能となる。しかし、各
信号およびエコー経路は時間的に非定常であるため、統
計的性質を用いてエコー抑圧ゲインGを算出すると、推
定したエコー信号には必ず誤差が生じる。信号対エコー
比が良い場合には、処理後の送信信号se(k)に聴感
上の歪みは検知されないとしても、信号対エコー比が悪
くなると歪みが検知されやすくなり、通話品質の劣化を
引き起こす。
By the way, the conventional echo suppression gain calculation has been performed by calculating the echo suppression gain G satisfying the following equation (1). Pse = G · Py (1) (Py = Ps + Pb) In the equation (1), Pse, Py, Ps, and Pb are
Processed transmission signal se (k), transmission signal (echo superimposed signal) y (k), desired signal s (k), echo signal b (k)
The power of each is shown. Here, if the echo suppression gain G can be accurately obtained, the echo signal b
(K) can be completely suppressed, and the transmission signal s input by the correspondent
It is possible to take out (k) completely. However, since each signal and the echo path are non-stationary in time, when the echo suppression gain G is calculated using the statistical property, an error always occurs in the estimated echo signal. When the signal-to-echo ratio is good, even if no audible distortion is detected in the processed transmission signal se (k), if the signal-to-echo ratio becomes poor, the distortion is easily detected, resulting in deterioration of speech quality. .

【0026】このような従来の問題に対し、本発明で
は、まず、受話信号x(k)及び収音信号y(k)の特
徴量を抽出し、該特徴量の相互相関を用いてエコー経路
伝搬遅延量を算出し、このエコー経路伝搬遅延量と受話
信号x(k)とから第2の受話信号xr(k)を生成し、
受話信号x(k)と収音信号y(k)とのパワー比を所
定期間毎に算出し、逐次算出する前記パワー比の内、最
小値をエコー経路結合量として保持し、エコー経路結合
量を第2の受話信号xr(k)に乗じることにより信号
遅延を考慮したエコー信号be(k)を推定し、この推
定したエコー信号be(k)を更にマスキング閾値によ
って補正したパワー(Pbe−Pd)を、収音信号のパ
ワー(Py)から差し引き、このパワー値(Py−(P
be−Pd))を、収音信号のパワー(Py)で規格化
してエコー抑圧ゲイン(G)を算出する。
In contrast to the conventional problem as described above, in the present invention, first, the feature amount of the received signal x (k) and the picked-up signal y (k) is extracted, and the echo path is obtained by using the cross-correlation of the feature amount. A propagation delay amount is calculated, and a second reception signal x r (k) is generated from the echo path propagation delay amount and the reception signal x (k),
The power ratio between the received signal x (k) and the picked-up signal y (k) is calculated for each predetermined period, and the minimum value of the power ratios sequentially calculated is held as the echo path coupling amount, and the echo path coupling amount is held. The echo signal be (k) considering the signal delay is estimated by multiplying the second received signal x r (k) by, and the estimated echo signal be (k) is further corrected by the masking threshold to obtain the power (Pbe− Pd) is subtracted from the power (Py) of the sound pickup signal, and this power value (Py- (Py)
be-Pd)) is standardized by the power (Py) of the sound pickup signal to calculate the echo suppression gain (G).

【0027】従って、推定するエコー信号be(k)
は、信号遅延などの誤差を補償した者となり、この信号
に基づいてエコー抑圧ゲインを取得するので、エコー信
号を抑圧したエコー重畳信号y(k)の歪みを著しく低
減することができる。また、収音信号をマスキング閾値
以下に抑圧することにより、残留エコー成分を聴感上検
知できない程度におさえることができるため、通話品質
を向上させることができる。
Therefore, the echo signal be (k) to be estimated
Becomes a person who compensates for an error such as a signal delay and obtains the echo suppression gain based on this signal, so that the distortion of the echo superimposed signal y (k) in which the echo signal is suppressed can be significantly reduced. Further, by suppressing the sound pickup signal to be equal to or less than the masking threshold, it is possible to suppress the residual echo component to the extent that it cannot be perceptually detected, so that the communication quality can be improved.

【0028】[0028]

【発明の実施の形態】以下、図面を参照し、本発明の一
実施形態について説明する。なお、以下の説明で示す信
号は、符号化された信号もしくは周波数領域に変換され
た信号と定義する。
DETAILED DESCRIPTION OF THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. The signals described below are defined as encoded signals or signals converted into the frequency domain.

【0029】《第1の実施形態》図1は、本発明の第1
の実施形態による反響抑圧装置を示す図である。同図に
おいて、まず、送信者が発した音声は、受話信号x
(k)として送信端1から入力される。受話信号x
(k)は、受信者側の受信端2へと送出される経路にお
いて、複数に分岐され遅延器303、エコー経路伝搬遅
延推定部302、エコー経路601へそれぞれ入力され
る。なお、ここでエコー経路601は、実際の音響エコ
ー経路もしくは、回線エコー経路(ハイブリッド回路)
を意図している。受話信号x(k)は、エコー経路60
1を伝搬することによりエコー信号b(k)として出力
される。一方、送信端2からは受信者側の音声が送話信
号s(k)として入力される。
<< First Embodiment >> FIG. 1 shows a first embodiment of the present invention.
It is a figure which shows the echo suppression apparatus by embodiment of this. In the figure, first, the voice uttered by the sender is the received signal x
It is input from the transmitting end 1 as (k). Received signal x
(K) is branched into a plurality of paths on the path sent to the receiving end 2 on the receiver side, and is input to the delay unit 303, the echo path propagation delay estimation unit 302, and the echo path 601 respectively. Here, the echo path 601 is an actual acoustic echo path or a line echo path (hybrid circuit).
Is intended. The received signal x (k) has an echo path 60.
Propagation of 1 outputs the echo signal b (k). On the other hand, the voice of the receiver side is input from the transmitting end 2 as the transmission signal s (k).

【0030】エコー経路601を伝搬した後のエコー信
号b(k)及び受信者側からの送話信号s(k)は加算
器602に入力され、加算器602によりこれら信号は
重畳されてエコー重畳信号y(k)となり、続くエコー
抑圧装置301内のエコー経路伝搬遅延推定部302に
入力される。
The echo signal b (k) after propagating through the echo path 601 and the transmission signal s (k) from the receiver side are input to the adder 602, and these signals are superposed by the adder 602 and echo superposed. The signal y (k) becomes the signal y (k) and is input to the echo path propagation delay estimator 302 in the subsequent echo suppressor 301.

【0031】エコー経路伝搬遅延推定部302は、先ほ
ど入力された受話信号x(k)と今回入力されたエコー
重畳信号y(k)との特徴量の相関から、エコー経路6
01の伝搬遅延量を算出して出力する。以下、エコー経
路伝搬遅延推定部302が行う伝搬遅延量の算出処理に
ついて詳しく説明する。まず、エコー重畳信号y(k)
は、加算器602によってエコー信号b(k)と送話信
号s(k)とが重畳された信号であり、更に、エコー信
号b(k)は、エコー経路601を受話信号x(k)が
伝搬することにより派生した信号である。従って、エコ
ー信号b(k)には、受話信号x(k)の特徴量が残存
している。
The echo path propagation delay estimator 302 determines the echo path 6 from the correlation of the feature amount between the received signal x (k) input earlier and the echo superimposed signal y (k) input this time.
The propagation delay amount of 01 is calculated and output. Hereinafter, the calculation processing of the propagation delay amount performed by the echo path propagation delay estimation unit 302 will be described in detail. First, the echo superimposed signal y (k)
Is a signal in which the echo signal b (k) and the transmission signal s (k) are superimposed by the adder 602. Further, the echo signal b (k) is the same as the reception signal x (k) on the echo path 601. It is a signal derived by propagating. Therefore, the echo signal b (k) retains the feature amount of the reception signal x (k).

【0032】エコー経路伝搬遅延推定部302は、受話
信号x(k)とエコー重畳信号y(k)の特徴量に対し
て相互相関を計算することにより、エコー経路601の
伝搬遅延を推定する。即ち、受話信号x(k)とエコー
重畳信号y(k)の相互相関関数rxy(k)は、両者が
複素変数の場合において以下の(2)式で与えられる。
The echo path propagation delay estimator 302 estimates the propagation delay of the echo path 601 by calculating the cross-correlation for the feature quantities of the received signal x (k) and the echo superimposed signal y (k). That is, the cross-correlation function r xy (k) of the received signal x (k) and the echo superimposed signal y (k) is given by the following equation (2) when both are complex variables.

【0033】 rxy(k)=(1/N)Σ{x(p)y(p+k)*}…(2) (ここで、p=0、1、…、N−1) 上記(2)式において、y(p+k)*は、y(p+
k)の共役複素数であり、Σは、p=0からN−1とし
た時の総和である。エコー経路伝搬遅延推定部302
は、上記(2)式により求めた相互相関関数rxy(k)
の最大値から伝搬遅延量を算出し、算出した伝搬遅延量
を遅延器303へ出力する。
R xy (k) = (1 / N) Σ {x (p) y (p + k) * } (2) (where p = 0, 1, ..., N−1) The above (2) In the formula, y (p + k) * is y (p +
k) is a conjugate complex number, and Σ is a total sum when p = 0 to N−1. Echo path propagation delay estimation unit 302
Is the cross-correlation function r xy (k) obtained by the above equation (2).
The propagation delay amount is calculated from the maximum value of, and the calculated propagation delay amount is output to the delay device 303.

【0034】遅延器303は、エコー経路伝搬遅延推定
部302から入力された伝搬遅延量に基づいてFIRフ
ィルタを作成し、作成したFIRフィルタに受話信号x
(k)を通過させる。FIRフィルタ通過後の受話信号
x(k)は、第2の受話信号xr(k)となり、続くエ
コー経路結合量推定部304及びエコー抑圧ゲイン算出
部305へ出力される。
The delay unit 303 creates an FIR filter based on the amount of propagation delay input from the echo path propagation delay estimation unit 302, and the received FIR signal x is received by the created FIR filter.
Pass (k). The reception signal x (k) after passing through the FIR filter becomes the second reception signal x r (k), which is output to the subsequent echo path coupling amount estimation unit 304 and echo suppression gain calculation unit 305.

【0035】エコー経路結合量推定部304では、入力
される第2の受話信号xr(k)及びエコー重畳信号y
(k)を用いて、エコー重畳信号y(k)に対する第2
の音声信号xr(k)比の最小値を更新することによ
り、エコー経路601の経路結合量(以下、エコー経路
結合量とする)を算出し、これを出力する。
The echo path coupling amount estimation unit 304 receives the second received voice signal x r (k) and the echo superimposed signal y.
(K) is used to generate a second signal for the echo superimposed signal y (k).
By updating the minimum value of the audio signal x r (k) ratio, the path coupling amount of the echo path 601 (hereinafter referred to as the echo path coupling amount) is calculated and output.

【0036】以下、エコー経路結合量推定部304が行
うエコー経路結合量算出処理について詳しく説明する。
エコー経路結合量は、エコー経路601へ入力される信
号と、エコー経路601を伝搬した後の信号とのパワー
比(Py/Px)である。即ち、信号の遅延を考慮する
と、エコー経路601への入力信号である受話信号xr
(k)に対する出力信号であるエコー信号b(k)のパ
ワー比である。
The echo path coupling amount calculation processing performed by the echo path coupling amount estimation unit 304 will be described in detail below.
The echo path coupling amount is a power ratio (Py / Px) between a signal input to the echo path 601 and a signal after propagating through the echo path 601. That is, considering the signal delay, the received signal x r which is the input signal to the echo path 601.
It is the power ratio of the echo signal b (k) which is the output signal with respect to (k).

【0037】しかしながら、エコー信号b(k)を独立
に抽出することは不可能であるため、遅延を考慮した第
2の受話信号xr(k)およびエコー重畳信号y(k)
を用いてエコー経路結合量を算出する。即ち、所定期間
毎にエコー重畳信号y(k)に対する第2の受話信号x
r(k)の比を算出し、前回取得した比と今回取得した
比とを比較して、小さい方をエコー経路結合量とする。
即ち、エコー経路結合量推定部304は、今まで取得し
たエコー重畳信号y(k)と第2の受信信号x r(k)
のパワー比において、一番小さい値をエコー経路結合量
として保持する。エコー経路結合量推定部304は、エ
コー経路結合量をエコー抑圧ゲイン算出部305へ出力
する。
However, the echo signal b (k) is independent
Since it is impossible to extract the
2 received signal xr(K) and echo superimposed signal y (k)
Is used to calculate the echo path coupling amount. That is, a predetermined period
The second received signal x for the echo superimposed signal y (k) for each
rThe ratio of (k) was calculated, and the ratio acquired this time and the ratio acquired this time were acquired.
The ratio is compared and the smaller one is used as the echo path coupling amount.
That is, the echo path coupling amount estimation unit 304 has acquired
Echo superposed signal y (k) and second received signal x r(K)
The smallest value in the power ratio of the echo path coupling amount
Hold as. The echo path coupling amount estimation unit 304
Outputs the amount of path coupling to the echo suppression gain calculation unit 305
To do.

【0038】エコー抑圧ゲイン算出部305では、第2
の受話信号xr(k)、エコー重畳信号y(k)および
エコー経路結合量推定部304から所定間隔で入力され
るエコー経路結合量を用いて、エコー抑圧ゲインGを算
出する。具体的には、第2の受話信号xr(k)にエコ
ー経路結合量を乗じることにより、エコー重畳信号y
(k)に重畳されているエコー信号be(k)を推定す
る(なお、誤差がないエコー信号b(k)に対し、推定
>したエコー信号をbe(k)とする)。更に、推定し
たエコー信号be(k)を、それ以外の可聴信号によっ
て形成されるマスキング閾値以下に抑圧するためのエコ
ー抑圧ゲインGを算出し、このエコー抑圧ゲインを乗算
器306へ出力する。
In the echo suppression gain calculation section 305, the second
The echo suppression gain G is calculated using the received signal x r (k), the echo superimposed signal y (k), and the echo path coupling amount input from the echo path coupling amount estimation unit 304 at a predetermined interval. Specifically, the echo superposition signal y is obtained by multiplying the second received signal x r (k) by the echo path coupling amount.
Estimate the echo signal be (k) superimposed on (k) (for the echo signal b (k) with no error, estimate
> Let the echo signal be (k). Further, an echo suppression gain G for suppressing the estimated echo signal be (k) below a masking threshold formed by other audible signals is calculated, and this echo suppression gain is output to the multiplier 306.

【0039】以下、エコー抑圧ゲイン算出部305が行
うエコー抑圧ゲイン算出処理について説明する。まず、
エコー抑圧ゲイン算出部305は、以下に示す(3)式
を満たすようなエコー抑圧ゲインGを算出する。 Pse+Pd=G・Py(ここで、Py=Ps+Pb)…(3)
The echo suppression gain calculation processing performed by the echo suppression gain calculation section 305 will be described below. First,
The echo suppression gain calculation unit 305 calculates the echo suppression gain G that satisfies the following expression (3). Pse + Pd = G · Py (where Py = Ps + Pb) (3)

【0040】上記(3)式において、Pdはエコー信号
b(k)以外の可聴信号、例えば、送信者側の受話信号
x(k)、受信者側の送話信号s(k)、周期騒音、回
線雑音などが形成するマスキング閾値(レベル)を示
す。なお、マスキング閾値Pdは、ノイズによるマスキ
ング閾値から算出可能である。送話信号s(k)のマス
キング閾値は、所定の期間毎に推定することは不可能で
あるため、長時間の特性は予め実験的に得られた所望の
エコー抑制ゲインの主観評価から推定する。ここで、上
記関係式を満たすエコー抑圧ゲインGを算出する方法は
各種存在するが、本実施形態ではウィナーフィルタリン
グに準じた解法で求める場合について説明する。
In the above equation (3), Pd is an audible signal other than the echo signal b (k), for example, the receiver side received signal x (k), the receiver side transmitted signal s (k), and the periodic noise. , Shows the masking threshold (level) formed by line noise. The masking threshold Pd can be calculated from the masking threshold due to noise. Since it is impossible to estimate the masking threshold of the transmission signal s (k) for each predetermined period, the long-term characteristic is estimated from the subjective evaluation of the desired echo suppression gain obtained experimentally in advance. . Here, there are various methods for calculating the echo suppression gain G that satisfies the above relational expression, but in the present embodiment, a case will be described in which it is obtained by a solution method based on Wiener filtering.

【0041】上記(3)式は、(4)式のように表せ、 Pse+Pd=G・(Ps+Pb)…(4) 上記(4)式をエコー抑圧ゲインGについての式にする
と、 G=(Pse+Pd)/(Ps+Pb) =(Py−Pbe+Pd)/Py…(5) とすることができる。
The above equation (3) can be expressed as the following equation (4): Pse + Pd = G · (Ps + Pb) (4) When the above equation (4) is used as the equation for the echo suppression gain G, G = (Pse + Pd ) / (Ps + Pb) = (Py−Pbe + Pd) / Py (5)

【0042】上記(5)式において、Pbeは第2の受
話信号xr(k)にエコー経路結合量を乗じることによ
り得られた推定エコー信号be(k)のパワー、Pse
はエコー重畳信号y(k)のパワーから上述の推定エコ
ー信号be(k)のパワーを引いた推定音声信号se
(k)のパワーである。エコー抑圧ゲイン算出部305
は、上記(5)式を満たすエコー抑圧ゲインGを求め、
求めたエコー抑圧ゲインGを乗算器306へ出力する。
In the above equation (5), Pbe is the power of the estimated echo signal be (k) obtained by multiplying the second received signal x r (k) by the echo path coupling amount, Pse.
Is the estimated voice signal se obtained by subtracting the power of the above-mentioned estimated echo signal be (k) from the power of the echo superimposed signal y (k).
It is the power of (k). Echo suppression gain calculation unit 305
Is an echo suppression gain G that satisfies the above equation (5),
The obtained echo suppression gain G is output to the multiplier 306.

【0043】乗算器306は、エコー重畳信号y(k)
にエコー抑圧ゲイン算出部305から出力されるエコー
抑圧ゲインGを乗ずることにより、入力されるエコー重
畳信号y(k)のエコー信号b(k)を抑圧し、送信端
2から入力された送話信号s(k)にできるだけ近い信
号を受信端1へと出力する。
The multiplier 306 outputs the echo superimposed signal y (k).
The echo signal b (k) of the input echo superimposed signal y (k) is suppressed by multiplying by the echo suppression gain G output from the echo suppression gain calculation unit 305, and the transmission signal input from the transmission end 2 is transmitted. A signal that is as close as possible to the signal s (k) is output to the receiving end 1.

【0044】なお、本実施形態において、エコー経路伝
搬遅延推定部303は、相互相関関数を用いた一般的な
方法を用いて伝搬遅延量を算出する例を示したが、受話
信号x(k)及びエコー信号y(k)が有する他の特徴
量を用いて相互相関を算出することも可能である。例え
ば、GELP(符号励振線形予測)方式に代表されるハ
イブリッド符号化方式で符号化された信号であれば、線
スペクトル対係数、駆動音源成分、雑音成分、利得の特
徴量を持つ。従って、エコー経路伝搬遅延推定部302
は、これらの特徴量の相互相関を計算することによっ
て、エコー経路601の伝搬遅延を算出することができ
る。
In this embodiment, the echo path propagation delay estimator 303 has shown an example of calculating the propagation delay amount using a general method using a cross-correlation function, but the received signal x (k) It is also possible to calculate the cross-correlation using the other feature amount of the echo signal y (k). For example, a signal encoded by a hybrid encoding method represented by a GELP (Code Excited Linear Prediction) method has a line spectrum pair coefficient, a driving excitation component, a noise component, and a gain feature amount. Therefore, the echo path propagation delay estimation unit 302
Can calculate the propagation delay of the echo path 601 by calculating the cross-correlation of these feature quantities.

【0045】また、エコー抑圧ゲイン算出部305は、
スペクトルサブトラクション、最尤推定、ウィナーフィ
ルタリング、MMSEなどを応用して、エコー抑圧ゲイ
ンGを求めることが可能である。
Further, the echo suppression gain calculation section 305
The echo suppression gain G can be obtained by applying spectral subtraction, maximum likelihood estimation, Wiener filtering, MMSE, and the like.

【0046】《第2の実施形態》次に、図2に本発明の
第2の実施形態による反響抑圧装置の構成を示す。第2
の実施形態における反響抑圧装置は、音響エコーもしく
は、回線エコーを抑圧するための周波数分析処理型の反
響抑圧装置である。第2の実施形態における反響抑圧装
置の構成は、上述した第1の実施形態における反響抑圧
装置とほぼ等しいが、エコー経路結合量の算出及びエコ
ー抑圧ゲインの算出を、周波数領域に変換した後の信号
を用いて行うために、周波数分析部401、402を更
に設けた点が異なる。また、周波数分析部401、40
2を設けた関係で、信号の出力端には、周波数合成部4
03が設けられている。
Second Embodiment Next, FIG. 2 shows the configuration of an echo suppressor according to a second embodiment of the present invention. Second
The echo suppressor in the above embodiment is a frequency analysis processing type echo suppressor for suppressing acoustic echo or line echo. The echo suppressor according to the second embodiment has almost the same configuration as the echo suppressor according to the above-described first embodiment, except that the echo path coupling amount calculation and the echo suppression gain calculation are performed in the frequency domain. The difference is that the frequency analysis units 401 and 402 are further provided because they are performed using signals. In addition, the frequency analysis units 401 and 40
Due to the provision of 2, the frequency synthesizer 4 is provided at the output end of the signal.
03 is provided.

【0047】第2の実施形態によれば、遅延器303か
ら出力される第2の受話信号xr(k)は、周波数分析
部401に入力され、ここで第2の受話信号xr(k)
は周波数領域での処理を施される。また、エコー重畳信
号y(k)も周波数分析部402によって、周波数領域
での処理を施される。そして、周波数領域に変換された
第2の受話信号xr’(k)、エコー重畳信号y(k)
がエコー経路結合量推定部304及びエコー抑圧ゲイン
算出部305へ出力され、周波数領域において上述した
処理がそれぞれ行われる。これにより、第2の実施形態
による反響抑圧装置は、第1の実施形態に比べて、より
精度の高いエコー抑圧ゲインの算出が可能となり、通話
品質の向上を図ることができる。
[0047] According to the second embodiment, the second received signal x r output from the delay unit 303 (k) is input to a frequency analysis unit 401, wherein the second received signal x r (k )
Are processed in the frequency domain. Further, the echo superimposed signal y (k) is also processed in the frequency domain by the frequency analysis unit 402. Then, the second received signal x r ′ (k) converted into the frequency domain and the echo superimposed signal y (k)
Is output to the echo path coupling amount estimation unit 304 and the echo suppression gain calculation unit 305, and the above-described processing is performed in the frequency domain. As a result, the echo suppression device according to the second embodiment can calculate the echo suppression gain with higher accuracy than in the first embodiment, and can improve the call quality.

【0048】《第3の実施形態》次に、図3に本発明の
第3の実施形態による反響抑圧装置の構成を示す。第3
の実施形態における反響抑圧装置は、上述した第1及び
第2の実施形態における反響抑圧装置とほぼ等しいが、
第1の実施形態又は第2の実施形態と同様の構成からな
るエコー抑圧装置301の前段に、適応フィルタで構成
されたエコーキャンセラを更に設けた点が異なる。この
ため、本実施形態のエコー抑圧装置301は、エコー重
畳信号y(k)の替わりに適応フィルタによってある程
度まで消去された残留エコーe(k)の重畳した信号
y’(k)(送話信号s(k)+残留エコーe(k))
を入力信号とする。この場合、エコー経路結合量は、前
段のエコーキャンセラ(適応フィルタ)を含んだ結合量
となるが、エコー抑圧装置の処理として不具合が生じる
ことはない。
<< Third Embodiment >> Next, FIG. 3 shows a configuration of an echo suppressor according to a third embodiment of the present invention. Third
The echo suppressor in the above embodiment is substantially the same as the echo suppressor in the above-described first and second embodiments,
The difference is that an echo canceller configured by an adaptive filter is further provided in the preceding stage of the echo suppressor 301 having the same configuration as the first embodiment or the second embodiment. For this reason, the echo suppressor 301 of the present embodiment uses the signal y ′ (k) (transmitted signal) in which the residual echo e (k) superposed to some extent is erased by the adaptive filter instead of the echo superposed signal y (k). s (k) + residual echo e (k))
Is an input signal. In this case, the echo path coupling amount is a coupling amount including the preceding-stage echo canceller (adaptive filter), but no problem occurs in the processing of the echo suppressor.

【0049】なお、図1、図2、図3に示した第1、第
2、第3の実施形態における反響抑圧装置の機能を実現
するためのプログラムをコンピュータ読み取り可能な記
録媒体に記録して、この記録媒体に記録されたプログラ
ムをコンピュータシステムに読み込ませ、実行すること
により各種の処理を実行してもよい。なお、ここでいう
「コンピュータシステム」とは、OSや周辺機器等のハ
ードウェアを含むものとする。
The program for realizing the function of the echo suppression device according to the first, second and third embodiments shown in FIGS. 1, 2 and 3 is recorded in a computer-readable recording medium. Various processes may be executed by causing a computer system to read and execute the program recorded in this recording medium. The “computer system” mentioned here includes an OS and hardware such as peripheral devices.

【0050】また、「コンピュータシステム」は、WW
Wシステムを利用している場合であれば、ホームページ
提供環境(あるいは表示環境)も含むものとする。ま
た、「コンピュータ読み取り可能な記録媒体」とは、フ
ロッピー(登録商標)ディスク、光磁気ディスク、RO
M、CD−ROM等の可搬媒体、コンピュータシステム
に内蔵されるハードディスク等の記憶装置のことをい
う。さらに「コンピュータ読み取り可能な記録媒体」と
は、インターネット等のネットワークや電話回線等の通
信回線を介してプログラムが送信された場合のサーバや
クライアントとなるコンピュータシステム内部の揮発性
メモリ(RAM)のように、一定時間プログラムを保持
しているものも含むものとする。
The "computer system" is WW.
If the W system is used, the homepage providing environment (or display environment) is also included. The "computer-readable recording medium" means a floppy (registered trademark) disc, a magneto-optical disc, an RO.
M, a portable medium such as a CD-ROM, and a storage device such as a hard disk built in a computer system. Further, the "computer-readable recording medium" is a volatile memory (RAM) inside a computer system which serves as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those that hold the program for a certain period of time are also included.

【0051】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク(通信網)や電話回線等の通信回
線(通信線)のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル(差分プログラム)であっても良
い。
Further, the above program may be transmitted from a computer system in which the program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the program may be a program for realizing some of the functions described above. further,
It may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

【0052】以上、この発明の実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、この発明の要旨を逸脱しない範囲の
設計等も含まれる。
Although the embodiment of the present invention has been described in detail above with reference to the drawings, the specific structure is not limited to this embodiment, and includes a design etc. within the scope not departing from the gist of the present invention. Be done.

【0053】[0053]

【発明の効果】以上説明したように、本発明によれば、
受話信号と収音信号とに基づいてエコー信号を推定し、
収音信号のパワーからマスキング閾値によって補正され
たエコー信号のパワーを差し引いたパワー値を、収音信
号のパワーで規格化してエコー抑圧ゲインを算出し、算
出したエコー抑圧ゲインを収音信号に乗算する。このよ
うに本発明では、エコー抑圧ゲインの算出において、マ
スキング閾値以下のエコーの残留を許容するように、推
定エコー信号をマスキング補正して使用するので、統計
的性質を用いたエコー抑圧ゲインの誤差を補償すること
が可能となり、処理音声歪みを減少させ、通話品質の向
上を実現させることができるという著しい効果を奏す
る。
As described above, according to the present invention,
Estimate the echo signal based on the received signal and the picked-up signal,
The power value obtained by subtracting the power of the echo signal corrected by the masking threshold from the power of the picked-up signal is normalized by the power of the picked-up signal to calculate the echo suppression gain, and the calculated echo suppression gain is multiplied by the picked-up signal. To do. As described above, in the present invention, in the calculation of the echo suppression gain, the estimated echo signal is masked and used so as to allow the residual echo below the masking threshold value, and therefore the error of the echo suppression gain using the statistical property is used. Can be compensated for, the processing voice distortion can be reduced, and the call quality can be improved.

【0054】また、本発明は、受話信号と収音信号との
パワー比を所定期間毎に算出し、逐次算出するパワー比
の内、最小値をエコー経路結合量として保持し、エコー
経路結合量を受話信号に乗じることによりエコー信号を
推定する。このように、エコー結合量の推定を常時行う
ことにより、送受話検出をする必要がなくなり、処理量
の削減と誤検出による処理の不具合を解消することがで
きる。これにより、従来必要とされた片側発話状態の検
出を不要とすることができ、誤検出による通話品質の劣
化を防ぐことができるという効果を奏する。
Further, according to the present invention, the power ratio between the received signal and the picked-up signal is calculated for each predetermined period, and the minimum value of the power ratios successively calculated is held as the echo path coupling amount. The echo signal is estimated by multiplying the received signal by. In this way, by always estimating the echo coupling amount, it becomes unnecessary to detect the transmission / reception, and it is possible to reduce the processing amount and solve the processing defect due to the erroneous detection. As a result, it is possible to eliminate the need for detecting the one-sided speech state, which is conventionally required, and prevent deterioration of the call quality due to erroneous detection.

【0055】また、本発明は、受話信号及び収音信号の
特徴量を抽出し、該特徴量間の相互相関を用いてエコー
経路伝搬遅延量を推定し、受話信号及びエコー経路伝搬
遅延量から第2の受話信号を生成し、少なくともエコー
信号の推定には、受話信号に代わって当該第2の受話信
号を用いる。このように、エコー経路の伝搬遅延量を算
出し、この伝搬遅延量をエコー抑圧ゲインの推定に用い
ることにより、伝搬遅延による信号間の時間的なずれを
回避し、エコー抑圧ゲインを推定することが可能とな
る。この結果、処理フレーム間に時間的なずれが生じる
ことがなく、正確にエコーを抑圧することができる。
Further, according to the present invention, the feature amounts of the received signal and the picked-up signal are extracted, the echo path propagation delay amount is estimated by using the cross-correlation between the feature values, and the received signal and the echo path propagation delay amount are calculated. The second received signal is used instead of the received signal for generating the second received signal and at least estimating the echo signal. Thus, by calculating the propagation delay amount of the echo path and using this propagation delay amount for the estimation of the echo suppression gain, it is possible to avoid the time lag between signals due to the propagation delay and to estimate the echo suppression gain. Is possible. As a result, echoes can be suppressed accurately without any time lag between processed frames.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の第1の実施形態による反響抑圧装置
の構成を示す図である。
FIG. 1 is a diagram showing a configuration of an echo suppressor according to a first embodiment of the present invention.

【図2】 本発明の第2の実施形態による反響抑圧装置
の構成を示す図である。
FIG. 2 is a diagram showing a configuration of an echo suppressor according to a second embodiment of the present invention.

【図3】 本発明の第3の実施形態による反響抑圧装置
の構成を示す図である。
FIG. 3 is a diagram showing a configuration of an echo suppressor according to a third embodiment of the present invention.

【図4】 一般的な拡声通話の一例を示す図である。FIG. 4 is a diagram showing an example of a general voice call.

【図5】 従来の反響抑圧装置の構成を示す図である。FIG. 5 is a diagram showing a configuration of a conventional echo suppressor.

【符号の説明】[Explanation of symbols]

301 エコー抑圧装置 302 エコー経路伝搬遅延推定部 303 遅延器 304 エコー経路結合量推定部 305 エコー抑圧ゲイン算出部 306 乗算器 401、402 周波数分析部 403 周波数合成部 501 エコーキャンセラ 601 エコー経路 602 加算器 301 Echo suppressor 302 Echo Path Propagation Delay Estimator 303 delay device 304 Echo path coupling amount estimation unit 305 Echo suppression gain calculator 306 multiplier 401, 402 Frequency analysis unit 403 Frequency synthesizer 501 echo canceller 601 echo path 602 adder

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山森 和彦 東京都千代田区大手町二丁目3番1号 日本電信電話株式会社内 (56)参考文献 特開 平7−226697(JP,A) 特開 平9−116472(JP,A) 特開 平9−116615(JP,A) 特開 平10−150343(JP,A) 特開 平11−331046(JP,A) 特開2001−95084(JP,A) 特開2001−94480(JP,A) 特開2002−152093(JP,A) 特開2002−237769(JP,A) 特開2003−284183(JP,A) 阪内 澄宇, 田中 雅史, 金田 豊,“聴覚特性に基づいた所望エコー抑 圧量の客観評価”,日本音響学会1999年 秋季研究発表会講演論文集I,1999年 9月29日,pp.451−452,(2−5− 19) 阪内 澄宇, 牧野 昭二,“拡声通 信システムにおける周波数帯域別所要エ コー抑圧量の検討”,日本音響学会平成 8年秋季研究発表会講演論文集I,1996 年 9月25日,pp.547−548,(2− 7−17) 阪内 澄宇, 羽田 陽一,“拡声通 信システムにおける周波数帯域別所要エ コー抑圧量の検討(その2)”,日本音 響学会平成9年度春季研究発表会講演論 文集I,1997年 3月17日,pp.623 −624,(2−P−25) (58)調査した分野(Int.Cl.7,DB名) H04B 3/00 H04B 7/00 H04M 1/60 H04R 3/00 INSPEC(DIALOG) JICSTファイル(JOIS)─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Kazuhiko Yamamori 2-3-1, Otemachi, Chiyoda-ku, Tokyo Nippon Telegraph and Telephone Corporation (56) Reference JP-A-7-226697 (JP, A) JP JP-A-9-116472 (JP, A) JP-A-9-116615 (JP, A) JP-A-10-150343 (JP, A) JP-A-11-331046 (JP, A) JP-A-2001-95084 (JP, A) JP 2001-94480 (JP, A) JP 2002-152093 (JP, A) JP 2002-237769 (JP, A) JP 2003-284183 (JP, A) Sumiuchi Sakauchi, Masafumi Tanaka, Yutaka Kaneda, “Objective Evaluation of Desired Echo Suppression Based on Auditory Characteristics”, Proceedings of Autumn Meeting of the Acoustical Society of Japan 1999, September 29, 1999, pp. 451-452, (2-5-19) Sakauchi Sakauchi, Shoji Makino, "Analysis of Echo Suppression Required by Frequency Band in Loudspeaker Communication System", Proceedings of the 1996 Autumn Meeting of ASJ I, September 25, 1996, pp. 547-548, (2-7-17) Sumiuchi Sakauchi, Yoichi Haneda, "Examination of Echo Suppression Required by Frequency Band in Loudspeaker Communication System (Part 2)", The Japanese Society of Acoustics 1997 Spring Study Presentation Lectures Proceedings I, March 17, 1997, pp. 623-624, (2-P-25) (58) Fields investigated (Int.Cl. 7 , DB name) H04B 3/00 H04B 7/00 H04M 1/60 H04R 3/00 INSPEC (DIALOG) JISST file ( JOIS)

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 収音信号から受話信号によるエコー成分
を抑圧する反響抑圧方法であって、 前記受話信号と前記収音信号とに基づいてエコー信号を
推定し、 収音信号のパワーからマスキング閾値によって補正され
た前記エコー信号のパワーを差し引いたパワー値を、前
記収音信号のパワーで規格してエコー抑圧ゲインを算出
し、 算出した前記エコー抑圧ゲインを前記収音信号に乗算す
ることを特徴とする反響抑圧方法。
1. A reverberation suppressing method for suppressing an echo component due to a received signal from a collected signal, wherein an echo signal is estimated based on the received signal and the collected signal, and a masking threshold is calculated from the power of the collected signal. The echo suppression gain is calculated by standardizing the power value obtained by subtracting the power of the echo signal corrected by the power of the collected sound signal, and the calculated sound suppression gain is multiplied by the collected sound signal. Reverb suppression method.
【請求項2】 前記受話信号と前記収音信号とのパワー
比を所定期間毎に算出し、逐次算出する前記パワー比の
内、最小値をエコー経路結合量として保持し、前記エコ
ー経路結合量を前記受話信号に乗じることにより前記エ
コー信号を推定することを特徴とする請求項1に記載の
反響抑圧方法。
2. A power ratio between the received signal and the picked-up signal is calculated for each predetermined period, and a minimum value of the power ratios calculated successively is held as an echo path coupling amount, and the echo path coupling amount is held. The echo suppression method according to claim 1, wherein the echo signal is estimated by multiplying the received signal by.
【請求項3】 前記受話信号及び前記収音信号の特徴量
を抽出し、該特徴量間の相互相関を用いてエコー経路伝
搬遅延量を推定し、前記受話信号及び前記エコー経路伝
搬遅延量から第2の受話信号を生成し、少なくとも前記
エコー信号の推定には、前記受話信号に代わって当該第
2の受話信号を用いることを特徴とする請求項1または
請求項2に記載の反響抑圧方法。
3. A feature amount of the received signal and the picked-up signal is extracted, an echo path propagation delay amount is estimated by using a cross-correlation between the feature amounts, and the echo path propagation delay amount is estimated from the received signal and the echo path propagation delay amount. The echo suppression method according to claim 1 or 2, wherein a second received signal is generated and at least the echo signal is estimated by using the second received signal instead of the received signal. .
【請求項4】 収音信号から受話信号によるエコー成分
を抑圧する反響抑圧装置であって、 前記受話信号と前記収音信号とに基づいてエコー信号を
推定するエコー信号推定手段と、 マスキング閾値によって補正された収音信号のパワーか
ら前記エコー信号推定手段によって推定された前記エコ
ー信号のパワーを差し引いたパワー値を、前記受話信号
のパワーで規格化してエコー抑圧ゲインを算出するエコ
ー抑圧ゲイン算出手段と、 前記エコー抑圧ゲイン算出手段によって算出された前記
エコー抑圧ゲインを前記収音信号に乗算して出力する乗
算手段とを具備することを特徴とする反響抑圧装置。
4. An echo suppressor for suppressing an echo component due to a received signal from a picked-up signal, the echo signal estimating means for estimating an echo signal based on the received signal and the picked-up signal, and a masking threshold value. Echo suppression gain calculation means for calculating an echo suppression gain by normalizing a power value obtained by subtracting the power of the echo signal estimated by the echo signal estimation means from the power of the corrected sound collection signal to calculate the echo suppression gain. And a multiplying unit that multiplies the collected sound signal by the echo suppression gain calculated by the echo suppression gain calculation unit and outputs the multiplied signal.
【請求項5】 収音信号から受話信号によるエコー成分
を抑圧する反響抑圧用のプログラムを記録したコンピュ
ータ読み取り可能な記録媒体において、 前記プログラムは、 前記受話信号と前記収音信号とに基づいてエコー信号を
推定し、 マスキング閾値によって補正された収音信号のパワーか
ら前記エコー信号のパワーを差し引いたパワー値を、前
記受話信号のパワーで規格化してエコー抑圧ゲインを算
出し、 算出した前記エコー抑圧ゲインを前記収音信号に乗算す
ることをコンピュータに実行させるプログラムを記録し
たコンピュータ読み取り可能な記録媒体。
5. A computer-readable recording medium in which a program for echo suppression for suppressing an echo component due to a received signal from a collected signal is recorded, wherein the program is an echo based on the received signal and the collected signal. A signal value is estimated, a power value obtained by subtracting the power of the echo signal from the power of the picked-up signal corrected by the masking threshold is normalized by the power of the received signal to calculate an echo suppression gain, and the calculated echo suppression A computer-readable recording medium recording a program for causing a computer to execute a multiplication of the collected sound signal by a gain.
JP2000274031A 2000-09-08 2000-09-08 Echo suppression method, echo suppression device, and echo suppression program storage medium Expired - Lifetime JP3507020B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000274031A JP3507020B2 (en) 2000-09-08 2000-09-08 Echo suppression method, echo suppression device, and echo suppression program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000274031A JP3507020B2 (en) 2000-09-08 2000-09-08 Echo suppression method, echo suppression device, and echo suppression program storage medium

Publications (2)

Publication Number Publication Date
JP2002084212A JP2002084212A (en) 2002-03-22
JP3507020B2 true JP3507020B2 (en) 2004-03-15

Family

ID=18759865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000274031A Expired - Lifetime JP3507020B2 (en) 2000-09-08 2000-09-08 Echo suppression method, echo suppression device, and echo suppression program storage medium

Country Status (1)

Country Link
JP (1) JP3507020B2 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663230A (en) * 2002-06-19 2005-08-31 皇家飞利浦电子股份有限公司 Non stationary echo canceller
JP4559989B2 (en) * 2006-03-24 2010-10-13 日本電信電話株式会社 Echo suppression method, echo suppression program, recording medium
JP4872794B2 (en) * 2007-05-15 2012-02-08 ヤマハ株式会社 Acoustic echo canceller
WO2009028023A1 (en) * 2007-08-24 2009-03-05 Fujitsu Limited Echo suppressing apparatus, echo suppressing system, echo suppressing method, and computer program
DE102008039329A1 (en) 2008-01-25 2009-07-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and method for calculating control information for an echo suppression filter and apparatus and method for calculating a delay value
DE102008039330A1 (en) * 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating filter coefficients for echo cancellation
CN102165707B (en) * 2008-09-24 2013-12-04 三菱电机株式会社 Echo cancelling device
JP5097148B2 (en) * 2009-02-10 2012-12-12 日本電信電話株式会社 Acoustic coupling amount calculation device, method and program
JP5087024B2 (en) * 2009-02-10 2012-11-28 日本電信電話株式会社 Echo canceling apparatus, method and program
JP5281548B2 (en) * 2009-11-10 2013-09-04 日本電信電話株式会社 Acoustic echo canceling apparatus, acoustic echo canceling method and program thereof
WO2012153452A1 (en) 2011-05-10 2012-11-15 三菱電機株式会社 Echo erasing device and echo detection device
JP6064159B2 (en) * 2011-07-11 2017-01-25 パナソニックIpマネジメント株式会社 Echo cancellation apparatus, conference system using the same, and echo cancellation method
JP5562451B1 (en) * 2013-01-31 2014-07-30 日本電信電話株式会社 Echo suppression gain estimation method, echo canceller and program using the same
JP6295722B2 (en) * 2014-02-28 2018-03-20 沖電気工業株式会社 Echo suppression device, program and method
JP6369192B2 (en) * 2014-07-18 2018-08-08 沖電気工業株式会社 Echo suppression device, echo suppression program, echo suppression method, and communication terminal
JP6432384B2 (en) * 2015-02-16 2018-12-05 沖電気工業株式会社 Echo suppression device, echo suppression program, and echo suppression method
JP6356087B2 (en) * 2015-03-30 2018-07-11 日本電信電話株式会社 Echo canceling apparatus, method and program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
阪内 澄宇, 牧野 昭二,"拡声通信システムにおける周波数帯域別所要エコー抑圧量の検討",日本音響学会平成8年秋季研究発表会講演論文集I,1996年 9月25日,pp.547−548,(2−7−17)
阪内 澄宇, 田中 雅史, 金田 豊,"聴覚特性に基づいた所望エコー抑圧量の客観評価",日本音響学会1999年秋季研究発表会講演論文集I,1999年 9月29日,pp.451−452,(2−5−19)
阪内 澄宇, 羽田 陽一,"拡声通信システムにおける周波数帯域別所要エコー抑圧量の検討(その2)",日本音響学会平成9年度春季研究発表会講演論文集I,1997年 3月17日,pp.623−624,(2−P−25)

Also Published As

Publication number Publication date
JP2002084212A (en) 2002-03-22

Similar Documents

Publication Publication Date Title
US9768829B2 (en) Methods for processing audio signals and circuit arrangements therefor
US11297178B2 (en) Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters
JP3507020B2 (en) Echo suppression method, echo suppression device, and echo suppression program storage medium
US8594320B2 (en) Hybrid echo and noise suppression method and device in a multi-channel audio signal
US8498423B2 (en) Device for and a method of processing audio signals
US8355511B2 (en) System and method for envelope-based acoustic echo cancellation
EP1855457B1 (en) Multi channel echo compensation using a decorrelation stage
JP3420705B2 (en) Echo suppression method and apparatus, and computer-readable storage medium storing echo suppression program
KR20040030817A (en) Echo canceller having nonlinear echo suppressor for harmonics calculations
JP3607625B2 (en) Multi-channel echo suppression method, apparatus thereof, program thereof and recording medium thereof
JP3753996B2 (en) Echo suppression device, echo suppression method and program
JP2005323084A (en) Method, device, and program for acoustic echo-canceling
Yu et al. NeuralEcho: A self-attentive recurrent neural network for unified acoustic echo suppression and speech enhancement
JP4105681B2 (en) Echo suppress method, echo suppressor, echo suppressor program, loss control method on communication path, loss control device on communication path, loss control program on communication path, recording medium
US6694020B1 (en) Frequency domain stereophonic acoustic echo canceller utilizing non-linear transformations
JP3756839B2 (en) Reverberation reduction method, Reverberation reduction device, Reverberation reduction program
US8369511B2 (en) Robust method of echo suppressor
Zhang et al. Hybrid AHS: A hybrid of Kalman filter and deep learning for acoustic howling suppression
Fukui et al. Double-talk robust acoustic echo cancellation for CD-quality hands-free videoconferencing system
CN111294474B (en) Double-end call detection method
Yemdji et al. Dual channel echo postfiltering for hands-free mobile terminals
Lu Implementation of acoustic echo cancellation for pc applications using matlab
Favrot et al. Adaptive equalizer for acoustic feedback control
JP3579622B2 (en) Method and apparatus for deriving desired echo suppression amount in echo suppression
Ma et al. Reverberation time estimationbased on multidelay acousticecho cancellation

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031217

R151 Written notification of patent or utility model registration

Ref document number: 3507020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081226

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091226

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term