JP6314608B2 - Echo suppression device, echo suppression program, and echo suppression method - Google Patents
Echo suppression device, echo suppression program, and echo suppression method Download PDFInfo
- Publication number
- JP6314608B2 JP6314608B2 JP2014072644A JP2014072644A JP6314608B2 JP 6314608 B2 JP6314608 B2 JP 6314608B2 JP 2014072644 A JP2014072644 A JP 2014072644A JP 2014072644 A JP2014072644 A JP 2014072644A JP 6314608 B2 JP6314608 B2 JP 6314608B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- echo
- far
- amplitude spectrum
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
本発明は、エコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法に関し、例えば、テレビ会議システムや電話会議システム等において用いられるエコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法に適用し得るものである。 The present invention relates to an echo suppression device, an echo suppression program, and an echo suppression method, and can be applied to, for example, an echo suppression device, an echo suppression program, and an echo suppression method used in a video conference system, a telephone conference system, and the like. .
例えば、テレビ会議システムや電話会議システム等の拡声通話システムでは、スピーカから放音された音(ここで、音は音響や音声等を含む。)がマイクに回り込んで送話側に戻る音響エコー信号が発生する。音響エコー信号は、通話の著しい妨げとなるため、音響エコー信号抑圧方法に関して、これまでも多くの研究、開発が行なわれている。 For example, in a loudspeaker system such as a video conference system or a telephone conference system, an acoustic echo that is emitted from a speaker (where sound includes sound, voice, etc.) wraps around a microphone and returns to the transmitting side. A signal is generated. Since the acoustic echo signal significantly hinders a call, much research and development have been conducted on acoustic echo signal suppression methods.
音響エコー信号を抑圧する1つの方法として、エコー抑圧装置(エコーサプレッサー)を使用する手法がある。エコー抑圧装置とは、遠端信号と近端入力信号とからエコーパス特性、推定エコー信号、エコーサプレスゲインを求めて、近端入力信号とエコーサプレスゲインを乗算することで音響エコー信号を抑圧する手法である。このエコー抑圧装置を使用して音響エコー信号を抑圧する手法が非特許文献1によって提案されている。 As one method of suppressing the acoustic echo signal, there is a method of using an echo suppression device (echo suppressor). The echo suppressor is a method for suppressing the acoustic echo signal by multiplying the near-end input signal and the echo suppress gain by obtaining the echo path characteristics, the estimated echo signal, and the echo suppress gain from the far-end signal and the near-end input signal. It is. Non-Patent Document 1 proposes a technique for suppressing an acoustic echo signal using this echo suppressor.
非特許文献1に開示されるエコー抑圧装置は、過去のフレームの遠端信号と近端入力信号とに基づいてエコーパス特性を求める。そして、求めたエコーパス特性と遠端信号とを乗算した信号を推定エコー信号とし、エコー抑圧装置は、近端入力信号と推定エコー信号とに基づいてエコーサプレスゲインを求め、エコーサプレスゲインを近端入力信号と乗算して音響エコー信号を抑圧する。 The echo suppressor disclosed in Non-Patent Document 1 obtains echo path characteristics based on the far-end signal and the near-end input signal of the past frame. Then, a signal obtained by multiplying the obtained echo path characteristic and the far-end signal is used as an estimated echo signal, and the echo suppressor obtains an echo suppress gain based on the near-end input signal and the estimated echo signal, and the echo suppress gain is calculated. Multiply with the input signal to suppress the acoustic echo signal.
非特許文献1に記載のエコー抑圧装置について、図3を参照しながら説明する。 The echo suppression device described in Non-Patent Document 1 will be described with reference to FIG.
図3は、非特許文献1に記載の従来のエコー抑圧装置を説明するためのブロック図である。 FIG. 3 is a block diagram for explaining a conventional echo suppressor described in Non-Patent Document 1. In FIG.
非特許文献1に記載のエコー消去装置300は、遠端信号入力端子301、DA変換器302、スピーカ303、マイク304、AD変換器305、第1周波数分析部306、第2周波数分析部307、音響結合量計算部308、推定エコー信号計算部309、ゲイン計算部310、積算部311、周波数−時間変換部312、近端信号出力端子313を有する。
The
遠端信号入力端子301は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、接続されている回線を介して遠端側(相手側)の音信号(デジタル信号)が入力される。
The far-end
遠端信号入力端子301に入力された遠端信号はDA変換器302において、デジタル音信号からアナログ音信号に変換され、スピーカ303を通して近端側(自分側)に出力される。
Far-end signal inputted to the far-end
一方、近端側の話者が発した音声等の音信号や、環境音、音響エコー信号(スピーカ303から出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号)等が重畳したアナログ音信号は、マイク304によって受音され、AD変換器305によってデジタル音信号に変換され、近端入力信号としてエコー消去装置300に入力される。
On the other hand, a sound signal such as a voice uttered by a speaker on the near end side, an environmental sound, an acoustic echo signal (a signal in which an analog sound signal output from the
第1周波数分析部306は、遠端信号を周波数領域の信号に変換し、遠端信号の周波数スペクトルを出力する。
The first
第2周波数分析部307は、近端入力信号を周波数領域の信号に変換し、近端入力信号のスペクトルを出力する。 The second frequency analysis unit 307 converts the near-end input signal into a frequency domain signal and outputs a spectrum of the near-end input signal.
音響結合量計算部308は、遠端信号の周波数スペクトルと近端入力信号の周波数スペクトルとを入力として、エコーパス特性を算出し、推定エコー信号計算部309に出力する。
The acoustic coupling
推定エコー信号計算部309は、遠端信号のスペクトルとエコーパス特性の推定値とに基づいて、推定エコー信号を計算し、ゲイン計算部310に出力する。
The estimated echo
ゲイン計算部310は、推定エコー信号と近端入力信号の周波数スペクトルを入力として、サプレスゲイン係数を算出し、積算部311に出力する。
積算部311は、近端入力信号の周波数スペクトルにサプレスゲイン係数を乗じて音響エコー信号を抑圧した信号の周波数スペクトルを近端出力信号の周波数スペクトルとして周波数−時間変換部312に出力する。
The
周波数−時間変換部312は、近端出力信号の周波数スペクトルを時間領域の信号に変換し、近端出力端子に出力する。
The frequency-
近端信号出力端子213は,例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており,近端出力信号を接続されている回線を介して通信相手である遠端側に出力する。 The near-end signal output terminal 213 is connected to a radio wave of a network such as an Internet protocol (IP) network or a wireless network such as a mobile phone, and communicates via a line to which the near-end output signal is connected. Outputs to the far end that is the other party.
しかしながら、非特許文献1に記載のエコー抑圧装置では、遠端信号には、主に音声信号が含まれているため、音声信号の微細構造の谷になる周波数ビンや、音声信号のスペクトル包絡の形状などで遠端入力信号の周波数成分が小さい周波数ビンが存在する。 However, in the echo suppression device described in Non-Patent Document 1, since the far-end signal mainly includes the audio signal, the frequency bin that becomes the valley of the fine structure of the audio signal and the spectral envelope of the audio signal There is a frequency bin with a small frequency component of the far-end input signal due to its shape or the like.
そのため、遠端側や近端側に背景雑音がある場合は、音声信号の微細構造の谷の部分や、スペクトル包絡の形状で周波数成分が小さい周波数ビンが、背景雑音の周波数成分に埋もれてしまい、その周波数ビンのエコーパス特性を遠端信号と近端入力信号から求めても、背景雑音の周波数成分が重畳されているため、実際のエコーパス特性とは全く異なる値が算出されてエコーパス特性を更新することになる。 Therefore, when there is background noise on the far end side or near end side, the valley portion of the fine structure of the audio signal or the frequency bin with a small frequency component due to the shape of the spectrum envelope is buried in the frequency component of the background noise. Even if the echo path characteristic of the frequency bin is obtained from the far-end signal and the near-end input signal, the frequency component of the background noise is superimposed, so a value completely different from the actual echo path characteristic is calculated and the echo path characteristic is updated. Will do.
また、微細構造は、近端側の背景雑音、あるいはエコーパス特性の遅延によるピッチと分析窓との位相関係のずれなどの影響で大きく変化する。そのため、遠端信号と近端入力信号のスペクトル微細構造どうしを直接比較してエコーパス特性を測定するのは甚だ安定性に欠いていると言わざるを得ない。 Further, the fine structure changes greatly due to the influence of the background noise on the near end side or the shift of the phase relationship between the pitch and the analysis window due to the delay of the echo path characteristic. Therefore, it must be said that it is extremely lacking in stability to measure the echo path characteristics by directly comparing the spectral fine structures of the far-end signal and the near-end input signal.
これらのことから、微細構造を用いてエコーパス特性を推定しても、実際のエコーパス特性と異なるエコーパス特性を用いて更新することになるので、推定エコーパス特性が誤学習し、推定エコーパス信号が正しく算出できず、音響エコー信号を適切に抑圧することができないという問題が生じ得る。 Therefore, even if the echo path characteristics are estimated using the fine structure, they are updated using echo path characteristics that are different from the actual echo path characteristics, so the estimated echo path characteristics are mis-learned and the estimated echo path signal is calculated correctly. This may cause a problem that the acoustic echo signal cannot be appropriately suppressed.
そこで、本発明は、上記課題に鑑みてなされたものであり、遠端信号と近端入力信号のスペクトル包絡を抽出することで微細構造を取り除き、その後遠端信号のスペクトル包絡の周波数成分がある周波数ビンのエコーパス特性のみ求めて更新することで、周波数成分が小さい周波数ビンのエコーパス特性の誤学習を防ぎ、エコー抑圧性能を維持することができるエコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法を提供しようとするものである。 Therefore, the present invention has been made in view of the above problems, and by removing the spectral envelope of the far-end signal and the near-end input signal, the fine structure is removed, and then there is a frequency component of the spectral envelope of the far-end signal. An echo suppressor, an echo suppression program, and an echo suppression method capable of preventing erroneous learning of an echo path characteristic of a frequency bin having a small frequency component and maintaining echo suppression performance by obtaining and updating only the echo path characteristic of the frequency bin It is something to be offered.
第1の本発明は、近端入力信号と遠端出力信号に基づく音響エコー信号を抑圧するエコー抑圧装置において、(1)入力された遠端信号を周波数領域に変換して、遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段と、(2)入力された近端入力信号を周波数領域に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、(3)遠端信号の振幅スペクトルのスペクトル包絡を抽出する遠端信号スペクトル包絡抽出手段と、(4)近端入力信号の振幅スペクトルのスペクトル包絡を抽出する近端入力信号スペクトル包絡抽出手段と、(5)遠端信号の振幅スペクトルのスペクトル包絡から周波数ビン毎に周波数成分の有無を判定する周波数ビン成分有無判定手段と、(6)シングルトークと判定されたフレームで、周波数ビン成分有無判定手段の判定結果により周波数成分が有ると判断された周波数ビンのみ、エコーパス特性と1フレーム前のエコーパス特性とを用いて当該周波数ビンのエコーパス特性を更新する周波数ビンエコーパス特性更新手段と、(7)周波数ビンエコーパス特性更新手段により更新された周波数ビン毎のエコーパス特性と遠端信号の振幅スペクトルとに基づいて推定エコー信号を算出する推定エコー信号算出手段と、(8)推定エコー信号と近端入力信号の振幅スペクトルとでエコーサプレスゲインを計算し近端入力信号の振幅スペクトルから推定エコー信号を抑圧し近端出力信号として出力するエコー抑圧手段とを備えることを特徴とするエコー抑圧装置である。 According to a first aspect of the present invention, in an echo suppression apparatus for suppressing an acoustic echo signal based on a near-end input signal and a far-end output signal, (1) the input far-end signal is converted into a frequency domain, A far-end signal amplitude spectrum calculating means for obtaining an amplitude spectrum; (2) a near-end input signal amplitude spectrum calculating means for converting the input near-end input signal into a frequency domain and obtaining an amplitude spectrum of the near-end input signal; (3) a far-end signal spectrum envelope extracting means for extracting the spectrum envelope of the amplitude spectrum of the far-end signal; and (4) a near-end input signal spectrum envelope extracting means for extracting the spectrum envelope of the amplitude spectrum of the near-end input signal; (5) Frequency bin component presence / absence determining means for determining the presence / absence of a frequency component for each frequency bin from the spectrum envelope of the amplitude spectrum of the far-end signal, and (6) Single talk The echo path characteristic of the frequency bin is updated by using the echo path characteristic and the echo path characteristic of the previous frame only for the frequency bin determined to have a frequency component based on the determination result of the frequency bin component presence / absence determination unit in the determined frame. (7) estimated echo signal calculating means for calculating an estimated echo signal based on the echo path characteristics for each frequency bin updated by the frequency bin echo path characteristic updating means and the amplitude spectrum of the far-end signal; 8) An echo suppression means is provided that calculates an echo suppression gain from the estimated echo signal and the amplitude spectrum of the near-end input signal, suppresses the estimated echo signal from the amplitude spectrum of the near-end input signal, and outputs it as a near-end output signal. This is an echo suppression device.
第2の本発明は、近端入力信号から遠端信号に基づく音響エコー信号を抑圧するエコー抑圧装置に搭載されたコンピュータを、(1)入力された遠端信号を周波数領域に変換して、遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段と、(2)入力された近端入力信号を周波数領域に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、(3)遠端信号の振幅スペクトルのスペクトル包絡を抽出する遠端信号スペクトル包絡抽出手段と、(4)近端入力信号の振幅スペクトルのスペクトル包絡を抽出する近端入力信号スペクトル包絡抽出手段と、(5)遠端信号の振幅スペクトルのスペクトル包絡から周波数ビン毎に周波数成分の有無を判定する周波数ビン成分有無判定手段と、(6)シングルトークと判定されたフレームで、周波数ビン成分有無判定手段の判定結果により周波数成分が有ると判断された周波数ビンのみ、エコーパス特性と1フレーム前のエコーパス特性とを用いて当該周波数ビンのエコーパス特性を更新する周波数ビンエコーパス特性更新手段と、(7)周波数ビンエコーパス特性更新手段により更新された周波数ビン毎のエコーパス特性と遠端信号の振幅スペクトルとに基づいて推定エコー信号を算出する推定エコー信号算出手段と、(8)推定エコー信号と近端入力信号の振幅スペクトルとでエコーサプレスゲインを計算し近端入力信号の振幅スペクトルから推定エコー信号を抑圧し近端出力信号として出力するエコー抑圧手段として機能させることを特徴とするエコー抑圧プログラムである。 According to a second aspect of the present invention, there is provided a computer mounted on an echo suppressor that suppresses an acoustic echo signal based on a far end signal from a near end input signal; (1) converting the input far end signal into a frequency domain; A far-end signal amplitude spectrum calculating means for obtaining an amplitude spectrum of the far-end signal; and (2) a near-end input signal amplitude spectrum for obtaining an amplitude spectrum of the near-end input signal by converting the input near-end input signal into a frequency domain. A calculation means; (3) a far-end signal spectrum envelope extraction means for extracting the spectrum envelope of the amplitude spectrum of the far-end signal; and (4) a near-end input signal spectrum envelope for extracting the spectrum envelope of the amplitude spectrum of the near-end input signal. (5) frequency bin component presence / absence determination means for determining the presence / absence of a frequency component for each frequency bin from the spectrum envelope of the amplitude spectrum of the far-end signal, (6) Only the frequency bin determined to have a frequency component based on the determination result of the frequency bin component presence / absence determination means in the frame determined to be single talk, the echo path characteristic of the frequency bin using the echo path characteristic and the echo path characteristic one frame before. Frequency bin echo path characteristic update means for updating the frequency bin, and (7) estimated echo signal calculation means for calculating the estimated echo signal based on the echo path characteristic for each frequency bin updated by the frequency bin echo path characteristic update means and the amplitude spectrum of the far-end signal And (8) an echo suppression means that calculates an echo suppression gain from the estimated echo signal and the amplitude spectrum of the near-end input signal, suppresses the estimated echo signal from the amplitude spectrum of the near-end input signal, and outputs it as a near-end output signal An echo suppression program characterized by
第3の本発明は、近端入力信号から遠端出力信号に基づく音響エコー信号を抑圧するエコー抑圧方法において、遠端信号振幅スペクトル算出手段、近端入力信号振幅スペクトル算出手段、遠端信号振幅スペクトル包絡抽出手段、近端入力信号振幅スペクトル包絡抽出手段、周波数ビン成分有無判定手段、周波数ビンエコーパス特性更新手段、推定エコー信号算出手段、エコー抑圧手段を有し、(1)遠端信号振幅スペクトル算出手段は、入力された遠端信号を周波数領域に変換して、遠端信号の振幅スペクトルを求め、(2)近端入力信号振幅スペクトル算出手段は、入力された近端入力信号を周波数領域に変換して、近端入力信号の振幅スペクトルを求め、(3)遠端信号振幅スペクトル包絡抽出手段は、遠端信号の振幅スペクトルのスペクトル包絡を抽出し、(4)近端入力信号振幅スペクトル包絡抽出手段は、近端入力信号の振幅スペクトルのスペクトル包絡を抽出し、(5)周波数ビン成分有無判定手段は、遠端信号の振幅スペクトルのスペクトル包絡から周波数ビン毎に周波数成分の有無を判定し、(6)周波数ビンエコーパス特性更新手段は、シングルトークと判定されたフレームで、周波数ビン成分有無判定手段の判定結果により周波数成分が有ると判断された周波数ビンのみ、エコーパス特性と1フレーム前のエコーパス特性とを用いて当該周波数ビンのエコーパス特性を更新し、(7)推定エコー信号算出手段は、周波数ビンエコーパス特性更新手段により更新された周波数ビン毎のエコーパス特性と遠端信号の振幅スペクトルとに基づいて推定エコー信号を算出し、(8)エコー抑圧手段は、推定エコー信号と近端入力信号の振幅スペクトルとでエコーサプレスゲインを計算し近端入力信号の振幅スペクトルから推定エコー信号を抑圧し近端出力信号として出力することを特徴とするエコー抑圧方法である。 According to a third aspect of the present invention, there is provided an echo suppression method for suppressing an acoustic echo signal based on a far end output signal from a near end input signal, a far end signal amplitude spectrum calculating means, a near end input signal amplitude spectrum calculating means, a far end signal amplitude. Spectral envelope extraction means, near-end input signal amplitude spectrum envelope extraction means, frequency bin component presence / absence determination means, frequency bin echo path characteristic update means, estimated echo signal calculation means, echo suppression means, (1) far-end signal amplitude spectrum calculation means converts the far-end signal inputted to the frequency domain, Me the amplitude spectrum of the far-end signal determined, (2) the near-end input signal amplitude spectrum calculating means, the frequency domain near-end input signal input converted to, Me determined an amplitude spectrum of the near-end input signal, (3) far-end signal amplitude spectrum envelope extracting means, the amplitude spectrum of the far-end signal scan The vector envelope out extract, (4) near end input signal amplitude spectrum envelope extracting means issues extract the spectral envelope of the amplitude spectrum of the near-end input signal, (5) frequency bins component presence determination means, of the far-end signal amplitude the presence or absence of frequency components to determine the constant from the spectral envelope of the spectrum for each frequency bin, (6) frequency Bin'ekopasu characteristic updating means is a frame determined to be a single-talk, the frequency component by the judgment result of the frequency bin components presence determining means only the frequency bins is determined that there, a further new the echo path characteristics of the frequency bins by using the echo path characteristics of the echo path characteristics and the previous frame, (7) the estimated echo signal calculation means updates the frequency Bin'ekopasu characteristic updating means The estimated echo signal is calculated based on the echo path characteristics for each frequency bin and the amplitude spectrum of the far-end signal. Out, (8) the echo suppression means to output as an estimated echo signal and the near-end echo suppression gain calculated in the amplitude spectrum of the input signal suppresses the estimated echo signal from the amplitude spectrum of the near-end input signal near-end output signal This is an echo suppression method characterized by the above.
本発明によれば、遠端信号の振幅スペクトルのスペクトル包絡で周波数成分がある周波数ビンのみ、遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルとのスペクトル包絡からエコーパス特性を計算し更新することで、遠端信号の音声信号の微細構造によるエコーパス特性の誤学習を防止し、エコー抑圧性能を維持することができる。 According to the present invention, the echo path characteristic is calculated and updated only from the frequency envelope having the frequency component in the spectrum envelope of the amplitude spectrum of the far-end signal and the spectrum envelope of the amplitude spectrum of the far-end signal and the amplitude spectrum of the near-end input signal. Thus, it is possible to prevent erroneous learning of the echo path characteristics due to the fine structure of the voice signal of the far-end signal, and to maintain the echo suppression performance.
(A)第1の実施形態
以下では、本発明のエコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法の第1の実施形態を、図面を参照しながら詳細に説明する。
(A) First Embodiment Hereinafter, a first embodiment of an echo suppression device, an echo suppression program, and an echo suppression method of the present invention will be described in detail with reference to the drawings.
第1の実施形態は、例えば、テレビ会議システムや電話会議システム等の拡声通話システムの音声送受信装置のエコー抑圧装置及びプログラムに本発明を適用する場合を例示する。 1st Embodiment illustrates the case where this invention is applied to the echo suppression apparatus and program of the audio | voice transmission / reception apparatus of loudspeaking call systems, such as a video conference system and a telephone conference system, for example.
(A−1)第1の実施形態の構成
図1は、第1の実施形態に係るエコー抑圧装置100の構成を示すブロック図である。
(A-1) Configuration of First Embodiment FIG. 1 is a block diagram illustrating a configuration of an echo suppression apparatus 100 according to the first embodiment.
第1の実施形態に係るエコー抑圧装置100は、上述した本発明のエコー抑圧装置を実装したものであり、遠端信号が近端側の空間を伝達し音響エコー信号として近端側のマイクに回り込んで入力されたときでも、近端入力信号に対してエコー抑圧処理(エコーサプレス処理)を行い、音響エコー信号を適切に抑圧するものである。 The echo suppressor 100 according to the first embodiment is implemented with the above-described echo suppressor of the present invention. The far-end signal is transmitted to the near-end side space and is transmitted as an acoustic echo signal to the near-end microphone. Even when the signal is input by wrapping around, echo suppression processing (echo suppression processing) is performed on the near-end input signal to appropriately suppress the acoustic echo signal.
第1の実施形態のエコー抑圧装置100は、例えば専用ボードとして構築されるようにしても良いし、DSP(デジタルシグナルプロセッサ)へのエコー抑圧プログラムの書き込みによって実現されたものであっても良く、CPUと、CPUが実行するソフトウェア(エコー抑圧プログラム)によって実現されたものであっても良いが、機能的には、図1で表すことができる。 The echo suppression apparatus 100 according to the first embodiment may be configured as a dedicated board, for example, or may be realized by writing an echo suppression program into a DSP (digital signal processor). Although it may be realized by a CPU and software (echo suppression program) executed by the CPU, it can be functionally represented in FIG.
図1において、第1の実施形態に係るエコー抑圧装置100は、遠端信号入力端子101、DA変換器102、スピーカ103、マイク104、AD変換器105、遠端信号周波数領域変換部106、遠端信号振幅スペクトル計算部107、エコーパス特性保持部108、推定エコー信号計算部109、近端入力信号周波数領域変換部110、近端入力信号振幅スペクトル計算部111、エコーサプレスゲイン計算部112、エコーサプレス部113、近端出力信号振幅スペクトル計算部114、シングルトーク判定部115、遠端信号スペクトル包絡抽出部116、近端入力信号スペクトル包絡抽出部117、エコーパス特性計算部118、遠端出力信号周波数ビン成分有無判定部119、周波数ビンエコーパス特性更新部120、近端出力信号時間領域変換部121、近端出力信号出力端子122を有する。
In FIG. 1, an echo suppression apparatus 100 according to the first embodiment includes a far-end
遠端信号入力端子101は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、接続されている回線を介して遠端信号が入力される。
The far-end
遠端信号入力端子101に入力された遠端信号は、DA変換器102において、デジタル音信号からアナログ音信号に変換され、スピーカ103を通して近端側に出力される。
The far-end signal input to the far-end
一方、近端側の話者が発した音声等の音信号や、環境音、音響エコー信号(例えば、スピーカ103から出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号)等が重畳したアナログ音信号は、マイク104によって受音され、AD変換器105よってデジタル音信号に変換され、近端入力信号としてエコー抑圧装置100に入力される。
On the other hand, sound signals such as voices uttered by the near-end speaker, environmental sounds, and acoustic echo signals (for example, analog sound signals output from the
遠端信号周波数領域変換部106は、例えば、高速フーリエ変換(FFT)等により、遠端信号を周波数領域の信号に変換し、遠端信号の周波数スペクトルを出力する。
The far-end signal frequency
遠端信号振幅スペクトル計算部107は、遠端信号の周波数スペクトルに基づいて、遠端信号の振幅スペクトルを算出し、算出した遠端信号の振幅スペクトルを遠端信号スペクトル包絡抽出部116及び推定エコー信号計算部109に出力する。
The far-end signal amplitude
エコーパス特性保持部108は、推定したエコーパス特性を周波数ビン毎に保持するものであり、保持しているエコーパス特性を推定エコー信号計算部109に出力する。
The echo path
推定エコー信号計算部109は、遠端信号の振幅スペクトルと、推定したエコーパス特性とを乗じて推定エコー信号の振幅スペクトルを算出し、算出した推定エコー信号をエコーサプレスゲイン計算部112に出力する。
The estimated echo
近端入力信号周波数領域変換部110は、例えば、高速フーリエ変換(FFT)等により、近端入力信号を周波数領域の信号に変換し、近端入力信号の周波数スペクトルを出力する。
The near-end input signal frequency
近端入力信号振幅スペクトル計算部111は、近端入力信号の周波数スペクトルに基づいて、近端入力信号の振幅スペクトルを算出し、算出した近端入力信号の振幅スペクトルを、エコーサプレスゲイン計算部112及びシングルトーク判定部115及び近端入力信号スペクトル包絡抽出部117に出力する。
The near-end input signal amplitude spectrum calculation unit 111 calculates the amplitude spectrum of the near-end input signal based on the frequency spectrum of the near-end input signal, and the echo suppression
エコーサプレスゲイン計算部112は、推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて、近端入力信号に重畳されている音響エコー信号を抑圧するエコーサプレスゲインを算出し、算出したエコーサプレスゲインをエコーサプレス部113に出力する。
The echo suppression
エコーサプレス部113は、エコーサプレスゲインと、近端入力信号の周波数スペクトルを乗じることにより、近端入力信号に重畳されている音響エコー信号を抑圧した周波数スペクトルを求め、近端出力信号の周波数スペクトルとして、近端出力信号振幅スペクトル計算部114及び近端出力信号時間領域変換部121に出力する。
The
近端出力信号振幅スペクトル計算部114は、近端出力信号の周波数スペクトルに基づいて、近端出力信号の振幅スペクトルを算出し、算出した近端出力信号の振幅スペクトルをシングルトーク判定部115に出力する。
The near end output signal amplitude
シングルトーク判定部115は、シングルトークとシングルトーク以外(ダブルトーク、又は近端側の音声信号のみ発生されている状態等)を判断するものである。ここで、シングルトークとは、近端入力信号に音響エコー信号が入力されて、且つ近端話者の音声信号が入力されていない状態である。具体的には、スピーカ103から遠端信号が出力され、近端側の空間を伝達し、音響エコー信号として回り込んでマイク104に受音されている状態である。ダブルトークとは、近端入力信号に音響エコー信号と近端側の話者の音声信号が同時に入力されている状態である。具体的には、スピーカ103から遠端信号が出力され、近端側の空間を伝達し、音響エコー信号として回り込んでマイク104に受音されるのと同時に、近端側の話者が発話している状態である。シングルトーク判定部115は、シングルトークかシングルトーク以外かを判定すると、その結果をエコーパス特性計算部118に出力する。
The single
遠端信号スペクトル包絡抽出部116は、遠端信号の振幅スペクトルからスペクトル包絡を抽出し、エコーパス特性計算部118と遠端出力信号周波数ビン成分有無判定部119に出力する。
The far-end signal spectrum
近端入力信号スペクトル包絡抽出部117は、近端入力信号の振幅スペクトルからスペクトル包絡を抽出し、エコーパス特性計算部118に出力する。
The near-end input signal spectrum envelope extraction unit 117 extracts a spectrum envelope from the amplitude spectrum of the near-end input signal and outputs the spectrum envelope to the echo path
エコーパス特性計算部118は、シングルトーク判定部115でシングルトークと判定されたフレームのエコーパス特性を、遠端信号の振幅スペクトルのスペクトル包絡と、近端入力信号の振幅スペクトルのスペクトル包絡とに基づいて、周波数ビン毎に算出し、シングルトークであると判定したフレームの周波数ビン毎のエコーパス特性を出力する。
The echo path
遠端出力信号周波数ビン成分有無判定部119は、遠端信号の振幅スペクトルのスペクトル包絡に基づいて、周波数ピン毎に周波数成分の有無を判定し、周波数ビン毎に周波数有無判定結果を周波数ビンエコーパス特性更新部120に出力する。
The far-end output signal frequency bin component presence /
周波数ビンエコーパス特性更新部120は、エコーパス特性保持部108に保持されるエコーパス特性と、シングルトークと判定されたフレームのエコーパス特性と、遠端信号の振幅スペクトルのスペクトル包絡の周波数ビン毎の周波数有無判定結果を用いてエコーパス特性を更新し、更新したエコーパス特性をエコーパス特性保持部108に保存する。このとき、周波数成分があると判断された周波数ビンのみエコーパス特性を更新し、周波数成分がないと判断された周波数ビンはエコーパス特性を更新しない。これにより、シングルトークで、遠端信号の振幅スペクトルに成分がある周波数ビンのエコーパス特性を更新することができる。
The frequency bin echo path
近端出力信号時間領域変換部121は、近端出力信号の周波数スペクトルを、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域のデジタル音信号に変換し、変換した時間領域の近端出力信号を近端出力信号出力端子122に出力する。
The near-end output signal time
近端出力信号出力端子122は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており,近端出力信号を接続されている回線を介して遠端側に出力する。
The near-end output
(A−2)第1の実施形態の動作
次に、第1の実施形態に係るエコー抑圧装置100におけるエコー抑圧処理の動作を詳細に説明する。
(A-2) Operation of the First Embodiment Next, the operation of echo suppression processing in the echo suppression device 100 according to the first embodiment will be described in detail.
まず、エコー抑圧装置100の動作開始後、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波に接続されており接続されている回線を介して、遠端信号が遠端信号入力端子101に入力される。
First, after the operation of the echo suppression apparatus 100 is started, for example, a far-end signal is transmitted via a connected line connected to a radio wave of a network such as an Internet protocol (IP) network or a wireless network such as a mobile phone. Input to the far-end
遠端信号入力端子101に入力された遠端信号は、DA変換器102において、デジタル音信号からアナログ音信号に変換され、スピーカ103を通して近端側に出力される。
The far-end signal input to the far-end
一方、近端側の話者が発した音声等の音信号や、環境音、音響エコー信号等が重畳したアナログ音信号は、マイク104によって受音され、AD変換器105よってデジタル音信号に変換され、近端入力信号としてエコー抑圧装置100に入力される。
On the other hand, a sound signal such as a voice uttered by a near-end speaker, an analog sound signal superimposed with an environmental sound, an acoustic echo signal, or the like is received by the
遠端信号周波数領域変換部106では、例えば、高速フーリエ変換(FFT)等により遠端信号を周波数領域の信号に変換し、変換された遠端信号の周波数スペクトルRIN(i,ω)を遠端信号振幅スペクトル計算部107に出力する。
The far-end signal frequency
遠端信号振幅スペクトル計算部107では、遠端信号の周波数スペクトルRIN(i,ω)を用いて、(1)式に従い、遠端信号の振幅スペクトル|RIN(i,ω)|が求められる。
ここで、iはフレーム、ωは周波数ビン、RIN_real(i,ω)とRIN_image(i,ω)は、フレームiにおける周波数ビンωの遠端信号の周波数スペクトルの実数部と虚数部を示しており、遠端信号の周波数スペクトルRIN(i、ω)は、式(2)と表すことができる。
(2)式のjは虚数を表している。遠端信号振幅スペクトル計算部107は、算出した遠端信号の周波数スペクトル|RIN(i,ω)|を推定エコー信号計算部109及び遠端信号スペクトル包絡抽出部116に出力する。
In equation (2), j represents an imaginary number. The far-end signal amplitude
推定エコー信号計算部109では、エコーパス保持部108に保持されている1フレーム前に推定したエコーパス特性|H(i−1,ω)|と、遠端信号の振幅スペクトル|RIN(i,ω)|とを用いて、(3)式により、推定エコー信号の振幅スペクトル|ECHO(i,ω)|を算出する。
(3)式は、遠端信号の振幅スペクトル|RIN(i,ω)|に、保持されている1フレーム前に推定したエコーパス特性|H(i−1,ω)|の対応する周波数ビンを乗じて、当該周波数ビンの推定エコー信号の振幅スペクトル|ECHO(i,ω)|を算出するという式である。推定エコー信号計算部109は、推定エコー信号の振幅スペクトル|ECHO(i,ω)|をエコーサプレス部113に出力する。
The expression (3) indicates that the frequency bin corresponding to the echo path characteristic | H (i−1, ω) | estimated one frame before is held in the amplitude spectrum | RIN (i, ω) | of the far-end signal. Multiplication is performed to calculate the amplitude spectrum | ECHO (i, ω) | of the estimated echo signal of the frequency bin. Estimated echo
一方、近端入力信号周波数領域変換部110では、例えば、高速フーリエ変換(FFT)等により、近端入力信号を周波数領域の信号に変換し、その変換された近端入力信号の周波数スペクトルSIN(i,ω)を近端入力信号振幅スペクトル計算部111及びエコーサプレス部113に出力する。
On the other hand, the near-end input signal frequency
近端入力信号振幅スペクトル計算部111は、近端入力信号の周波数スペクトルSIN(i,ω)を用いて、(4)式に従い、近端入力信号の振幅スペクトル|SIN(i,ω)|を算出する。
ここで、SIN_real(i,ω)とSIN_image(i,ω)は、フレームiにおける周波数ビンωの近端入力信号の周波数スペクトルの実数部と虚数部を示しており、近端入力信号の周波数スペクトルSIN(i,ω)は、式(5)と表すことができる。
(5)式のjは虚数を表している。近端入力信号振幅スペクトル計算部111は、算出した近端入力信号の振幅スペクトル|SIN(i,ω)|をエコーサプレスゲイン計算部112及びシングルトーク判定部115及び近端入力信号スペクトル包絡抽出部117に出力する。
In the formula (5), j represents an imaginary number. The near-end input signal amplitude spectrum calculation unit 111 converts the calculated amplitude spectrum | SIN (i, ω) | of the near-end input signal into an echo suppression
エコーサプレスゲイン計算部112では、推定エコー信号の振幅スペクトル|ECHO(i,ω)|と、近端入力信号の振幅スペクトル|SIN(i,ω)|とを用いて、(6)式に従って、エコーサプレスゲインG(i,ω)を算出する。
(6)式は、周波数ビン毎に、近端入力信号の振幅スペクトル|SIN(i,ω)|から推定エコー信号の振幅スペクトル|ECHO(i,ω)|を差し引いた値を、近端入力信号の振幅スペクトル|SIN(i,ω)|で除することで、エコーサプレスゲインG(i,ω)を求めるという式である。エコーサプレスゲイン計算部112は、算出したエコーサプレスゲインG(i,ω)をエコーサプレス部113に出力する。
Equation (6) is obtained by subtracting the amplitude spectrum | ECHO (i, ω) | of the estimated echo signal from the amplitude spectrum | SIN (i, ω) | of the near-end input signal for each frequency bin. This is an equation for obtaining the echo suppression gain G (i, ω) by dividing by the amplitude spectrum of the signal | SIN (i, ω) |. The echo suppression
エコーサプレス部113では、近端入力信号のスペクトルSIN(i,ω)と、エコーサプレスゲインG(i,ω)とを用いて、(7)式、(8)式に従い、近端入力信号のスペクトルSIN(i,ω)に重畳されている音響エコー信号を抑圧する。
ここで、SOUT_real(i,ω)とSOUT_image(i,ω)は、時刻iにおける周波数ビンωの近端出力信号の周波数スペクトルの実数部と虚数部を示しており、近端出力信号の周波数スペクトルSOUT(i,ω)は、式(9)と表すことができる。
(9)式のjは虚数を表している。(7)式と(8)式は、周波数スペクトルの実数部、虚数部にエコーサプレスゲインG(i,ω)を周波数ビン毎に乗じて、音響エコー信号を抑圧した近端入力信号の周波数スペクトルを求めるという式である。エコーサプレス部113は、算出した音響エコー信号が抑圧された近端入力信号の周波数スペクトルを近端出力信号の周波数スペクトルSOUT(i,ω)として、近端出力信号振幅スペクトル計算部114に出力する。
(9) j represents an imaginary number. Equations (7) and (8) are obtained by multiplying the real part and imaginary part of the frequency spectrum by the echo suppression gain G (i, ω) for each frequency bin, and the frequency spectrum of the near-end input signal in which the acoustic echo signal is suppressed. Is an expression for obtaining. The
近端出力信号振幅スペクトル計算部114では、近端出力信号の周波数スペクトルを用いて、(10)式に従い、近端出力信号の振幅スペクトル|SOUT(i,ω)|を算出する。
近端出力信号振幅スペクトル計算部114は、算出した端出力信号の振幅スペクトル|SOUT(i,ω)|をシングルトーク判定部115に出力する。
The near-end output signal amplitude
シングルトーク判定部115では、近端入力信号の振幅スペクトル|SIN(i,ω)|と、近端出力信号の振幅スペクトル|SOUT(i,ω)|と比較して、シングルトークとシングルトーク以外を判定する。
The single
シングルトークとシングルトーク以外の判定手段として、例えば、()式で示すように近端出力信号の振幅スペクトルのフレーム合計値を近端入力信号の振幅スペクトルのフレーム合計値で乗算し、その値が閾値TH1より小さいときはシングルトークの状態、それ以外の場合はシングルトーク以外の状態と判定する。(11)式の左辺は、0から1までの値をとるので、閾値TH1は0から1までの値かつ小さな値(例えばTH1=0.3)を設定する。
(11)式のFFT_LENは高速フーリエ変換の点数を表している。なお、シングルトーク判定部115のシングルトーク判定手段は、種々の方法を広く適用することができ、例えば、遠端信号と近端入力信号との相関が強いフレームをシングルトーク、相関が弱いフレームをシングルトーク以外としても良い。シングルトーク判定部115は、判定結果をエコーパス特性計算部118に出力する。
In the equation (11), FFT_LEN represents the point of the fast Fourier transform. The single talk determining means of the single
遠端信号スペクトル包絡抽出部116は、遠端信号の振幅スペクトル|RIN(i,ω)|のスペクトル包絡|RIN_ENVE(i,ω)|を算出し、算出したスペクトル包絡|RIN_ENVE(i,ω)|をエコーパス特性計算部118と遠端出力信号周波数ビン成分有無判定部119に出力する。
The far-end signal spectrum
近端入力信号スペクトル包絡抽出部117は、近端出力信号の振幅スペクトル|SIN(i,ω)|のスペクトル包絡|SIN_ENVE(i,ω)|を算出し、算出したスペクトル包絡|SIN_ENVE(i,ω)|をエコーパス特性計算部118に出力する。
The near-end input signal spectrum envelope extraction unit 117 calculates the spectrum envelope | SIN_ENVE (i, ω) | of the amplitude spectrum | SIN (i, ω) | of the near-end output signal, and calculates the calculated spectrum envelope | SIN_ENVE (i, ω) | is output to the echo path
ここで、遠端信号と近端入力信号の振幅スペクトルのスペクトル包絡を抽出する手段として、例えば、(12)式と(13)式で示されている周波数ビンの移動平均値を用いることで音声信号の微細構造を取り除き、スペクトル包絡を抽出する。
(12)式と(13)式の[]はガウス記号であり、[x]は実数xに対して
x以下の最大の整数である。
[] In Equations (12) and (13) is a Gaussian symbol, and [x] is a maximum integer less than or equal to x with respect to the real number x.
なお、遠端信号スペクトル包絡抽出部116と近端入力信号スペクトル包絡抽出部117によるスペクトル包絡の抽出手段は、種々の方法を広く適用することができ、例えば、ケプストラム分析でのリフタリング、線形予測分析、フレーム平均などの方法でスペクトル包絡を抽出しても良い。
Note that various methods can be widely applied to the spectral envelope extraction means by the far-end signal spectral
エコーパス特性計算部118では、シングルトーク判定部115でシングルトークと判断されたフレームに対して、(14)式に従い、当該フレームのエコーパス特性|H1(i,ω)|を遠端信号の振幅スペクトルのスペクトル包絡|RIN_ENVE(i,ω)|と、近端出力信号の振幅スペクトルのスペクトル包絡|SIN_ENVE(i,ω)|を用いて算出する。
そして、エコーパス特性計算部118は、算出するエコーパス特性|H1(i,ω)|を周波数ビンエコーパス特性更新部120に出力する。
Then, the echo
遠端出力信号周波数ビン成分有無判定部119は、遠端信号の振幅スペクトルのスペクトル包絡|RIN_ENVE(i,ω)|の周波数成分の有無を周波数ビン毎に判定するために、例えば、閾値TH2(i,ω)を周波数ビン毎に比較し、周波数ビン毎に周波数成分の有無を判定する。周波数成分が閾値より大きい場合、当該周波数ビンの周波数成分があると判定し、周波数成分が閾値以下の場合、当該周波数ビンの周波数成分がないと判定し、その判定結果を周波数ビンエコーパス特性更新部120に出力する。閾値TH2(i,ω)の値は、例えば、定数や遠端信号のフレーム平均値や遠端信号から遠端信号に含まれている背景雑音を推定し、その背景雑音のフレーム平均値などを設定する。また、閾値TH2(i,ω)は、周波数ビン毎に異なる値を設定するようにしても良い。
The far-end output signal frequency bin component presence /
周波数ビンエコーパス特性更新部120は、エコーパス特性計算部118からエコーパス特性|H1(i,ω)|が出力されると、エコーパス特性保持部108に保持されている1フレーム前に推定したエコーパス特性|H(i−1,ω)|を読み出し、1フレーム前に推定したエコーパス特性|H(i−1,ω)|と、シングルトークと判定されたフレームのエコーパス特性|H1(i,ω)|を用いてエコーパス特性を更新する。このとき、遠端出力信号周波数ビン成分有無判定部119で遠端信号の振幅スペクトルのスペクトル包絡|RIN_ENVE(i,ω)|の周波数成分があると判断された周波数ビンのみエコーパス特性を更新し、周波数成分がないと判断された周波数ビンはエコーパス特性の更新を行わない。
When the echo path characteristic | H1 (i, ω) | is output from the echo path
具体的には、周波数ビンエコーパス特性更新部部120は、(15)式に従って、エコーパス特性|H(i,ω)|を更新する。
(15)式において、aは時定数フィルタの係数であり、aは1以下の値であって、エコーパス特性の更新を遅くしたい場合は1に近い値(例えばa=0.99等の値)が望ましく、更新を早くしたい場合は0に近い値(例えばa=0.01等の値)が望ましい。(12)式は、遠端信号の振幅スペクトルのスペクトル包絡|RIN_ENVE(i,ω)|の周波数成分がある周波数ビンについて、エコーパス特性保持部108に保持されている当該周波数ビンのエコーパス特性|H(i−1,ω)|と、エコーパス特性|H1(i,ω)|とを用いて、次のフレームで用いる周波数ビンのエコーパス特性|H(i,ω)|を算出し、遠端信号の振幅スペクトルのスペクトル包絡|RIN_ENVE(i,ω)|の周波数成分がない周波数ビンについて、周波数ビンエコーパス特性更新部120は、保持されている当該周波数ビンのエコーパス特性|H(i,ω)|を用いるという式である。
In the equation (15), a is a coefficient of the time constant filter, and a is a value of 1 or less, and a value close to 1 (for example, a = 0.99 or the like) when it is desired to delay the update of the echo path characteristic. It is desirable that a value close to 0 (for example, a = 0.01 or the like) is desirable when it is desired to update the data quickly. Expression (12) is expressed as follows: For a frequency bin having a frequency component of the spectral envelope | RIN_ENVE (i, ω) | of the amplitude spectrum of the far-end signal, the echo path characteristic of the frequency bin held in the echo path
近端出力信号時間領域変換部121では、近端出力信号のスペクトルSOUT(i,ω)が、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域の信号に変換され、時間領域のデジタル音信号に変換し、近端出力信号出力端子122に出力する。
In the near-end output signal time
近端出力信号出力端子122は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、近端出力信号を接続されている回線を介して通話相手である遠端側に出力する。
The near-end output
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、遠端信号と近端入力信号の周波数のスペクトル微細構造によるエコーパス特性の誤学習を防ぎ、エコー抑圧性能を維持することができる。
(A-3) Effect of First Embodiment As described above, according to the first embodiment, erroneous learning of echo path characteristics due to the spectral fine structure of the frequencies of the far-end signal and the near-end input signal is prevented, and echo Suppression performance can be maintained.
(B)第2の実施形態
次に、本発明のエコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法の第2の実施形態を、図面を参照しながら説明する。
(B) Second Embodiment Next, a second embodiment of the echo suppression device, the echo suppression program, and the echo suppression method of the present invention will be described with reference to the drawings.
(B−1)第2の実施形態の構成
第2の実施形態では、シングルトーク判定の処理が、第1の実施形態に係るエコー抑圧装置100と異なるのみであり、それ以外の構成要素は第1の実施形態に係る図1のエコー抑圧装置100の構成要素と同一又は対応するものである。
(B-1) Configuration of Second Embodiment In the second embodiment, the single talk determination process is different from that of the echo suppression apparatus 100 according to the first embodiment, and the other components are the first. This is the same as or corresponds to the constituent elements of the echo suppressor 100 of FIG. 1 according to the first embodiment.
図2は、第2の実施形態に係るエコー抑圧装置200の構成を示すブロック図である。
FIG. 2 is a block diagram showing a configuration of an
図2において、第2の実施形態に係るエコー抑圧装置200は、遠端信号入力端子101、DA変換器102、スピーカ103、マイク104、AD変換器105、遠端信号周波数領域変換部106、遠端信号振幅スペクトル計算部107、エコーパス特性保持部108、推定エコー信号計算部109、近端入力信号周波数領域変換部110、近端入力信号振幅スペクトル計算部111、エコーサプレスゲイン計算部112、エコーサプレス部113、近端出力信号振幅スペクトル計算部114、スペクトル包絡相関シングルトーク判定部202、遠端信号スペクトル包絡抽出部116、近端入力信号スペクトル包絡抽出部117、エコーパス特性計算部118、遠端出力信号周波数ビン成分有無判定部119、周波数ビンエコーパス特性更新部120、近端出力信号時間領域変換部121、近端出力信号出力端子122、スペクトル包絡相関判定部201を有する。
In FIG. 2, an
すなわち、第2の実施形態に係るエコー抑圧装置200は、第1の実施形態に係るエコー抑圧装置100の構成要素に加えてスペクトル包絡相関判定部201を備え、エコー抑圧装置100のシングルトーク判定部115に代えてスペクトル包絡相関シングルトーク判定部202を有する。
That is, the
なお、図2において、第1の実施形態に係るエコー抑圧装置100の構成要素と同一又は対応するものについては同一の符号を付している。また、第1の実施形態と同一又は対応する構成要素の詳細な説明は重複することになるためここでは省略する。 In FIG. 2, the same or corresponding components as those of the echo suppression device 100 according to the first embodiment are denoted by the same reference numerals. Further, detailed descriptions of the same or corresponding components as those in the first embodiment will be omitted, and will be omitted here.
スペクトル包絡相関判定部201は、遠端信号の振幅スペクトルのスペクトル包絡と、近端入力信号の振幅スペクトルのスペクトル包絡との相関係数を算出し、相関の有無を判定してスペクトル包絡相関シングルトーク判定部202に出力する。
The spectrum envelope
スペクトル包絡相関シングルトーク判定部202は、近端入力信号の振幅スペクトルと近端出力信号の振幅スペクトルとスペクトル包絡相関判定部201から出力された相関の有無から、シングルトークかシングルトーク以外か否かをフレーム毎に判定し、判定結果をエコーパス特性計算部118に出力する。
The spectrum envelope correlation single
これにより、周波数ビンエコーパス特性更新部120は、遠端信号の振幅スペクトルのスペクトル包絡と、近端入力信号の振幅スペクトルのスペクトル包絡とが相関があるフレームのみでエコーパス特性を更新する。
Thereby, the frequency bin echo path
(B−2)第2の実施形態の動作
次に、第2の実施形態のエコー抑圧装置200におけるエコー抑圧処理の動作を詳細に説明する。ここでは、第2の実施形態に係るエコー抑圧装置200は、スペクトル包絡相関判定部201と、スペクトル包絡相関シングルトーク判定部202における処理動作を詳細に説明する。
(B-2) Operation | movement of 2nd Embodiment Next, the operation | movement of the echo suppression process in the
エコーサプレス装置200では、スペクトル包絡相関判定部201では、遠端信号スペクトル包絡抽出部116により抽出された遠端信号の振幅スペクトルのスペクトル包絡|RIN_ENVE(i,ω)|と、近端入力信号スペクトル包絡抽出部117により抽出された近端入力信号の振幅スペクトルのスペクトル包絡|SIN_ENVE(i,ω)|を用いて相関の有無を判定する。相関の有無の判定は、例えば、式(16)で示している相関係数corr(i)を求める。
(16)式のFFT_LENは高速フーリエ変換の点数、aveRINは遠端信号の振幅スペクトルのスペクトル包絡のフレーム平均値、aveSINは近端入力信号の振幅スペクトルのスペクトル包絡のフレーム平均値を表している。遠端信号の振幅スペクトルのスペクトル包絡のフレーム平均値と近端入力信号の振幅スペクトルのスペクトル包絡のフレーム平均値は、(17)式、(18)式で求める。
スペクトル包絡相関判定部201は、遠端信号の振幅スペクトルのスペクトル包絡と近端入力信号の振幅スペクトルのスペクトル包絡との相関係数corr(i)を求めると、相関の有無を判定する。(16)式で求めた相関係数corr(i)は「−1」から「1」の値になり、「1」に近ければ正の相関があるので、例えば、相関係数corr(i)が「0.9以上」のとき相関が有ると判定し、判定結果をスペクトル包絡相関シングルトーク判定部202に出力する。なお、スペクトル包絡相関計算部201による相関の判定手法は、種々の方法を広く適用することができ、例えば、スペクトル包絡相関計算部201が、遠端信号の振幅スペクトルのスペクトル包絡と、近端入力信号の振幅スペクトルのスペクトル包絡とを入力し、周波数ビン毎に差を求め、その差の合計が小さいとき相関が有ると判定するとしても良い。
Spectral envelope
スペクトル包絡相関シングルトーク判定部202は、シングルトーク判定部115と同様に、フレーム毎に比較して、シングルトークかシングルトーク以外かを判定する。そして、シングルトークと判定されたフレームで、スペクトル包絡相関判定部201で相関があると判定された場合はシングルトーク、それ以外の場合はダブルトーク、又は近端側の音声信号のみ発生されている状態と判定し、判定結果をエコーパス特性計算部118に出力する。
Similar to the single
(B−3)第2の実施形態の効果
以上のように、第2の実施形態によれば、第1の実施形態の効果に加えて、遠端信号の振幅スペクトルのスペクトル包絡と近端入力信号の振幅スペクトルのスペクトル包絡に相関が有るフレームのみエコーパス特性を更新するので、シングルトークの判定精度が向上しエコーを抑圧することができる。
(B-3) Effects of Second Embodiment As described above, according to the second embodiment, in addition to the effects of the first embodiment, the spectral envelope and the near-end input of the amplitude spectrum of the far-end signal Since the echo path characteristic is updated only for the frames having a correlation in the spectrum envelope of the amplitude spectrum of the signal, the single-talk determination accuracy is improved and the echo can be suppressed.
(C)他の実施形態
上述した各実施形態においても、種々の変形実施形態を言及したが、本発明は以下の変形実施形態についても適用することができる。
(C) Other Embodiments In the above-described embodiments, various modified embodiments have been mentioned, but the present invention can also be applied to the following modified embodiments.
上述した各実施形態で説明したエコー抑圧装置は、例えば、テレビ会議システムや電話会議システム等に用いられる音声通信装置を含む装置に搭載されるようにしても良い。また、携帯電話機やスマートホンやタブレット型端末等の携帯端末に本発明のエコー抑圧装置は搭載されるようにしても良い。 The echo suppression device described in each of the above-described embodiments may be mounted on a device including a voice communication device used in a video conference system, a telephone conference system, or the like. Further, the echo suppression device of the present invention may be mounted on a mobile terminal such as a mobile phone, a smart phone, or a tablet terminal.
上述した各実施形態では、シングルトークの場合に周波数ビン毎のエコーパス特性の更新を行うことを説明した。シングルトーク判定部がシングルトークではないと判定した場合には、周波数ビン毎のエコーパス特性の更新を行わないようにするようにしても良い。 In each of the above-described embodiments, the echo path characteristic is updated for each frequency bin in the case of single talk. When the single talk determination unit determines that the single talk is not performed, the echo path characteristic may not be updated for each frequency bin.
100及び200…エコー抑圧装置、101…遠端信号入力端子、102…DA変換器、103…スピーカ、104…マイク、105…AD変換器、106…遠端信号周波数領域変換部、107…遠端信号振幅スペクトル計算部、108…エコーパス特性保持部、109…推定エコー信号計算部、110…近端入力信号周波数領域変換部、111…近端入力信号振幅スペクトル計算部、112…エコーサプレスゲイン計算部、113…エコーサプレス部、114…近端出力信号振幅スペクトル計算部、115…シングルトーク判定部、116…遠端信号スペクトル包絡抽出部、117…近端出力信号スペクトル包絡抽出部、118…エコーパス特性更新部、119…遠端信号周波数ビン成分有無判定部、120…周波数ビンエコーパス特性更新部、121…近端出力信号時間領域変換部、122…近端出力信号出力端子、201…スペクトル包絡相関判定部、202…スペクトル包絡相関シングルトーク判定部、300…エコー消去装置、301…遠端入力信号入力端子、302…DA変換器、303…スピーカ、304…マイク、305…AD変換器、306…第1周波数分析部、307…第2周波数分析部、308…音響結合量計算部、309…推定エコー計算部、310…エコーサプレスゲイン計算部、311…積算部、312…周波数-時間変換部、313…近端出力信号出力端子。
DESCRIPTION OF
Claims (5)
入力された遠端信号を周波数領域に変換して、上記遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段と、
入力された近端入力信号を周波数領域に変換して、上記近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、
上記遠端信号の振幅スペクトルのスペクトル包絡を抽出する遠端信号スペクトル包絡抽出手段と、
上記近端入力信号の振幅スペクトルのスペクトル包絡を抽出する近端入力信号スペクトル包絡抽出手段と、
上記遠端信号の振幅スペクトルのスペクトル包絡から周波数ビン毎に周波数成分の有無を判定する周波数ビン成分有無判定手段と、
シングルトークと判定されたフレームで、上記周波数ビン成分有無判定手段の判定結果により周波数成分が有ると判断された周波数ビンのみ、エコーパス特性と1フレーム前のエコーパス特性とを用いて当該周波数ビンのエコーパス特性を更新する周波数ビンエコーパス特性更新手段と、
上記周波数ビンエコーパス特性更新手段により更新された周波数ビン毎のエコーパス特性と上記遠端信号の振幅スペクトルとに基づいて推定エコー信号を算出する推定エコー信号算出手段と、
上記推定エコー信号と上記近端入力信号の振幅スペクトルとでエコーサプレスゲインを計算し上記近端入力信号の振幅スペクトルから上記推定エコー信号を抑圧し近端出力信号として出力するエコー抑圧手段と
を備えることを特徴とするエコー抑圧装置。 In an echo suppressor that suppresses an acoustic echo signal based on a near-end input signal and a far-end output signal,
Far-end signal amplitude spectrum calculating means for converting the input far-end signal into the frequency domain and obtaining the amplitude spectrum of the far-end signal;
Near-end input signal amplitude spectrum calculating means for converting the input near-end input signal into the frequency domain and obtaining the amplitude spectrum of the near-end input signal;
A far-end signal spectrum envelope extracting means for extracting a spectrum envelope of the amplitude spectrum of the far-end signal;
A near-end input signal spectrum envelope extracting means for extracting a spectrum envelope of the amplitude spectrum of the near-end input signal;
Frequency bin component presence / absence determining means for determining the presence / absence of a frequency component for each frequency bin from the spectrum envelope of the amplitude spectrum of the far-end signal,
Only the frequency bin determined to have a frequency component based on the determination result of the frequency bin component presence / absence determination means in the frame determined to be single talk, using the echo path characteristic and the echo path characteristic of the previous frame, the echo path of the frequency bin. A frequency bin echo path characteristic updating means for updating the characteristic;
Estimated echo signal calculating means for calculating an estimated echo signal based on the echo path characteristics for each frequency bin updated by the frequency bin echo path characteristic updating means and the amplitude spectrum of the far-end signal;
Echo suppression means for calculating an echo suppression gain from the estimated echo signal and the amplitude spectrum of the near-end input signal, suppressing the estimated echo signal from the amplitude spectrum of the near-end input signal, and outputting it as a near-end output signal. An echo suppressor characterized by that.
上記シングルトーク判定手段によりシングルトークと判定されたフレームで、上記遠端信号の振幅スペクトルのスペクトル包絡と上記近端入力信号の振幅スペクトルのスペクトル包絡とに基づいて推定エコー信号を算出するエコーパス特性算出手段と
を備えることを特徴とする請求項1に記載のエコー抑圧装置。 A single-talk determination means for determining the amplitude spectrum or other Le or al single talk or single talk of the far-end signal and the near-end input signal and the near-end output signal for each frame,
Echo path characteristic calculation for calculating an estimated echo signal based on the spectrum envelope of the amplitude spectrum of the far-end signal and the spectrum envelope of the amplitude spectrum of the near-end input signal in a frame determined as single talk by the single-talk determining means The echo suppressor according to claim 1, further comprising: means.
入力された遠端信号を周波数領域に変換して、上記遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段と、
入力された近端入力信号を周波数領域に変換して、上記近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、
上記遠端信号の振幅スペクトルのスペクトル包絡を抽出する遠端信号スペクトル包絡抽出手段と、
上記近端入力信号の振幅スペクトルのスペクトル包絡を抽出する近端入力信号スペクトル包絡抽出手段と、
上記遠端信号の振幅スペクトルのスペクトル包絡から周波数ビン毎に周波数成分の有無を判定する周波数ビン成分有無判定手段と、
シングルトークと判定されたフレームで、上記周波数ビン成分有無判定手段の判定結果により周波数成分が有ると判断された周波数ビンのみ、エコーパス特性と1フレーム前のエコーパス特性とを用いて当該周波数ビンのエコーパス特性を更新する周波数ビンエコーパス特性更新手段と、
上記周波数ビンエコーパス特性更新手段により更新された周波数ビン毎のエコーパス特性と上記遠端信号の振幅スペクトルとに基づいて推定エコー信号を算出する推定エコー信号算出手段と、
上記推定エコー信号と上記近端入力信号の振幅スペクトルとでエコーサプレスゲインを計算し上記近端入力信号の振幅スペクトルから上記推定エコー信号を抑圧し近端出力信号として出力するエコー抑圧手段と
して機能させることを特徴とするエコー抑圧プログラム。 A computer mounted on an echo suppression device that suppresses an acoustic echo signal based on a far-end signal from a near-end input signal,
Far-end signal amplitude spectrum calculating means for converting the input far-end signal into the frequency domain and obtaining the amplitude spectrum of the far-end signal;
Near-end input signal amplitude spectrum calculating means for converting the input near-end input signal into the frequency domain and obtaining the amplitude spectrum of the near-end input signal;
A far-end signal spectrum envelope extracting means for extracting a spectrum envelope of the amplitude spectrum of the far-end signal;
A near-end input signal spectrum envelope extracting means for extracting a spectrum envelope of the amplitude spectrum of the near-end input signal;
Frequency bin component presence / absence determining means for determining the presence / absence of a frequency component for each frequency bin from the spectrum envelope of the amplitude spectrum of the far-end signal,
Only the frequency bin determined to have a frequency component based on the determination result of the frequency bin component presence / absence determination means in the frame determined to be single talk, using the echo path characteristic and the echo path characteristic of the previous frame, the echo path of the frequency bin. A frequency bin echo path characteristic updating means for updating the characteristic;
Estimated echo signal calculating means for calculating an estimated echo signal based on the echo path characteristics for each frequency bin updated by the frequency bin echo path characteristic updating means and the amplitude spectrum of the far-end signal;
Echo suppression means that calculates an echo suppression gain from the estimated echo signal and the amplitude spectrum of the near-end input signal, suppresses the estimated echo signal from the amplitude spectrum of the near-end input signal, and outputs it as a near-end output signal. An echo suppression program characterized by functioning.
遠端信号振幅スペクトル算出手段、近端入力信号振幅スペクトル算出手段、遠端信号振幅スペクトル包絡抽出手段、近端入力信号振幅スペクトル包絡抽出手段、周波数ビン成分有無判定手段、周波数ビンエコーパス特性更新手段、推定エコー信号算出手段、エコー抑圧手段を有し、
上記遠端信号振幅スペクトル算出手段は、入力された遠端信号を周波数領域に変換して、上記遠端信号の振幅スペクトルを求め、
上記近端入力信号振幅スペクトル算出手段は、入力された近端入力信号を周波数領域に変換して、上記近端入力信号の振幅スペクトルを求め、
上記遠端信号振幅スペクトル包絡抽出手段は、上記遠端信号の振幅スペクトルのスペクトル包絡を抽出し、
上記近端入力信号振幅スペクトル包絡抽出手段は、上記近端入力信号の振幅スペクトルのスペクトル包絡を抽出し、
上記周波数ビン成分有無判定手段は、上記遠端信号の振幅スペクトルのスペクトル包絡から周波数ビン毎に周波数成分の有無を判定し、
上記周波数ビンエコーパス特性更新手段は、シングルトークと判定されたフレームで、上記周波数ビン成分有無判定手段の判定結果により周波数成分が有ると判断された周波数ビンのみ、エコーパス特性と1フレーム前のエコーパス特性とを用いて当該周波数ビンのエコーパス特性を更新し、
上記推定エコー信号算出手段は、上記周波数ビンエコーパス特性更新手段により更新された周波数ビン毎のエコーパス特性と上記遠端信号の振幅スペクトルとに基づいて推定エコー信号を算出し、
上記エコー抑圧手段は、上記推定エコー信号と上記近端入力信号の振幅スペクトルとでエコーサプレスゲインを計算し上記近端入力信号の振幅スペクトルから上記推定エコー信号を抑圧し近端出力信号として出力する
ことを特徴とするエコー抑圧方法。 In an echo suppression method for suppressing an acoustic echo signal based on a far end output signal from a near end input signal,
Far-end signal amplitude spectrum calculating means, near-end input signal amplitude spectrum calculating means, far-end signal amplitude spectrum envelope extracting means, near-end input signal amplitude spectrum envelope extracting means, frequency bin component presence / absence determining means, frequency bin echo path characteristic updating means, estimation Having echo signal calculation means, echo suppression means,
The far-end signal amplitude spectrum calculating unit converts the far-end signal inputted to the frequency domain, determined Me amplitude spectrum of the far-end signal,
The near-end input signal amplitude spectrum calculation unit converts the near-end input signal inputted into the frequency domain, determined Me amplitude spectrum of the near-end input signal,
The far-end signal amplitude spectrum envelope extracting means issues extract the spectral envelope of the amplitude spectrum of the far-end signal,
The near-end input signal amplitude spectrum envelope extracting means issues extract the spectral envelope of the amplitude spectrum of the near-end input signal,
It said frequency bins component presence determination means, the presence or absence of frequency components to determine the constant for each frequency bin from the spectrum envelope of the amplitude spectrum of the far-end signal,
The frequency bin echo path characteristic updating means includes an echo path characteristic, an echo path characteristic one frame before, and only a frequency bin determined to have a frequency component based on a determination result of the frequency bin component presence / absence determination means in a frame determined to be single talk. further new and echo path characteristics of the frequency bins by using,
It said estimated echo signal calculating means issues calculate the estimated echo signal based on the amplitude spectrum of the echo path characteristics and the far-end signal for each frequency bin is updated by the frequency Bin'ekopasu characteristic updating means,
The echo suppression means calculates an echo suppression gain from the estimated echo signal and the amplitude spectrum of the near-end input signal, suppresses the estimated echo signal from the amplitude spectrum of the near-end input signal, and outputs it as a near-end output signal. An echo suppression method characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014072644A JP6314608B2 (en) | 2014-03-31 | 2014-03-31 | Echo suppression device, echo suppression program, and echo suppression method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014072644A JP6314608B2 (en) | 2014-03-31 | 2014-03-31 | Echo suppression device, echo suppression program, and echo suppression method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015195510A JP2015195510A (en) | 2015-11-05 |
JP6314608B2 true JP6314608B2 (en) | 2018-04-25 |
Family
ID=54434191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014072644A Active JP6314608B2 (en) | 2014-03-31 | 2014-03-31 | Echo suppression device, echo suppression program, and echo suppression method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6314608B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3724705B2 (en) * | 2000-08-15 | 2005-12-07 | 日本電信電話株式会社 | Echo suppression method / Echo suppression device |
EP1715669A1 (en) * | 2005-04-19 | 2006-10-25 | Ecole Polytechnique Federale De Lausanne (Epfl) | A method for removing echo in an audio signal |
JP4542538B2 (en) * | 2006-11-24 | 2010-09-15 | 日本電信電話株式会社 | Double talk state determination method, echo canceling apparatus using the method, program thereof, and recording medium thereof |
GB2456400B (en) * | 2008-01-21 | 2012-12-26 | Skype | Reducing echo in a signal to be transmitted in a communication system |
JP5087024B2 (en) * | 2009-02-10 | 2012-11-28 | 日本電信電話株式会社 | Echo canceling apparatus, method and program |
-
2014
- 2014-03-31 JP JP2014072644A patent/JP6314608B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015195510A (en) | 2015-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5036874B2 (en) | Echo canceller | |
KR101116013B1 (en) | Noise suppressing apparatus, noise suppressing method and mobile phone | |
JP6160403B2 (en) | Echo suppression device and echo suppression program | |
JP4377952B1 (en) | Adaptive filter and echo canceller having the same | |
KR20170142001A (en) | Electric device, acoustic echo cancelling method of thereof and non-transitory computer readable recording medium | |
US8396206B2 (en) | Multi-channel communication device and methods for reducing echoes by inserting a training sequence under a spectral mask | |
US20190349471A1 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
JP6295722B2 (en) | Echo suppression device, program and method | |
US8774260B2 (en) | Delay estimation | |
JP6314608B2 (en) | Echo suppression device, echo suppression program, and echo suppression method | |
US8213597B2 (en) | Audio communication device and methods for reducing echoes by inserting a training sequence under a spectral mask | |
KR20090122802A (en) | Method and apparatus for acoustic echo cancellation using spectral subtraction | |
JP6638248B2 (en) | Audio determination device, method and program, and audio signal processing device | |
JP6369192B2 (en) | Echo suppression device, echo suppression program, echo suppression method, and communication terminal | |
JP6369189B2 (en) | Echo suppression device, echo suppression program, echo suppression method, and communication terminal | |
JP6648436B2 (en) | Echo suppression device, echo suppression program, and echo suppression method | |
JP4903843B2 (en) | Adaptive filter and echo canceller having the same | |
JP4964267B2 (en) | Adaptive filter and echo canceller having the same | |
JP6432384B2 (en) | Echo suppression device, echo suppression program, and echo suppression method | |
JP6398470B2 (en) | Stereo echo suppression device, echo suppression device, stereo echo suppression method, and stereo echo suppression program | |
JP2013005106A (en) | In-house sound amplification system, in-house sound amplification method, and program therefor | |
JP2003264483A (en) | Device and method for suppressing echo, telephone set, and video telephone system | |
JPWO2013032001A1 (en) | Speech processing apparatus, control method thereof, and control program | |
JP6555057B2 (en) | Sound source separation echo suppression apparatus, sound source separation echo suppression program, and sound source separation echo suppression method | |
JP4903842B2 (en) | Adaptive filter and echo canceller having the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6314608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |