JP4476355B2 - Echo and noise cancellation - Google Patents

Echo and noise cancellation

Info

Publication number
JP4476355B2
JP4476355B2 JP2009509908A JP2009509908A JP4476355B2 JP 4476355 B2 JP4476355 B2 JP 4476355B2 JP 2009509908 A JP2009509908 A JP 2009509908A JP 2009509908 A JP2009509908 A JP 2009509908A JP 4476355 B2 JP4476355 B2 JP 4476355B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009509908A
Other languages
Japanese (ja)
Other versions
JP2009535996A (en )
Inventor
マオ シャドン
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Interconnection arrangements not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for suppressing echoes or otherwise conditioning for one or other direction of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for suppressing echoes or otherwise conditioning for one or other direction of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163Only one microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Description

[優先権の主張] [Priority claim]
本出願は、本出願と譲受人が共通であって本出願と同時に係属する特許文献1の恩恵を主張し、その開示内容全体をここに援用する。 This application claims the benefit of Patent Document 1 by the present applicant and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願は、本出願と譲受人が共通であって本出願と同時に係属する特許文献2の恩恵を主張し、その開示内容全体をここに援用する。 This application claims the benefit of Patent Document 2 by the present applicant and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献3の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 3 by the present applicant and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献4の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 4 that the present application and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献5の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 5 that the present application and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献6の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 6 by the applicant and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献7の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 7 in which the present application and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献8の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 8 this application and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献9の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 9 by the present applicant and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein. 本出願はまた、本出願と譲受人が共通であって本出願と同時に係属する特許文献10の恩恵を主張し、その開示内容全体をここに援用する。 This application also claims the benefit of Patent Document 10 that the present application and assignee are pending at the same time as the present application a common, entirely incorporated by reference disclosures herein.
米国特許出願 第11/381,728号,シャドン マオ, "ECHO AND NOISE CANCELATION", 2006年5月4日出願, (代理人整理番号SCEA05064US00) US patent application Ser. No. 11 / 381,728, Shadon Mao, "ECHO AND NOISE CANCELATION", filed on May 4, 2006, (Attorney Docket No. SCEA05064US00) 米国特許出願 第11/381,729号,シャドン マオ, "ULTRA SMALL MICROPHONE ARRAY", 2006年5月4日出願, (代理人整理番号SCEA05062US00) US patent application Ser. No. 11 / 381,729, Shadon Mao, "ULTRA SMALL MICROPHONE ARRAY", 5 May 4, 2006 application, (Attorney Docket No. SCEA05062US00) 米国特許出願 第11/381,725号,シャドン マオ, "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION", 2006年5月4日出願, (代理人整理番号SCEA05072US00), US patent application Ser. No. 11 / 381,725, Shadon Mao, "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION", filed on May 4, 2006, (Attorney Docket No. SCEA05072US00), 米国特許出願 第11/381,727号,シャドン マオ, "NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE", 2006年5月4日出願, (代理人整理番号SCEA05073US00) US patent application Ser. No. 11 / 381,727, Shadon Mao, "NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE", filed on May 4, 2006, (Attorney Docket No. SCEA05073US00) 米国特許出願 第11/381,724号,シャドン マオ, "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION", 2006年5月4日出願, (代理人整理番号SCEA05079US00) US patent application Ser. No. 11 / 381,724, Shadon Mao, "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION", filed on May 4, 2006, (Attorney Docket No. SCEA05079US00) 米国特許出願 第11/381,721号,シャドン マオ, "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", 2006年5月4日出願, (代理人整理番号SCEA04005 JUMBOUS) US patent application Ser. No. 11 / 381,721, Shadon Mao, "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", filed on May 4, 2006, (Attorney Docket No. SCEA04005 JUMBOUS) PCT出願 PCT/US06/17483号,シャドン マオ, "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", 2006年5月4日出願, (代理人整理番号SCEA04005 JUMBOPCT) PCT application PCT / US06 / 17483 issue, Shadon Mao, "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", filed on May 4, 2006, (Attorney Docket No. SCEA04005 JUMBOPCT) 米国特許出願 第11/418,988号,シャドン マオ, "METHODS AND APPARATUSES FOR ADJUSTING A LISTENING AREA FOR CAPTURING SOUNDS", 2006年5月4日出願, (代理人整理番号SCEA-00300) US patent application Ser. No. 11 / 418,988, Shadon Mao, "METHODS AND APPARATUSES FOR ADJUSTING A LISTENING AREA FOR CAPTURING SOUNDS", filed on May 4, 2006, (Attorney Docket No. SCEA-00300) 米国特許出願 第11/418,989号,シャドン マオ, "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE", 2006年5月4日出願, (代理人整理番号SCEA-00400) US patent application Ser. No. 11 / 418,989, Shadon Mao, "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE", filed on May 4, 2006, (Attorney Docket No. SCEA-00400) 米国特許出願 第11/429,047号,シャドン マオ, "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THE SIGNAL", 2006年5月4日出願, (代理人整理番号SCEA-00500) US patent application Ser. No. 11 / 429,047, Shadon Mao, "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THE SIGNAL", filed on May 4, 2006, (Attorney Docket No. SCEA-00500)

[本発明の技術分野] [Technical field of the present invention]
本発明は、音響信号処理に関し、とくに、音響信号処理におけるエコーおよびキャンセリングに関する。 The present invention relates to audio signal processing and, more particularly, to echo and canceling in the acoustic signal processing.

インタラクティブテレビゲームコントローラなどのような多くの携帯電子装置は、双方向音響信号を扱うことができる。 Many portable electronic devices, such as interactive video game controller can handle two-way audio signals. このような装置は、典型的にはその装置のユーザからのローカルスピーチ信号s(t)を受けるマイクロフォンと、ユーザが聞くことができるスピーカ信号x(t)を発信するスピーカとを備える。 Such devices typically comprise a speaker for transmitting a microphone for receiving a local speech signal s (t) from the user of the device, loudspeaker signal x which a user can listen to (t). テレビゲームコントローラをより小型化するために、マイクロフォンとスピーカは、比較的近く(例えば20cm以内など)に設置することが望ましい。 To further miniaturize the video game controller, microphone and speaker, it is desirable to place relatively close (e.g. 20cm within etc.). これに対してユーザは、マイクロフォンからより離れたところ(例えば3メートルから5メートルなど)に位置するかもしれない。 User contrast, may be located at the further from the microphone (for example, 5 m to 3 meters). マイクロフォンはローカルスピーチ信号s(t)とスピーカエコー信号x (t)との両方を含む信号d(t)を生成する。 The microphone generates a signal d (t) including both local speech signal s (t) and a speaker echo signal x 1 (t). これに加えて、マイクロフォンはバックグランドノイズn(t)を受けるかもしれない。 In addition, the microphone may receive the background noise n (t). そのため、全体のマイクロフォン信号は、d(t)=s(t)+x (t)+n(t)となる。 Therefore, the whole of the microphone signal, the d (t) = s (t ) + x 1 (t) + n (t). 比較的スピーカの近傍にあるため、マイクロフォン信号d(t)は、スピーカエコー信号x (t)によって、占められるかもしれない。 Because of the proximity of the relatively speaker, microphone signal d (t) by the speaker echo signal x 1 (t), may be occupied.

電気通信の応用例において、スピーカエコーは広くみられる現象であり、エコーサプレッションとエコーキャンセレーションは比較的成熟した手法である。 In applications of telecommunications, speaker echo is a phenomenon prevalent, echo suppression and echo cancellation are relatively mature technique. エコーサプレッサは、回線において1方向に向かう音声信号の存在を検出した場合に作動し、他の方向に大きな損失を挿入する。 Echo suppressors operate when it detects the presence of speech signals directed in one direction in line, inserting a large loss in the other direction. 通常、回線の遠端にあるエコーサプレッサが回線の近端からの音声を検出した場合に、そのエコーサプレッサがこの損失を加える。 Usually, when the echo suppressor at the far end of the line detects a sound from the near end of the line, the echo suppressor is added to this loss. この加えられた損失により、スピーカ信号x(t)が、ローカルスピーチ信号d(t)へと再送出されることを阻止することができる。 This added loss, loudspeaker signal x (t) is, it can be prevented from being re-transmitted to the local speech signal d (t).

エコーサプレッションは効果的ではあるが、多くの場合、いくつかの問題につながる。 Although echo suppression is effective, leading to many cases, several problems. 例えば、ローカルスピーチ信号s(t)とリモートスピーカ信号x(t)は、少なくとも短時間に限れば、同時に生ずることがよくある。 For example, a local speech signal s (t) and remote speaker signal x (t) As far at least a short time, there often occur simultaneously. この状況はダブルトークとも呼ばれる。 This situation is also referred to as double-talk. リモートスピーカ信号のみが存在するような状況は、リモートシングルトークとも呼ばれる。 Situations where only remote loudspeaker signal is present, is also referred to as remote single talk. 各エコーサプレッサが回路の遠端(far-end)からの音声エネルギを検出するため、その結果、通常、同時に双方向に損失が挿入されることとなり、両側の通話がブロックされる。 Since each echo suppressor has detected speech energy from the far end of the circuit (far-end), as a result, usually, will be inserted in both directions loss simultaneously, both sides of the call is blocked. これを防止するため、エコーサプレッサを、近端のスピーカからの音声アクティビティのみを検出するように設定することができる。 To prevent this, the echo suppressor may be set to detect only voice activity from the near end speaker. これにより、近端話者と遠端話者が同時に話しているときには、損失が挿入されなくなる(または、より小さい損失のみ挿入される)。 Thus, when the near end speaker and far talker is speaking at the same time, the loss is not inserted (or is inserted only smaller losses). 残念ながら、これは、当初のエコーサプレッサの効果まで、一時的にうち消してしまう。 Unfortunately, this is, until the effect of the original echo suppressor, would temporarily hidden out.

さらに、エコーサプレッサは、交互に、損失を挿入し、除去するため、新たな話者が話し始めたときにしばしば小さな遅延が生じ、その話者のスピーチの初めの方の音がクリッピングされてしまう。 In addition, the echo suppressor, alternately, to insert a loss, in order to remove, would be often small delay occurs, clipping the sound towards the beginning of the speech of the speaker when a new speaker began to talk . さらに、遠端の相手方の周囲がうるさいときには、遠端話者が話しているときには、近端話者にそのバックグラウンド音が聞こえるが、近端話者が話し始めるとエコーサプレッサがそのバックグラウンド音を抑制する。 In addition, when the ambient of the far end of the other party is noisy, when the far-end speaker is talking, the near-but-end talker in the background sound can be heard, the echo suppressor and start talking about the near-end speaker is the background sound to suppress. これにより、バックグラウンド音が突然無くなるため、近端のユーザは回線が切れたかのような印象を受けることになる。 As a result, because the background sound is suddenly lost, the user of the near-end will be the impression as if it were cut line.

上述の問題に対処するため、エコーキャンセレーション手法が開発された。 To address the above problems, echo cancellation techniques have been developed. エコーキャンセレーションは、アナログまたはデジタルフィルタを用いて、望ましくないノイズやエコーを入力信号から取り除き、フィルタリング処理された信号e(t)を生成する。 Echo cancellation, using an analog or digital filter to remove unwanted noise and echo from the input signal, and generates a filtering signal e (t). エコーキャンセレーションにおいては、スピーチモデルを計算するために複雑なアルゴリズム手順が用いられる。 In echo cancellation, complex algorithm procedures are used to compute the speech model. この手順は、マイクロフォン信号d(t)と、リモート信号x(t)の一部を、エコーキャンセレーションプロセッサに入力するステップと、スピーカエコー信号x (t)を予測するステップと、そしてこれをマイクロフォン信号d(t)から差し引ステップとを含む。 This procedure includes a microphone signal d (t), a part of the remote signal x (t), inputting the echo cancellation processor, comprising: predicting a loudspeaker echo signal x 1 (t), and this and a pull step pointing from the microphone signal d (t). エコー予測方式は、適用(adaptation)として知られるプロセスにおいて、エコーキャンセレーションプロセッサにより学習されなければならない。 Echo prediction method, in a process known as an application (adaptation), must be learned by the echo cancellation processor.

このような手法の効果は、エコー抑制比(ESR:echo supression ratio)によって測定される。 The effect of such an approach, the echo suppression ratio: measured by (ESR echo supression ratio). これは単に、マイクロフォンが受ける真のエコーエネルギと、フィルタリング処理された信号x (t)に残る残余エコーエネルギとの比である(典型的にはデシベルで表される)。 It simply the true echo energy the microphone is subjected, the ratio of the residual echo energy remaining in the signal x 1 that is filtering (t) (typically expressed in decibels). 国際電気通信ユニオン(ITC)が定めた基準によると、リモートシングルトークの場合、エコーレベルについて、少なくとも45デシベルの減衰が必要である。 According to the standards International Telecommunication Union (ITC) is defined, for remote single talk, the echo level is required attenuation of at least 45 decibels. ダブルトークの最中(または強いバックグラウンドノイズの最中)には、この減衰レベルは30デシベルまで低くなってもよい。 In the midst of the double-talk (or during strong background noise), this attenuation level may be lowered up to 30 decibels. しかしながら、これらの推奨基準は、ローカルスピーチ信号を発生するユーザが、マイクロフォンに、より近いようなシステムにおいて開発されたものである。 However, these recommendations criteria, the user generates a local speech signal, the microphone, which were developed in the closer such systems. したがって録音されたSN比(ターゲット音声エネルギのエコーノイズエネルギに対する比)は、大抵、5デシベルよりも良い。 Accordingly recorded SN ratio (ratio of echo noise energy of the target sound energy) is usually be more than 5 decibels. 例えばテレビゲームコントローラのような、ユーザが3メートルから5メートルも離れており、オープンマイクロフォンから0.5メートルよりも近傍にあるラウドスピーカが大きなエコーを発生するようなアプリケーションにおいては、これらの推奨基準はあてはまらない。 Such as a video game controller, the user has for five meters away from the three meters in applications such as a loudspeaker to generate a large echoes from the open microphone near than 0.5 meters these recommendations criteria not the case. このようなアプリケーションにおいては、SN比は−15デシベルから−30デシベル未満であろう。 In such an application, SN ratio will be less than -30 dB -15 dB. リモートシングルトークにおいては60デシベル以上のESR、ダブルトークについては35デシベル以上ESRが要求されるかもしれない。 60 db or more ESR in remote single talk may ESR than 35 dB for double talk is required. 現存のエコーキャンセレーション手法ではこのような高いESRレベルを達成することができない。 It is impossible to achieve such a high ESR levels in existing echo cancellation technique.

したがって、当該技術分野においては前述の不利な点を克服するエコーキャンセレーションシステムおよび方法が必要とされている。 Therefore, echo cancellation system and method that overcomes the disadvantages of the above there is a need in the art.

[発明の概要] [Summary of the Invention]
前述の不利な点を克服するため、本発明の実施形態は、スピーカとマイクロフォンを有するシステムにおけるエコーキャンセレーション方法および装置に照準を合わせる。 To overcome the disadvantages mentioned above, embodiments of the present invention, aiming to echo cancellation method and apparatus in a system having a speaker and microphone. スピーカはスピーカ信号x(t)を受信する。 Speaker receives a loudspeaker signal x (t). マイクロフォンは、ローカル信号s(t)とエコー信号x (t)を含むマイクロフォン信号d(t)を受け取る。 The microphone receives the microphone signal d (t) which includes a local signal s (t) and the echo signal x 1 (t). エコー信号x (t)は、スピーカ信号x(t)に依存する。 Echo signal x 1 (t) is dependent on the loudspeaker signal x (t). マイクロフォン信号d(t)は、互いに相補的なエコーキャンセレーション特性を有する第1適応フィルタ、および第2適応フィルタによって、パラレルにフィルタリング処理される。 Microphone signal d (t) by the first adaptive filter, and a second adaptive filter having complementary echo cancellation characteristics with each other, is a filtering process in parallel. 最小エコー出力e (t)は、第1適応フィルタからの出力e (t)と、第2適応フィルタからの出力e (t)か決定される。 Minimum echo output e 3 (t) is the output e 1 from the first adaptive filter (t), it is determined whether the output e 2 (t) from the second adaptive filter. 最小エコー出力のエネルギはより小さく、最小エコー出力とスピーカ信号x(t)との間の相関はより小さい。 The correlation between the minimum energy of the echo power is smaller, the minimum echo output and the loudspeaker signal x (t) is smaller. そして、マイクロフォン出力が、最小エコー出力e (t)を用いて生成される。 The microphone output is generated using the minimum echo output e 3 (t). オプションとして、残差エコーキャンセレーション、かつ/または、ノイズキャンセレーションが、最小エコー出力に適用されてもよい。 Optionally, residual echo cancellation, and / or noise cancellation may be applied to the minimum echo output.

本発明の実施形態にかかるエコーキャンセレーション装置の概略図である。 It is a schematic diagram of an echo cancellation apparatus according to an embodiment of the present invention. 図1Aのエコーキャンセレーション装置において用いられうる音声アクティビティ検出適応フィルタの概略図である。 Is a schematic diagram of a voice activity detection adaptive filter may be used in the echo cancellation apparatus of FIG. 1A. 図1Aのエコーキャンセレーション装置において用いられうる相互相関解析を伴う適応フィルタの概要図である。 It is a schematic diagram of an adaptive filter with a cross-correlation analysis may be used in the echo cancellation apparatus of FIG. 1A. 本発明の実施形態にかかるエコーキャンセレーション方法を説明するフローチャートである。 Is a flowchart illustrating an echo cancellation method according to an embodiment of the present invention. 本発明の実施形態にかかるエコーキャンセレーションのための別の方法を説明するフローチャートである。 It is a flowchart illustrating another method for echo cancellation according to an embodiment of the present invention. 本発明の別の実施形態にかかるエコーキャンセレーション装置の概略図である。 It is a schematic diagram of an echo cancellation apparatus according to another embodiment of the present invention.

[具体的な実施形態の説明] Description of Specific Embodiments
以下の詳細な説明は、説明の目的のため、具体的な細部を含むが、本発明の範囲内において、後述の細部について多くの変形や変更が可能であることは、当該技術分野において通常の知識を有する者に理解されるところである。 The following detailed description, for purposes of explanation, but includes specific details, within the scope of the present invention, it is capable of many modifications and variations the details will be described later, the usual in the art illustrative only and it will be obvious to a person having knowledge. したがって、以下に記述される本発明の実施例の説明により、特許請求の範囲に記載されている発明が一般性を失うことなく、また、以下の説明は、特許請求の範囲に記載されている発明について制限を課すものではない。 Therefore, the description of the embodiments of the present invention described below, the invention described in the appended claims without loss of generality, also, the following description, are set forth in the appended claims It does not pose a limitation on the invention.

本発明の実施形態によると、機能的に同一である二つのフィルタを有する一体型のエコーおよびノイズキャンセラの新しい構成が提案される。 According to an embodiment of the present invention, a new configuration of the echo and noise canceller integrated with two filter functionally identical is proposed. これらのフィルタは、直交制御と表現(orthogonal controls and representations)を伴う。 These filters involves orthogonal control and expression (orthogonal controls and representations). このような構成においては、雑音のあるハンドフリー音声通信において、システム全体のロバスト性(robustness)を引き上げるように、二つの直交フィルタは互いに補完し合う。 In such a configuration, in the hands-free voice communication with noise, to pull the entire system robustness to (robustness), two orthogonal filter complement each other.

特に、一体型のエコーノイズキャンセラは、別個に制御される二つのサブシステムを並行に用いる。 In particular, the echo noise canceller integrated is used in parallel two subsystems separately controlled. これらのサブシステムはそれぞれ、直行制御メカニズムを伴う。 Each of these subsystems, involves direct control mechanisms. エコーノイズキャンセラは、フロント・エコーキャンセラと、バックアップ・エコーキャンセラとを含む。 Echo noise canceller comprises a front echo canceller, and a backup echo canceller. フロント・エコーキャンセラは、ダブルトーク検出を用いる。 Front echo canceller, using the double-talk detection. ローカル音声に対して確実にロバストであるようにするために、フロント・エコーキャンセラは、保守的な適応アプローチをとりながらも、提供するエコーサプレッションはより小さく、スピーチ、エコーの変化への適応は遅い。 To be a reliable robust to local voice, front echo canceller, while taking a conservative adaptation approach, the echo suppression to provide smaller and speech, slow adaptation to changes in the echo . バックアップ・エコーキャンセラは、相互相関を用いて、エラー信号とエコー信号との間の類似性を測定する。 Backup echo canceller, using the cross-correlation to measure the similarity between the error signal and the echo signal. バックアップ・エコーキャンセラは、フィルタが迅速に更新されるように、積極的な戦略をとる。 Backup echo canceller, so that the filter is rapidly updated, taking proactive strategy. バックアップ・エコーキャンセラは、大きなエコーサプレッションを提供しながらも、過剰に適応してしまう可能性があるため、ローカル音声/ノイズに対して不安定である。 Backup echo canceller because a large echo while providing suppression, there is excessively possibly be adapted, is unstable with respect to the local audio / noise. これらの二つのエコーキャンセラの出力の統合は、どちらのエコーキャンセラとエコー信号との差が大きいかを測定する相互相関解析に基づいて実行される。 Integration of the output of these two echo canceller is performed based on either of the cross-correlation analysis to measure whether a large difference between the echo canceller and the echo signal. この統合においてはまた、両方のエコーキャンセラのフィルタ安定性がチェックされる。 In this integration also filter stability of both the echo canceller is checked. 一のフィルタが過大予測または過小予測されている場合、そのフィルタは他方のフィルタによって補完される。 If one filter is overestimated or underestimated, the filter is complemented by the other filter. このようなシステムは、いかなるときでも確実に一のフィルタが正しく動作するように設計される。 Such a system ensures that one filter at any time is designed to operate correctly.

本システムはオプションで、同様のアプローチをとるエコー残差ノイズ予測部を含んでもよい。 The system may optionally include an echo residual noise prediction section that takes a similar approach. エコー残差ノイズ予測部は、直行制御を伴う二つの独立なサブ予測部を並行に用いる。 Echo residual noise prediction unit uses the parallel two independent sub-prediction unit with direct control. 第1予測部は、ロバストなダブルトーク検出部に依存するエコー距離ミスマッチ(echo−distance−mismatch)に基づく。 The first prediction unit, based on the echo distance mismatch depends on the robust double talk detector (echo-distance-mismatch). 第1予測部は、比較的正確でありながら、ダブルトーク検出エラーのために不安定である。 The first prediction unit, yet relatively accurate, is unstable due to the double-talk detection errors. 第2予測部は相互スペクトル解析(cross−spectrum−analysis)に基づく。 Second prediction unit based on a cross-spectral analysis (cross-spectrum-analysis). 第2予測部の予測にはバイアスがかかっているが安定であり、ローカル音声検出に依存せず、一貫性がある。 Although the prediction of the second prediction unit is under bias is stable, without depending on local voice detection, it is consistent. これらの二つの残差エコーの予測の統合においては、遠端通話のみの場合、またはダブルトークの場合にそれぞれ、最小/最大アプローチがとられる。 In integrating the prediction of these two residual echo, when only far-end speech, or respectively in the case of double-talk, minimum / maximum approach is taken.

図1Aは、本発明の一実施形態にかかるエコーキャンセレーション装置100を用いたオーディオシステム99を示す図である。 Figure 1A is a diagram showing an audio system 99 using an echo cancellation apparatus 100 according to an embodiment of the present invention. 装置100の動作は、図2Aに示される方法200のフローチャート、および図2Bに示される方法220を参照することによって理解されるであろう。 Operation of the apparatus 100 may be understood by reference to the method 220 shown flow chart of a method 200 shown in Figure 2A, and Figure 2B. オーディオシステム99は一般的に、リモート信号x(t)を受け取るスピーカ102とマイクロフォン104とを含む。 Audio system 99 generally includes a speaker 102 and a microphone 104 for receiving a remote signal x (t). ローカル音源101は、ローカルスピーチ信号s(t)を発する。 Local sound source 101, emits a local speech signal s (t). マイクロフォン104は、ローカルスピーチ信号s(t)と、スピーカ信号x(t)に関連するエコー信号x (t)の両方を受け取る。 The microphone 104 receives a local speech signal s (t), both the echo signals x 1 associated with the loudspeaker signal x (t) (t). マイクロフォン104はまた、マイクロフォン104が位置する環境から発生するノイズn(t)をも受け取る。 The microphone 104 also receives noise n (t) generated from the environment in which the microphone 104 is located. そして、マイクロフォン104は、マイクロフォン信号d(t)を生成する。 The microphone 104 generates a microphone signal d (t). マイクロフォン信号d(t)は、d(t)=s(t)+x (t)+n(t)によって与えられるだろう。 Microphone signal d (t) will be given by d (t) = s (t ) + x 1 (t) + n (t).

エコーキャンセレーション装置100は、一般的に、第1適応エコーキャンセレーションフィルタEC(1)と第2適応エコーキャンセレーションフィルタEC(2)とを含む。 Echo cancellation apparatus 100 generally includes a first adaptive echo cancellation filter EC (1) and a second adaptive echo cancellation filter EC (2). それぞれの適応フィルタは、マイクロフォン信号d(t)とスピーカ信号x(t)とを受け取る。 Each adaptive filter receives a microphone signal d (t) and the loudspeaker signal x (t). 図2A−2Bに示されるように、フィルタEC(1)はステップ202に示されるようにマイクロフォン信号d(t)を適応フィルタリング処理し、フィルタEC(2)は、ステップ204に示されるように、第1フィルタEC(1)と並行してマイクロフォン信号d(t)を適応フィルタリング処理する。 As shown in Figure 2A-2B, the filter EC (1) is adapted filtering the microphone signal d (t) as shown in step 202, the filter EC (2), as shown in step 204, first in parallel with the filter EC (1) adapting filtering the microphone signal d (t). ここで用いられているように、フィルタが「並行にオペレーションする」とは、実質的に同じ入力d(t)を受け取ることをいう。 As used herein, the filter is a "to operations in parallel" refers to receive substantially the same input d (t). 並行オペレーションは、一のフィルタの出力が、他方のフィルタの入力となるシリアルオペレーションとは、区別される。 Parallel operation, the output of one filter is a serial operation the input of the other filter are distinguished. 二つのフィルタEC(1)、EC(2)の状態によって、一のフィルタが、主要な「フロント」フィルタの役目を果たし、他方のフィルタが「バックアップ」フィルタの役目を果たす。 Two filters EC (1), the state of the EC (2), one filter, serves as a major "front" filter, the other filter serves as a "backup" filter. 一のフィルタは、エコーキャンセレーションに対して慎重なアプローチをとる一方、他方のフィルタはより積極的なアプローチをとる。 One filter, while taking a cautious approach to echo cancellation, other filter takes a more aggressive approach.

フィルタEC(1)、EC(2)の状態は、以下の信号モデルに関連して理解されるであろう。 Condition of the filter EC (1), EC (2) may be understood in connection with the following signal model.
y(t)=x(t) h(n) y (t) = x (t ) * h (n)
d(t)=y (t)+s(t) d (t) = y 0 ( t) + s (t)
e(t)=d(t)−y(t) e (t) = d (t) -y (t)
ここで、y(t)は、エコーキャンセラフィルタによって合成されたエコーである。 Here, y (t) is the echo synthesized by the echo canceller filter.
x(t)は、ラウドスピーカにおいてプレイするエコーである。 x (t) is the echo to play in loud speaker.
h(n)は、エコーキャンセラフィルタの適応フィルタ関数である。 h (n) is an adaptive filter function of the echo canceller filter.
d(t)は、マイクロフォンが受けた雑音の多い信号である。 d (t) is the noisy signal that the microphone is received.
(t)は、マイクロフォンにおいて現れる、真のエコーである。 y 0 (t) appears at the microphone, is a true echo.
s(t)は、ローカル音声である。 s (t) is a local voice.
そして、e(t)は、エコーキャンセラフィルタによって生成されたエコーキャンセル済み残差信号である。 Then, e (t) is the echo canceled residual signal generated by the echo canceller filter.

二つのフィルタEC(1)、EC(2)は、相補的なエコーキャンセレーション特質を有する。 Two filters EC (1), EC (2) have complementary echo cancellation characteristics. ここで用いられるように、「相補的エコーキャンセレーションを有する」とは、同じ入力を受け取る二つの適応フィルタにおいて、一のフィルタが入力にうまく適応していないときに、他方のフィルタが入力にうまく適応しているような場合をいう。 As used herein, "having complementary echo cancellation," in two adaptive filter receive the same input, when not adapted well to one of the filter input, it is well on the input other filter It refers to the case, such as those adapted. 本アプリケーションの文脈において、フィルタ関数h(n)が、「うまく適応している」とは、そのフィルタ関数h(n)が安定であり、真のエコーパスフィルタ(echo−path−filter)に収束しており、過大予測でもなく過小予測でもないときをいう。 In the context of the present application, the filter function h (n) is, the "are well adapted", the filter function h (n) is stable, the convergence to the true echo path filter (echo-path-filter) and have, say when neither underestimated nor overestimated.

h(n)が真のエコーパスフィルタに収束している(y(t)〜=y (t))場合、すなわち、予測されたエコーが真のエコーと近似的に等しい場合、コヒーレンス関数αを用いて、エコーキャンセラフィルタEC(1)、EC(2)の状態が定量化されるだろう。 If h (n) is converged to the true echo path filter (y (t) ~ = y 0 (t)), i.e., if the predicted echo is equal to approximately the true echo, coherence function α using, echo canceler filter EC (1), will the state of EC (2) is quantified. αは、y(t)とe(t)の間の相互相関に関連し、式1が成り立つ。 α is related to the cross-correlation between y (t) and e (t), Equation 1 is satisfied.
(式1) (Equation 1)
ここで”E”は、統計的期待値である。 Here in the "E" is a statistical expectation.
式2に示す演算子は、相互相関演算を表す。 Operator in Equation 2 represents a cross-correlation operation.
(式2) (Equation 2)
離散的な関数f とg について、相互相関は式3で定義される。 For discrete functions f i and g i, the cross-correlation is defined by Equation 3.
(式3) (Equation 3)
ここで、和は適切な値の整数jについてとられており、アスタリスクは、複数共役を表す。 Here, the sum is taken of integer j of a suitable value, the asterisk denotes the complex conjugate. 連続関数f(x)とg(x)について、相互相関は式4で定義される。 For a continuous function f (x) and g (x), the cross-correlation is defined by Equation 4.
(式4) (Equation 4)
ここで積分は適切なtの値についてとられる。 Here the integral is taken for values ​​of appropriate t.

コヒーレンス関数αにおいて、分子は、e(t)とy(t)の相互相関を表す。 In coherence function alpha, molecule, represents a cross-correlation of e (t) and y (t). 分母は、y(t)の自己相関を表し、正規化項の役目を果たす。 The denominator represents the autocorrelation of y (t), serves as a normalization term.

理想的には、h(n)が収束するならば、αは「0」に近いはずである(残差信号e(t)はy(t)を含まないからである)。 Ideally, if h (n) converges, alpha should close to "0" (the residual signal e (t) is because not including y (t)). h(n)が収束しないならば、αは「1」に近いはずである(e(t)はy(t)の強いエコーを含むからである)。 h if (n) does not converge, α is should be close to "1" (e (t) is because including the strong echo of y (t)). h(n)がおかしな挙動をし、または発散するならば、αは負であるはずである(フィルタの発散のため、e(t)は、位相が180度シフトした強いエコーを含むからである)。 If h (n) is a broken behavior, or diverging, alpha should be negative (for divergence of the filter, e (t) is because including a strong echo phase shifted 180 degrees ).

したがって、例えば、コヒーレンス関数αの値は、フィルタEC(1)、EC(2)の状態について、四つの可能な状態を定義するために用いられてもよい。 Thus, for example, the value of the coherence function α is the filter EC (1), the state of the EC (2), may be used to define the four possible states. ただしこれに制限されるものではない。 However, the invention is not limited thereto.
(1)フィルタh(n)が安定であり、収束し、過大予測でも過小予測でもない場合には、0<=α<=0.1 (1) filter h (n) is stable and converges, when neither be underestimated with excessive prediction, 0 <= α <= 0.1
(2)フィルタh(n)が安定ではあるが、過小予測されているときには(まだ収束していない)α>0.2 (2) filter h (n) is albeit stable, when being underestimated (not yet converged) alpha> 0.2
(3)フィルタh(n)が過大予測されているときは、α<−0.1 (3) when the filter h (n) is overestimated is, alpha <-0.1
(4)フィルタh(n)が発散するときには、α<−0.25 (4) when the filter h of (n) diverges, alpha <-0.25
これらの異なる状態について、異なるαの値の範囲が決定されうることは当業者には理解されるであろう。 These different states, that the scope of the different values ​​of α may be determined will be understood by those skilled in the art.

フィルタの状態がよいならば(例えば状態(1))、その後に発散したときのリカバリのために、その設定が保存されてもよい。 If the filter is in good (e.g. state (1)), for recovery when the subsequent divergence, the setting may be saved. フィルタが発散し、または過小予測され、または過大予測されている場合には、フロントおよびバックアップ・エコーキャンセラはその役割を交換する。 Filter diverges or is underestimated, or if it is overestimated, the front and backup echo canceller will exchange their roles. フロントフィルタがバックアップとなる一方、バックアップフィルタがフロントフィルタの役割を担う。 While the front filter becomes the backup, backup filter plays the role of the front filter. 一のフィルタが慎重な適応アプローチをとり、他方が積極的な適応アプローチをとるため、この交換により、最終的には、両方のフィルタがより早く収束し、よりダイナミックに安定する。 One filter takes a careful adaptation approach, because the other is taking proactive adaptation approach, this exchange, and ultimately, both filters converge faster, stabilizes more dynamic.

さらにフィルタが過小予測または過大予測されている場合、より早い収束、またはトラッキングのよりよい安定のために、適応スピードを加速させ、または減速させるように、適応ステップサイズが小さなデルタ値で増加または減少されてもよい。 Furthermore when the filter is underestimated or overestimated, faster convergence, or for better stability of tracking, to accelerate the adaptation speed or to decelerate, increase or decrease adaptation step size is small delta value it may be. 通常、収束を速くするためにはより大きなステップサイズが必要である。 Usually, in order to increase the convergence it is required a larger step size. これにより、細部に関するよいトラッキングは犠牲となり、エコーサプレッション比ESRは、低くなる。 Thus, good of detail tracking sacrificed, the echo suppression ratio ESR is lower. 小さなステップサイズを用いてよりゆっくりと収束させる場合は、より安定的であり、わずかな変化もトラックする機能を有するが、エコーディスロケーションを速くトラッキングするには適さない。 Case of slower convergence with a smaller step size is more stable, has a slight change track function, not suitable for fast tracking echo dislocation is.

動的なステップサイズと、フロント/バックアップでのフィルタ交換を組み合わせることにより、速いトラッキング対詳細なトラッキング、安定性対収束の観点において、システム全体のバランスが良くなる。 Dynamic and step size by combining the filter replacement on the front / back up, fast tracking vs. detailed tracking, in terms of stability versus convergence, balance of the entire system is improved. この二つが、適応システム設計において本当に重要な双子の課題である。 These two are the subject of really important twin in the adaptive system design.

フィルタの一が発散した場合において、他方のフィルタがよい状態にあるならば、発散したフィルタを再初期化するために、その他方のフィルタの設定が複製されてもよい。 Where any filter diverges, if the other filter is in good condition, in order to re-initialize the diverging filter, and the other configuration of the filter may be replicated. 別の方法では、発散したフィルタは、以前に保存された、よい状態のフィルタ設定を用いて復旧されて(recovered)もよい。 Alternatively, divergent filter is in (Recovered) may be restored by using a previously saved in good condition the filter settings.

例えば、エコーキャンセリング適応フィルタEC(1)とEC(2)は、周波数領域正規化最小二乗適応フィルタに基づいてもよい。 For example, echo canceling adaptive filter EC (1) and EC (2) may be based on the frequency-domain normalized least-squares adaptive filter. ただし、これに制限されるものではない。 However, the invention is not limited thereto. 各フィルタは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせとして実装されうる。 Each filter, hardware, software may be implemented as, or a combination of hardware and software.

図1Bと図1Cは、適切な相補適応フィルタの例を示す。 Figure 1B and Figure 1C shows an example of a suitable complementary adaptive filter. 具体的には、図1Bは、音声アクティビティ検出を伴う適応エコーキャンセレーションフィルタ120を示す。 Specifically, FIG. 1B shows the adaptive echo cancellation filter 120 with a voice activity detection. フィルタ120は、第1適応フィルタEC(1)として用いることができる。 Filter 120 may be used as the first adaptive filter EC (1). フィルタ120は、フィルタ係数w によって特徴付けられる有限インパルス応答(FIR)フィルタを有する可変フィルタ122を含む。 Filter 120 includes a variable filter 122 having a finite impulse response (FIR) filter characterized by the filter coefficients w t. 可変フィルタ122は、マイクロフォン信号d(t)を受け取り、フィルタ係数w の値に従ってフィルタリング処理し、フィルタリング処理された信号d'(t)を生成する。 Variable filter 122 receives a microphone signal d (t), and the filtering process according to the values of the filter coefficients w t, filtered signal d 'to produce a (t). 可変フィルタ124は、入力信号を、係数w t1によって決定されるインパルス応答で畳み込むことにより、望ましい信号を予測する。 Variable filter 124, the input signal, by convoluting impulse responses determined by the coefficients w t1, predicts the desired signal. 各フィルタ係数w t1は、更新アルゴリズム124にしたがって、量Δw の規則的な間隔で更新される。 Each filter coefficients w t1, in accordance with update algorithm 124, is updated at regular intervals of the amount [Delta] w t. 一例として、フィルタ信号d'(t)が、望ましい信号としてスピーカエコー信号x (t)を予測しようと試みるように、フィルタ係数w が選択されてもよい。 As an example, the filter signal d '(t) is, as attempts to predict the loudspeaker echo signal x 1 (t) as a desired signal, the filter coefficients w t may be selected. 差分ユニット126は、マイクロフォン信号d(t)からフィルタリング処理された信号d'(t)を差し引いて、予測信号e (t)を供給する。 Difference unit 126 subtracts the signal d which is filtering the microphone signal d (t) '(t) , and supplies a prediction signal e 1 (t). 予測信号e (t)は、ローカルスピーチ信号s(t)を予測する。 Prediction signal e 1 (t) predicts a local speech signal s (t). フィルタリング処理された信号d'(t)をリモート信号x(t)から差し引いて、誤差信号e(t)を生成してもよい。 By subtracting filtered signal d '(t) of the remote signal x (t), it may generate an error signal e (t). 誤差信号e(t)は、更新アルゴリズム124によってフィルタ係数w を調整するために用いられる。 Error signal e (t) is used to adjust the filter coefficients w t by the update algorithm 124. 適応アルゴリズム124は、リモート信号x(t)と誤差信号に基づいて、補正因子(correction factor)を生成する。 Adaptive algorithm 124 is based on remote signals x (t) and the error signal, and generates a correction factor (correction factor). 係数更新アルゴリズムの例には、最小2乗法(LMS)と再帰最小2乗法(RLS: recursive least squares)が含まれる。 Examples of the coefficient update algorithm, least square (LMS) and recursive least squares (RLS: recursive least squares) is included. LMS更新アルゴリズムにおいては、例えば、フィルタ係数は、式w t1+1 =w t1 +μe(t)x(t)に基づいて更新される。 In LMS update algorithm, e.g., the filter coefficients are updated based on the equation w t1 + 1 = w t1 + μe (t) x (t). ここで、μはステップサイズである。 Here, μ is the step size. 初めは、すべてのw t1について、w t1 =0である。 Initially, for all w t1, a w t1 = 0. この例において、量μe(t)x(t)は、量Δw であることに注意されたい。 In this example, the amount μe (t) x (t) It is noted that an amount [Delta] w t. 上述のように、ステップサイズμは、適応フィルタの状態によって、動的に調整されてもよい。 As described above, the step size mu, the state of the adaptive filter may be dynamically adjusted. 具体的には、フィルタが過小予測されている場合には、早く収束するように適応スピードを加速するために、ステップサイズμを、小さなデルタ量増加させてもよい。 Specifically, when the filter is underestimated, in order to accelerate the adaptation speed to converge quickly, the step size mu, may be increased small delta amount. フィルタが過大予測されている場合には、この代わりに、トラッキングがよりよく安定するように適応スピードを減速させるために、適応ステップサイズμが、小さなデルタ量でそれぞれ引き下げられてもよい。 If the filter is too large prediction Alternatively, in order to decelerate the adaptive speed so tracking is better stabilized, adaptation step size μ is a small delta amount may be lowered respectively.

時間領域表現e(t)x(t)は、乗算である。 Time domain representation e (t) x (t) is a multiplication. この計算は、以下のように周波数領域において実装されてもよい。 This calculation may be implemented in the frequency domain as follows. 初めに、e(t)、x(t)、およびh(n)は、時間領域から周波数領域に、例えば高速フーリエ変換(FFT)によって変換されてもよい。 Initially, e (t), x (t), and h (n) from the time domain to the frequency domain, it may be converted for example by a Fast Fourier Transform (FFT).
E(k)=fft(e(t)) E (k) = fft (e (t))
X(k)=fft(x(t)) X (k) = fft (x (t))
H(k)=fft(h(n)) H (k) = fft (h (n))

実際の周波数領域におけるLMS更新アルゴリズムは、以下のようになる。 LMS update algorithm in the actual frequency domain is as follows.
H(k)=H(k)+(μ conj(X(k)). E(k))/(Δ+X(k) conj(X(k)) H (k) = H (k ) + (μ * conj (X (k)). * E (k)) / (Δ + X (k) * conj (X (k))
ここで、μはフィルタ適応ステップサイズであり、動的である。 Here, mu is the filter adaptation step size is dynamic.
conj(a)は、複素数aの複素共役を示す。 conj (a) shows the complex conjugate of a complex number a.
は、複素乗算(complex multiplication)を示す。 * Indicates complex multiplied by the (complex multiplication).
そして、Δは、分母が数量的に不安定になるのを防ぐレギュレータ(regulator)である。 Then, delta is a regulator (regulator) to prevent the denominator is numerically unstable.

上の方程式において、「conj(X(k)). E(k)」は、「e(t)x(t)」タスクを実行する。 In the above equation, "conj (X (k)). * E (k) " is to run the "e (t) x (t)" task. 分母において、「X(k) conj(X(k))」は、安定性を高める目的で正規化する役割を果たす。 In the denominator, "X (k) * conj (X (k)) " is responsible for normalizing the purpose of increasing stability.

音声アクティブ化された検出VADは、更新アルゴリズム124を調整して、リモート信号x(t)が存在するときに(例えば所定の閾値以上であるならば)、可変フィルタ122が、マイクロフォン信号d(t)のみを適応的にフィルタリング処理するようにしてもよい。 Voice Activated detected VAD adjusts the update algorithm 124, (if it is for example equal to or higher than a predetermined threshold) when the remote signal x (t) is present, the variable filter 122, the microphone signal d (t ) only adaptively may be filtering process. 図1Bに示される音声アクティブ化された検出(ダブルトーク検出と呼ばれることもある)を用いる適応フィルタは、比較的ゆっくりと適応するフィルタである。 Adaptive filter using the voice activated detection (sometimes called double-talk detection) shown in FIG. 1B is a filter to adapt relatively slowly. しかし、このフィルタはまた、擬陽性をほとんど生じないという点において、非常に正確である。 However, this filter is also in that almost no false positives, a highly accurate. フィルタ120に対する相補適応フィルタは、例えば、比較的早く適応するが、しばしば擬陽性を生じる傾向があるフィルタであるかもしれない。 Complementary adaptive filter for filter 120 is, for example, to accommodate relatively quickly, often may be a filter that tend to produce false positives.

一例として、図1Cは、図1Bのフィルタ120に対して相補的な適応フィルタ130を示す。 As an example, FIG. 1C shows a complementary adaptive filter 130 to the filter 120 in FIG. 1B. 適応フィルタ130は、フィルタ係数w t2と更新アルゴリズム134(例えば上述のLMS更新アルゴリズム)によって特徴づけられる可変フィルタを含む。 Adaptive filter 130 includes a variable filter characterized by the filter coefficients w t2 and update algorithm 134 (e.g., the above-described LMS update algorithm). フィルタ132は、スピーカエコー信号x (t)を望ましい信号として予測しようと試みる。 Filter 132 attempts to predict the desired signal speaker echo signal x 1 (t). 差分ユニット136は、フィルタリング処理された信号d'(t)をマイクロフォン信号d(t)から差し引いて、ローカルスピーチ信号s(t)を予測する予測信号e (t)を提供する。 Difference unit 136 subtracts filtered signal d '(t) of the microphone signal d (t), to provide a prediction signal e 2 for predicting a local speech signal s (t) (t). フィルタリング処理された信号d'(t)をリモート信号x(t)から差し引いて、誤差信号e(t)を発生させてもよい。 By subtracting filtered signal d '(t) of the remote signal x (t), it may generate error signal e (t). 誤差信号e(t)はフィルタ係数w t2を調整するために更新アルゴリズム134によって用いられる。 Error signal e (t) used by the update algorithm 134 to adjust the filter coefficients w t2. フィルタ130において相互相関解析CCAは、可変フィルタ132が、予測信号e (t)とスピーカエコー信号x(t)との間の相互相関を低減させようとするように、更新アルゴリズム134を調整する。 Cross-correlation analysis CCA in the filter 130, the variable filter 132, so as to try to reduce the cross-correlation between the prediction signal e 2 (t) and the loudspeaker echo signal x (t), to adjust the update algorithm 134 .

(t)とx(t)が非常に強く相関しているとき、フィルタリング処理は過小予測されているといわれ、更新アルゴリズム134は、Δw t2を増加させるように調整される。 When e 2 where (t) and x (t) is correlated very strongly, the filtering process is said to be underestimated, the update algorithm 134 may be adjusted to increase [Delta] w t2. (t)とx(t)との間の相互相関が閾値未満であるとき、フィルタリング処理は過大予測されているといわれ、更新アルゴリズム134は、Δw t2を減少させるように調整される。 When the cross-correlation between e 2 (t) and x (t) is less than the threshold value, it said filtering process is overestimated, the update algorithm 134 may be adjusted to reduce [Delta] w t2.

図1Cに示されるタイプの相互相関解析(クロススペクトラム解析ともいわれる)を用いる適応フィルタは、比較的速くフィルタを適応させる。 Adaptive filter using the type of cross-correlation analysis (also referred to as cross spectrum analysis) shown in FIG. 1C, adapt relatively fast filter. しかし、このフィルタはまた、しばしば擬陽性を生じるという点において、不安定である。 However, this filter is also often in terms of resulting false positives, is unstable. したがって、フィルタ120とフィルタ130は、相補フィルタの例となる。 Thus, filter 120 and filter 130, the example of the complementary filter.

再び図1Aを参照する。 Referring again to FIG. 1A. インテグレータ106は、第1適応フィルタEC(1)と第2適応フィルタEC(2)に接続される。 Integrator 106 is connected to the first adaptive filter EC (1) second adaptive filter EC (2). インテグレータ106は、第1および第2適応フィルタのそれぞれの出力e (t)、e (t)から、最小エコー出力e (t)を決定するように構成されている。 Integrator 106, the outputs e 1 of the first and second adaptive filter (t), from e 2 (t), is configured to determine the minimum echo output e 3 (t). 最小エコー出力e (t)は、e (t)とe (t)のいずれかであり、エネルギがより小さく、スピーカ信号x(t)との相関がより小さい方である。 Minimum echo output e 3 (t) is either e 1 (t) and e 2 (t), the energy is smaller, the correlation between the loudspeaker signal x (t) is better smaller. (t)とe (t)のうちの一方のエネルギの方がより小さいが、x(t)との相関は、他方がより小さい場合には、相関がより小さい方を最小エコー出力e (t)として用いる。 e 1 (t) and e 2 is more of one of the energy is less than one of (t), the correlation between x (t), when the other is less than the correlation minimum echo output whichever smaller e 3 used as a (t). 例えば、フィルタのうちの一が過大予測されている(すなわち目標音声をキャンセルしがちであるためにエネルギ出力が小さい)とき、エネルギにかかわらず相関が小さいほうがよい。 For example, (energy output is small to tend to cancel i.e. target speech) in which one of the filters excessive predicted by that time, it is better correlation is small regardless of the energy. 最小エネルギは、E{e (t)}とE{e (t)}との最小値を決定することにより決定されてもよい。 Minimum energy may be determined by determining the minimum value of the E {e 1 (t)} and E {e 2 (t)} . ここで、E{}はカッコ内の量の期待値を決定する演算を示す。 Here, E {} denotes the operation of determining an expected value of the quantity in parentheses. 再び図2A−2Bを参照する。 Referring to FIG. 2A-2B again. ステップ206において、e (t)とe (t)のどちらがスピーカ信号x (t)との相互相関が小さいか決定するために、e (t)とe (t)について相互相関解析が実行されてもよい。 In step 206, cross-correlation to either e 1 (t) and e 2 (t) to determine whether the cross-correlation is small between the loudspeaker signal x 1 (t), the e 1 (t) and e 2 (t) analysis may be performed. 相互相関解析は、下記の式5と式6の最小値を決定するステップを含んでもよい。 Cross-correlation analysis may include determining a minimum value of Equation 5 and Equation 6 below.
(式5) (Equation 5)
(式6) (Equation 6)
ここで、式7の演算子(式7) Here, the operator of the equation (7) (7)
は、例えば、上で定義されたように演算子の両側の量について、その間の相互相関をとる演算を表現する。 It is, for example, for the amount of each side of the operator as defined above, to represent the operation of cross-correlating between them. 最小エコー出力e (t)は、マイクロフォン104のフィルタリング処理された出力として用いられてもよい。 Minimum echo output e 3 (t) may be used as the filtered output processing of the microphone 104.

いくつかの状況においては、フィルタEC(1)、EC(2)のうちの一が、ローカル信号を過度にフィルタリング処理するかもしれない。 In some situations, the filter EC (1), one of the EC (2) is, may excessively filtering the local signal. そのような状況においては、そのフィルタは「発散した」といわれる。 In such a situation, the filter is said to be "divergent". これは、特にEC(2)が、例えば図1Cに示されるようなタイプの相互相関フィルタであるときに実際に起こりうる。 This is particularly the EC (2), can occur in practice when for example the type of cross-correlation filters, as shown in Figure 1C. この可能性に対処するために、ステップ208においてEC(2)が発散するかどうか、決定される。 To address this possibility, in step 208 EC (2) Whether the divergence is determined. 一例としてインテグレータ106は、第2適応エコーキャンセレーションフィルタが、過度にフィルタリング処理することにより、ローカル信号s(t)を除去していないか、決定するように構成されてもよい。 Integrator 106 as an example, the second adaptive echo cancellation filter is excessively by filtering processing, or not to remove the local signal s (t), it may be configured to determine. これはe (t)とスピーカエコー信号x (t)との間の相互相関の期待値を調べることにより実行することができる。 This can be performed by examining the expected value of the cross-correlation between e 2 (t) and the loudspeaker echo signal x 1 (t). すなわち、式8で表される。 In other words, the formula 8.
(式8) (Equation 8)
典型的には、式9が成り立つ。 Typically, Equation 9 is satisfied.
(式9) (Equation 9)
しかしながら、式10が、ある閾値(例えば約0.2)未満であるときには、EC(2)が過度にフィルタリング処理することにより、ローカル信号s(t)が除去されている。 However, Equation 10, when it is below a certain threshold (e.g., about 0.2), by EC (2) is excessively filtering, local signal s (t) has been removed.
(式10) (Equation 10)
このような状況において、インテグレータ106は、e (t)を最小エコー出力e (t)として選択してもよい。 In this context, an integrator 106, e 1 (t) may be selected as the minimum echo output e 3 (t) a. 適応フィルタリング処理を安定させるために、ステップ212において、EC(2)のフィルタ係数w t2 、EC(1)のフィルタ係数w t1 して設定されてもよい。 To stabilize the adaptive filtering process, in step 212, the filter coefficients w t2 of EC (2) may be set as the filter coefficients w t1 of EC (1). そしてステップ215において、EC(2)は、0、または、以前のうまく適応したことが知られている状態に、再初期化されてもよい。 In step 215, EC (2) is 0, or a state that is known to have well adapted earlier, may be re-initialized. 例えば、フィルタ係数は、規則的な間隔で(例えば約10秒から20秒ごとに)保存されて、EC(2)が発散したときにこれを再初期化するために用いられてもよい。 For example, the filter coefficients, at regular intervals (for example, from about 10 seconds every 20 seconds) is stored, may be used to re-initialize this when EC (2) diverges.

通常、相互相関フィルタが発散しないときに、そのフィルタはうまく適応していると言われる。 Usually, when a cross-correlation filter does not diverge, it referred to as the filter is well adapted. EC(2)とEC(1)は相補的なフィルタリング特性を有するため、EC(2)がうまく適応しているとき、EC(1)は過小予測されていることになる。 EC (2) and EC (1) Since having complementary filtering characteristic, when the EC (2) is well adapted, EC (1) will be being underestimated. 適応フィルタリング処理を安定化させるため、ステップ214に示されるように、第1適応フィルタEC(1)のフィルタ係数w t1が、第2適応フィルタEC(2)のフィルタ係数w t2と交換される。 To stabilize the adaptive filtering process, as shown in step 214, the filter coefficients w t1 of the first adaptive filter EC (1) is replaced with the filter coefficients w t2 of the second adaptive filter EC (2). フィルタをソフトウェアに実装する際には、係数w t1 、w t2は、メモリにおいてポインタによって特定される位置に格納されてもよい。 When implementing a filter in software, coefficients w t1, w t2 may be stored in the location specified by the pointer in the memory. 係数w t1 、w t2は、例えば、w t1およびw t2へのポインタを切り替えることによって、交換されてもよい。 Coefficients w t1, w t2, for example, by switching the pointer to w t1 and w t2, may be exchanged.

最小エコー出力e (t)は、いくばくかの、スピーカ信号x(t)からの残差エコーxe(t)を含むかもしれない。 Minimum echo output e 3 (t) is the drawing to their close or might include a residual echo xe (t) from the loudspeaker signal x (t). 装置100は、オプションで、インテグレータ106に接続された第1および第2エコー残差予測部ER(1)とER(2)、および、エコー残差予測部ER(1)とER(2)に接続された残差エコーキャンセレーションモジュール108を含んでもよい。 Device 100 may optionally first and second echo residual estimator ER connected to the integrator 106 (1) and ER (2), and, with the ER (2) echo residual estimator ER (1) it may contain residual echo cancellation module 108 connected.

第1エコー残差予測部ER(1)は、最小エコー出力e (t)とスピーカ信号x(t)との間の相互相関解析を含む第1残差エコー予測ER (t)を生成するように構成されてもよい。 First echo residual estimator ER (1) generates, minimum echo output e 3 first residual echo including a cross-correlation analysis between (t) and the loudspeaker signal x (t) predicted ER 1 (t) it may be configured to. 図2Bのステップ222に示されるように、最小エコー出力e (t)とスピーカ信号x(t)との間の相互相関解析から、例えば、式11の値を決定することにより、第1残差エコー予測ER (t)が決定されてもよい。 As shown in step 222 of FIG. 2B, the minimum echo output e 3 (t) and cross-correlation analysis between the loudspeaker signal x (t), for example, by determining the value of the expression 11, the first residue echo prediction ER 1 (t) may be determined.
(式11) (Equation 11)
ここで、式11の値は、e (t)が式12の相互相関の期待値を最小化するときに、真である。 Here, the value of the formula 11, when e 3 the (t) minimizes the expectation value of the cross-correlation of equation 12 is true.
(式12) (Equation 12)
この最小化問題は、本質的に、適応により実現されるであろう。 This minimization problem is essentially will be realized by the adaptation. 例えば、エコー残差予測部ER(1)が、初期状態においては単位フィルタ(すべて値”1”)であると仮定されたい。 For example, the echo residual estimator ER (1) It should be assumed that in the initial state is the unit filter (all "1"). すべてのフレームにおいて、サーチサーフェス(search surphace)の接線方向(tangent direction)に向かうにつれて、第1残差エコー予測ER (t)は、増加するかもしれない。 In every frame, toward the tangential direction of the search surface (search surphace) (tangent direction) , the first residual echo prediction ER 1 (t) might be increased. これは、ニュートンソルバ(Newton solver)アルゴリズムによって実現されてもよい。 This may be achieved by Newton solver (Newton solver) algorithm. 第2残差エコー予測部ER(2)は、最小エコー出力e (t)とスピーカ信号x(t)との間のエコー距離ミスマッチ(echo−distance mismatch)を含む第2残差エコー予測ER (t)を決定するように構成されてもよい。 Second residual echo prediction unit ER (2), the minimum echo output e 3 (t) and the second residual echo prediction ER including an echo distance mismatch (echo-distance mismatch) between the loudspeaker signal x (t) it may be configured to determine a 2 (t). 図2Bのステップ224に示されるように、最小エコー出力e (t)とスピーカ信号x(t)との間のエコー距離ミスマッチから、例えば、argmin(E{(e (t)) /(x(t)) })を決定することにより、第2残差エコー予測ER (t)が決定されてもよい。 As shown in step 224 of FIG. 2B, the minimum echo output e 3 (t) and from the echo distance mismatch between the loudspeaker signal x (t), for example, argmin (E {(e 3 (t)) 2 / by determining the (x (t)) 2} ), the second residual echo prediction ER 2 (t) may be determined. ここで、e (t)が商(e (t)) /(x(t)) の期待値を最小化するとき、argmin(E{(e (t)) /(x(t)) })は真である。 Here, when e 3 (t) is to minimize the expected value of the quotient (e 3 (t)) 2 / (x (t)) 2, argmin (E {(e 3 (t)) 2 / (x (t)) 2}) is true. ここでも再び、最小化は、ニュートンソルバアルゴリズムを用いて実現されてもよい。 Here again, the minimization may be implemented using a Newton solver algorithm.

残差エコーキャンセレーションモジュール108は、二つの残差エコー予測ER (t)とER (t)の最小残差エコー予測ER (t)を決定して、その最小値ER (t)に従ってフィルタリング処理された信号e (t)を調整してもよい。 Residual echo cancellation module 108 determines a minimum residual echo prediction ER 3 two residual echo prediction ER 1 (t) and ER 2 (t) (t) , its minimum value ER 3 (t) it may be adjusted signal e 3 (t) which is filtering processing in accordance with. 一例として、最小残差エコー予測ER (t)は、ER (t)とER (t)のうち、エネルギが最小であり、x(t)に対する相関が最小であるものであってもよい。 As an example, the minimum residual echo prediction ER 3 (t) is, ER 1 (t) and ER 2 of (t), is the energy minimum, even those correlation to x (t) is minimum good. 例えば図2Bのステップ226に示されるように、ER (t)とER (t)のうちの最小値に設定され、ステップ228に示されるように、その結果であるER の値がe (t)から差しひかれて、残差エコーキャンセルフィルタリング処理された信号e '(t)が生成される。 For example, as shown in step 226 of FIG. 2B, is set to the minimum value among the ER 1 (t) and ER 2 (t), as shown in step 228, the value of ER 3 is the result e 3 is pointing drawn from (t), the signal e 3 were residual echo canceled filtered '(t) is generated. ER がER (t)に等しいならば、残差エコーxe(t)は、ローカルスピーチ信号s(t)の強度が0でないときに、最小限に除去される。 If ER 3 equals ER 1 (t), residual echo xe (t), when the strength of the local speech signal s (t) is not 0, it is removed to a minimum. ER (t)がER (t)に等しいならば、残差エコーxe(t)は、遠端のエコーx(t)のみが存在するとき(遠端発話のみの期間)最大限に除去される。 If ER 3 (t) is equal to ER 2 (t), residual echo xe (t) is, (a period of only far-end speech) when only far-end echo x (t) is present maximum removal It is.

一例として、2次のノルムN(1)とN(2)が、二つのエコー残差予測部ER(1)とER(2)のためにそれぞれ計算されてもよい。 As an example, 2-order norm N (1) and N (2) may be calculated respectively for the two echo residual estimator ER (1) and ER (2).
N(1)=‖ER(1)‖ N (1) = ‖ER (1) ||
N(2)=‖ER(2)‖ N (2) = ‖ER (2) ||

ダブルトーク状況下においては、より小さいノルムを有するエコー残差予測部が、エコー残差ノイズを取り除くために、e (t)に適用されてもよい。 Under double-talk situation, the echo residual estimator having smaller norm, to remove the echo residual noise may be applied to e 3 (t). シングルトーク状況下においては、より大きいノルムを有するエコー残差予測部が、エコー残差ノイズを取り除くために、e (t)に適用されてもよい。 Under single-talk situation, the echo residual estimator having a larger norm, to remove the echo residual noise may be applied to e 3 (t).

エコーキャンセレーションにおいては、フィルタリング処理された信号e (t)、または、残差エコーキャンセルフィルタリング処理された信号e '(t)から、ノイズn(t)が除去されてもよい。 In echo cancellation, the signal e 3 that is filtering (t), or, from the signal e 3 that residual echo canceled filtered '(t), the noise n (t) may be removed. ただし、このようなノイズキャンセレーションは、望ましくないかもしれない。 However, such noise cancellation may not be desirable. なぜならば、信号e (t)またはe '(t)のリモート受信者は、ノイズがない状態を、マイクロフォン104からのすべての通信が失われた徴候であると解釈するかもしれないからである。 Because the signal e 3 (t) or e 3 'remote recipient (t) is in a state there is no noise, because it may be interpreted as all communication from the microphone 104 is an indication of lost is there. この問題に対処するために、装置100はオプションで、ノイズキャンセラユニット110を含んでもよい。 To address this problem, apparatus 100 may optionally include a noise canceller unit 110. ノイズキャンセレーションモジュール110は、例えば図2A−2Bのステップ217に示されるように、マイクロフォン信号d(t)から予測ノイズ信号n'(t)を計算するように構成されてもよい。 Noise cancellation module 110, for example, as shown in step 217 of FIG. 2A-2B, may be configured to calculate a predicted noise signal n '(t) from the microphone signal d (t). 予測ノイズ信号n'(t)は、減衰係数αで減衰されて、低減されたノイズ信号n”(t)=αn'(t)を形成してもよい。減衰されたノイズ信号n”(t)は、図2Aのステップ218に示されるようにe (t)に加算されることにより、または、図2Bのステップ230に示されるようにe '(t)に加算されることにより、マイクロフォン出力信号s'(t)に組み込まれてもよい。 Predicted noise signal n '(t), is attenuated by the attenuation coefficient alpha, reduced noise signal n "(t) = αn' (t) may be formed. Attenuated noise signal n" (t ), by being added to e 3 (t) as shown in step 218 of FIG. 2A, or, by being added to the e 3 '(t) as shown in step 230 of FIG. 2B, microphone output signal s' may be incorporated into a (t).

本発明の実施形態においては、図1A−1Cに関連して説明された装置、および図2A−2Cに関連して説明された方法は、プログラマブルなプロセッサとメモリを有するシステム上のソフトウェアとして実装されてもよい。 In embodiments of the present invention, the method described in connection with the associated device is described, and FIG. 2A-2C in FIG. 1A-1C is implemented as software on a system with a programmable processor and memory it may be.

本発明の実施形態によると、図1および図2A−Bに関連して説明されたタイプの、前述のように動作する信号処理方法は、図3に示されるように、信号処理装置300の一部として実装されてもよい。 According to an embodiment of the present invention, of the type described in connection with FIGS. 1 and 2A-B, the signal processing method that operates as described above, as shown in FIG. 3, one signal processing unit 300 it may be implemented as part. システム300は、プロセッサ301とメモリ302(例えば、RAM、DRAM、ROMなど)を含んでもよい。 System 300 includes a processor 301 and a memory 302 (e.g., RAM, DRAM, ROM, and the like). 信号処理装置300はさらに、並行処理が実装される場合には、複数のプロセッサ301を有してもよい。 The signal processing unit 300 further when the parallel processing is implemented may comprise a plurality of processors 301. メモリ302は前述のように構成されたデータおよびコードを含む。 Memory 302 includes a configuration data and code as described above. 具体的には、メモリ302には、プログラムコード304と信号データ306が格納されてもよい。 More specifically, the memory 302, a program code 304 and the signal data 306 may be stored. コード304は、上述の、エコーキャンセリング適応フィルタEC(1)、ER(2)、インテグレータ106、エコー残差フィルタER(1)、ER(2)、残差エコーキャンセレーションモジュール108、ノイズキャンセラ110を実装してもよい。 Code 304, described above, echo canceling adaptive filter EC (1), ER (2), an integrator 106, the echo residual filter ER (1), ER (2), the residual echo cancellation module 108, the noise canceller 110 it may be mounted. 信号データ306は、マイクロフォン信号d(t)、かつ/または、スピーカ信号x(t)のデジタル表現を含んでもよい。 Signal data 306, the microphone signal d (t), and / or may include a digital representation of the speaker signal x (t).

装置300はまた、入出力(I/O)エレメント311、電源(P/S)312、クロック(CLK)313、キャッシュメモリ314といった、周知のサポート機能310を含んでもよい。 Device 300 also input and output (I / O) elements 311, power (P / S) 312, a clock (CLK) 313, such as cache memory 314 may include well-known support functions 310. 装置300は、プログラム、かつ/または、データを格納するためのディスクドライブ、CD−ROMドライブ、テープドライブといった大容量記憶装置315をオプションで含んでもよい。 Device 300, a program, and / or a disk drive for storing data, CD-ROM drives, and may include a mass storage device 315 such as a tape drive option. コントローラは、また、オプションで、コントローラ300とユーザの間の対話を手助けするためのディスプレイユニット316と、ユーザインタフェイスユニット318を含んでもよい。 The controller also optionally includes a display unit 316 to aid the interaction between the controller 300 and the user may include a user interface unit 318. ディスプレイユニット316は、ブラウン管型でもよく、またフラットパネルスクリーンでもよい。 The display unit 316 may be a CRT type, or may be a flat-panel screen. これらはテキスト、数値、グラフィックシンボル、画像を表示する。 These displays text, numerical, graphic symbol, an image. ユーザインタフェイス318は、キーボード、マウス、ジョイスティック、ライトペン(light pen)やそのほかの装置を含んでもよい。 User interface 318 includes a keyboard, a mouse, a joystick, may include a light pen (light pen) and other devices. さらに、スピーカ322とマイクロフォン324は、入出力構成エレメント311を介してプロセッサ301に接続されていてもよい。 Further, the speaker 322 and the microphone 324 may be connected to the processor 301 through the input-output configuration element 311. プロセッサ301、メモリ302、そしてシステム300のほかの構成要素は、図3に示されるようにシステムバス320を介して互いに信号(例えば、コード・インストラクションとデータ)を交換してもよい。 Processor 301, in addition to the components of the memory 302 and the system 300, may exchange signals with each other (e.g., code instructions and data) via the system bus 320 as shown in FIG.

ここで用いられるように、入出力という言葉は、一般的に、システム300への、またはシステム300からの、および周辺装置への、または周辺装置からのデータを転送する任意のプログラム、オペレーション、または装置を指す。 As used herein, the term output is generally any program to be transferred to the system 300, or from the system 300, and to the peripheral device, or the data from the peripheral device, operations or, It refers to a device. すべてのデータ転送が、一の装置からの出力であり、他の一の装置への入力であると見なすことができるであろう。 All data transfers, an output from one device could be regarded as an input to another one device. 周辺装置は、キーボードやマウスなどの入力のみの装置や、プリンタなどの出力のみの装置、そして上書き可能CD−ROMなどの入力および出力装置として動作する装置を含む。 Peripheral devices include devices or only the input such as a keyboard or a mouse, only device output, such as a printer, and a device operating as input and output devices such as a rewritable CD-ROM. 周辺装置という言葉には、マウス、キーボード、プリンタ、モニタ、マイクロフォン、ゲームコントローラ、カメラ、外部Zipドライブ、スキャナなどの外部装置と、CD−ROMドライブ、CD−Rドライブ、内部モデムなどの内部装置、および、フラッシュメモリ用リーダ/ライタ、ハードドライブなどのそのほかの周辺装置を含む。 The term peripheral device, a mouse, keyboard, printer, monitor, microphone, game controller, camera, external Zip drive, an external device such as a scanner, CD-ROM drives, CD-R drive, the apparatus such as an internal modem, and, including flash memory reader / writer, the other peripheral devices such as hard drives.

プロセッサ301は、信号データ306およびメモリ302によって格納され、獲得されプロセッサモジュール301によって実行されるプログラム304のプログラムコード命令に応えて、信号データ306にデジタル信号処理を実行する。 The processor 301 is stored by the signal data 306 and the memory 302, in response to the program code instructions of a program 304 executed by the processor module 301 is acquired, performing digital signal processing on signal data 306. プログラム304のコードの一部はアセンブリ、C++、Java(登録商標)またはそのほかの多くの言語のような様々な異なるプログラミング言語のうちの一であってよい。 Some assembly code program 304, C ++, may be one of a variety of different programming languages ​​such as Java (registered trademark) or many other languages. プロセッサモジュール301は、プログラムコード304のようなプログラムを実行するときには特別な目的のコンピュータとなる汎用コンピュータを構成する。 Processor module 301 may constitute a general-purpose computer as a special purpose computer when executing programs such as the program code 304. プログラムコード304は、ここでは、汎用コンピューター上で実行されるソフトウェアとして実装されるものとして説明されたが、これに代えて、アプリケーション特定集積回路(ASIC)のようなハードウェアを用いて、タスク管理方法が実現されることは当業者には理解されるであろう。 Program code 304, here has been described as being implemented as software running on a general purpose computer, instead of this, using hardware such as an application specific integrated circuit (ASIC), task management the method is implemented it will be understood by those skilled in the art. そのように、本発明の実施形態は、全体的にまたは部分的に、ソフトウェア、ハードウェア、またはこれらの組合せによって実現されることは理解されるであろう。 As such, embodiments of the present invention, in whole or in part, software, hardware, or be implemented by a combination thereof, it will be understood.

ある実施形態においては、とりわけプログラムコード304は、図2Aの方法200や図2Bの方法220に共通な特徴を有する方法を実現するためのプロセッサ可読命令のセットを含んでもよい。 In some embodiments, especially the program code 304 may include a set of processor readable instructions for implementing a method having the common feature in the method 220 of the method 200 and FIG. 2B in Figure 2A. プログラムコード304は、一般的に、以下のような命令を含んでもよい。 Program code 304 may generally include instructions such as:. すなわち、プロセッサ301に、相補的エコーキャンセレーション特性を有する第1および第2適応フィルタによって並行にマイクロフォン信号d(t)をフィルタリング処理させ、エコーキャンセル処理された出力e (t)とe (t)を生成させる命令、e (t)とe (t)から最小エコー出力e (t)を決定する命令、最小エコー出力を用いてマイクロフォン出力を生成する命令である。 That is, the processor 301, complementary echo cancellation microphone signals in parallel by the first and second adaptive filter having a configuration characteristic d (t) is allowed to filtering processing, echo cancellation processing output e 1 (t) and e 2 ( instructions to generate t), e 1 (t) and e 2 (t) from determining the minimum echo output e 3 (t) instruction is an instruction for generating a microphone output using the minimum echo output.

本発明の実施形態によると、相互相関解析のみ、または音声アクティビティ検出(ダブルトーク検出)のみで可能な、よりロバストでありながら正確なエコーキャンセレーションが可能となる。 According to an embodiment of the present invention, cross-correlation analysis only, or voice activity detection (double talk detection) only possible with, it is possible to correct echo cancellation yet more robust. このような改良されたエコーキャンセレーションによると、スピーカエコーx(t)に大部分を占められているマイクロフォン信号d(t)からローカルスピーチをs(t)を抽出することが可能となる。 According to this improved echo cancellation, it is possible to extract the s (t) the local speech from the microphone signal d (t) occupied most of the speaker echo x (t).

本発明の実施形態は、ここで提示されたように用いられてもよく、また他のユーザ入力メカニズムと共に用いられてもよい。 Embodiments of the present invention may be used as presented herein, also may be used with other user input mechanisms. 方位角方向や音声のボリュームを追跡したり測定したりするメカニズム、かつ/または、能動的または受動的にオブジェクトの位置を追跡するメカニズム、マシン・ビジョンを用いるメカニズム、これらの組み合わせなどである。 Mechanism or to measure or track the volume of azimuth and audio, and / or a mechanism to track the position of actively or passively object, the mechanism of using machine vision, and the like combinations thereof. 追跡されるオブジェクトは、システムへのフィードバックを操作する補助的なコントロール装置やボタンを含んでもよい。 Object to be tracked may include ancillary control device and buttons for operating the feedback to the system. そのようなフィードバックには、光源からの光の放射、音質の歪曲手段、その他の適切な送信機、変調器、コントロール装置、ボタン、圧力パッドなどが含まれてもよいが、これらに制限されるものではない。 Such feedback, emission of light from the light source, the sound quality distortion unit, other suitable transmitters, modulators, control device, button, may be included, such as a pressure pad, it is limited to not. それは、同じ符号化状態の転送や変調に影響を及ぼしてもよく、かつ/または、システムによって追跡されている装置への命令や、その装置からの命令を転送してもよい。 It may affect the transfer and modulation of the same coding state, and / or instructions to and from devices being tracked by the system may transfer the command from the device. そのような装置は、本発明の実施形態に関連して用いられるシステムの一部であったり、またはシステムと相互作用したり、またはシステムに影響を与えたりする。 Such devices, or a embodiment part of a system used in connection with the present invention, or the system or interact with, or or impact system.

上記は、本発明の好ましい実施形態の完全な記述であるが、他の様々な変形、変更、等価物への置換が可能である。 While the above is a complete description of the preferred embodiments of the present invention, various other modifications and changes can be made, substitution of equivalents. それゆえ、本発明の範囲は、上記の記述によって決定されるのではなく、以下の請求項によって決定されるべきであり、その完全な等価物もその範囲に含まれる。 Therefore, the scope of the present invention is not to be determined by the above description, the following should be determined by the claims, their full equivalents are also included in the range. ここで記述された特徴は、好ましいものであるか否かに関わらず、ここで述べたいずれの特徴と組み合わされてもよい。 Feature described herein, regardless of whether or not preferred, may be combined with any of the features described herein. 以下の請求項においては、特に明示的に断らない限りは、各要素の数量は一以上である。 In the following claims, unless otherwise stated explicitly, the quantity of each element is one or more. ここに、添付される請求項は、所与の請求項において、「〜ための手段」との語句を用いて明示的に示される場合の他は、ミーンズ・プラス・ファンクションの制限を含むと解されてはならない。 Here, the appended claims, in a given claim, other when explicitly indicated using the phrase "means for ..." is to include restriction means-plus-function solutions It should not be.

Claims (30)

  1. スピーカ信号x(t)を受け取るスピーカと、ローカル信号s(t)とエコー信号x (t)とを含むマイクロフォン信号d(t)を受け取るマイクロフォンとを有するシステムにおけるエコーキャンセレーション方法であって、エコー信号x (t)は、スピーカ信号x(t)に依存しており、 A speaker for receiving the speaker signal x (t), a echo cancellation method in a system having a microphone for receiving the microphone signal d (t) which includes a local signal s (t) and the echo signal x 1 (t), echo signal x 1 (t) is dependent on the loudspeaker signal x (t),
    前記マイクロフォン信号d(t)を、第2適応フィルタに対して相補的なキャンセレーション特性を有する第1適応フィルタと、前記第2適応フィルタとで並行にフィルタリング処理するステップとを備え、 Said microphone signal d (t), comprising: a first adaptive filter having a complementary cancellation properties, and a step of filtering in parallel with said second adaptive filter to the second adaptive filter,
    前記第1および第2適応フィルタのフィルタリング特性は、該第1および第2適応フィルタのうちの一方がその入力にうまく適応していないときに、他方はその入力にうまく適応するような特性であり、 Filtering characteristic of said first and second adaptive filters, when one of the first and second adaptive filters is not well adapted to its input, the other is a characteristic such that well adapted to its input ,
    前記第1および第2適応フィルタのうちの一方がうまく適応するのは、そのフィルタ関数h(n)が安定しており、真のエコーパスフィルタに収束し、過大予測も過小予測もされていないときであり、 Wherein the first and the the one of the second adaptive filter to adapt well, the have a filter function h (n) is stable and converges to the true echo path filter, not also be underestimated overestimated is when,
    前記第1適応フィルタは、音声アクティビティ検出フィルタであり、 Wherein the first adaptive filter is a voice activity detection filter,
    前記第2適応フィルタは、相互相関解析フィルタであり、 It said second adaptive filter is a cross-correlation analysis filter,
    本方法はさらに、 The method further,
    前記第1適応フィルタからの出力e (t)と、前記第2適応フィルタからの出力e (t)とから、前記スピーカ信号x(t)との相関がより小さい最小エコー出力e (t)を決定するステップと、 The output e 1 (t) and from the first adaptive filter, the since the output e 2 (t) and from the second adaptive filter, the loudspeaker signal x (t) the minimum correlation with the smaller echo output e 3 ( determining a t),
    前記最小エコー出力e (t)を用いてマイクロフォン出力を生成するステップと、 And generating a microphone output using the minimum echo output e 3 (t) of said,
    を備える方法。 The method comprises a.
  2. 前記マイクロフォン信号d(t)を前記第1適応フィルタと前記第2適応フィルタとで並行にフィルタリング処理するステップは、 The step of filtering the microphone signal d (t) in parallel with said second adaptive filter and the first adaptive filter,
    x(t)の強度が閾値を超えた場合に、前記第1適応フィルタのフィルタ係数の組を適応させるステップと、 When the intensity of the x (t) exceeds the threshold value, a step of adapting the set of filter coefficients of said first adaptive filter,
    前記第2適応フィルタで、e (t)とx(t)の相互相関を解析するステップを含む請求項1に記載の方法。 Said second adaptive filter, The method of claim 1 including the step of analyzing the cross-correlation e 2 (t) and x (t).
  3. 前記最小エコー出力e (t)を決定するステップは、前記第2適応フィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去していないか決定するステップと、 Determining the minimum echo output e 3 (t) of the includes the steps of said second adaptive filter to determine whether not excessively removed by the local signal s (t) to a filtering process,
    前記第2適応フィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去している場合に、前記第1適応フィルタの出力を前記最小エコー出力として用いるステップとを含む請求項2に記載の方法。 If the second adaptive filter is excessively removed by the filtering process the local signal s (t), according to claim 2 including the step of using an output of said first adaptive filter as the minimum echo output Method.
  4. 前記第2適応フィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去していないか決定するステップは、 The step of said second adaptive filter to determine whether not excessively removed by the local signal s (t) filtering process,
    前記第2適応フィルタの出力e (t)と、前記スピーカ信号x(t)との間の相互相関をとるステップと、 The output e 2 of the second adaptive filter (t), the steps of taking a cross-correlation between the loudspeaker signal x (t),
    前記第2適応フィルタの出力e (t)と前記スピーカ信号x(t)との間の相互相関の期待値が所定の閾値未満であるか判定するステップと、 Determining whether the expected value of the cross-correlation is below a predetermined threshold value between the output e 2 of the second adaptive filter (t) and the loudspeaker signal x (t),
    前記相互相関の期待値が前記閾値未満である場合に、前記第2適応フィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去していることを決定するステップとを含む請求項3に記載の方法。 If the expected value of the cross-correlation is below the threshold, in Claim 3 including the step of determining that said second adaptive filter is excessively removed by the filtering process the local signal s (t) the method described.
  5. 前記第2適応フィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去している場合に、前記第2適応フィルタのフィルタ係数の組を前記第1 適応フィルタのフィルタ係数の組で置き換えるステップをさらに含む請求項3に記載の方法。 Step of replacing if the second adaptive filter is excessively removed by the filtering process the local signal s (t), a set of filter coefficients of the second adaptive filter a set of filter coefficients of said first adaptive filter the method of claim 3 further comprising a.
  6. 前記最小エコー出力e (t)を用いて前記マイクロフォン出力を生成するステップは、前記最小エコー出力e (t)と前記スピーカ信号x(t)との間の相互相関の解析を含む第1残差予測ER (t)を並行に決定するステップと、前記最小エコー出力e (t)と前記スピーカ信号x(t)との間のエコー距離ミスマッチを含む第2残差予測ER (t)を決定するステップとを含む請求項1に記載の方法。 Generating said microphone output using the minimum echo output e 3 (t), above, the minimum echo output e 3 first containing an analysis of the cross-correlation between (t) and the loudspeaker signal x (t) determining residual prediction ER 1 (t) to parallel, the minimum echo output e 3 the second residue contains an echo distance mismatch between the (t) and the speaker signal x (t) predicted ER 2 ( the method of claim 1 including the step of determining t).
  7. 前記相互相関解析は、e (t)とx(t)との間の相互相関の期待値を計算するステップを含む請求項6に記載の方法。 The cross-correlation analysis method of claim 6 including the step of calculating the expected value of the cross-correlation between e 3 (t) and x (t).
  8. 前記エコー距離ミスマッチは、{e (t)/x (t)}の期待値を計算するステップを含む請求項6に記載の方法。 The echo distance mismatch The method of claim 6 including the step of calculating the expected value of {e 3 2 (t) / x 2 (t)}.
  9. 前記第1残差予測ER (t)を決定するステップは、第1残差予測部ER(1)の2次ノルムN(1)を計算するステップを含み、 The first step of determining a residual prediction ER 1 (t) comprises the step of calculating a quadratic norm N (1) of the first residual prediction unit ER (1),
    前記第2残差予測ER (t)を決定するステップは、第2残差予測部ER(2)の2次ノルムN(2)を計算するステップを含み、 Determining a second residual prediction ER 2 (t) comprises the step of calculating a quadratic norm N of the second residual prediction unit ER (2) (2),
    本方法はさらに、ダブルトークの間、e (t)に、対応するノルムN(1)またはN(2)がより小さい前記エコー残差予測部ER(1)またはER(2)を適用するステップを含む請求項6に記載の方法。 The method further during double talk, the e 3 (t), the corresponding norm N (1) or N (2) applies the smaller the echo residual estimator ER (1) or ER (2) the method according to steps including claim 6.
  10. 前記第1残差予測ER (t)を決定するステップは、第1残差予測部ER(1)の2次ノルムN(1)を計算するステップを含み、 The first step of determining a residual prediction ER 1 (t) comprises the step of calculating a quadratic norm N (1) of the first residual prediction unit ER (1),
    前記第2残差予測ER (t)を決定するステップは、第2残差予測部ER(2)の2次ノルムN(2)を計算するステップを含み、 Determining a second residual prediction ER 2 (t) comprises the step of calculating a quadratic norm N of the second residual prediction unit ER (2) (2),
    本方法はさらに、シングルトークの間、e (t)に、対応するノルムN(1)またはN(2)がより大きい前記エコー残差予測部ER(1)またはER(2)を適用するステップを含む請求項6に記載の方法。 The method further during single talk, the e 3 (t), the corresponding norm N (1) or N (2) to apply greater than the echo residual estimator ER (1) or ER (2) the method according to steps including claim 6.
  11. 前記最小エコー出力e (t)を用いてマイクロフォン出力を生成するステップはさらに、最小残差エコー予測ER (t)を決定するステップを含み、 Comprising determining step of generating a microphone output further minimum residual echo prediction ER 3 (t) of using the minimum echo output e 3 (t) of said,
    前記最小残差エコー予測ER (t)は、ER (t)とER (t)のうちの一で、エネルギが最小でありx(t)との相関が最小である請求項6に記載の方法。 The minimum residual echo prediction ER 3 (t), in one of the ER 1 (t) and ER 2 (t), in claim 6 correlation is minimum, and is x (t) the energy is minimum the method described.
  12. 前記最小エコー出力e (t)からER (t)を選択的に除去するステップをさらに含む請求項11に記載の方法。 The method of claim 11, further comprising the step of selectively removing ER 3 (t) of from the minimum echo output e 3 (t).
  13. 前記マイクロフォン出力からER (t)を選択的に除去するステップは、遠端通話のみの期間に、前記マイクロフォン出力からER (t)を最大限に除去するステップを含む請求項12に記載の方法。 The step of selectively removing the ER 3 (t) from the microphone output, the duration of only far-end speech, according to claim 12 including the step of removing the most ER 3 a (t) from the microphone output Method.
  14. 前記マイクロフォン出力からER (t)を選択的に除去するステップは、前記ローカル信号s(t)の強度が0でないときに、前記マイクロフォン出力からER (t)を最小限に除去するステップを含む請求項12に記載の方法。 The step of selectively removing ER 3 a (t) from the microphone output, when the strength of the local signal s (t) is not 0, the step of removing a minimum ER 3 a (t) from the microphone output the method of claim 12 including.
  15. 前記マイクロフォン信号d(t)から予測ノイズ信号n'(t)を計算するステップと、 Calculating a predicted noise signal n '(t) from the microphone signal d (t),
    前記予測ノイズ信号n'(t)のレベルを低減させて、低減ノイズ信号n”(t)を形成するステップと、 A step of the predicted noise signal n 'and the level is reduced in (t), to form a reduced noise signal n "(t),
    前記マイクロフォン出力信号に、前記低減ノイズ信号n”(t)を組み込むステップとをさらに含む請求項1に記載の方法。 Wherein the microphone output signal, The method of claim 1, further comprising the step of incorporating the reduced noise signal n "(t).
  16. スピーカとマイクロフォンを有するシステムにおいて用いられるエコーキャンセレーション装置であって、スピーカは、スピーカ信号x(t)を受けるように適合され、マイクロフォンは、ローカル信号s(t)とエコー信号x (t)とを含むマイクロフォン信号d(t)を受け取るように適合され、エコー信号x (t)は、スピーカ信号x(t)に依存しており、 A echo cancellation apparatus for use in a system having a speaker and a microphone, a speaker is adapted to receive a speaker signal x (t), microphone, local signal s (t) and the echo signal x 1 (t) is adapted to receive the microphone signal d (t) including bets, echo signals x 1 (t) is dependent on the loudspeaker signal x (t),
    本装置は、 This device,
    前記スピーカと前記マイクロフォンに接続された第1適応フィルタと、 A first adaptive filter connected to said speaker and said microphone,
    前記第1適応フィルタと並行に前記スピーカと前記マイクロフォンに接続された第2適応フィルタとを備え、 And a second adaptive filter which is connected to the speaker and the microphone in parallel with said first adaptive filter,
    前記第2適応フィルタは、前記第1適応フィルタに対して相補的なエコーキャンセレーション特性を有し、 Said second adaptive filter has complementary echo cancellation characteristics with respect to the first adaptive filter,
    前記第1および第2適応フィルタのフィルタリング特性は、該第1および第2適応フィルタのうちの一方がその入力にうまく適応していないときに、他方はうまく適応するような特性であり、 Filtering characteristic of said first and second adaptive filters, when one of the first and second adaptive filters is not well adapted to its input, the other is a characteristic such that well adapted,
    前記第1および第2適応フィルタのうちの一方がうまく適応するのは、そのフィルタ関数h(n)が安定しており、真のエコーパスフィルタに収束し、過大予測も過小予測もされていないときであり、 Wherein the first and the the one of the second adaptive filter to adapt well, the have a filter function h (n) is stable and converges to the true echo path filter, not also be underestimated overestimated is when,
    前記第1適応フィルタは、音声アクティビティ検出フィルタであり、 Wherein the first adaptive filter is a voice activity detection filter,
    前記第2適応フィルタは、相互相関解析フィルタであり、 It said second adaptive filter is a cross-correlation analysis filter,
    本装置はさらに、 The apparatus further,
    前記第1適応フィルタと前記第2適応フィルタに接続されたインテグレータとを備え、 And a connected integrator to the said first adaptive filter second adaptive filter,
    前記インテグレータは、前記第1適応フィルタからの出力e (t)と、前記第2適応フィルタからの出力e (t)から、最小エコー出力e (t)を決定するように構成されており、 The integrator output e 1 (t) from the first adaptive filter, from said output e 2 (t) from the second adaptive filter, configured to determine a minimum echo output e 3 (t) cage,
    前記最小エコー出力e (t)と前記スピーカ信号x(t)との相関はより小さい装置。 It said minimum echo output e 3 (t) and the correlation between the loudspeaker signal x (t) is less than unit.
  17. 前記インテグレータは、前記第2エコーキャンセレーションフィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去していないか決定するように構成され、前記第2適応フィルタが前記ローカル信号s(t)をフィルタリング処理により過度に除去している場合に、インテグレータは、最小エコー出力e (t)として前記出力e (t)を選択する請求項16に記載の装置。 The integrator, the second echo cancellation filter is configured to determine not excessively removed by the filtering process the local signal s (t), the second adaptive filter is the local signal s (t) the If you are excessively removed by filtering, integrator, according to claim 16 for selecting the output e 1 (t) as the minimum echo output e 3 (t).
  18. 前記インテグレータに接続された第1エコー残差予測部ER(1)と、 First echo residual estimator ER connected to the integrator (1),
    前記インテグレータに接続された第2エコー残差予測部ER(2)とをさらに備える請求項16に記載の装置。 Apparatus according to the second echo residual estimator ER (2) and claim 16, further comprising coupled to the integrator.
  19. 前記第1エコー残差予測部ER(1)は、前記最小エコー出力e (t)と前記スピーカ信号x(t)との相互相関の解析を含む第1残差予測ER (t)を生成するように構成され、 The first echo residual estimator ER (1), the minimum echo output e 3 first residue comprising an analysis of the cross-correlation of the (t) and the loudspeaker signal x (t) predicted ER 1 a (t) is configured generate,
    前記第2エコー残差予測部ER(2)は、前記最小エコー出力e (t)と前記スピーカ信号x(t)との間のエコー距離ミスマッチを含む第2残差予測ER (t)を決定するように構成されている請求項18に記載の装置。 The second echo residual estimator ER (2), the minimum echo output e 3 the second residue contains an echo distance mismatch between the (t) and the speaker signal x (t) predicted ER 2 (t) the apparatus of claim 18 which is configured to determine the.
  20. 前記相互相関解析は、e (t)とx(t)との相互相関の期待値の計算を含む請求項19に記載の装置。 The cross-correlation analysis apparatus according to claim 19 including the calculation of the expected value of the cross-correlation of e 3 (t) and x (t).
  21. 前記エコー距離ミスマッチは、{e (t)/x (t)}の期待値の計算を含む請求項19に記載の装置。 The echo distance mismatch apparatus of claim 19 including the calculation of the expected value of {e 3 2 (t) / x 2 (t)}.
  22. 前記第1および第2エコー残差予測部に接続された残差エコーキャンセレーションモジュールをさらに備える装置であって、 A further comprises apparatus residual echo cancellation module coupled to the first and second echo residual estimator,
    前記残差エコーキャンセレーションモジュールは、 The residual echo cancellation module,
    第1残差予測部ER(1)の2次ノルムN(1)を計算し、第2残差予測ER(2)の2次ノルムN(2)を計算するように構成され、 Secondary norm N (1) of the first residual prediction unit ER (1) was calculated, configured to calculate the second-order norm N of the second residual prediction ER (2) (2),
    前記残差エコーキャンセレーションモジュールは、ダブルトークの間、対応するノルムN(1)またはN(2)がより小さい前記エコー残差予測部ER(1)またはER(2)を、e (t)に適用するように構成されている請求項19に記載の装置。 The residual echo cancellation module during the double talk, the corresponding norm N (1) or N (2) is smaller than the echo residual estimator ER (1) or ER (2), e 3 ( t the apparatus of claim 19, which is configured to apply to).
  23. 前記第1および第2エコー残差予測部に接続された残差エコーキャンセレーションモジュールをさらに備える装置であって、 A further comprises apparatus residual echo cancellation module coupled to the first and second echo residual estimator,
    前記残差エコーキャンセレーションモジュールは、 The residual echo cancellation module,
    第1残差予測部ER(1)の2次ノルムN(1)を計算し、第2残差予測ER(2)の2次ノルムN(2)を計算するように構成され、 Secondary norm N (1) of the first residual prediction unit ER (1) was calculated, configured to calculate the second-order norm N of the second residual prediction ER (2) (2),
    前記残差エコーキャンセレーションモジュールは、シングルトークの間、対応するノルムN(1)またはN(2)がより大きい前記エコー残差予測部ER(1)またはER(2)を、e (t)に適用するように構成されている請求項19に記載の装置。 The residual echo cancellation module, during single talk, the corresponding norm N (1) or N (2) is greater than the echo residual estimator ER (1) or ER (2), e 3 ( t the apparatus of claim 19, which is configured to apply to).
  24. 前記第1および第2エコー残差予測部に接続された残差エコーキャンセレーションモジュールをさらに備える装置であって、 A further comprises apparatus residual echo cancellation module coupled to the first and second echo residual estimator,
    前記残差エコーキャンセレーションモジュールは、最小残差エコー予測ER (t)を決定するように構成されており、 The residual echo cancellation module is configured to determine the minimum residual echo prediction ER 3 (t),
    前記最小残差エコー予測ER (t)は、ER (t)とER (t)のうちの一で、エネルギが最小でありx(t)との相関が最小である請求項19に記載の装置。 The minimum residual echo prediction ER 3 (t), in one of the ER 1 (t) and ER 2 (t), in claim 19 correlation is minimum, and is x (t) the energy is minimum the apparatus according.
  25. 前記残差エコーキャンセレーションモジュールは、前記最小エコー出力e (t)からER (t)を選択的に除去するように構成されている請求項24に記載の装置。 The residual echo cancellation module, according to the minimum echo output e 3 claim 24 that is configured to selectively remove ER 3 a (t) from (t).
  26. 前記残差エコーキャンセレーションモジュールは、遠端通話のみの期間に、前記マイクロフォン出力からER (t)を最大限に除去するように構成されている請求項25に記載の装置。 The residual echo cancellation module, a period of only far-end speech, according to claim 25 that is configured to remove maximize ER 3 a (t) from the microphone output.
  27. 前記残差エコーキャンセレーションモジュールは、前記ローカル信号s(t)の強度が0でない場合に、前記マイクロフォン出力からER (t)を最小限に除去するように構成されている請求項25に記載の装置。 The residual echo cancellation module, according to the local signal s when the intensity of the (t) is not zero, the claim 25, which is configured to remove minimize the microphone output ER 3 a (t) device.
  28. 前記マイクロフォンに接続されたノイズキャンセレーションモジュールをさらに備え、 前記ノイズキャンセレーションモジュールは、 Further comprising a noise cancellation module coupled to the microphone, the noise cancellation module,
    マイクロフォン信号d(t)から予測ノイズ信号n'(t)を計算し、 Calculate a predicted noise signal n '(t) from the microphone signal d (t),
    予測ノイズ信号n'(t)レベルを減少させて、低減ノイズ信号n”(t)を形成し、 It predicted noise signal n '(t) level is reduced to form a reduced noise signal n "(t),
    マイクロフォン出力信号に、その低減ノイズ信号n”(t)を取り入れるように構成されている請求項16に記載の装置。 The microphone output signal, according to the reduced noise signal n "(t) according to claim 16 that is configured to incorporate.
  29. マイクロフォンと、 And a microphone,
    スピーカと、 And speaker,
    前記マイクロフォンとスピーカとに接続されているプロセッサと、 A processor connected to said microphone and speaker,
    前記プロセッサに接続されているメモリとを備える音響信号処理システムであって、 An audio signal processing system and a memory connected to said processor,
    前記メモリは、 Wherein the memory,
    スピーカ信号x(t)を受け取るスピーカと、 A speaker for receiving the speaker signal x (t),
    ローカル信号s(t)と、前記スピーカ信号x(t)に依存するエコー信号x (t)とを含むマイクロフォン信号d(t)を受け取るマイクロフォンを有するシステムにおけるエコーキャンセレーション方法を実装するためのプロセッサ可読命令の組を格納し、 A local signal s (t), the loudspeaker signal x echo signal x 1 that depends on (t) (t) and for implementing the echo cancellation method in a system having a microphone for receiving the microphone signal d (t) including storing a set of processor readable instructions,
    前記プロセッサ可読命令は、 Wherein the processor readable instructions,
    前記マイクロフォン信号d(t)を、第2適応フィルタに対して相補的なキャンセレーション特性を有する第1適応フィルタと、前記第2適応フィルタとで並行にフィルタリング処理するための命令を含み、 Said microphone signal d (t), comprising: a first adaptive filter having a complementary cancellation characteristics with respect to the second adaptive filter, the instructions for filtering in parallel with said second adaptive filter,
    前記第1および第2適応フィルタのフィルタリング特性は、該第1および第2適応フィルタのうちの一方がその入力にうまく適応していないときに、他方はうまく適応するような特性であり、 Filtering characteristic of said first and second adaptive filters, when one of the first and second adaptive filters is not well adapted to its input, the other is a characteristic such that well adapted,
    前記第1および第2適応フィルタのうちの一方がうまく適応するのは、そのフィルタ関数h(n)が安定しており、真のエコーパスフィルタに収束し、過大予測も過小予測もされていないときであり、 Wherein the first and the the one of the second adaptive filter to adapt well, the have a filter function h (n) is stable and converges to the true echo path filter, not also be underestimated overestimated is when,
    前記第1適応フィルタは、音声アクティビティ検出フィルタであり、 Wherein the first adaptive filter is a voice activity detection filter,
    前記第2適応フィルタは、相互相関解析フィルタであり、 It said second adaptive filter is a cross-correlation analysis filter,
    前記プロセッサ可読命令はさらに、 Wherein the processor readable instructions further
    前記第1適応フィルタからの出力e (t)と前記第2適応フィルタからの出力e (t)から、スピーカ信号x(t)との相関がより少ない最小エコー出力e (t)を決定するための命令と、 The output e 1 from the first adaptive filter (t) output e 2 from the second adaptive filter (t), the minimum echo output e 3 correlation between loudspeaker signal x (t) less the (t) and instructions for determining,
    前記最小エコー出力e (t)を用いて、マイクロフォン出力を生成するための命令と、 Wherein using minimum echo output e 3 a (t), and instructions for generating a microphone output,
    を含む音響信号処理システム。 Audio signal processing system including.
  30. プロセッサに接続されているメモリを備えるプロセッサ可読媒体であって、 A processor-readable medium comprising memory connected to the processor,
    前記メモリは、 Wherein the memory,
    スピーカ信号x(t)を受け取るスピーカと、 A speaker for receiving the speaker signal x (t),
    ローカル信号s(t)と、スピーカ信号x(t)に依存するエコー信号x (t)とを含むマイクロフォン信号d(t)を受け取るマイクロフォンを有するシステムにおけるエコーキャンセレーション方法を実装するためのプロセッサ可読命令の組を格納し、 A local signal s (t), a processor for implementing the echo cancellation method in a system having a microphone for receiving the microphone signal d (t) including the echo signal x 1 that depends on the loudspeaker signal x (t) (t) and stores the set of readable instructions,
    前記プロセッサ可読命令は、 Wherein the processor readable instructions,
    前記マイクロフォン信号d(t)を、第2適応フィルタに対して相補的なキャンセレーション特性を有する第1適応フィルタと、前記第2適応フィルタとで並行にフィルタリング処理するための命令を含み、 Said microphone signal d (t), comprising: a first adaptive filter having a complementary cancellation characteristics with respect to the second adaptive filter, the instructions for filtering in parallel with said second adaptive filter,
    前記第1および第2適応フィルタのフィルタリング特性は、該第1および第2適応フィルタのうちの一方がその入力にうまく適応していないときに、他方はうまく適応するような特性であり、 Filtering characteristic of said first and second adaptive filters, when one of the first and second adaptive filters is not well adapted to its input, the other is a characteristic such that well adapted,
    前記第1および第2適応フィルタのうちの一方がうまく適応するのは、そのフィルタ関数h(n)が安定しており、真のエコーパスフィルタに収束し、過大予測も過小予測もされていないときであり、 Wherein the first and the the one of the second adaptive filter to adapt well, the have a filter function h (n) is stable and converges to the true echo path filter, not also be underestimated overestimated is when,
    前記第1適応フィルタは、音声アクティビティ検出フィルタであり、 Wherein the first adaptive filter is a voice activity detection filter,
    前記第2適応フィルタは、相互相関解析フィルタであり、 It said second adaptive filter is a cross-correlation analysis filter,
    前記プロセッサ可読命令はさらに、 Wherein the processor readable instructions further
    前記第1適応フィルタからの出力e (t)と前記第2適応フィルタからの出力e (t)から、スピーカ信号x(t)との相関がより小さい最小エコー出力e (t)を決定するための命令と、 The output e 1 from the first adaptive filter (t) output e 2 from the second adaptive filter (t), the smaller the correlation between the loudspeaker signal x (t) Min echo output e 3 (t), and instructions for determining,
    前記最小エコー出力e (t)を用いてマイクロフォン出力を生成するための命令と、 Instructions for generating a microphone output using the minimum echo output e 3 (t) of said,
    を含む媒体。 Media, including.
JP2009509908A 2003-08-27 2007-03-30 Echo and noise cancellation Expired - Fee Related JP4476355B2 (en)

Priority Applications (11)

Application Number Priority Date Filing Date Title
US11381728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11429047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US11381729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11381725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
PCT/US2006/017483 WO2006121896A3 (en) 2005-05-05 2006-05-04 Microphone array based selective sound source listening and video game control
US11418988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11418989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
US11381727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11381724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11381721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
PCT/US2007/065686 WO2007130765A3 (en) 2006-05-04 2007-03-30 Echo and noise cancellation

Publications (2)

Publication Number Publication Date
JP2009535996A true JP2009535996A (en) 2009-10-01
JP4476355B2 true JP4476355B2 (en) 2010-06-09

Family

ID=56290936

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009509908A Expired - Fee Related JP4476355B2 (en) 2003-08-27 2007-03-30 Echo and noise cancellation
JP2009509909A Expired - Fee Related JP4866958B2 (en) 2003-08-27 2007-03-30 Noise removal in an electronic device having a far-field microphone on the console
JP2010019147A Expired - Fee Related JP4833343B2 (en) 2003-08-27 2010-01-29 Echo and noise cancellation

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2009509909A Expired - Fee Related JP4866958B2 (en) 2003-08-27 2007-03-30 Noise removal in an electronic device having a far-field microphone on the console
JP2010019147A Expired - Fee Related JP4833343B2 (en) 2003-08-27 2010-01-29 Echo and noise cancellation

Country Status (3)

Country Link
EP (2) EP2014132A4 (en)
JP (3) JP4476355B2 (en)
WO (2) WO2007130766A3 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106734A1 (en) * 2009-03-18 2010-09-23 日本電気株式会社 Audio signal processing device
JP4964267B2 (en) * 2009-04-03 2012-06-27 有限会社ケプストラム Adaptive filters and echo canceller with this
JP2010249939A (en) * 2009-04-13 2010-11-04 Sony Corp Noise reducing device and noise determination method
US20150117652A1 (en) * 2012-05-31 2015-04-30 Toyota Jidosha Kabushiki Kaisha Sound source detection device, noise model generation device, noise reduction device, sound source direction estimation device, approaching vehicle detection device and noise reduction method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4802227A (en) * 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
JP3135937B2 (en) * 1991-05-16 2001-02-19 株式会社リコー Noise removal device
JP3110201B2 (en) * 1993-04-16 2000-11-20 沖電気工業株式会社 Noise removal device
DE69428119T2 (en) * 1993-07-07 2002-03-21 Picturetel Corp Reduction of the background noise for speech enhancement
US5806025A (en) * 1996-08-07 1998-09-08 U S West, Inc. Method and system for adaptive filtering of speech signals using signal-to-noise ratio to choose subband filter bank
WO1998039768A1 (en) * 1997-03-03 1998-09-11 Telefonaktiebolaget Lm Ericsson (Publ) A high resolution post processing method for a speech decoder
FR2771542B1 (en) * 1997-11-21 2000-02-11 Sextant Avionique filtering method frequentiel apply to sound signals denoising using a Wiener filter
DE19806015C2 (en) * 1998-02-13 1999-12-23 Siemens Ag A method of improving the acoustic sidetone attenuation in handsfree
US6263078B1 (en) * 1999-01-07 2001-07-17 Signalworks, Inc. Acoustic echo canceller with fast volume control compensation
WO2000049602A1 (en) * 1999-02-18 2000-08-24 Andrea Electronics Corporation System, method and apparatus for cancelling noise
US6426979B1 (en) * 1999-04-29 2002-07-30 Legerity, Inc. Adaptation control algorithm for echo cancellation using signal-value based analysis
US6526139B1 (en) * 1999-11-03 2003-02-25 Tellabs Operations, Inc. Consolidated noise injection in a voice processing system
JP3358731B2 (en) * 2000-04-24 2002-12-24 株式会社富建設 Care apparatus
US7139401B2 (en) * 2002-01-03 2006-11-21 Hitachi Global Storage Technologies B.V. Hard disk drive with self-contained active acoustic noise reduction
JP2003284181A (en) * 2002-03-20 2003-10-03 Matsushita Electric Ind Co Ltd Sound collection apparatus
DE10305369B4 (en) * 2003-02-10 2005-05-19 Siemens Ag User adaptive method for noise modeling
US6947549B2 (en) * 2003-02-19 2005-09-20 The Hong Kong Polytechnic University Echo canceller
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
JP4227529B2 (en) * 2004-01-06 2009-02-18 パナソニック株式会社 Periodic noise suppression apparatus
US7254535B2 (en) * 2004-06-30 2007-08-07 Motorola, Inc. Method and apparatus for equalizing a speech signal generated within a pressurized air delivery system
DE602005020662D1 (en) * 2004-10-13 2010-05-27 Koninkl Philips Electronics Nv echo cancellation

Also Published As

Publication number Publication date Type
EP2012725A2 (en) 2009-01-14 application
JP2009535996A (en) 2009-10-01 application
EP2014132A4 (en) 2013-01-02 application
EP2014132A2 (en) 2009-01-14 application
EP2012725A4 (en) 2011-10-12 application
WO2007130766A2 (en) 2007-11-15 application
JP2010171985A (en) 2010-08-05 application
WO2007130765A2 (en) 2007-11-15 application
JP2009535997A (en) 2009-10-01 application
WO2007130765A3 (en) 2008-12-18 application
JP4833343B2 (en) 2011-12-07 grant
WO2007130766A3 (en) 2008-09-04 application
JP4866958B2 (en) 2012-02-01 grant

Similar Documents

Publication Publication Date Title
US6163608A (en) Methods and apparatus for providing comfort noise in communications systems
US5598468A (en) Method and apparatus for echo removal in a communication system
US20090147966A1 (en) Method and Apparatus for In-Ear Canal Sound Suppression
US20140307887A1 (en) Systems and methods for hybrid adaptive noise cancellation
US20050129226A1 (en) Downlink activity and double talk probability detector and method for an echo canceler circuit
US8204253B1 (en) Self calibration of audio device
US6160886A (en) Methods and apparatus for improved echo suppression in communications systems
US6385176B1 (en) Communication system based on echo canceler tap profile
US20080037801A1 (en) Dual microphone noise reduction for headset application
US6968064B1 (en) Adaptive thresholds in acoustic echo canceller for use during double talk
US6282176B1 (en) Full-duplex speakerphone circuit including a supplementary echo suppressor
US20070036342A1 (en) Method and system for operation of a voice activity detector
US6434110B1 (en) Full-duplex speakerphone circuit including a double-talk detector
US8081780B2 (en) Method and device for acoustic management control of multiple microphones
US20120140917A1 (en) Active noise cancellation decisions using a degraded reference
US6961422B2 (en) Gain control method for acoustic echo cancellation and suppression
US6834108B1 (en) Method for improving acoustic noise attenuation in hand-free devices
US20110299695A1 (en) Active noise cancellation decisions in a portable audio device
US20050157866A1 (en) System and method for enhanced stereo audio
US20090016542A1 (en) Method and Device for Acoustic Management Control of Multiple Microphones
JP2006217542A (en) Howling suppression device and loudspeaker
US20090316923A1 (en) Multichannel acoustic echo reduction
WO1997045995A1 (en) Arrangement for suppressing an interfering component of an input signal
US6959167B1 (en) Noise-level adaptive residual echo suppressor
US20030039353A1 (en) Echo cancellation processing system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100309

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees