TWI682672B - 減少殘餘回聲的回聲消除系統和方法 - Google Patents

減少殘餘回聲的回聲消除系統和方法 Download PDF

Info

Publication number
TWI682672B
TWI682672B TW107109298A TW107109298A TWI682672B TW I682672 B TWI682672 B TW I682672B TW 107109298 A TW107109298 A TW 107109298A TW 107109298 A TW107109298 A TW 107109298A TW I682672 B TWI682672 B TW I682672B
Authority
TW
Taiwan
Prior art keywords
frequency
output
echo cancellation
frequency domain
band
Prior art date
Application number
TW107109298A
Other languages
English (en)
Other versions
TW201836367A (zh
Inventor
王崇安
施棟
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW201836367A publication Critical patent/TW201836367A/zh
Application granted granted Critical
Publication of TWI682672B publication Critical patent/TWI682672B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

回聲消除系統包括快速傅立葉變換(FFT)單元以提供以頻域表示(frequency domain representation；FD)的輸入訊號。多頻帶自適應濾波器接收以頻域表示的輸入訊號並經由頻域表示濾波器輸出。另一FFT單元提供麥克風訊號的頻域表示，且加合器將頻域表示濾波器輸出，以加合至麥克風信號的頻域表示以提供回聲消除器頻域表示輸出。回饋子系統使用回聲消除系統的頻域表示輸出以調整多頻帶自適應濾波器的至少第一、第二和第三頻帶的濾波器係數以最小化回聲消除器頻域表示輸出中，未消除的回聲輸出。回饋子系統根據回聲消除系統的頻域表示輸出的第一、第二和第三頻帶中未消除的輸出，以調整自適應濾波器中第二頻帶的濾波器係數。

Description

減少殘餘回聲的回聲消除系統和方法
本發明涉及音訊技術領域，並涉及具有減少殘餘回聲效能的回聲消除系統和方法。
回聲識別和消除系統適用於許多通信應用中以減少聲學回聲。幾乎任何需要同時啟動麥克風和喇叭的系統，均可受益於回聲消除，包括內部通信系統、公共廣播系統、音樂錄音和放大系統、和喇叭擴音器(包括手機中的揚聲器模式)。通過消除音訊回聲且在一些情況下消除電子回聲降低雜訊，以改善由這些麥克風檢測的音訊品質，防止干擾回饋震盪，並改善收聽檢測音訊的品質。
由於麥克風不僅接收其附近人說話的聲音(或其他聲源)，亦能從任何換能器(例如位於麥克風附近的揚聲器)拾取音訊信號，麥克風信號中的許多雜訊因此被增強；因此，所產生的麥克風信號實際上為在麥克風處拾取的揚聲器信號和源於聲源的信號的疊加。在具有第一和第二互連組的揚聲器和麥克風的系統(例如，全雙工內部通信系統或在電話的每一端處的喇叭擴音器)中，不僅疊加的信號難以理解，且由第二組的麥克風拾取的疊加的信號可能導致具有響亮的尖叫聲形式的震盪。
上述情況通常通過將驅動喇叭的信號分接，並根據被計算為從揚聲器至麥克風的路徑的最佳匹配的傳遞函數，以延遲並濾波該信號以形成延遲的喇叭信號，然後從麥克風信號中減去此延遲的喇叭信號以消除來自揚聲器音訊的麥克風信號部分，完成音訊回聲消除。
然而，傳遞函數並不總是對於真實世界中真實回聲得以達到完全匹配的程度。當傳遞函數不完全匹配時，一些殘留的、未消除的回聲即會被保留在麥克風信號中。例如，可以在消聲室內分析的原型喇叭擴音器或手機，以確定從其揚聲器至其麥克風的傳遞函數，然後生產手機時則可以被配置為從其麥克風信號減去電延遲的喇叭信號以改善麥克風信號。雖然這樣的設備可消除一些回聲(如由設備本身內的聲音路徑引起的回聲)，但由揚聲器聲音被房間牆壁反射並進入麥克風引起的回聲則不會被消除，原因是當確定傳遞函數時其回聲並不存在，因此沒有被傳遞函數表示；由聲音的反射引起的這些回聲將作為殘餘回聲保留在麥克風信號中。
在實施例中，回聲消除器包括第一快速傅立葉變換(FFT)單元，以將輸入訊號以頻域表示(frequency domain representation；FD)。多頻帶自適應濾波器接收輸入的頻域表示並經由一頻域表示濾波器輸出，多頻帶自適應濾波器可為多頻帶有限脈衝自適應(FIR)數位濾波器。回聲消除器包括一第二快速傅立葉變換單元，以提供一以頻域表示表示的麥克風訊號，和將頻域表示濾波器的輸出加合至麥克風訊號，以提供回聲消除系統頻域表示輸出的加合器。回饋子系統使用回聲消除系統的頻域表示輸出，以調整多頻帶自適應濾波器的至少第一、第二和第三頻帶的濾波器係數以最小化回聲消除器頻域表示輸出中，未消除的回聲輸出。回饋子系統根據回聲消除器頻域表示輸出的第一、第二和第三頻帶中的未消除的回聲輸出，以調整自適應濾波器中第二頻帶的濾波器係數。
在另一實施例中，消除回聲的方法包括：接收一輸入第一快速傅立葉變換單元，並以頻域表示的輸入訊號，以及，將上述輸入訊號，使用多頻帶有限脈衝自適應數位濾波器，以提供一頻域表示濾波輸出。自適應濾波器具有接收輸入訊號頻域表示；具有多個接頭，提供訊號延遲的數位延遲線裝置；用於縮放延遲幅度，具有多個接頭的乘法器；和用於加合乘法器的輸出加合器。上述方法包括：接收麥克風訊號進入第二快速傅立葉變換單元，以提供一以頻 域表示的麥克風訊號；加合頻域表示濾波器輸出和麥克風訊號的頻域表示以提供回聲消除器輸出，以及調整多頻帶自適應濾波器的至少第一、第二和第三頻帶的濾波器係數，以最小化回聲消除系統頻域表示輸出中，未消除的回聲輸出。其中，濾波器係數的調整，除了根據回聲消除系統中，頻域表示輸出的第二頻帶中，未消除的回聲外，還根據回聲消除系統第一和第三頻帶中的未消除回聲，以執行自適應濾波器的調整。
以上所述係用以說明本發明之目的、技術手段以及其可達成之功效，相關領域內熟悉此技術之人可以經由以下實施例之示範與伴隨之圖式說明及申請專利範圍更清楚明瞭本發明。
100‧‧‧回聲消除系統
102‧‧‧輸入訊號
104‧‧‧揚聲器
105‧‧‧延遲單元
106‧‧‧聲音
106A‧‧‧聲音
108‧‧‧聲音
110‧‧‧人類說話者
112‧‧‧麥克風
113‧‧‧音訊
114‧‧‧多頻帶自適應濾波器
115‧‧‧多頻帶自適應濾波器
116‧‧‧合成單元
118‧‧‧校正訊號
120‧‧‧加合器
122‧‧‧輸出訊號
A 124‧‧‧FFT單元
B 126‧‧‧FFT單元
C 128‧‧‧自適應分析單元
130‧‧‧障礙物
300‧‧‧頻域實施例
301‧‧‧數位輸入訊號
302‧‧‧時間切片器
304‧‧‧FFT單元
305‧‧‧頻域輸入
308‧‧‧數位延遲單元
310‧‧‧喇叭單元
314‧‧‧延遲線裝置
316‧‧‧乘法器
320‧‧‧加合器
321‧‧‧組合器
322‧‧‧組合器
323‧‧‧多頻帶自適應濾波器
324‧‧‧逆FFT
325‧‧‧輸出訊號
328‧‧‧麥克風音訊
330‧‧‧麥克風訊號
332‧‧‧時間切片與FFT模組
333‧‧‧麥克風音訊
335‧‧‧頻域輸出訊號
336‧‧‧係數適配器
338‧‧‧閾值單元
345‧‧‧步驟
347‧‧‧步驟
349‧‧‧步驟
351‧‧‧校正因數
352‧‧‧步驟
354‧‧‧向量X(K)
356‧‧‧乘積
358‧‧‧校正向量△W
360‧‧‧加合器
364‧‧‧矩陣節約器
362‧‧‧濾波器係數矩陣寄存器
400‧‧‧頻率回應
402‧‧‧主瓣
404‧‧‧第一上旁瓣
406‧‧‧第一下旁瓣
408‧‧‧第二上旁瓣
410‧‧‧第二下旁瓣
412‧‧‧旁瓣
500‧‧‧系統
502‧‧‧第一內部通信單元
504‧‧‧第二內部通信單元
506‧‧‧回聲消除器
508‧‧‧回聲消除器
510‧‧‧多頻帶自適應調整分析單元
512‧‧‧多頻帶自適應調整分析單元
514‧‧‧麥克風輸出
516‧‧‧麥克風輸出
圖1係顯示回聲消除系統的架構圖。
圖2是回聲消除系統的頻域實施例的詳細的架構圖。
圖3描述由圖2的係數適配器336使用歸一化最小均方法(NMLS)，以調整自適應濾波器323的頻率延遲幅度係數中的疏鬆矩陣的係數W(I,K)。
圖4係顯示在圖2的實施例中，使用有限脈衝濾波器的帶內和帶外衰減的情形。
圖5是以本發明的回聲消除系統，運用在內部通信系統中，一實施例的架構圖。
本發明將以較佳之實施例及觀點加以詳細敘述。下列描述提供本發明特定的施行細節，俾使閱者徹底瞭解這些實施例之實行方式。然該領域之熟習技藝者須瞭解本發明亦可在不具備這些細節之條件下實行。此外，本發明 亦可藉由其他具體實施例加以運用及實施，本說明書所闡述之各項細節亦可基於不同需求而應用，且在不悖離本發明之精神下進行各種不同的修飾或變更。本發明將以較佳實施例及觀點加以敘述，此類敘述係解釋本發明之結構，僅用以說明而非用以限制本發明之申請專利範圍。以下描述中使用之術語將以最廣義的合理方式解釋，即使其與本創作某特定實施例之細節描述一起使用。
回聲消除系統100係顯示於圖1。該系統具有揚聲器104，產生一數位化的輸入訊號102，以輸出聲音；在一些實施例中，輸入訊號102通過延遲單元105，以驅動揚聲器104，使回聲消除系統100中的其他部分中的延遲得到補償。來自揚聲器104的聲音106，與來自人類說話者110或其他聲源的聲音108一起到達麥克風112，其中，上述聲音106與聲音108被轉換為電子訊號並被數位化為數位音訊。來自麥克風112的音訊113通過多頻帶自適應濾波器114和合成單元116以生成校正訊號118，校正訊號118被與來自麥克風112的音訊113被加合器120加合，以提供消除回聲後的輸出訊號122。
由揚聲器104到麥克風112的過程中，通常是如聲音106(經由一直接路徑)，和聲音106A(經由一個或多個間接路徑)的疊加，其中所述的間接路徑，可以包括從牆壁，或其他障礙物130反射後的聲音106A。
理想上，成功的回聲消除要求校正訊號118，與來自揚聲器104的聲音106經過麥克風112後，所產生的音訊113振幅相等且相位相反─這使得多頻帶自適應濾波器114的濾波器係數在建立時必須根據聲音106的直接路徑上的傳遞函數。
在本發明一實施例中，多頻帶自適應濾波器114的濾波器係數的調整乃經由三個部分所得出：FFT A 124通過將輸入訊號102分成複數個頻率子帶，與特定頻率子帶的振幅和相位，以確定可能發出回聲的訊號何時存在於輸入訊號102中，以決定何時調整濾波器係數以降低回聲。FFT B 126通過將來自麥克風112的音訊113，分成複數個頻率子帶，與特定頻率子帶的振幅和相位以分析來自麥克風112的音訊113，自適應分析單元C 128則通過再次將回聲消除 系統的輸出訊號122分成複數個頻率子帶，與特定頻率子帶的振幅和相位來分析回聲消除系統的輸出訊號122中的殘餘回聲。
根據本發明一觀點，一用於語音，但不用於音樂的內部通信系統的實施例中，一數位化的輸入訊號102以脈波編碼調變(PCM)的方式，以8000Hz的頻率進行採樣(該頻率通常用於電話網路)，並經由內部通信系統的遠端或擴音器單元(未示出)接收進入延遲單元105，然後經過數位類比轉換器(DAC)進入揚聲器104。上述輸入訊號102同樣會進入多頻帶自適應濾波器114(圖1)、323(圖2)。在本發明另一實施例中，為提供更好的品質，輸入訊號以16000Hz進行採樣。於本發明再一實施例中，當用於錄製音樂時，輸入訊號則以音響CD的44100Hz的速率而被採樣。
在一實施例中，延遲元件105、多頻帶自適應濾波器114、FFT A 124單元、FFT B 126單元、自我適應分析單元128、合成單元116和加合器120為包含在一數位訊號處理器中，儲存於一記憶體，且可為機器所讀取的韌體；當執行儲存於韌體中的指令時，數位訊號處理器使用其記憶體，以提供上述元件間的功能連結，以及執行韌體指令時所需要的資料暫存。
在一頻域實施例300(圖2)中，以PCM進行的數位輸入訊號301的N個PCM樣本的群組由時間切片器(time-slicer)302所採樣，且對每個時間片段以一FFT單元304執行快速傅立葉變換。為達到最佳化補償回聲消除系統100處理延遲的目的，可選擇一數位延遲單元308，可使PCM音響透過喇叭單元310轉換為類比訊號，並輸出至喇叭和揚聲器。其中，上述喇叭單元310可為一具有DAC(Digital to analog，數位類比轉換)功能的喇叭。
在每個FFT單元304中，可對數位輸入訊號301進行時間分段，以對每個時間片段內的音響的多個頻率中的振幅和相位以頻域表示。在各種實施例中，時間間隔可從0.01至0.04秒。
來自FFT 304的每個頻帶中每個頻率的振幅和相位通常由複數 表示，量化的振幅和頻率在此可以參考為複數。這些複數由包含複數個接頭的數位化的延遲線裝置314和乘法器316的自適應濾波器323進一步處理，上述的乘法器316將頻帶的每個頻率與每個振幅乘以具有可變係數W(I,K)的延遲強度頻率矩陣中的延遲強度頻率帶係數，其中I是特定頻帶，K則表示具有複數個接頭的延遲線裝置314的延遲接頭。在特定實施例中，延遲強度頻率矩陣W(I,K)為疏鬆陣列。在一些實施例中，延遲線裝置314提供從0.02至0.3秒的最大延遲，K的範圍從0-P，其中0表示無延遲，而P則表示最大延遲。從延遲線裝置314的多個接頭中所擷取的每個振幅和相位，與用於每個頻帶的每個係數W(I,K)的乘積，由加合器320加合，以提供在此時間片段中，消除回聲所需頻率和相位的資訊。係數W(I,K)表示頻率延遲幅度矩陣，頻率延遲幅度矩陣用於為各種類型的系統給予一初始設置，並在每個系統中自動地調整，以求將回聲最小化。根據本發明之一觀點，內部通信系統在省略如時間切片與FFT模組332的情況下，某些係數M將傾向於具有與聲音在內部通信系統中從喇叭單元310傳播至麥克風328所需的時間對應的延遲K附近或在K處的絕對值。
對於每個頻帶，延遲線裝置314、係數W(I,K)和加合器320在系統運作的過程中重複的進行運算。組合器321將每個頻帶經加合器320處理後，以頻域表示並組合後傳輸予自適應濾波器323，以輸出一輸出訊號325。
同時，麥克風音訊328被類似於時間切片器302的時間切片器切成幾個時間片段，並把每個時間片段饋入時間切片與FFT模組332以進行處理。在時間切片與FFT模組332中，麥克風音訊333做一傅立葉變換後，傳輸予自我適應濾波器323輸出一輸出訊號325，並執行逆FFT單元324以提供適於傳輸至其他內部通信系統、手機、公共廣播擴音器或系統的其他單元的麥克風訊號330。
為調整延遲強度頻率矩陣的係數，對於麥克風訊號330中的每個頻帶A做傅立葉轉換，在頻帶A中的第一頻帶A+/-1、第二頻帶A+/-2和第三頻帶A+/-3等相鄰頻帶作為回饋至係數適配器336的頻域輸出訊號335，係數適配器336則調整延遲強度頻率矩陣M(A,K)中的係數以持續進行優化頻域輸出訊 號的輸出。
在圖2的實施例中，音訊由多頻帶自適應濾波器323即時且將每個頻帶獨立處理，每個頻帶A都分別具有延遲強度係數W(A,K)的疏鬆陣列。自適應濾波器323的輸出與麥克風訊號330加合，以提供回聲消除的訊號輸出，且根據消除回聲後的訊號輸出以調整疏鬆陣列延遲強度頻帶係數。
在圖2的實施例中，由聲音106、聲音106A形成的音訊113(圖1)中的訊號分量對於內部聲音傳播隨每個系統改變，並對於外部聲音傳播隨系統的設置而改變。此外，在內部通信系統的情況下，這些分量還會隨日常的環境條件(例如位於內部通信系統附近的停著的車和門的開關)，以及例如人和動物等物體的存在或不存在而改變。由這些分量引起的回聲，其被消除的程度極大地取決於多頻帶自適應濾波器114的係數W(I,K)，特別是延遲強度頻率矩陣中的延遲強度係數。其中，自適應分析單元C 128(圖1)或係數適配器336(圖2)的運作乃基於麥克風122中存在的回聲，與輸入訊號102、數位輸入訊號301中，未消除的或殘餘的回聲來調整延遲強度係數。一般來說，只有當閾值單元338判斷頻帶的輸入訊號102具有顯著幅度的增加時，才會調整這些係數，並調整在麥克風122和麥克風訊號330處減少那個相同頻帶內的頻率分量。
在本發明一實施例中，使用單頻帶回饋的系統通常在輸出訊號122與麥克風訊號330中具有顯著未消除的回聲，因此期望改善回聲消除的效果。於另一實施例中，在確定用於當前頻帶A的係數W(A,K)中，透過使用不僅來自當前頻帶A，還包括相鄰的頻帶A-3、A-2、A-1、A+1、A+2和I+3的回饋實現了回聲消除效能的改進。
在本發明一實施例中，典型的傅立葉變換(例如圖2的多頻帶自適應濾波器323)具有頻率回應400(圖4)，頻率回應400具有“主瓣”402和第一上旁瓣404、第一下旁瓣406、第二上旁瓣408和第二下旁瓣410中的顯著能量。額外的旁瓣412存在，然而其通常是比第一上旁瓣404、第二上旁瓣408、第一下旁瓣406，以及第二下旁瓣410顯著地為弱。相似地，FFT單元304與時 間切片與FFT模組332也具有顯著的旁瓣，在此實施例中，這些旁瓣對殘餘回聲有影響。
在本發明一實施例中，當調整頻帶A的延遲強度頻率矩陣係數時，不僅需考慮頻帶A內的輸出的幅度，還需考慮與頻帶A相鄰的至少頻帶A-1和A+1中的輸出的幅度，如此回聲消除的效能可獲得顯著的改善。在一些實施例中，不僅需考慮第一個相鄰的頻帶，還需考慮第二相鄰的頻帶，甚至第一、第二和第三相鄰的頻帶。在特定實施例中，當對頻帶A調整係數時，必須考慮到第一和第二相鄰的頻帶A-2、A-1、A、A+1、A+2。為此，在圖2的實施例中，以延遲線裝置314和加合器320的特定頻帶A，調整延遲強度頻率係數的頻帶的頻域輸出訊號335至少包括那個頻帶A、下一相鄰的頻帶A+1和頻帶A-1的幅度。由於頻帶的數量是有限的，因此最低的頻帶B接收來自頻帶B和頻帶B+1的回饋，而最高的頻帶C接收來自頻帶C和頻帶C-1的非零回饋。在圖2的實施例中，使用16000Hz的採樣速率和0.02秒傅立葉變換的幀寬，在該實施例中，具有320個頻帶。在本發明另一實施例中，使用150個或更多個頻帶。
在本發明中，所述的回聲消除器的自適應濾波器被描述為具有係數的延遲強度頻率矩陣。根據本發明一觀點，當使用如在此描述的自適應濾波器為回聲消除確定準確的係數時，一些係數具有顯著的、非零值，且一些係數小。我們使用0替換小於閾值的係數，以最小化自適應濾波器所需的乘法運算的數量。在特定實施例中，動態地確定閾值以保持乘法運算的數量低於該閾值，可確保不超過系統的數位訊號處理器的可用處理能力的限制。
係數適配器336的使用，如圖3中所示，乃基於歸一化最小均方法(NLMS)，以執行自適應濾波器係數W(I,K)的優化。此方法尋找產生誤差信號的最小均方的濾波器係數，在上述實施例中，誤差信號是在顯著的數位輸入訊號301存在於當前頻帶A和附近頻帶A-m至A+m(對於整數m)中的時間片段內的相同頻帶中，所消除的麥克風訊號330─在音訊輸入不存在於相同頻帶中的時間片段期間，則不更新濾波器係數。在執行時間片段n後，由校正向量△W(A,K)(n)調整濾波器係數W(A,K)。
以頻率A-m至A+m來說，對於每個時間片段，組合的頻域輸出訊號335首先透過除以來自相同頻帶的頻域輸入305的輸入頻率而歸一化，然後，將誤差E(n)計算為對頻帶A的時間上頻率A-m至A+m的頻域輸出訊號335的加權總和，此加權總和由預定步長μ進行縮放。μ是小於1的預定步長，並經由實驗確定，若μ較小，則回聲的消除較為穩定，若μ較大，則可能較為不穩；其結果可由一校正因數351來表示。在本發明方法的步驟352中，向量X被從自適應濾波器的延遲線裝置314的接頭，以得出向量X(K)354，步驟352中亦補償了電路和其他延遲，例如時間切片與FFT模組332的延遲。校正向量△W 358被計算為校正因數351乘以向量X(K)354的乘積356，校正向量△W358然後由加合器360加合至存儲在濾波器係數矩陣寄存器362中的濾波器係數W(A,K)，從濾波器係數矩陣寄存器362將濾波器係數W(A,K)傳輸至乘法器316。來自加合器360的總和在被存儲在濾波器係數矩陣寄存器362之前，被矩陣節約(matrix thrifting)器364節約。
圖1-4所描述的回聲消除系統100，可以應用於圖5的內部通信系統中。系統500具有與第二內部通信單元504通信的第一內部通信單元502。其中，第一內部通信單元502、與第二內部通信單元504具有如圖1中的的延遲單元105、揚聲器104和麥克風112，耦接至回聲消除器506與回聲消除器508，以消除在內部通信系統中，由麥克風112接收，起源於揚聲器104的回聲。回聲消除器506與回聲消除器508具有如先前描述的多頻帶自適應濾波器114、合成單元116和加合器120與多頻帶自適應分析單元510、512，當調整多頻帶自適應濾波器114中，頻帶A的延遲強度頻率矩陣係數W(A,K)時，不僅需考慮到每個頻帶A內的輸出的幅度，亦需考慮與頻帶A相鄰的至少第一相鄰頻帶A-1以及A+1內的輸出的幅度。
來自第一內部通信單元502的麥克風輸出514，耦接第二內部通信單元504的輸入端，被傳輸至延遲單元105、揚聲器104、和多頻帶自適應濾波器114，此外，第二內部通信單元504的麥克風輸出516，耦接至第一內部通信單元502的輸入端，並被傳輸至延遲單元105、揚聲器104、以及多頻帶自適 應濾波器115，使第一內容通信單元502和第二通信單元504之間得以互相通話。
組合：在此描述的各種方法和元件可以下述幾種實施例根據應用的需要進行適當的修飾或組合，請參閱如下說明。
根據本發明之第一態樣，回聲消除系統包含：第一快速傅立葉變換單元以提供輸入信號，其中該輸入訊號以頻域表示；一接收輸入信號，並提供頻域表示濾波器輸出的多頻帶自適應濾波器，上述多頻帶自適應濾波器包含，一具有複數個接頭，以接收輸入信號頻域表示的數位延遲線裝置、一乘法器，以縮放來自該延遲線裝置中，該輸入訊號的強度、以及用於加合乘法器的輸出的加合器；一第二快速傅立葉變換單元，接收麥克風訊號並提供所述麥克風訊號的頻域表示；一加合器，接收所述的頻域表示濾波器輸出和麥克風訊號的頻域表示，並提供回聲消除系統的頻域表示輸出；以及，一回饋子系統，接收回聲消除器頻域表示輸出並調整多頻帶自適應整濾波器的第一頻帶、第二頻帶和第三頻帶內的未消除的回聲輸出，以最小化回聲消除器頻域表示輸出中的未消除回聲；其中回饋子系統根據回聲消除器頻域表示輸出的第一頻帶、第二頻帶和第三頻帶中的未消除的回聲輸出，以調整自適應濾波器第二頻帶的濾波器係數。
根據本發明的第二態樣，回聲消除系統包括第一態樣中的回聲消除系統，其中，自適應濾波器的濾波器係數為延遲強度頻率係數的疏鬆陣列。
根據本發明的第三態樣，回聲消除系統包括第一態樣或第二態樣的回聲消除系統，該回聲消除器至少有150個頻帶。
根據本發明的第四態樣，回聲消除系統包括第一、第二或第三態樣中的回聲消除系統，其中，回饋子系統使用歸一化最小均方方法調整多頻帶自適應濾波器的濾波器係數。
根據本發明的第五態樣，回聲消除系統包括第一、第二、第三或第四態樣中的回聲消除系統，還包括接收回聲消除系統頻域表示輸出並提供回聲消除系統輸出的逆快速傅立葉變換單元。
根據本發明的一實施例，一電臺包括接收聲訊並將麥克風信號提供給根據第一、第二、第三、第四或第五態樣的回聲消除系統中的回聲消除系統的加合器的麥克風，並包括耦接至回聲消除系統的多頻帶自適應濾波器的輸入訊號的數位輸入訊號端；和從回聲消除器輸出端的輸出。
根據本發明之第一觀點，本發明消除回聲的方法包含：接收輸入訊號進入第一快速傅立葉變換單元，並以頻域表示輸入信號；一多頻帶自適應濾波器，以濾波輸入訊號的頻域表示，該多頻帶自適應濾波器包含一數位延遲線裝置，其具有複數個接頭，以接收輸入訊號的頻域表示並加以延遲、一乘法器，以縮放來自該延遲線裝置中，該輸入訊號的強度，以及，用以加合乘法器輸出的加合器；接收一麥克風訊號進入適於提供麥克風訊號頻域表示的第二快速傅立葉變換單元；加合多頻帶自適應濾波器的輸出和麥克風訊號的頻域表示以提供回聲消除器頻域表示輸出；以及，調整多頻帶自適應濾波器的至少第一頻帶、第二頻帶和第三頻帶的濾波器係數，以最小化回聲消除器頻域表示輸出中，未消除的回聲輸出；其中，該多頻帶自適應濾波器之第二頻帶中，濾波器係數的調整，除了根據回聲消除器頻域表示輸出中，第二頻帶中未消除的回聲輸出外，還根據回聲消除器頻域表示輸出中的第一頻帶和第三頻帶中，未消除的回聲輸出。
根據本發明之消除回聲的方法之第二觀點，多頻帶自適應濾波器的濾波器係數為延遲強度頻率係數的疏鬆矩陣。
根據本發明之消除回聲的方法之第三觀點，更包含上述第一觀點與第二觀點中，其至少有150個頻帶。
根據本發明之消除回聲的方法之第四觀點，更包含上述第一、第 二與第三觀點中，使用歸一化最小均方法，以調整多頻帶自適應濾波器的濾波器係數。
本發明並未侷限在此處所描述之特定細節特徵。在不脫離本發明之精神與範疇下，與先前描述與圖式相關之許多不同的發明變更是可被允許的。因此，本發明將由下述之專利申請範圍來包含其所可能之修改變更，而非由上方描述來界定本發明之範疇。
100‧‧‧回聲消除系統
102‧‧‧輸入訊號
104‧‧‧揚聲器
105‧‧‧延遲單元
106‧‧‧聲音
106A‧‧‧聲音
108‧‧‧聲音
110‧‧‧人類說話者
112‧‧‧麥克風
113‧‧‧音訊
114‧‧‧多頻帶自適應濾波器
115‧‧‧多頻帶自適應濾波器
116‧‧‧合成單元
118‧‧‧校正訊號
120‧‧‧加合器
122‧‧‧輸出訊號
124‧‧‧FFT-A
126‧‧‧FFT-B
C 128‧‧‧自我調整分析
130‧‧‧障礙物

Claims (12)

  1. 一種回聲消除系統，包括：一第一快速傅立葉變換單元，提供一輸入訊號的頻域表示；一多頻帶自適應濾波器被配適，以接收該輸入訊號的該頻域表示，並提供一頻域表示濾波器輸出，該多頻帶自適應濾波器包含一數位延遲線被耦合用以接收該輸入訊號的該頻域表示、複數個乘法器被配置用以縮放來自該數位延遲線的複數個頻帶中複數個延遲接頭的延遲頻域表示信號的強度、以及一第一加合器用於加合來自該複數個乘法器的輸出；一第二快速傅立葉變換單元被適配，用以接收一麥克風訊號並提供一個該麥克風訊號的頻域表示；一第二加合器，接收所述頻域表示濾波器輸出和該麥克風訊號的該頻域表示，並提供該一個該回聲消除系統頻域表示輸出；以及一回饋子系統被適配，用以接收該回聲消除系統頻域表示輸出並調整該複數個乘法器的濾波器係數，該複數個乘法器被配置用以縮放與來自多頻帶自適應濾波器的延遲線之延遲頻域表示訊號中複數個頻帶的至少一第一頻帶、一第二頻帶和一第三頻帶的濾波器係數相關的延遲接頭以最小化該回聲消除系統中，未消除的回聲輸出；其中，該回饋子系統被配置，根據該回聲消除系統頻域表示輸出的每一個該第一頻帶、該第二頻帶和該第三頻帶內的未消除回聲來縮放與該自適應濾波器的第二頻帶相關聯的延遲接頭，以調整與該自適應濾波器的該第二頻帶相關的乘法器濾波器係數，僅當該第二頻帶中存在高於一閾值的未消除輸出時調整係數，該第一和該第三頻帶與該第二頻帶相鄰。
  2. 如請求項1所述的回聲消除系統，該自適應濾波器的濾波器係數為延遲幅度頻率係數的一疏鬆矩陣。
  3. 如請求項1所述的回聲消除系統，該回聲消除系統至少有150個頻帶。
  4. 如請求項1所述的回聲消除系統，該回饋子系統使用歸一化最小均方方法調整該多頻帶自適應濾波器的濾波器係數。
  5. 如請求項4所述的回聲消除系統，其中該自適應濾波器的濾波器係數為，一疏鬆矩陣中的延遲強度頻率係數。
  6. 如請求項4所述的回聲消除系統，該回聲消除系統至少有150個頻帶。
  7. 如請求項4所述的回聲消除系統，更包含一逆快速傅立葉變換單元，該逆快速傅立葉變換單元接收該回聲消除系統頻域表示輸出，並提供該回聲消除系統輸出。
  8. 一種電臺，包括：一麥克風被適配，以接收音訊並將麥克風訊號傳送至如請求項1所述的回聲消除系統之該第二加合器；一輸入端，耦接至該回聲消除系統的多頻帶自適應濾波器的一輸入訊號；以及一輸出端，耦接該回聲消除系統以輸出訊號。
  9. 一種消除回聲的方法，包括：接收一輸入訊號進入第一快速傅立葉變換單元，並以提供該輸入訊號一頻域表示；利用一多頻帶自適應濾波器，提供作為頻域表示濾波器輸出，以濾波該輸入訊號的該頻域表示，該多頻帶自適應濾波器包含一延遲線被耦合，以接收該輸入訊號的該頻域表示以及提供複數個延遲接頭、複數個乘法器被配置，以縮放來自該延遲線中，該輸入訊號的強度、以及，利用一第一加合器加合該複數個乘法器輸出；接收一麥克風訊號進入適於提供該麥克風訊號頻域表示的一個第二快速傅 立葉變換單元；於一第二加合器中加合該多頻帶自適應濾波器頻域表示輸出和該麥克風訊號的頻域表示以提供一回聲消除系統頻域表示輸出；以及調整與該多頻帶自適應濾波器相關的至少一第一頻帶、一第二頻帶和一第三頻帶的多個乘法器濾波器係數，以最小化一回聲消除系統頻域表示輸出中，未消除的回聲輸出；其中，於該多頻帶自適應濾波器之第二頻帶中，對該濾波器係數的調整，除了根據該回聲消除系統頻域表示輸出中，該第二頻帶中未消除的回聲輸出外，還根據該回聲消除系統頻域表示輸出中的該第一頻帶和該第三頻帶中，未消除的回聲頻域表示輸出來執行，並且僅當該第二頻帶中的未消除輸出超過一閾值時才執行該第二頻帶的該濾波器係數的調整，並且其中該第一和第三頻帶與該第二頻帶相鄰。
  10. 如請求項9所述之消除回聲的方法，其中，該多頻帶自適應濾波器的濾波器係數為，一疏鬆矩陣中的延遲強度頻率係數。
  11. 如請求項9所述之消除回聲的方法，該方法中至少有150個頻帶。
  12. 如請求項9所述之消除回聲的方法，其中，使用歸一化最小均方法，以調整該多頻帶自適應濾波器的濾波器係數。
TW107109298A 2017-03-21 2018-03-19 減少殘餘回聲的回聲消除系統和方法 TWI682672B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/464,887 US9947337B1 (en) 2017-03-21 2017-03-21 Echo cancellation system and method with reduced residual echo
US15/464,887 2017-03-21

Publications (2)

Publication Number Publication Date
TW201836367A TW201836367A (zh) 2018-10-01
TWI682672B true TWI682672B (zh) 2020-01-11

Family

ID=61872591

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109298A TWI682672B (zh) 2017-03-21 2018-03-19 減少殘餘回聲的回聲消除系統和方法

Country Status (3)

Country Link
US (1) US9947337B1 (zh)
CN (1) CN108630217B (zh)
TW (1) TWI682672B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325613B1 (en) * 2018-07-12 2019-06-18 Microsemi Semiconductor Ulc Acoustic delay estimation
TWI696174B (zh) * 2018-11-20 2020-06-11 宇智網通股份有限公司 音訊偵測裝置以及音訊偵測方法
EP3667662B1 (en) * 2018-12-12 2022-08-10 Panasonic Intellectual Property Corporation of America Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
CN110246517B (zh) * 2019-07-08 2021-07-13 广州小鹏汽车科技有限公司 一种电台音乐识别方法、车载系统和车辆
JP2022547860A (ja) * 2019-09-11 2022-11-16 ディーティーエス・インコーポレイテッド コンテキスト適応の音声了解度を向上させる方法
CN112614500B (zh) * 2019-09-18 2024-06-25 北京声智科技有限公司 回声消除方法、装置、设备及计算机存储介质
US11817114B2 (en) * 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation
US11394414B2 (en) * 2020-04-20 2022-07-19 Bae Systems Information And Electronic Systems Integration Inc. Method of wireless interference mitigation with efficient utilization of computational resources
US11025358B1 (en) 2020-04-20 2021-06-01 Bae Systems Information And Electronic Systems Integration Inc. Method of adaptively mitigating common template multi-channel wireless interference
CN111901704B (zh) * 2020-06-16 2022-07-22 深圳市麦驰安防技术有限公司 音频数据处理方法、装置、设备及计算机可读存储介质
CN114203136A (zh) * 2020-08-26 2022-03-18 阿里巴巴集团控股有限公司 回声消除方法、语音识别方法、语音唤醒方法和装置
CN115171721B (zh) * 2022-07-03 2023-10-17 北京星汉博纳医药科技有限公司 一种音频数据切片识别处理方法
CN115696140B (zh) * 2022-12-05 2023-05-26 长沙东玛克信息科技有限公司 一种教室音频多通道回声消除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246760B1 (en) * 1996-09-13 2001-06-12 Nippon Telegraph & Telephone Corporation Subband echo cancellation method for multichannel audio teleconference and echo canceller using the same
US20040018860A1 (en) * 2002-07-19 2004-01-29 Nec Corporation Acoustic echo suppressor for hands-free speech communication
US20040062403A1 (en) * 2002-09-27 2004-04-01 Lucent Technologies Inc. Solution space principle component-based adaptive filter and method of operation thereof
US20100215185A1 (en) * 2009-02-20 2010-08-26 Markus Christoph Acoustic echo cancellation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04123621A (ja) * 1990-09-14 1992-04-23 Nippon Telegr & Teleph Corp <Ntt> 反響消去装置
NO20053393A (no) * 2005-07-13 2006-09-11 Tandberg Telecom As Fremgangsmåte og system for ekkokansellering med liten forsinkelse.
CN101320996B (zh) * 2008-05-27 2012-10-10 中山大学 一种自适应噪声消除装置及方法
CN101958122B (zh) * 2010-09-19 2013-01-09 杭州华三通信技术有限公司 一种回声消除的方法和装置
CN102185991A (zh) * 2011-03-01 2011-09-14 杭州华三通信技术有限公司 回声消除方法、系统和装置
CN102306496B (zh) * 2011-09-05 2014-07-09 歌尔声学股份有限公司 一种多麦克风阵列噪声消除方法、装置及系统
CN102509552B (zh) * 2011-10-21 2013-09-11 浙江大学 一种基于联合抑制的麦克风阵列语音增强方法
DK3155618T3 (da) * 2014-06-13 2022-07-04 Oticon As Flerbånds støjreduktionssystem og metodologi til digitale audiosignaler
CN107689228B (zh) * 2016-08-04 2020-05-12 腾讯科技（深圳）有限公司 一种信息处理方法及终端
DK3273608T3 (da) * 2016-07-20 2022-03-14 Sennheiser Electronic Gmbh & Co Kg Adaptiv filterenhed til anvendelse som en ekkokompensator
CN107610713B (zh) * 2017-10-23 2022-02-01 科大讯飞股份有限公司 基于时延估计的回声消除方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246760B1 (en) * 1996-09-13 2001-06-12 Nippon Telegraph & Telephone Corporation Subband echo cancellation method for multichannel audio teleconference and echo canceller using the same
US20040018860A1 (en) * 2002-07-19 2004-01-29 Nec Corporation Acoustic echo suppressor for hands-free speech communication
US20040062403A1 (en) * 2002-09-27 2004-04-01 Lucent Technologies Inc. Solution space principle component-based adaptive filter and method of operation thereof
US20100215185A1 (en) * 2009-02-20 2010-08-26 Markus Christoph Acoustic echo cancellation

Also Published As

Publication number Publication date
CN108630217B (zh) 2019-09-13
US9947337B1 (en) 2018-04-17
CN108630217A (zh) 2018-10-09
TW201836367A (zh) 2018-10-01

Similar Documents

Publication Publication Date Title
TWI682672B (zh) 減少殘餘回聲的回聲消除系統和方法
EP3295681B1 (en) Acoustic echo cancelling system and method
US9697846B2 (en) Method and apparatus for reducing echo
US7035415B2 (en) Method and device for acoustic echo cancellation combined with adaptive beamforming
EP3791565B1 (en) Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters
US8782110B2 (en) Signal processing system employing time and frequency domain partitioning
KR100584491B1 (ko) 다수의 소스들을 갖는 오디오 처리 장치
US8306215B2 (en) Echo canceller for eliminating echo without being affected by noise
KR101422984B1 (ko) 잔류 에코를 억제하는 방법 및 장치
US20040018860A1 (en) Acoustic echo suppressor for hands-free speech communication
US9343073B1 (en) Robust noise suppression system in adverse echo conditions
US8761410B1 (en) Systems and methods for multi-channel dereverberation
JP2006514492A (ja) 処理力の要求が低減されたエコーキャンセラー
WO2003010950A1 (en) Echo canceller having nonlinear echo suppressor for harmonics calculations
EP4071757A1 (en) Echo cancellation method and device
Lu et al. Gabor expansion for adaptive echo cancellation
US9020144B1 (en) Cross-domain processing for noise and echo suppression
WO2007124117A1 (en) Methods and systems for reducing acoustic echoes in communication systems
EP2130298A2 (en) Methods and systems for reducing acoustic echoes in multichannel audio-communication systems
EP1186157B1 (en) Symmetry based subband acoustic echo cancellation
TW200835374A (en) System and method for utilizing omni-directional microphones for speech enhancement
JPH08223274A (ja) ハンズフリー通話装置
JP2004349796A (ja) 音響エコー消去方法、その装置、プログラム及びその記録媒体
Lee et al. Non-linear acoustic echo cancellation based on mel-frequency domain volterra filtering
Kar et al. Suppression of remnant nonlinear echo due to harmonic distortions in intelligent communication networks