TWI743950B

TWI743950B - 訊號處理裝置、延遲估計方法與回音消除方法

Info

Publication number: TWI743950B
Application number: TW109128004A
Authority: TW
Inventors: 吳牧諶
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2020-08-18
Filing date: 2020-08-18
Publication date: 2021-10-21
Also published as: TW202209304A; US11490202B2; US20220060825A1

Abstract

一種訊號處理裝置，包括回音估計裝置、捕獲訊號暫存裝置與延遲估計裝置。回音估計裝置根據參考訊號與一組反射路徑模擬係數產生回音估計訊號，並且根據第一延遲補償回音估計訊號，以產生已補償之回音估計訊號。捕獲訊號暫存裝置用以暫存由麥克風裝置捕獲之捕獲訊號，並且根據第二延遲輸出捕獲訊號，以產生已補償之捕獲訊號。延遲估計裝置耦接回音估計裝置與捕獲訊號暫存裝置，用以根據已補償之回音估計訊號與已補償之捕獲訊號估計延遲調整量，並且根據延遲調整量更新第一延遲或第二延遲。第一延遲之上限值與下限值之差值小於等於1。

Description

訊號處理裝置、延遲估計方法與回音消除方法

本發明係關於一種延遲估計方法與對應之訊號處理裝置，尤指一種應用於消除回音之延遲估計方法。

當一近端使用者使用麥克風與喇叭等裝置與一遠端使用者透過網路進行通話時，由於麥克風在接收近端使用者聲音時，同時也會接收到喇叭播放的聲音，因而產生回音(echo)干擾，此回音係指由喇叭播放出來並透過環境反射被麥克風接收的聲音。對於網路語音通話(Voice Over IP，縮寫VOIP)或者語音辨識(Voice Recognition，縮寫VR)等應用而言，回音與環境的噪音都被視為干擾因素，它們會降低通話品質或是降低辨識率，而回音消除(Acoustic Echo Cancelling，縮寫AEC)為一種用來解決回音干擾的技術。

回音消除技術係將喇叭要播放的聲音訊號(參考訊號)輸入模擬反射環境的濾波器後得到回音估計值，再將麥克風接收到的聲音(捕獲訊號)減去回音估計值，以達到回音消除的結果。

然而，由於系統中用以收音(capture)的麥克風與用以播音(render)的喇叭為不同的硬體裝置，兩者之間通常存在時脈不同步的問題。當麥克風與喇叭所使用的取樣頻率不同時，便會直接影響回音消除的效果。此外，麥克風與喇叭的取樣頻率差通常為一個時變因素，使得AEC難即時對頻率變化做出應對，因而無法將回音完全消除。

有鑑於此，需要一種延遲估計方法，用以適應性地估計參考訊號與捕獲訊號之間的時間延遲，所得之延遲用於補償回音訊號與捕獲訊號，使得AEC可有效消除回音。

本發明之一目的在於解決因取樣頻率不同導致參考訊號與捕獲訊號之間存在會隨時間變化之時間延遲的問題。

根據本發明之一實施例，一種訊號處理裝置，包括回音估計裝置、捕獲訊號暫存裝置與延遲估計裝置。回音估計裝置根據參考訊號與一組反射路徑模擬係數產生回音估計訊號，並且根據第一延遲補償回音估計訊號，以產生已補償之回音估計訊號。捕獲訊號暫存裝置用以暫存由麥克風裝置捕獲之捕獲訊號，並且根據第二延遲輸出捕獲訊號，以產生已補償之捕獲訊號。延遲估計裝置耦接回音估計裝置與捕獲訊號暫存裝置，用以根據已補償之回音估計訊號與已補償之捕獲訊號估計延遲調整量，並且根據延遲調整量更新第一延遲或第二延遲。第一延遲之上限值與下限值之差值小於等於1。

根據本發明之另一實施例，一種延遲估計方法包括：根據第一延遲補償回音估計訊號，以產生已補償之回音估計訊號；根據第二延遲輸出由麥克風裝置捕獲之捕獲訊號，以產生已補償之捕獲訊號；根據已補償之回音估計訊號與已補償之捕獲訊號估計延遲調整量；以及根據延遲調整量更新第一延遲或第二延遲。第一延遲小於上限值並且大於下限值，並且上限值與下限值之差值小於等於1。

根據本發明之另一實施例，一種回音消除方法包括：根據參考訊號與一組反射路徑模擬係數產生回音估計訊號；根據第一延遲補償回音估計訊號，以產生已補償之回音估計訊號；根據第二延遲輸出由麥克風裝置捕獲之捕獲訊號，以產生已補償之捕獲訊號；自已補償之捕獲訊號減去已補償之回音估計訊號，以產生輸出訊號；根據已補償之回音估計訊號與已補償之捕獲訊號估計延遲調整量；以及根據延遲調整量更新第一延遲或第二延遲。第一延遲為小於1之一數值，並且第二延遲為一整數值。

100:訊號處理裝置

110:回音估計裝置

111:快速傅立葉轉換裝置

112:反射路徑模擬裝置

113:延遲補償裝置

114:快速傅立葉逆轉換裝置

120:捕獲訊號暫存裝置

121:暫存器

122:訊號選取裝置

130:延遲估計裝置

200:喇叭裝置

300:麥克風裝置

第1圖係顯示根據本發明之一實施例所述之一訊號處理裝置方塊圖。

第2圖係顯示根據本發明之一實施例所述之延遲估計方塊圖。

第3圖係顯示根據本發明之一實施例所述之能量相對於延遲之範例曲線。

第4圖係顯示根據本發明之一實施例所述之延遲估計方法流程圖。

第5圖係顯示根據本發明之一實施例所述之回音消除方法流程圖。

第1圖係顯示根據本發明之一實施例所述之一訊號處理裝置方塊圖。訊號處理裝置100可執行延遲估計、延遲補償以及回音消除，用以估計參考訊號與捕獲訊號之間的時間延遲，並且分別根據估計之時間延遲補償回音訊號與捕獲訊號，利用已補償之訊號執行回音消除，進而有效消除回音。

訊號處理裝置100可至少包括回音估計裝置110、捕獲訊號暫存裝置120以及延遲估計裝置130。回音估計裝置110耦接至一訊號提供路徑，此訊號提供路徑更耦接至一喇叭裝置200，用以將要透過喇叭播放的聲音訊號提供至喇叭裝置200。回音估計裝置110自訊號提供路徑接收聲音訊號作為參考訊號 x (m)，其中參考訊號 x (m)為一時域取樣訊號。於本發明之實施例中，回音消除係針對訊號執行逐塊處理(block-wise processing)，因此，參考訊號 x (m)其可為包含複數取樣點之一向量，並且可表示如下式(1)： x (m)=[x(mN+N-L),....,x(mN),x(mN+1),...,x(mN+N-1)]^T 式(1)

其中N代表訊號處理裝置100執行每次處理的跳躍(hop)長度(取樣點數)，L代表快速傅立葉轉換(Fast Fourier Transform，縮寫為FFT)的長度，m代表第m個處理訊框。

回音估計裝置110根據參考訊號 x (m)與一組反射路徑模擬係數產生一回音估計訊號，並且根據第一延遲補償回音估計訊號，以產生一已補償之回音估計訊號。

回音估計裝置110可包括一快速傅立葉轉換裝置111、一反射路徑模擬裝置112、一延遲補償裝置113與一快速傅立葉逆轉換(inverse FFT，縮寫為iFFT)裝置114。

快速傅立葉轉換裝置111用以將參考訊號 x (m)自時域訊號轉為頻域訊號。快速傅立葉轉換裝置111可藉由執行如下式(2)之計算執行FFT： X (m)=F× x (m) 式(2)

其中F代表離散傅立葉轉換矩陣， X (m)為頻域參考訊號。

反射路徑模擬裝置112用以根據頻域參考訊號 X (m)與一組反射路徑模擬係數產生回音估計訊號。反射路徑模擬裝置112可藉由執行如下式(3)之計算產生回音估計訊號： Y (m)= X (m)． H (m) 式(3)

其中「．」代表點乘運算(或稱逐元素乘法，element-wise multiplication)，H(m)代表一濾波器之頻域濾波器係數，此濾波器係用以模擬聲音訊號自喇叭反射回麥克風裝置的反射路徑的通道響應， Y (m)代表所得之回音估計訊號，其為一頻域訊號。

於本發明之實施例中，參考訊號 x (m)與麥克風裝置300所捕獲之捕獲訊號 d (m)之間因取樣頻率差所產生的延遲可被拆成兩個部分，包括分數延遲(以下稱第一延遲)與整數延遲(以下稱第二延遲)，分別用以補償回音估計訊號與捕獲訊號。

延遲補償裝置113用以根據第一延遲補償回音估計訊號 Y (m)，以產生已補償之回音估計訊號 Y _ξ(m)。延遲補償裝置113可藉由執行如下式(4)之計算產生已補償之回音估計訊號： Y _ξ(m)= Y (m)． Ψ (ξ _m) 式(4)

其中延遲補償裝置113藉由對頻域訊號作相移操作來補償延遲，ξ _m代表當前取得之第一延遲之數值，ξ _m於每次迭代可以是前一次迭代所更新的第一延遲之數值，並且於第一次迭代可被設定為一預設值或初始值，例如但不限於，被設定為0。 Ψ (ξ _m)為相移向量，其可表示如下式(5)，

已補償之回音估計訊號 Y _ξ(m)可反覆地於每次更新/估計延遲的迭代中被提供給延遲估計裝置130。

快速傅立葉逆轉換裝置114用以將已補償之回音估計訊號 Y _ξ(m)自頻域訊號轉為時域訊號，以提供後續回音消除操作。快速傅立葉逆轉換裝置114可藉由執行如下式(6)之計算執行iFFT： y _ξ(m)=[0 I]×F ^-1× Y _ξ(m) 式(6)

其中[0 I]是為了消除圓周摺積(Circular convolution)造成的失真，0為一全0矩陣，I為單位矩陣(Identity matrix)，F^-1代表表離散傅立葉逆轉換矩陣。

捕獲訊號暫存裝置120可包括一暫存器121與一訊號選取裝置122。暫存器121用以暫存一既定取樣點數(相當於一既定長度，例如，10ms)之捕獲訊號 d (m)，訊號選取裝置122用以根據第二延遲輸出捕獲訊號 d (m)，例如，訊號選取裝置122可根據第二延遲決定欲輸出之捕獲訊號 d (m)之起始取樣點與結束取樣點，並將此區間之取樣訊號輸出作為已補償之捕獲訊號 d _△(m)。已補償之捕獲訊號 d _△(m)可表示如下式(7)： d _△(m)=[d(mN+△ _m),d(mN+1+△ _m),...,d(mN+N-1+△ _m)]^T 式(7)

其中△_m代表當前取得之第二延遲之數值，△_m於每次迭代可以是前一次迭代所更新的第二延遲之數值，並且於第一次迭代可被設定為一預設值或初始值，例如但不限於，被設定為0。

根據本發明之一實施例，延遲估計裝置130於每次迭代中利用已補償之回音估計訊號Y _ξ(m)與已補償之捕獲訊號d _△(m)來重新估計提供給下一次迭代使用之第一延遲ξ_m+1與第二延遲△_m+1之數值，其中下標m代表第m個訊框。

延遲估計裝置130根據已補償之回音估計訊號Y _ξ(m)與已補償之捕獲訊號d _△(m)估計一延遲調整量，並且根據此延遲調整量決定是否更新第一延遲ξ _m與第二延遲△_m之一或多者。

第2圖係顯示根據本發明之一實施例所述之延遲估計方塊圖。由延遲估計裝置130所執行的延遲估計操作可包含以下步驟：

步驟S202：取得已補償之回音估計訊號Y _ξ(m)與已補償之捕獲訊號d _△(m)。

步驟S204：將已補償之捕獲訊號d _△(m)自時域訊號轉為頻域訊號 D _△(m)。延遲估計裝置130可藉由執行如下式(8)之計算執行FFT： D _△(m)=F× d' _△(m) 式(8)

其中

，其係以全0向量對訊號 d _△(m)進行零填充(zero-padded)後的結果。

步驟S206：根據複數延遲候選φ _η產生複數相移向量 Ψ (φ _η)，使用相移向量 Ψ (φ _η)計算複數相移訊號 Y _η(m)，並分別計算出複數錯誤訊號 E _η(m)。

於本發明之實施例中，延遲估計裝置130可先設定複數延遲候選φ _η，延遲候選φ _η滿足下式(9)：

其中-K

η

K，η為用來微調第一延遲ξ_m之延遲候選φ_η的索引值，微調值下限v_L介於-1~0之間，且微調值上限v_u介於0~1之間。將各延遲候選帶入式(5)可得對應之相移向量Ψ(φ_η)。

延遲估計裝置130於計算出(2K+1)個相移向量Ψ(φ_η)後，接著使用相移向量Ψ(φ_η)如下式(10)計算出(2K+1)個相移訊號Y _η(m)，及分別根據頻域的已補償之捕獲訊號 D _△(m)與相移訊號 Y _η(m)如下式(11)計算(2K+1)個錯誤訊號 E _η(m)： Y _η(m)= Y _ξ(m)． Ψ (φ _η) 式(10)

E _η(m)= D _△(m)- Y _η(m) 式(11)

E _η(m)代表了以不同微調值微調已補償之回音估計訊號 Y _ξ(m)後，所得之結果與已補償之捕獲訊號之間的落差。於本發明之實施例中，延遲估計裝置130係嘗試在當前的第一延遲ξ_m附近尋找是否存在更好的延遲。當此落差愈小，表示愈可能找到了回音估計訊號與捕獲訊號之間真實的延遲。

步驟S208：計算錯誤訊號於一既定頻帶之能量，以產生複數能量訊號，並且尋找能量訊號之一最小值。延遲估計裝置130可如下式(12)計算錯誤訊號之能量： P _E(m,η)=Σ_k｜E _η(m,k)｜² 式(12)

其中k代表既定頻帶內的頻率，而本發明並不限定既定頻帶範圍，因此能量加總的操作Σ_k可以是針對整個頻域或是某個頻帶。

需注意的是，E _η(m)為第m個處理訊框的錯誤訊號，其為一頻域訊號且為一向量。如同前述之其他頻域訊號，E _η(m)可包含L個元素，L代表FFT的長度。因此，式(11)中的E _η(m)為式(12)中的E _η(m,k)的簡化表示，即，E _η(m)實際上可表示為E _η(m,k)=[E _η(m,0),E _η(m,1),...,E _η(m,L-1)]^T，其中0、1、...、L-1代表頻率的索引值k的數值，並且各索引值所對應的實際數值分別可表示為

、

、…、

。

此外，於本發明之一些實施例中，延遲估計裝置130可更進一步對所得之能量作遞迴平滑，例如以下式(13)所示之一階遞迴平滑(first-order recursive smoothing)：

根據本發明之一實施例，延遲估計裝置130可直接自步驟S208計算之複數能量訊號中取出最小值。例如，如以下式(14)尋找出能量訊號最小值以及此最小值所對應之延遲候選的索引值

：

根據本發明之另一實施例，若以延遲候選φ_η之數值為X軸，以能量大小為Y軸，於二維平面中標示出能量訊號P_E(m,η)或

的落點，則這些落點可能構成一曲線，例如第3圖所示之不同延遲所對應之能量曲線，其中圓圈代表步驟S208計算之能量訊號的落點。

為了能更準確地估計出延遲調整量，延遲估計裝置130可對這些能量落點執行曲線擬和(curve fitting)，以嘗試找出包含這些能量落點的曲線(例如第3圖所示之曲線)及其對應之公式，並透過曲線公式找出最小能量以及此最小能量所對應的延遲候選，其中此最小能量可以不等於步驟S208中計算出來的能量訊號數值，並且此最小能量所對應的延遲候選可以不等於延遲估計裝置130所設定的延遲候選φ_η，也未必會落在v_L~v_u範圍內。換言之，於步驟S208中，延遲估計裝置130亦可藉由曲線擬和嘗試找出可使錯誤訊號之能量最小的延遲量，此延遲量未必選自延遲估計裝置130所設定的延遲候選φ _η，可以是與延遲候選φ _η不同的數值。

若此曲線為一開口向下的拋物線，則表示最小能量不存在。

若此曲線並非不可能存在最小能量之曲線，則延遲估計裝置130可透過曲線公式找出曲線中之最小能量所對應的延遲候選作為第一延遲的微調值。然而，若最小能量所對應的延遲候選與微調值上限v _u及微調值下限v _L的差距大於一特定數值，則延遲估計裝置130亦可因微調值不合理而判斷最小能量不存在。

步驟S210：判斷最小能量(例如，能量訊號之最小值)是否存在。若不存在，則捨棄本次的延遲估計結果(即，不更新當前的估計，使ξ_m+1=ξ_m，△ _m+1=△ _m)。若存在，則於步驟S212中更新第一延遲ξ_m與第二延遲△_m之至少一者。

步驟S212：根據最小能量估計延遲調整量，並且根據此延遲調整量更新第一延遲ξ _m+1與第二延遲△ _m+1之至少一者。

假設延遲估計裝置130根據前述方法所找到的最小能量所對應的延遲候選設定延遲調整量為φ'(於一些實施例中可能是自延遲候選中選出的數值

)，則延遲估計裝置130可如以下式(15)根據延遲調整量調整第一延遲以產生一第一數值ξ' _m+1：ξ' _m+1=ξ _m+μ×φ' 式(15)

其中μ為調整步距，為避免估計誤差或者環境噪音造成的震盪，延遲估計裝置130可設定μ

1。接著，延遲估計裝置130可根據第一數值的大小如以下式(16)判斷是否需要修改第一延遲ξ _m+1與第二延遲△ _m+1：

其中Ω_U為預先設定之上限值，Ω_L為預先設定之下限值。於本發明之一實施例中，可設定Ω_U=0.5，Ω_L=-0.5，藉此控制-0.5<ξ<0.5。

更具體的說，延遲估計裝置130可判斷第一數值ξ' _m+1是否小於上限值Ω_U且大於下限值Ω_L，若是，則直接根據第一數值ξ' _m+1更新第一延遲ξ _m+1(即，設定ξ _m+1=ξ' _m+1)，且此時不更新當前估計的第二延遲(即，設定△ _m+1=△ _m)。

若第一數值ξ' _m+1不小於上限值Ω_U，則如式(16)藉由減少第一數值ξ' _m+1得到更新過的第一延遲ξ _m+1，並且藉由增加當前的第二延遲△_m得到更新過的第二延遲△ _m+1。若第一數值ξ' _m+1不大於下限值Ω_L，則如式(16)藉由增加第一數值ξ' _m+1得到更新過的第一延遲ξ _m+1，並且藉由減少當前的第二延遲△ _m得到更新過的第二延遲△ _m+1。

需注意的是，於本發明之實施例中，第一延遲ξ之上限值Ω_U與下限值Ω_L之一差值小於等於1。換言之，於本發明之實施例中，於每次迭代中，無論是否被更新，第一延遲ξ都會被限定在上限值Ω_U與下限值Ω_L所定義之數值範圍內。

此外，於本發明之實施例中，第一延遲ξ為小於1之一數值，例如，小於1之一分數，而第二延遲△為一整數值。藉由限定第一延遲ξ的數值範圍，可有效控制因執行相移操作所產生的誤差，藉此可準確且有效率地估計出延遲調整量。

此外，於本發明之實施例中，於更新第一延遲或第一延遲與第二延遲後，延遲估計裝置130將更新過的第一延遲ξ _m+1提供至回音估計裝置110，以及將更新過的第二延遲△ _m+1提供至捕獲訊號暫存裝置120。回音估計裝置110與捕獲訊號暫存裝置120可反覆地根據最新取得的第一延遲與第二延遲補償訊號延遲。延遲估計裝置130可反覆地自回音估計裝置110與捕獲訊號暫存裝置120接收已補償之回音估計訊號與已補償之捕獲訊號，根據已補償之回音估計訊號與已補償之捕獲訊號估計延遲調整量，並且根據延遲調整量更新第一延遲或第二延遲。藉由前述遞迴操作，訊號處理裝置100可即時根據最新的資訊估計出延遲並對捕獲訊號與回音估計訊號執行延遲補償，以解決前述時脈不同步的問題。

需注意的是，於本發明之實施例中，一但第二延遲△ _m+1被修改為不同於△ _m的數值，於下一個迭代(或遞迴)中，捕獲訊號d(m+1)之起始取樣點位置與結束取樣點位置就會改變，而其中第二延遲△的數值可為正整數，亦可為負整數。若第二延遲△的數值為正整數，表示需要取得未來的捕獲訊號，因此，於本發明之實施例中，訊號處理裝置100可事先延遲捕獲訊號，將之儲存於捕獲訊號暫存裝置120中，藉此操作，可使最新取得的捕獲訊號成為未來的捕獲訊號。

第4圖係顯示根據本發明之一實施例所述之延遲估計方法流程圖。延遲估計方法可包括以下步驟：

步驟S402：根據第一延遲補償回音估計訊號，以產生已補償之回音估計訊號。

步驟S404：根據第二延遲輸出由麥克風裝置捕獲之捕獲訊號，以產生已補償之捕獲訊號。

如上述，於本發明之實施例中，參考訊號 x (m)與捕獲訊號 d (m)之間因取樣頻率差所產生的延遲可被拆成分數延遲與整數延遲兩個部分。因此，第一延遲為一分數，並被限定於上限值Ω_U與下限值Ω_L之間，而第二延遲為一整數。

步驟S406：根據已補償之回音估計訊號與已補償之捕獲訊號估計一延遲調整量。

步驟S408：根據延遲調整量更新第一延遲或第二延遲。

於本發明之實施例中，前述步驟係迭代地被訊號處理裝置100所對應之元件執行。此外，於本發明之實施例中，若判斷前述之最小能量不存在或微調值不合理，亦可跳過步驟S406中估計延遲調整量之操作，或者將延遲調整量設定為0，並於步驟S408中直接以當前的第一延遲與第二延遲作為更新後的數值後返回步驟S402。

參考回第1圖，訊號處理裝置100可更包含一回音消除裝置，例如圖中所示之加法器(亦可為一減法器)，或者，於本發明之一些實施例中，回音估計裝置110與加法器可被整合為一回音消除裝置。回音消除裝置用以自已補償之捕獲訊號 d _△(m)減去已補償之回音估計訊號 y _ξ(m)，以產生一輸出訊號，此輸出訊號為一回音消除訊號。

第5圖係顯示根據本發明之一實施例所述之回音消除方法流程圖。回音消除方法可包括以下步驟：

步驟S502：根據參考訊號與反射路徑模擬係數產生回音估計訊號。

步驟S504：根據第一延遲補償回音估計訊號，以產生已補償之回音估計訊號。

步驟S506：根據第二延遲輸出由一麥克風裝置捕獲之一捕獲訊號，以產生已補償之捕獲訊號。

步驟S508：自已補償之捕獲訊號減去已補償之回音估計訊號，以產生一輸出訊號。

步驟S510：根據已補償之回音估計訊號與已補償之捕獲訊號估計延遲調整量。

步驟S512：根據延遲調整量更新第一延遲或第二延遲。

於本發明之實施例中，前述步驟係迭代地被訊號處理裝置100所對應之元件執行。此外，如上所述，於一些情況中，延遲調整量可能被設定為0。

此外，本發明並不限於先執行回音消除後再執行延遲估計。例如，於本發明之其他實施例中，步驟S504~S508亦可於步驟S510~S512完成後執行。即，訊號處理裝置可先根據當前取得之回音估計訊號與捕獲訊號執行延遲估計與延遲更新，再使用更新過的第一延遲與第二延遲補償回音估計訊號與捕獲訊號並執行回音消除。

如上所述，藉由前述操作，訊號處理裝置100可即時根據最新的資訊估計出延遲並對捕獲訊號與回音估計訊號執行延遲補償與回音消除，以解決前述時脈不同步的問題。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。