TWI736122B

TWI736122B - 用於聲學回聲消除的時間延遲校準方法及電視裝置

Info

Publication number: TWI736122B
Application number: TW109103352A
Authority: TW
Inventors: 國偉李
Original assignee: 香港商冠捷投資有限公司
Priority date: 2020-02-04
Filing date: 2020-02-04
Publication date: 2021-08-11
Also published as: TW202131308A

Abstract

一種用於聲學回聲消除的時間延遲校準方法中：電視裝置先輸出預定的測試音頻信號輸出至外部的音訊再生系統以使其輸出再生信號，然後在確定拾取到一與測試音頻信號具有相同特定頻率的輸入信號時獲得音頻再生系統的時間延遲；之後將傳送至音頻再生系統的第一音頻信號延遲該時間延遲以產生延遲校準信號，然後在拾取到含有用戶語音信號和音頻再生系統根據第一音頻信號所輸出的第二音頻信號的輸入音頻信號時，根據延遲校準信號對輸入音頻信號執行聲學回聲消除處理，以便從該輸入音頻信號除去對應於該第二音頻信號的信號成分。

Description

用於聲學回聲消除的時間延遲校準方法及電視裝置

本發明是有關於遠場語音拾取(Far-Field Voice Pick-Up)，特別是指一種用於聲學回聲消除(Acoustic Echo Cancellation，以下簡稱AEC)的時間延遲校準方法及電視裝置。

語音助理(Voice Assistant)是當今電視中相當普遍的功能，這些電視通常具有遠場語音拾取能力，且配置有內建的麥克風，以拾取電視所在空間的音頻信號。在使用時，音頻信號可能包含用戶的語音和其他干擾源(噪音)，例如，人的談話、摩托車的引擎聲或甚至由電視本身的音頻/喇叭系統生成的聲音。然而，最大的干擾源應是電視本身的音頻/喇叭系統輸出，這是因為與其他更遠的干擾源相比，電視的音頻/喇叭系統最接近麥克風。於是，與用戶的語音(例如，語音指令)相比，此音頻/喇叭系統的音頻往往是最大的噪音。因此，若能消除或降低如此的干擾源，將能大幅提升用戶語音指令的辨識率。

在上述電視中，麥克風拾取由音頻/喇叭系統再生的聲音，如此是相似於用戶在寬敞的大廳或洞穴中說話時聽到自己聲音的回聲(Echo)的情況。由於電視本身所產生的音頻信號是已知的，現有的AEC技術能用來處理(由麥克風拾取的)輸入音頻信號以減少此回聲。

以下將參閱圖1來示例說明現有AEC技術如何利用已知的一參考信號來減少回聲信號的操作。在圖1中，例如由電視音頻源所產生的第一音頻信號作為該參考信號，並且由麥克風拾取的輸入音頻信號例如包含喇叭系統根據該第一音頻信號再生的一第二音頻信號(即，延遲的該第一音頻信號、及對應於用戶語音指令的一第三音頻信號)。換言之，該輸入音頻信號含有該第一音頻信號的軌跡。因此若自該輸入音頻信號除去或減少該第一音頻信號的軌跡，則可獲得較清楚的用戶語音指令的音頻信號。在此情況下，由於經由AEC處理後所獲得的結果已減少大部分的該第二音頻信號，因此可大幅提高該用戶語音指令的辨識率)。

於是，上述AEC處理利用已知的參考信號來除去或減少被喇叭系統所收集的不想要的該第一音頻信號的軌跡(即，該第二音頻信號)。值得注意的是，去除不想要的該第一音頻信號的軌跡的有效性取決於該參考信號(即，該第一音頻信號)與該第二音頻信號在生成時點上的時間差(即，時間延遲)。因此，只要此時間延遲保持在預定的操作限制，將可獲得最佳回聲消除效果。舉例來說，此操作限制與AEC演算能力有關，而AEC演算能力則取決於例如音頻處理元件的製造規格和在執行處理時可用的記憶體容量。在實際使用時，上述時間延遲通常要保持在一大約從-200ms至+200ms的範圍內。

對於具有內建的麥克風和喇叭系統的電視設備而言，此時間延遲可在產品發展階段決定出並可在產品生產時保持預設在一特定範圍內。然而，對於與一喇叭系統(例如，外部條形音箱)外部連接的電視設備而言，此外接喇叭系統會在音頻處理能力上因利用了不同音頻處理時而有不同的設計。在此情況下，由該電視設備的電視音頻源所產生的音頻信號與外接喇叭系統所再生的輸出信號在生成時間上的時間延遲將無法確定，更甚者，此時間延遲可能超出現有AEC技術所能處理的操作限制。因此，去除不想要回聲(噪音)的有效性會降低，如此會影響後續例如語音辨識或語音處理，更不利於之後的相關處理鏈(processing chain)。

因此，特別是對於與音頻再生系統外部連接的電視設備，如何在遠場語音拾取時除去不想要的回聲噪音，實屬當前重要研發課題之一，亦成為目前相關領域極需改進的目標。

因此，本發明的一目的，即在提供一用於聲學回聲消除的時間延遲校準方法，其能克服現有技術的至少一缺點。

於是，本發明所提供的一種用於聲學回聲消除的時間延遲校準方法利用一與一音頻再生系統外部電連接並具有語音拾取功能的電視裝置執行，並包含以下步驟：(A)在相對安靜的背景環境下，將一回應於一觸發信號而產生的預定測試音頻信號傳送至該音頻再生系統，以致該音頻再生系統再生來自該電視裝置的該預定測試音頻信號以輸出一對應於該預定測試音頻信號的再生信號；(B)當確定拾取到的一輸入信號與該預定測試音頻信號具有相同的特定頻率時，計算從該觸發信號被產生的時間點至該確定的時間點的時間差，其中該時間差作為該音頻再生系統在運作時所需的時間延遲；(C)將傳送至該音頻再生系統的一第一音頻信號延遲該時間延遲以產生一對應於該第一音頻信號的延遲校準信號；及(D)當拾取到含有一用戶語音信號和該音頻再生系統根據該第一音頻信號所輸出的一第二音頻信號的輸入音頻信號時，根據該延遲校準信號對該輸入音頻信號執行聲學回聲消除處理，以便從該輸入音頻信號除去對應於該第二音頻信號的信號成分。

因此，本發明的另一目的，即在提供一種電視裝置，其能克服現有技術的至少一缺點。

於是，本發明所提供的一種電視裝置適於外部電連接一音頻再生系統且可操作在一延遲校準模式或一語音拾取式，並包含一電視音頻源、一音頻拾取模組、一聲學回聲消除模組、及一延遲校準模組。該電視音頻源用於提供要被輸出的任何音頻信號，並適於電連接該音頻再生系統，以便將所提供的音頻信號傳送至該音頻再生系統。該音頻拾取模組用於拾取來自外部的任何音頻信號。該聲學回聲消除模組電連接該音頻拾取模組，用於對於來自該音頻拾取模組的任何信號執行聲學回聲消除處理。該延遲校準模組電連接該電視音頻源及該聲學回聲消除模組。

在該延遲校準模式期間，在安靜的背景環境下，該延遲校準模組在將一觸發信號輸出至該電視音頻源時開始計時；該電視音頻源回應於來自該延遲校準模組將一預定測試音頻信號傳送至該音頻再生系統，以致該音頻再生系統再生來自該電視裝置的該預定測試音頻信號以輸出一對應於該預定測試音頻信號的再生信號；該聲學回聲消除模組將該音頻拾取模組拾取到的輸入信號直接傳遞至該延遲校準模組；及該延遲校準模組在確定來自該聲學回聲消除模組的該輸入信號與該預定測試音頻信號具有相同的特定頻率時停止計時，以獲得開始計時的時間點至停止計時的時間點的時間差，其中該時間差作為該音頻再生系統在運作時所需的時間延遲。

在該語音拾取模式期間，當該延遲校準模組及該音頻再生系統同時接收到來自該電視音頻源的一第一音頻信號時，該延遲校準模組將該第一音頻信號延遲該時間延遲以產生一對應於該第一音頻信號的延遲校準信號，並將該延遲校準信號輸出至該聲學回聲消除模組，並且該音頻再生系統根據該第一音頻信號輸出一第二音頻信號；及該聲學回聲消除模組在接收到該音頻拾取模組拾取到含有一用戶語音信號和該第二音頻信號的輸入音頻信號時，根據來自該延遲校準模組的該延遲校準信號對該輸入音頻信號執行聲學回聲消除處理，以便從該輸入音頻信號除去對應於該第二音頻信號的信號成分而獲得對應於該用戶語音信號的校準輸入音頻信號。

本發明之功效在於：由於利用該預定音頻測試信號可獲得外接的音頻再生系統所導致的時間延遲，因此在語音拾取時，利用該時間延遲能有效地除去因環境聲音所導致的回聲噪音。

100:電視裝置

1:電視音頻源

2:音頻拾取模組

3:AEC模組

4:延遲校準模組

41:控制器

42:計時器

43:測試信號偵測電路

44:延遲電路

5:語音辨識模組

200:音頻再生系統

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一示意圖，說明現有AEC技術如何減少回聲信號的操作；圖2是一方塊圖，示例性地繪示本發明實施例的電視裝置的架構；圖3是一方塊圖，示例性地說明該實施例操作在一延遲校準模式時的運作；及圖4是一方塊圖，示例性地說明該實施例操作在一語音拾取模式時的運作。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，所繪示的本發明實施例的電視裝置100適於外部電連接一音頻再生系統200(例如，單一條型喇叭或用作家庭劇院的喇叭系統，但不以此例為限)。該電視裝置100除了具有一般電視的功能外，還可操作在一延遲校準模式或一語音拾取式。在本實施例中，該電視裝置100包含一電視音頻源1、一音頻拾取模組2、一聲學回聲消除模組(以下簡稱AEC模組)3、一延遲校準模組4、及一語音辨識模組5。值得注意的是，該電視裝置100還具有一般電視功能，由於其並非本發明之特徵，故在此省略與其相關組件的細節和說明。

該電視音頻源1用於提供要被輸出的任何音頻信號，並適於電連接該音頻再生系統200，以便將所提供的音頻信號傳送至該音頻再生系統200。

該音頻拾取模組2，例如麥克風模組，用於拾取或收集來自外部的任何音頻信號。

該AEC模組3電連接該音頻拾取模組2，用於對於來自該音頻拾取模組2的任何信號執行聲學回聲消除處理。

該語音辨識模組5電連接該AEC模組3，用於對於來自該AEC模組3的任何信號執行語音辨識，例如，語音指令辨識，但不以此例為限。

該延遲校準模組4電連接該電視音頻源1及該AEC模組3。在本實施例中，該延遲校準模組4包括一電連接該電視音頻源的控制器41、一電連接且受控於該控制器41的計時器42、一電連接該電視音頻源1、該AEC模組3和該控制器41且受控於該控制器41的延遲電路44、及一電連接該控制器41、該電視音頻源1和該AEC模組3的測試信號偵測電路43。以下，將配合該電視裝置100分別操作在該延遲校準模式和該語音拾取模式進一步詳細說明該延遲校準模組4的相關操作。

參閱圖3，在該延遲校準模式期間，在相對安靜的背景環境下，該電視裝置100結合該音頻再生系統200將執行以下操作。

首先，該延遲校準模組4的該控制器41產生一觸發信號，並將該觸發信號同時輸出至該計時器42和該電視音頻源1，以致該計時器42回應於該觸發信號開始計時，並且該電視音頻模組1回應於來自該控制器41的該觸發信號提供一預定測試音頻信號並將該預定測試音頻信號同時傳送至該音頻再生系統200和該測試信號偵測電路43。在本實施例中，該預定測試音頻信號例如是1kHz的測試音，但不以此例為限。

於是，該音頻再生系統20例如藉由音頻處理、音頻放大處理等再生來自該電視音頻源1的該預定測試音頻信號，以輸出一對應於該預定測試音頻信號的再生信號。

另一方面，該音頻拾取模組2同時正拾取或收集在該背景環境的任何聲音。在此情況下，該AEC模組3(例如操作在一by-pass狀態)將該音頻拾取模組2拾取或收集到的輸入信號直接傳遞至該延遲校準模組4的該測試信號偵測電路43。

於是，該測試信號偵測模組43操作來確定來自該AEC模組3的該輸入信號與來自該電視音頻源1的該預定測試音頻信號是否具有相同的特定頻率，並在確定出該輸入信號與該預定測試音頻信號具有該特定頻率時，輸出一通知信號至該控制器41。在本實施例中，該特定頻率例如是1kHz。換言之，該測試信號偵測電路43被用來確定該音頻拾取模組2是否拾取或收集到由該音頻再生系統200所輸出的該再生信號。

隨即，該控制器41一旦接收到該通知信號即使該計時器42停止計時以獲得來自該計時器42的計時結果。在此情況下，該計時結果代表該計時器42開始計時的時間點(即，接收到該觸發信號的時間點)至停止計時的時間點(即，收到該通知信號的時間點)的時間差AT。在本實施例中，該時間差△T可作為該音頻再生系統200在運作時所需的時間延遲(亦即，該音頻再生系統200從接收到一輸入信號到輸出一對應於此輸入信號的輸出信號所需的時間)。

參閱圖4，在該語音拾取模式期間，該電視裝置100結合該音頻再生系統200將執行以下操作。應注意的是，在本實施例中，在該語音拾取模式期間，該電視裝置100可允許用戶以語音形式輸入一與該電視裝置的特定功能(例如，音量調整功能或頻道變換功能，但不在此限)相關的控制指令(例如，語音指令)。

首先，該控制器41將一與該時間延遲相關聯的控制信號傳送至該延遲電路44。

當該電視音頻源1同時將一第一音頻信號同時提供至該音頻再生系統200和該延遲校準模組4的該延遲電路44時(此意謂，該延遲校準模組及該音頻再生系統會同時接收到來自該電視音頻源1的該第一音頻信號)，該延遲校準模組4的該延遲電路44根據來自該控制器41的該控制信號將該第一音頻信號延遲該時間延遲(即，△T)以產生一對應於該第一音頻信號的延遲校準信號，並將該延遲校準信號輸出至該AEC模組3。另一方面，該音頻再生系統200根據該第一音頻信號輸出一第二音頻信號。在本實施例中，該第一音頻信號可以是該電視裝置100正在播放的任何多媒體信號中的音頻信號，而該第二音頻信號與該第一音頻信號和該時間延遲相關聯。

在該第二音頻信號被輸出之際且一用戶正發出有關控制的語音指令的聲音(，此聲音在下被視為一用戶語音信號)的情況下，該音頻拾取模組2會拾取或收集到該用戶語音信號和該第二音頻信號，並將一含有該用戶語音信號和該第二音頻信號的輸入音頻信號傳送至該AEC模組3。

於是，該AEC模組3根據來自該延遲電路44的的該延遲校準信號對該來自該音頻拾取模組2的該輸入音頻信號執行聲學回聲消除處理，以便從該輸入音頻信號除去對應於該第二音頻信號的信號成分(即，回聲噪音)而獲得對應於該用戶語音信號的校準輸入音頻信號。該AEC模組3隨後將該校準輸入音頻信號輸出至該語音辨識模組5。最後，該語音辨識模組5可利用現有語音辨識方式有校地從來自於該AEC模組3的該校準輸入音頻信號辨識出該語音指令，以利該電視裝置100根據該語音指令進行後續的控制操作。

值得注意的是，在實際使用時，當該音頻再生系統200被更換時，只需在新的喇叭系統(未示)初次連接該電視裝置100時，該電視裝置100結合該新的喇叭系統重新操作如上述在該延遲校準模式期間所執行的所有操作，即可獲得該新的喇叭系統的時間延遲。

綜上所述，由於本發明電視裝置100在該延遲校準模式期間利用該預定音頻測試信號可獲得外接的音頻再生系統200所導致的時間延遲，因此在該語音拾取模式期間，利用該時間延遲能有效地除去因環境聲音所導致的回聲噪音，藉此可大幅提升時取到的語音信號的辨識率。故確實能達成本發明的目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。