TWI797850B - 音訊設備以及相關方法 - Google Patents

音訊設備以及相關方法 Download PDF

Info

Publication number
TWI797850B
TWI797850B TW110144096A TW110144096A TWI797850B TW I797850 B TWI797850 B TW I797850B TW 110144096 A TW110144096 A TW 110144096A TW 110144096 A TW110144096 A TW 110144096A TW I797850 B TWI797850 B TW I797850B
Authority
TW
Taiwan
Prior art keywords
audio device
microphone
filter coefficients
speaker
state
Prior art date
Application number
TW110144096A
Other languages
English (en)
Other versions
TW202320059A (zh
Inventor
雷少民
鄭堯文
孫良哲
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Application granted granted Critical
Publication of TWI797850B publication Critical patent/TWI797850B/zh
Publication of TW202320059A publication Critical patent/TW202320059A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

一種音訊設備被提供。音訊設備包括連接到揚聲器和麥克風的處理電路。處理電路被配置為在揚聲器上播放來自遠端的回聲參考訊號，以及藉由AEC適應性濾波器使用回聲參考訊號和麥克風接收的聲音訊號執行聲音回聲消除(acoustic echo cancellation，簡稱AEC)處理。處理電路根據播放的回聲參考訊號與接收的聲音訊號的關係反復判斷揚聲器的第一狀態，以及經由雲網路向遠端傳送指示揚聲器的第一狀態的第一狀態訊號。

Description

音訊設備以及相關方法
本發明涉及視訊會議，尤其涉及用於在音訊/視訊會議中音訊設備的設備狀態檢測方法和音訊設備。
問題“你聽到我了嗎？”和“你說什麼？”在音訊/視訊會議中經常被問到，因為演講者需要知道其他參與者是否在線上以及是否能夠聽到他們演講者的聲音。然而，演講者在音訊/視訊會議中不斷問這些問題是令人沮喪的。
因此，需要用於在音訊/視訊會議中檢測設備狀態的方法和視訊會議音訊設備來解決上述問題。
以下實施例將結合附圖進行詳細說明。
在示例性實施例中，一種音訊設備被提供。音訊設備包括連接到揚聲器和麥克風的處理電路。處理電路被配置為在揚聲器上播放來自遠端的回聲參考訊號，以及藉由AEC適應性濾波器使用回聲參考訊號和麥克風接收的聲音訊號執行聲音回聲消除(AEC)處理。處理電路根據播放的回聲參考訊號與和接收的聲音訊號之間的關係反復判斷揚聲器的第一狀態，以及藉由雲網路向遠端傳送指示揚聲器的第一狀態的第一狀態訊號。
在一些實施例中，回應於處理電路確定麥克風的訊號電平低於或 等於閾值，處理電路確定麥克風被靜音。回應於處理電路確定麥克風的訊號電平高於閾值，處理電路確定麥克風正常工作的第二狀態，經由雲網路向遠端發送指示麥克風的第二狀態的第二狀態訊號，從AEC適應性濾波器中獲取濾波器係數，以及計算得到的濾波器係數與參考濾波器係數的相似度。
在一些實施例中，回應於處理電路確定計算出的相似度低於預設閾值，處理電路確定揚聲器的第一狀態是不工作。回應於處理電路確定計算出的相似度高於或等於預設閾值，處理電路確定揚聲器的第一狀態為揚聲器正常工作。
在一些實施例中，參考濾波器係數藉由AEC適應性濾波器使用在第一預定時間段內在揚聲器上播放白雜訊和掃音來計算，以及在工廠製造音訊設備的過程中，計算出的參考濾波器係數被預先存儲於音訊設備的非易失性記憶體中。
在一些實施例中，處理電路將AEC適應性濾波器的濾波器係數初始化為零，以及藉由計算AEC適應性濾波器在第二預定時間段內的濾波器係數的平均值，得到運行時AEC適應性濾波器的濾波器係數作為參考濾波器係數。
在一些實施例中，處理電路計算濾波器係數和參考濾波器係數之間的余弦相似度作為相似度。
在一些實施例中，處理電路經由雲網路接收第三狀態訊號和第四狀態訊號，該第三狀態訊號和第四狀態訊號分別指示遠端的另一音訊設備的揚聲器的第三狀態和該另一音訊設備的麥克風的第四狀態，以及在視訊設備上運行的視訊會議應用程式的圖形化使用者介面上顯示對應於第三狀態和第四狀態的圖示，該視訊設備上設置有音訊設備。
在另一示例性實施例中，一種在音訊設備中使用的方法被提供。音訊設備連接到揚聲器和麥克風。該方法包括以下步驟：在揚聲器上播放來自 遠端的回聲參考訊號；使用AEC適應性濾波器對回聲參考訊號和麥克風接收的聲音訊號進行聲音回聲消除(AEC)處理；根據播放的回聲參考訊號與接收的聲音訊號之間的關係，確定揚聲器的第一狀態；以及經由雲網路向遠端傳送指示揚聲器第一狀態的第一狀態訊號。
10:視訊會議系統
20:雲網路
100:視訊設備
200:音訊設備
210:處理電路
220:數模轉換器
230:放大器
240:揚聲器
250:麥克風
270:積體電路
214:適應性濾波器
215:記憶體
216:減法器
S410、S415、S420、S430、S440、S450、S460:步驟
500:使用者介面
510:塊
511:使用者名
512:視訊螢幕
513:塊
514:塊
520:塊
521:使用者名
522:視訊螢幕
523:塊
524:塊
530:塊
參照附圖閱讀隨後的詳細說明和實施例可以更全面地理解本發明，其中：第1圖示出根據本發明實施例的視訊會議系統的框圖；第2圖示出根據本發明實施例的音訊設備的框圖；第3圖示出根據本發明實施例的聲音回聲消除(AEC)過程的流程圖；第4圖示出根據本發明實施例的在音視訊會議中檢測音訊設備的設備狀態的方法的流程圖；第5A-5B圖示出根據本發明實施例的具有音訊設備的不同設備狀態的圖示的圖形化使用者介面的圖。
下面的描述是為了說明本發明的一般原理而不應被理解為限制性的。本發明的範圍最好藉由參考所附申請專利範圍來確定。
第1圖示出根據本發明實施例的視訊會議系統的框圖。
在一個實施例中，視訊會議系統10可以包括藉由雲網路20彼此連接的兩個或更多個視訊設備100。每個視訊設備100可以是包括顯示功能、網路攝像頭功能、揚聲器功能和麥克風功能，例如配備揚聲器和麥克風的臺式電腦、筆記型電腦、智慧手機或平板電腦，但本發明不限於此。在一些實施例中，每 個視訊設備100中的揚聲器功能和麥克風功能可以由音訊設備200來實現。
在一些實施例中，每個視訊設備100可以執行在其顯示器上呈現圖形化使用者介面的視訊會議應用程式。每個視訊設備100的使用者可以通過圖形化使用者介面看到視訊會議中其他參與者的音訊設備200的設備狀態(例如，包括麥克風和揚聲器的狀態)。
音訊設備200可以包括聲音回聲消除(AEC)功能，以便對音訊/視訊會議中的每個人提供高品質的聲音訊號。在一些實施例中，音訊設備200可以是同時處理揚聲器和麥克風功能的電子設備，例如桌面音訊設備、具有麥克風陣列的條形音箱、智慧手機、平板PC、膝上型電腦，或配備獨立麥克風(例如，可以是3.5mm插孔麥克風、USB麥克風或藍牙麥克風)和獨立揚聲器的個人電腦，但本發明不限於此。在一些實施例中，音訊設備200可以設置在視訊設備100中。在其他一些實施例中，音訊設備200電連接到視訊設備100，並且音訊設備200和視訊設備100是獨立的設備。
第2圖示出根據本發明實施例的音訊設備200的框圖。
在一實施例中，音訊設備200可以包括處理電路210、記憶體215、數模轉換器(digital-to-analog converter，簡稱DAC)220、放大器(amplifier，簡稱AMP)230、一個或多個揚聲器240和一個或多個麥克風250。處理電路210、記憶體215、DAC 220和放大器230可由積體電路(或片上系統)270實現。處理電路210可由中央處理單元(central processing unit，簡稱CPU)，數位訊號處理器(digital-signal processor，簡稱DSP)或專用積體電路(application-specific integrated circuit，簡稱ASIC)、多處理器和/或具有多核的處理器實現，但本發明不限於此。記憶體215可以是一種電腦存儲介質以及可以包括易失性記憶體和非易失性記憶體。記憶體215可以包括但不限於隨機存取記憶體(random access memory，簡稱RAM)、唯讀記憶體(read-only memory，簡稱ROM)、電可擦除 可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他存儲技術。
揚聲器240可以被配置為從視訊會議系統10中的其他音訊設備200發射揚聲器訊號。此外，揚聲器240還可以發射回聲參考訊號212，以及麥克風250可以接收除了回聲參考訊號之外，來自使用者環境的本地語音訊號和其他聲音。在一些實施例中，麥克風250可以包括模數轉換器(analog-to-digital，簡稱ADC)(第2圖中未示出)以將接收的類比聲訊號轉換為離散聲訊號以用於後續的AEC處理。
處理電路210可以對麥克風250接收到的聲音訊號(即，包括回聲參考訊號、本地語音訊號和其他環境聲音)執行AEC處理，以便估計從揚聲器240到麥克風250的回聲路徑的狀態。在一些實施例中，AEC處理可以藉由AEC適應性濾波器來實現，例如最小均方(least mean squares，簡稱LMS)濾波器、歸一化最小均方(normalized least mean square，簡稱NLMS)適應性濾波器，或具有預定抽頭數的其他類型，但本發明不限於此。
具體地，當使用者使用音訊設備200加入視訊會議或音訊會議時，揚聲器240和麥克風250的位置通常是固定的，以及揚聲器240和麥克風250之間的距離也是固定的。當揚聲器240和麥克風250正常工作時，說明從揚聲器240到麥克風250的回聲路徑是有效的，AEC適應性濾波器的係數會收斂，以及會接近預定係數。當揚聲器240或麥克風250關閉或不正常工作時，AEC適應性濾波器的係數會發散。AEC處理的細節將在下一節中描述。
第3圖示出根據本發明實施例的聲音回聲消除(AEC)過程的流程圖。
參照第3圖，處理電路210可以在記憶體215中存儲來自遠端(例如，視訊會議系統10中的其他音訊設備200)的預定數量的輸入樣本，其中輸入樣本的預定數量可以等於AEC適應性濾波器214的抽頭數。
為了便於描述，歸一化最小均方(NLMS)演算法被用於處理電路210的AEC適應性濾波器214中，以及AEC適應性濾波器214可以找到與產生誤差訊號(例如，期望訊號和實際訊號之間的差異)的最小歸一化均方相關的濾波器係數。例如，回聲路徑是未知系統，其具有待識別的傳遞函數h(n)，以及AEC適應性濾波器214嘗試調整其傳遞函數
Figure 110144096-A0305-02-0008-1
以使其盡可能接近回聲路徑的傳遞函數h(n)。
AEC適應性濾波器符號定義
在本節中，AEC適應性濾波器214中使用的符號被定義，其中：n是當前輸入樣本的數量；p是濾波器抽頭的數量；x(n)是來自遠端(例如，來自視訊會議系統10中的其他音訊設備200)的回聲參考訊號，其中x(n)=[x(n),x(n-1),...,x(n-p+1)] T ；y(n)是麥克風250藉由回聲路徑接收到的回聲參考訊號，其中y(n)=h H (n)．x(n)；v(n)是本地語音訊號(即在近端)加上環境聲音訊號；d(n)是麥克風250產生的聲音訊號，其中d(n)=y(n)+v(n)；
Figure 110144096-A0305-02-0008-5
是AEC適應性濾波器214的傳遞函數；
Figure 110144096-A0305-02-0008-2
是AEC適應性濾波器的輸出訊號，可以看作是估計的回聲訊號，其中
Figure 110144096-A0305-02-0008-3
為殘差回聲訊號或誤差訊號，其中
Figure 110144096-A0305-02-0008-4
。
具體而言，回聲參考訊號x(n)是來自遠端的當前輸入樣本(即，在時間n)和(p-1)個先前輸入樣本(即，在時間=n-1,n-2,....，n-p+1)的矩陣，例如視訊會議系統10中的其他音訊設備200。AEC適應性濾波器214可以計算傳遞函數
Figure 110144096-A0305-02-0008-6
和回聲參考訊號x(n)的厄米轉置(Hermitian transpose)的內積(inner product)得到輸出訊號
Figure 110144096-A0305-02-0008-8
。減法器216可以從聲音訊號d(n)中減去輸出訊號
Figure 110144096-A0305-02-0008-7
以獲得殘差回聲訊號e(n)，該訊號被發送到遠端(例如視訊會議系統10中的其他音訊設備200)。
在一些實施例中，AEC適應性濾波器214的傳遞函數
Figure 110144096-A0305-02-0008-9
可視為 AEC適應性濾波器214的濾波器係數矩陣。此外，殘差回聲訊號e(n)被回饋到AEC適應性濾波器214。如果殘差回聲訊號e(n)很大，則AEC適應性濾波器214可以顯著地調整其濾波器係數以擬合回聲路徑的傳遞函數h(n)。如果殘差回聲訊號e(n)較小，則說明AEC適應性濾波器214當前使用的濾波器係數接近回聲路徑的傳遞函數h(n)，AEC適應性濾波器214可以調整其濾波器係數稍微適合回聲路徑的傳遞函數h(n)。
在一些實施例中，AEC適應性濾波器214可以在時間n+1計算其傳遞函數，其中
Figure 110144096-A0305-02-0009-10
。在一些其他實施例中，AEC適應性濾波器214可以在時間n+1處計算其傳遞函數，其中
Figure 110144096-A0305-02-0009-11
μe *(n)x(n)。因此，AEC適應性濾波器214可以比較時間n+1和時間n的傳遞函數(即，濾波器係數)以確定是否調整其濾波器係數以擬合回聲路徑的傳遞函數h(n)。
具體地，如前述實施例所述，假設揚聲器240和麥克風250的位置是固定的，那麼揚聲器240和麥克風250之間的距離也是固定的。在這種情況下，如果揚聲器240和麥克風250都打開以及正常工作，則回聲路徑可能相當穩定。結果，AEC適應性濾波器214的濾波器係數會收斂，這表明殘差回聲訊號e(n)可能非常接近0。另外，如果使用智慧手機作為音訊設備200，揚聲器240和麥克風250的位置固定，以及揚聲器240和麥克風250之間的距離固定。因此，如果揚聲器240和麥克風250都開啟並正常工作，則AEC適應性濾波器214的濾波器係數可以收斂以及接近先前在工廠中測試和校準的參考濾波器係數。
然而，如果揚聲器240或麥克風250關閉或不正常工作，則回聲路徑可能無效。例如，假設麥克風250正常工作而揚聲器240關閉或不正常工作，麥克風250將不會接收到揚聲器240發出的回聲參考訊號。同時，AEC適應性濾波器214仍然使用回聲參考訊號x(n)產生輸出訊號
Figure 110144096-A0305-02-0009-12
。由於聲音訊號d(n)中不 存在分量y(n)，因此聲音訊號d(n)與輸出訊號
Figure 110144096-A0305-02-0010-19
的差值(即殘差回聲訊號e(n))會很大。結果，AEC適應性濾波器214可能錯誤地估計回聲路徑的傳遞函數(即，濾波器係數矩陣)，並且這將導致估計的濾波器係數發散。
在另一種情況下，假設揚聲器240正常工作而麥克風250關閉或不正常工作，揚聲器240可以發出回聲參考訊號x(n)，但麥克風250將不會接收到任何聲音訊號。結果，聲音訊號d(n)近似接近於0。同時，AEC適應性濾波器214仍使用回聲參考訊號x(n)產生輸出訊號
Figure 110144096-A0305-02-0010-13
。由於聲音訊號d(n)近似接近於0，因此聲音訊號d(n)與輸出訊號
Figure 110144096-A0305-02-0010-14
之間的差值即被視為殘差回聲訊號e(n)。結果，AEC適應性濾波器214可能錯誤地估計回聲路徑的傳遞函數(即，濾波器係數矩陣)，並且這將導致估計的濾波器係數發散。
在一些實施例中，用於AEC適應性濾波器214的參考濾波器係數可以在具有固定位置的揚聲器240和麥克風250的音訊設備200(例如，智慧手機、膝上型電腦、平板PC、桌面音訊設備等)的製造過程中生成。例如，在工廠的製造過程中，音訊設備200會播放白雜訊或掃音，音訊設備200的處理電路210可以同時執行AEC處理。因此，AEC適應性濾波器214的參考濾波器係數可以在預定時間段內執行AEC處理之後獲得，以及獲得的參考濾波器係數可以存儲在音訊設備200的非易失性記憶體中。
在一些其他實施例中，用於AEC適應性濾波器214中的參考濾波器係數可以在運行時計算。例如，在音訊會議期間，音訊設備200的處理電路210可以自動運行AEC處理以獲得AEC適應性濾波器214的參考濾波器係數。例如，使用者環境可能與工廠的測試環境不同，因此使用者環境中的回聲路徑和干擾可能與工廠不同。因此，處理電路210可以響應於檢測到音訊設備200正在音訊會議或視訊會議中使用而自動運行AEC處理以獲得參考濾波器係數。處理電路210可先設定初始濾波器係數
Figure 110144096-A0305-02-0010-15
，然後藉由計算預設時間段內(揚 聲器240和麥克風250正常工作的時間)的適應性濾波器係數的平均值來計算AEC適應性濾波器214的執行時間濾波器係數。
在其他一些實施例中，音訊設備200的非易失性記憶體可存儲在工廠已經測試和校準的預設參考濾波器係數。然而，在一些情況下，預設的參考濾波器係數可能不適合使用者環境。當音訊設備200開啟時，處理電路210可以從非易失性記憶體載入預設的參考濾波器係數作為AEC適應性濾波器214的初始濾波器係數。處理電路210然後可以執行AEC處理以及確定預設的參考濾波器係數是否適合使用者環境。例如，處理電路210可以在檢測到音訊設備200正用於音訊或視訊會議中時，確定殘差回聲訊號e(n)是否小於預設閾值以保持更新的濾波器係數在預定時間段內收斂。如果殘差回聲訊號e(n)在預定時間段內小於預設閾值，則處理電路210可以使用預設參考濾波器係數作為AEC適應性濾波器214的初始濾波器係數。如果殘差回聲訊號e(n)在預定時間段內不小於預設閾值，處理電路210可以初始化濾波器係數
Figure 110144096-A0305-02-0011-16
，即矩陣中的所有分量都為零。因此，AEC適應性濾波器214可以在運行時細化濾波器係數。
第4圖示出根據本發明實施例的用於在音視訊會議中檢測音訊設備的設備狀態的方法的流程圖。請參照第2圖到第4圖。
在步驟S410中，確定麥克風250的訊號電平是否高於閾值。如果確定麥克風250的訊號電平高於閾值，則步驟S420被執行。如果確定麥克風250的訊號電平不高於閾值，則表明麥克風250處於靜音狀態(步驟S415)，流程結束。同時，本地的音訊設備200或視訊設備100可以向雲網路20發送指示訊號，以通知遠端的音訊設備200或視訊設備100本地使用者的麥克風250被靜音，例如在視訊會議系統10中的每個視訊設備100上運行的視訊會議應用程式的圖形化使用者介面上顯示靜音麥克風的圖示。
在步驟S420中，AEC適應性濾波器214的濾波器係數被獲得。例 如，AEC適應性濾波器214可以在運行時更新其濾波器係數，以及處理電路210可以每隔預定時間段重複獲得AEC適應性濾波器214的濾波器係數。
在步驟S430中，得到的濾波器係數與參考濾波器係數的相似度被計算。例如，處理電路210可以計算獲得的濾波器係數和參考濾波器係數之間的余弦相似度。例如，兩個向量a和b之間的余弦相似度可以用等式(1)表示：
Figure 110144096-A0305-02-0012-17
給定得到的濾波器係數h adapt 和參考係數h ref ，得到的濾波器係數h adapt 和參考係數h ref 的相似度AdaptSim可以用等式(2)表示：AdaptSim=cos sim(h adapt ,h ref ) (2)
在步驟S440中，判斷相似度是否大於等於預設閾值。如果確定相似度小於預設閾值，則說明揚聲器240不工作(步驟S450)，流程結束。如果確定相似度大於或等於預設閾值，則說明揚聲器240和麥克風250工作正常(步驟S460)，流程回到步驟S410。
具體地，第4圖中的步驟S415、S450和S460可以表示音訊或視訊會議期間音訊設備200的不同設備狀態。本地的音訊設備200的處理電路210可以向雲網路20發送狀態訊號以指示音訊設備200的當前設備狀態，以及雲網路20可以將狀態訊號轉發給視訊會議系統10中的每個視訊設備100。因此，視訊會議系統10中的每個視訊設備100可以在每個視訊設備上運行的視訊會議應用程式的圖形化使用者介面上顯示使用者A的音訊設備200的狀態圖示。如果使用者A在視訊會議期間正在發言，則使用者A可以藉由圖形化使用者介面知道使用者B和C是否可以聽到他或她在說什麼。例如，如果第4圖中的流程進行到步驟S415，音訊設備200的設備狀態指示麥克風250靜音。如果第4圖中的流程進行到步驟S450，音訊設備200的設備狀態指示揚聲器240不工作。如果第4圖中的流程進行 到步驟S460，音訊設備200的設備狀態指示揚聲器240和麥克風250正常工作。簡而言之，在音訊或視訊會議期間，處理電路210可根據播放的回聲參考訊號與接收的聲音訊號之間的關係重複確定揚聲器240的第一狀態，以及經由雲網路20發送指示揚聲器240的第一狀態的第一狀態訊號到遠端。例如，播放的回聲參考訊號和接收的聲音訊號之間的關係可以使用AEC適應性濾波器的濾波器係數和參考濾波器係數來表示。在一些其他實施例中，播放的回聲參考訊號和接收的聲音訊號之間的關係可以使用一些其他係數來表示，這些其他係數從播放的回聲參考訊號和接收的聲音訊號確定。
第5A-5B圖示出根據本發明實施例的具有音訊設備的不同設備狀態的圖示的圖形化使用者介面的圖。請參考第2圖、第4圖以及第5A-5B圖。
假設使用者A、B和C加入視訊會議，使用者A的視訊設備100可以示出包括塊510、520和530的圖形化使用者介面500，如第5A圖所示。例如，塊510可以包含使用者B的音訊設備200的使用者名511(例如，使用者B)、視訊螢幕512、以及塊513和514，其中塊513示出了使用者B的音訊設備200的麥克風250的狀態，以及塊514示出了使用者B的音訊設備200的揚聲器240的狀態。塊520可以包含使用者C的音訊設備200的使用者名521(例如，使用者C)、視訊螢幕522以及音訊設備的塊523和524，其中塊523示出了使用者C的音訊設備200的麥克風250的狀態，以及塊524示出了使用者C的音訊設備200的揚聲器240的狀態。塊530可以示出使用者A(即本地使用者)的視訊螢幕。
參照第5A圖，假設使用者B和C的音訊設備200的揚聲器240和麥克風250正常工作，因此塊513和523可以顯示具有特定顏色(例如，綠色)的麥克風圖案，以及揚聲器-狀態圖示514和524可以顯示具有特定顏色(例如，綠色)的揚聲器模式。因此，使用者A可以藉由麥克風狀態圖示513和523以及揚聲器狀態圖示514和524知道使用者B和C的音訊設備200的揚聲器240和麥克風250正常 工作。
參照第5B圖，如果使用者B的音訊設備200檢測到其麥克風250的訊號電平低於閾值，則使用者B的音訊設備200可以向雲網路20發送使用者B的第一狀態訊號，該訊號指示麥克風250靜音，以及使用者A的音訊設備200可以從雲網路20接收狀態訊號。因此，在使用者A的視訊設備100上運行的視訊會議應用程式可以在塊513上顯示覆蓋有紅色X標記的麥克風圖案。同時，使用者B的音訊設備200可以確定其揚聲器240正常工作，以及將指示揚聲器240正常工作的使用者B的第二狀態訊號發送到雲網路20。因此，使用者A的音訊設備200可以從雲網路20接收第二狀態訊號，以及運行在使用者A的視訊設備100上的視訊會議應用程式可以顯示綠色的揚聲器模式。
如果使用者C的音訊設備200檢測到它的揚聲器240不工作，則使用第4圖中描述的流程，使用者C的音訊設備200可以向雲網路20發送使用者C的第二狀態訊號，該訊號表示揚聲器240不工作，使用者A的音訊設備200可以從雲網路20接收使用者C的第二狀態訊號，運行在使用者A的視訊設備100上的視訊會議應用程式可以顯示覆蓋有紅色X標記的揚聲器圖案。同時，如果使用者C的音訊設備200檢測到其麥克風250的訊號電平高於閾值，則使用者C的音訊設備200可以確定其麥克風250正常工作，以及發送指示麥克風250正常工作的第一狀態訊號至雲網路20。因此，使用者A的音訊設備200可以從雲網路20接收到使用者C的第一狀態訊號，以及運行在使用者A的視訊設備100上的視訊會議應用程式可以顯示覆蓋有紅色X標記的揚聲器圖案。
具體地，當使用者A在音訊會議期間發言時，使用者A可以在圖形化使用者介面上查看塊513-514和523-524中的圖示，以瞭解使用者B和C是否能夠聽到他或她所說的內容。由於AEC處理是遞迴有限脈衝響應(recursive finite-impulse response，簡稱FIR)濾波器，如果在音訊會議期間的特定時間回聲 路徑或AEC環路發生任何問題，遠端的音訊設備200的處理電路210(例如，使用者B和C)的音訊設備可以確定其揚聲器240和/或麥克風250不工作，以及本地使用者(例如，使用者A)的視訊設備100可以藉由查看圖形化使用者介面相應塊中的圖示來知道遠端的音訊設備200的設備狀態。因此，在音訊或視訊會議期間，本地使用者(例如，使用者A)不需要問“你聽到我了嗎？”這個問題。
有鑑於此，在音視訊會議中檢測設備狀態的方法和音訊設備被公開，能夠檢測本地音訊設備的揚聲器或麥克風是否正常工作，然後將檢測到的揚聲器和麥克風的設備狀態提供給視訊會議系統中的其他音訊設備或視訊設備。相應地，遠端使用者可以知道本地音訊設備的揚聲器和麥克風的設備狀態，本地使用者也可以知道遠端的音訊設備的揚聲器和麥克風的設備狀態，從而提高音訊或視訊會議期間的使用者體驗。
雖然本發明已經藉由示例和優選實施例的方式進行描述，但是應當理解，本發明不限於所公開的實施例。相反，它旨在涵蓋對本領域技術人員顯而易見的各種修改和類似佈置。因此，所附申請專利的範圍應給予最廣泛的解釋以涵蓋所有此類修改和類似佈置。
S410、S415、S420、S430、S440、S450、S460:步驟

Claims (16)

  1. 一種音訊設備，包括：一處理電路，連接到一揚聲器和一麥克風，其中該處理電路被配置為在該揚聲器上播放來自一遠端的一回聲參考訊號，以及經由一聲音回聲消除適應性濾波器使用該回聲參考訊號和由該麥克風接收一聲音訊號來執行一聲音回聲消除處理，其中，該處理電路根據播放的該回聲參考訊號與接收的該聲音訊號的一關係反復判斷該揚聲器的一第一狀態，以及藉由一雲網路向該遠端傳送指示該揚聲器的該第一狀態的一第一狀態訊號。
  2. 如請求項1所述之音訊設備，其中，播放的該回聲參考訊號和接收的該聲音訊號之間的該關係使用該聲音回聲消除適應性濾波器的多個濾波器係數和多個參考濾波器係數來表示。
  3. 如請求項2所述之音訊設備，其中，回應於該處理電路確定該麥克風的一訊號電平低於或等於一閾值，該處理電路確定該麥克風被靜音，其中回應於該處理電路確定該麥克風的該訊號電平高於該閾值，該處理電路確定該麥克風的一第二狀態為該麥克風正常工作，經由該雲網路向該遠端發送指示該第二狀態的一第二狀態訊號，從該聲音回聲消除適應性濾波器中獲取該等濾波器係數，以及計算得到的該等濾波器係數與該等參考濾波器係數的相似度。
  4. 如請求項3所述之音訊設備，其中，回應於該處理電路確定計算出的該相似度低於一預設閾值，該處理電路確定該揚聲器的該第一狀態是該揚聲器不工作，其中回應於該處理電路確定計算出的該相似度高於或等於一預設閾值，該處理電路確定該揚聲器的該第一狀態為該揚聲器正常工作。
  5. 如請求項2所述之音訊設備，其中，該等參考濾波器係數藉由該聲音回聲消除適應性濾波器使用在一第一預定時間段內在該揚聲器上播放白雜訊和掃音來進行計算，以及在一工廠製造該音訊設備的過程中，計算出的該等參考濾波器係數被預先存儲在該音訊設備的一非易失性記憶體中。
  6. 如請求項2所述之音訊設備，其中，該處理電路將該聲音回聲消除適應性濾波器的該等濾波器係數初始化為零，以及藉由計算該聲音回聲消除適應性濾波器運行在一第二預定時間段內該聲音回聲消除適應性濾波器的該等濾波器係數的一平均值，得到該聲音回聲消除適應性濾波器的該等濾波係數作為該等參考濾波係數。
  7. 如請求項2所述之音訊設備，其中該處理電路計算該等濾波器係數和該等參考濾波器係數之間的余弦相似度作為該相似度。
  8. 如請求項1所述之音訊設備，其中，該處理電路藉由該雲網路接收一第三狀態訊號和一第四狀態訊號，該第三狀態訊號和該第四狀態訊號分別指示該遠端的一另一音訊設備的一揚聲器的一第三狀態和該另一音訊設備的一麥克風的一第四狀態，以及在其中設置該音訊設備的一視訊設備上運行的一視訊會議應用程式的一圖形化使用者介面上顯示對應於該第三狀態和該第四狀態的多個圖示。
  9. 一種用於一音訊設備的方法，該音訊設備連接到一揚聲器和一麥克風，包括：在該揚聲器上播放來自一遠端的一回聲參考訊號；使用一聲音回聲消除適應性濾波器對該回聲參考訊號和該麥克風接收的一聲音訊號進行一聲音回聲消除處理；根據播放的該回聲參考訊號與接收的該聲音訊號之間的一關係確定該揚聲器的一第一狀態；以及 藉由一雲網路向該遠端傳送指示該揚聲器的該第一狀態的一第一狀態訊號。
  10. 如請求項9所述之用於一音訊設備的方法，其中播放的該回聲參考訊號和接收的該聲音訊號之間的該關係使用該聲音回聲消除適應性濾波器的多個濾波器係數和多個參考濾波器係數來表示。
  11. 如請求項10所述之用於一音訊設備的方法，更包括：回應於確定該麥克風的一訊號電平低於或等於一閾值，確定該麥克風的一第二狀態為該麥克風被靜音；以及回應於確定該麥克風的該訊號電平高於該閾值，執行以下步驟：確定該麥克風的該第二狀態為該麥克風正常工作；藉由該雲網路向該遠端發送指示該麥克風的該第二狀態的一第二狀態訊號；從該聲音回聲消除適應性濾波器獲得該等濾波器係數；以及計算獲得的該等濾波器係數與該等參考濾波器係數之間的相似度。
  12. 如請求項11所述之用於一音訊設備的方法，更包括：回應於確定計算出的該相似度低於一預設閾值，確定該揚聲器的該第一狀態為該揚聲器未工作；以及回應於確定計算出的該相似度高於或等於一預設閾值，確定該揚聲器的該第一狀態為該揚聲器正常工作。
  13. 如請求項10所述之用於一音訊設備的方法，更包括：藉由該聲音回聲消除適應性濾波器使用在一第一預定時間段內在該揚聲器上播放白雜訊和掃音來計算該等參考濾波器係數；以及在工廠製造該音訊設備的過程中，將計算出的該等參考濾波器係數預先存儲在該音訊設備的一非易失性記憶體中。
  14. 如請求項10所述之用於一音訊設備的方法，更包括：將該聲音回聲消除適應性濾波器的該等濾波器係數初始化為零；以及藉由計算該聲音回聲消除適應性濾波器運行在一第二預定時間段內該聲音回聲消除適應性濾波器的該等濾波器係數的一平均值，獲得該聲音回聲消除適應性濾波器的該等濾波器係數作為該等參考濾波器係數。
  15. 如請求項10所述之用於一音訊設備的方法，更包括：計算該等濾波器係數與該等參考濾波器係數之間的余弦相似度作為該相似度。
  16. 如請求項9所述之用於一音訊設備的方法，更包括：藉由該雲網路接收一第三狀態訊號及一第四狀態訊號，該第三狀態訊號及該第四狀態訊號分別指示該遠端的一另一音訊設備的一揚聲器的一第三狀態及該另一音訊設備的一麥克風的一第四狀態；以及在其中設置該音訊設備的一視訊設備上運行的一視訊會議應用程式的一圖形化使用者介面上顯示對應於該第三狀態和該第四狀態的多個圖示。
TW110144096A 2021-11-01 2021-11-26 音訊設備以及相關方法 TWI797850B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/515,909 2021-11-01
US17/515,909 US11863710B2 (en) 2021-11-01 2021-11-01 Audio device and method for detecting device status of audio device in audio/video conference

Publications (2)

Publication Number Publication Date
TWI797850B true TWI797850B (zh) 2023-04-01
TW202320059A TW202320059A (zh) 2023-05-16

Family

ID=86144725

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110144096A TWI797850B (zh) 2021-11-01 2021-11-26 音訊設備以及相關方法

Country Status (3)

Country Link
US (1) US11863710B2 (zh)
CN (1) CN116074489A (zh)
TW (1) TWI797850B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5288723B2 (ja) * 2006-05-10 2013-09-11 ニュアンス コミュニケーションズ， インコーポレイテッド マルチチャネルの反響補償
CN104778950A (zh) * 2014-01-15 2015-07-15 华平信息技术股份有限公司 一种基于回声消除的麦克风信号延时补偿控制方法
US9916840B1 (en) * 2016-12-06 2018-03-13 Amazon Technologies, Inc. Delay estimation for acoustic echo cancellation
US9967661B1 (en) * 2016-02-09 2018-05-08 Amazon Technologies, Inc. Multichannel acoustic echo cancellation
TW201933335A (zh) * 2018-01-25 2019-08-16 南韓商三星電子股份有限公司 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法
CN110310654A (zh) * 2019-07-26 2019-10-08 歌尔科技有限公司 回声消除方法及装置、电子设备、可读存储介质
CN111128210A (zh) * 2018-10-30 2020-05-08 哈曼贝克自动系统股份有限公司 具有声学回声消除的音频信号处理
CN111418011A (zh) * 2017-09-28 2020-07-14 搜诺思公司 多声道声学回声消除
CN111640449A (zh) * 2020-06-09 2020-09-08 北京大米科技有限公司 一种回音消除方法、计算机可读存储介质和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672445B1 (en) * 2002-11-15 2010-03-02 Fortemedia, Inc. Method and system for nonlinear echo suppression
US7003099B1 (en) * 2002-11-15 2006-02-21 Fortmedia, Inc. Small array microphone for acoustic echo cancellation and noise suppression
US10504501B2 (en) * 2016-02-02 2019-12-10 Dolby Laboratories Licensing Corporation Adaptive suppression for removing nuisance audio
US10650840B1 (en) * 2018-07-11 2020-05-12 Amazon Technologies, Inc. Echo latency estimation
US11404073B1 (en) * 2018-12-13 2022-08-02 Amazon Technologies, Inc. Methods for detecting double-talk
US10636435B1 (en) * 2018-12-22 2020-04-28 Microsemi Semiconductor (U.S.) Inc. Acoustic echo cancellation using low-frequency double talk detection
US10937441B1 (en) * 2019-01-04 2021-03-02 Amazon Technologies, Inc. Beam level based adaptive target selection
US11451905B1 (en) * 2019-10-30 2022-09-20 Social Microphone, Inc. System and method for multi-channel acoustic echo and feedback compensation
US11552611B2 (en) * 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021211113A1 (en) * 2020-04-15 2021-10-21 Hewlett-Packard Development Company, L.P. Double talk detectors
EP4199368A4 (en) * 2020-08-12 2024-01-03 Auzdsp Co., Ltd. ADAPTIVE DELAY DIVERSITY FILTER, ECHO COMPENSATION DEVICE AND METHOD USING THE SAME
US12039989B2 (en) * 2021-03-29 2024-07-16 Semiconductor Components Industries, Llc Echo canceller with variable step-size control

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5288723B2 (ja) * 2006-05-10 2013-09-11 ニュアンス コミュニケーションズ， インコーポレイテッド マルチチャネルの反響補償
CN104778950A (zh) * 2014-01-15 2015-07-15 华平信息技术股份有限公司 一种基于回声消除的麦克风信号延时补偿控制方法
US9967661B1 (en) * 2016-02-09 2018-05-08 Amazon Technologies, Inc. Multichannel acoustic echo cancellation
US9916840B1 (en) * 2016-12-06 2018-03-13 Amazon Technologies, Inc. Delay estimation for acoustic echo cancellation
CN111418011A (zh) * 2017-09-28 2020-07-14 搜诺思公司 多声道声学回声消除
TW201933335A (zh) * 2018-01-25 2019-08-16 南韓商三星電子股份有限公司 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法
CN111128210A (zh) * 2018-10-30 2020-05-08 哈曼贝克自动系统股份有限公司 具有声学回声消除的音频信号处理
CN110310654A (zh) * 2019-07-26 2019-10-08 歌尔科技有限公司 回声消除方法及装置、电子设备、可读存储介质
CN111640449A (zh) * 2020-06-09 2020-09-08 北京大米科技有限公司 一种回音消除方法、计算机可读存储介质和电子设备

Also Published As

Publication number Publication date
US11863710B2 (en) 2024-01-02
TW202320059A (zh) 2023-05-16
US20230133061A1 (en) 2023-05-04
CN116074489A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US8503669B2 (en) Integrated latency detection and echo cancellation
US9591123B2 (en) Echo cancellation
CN105794189B (zh) 用于回声消除的设备和方法
US8842851B2 (en) Audio source localization system and method
US20160171988A1 (en) Delay estimation for echo cancellation using ultrasonic markers
CN106663447B (zh) 具有噪声干扰抑制的音频系统
CN105432062B (zh) 用于回波去除的方法、设备及介质
CN105409191B (zh) 一种回波去除的方法、设备和计算机可读存储介质
US9742573B2 (en) Method and apparatus for calibrating multiple microphones
CN105324981B (zh) 回波抑制的方法、设备、介质及装置
CN110992923B (zh) 回声消除方法、电子设备以及存储装置
CN106961509B (zh) 通话参数处理方法、装置及电子设备
TW201434040A (zh) 通訊裝置及其語音處理方法
TWI797850B (zh) 音訊設備以及相關方法
CN108540680B (zh) 讲话状态的切换方法及装置、通话系统
US11405735B2 (en) System and method for dynamically adjusting settings of audio output devices to reduce noise in adjacent spaces
US20230335149A1 (en) Speech processing device and speech processing method
US20230300553A1 (en) Audio signal processing method and audio signal processing device
JP7095356B2 (ja) 通信端末及び会議システム
CN110913312B (zh) 一种回声消除方法及装置
US10366701B1 (en) Adaptive multi-microphone beamforming
Fukui et al. Acoustic echo and noise canceller for personal hands-free video IP phone
US11699458B2 (en) Acoustic quality evaluation apparatus, acoustic quality evaluation method, and program
CN102970638A (zh) 处理信号
JP2000341658A (ja) 話者方向検出システム