TWI423687B - 聲音處理裝置及方法 - Google Patents

聲音處理裝置及方法 Download PDF

Info

Publication number
TWI423687B
TWI423687B TW099124664A TW99124664A TWI423687B TW I423687 B TWI423687 B TW I423687B TW 099124664 A TW099124664 A TW 099124664A TW 99124664 A TW99124664 A TW 99124664A TW I423687 B TWI423687 B TW I423687B
Authority
TW
Taiwan
Prior art keywords
signal
main
sound
sound processing
correction
Prior art date
Application number
TW099124664A
Other languages
English (en)
Other versions
TW201127090A (en
Inventor
xi-lin Li
Sheng Liu
Original Assignee
Fortemedia Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fortemedia Inc filed Critical Fortemedia Inc
Publication of TW201127090A publication Critical patent/TW201127090A/zh
Application granted granted Critical
Publication of TWI423687B publication Critical patent/TWI423687B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

聲音處理裝置及方法
本發明係關於聲音處理裝置及方法，更係關於對麥克風進行靈敏度校正的聲音處理裝置。
麥克風陣列上用來處理聲音訊號的方法很多。舉例而言，廣義旁瓣對消法(generalized sidelobe cancellation，GSC)即為一常見的方法。
第1圖為使用GSC方法的傳統聲音處理裝置示意圖。聲音處理裝置100包括一主麥克風110、一參考麥克風120、一固定式聲束形成器130、一適應性閉塞濾波器(adaptive blocking filter)140以及一適應性干擾消除器150。主麥克風110與參考麥克風120從一音源接收聲音(圖未示)，以及無可避免地從非音源處接收到噪音，其中聲為理想訊號，而噪音則不是。主麥克風110與參考麥克風120產生的輸入訊號會被進一步提供至該固定式聲束形成器130及該適應性閉塞濾波器140。該固定式聲束形成器130採用GSC方法以從混合的聲音及噪音中擷取出理想訊號，以產生對應至聲音的主通道輸出，而該適應性閉塞濾波器140從混合的聲音與噪音中移除該理想訊號，並產生對應至噪音的一參考通道輸出。由於參考通道在各個頻道上之遺漏使得主通道輸出總有許多旁瓣產生，故將該適應性干擾消除器150耦接至該固定式聲束形成器130及適應性閉塞濾波器140以補償主通道輸出，進而取得最終輸出。在聲束形成之後，該最終輸出被提供至一韋式後端濾波器(Wiener post-filter)以進一步減低靜態與非靜態噪音。
該GSC聲束形成器與韋式後端濾波器之效能必須依賴兩麥克風110與參考麥克風120在靈敏度上的完美匹配。可在適應性閉塞濾波器140與適應性干擾消除器150中使用聲音動態偵測器(voice activity detectors，VAD)以避免誤消到理想的聲音。當麥克風欠缺可靠的靈敏度校正機制時，VAD即無法提供正確的資訊。然而，麥克風之間的靈敏度不匹配始終存在。再者，由於GSC聲束形成法是在時域中實施，而聲音與噪音在接收時又是互相混合的，所以GSC聲束形成法很難移除所有的即時雜訊。因此需要一種新方法處理前述問題。
本發明提供一種聲音處理裝置。該聲音處理裝置包括：一主麥克風，用以從一音源接收一聲音並從一背景接收一噪音，並產生一主輸入；一參考麥克風，用以接收該聲音與該噪音並產生一參考輸入；一短時傅立葉轉換(short-time Fourier transformation，STFT)單元，用以利用短時傅立葉轉換以將時域的該主輸入轉換成頻域之一主訊號，並將時域的該參考輸入轉換成頻域的一參考訊號；一靈敏度校正單元，用以對該主訊號與該參考訊號進行靈敏度校正，並產生一主校正訊號與一參考校正訊號；一聲音動態偵測器(voice active detector，VAD)，用以依據該主校正訊號、該參考校正訊號以及一波達方向(direction of arrival，DOA)訊號產生一聲音動態訊號；以及一聲束形成器(beamformer)，用以依據該聲音動態訊號將該主校正訊號轉換成一主通道，並將該參考校正訊號轉換成一參考通道。
本發明另提供一聲音處理方法。該聲音處理方法包括：從一音源接收一聲音並從一背景接收一噪音，並產生一主輸入；接收該聲音與該噪音並產生一參考輸入；利用短時傅立葉轉換以將時域的該主輸入轉換成頻域之一主訊號，並將時域的該參考輸入轉換成頻域的一參考訊號；對該主訊號與該參考訊號進行靈敏度校正，並產生一主校正訊號與一參考校正訊號；依據該主校正訊號、該參考校正訊號以及一波達方向(direction of arrival，DOA)訊號產生一聲音動態訊號；以及依據該聲音動態訊號將該主校正訊號轉換成一主通道，並將該參考校正訊號轉換成一參考通道。
下文為介紹本發明之最佳實施例。各實施例用以說明本發明之原理，但非用以限制本發明。本發明之範圍當以後附之權利要求項為準。
第2A圖為依照本發明一實施例之聲音處理裝置。聲音處理裝置200包括一主麥克風202、一參考麥克風204、一短時傅立葉轉換(STFT)單元210、一靈敏度校正單元220、一聲音動態偵測器(VAD)230、一聲束形成器240、一噪音抑制單元250以及一反STFT單元260。
為方便說明，在本發明之實施例中聲音處理裝置200可為一行動電話，然而，熟悉本技藝人士可了解到，本發明不必以此為限主麥克風202與參考麥克風204係用以自一音源接收聲音(第2圖中未示)並自一背景接收噪音，主麥克風202與參考麥克風204分別配置於行動電話的不同位置。第2B圖為一實例中主麥克風與參考麥克風在行動電話上之位置。在此實施例中，行動電話300包括一面板310與一背板1320，而該主麥克風202配置於前板310之底部，而該參考麥克風204配置於該背板320之頂部(本發明不必以此為限。主麥克風202較參考麥克風204更靠近該音源，例如，說話者的口部。值得注意的是，由於前板310與後板320間存在實體障礙，所以參考麥克風204自該音源所接收的聲音會較主麥克風202來得少。這兩個麥克風之位置將有利於訊號處理。在此實施例中，主麥克風202與參考麥克風204分別將混合的聲音與噪音分別轉換成一主輸入M1與參考輸入M2，如第2圖所示。
主輸入M1與參考輸入M2為時域訊號，並被提供至STFT單元210。STFT單元210分別將時域的主輸入M1與參考輸入M2轉換成頻域的主訊號S1與參考訊號S2。
靈敏度校正單元220接收主訊號S1與參考訊號S2，並對主訊號S1與參考訊號S2進行靈敏度校正，以產生一主校正訊號C1與一參考校正訊號C2。在本發明中，靈敏度校正單元220更包括一空間譜評估器222、一擴散噪音偵測器224、一靈敏度不匹配計算器226以及一靈敏度不匹配移除器228，用以消除靈敏度不匹配，進而使聲音處理裝置200取得較佳的訊號。
空間譜評估器222用以依據主訊號S1與參考訊號S2產生空間譜。空間譜評估器222取得空間譜的方法很多，包括，Capon空間譜評估法、多重訊號分類(multiple signal classification，MUSIC)空間譜評估法、GCC空間譜評估法以及相位轉換(phase transfer，PHAT)空間譜評估法。在此實施例中，空間譜可指出主訊號與參考訊號之功率分布與入射角間之函數關係。空間譜顯示了主麥克風202與參考麥克風204所接收聲音與噪音之混合。如熟悉本技藝之人士所知，空間譜中大致平坦的曲線係由遠場(遠場)噪音所造成，而空間譜中突出的主峰則是由近場(近場)聲音，即說話者之聲音及環境中的點源噪音所造成。
本發明利用擴散噪音校正麥克風202與204間之靈敏度不匹配。擴散噪音偵測器224可用來檢驗空間譜，以指出是否存在擴散噪音。一般來說，擴散噪音會使空間譜中出現平坦的曲線，熟悉本技藝人士可從中輕易分辨出何者為擴散噪音而何者為點源噪音。由於擴散噪音被視為遠場噪音，因此被主麥克風202及參考麥克風204所感測到的功率都是相同的。靈敏度不匹配計算器226配置於本發明中，可用來在擴散噪音偵測器224指出擴散噪音存在時，判斷主訊號S1與參考訊號S2間之靈敏度不匹配。接著，靈敏度不匹配移除器228接收該主訊號S1與參考訊號S2，並移除主訊號S1與參考訊號S2之間的靈敏度不匹配，並產生主校正訊號C1與參考校正訊號C2。
接著將麥克風202與204之靈敏度校正成彼此相等，並進一步處理主校正訊號C1與參考校正訊號C2以取得更好的訊號。聲音處理裝置200更包括一波達方向(direction of arrival，DOA)評估器232，其用以檢驗空間譜並產生一DOA訊號D1，其中DOA訊號D1指出空間譜是否存在主峰。VAD 230係用以依據主校正訊號C1、參考校正訊號C2以及DOA訊號D1產生聲音動態訊號V1。更明確地說，VAD 230將主校正訊號C1與參考校正訊號C2間之功率比一倉一倉地(bin by bin)與一預設臨界值進行比較。舉例而言，當一倉中之功率比小於預設臨界值，則該倉之訊號即被視為噪音而予以刪除，並開啟聲音動態訊號。然而，當一倉中之功率比大於該預設臨界值，則該倉的訊號將被視為理想訊號而予以保留，並關閉聲音動態訊號。
聲束形成器240係用以依據the聲音動態訊號V1將主校正訊號C1轉換成一主通道N1，並將參考校正訊號C2轉換成參考通道N2。聲束形成器240更包括一陣列流形矩陣辨識單元242、一主通道產生器244以及一參考通道產生器246。陣列流形矩陣辨識單元242係用以依據聲音動態訊號V1追縱訊號子空間，並產生一導引向量訊號V2。陣列流形矩陣辨識單元242可採用的訊號子空間追蹤方法可為PAST演算法。導引向量訊號V2可依據VAD 230所提供的聲音動態訊號V1指出各個頻率倉中的方向向量。主通道產生器244係用以接收該主校正訊號C1以及該參考校正訊號C2，並依據該導引向量訊號V2產生主通道N1，其中主通道N1對應至從音源上接收的聲音。舉例而言，主通道產生器244中可利用最小方差無失真響應(minimum variance distortionless response，MVDR)演算法進行聲束形成之處理。參考通道產生器246係用以接收主校正訊號C1與參考校正訊號C2，並依據導引向量訊號V2產生參考通道N2，其中參考通道N2對應至從背景接收到之噪音。舉例而言，參考通道產生器246可將理想訊號(從音源接收的聲音)消除以取得該參考通道N2。
雖然在聲束形成器240處理之後可取得主通道N1與參考通道N2，但仍可能存在部分非線性的噪音。噪音抑制單元250即用以依據聲音動態訊號V1進一步抑制主通道N1與參考通道N2中之靜態與非靜態噪音，並將主通道N1與參考通道N2整合成一最終訊號F1。舉例而言，噪音抑制單元係一韋氏後端濾波器。之後，反STFT單元260可利用反短時傅立葉轉換將頻率的最終訊號F1轉換成時域的最終輸出P1。
本發明更包括提供一聲音處理方法。第3A圖依照本發明一實施例為聲音處理方法之流程圖。請參照第3A圖與第2A圖，本聲音處理方法包括：在步驟S310中，從音源接收一聲音，從背景接收一噪音，並產生主輸入M1，並產生一參考輸入M2；在步驟S320中，利用短時傅立葉轉換而將時域之主輸入M1轉換成頻域之主訊號S1，並將時域之參考輸入M2轉換成頻域之參考訊號S2；在步驟S330中，對主訊號S1與參考訊號S2進行靈敏度校正以產生一主校正訊號C1與一參考校正訊號C2；在步驟S340中，依據主校正訊號C1、參考校正訊號C2以及一波達方向DOA訊號D1產生一聲音動態訊號V1；在步驟S350中，依據聲音動態訊號V2將該主校正訊號C1轉換成一主通道N1，並將該參考校正訊號C2轉換成一參考通道N2；在步驟S360中，依據聲音動態訊號V1抑制主通道N1與參考通道N2中之靜態與非靜態噪音，並將主通道N1與參考通道N2整合成一最終訊號F1；而在步驟S370中，利用反短時傅立葉轉換將該頻域的最終訊號F1轉換成時域的最終輸出P1。
第3B圖為步驟S330之詳細流程。請參照第3B圖與第2圖。步驟S330更包括：在步驟S331中，依據主訊號S1與參考訊號S2產生一空間譜，其中空間譜指出主訊號S1與參考訊號S2之功率分佈與入射角之間的函數關係；在步驟S332中，檢驗空間譜以指出是否存在擴散噪音；在步驟S333中，當擴散噪音偵測器指出擴散噪音存在時，計算主訊號S1與參考訊號S2之間的靈敏度不匹配；在步驟S334中，移除主訊號S1與參考訊號S2間之靈敏度不匹配，並產生主校正訊號C1與參考校正訊號C2。
第3C圖為步驟S340之詳細流程。請參照第3C圖與第2圖。步驟S340更包括：在步驟S341中，檢驗空間譜，並產生DOA訊號D1，其中DOA訊號D1指出該空間譜是否存在一主峰；而在步驟S342中，將主校正訊號C1與參考校正訊號C2間之功率比與一預設臨界值進行比較；其中當功率比大於一預設臨界值時，開啟該聲音動態訊號V1，而當功率比小於該預設臨界值時，關閉聲音動態訊號V2。
第3D圖為步驟S350之詳細流程。請參照第3D圖與第2圖。步驟S350更包括：在步驟S351中，追蹤訊號子空間並依據聲音動態訊號V1產生導引向量訊號V2；在步驟S352中，接收主校正訊號C1與參考校正訊號C2，並依據引向量訊號V2產生主通道N1與參考通道N2，其中主通道N1對應至從音源接收的聲音，而該參考通道N2對應至由背景接收到的噪音。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．聲音處理裝置
110．．．主麥克風
120．．．參考麥克風
130．．．固定式聲束形成器
140．．．適應性閉塞濾波器
150．．．適應性干擾消除器
200．．．聲音處理裝置
202．．．主麥克風
204．．．參考麥克風
210．．．短時傅立葉轉換單元
220．．．靈敏度校正單元
230．．．聲音動態偵測器
222．．．空間譜評估器
224．．．擴散噪音偵測器
226．．．靈敏度不匹配計算器
228．．．靈敏度不匹配移除器
240．．．聲束形成器
250．．．噪音抑制單元
260．．．反STFT單元
M1．．．輸入
M2．．．參考輸入
S1．．．主訊號
S2．．．參考訊號
S1．．．主訊號
S2．．．參考訊號
C1．．．主校正訊號
C2．．．參考校正訊號
第1圖為使用GSC方法的傳統聲音處理裝置示意圖。
第2A圖為依照本發明一實施例之聲音處理裝置。
第2B圖為一實例中主麥克風與參考麥克風在行動電話上之位置。
第3A圖依照本發明一實施例為聲音處理方法之流程圖。
第3B圖為步驟S330之詳細流程。
第3C圖為步驟S340之詳細流程。
第3D圖為步驟S350之詳細流程。
200．．．聲音處理裝置
202．．．主麥克風
204．．．參考麥克風
210．．．短時傅立葉轉換單元
220．．．靈敏度校正單元
230．．．聲音動態偵測器
222．．．空間譜評估器
224．．．擴散噪音偵測器
226．．．靈敏度不匹配計算器
228．．．靈敏度不匹配移除器
240．．．聲束形成器
250．．．噪音抑制單元
260．．．反STFT單元
M1．．．輸入
M2．．．參考輸入
S1．．．主訊號
S2．．．參考訊號
S1．．．主訊號
S2．．．參考訊號
C1．．．主校正訊號
C2．．．參考校正訊號

Claims (26)

  1. 一種聲音處理裝置，包括：一主麥克風，用以從一音源接收一聲音並從一背景接收一噪音，並產生一主輸入；一參考麥克風，用以接收該聲音與該噪音並產生一參考輸入；一短時傅立葉轉換(short-time Fourier transformation，STFT)單元，用以利用短時傅立葉轉換以將時域的該主輸入轉換成頻域之一主訊號，並將時域的該參考輸入轉換成頻域的一參考訊號；一靈敏度校正單元，用以對該主訊號與該參考訊號進行靈敏度校正，並產生一主校正訊號與一參考校正訊號；一聲音動態偵測器(voice active detector，VAD)，用以依據該主校正訊號、該參考校正訊號以及一波達方向(direction of arrival，DOA)訊號產生一聲音動態訊號；以及一聲束形成器(beamformer)，用以依據該聲音動態訊號將該主校正訊號轉換成一主通道，並將該參考校正訊號轉換成一參考通道。
  2. 如申請專利範圍第1項所述之聲音處理裝置，其中該主麥克風被配置在較該參考麥克風更靠近該音源之處。
  3. 如申請專利範圍第1項所述之聲音處理裝置，其中該靈敏度校正單元更包括一空間譜評估器，用以依據該主訊號與該參考訊號產生一空間譜，其中該空間譜指出該主訊號與該參考訊號在功率分佈與入射角間之函數關係。
  4. 如申請專利範圍第3項所述之聲音處理裝置，其中該靈敏度校正單元更包括一擴散噪音偵測器，用以檢驗該空間譜以指出是否存在一擴散噪音。
  5. 如申請專利範圍第4項所述之聲音處理裝置，其中該靈敏度校正單元更包括一靈敏度不匹配計算器，用以在該擴散噪音偵測器指出該擴散噪音存在時，計算該主訊號與參考訊號間之靈敏度不匹配。
  6. 如申請專利範圍第5項所述之聲音處理裝置，其中該靈敏度校正單元更包括一靈敏度不匹配移除器，用以接收該主訊號與該參考訊號，並移除該主訊號與參考訊號間之靈敏度不匹配，並產生該主校正訊號與該參考校正訊號。
  7. 如申請專利範圍第3項所述之聲音處理裝置，更包括一DOA評估器，用以檢驗該空間譜，並產生該DOA訊號，其中該DOA訊號指出在該空間譜中是否存在一主峰。
  8. 如申請專利範圍第1項所述之聲音處理裝置，其中該VAD將該主校正訊號與該參考校正訊號間之功率比與一預設臨界值作比較；其中，當該功率比大於一該預設臨界值時，該聲音動態訊號將被開啟，而當該功率小於該預設臨界值時，該聲音動態訊號將被關閉。
  9. 如申請專利範圍第1項所述之聲音處理裝置，其中該聲束形成器更包括一陣列流形矩陣辨識單元，用以追蹤一訊號子空間並依據該聲音動態訊號產生一導引向量訊號。
  10. 如申請專利範圍第9項所述之聲音處理裝置，其中該聲束形成器更包括：一主通道產生器，用以接收該主校正訊號與該參考校正訊號，並依據該導引向量訊號產生該主通道，其中該主通道對應至從該音源接收的該聲音；以及一參考通道產生器，用以接收該主校正訊號與該參考校正訊號，並依據該導引向量訊號產生該參考通道，其中該參考通道對應至從該背景接收的該噪音。
  11. 如申請專利範圍第1項所述之聲音處理裝置，更包括，一噪音抑制單元，用以依據該聲音動態訊號抑制該主通道與該參考通道中之靜態與非靜態噪音，並將該主通道與該參考通道整合成一最終訊號。
  12. 如申請專利範圍第1項所述之聲音處理裝置，更包括，一反STFT單元，用以利用反短時傅立葉轉換以將頻域之該最終訊號轉換成時域之一最終輸出。
  13. 如申請專利範圍第9項所述之聲音處理裝置，其中該陣列流形矩陣辨識單元利用一投影逼近子空間追蹤(projection approximation subspace tracking，PAST)演算法。
  14. 如申請專利範圍第10項所述之聲音處理裝置，其中該主通道產生器與該參考通道產生器利用一最小方差無失真響應(minimum variance distortionless response，MVDR)聲束形成方法以產生該主通道與該參考通道。
  15. 如申請專利範圍第11項所述之聲音處理裝置，其中該噪音抑制單元係一韋氏後端濾波器(Wiener post filter)。
  16. 一聲音處理方法，包括：從一音源接收一聲音並從一背景接收一噪音，並產生一主輸入；接收該聲音與該噪音並產生一參考輸入；利用短時傅立葉轉換以將時域的該主輸入轉換成頻域之一主訊號，並將時域的該參考輸入轉換成頻域的一參考訊號；對該主訊號與該參考訊號進行靈敏度校正，並產生一主校正訊號與一參考校正訊號；依據該主校正訊號、該參考校正訊號以及一波達方向(direction of arrival，DOA)訊號產生一聲音動態訊號；以及依據該聲音動態訊號將該主校正訊號轉換成一主通道，並將該參考校正訊號轉換成一參考通道。
  17. 如申請專利範圍第16項所述之聲音處理方法，更包括：依據該主訊號與該參考訊號產生一空間譜，其中該空間譜指出該主訊號與該參考訊號在功率分佈與入射角間之函數關係。
  18. 如申請專利範圍第17項所述之聲音處理方法，更包括：檢驗該空間譜以指出是否存在一擴散噪音。
  19. 如申請專利範圍第18項所述之聲音處理方法，更包括：在該擴散噪音偵測器指出該擴散噪音存在時，計算該主訊號與參考訊號間之靈敏度不匹配。
  20. 如申請專利範圍第19項所述之聲音處理方法，更包括：移除該主訊號與參考訊號間之靈敏度不匹配，並產生該主校正訊號與該參考校正訊號。
  21. 如申請專利範圍第17項所述之聲音處理方法，更包括：檢驗該空間譜，並產生該DOA訊號，其中該DOA訊號指出在該空間譜中是否存在一主峰。
  22. 如申請專利範圍第21項所述之聲音處理方法，更包括：將該主校正訊號與該參考校正訊號間之功率比與一預設臨界值作比較；其中，當該功率比大於一該預設臨界值時，將該聲音動態訊號開啟，而當該功率小於該預設臨界值時，將該聲音動態訊號關閉。
  23. 如申請專利範圍第16項所述之聲音處理方法，更包括：追蹤一訊號子空間並依據該聲音動態訊號產生一導引向量訊號。
  24. 如申請專利範圍第23項所述之聲音處理方法，更包括：接收該主校正訊號與該參考校正訊號，並依據該導引向量訊號產生該主通道與該參考通道，其中該主通道對應至從該音源接收的該聲音，而該參考通道對應至從該背景接收的該噪音。
  25. 如申請專利範圍第16項所述之聲音處理方法，更包括依據該聲音動態訊號抑制該主通道與該參考通道中之靜態與非靜態噪音，並將該主通道與該參考通道整合成一最終訊號。
  26. 如申請專利範圍第16項所述之聲音處理方法，更包括利用反短時傅立葉轉換以將頻域之該最終訊號轉換成時域之一最終輸出。
TW099124664A 2009-07-28 2010-07-27 聲音處理裝置及方法 TWI423687B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/510,449 US8275148B2 (en) 2009-07-28 2009-07-28 Audio processing apparatus and method

Publications (2)

Publication Number Publication Date
TW201127090A TW201127090A (en) 2011-08-01
TWI423687B true TWI423687B (zh) 2014-01-11

Family

ID=43527019

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099124664A TWI423687B (zh) 2009-07-28 2010-07-27 聲音處理裝置及方法

Country Status (2)

Country Link
US (1) US8275148B2 (zh)
TW (1) TWI423687B (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565446B1 (en) * 2010-01-12 2013-10-22 Acoustic Technologies, Inc. Estimating direction of arrival from plural microphones
US20110194709A1 (en) * 2010-02-05 2011-08-11 Audionamix Automatic source separation via joint use of segmental information and spatial diversity
CN102314882B (zh) * 2010-06-30 2012-10-17 华为技术有限公司 声音信号通道间延时估计的方法及装置
US8639499B2 (en) * 2010-07-28 2014-01-28 Motorola Solutions, Inc. Formant aided noise cancellation using multiple microphones
WO2012107561A1 (en) * 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
JP5752324B2 (ja) * 2011-07-07 2015-07-22 ニュアンス コミュニケーションズ， インコーポレイテッド 雑音の入った音声信号中のインパルス性干渉の単一チャネル抑制
JP5629249B2 (ja) * 2011-08-24 2014-11-19 本田技研工業株式会社 音源定位システム及び音源定位方法
KR101335859B1 (ko) * 2011-10-07 2013-12-02 주식회사 팬택 통신 기기의 음성 통화 품질 최적화 시스템
US20130148814A1 (en) * 2011-12-10 2013-06-13 Stmicroelectronics Asia Pacific Pte Ltd Audio acquisition systems and methods
US9648421B2 (en) * 2011-12-14 2017-05-09 Harris Corporation Systems and methods for matching gain levels of transducers
US9497544B2 (en) 2012-07-02 2016-11-15 Qualcomm Incorporated Systems and methods for surround sound echo reduction
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
US9736287B2 (en) 2013-02-25 2017-08-15 Spreadtrum Communications (Shanghai) Co., Ltd. Detecting and switching between noise reduction modes in multi-microphone mobile devices
US9467785B2 (en) 2013-03-28 2016-10-11 Knowles Electronics, Llc MEMS apparatus with increased back volume
US9503814B2 (en) 2013-04-10 2016-11-22 Knowles Electronics, Llc Differential outputs in multiple motor MEMS devices
US10020008B2 (en) 2013-05-23 2018-07-10 Knowles Electronics, Llc Microphone and corresponding digital interface
US9633655B1 (en) 2013-05-23 2017-04-25 Knowles Electronics, Llc Voice sensing and keyword analysis
US9711166B2 (en) 2013-05-23 2017-07-18 Knowles Electronics, Llc Decimation synchronization in a microphone
US20180317019A1 (en) 2013-05-23 2018-11-01 Knowles Electronics, Llc Acoustic activity detecting microphone
US10028054B2 (en) 2013-10-21 2018-07-17 Knowles Electronics, Llc Apparatus and method for frequency detection
US9712923B2 (en) 2013-05-23 2017-07-18 Knowles Electronics, Llc VAD detection microphone and method of operating the same
KR102282366B1 (ko) 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9386370B2 (en) 2013-09-04 2016-07-05 Knowles Electronics, Llc Slew rate control apparatus for digital microphones
US9502028B2 (en) 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
US9147397B2 (en) 2013-10-29 2015-09-29 Knowles Electronics, Llc VAD detection apparatus and method of operating the same
US9831844B2 (en) 2014-09-19 2017-11-28 Knowles Electronics, Llc Digital microphone with adjustable gain control
US9712915B2 (en) 2014-11-25 2017-07-18 Knowles Electronics, Llc Reference microphone for non-linear and time variant echo cancellation
DE112016000287T5 (de) 2015-01-07 2017-10-05 Knowles Electronics, Llc Verwendung von digitalen Mikrofonen zur Niedrigleistung-Schlüsselworterkennung und Rauschunterdrückung
TW201640322A (zh) 2015-01-21 2016-11-16 諾爾斯電子公司 用於聲音設備之低功率語音觸發及方法
US10121472B2 (en) * 2015-02-13 2018-11-06 Knowles Electronics, Llc Audio buffer catch-up apparatus and method with two microphones
US9866938B2 (en) 2015-02-19 2018-01-09 Knowles Electronics, Llc Interface for microphone-to-microphone communications
CN107534818B (zh) 2015-05-14 2020-06-23 美商楼氏电子有限公司 麦克风
US10291973B2 (en) 2015-05-14 2019-05-14 Knowles Electronics, Llc Sensor device with ingress protection
US9478234B1 (en) 2015-07-13 2016-10-25 Knowles Electronics, Llc Microphone apparatus and method with catch-up buffer
US9936295B2 (en) 2015-07-23 2018-04-03 Sony Corporation Electronic device, method and computer program
US10045104B2 (en) 2015-08-24 2018-08-07 Knowles Electronics, Llc Audio calibration using a microphone
US10809400B2 (en) * 2015-10-27 2020-10-20 Schlumberger Technology Corporation Determining shear slowness based on a higher order formation flexural acoustic mode
CA3013874A1 (en) * 2016-02-09 2017-08-17 Zylia Spolka Z Ograniczona Odpowiedzialnoscia Microphone probe, method, system and computer program product for audio signals processing
US9894437B2 (en) 2016-02-09 2018-02-13 Knowles Electronics, Llc Microphone assembly with pulse density modulated signal
US20170316790A1 (en) * 2016-04-27 2017-11-02 Knuedge Incorporated Estimating Clean Speech Features Using Manifold Modeling
US10499150B2 (en) 2016-07-05 2019-12-03 Knowles Electronics, Llc Microphone assembly with digital feedback loop
US10257616B2 (en) 2016-07-22 2019-04-09 Knowles Electronics, Llc Digital microphone assembly with improved frequency response and noise characteristics
US10979824B2 (en) 2016-10-28 2021-04-13 Knowles Electronics, Llc Transducer assemblies and methods
WO2018126151A1 (en) 2016-12-30 2018-07-05 Knowles Electronics, Llc Microphone assembly with authentication
US11025356B2 (en) 2017-09-08 2021-06-01 Knowles Electronics, Llc Clock synchronization in a master-slave communication system
WO2019067334A1 (en) 2017-09-29 2019-04-04 Knowles Electronics, Llc MULTICORDER AUDIO PROCESSOR WITH FLEXIBLE MEMORY ALLOCATION
CN108510987B (zh) * 2018-03-26 2020-10-23 北京小米移动软件有限公司 语音处理方法及装置
WO2020055923A1 (en) 2018-09-11 2020-03-19 Knowles Electronics, Llc Digital microphone with reduced processing noise
US10908880B2 (en) 2018-10-19 2021-02-02 Knowles Electronics, Llc Audio signal circuit with in-place bit-reversal
CN109671433B (zh) * 2019-01-10 2023-06-16 腾讯科技（深圳）有限公司 一种关键词的检测方法以及相关装置
CN116567515B (zh) * 2023-07-11 2023-09-22 无锡聚诚智能科技有限公司 一种麦克风阵列校准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088544A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1752969A4 (en) * 2005-02-08 2007-07-11 Nippon Telegraph & Telephone SIGNAL SEPARATION DEVICE, SIGNAL SEPARATION METHOD, SIGNAL SEPARATION PROGRAM, AND RECORDING MEDIUM
EP2058797B1 (en) * 2007-11-12 2011-05-04 Harman Becker Automotive Systems GmbH Discrimination between foreground speech and background noise
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088544A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset

Also Published As

Publication number Publication date
TW201127090A (en) 2011-08-01
US20110026730A1 (en) 2011-02-03
US8275148B2 (en) 2012-09-25

Similar Documents

Publication Publication Date Title
TWI423687B (zh) 聲音處理裝置及方法
US9830899B1 (en) Adaptive noise cancellation
US10657981B1 (en) Acoustic echo cancellation with loudspeaker canceling beamformer
US9100734B2 (en) Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation
JP5007442B2 (ja) 発話改善のためにマイク間レベル差を用いるシステム及び方法
EP2868117B1 (en) Systems and methods for surround sound echo reduction
US9305540B2 (en) Frequency domain signal processor for close talking differential microphone array
US20110058676A1 (en) Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal
US20210312936A1 (en) Method, Device, Computer Readable Storage Medium and Electronic Apparatus for Speech Signal Processing
JP5446745B2 (ja) 音信号処理方法および音信号処理装置
Reindl et al. A stereophonic acoustic signal extraction scheme for noisy and reverberant environments
Yu et al. Audio-visual multi-channel recognition of overlapped speech
CN102348156A (zh) 声音处理装置及方法
CN110830870A (zh) 一种基于传声器技术的耳机佩戴者语音活动检测系统
Barfuss et al. Robust coherence-based spectral enhancement for speech recognition in adverse real-world environments
US11483646B1 (en) Beamforming using filter coefficients corresponding to virtual microphones
As’ad et al. Beamforming designs robust to propagation model estimation errors for binaural hearing aids
Mabande et al. Towards robust close-talking microphone arrays for noise reduction in mobile phones
Ayrapetian et al. Asynchronous acoustic echo cancellation over wireless channels
JP6361360B2 (ja) 残響判定装置及びプログラム
US20230328434A1 (en) Low complexity howling suppression for portable karaoke
US10204638B2 (en) Integrated sensor-array processor
US11425495B1 (en) Sound source localization using wave decomposition
TWI517143B (zh) 可消除雜音且增進語音辨識率之方法
Kowalczyk Multichannel Wiener filter with early reflection raking for automatic speech recognition in presence of reverberation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees