TWI435318B - 利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體 - Google Patents

利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體 Download PDF

Info

Publication number
TWI435318B
TWI435318B TW098108784A TW98108784A TWI435318B TW I435318 B TWI435318 B TW I435318B TW 098108784 A TW098108784 A TW 098108784A TW 98108784 A TW98108784 A TW 98108784A TW I435318 B TWI435318 B TW I435318B
Authority
TW
Taiwan
Prior art keywords
audio signal
sound
signal
microphone
mobile device
Prior art date
Application number
TW098108784A
Other languages
English (en)
Other versions
TW200951942A (en
Inventor
Dinesh Ramakrishnan
Song Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW200951942A publication Critical patent/TW200951942A/zh
Application granted granted Critical
Publication of TWI435318B publication Critical patent/TWI435318B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H04R29/006—Microphone matching

Description

利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體
本揭示案大體係關於用以改良通信系統中之話音品質之信號處理解決方案之領域，且更特定言之，係關於利用多重麥克風來改良話音通信之品質之技術。
本專利申請案主張2008年3月18日申請之題為「Speech Enhancement Using Multiple Microphones on Multiple Devices」之臨時申請案第61/037,461號之優先權，且經讓渡給本文之受讓人。
在行動通信系統中，所傳輸話音之品質係使用者體驗之整體服務品質中的重要因素。最近，一些行動通信裝置(MCD)已包括MCD中之多重麥克風以改良所傳輸話音之品質。在此等MCD中，利用來自多重麥克風之音訊資訊之高級信號處理技術用以增強話音品質且抑制背景雜訊。然而，此等解決方案大體要求多重麥克風都位於相同MCD上。多重麥克風MCD之已知實例包括具有兩個或兩個以上麥克風之蜂巢式電話手機及具有兩個麥克風之藍芽無線頭戴式耳機。
由MCD上之麥克風擷取之話音信號極易受諸如背景雜訊、混響等環境效應之影響。僅裝備單一麥克風之MCD在使用於雜訊環境(亦即，輸入話音信號之訊雜比(SNR)低之環境)中時遭受不良話音品質。為改良有雜訊環境中之可操作性，引入多重麥克風MCD。多重麥克風MCD處理由一麥克風之陣列擷取之音訊以改良話音品質，即使在不適宜(雜訊高)環境中。已知多重麥克風解決方案可使用某些數位信號處理技術以藉由利用由位於MCD上之不同麥克風擷取之音訊而改良話音品質。
已知多重麥克風MCD要求所有麥克風都位於MCD上。由於麥克風都位於相同裝置上，故已知多重麥克風音訊處理技術及其有效性由MCD內之麥克風之間的相對有限之空間分離來管理。因此需要找到增加行動裝置中所使用之多重麥克風技術的有效性及穩定性之方法。
鑒於此，本揭示案針對利用由多重麥克風記錄之信號以改良行動通信系統的話音品質之機構，其中麥克風中之一些位於除了MCD之外的不同裝置上。舉例而言，一個裝置可為MCD，且另一裝置可為通信至MCD之無線/有線裝置。可以各種方式處理不同裝置上之麥克風擷取之音訊。在本揭示案中，提供若干實例：可利用不同裝置上之多重麥克風來改良話音活動偵測(VAD)；亦可利用多重麥克風來使用諸如波束成形、盲源分離、空間分集接收方案等之源分離方法而執行語音增強。
根據一項態樣，在通信系統中處理音訊信號之方法包括：藉由位於無線行動裝置上之第一麥克風擷取第一音訊信號；藉由位於不包括於無線行動裝置中之第二裝置上之第二麥克風擷取第二音訊信號；及處理第一及第二經擷取音訊信號以產生表示來自聲源中之一者(例如，所要源)，但自來自聲源中之其他者(例如，周圍雜訊源、干擾聲源等)之聲音分離之聲音之信號。第一及第二音訊信號可表示來自區域環境中相同源之聲音。
根據另一態樣，一設備包括：第一麥克風，其位於一無線行動裝置上，其經組態以擷取第一音訊信號；第二麥克風，其位於不包括於無線行動裝置中之第二裝置上，其經組態以擷取第二音訊信號；及處理器，其經組態以回應於第一及第二經擷取音訊信號而產生表示自來自源中之其他者的聲音分離之來自聲源中的一者之聲音的信號。
根據另一態樣，一設備包括：用於在無線行動裝置處擷取第一音訊信號之構件；用於在不包括於無線行動裝置中之第二裝置處擷取第二音訊信號之構件；及用於處理第一及第二經擷取音訊信號以產生表示自來自聲源中之其他者的聲音分離之來自聲源中的一者之聲音的信號之構件。
根據另一態樣，具體化可由一或多個處理器執行之一組指令之電腦可讀媒體包括：用於在無線行動裝置處擷取第一音訊信號之程式碼；用於在不包括於無線行動裝置中之第二裝置處擷取第二音訊信號之程式碼；及用於處理第一及第二經擷取音訊信號以產生表示自來自聲源中之其他者的聲音分離之來自聲源中的一者之聲音的信號之程式碼。
在檢查以下諸圖及詳細描述後，其他態樣、特徵、方法及優點對於熟習此項技術者而言將為或將變得顯而易見。所有此類額外特徵、態樣、方法及優點將意欲包括於此描述內且受隨附申請專利範圍的保護。
將理解，圖式僅用於說明之目的。此外，諸圖中之組件不必按比例繪製，而是著重於說明本文中描述之技術及裝置之原理。在諸圖中，相同參考數字貫穿不同視圖指定對應部分。
參考並併入有圖式之以下實施方式描述並說明了一或多個特定實施例。展示並充分詳細地描述了此等實施例(提供此等實施例並非用以限制而是僅用以例證及教示)以使熟習此項技術者能夠實踐所主張之內容。因此，為簡潔起見，該描述可省略熟習此項技術者所已知之特定資訊。
貫穿本揭示案使用字「例示性」以意謂「充當一實例、例項或說明」。未必將本文中描述為「例示性」之任何事物解釋為與其他方法或特徵相比而為較佳或有利的。
圖1為包括具有多重麥克風106、108之行動通信裝置(MCD)104及頭戴式耳機102之例示性通信系統100之圖。在所展示之實例中，頭戴式耳機102與MCD 104經由諸如藍芽連接之無線鏈路103進行通信。雖然藍芽連接可用以在MCD 104與頭戴式耳機102之間進行通信，但期望可在無線鏈路103上使用其他協定。利用藍芽無線鏈路，可根據自www.bluetooth.com可得之由藍芽規格提供的頭戴式耳機設定檔來交換MCD 104與頭戴式耳機102之間的音訊信號。
複數個聲源110發出由不同裝置102、104上之麥克風106、108拾取之聲音。
可利用位於不同行動通信裝置上之多重麥克風來改良所傳輸話音之品質。本文中揭示可利用來自多重裝置的麥克風音訊信號來改良效能之方法及設備。然而，本揭示案不限於任何特定之多重麥克風處理方法或任何特定組之行動通信裝置。
由位於彼此靠近處之多重麥克風擷取之音訊信號通常擷取聲源之混合。聲源可為雜訊類(街道雜訊、串音雜訊、周圍雜訊等)或可為話音或儀器。來自聲源之聲波可自牆壁或附近物件彈射或反射掉而產生不同聲音。一般熟習此項技術者應理解術語聲源亦可用以指示除了原始聲源之外的不同聲音，並且指示原始聲源。視應用而定，聲源可為話音類或雜訊類。
目前，存在僅具有單一麥克風之許多裝置：行動手機、有線頭戴式耳機、藍芽頭戴式耳機等。但此等裝置在結合使用此等裝置中之兩者或兩者以上時提供多重麥克風特徵。在此等環境下，本文中描述之方法及設備能夠利用不同裝置上之多重麥克風且改良話音品質。
需要藉由應用使用複數個所擷取音訊信號之演算法來將所接收聲音的混合分離為表示原始聲源中之每一者的至少兩個信號。亦即，在應用諸如盲源分離(BSS)、波束成形或空間分集之源分離演算法之後，可分開地聽取「混合」聲源。此類分離技術包括BSS、波束成形及空間分集處理。
本文中描述用於利用不同裝置上之多重麥克風來改良行動通信系統的話音品質之若干例示性方法。為簡單起見，在本揭示案中，提出僅涉及兩個麥克風之一項實例：MCD 104上之一個麥克風及諸如頭戴式耳機102或有線頭戴式耳機之附件上之一個麥克風。然而，本文中揭示之技術可擴展至涉及兩個以上麥克風之系統，及各自具有一個以上麥克風之MCD及頭戴式耳機。
在系統100中，用於擷取語音信號之主要麥克風106由於通常最靠近說話之使用者而位於頭戴式耳機102上，而MCD 104上之麥克風108為次要麥克風108。此外，所揭示方法可與諸如有線頭戴式耳機之其他合適MCD附件一起使用。
兩個麥克風信號處理在MCD 104中執行。由於在與來自次要麥克風108之次要麥克風信號相比時自頭戴式耳機102接收之主要麥克風信號歸因於無線通信協定而經延遲，故在可處理兩個麥克風信號之前要求延遲補償方塊。對於給定藍芽頭戴式耳機而言延遲補償方塊要求之延遲值通常係已知的。若延遲值未知，則延遲補償方塊使用標稱值，且在兩個麥克風信號處理方塊中處理延遲補償之不準確度。
圖2為說明處理來自多重麥克風之音訊信號的方法200之流程圖。在步驟202中，主要音訊信號由位於頭戴式耳機102上之主要麥克風106擷取。
在步驟204，次要音訊信號藉由位於MCD 104上之次要麥克風108而擷取。主要及次要音訊信號分別表示來自在主要及次要麥克風106、108處接收之聲源110之聲音。
在步驟206，主要及次要之經擷取音訊信號經處理以產生表示自來自聲源110中之其他者的聲音分離之來自聲源110中的一者之聲音的信號。
圖3為展示圖1之MCD 104及頭戴式耳機102的某些組件之方塊圖。無線頭戴式耳機102及MCD 104各自能夠在無線鏈路103上彼此進行通信。
頭戴式耳機102包括耦接至天線303而用於在無線鏈路103與MCD 106進行通信之短程無線介面308。無線頭戴式耳機102亦包括控制器310、主要麥克風106及麥克風輸入電路312。
控制器310控制頭戴式耳機102及其中含有之某些組件之整體操作，且其包括處理器311及記憶體313。處理器311可為用於執行儲存於記憶體313中以使頭戴式耳機102執行如本文中描述之其功能及過程之程式化指令的任何合適處理裝置。舉例而言，處理器311可為微處理器(諸如，ARM7)、數位信號處理器(DSP)、一或多個特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、複雜可程式化邏輯裝置(CPLD)、離散邏輯、軟體、硬體、韌體或其任何合適之組合。
記憶體313為用於儲存由處理器311執行及使用之程式化指令及資料的任何合適之記憶體裝置。
短程無線介面308包括收發器314，且提供經由天線303之與MCD 104之雙向無線通信。雖然任何合適無線技術可使用於頭戴式耳機102，但短程無線介面308較佳包括提供由天線303、藍芽RF收發器、基頻處理器、協定堆疊組成之至少一藍芽核心系統之市售藍芽模組，以及用於將該模組連接至控制器310之硬體及軟體介面，及頭戴式耳機102之其他組件(若需要)。
麥克風輸入電路312處理自主要麥克風106接收之電子信號。麥克風輸入電路312包括類比數位轉換器(ADC)(未圖示)，且可包括用於處理來自主要麥克風106之輸出信號之另一電路。ADC將來自麥克風之類比信號轉換為接著由控制器310處理之數位信號。可利用市售之硬體、軟體、韌體或其任何合適組合來實施麥克風輸入電路312。又，麥克風輸入電路312之功能中之一些可實施為可在處理器311上執行之軟體或諸如數位信號處理器(DSP)之單獨處理器。
主要麥克風106可為用於將聲音能量轉換為電子信號之任何合適音訊轉導器。
MCD 104包括無線廣域網路(WWAN)介面330、一或多個天線301、短程無線介面320、次要麥克風108、麥克風輸入電路315以及具有處理器326及儲存一或多個音訊處理程式329之記憶體328之控制器324。音訊程式329可組態MCD 104以執行本文中描述的圖2及圖4-圖12之過程方塊。MCD 104可包括用於在短程無線鏈路103及WWAN鏈路上進行通信之單獨天線，或替代地，單一天線可用於兩個鏈路。
控制器324控制MCD 104及其中所含有之某些組件的整體操作。處理器326可為用於執行儲存於記憶體328中之程 式化指令以使MCD 104執行如本文中所描述之其功能及過程的任何合適之處理裝置。舉例而言，處理器326可為微處理器(諸如，ARM7)、數位信號處理器(DSP)、一或多個特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、複雜可程式化邏輯裝置(CPLD)、離散邏輯、軟體、硬體、韌體或其任何合適之組合。
記憶體324為用於儲存由處理器326執行及使用之程式化指令及資料的任何合適之記憶體裝置。
WWAN介面330包含與WWAN進行通信必要之整個實體介面。介面330包括經組態以與WWAN內之一或多個基地台交換無線信號之無線收發器332。合適無線通信網路之實例包括(但不限於)基於分碼多重存取(CDMA)之網路、WCDMA、GSM、UTMS、AMPS、PHS網路等。WWAN介面330與WWAN交換無線信號以有助於話音呼叫及資料在WWAN上轉移至所連接裝置。所連接裝置可為另一WWAN終端機、陸上通信線電話或諸如話音信箱伺服器、網際網路伺服器等之網路服務實體。
短程無線介面320包括收發器336，且提供與無線頭戴式耳機102之雙向無線通信。雖然任何合適無線技術可使用於MCD 104，但短程無線介面336較佳包括提供由天線301、藍芽RF收發器、基頻處理器、協定堆疊組成之至少一藍芽核心系統之市售藍芽模組，以及用於將該模組連接至控制器324之硬體及軟體介面及MCD 104之其他組件(若需要)。
麥克風輸入電路315處理自次要麥克風108接收之電子信號。麥克風輸入電路315包括類比數位轉換器(ADC)(未圖示)，且可包括用於處理來自次要麥克風108之輸出信號之另一電路。ADC將來自麥克風之類比信號轉換為接著由控制器324處理之數位信號。可使用市售硬體、軟體、韌體或其任何合適組合來實施麥克風輸入電路315。又，麥克風輸入電路315之功能中之一些可實施為可在處理器326上執行之軟體或諸如數位信號處理器(DSP)之單獨處理器。
次要麥克風108可為用於將聲音能量轉換為電子信號之任何合適音訊轉導器。
可利用類比及/或數位硬體、韌體或軟體之任何合適組合來實施MCD 104及頭戴式耳機102之組件。
圖4為使用不同裝置上之兩個麥克風的一般多重麥克風信號處理之過程方塊圖。如圖中所展示，方塊402-410可由MCD 104執行。
在圖中，數位化主要麥克風信號樣本由x1 (n)指示。來自MCD 104之數位化次要麥克風信號樣本由x2 (n)指示。
方塊400表示在主要麥克風樣本在無線鏈路103上自頭戴式耳機102向MCD 104傳送時主要麥克風樣本經歷之延遲。主要麥克風樣本x1 (n)相對於次要麥克風樣本x2 (n)而延遲。
在方塊402中，執行線性回音消除(LEC)以自主要麥克風樣本移除回音。合適LEC技術對於彼等一般熟習此項技術者而言係已知的。
在延遲補償方塊404中，在可進一步處理兩個麥克風信號之前次要麥克風信號被延遲td 個樣本。延遲補償方塊404所要求之延遲值td 通常對於諸如藍芽頭戴式耳機之給定無線協定而言係已知。若延遲值係未知的，則可在延遲補償方塊404中使用標稱值。可如下文結合圖5-圖6所描述進一步改進延遲值。
此應用中之另一障礙為補償兩個麥克風信號之間的資料速率差異。此係在取樣率補償方塊406中完成。一般而言，頭戴式耳機102及MCD 104可由兩個獨立時鐘源控制，且時鐘率可隨時間推移而關於彼此略微偏移。若時鐘率不同，則兩個麥克風信號之每訊框傳遞的樣本之數目可能不同。此通常已知為樣本滑動問題且可使用彼等熟習此項技術者已知之多種方法來解決此問題。在樣本滑動之情形下，方塊406補償兩個麥克風信號之間的資料速率差異。
較佳地，在執行涉及主要麥克風樣本流與次要麥克風樣本流之進一步信號處理之前，匹配兩個流之取樣率。存在許多合適方式來實現此。舉例而言，一個方式為自一個流添加/移除樣本而匹配另一流中之樣本/訊框。另一方式為進行一個流之細微取樣率調整以匹配另一者。舉例而言，設兩個頻道具有8kHz之標稱取樣率。然而，一個頻道之實際取樣率為7985Hz。因此，來自此頻道之音訊樣本需要升頻取樣至8000Hz。作為另一實例，一個頻道可能具有8023Hz之取樣率。其音訊樣本需要降頻取樣至8kHz。可使用許多方法來進行任意兩個流之重新取樣以便匹配其取樣率。
在方塊408中，次要麥克風108經校正以補償主要及次要麥克風106、108之靈敏度之差異。藉由調整次要麥克風樣本流來完成校正。
一般而言，主要及次要麥克風106、108可具有相當不同之靈敏度，且有必要校正次要麥克風信號以使得次要麥克風108接收之背景雜訊功率具有與主要麥克風106接收之背景雜訊功率相似之位準。可利用涉及估計兩個麥克風信號之雜訊底部，及接著利用兩個雜訊底部估計之比率的平方根以按比例調整次要麥克風信號以使得兩個麥克風信號具有相同雜訊底部位準之方法而執行校正。可替代地使用校正麥克風之靈敏度之其他方法。
在方塊410中，進行多重麥克風音訊處理。處理包括利用來自多重麥克風之音訊信號來改良話音品質、系統效能等之演算法。此類演算法之實例包括VAD演算法及諸如盲源分離(BSS)、波束成形或空間分集之源分離演算法。源分離演算法允許「混合」聲源之分離以使得僅所要源信號經傳輸至遠端收聽者。下文更詳細地論述前述例示性演算法。
圖5為說明利用包括於MCD 104中之線性回音消除器(LEC)402的例示性麥克風信號延遲估計方法之圖。方法估計在無線鏈路103上傳送之主要麥克風信號所經歷之無線頻道延遲500。大體而言，回音消除演算法經實施於MCD 104上以消除經由頭戴式耳機揚聲器506之呈現於麥克風(主要麥克風Tx 路徑)信號上之遠端(主要麥克風Rx 路徑)回音經歷。主要麥克風Rx 路徑可包括頭戴式耳機102中進行之Rx 處理504，且主要麥克風Tx 路徑可包括頭戴式耳機102中進行之Tx 處理502。
回音消除演算法通常由MCD 104內前端上之LEC 402組成。LEC 402對遠端Rx 信號實施適應性濾波，且自傳入主要麥克風信號濾波出回音。為有效實施LEC 402，需要已知自Rx 路徑至Tx 路徑之往返延遲。通常，往返延遲係恆定的或至少接近恆定值，且此恆定延遲在MCD 104之初始調諧期間經估計且用於組態LEC解決方案。一旦已知往返延遲trd 之估計，與次要麥克風信號相比主要麥克風信號經歷之延遲之初始近似估計t0d 可計算為往返延遲之一半。一旦初始近似延遲係已知的，即可藉由在一範圍之值上精細搜尋而估計實際延遲。
下文描述精細搜尋。設LEC 402後之主要麥克風信號由x1 (n)指示。設來自MCD 104之次要麥克風信號由x2 (n)指示。次要麥克風信號首先經延遲t0d 以在兩個麥克風信號x1 (n)與x2 (n)之間提供初始近似延遲補償，其中n為樣本索引整數值。初始近似延遲通常為粗略估計。在延遲值範圍τ內經延遲第二麥克風信號接著與主要麥克風信號交叉相關且藉由在範圍τ內最大化交叉相關輸出而得到實際、經改進之延遲估計td ：
範圍參數τ可取正及負整數值二者。舉例而言， 。最終估計td 對應於最大化交叉相關之τ值。相同交叉相關方法亦可用於計算遠端信號與主要麥克風信號中呈現之回音之間的粗略延遲估計。然而，在此情形下，延遲值通常係大的，且τ值之範圍必須基於先前經歷而仔細地加以選擇或在大範圍之值內進行搜尋。
圖6為說明用於改進麥克風信號延遲估計之另一方法之過程方塊圖。在此方法中，在利用上文方程式1計算延遲估計之交叉相關之前，兩個麥克風樣本流視情況由低通濾波器(LPF)604、606低通濾波(方塊608)。由於當兩個麥克風106、108經遠離地置放時，在兩個麥克風信號之間僅低頻率分量經相關，故低通濾波係有幫助的。可基於下文描述VAD及BSS在本文中概述之方法得到低通濾波器之截止頻率。如圖6之方塊602所展示，在低通濾波之前次要麥克風樣本延遲初始近似延遲t0d 。
圖7為利用不同裝置上之兩個麥克風的話音活動偵測(VAD)700之過程方塊圖。在單一麥克風系統中，若雜訊隨時間為非固定的，則不可良好地估計背景雜訊功率。然而，利用次要麥克風信號(來自MCD 104中之一者)，可獲得背景雜訊功率之較精確之估計且可實現顯著改良之話音活動偵測器。可以多種方式來實施VAD 700。下文描述VAD實施之實例。
一般而言，次要麥克風108將為距主要麥克風106相對較遠的(大於8cm)，且因此次要麥克風108將擷取大多數周圍雜訊及極少所要之來自使用者之語音。在此情形下，可藉由比較經校正次要麥克風信號與主要麥克風信號之功率位準而簡單地實現VAD 700。若主要麥克風信號之功率位準遠高於經校正次要麥克風信號之功率位準，則宣告偵測到話音。次要麥克風108可在MCD 104之製造期間經初始校正以使得兩個麥克風106、108所擷取之周圍雜訊位準彼此接近。在校正後，兩個麥克風信號之所接收樣本的每一方塊(或訊框)之平均位準經比較，且在主要麥克風信號之平均方塊功率超出次要麥克風信號一預定臨限值時宣告語音偵測。若兩個麥克風置放得較遠，則兩個麥克風信號之間的相關對於較高頻率而言下降。麥克風間隔(d)與最大相關頻率(fmax )之間的關係可利用以下方程式來表達：
其中，c=343m/s為聲音在空氣中之速度，d為麥克風分離距離且fmax 為最大相關頻率。可藉由在計算方塊能量估計之前將低通濾波器插入於兩個麥克風信號之路徑中而改良VAD效能。低通濾波器選擇在兩個麥克風信號之間相關的僅彼等較高之音訊頻率，且因此決策將不偏向不相關分量。低通濾波器之截止可設定如下。
f-cutoff=max(fmax,800);f-cutoff=min(f-cutoff,2800)。　(3)
此處，800Hz及2800Hz給定為低通濾波器之最小及最大截止頻率之實例。低通濾波器可為簡單FIR濾波器或具有規定截止頻率之雙二次IIR濾波器。
圖8為利用不同裝置上之兩個麥克風的盲源分離(BSS)之過程方塊圖。BSS模組800分離且恢復來自一陣列之感應器所記錄的源信號之多重混合的源信號。BSS模組800通常使用較高順序統計以自混合分離初始源。
若背景雜訊過高或過於不固定，則頭戴式耳機102擷取之語音信號之可解度可極受損害。BSS 800可在此等場景中提供語音品質之顯著改良。
BSS模組800可使用多種源分離方法。BSS方法通常使用適應性濾波器來自主要麥克風信號移除雜訊且自次要麥克風信號移除所要語音。由於適應性濾波器可僅模仿且移除相關信號，其將特別有效地自主要麥克風信號移除低頻率雜訊及自次要麥克風信號移除低頻率語音。可藉由僅在低頻率區域中進行適應性濾波而改良BSS濾波器之效能。此可由兩個方式達成。
圖9為使用兩個麥克風信號之經修改BSS實施之過程方塊圖。BSS實施包括BSS濾波器852、兩個低通濾波器(LPF)854、856，及BSS濾波器學習及更新模組858。在BSS實施中，利用適應性/固定濾波器852濾波兩個輸入音訊信號以分離來自不同音訊源之信號。所使用之濾波器852可為適應性的，亦即，濾波器權值可隨時間經調適作為輸入資料之函數，或濾波器可為固定的，亦即，使用固定組之預先計算之濾波係數來分離輸入信號。通常，由於適應性濾波器實施提供更佳效能，故適應性濾波器實施更常見，尤其在輸入統計為非固定之情形下。
通常對於兩個麥克風裝置而言，BSS使用兩個濾波器：一個濾波器自輸入混合信號分離出所要音訊信號，且另一濾波器自輸入混合信號分離出周圍雜訊/干擾信號。兩個濾波器可為FIR濾波器或IIR濾波器且在適應性濾波器之情形下，兩個濾波器之權重可共同地進行更新。適應性濾波器之實施涉及兩個階段：第一階段藉由自輸入資料進行學習而計算濾波器權重更新，且第二階段藉由迴旋運算濾波器權重與輸入資料而實施濾波器。此處，提議將低通濾波器854應用至輸入資料用於實施第一階段858(然而，對於第二階段852而言利用該資料計算濾波器更新)對原始輸入資料實施適應性濾波(在沒有LPF之情形下)。LPF 854、856可經設計為具有截止頻率之IIR或FIR濾波器，如方程式(3)中所規定。對於時域BSS實施而言，分別如圖9中所展示將兩個LPF 854、856應用至兩個麥克風信號。接著將經濾波麥克風信號提供至BSS濾波器學習及更新模組858。回應於經濾波信號，模組858更新BSS濾波器852之濾波器參數。
圖10中展示BSS之頻域實施之方塊圖。此實施包括快速傅裏葉變換(FFT)方塊970、BSS濾波器方塊972、後處理方塊974及快速傅裏葉逆變換(IFFT)方塊976。對於頻域BSS實施而言，BSS濾波器972僅實施於低頻率中(或子頻帶中)。可以如方程式(2)及(3)中所給定之相同方法來得到低頻率之範圍之截止。在頻域實施中，針對每一頻率區間(或子頻帶)實施單獨組之BSS濾波器972。此處再次地，針對每一頻率區間實施兩個適應性濾波器：一個濾波器將自混合輸入分離所要音訊源，且另一者自混合輸入濾波出周圍雜訊信號。多種頻域BSS演算法可用於此實施。由於BSS濾波器已經對窄頻資料進行操作，在此實施中不需要分離濾波器學習階段及實施階段。對於對應於低頻率(例如，<800Hz)之頻率區間而言，頻域BSS濾波器972經實施以自其他源信號分離所要源信號。
通常，亦結合BSS/波束成形方法使用後處理演算法974以便達成雜訊抑制之較高位準。後處理方法974通常使用溫納(Wiener)濾波、頻譜相減或其他非線性技術以自所要源信號進一步抑制周圍雜訊及其他不當信號。後處理演算法974通常不利用麥克風信號之間的相位關係，因此其可利用來自次要麥克風信號之低頻率及高頻率部分之資訊以改良所傳輸信號之語音品質。提議來自麥克風之低頻率BSS輸出及高頻率信號由後處理演算法974使用。後處理演算法計算來自BSS次要麥克風輸出信號(對於低頻率而言)及次要麥克風信號(對於高頻率而言)之每一頻率區間的雜訊功率位準之估計，且接著針對每一頻率區間得出一增益且將該增益應用至主要傳輸信號以進一步移除周圍雜訊且增強其話音品質。
為說明僅在低頻率中進行雜訊抑制之優點，考慮以下例示性場景。使用者可在開車之同時利用無線或有線頭戴式耳機且將行動手機保持於其襯衫/外套口袋中或距頭戴式耳機不超過20cm之某處。在此情形下，小於860Hz之頻率分量將在頭戴式耳機與手機裝置所擷取之麥克風信號之間進行相關。由於道路雜訊及車中之引擎雜訊主要地含有大多數集中於800Hz以下之低頻率能量，低頻率雜訊抑制方法可提供顯著之效能改良。
圖11為利用不同裝置上之兩個麥克風的波束成形方法1000之過程方塊圖。波束成形方法藉由線性地組合由一陣列之感應器記錄之信號而執行空間濾波。在本揭示案之上下文中，感應器為置放於不同裝置上之麥克風。空間濾波增強來自所要方向上之信號接收且同時抑制來自其他方向上之干擾信號。
亦可藉由利用頭戴式耳機102及MCD 104中之兩個麥克風106、108執行波束成形而改良所傳輸話音品質。波束成形藉由抑制來自除所要語音源之方向之外的方向之周圍雜訊而改良話音品質。波束成形方法可使用一般熟習此項技術者輕易已知之多種方法。
通常利用適應性FIR濾波器而使用波束成形，且低通濾波兩個麥克風信號之相同概念可用於改良適應性濾波器之學習效率。BSS及波束成形方法之組合亦可用以進行多重麥克風處理。
圖12為利用不同裝置上之兩個麥克風之空間分集接收技術1100之過程方塊圖。空間分集技術提供用於改良可歸因於環境中之多路徑傳播而經受干擾衰落的聲學信號之接收的可靠性之各種方法。由於波束成形器藉由相干地組合麥克風信號以便改良輸出信號之訊雜比(SNR)而工作，而分集方案藉由相干或不相干地組合多重接收信號以便改良受多路徑傳播所影響之信號之接收而工作，故空間分集方案相當不同於波束成形方法。存在可用於改良所記錄語音信號之品質之各種分集組合技術。
一個分集組合技術係涉及監視兩個麥克風信號且拾取最強信號(亦即，具最高SNR之信號)之選擇組合技術。此處首先計算經延遲主要麥克風信號及經校正次要麥克風信號之SNR，且接著選擇具最強SNR之信號作為輸出。可藉由一般熟習此項技術者已知之以下技術來估計麥克風信號之SNR。
另一分集組合技術為最大比率組合技術，其涉及以兩個麥克風信號之各別SNR加權兩個麥克風信號，且接著組合兩個麥克風信號以改良輸出信號之品質。舉例而言，兩個麥克風信號之經加權組合可如下表示：
y (n )=a 1 (n )s 1 (n )+a 2 (n )s 2 (n -τ)　(4)
此處，s1 (n)及s2 (n)為兩個麥克風信號且a1 (n)及a2 (n)為兩個權重，且y(n)為輸出。第二麥克風信號可由值τ視情況進行延遲以便最小化歸因於由兩個麥克風信號之相干求和所引起之相位消除效應之消音。
兩個權重必須小於一且在任何給定瞬間，且兩個權重之和必須加至一。權重可隨時間推移而變化。權重可經組態為與對應麥克風信號之SNR成比例。權重可隨時間推移而變平滑且隨時間而極略微地發生改變以使得所組合信號y(n)不具有任何不當假影。一般而言，由於主要麥克風信號擷取具比次要麥克風信號之SNR更高的SNR之所要語音，故主要麥克風信號之權重為極高的。
或者，亦可將自次要麥克風信號計算之能量估計用於由雜訊抑制技術利用之非線性後處理模組中。雜訊抑制技術通常使用諸如頻譜相減之非線性後處理方法以自主要麥克風信號移除更多雜訊。後處理技術通常要求周圍雜訊位準能量之估計以便抑制主要麥克風信號中之雜訊。周圍雜訊位準能量可自次要麥克風信號之方塊功率估計進行計算，或經計算為來自兩個麥克風信號之方塊功率估計之加權組合。
諸如藍芽頭戴式耳機之附件中之一些能夠經由藍芽通信協定提供範圍資訊。因此，在藍芽實施中，範圍資訊給出頭戴式耳機102位於距MCD 104之多遠處。若範圍資訊不可用，則可自利用方程式(1)計算之時間延遲估計而計算範圍之近似估計。此範圍資訊可由MCD 104利用而用於確定使用何種類型之多重麥克風音訊處理演算法來改良所傳輸話音品質。舉例而言，波束成形方法當主要及次要麥克風位於接近彼此處(距離<8cm)時工作得最理想。因此，在此等情境下，可選擇波束成形方法。BSS演算法適用於中間範圍(6cm<距離<15cm)中，且空間分集方法適用於當麥克風遠離地間隔(距離>15cm)時。因此，在此等範圍中之每一者中，可分別由MCD 104選擇BSS演算法及空間分集演算法。因此，可利用兩個麥克風之間的距離之知識來改良所傳輸話音品質。
系統、裝置、頭戴式耳機及其各別組件之功能性，以及本文中描述之方法步驟及方塊可實施於硬體、軟體、韌體或其任何合適組合中。軟體/韌體可為具有可由諸如微處理器、DSP、嵌入式控制器或智慧產權(IP)核心之一或多個數位電路執行的多組指令(例如，碼段)之程式。若實施於軟體/韌體中，則該等功能可作為指令或程式碼而儲存於一或多個電腦可讀媒體上或在電腦可讀媒體上傳輸。電腦可讀媒體包括電腦儲存媒體及通信媒體(包括有助於電腦程式自一位置轉移至另一位置的任何媒體)。儲存媒體可為可由電腦存取之任何可用媒體。以實例加以說明，而非限制，此類電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置，或可用以載運或儲存以指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，可適當地將任何連接稱為電腦可讀媒體。舉例而言，若利用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸軟體，則同軸電纜、光纖電纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括在媒體之定義中。如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學碟片、數位通用光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟則用雷射以光學方式再生資料。上文之組合亦應包括在電腦可讀媒體之範疇內。
已描述了特定實施例。然而，可能對此等實施例進行各種修改，且本文中所提出之原理同樣可應用於其他實施例。舉例而言，可將本文中揭示之原理應用至其他裝置，諸如包括個人數位助理(PDA)之無線裝置、個人電腦、立體聲系統、視訊遊戲等。又，可將本文中揭示之原理應用至有線頭戴式耳機，其中頭戴式耳機與另一裝置之間的通信鏈路係一導線，而非無線鏈路。另外，在不脫離申請專利範圍之範疇之情形下各種組件及/或方法步驟/方塊可以除了明確揭示之彼等配置外之配置進行實施。
鑒於此等教示，一般熟習此項技術者將容易想到其他實施例及修改。因此，當結合以上說明書及隨附圖式來檢視時，以下申請專利範圍意欲涵蓋所有此等實施例及修改。
100．．．通信系統
102．．．頭戴式耳機
103．．．無線鏈路
104．．．行動通信裝置(MCD)
106．．．麥克風
108．．．次要麥克風
110．．．聲源
301．．．天線
303．．．天線
308．．．短程無線介面
310．．．控制器
311．．．處理器
312．．．麥克風輸入電路
313．．．記憶體
314．．．收發器
315．．．麥克風輸入電路
320．．．短程無線介面
324．．．控制器
326．．．處理器
328．．．記憶體
329．．．音訊處理程式
330．．．無線廣域網路(WWAN)介面
332．．．無線收發器
336．．．收發器
400．．．方塊
402．．．方塊/線性回音消除器
404．．．延遲補償方塊
406．．．取樣率補償方塊
408．．．方塊
410．．．方塊
500．．．無線頻道延遲
502．．．Tx 處理
504．．．Rx 處理
506．．．頭戴式耳機揚聲器
602．．．方塊
604．．．低通濾波器(LPF)
606．．．低通濾波器
608．．．方塊
700．．．話音活動偵測(VAD)
800．．．盲源分離(BSS)模組
852．．．BSS濾波器/第二階段
854．．．低通濾波器(LPF)
856．．．低通濾波器
858．．．BSS濾波器學習及更新模組
970．．．快速傅裏葉變換(FFT)方塊
972．．．BSS濾波器方塊
974．．．後處理方塊
976．．．快速傅裏葉逆變換(IFFT)方塊
1000．．．波束成形方法
1100．．．空間分集接收技術
td ．．．延遲值
x1 (n)．．．數位化主要麥克風信號樣本
x2 (n)．．．數位化次要麥克風信號樣本
圖1為包括具有多重麥克風之行動通信裝置及頭戴式耳機的例示性通信系統之圖；
圖2為說明處理來自多重麥克風之音訊信號的方法之流程圖；
圖3為展示圖1之行動通信裝置及頭戴式耳機的某些組件之方塊圖；
圖4為使用不同裝置上之兩個麥克風的一般多重麥克風信號處理之過程方塊圖；
圖5為說明例示性麥克風信號延遲估計方法之圖；
圖6為改進麥克風信號延遲估計之過程方塊圖；
圖7為利用不同裝置上之兩個麥克風之話音活動偵測(VAD)之過程方塊圖；
圖8為利用不同裝置上之兩個麥克風之BSS之過程方塊圖；
圖9為使用兩個麥克風信號之經修改BSS實施之過程方塊圖；
圖10為經修改頻域BSS實施之過程方塊圖；
圖11為利用不同裝置上之兩個麥克風的波束成形方法之過程方塊圖；及
圖12為利用不同裝置上之兩個麥克風的空間分集接收技術之過程方塊圖。
100．．．通信系統
102．．．頭戴式耳機
103．．．無線鏈路
104．．．行動通信裝置(MCD)
106．．．麥克風
108．．．次要麥克風
110．．．聲源

Claims (31)

  1. 一種在一通信系統中處理音訊信號之方法，其包含：藉由位於一手持無線行動裝置上之一第一麥克風擷取一第一音訊信號，該手持無線行動裝置包含經組態以在一第一通信鏈路上與一無線廣域網路交換無線信號之一第一通信介面及經組態以在一第二通信鏈路上通信之一第二通信介面，該第一音訊信號表示來自複數個聲源之聲音；藉由位於不包括於該手持無線行動裝置中之一第二裝置上的一第二麥克風擷取一第二音訊信號，該第二裝置經組態以藉由該第二通信鏈路與該手持無線行動裝置通信且該第二音訊信號表示來自該等聲源之聲音；及處理該第一經擷取音訊信號及該第二經擷取音訊信號以產生一表示自來自該等聲源中之其他者的聲音分離之來自該等聲源中的一者之聲音的信號。
  2. 如請求項1之方法，其中該第二裝置係一頭戴式耳機。
  3. 如請求項2之方法，其中該頭戴式耳機係一藉由一無線鏈路與該無線行動裝置進行通信之無線頭戴式耳機。
  4. 如請求項3之方法，其中該無線鏈路使用一藍芽協定。
  5. 如請求項4之方法，其中該藍芽協定提供範圍資訊，該範圍資訊用以從複數個源分離演算法中選擇一源分離演算法。
  6. 如請求項1之方法，其中處理包括：自一盲源分離演算法、波束成形演算法或空間分集演 算法選擇一聲源分離演算法，其中範圍資訊由該選定源分離演算法使用。
  7. 如請求項1之方法，其進一步包含：基於該信號執行話音活動偵測。
  8. 如請求項1之方法，其進一步包含：交叉相關該第一音訊信號與該第二音訊信號；及基於該第一音訊信號與該第二音訊信號之間的該交叉相關而估計該第一音訊信號與該第二音訊信號之間的一延遲。
  9. 如請求項8之方法，其進一步包含在執行該第一音訊信號與該第二音訊信號之該交叉相關之前低通濾波該第一音訊信號及該第二音訊信號。
  10. 如請求項1之方法，其進一步包含：補償該第一音訊信號與該第二音訊信號之間的一延遲。
  11. 如請求項1之方法，其進一步包含：補償該第一音訊信號與該第二音訊信號之不同音訊取樣率。
  12. 一種在一通信系統中處理音訊信號之設備，其包含：一第一麥克風，其位於一手持無線行動裝置上，該手持無線行動裝置包含經組態以在一第一通信鏈路上與一無線廣域網路交換無線信號之一第一通信介面及經組態以在一第二通信鏈路上通信之一第二通信介面，該第一麥克風經組態以擷取一第一音訊信號，該第一音訊信號 表示來自複數個聲源之聲音；一第二麥克風，其位於不包括於該手持無線行動裝置中之一第二裝置上，其經組態以擷取一第二音訊信號，該第二裝置經組態以藉由該第二通信鏈路與該手持無線行動裝置通信且該第二音訊信號表示來自該等聲源之聲音；及一處理器，其經組態以回應於該第一經擷取音訊信號及該第二經擷取音訊信號而產生一表示自來自該等源中之其他者的聲音分離之來自該等聲源中的一者之聲音的信號。
  13. 如請求項12之設備，其中該第二裝置係一頭戴式耳機。
  14. 如請求項13之設備，其中該頭戴式耳機係一藉由一無線鏈路與該無線行動裝置進行通信之無線頭戴式耳機。
  15. 如請求項14之設備，其中該無線鏈路使用一藍芽協定。
  16. 如請求項15之設備，其中該藍芽協定提供範圍資訊，該範圍資訊用以從複數個源分離演算法中選擇一源分離演算法。
  17. 如請求項12之設備，其中該處理器自一盲源分離演算法、波束成形演算法或空間分集演算法選擇一聲源分離演算法。
  18. 如請求項12之設備，其進一步包含：一回應於該信號之話音活動偵測器。
  19. 如請求項12之設備，其中該無線行動裝置包括該處理器。
  20. 一種在一通信系統中處理音訊信號之設備，其包含：用於在一手持無線行動裝置處擷取一第一音訊信號之構件，該手持無線行動裝置包含經組態以在一第一通信鏈路上與一無線廣域網路交換無線信號之一第一通信介面及經組態以在一第二通信鏈路上通信之一第二通信介面，該第一音訊信號表示來自複數個聲源之聲音；用於在不包括於該手持無線行動裝置中之一第二裝置處擷取一第二音訊信號之構件，該第二裝置經組態以藉由該第二通信鏈路與該手持無線行動裝置通信且該第二音訊信號表示來自該等聲源之聲音；及用於處理該第一經擷取音訊信號及該第二經擷取音訊信號以產生表示自來自該等聲源中之其他者的聲音分離之來自該等聲源中的一者之聲音的一信號之構件。
  21. 如請求項20之設備，其中該第二裝置係一頭戴式耳機。
  22. 如請求項21之設備，其中該頭戴式耳機係一藉由一無線鏈路與該無線行動裝置進行通信之無線頭戴式耳機。
  23. 如請求項22之設備，其中該無線鏈路使用一藍芽協定。
  24. 如請求項23之設備，其中該藍芽協定提供範圍資訊，該範圍資訊用以從複數個源分離演算法中選擇一源分離演算法。
  25. 如請求項20之設備，其進一步包含：用於自一盲源分離演算法、波束成形演算法或空間分集演算法選擇一聲源分離演算法之構件。
  26. 一種具體化可由一或多個處理器執行之一組指令之非過 渡電腦可讀媒體，其包含：用於在一手持無線行動裝置處擷取一第一音訊信號之程式碼，該手持無線行動裝置包含經組態以在一第一通信鏈路上與一無線廣域網路交換無線信號之一第一通信介面及經組態以在一第二通信鏈路上通信之一第二通信介面，該第一音訊信號表示來自複數個聲源之聲音；用於在不包括於該手持無線行動裝置中之一第二裝置處擷取一第二音訊信號之程式碼，該第二裝置經組態以藉由該第二通信鏈路與該手持無線行動裝置通信且該第二音訊信號表示來自該等聲源之聲音；及用於處理該第一經擷取音訊信號及該第二經擷取音訊信號以產生表示自來自該等聲源中之其他者的聲音分離之來自該等聲源中的一者之聲音的一信號之程式碼。
  27. 如請求項26之電腦可讀媒體，其進一步包含：用於基於該信號執行話音活動偵測之程式碼。
  28. 如請求項26之電腦可讀媒體，其進一步包含：用於交叉相關該第一音訊信號與該第二音訊信號之程式碼；及用於基於該第一音訊信號與該第二音訊信號之間的該交叉相關而估計該第一音訊信號與該第二音訊信號之間的一延遲之程式碼。
  29. 如請求項28之電腦可讀媒體，其進一步包含用於在執行該第一音訊信號與該第二音訊信號之該交叉相關之前低通濾波該第一音訊信號及該第二音訊信號的程式碼。
  30. 如請求項26之電腦可讀媒體，其進一步包含：用於補償該第一音訊信號與該第二音訊信號之間的一延遲之程式碼。
  31. 如請求項26之電腦可讀媒體，其進一步包含：用於補償該第一音訊信號與該第二音訊信號之不同音訊取樣率之程式碼。
TW098108784A 2008-03-18 2009-03-18 利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體 TWI435318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US3746108P 2008-03-18 2008-03-18
US12/405,057 US9113240B2 (en) 2008-03-18 2009-03-16 Speech enhancement using multiple microphones on multiple devices

Publications (2)

Publication Number Publication Date
TW200951942A TW200951942A (en) 2009-12-16
TWI435318B true TWI435318B (zh) 2014-04-21

Family

ID=41088951

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098108784A TWI435318B (zh) 2008-03-18 2009-03-18 利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體

Country Status (10)

Country Link
US (1) US9113240B2 (zh)
EP (1) EP2277323B1 (zh)
JP (1) JP5313268B2 (zh)
KR (1) KR101258491B1 (zh)
CN (1) CN101911724A (zh)
BR (1) BRPI0908557A2 (zh)
CA (1) CA2705789C (zh)
RU (1) RU2456701C2 (zh)
TW (1) TWI435318B (zh)
WO (1) WO2009117471A1 (zh)

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US8949120B1 (en) * 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8917876B2 (en) 2006-06-14 2014-12-23 Personics Holdings, LLC. Earguard monitoring system
US11683643B2 (en) 2007-05-04 2023-06-20 Staton Techiya Llc Method and device for in ear canal echo suppression
US11856375B2 (en) 2007-05-04 2023-12-26 Staton Techiya Llc Method and device for in-ear echo suppression
US8184816B2 (en) * 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
US8812309B2 (en) * 2008-03-18 2014-08-19 Qualcomm Incorporated Methods and apparatus for suppressing ambient noise using multiple audio signals
US20090312075A1 (en) * 2008-06-13 2009-12-17 Sony Ericsson Mobile Communications Ab Method and apparatus for determining open or closed status of a mobile device
US8600067B2 (en) 2008-09-19 2013-12-03 Personics Holdings Inc. Acoustic sealing analysis system
US8064619B2 (en) * 2009-02-06 2011-11-22 Fortemedia, Inc. Microphone and integrated circuit capible of echo cancellation
US8913757B2 (en) * 2010-02-05 2014-12-16 Qnx Software Systems Limited Enhanced spatialization system with satellite device
US8897455B2 (en) 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
US20110221607A1 (en) * 2010-03-15 2011-09-15 Microsoft Corporation Dynamic Device Adaptation Based on Proximity to Other Devices
US8831761B2 (en) * 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
US8774875B1 (en) * 2010-10-20 2014-07-08 Sprint Communications Company L.P. Spatial separation-enabled noise reduction
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US9552840B2 (en) * 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
WO2012063103A1 (en) * 2010-11-12 2012-05-18 Nokia Corporation An Audio Processing Apparatus
KR101500823B1 (ko) * 2010-11-25 2015-03-09 고어텍 인크 음성 향상 방법, 장치 및 노이즈 감소 통신 헤드셋
CN103238182B (zh) 2010-12-15 2015-07-22 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
CN102026058A (zh) * 2010-12-29 2011-04-20 瑞声声学科技(深圳)有限公司 线控耳机装置及其设计方法
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8989402B2 (en) 2011-01-19 2015-03-24 Broadcom Corporation Use of sensors for noise suppression in a mobile communication device
WO2012107561A1 (en) * 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
US9354310B2 (en) 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
US8811601B2 (en) * 2011-04-04 2014-08-19 Qualcomm Incorporated Integrated echo cancellation and noise suppression
US9313336B2 (en) * 2011-07-21 2016-04-12 Nuance Communications, Inc. Systems and methods for processing audio signals captured using microphones of multiple devices
US20130022189A1 (en) * 2011-07-21 2013-01-24 Nuance Communications, Inc. Systems and methods for receiving and processing audio signals captured using multiple devices
US20130044901A1 (en) * 2011-08-16 2013-02-21 Fortemedia, Inc. Microphone arrays and microphone array establishing methods
CN102368793B (zh) * 2011-10-12 2014-03-19 惠州Tcl移动通信有限公司 手机及其通话信号处理方法
US9654609B2 (en) * 2011-12-16 2017-05-16 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device
CN104205877B (zh) * 2012-03-12 2017-09-26 索诺瓦股份公司 用于操作听力设备的方法以及听力设备
CN102711017A (zh) * 2012-05-24 2012-10-03 华为软件技术有限公司 一种声音处理方法、装置及系统
US9641933B2 (en) * 2012-06-18 2017-05-02 Jacob G. Appelbaum Wired and wireless microphone arrays
CN102800323B (zh) * 2012-06-25 2014-04-02 华为终端有限公司 移动终端语音降噪的方法及装置
US9560446B1 (en) * 2012-06-27 2017-01-31 Amazon Technologies, Inc. Sound source locator with distributed microphone array
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9313572B2 (en) 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
CN103811013B (zh) * 2012-11-07 2017-05-03 中国移动通信集团公司 噪声抑制方法、装置、电子设备和通信处理方法
BR112015013907A2 (pt) * 2012-12-17 2017-07-11 Koninklijke Philips Nv aparelho eletrônico, método para gerar informações de classificação de áudio e informações de movimento da cabeça e mídia legível por computador não temporária
WO2014149050A1 (en) * 2013-03-21 2014-09-25 Nuance Communications, Inc. System and method for identifying suboptimal microphone performance
US9900686B2 (en) 2013-05-02 2018-02-20 Nokia Technologies Oy Mixing microphone signals based on distance between microphones
US9936290B2 (en) 2013-05-03 2018-04-03 Qualcomm Incorporated Multi-channel echo cancellation and noise suppression
CN105378826B (zh) 2013-05-31 2019-06-11 诺基亚技术有限公司 音频场景装置
KR102282366B1 (ko) 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9812150B2 (en) 2013-08-28 2017-11-07 Accusonus, Inc. Methods and systems for improved signal decomposition
US9742573B2 (en) * 2013-10-29 2017-08-22 Cisco Technology, Inc. Method and apparatus for calibrating multiple microphones
US8719032B1 (en) 2013-12-11 2014-05-06 Jefferson Audio Video Systems, Inc. Methods for presenting speech blocks from a plurality of audio input data streams to a user in an interface
JP6337455B2 (ja) * 2013-12-13 2018-06-06 日本電気株式会社 音声合成装置
US10043534B2 (en) 2013-12-23 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
US20150264505A1 (en) 2014-03-13 2015-09-17 Accusonus S.A. Wireless exchange of data between devices in live events
US10468036B2 (en) 2014-04-30 2019-11-05 Accusonus, Inc. Methods and systems for processing and mixing signals using signal decomposition
US9510094B2 (en) * 2014-04-09 2016-11-29 Apple Inc. Noise estimation in a mobile device using an external acoustic microphone signal
CN106165444B (zh) * 2014-04-16 2019-09-17 索尼公司 声场再现设备、方法和程序
WO2015179914A1 (en) * 2014-05-29 2015-12-03 Wolfson Dynamic Hearing Pty Ltd Microphone mixing for wind noise reduction
US10163453B2 (en) 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
KR102387567B1 (ko) * 2015-01-19 2022-04-18 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
JP6377557B2 (ja) * 2015-03-20 2018-08-22 日本電信電話株式会社 通信システム、通信方法、およびプログラム
US9479547B1 (en) 2015-04-13 2016-10-25 RINGR, Inc. Systems and methods for multi-party media management
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US9736578B2 (en) 2015-06-07 2017-08-15 Apple Inc. Microphone-based orientation sensors and related techniques
US9401158B1 (en) * 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
US9947364B2 (en) 2015-09-16 2018-04-17 Google Llc Enhancing audio using multiple recording devices
US10013996B2 (en) * 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
CN106558314B (zh) * 2015-09-29 2021-05-07 广州酷狗计算机科技有限公司 一种混音处理方法和装置及设备
CN108472523A (zh) * 2015-10-23 2018-08-31 斯科特科技公司 通信设备和用于配置该通信设备的方法
WO2017088909A1 (en) * 2015-11-24 2017-06-01 Sonova Ag Method of operating a hearing aid and hearing aid operating according to such method
US10616693B2 (en) 2016-01-22 2020-04-07 Staton Techiya Llc System and method for efficiency among devices
US9773495B2 (en) * 2016-01-25 2017-09-26 Ford Global Technologies, Llc System and method for personalized sound isolation in vehicle audio zones
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
EP3434024B1 (en) 2016-04-21 2023-08-02 Hewlett-Packard Development Company, L.P. Electronic device microphone listening modes
US10149049B2 (en) 2016-05-13 2018-12-04 Bose Corporation Processing speech from distributed microphones
US9905241B2 (en) 2016-06-03 2018-02-27 Nxp B.V. Method and apparatus for voice communication using wireless earbuds
US10079027B2 (en) * 2016-06-03 2018-09-18 Nxp B.V. Sound signal detector
US9978390B2 (en) * 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
CN106448722B (zh) * 2016-09-14 2019-01-18 讯飞智元信息科技有限公司 录音方法、装置和系统
US10375473B2 (en) 2016-09-20 2019-08-06 Vocollect, Inc. Distributed environmental microphones to minimize noise during speech recognition
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
CN106483502B (zh) * 2016-09-23 2019-10-18 科大讯飞股份有限公司 一种声源定位方法及装置
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10652397B2 (en) 2016-10-07 2020-05-12 Samsung Electronics Co., Ltd. Terminal device and method for performing call function
US11528556B2 (en) * 2016-10-14 2022-12-13 Nokia Technologies Oy Method and apparatus for output signal equalization between microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN108022595A (zh) * 2016-10-28 2018-05-11 电信科学技术研究院 一种语音信号降噪方法和用户终端
CN108370476A (zh) * 2016-11-18 2018-08-03 北京小米移动软件有限公司 麦克风、音频处理的方法及装置
WO2018111894A1 (en) * 2016-12-13 2018-06-21 Onvocal, Inc. Headset mode selection
US10440469B2 (en) * 2017-01-27 2019-10-08 Shure Acquisitions Holdings, Inc. Array microphone module and system
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN107135443B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
WO2019014425A1 (en) 2017-07-13 2019-01-17 Pindrop Security, Inc. SAFE PARTY WITH SEVERAL PARTIES KNOWING NO VOICE IMPRESSIONS
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10313218B2 (en) * 2017-08-11 2019-06-04 2236008 Ontario Inc. Measuring and compensating for jitter on systems running latency-sensitive audio signal processing
US10706868B2 (en) * 2017-09-06 2020-07-07 Realwear, Inc. Multi-mode noise cancellation for voice detection
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
JP2019537071A (ja) * 2017-09-25 2019-12-19 ボーズ・コーポレーションＢｏｓｅｃｏｒｐｏｒａｔｉｏｎ 分散したマイクロホンからの音声の処理
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
EP3688751B1 (en) * 2017-09-28 2022-12-28 Harman International Industries, Incorporated Method and device for voice recognition
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
WO2019100289A1 (en) 2017-11-23 2019-05-31 Harman International Industries, Incorporated Method and system for speech enhancement
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10339949B1 (en) * 2017-12-19 2019-07-02 Apple Inc. Multi-channel speech enhancement
US10979814B2 (en) 2018-01-17 2021-04-13 Beijing Xiaoniao Tingling Technology Co., LTD Adaptive audio control device and method based on scenario identification
CN110049403A (zh) * 2018-01-17 2019-07-23 北京小鸟听听科技有限公司 一种基于场景识别的自适应音频控制装置和方法
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10665244B1 (en) 2018-03-22 2020-05-26 Pindrop Security, Inc. Leveraging multiple audio channels for authentication
US10623403B1 (en) 2018-03-22 2020-04-14 Pindrop Security, Inc. Leveraging multiple audio channels for authentication
GB2572368A (en) * 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
US10951994B2 (en) 2018-04-04 2021-03-16 Staton Techiya, Llc Method to acquire preferred dynamic range function for speech enhancement
CN108616790B (zh) * 2018-04-24 2021-01-26 京东方科技集团股份有限公司 一种拾音放音电路和系统、拾音放音切换方法
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
WO2020075010A1 (ja) 2018-10-11 2020-04-16 株式会社半導体エネルギー研究所 音源分離装置、半導体装置、および、電子機器
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
JP7407580B2 (ja) * 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
KR102512614B1 (ko) 2018-12-12 2023-03-23 삼성전자주식회사 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
RU2716556C1 (ru) * 2018-12-19 2020-03-12 Общество с ограниченной ответственностью "ПРОМОБОТ" Способ приема речевых сигналов
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11049509B2 (en) * 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
GB2585086A (en) * 2019-06-28 2020-12-30 Nokia Technologies Oy Pre-processing for automatic speech recognition
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11437054B2 (en) 2019-09-17 2022-09-06 Dolby Laboratories Licensing Corporation Sample-accurate delay identification in a frequency domain
US20220392472A1 (en) * 2019-09-27 2022-12-08 Nec Corporation Audio signal processing device, audio signal processing method, and storage medium
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN110751946A (zh) * 2019-11-01 2020-02-04 达闼科技成都有限公司 机器人及其语音识别装置和方法
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
KR20210115970A (ko) * 2020-03-17 2021-09-27 삼성전자주식회사 전자 장치 및 이를 이용한 오디오 신호 처리 방법
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
EP4199368A4 (en) 2020-08-12 2024-01-03 Auzdsp Co Ltd ADAPTIVE DELAY DIVERSITY FILTER, ECHO COMPENSATION DEVICE AND METHOD USING THE SAME
KR102218742B1 (ko) * 2020-08-12 2021-02-22 (주)오즈디에스피 적응형 지연 다이버시티 필터와, 이를 이용하는 에코 제거 장치 및 방법
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
KR20220099209A (ko) 2021-01-05 2022-07-13 삼성전자주식회사 음향 센서 어셈블리 및 이를 이용하여 음향을 센싱하는 방법
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN113362847A (zh) * 2021-05-26 2021-09-07 北京小米移动软件有限公司 音频信号处理方法及装置、存储介质
EP4117312A1 (en) * 2021-07-09 2023-01-11 Nokia Technologies Oy Monitoring of audio signals

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2047946C1 (ru) 1993-08-31 1995-11-10 Александр Павлович Молчанов Способ адаптивной фильтрации речевых сигналов в слуховых аппаратах
JP3531084B2 (ja) 1996-03-01 2004-05-24 富士通株式会社 指向性マイクロフォン装置
US7283788B1 (en) 2000-07-26 2007-10-16 Posa John G Remote microphone teleconferencing configurations
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7206418B2 (en) 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
DE60104091T2 (de) 2001-04-27 2005-08-25 CSEM Centre Suisse d`Electronique et de Microtechnique S.A. - Recherche et Développement Verfahren und Vorrichtung zur Sprachverbesserung in verrauschte Umgebung
JP2003032779A (ja) 2001-07-17 2003-01-31 Sony Corp 音処理装置、音処理方法及び音処理プログラム
US7139581B2 (en) 2002-05-02 2006-11-21 Aeroscout, Inc. Method and system for distance measurement in a low or zero intermediate frequency half-duplex communications loop
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
RU59917U1 (ru) 2004-10-21 2006-12-27 Открытое Акционерное Общество "ОКБ "Октава" Радиогарнитура
US7343177B2 (en) 2005-05-03 2008-03-11 Broadcom Corporation Modular ear-piece/microphone (headset) operable to service voice activated commands
KR100703703B1 (ko) 2005-08-12 2007-04-06 삼성전자주식회사 음향 입출력 확장 방법 및 장치
KR100699490B1 (ko) 2005-08-22 2007-03-26 삼성전자주식회사 샘플링 주파수 오프셋 추정방법 및 이 방법이 적용되는ｏｆｄｍ 시스템
CN1809105B (zh) 2006-01-13 2010-05-12 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
US20070242839A1 (en) 2006-04-13 2007-10-18 Stanley Kim Remote wireless microphone system for a video camera
US7970564B2 (en) 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
JP2007325201A (ja) 2006-06-05 2007-12-13 Kddi Corp 音源分離法
US7706821B2 (en) * 2006-06-20 2010-04-27 Alon Konchitsky Noise reduction system and method suitable for hands free communication devices
US7983428B2 (en) * 2007-05-09 2011-07-19 Motorola Mobility, Inc. Noise reduction on wireless headset input via dual channel calibration within mobile phone
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US8175871B2 (en) 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems
US8223988B2 (en) 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
US8411880B2 (en) 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones

Also Published As

Publication number Publication date
RU2456701C2 (ru) 2012-07-20
JP2011515897A (ja) 2011-05-19
CA2705789C (en) 2014-07-22
EP2277323A1 (en) 2011-01-26
BRPI0908557A2 (pt) 2020-08-18
KR101258491B1 (ko) 2013-04-26
CN101911724A (zh) 2010-12-08
JP5313268B2 (ja) 2013-10-09
KR20100116693A (ko) 2010-11-01
CA2705789A1 (en) 2009-09-24
RU2010142270A (ru) 2012-04-27
TW200951942A (en) 2009-12-16
EP2277323B1 (en) 2016-01-06
US9113240B2 (en) 2015-08-18
WO2009117471A1 (en) 2009-09-24
US20090238377A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
TWI435318B (zh) 利用多重裝置上的多重麥克風之語音加強之方法、設備及電腦可讀媒體
US8812309B2 (en) Methods and apparatus for suppressing ambient noise using multiple audio signals
EP2652737B1 (en) Noise reduction system with remote noise detector
US8204252B1 (en) System and method for providing close microphone adaptive array processing
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
KR101463324B1 (ko) 오디오 등화를 위한 시스템들, 방법들, 디바이스들, 장치, 및 컴퓨터 프로그램 제품들
US8675884B2 (en) Method and a system for processing signals
JP5479655B2 (ja) 残留エコーを抑制するための方法及び装置
US8611552B1 (en) Direction-aware active noise cancellation system
US11245976B2 (en) Earphone signal processing method and system, and earphone
KR20160128412A (ko) 주파수 의존 측음 교정
CA2574793A1 (en) Headset for separation of speech signals in a noisy environment
KR20150008471A (ko) 적응형 잡음 제거(anc)를 갖는 개인용 오디오 디바이스들에서 주파수 및 방향 의존 주변의 사운드 조절
WO2007081916A2 (en) System and method for utilizing inter-microphone level differences for speech enhancement
EP3506651B1 (en) Microphone apparatus and headset
EP3840402B1 (en) Wearable electronic device with low frequency noise reduction
JP5022459B2 (ja) 収音装置、収音方法及び収音プログラム
Vuppala Performance analysis of Speech Enhancement methods in Hands-free Communication with emphasis on Wiener Beamformer

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees