TW200951942A - Speech enhancement using multiple microphones on multiple devices - Google Patents

Description

200951942 六、發明說明： 【發明所屬之技術領域】 本揭示案大體係關於用以改良通信系統中之話音品質之 4吕號處理解決方案之領域’且更特定言之，係關於利用多 重麥克風來改良話音通信之品質之技術。 本專利申請案主張20〇8年3月18曰申請之題為「Speech Enhancement Using Multiple Microphones on Multiple Devices」之臨時申請案第61/〇37,461號之優先權，且經讓 渡給本文之受讓人。 【先前技術】 在行動通信系統中，所傳輸話音之品質係使用者體驗之 整體服務品質中的重要因素。最近，一些行動通信裝置 (MCD)已包括MCD中之多重麥克風以改良所傳輸話音之品 質。在此等MCD中，利用來自多重麥克風之音訊資訊之高 級信號處理技術用以增強話音品質且抑制背景雜訊。然 而，此等解決方案大體要求多重麥克風都位於相 上。多重麥克風MCD之已知實例包括具有兩個或兩個以上 麥克風之蜂巢式電話手機及具有兩個麥克風之藍芽無線頭 戴式耳機。 由MCD上之麥克風操取之話音信號極易受諸如背景雜 訊、混響等環境效應之影響。僅裝備單—麥克風之MCD在 使用於雜訊環境（亦即，輸入話音信號之訊雜比（SNR)低之 環境）中時遭受不良話音品f。為改良有雜訊環境中之可 操作性’引人多重麥克風励。多重麥克風職 139295.doc 200951942 一麥克風之陣列操取之音訊以改良話音品質，即使在不適 宜（雜訊高）環境中。已知多重麥克風解決方案可使用某些 數位信號處理技術以措由利用由位於MCD上之不同麥克風 擷取之音訊而改良話音品質。 【發明内容】 參 φ 却夕垔參見風MLU要求所有麥克風都位於上。 由於麥克風都位於相同裝置上，故已知多重麥克風音訊處 理技術及其有效性由MCD内之麥克風之間的相對有限之空 間分離來管理。因此需要找到增加行動裝置中所使用之多 重麥克風技術的有效性及穩定性之方法。 鑒於此’本揭示案針對利用由多重麥克風記錄之信號以 改良行動通信系統的話音品質之機構，其中麥克風中之一 些位於除了 MCD之外的不同裝置上。舉例而言，一 可為MCD，且另一萝罟κ糸、、 I 了為通信至MCD之無線/有線裝 ，二以各種方式處理不同裝置上之麥克風操取之音訊。 ^ 中，提供好實例··可利用不同裝置上之多重 :克風來改良話音活動谓測(Vad);亦可利用 來使用諸如波束成形、m 先風 、店八私a 二間分集接收方幸犛夕 源刀離方法而執行語音增強。 ’、之 根據-項態樣’在通信系統中處理音气 括：藉由位於無線行動裝置上之第—麥克：：方法包 心號，藉由位於不包括於無線行動裝曰訊 第二麥克風擷取第二音訊信妒. ^ —裝置上之 音訊信號以產生表-龙白毂凡’理第—及第二經擷取 產生表不來自聲源中之—者（例如，所要源）取 139295.doc 200951942 ’周圍雜訊源、干擾聲源 $ —及第二音訊信號可表 但自來自聲源中之其他者（例如 等）之聲音分離之聲音之信號。 示來自區域環境中相同源之聲音 柢據另 ^凡風，其位於一鉦 線行動裝置上，其經組態以擷取第一音訊信號；第二麥克 風，其位於不包括於無線行動裝置中之第二裳置上，豆經 組⑽取第二音訊信號；及處理器，其經組態以回應於 第一及第一經擷取音訊信號而產生表示自來自源中之其他 者的聲音分離之來自聲源中的一者之聲音的作號。 根據另-態樣’一設備包括：用於在無線行動裝置處摘 取第一音訊信號之構件；用於在不包括於無線行動裝置中 之第二裝置處擁取第二音訊信號之構件；及詩處理第一 及第二經操取音訊信號以產生表示自來自聲源中之其他者 的聲音分離之來自聲源中的一者之聲音的信號之構件。 根據另-態樣，具體化可由—或多個處理器執行之―且 指令之電腦可讀媒體包括：用於在無線行動裝置處擁取第 -音訊信號之程式碼；用於在不包括於無線行動裝置中之 第二裝置處㈣第：音訊信號之程式碼；及用於處理第一 及第二經擷取音訊信號以產生表示自來自聲源中之其他者 的聲音分離之來自冑源中的一者之聲音的信號之程式碼。 在檢查以下諸圖及詳細描述後，其他態樣、特徵、方法 及優點對於熟習此項技術者而言將為或將變得顯而易見。 所有此類額外特徵、態樣、方法及優點將意欲包括於此描 述内且受隨附申請專利範圍的保護。 139295.doc 200951942 【實施方式】 將理解，圖式僅用 用於S兒明之目的。此外，諸圖中之組件 不必按比例繪製’而是著重於說明本文中描述之技術及裝 Ϊ之原理。在諸圖中，相同參考數字貫穿不同視圖指定對 應部分。 龜 •參考並併入有圖式之以下實施方式描述並說明了一或多 個特定實施例。展+ # 不並充分詳細地描述了此等實施例（提 Φ #此等實施例並非用以限制而是僅用以例證及教示）以使 熟習此項技術者能夠實踐所主張之内容。因此，為簡潔起 亥指述可省略熟習此項技術者所已知之特定資訊。 貫穿本揭示案使用字「例示性」以意謂「充當一實例、 例項或說明」。未必將本文中描述為「例示性」之任何事 物解釋為與其他方法或特徵相比而為較佳或有利的。 圖1為包括具有多重麥克風106、1〇8之行動通信裝置 (MCD)l〇4及頭戴式耳機1〇2之例示性通信系統1〇〇之圖。 ❹ 在所展示之實例中，頭戴式耳機102與MCD 104經由諸如 芽連接之無線鏈路103進行通信。雖然藍芽連接可用以 • 在MCD 104與頭戴式耳機1〇2之間進行通信，但期望可在 .無線鏈路103上使用其他協定。利用藍芽無線鏈路，可根 據自www.bluetooth.com可得之由藍芽規格提供的頭戴式耳 機設定檔來交換MCD 104與頭戴式耳機102之間的音訊信 號。 複數個聲源110發出由不同裝置1〇2、1〇4上之麥克風 106、108拾取之聲音。 139295.doc 200951942 可利用位於不同行動通信裝置上之多重麥克風來改良所 傳輸話音之品質。本文中揭示可利用來自多重裝置的麥克 風音訊信號來改良效能之方法及設備。然而，本揭示案不 p艮於任何特定之乡重麥克風處理方法或任何彳找組之行動 通信裝置。 由位於彼此靠近處之多重麥克風#|取之音訊信號通常掏 取聲源之混合。聲源可為雜訊類（街道雜訊、串音雜訊、 周圍雜訊等）或可為話音或儀器。來自聲源之聲波可自牆 壁或附近物件彈射或反射掉而產生不同聲音。—般熟習^ 項技術者應理解術語聲源亦可用以指示除了原始聲源之外 的不同聲音’並且指示原始聲源。視應用而定，聲源可為 話音類或雜訊類。 目刚，存在僅具有單一麥克風之許多裝置：行動手機、 有線頭戴式耳機、藍芽頭戴式耳機等。但此等裝置在結合 使用此等裝置中之兩者或兩者以上時提供多^麥克風特 徵在此等每境下，本文中描述之方法及設備能夠利用不 同裝置上之多重麥克風且改良話音品質。 需要藉由應用使用複數個所操取音訊信號之演算法來將 所接收聲g的④合分離為表示原始聲源中之每—者的至少 兩：仏號亦即’在應用諸如盲源分離(BSS)、波束成形 或二間刀集之源分離演算法之後，可分開地聽取「混合」 聲源。此類分離技術包括BSS、波束成形及空間分集處 理。 本文中4田述用於利用不同裝置上之多重麥克風來改良行 139295.doc 200951942 動k H先的居音品質之若干例示性方法。為簡單起見， 在本揭示案中’提出僅涉及兩個麥克風之一項實例：動 104上之一個麥克風及諸如頭戴式耳機或有線頭戴式耳 機之附件上之-個麥克風。然而，本文中揭示之技術可擴 展至涉及兩個以上I古田4么Μ 夕克風之系統，及各自具有一個以上麥 克風之MCD及頭戴式耳機。

2統100中’用於擷取語音信號之主要麥克風⑽由於 通¥最靠近說話之使用者而位於頭戴式耳機㈤上，而 104上之麥克風1〇8為次要麥克風此外所揭示 方法可與諸如有線頭戴式耳機之其他合適mcd附件一起使 用。 兩個麥克風信號處理在MCD 1〇4中執行。由於在與來自 次要麥克風1〇8之次要麥克風信號相比時自頭戴式耳機1〇2 接收之主要麥克風信號歸因於無線通信Μ定而經延遲，故 在可處理兩個麥克風信號之前要求延遲補償方塊。對於給 疋藍芽頭戴式耳機而言$遲補冑方塊要求之延遲值通常係 已知的。若延遲值未知，則延遲補償方塊使用標稱值，且 在兩個麥克風信號處理方塊中處理延遲補償之不準確度。 圖2為說明處理來自多重麥克風之音訊信號的方法2〇〇之 流程圖。在步驟202中，主要音訊信號由位於頭戴式耳機 102上之主要麥克風106擷取。 在步驟204，次要音訊信號藉由位於MCD 1〇4上之次要 麥克風108而擷取。主要及次要音訊信號分別表示來自在 主要及次要麥克風106、108處接收之聲源π〇之聲音。 139295.doc 200951942 在步驟206，主要及次要之經擷取音訊信號經處理以產 生表示自來自聲源110中之其他者的聲音分離之來自聲源 110中的一者之聲音的信號。 圖3為展示圖1之MCD 1〇4及頭戴式耳機1〇2的某些組件 之方塊圖。無線頭戴式耳機1〇2&MCD 1〇4各自能夠在無 線鏈路103上彼此進行通信。 頭戴式耳機102包括耦接至天線3〇3而用於在無線鏈路 103與MCD 106進行通信之短程無線介面则。無線頭戴式 耳機102亦包括控制器310、主要麥克風1〇6及麥克風輸入 電路312。 控制器310控制頭戴式耳機1〇2及其中含有之某些組件之 整體刼作，且其包括處理器311及記憶體313。處理器 可為用於執行儲存於記憶體313中以使頭戴式耳機ι〇2執行 如本文中描述之其功能及過程之程式化指令的任何合適處 理裝置。舉例而吕’處理器311可為微處理器（諸如， ARM7)數位乜號處理器（Dsp)、一或多個特殊應用積體 電路（ASIC)、場可程式化閘陣列（FpGA)、複雜可程式化邏 輯裝置（CPLD)、離散邏輯、軟體、硬體、勒體或其任何合 適之組合。 記憶體313為用於儲存由處理器311執行及使用之程式化 指令及資料的任何合適之記憶體裴置。 短程無線介面308包括收發器314，且提供經由天線3〇3 之與MCD 1G4之雙向無線通信。雖然任何合適無線技術可 使用於頭戴式耳機102，但短程無線介面3()8較佳包括提供 139295.doc 10 200951942 由天線3〇3、藍芽RF收發器、基頻處理器、協定堆疊組成 之至卜藍芽核心系統之市售藍芽模組，以及用於將該模 連接至控制器310之硬體及軟體介面，及頭戴式耳機⑽ 之其他組件（若需要）。 參

。麥克風輸入電路312處理自主要麥克風1〇6接收之電子信 唬。麥克風輸入電路312包括類比數位轉換器（ADC)(未圖 不）’且可包括用於處理來自主要麥克風⑽之輸出信號之 電路ADC將來自麥克風之類比信號轉換為接著由控 制器310處理之數位信號。可利用市售之硬體、軟體、動 體或其任何合適組合來實施麥克風輸入電路312。又，麥 克風輸入電路312之功能中之—些可實施為可在處理器Mi 上執行之軟體或諸如數位信號處理器（Dsp)之單獨處理 器。 主要麥克風108可為用於將聲音能量轉換為電子信號之 任何合適音訊轉導器。 MCD 104包括無線廣域網路（WWAN)介面33〇、一或多個 天線3〇卜短程無線介面320、次要麥克風1〇8、麥克風輸 入電路3Ϊ5以及具有處理器326及儲存_或多個音訊處理程 式329之記憶體328之控制器324。音訊程式329可組態則 1〇4以執行本文中描述的圖2及圖扣圖12之過程方塊。mcd 1〇4可包括用於在短程無線鏈路1〇3&wwan鏈路上進行通 信之單獨天線，或替代地’單一天線可用於兩個鏈路。 控制器324控制MCD 104及其中所含有之某些組件的整 體操作。處理器326可為用於執行儲存於記憶體似中之程 139295.doc 200951942 式化指令以使MCD 1 04執行如本文中所描述之其功能及過 程的任何合適之處理裝置。舉例而言，處理器326可為微 處理器（諸如，ARM7)、數位信號處理器（DSP)、一或多個 特殊應用積體電路（ASIC)、場可程式化閘陣列（FPGA)、複 雜可程式化邏輯裝置（CPLD)、離散邏輯、軟體、硬體、韌 體或其任何合適之組合。 記憶體324為用於儲存由處理器326執行及使用之程式化 指令及資料的任何合適之記憶體裝置。 WWAN介面330包含與WWAN進行通信必要之整個實體 介面。介面3 3 0包括經組態以與W WAN内之一或多個基地 台交換無線信號之無線收發器332。合適無線通信網路之 實例包括（但不限於）基於分碼多重存取（CDMA)之網路、 WCDMA、GSM、UTMS、AMPS、PHS 網路等。WWAN介 面33 0與WWAN交換無線信號以有助於話音呼叫及資料在 WWAN上轉移至所連接裝置。所連接裝置可為另一 WWAN 終端機、陸上通信線電話或諸如話音信箱伺服器、網際網 路伺服器等之網路服務實體。 短程無線介面320包括收發器336，且提供與無線頭戴式 耳機102之雙向無線通信。雖然任何合適無線技術可使用 於MCD 104，但短程無線介面336較佳包括提供由天線 301、藍芽RF收發器、基頻處理器、協定堆疊組成之至少 一藍芽核心系統之市售藍芽模組，以及用於將該模組連接 至控制器324之硬體及軟體介面及MCD 104之其他組件（若 需要）。 139295.doc •12· 200951942 麥克風輸入電路315處理自次要麥克風1〇8接收之電子信 號。麥克風輸入電路315包括類比數位轉換器（adc)(未圖 不)—且可包括用於處理來自次要麥克風⑽之輸出信號之 另-電路。就將來自麥克風之類比信號轉換為接著由控 制器324處理之數位信號。可使用市售硬體、軟體、拿刀體 或其任何合適組合來實施麥克風輸入電路315。又，麥克 風輸入電路315之功能中之—些可實施為可在處理器上 Φ 參 執行之軟體或諸如數位信號處理器（Dsp)之單獨處理器。 次要麥克風⑽可為用於將聲音能量轉換為電子信號之 任何合適音訊轉導器。 可利用類比及/或數位硬體、動體或軟體之任何合適組 合來實施MCD 104及頭戴式耳機1〇2之組件。 圖4為使用不同裝晋 置上之兩個麥克風的一般多重麥克風 信號處理之過程方塊圖。如圖中所展示，方塊術一 41〇可 由MCD 104執行。 在圖中’數位化主要麥克風信號樣本由Xl⑷指示。來自 卿1G4之數位化次要麥克風㈣樣本由x2(n)指示。 方塊·表示在主要麥克風樣本在無線鍵路ι〇3上自頭戴 式耳機1〇2向⑽104傳送時主要麥克風樣本經歷之延 遲°主要麥克風樣本〜⑻相對於次要麥克風樣本&⑻而延 遲。 在方塊402中，執行線性回音消除（lec)以自主要麥克風 樣本移除回音。合適咖技術對於彼等一般熟習此項技術 者而言係已知的。 139295.doc 200951942 在延遲補償方塊404中，在可進— 味少± Τ幻進步處理兩個麥克風信 號之别：人要麥克風㈣被延遲td個樣本。延遲補償方塊_ 所要求之延遲心通常對於諸如藍芽㈣式耳機之 線協定而言係已知。若延遲值係未知的，則可在延遲補償 方塊彻中使用標稱值。可如下文結合圖5_圖6所插 步改進延遲值。 此應用中之另一障礙為補償兩個麥克風信號之間的資料 速率差異。此係在取樣率補償方塊4〇6中完成。—般而 言，頭戴式耳機1〇2及MCD 104可由兩個^時鐘源控 制且時鐘率可隨時間推移而關於彼此略微偏移。若時鐘 率不同，則兩個麥克風信號之每訊框傳遞的樣本之數目^ 能不同。此通常已知為樣本滑動問題且可使用彼等熟習此 項技術者已知之多種方法來解決此問題。在樣本滑動之情 形下，方塊406補償兩個麥克風信號之間的資料速率差 較佳地，在執行涉及主要麥克風樣本流與次要麥克風樣 本流之進一步信號處理之前，匹配兩個流之取樣率。存在 許多合適方式來實現此。舉例而言，一個方式為自一個流 添加/移除樣本而匹配另一流中之樣本/訊框。另一方式為 進行一個流之細微取樣率調整以匹配另一者。舉例而言， 設兩個頻道具有8 kHz之標稱取樣率。然而’―個頻道之 實際取樣率為7985 Hz。因此，來自此頻道之音訊樣本需 要升頻取樣至8000 Hz。作為另一實例，一個頻道可能具 有8023 Hz之取樣率。其音訊樣本需要降頻取樣至8 kHz。 139295.doc .14· 200951942 可使用許多方法來進行任意 取樣率。 α重新取樣以便匹配其 ，方塊4附，次要麥克風⑽經校正以補償主要及次要 麥克風106、1〇8之靈敏度差 .本流來完成校正。 藉由調整次要麥克風樣 ¥ =言，主要及次要麥克風⑽、崎具有相當不同 之簠敏度，且有必要校正次要麥克風信號以使得次要麥克 e風1G8接收之背景雜訊功率具有與主要麥克風⑽接收之背 景雜訊功率相似之位準。可利用涉及估計兩個麥克風信號 之雜訊底部，及接著利用兩個雜訊底部估計之比率的平方 根以按比例調整次要麥克風信號以使得兩個麥克風信號具 有相同雜訊底部位準之方法而執行校正。可替代地使用校 正麥克風之靈敏度之其他方法。 在方塊410中，進行多重麥克風音訊處理。處理包括利 用來！^重麥克風之音訊信號來改良話音品質、系統效能 ® 等之演算法。此類演算法之實例包括VAD演算法及諸如盲 源分離⑽S)、波束成形或空間分集之源分離演算法。源 刀-離’貝异法允寺「混合」聲源之分離以使得僅所要源信號 . 經傳輸至遠端收聽者。下文更詳細地論述前述例示性演算 法。 圖5為說明利用包括於MCD 104中之線性回音消除器 (LEC)4〇2的例示性麥克風信號延遲估計方法之圖。方法估 冲在無線鏈路103上傳送之主要麥克風信號所經歷之無線 頻道延遲500纟體而言，回音消除演算法經實施於 139295.doc -15- 200951942 104上以消除經由頭戴式耳機揚聲器5〇6之呈現於麥克風 (主要麥克風Tx路徑）仏豸上之遠端（主要麥克風&路徑）回 音經歷。主要麥克風Rx路徑可包括頭戴式耳機iq2中進行 之RX處理504,且主要麥克風[路徑可包括頭戴式耳機ι〇2 中進行之1\處理502。 回音消除演算法通常由MCD 1〇4内前端上之lec 4〇2组 成LEC 402對遠端Rx信號實施適應性遽波，且自傳入主 要麥克風信號遽波出回音。為有效實施lec術，需要已 知自Rx路徑至丁,路徑之往返延遲。通常，往返延遲係值定 的或至少接種定值，且此怪定延遲在McDi(^初始調 諳期間經估計且用於組態LEC解決方案…旦已知往返延 遲。之估計，與次要麥克風信號相比主要麥克風信號經歷 之延遲之初始近似估計tQd可計算為往返延遲之一半。一旦 :始近似延遲係已知的，即可藉由在—範圍之值上精細搜 尋而估計實際延遲。 ◎ 下文描述精細搜尋。設LEC術後之主要麥克風信號由 〜⑻指不。設來自MCD 1〇4之次要麥克風信號由&⑷指 不。次要麥克風信號首先經延遲‘以在兩個麥克風㈣ _)與x2(n)之間提供初始近似延遲補償，其中_ : 引整數值。初始近似延遲通常為粗略估計。在延遲^圍 了内經延遲第二麥克風信號接著與主要 關且藉由在範圍-最大化交叉相關輪出而得 改進之延遲估計td : $ 139295.doc •16· 200951942 td = arg max ^ {n)x2 (n - t0d - r) ” （1) 範圍參數τ可取正及負整數值二者。舉例而言，_1〇$ 61〇。最終估計。對應於最大化交叉相關之1值。相同交叉 相關方法亦可用於計算遠端信號與主要麥克風信號中呈現 之回音之間的粗略延遲估計。然而，在此情形下，延遲值 通常係大的，且τ值之範圍必須基於先前經歷而仔細地加 以選擇或在大範圍之值内進行搜尋。

圖6為說明用於改進麥克風信號延遲估計之另一方法之 過程方塊圖。在此方法中，在利用上文方程式丨計算延遲 估計之交又相關之前，兩個麥克風樣本流視情況由低通滤 波器（LPF)604、606低通濾波（方塊6〇8)。由於當兩個麥克 108經遠離地置放時’在兩個麥克風信號之間僅低 風 106、 頻率分量經相Μ，故低通遽波係有幫助的。^於下文描 述VAD及BSS在本文中概述之方法得到低通較器之截止 頻率。如圖6之方塊6〇2所展示，在低通濾波之前次要麥克 風樣本延遲初始近似延遲t0d。 圖7為利用不同裝置上之兩個麥克風的話音活動㈣ (御)·之過程方塊圖。在單_麥克風系統中，若雜訊隨 時間為非固定的，則不可良好地估計背景雜訊功率。然 ’利用次要麥克風信號（來自MCD 104中之一者），可獲 得背景雜訊功率之較精確之估計且可實現顯著改良之話音 活動偵測器。可以多種太t 夕禋方式來實施VAD 700。下文描述 VAD實施之實例。 一般而言 人要麥克風108將為距主要麥克風106相對較 H9295.doc 200951942 遠的（大於8 em)，且因此次要麥克風⑽將操取大多 雜訊及極少所要之來自使用者之語音。在此情形下，可藉 由比較經校正次要麥克風信號與主要麥克風信號之功率位 準而簡單地實現VAD 700。若主要麥克風信號之功率位準 遂尚於經校正次要麥克風信號之功率位準，則宣告债測到 活音。次要麥克風108可在MCD 104之製造期間經初始於 正以使得兩個麥克風106、⑽所擷取之周圍雜訊位準彼此 接近在校JL後’兩個麥克風信號之所接收樣本的每一方 塊（或訊框）之平均位準經比較，且在主要麥克風㈣之平 均方塊功率超出次要麥克風信號—預定臨限值時宣告注立 偵測。若兩個麥克風置放得較遠，則兩個麥克風信：二 的相關對於較高頻率而言下降。麥克風間隔⑷與最大相關 頻率（fmax)之間的關係可利用以下方程式來表達： /ma 2d (2) 其中，㈣3 m/s為聲音在空氣中之速度，d為麥克風分 離距離且fmax為最大相關頻率。可藉由在計算方塊能量估 計之前將低通遽波器插人於兩個麥克風信號之路徑中而改 良VAD效能。低㈣波器選擇在兩個麥克風信號之間相關 的僅彼等較高之音訊頻率’ 1因此決策將不偏向不相關分 篁。低通遽波器之截止可設定如下。 f-cutoff=max(fmax, 800)； f-cutoff=min(f-cutoff, 2800)。 （3) 此處，_ Hz及2_ Hz給定為低通遽波器之最小及最 139295.doc 200951942 大截止頻率之實例。低通濾波器可為簡單fir遽波器或具 有規定截止頻率之雙二次IIR濾波器。 圖8為利用不同裝置上之兩個麥克風的盲源分離（bss)之 過程方塊圖。BSS模組800分離且恢復來自—陣列之感應器 . 所記錄的源信號之多重混合的源信號。BSS模組8〇〇通常使 用較高順序統計以自混合分離初始源。 • 若背景雜訊過高或過於不固定，則頭戴式耳機102擷取 φ 之語音信號之可解度可極受損害。BSS 800可在此等場景 中提供語音品質之顯著改良。 BSS模組800可使用多種源分離方法。bss方法通常使用 適應性濾波器來自主要麥克風信號移除雜訊且自次要麥克 風信號移除所要語音。由於適應性滤波器可僅模仿且移除 相關信號，其將特別有效地自主要麥克風信號移除低頻率 雜訊及自次要麥克風信號移除低頻率語音。可藉由僅在低 頻率區域中進行適應性渡波而改良咖遽波器之效能。此 ❹ 可由兩個方式達成。 圖9為使用兩個麥克風信號之經修改Bss實施之過程方 塊圖。BSS實施包括BSS滤波器852、兩個低通濾波器 (LPF)854、856，及BSS滤波器學習及更新模組858。在 BSS實施中’利用適應性/固㈣」皮器852濾波兩個輸入音 訊信號以分離來自不同音訊源之信號。所使用之遽波: 852可為適應性的’亦即，m權值可隨時間經調適作 為輸入資料之函數，或濾波器可為固定的，亦即，使用固 疋組之預先計算之渡波係數來分離輸入信號。通常，由於 139295.doc •19· 200951942 適應性濾波器實施提供更佳畤 ^ 、 更佳效鲍，故適應性濾波器實施更 书見，尤其在輸入統計為非固定之情形下。 一通常對於兩個麥克風裝mBss使用兩個濾波器： 個濾波器自輸入混合信號分離出所要音訊信號，且另一 遽波益自輸入混合信號分雜屮m m ΑΛ ^ 、、 观刀離出周圍雜訊/干擾信號。兩個 渡波器可為FIR渡波器咬m请、、由吳n +一 y 及ilR/慮波器且在適應性濾波器之情 形下’兩個濾波器之權重可丘同士 催重J /、间地進仃更新。適應性濾波 器之實施涉及兩個階段：第—階段藉由自輸人資料進行學 習而計算m權重更新，且第二階段藉由迴旋運算滅波 器權重與輸人㈣而實喊波器m祕低通遽波 器854應用至輸入資料用於實施第一階段858(然而，對於 T二階段852而言利用該資料計算濾波器更新）對原始輸入 資料實施適應性濾波（在沒有LPF之情形下）。LpF 854、 856可經設計為具有截止頻率之„R或FIR濾波器，如方程 式（3)中所規定。對於時域BSS實施而言，分別如圖9中所 展示將兩個LPF 854、856應用至兩個麥克風信號。接著將 經渡波麥克風信號提供至BSS濾波器學習及更新模組858。 回應於經濾波信號，模組858更新BSS濾波器852之濾波器 參數。 圖10中展示BSS之頻域實施之方塊圖。此實施包括快速 傅裏葉變換（FFT)方塊970、BSS濾波器方塊972、後處理方 塊974及快速傅裏葉逆變換（IFFT)方塊976。對於頻域BSS 實施而言’ BSS濾波器972僅實施於低頻率中（或子頻帶 中）。可以如方程式（2)及（3)中所給定之相同方法來得到低 139295.doc -20- 200951942 頻率之範圍之截止。在頻域實施中，針對每-頻率區間 (或—子頻帶）實施單獨組之BSS滤波器972。此處再次地，针 對每一頻率區間實施兩個適應性遽波器：-個濾、波器將自 混合輸入分離所要音訊源，且另一者自混合輸入滤波出周 圍雜訊信號。多種頻域Bss演算法可用於此實施。由於 BSS渡波器已經對窄頻資料進行操作，在此實施中不需要 分離滤波器學習階段及實施階段。對於對應於低頻率（例 如’ <800 Hz)之頻率區間而言，頻域咖滤波器μ經實施 以自其他源信號分離所要源信號。 通常’亦結合刪波束成形方法使用後處理演算法974 以便達成雜訊抑制之較高位準。後處理方法974通常使用 溫納（Wiener)滤波、頻譜相減或其他非線性技術以自所要 源信號進一步抑制周圍雜訊及其他不當信號。後處理演算 法974通常不利用麥克風# 、 利用來自次要麥克風_ ’因此其可 參 ^頻率及尚頻率部分之資訊以 BSS^+ 1 5叙語音品f。提議來自麥克風之低頻率 BSS輸出及高頻率信號由後、 算法計算來自BSS次要麥克風二法974使用。後處理演 „ 出號（對於低頻率而古） 及:人:麥克風信號(對於高頻率而言)之每一頻率區間的; 訊功率位準之估計，且接 — 間的雜 且將該增益應用至主要傳輪母—頻率區間得出-增益 增強其話音品質。輪“以進-步移除周圍雜訊且 為說明僅在低頻率中進行 示 性場景。使用者可在門Γ 優點’考慮以下例 在開車之同時利用無線或有線頭戴式 139295.doc 200951942 耳機且將行料機保持於其襯衫/外中或距頭戴式 耳機不超過20 cm之某處。在此情形下，小於86〇 Ηζ之頻 率分量將在頭戴式耳機與手機裝置所擁取之麥克風信號之 間進行相關。由於道路雜訊及車中之引擎雜訊主要地含有 大多數集中於800 Hz以下之彻4S农处真 t 卜之低頻率旎量，低頻率雜訊抑制 方法可提供顯著之效能改良。 圖U為利用不同裝置上之兩個麥克風的波束成形方法 测之過程方塊圖。波束成形方法藉由線性地組合由一陣 列之感應H記錄之信號而執行空間濾波。在本揭示案之上 下文中’感應器為置放於不同裝置上之麥克風。空間濾波 增強來自所要方向上之信號接收且同時抑制來自其財向 上之干擾信號。 夺可藉由利用頭戴式耳機102及MCD 1〇4中之兩個麥克 風106、1〇8執行波束成形而改良所傳輸話音品質。波束成 形藉由抑制來自除所要語音源之方向之外的方向之周圍雜 ::改良話音品質。波束成形方法可使用—般熟習此項技 術者輕易已知之多種方法。 二常：用適I™波器而使用波束成形，且低通滤 -二克風信號之相同概念可用於改良適應性滤波器之 及波束成形方法之組合亦可用以進行多重 圆I2為利用不同裝置 -11ΛΛ^ , 4 Μ〜土间分果接收 術11 〇〇之過程方塊圖。 於環Β々 ΓΊ"集技編共用於改良可歸 、兄中之多路徑傳播而經受干擾衰心聲學信號之接 139295.doc 200951942 的可靠性之各種方法。由於波束成形器藉由相干地組合麥 克風信號以便改良輸出信號之訊雜比（SNR·)而工作，而分 集方案藉由相干或不相干地組合多重接收信號以便改良受 多路徑傳播所影響之信號之接收而工作，故空間分集方案 相當不同於波束成形方法。存在可用於改良所記錄語音信 號之品質之各種分集組合技術。 一個分集組合技術係涉及監視兩個麥克風信號且拾取最 強k號（亦即’具最高SNR之信號）之選擇組合技術。此處 首先計算經延遲主要麥克風信號及經校正次要麥克風信號 之SNR，且接著選擇具最強SNR之信號作為輸出。可藉由 一般熟習此項技術者已知之以下技術來估計麥克風信號之 SNR。 为一分集組合技術為 ，一w -4人丨ΊΜ 六π汉Μ两1固 麥克風信號之各別SNR加權兩個麥克風信號，且接著植人 兩個麥士風信號以改良輸出信號之品質。舉例而言，兩個 Φ 麥克風信號之經加權組合可如下表示. yW=aj(n)sj(n)+ a2{n)s2(n-T) ⑷ • /處’ S](n)AS2⑻為兩個麥克風信號且31⑻及a2_兩 個權重，且y(㈣輸I第二 及2⑻為兩 •行延遽以栖县， 克風彳5唬可由值τ視情況進 仃乙遲U便最小化歸因於由 η, ^ ^^ ^ 個麥克風信號之相干求和所 引起之相位消除效應之消音。 兩個權重必須小於一且在 和必須加至-。權重可隨時間推 特間’且兩個權重之 為與對應麥克風信號之SNR 而變化。權重可經組態 战比例。權重可隨時間推移而 139295.doc •23> 200951942 變平滑且隨時間而極略微地發生改變以使得所組 y(η)不具有任何不當假 — 一 ° ^ 號擁取具比次要麥克風" 要麥克風信 罟參充風k琥之SNR更高的SNR之 音’故主要麥克風信號之權重為極高的。 要〜 或者’亦可將自次要麥克風信號計算之能量估計用 雜訊抑制技術利用之非線性後處理模組中。雜訊抑制技術 通常使用諸如頻譜相減之非線性後處理方法以自 風㈣移除更多雜訊。後處理技術通常要求周圍雜訊位準 施篁之估計以便抑制主要麥克風信號中之雜訊。周圍雜訊 位準能量可自次要麥克風信號之方塊功率估計進行計算°， 或經計算為來自兩個麥克風㈣之方塊功率料之加權组 合。 、’ 諸如藍芽頭戴式耳機之附件中之一些能夠經由藍芽通传 協定提供範圍資訊。因此’在藍芽實施中，範圍資訊給出° 頭戴式耳機102位於距MCD 1〇4之多遠處。若範圍資訊不 可用，則可自利用方程式（1)計算之時間延遲估計而計算範 圍之近似估計。此範圍資訊可由MCD 1〇4利用而用於確定 使用何種類型之多重麥克風音訊處理演算法來改良所傳輪 話音品質。舉例而言，波束成形方法當主要及次要麥克風 位於接近彼此處（距離<8 cm)時工作得最理想。因此，在 此等情境下，可選擇波束成形方法。BSS演算法適用於中 間範圍（6 cm<距離<15 cm)中，且空間分集方法適用於當 麥克風遠離地間隔（距離>15 cm)時。因此，在此等範圍令 之每一者中，可分別由MCD 104選擇BSS演算法及空間分 139295.doc •24· 200951942 集演算法。因此 改良所傳輪話:品;用兩個麥克風之間的距離之知識來 本^:方=耳機及其各別組件之功能性，以及 或其任何合適組合中:方塊J實施於硬體、軟體、知體 理器、D a< °人體7動體可為具有可由諸如微處 個數位電路執敗入式控制器或智慧產權（IP)核心之—或多 ；^興仃的多組指令(例如，碼段)之程式。若實施 Φ 鲁 於-或多個電腦可==為指令或程式碼而儲存 腦程=體包括電腦儲存媒體及通信媒體（包括有助於電 可為;由令位置轉移至另—位置的任何媒體）。儲存媒體 :為了由電腦存取之任何可用媒體。以實例加以說明，而 隹限制’此類電腦可讀媒體可包含ram、職、 EEPROM、CD__或其他光碟儲存器、 他磁性儲存| w，+ π m & 廿益A具 或可用以載運或儲存以指令或資料結構 h、的所要程式碼且可由電腦存取之任何其他媒體。 又’可適當地將任何連接稱為電腦可讀媒體。舉例而言， ^利用同軸電欖、光纖錢、雙絞線、數㈣戶線（亂） ’諸如紅外線、無線電及微波之無線技術而自網站、伺服 器或其他遠端源傳輸軟體，則同軸電镜、光纖電境、雙絞 線、DSL或諸如紅外線、無線電及微波之無線技術包括在 媒體之定義中。如本文中所使用之磁碟及光碟包括緊密光 碟（⑶）、雷射光碟、光學碟片、數位通用光碟⑴㈣、軟 性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料， 139295.doc -25- 200951942 而光碟則用雷射以光學方式再生資料。也 ^^ 工又之組合亦應包 括在電腦可讀媒體之範疇内。 ◎ 已描述了特定實施例。然而’可能對此等實施例進行各 種修改，且本文中所提出之原理同樣可應用於其他實施 例。舉例而言’可將本文中揭示之原理應用至其他裝置， 諸如包括個人數位助理（PDA)之無線裝置、個人電腦、立 體聲系統、視訊遊戲等。又，可將本文中揭示之原理應用 至有線頭戴式耳機，其中頭戴式耳機與另一裝置之間的通 信鏈路係-導線，而非無線鏈路。另外，在不脫離申請專 利範圍之料之情形下各種組件及/或方法步驟/方塊可以 除了明確揭示之彼等配置外之配置進行實施。 繁於此等教不’—般熟習此項技術者將容易想到其他實 =例及修改。因此，當結合以上說明書及隨㈣式來檢視 時，以下申請專利範圍意欲涵蓋所有此等實施例及修改。 【圖式簡單說明】 圖1為包括具有多重摩_奈去 見風之仃動通信裝置及頭戴式耳 ❹ 機的例示性通信系統之圖； 圖2為說明處理來自多重麥克風之音訊信號的方法之流 圖3為展示圖1之行動通信裝置及頭戴式耳機的某些•且件 之方塊圖； 于 圖4為使用不同裝置上之兩個麥克風的-般多重麥克風 信號處理之過程方塊圖； 圖5為說明例示性麥克風信號延遵估計方法之圖，· I39295.doc -26 - 200951942 遲估計之過程方塊圖； 之兩個麥克風之話音活動偵測 圖6為改進麥克風信號延 圖7為利用不同裝置上 (VAD)之過程方塊圖； 圖 圖8為利用不同裝置上之兩個麥克風之BSS之過程方塊 圖9為使用兩個麥克風作硖 塊圖； Μ風^之經修改BSS實施之過程方 參 圖10為經修改頻域BSS實施之過程方塊圖. 圖η為利用不同裝置上之兩個麥克風的波 過程方塊圖；Α 不驭办方法之 圖12為利用不同裝置上之兩個麥 叫今兄風的空間分隹技 術之過程方塊圖。 刀集接收技 139295.doc 【主要元件符號說明】 100 通信系統 102 頭戴式耳機 103 無線鏈路 104 行動通信裝置（MCD) 106 麥克風 108 次要麥克風 110 聲源 301 天線 303 天線 308 短程無線介面 310 控制器 DC -27- Φ 200951942 139295.doc 311 處理器 312 麥克風輸入電路 313 記憶體 314 收發器 315 麥克風輸入電路 320 短程無線介面 324 控制器 326 處理器 328 記憶體 329 音訊處理程式 330 無線廣域網路（WWAN)介面 332 無線收發器 336 收發器 400 方塊 402 方塊/線性回音消除器 404 延遲補償方塊 406 取樣率補償方塊 408 方塊 410 方塊 500 無線頻道延遲 502 Tx處理 504 Rx處理 506 頭戴式耳機揚聲器 602 方塊 ioc -28- 200951942 604 低通濾波器（LPF) 606 低通濾波器 608 方塊 700 800 852 854 856 858 970 972 974 976 1000 1100

話音活動偵測（VAD) 盲源分離（BSS)模組 BSS濾波器/第二階段 低通濾波器（LPF) 低通濾波器 BSS濾波器學習及更新模組 快速傅裏葉變換（FFT)方塊 BSS濾波器方塊 後處理方塊 快速傅裏葉逆變換（IFFT)方塊 波束成形方法 空間分集接收技術

td xi(n) x2(n) 延遲值 數位化主要麥克風信號樣本 數位化次要麥克風信號樣本 139295.doc •29-

Claims (1)

1. 參 ❹ 200951942 七、申請專利範園： =在—通信系統中處理音訊信號之方法，1勺人： 藉由位於一無線行動裝 "° 3 上之—第一麥一第 一音訊信號，該第一音訊 見風操取弟 音； D』表不來自複數個聲源之聲 藉由位於不包括於該無線行動裝置中之 的一第二麥克風擷取一 第一裝置上 * - + 弟—e讯信號，該第-立却γ味 表示來自該等聲源之聲音；及 第一曰訊彳5號 處理該第一經梅取音 以產生一表干白 ° 該第二經擷取音訊信號 :不自來自該等聲源中之其 來自該專聲源中的—者之聲音的信號。_曰刀離之 2. 如请求項1之方沐，好丄 其中該第二裝置係一頭戴 3. 如請求項2之方 只戳式耳機。 鏈路與其中該頭戴式耳機係-藉由-無線 與》亥無線仃動裝置進行通信之 4. 如請求項3之方 埶式耳機。 5. 如請求項4^其中該無線鍵路使用-藍芽協定。 且該範圍資訊用以专其中^圍資訊由該藍芽協定提供， 用Μ選擇一源分離演算法。 6 · 如请求項1 $ 士、各 方法，其中處理包括： 1 i源分離演算法、波束成形演算 分離演c演算法’其中範圍資訊由該選定源 7. 如請求们之方法，其進一步包含： 二；^彳5號執行話音活動偵測。 8. 如請求項丨夕士 之方法，其進一步包含： 139295.doc 200951942 交又相關該第一音訊信號與該第二音訊庐號· 基於該第一音訊信號與該第二音訊信號°之間的^交又 =而估計該第—音訊信號與該第二音訊信號之間的— 9·如請求項8之方法’其進一步包含在執行該第 號與該第二音訊信號之該交又相關之前低通渡波該第： 音ailk號及該第二音訊信號。 10.如請求項1之方法，其進一步包含： 補償該第-音訊信號與該第二音訊信 遲。 * W 延 11. 12. 如請求項1之方法，其進一步包含： 同音訊取 補償該第一音訊信號與該第二音訊信號之不 樣率。 一種設備，其包含： 广麥克風，其位於一無線行動裝置上，其經•且離 取H訊信號，該第—音訊信號表*來自複數 個聲源之聲音； 数 一一第=麥克風，其位於不包括於該無線行動裝置中之 _:一裝置上’其經組態以操取_第二音訊信號，該第 一音訊信號表示來自該等聲源之聲音；及 處理器，其經組態以回應於該第—經擷取音訊信號 及4第二㈣取音訊信號而產生-表示自來自該等源中 之其他者的聲音分離之來自該等聲源中的一者之聲音的 139295.doc 200951942 13. 如請求項12之設備，其 第-駐班/ 該第二裝置，其中兮· 第一裝置係一頭戴式耳機。 再ra 14. 如請求項13之設傷， 綠ύ 中該碩戴式耳機係一藉由一 I線 鏈路與該無線行動裝置 w…綠 15 , 置進仃通信之無線頭戴式耳機。 15. 如明求項14之設備，1 16. 如請求項15之設備，其 藍芽協疋。 姑 圍負sfL由该藍芽協定提供， 且該範圍資訊用以選擇一源分離演算法。 ’、 17. 如凊求項12之設備，其中該 法、波束成形演算…門八隹盲源分離演算 演算法。 凌次二間为集演算法選擇一聲源分離 18.如請求項12之設備’其進一步包含： 回應於s亥信號之話音活動偵測器。 月求項12之設備，其進—步包含該無線行動裳置，其 中該無線行動裝置包括該處理器。 八 20. —種設備，其包含： ® 用於在無線行動裝置處擷取一第一音訊信號之構件， °亥第一音訊信號表示來自複數個聲源之聲音； • 用於在不包括於該無線行動裝置中之一第二裝置處梅 • 取一第二音訊信號之構件，該第二音訊信號表示來自該 等聲源之聲音；及 用於處理該第一經擷取音訊信號及該第二經擷取音訊 信號以產生表示自來自該等聲源中之其他者的聲音分離 之來自該等聲源中的一者之聲音的一信號之構件。 21. 如請求項2〇之設備，其包括該第二裝置，其中該第二裳 139295.doc 200951942 置係一頭戴式耳機》 A如π求項21之設備’其中該頭戴式耳機係—藉由一無線 與該無線行動裝置進行通信之無線頭戴式耳機。 23·如請求項22之設備’其中該無線鏈路使用-藍芽協定。 24. 如请求項23之設備，其中範圍資訊由該藍芽協定提供， 且該範圍資訊用以選擇一源分離演算法。 25. 如請求項2〇之設備，其進一步包含： 用於自-盲源分離演算法、波束成形演算法或空間分 集演算法選擇一聲源分離演算法之構件。 26. 一種具體化可由-或多個處理器執行之—組指令之電腦 可讀媒體，其包含： 用於在無線行動裝置處操取—第_音訊信號之程式 碼’該第—音訊信號表示來自複數個聲源之聲音； 用於在不包括於該無線行動裝置中之一第二裝置處擷 取-第二音訊信號之程式碼，該第二音訊信號表示來自 該等聲源之聲音；及 用於處理該第-經摘取音訊信號及該第二經擁取音訊 信號以產生表示自來自該等聲源中之其他者的聲 之來自該等聲源中的一者之聲音的一信號之程式碼。 27·如請求項26之電腦可讀媒體，其進—步包含： 用於基於該信號執行話音活動偵測之程式碼。 28.如請求項26之電腦可讀媒體，其進—步包含： 用於交叉相關該第一音訊信號與該第二音訊信號之程 式碑；及 139295.doc 200951942 用於基於該第一音訊信號與該第二音訊信號之間的該 交叉相關而估計該第一音訊信號與該第二音訊信號之間 的一延遲之程式碼。 29.如請求項28之電腦可讀媒體，其進一步包含用於在執行 該第一音訊信號與該第二音訊信號之該交叉相關之前低 通滤波該第一音訊信號及該第二音訊信號的程式碼。 3 0_如請求項26之電腦可讀媒體’其進一步包含·· 用於補償該第一音訊信號與該第二音訊信號之間的— 延遲之程式碼。 31.如請求項26之電腦可讀媒體其進一步包含： 用於補償該第一音訊信號與該第二音訊信猇之不同音 訊取樣率之程式碼。

   139295.doc