TW201401269A - 基於系統狀態調整音訊波束成形設定 - Google Patents

基於系統狀態調整音訊波束成形設定 Download PDF

Info

Publication number
TW201401269A
TW201401269A TW102119624A TW102119624A TW201401269A TW 201401269 A TW201401269 A TW 201401269A TW 102119624 A TW102119624 A TW 102119624A TW 102119624 A TW102119624 A TW 102119624A TW 201401269 A TW201401269 A TW 201401269A
Authority
TW
Taiwan
Prior art keywords
audio
application
beam pattern
predetermined
mode
Prior art date
Application number
TW102119624A
Other languages
English (en)
Other versions
TWI502584B (zh
Inventor
Aram Mcleod Lindahl
Ronald Isaac
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201401269A publication Critical patent/TW201401269A/zh
Application granted granted Critical
Publication of TWI502584B publication Critical patent/TWI502584B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

音訊波束成形為一種組合自兩個或兩個以上麥克風接收之聲音以使一聲音與背景雜訊隔離的技術。存在多種音訊波束成形空間型樣。該等型樣可隨著時間而為固定或調適,且甚至可根據頻率而變化。該等不同型樣可針對不同類型之聲音達成變化之成功等級。為了改良音訊波束成形之效能,一系統可基於一經偵測執行中應用程式及/或裝置設定選擇一模式波束型樣。該系統可使用該模式波束型樣以組態一音訊波束成形演算法。該經組態音訊波束成形演算法可用以自多個音訊信號產生經處理音訊資料。該系統接著可將經處理音訊資料發送至該執行中應用程式。

Description

基於系統狀態調整音訊波束成形設定 相關申請案之交叉參考
本申請案主張2012年6月8日申請之名為「基於系統狀態調整音訊波束成形設定(ADJUSTING AUDIO BEAMFORMING SETTINGS BASED ON SYSTEM STATE)」之美國臨時專利申請案第61/657,624號的權利,該臨時專利申請案之全文係以引用方式併入本文中。
本發明係關於音訊波束成形,且更具體言之,係關於基於系統狀態調整音訊波束成形設定。
執行於計算裝置上之許多應用程式涉及需要音訊輸入之功能性。遺憾地,在典型環境條件下,單一麥克風可歸因於各種背景聲音之存在而不良地進行擷取所關注聲音之工作。為了處理此問題,許多計算裝置常常依賴於雜訊縮減、雜訊抑制及/或雜訊消除技術。一種用以改良信雜比之常用技術為音訊波束成形。
音訊波束成形為一種組合自兩個或兩個以上麥克風接收之聲音以使能夠優先地擷取來自某些方向之聲音的技術。使用音訊波束成形之計算裝置可包括連結至處理器之兩個或兩個以上密集全向麥克風之陣列。處理器接著可組合由不同麥克風擷取之信號以產生單一輸出以使聲音與背景雜訊隔離。舉例而言,在延遲總和波束成形中,每一麥 克風獨立地接收聲音信號,且對經接收聲音信號進行求和以判定聲音之方向角。當信號起源於垂直於陣列之來源時,達成最大輸出振幅。亦即,當聲音來源垂直於陣列時,信號全部同時到達且因此高度地相關。然而,若聲音來源不垂直於陣列,則信號將在不同時間到達且因此將較不相關,此情形將引起較少輸出振幅。各種聲音之輸出振幅使有可能識別自不同於所關注聲音之方向的方向到達的背景聲音。
存在多種不同麥克風形狀,且每一形狀具有不同雜訊縮減能力。因此,存在多種音訊波束成形空間回應型樣。該等型樣可隨著時間而為固定或調適,且甚至可根據頻率而變化。然而,不同型樣針對不同類型之聲音達成變化之成功等級,此情形可導致次最佳結果。
本發明之額外特徵及優點將在以下描述中加以闡明,且部分地將自該描述而明顯,或可藉由本文所揭示之原理之實踐而獲悉。本發明之特徵及優點可借助於附加申請專利範圍中特定地指出之器具及組合而實現及獲得。本發明之此等及其他特徵將自以下描述及附加申請專利範圍變得更完全地顯而易見,或可藉由本文所闡明之原理之實踐而獲悉。
所揭示的是用於基於系統狀態組態音訊波束成形設定之系統、方法及非暫時性電腦可讀儲存媒體。一音訊波束成形演算法可具有數個不同設定,包括一模式及/或一波束型樣。為了改良雜訊縮減結果,可基於一計算裝置之一當前狀態組態一音訊波束成形演算法。為了組態該等音訊波束成形設定,該計算系統可偵測一預定作用中執行中應用程式,諸如,一聽寫應用程式、一語音辨識應用程式、一音訊通信應用程式、一視訊聊天應用程式、一音訊記錄應用程式,或一音樂播放應用程式。另外,在一些狀況下,該系統可偵測至少一預定裝置設定,諸如,風扇速度、當前音訊路由,或麥克風及揚聲器置放之 一組態。
基於該經偵測應用程式及/或裝置設定,該系統可選擇一模式波束型樣。該模式波束型樣可指定一模式,諸如,固定或調適性。另外,該模式波束型樣可指定一波束型樣,諸如,全向、心形、超心形、亞心形或8字形。該系統可使用該模式波束型樣以組態一音訊波束成形演算法。舉例而言,一波束成形器可基於該模式波束型樣中指定之值載入一模式及/或波束型樣。在組態該波束成形演算法之後,該系統可使用該波束成形演算法處理自一陣列麥克風接收之音訊資料。該系統可將該經處理資料發送至該執行中應用程式。在一些實施例中,在將該經處理資料發送至該執行中應用程式之前,該系統可應用一雜訊抑制演算法。在一些狀況下,亦可基於該經偵測執行中應用程式及/或至少一預定裝置設定組態該雜訊抑制演算法。
100‧‧‧例示性系統/一般用途計算裝置
110‧‧‧系統匯流排
120‧‧‧處理單元/處理器
122‧‧‧快取記憶體
130‧‧‧系統記憶體
140‧‧‧唯讀記憶體(ROM)
150‧‧‧隨機存取記憶體(RAM)
160‧‧‧儲存裝置/硬碟
162‧‧‧模組1/軟體模組
164‧‧‧模組2/軟體模組
166‧‧‧模組3/軟體模組
170‧‧‧輸出裝置
180‧‧‧通信介面
190‧‧‧輸入裝置
200‧‧‧計算系統/計算裝置
202‧‧‧麥克風
204‧‧‧麥克風
302‧‧‧8字形/圖形
304‧‧‧心形/圖形
306‧‧‧超心形/圖形
308‧‧‧亞心形/圖形
400‧‧‧音訊波束成形器組態處理序
402‧‧‧波束成形器
404‧‧‧麥克風陣列音訊資料
406‧‧‧模式及/或波束型樣
408‧‧‧控制模組
410‧‧‧系統資訊
412‧‧‧抑制強度雜訊設定檔
414‧‧‧雜訊抑制模組
416‧‧‧作用中應用程式
為了描述可獲得本發明之上述及其他優點及特徵的方式,將參考上文簡要地描述之原理之特定實施例呈現該等原理之較特定描述,該等特定實施例在附加圖式中加以說明。在理解到此等圖式僅描繪本發明之例示性實施例且因此不應被認為限制本發明之範疇的情況下,藉由使用隨附圖式以額外特定性及細節來描述及解釋本文中之原理,在該等圖式中:圖1說明例示性系統實施例;圖2說明具有麥克風陣列之例示性計算裝置;圖3說明例示性空間回應型樣;圖4說明例示性音訊波束成形器組態處理序;圖5說明系統資訊之四個例示性表示;圖6說明例示性混合式固定-調適性波束型樣情節;及圖7說明例示性方法實施例。
下文詳細地論述本發明之各種實施例。雖然論述特定實施,但應理解,僅出於說明目的而進行此論述。熟習相關技術者將認識到,在不脫離本發明之精神及範疇的情況下可使用其他組件及組態。
本發明處理此項技術中針對用以使聲音與背景雜訊隔離之改良型音訊信號處理的需要。在使用本技術的情況下,有可能藉由基於計算裝置之一或多個屬性值調整音訊波束成形演算法來改良雜訊縮減結果。在返回至音訊波束成形之較詳細描述之前,本發明首先闡明可用以實踐本文所揭示之概念的圖1中之基本一般用途系統或計算裝置之論述。
參看圖1,例示性系統100包括一般用途計算裝置100,計算裝置100包括處理單元(CPU或處理器)120及系統匯流排110,系統匯流排110將包括系統記憶體130之各種系統組件(諸如,唯讀記憶體(ROM)140及隨機存取記憶體(RAM)150)耦接至處理器120。系統100可包括與處理器120直接地連接、極近接於處理器120或被整合為處理器120之部分的快取記憶體122。系統100將資料自記憶體130及/或儲存裝置160複製至快取記憶體122以供處理器120進行快速存取。以此方式,快取記憶體122提供在等待資料的同時避免處理器120延遲的效能提昇。此等及其他模組可控制或經組態以控制處理器120以執行各種動作。其他系統記憶體130亦可供使用。記憶體130可包括具有不同效能特性的多種不同類型之記憶體。可瞭解,本發明可操作於具有一個以上處理器120之計算裝置100上,或操作於經網路連接在一起以提供較大處理能力之計算裝置群組或叢集上。處理器120可包括任何一般用途處理器,及經組態以控制處理器120之硬體模組或軟體模組(諸如,儲存於儲存裝置160中之模組1 162、模組2 164及模組3 166),以及軟體指令併入至實際處理器設計中之特殊用途處理器。處理器120 基本上可為完全自含式計算系統,其含有多個核心或處理器、匯流排、記憶體控制器、快取記憶體等等。多核心處理器可對稱或不對稱。
系統匯流排110可為若干類型之匯流排結構中任一者,其包括記憶體匯流排或記憶體控制器、周邊匯流排,及使用多種匯流排架構中任一者之區域匯流排。儲存於ROM 140或其類似者中之基本輸入/輸出(BIOS)可提供有助於在計算裝置100內之元件之間(諸如,在啟動期間)傳送資訊的基本常式。計算裝置100進一步包括儲存裝置160,諸如,硬碟機、磁碟機、光碟機、磁帶機或其類似者。儲存裝置160可包括用於控制處理器120之軟體模組162、164、166。預期其他硬體或軟體模組。儲存裝置160係由磁碟機介面(drive interface)連接至系統匯流排110。磁碟機及關聯電腦可讀儲存媒體提供用於計算裝置100之電腦可讀指令、資料結構、程式模組及其他資料之非揮發性儲存。在一態樣中,執行特定功能之硬體模組包括儲存於非暫時性電腦可讀媒體中之軟體組件,該軟體組件結合必要硬體組件(諸如,處理器120、匯流排110、輸出裝置170等等)以執行該功能。基本組件為熟習此項技術者所知,且取決於裝置之類型而預期適當變化,諸如,裝置100為小手持型計算裝置、桌上型電腦抑或電腦伺服器。
儘管本文所描述之例示性實施例使用硬碟160,但熟習此項技術者應瞭解,在例示性操作環境中亦可使用可儲存可由電腦存取之資料的其他類型之電腦可讀媒體,諸如,匣式磁帶、快閃記憶卡、數位多功能光碟、卡匣、隨機存取記憶體(RAM)150、唯讀記憶體(ROM)140、含有位元串流之纜線或無線信號,及其類似者。非暫時性電腦可讀儲存媒體本身明確地排除諸如能量、載波信號、電磁波及信號之媒體。
為了使使用者能夠與計算裝置100互動,輸入裝置190表示任何 數目個輸入機構,諸如,用於語音之麥克風、用於示意動作或圖形輸入之觸敏式螢幕、鍵盤、滑鼠、動作輸入、語音等等。在一些狀況下,麥克風可為麥克風陣列。輸出裝置170亦可為熟習此項技術者所知之數個輸出機構中之一或多者。在一些情況下,多峰式系統使使用者能夠提供多種類型之輸入以與計算裝置100通信。通信介面180通常控管及管理使用者輸入及系統輸出。不存在對操作於任何特定硬體配置上之限定,且因此可容易地用改良型硬體或韌體配置(在其被開發時)來取代此處之基本特徵。
出於解釋清楚起見,將說明性系統實施例呈現為包括個別功能區塊,該等功能區塊包括被標記為「處理器」或處理器120之功能區塊。此等區塊所表示之功能可藉由使用共用硬體抑或專用硬體而提供,該共用硬體抑或專用硬體包括但不限於能夠執行軟體之硬體,及經特製以作為執行於一般用途處理器上之軟體之等效者而操作的硬體,諸如,處理器120。舉例而言,圖1所呈現之一或多個處理器之功能可由單一共用處理器或多個處理器提供。(術語「處理器」之使用不應被認作獨佔式地指代能夠執行軟體之硬體)。說明性實施例可包括微處理器及/或數位信號處理器(DSP)硬體、用於儲存執行下文所論述之操作之軟體的唯讀記憶體(ROM)140,及用於儲存結果之隨機存取記憶體(RAM)150。亦可提供超大型積體電路(very large scale integration,VLSI)硬體實施例,以及結合一般用途DSP電路之自訂VLSI電路。
各種實施例之邏輯操作被實施為:(1)執行於一般用途電腦內之可程式化電路上之電腦實施步驟、操作或程序序列;(2)執行於特殊用途可程式化電路上之電腦實施步驟、操作或程序序列;及/或(3)可程式化電路內之互連式機器模組或程式引擎。圖1所示之系統100可實踐所敍述方法之全部或部分、可為所敍述系統之部分,及/或可根據 所敍述非暫時性電腦可讀儲存媒體中之指令而操作。此類邏輯操作可被實施為模組,該等模組經組態以控制處理器120以根據該模組之程式設計來執行特定功能。舉例而言,圖1說明此等模組Mod1 162、Mod2 164及Mod3 166,該等模組為經組態以控制處理器120之模組。此等模組可儲存於儲存裝置160上且在執行時間載入至RAM 150或記憶體130中,或可如此項技術中所知而儲存於其他電腦可讀記憶體位置中。
在揭示本技術之詳細描述之前,本發明轉至如何使用音訊波束成形來處理音訊信號之簡要介紹性描述。音訊波束成形為一種組合自兩個或兩個以上麥克風接收之聲音以使能夠優先地擷取來自某些方向之聲音的技術。使用音訊波束成形之計算裝置可包括連結至處理器之兩個或兩個以上全向麥克風之陣列。舉例而言,圖2說明具有兩個麥克風202及204之陣列的例示性計算系統200,諸如,類似於圖1中之系統100的一般用途計算裝置。麥克風陣列中之麥克風的數目、間隔及/或置放可隨著計算裝置之組態而變化。在一些狀況下,較大數目個麥克風可提供較準確空間雜訊縮減。然而,較大數目個麥克風亦可增加處理成本。雖然圖2中描繪行動計算裝置,但音訊波束成形可用於包括麥克風陣列之任何計算裝置上,諸如:桌上型電腦;行動電腦;手持型通信裝置,例如,行動電話、智慧型手機、平板電腦;智慧型電視;機上盒;及/或經裝備有麥克風陣列之任何其他計算裝置。另外,麥克風陣列可經組態成使得麥克風之僅一子集處於作用中。亦即,舉例而言,當準確度不重要且處理成本高時,可停用麥克風之子集。
如上文所描述,麥克風可全向。然而,存在多種不同麥克風形狀,且每一形狀可基於雜訊方向具有不同雜訊縮減能力。舉例而言,不同形狀可用以縮減來自特定方向之雜訊。為了充分利用不同麥克風 形狀之優點,可將空間回應或波束型樣應用於麥克風以建立虛擬麥克風。舉例而言,圖3說明四個可能空間回應型樣:8字形302、心形304、超心形306及亞心形308。在圖形302、304、306及308中每一者中,外環表示針對全向麥克風在每一波束方向處之增益。內部形狀表示當應用對應型樣時在每一方向處之增益。舉例而言,圖形302表示當應用8字形型樣時之增益。圖形302亦說明出8字形型樣可用以縮減來自90度方向及270度方向之雜訊。亦可使用額外波束型樣。此外,所應用型樣可為固定或調適性。在基於固定型樣之音訊波束成形的狀況下,可不管頻率而應用相同型樣。然而,當音訊波束成形係基於調適性型樣時,該型樣可取決於雜訊方向而改變。在一些狀況下,型樣亦可基於頻率而改變。舉例而言,隨著雜訊方向橫越不同頻率而改變,型樣可自亞心形變動至心形。在另一實例中,型樣可自第一加權心形變動至第二加權心形。
在自每一作用中麥克風接收一信號之後,處理器可組合該等信號以產生具有縮減背景雜訊之單一輸出。在一些狀況下,信號可具有所應用之調適性及/或固定波束型樣。此外,可應用數個不同波束型樣。
在已揭示可如何使用音訊波束成形處理音訊信號之介紹性描述的情況下,本發明現在返回至基於計算裝置之一或多個屬性值選擇音訊波束成形演算法之性質的論述。音訊波束成形技術之可能限制可為:雖然音訊波束成形在可隨著頻率改變而應用不同波束型樣的意義上可為調適性,但音訊波束成形未考量計算裝置之環境內之變化。此情形可導致次最佳雜訊縮減結果。亦即,可藉由併入額外計算環境特性而改良方向雜訊縮減結果。舉例而言,基於調適性型樣之音訊波束成形可得到具有可為人耳所感知之人為效應的音訊結果,但所產生之音訊資料可很好地適合於自動化語音辨識。
為了處理此限制且產生改良型雜訊縮減結果,可動態地調整音訊波束成形器,使得其適於計算裝置之當前狀態。音訊波束成形器可經組態以載入調適性或固定模式及/或載入不同預定義空間回應型樣。此等組態選項可基於作用中應用程式及/或系統狀態。舉例而言,若知道輸入信號將由語音辨識應用程式使用,則音訊波束成形演算法可使用調適性型樣。在另一實例中,若知道輸入信號將由促進一或多個使用者之間的音訊及/或視訊通信的應用程式使用,則音訊波束成形演算法可使用固定型樣。此外,在調適性演算法抑或固定演算法中應用之型樣可基於系統之額外性質而選擇,諸如,風扇速度及/或當前音訊路由,例如,耳機、內建式揚聲器等等。亦可充分利用額外系統性質,諸如,風扇及/或揚聲器相對於麥克風陣列之置放。
圖4說明例示性音訊波束成形器組態處理序400,其可發生於諸如圖2中之計算裝置200的計算裝置上。計算裝置200可正執行一或多個應用程式,諸如,聽寫應用程式、音訊通信應用程式、視訊聊天應用程式、音訊記錄應用程式、音樂播放應用程式,等等。在一些狀況下,一應用程式可處於作用中,而其他應用程式正執行於背景中及/或暫時中止。此外,在一些狀況下,作用中或主要應用程式可使用可使用音訊波束成形而處理之輸入音訊資料。
計算系統200可接收麥克風陣列音訊資料404,其可作為輸入而供應至波束成形器402。回應於計算系統200接收麥克風陣列音訊資料404,計算系統200內之控制模組408可偵測關於計算系統200之狀態的系統資訊410。在一些狀況下,系統資訊410可指示何種應用程式當前處於作用中,諸如:聽寫應用程式,例如,由加利福尼亞州庫帕提諾市之Apple公司發佈之Siri應用程式;音訊及/或視訊通信應用程式,例如,由Apple公司發佈之FaceTime應用程式;音訊記錄應用程式;或音樂播放應用程式。另外,系統資訊410可包括其他系統狀態,諸 如,風扇是否處於作用中,或風扇之速度。
系統資訊410之表示可隨著系統之組態及/或資訊類型而變化。舉例而言,系統資訊410可被表示為列出應用程式類型類別及活動等級之資料表。活動等級可為指示特定類型之應用程式是否處於作用中的二進位值。在一些狀況下,活動等級可具有多個狀態,諸如,作用中、非作用中、背景、暫時中止等等。在另一實例中,系統資訊410可被表示為列出諸如特定應用程式之名稱或某其他唯一識別符之應用程式識別符及活動等級的資料表。再次,活動等級可為二進位值,或其可具有多個可能值。圖5說明特定於執行於計算系統200上之應用程式之狀態的系統資訊410之四個例示性表示。系統資訊410之其他表示亦係可能的,諸如,用於應用程式資訊之單一變數。該變數可經設定至指示特定應用程式或應用程式類型之唯一識別符。可使用相似技術來表示其他系統狀態。舉例而言,可使用二進位值以指示出系統風扇接通抑或關斷。或者,可使用諸如整數之值以指示風扇速度。
返回參看圖4,控制模組408可使用系統資訊410以選擇待在波束成形器402中用來處理音訊資料404之模式及/或型樣。在一些狀況下,控制模組408可使用關於何種應用程式類型或特定應用程式處於作用中之資訊以在固定模式與調適性模式之間進行選擇。舉例而言,若應用程式類型為音訊通信,則控制模組408可選擇固定模式。在另一實例中,若應用程式類型為語音辨識,則控制模組408可選擇完全調適性。在一些狀況下,或者或另外,控制模組408可在模式之選擇中使用其他系統狀態,諸如,風扇速度。
除了選擇模式以外,控制模組408亦可使用系統資訊410以視情況選擇特定型樣或型樣序列。舉例而言,若應用程式類型為音訊通信,則控制模組408可選擇心形型樣。在另一實例中,若應用程式類型為音訊通信且計算系統具有麥克風陣列及揚聲器置放之特定組態, 則控制模組408可選擇超心形型樣。在又一實例中,若風扇正在高於預定義風扇速度的情況下運轉,則控制模組408可選擇亞心形型樣。額外及/或替代型樣選擇亦係可能的。
控制模組408亦可選擇待由波束成形器402在調適性模式下使用之型樣序列,其為固定型樣及調適性型樣之混合。圖6說明例示性混合式固定-調適性波束型樣情節600。如所說明,波束型樣可隨著信號之頻率改變而在三個型樣(全向、心形及8字形)之間變化。在此實例中,每一頻帶在兩種型樣類型之間變化。諸如線602之斜線可指示出:隨著頻率增加,可使用調適性模式,其可使型樣在兩個型樣之間變化。舉例而言,線602指示出:隨著頻率增加,型樣自全向變化至心形。諸如線604之非斜線可指示出:隨著頻率增加,型樣可保持固定。舉例而言,線604指示出:隨著頻率增加,使用固定心形型樣。針對混合式固定-調適性模式之序列中之型樣的數目可隨著系統之組態而變化及/或可基於系統資訊410。另外,型樣保持固定所針對之調適速率及/或頻率範圍可隨著系統組態而變化及/或可基於系統資訊410。
返回參看圖4,在基於系統資訊410進行選擇之後,控制模組408可將模式及/或波束型樣406發送至波束成形器402。波束成形器402接著可處理音訊資料404。在處理音訊資料404之後,波束成形器402可視情況將經處理音訊資料404發送至雜訊抑制模組414。控制模組408亦可使用系統資訊410以產生抑制強度雜訊設定檔412,其可由控制模組408供應至雜訊抑制模組414。雜訊抑制模組414可使用抑制強度雜訊設定檔412以處理經接收音訊資料404。在所有處理完成之後,可將經處理音訊資料404發送至作用中應用程式416。
圖7為說明用於基於系統設定組態音訊波束成形演算法之例示性方法700的流程圖。出於清楚起見,依據諸如圖2所示之例示性系統 200來論述此方法。儘管圖7中展示特定步驟,但在其他實施例中,一方法可具有多於或少於所示步驟之步驟。當系統200自麥克風陣列接收音訊資料時音訊波束成形演算法之組態可開始(702)。在接收資料之後,系統200可偵測第一預定執行中應用程式(704)。在一些狀況下,第一預定執行中應用程式可為聽寫應用程式、語音辨識應用程式、音訊通信應用程式、視訊聊天應用程式或音訊記錄應用程式。在一些實施例中,該系統亦可偵測至少一預定裝置設定。該至少一預定裝置設定可為風扇速度、當前音訊路由,及/或麥克風及揚聲器置放之組態。
系統200可檢查第一預定執行中應用程式及(視情況)至少一預定裝置設定是否對應於模式波束型樣(706)。若系統200可識別對應模式波束型樣,則系統200可選擇經識別模式波束型樣(708)。該模式波束型樣可指定一模式(例如,固定或調適性)及/或一波束型樣(例如,全向、心形、超心形、亞心形、8字形等等)。基於選定模式波束型樣,系統可組態音訊波束成形演算法(710)。在一些狀況下,該組態可使波束成形器載入在模式波束型樣中指定之模式及/或波束型樣。在一些狀況下,系統可具有預設模式及/或型樣,使得若未在模式波束型樣中指定模式及/或型樣或不能找到對應模式波束型樣,則可使用預設值以組態音訊波束成形演算法。若系統200不能識別對應模式波束型樣,則系統200可在不對音訊波束成形演算法進行任何組態調整的情況下繼續處理音訊資料。或者,系統200可使用預設值來組態音訊波束成形演算法。
在組態音訊波束成形演算法之後,系統可使用經組態波束成形演算法來處理音訊資料。此外,系統可將經處理資料發送至第一預定執行中應用程式(712)。在一些實施例中,在將經處理音訊資料發送至第一預定執行中應用程式之前,系統可將雜訊抑制演算法應用於經 處理音訊資料。另外,系統可使用第一預定執行中應用程式及/或至少一預定裝置設定以產生抑制強度雜訊設定檔。系統可在雜訊抑制演算法中使用抑制強度雜訊設定檔。在一些狀況下,抑制強度雜訊設定檔可為雜訊底限。在完成步驟712之後,系統200可恢復執行前一處理,其可包括重複方法600。
在本發明之範疇內的實施例亦可包括有形及/或非暫時性電腦可讀儲存媒體以用於攜載或儲存有電腦可執行指令或資料結構。此類非暫時性電腦可讀儲存媒體可為可由一般用途或特殊用途電腦(包括如上文所論述之任何特殊用途處理器之功能設計)存取之任何可用媒體。作為實例而非限制,此類非暫時性電腦可讀媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置,或可用以攜載或儲存呈電腦可執行指令、資料結構或處理器晶片設計之形式之所要程式碼構件的任何其他媒體。當經由網路或另一通信連接(固線式連接、無線連接抑或其組合)將資訊傳送或提供至電腦時,該電腦將該連接適當地視為電腦可讀媒體。因此,任何此類連接被適當地稱為電腦可讀媒體。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
電腦可執行指令包括(例如)使一般用途電腦、特殊用途電腦或特殊用途處理裝置執行某一功能或功能群組之指令及資料。電腦可執行指令亦包括由處於獨立式或網路環境中之電腦執行的程式模組。通常,程式模組包括執行特定任務或實施特定抽象資料類型的常式、程式、組件、資料結構、物件,及為特殊用途處理器等等之設計所固有之函式。電腦可執行指令、關聯資料結構及程式模組表示用於執行本文所揭示之方法之步驟的程式碼構件之實例。此類可執行指令或關聯資料結構之特定序列表示用於實施此類步驟中描述之功能的對應動作之實例。
熟習此項技術者將瞭解,可在具有許多類型之電腦系統組態的網路計算環境中實踐本發明之其他實施例,該等電腦系統組態包括個人電腦、手持型裝置、多處理器系統、以微處理器為基礎或可程式化之消費型電子件、網路PC、小型電腦、大型電腦,及其類似者。亦可在任務係由本端及遠端處理裝置執行的分散式計算環境中實踐實施例,本端及遠端處理裝置係經由通信網路而連結(藉由固線式連結、藉由無線連結,抑或藉由其組合)。在一分散式計算環境中,程式模組可位於本端記憶體儲存裝置及遠端記憶體儲存裝置兩者中。
上文所描述之各種實施例係僅作為說明而提供且不應被認作限制本發明之範疇。熟習此項技術者將容易地認識到可在不遵循本文所說明及描述之實例實施例及應用程式的情況下且在不脫離本發明之精神及範疇的情況下對本文所描述之原理進行的各種修改及改變。
400‧‧‧音訊波束成形器組態處理序
402‧‧‧波束成形器
404‧‧‧麥克風陣列音訊資料
406‧‧‧模式及/或波束型樣
408‧‧‧控制模組
410‧‧‧系統資訊
412‧‧‧抑制強度雜訊設定檔
414‧‧‧雜訊抑制模組
416‧‧‧作用中應用程式

Claims (20)

  1. 一種電腦實施方法,其包含:經由一麥克風陣列接收複數個音訊信號;偵測一第一預定執行中應用程式;基於該經偵測第一預定執行中應用程式組態一音訊波束成形演算法;及將經處理音訊資料發送至該第一預定執行中應用程式,其中藉由將該經組態音訊波束成形演算法應用於該複數個音訊信號而產生該經處理音訊資料。
  2. 如請求項1之電腦實施方法,其中組態該音訊波束成形演算法進一步包含:基於該經偵測第一預定執行中應用程式設定一模式波束型樣,其中該模式波束型樣為一調適性模式。
  3. 如請求項1之電腦實施方法,其進一步包含:偵測至少一預定裝置設定。
  4. 如請求項1之電腦實施方法,其進一步包含:在將該經處理音訊資料發送至該第一預定執行中應用程式之前,將一雜訊抑制演算法應用於該經處理音訊資料,其中該雜訊抑制演算法包括一預定雜訊底限。
  5. 如請求項3之電腦實施方法,其中該第一預定執行中應用程式為一聽寫應用程式、音訊通信應用程式、視訊聊天應用程式或音訊記錄應用程式,且其中該預定裝置設定為高於一臨限值之風扇速度或作用中音訊輸出之通知。
  6. 一種系統,其包含:一處理器;一麥克風陣列; 一電腦可讀儲存媒體,其儲存用於控制該處理器以執行步驟之指令,該等步驟包含:藉由基於一經偵測第一預定執行中應用程式設定一模式波束型樣來組態一音訊波束成形演算法;藉由將該經組態音訊波束成形演算法應用於自該麥克風陣列接收之複數個音訊信號而產生經處理音訊資料;及將該經處理音訊資料發送至該第一預定執行中應用程式。
  7. 如請求項6之系統,該等步驟進一步包含:偵測至少一預定系統設定;及基於該至少一預定系統設定組態該音訊波束成形演算法。
  8. 如請求項7之系統,其中該至少一預定系統設定為一風扇速度、當前音訊路由或該麥克風陣列及一揚聲器置放之一組態中至少一者。
  9. 如請求項6之系統,其中該模式波束型樣可指定一模式及一波束型樣。
  10. 如請求項9之系統,其中該模式為一調適性模式、一固定模式,或一混合式固定-調適性模式。
  11. 如請求項9之系統,其中該波束型樣為全向、心形、超心形、亞心形、8字形,或其一序列。
  12. 一種儲存指令之非暫時性電腦可讀儲存媒體,該等指令在由一計算裝置執行時使該計算裝置執行步驟,該等步驟包含:基於一經偵測預定執行中應用程式選擇一模式波束型樣;使用該選定模式波束型樣以組態一音訊波束成形演算法;及將經處理音訊資料發送至該預定執行中應用程式,其中藉由將該經組態音訊波束成形演算法應用於自一麥克風陣列接收之複數個音訊信號而產生該經處理音訊資料。
  13. 如請求項12之非暫時性電腦可讀儲存媒體,其中選擇該模式波束型樣係進一步基於至少一經偵測當前裝置設定。
  14. 如請求項13之非暫時性電腦可讀儲存媒體,其進一步包含:在將該經處理音訊資料發送至該預定執行中應用程式之前,將一雜訊抑制演算法應用於該經處理音訊資料。
  15. 如請求項14之非暫時性電腦可讀儲存媒體,其中該雜訊抑制演算法係基於該預定執行中演算法或該至少一經偵測當前裝置設定中至少一者而組態。
  16. 如請求項12之非暫時性電腦可讀儲存媒體,其中該經偵測預定執行中應用程式為一聽寫應用程式、音訊通信應用程式、視訊聊天應用程式或音訊記錄應用程式。
  17. 一種電腦實施方法,其包含:經由一麥克風陣列接收複數個音訊信號;偵測一預定執行中應用程式及至少一預定裝置設定;藉由基於該經偵測預定執行中應用程式及該至少一預定裝置設定而設定一模式波束型樣來組態一音訊波束成形演算法;將該經組態音訊波束成形演算法應用於該複數個音訊信號以產生經處理音訊資料;及將該經處理音訊資料發送至該經偵測預定執行中應用程式。
  18. 如請求項17之電腦實施方法,其中該經偵測預定執行中應用程式為一語音辨識應用程式,且其中該模式波束型樣指定一調適性模式。
  19. 如請求項17之電腦實施方法,其中該經偵測預定執行中應用程式為一音訊通信應用程式,且其中該模式波束型樣指定一固定模式。
  20. 如請求項19之電腦實施方法,其中該模式波束型樣指定一心形波束型樣。
TW102119624A 2012-06-08 2013-06-03 電腦實施的波束成形方法,波束成形系統及相關之非暫時性電腦可讀媒體 TWI502584B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261657624P 2012-06-08 2012-06-08
US13/607,568 US20130329908A1 (en) 2012-06-08 2012-09-07 Adjusting audio beamforming settings based on system state

Publications (2)

Publication Number Publication Date
TW201401269A true TW201401269A (zh) 2014-01-01
TWI502584B TWI502584B (zh) 2015-10-01

Family

ID=48614112

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102119624A TWI502584B (zh) 2012-06-08 2013-06-03 電腦實施的波束成形方法,波束成形系統及相關之非暫時性電腦可讀媒體

Country Status (5)

Country Link
US (1) US20130329908A1 (zh)
CN (1) CN104335273A (zh)
DE (1) DE112013002838B4 (zh)
TW (1) TWI502584B (zh)
WO (1) WO2013184299A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525938B2 (en) 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
US9191736B2 (en) * 2013-03-11 2015-11-17 Fortemedia, Inc. Microphone apparatus
US20160150315A1 (en) * 2014-11-20 2016-05-26 GM Global Technology Operations LLC System and method for echo cancellation
CN105763956B (zh) * 2014-12-15 2018-12-14 华为终端(东莞)有限公司 视频聊天中录音的方法和终端
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
DE112015006654T5 (de) * 2015-06-26 2018-03-08 Harman International Industries, Incorporated Sportkopfhörer mit Situationsbewusstsein
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端(东莞)有限公司 指向性录音方法、装置及录音设备
US9847764B2 (en) * 2015-09-11 2017-12-19 Blackberry Limited Generating adaptive notification
US10945087B2 (en) * 2016-05-04 2021-03-09 Lenovo (Singapore) Pte. Ltd. Audio device arrays in convertible electronic devices
US10431211B2 (en) 2016-07-29 2019-10-01 Qualcomm Incorporated Directional processing of far-field audio
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
EP3574659A1 (en) 2017-01-27 2019-12-04 Shure Acquisition Holdings, Inc. Array microphone module and system
US9894439B1 (en) * 2017-01-31 2018-02-13 Dell Products L.P. Adaptive microphone signal processing for a foldable computing device
CN107135443B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
US10789949B2 (en) * 2017-06-20 2020-09-29 Bose Corporation Audio device with wakeup word detection
CN107967921B (zh) * 2017-12-04 2021-09-07 苏州科达科技股份有限公司 会议系统的音量调节方法及装置
US10524048B2 (en) * 2018-04-13 2019-12-31 Bose Corporation Intelligent beam steering in microphone array
WO2019217194A1 (en) * 2018-05-07 2019-11-14 Google Llc Dynamics processing effect architecture
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
CN109599104B (zh) * 2018-11-20 2022-04-01 北京小米智能科技有限公司 多波束选取方法及装置
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
CN114051637A (zh) 2019-05-31 2022-02-15 舒尔获得控股公司 集成语音及噪声活动检测的低延时自动混波器
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统
US20240112690A1 (en) * 2022-09-26 2024-04-04 Cerence Operating Company Switchable Noise Reduction Profiles

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043062A (ja) * 1999-07-27 2001-02-16 Nec Corp パーソナルコンピュータ、その音量調整方法及び記録媒体
CN100477704C (zh) * 2000-05-26 2009-04-08 皇家菲利浦电子有限公司 用于与自适应波束形成组合的回声抵消的方法和设备
US6748086B1 (en) * 2000-10-19 2004-06-08 Lear Corporation Cabin communication system without acoustic echo cancellation
US7171008B2 (en) * 2002-02-05 2007-01-30 Mh Acoustics, Llc Reducing noise in audio systems
ATE405925T1 (de) * 2004-09-23 2008-09-15 Harman Becker Automotive Sys Mehrkanalige adaptive sprachsignalverarbeitung mit rauschunterdrückung
US7877406B2 (en) * 2005-03-11 2011-01-25 Apteryx, Inc. System and method for name grabbing via optical character reading
JP4675381B2 (ja) * 2005-07-26 2011-04-20 本田技研工業株式会社 音源特性推定装置
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US20090010453A1 (en) * 2007-07-02 2009-01-08 Motorola, Inc. Intelligent gradient noise reduction system
US8553901B2 (en) * 2008-02-11 2013-10-08 Cochlear Limited Cancellation of bone-conducted sound in a hearing prosthesis
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US8416964B2 (en) * 2008-12-15 2013-04-09 Gentex Corporation Vehicular automatic gain control (AGC) microphone system and method for post processing optimization of a microphone signal
US8320974B2 (en) 2010-09-02 2012-11-27 Apple Inc. Decisions on ambient noise suppression in a mobile communications handset device
EP2437517B1 (en) * 2010-09-30 2014-04-02 Nxp B.V. Sound scene manipulation
US8929564B2 (en) * 2011-03-03 2015-01-06 Microsoft Corporation Noise adaptive beamforming for microphone arrays

Also Published As

Publication number Publication date
CN104335273A (zh) 2015-02-04
DE112013002838B4 (de) 2021-07-08
US20130329908A1 (en) 2013-12-12
TWI502584B (zh) 2015-10-01
WO2013184299A1 (en) 2013-12-12
DE112013002838T5 (de) 2015-03-19

Similar Documents

Publication Publication Date Title
TWI502584B (zh) 電腦實施的波束成形方法,波束成形系統及相關之非暫時性電腦可讀媒體
US10249299B1 (en) Tailoring beamforming techniques to environments
WO2020103703A1 (zh) 一种音频数据处理方法、装置、设备及存储介质
US10431211B2 (en) Directional processing of far-field audio
JP6489563B2 (ja) 音量調節方法、システム、デバイス及びプログラム
JP6640993B2 (ja) 音声対応デバイス間の調停
US10080088B1 (en) Sound zone reproduction system
US8781142B2 (en) Selective acoustic enhancement of ambient sound
US9668048B2 (en) Contextual switching of microphones
CN109257682B (zh) 拾音调节方法、控制终端及计算机可读存储介质
CN109151671B (zh) 音频处理装置、音频处理方法和计算机程序产品
JP2019159305A (ja) ファーフィールド音声機能の実現方法、設備、システム及び記憶媒体
US11595774B2 (en) Spatializing audio data based on analysis of incoming audio data
KR102565447B1 (ko) 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법
CN113170255A (zh) 对于双耳扩音器指向性的补偿
KR20240017404A (ko) 탠덤 네트워크들을 사용한 잡음 억제
US11257511B1 (en) Voice equalization based on face position and system therefor
JP2014112830A (ja) 携帯装置における強化ステレオ録音システム及び方法
WO2017123814A1 (en) Systems and methods for assisting automatic speech recognition
CN113223552B (zh) 语音增强方法、装置、设备、存储介质及程序
US10264383B1 (en) Multi-listener stereo image array
US11217220B1 (en) Controlling devices to mask sound in areas proximate to the devices
US20190051300A1 (en) Loudspeaker system
KR102503895B1 (ko) 음향 신호 처리 방법 및 장치
TWI850905B (zh) 聲音訊號處理方法及行動裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees