TWI400650B - 聲音串流通知與處理 - Google Patents

Description

聲音串流通知與處理

本發明關於聲音串流通知與處理。

現今的運算裝置基本上能夠執行多種不同的工作，通常為同時或虛擬同時性。這種能力經常造成運算裝置資源的競爭。對於一運算裝置之聲音輸入/輸出資源的競爭，一些既有的聲音資源管理解決方案利用一聲音串流衰減行為，稱之為「閃避效應」(ducking)。閃避效應代表一聲音串流的音量衰減以回應於一特定事件或條件。在一範例中，一輛汽車被組態成偵測一通到該汽車中乘客的電話呼叫。當該汽車偵測到一進入的電話呼叫時，如果有任何的聲音裝置正在該汽車內提供聲音信號，該汽車將自動地閃避該聲音信號(例如降低該聲音信號音量一指定的量，例如50%)，所以該電話可被聽到，且該汽車的乘客能夠在電話上交談而不會受到該聲音信號的過度干擾。

當既有的聲音資源管理解決方案能夠滿足這些簡單的狀況下，它們會具有一些缺點，使得它們不適用於更為複雜或具有些微差異的應用程式。首先，一特定解決方 案時常僅適用於一特定應用程式或應用程式群組。其次，該等解決方案時常不可改變，並對於聲音資源的管理僅提供少數的選項。

多種具體實施例允許一種應用程式來由系統聲音串流行為中退出(opt out of)。例如，一特定系統可以包括一預設的系統行為，其回應於正被啟始的一聲音通訊串流而衰減非通訊聲音串流。如果一應用程式已經自該系統聲音串流行為中退出，則與該應用程式相關的一非通訊聲音串流將不會衰減以回應於正被啟始的該通訊聲音串流。

一些具體實施例會通知在一運算裝置上的一應用程式及/或程序一通訊聲音串流已經被啟始。在這些具體實施例中，一應用程式/程序可以註冊用以接收一通訊聲音串流已經被啟始的通知。回應於該通知，一應用程式可以對於由該應用程式所擁有的一聲音串流啟始一或多個客製化聲音串流行為。

在一些具體實施例中，一應用程式/程序可以註冊為需要已過濾或未過濾的通知。在一已過濾的通知方案中，一應用程式/程序係在當與該應用程式/程序相關的一聲音串流尚未修改以回應於一不同通訊聲音串流的啟始 時，被通知一通訊聲音串流已經被啟始。在一未過濾的通知方案中，一應用程式/程序於每當一通訊聲音串流已經被啟始時即被通知，即使該串流並非該應用程式/程序所擁有。

此發明內容係用來介紹在一簡化型式中觀念的選擇，其在以下的實施方式中會進一步說明。此發明內容並非要識別所主張之標的的關鍵特徵或基本特徵，也並非要做為限制所主張之標的的範圍。

概述

有多種具體實施例會通知在一運算裝置上的應用程式及/或程序一通訊聲音串流已經被啟始。為了討論的目的，此處所使用的用語「應用程式」(application)代表任何數目的不同程序、軟體、程式、可執行檔案等等，且並非限制所主張標的之範圍。一聲音串流可以包含數位型式的聲音資料，且在一些範例中，該數位聲音資料經由脈衝碼調變(Pulse code modulation,PCM)來編碼。該聲音串流通知可被組態成用以區別一通訊相關的聲音串流(通訊串流)與一非通訊相關的聲音串流(非通訊串流)。概言之，一通訊串流包括傳送已捕捉的聲音資料的一捕捉串流，及傳送要被呈現的聲音資料之一呈現串 流。同時，一通訊串流基本上包括與語音相關的聲音資料(例如語音對話、電話呼叫、語音郵件等等)。一非通訊串流一般不會同時包括一捕捉串流及一呈現串流。一聲音串流可以包括元資料(metadata)，其描述該聲音串流的態樣及屬性，例如該聲音串流是否為一通訊串流或一非通訊串流。

在一些具體實施例中，一應用程式可以註冊用以接收一通訊串流已經被啟始的通知。該應用程式可組態成符合系統預設聲音串流處理政策，或其可自該系統預設聲音串流處理政策中退出(並選擇地實施其本身的客製化行為)。一範例性系統預設聲音串流處理政策指定何時要啟始一通訊聲音串流，所有非通訊聲音串流在當該通訊聲音串流啟動時被閃避(ducked)一特定百分比。在一些具體實施例中，一應用程式可以註冊為需要已過濾或未過濾的通知。在一已過濾的通知方案之範例中，一應用程式僅在當與該應用程式相關的一聲音串流尚未被修改以回應於一不同通訊串流的啟始時(例如經由一預設聲音串流處理政策)，被通知一通訊聲音串流已經被啟始。在一未過濾的通知方案之範例中，一應用程式/程序於每當一通訊串流被啟始時即被通知，即使該串流並非該應用程式/程序所擁有。

在以下的討論中，提供一段落名為「操作環境」，且描 述可以實施一或多個具體實施例之環境。在此之後，提供一段落名為「範例程序」，且描述可以實施此處所討論之多種原理及技術的程序。

操作環境

第1圖在100所示概略為一操作環境的範例，其可根據一或多個具體實施例進行運作，以實施聲音串流通知與處理之一或多種技術及/或程序。環境100包括一運算裝置102，其具有一或多個處理器104、一或多個聲音輸入/輸出裝置106、及一或多個電腦可讀取媒體108。運算裝置102能夠實施成任何適當的運算裝置，例如(藉由範例而非限制)一桌上型電腦、一攜帶式電腦，或一掌上型電腦，例如個人數位助理(Personal digital assistant,PDA)、行動電話等等。運算裝置102組態成使得其可與一或多個網路(未示出)介接，例如區域網路、廣域網路、網際網路、全球資訊網等等。

聲音輸入/輸出裝置106提供運算裝置102之聲音輸入/輸出功能，並可包括一喇叭、一麥克風、一音效卡等等。

例示為運算裝置102之一部份的係為一或多個通訊應用程式110、一或多個非通訊應用程式112及一作業系統114。通訊應用程式的範例包括可用來捕捉及呈現聲音信號之應用程式，例如網路電話(Voice-over-Internet Protocol,VoIP)應用程式，某種網際網路傳訊應用程式，互動式遊戲應用程式等等。非通訊應用程式基本上包括呈現聲音的應用程式，例如媒體播放器應用程式、系統通知應用程式或程序等等。作業系統114可以包括一或多種處理該運算裝置之聲音串流(例如通訊串流及/或非通訊串流)之預設政策。

運算裝置102亦包括一聲音服務116，而該聲音服務包括一聲音串流管理員118及一通知工具120。該聲音串流管理員組態成執行該運算裝置之多種工作，例如追蹤聲音串流、維護一聲音串流識別碼的列表，偵測一聲音串流是否為一通訊串流或一非通訊串流，並執行聲音串流衰減。回應於一通訊串流的啟始，該聲音串流管理員可以識別要被閃避的一或多個聲音串流，並對該(等)聲音串流執行閃避。該通知工具係組態成處理該聲音服務之通知的註冊，並傳送通知給已經註冊要通知的應用程式。

在一些具體實施例中，一特定應用程式可以不組態成識別其聲音串流做為一通訊串流或一非通訊串流。在這些具體實施例中，該聲音服務及/或該運算裝置之其它功能可以組態成識別該應用程式，並標示該應用程式的(多個)聲音串流成為一通訊串流或一非通訊串流。例如，該聲音服務可以對於一或多個該等應用程式維護一應用程 式的列表，以及一識別碼，其可識別該應用程式為利用一通訊串流及/或一非通訊串流。

一聲音引擎122儲存在該電腦可讀取媒體上，並包括一混合緩衝器124及一或多個聲音處理物件(Audio processing object,APO)126。在其它工作當中，該聲音引擎做為一傳輸組件，以用於自一應用程式傳送一聲音串流到一聲音裝置。該混合緩衝器結合聲音串流，並使得該等已結合的串流針對一聲音裝置係為可用。該等聲音處理物件之每一者組態成對於一聲音串流執行一或多種不同信號處理工作，例如串流衰減、聲音速率調變、頻道混合(例如增加及/或減少一串流中的頻道數目)，及/或任何其它適當形式的聲音信號處理。

範例性程序

第2-4圖所示為根據一或多個具體實施例實施此處所述之原理及技術之態樣的程序及操作方案的範例。這些程序可以配合於任何適當的硬體、軟體、韌體或其組合來實施。

第2圖所示為代表自系統聲音串流行為中退出之一程序的流程圖200。在202中，一非通訊聲音串流係由一應用程式所啟始。在204中，一通訊聲音串流由該應用程式外部的一來源所啟始。一聲音串流(包括一通訊及/ 或一非通訊串流)的啟始能夠使得一聲音服務指定一特定聲音處理物件(APO)或該聲音串流之APO的集合。該聲音服務可以包括維持一聲音串流之每個APO之參照的邏輯。在一些具體實施例中，此可允許該聲音服務回應於一通知或其它事件而對於一聲音串流執行行為修改。例如，當一通訊串流被啟始時，一音量衰減APO可回應於該通訊串流的啟始而衰減一聲音串流的音量。

方塊206決定該應用程式是否已經先自系統預設閃避行為中退出。例如，一系統聲音服務可以指定一系統預設閃避行為，其在當一通訊串流被啟始時自動衰減非通訊串流的音量一預定量(例如30%、50%等等)。

如果該應用程式尚未自系統預設閃避行為中退出(“No”)，該預設閃避行為被應用到該應用程式的非通訊串流。如果該應用程式已經自系統閃避行為中退出，則該預設閃避行為不會被應用到該應用程式的非通訊串流。在210中，該系統聲音被呈現，其包括該應用程式的非通訊串流及來自該外部來源的該通訊串流。在一些具體實施例中，一應用程式可藉由呼叫一「退出」應用程式程式化介面(Application programming interface,API)來自預設系統閃避行為中退出，其可通知該系統該應用程式正在自該預設行為中退出。該API由一聲音服務提供給該應用程式。

第3圖所示為代表用於決定一應用程式是否已經自系統預設取消閃避(unducking)行為中退出之一程序的流程圖300。在302中，源自一應用程式外的通訊串流被終止。在一具體實施例中，一通訊串流的終止由於一通訊應用程式關閉一開放通訊串流而發生。在304中，其決定該應用程式是否已經自預設系統取消閃避行為中退出。如果該應用程式尚未自預設取消閃避行為中退出(“No”)，則在306中，預設取消閃避行為被應用程式到該應用程式的聲音串流。在一範例具體實施例中，一預設取消閃避行為可以造成一被衰減的聲音串流，回到一衰減前的位準(pre-attenuated)。該被衰減的聲音串流係回應於一通訊串流的啟始而被衰減。如果該應用程式已經自預設閃避行為中退出(“Yes”)，則在308中，與該應用程式相關之一聲音串流係不需要應用該預設取消閃避行為就可以被呈現。

第4圖所示為通知一應用程式一通訊聲音串流已經被啟始的一範例性程序的流程圖400。此範例性程序假設該應用程式已經註冊這種通知。註冊可由一聲音服務處理，其可以(例如，經由一應用程式及/或聲音串流ID，以)追蹤應用程式的註冊，並當一通訊串流被啟始時通知一被註冊的應用程式。在一範例性具體實施例中，一應用程式可以藉由呼叫一應用程式程式化介面(API)來註 冊為需要通知，以利用該聲音服務來註冊一回叫物件(callback object)。

方塊402啟始一聲音串流。方塊404決定該聲音串流為一通訊聲音串流。方塊406通知該應用程式該通訊聲音串流已經被啟始。在其它範例性實施中，方塊404可以決定該聲音串流為一非通訊聲音串流，且因此該應用程式將不會被通知，如方塊406所示。方塊408將一或多個特定應用程式行為應用到由該應用程式所擁有的一聲音串流。在一或多個具體實施例中，該特定應用程式行為可由一使用者組態。方塊410終止該通訊聲音串流，且方塊412通知該應用程式該通訊聲音串流的終止。

第5圖所示為用於實施已過濾及/或未過濾通知之一程序的流程圖500。在502中，一應用程式係註冊為需要一通訊串流啟始的通知。在504中，一通訊串流被啟始。在506中，決定該應用程式是否註冊為需要已過濾的通知或未過濾的通知。在一具體實施例中，當一應用程式係註冊為需要一通訊串流啟始通知時(例如在步驟502中)，該應用程式可以指定其僅在與該應用程式相關之一聲音串流尚未經修改以回應於另一個通訊聲音串流的啟始時，被通知一通訊串流啟始(「已過濾的通知」)。

在一範例中，當一通訊串流被啟始時，一聲音服務可以決定一或多個啟動聲音串流將要被閃避。如果與該應 用程式相關之一聲音串流尚未被閃避時(例如回應於另一個通訊串流之啟始)，且該應用程式已經註冊為需要過濾的通知時，該應用程式將被通知一通訊串流已經被啟始，且與該應用程式相關之聲音串流將要被閃避。但是在此範例中，如果該聲音串流已經被閃避，且該應用程式已經註冊為需要過濾的通知時，該應用程式將不會被通知該通訊串流啟始。如上所述，該應用程式可以遞交給(submit to)系統預設閃避行為，及/或該應用程式能夠回應於一通訊串流的啟始而執行客製化聲音串流行為。

如果該應用程式已經註冊為需要未過濾的通知，該應用程式被通知一通訊串流的啟始(例如一通訊應用程式將要開始傳遞聲音信號到該通訊串流)，不論由該應用程式擁有的一聲音串流是否已經被修改以回應於另一個通訊串流之啟始。在一具體實施例中，該通知可以包括由該聲音服務產生的一資料封包。該資料封包可以包括一回叫方法，其通知該應用程式該通訊串流已經被初始化，且該聲音串流將要被產生。未過濾的通知可以允許一應用程式回應於通訊串流啟始而執行(多個)客製化聲音串流行為。

回到該流程圖的討論，如果該應用程式已經註冊為需要已過濾的通知(「已過濾」)，其在508中決定與該應用程式相關之一聲音串流是否已經被修改以回應於另一 個通訊串流的啟始。在一些具體實施例中，該修改可以包括一或多個系統預設行為修改，其回應於一通訊串流的啟始而發生，例如非通訊串流閃避。如果該聲音串流並未被修改，於510中，該應用程式被通知該通訊串流的啟始。如果在508中決定與該應用程式相關之聲音串流已經被修改以回應於另一個通訊串流的啟始，則在512中，該應用程式不會被通知該通訊串流的啟始。

回到步驟506，如果該應用程式已經註冊為需要未過濾的通知(「未過濾」)，則在510中，該應用程式被通知該通訊串流的啟始。在一未過濾的通知方案中，該應用程式被通知一通訊串流的啟始，即使與該應用程式相關之一聲音串流已經被修改以回應於另一個通訊串流的啟始。當程序500參照通訊串流初始做討論時，該程序亦可被應用到通訊串流終止之通知。

此處所討論的該等程序及方案係參照聲音串流閃避進行討論。但是，閃避係為了一範例性聲音串流行為的目的而使用，且其可視為此處所討論的該等程序及技術可應用到多種不同的聲音串流行為。

多種技術在此處以軟體或程式模組的一般性前後關係來說明。概言之，軟體包括例式、程式、物件、組件、資料結構等等，其可執行特殊工作或實施特定的抽象資料型態。這些模組及技術的一種實施可以儲存在或被傳 送橫跨某些形式的電腦可讀取媒體。電腦可讀取媒體可為任何可由一運算裝置存取之任何可使用媒體。例如(但非限制)電腦可讀取媒體可包含「電腦儲存媒體」。

「電腦儲存媒體」包括揮發性與非揮發性，可移除與不可移除式媒體，其可實施成儲存資訊的任何方法或技術，例如電腦可讀取指令、資料結構、程式模組或其它資料。電腦儲存媒體包括(但不限於)RAM、ROM、EEPROM、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能碟片(Digital versatile disk,DVD)或其它光學儲存，磁性卡匣、磁帶、磁碟儲存或其它磁性儲存裝置，或任何其它媒體，其可用於儲存所要的資訊，並可由一電腦存取。

結論

前述的原理及技術提供一運算裝置之聲音串流通知及聲音信號處理。雖然該標的已經以特定於結構化特徵及/或方法性步驟的語言來描述，應瞭解到在附屬申請專利範圍中所定義的標的並不必要限制於上述之特定特徵或步驟。而是上述的特定特徵與步驟係以實施該等申請專利範圍之範例形式來揭露。

102‧‧‧運算裝置

104‧‧‧處理器

106‧‧‧聲音輸入/輸出裝置

108‧‧‧電腦可讀取媒體

110‧‧‧通訊應用程式

112‧‧‧非通訊應用程式

114‧‧‧作業系統

116‧‧‧聲音服務

118‧‧‧聲音串流管理員

120‧‧‧通知工具

122‧‧‧聲音引擎

124‧‧‧混合緩衝器

126‧‧‧聲音處理物件

相同的編號在所有圖面中將用於參照類似的特徵。

第1圖例示一操作環境，其中此處所述用於聲音串流通知及處理之多種原理及技術可根據一或多個具體實施例來使用。

第2圖為根據一或多個具體實施例中用於使一應用程式註冊為需要聲音串流通知及處理一聲音串流以回應於一通訊串流的啟始之一程序的流程圖。

第3圖為根據一或多個具體實施例中用於通訊串流終止的聲音串流通知之程序的流程圖。

第4圖為根據一或多個具體實施例中用於通知一應用程式一通訊聲音串流已經被啟始的一程序之流程圖。

第5圖為根據一或多個具體實施例中用於通訊串流啟始與終止的已過濾及/或未過濾通知的程序之流程圖。

102‧‧‧運算裝置

104‧‧‧處理器

106‧‧‧聲音輸入/輸出裝置

108‧‧‧電腦可讀取媒體

110‧‧‧通訊應用程式

112‧‧‧非通訊應用程式

114‧‧‧作業系統

116‧‧‧聲音服務

118‧‧‧聲音串流管理員

120‧‧‧通知工具

122‧‧‧聲音引擎

124‧‧‧混合緩衝器

126‧‧‧聲音處理物件

Claims (20)

1. 一種用於聲音串流通知與處理的方法，該方法包含下列步驟：啟始一通訊聲音串流；決定一應用程式係註冊為需要該通訊聲音串流之該啟始的已過濾通知或未過濾通知；回應於決定該應用程式係註冊為需要該通訊聲音串流的該啟始之已過濾通知時：使用執行於一或多個處理器上之一聲音服務來決定與該應用程式相關之一非通訊聲音串流是否已經被修改；及回應於決定與該應用程式相關之該非通訊聲音串流尚未被修改，則通知該應用程式該通訊聲音串流的該啟始；及回應於決定該應用程式係註冊為需要該通訊聲音串流的該啟始之未過濾通知，則通知該應用程式該通訊聲音串流的該啟始。
2. 如申請專利範圍第1項所述之方法，其中該應用程式係藉由呼叫一應用程式介面(API)來註冊為需要已過濾的通知或未過濾的通知，以利用該聲音服務來註冊一應用程式回叫物件(callback object)，該應用程式回叫物件係組態成自該聲音服務接收該通訊聲音串 流之該啟始的通知。
3. 如申請專利範圍第1項所述之方法，其中該通訊聲音串流包含一聲音捕捉串流及/或一聲音呈現串流。
4. 如申請專利範圍第1項所述之方法，其中該通訊聲音串流包含元資料，該元資料描述該通訊聲音串流之態樣及屬性。
5. 如申請專利範圍第1項所述之方法，其中該修改的步驟包含一預設行為修改，且該預設行為修改包含一或多個非通訊聲音串流之衰減的步驟。
6. 如申請專利範圍第1項所述之方法，其中該修改的步驟包含一預設行為修改，且其中該通知的步驟包含提供一應用程式介面(API)，該應用程式介面可由該應用程式呼叫而指示該應用程式自該預設行為修改中退出，該預設行為修改包含回應於該通訊聲音串流之該啟始而被應用到一或多個非通訊聲音串流之聲音串流行為。
7. 如申請專利範圍第1項所述之方法，其中註冊為需要該未過濾的通知之步驟，包含在與該應用程式相關之該非通訊聲音串流已經被修改的情況下，請求該通訊聲音串流之該啟始的通知。
8. 如申請專利範圍第1項所述之方法，其中該應用程式提供一種指示，其指示該應用程 式正在自回應於該通訊聲音串流之該啟始而發生的預設聲音串流行為修改中退出。
9. 如申請專利範圍第8項所述之方法，其中回應於該應用程式被通知該通訊聲音串流的該啟始，該應用程式可將一或多個特定應用程式聲音串流行為應用到與該應用程式相關之該非通訊聲音串流。
10. 一種電腦可讀取儲存記憶體，該等電腦可讀取儲存記憶體儲存電腦可執行指令，該等電腦可執行指令係可由一運算裝置來執行以實施一種方法，該方法包含下列步驟：啟始一聲音服務；啟始一通訊聲音串流；決定一應用程式係註冊為需要該通訊聲音串流之該啟始的已過濾通知或未過濾通知；回應於決定該應用程式係註冊為需要該通訊聲音串流的該啟始之已過濾通知時：決定與該應用程式相關之一非通訊聲音串流是否已經被修改；及回應於決定與該應用程式相關之該非通訊聲音串流尚未被修改，則通知該應用程式該通訊聲音串流的該啟始；及回應於決定該應用程式係註冊為需要該通訊聲 音串流的該啟始之未過濾通知，則通知該應用程式該通訊聲音串流的該啟始。
11. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中該應用程式係藉由呼叫一應用程式介面(API)來註冊為需要已過濾的通知或未過濾的通知，以利用該聲音服務來註冊一應用程式回叫物件，該應用程式回叫物件係組態成自該聲音服務接收該通訊聲音串流之該啟始的通知。
12. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中該通訊聲音串流包含一聲音捕捉串流及/或一聲音呈現串流。
13. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中該通訊聲音串流包含元資料，該元資料描述該通訊聲音串流之態樣及屬性。
14. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中該修改的步驟包含一預設行為修改，且該預設行為修改包含一或多個非通訊聲音串流之衰減。
15. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中該修改的步驟包含一預設行為修改，且其中該通知的步驟包含提供一應用程式介面(API)，該應用程式介面可由該應用程式呼叫以指示該應用程式自該預設行為修改中退出，該預設行為修改包含回應於該通訊聲音串流之該啟始被應用到一或多個非通訊聲音串流之聲音串流行為。
16. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中註冊為需要該未過濾的通知之步驟，包含在與該應用程式相關之該非通訊聲音串流已經被修改的情況下，請求該通訊聲音串流之該啟始的通知。
17. 如申請專利範圍第10項所述之電腦可讀取儲存記憶體，其中該應用程式提供一種指示，其指示該應用程式正在自回應於該通訊聲音串流之該啟始而發生的預設聲音串流行為修改中退出。
18. 如申請專利範圍第17項所述之電腦可讀取儲存記憶體，其中回應於該應用程式被通知該通訊聲音串流的該啟始，該應用程式可將一或多個特定應用程式聲音串流行為應用到與該應用程式相關之該非通訊聲音 串流。
19. 一種用於聲音串流通知與處理的設備，該設備包含：一或多個處理器；一或多個電腦可讀取儲存媒體，該等電腦可讀取儲存媒體儲存電腦可執行指令，該等電腦可執行指令係可由該一或多個處理器來執行以實施一種方法，該方法包含下列步驟：啟始一通訊聲音串流；決定一應用程式係註冊為需要該通訊聲音串流之該啟始的已過濾通知或未過濾通知；回應於決定該應用程式係註冊為需要該通訊聲音串流的該啟始之過濾已通知時：決定與該應用程式相關之一非通訊聲音串流是否已經被修改；及回應於決定與該應用程式相關之該非通訊聲音串流尚未被修改，則通知該應用程式該通訊聲音串流的該啟始；及回應於決定該應用程式係註冊為需要該通訊聲音串流的該啟始之未過濾通知，則通知該應用程式該通訊聲音串流的該啟始。
20. 如申請專利範圍第19項所述之設備，其中屬於該方法之一部分，該應用程式係藉由呼叫一應用程式介面(API)來註冊為需要已過濾的通知或未過濾的通知，以利用一聲音服務來註冊一應用程式回叫物件，該應用程式回叫物件係組態成自該聲音服務接收該通訊聲音串流之該啟始的通知。