TW201907392A

TW201907392A - 多串流音頻寫碼

Info

Publication number: TW201907392A
Application number: TW107122545A
Authority: TW
Inventors: 凡卡特拉曼阿堤; 文卡塔薩伯拉曼亞姆強卓賽克哈爾奇比亞姆; 丹尼爾賈瑞德辛德
Original assignee: 美商高通公司
Priority date: 2017-07-07
Filing date: 2018-06-29
Publication date: 2019-02-16
Also published as: WO2019010033A1; TWI753182B; US20190013028A1; CN110770824B; CN117059111A; US10885921B2; CN110770824A

Abstract

本發明提供一種方法，其包括在一音訊編碼器處接收音訊資料之多個串流。該方法包括將一優先級指派至該多個串流中之每一串流及基於該多個串流中之每一串流之該優先級判定用於該多個串流之編碼的一置換序列。該方法亦包括根據該置換序列編碼該多個串流中之每一串流之至少一部分。

Description

多串流音頻寫碼

本發明大體上係關於多個音訊信號之編碼。

技術之進步已帶來更小且更強大之計算裝置。舉例而言，多種攜帶型個人計算裝置(包括諸如行動及智慧型手機之無線電話、平板電腦及膝上型電腦)體積小、重量輕且易於由使用者攜帶。此等裝置可經由無線網路傳達語音及資料封包。另外，許多此等裝置併入額外功能，諸如數位靜態攝影機、數位視訊攝影機、數位記錄器及音訊檔案播放器。又，此等裝置可處理可執行指令，包括軟體應用程式，諸如可用以存取網際網路之網路瀏覽器應用程式。由此因而，此等裝置可包括顯著計算能力。

計算裝置可包括或耦接至多個麥克風以接收音訊信號。音訊信號可根據特定音訊格式經處理成音訊資料串流，諸如二通道立體聲格式、諸如5.1或7.1格式之多通道格式、基於場景之音訊格式，或一或多個其他格式。音訊資料串流可由經設計以根據音訊格式編碼及解碼音訊資料串流的編碼器進行編碼，諸如編碼器/解碼器(編碼解碼器)。因為針對特定應用提供各種益處的多種音訊格式係可用的，所以此等計算裝置之製造商可針對計算裝置之增強型操作選擇特定音訊格式。然而，使用不同音訊格式的裝置之間的通信可由於音訊格式之間缺少互操作性而受限。另外，在使用相容音訊格式的裝置之間的網路上傳送的經編碼音訊資料之品質可歸因於網路之有限傳輸頻寬而降低。舉例而言，音訊資料可能必須在符合可用傳輸頻寬的次最佳化位元速率下進行編碼，從而導致在接收裝置處在播放期間精確地再生音訊信號之能力降低。

在一特定實施中，一種裝置包括經組態以基於所接收音訊信號產生音訊資料之多個串流的一音訊處理器。該裝置亦包括經組態以將一優先級指派至該多個串流中之每一串流的一音訊編碼器。該音訊編碼器亦經組態以基於該多個串流中之每一串流的該優先級判定用於編碼該多個串流之置換序列，且根據該置換序列編碼該多個串流中之每一串流之至少一部分。

在另一特定實施中，一種方法包括在一音訊編碼器處接收音訊資料之多個串流，及將一優先級指派至該多個串流中之每一串流。該方法包括基於該多個串流中之每一串流之該優先級判定用於編碼該多個串流的一置換序列。該方法亦包括根據該置換序列編碼該多個串流中之每一串流之至少一部分。

在另一特定實施中，一種非暫時性電腦可讀媒體包括指令，該等指令在由一處理器內的一處理器執行時使得該處理器執行包括在該音訊編碼器處接收音訊資料之多個串流的操作。該等操作亦包括將一優先級指派至該多個串流中之每一串流，且基於該多個串流中之每一串流之該優先級判定用於編碼該多個串流的一置換序列。該等操作亦包括根據該置換序列編碼該多個串流中之每一串流之至少一部分。

在另一特定實施中，一種設備包括用於將一優先級指派至音訊資料之多個串流中之每一串流且用於基於該多個串流中之每一串流之該優先級判定用於編碼該多個串流之一置換序列的構件。該設備亦包括用於根據該置換序列編碼該多個串流中之每一串流之至少一部分的構件。

在檢閱整個申請案之後，本發明之其他實施、優勢及特徵將變得顯而易見，該整個申請案包括以下章節：圖式簡單說明、實施方式及申請專利範圍。

對相關申請案之交叉參考

本申請案主張2017年7月7日申請的標題為「MULTI-STREAM AUDIO CODING」之美國臨時專利申請案第62/529,770號之益處，該申請案明確地以全文引用之方式併入本文中。

下文參看圖式描述本發明之特定態樣。在本說明書中，共同特徵由共同參考編號指示。如本文所使用，各種術語僅僅用於描述特定實施之目的，且並不意欲限制實施。舉例而言，除非上下文另外明確指示，否則單數形式「一」、「一個」及「該」意欲同樣包括複數形式。可進一步理解，術語「包含」及「包含著」可與「包括」或「包括著」互換使用。另外，應理解，術語「其中(wherein)」可與「在…的情況下(where)」互換使用。如本文中所使用，用以修改元件(諸如，結構、組件、操作等等)之序數術語(例如，「第一」、「第二」、「第三」等等)本身不指示元件關於另一元件之任何優先級或次序，而是僅將元件與具有相同名稱之另一元件區別開(除非使用序數術語)。如本文所使用，術語「設定」指特定元件中之一或多者，且術語「複數個」指特定元件中之多個元件(例如，兩個或大於兩個)。

在本發明中，諸如「判定」、「計算」、「移位」、「調整」等之術語可用於描述如何執行一或多個操作。應注意，此等術語不應解釋為限制性的且其他技術可用以執行類似操作。另外，如本文中所提及，「產生」、「計算」、「使用」、「選擇」、「存取」及「判定」可互換使用。舉例而言，「產生」、「計算」或「判定」參數(或信號)可指主動地產生、計算或判定參數(或信號)，或可指使用、選擇或存取已(諸如)由另一組件或裝置產生之參數(或信號)。

本發明揭示可操作以編碼及解碼多個音訊信號之系統及裝置。裝置可包括經組態以編碼多個音訊信號之編碼器。可使用多個記錄裝置(例如，多個麥克風)同時及時地俘獲多個音訊信號。在一些實例中，藉由多工若干同時或非同時記錄之音訊通道可合成地(例如，人工)產生多個音訊信號(或多通道音訊)。如說明性實例，音訊通道之並行記錄或多工可產生2通道組態(亦即，立體聲：左及右)、5.1通道組態(左、右、中央、左環繞、右環繞及低頻重音(LFE)通道)、7.1通道組態、7.1+4通道組態、22.2通道組態或N通道組態。

圖1描繪包括裝置101之系統100的實例，該裝置具有耦接至前端音訊處理器104之多個麥克風130。前端音訊處理器104耦接至編碼解碼器102，諸如沉浸式語音與音訊服務(IVAS)編碼解碼器102。IVAS編碼解碼器102經組態以產生包括經由多個音訊串流自前端音訊處理器104接收之經編碼資料的位元串流126。IVAS編碼解碼器102包括串流優先級模組110，其經組態以判定所接收音訊串流中之每一者的優先級組態且基於所判定優先級(例如，在感知上更重要、對場景而言更「關鍵」的聲音、背景聲音覆疊於場景中之其他聲音上、相對於漫射性的方向性等)編碼音訊串流以產生位元串流126。在另一實例實施例中，串流優先級模組110可基於空間後設資料124判定用於編碼之優先級或置換序列。串流優先級模組110亦可被稱作串流組態模組或串流預分析模組。判定音訊串流中之每一者之優先級組態且基於其優先級編碼每一音訊串流使得IVAS編碼解碼器102能夠分配不同位元速率且使用不同寫碼模式、寫碼頻寬。在實例實施例中，IVAS編碼解碼器102可相比具有較低優先級之串流將更多位元分配至具有較高優先級之串流，從而導致更有效使用傳輸資源(例如，無線傳輸頻寬)，用於將位元串流126發送至接收裝置。在另一實例實施例中，IVAS編碼解碼器102可針對較高優先級組態串流編碼達至超寬頻(亦即，達至例如16 kHz之頻寬)，同時針對較低優先級組態串流僅編碼達至寬頻(亦即，達至例如8 kHz之頻寬)。

麥克風130包括第一麥克風106、第二麥克風107、第三麥克風108及第M麥克風109 (M為正整數)。舉例而言，裝置101可包括行動電話，且麥克風106至109可定位在裝置101之各種位置處，以實現俘獲源自各種源之聲音。為了說明，在麥克風130中之一或多者經定位以自使用者俘獲話音的一特定實施中(例如，在電話呼叫或電話會議期間)，麥克風130中之一或多者經定位以自其他源俘獲音訊(例如，在視訊記錄操作期間俘獲三維(3D)音訊)，且麥克風130中之一或多者經組態以俘獲背景音訊。在一特定實施中，作為說明性的非限制性實例，麥克風130中之兩者或大於兩者以陣列或其他組態配置，以實現諸如回音消除或波束成形之音訊處理技術。麥克風106至109中之每一者經組態以輸出各別音訊信號120至123。

前端音訊處理器104經組態自麥克風130接收音訊信號120至123，且處理音訊信號120至123以產生多串流格式化音訊資料122。在一特定實施中，作為說明性的非限制性實例，前端音訊處理器104經組態以執行一或多個音訊操作，諸如回聲抵消、雜訊抑制、波束成形或其任何組合。

前端音訊處理器104經組態以產生由音訊操作產生的音訊資料串流，諸如第一串流131、第二串流132及第N串流133 (N為正整數)。在一特定實施中，串流131至133包括脈衝碼調變(PCM)資料，且具有與IVAS編碼解碼器102之輸入格式相容的格式。

舉例而言，在一些實施中，串流131至133具有通道之數目「N」待寫碼為等於二的立體聲格式。該等通道可相關或可不相關。裝置101可支援兩個或大於兩個麥克風130，且前端音訊處理器104可經組態以執行回聲抵消、雜訊抑制、波束成形或其一組合，以產生具有改良式信號雜訊比(SNR)之立體聲信號，而不需關於自麥克風130接收之原始立體聲信號改變所產生立體聲信號之立體聲/空間品質。

在另一實施中，串流131至133藉由前端音訊處理器104產生以具有基於立體混響(ambisonics)或基於場景之音訊(SBA)的格式，其中通道可有時包括對應於聲音場景之本徵分解係數。在其他實施中，作為說明性的非限制性實例，藉由前端音訊處理器104產生串流131至133以具有對應於多通道(MC)組態之格式，諸如5.1或7.1環繞聲組態。

在其他替代性實施中，可將音訊串流131至133提供至IVAS編碼解碼器102，其中已用不同於上文所說明之前端處理實例中之任一者的方式接收該IVAS編碼解碼器。

在一些實施中，串流131至133具有獨立串流(IS)格式，其中音訊信號120至123中之兩者或大於兩者經處理以估計聲源之空間特性(例如，方位角、仰角等)。音訊信號120至123被映射至對應於聲源之獨立串流，及對應空間後設資料124。

在一些實施中，前端音訊處理器104經組態以將優先級組態資訊提供至IVAS編碼解碼器102，以指示串流131至133中之一或多者的相對優先級或重要性。舉例而言，當裝置101藉由使用者在電話模式中操作時，與使用者之話音相關聯的特定串流可藉由前端音訊處理器104指定為相較於輸出至IVAS編碼解碼器102之其他串流具有較高優先級。

IVAS編碼解碼器102經組態以編碼多串流格式化音訊資料122以產生位元串流126。IVAS編碼解碼器102經組態以使用IVAS編碼解碼器102內的一或多個編碼器執行多串流音訊資料122之編碼，諸如用於話音的代數碼激勵線性預測(ACELP)編碼器，及用於非話音音訊的頻域(例如，經修改離散餘弦變換(MDCT))編碼器。IVAS編碼解碼器102經組態以編碼經由立體聲格式、SBA格式、獨立串流(IS)格式、多通道格式、一或多個其他格式或其任何組合中之一或多者接收的資料。

串流優先級模組110經組態以將優先級指派至多串流格式化音訊資料122中之每一串流131至133。作為說明性的非限制性實例，串流優先級模組110經組態以判定串流中之每一者的優先級，此判定基於對應於該串流之信號的一或多個特性，諸如信號能量、前景對背景、內容類型或熵。在串流優先級模組110自前端音訊處理器104接收串流優先級資訊(例如，該資訊可包括每一串流之試驗性的或初始位元速率、串流中之每一者的優先級組態或排序、基於場景分類之分組資訊、串流之取樣率或頻寬、其他資訊或其一組合)的實施中，串流優先級模組110可至少部分基於所接收串流優先級資訊將優先級指派該串流131至133。參看圖3更詳細地描述音訊串流之優先級判定的說明性實例。

IVAS編碼解碼器102經組態以基於多個串流中之每一者的優先級判定多個串流之分析及編碼序列(例如，多個串流中之每一者的訊框之編碼序列)。在一特定實施中，在編碼具有較低優先級之串流之前編碼具有較高優先級之串流。為了說明，在其他串流之編碼之前編碼串流131至133中具有最高優先級之串流，且在編碼其他串流之後編碼串流131至133中具有最低優先級之串流。

在一些實施中，IVAS編碼解碼器102經組態以相較於用於針對大多數訊框編碼具有較低優先級之串流的位元速率，使用較高位元速率編碼具有較高優先級之串流。舉例而言，可相較於用於編碼低優先級串流之相等大小部分(例如，訊框)的數個位元，使用兩倍位元來編碼高優先級串流之部分(例如，訊框)。因為用於經編碼串流經由位元串流126之傳輸的整體位元速率受到位元串流126之可用傳輸頻寬的限制，所以用較高位元速率編碼較高優先級串流提供較大數目個位元以傳遞具有較高優先級串流之資訊，從而相較於藉由傳遞具有較低優先級串流之資訊的較少數目個位元所實現的較低準確度再生，在接收器處實現較高優先級串流之較高準確度再生。

可針對所接收多串流格式化音訊資料122之每一會話或每一部分或「訊框」執行優先級之判定。在一特定實施中，每一串流131至133包括在時間上與串流131至133之其他串流之訊框對準或同步的一訊框序列。串流優先級模組110可經組態以逐個訊框處理串流131至133。舉例而言，串流優先級模組110可經組態以接收串流131至133中之每一者的第i個訊框(其中i為整數)，分析每一串流131至133之一或多個特性以判定對應於該第i個訊框之串流的優先級，基於經判定優先級產生用於編碼每一串流131至133之第i個訊框的置換序列，及根據置換序列編碼串流131至133中之每一者的每一第i個訊框。在編碼串流131至133之第i個訊框之後，串流優先級模組110繼續處理串流131至133中之每一者之下一訊框(例如，訊框i+1)(方法為基於第(i+1)個訊框判定每一串流之優先級)，產生用於編碼第(i+1)個訊框之置換序列，及編碼第(i+1)個訊框中之每一者。參看圖3更詳細描述逐個訊框串流優先級判定及編碼序列產生的另一實例。

在一些實施中，串流優先級、置換序列及編碼位元速率係相互相依的，從而向具有較高優先級之串流指派置換序列中之較早位置及較高位元速率，且向具有較低優先級之串流指派置換序列中之較晚位置及較低位元速率。在其他實施中，置換序列可獨立於位元速率。舉例而言，可向經估計為相對有效地可編碼的(例如，可相對快速地編碼、使用相對較少處理資源，或兩者)的串流指派置換序列中之第一位置，即使該串流具有相對較低優先級且在相對較低位元速率下進行編碼亦如此，從而可藉由IVAS編碼解碼器102相對快速且精確地判定保持用於編碼且因此用於剩餘串流之分配的可用位元速率。在一實例實施中，串流可自較高優先級之初始選擇變為較低優先級，且相對應地，可基於逐個訊框處理的源信號特性(例如，背景雜訊)使用不同置換寫碼序列。作為另一實例，可向具有不確定編碼估計(諸如歸因於串流之先前訊框中的編碼速率之高度變化)的串流指派置換序列中之第一位置，從而可精確地判定可用剩餘位元速率且因此判定用於其他串流之位元分配。因此，在一些實施中，具有較高位元速率之串流定位於置換序列中的較早處；在其他實施中，具有較低位元速率之串流定位於置換序列中的較早處；在一些實施中，具有相對較高編碼變化性之串流定位於置換序列中的較早處；且在其他實施中，具有相對較低編碼變化性的串流定位於置換序列中的較早處。IVAS編碼解碼器102可支援此等實施中之任一者或所有者，且可調整操作模式以在此等實施之間切換，諸如基於哪個實施適合於音訊串流之給定訊框的預測、基於編碼音訊串流之先前訊框之歷史，或其一組合。

IVAS編碼解碼器102經組態以組合串流131至133之經編碼部分以產生位元串流126。在一特定實施中，位元串流126具有一訊框結構，其中位元串流126之每一訊框包括串流131至133中之每一者之經編碼訊框。在說明性實例中，位元串流126之第i個訊框包括串流131至133中之每一者的經編碼第i個訊框，以及諸如訊框標頭、串流優先級資訊或位元速率資訊、位置後設資料等之後設資料。參看圖4進一步描述位元串流126之格式之說明性實例。

在操作期間，前端音訊處理器104分別自M個麥克風106-109接收M個音訊信號120至123，且執行前端處理以產生N個串流131至133。在一些實施中，N等於M，但在其他實施中，N不等於M。舉例而言，當來自麥克風106至109之多個音訊信號經由波束成形組合成單一串流時，M大於N。

串流131至133之格式可基於麥克風106至109之位置、麥克風之類型或其一組合而判定。在一些實施中，串流格式藉由裝置101之製造商進行組態。在一些實施中，串流格式藉由前端音訊處理器104基於裝置101之應用情境(例如，雙向交談式會議)控制或組態成IVAS編碼解碼器102。在其他狀況下，在串流傳輸或交談式通信使用狀況的情況下，串流格式亦可在裝置101與對應位元串流126接收端裝置(例如，含有對位元串流126進行解碼之IVAS解碼器的裝置)之間進行協商。在某些情形中，諸如當串流121至124具有獨立串流(IS)格式時，產生空間後設資料124，且將其提供至IVAS編碼解碼器102。在其他格式(例如，立體聲、SBA、MC)中，可自前端音訊處理器104部分地導出空間後設資料124。在一實例實施例中，空間後設資料可針對不同輸入格式而不同，且亦可嵌入於輸入串流中。

IVAS編碼解碼器102分析串流131至133，且判定串流131至133中之每一者的優先級組態。IVAS編碼解碼器102將較高位元速率分配至具有最高優先級之串流，且將較低位元速率分配至具有較低優先級之串流。IVAS編碼解碼器102基於優先級編碼串流131至133，且將所得經編碼串流資料組合以產生輸出位元串流126。

判定音訊串流131至133中之每一者的優先級，且基於其優先級編碼每一音訊串流使得IVAS編碼解碼器102能夠將較高位元速率分配至具有較高優先級之串流，且將較低位元速率分配至具有較低優先級之串流。因為使用較高位元速率編碼信號實現在接收裝置處的初始信號之較高準確度再生，所以可相較於再生諸如背景雜訊之較低優先級音訊串流的較低準確度，在諸如話音或聲學聲音之更重要音訊串流之重建構期間在接收裝置處獲得較高準確度。因此，在將位元串流126發送至接收裝置時更有效地使用傳輸資源。

儘管系統100說明為包括四個麥克風106至109 (例如，M=4)，但在其他實施中，系統100可包括不同數目個麥克風，諸如兩個麥克風、三個麥克風、五個麥克風或超過五個麥克風。儘管系統100說明為產生三個音訊串流131至133 (例如，N=3)，但在其他實施中，系統100可產生不同數目個音訊串流，諸如兩個音訊串流、四個音訊串流或超過四個音訊串流。儘管前端音訊處理器104描述為提供空間後設資料124以支援諸如獨立串流(IS)格式之一或多個音訊格式，但在其他實施中，前端音訊處理器104可能不會將空間後設資料提供至IVAS編碼解碼器102，諸如前端音訊處理器104並不提供顯式空間後設資料，而是合併於串流自身中的實施，從而(例如)建構一個主要串流及其他次要串流以反映空間後設資料。儘管系統100實施於單一裝置101中，但在其他實施中，系統100之一或多個部分可實施於單獨的裝置中。舉例而言，麥克風106至109中之一或多者可實施在耦接至前端音訊處理器104的裝置(例如，無線耳機)處，前端音訊處理器104可實施於不同於IVAS編碼解碼器102但以通信方式耦接至該IVAS編碼解碼器的裝置中，或其一組合。

圖2描繪系統200，其包括經由網路216耦接至接收編碼解碼器210 (例如，IVAS編碼解碼器)的IVAS編碼解碼器102。呈現與雙聲化(binauralize)電路218耦接至接收編碼解碼器210之輸出。IVAS編碼解碼器102耦接至交換器220或其他輸入介面，其經組態以接收多個音訊資料格式222中之一者中的音訊資料之多個串流。舉例而言，作為說明性的非限制性實例，交換器220可經組態以自各種輸入類型選擇，包括具有多串流立體聲格式231之N=2音訊串流、具有SBA格式232 (例如，N=4至49)的音訊串流、具有多通道格式233 (例如，N=6 (例如，5.1)至12 (例如，7.1+4))的音訊串流，或具有獨立串流格式234 (例如，N=1至8，加空間後設資料)的音訊串流。儘管圖2描繪特定說明性實例，但在其他實施中，音訊資料之串流中之一或多者具有其他性質。為了說明，具有獨立串流格式234的音訊串流可對應於N=1至4、N=1至12，或任何其他數目個音訊串流。在一特定實施中，交換器220耦接至產生音訊串流之音訊處理器，諸如圖1之前端音訊處理器104，且可經組態以在輸入類型當中或輸入格式之組合中動態地選擇(例如，運作中切換)。

IVAS編碼解碼器102包括耦接至核心編碼器204之格式預處理器202。格式預處理器202經組態以執行一或多個預處理功能，諸如降混(DMX)、解相關等。格式預處理器202之輸出被提供至核心編碼器204。核心編碼器204包括圖1之串流優先級模組110，且經組態以判定每一所接收音訊串流之優先級並編碼音訊串流中之每一者，從而(例如)使用較高位元速率、經擴展頻寬編碼較高優先級串流；及(例如)使用較低位元速率、經縮減頻寬編碼較低優先級串流。

接收編碼解碼器210經組態以經由網路216自IVAS編碼解碼器102接收位元串流126。舉例而言，網路216可包括一或多個無線網路、一或多個有線網路，或其任何組合。在一特定實施中，網路216包括4G/5G長期演進語音(VoLTE)網路或Wi-Fi語音(VoWiFi)網路。

接收編碼解碼器210包括耦接至格式後處理器214之核心解碼器212。核心解碼器212經組態以解碼位元串流216中之經編碼音訊串流之經編碼部分，以產生經解碼音訊串流。舉例而言，核心解碼器212可產生圖1之第一音訊串流131之第一經解碼版本、圖1之第二音訊串流132之第二經解碼版本，及圖1之第三音訊串流133之第三經解碼版本。音訊串流之經解碼版本可歸因於網路216中之受限傳輸頻寬或有損壓縮而不同於初始音訊串流131至133。然而，當用較高位元速率編碼具有較高優先級之音訊串流時，相較於較低優先級串流之經解碼版本，較高優先級串流之經解碼版本通常為初始音訊串流之較高準確度再生。在一實例中，使用較高優先級組態或解析度寫碼定向源，而使用較低優先級組態寫碼更擴散的源或聲音。經擴散聲音之寫碼可基於過去訊框相較於定向聲音更依賴於模型建立(例如，混響、擴散)。在一些實施中，核心解碼器212經組態以接收且剖析一封包，該封包包括多個串流之經編碼訊框，且亦包括指示經編碼串流當中之位元分配的標頭資訊，諸如參看圖4所描述。核心解碼器212經組態以基於藉由標頭資訊指示之位元分配解碼該封包中之經編碼串流資料。

核心解碼器212經組態以將音訊串流之經解碼版本輸出至格式後處理器214。格式後處理器214經組態以處理音訊串流之經解碼版本以具有與呈現與雙聲化電路218相容的格式。在一特定實施中，格式後處理器214經組態以支援立體聲格式、SBA格式、多通道格式及獨立串流(IS)格式，且經組態以詢問呈現與雙聲化電路218之格式能力以選擇適當輸出格式。格式後處理器214經組態以將所選擇格式應用於音訊串流之經解碼版本，以產生格式化經解碼串流240。

呈現與雙聲化電路218經組態以接收格式化經解碼串流240，且執行呈現與雙聲化處理以產生一或多個輸出信號242。舉例而言，在對應於音訊源之空間後設資料經由位元串流126提供(例如，獨立串流寫碼實施)且藉由呈現與雙聲化電路218支援的實施中，在音訊信號242之產生期間使用空間後設資料，從而在耦接至呈現與雙聲化電路218之輸出裝置(例如，頭戴式耳機或揚聲器系統)處的再生期間仿真音訊源之空間特性。在另一實例中，在未提供對應於音訊源之空間後設資料的實施中，呈現與雙聲化電路218可在空間中局部地選擇源之實體位置。

在操作期間，經由交換器220在IVAS編碼解碼器102處接收音訊串流。舉例而言，可自圖1之前端音訊處理器104接收音訊串流。所接收音訊串流具有格式222中的與IVAS編碼解碼器102相容之一或多者。

格式預處理器202對音訊串流執行格式預處理，且將經預處理音訊串流提供至核心編碼器204。核心編碼器204對經預處理音訊串流執行如圖1中所描述的基於優先級之編碼，且產生位元串流126。位元串流126可具有基於IVAS編碼解碼器102與接收編碼解碼器210之間的經由網路216之傳輸位元速率而判定的位元速率。舉例而言，IVAS編碼解碼器102及接收編碼解碼器210可基於網路216之通道條件協商位元串流126之位元速率，且位元速率可回應於改變網路條件而在位元串流126之傳輸期間進行調整。IVAS編碼解碼器102可基於音訊串流之相對優先級，分攤位元以攜載經預處理音訊串流中之每一者的經編碼資訊，使得位元串流126中的經組合之經編碼音訊串流不超過所協商的位元速率。IVAS編碼解碼器102可基於串流之優先級組態及置換次序判定不寫碼一或多個串流，且僅僅寫碼一或多個選擇串流，此取決於可用於寫碼獨立串流的總位元速率。在一個實例實施例中，總位元速率為24.4 kbps，且存在三個獨立的待寫碼串流。基於網路條件，若總位元速率縮減至13.2 kbps，則IVAS編碼解碼器102可決定編碼三個輸入串流中之僅僅2個獨立串流，以在部分地犧牲空間品質的同時保留會話之內部信號品質。基於網路特性，當總位元速率再次增大至24.4 kbps時，IVAS編碼解碼器102可恢復標稱地寫碼全部三個串流。

核心解碼器212接收且解碼位元串流126，以產生經預處理音訊串流之經解碼版本。格式後處理器214處理經解碼版本以產生具有與呈現與雙聲化電路218相容之格式的格式化經解碼串流240。呈現與雙聲化電路218產生音訊信號242，用於藉由輸出裝置再生(例如，頭戴式耳機、揚聲器等)。

在一些實施中，核心寫碼器或IVAS編碼解碼器102經組態以執行1至6個串流之獨立寫碼或1至3個串流或一些獨立串流與一些聯合串流之混合的聯合寫碼，其中聯合寫碼為串流對之共同寫碼，且接收器編碼解碼器210之核心解碼器經組態以執行1至6個串流之獨立解碼或1至3個串流或一些獨立串流與聯合串流之混合的聯合解碼。在其他實施中，IVAS編碼解碼器102之核心寫碼器經組態以執行7個或更多串流之獨立寫碼或4個或更多串流之聯合寫碼，且接收器編碼解碼器210之核心解碼器經組態以執行7個或更多串流之獨立解碼或4個或更多串流之聯合解碼。在另一實例實施中，一或多個串流之低頻帶寫碼係基於獨立寫碼，而一或多個串流之高頻帶寫碼係基於聯合寫碼。

在IVAS編碼解碼器102處接收的音訊串流之格式可能不同於經解碼串流240之格式。舉例而言，IVAS編碼解碼器102可接收且編碼具有第一格式(諸如獨立串流格式234)之音訊串流，且接收編碼解碼器210可輸出具有第二格式(諸如多通道格式)之經解碼串流240。因此，IVAS編碼解碼器102及接收編碼解碼器210實現某些裝置之間的多串流音訊資料傳送，該等裝置將歸因於使用不相容多串流音訊格式而以其他方式無法進行此等傳送。另外，支援多個音訊串流格式使得IVAS編碼解碼器能夠實施於支援音訊串流格式中之一或多者的多種產品及裝置中，其中對此等產品或裝置進行極少重新設計或修改，甚至無重新設計或修改。

表1中描繪用於IVAS寫碼器(例如，IVAS編碼解碼器102)的偽碼輸入介面之說明性實例。

在表1中，IVAS_ENC.exe為一命令，其根據該命令之後的命令線參數在IVAS寫碼器處啟動編碼。＜N＞指示待編碼串流之數目。「-IS」為根據獨立串流格式識別解碼的可選旗標。-IS旗標之後的參數＜ 1: θ1, φ1; 2: θ2, φ2; … N: θN, φN ＞指示一系列：串流編號(例如，1)、字串編號之方位角值(例如，θ1)，及字串編號之仰角值(例如，φ1)。在一特定實例中，此等參數對應於圖1之空間後設資料124。

參數＜total_bitrate＞對應於用於寫碼以＜samplerate＞進行取樣之N個獨立串流的總位元速率。在另一實施中，每一獨立串流可以給定位元速率進行寫碼及/或可具有不同取樣率(例如，IS1 (獨立串流1)：10千位元每秒(kbps)，寬頻(WB)內容；IS2：20 kbps，超寬頻(SWB)內容；IS3：2.0 kbps，SWB舒適雜訊)。

參數＜input＞識別輸入串流資料(例如，來自圖1之前端音訊處理器104 (例如，儲存交錯式串流131至133之緩衝器)的交錯式串流之指標)。參數＜bitstream＞識別輸出位元串流(例如，用於位元串流126之輸出緩衝器的指標)。

IVAS_DEC.exe為一命令，其根據該命令之後的命令線參數啟動IVAS寫碼器處的解碼。「雙聲」為指示雙聲輸出格式之可選命令旗標。＜N＞指示待解碼串流之數目，＜samplerate＞指示串流之取樣率(或替代地，針對串流中之每一者提供不同取樣率)，＜bitstream＞指示待解碼位元串流(例如，在圖2之接收寫碼器210處接收的位元串流126)，且＜output＞指示經解碼位元串流之輸出(例如，接收諸如逐個訊框交錯之交錯式組態中的經解碼位元串流，或待於實體裝置上即時播放之交錯式資料的連續串流的緩衝器之指標)。

圖3描繪可實施於IVAS 102中之組件的實例300。用於未經編碼串流資料之第一緩衝器集合306及用於經編碼串流資料之第二緩衝器集合308耦接至核心編碼器302。串流優先級模組110耦接至核心編碼器302，且耦接至位元速率估計器304。訊框封包化器310耦接至第二緩衝器集合308。

緩衝器306經組態以經由多個分別接收或交錯式串流接收多串流格式化音訊資料122。緩衝器306中之每一者可經組態以儲存對應串流之至少一個訊框。在說明性實例中，第一緩衝器321儲存第一串流131之第i個訊框，第二緩衝器322儲存第二串流132之第i個訊框，且第三緩衝器323儲存第三串流133之第i個訊框。在第i個訊框中之每一者已經編碼之後，緩衝器321至323中之每一者可接收且儲存對應於其各別串流131至133之下一訊框(第(i+1)個訊框)的資料。在管線化實施中，緩衝器306中之每一者大小經調整以儲存其各別串流131至133之多個訊框，以實現對音訊串流之一個訊框執行預分析，同時對音訊串流之另一訊框執行編碼。

串流優先級模組110經組態以存取緩衝器321至323中之串流資料，且執行每一串流之「預分析」以判定對應於單獨串流之優先級。在一些實施中，串流優先級模組110經組態以將較高優先級指派至具有較高信號能量之串流，且將較低優先級指派至具有較低信號能量之串流。在一些實施中，串流優先級模組110經組態以判定每一串流對應於背景音訊源抑或對應於前景音訊源，且將較高優先級指派至對應於前景源之串流切將較低優先級指派至對應於背景源之串流。在一些實施中，串流優先級模組110經組態以將較高優先級指派至具有特定類型之內容的串流，諸如將較高優先級指派至偵測到話音內容的串流，且將較低優先級指派至未偵測到話音內容的串流。在一些實施中，串流優先級模組110經組態以基於串流中之每一者之熵指派優先級。在說明性實例中，向較高熵串流指派較高優先級，且向較低熵串流指派較低優先級。在一些實施中，串流優先級模組110亦可基於(例如)在感知上更重要、對場景而言更「關鍵」的聲音、背景聲音覆疊於場景中之其他聲音上、相對於漫射性的方向性、一或多個其他因數或其任何組合而組態置換次序。

在串流優先級模組110接收外部優先級資料362 (諸如來自前端音訊處理器104之串流優先級資訊)的實施中，串流優先級模組110至少部分基於所接收串流優先級資訊將優先級指派至串流。舉例而言，前端音訊處理器104可指示麥克風130之一或多者在電話會議應用期間對應於使用者麥克風，且可向對應於使用者麥克風之音訊串流指示相對較高優先級。儘管串流優先級模組110可經組態以至少部分基於所接收優先級資訊判定串流優先級，但串流優先級模組110可經進一步組態以判定並未精確地遵循所接收串流優先級資訊的串流優先級資訊。舉例而言，儘管在電話會議應用期間，對應於使用者語音輸入麥克風的串流可藉由外部優先級資料362指示為高優先級，但在對話之一些時間段期間，使用者可為靜默的。回應於串流歸因於使用者之靜默而具有相對較低信號能量，串流優先級模組110可將串流之優先級縮減至相對較低優先級。

在一些實施中，串流優先級模組110經組態以至少部分基於一或多個先前訊框(例如，訊框(i-1)、訊框(i-2)等)的串流之優先級或特性，針對特定訊框(例如，訊框i)判定每一串流之優先級。舉例而言，串流特性及串流優先級可相較於訊框持續時間相對較慢地改變，且在判定串流之優先級時包括歷史資料可減少串流之解碼及播放期間的音訊假影，該等音訊假影可起因於串流之編碼期間的較大逐個訊框位元速率變化。

串流優先級模組110經組態以基於優先級340判定緩衝器306中之串流的寫碼次序。舉例而言，串流優先級模組110可經組態以指派範圍介於5 (最高優先級)至1 (最低優先級)的優先級值。串流優先級模組110可基於優先級將串流分類，從而使得具有優先級5之串流位於編碼序列之開始處，繼之以具有優先級4之串流，繼之以具有優先級3之串流，繼之以具有優先級2之串流，繼之以具有優先級1之串流。

實例表372說明分別對應於串流之訊框(i-2) 373、訊框(i-1) 374及訊框i 375的編碼序列376、377及378。對於訊框i-2 373，串流「2」(例如，串流132)具有最高優先級，且在對應編碼序列376中具有第一序列位置。串流「N」(例如，串流133)具有下一最高優先級，且具有編碼序列376中之第二序列位置。相比串流N具有較低優先級的一或多個串流(未說明)可在串流N之後包括於序列376中。串流「1」(例如，串流131)具有最低優先級，且在編碼序列376中具有最後一個序列位置。因此，用於編碼訊框(i-2) 373之串流的編碼序列376為：2、N、…、1。

表372亦說明，對於下一序列訊框(i-1) 374，編碼序列377與訊框(i-2) 373的序列376相比未發生變化。為了說明，對於訊框(i-1) 374，串流131至133中之每一者關於彼此的優先級相比訊框(i-2) 373的優先級可不發生變化。對於下一序列訊框i 375，串流1及串流N在編碼序列378中之位置已交換。舉例而言，串流2可對應於在電話呼叫期間說話的使用者，且可歸因於經由外部優先級資料362指示為重要的具有相對較高信號能量之串流、所偵測到的話音、前景信號，或其一組合識別為高優先級(例如，優先級=5)。串流1可對應於接近於在訊框i-2及i-1期間沉默且在訊框i期間開始說話的第二個人的麥克風。在訊框i-2及i-1期間，串流1可歸因於未經由外部優先級資料362指示為重要的具有相對較低信號能量之串流、未偵測到的話音、前景信號，或其一組合識別為低優先級(例如，優先級=1)。然而，但在訊框i中俘獲第二個人的話音之後，串流1可歸因於具有相對較高信號能量、所偵測到的話音及前景信號(儘管未經由外部優先級資料362指示為重要的)識別為高優先級信號(例如，優先級=4)。

位元速率估計器304經組態以基於當前訊框之每一串流的優先級或置換次序340、當前訊框之編碼序列376或其一組合，判定用於編碼當前訊框(例如，訊框i)之串流中之每一者的經估計位元速率。舉例而言，可向具有優先級5之串流指派最高經估計位元速率，可向具有優先級4之串流指派下一最高經估計位元速率，且可向具有優先級1之串流指派最低經估計位元速率。經估計位元速率可至少部分基於可用於輸出位元串流126之總位元速率進行判定，諸如藉由針對較高優先級串流將總位元速率分割成大小較大的位元分配，且針對較低優先級串流將總位元速率分割成大小較小的位元分配。位元速率估計器304可經組態以產生使每一串流343與其所指派經估計位元速率344相關聯的表343或其他資料結構。如先前所描述，在一些實施中，向具有較高優先級之串流指派置換序列中之較早位置，且可具有較高經估計位元速率。在其他實施中，置換序列中的串流之位置可獨立於彼串流的經估計位元速率。

核心編碼器302經組態以根據置換序列編碼串流中之每一者之至少一部分。舉例而言，為編碼對應於訊框i 375的每一串流之部分，核心編碼器302可自串流優先級模組110接收編碼序列378，且可首先編碼串流2，隨後編碼串流1，且最後編碼串流N。在多個串流可並行編碼的實施中，諸如其中核心編碼器302包括多個/聯合話音編碼器、多個/聯合MCDT編碼器等，根據置換序列選擇用於編碼之串流，但具有不同優先級的多個串流可同時編碼。舉例而言，優先級5主要使用者話音串流可與優先級4次要使用者話音串流並聯編碼，而較低優先級串流在較高優先級話音串流之後進行編碼。

核心編碼器302在編碼特定串流之訊框時對彼串流之經估計位元速率350做出回應。舉例而言，核心編碼器302可針對特定串流選擇未超過該串流之經估計位元速率的特定寫碼模式或頻寬。在針對特定串流編碼當前訊框之後，將實際位元速率352提供至位元速率估計器304，且提供至訊框封包化器310。

核心編碼器302經組態以將每一串流之經編碼部分寫入至第二緩衝器集合308之對應緩衝器中。在一些實施中，編碼器302藉由將經編碼訊框自緩衝器321寫入至緩衝器331中，將經編碼訊框自緩衝器322寫入至緩衝器332中，且將經編碼訊框自緩衝器323寫入至緩衝器333中，來保持每一串流之緩衝器位址。在另一實施中，編碼器根據編碼次序將經編碼訊框寫入至緩衝器308中，從而使得最高優先級串流之經編碼訊框被寫入至第一緩衝器331中，下一最高優先級串流之經編碼訊框被寫入至緩衝器332中，等等。

位元速率估計器304經組態以將實際位元速率352與經估計位元速率350進行比較，且基於實際位元速率352與經估計位元速率350之間的差異更新一或多個較低優先級串流之經估計位元速率。舉例而言，若串流之經估計位元速率超過串流之經編碼位元速率，諸如在串流可高度壓縮且可使用相對較少個位元進行編碼時，則額外位元容量可用於編碼較低優先級串流。若串流之經估計位元速率小於串流之經編碼位元速率，則經減少之位元容量可用於編碼較低優先級串流。位元速率估計器304可經組態以將串流之經估計位元速率與串流之經編碼位元速率之間的「增量」或差異同等地分佈於所有較低優先級串流當中。作為另一實例，位元速率估計器304可經組態以將「增量」分佈至下一最高串流(增量導致可用的編碼位元速率減少)。應注意，可實施用於將「增量」分佈至較低優先級串流的其他技術。

訊框封包化器310經組態以藉由自緩衝器308擷取經編碼訊框資料，且增加標頭資訊(例如，後設資料)以實現接收編碼解碼器處的解碼，來產生輸出位元串流126之訊框。參看圖4描述輸出訊框格式之實例。

在操作期間，可針對串流之第i個訊框執行編碼(例如，具有獨立串流寫碼(IS)格式的N個串流)。可在緩衝器306中接收串流中之每一者的第i個訊框，且可藉由串流優先級模組110對該等第i個訊框進行預分析，以指派優先級且判定編碼序列378(例如，寫碼次序之置換)。

預分析可基於訊框i以及過去訊框(i-1、i-2等)之源特性。預分析可產生串流可進行編碼的位元速率之試驗性集合(例如，第n個串流之第i個訊框的經估計位元速率可表示為IS_br_tent[i,n])，從而最高優先級串流接收最多數目個位元，且最小優先級串流可接收最少數目個位元，同時保持對總位元速率的約束：IS_br_tent[i, 1]+ IS_br_tent[i, 2]+ …+ IS_br_tent[i, N] ＜= IS_total_rate。

預分析亦可產生串流進行寫碼的置換次序(例如，訊框i之置換次序：2、1、…、N；訊框i+1之置換次序：1、3、N、…、2等)，以及可包括(例如)核心取樣率、寫碼器類型、寫碼模式、作用/非作用的初始寫碼組態。

串流中之每一者的IS寫碼可基於此置換次序、試驗性位元速率、初始寫碼組態。

在一特定實施中，編碼第n個優先級獨立串流(例如，編碼序列378之第n個位置中的串流)包括：預處理以改進寫碼組態及第n個串流實際位元速率；在等於IS_br[i,n] kbps的位元速率(br)下寫碼第n個串流；估計增量，亦即，IS_delta[i,n] = (IS_br[i,n] - IS_br_tent[i,n])；將增量增加至下一優先級串流及更新第(n+1)個優先級串流之經估計(試驗性)位元速率，亦即，IS_br_tent[i,n+1] = IS_br[i,n+1] + IS_delta[i,n]，或將與剩餘串流中之每一串流的位元分配成比例的增量分佈至剩餘串流；及將與第n個串流相關聯之位元串流(例如，位元數目IS_br[i,n])臨時儲存於緩衝器中，諸如緩衝器308中之一者中。

基於所有其他串流的優先級置換次序(例如，根據編碼序列378)，針對該等串流重複上文所描述之編碼。可以預定義次序將IS位元緩衝器中之每一者(例如，緩衝器331至333中之每一者的內容)組裝至位元串流126中。圖4中描繪位元串流126之訊框i、i+1、i+2的實例說明。

儘管在一些實施中，可(例如，藉由應用程式處理器)自IVAS編碼解碼器102外部指定串流優先級或位元分配組態，但由IVAS編碼解碼器102執行的預分析具有可撓性以改變此位元分配結構。舉例而言，當外部資訊指示一個串流為高優先級且推測為使用高位元速率進行編碼，但該串流在特定訊框中具有非作用內容時，預分析可偵測非作用內容，且即使指示為高優先級，亦針對彼訊框縮減串流之位元速率。

儘管圖3描繪包括編碼序列376至378之表372，但應理解，表372出於解釋之目的予以說明，且IVAS編碼解碼器102之其他實施並不產生表或其他資料結構以表示編碼序列。舉例而言，在一些實施中，編碼序列經由搜尋未經編碼串流之優先級及選擇未經編碼串流之最高優先級串流，直至已針對特定訊框編碼所有串流為止進行判定，而未產生專用資料結構以儲存經判定編碼序列。在此等實施中，編碼序列之判定在編碼正在進行時執行，而非作為離散操作而執行。

儘管串流優先級模組110描述為經組態以判定串流特性資料360，但在其他實施中，預分析模組可實際上執行預分析(例如，以判定信號能量、熵、話音偵測等)，且可將串流特性資料360提供至串流優先級模組110。

儘管圖3描繪第一緩衝器集合306及第二緩衝器集合308，但在其他實施中，可省略緩衝器集合306及308中之一者或兩者。舉例而言，可在核心編碼器302經組態以自單一緩衝器擷取交錯式音訊串流資料的實施中省略第一緩衝器集合306。作為另一實例，可在核心編碼器302經組態以將經編碼音訊串流資料直接插入至訊框封包化器310中之訊框緩衝器中的實施中省略第二緩衝器集合308。

參看圖4，針對經編碼IS音訊串流描繪位元串流126之訊框之實例400。第一訊框(訊框i) 402包括訊框識別符404、IS標頭406、用於串流1 (IS-1) 408之經編碼音訊資料、用於串流2 (IS-2) 410之經編碼音訊資料、用於串流3 (IS-3) 412之經編碼音訊資料、用於串流4 (IS-4) 414之經編碼音訊資料，及用於串流5 (IS-5) 416之經編碼音訊資料。

IS標頭406攜載關於IS串流408至416之位元分配之組合的資訊。舉例而言，IS標頭406可包括IS串流408至416中之每一者的長度。替代地，IS串流408至416中之每一者可為自含的，且包括IS寫碼之長度(例如，IS寫碼之長度可經編碼成每一IS串流之前3個位元)。替代地或另外，串流408至416中之每一者的位元速率可包括於IS標頭406中，或可經編碼成各別IS串流。IS標頭亦可包括或指示空間後設資料124。舉例而言，可使用空間後設資料124之經量化版本，其中每一IS串流之量化的量係基於IS串流之優先級。為了說明，針對高優先級串流的空間後設資料編碼可將4個位元用於方位角資料且將4個位元用於仰角資料，且針對低優先級串流的空間後設資料編碼可將3個位元或較少位元用於方位角資料，且將3個位元或較少位元用於仰角資料。應理解，提供4個位元作為說明性的非限制性實例，且在其他實施中，可將任何其他數目個位元用於方位角資料、仰角資料或其任何組合。

第二訊框(訊框i+1) 422包括訊框識別符424、IS標頭426、用於串流1 (IS-1) 428之經編碼音訊資料、用於串流2 (IS-2) 430之經編碼音訊資料、用於串流3 (IS-3) 432之經編碼音訊資料、用於串流4 (IS-4) 434之經編碼音訊資料，及用於串流5 (IS-5) 436之經編碼音訊資料。第三訊框(訊框i+2) 442包括訊框識別符444、IS標頭446、用於串流1 (IS-1) 448之經編碼音訊資料、用於串流2 (IS-2) 450之經編碼音訊資料、用於串流3 (IS-3) 452之經編碼音訊資料、用於串流4 (IS-4) 454之經編碼音訊資料，及用於串流5 (IS-5) 456之經編碼音訊資料。

優先級串流中之每一者可始終使用固定數目個位元，其中最高優先級串流使用總位元之30至40%，且最低優先級串流可使用總位元之5至10%。可實際上發送優先級數目個串流，而非發送數個位元(或IS寫碼之長度)，自此接收器可推斷第n個優先級串流之IS寫碼的長度。在其他替代性實施中，可藉由按特定優先級次序(例如，遞增或遞減)將每一串流之位元串流置放於位元串流訊框中，省略優先級數目之傳輸。

應理解，說明性訊框402、422及442使用不同於參看圖1至圖3提供之實例的串流優先級及編碼序列進行編碼。表2說明串流優先級，且表3說明對應於訊框402、422及442之編碼的編碼序列。

圖5為多串流編碼之方法500之特定實例的流程圖。方法500可由編碼器執行，諸如圖1至圖3之IVAS編碼解碼器102。舉例而言，可在圖6之行動裝置600或圖7之基地台700執行方法500。

方法500包括在501，在音訊編碼器處接收音訊資料之多個串流。在一特定實例中，多個串流對應於包括N個串流131至133的多串流格式化音訊資料122。舉例而言，多個串流可具有獨立串流寫碼格式、多通道格式或基於場景之音訊格式。

方法500包括在503將優先級指派至多個串流中之每一串流。在一特定實例中，串流優先級模組110將優先級指派至串流131至133中之每一者以產生優先級340。基於特定串流之訊框之一或多個信號特性指派多個串流之特定串流的優先級。在一實例實施中，串流優先級組態模組110可基於串流中之每一者的空間後設資料124判定用於編碼之優先級或置換序列。在另一實例中，串流優先級組態模組110可基於輸入格式(例如，立體聲、IS、SBA或MC)、定向或擴散聲音、劇情或非劇情(例如，背景解說)內容判定優先級或置換序列。在一特定實施中，一或多個信號特性包括信號能量、背景或前景判定、話音內容之偵測或熵中之至少一者。可基於特定串流之至少一個先前訊框之一或多個信號特性進一步指派特定串流之優先級。(例如，外部優先級資料364)亦可在音訊編碼器處自前端音訊處理器(例如，前端音訊處理器104)接收串流優先級資訊，且至少部分基於該串流優先級資訊判定特定串流之優先級。

方法500包括在505基於多個串流中之每一串流之優先級判定用於編碼多個串流的置換序列。在一特定實例中，串流優先級110針對第一訊框(訊框i-2) 373產生編碼序列376，針對第二訊框(訊框i-1) 374產生編碼序列377，且針對第三訊框(訊框i) 373產生編碼序列378。在一些實例中，置換序列係以向具有較高優先級之串流指派置換序列中之較早位置，且向具有較低優先級之串流指派置換序列中之較晚位置的方式進行判定。在另一實例中，置換序列係以向一或多個較低優先級串流指派置換序列中之較早位置的方式進行判定，以基於一或多個經編碼較低優先級串流之位元速率、寫碼模式(亦即，ACELP或MDCT等)、寫碼器類型(亦即，有聲或無聲或轉換等)產生可用於編碼較高優先級串流之位元分配的改良式估計(例如，在相對較高位元速率下)。

方法500包括在507根據置換序列編碼多個串流中之每一串流之至少一部分。在一特定實例中，該串流之部分為訊框，且該編碼係逐個訊框進行執行。為了說明，在圖3中，根據編碼序列376 (亦即，按藉由編碼序列指定的置換次序)編碼串流中之每一者的訊框i-2。在編碼位元串流中之每一者的訊框i-2之後，根據編碼序列377 (亦即，按藉由編碼序列指定的置換次序)編碼位元串流中之每一者的訊框i-1。在編碼位元串流中之每一者的訊框i-1之後，根據編碼序列378 (亦即，按藉由編碼序列指定的置換次序)編碼位元串流中之每一者之訊框i。

在說明性實例中，多個串流包括第一串流及第二串流，且第一串流指派有經指派優先級中之最高優先級，且第二串流指派有經指派優先級中之最低優先級。舉例而言，第一串流可對應於圖3之第i個訊框的串流2，且第二串流可對應於第i個訊框之串流N。第一串流具有編碼序列中之第一序列位置(例如，串流2位於編碼序列378之第一序列位置處)，且第二串流具有編碼序列中之最後一個序列位置(例如，串流N位於編碼序列378之最後一個序列位置處)。每一串流之部分的編碼包括編碼第一串流之訊框(例如，訊框i)以產生第一經編碼串流之第一經編碼訊框，及編碼第二串流之訊框(例如，訊框1)以產生第二經編碼串流之第二經編碼訊框，其中該第一經編碼訊框具有第一位元速率，且第二經編碼訊框具有小於該第一位元速率的第二位元速率。

在一特定實施中，方法400亦包括在編碼每一串流之部分之前向每一串流指派經估計位元速率(例如，經估計位元速率350)。經估計位元速率經指派使得對於多個串流中之每一特定串流，相比特定串流具有較低優先級的每一串流之經估計位元速率小於或等於特定串流之經估計位元速率。舉例而言，訊框i 375之串流1、3、…、N的經估計位元速率中之每一者小於或等於串流2的經估計位元速率。在編碼特定串流之一部分之後，更新相比特定串流具有較低優先級之至少一個串流的經估計位元速率，諸如參考位元速率估計器304所描述。更新經估計位元速率係基於特定串流之經編碼部分的經估計位元速率與特定串流之經編碼位元速率之間的差異。

在一些實施中，方法500亦包括產生包括經編碼部分中之每一者的訊框，及將輸出位元串流中之訊框(諸如圖4之訊框402)發送至音訊解碼器。訊框包括指示多個串流中之每一串流的優先級、位元長度或編碼位元速率中之至少一者的後設資料(例如，IS標頭406)。訊框亦可包括後設資料，其包括對應多個串流中之每一串流的空間資料(諸如圖1之空間後設資料124)，該空間資料包括多個串流中之每一串流的方位角資料及仰角資料，諸如參考表1所描述。

參看圖6，描繪了裝置(例如，無線通信裝置)之特定說明性實例的方塊圖，且通常將該裝置指定為600。在各種實施中，與圖6中所說明相比，裝置600可具有更少或更多組件。在說明性實施中，裝置600可對應於圖1之裝置101或圖2之接收裝置。在說明性實施中，裝置600可執行參看圖1至圖5之系統及方法所描述之一或多個操作。

在一特定實施中，裝置600包括處理器606 (例如，中央處理單元(CPU))。裝置600可包括一或多個額外處理器610 (例如，一或多個數位信號處理器(DSP))。處理器610可包括媒體(例如，話音及音樂)寫碼器-解碼器(編碼解碼器) 608及回音消除器612。媒體編碼解碼器608可包括核心編碼器204、核心解碼器212或其一組合。在一些實施中，媒體編碼解碼器608包括格式預處理器202、格式後處理器214、呈現與雙聲化電路218或其一組合。

裝置600可包括記憶體653及編碼解碼器634。儘管媒體編碼解碼器608說明為處理器610之組件(例如，專用電路系統及/或可執行程式碼)，但在其他實施中，媒體編碼解碼器608之一或多個組件(諸如編碼器204、解碼器212或其一組合)可包括於處理器606、編碼解碼器634、另一處理組件或其一組合中。編碼解碼器634可包括一或多個數位至類比轉換器602及類比至數位轉換器604。編碼解碼器634可包括圖1之前端音訊處理器104。

裝置600可包括耦接至天線642之接收器632。裝置600可包括耦接至顯示控制器626之顯示器628。一或多個揚聲器648可耦接至編碼解碼器634。一或多個麥克風646可經由一或多個輸入介面603耦接至編碼解碼器534。在一特定實施中，麥克風646可包括麥克風106至109。

記憶體653可包括可由處理器606、處理器610、編碼解碼器634、裝置600之另一處理單元或其組合執行，以執行參看圖1至圖5所描述之一或多個操作的指令691。

裝置600之一或多個組件可經由專用硬體(例如，電路系統)藉由執行用以執行一或多個任務或其一組合的指令之處理器實施。作為實例，記憶體653或處理器606、處理器610及/或編碼解碼器634之一或多個組件可為記憶體裝置，諸如隨機存取記憶體(RAM)、磁電阻隨機存取記憶體(MRAM)、自旋扭矩轉移MRAM (STT-MRAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、可移除式磁碟或緊密光碟唯讀記憶體(CD-ROM)。記憶體裝置可包括在由一電腦(例如，編碼解碼器634中的處理器、處理器606及/或處理器610)執行時可使得該電腦執行參看圖1至圖5所描述之一或多個操作的指令(例如，指令691)。作為一實例，記憶體653或處理器606、處理器610及/或編碼解碼器634中之一或多個組件可為包括指令(例如，指令691)之非暫時性電腦可讀媒體，當由電腦(例如，編碼解碼器634中之處理器、處理器606及/或處理器610)執行時，該等指令使得電腦執行參看圖1至圖5所描述之一或多個操作。

在一特定實施中，裝置600可包括於系統級封裝或系統單晶片裝置(例如，行動台數據機(MSM)) 622中。在一特定實施中，處理器606、處理器610、顯示控制器626、記憶體653、編碼解碼器634及接收器632包括於系統級封裝或系統單晶片裝置622中。在特定實施中，諸如觸控螢幕及/或小鍵盤之輸入裝置630及電源供應器644耦接至系統單晶片裝置622。此外，在一特定實施中，如圖6中所說明，顯示器628、輸入裝置630、揚聲器648、麥克風646、天線642及電源供應器644在系統單晶片裝置622外部。然而，顯示器628、輸入裝置630、揚聲器648、麥克風646、天線642及電源供應器644中之每一者可耦接至系統單晶片裝置622之組件，諸如介面或控制器。

裝置600可包括：無線電話、行動通信裝置、行動裝置、行動電話、智慧型手機、蜂巢式電話、膝上型電腦、桌上型電腦、電腦、平板電腦、機上盒、個人數位助理(PDA)、顯示裝置、電視、遊戲控制台、音樂播放器、收音機、視訊播放器、娛樂單元、通信裝置、固定位置資料單位、個人媒體播放器、數位視訊播放器、數位視訊光碟(DVD)播放器、調諧器、相機、導航裝置、解碼器系統、編碼器系統或其任何組合。

參看圖7，描繪基地台700之特定說明性實例之方塊圖。在各種實施中，基地台700可具有比圖7中所說明更多或更少的組件。在說明性實例中，基地台700可包括圖1之第一裝置101。在說明性實例中，基地台700可根據參看圖1至圖5所描述之方法或系統中之一或多者操作。

基地台700可為無線通信系統之部分。無線通信系統可包括多個基地台及多個無線裝置。無線通信系統可為長期演進(LTE)系統、分碼多重存取(CDMA)系統、全球行動通信系統(GSM)系統、無線區域網路(WLAN)系統或某其他無線系統。CDMA系統可實施寬頻CDMA (WCDMA)、CDMA 1X、演進資料最佳化(EVDO)、分時同步CDMA (TD-SCDMA)，或某其他版本之CDMA。

無線裝置亦可被稱作使用者裝備(UE)、行動台、終端機、存取終端機、用戶單元、站等。該等無線裝置可包括：蜂巢式電話、智慧型手機、平板電腦、無線數據機、個人數位助理(PDA)、手持型裝置、膝上型電腦、智慧筆記型電腦、迷你筆記型電腦、平板電腦、無接線電話、無線區域迴路(WLL)站、藍芽裝置等。無線裝置可包括或對應於圖6之裝置600。

各種功能可由基地台700之一或多個組件(及/或在圖中未示之其他組件中)執行，諸如發送及接收訊息及資料(例如，音訊資料)。在一特定實例中，基地台700包括處理器706 (例如，CPU)。基地台700可包括轉碼器710。轉碼器710可包括音訊編碼解碼器708。舉例而言，轉碼器710可包括經組態以執行音訊編碼解碼器708之操作的一或多個組件(例如，電路系統)。作為另一實例，轉碼器710可經組態以執行一或多個電腦可讀指令以執行音訊編碼解碼器708之操作。儘管音訊編碼解碼器708經說明為轉碼器710之組件，但在其他實例中，音訊編碼解碼器708之一或多個組件可包括於處理器706、另一處理組件或其組合中。舉例而言，解碼器738 (例如，聲碼器解碼器)可包括於接收器資料處理器764中。作為另一實例，編碼器736 (例如，聲碼器編碼器)可包括於傳輸資料處理器782中。

轉碼器710可起作用以在兩個或大於兩個網路之間轉碼訊息及資料。轉碼器710可經組態以將訊息及音訊資料自第一格式(例如，數位格式)轉換成第二格式。為了說明，解碼器738可對具有第一格式之經編碼信號進行解碼，且編碼器736可將經解碼信號編碼成具有第二格式之經編碼信號。另外地或替代性地，轉碼器710可經組態以執行資料速率適應。舉例而言，轉碼器710可在不改變音訊資料之格式的情況下降頻轉換資料速率或升頻轉換資料速率。為進行說明，轉碼器710可將64 kbit/s信號降頻轉換成16 kbit/s信號。

音訊編碼解碼器708可包括核心編碼器204及核心解碼器212。音訊編碼解碼器708亦可包括格式預處理器202、格式後處理器214或其一組合。

基地台700可包括記憶體732。諸如電腦可讀儲存裝置之記憶體732可包括指令。指令可包括可由處理器706、轉碼器710或其組合執行之一或多個指令，以執行參看圖1至圖5之方法及系統所描述之一或多個操作。基地台700可包括耦接至一天線陣列之多個傳輸器及接收器(例如，收發器)，諸如第一收發器752及第二收發器754。天線陣列可包括第一天線742及第二天線744。天線陣列可經組態以無線方式與一或多個無線裝置通信，諸如圖6之裝置600。舉例而言，第二天線744可自無線裝置接收資料串流714 (例如，位元串流)。資料串流714可包括訊息、資料(例如，經編碼話音資料)，或其一組合。

基地台700可包括網路連接760，諸如空載傳輸連接。舉例而言，基地台700可經由網路連接760自核心網路接收第二資料串流(例如，訊息或音訊資料)。基地台700可處理第二資料串流以產生訊息或音訊資料，且經由天線陣列之一或多個天線將訊息或音訊資料提供至一或多個無線裝置，或經由網路連接760將其提供至另一基地台。在特定實施中，作為說明性的非限制性實例，網路連接760可為廣域網路(WAN)連接。在一些實施中，核心網路可包括或對應於公眾交換電話網路(PSTN)、封包基幹網路或兩者。

基地台700可包括耦接至網路連接760及處理器706之媒體閘道器770。媒體閘道器770可經組態以在不同電信技術之媒體串流之間轉換。舉例而言，媒體閘道器770可在不同傳輸協定、不同寫碼方案或兩者之間轉換。為進行說明，作為說明性的非限制性實例，媒體閘道器770可自PCM信號轉換成即時輸送協定(RTP)信號。媒體閘道器770可在封包交換式網路(例如，網際網路語音通訊協定(VoIP)網路、IP多媒體子系統(IMS)、諸如LTE、WiMax及UMB之第四代(4G)無線網路等)、電路交換式網路(例如，PSTN)及混合型網路(例如，諸如GSM、GPRS及EDGE之第二代(2G)無線網路、諸如WCDMA、EV-DO及HSPA之第三代(3G)無線網路等)之間轉換資料。

另外，媒體閘道器770可包括轉碼且可經組態以在編碼解碼器不相容時轉碼資料。舉例而言，作為說明性的非限制性實例，媒體閘道器770可在自適應多重速率(AMR)編碼解碼器與G.711編碼解碼器之間進行轉碼。媒體閘道器770可包括路由器及複數個實體介面。在一些實施中，媒體閘道器770亦可包括控制器(圖中未示)。在特定實施中，媒體閘道器控制器可在媒體閘道器770外部、在基地台700外部或在其兩者外部。媒體閘道器控制器可控制並協調操作多個媒體閘道器。媒體閘道器770可自媒體閘道器控制器接收控制信號，且可起到在不同傳輸技術之間橋接的作用，且可添加對最終使用者能力及連接之服務。

基地台700可包括耦接至收發器752、收發器754、接收器資料處理器764及處理器706之解調變器762，且接收器資料處理器764可耦接至處理器706。解調變器762可經組態以解調變自收發器752、754所接收之經調變信號，且經組態以將經解調變資料提供至接收器資料處理器764。接收器資料處理器764可經組態以自經解調資料提取訊息或音訊資料，且將訊息或音訊資料發送至處理器706。

基地台700可包括傳輸資料處理器782及傳輸多輸入多輸出(MIMO)處理器784。傳輸資料處理器782可耦接至處理器706及傳輸MIMO處理器784。傳輸MIMO處理器784可耦接至收發器752、收發器754及處理器706。在一些實施中，傳輸MIMO處理器784可耦接至媒體閘道器770。作為例示性的非限制性實例，傳輸資料處理器782可經組態以自處理器706接收訊息或音訊資料，且基於諸如CDMA或正交分頻多工(OFDM)之寫碼方案寫碼該等訊息或該音訊資料。傳輸資料處理器782可提供經寫碼資料至傳輸MIMO處理器784。

可使用CDMA或OFDM技術將經寫碼資料與諸如導頻資料之其他資料多工在一起以產生經多工資料。接著可基於特定調變方案(例如，二進位相移鍵控(「BPSK」)、正交相移鍵控(「QSPK」)、M-元相移鍵控(「M-PSK」)、M-元正交振幅調變(「M-QAM」)等)藉由傳輸資料處理器782調變(亦即，符號映射)經多工資料以產生調變符號。在一特定實施中，經寫碼資料及其他資料可使用不同調變方案調變。針對每一資料串流之資料速率、寫碼及調變可由處理器706所執行之指令判定。

傳輸MIMO處理器784可經組態以自傳輸資料處理器782接收調變符號，且可進一步處理調變符號，且可對資料執行波束成形。舉例而言，傳輸MIMO處理器784可將波束成形權重應用於調變符號。波束成形權重可對應於天線陣列之一或多個天線(自該等天線傳輸調變符號)。

在操作期間，基地台700之第二天線744可接收資料串流714。第二收發器754可自第二天線744接收資料串流714，且可將該資料串流714提供至解調器762。解調器762可解調變資料串流714之經調變信號，且將經解調變資料提供至接收器資料處理器764。接收器資料處理器764可自經解調變資料提取音訊資料，且將經提取音訊資料提供至處理器706。

處理器706可將音訊資料提供至轉碼器710以用於轉碼。轉碼器710之解碼器738可將音訊資料自第一格式解碼成經解碼音訊資料，且編碼器736可將經解碼音訊資料編碼成第二格式。在一些實施中，編碼器736可使用比自無線裝置接收之資料速率更高的資料速率(例如，升頻轉換)或更低的資料速率(例如，降頻轉換)編碼音訊資料。在其他實施中，音訊資料可未經轉碼。儘管轉碼(例如，解碼及編碼)被說明為由轉碼器710執行，但轉碼操作(例如，解碼及編碼)可由基地台700之多個組件執行。舉例而言，解碼可由接收器資料處理器764執行，且可由傳輸資料處理器782執行。在其他實施中，處理器706可將音訊資料提供至媒體閘道器770以用於轉換至另一傳輸協定、寫碼方案或兩者。媒體閘道器770可經由網路連接760將經轉換資料提供至另一基地台或核心網路。

可經由處理器706將編碼器736處產生之經編碼音訊資料(諸如轉碼資料)提供至傳輸資料處理器782或網路連接760。可將來自轉碼器710之經轉碼音訊資料提供至傳輸資料處理器782，用於根據諸如OFDM之調變方案寫碼，以產生調變符號。傳輸資料處理器782可將調變符號提供至傳輸MIMO處理器784以供進一步處理及波束成形。傳輸MIMO處理器784可應用波束成形權重，且可經由第一收發器752將調變符號提供至天線陣列之一或多個天線，諸如第一天線742。因此，基地台700可將對應於自無線裝置所接收之資料串流714的經轉碼資料串流716提供至另一無線裝置。經轉碼資料串流716可具有與資料串流714不同的編碼格式、資料速率，或前述兩者。在其他實施中，可將經轉碼資料串流716提供至網路連接760以供傳輸至另一基地台或核心網路。

在一特定實施中，本文中揭示之系統及裝置的一或多個組件可整合至解碼系統或設備(例如，電子裝置、編碼解碼器或其中之處理器)中、整合至編碼系統或設備中，或整合至該等兩者中。在其他實施中，本文所揭示之系統及裝置之一或多個組件可整合至以下各者中：無線電話、平板電腦、桌上型電腦、膝上型電腦、機上盒、音樂播放器、視訊播放器、娛樂單元、電視、遊戲控制台、導航裝置、通信裝置、個人數位助理(PDA)、固定位置資料單元、個人媒體播放器或另一類型之裝置。

結合所描述之技術，一種設備包括用於向音訊資料之多個串流中之每一串流指派優先級，且用於基於該多個串流中之每一串流之優先級判定該多個串流之編碼序列的構件。舉例而言，用於指派且用於判定的該構件可對應於圖1至圖3之串流優先級模組110，一或多個其他裝置、電路、模組或其任何組合。

該設備亦包括用於根據編碼序列編碼多個串流中之每一串流之至少一部分的構件。舉例而言，用於編碼的該構件可包括圖3之核心編碼器302、一或多個其他裝置、電路、模組或其任何組合。

應注意，藉由本文所揭示之系統及裝置之一或多個組件執行的各種功能經描述為藉由某些組件或模組執行。組件及模組之此劃分僅用於說明。在一替代性實施中，由特定組件或模組執行之功能可被劃分於多個組件或模組之中。此外，在替代性實施中，兩個或多於兩個組件或模組可被整合至單個組件或模組中。每一組件或模組可使用硬體(例如，場可程式化閘陣列(FPGA)裝置、特殊應用積體電路(ASIC)、DSP、控制器等)、軟體(例如，可由處理器執行之指令)，或其任何組合實施。

熟習此項技術者將進一步瞭解，結合本文中所揭示之實施而描述的各種說明性邏輯區塊、組態、模組、電路及演算法步驟可實施為電子硬體、由諸如硬體處理器之處理裝置執行的電腦軟體或兩者之組合。上文大體在功能性方面描述各種說明性組件、區塊、組態、模組、電路及步驟。此功能性經實施為硬體或是軟體取決於特定應用及強加於整個系統之設計約束而定。對於每一特定應用而言，熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性，而但不應將此等實施決策解譯為致使脫離本發明之範疇。

結合本文中所揭示之實施所描述之方法或演算法之步驟可直接體現於硬體中、由處理器執行之軟體模組中或兩者之組合中。軟體模組可存在於記憶體裝置中，諸如隨機存取記憶體(RAM)、磁電阻隨機存取記憶體(MRAM)、自旋力矩轉移(STT-MRAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)、電可擦除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、抽取式磁碟或光碟唯讀記憶體(CD-ROM)。例示性記憶體裝置耦接至處理器，以使得處理器可自記憶體裝置讀取資訊及將資訊寫入至記憶體裝置。在替代方案中，記憶體裝置可與處理器成一體式。處理器及儲存媒體可駐存於特殊應用積體電路(ASIC)中。ASIC可駐存於計算裝置或使用者終端機中。在替代例中，處理器及儲存媒體可作為離散組件駐存於計算裝置或使用者終端機中。

提供對所揭示實施之先前描述，以使得熟習此項技術者能夠製作或使用所揭示之實施。熟習此項技術者將容易地顯而易見對此等實施方案之各種修改，且在不背離本發明之範疇的情況下，本文中所定義之原理可應用於其他實施方案。因此，本發明並非意欲限於本文中所展示之實施，而應符合可能與如以下申請專利範圍所定義之原理及新穎特徵相一致的最廣泛範疇。

100‧‧‧系統

101‧‧‧第一裝置

102‧‧‧沉浸式語音與音訊服務(IVAS)編碼解碼器

104‧‧‧前端音訊處理器

106‧‧‧第一麥克風

107‧‧‧第二麥克風

108‧‧‧第三麥克風

109‧‧‧第M麥克風

110‧‧‧串流優先級模組

120‧‧‧音訊信號

121‧‧‧串流

122‧‧‧多串流格式化音訊資料

123‧‧‧音訊信號

124‧‧‧空間後設資料/串流

126‧‧‧位元串流

130‧‧‧麥克風

131‧‧‧第一串流/音訊串流

132‧‧‧第二串流/音訊串流

133‧‧‧第N串流/音訊串流

200‧‧‧系統

202‧‧‧格式預處理器

204‧‧‧核心編碼器

210‧‧‧接收編碼解碼器

212‧‧‧核心解碼器

214‧‧‧格式後處理器

216‧‧‧網路

218‧‧‧呈現與雙聲化電路

220‧‧‧交換器

222‧‧‧音訊資料格式

231‧‧‧多串流立體聲格式

232‧‧‧基於場景之音訊格式

233‧‧‧多通道格式

234‧‧‧獨立串流格式

240‧‧‧格式化經解碼串流

242‧‧‧輸出信號

300‧‧‧組件實例

302‧‧‧核心編碼器

304‧‧‧位元速率估計器

306‧‧‧第一緩衝器集合

308‧‧‧第二緩衝器集合

310‧‧‧訊框封包化器

321‧‧‧第一緩衝器

322‧‧‧第二緩衝器

323‧‧‧第三緩衝器

331‧‧‧第一緩衝器

332‧‧‧緩衝器

333‧‧‧緩衝器

340‧‧‧優先級或置換次序

343‧‧‧串流/表

344‧‧‧經估計位元速率

350‧‧‧經估計位元速率

352‧‧‧實際位元速率

360‧‧‧串流特性資料

362‧‧‧外部優先級資料

364‧‧‧外部優先級資料

372‧‧‧表

373‧‧‧訊框(i-2)

374‧‧‧訊框(i-1)

375‧‧‧訊框i

376‧‧‧編碼序列

377‧‧‧編碼序列

378‧‧‧編碼序列

400‧‧‧訊框實例

402‧‧‧第一訊框(訊框i)

404‧‧‧訊框識別符

406‧‧‧獨立串流標頭

408‧‧‧串流1(獨立串流-1)

410‧‧‧串流2(獨立串流-2)

412‧‧‧串流3(獨立串流-3)

414‧‧‧串流4(獨立串流-4)

416‧‧‧串流5(獨立串流-5)

422‧‧‧第二訊框(訊框i+1)

424‧‧‧訊框識別符

426‧‧‧獨立串流標頭

428‧‧‧串流1(獨立串流-1)

430‧‧‧串流2(獨立串流-2)

432‧‧‧串流3(獨立串流-3)

434‧‧‧串流4(獨立串流-4)

436‧‧‧串流5(獨立串流-5)

442‧‧‧第三訊框(訊框i+2)

444‧‧‧訊框識別符

446‧‧‧獨立串流標頭

448‧‧‧串流1(獨立串流-1)

450‧‧‧串流2(獨立串流-2)

452‧‧‧串流3(獨立串流-3)

454‧‧‧串流4(獨立串流-4)

456‧‧‧串流5(獨立串流-5)

500‧‧‧多串流編碼之方法

501‧‧‧步驟

503‧‧‧步驟

505‧‧‧步驟

507‧‧‧步驟

600‧‧‧裝置

602‧‧‧數位至類比轉換器

603‧‧‧輸入介面

604‧‧‧類比至數位轉換器

606‧‧‧處理器

608‧‧‧媒體編碼-解碼器

610‧‧‧處理器

612‧‧‧回音消除器

622‧‧‧系統單晶片裝置

626‧‧‧顯示控制器

628‧‧‧顯示器

630‧‧‧輸入裝置

632‧‧‧接收器

634‧‧‧編碼解碼器

642‧‧‧天線

644‧‧‧電源供應器

646‧‧‧麥克風

648‧‧‧揚聲器

653‧‧‧記憶體

691‧‧‧指令

700‧‧‧基地台

706‧‧‧處理器

708‧‧‧音訊編碼解碼器

710‧‧‧轉碼器

714‧‧‧資料串流

716‧‧‧經轉碼資料串流

732‧‧‧記憶體

742‧‧‧第一天線

744‧‧‧第二天線

752‧‧‧第一收發器

754‧‧‧第二收發器

760‧‧‧網路連接

762‧‧‧解調變器

764‧‧‧接收器資料處理器

770‧‧‧媒體閘道器

782‧‧‧傳輸資料處理器

784‧‧‧傳輸多輸入多輸出(MIMO)處理器

圖1為包括可操作以執行多個串流編碼之沉浸式語音與音訊服務(IVAS)編碼解碼器的系統之特定說明性實例的方塊圖。

圖2為包括圖1之編碼解碼器的系統之另一特定實例的方塊圖。

圖3為可包括於圖1之IVAS編碼解碼器中的組件之方塊圖。

圖4為說明可藉由圖1之IVAS編碼解碼器產生的輸出位元串流訊框格式之實例的圖式。

圖5為多串流編碼之方法之特定實例的流程圖。

圖6為可操作以執行多串流編碼之行動裝置之特定說明性實例的方塊圖。

圖7為可操作以執行多串流編碼之基地台之特定實例的方塊圖。

Claims

一種方法，其包含：在一音訊編碼器處接收音訊資料之多個串流；將一優先級指派至該多個串流中之每一串流；基於該多個串流中之每一串流之該優先級判定用於該多個串流之編碼的一置換序列；及根據該置換序列編碼該多個串流中之每一串流之至少一部分。
如請求項1之方法，其中：該多個串流包括一第一串流及一第二串流；該第一串流指派有經指派優先級中之一最高優先級，且該第二串流指派有該等經指派優先級中之一最低優先級；該第一串流具有在該置換序列中之一第一序列位置，且該第二串流具有在該置換序列中之一最後序列位置；且每一串流之該部分之該編碼包括編碼該第一串流之一訊框以產生一第一經編碼串流之一第一經編碼訊框及編碼該第二串流之一訊框以產生一第二經編碼串流之一第二經編碼訊框，該第一經編碼訊框具有一第一位元速率，且該第二經編碼訊框具有小於該第一位元速率之一第二位元速率。
如請求項1之方法，其進一步包含在編碼每一串流之該部分之前，將一經估計位元速率指派至每一串流。
如請求項3之方法，其中該等經估計位元速率經指派使得對於該多個串流中之每一特定串流，相比該特定串流具有一較低優先級的每一串流之該經估計位元速率小於或等於該特定串流之該經估計位元速率。
如請求項3之方法，其進一步包含在編碼一特定串流之一部分之後，更新相比該特定串流具有一較低優先級的至少一個串流的該經估計位元速率，其中更新該經估計位元速率係基於該特定串流之經編碼部分的該經估計位元速率與該特定串流之該經編碼位元速率之間的一差異。
如請求項1之方法，其中該多個串流中之一特定串流的該優先級係基於該特定串流之一訊框之一或多個信號特性而指派。
如請求項6之方法，其中該一或多個信號特性包括一信號能量、一背景或前景判定、話音內容之偵測或一熵中之至少一者。
如請求項6之方法，其中該特定串流之該優先級係進一步基於該特定串流之至少一個先前訊框的一或多個信號特性而指派。
如請求項6之方法，其進一步包含：在該音訊編碼器處自一前端音訊處理器接收串流優先級資訊；及至少部分基於該串流優先級資訊判定該特定串流之該優先級。
如請求項1之方法，其中該多個串流具有一獨立串流寫碼格式。
如請求項1之方法，其中該多個串流具有一多通道格式。
如請求項1之方法，其中該多個串流具有一基於場景之音訊格式。
如請求項1之方法，其進一步包含產生包括經編碼部分中之每一者的一訊框，及在一輸出位元串流中將該訊框發送至一音訊解碼器。
如請求項13之方法，其中該訊框包括指示該多個串流中之每一串流的一優先級、一位元長度或一編碼位元速率中之至少一者的後設資料。
如請求項13之方法，其中該訊框包括後設資料，該後設資料包括對應於該多個串流中之每一串流的空間資料。
如請求項15之方法，其中該空間資料針對該多個串流中之每一串流包括方位角資料及仰角資料。
如請求項15之方法，其中該後設資料包括對應於較高優先級串流之較高準確度空間資料及對應於較低優先級串流之較低準確度空間資料。
如請求項1之方法，其中將該等優先級指派至該多個串流及編碼該多個串流之該等部分係在一行動裝置處執行。
如請求項1之方法，其中將該等優先級指派至該多個串流及編碼該多個串流之該等部分係在一基地台處執行。
一種裝置，其包含：一音訊處理器，其經組態以基於所接收音訊信號產生音訊資料之多個串流；及一音訊編碼器，其經組態以執行以下操作：將一優先級指派至該多個串流中之每一串流；基於該多個串流中之每一串流之該優先級判定用於編碼該多個串流的一置換序列；及根據該置換序列編碼該多個串流中之每一串流之至少一部分。
如請求項20之裝置，其進一步包含耦接至該音訊處理器且經組態以產生該等音訊信號的多個麥克風。
如請求項20之裝置，其中該音訊編碼器經組態以基於該多個串流中之一特定串流之一訊框的一或多個信號特性指派該特定串流之該優先級。
如請求項20之裝置，其中該音訊處理器及該音訊編碼器整合至一基地台中。
如請求項20之裝置，其中該音訊處理器及該音訊編碼器整合至一行動裝置中。
一種設備，其包含：用於將一優先級指派至音訊資料之多個串流中之每一串流且用於基於該多個串流中之每一串流之該優先級判定用於編碼該多個串流之一置換序列的構件；及用於根據該置換序列編碼該多個串流中之每一串流之至少一部分的構件。
如請求項25之設備，其進一步包含用於產生音訊資料之該多個串流的構件。
一種裝置，其包含：一解碼器，其經組態以執行以下操作：接收一位元串流，其包括：音訊串流之經編碼部分；及指示該等音訊串流之該等經編碼部分中之每一者的一位元分配的後設資料；及基於該等經編碼部分中之每一者之該位元分配解碼該等音訊串流的該等經編碼部分，以產生經解碼音訊串流。
如請求項27之裝置，其中該等經編碼部分係根據一置換序列進行編碼，該置換序列係基於該等音訊串流中之每一者之一經指派優先級。
如請求項27之裝置，其中該後設資料指示該等音訊串流中之每一者的一優先級、一位元長度或一編碼位元速率中之至少一者。
如請求項29之裝置，其中該後設資料進一步包括對應於該等音訊串流中之每一者的空間資料。