TWI538531B - 判定用於球型諧波係數之渲染器 - Google Patents

判定用於球型諧波係數之渲染器 Download PDF

Info

Publication number
TWI538531B
TWI538531B TW103104151A TW103104151A TWI538531B TW I538531 B TWI538531 B TW I538531B TW 103104151 A TW103104151 A TW 103104151A TW 103104151 A TW103104151 A TW 103104151A TW I538531 B TWI538531 B TW I538531B
Authority
TW
Taiwan
Prior art keywords
renderer
speaker geometry
dimensional
speaker
regular
Prior art date
Application number
TW103104151A
Other languages
English (en)
Other versions
TW201436587A (zh
Inventor
尼爾斯 古恩瑟 彼得斯
馬汀 詹姆士 摩瑞爾
迪潘強 森
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201436587A publication Critical patent/TW201436587A/zh
Application granted granted Critical
Publication of TWI538531B publication Critical patent/TWI538531B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

判定用於球型諧波係數之渲染器
本申請案主張2013年5月31日申請之美國臨時申請案第61/829,832號及2013年2月7日申請之美國臨時申請案第61/762,302號之權利。
本發明係關於音訊渲染，且更特定言之，係關於球型諧波係數之渲染。
較高階高保真度立體聲響複製(HOA)信號(常由複數個球型諧波係數(SHC)或其他階層元素表示)為聲場之三維表示。此HOA或SHC表示可以獨立於用以播放自此SHC信號渲染之多聲道音訊信號之局部揚聲器幾何形狀的方式表示此聲場。此SHC信號亦可促進回溯相容性，因為可致使此SHC信號為熟知且高度採用之多聲道格式，諸如，5.1音訊聲道格式或7.1音訊聲道格式。此SHC表示因此實現亦適應回溯相容性的聲場之較好表示。
一般而言，描述用於判定適合特定局部揚聲器幾何形狀音訊渲染器之技術。雖然SHC可適應熟知多聲道揚聲器格式，但通常地，終端使用者並不按此等多聲道格式所需要之方式恰當地置放或定位揚聲器，從而導致不規則的揚聲器幾何形狀。本發明中描述之技術可判定 局部揚聲器幾何形狀，且接著基於此局部揚聲器幾何形狀判定用於渲染SHC信號之渲染器。渲染器件可自許多不同渲染器間選擇(例如)單聲道渲染器、立體聲渲染器、僅水平渲染器或三維渲染器，且基於局部揚聲器幾何形狀產生此渲染器。與經設計以用於規則揚聲器幾何形狀之規則渲染器相比，此渲染器可考量不規則揚聲器幾何形狀，且藉此促進聲場之較好再生，而與不規則揚聲器幾何形狀無關。
此外，該等技術可給予均勻的揚聲器幾何形狀(其可被稱作虛擬揚聲器幾何形狀)，以便維持可逆性且恢復SHC。該等技術可接著執行各種操作以將此等虛擬揚聲器投影至不同水平平面(其可在與虛擬揚聲器原先所位於之水平平面不同的高度)。該等技術可使器件能夠產生將此等投影之虛擬揚聲器映射至按不規則揚聲器幾何形狀配置之不同實體揚聲器之渲染器。以此方式投影此等虛擬揚聲器可促進聲場之較好再生。
在一實例中，一種方法包含判定用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一局部揚聲器幾何形狀，及基於該局部揚聲器幾何形狀判定一二維或三維渲染器。
在另一實例中，一種器件包含一或多個處理器，其經組態以判定用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一局部揚聲器幾何形狀，及組態該器件以基於該判定之局部揚聲器幾何形狀操作。
在另一實例中，一種器件包含用於判定用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一局部揚聲器幾何形狀之構件，及用於基於該局部揚聲器幾何形狀判定一二維或三維渲染器之構件。
在另一實例中，一種非暫時性電腦可讀儲存媒體具有儲存於其上之指令，該等指令當經執行時使一或多個處理器判定用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一局部揚聲器幾何形 狀，及基於該局部揚聲器幾何形狀判定一二維或三維渲染器。
在另一實例中，一種方法包含判定複數個實體揚聲器中之一者與按一幾何形狀配置的複數個虛擬揚聲器中之一者之間的一位置差異，及基於該判定之位置差異且在將該複數個虛擬揚聲器映射至該複數個實體揚聲器之前調整該複數個虛擬揚聲器中之該一者在該幾何形狀內之一位置。
在另一實例中，一種器件包含一或多個處理器，其經組態以判定複數個實體揚聲器中之一者與按一幾何形狀配置的複數個虛擬揚聲器中之一者之間的一位置差異，及基於該判定之位置差異且在將該複數個虛擬揚聲器映射至該複數個實體揚聲器之前調整該複數個虛擬揚聲器中之該一者在該幾何形狀內之一位置。
在另一實例中，一種器件包含用於判定複數個實體揚聲器中之一者與按一幾何形狀配置的複數個虛擬揚聲器中之一者之間的一位置差異之構件，及用於基於該判定之位置差異且在將該複數個虛擬揚聲器映射至該複數個實體揚聲器之前調整該複數個虛擬揚聲器中之該一者在該幾何形狀內之一位置之構件。
在另一實例中，一種非暫時性電腦可讀儲存媒體具有儲存於其上之指令，該等指令當經執行時使一或多個處理器判定複數個實體揚聲器中之一者與按一幾何形狀配置的複數個虛擬揚聲器中之一者之間的一位置差異，及基於該判定之位置差異且在將該複數個虛擬揚聲器映射至該複數個實體揚聲器之前調整該複數個虛擬揚聲器中之該一者在該幾何形狀內之一位置。
在隨附圖式及以下描述中闡明了該等技術之一或多個態樣的細節。自描述及圖式且自申請專利範圍，該等技術之其他特徵、目標及優勢將顯而易見。
20‧‧‧系統
22‧‧‧內容創造者
24‧‧‧內容消費者
27‧‧‧球形諧波係數
27'‧‧‧球形諧波係數
28‧‧‧音訊渲染器
29‧‧‧揚聲器饋入
30‧‧‧音訊編輯系統
31‧‧‧位元串流
31A‧‧‧位元串流
31B‧‧‧位元串流
31C‧‧‧位元串流
31D‧‧‧位元串流
32‧‧‧音訊播放系統
34‧‧‧渲染器
35‧‧‧揚聲器饋入
36‧‧‧位元串流產生器件
38‧‧‧提取器件
39‧‧‧音訊渲染資訊
39A‧‧‧音訊渲染資訊
39B‧‧‧音訊渲染資訊
39C‧‧‧音訊渲染資訊
39D‧‧‧音訊渲染資訊
40‧‧‧渲染器判定單元
41‧‧‧局部揚聲器幾何形狀資訊
42‧‧‧渲染器選擇單元
44‧‧‧佈局判定單元
45‧‧‧分類資訊
46‧‧‧渲染器產生單元
48A‧‧‧立體聲渲染器產生單元/揚聲器渲染器判定單元
48B‧‧‧水平渲染器產生單元/水平渲染器判定單元
48C‧‧‧三維(3D)渲染器產生單元/3D渲染器判定單元
48C'‧‧‧3D渲染判定單元
48D‧‧‧單聲道渲染器產生單元/單聲道渲染器判定單元
54‧‧‧中信號值
54A‧‧‧索引
54B‧‧‧列大小
54C‧‧‧行大小
54D‧‧‧矩陣係數
54E‧‧‧演算法索引
54F‧‧‧矩陣索引
58‧‧‧音訊內容
299‧‧‧曲線圖
300A‧‧‧虛擬揚聲器
300B‧‧‧虛擬揚聲器
300C‧‧‧虛擬揚聲器
300D‧‧‧虛擬揚聲器
300E‧‧‧虛擬揚聲器
300F‧‧‧虛擬揚聲器
300G‧‧‧虛擬揚聲器
300H‧‧‧虛擬揚聲器
302A‧‧‧實體揚聲器/真實揚聲器位置
302B‧‧‧實體揚聲器/真實揚聲器位置
302C‧‧‧實體揚聲器/真實揚聲器位置
302D‧‧‧實體揚聲器/真實揚聲器位置
302E‧‧‧真實揚聲器位置
302F‧‧‧真實揚聲器位置
302G‧‧‧真實揚聲器位置
302H‧‧‧真實揚聲器位置
304‧‧‧曲線圖
306A‧‧‧曲線圖
308A‧‧‧拉伸之揚聲器位置
308B‧‧‧拉伸之揚聲器位置
308C‧‧‧拉伸之揚聲器位置
308D‧‧‧拉伸之揚聲器位置
308E‧‧‧拉伸之揚聲器位置
308F‧‧‧拉伸之揚聲器位置
308G‧‧‧拉伸之揚聲器位置
308H‧‧‧拉伸之揚聲器位置
310A‧‧‧上部2D平移內插線
310B‧‧‧下部2D平移內插線
350‧‧‧虛擬揚聲器渲染器
352‧‧‧球型加權單元
354‧‧‧上半球3D平移單元
356‧‧‧耳朵層面2D平移單元
358‧‧‧下半球2D平移單元
400‧‧‧球
402‧‧‧水平平面
圖1及圖2為說明各種階及子階之球型諧波基底函數之圖。
圖3為說明可實施本發明中描述的技術之各種態樣之系統之圖。
圖4為說明可實施本發明中描述的技術之各種態樣之系統之圖。
圖5為說明在執行本發明中描述的技術之各種態樣過程中的在圖4之實例中展示的渲染器判定單元之例示性操作之流程圖。
圖6為說明在圖4之實例中展示的立體聲渲染器產生單元之例示性操作之流程圖。
圖7為說明在圖4之實例中展示的水平渲染器產生單元之例示性操作之流程圖。
圖8A及圖8B為說明在圖4之實例中展示的3D渲染器產生單元之例示性操作之流程圖。
圖9為說明在當判定不規則3D渲染器時執行下部半球處理及上部半球處理過程中的在圖4之實例中展示的3D渲染器產生單元之例示性操作之流程圖。
圖10為說明展示可根據本發明中闡明之技術產生立體聲渲染器之方式的在單元空間中之曲線圖299之圖。
圖11為說明展示可根據本發明中闡明之技術產生不規則水平渲染器之方式的在單元空間中之曲線圖304之圖。
圖12A及圖12B為說明展示可根據本發明中闡明之技術產生不規則3D渲染器之方式的曲線圖306A及306B之圖。
圖13A至圖13D說明根據本發明中描述的技術之各種態樣形成之位元串流。
圖14A及圖14B展示可實施本發明中描述的技術之各種態樣之一3D渲染器判定單元。
圖15A及圖15B展示22.2揚聲器幾何形狀。
圖16A及圖16B各展示根據本發明中描述的技術之各種態樣的其 上配置虛擬揚聲器、由虛擬揚聲器中之一或多者投影至之水平平面分段之一虛擬球。
圖17展示根據本發明中描述的技術之各種態樣的可應用於元素之一階層集合之一開窗函數。
當今，環繞聲之演進已使用於娛樂之許多輸出格式可利用。此等環繞聲格式之實例包括風行之5.1格式(其包括以下六個聲道：左前(FL)、右前(FR)、中心或中前、左後或左環繞、右後或右環繞及低頻效應(LFE))、發展中之7.1格式及即將到來之22.2格式(例如，用於供超高清電視標準使用)。另外實例包括用於球形諧波陣列之格式。
至未來MPEG編碼器(其可大體回應於日期為2013年1月的題為「Call for Proposals for 3D Audio」且在瑞士日內瓦之大會上發佈的ISO/IEC JTC1/SC29/WG11/N13411文件而開發)之輸入視情況為三個可能格式中之一者：(i)基於傳統聲道之音訊，其意謂經由在預先指定位置處之揚聲器播放；(ii)基於物件之音訊，其涉及用於具有含有其位置座標(在各資訊中)之相關聯的後設資料之單一音訊物件的離散脈衝碼調變(PCM)資料；及(iii)基於場景之音訊，其涉及使用球形諧波基底函數之係數(亦叫作「球形諧波係數」或SHC)表示聲場。
市場中存在各種「聲場」格式。其範圍(例如)自5.1家庭劇院系統(就侵入起居室而言，除了立體聲外，其已為最成功的)至由NHK(Nippon Hoso Kyokai或Japan Broadcasting Corporation(日本廣播公司))開發之22.2系統。內容創造者(例如，好萊塢攝影棚)將有可能一次針對一部電影產生配樂，且非花精力在針對每一揚聲器組態來將其混錄。近來，標準委員會已在考慮提供編碼成標準化之位元串流及可適應在渲染器之位置處的揚聲器幾何形狀及聲學條件且為揚聲器幾何形狀及聲學條件不可知之隨後解碼的方式。
為了針對內容創造者提供此靈活性，可使用元素之一階層集合來表示聲場。元素之階層集合可指元素經排序使得較低階元素之一基本集合提供模型化之聲場之完全表示的元素集合。因為該集合經擴展以包括較高階元素，因此該表示變得更詳細。
元素之階層集合之一實例為球形諧波係數(SHC)之一集合。以下表達使用SHC來演示聲場之描述或表示： 此表達展示聲場之在任一點{r r ,θ r ,φ r }處的壓力p i 可唯一地由SHC (k)表示。此處，k=，c為聲速(~343m/s)，{r r ,θ r ,φ r }為參考點(或觀測點)，j n (．)為階數n之球形貝塞爾(Bessel)函數，且(θ r ,φ r )為階數n及子階m之球形諧波基底函數。可認識到，在正方形括符中之項為信號之頻域表示(亦即，S(ω,r r ,θ r ,φ r ))，其可藉由各種時間頻率變換估算出，該等時間頻率變換諸如，離散傅立葉(Fourier)變換(DFT)、離散餘弦變換(DCT)或小波變換。階層集合之其他實例包括小波變換係數之集合及多解析度基底函數之係數之其他集合。
圖1為說明自零階(n=0)至第四階(n=4)之球形諧波基底函數之圖。如可看出，對於每一階，存在子階m之擴大，為了易於說明目的，該等子階m經展示，但未明確地在圖2之實例中指出。
圖2為說明自零階(n=0)至第四階(n=4)之球形諧波基底函數之另一圖。在圖2中，按三維座標空間展示球形諧波基底函數，其中階及子階皆加以展示。
無論如何，SHC (k)可由各種麥克風陣列組態實體獲取(例如，記錄)，或替代地，其可自聲場的基於聲道或基於物件之描述而導出。前者表示至編碼器的基於場景之音訊輸入。舉例而言，可使用涉及1+24(25，且因此四階)個係數之四階表示。
為了說明可自基於物件之描述導出此等SHC之方式，考慮以下等式。對應於個別音訊物件的用於聲場之係數(k)可表達為 其中i為，(．)為階數n之(第二種類之)球形漢克爾(Hankel)函數，且{r s ,θ s ,φ s }為物件之位置。已知源能量g(ω)作為頻率之函數(例如，使用時間頻率分析技術，諸如，對PCM串流執行快速傅立葉變換)允許吾人將每一PCM物件及其位置轉換成SHC (k)。另外，可展示(由於以上為線性且正交分解)用於每一物件之(k)係數為添加的。以此方式，大量PCM物件可由(k)係數表示(例如，作為用於個別物件的係數向量之總和)。基本上，此等係數含有關於聲場之資訊(壓力隨3D座標而變)，且以上表示在觀測點{r r ,θ r ,φ r }附近的自個別物件至總體聲場之表示的變換。以下在基於物件及基於SHC之音訊寫碼之情況下描述其餘圖。
圖3為說明可執行本發明中描述的技術之各種態樣之系統20之圖。如在圖3之實例中所展示，系統20包括一內容創造者22及一內容消費者24。內容創造者22可表示可產生多聲道音訊內容供內容消費者(諸如，內容消費者24)消費之電影攝影棚或其他實體。通常，此內容創造者產生音訊內容連同視訊內容。內容消費者24表示擁有或能夠接取音訊播放系統32(其可指能夠播放多聲道音訊內容的任一形式之音訊播放系統)之個人。在圖3之實例中，內容消費者24包括一音訊播放系統32。
內容創造者22包括一音訊渲染器28及一音訊編輯系統30。音訊渲染器26可表示渲染或另外產生揚聲器饋入(speaker feed)(其亦可被稱作「揚聲器饋入(loudspeaker feed)」、「揚聲器信號(speaker signal或loudspeaker signal)」)之音訊處理單元。每一揚聲器饋入可對應於針對多聲道音訊系統之一特定聲道再生聲音之揚聲器饋入。在圖3之實 例中，渲染器38可針對習知5.1、7.1或22.2環繞聲格式渲染揚聲器饋入，從而在5.1、7.1或22.2環繞聲揚聲器系統中產生針對5、7或22揚聲器中之每一者的揚聲器饋入。替代地，渲染器28可經組態以渲染來自針對具有任何數目個揚聲器之任何揚聲器組態的源球形諧波係數之揚聲器饋入(若給定以上論述的源球形諧波係數之性質)。渲染器28可以此方式產生許多揚聲器饋入(其在圖3中表示為揚聲器饋入29)。
內容創造者可在編輯過程期間渲染球形諧波係數27(「SHC 27」)，收聽經渲染之揚聲器饋入以試圖識別不具有高保真度或不提供令人信服的環繞聲體驗之聲場之態樣。內容創造者22可接著編輯源球形諧波係數(常間接地經由可按以上描述之方式導出源球形諧波係數所來自的不同物件之操縱)。內容創造者22可使用音訊編輯系統30編輯球形諧波係數27。音訊編輯系統30表示能夠編輯音訊資料且將此音訊資料作為一或多個源球形諧波係數輸出之任一系統。
當編輯過程完成時，內容創造者22可基於球形諧波係數27產生位元串流31。亦即，內容創造者22包括一位元串流產生器件36，位元串流產生器件可表示能夠產生位元串流31之任一器件。在一些情況下，位元串流產生器件36可表示頻寬壓縮(作為一實例，藉由熵編碼)球形諧波係數27且按接受之格式配置球形諧波係數27的經頻寬壓縮之版本以形成位元串流31之編碼器。在其他情況下，位元串流產生器件36可表示使用(作為一實例)類似於習知音訊環繞聲編碼過程之過程壓縮多聲道音訊內容或其衍生物來編碼多聲道音訊內容29之音訊編碼器(可能，遵守諸如MPEG環繞之已知音訊寫碼標準或其衍生物之編碼器)。經壓縮之多聲道音訊內容29可接著經以某一其他方式熵編碼或寫碼以聲道壓縮內容29且經根據同意之格式配置以形成位元串流31。不管經直接壓縮以形成位元串流31或是經渲染且接著經壓縮以形成位元串流31，內容創造者22可將位元串流31傳輸至內容消費者24。
雖然圖3中展示為直接傳輸至內容消費者24，但內容創造者22可將位元串流31輸出至定位於內容創造者22與內容消費者24之間的中間器件。此中間器件可儲存位元串流31以用於稍後傳遞至內容消費者24，該內容消費者可請求此位元串流。中間器件可包含檔案伺服器、網路伺服器、桌上型電腦、膝上型電腦、平板電腦、行動電話、智慧型手機或能夠儲存位元串流31以用於稍後由音訊解碼器擷取之任一其他器件。替代地，內容創造者22可將位元串流31儲存至儲存媒體，諸如，光碟、數位視訊碟、高清晰度視訊碟或其他儲存媒體，其中之多數能夠由電腦讀取且因此可被稱作電腦可讀儲存媒體。在此情況下，傳輸通道可指藉以傳輸儲存至此等媒體之內容之彼等通道(且可包括零售商店或其他基於商店之傳遞機構)。無論如何，本發明之技術不應因此在此方面限於圖3之實例。
如在圖3之實例中進一步展示，內容消費者24包括一音訊播放系統32。音訊播放系統32可表示能夠播放多聲道音訊資料之任一音訊播放系統。音訊播放系統32可包括許多不同渲染器。音訊播放系統32亦可包括一渲染器判定單元40，該渲染器判定單元可表示經組態以判定或另外選擇來自複數個音訊渲染器間之一音訊渲染器34的單元。在一些情況下，渲染器判定單元40可自許多預定義之渲染器選擇渲染器34。在其他情況下，渲染器判定單元40可基於局部揚聲器幾何形狀資訊41動態判定音訊渲染器34。局部揚聲器幾何形狀資訊41可指定耦接至音訊播放系統32之每一揚聲器相對於音訊播放系統32、收聽者或任一其他可識別區域或位置的位置。通常，收聽者可經由圖形使用者介面(GUI)或其他形式之介面與音訊播放系統32介面連接以輸入局部揚聲器幾何形狀資訊41。在一些情況下，音訊播放系統32可常藉由發射某些音調且經由耦接至音訊播放系統32之麥克風量測音調來自動地(意謂在此實例中無需任何收聽者干預)判定局部揚聲器幾何形狀資訊 41。
音訊播放系統32可進一步包括一提取器件38。提取器件38可表示能夠經由可通常與位元串流產生器件36之過程互逆之過程提取球形諧波係數27'(「SHC 27'」，其可表示球形諧波係數27的修改之形式或複本)的任一器件。音訊播放系統32可接收球形諧波係數27'且調用提取器件38以提取SHC 27'，且若經指定或可用，音訊渲染資訊39。
無論如何，以上渲染器34中之每一者可提供不同渲染形式，其中不同渲染形式可包括執行向量基振幅平移(VBAP)的各種方式中之一或多者、執行基於距離之振幅平移(DBAP)的各種方式中之一或多者、執行簡單平移的各種方式中之一或多者、執行近場補償(NFC)濾波的各種方式中之一或多者及/或執行波場合成的各種方式中之一或多者。選定渲染器34可接著渲染球形諧波係數27'以產生許多揚聲器饋入35(對應於電或可能無線地耦接至音訊播放系統32之數目，為了易於說明目的，該等揚聲器未展示於圖3之實例中)。
通常，音訊播放系統32可選擇複數個音訊渲染器中之任一者，且可經組態以取決於位元串流31接收自之來源(諸如，舉幾個實例，DVD播放器、Blu-ray播放器、智慧型手機、平板電腦、遊戲系統及電視)選擇音訊渲染器中之一或多者。雖然可選擇音訊渲染器中之任一者，但歸因於以下事實，當創造內容時使用之音訊渲染器常提供較好(且可能，最佳的)渲染形式：內容由內容創造者22使用音訊渲染器中之此者(亦即，在圖3之實例中，音訊渲染器28)創造。選擇具有與局部揚聲器幾何形狀之渲染形式相同或至少靠近的渲染形式之音訊渲染器34中之一者可提供聲場的較好表示，其可導致對於內容消費者24的較好環繞聲體驗。
位元串流產生器件可產生位元串流31以包括音訊渲染資訊39(「audio rendering info 39」)。音訊渲染資訊39可包括識別當產生 多聲道音訊內容時使用之音訊渲染器(亦即，在圖4之實例中，音訊渲染器28)的信號值。在一些情況下，信號值包括用以將球形諧波係數渲染至複數個揚聲器饋入之矩陣。
在一些情況下，信號值包括定義指示位元串流包括用以將球形諧波係數渲染至複數個揚聲器饋入之矩陣的索引之兩個或兩個以上位元。在一些情況下，當使用索引時，信號值進一步包括定義包括於位元串流中的矩陣之列數之兩個或兩個以上位元及定義包括於位元串流中的矩陣之行數之兩個或兩個以上位元。使用此資訊且假定二維矩陣之每一係數通常由32位元浮點數定義，可將就矩陣之位元而言的大小作為列數、行數及定義矩陣之每一係數的浮點數目(亦即，在此實例中，32位元)之大小的函數計算。
在一些情況下，信號值指定用以將球形諧波係數渲染至複數個揚聲器饋入之渲染演算法。渲染演算法可包括位元串流產生器件36及提取器件38皆已知之矩陣。亦即，除了諸如平移(例如，VBAP、DBAP或簡單平移)或NFC濾波之其他渲染步驟之外，渲染演算法亦可包括應用矩陣。在一些情況下，信號值包括定義與用以將球形諧波係數渲染至複數個揚聲器饋入之複數個矩陣中之一者相關聯的索引之兩個或兩個以上位元。再次，位元串流產生器件36及提取器件38皆可經組態有指示複數個矩陣及複數個矩陣之階的資訊，使得該索引可唯一地識別該複數個矩陣中之一特定者。替代地，位元串流產生器件36可指定位元串流31中定義複數個矩陣及/或複數個矩陣之階的資料，使得該索引可唯一地識別該複數個矩陣中之一特定者。
在一些情況下，信號值包括定義與用以將球形諧波係數渲染至複數個揚聲器饋入之複數個渲染演算法中之一者相關聯的索引之兩個或兩個以上位元。再次，位元串流產生器件36及提取器件38皆可經組態有指示複數個渲染演算法及複數個渲染演算法之階的資訊，使得該 索引可唯一地識別該複數個矩陣中之一特定者。替代地，位元串流產生器件36可指定位元串流31中定義複數個矩陣及/或複數個矩陣之階的資料，使得該索引可唯一地識別該複數個矩陣中之一特定者。
在一些情況下，位元串流產生器件36在位元串流中基於每個音訊訊框指定音訊渲染資訊39。在其他情況下，位元串流產生器件36在位元串流中單一次指定音訊渲染資訊39。
提取器件38可接著判定在位元串流中指定之音訊渲染資訊39。基於包括於音訊渲染資訊39中之信號值，音訊播放系統32可基於音訊渲染資訊39渲染複數個揚聲器饋入35。如上指出，在一些情況下，信號值可包括用以將球形諧波係數渲染至複數個揚聲器饋入之矩陣。在此情況下，音訊播放系統32可藉由該矩陣組態音訊渲染器34中之一者，從而使用音訊渲染器34中之此者基於矩陣來渲染揚聲器饋入35。
在一些情況下，信號值包括定義索引之兩個或兩個以上位元，該索引指示位元串流包括用以將球形諧波係數27'渲染至揚聲器饋入35之矩陣。提取器件38可回應於該索引自位元串流剖析該矩陣，因此音訊播放系統32可藉由經剖析之矩陣組態音訊渲染器34中之一者，且調用渲染器34中之此者來渲染揚聲器饋入35。當信號值包括定義包括於位元串流中的矩陣之列數之兩個或兩個以上位元及定義包括於位元串流中的矩陣之行數之兩個或兩個以上位元時，提取器件38可按以上描述之方式回應於該索引且基於定義列數之兩個或兩個以上位元及定義行數之兩個或兩個以上位元自位元串流剖析矩陣。
在一些情況下，信號值指定用以將球形諧波係數27'渲染至揚聲器饋入35之渲染演算法。在此等情況下，音訊渲染器34中之一些或所有者可執行此等渲染演算法。音訊播放器件32可接著利用指定渲染演算法(例如，音訊渲染器34中之一者)根據球形諧波係數27'渲染揚聲器饋入35。
當信號值包括定義與用以將球形諧波係數27'渲染至揚聲器饋入35之複數個矩陣中之一者相關聯的索引之兩個或兩個以上位元時，音訊渲染器34中之一些或所有者可表示此複數個矩陣。因此，音訊播放系統32可使用與該索引相關聯的音訊渲染器34中之該一者根據球形諧波係數27'渲染揚聲器饋入35。
當信號值包括定義與用以將球形諧波係數27'渲染至揚聲器饋入35之複數個渲染演算法中之一者相關聯的索引之兩個或兩個以上位元時，音訊渲染器34中之一些或所有者可表示此等渲染演算法。因此，音訊播放系統32可使用與該索引相關聯的音訊渲染器34中之一者根據球形諧波係數27'渲染揚聲器饋入35。
取決於在位元串流中指定此音訊渲染資訊之頻率，提取器件38可基於每個音訊訊框或單一次地判定音訊渲染資訊39。
藉由以此方式指定音訊渲染資訊39，該等技術可潛在地導致多聲道音訊內容35之較好再生，且根據內容創造者22意欲再生多聲道音訊內容35之方式。結果，該等技術可提供更浸入性之環繞聲或多聲道音訊體驗。
雖然描述為在位元串流中傳訊(或以其他方式指定)，但音訊渲染資訊39可指定為與位元串流分開的後設資料，或換言之，指定為與位元串流分開之旁側資訊。位元串流產生器件36可產生與位元串流31分開之此音訊渲染資訊39，以便維持與不支援本發明中描述之技術的彼等提取器件之位元串流相容性(且藉此實現藉由彼等提取器件之成功剖析)。因此，雖然描述為在位元串流中指定，但該等技術可允許指定與位元串流31分開之音訊渲染資訊39的其他方式。
此外，雖然描述為在位元串流31中或在與位元串流31分開之後設資料或旁側資訊中傳訊或另外指定，但該等技術可使位元串流產生器件36能夠指定在位元串流31中的音訊渲染資訊39之一部分及作為與 位元串流31分開之後設資料的音訊渲染資訊39之一部分。舉例而言，位元串流產生器件36可指定識別位元串流31中之矩陣的索引，其中可將指定包括經識別之矩陣的複數個矩陣之表指定為與位元串流分開之後設資料。音訊播放系統32可接著自呈索引之形式的位元串流31及自與位元串流31分開指定之後設資料判定音訊渲染資訊39。在一些情況下，音訊播放系統32可經組態以自預先組態或經組態之伺服器(最有可能由音訊播放系統32之製造者或標準主體代管)下載或另外擷取表及任何其他後設資料。
然而，如通常情況，內容消費者24未根據指定(通常，由環繞聲音訊格式主體)幾何形狀恰當地組態揚聲器。通常，內容消費者24未將揚聲器置放於固定高度處及相對於收聽者之精確指定位置中。內容消費者24可能不能夠將揚聲器置放於此等位置中或意識不到甚至存在置放揚聲器以達成合適的環繞聲體驗之指定位置。假定SHC表示二維或三維中之聲場，則使用SHC實現揚聲器之更靈活配置，其意謂，自SHC，聲場之可接受(或與非SHC音訊系統之音響相比，至少更好的音響)再生可由以極任一揚聲器幾何形狀組態之揚聲器提供。
為了促進SHC渲染至極任一局部揚聲器幾何形狀，本發明中描述之技術可使渲染器判定單元40能夠不僅以上文描述之方式使用音訊渲染資訊39選擇標準渲染器，且亦基於局部揚聲器幾何形狀資訊41動態地產生渲染器。如關於圖4至圖12C更詳細地描述，該等技術可提供產生適應於由局部揚聲器幾何形狀資訊41指定之一特定局部揚聲器幾何形狀的渲染器34之至少四個例示性方式。此等三個方式可包括產生單聲道渲染器34、立體聲渲染器34、水平多聲道渲染器34(其中例如，「水平多聲道」指其中所有揚聲器通常在同一水平平面上或在同一水平平面附近的具有兩個以上揚聲器之多聲道揚聲器組態)及三維(3D)渲染器34(其中三維渲染器可針對揚聲器之多個水平平面來渲染) 之方式。
在操作中，渲染器判定單元40可基於音訊渲染資訊39或局部揚聲器幾何形狀資訊41選擇渲染器34。通常，內容消費者24可指定以下偏好：渲染器判定單元40基於音訊渲染資訊39(當存在時，因為此可能並不存在於所有位元串流中)選擇渲染器34，且當不存在時，基於局部揚聲器幾何形狀資訊41判定(或若先前判定，選擇)渲染器34。在一些情況下，內容消費者24可指定以下偏好：渲染器判定單元40在渲染器34之選擇期間基於局部揚聲器幾何形狀資訊41而從不考慮音訊渲染資訊39來判定(或若先前判定，選擇)渲染器34。雖然僅提供兩個替代方案，但可指定任何數目個偏好，以用於組態渲染器判定單元40基於音訊渲染資訊39及/或局部揚聲器幾何形狀41選擇渲染器34之方式。因此，該等技術在此方面不應限於以上論述之兩個例示性替代方案。
無論如何，假定渲染器判定單元40將基於局部揚聲器幾何形狀資訊41判定渲染器34，則渲染器判定單元40可首先將局部揚聲器幾何形狀分類至以上簡要提到的四個種類中之一者內。亦即，渲染器判定單元40可首先判定局部揚聲器幾何形狀資訊41是否指示局部揚聲器幾何形狀通常與單聲道揚聲器幾何形狀、立體聲揚聲器幾何形狀、在同一水平平面上具有三個或三個以上揚聲器之水平多聲道揚聲器幾何形狀或具有三個或三個以上揚聲器(其中之兩者在不同水平平面(常由某一臨限高度分開)上)之三維多聲道揚聲器幾何形狀一致。在基於此局部揚聲器幾何形狀資訊41分類局部揚聲器幾何形狀後，渲染器判定單元40可產生單聲道渲染器、立體聲渲染器、水平多聲道渲染器及三維多聲道渲染器中之一者。渲染器判定單元40可接著提供此渲染器34供音訊播放系統32使用，因此，音訊播放系統32可按以上描述之方式渲染SHC 27'以產生多聲道音訊資料35。
以此方式，該等技術可使音訊播放系統32能夠判定用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一局部揚聲器幾何形狀，及基於該局部揚聲器幾何形狀判定一二維或三維渲染器。
在一些實例中，音訊播放系統32可使用判定之渲染器來渲染球型諧波係數以產生多聲道音訊資料。
在一些實例中，音訊播放系統32可當基於局部揚聲器幾何形狀判定渲染器時判定當局部揚聲器幾何形狀與立體聲揚聲器幾何形狀一致時之立體聲渲染器。
在一些實例中，音訊播放系統32可當基於局部揚聲器幾何形狀判定渲染器時判定當局部揚聲器幾何形狀與具有兩個以上揚聲器之水平多聲道揚聲器幾何形狀一致時之水平多聲道渲染器。
在一些實例中，音訊播放系統32可當基於局部揚聲器幾何形狀判定渲染器時判定當局部揚聲器幾何形狀與在一個以上水平平面上具有兩個以上揚聲器之三維多聲道揚聲器幾何形狀一致時之三維多聲道渲染器。
在一些實例中，音訊播放系統32可當判定一或多個揚聲器之局部揚聲器幾何形狀時自收聽者接收指定描述局部揚聲器幾何形狀之局部揚聲器幾何形狀資訊的輸入。
在一些實例中，音訊播放系統32可當判定一或多個揚聲器之局部揚聲器幾何形狀時經由圖形使用者介面自收聽者接收指定描述局部揚聲器幾何形狀之局部揚聲器幾何形狀資訊的輸入。
在一些實例中，音訊播放系統32可當判定一或多個揚聲器之局部揚聲器幾何形狀時自動判定描述局部揚聲器幾何形狀之局部揚聲器幾何形狀資訊。
以下為總結前述技術之一方式。通常，較高階高保真度立體聲響複製信號(諸如，SHC 27)為使用球型諧波基底函數的三維聲場之表 示，其中球型諧波基底函數中之至少一者與具有大於一之階的球型基底函數相關聯。此表示可提供理想的聲音格式，此係因為其獨立於終端使用者揚聲器幾何形狀，且結果，可在無關於編碼側之先前知識的情況下在內容消費者處將表示渲染至任一幾何形狀。最終揚聲器信號可接著藉由球型諧波係數之線性組合導出，該線性組合通常表示在彼特定揚聲器之方向上指出之極型樣。已進行針對設計用於普通揚聲器佈局(諸如，5.0/5.1)之特定HOA渲染器且亦針對對於不規則2D及3D揚聲器幾何形狀即時或幾乎即時地產生渲染器(其通常被稱作「在工作中」)之研究。藉由使用基於擬逆之渲染矩陣，規則(t設計)揚聲器幾何形狀之「極好(golden)」情況可為熟知的。在即將到來之MPEG-H標準的情況下，可能需要可採取任一揚聲器幾何形狀且使用正確的方法用於產生針對討論中之揚聲器幾何形狀的最佳渲染矩陣之系統。
本發明中描述的技術之各種態樣提供HOA或SHC渲染器產生系統/演算法。系統偵測何類型之揚聲器幾何形狀在使用中：單聲道、立體聲、水平、三維或旗標表示為已知幾何形狀/渲染器矩陣。
圖4為更詳細地說明圖3之渲染器判定單元40之方塊圖。如在圖4之實例中展示，渲染器判定單元40可包括一渲染器選擇單元42、一佈局判定單元44及一渲染器產生單元46。渲染器選擇單元42可表示一單元，該單元經組態以選擇基於渲染資訊39預定義或選擇在渲染資訊39中指定之渲染器，從而將此選定或指定渲染器作為渲染器34輸出。
佈局判定單元44可表示經組態以基於局部揚聲器幾何形狀資訊41分類局部揚聲器幾何形狀之單元。佈局判定單元44可將局部揚聲器幾何形狀分類至以上描述的三個種類中之一者：1)單聲道揚聲器幾何形狀，2)立體聲揚聲器幾何形狀，3)水平多聲道揚聲器幾何形狀，及4)三維多聲道揚聲器幾何形狀。佈局判定單元44可將指示局部揚聲器 幾何形狀最遵守三個種類中之哪一者的分類資訊45傳達至渲染器產生單元46。
渲染器產生單元46可表示經組態以基於分類資訊45及局部揚聲器幾何形狀資訊41產生渲染器34之單元。渲染器產生單元46可包括一單聲道渲染器產生單元48D、立體聲渲染器產生單元48A、水平渲染器產生單元48B及三維(3D)渲染器產生單元48C。單聲道渲染器產生單元48A可表示經組態以基於局部揚聲器幾何形狀資訊41產生單聲道渲染器之單元。立體聲渲染器產生單元48A可表示經組態以基於局部揚聲器幾何形狀資訊41產生立體聲渲染器之單元。以下關於圖6之實例更詳細地描述由立體聲渲染器產生單元48A使用之過程。水平渲染器產生單元48B可表示經組態以基於局部揚聲器幾何形狀資訊41產生水平多聲道渲染器之單元。以下關於圖7之實例更詳細地描述由水平渲染器產生單元48B使用之過程。3D渲染器產生單元48C可表示經組態以基於局部揚聲器幾何形狀資訊41產生3D多聲道渲染器之單元。以下關於圖8及圖9之實例更詳細地描述由水平渲染器產生單元48B使用之過程。
圖5為說明在執行本發明中描述的技術之各種態樣過程中的在圖4之實例中展示的渲染器判定單元40之例示性操作之流程圖。圖5之流程圖大體概括了由以上關於圖4描述之渲染器判定單元40執行的操作，惟一些微小的標記法改變除外。在圖5之實例中，渲染器旗標指音訊渲染資訊39之一特定實例。「SHC階」指SHC之最大階。「立體聲渲染器」可指立體聲渲染器產生單元48A。「水平渲染器」可指水平渲染器產生單元48B。「3D渲染器」可指3D渲染器產生單元48C。「渲染器矩陣」可指渲染器選擇單元42。
如在圖5之實例中展示，渲染器選擇單元42可接收判定可表示為渲染器旗標39'之渲染器旗標是否存在於位元串流31(或與位元串流31 相關聯之其他旁側聲道資訊)中(60)。當渲染器旗標39'存在於位元串流31中時(「是」60)，渲染器選擇單元42可基於渲染器旗標39'自潛在的複數個渲染器選擇渲染器，且將選定渲染器作為渲染器34輸出(62、64)。
當渲染器旗標39'不存在於位元串流中時(「否」60)，渲染器選擇單元42可調用可判定局部揚聲器幾何形狀資訊41之渲染器判定單元40。基於局部揚聲器幾何形狀資訊41，渲染器判定單元40可調用單聲道渲染器判定單元48D、揚聲器渲染器判定單元48A、水平渲染器判定單元48B及3D渲染器判定單元48C中之一者。
當局部揚聲器幾何形狀資訊41指示單聲道局部揚聲器幾何形狀時，渲染器判定單元40可調用單聲道渲染器判定單元48D，該單聲道渲染器判定單元可判定單聲道渲染器(潛在地基於SHC階)且將單聲道渲染器作為渲染器34輸出(66、64)。當局部揚聲器幾何形狀資訊41指示立體聲局部揚聲器幾何形狀時，渲染器判定單元40可調用立體聲渲染器判定單元48A，該立體聲渲染器判定單元可判定立體聲渲染器(潛在地基於SHC階)且將立體聲渲染器作為渲染器34輸出(68、64)。當局部揚聲器幾何形狀資訊41指示水平局部揚聲器幾何形狀時，渲染器判定單元40可調用水平渲染器判定單元48B，該水平渲染器判定單元可判定水平渲染器(潛在地基於SHC階)且將水平渲染器作為渲染器34輸出(70、64)。當局部揚聲器幾何形狀資訊41指示立體聲局部揚聲器幾何形狀時，渲染器判定單元40可調用3D渲染器判定單元48C，該3D渲染器判定單元可判定3D渲染器(潛在地基於SHC階)且將3D渲染器作為渲染器34輸出(72、64)。
以此方式，該等技術可使渲染器判定單元40能夠判定用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一局部揚聲器幾何形狀，及基於該局部揚聲器幾何形狀判定一二維或三維渲染器。
圖6為說明在圖4之實例中展示的立體聲渲染器產生單元48A之例示性操作之流程圖。在圖6之實例中，立體聲渲染器產生單元48A可接收局部揚聲器幾何形狀資訊41(100)，且接著判定揚聲器相對於在可被當作一給定揚聲器幾何形狀之「甜點」的位置的收聽者位置之間之角距離(102)。立體聲渲染器產生單元48A可接著計算受球型諧波係數之HOA/SHC階限制的最高所允許階(104)。立體聲渲染器產生單元48A可接下來基於判定之所允許階產生相等間隔之方位角(106)。
立體聲渲染器產生單元48A可接著在形成二維(2D)渲染器之虛擬或真實揚聲器之位置處取樣球型基底函數。立體聲渲染器產生單元48A可接著執行此2D渲染器之擬逆(在矩陣數學之上下文中來理解)(108)。在數學上，此2D渲染器可由以下矩陣表示：
此矩陣之大小可為V列乘(n+1)2，其中V表示虛擬揚聲器之數目，且n表示SHC階。(．)為階n之(第二種類之)球型漢克爾函數。(θ r ,φ r )為階n且子階m之球型諧波基底函數。{θ r ,φ r }為就球型座標而言之參考點(或觀測點)。
立體聲渲染器產生單元48A可接著向右邊位置及向左邊位置旋轉方位角，從而產生兩個不同2D渲染器(110、112)且接著將其組合成2D渲染器矩陣(114)。立體聲渲染器產生單元48A可接著將此2D渲染器矩陣轉換至3D渲染器矩陣(116)，且零填補所允許階(在圖6之實例中，表示為order')與階n之間的差(120)。立體聲渲染器產生單元48A可接著執行關於3D渲染器矩陣之能量保存(122)，輸出此3D渲染器矩陣 (124)。
以此方式，該等技術可使立體聲渲染器產生單元48A能夠基於SHC階及左揚聲器位置與右揚聲器位置之間的角距離產生立體聲渲染矩陣。立體聲渲染器產生單元48A可接著旋轉渲染矩陣之前位置以匹配左揚聲器位置且接著匹配右揚聲器位置，且接著組合此等左及右矩陣以形成最終渲染矩陣。
圖7為說明在圖4之實例中展示的水平渲染器產生單元48B之例示性操作之流程圖。在圖7之實例中，水平渲染器產生單元48B可接收局部揚聲器幾何形狀資訊41(130)，且接著找到揚聲器相對於在可被當作一給定揚聲器幾何形狀之「甜點」的位置的收聽者位置之間的角距離(132)。水平渲染器產生單元48B可接著計算最小角距離及最大角距離，將最小角距離與最大角距離比較(134)。當最小角距離相等(或在某一角臨限範圍內大致相等)時，水平渲染器產生單元48B判定局部揚聲器幾何形狀為規則的。當最小角距離並不等於(或在某一角臨限範圍內大致等於)最大角距離時，水平渲染器產生單元48B可判定局部揚聲器幾何形狀為不規則的。
首先考慮將局部揚聲器幾何形狀判定為規則的情況，水平渲染器產生單元48B可計算最高所允許階，其受到球型諧波係數之HOA/SHC階限制，如上所述(136)。水平渲染器產生單元48B可接下來產生2D渲染器之擬逆(138)，將2D渲染器之此擬逆轉換至3D渲染器(140)，且零填補3D渲染器(142)。
接下來考慮當將局部揚聲器幾何形狀判定為不規則時，水平渲染器產生單元48B可計算最高所允許階，其受到球型諧波係數之HOA/SHC階限制，如上所述(144)。水平渲染器產生單元48B可接著基於所允許階產生相等間隔之方位角(146)以產生2D渲染器。水平渲染器產生單元48B可執行2D渲染器之擬逆(148)，且執行可選開窗操作 (150)。在一些情況下，水平渲染器產生單元48B可不執行開窗操作。無論如何，水平渲染器產生單元48B亦可平移增益，從而將方位角置於與真實方位角相等(不規則揚聲器幾何形狀之真實方位角，152)，且執行擬逆2D渲染器與平移之增益的矩陣相乘(154)。在數學上，平移增益矩陣可表示執行向量基振幅平移(VBAP)的大小為R×V之VBAP矩陣，其中V再次表示虛擬揚聲器之數目，且R表示真實揚聲器之數 目。VBAP矩陣可指定如下：。可將乘法表達如下： 。水平渲染器產生單元48B可接著將矩陣相乘之輸 出(其為2D渲染器)轉換至3D渲染器(156)，且接著零填補3D渲染器，再次如上所述(158)。
雖然以上描述為執行一特定類型之平移以將虛擬揚聲器映射至真實揚聲器，但可關於將虛擬揚聲器映射至真實揚聲器之任一方式執行該等技術。結果，可將矩陣表示為具有R×V之大小的「虛擬至真實揚聲器映射矩陣」。該乘法可因此更通常地表達為：
此Virtual_to_Real_Speaker_Mapping_Matrix可表示可將虛擬揚聲器映射至真實揚聲器之任何平移或其他矩陣，包括包括用於執行向量基振幅平移(VBAP)的矩陣中之一或多者、用於執行基於距離之振幅平移(DBAP)的矩陣中之一或多者、用於執行簡單平移的矩陣中之一或多者、用於執行近場補償(NFC)濾波的矩陣中之一或多者及/或用於執行波場合成的矩陣中之一或多者。
不管產生規則3D渲染器或是不規則3D渲染器，水平渲染器產生單元48B可執行關於規則3D渲染器或不規則3D渲染器之能量保存 (160)。在一些實例但非所有實例中，水平渲染器產生單元48B可執行基於3D渲染器之空間性質的最佳化(162)，輸出此最佳化之3D或未最佳化之3D渲染器(164)。
在水平之子種類中，系統可因此通常偵測揚聲器之幾何形狀經規則地間隔或是不規則地間隔，且接著基於擬逆或AllRAD方法創造渲染矩陣。AllRAD方法更詳細地論述於在2013年3月18日至21日在Merano之AIA-DAGA期間提出的Franz Zotter等人之題為「Comparison of energy-preserving and all-round Ambisonic decoders」之論文中。在立體聲子種類中，藉由基於HOA階及左與右揚聲器位置之間的角距離創造針對規則水平之渲染器矩陣來產生渲染矩陣。接著旋轉渲染矩陣之前位置以匹配左揚聲器位置且接著右揚聲器位置，且接著經組合以形成最終渲染矩陣。
圖8A及圖8B為說明在圖4之實例中展示的3D渲染器產生單元48C之例示性操作之流程圖。在圖8A之實例中，3D渲染器產生單元48C可接收局部揚聲器幾何形狀資訊41(170)，且接著使用第一階之幾何形狀及HOA/SHC階n之幾何形狀判定球型諧波基底函數(172、174)。3D渲染器產生單元48C可接著判定第一階及較少基底函數及與大於一階但小於或等於n之球型基底函數相關聯的彼等基底函數之條件數(176、178)。3D渲染器產生單元48C可接著將兩個條件值與所謂的「規則值」比較(180)，規則值可表示具有(在一些實例中)1.05之值的臨限值。
當兩個條件值低於規則值時，3D渲染器產生單元48C可判定局部揚聲器幾何形狀為規則的(在某一意義上，自左至右及自前至右對稱，具有相等間隔之揚聲器)。當兩個條件值皆不低於或小於規則值時，3D渲染器產生單元48C可將自第一階及較少球型基底函數計算之條件值與規則值比較(182)。當此第一階或較少條件數小於規則值時 (「是」182)，3D渲染器產生單元48C判定局部揚聲器幾何形狀幾乎規則(或如在圖8之實例中展示，「幾乎規則」)。當此第一階或較少條件數不低於規則值時(「否」182)，3D渲染器產生單元48C判定局部幾何形狀不規則。
當判定局部揚聲器幾何形狀規則時，3D渲染器產生單元48C以類似於以上關於規則3D矩陣判定(關於圖7之實例闡明)描述之方式的方式判定3D渲染矩陣，惟3D渲染器產生單元48C針對揚聲器之多個水平平面產生此矩陣除外(184)。當將局部揚聲器幾何形狀判定為幾乎規則時，3D渲染器產生單元48C以類似於以上關於不規則2D矩陣判定(關於圖7之實例闡明)描述之方式的方式判定3D渲染矩陣，惟3D渲染器產生單元48C針對揚聲器之多個水平平面產生此矩陣除外(186)。當將局部揚聲器幾何形狀判定為不規則時，3D渲染器產生單元48C以類似於在題為「PERFORMING 2D AND/OR 3D PANNING WITH RESPECT TO HEIRARCHICAL SETS OF ELEMENTS」之美國臨時申請案U.S.61/762,302中描述之方式的方式判定3D渲染矩陣，惟稍微修改以適應此判定之更一般本質除外(其中本發明之技術不限於如藉由此臨時申請案中之實例提供的22.2揚聲器幾何形狀，188)。
與產生規則、幾乎規則或是不規則3D渲染矩陣無關，3D渲染器產生單元48C關於產生之矩陣執行能量保存(190)，接著為(在一些情況下)基於3D渲染矩陣之空間性質最佳化此3D渲染矩陣(192)。3D渲染器產生單元48C可接著將此渲染器作為渲染器34輸出(194)。
結果，在三維情況下，系統可偵測規則(使用擬逆)、幾乎規則(亦即，在第一階規則，但在HOA階不規則，且使用AllRAD方法)或最後不規則(此係基於以上參考之美國臨時申請案U.S.61/762,302，但實施為潛在更一般之方法)。三維不規則過程188可在適當時針對由揚聲器涵蓋之區產生3D-VBAP三角量測、在頂部底部處之高及低平移 環、水平頻帶、伸長因數等以創造包絡渲染器用於不規則的三維收聽。所前前述選項可使用能量保存，使得幾何形狀之間的在工作中切換具有相同的察覺到之能量。多數不規則或幾乎不規則選擇使用可選球型諧波開窗。
圖8B為說明在判定3D渲染器以用於經由不規則3D局部揚聲器幾何形狀播放音訊內容過程中的3D渲染器判定單元48C之操作之流程圖。如在圖8B之實例中展示，3D渲染器判定單元48C可計算最高所允許階，其受到球型諧波係數之HOA/SHC階限制，如上所述(196)。3D渲染器產生單元48C可接著基於所允許階產生相等間隔之方位角(198)以產生3D渲染器。3D渲染器產生單元48C可執行3D渲染器之擬逆(200)，且執行可選開窗操作(202)。在一些情況下，3D渲染器產生單元48C可不執行開窗操作。
3D渲染器判定單元48C亦可執行下半球處理及上半球處理，如以下關於圖9更詳細地描述(204、206)。3D渲染器判定單元48C可當執行下半球處理及上半球處理時產生半球資料(其在以下更詳細地描述)，該半球資料指示「拉伸」在真實揚聲器之間的角距離之量、可指定平移極限以限制平移至某些臨限高度之2D平移極限及可指定揚聲器被視為在同一水平平面中之水平高度的水平頻帶量。
在一些情況下，3D渲染器判定單元48C可執行3D VBAP操作以建構3D VBAP三角形，同時可基於來自下半球處理及上半球處理中之一或多者的半球資料「拉伸」局部揚聲器幾何形狀(208)。3D渲染器判定單元48C可拉伸在一給定半球內之真實揚聲器角距離以涵蓋更多空間。3D渲染器判定單元48C亦可識別下半球及上半球之2D平移對(210、212)，其中此等對分別識別在下半球及上半球中之每一虛擬揚聲器的兩個真實揚聲器。3D渲染器判定單元48C可接著循環經由當產生同等間隔之幾何形狀時識別的每一規則幾何形狀位置，且基於下半 球及上半球虛擬揚聲器之2D平移對及3D VBAP三角形，執行以下分析(214)。
3D渲染器判定單元48C可判定虛擬揚聲器是否在用於下半球及上半球之半球資料中的指定之上部及下部水平頻帶值內(216)。當虛擬揚聲器在此等頻帶值(「是」216)內時，3D渲染器判定單元48C將此等虛擬操之高度設定至零(218)。換言之，3D渲染器判定單元48C可識別下半球及上半球中靠近在所謂的「甜點」周圍將球一分為二之中間水平平面之虛擬揚聲器，且將此等虛擬揚聲器之位置設定為在此水平平面上。在將此等虛擬揚聲器位置設定至零後或當虛擬揚聲器不在上部及下部水平頻帶值內時(「否」216)，3D渲染器判定單元48C可執行3D VBAP平移(或將虛擬揚聲器映射至真實揚聲器之任一其他形式或方式)以沿著中間水平平面產生用以將虛擬揚聲器映射至真實揚聲器的3D渲染器之水平平面部分。
3D渲染器判定單元48C可當循環經由虛擬揚聲器之每一規則幾何形狀位置時評估在下半球中之彼等虛擬揚聲器以判定此等下半球虛擬揚聲器是否低於在下半球資料中指定之下半球高度極限(222)。3D渲染器判定單元48C可執行關於上半球虛擬揚聲器之類似評估以判定此等上半球虛擬揚聲器是否高於在上半球資料中指定之上半球高度極限(224)。當在下半球虛擬揚聲器之情況下低或在上半球虛擬揚聲器之情況下高時(「是」226、228)，3D渲染器判定單元48C可分別藉由經識別之下部對及上部對執行平移(230、232)，從而有效地創造可被稱作平移環之物，該平移環裁剪虛擬揚聲器之高度，且將其在高於給定半球之水平頻帶之真實揚聲器之間平移。
3D渲染器判定單元48C可接著組合3D VBAP平移矩陣與下部對平移矩陣及上部對平移矩陣(234)，且執行矩陣相乘以用組合之平移矩陣矩陣乘以3D渲染器(236)。3D渲染器判定單元48C可接著零填補所 允許階(在圖6之實例中，表示為order')與階n之間的差(238)，從而輸出不規則3D渲染器。
以此方式，該等技術可使渲染器判定單元40能夠判定球型諧波係數相關聯的球型基底函數之所允許階，該所允許階識別需要渲染之彼等球型諧波係數，且基於判定之所允許階判定渲染器。
在一些實例中，渲染器判定單元40，允許階識別若給定用於播放球型諧波係數的揚聲器之判定之局部揚聲器幾何形狀則需要渲染之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定渲染器時判定該渲染器，使得渲染器僅渲染與具有小於或等於判定之所允許階的階之球型基底函數相關聯之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可，允許階小於球型諧波係數相關聯的球型基底函數之最大階N。
在一些實例中，渲染器判定單元40可使用判定之渲染器來渲染球型諧波係數以產生多聲道音訊資料。
在一些實例中，渲染器判定單元40可判定用於播放球型諧波係數的一或多個揚聲器之局部揚聲器幾何形狀。當判定渲染器時，渲染器判定單元40可基於判定之所允許階及局部揚聲器幾何形狀判定渲染器。
在一些實例中，渲染器判定單元40可當基於局部揚聲器幾何形狀判定渲染器時判定立體聲渲染器以當局部揚聲器幾何形狀與立體聲揚聲器幾何形狀一致時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當基於局部揚聲器幾何形狀判定渲染器時判定水平多聲道渲染器以當局部揚聲器幾何形狀與具有兩個以上揚聲器之水平多聲道揚聲器幾何形狀一致時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定水平多聲道渲染器時判定一不規則的水平多聲道渲染器以當判定之局部揚聲器幾何形狀指示不規則的揚聲器幾何形狀時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定水平多聲道渲染器時判定一規則的水平多聲道渲染器以當判定之局部揚聲器幾何形狀指示規則的揚聲器幾何形狀時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當基於局部揚聲器幾何形狀判定渲染器時判定三維多聲道渲染器以當局部揚聲器幾何形狀與在一個以上水平平面上具有兩個以上揚聲器之三維多聲道揚聲器幾何形狀一致時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定三維多聲道渲染器時判定一不規則的三維多聲道渲染器以當判定之局部揚聲器幾何形狀指示不規則的揚聲器幾何形狀時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定三維多聲道渲染器時判定一幾乎規則的三維多聲道渲染器以當判定之局部揚聲器幾何形狀指示幾乎規則的揚聲器幾何形狀時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定三維多聲道渲染器時判定一規則的三維多聲道渲染器以當判定之局部揚聲器幾何形狀指示規則的揚聲器幾何形狀時渲染所允許階之彼等球型諧波係數。
在一些實例中，渲染器判定單元40可當判定一或多個揚聲器之局部揚聲器幾何形狀時自收聽者接收指定描述局部揚聲器幾何形狀之局部揚聲器幾何形狀資訊的輸入。
在一些實例中，渲染器判定單元40可當判定一或多個揚聲器之局部揚聲器幾何形狀時經由圖形使用者介面自收聽者接收指定描述局部揚聲器幾何形狀之局部揚聲器幾何形狀資訊的輸入。
在一些實例中，渲染器判定單元40可當判定一或多個揚聲器之局部揚聲器幾何形狀時自動判定描述局部揚聲器幾何形狀之局部揚聲器幾何形狀資訊。
圖9為說明在當判定不規則3D渲染器時執行下部半球處理及上部半球處理過程中的在圖4之實例中展示的3D渲染器產生單元48C之例示性操作之流程圖。關於在圖9之實例中展示之過程的更多資訊可在以上參考之美國臨時申請案U.S.61/762,302中發現。在圖9之實例中展示之過程可表示以上關於圖8B描述之下半球或上半球處理。
一開始，3D渲染器判定單元48C可接收局部揚聲器幾何形狀資訊41且判定第一半球真實揚聲器位置(250、252)。3D渲染器判定單元48C可接著將第一半球複製至相對的半球上，且使用用於HOA階之幾何形狀產生球型諧波(254、256)。3D渲染器判定單元48C可判定可指示局部揚聲器幾何形狀之規則性(或均勻性)的條件數(258)。當條件數小於臨限數或真實揚聲器之間的最大絕對值高度差等於90度時(「是」260)，3D渲染器判定單元48C可判定半球資料，該半球資料包括拉伸值零、sign(90)之2D平移極限值及水平頻帶值零(262)。如上指出，拉伸值指示「拉伸」真實揚聲器之間的角距離之量，2D平移極限可指定限制平移至某些臨限值高度之平移極限，且水平頻帶量可指定揚聲器被視為在同一水平平面中之水平高度頻帶。
3D渲染器判定單元48C亦可判定最高/最低(取決於執行上半球或是下半球處理)揚聲器的方位角之角距離(264)。當條件數大於臨限數或真實揚聲器之間的最大絕對值高度差不等於90度時(「是」260)，3D渲染器判定單元48C可判定最大絕對值高度差是否大於零且最大角距離是否小於臨限角距離(266)。當最大絕對值高度差大於零且最大角距離小於臨限角距離時(「是」266)，3D渲染器判定單元48C可接著判定高度之最大絕對值是否大於70(268)。
當高度之最大絕對值大於70時(「是」268)，3D渲染器判定單元48C判定包括等於零之拉伸值、等於高度之絕對值之最大者之正負號的2D平移極限及等於零之水平頻帶值的半球資料(270)。當高度之最大絕對值小於或等於70時(「否」268)，3D渲染器判定單元48C可判定包括以下各者之半球資料：等於10減高度之最大絕對值乘70乘10的拉伸值、等於高度之絕對值之最大者減拉伸值的正負號形式之2D平移極限及等於高度之最大絕對值乘0.1的正負號形式之水平頻帶值(272)。
當最大絕對值高度差小於或等於零或最大角距離大於或等於臨限角距離時(「否」266)，3D渲染器判定單元48C可接著判定高度之絕對值之最小者等於零(274)。當高度之絕對值之最小者等於零時(「是」274)，3D渲染器判定單元48C可判定包括以下各者之半球資料：等於零之拉伸值、等於零之2D平移極限、等於零之水平頻帶值及識別其高度等於零的真實揚聲器之索引之界限半球值(276)。當高度之絕對值之最小者不等於零時(「否」274)，3D渲染器判定單元48C可判定界限半球值等於最低高度揚聲器之索引(278)。3D渲染器判定單元48C可接著判定高度之最大絕對值是否大於70(280)。
當高度之最大絕對值大於70時(「是」280)，3D渲染器判定單元48C可判定包括等於零之拉伸值、等於高度之絕對值之最大者之正負號形式的2D平移極限及等於零之水平頻帶值的半球資料(282)。當高度之最大絕對值小於或等於70時(「否」280)，3D渲染器判定單元48C可判定包括以下各者之半球資料：等於10減高度之最大絕對值乘70乘10的拉伸值、等於高度之絕對值之最大者減拉伸值的正負號形式之2D平移極限及等於高度之最大絕對值乘0.1的正負號形式之水平頻帶值(282)。
圖10為說明展示可根據本發明中闡明之技術產生立體聲渲染器 之方式的在單元空間中之曲線圖299之圖。如在圖10之實例中所展示，虛擬揚聲器300A-300H係按均勻幾何形狀配置於將單元球一分為二之水平平面(在所謂的「甜點」周圍居中)的圓周周圍。實體揚聲器302A及302B係按30度及-30度(分別地)之角距離定位，如自虛擬揚聲器300A量測。立體聲渲染器判定單元48A可判定按以上更詳細地描述之方式將虛擬揚聲器300A映射至實體揚聲器302A及302B的立體聲渲染器34。
圖11為說明展示可根據本發明中闡明之技術產生不規則水平渲染器之方式的在單元空間中之曲線圖304之圖。如在圖11之實例中所展示，虛擬揚聲器300A-300H係按均勻幾何形狀配置於將單元球一分為二之水平平面(在所謂的「甜點」周圍居中)的圓周周圍。實體揚聲器302A-302D(「實體揚聲器302」)不規則地定位於水平平面之圓周周圍。水平渲染器判定單元48B可判定按以上更詳細地描述之方式將虛擬揚聲器300A-300H(「虛擬揚聲器300」)映射至實體揚聲器302的不規則水平渲染器34。
水平渲染器判定單元48B可將虛擬揚聲器300映射至真實揚聲器302中最靠近虛擬揚聲器中之每一者(就具有最小角距離而言)的兩者。映射闡明於下表中：
圖12A及圖12B為說明展示可根據本發明中闡明之技術產生不規則3D渲染器之方式的曲線圖306A及306B之圖。在圖12A之實例中， 曲線圖306A包括拉伸之揚聲器位置308A-308H(「拉伸之揚聲器位置308」)。3D渲染器判定單元48C可按以上關於圖9之實例描述的方式識別具有拉伸之真實揚聲器位置308的半球資料。曲線圖306A亦展示相對於拉伸之揚聲器位置308的真實揚聲器位置302A-302H(「真實揚聲器位置302」)，其中在一些情況下，真實揚聲器位置302與拉伸之揚聲器位置308相同，且在其他情況下，真實揚聲器位置302不與拉伸之揚聲器位置308相同。
曲線圖306A亦包括表示上部2D平移對之上部2D平移內插線310A及表示下部2D平移對之下部2D平移內插線310B，以上關於圖8之實例更詳細地描述了其中之每一者。簡要地，3D渲染器判定單元48C可基於上部2D平移對判定上部2D平移內插線310A，且基於下部2D平移對判定下部2D平移內插線310B。上部2D平移內插線310A可表示上部2D平移矩陣，而下部2D平移內插線310B可表示下部2D平移矩陣。如上所述之此等矩陣可接著與3D VBAP矩陣及規則幾何形狀渲染器組合以產生不規則的3D渲染器34。
在圖12B之實例中，曲線圖306B將虛擬揚聲器300添加至曲線圖306A，其中虛擬揚聲器300未在形式上表示於圖12B之實例中以避免與演示虛擬揚聲器300至拉伸之揚聲器位置308的映射之線不必要地混淆。通常，如上所述，3D渲染器判定單元48C將虛擬揚聲器300中之每一者映射至拉伸之揚聲器位置308中的具有最靠近虛擬揚聲器之角距離之兩者或兩者以上，類似於在圖11及圖12之水平實例中所展示之情況。不規則3D渲染器可因此以在圖12B之實例中展示之方式將虛擬揚聲器映射至拉伸之揚聲器位置。
在第一實例中，該等技術可因此提供一器件(諸如，音訊播放系統32)，其包含用於判定用於表示聲場之球型諧波係數之播放的一或多個揚聲器之局部揚聲器幾何形狀之構件(例如，渲染器判定單元 40)，及用於基於局部揚聲器幾何形狀判定二維或三維渲染器之構件(例如，渲染器判定單元40)。
在第二實例中，第一實例之器件可進一步包含用於使用判定之二級或三維渲染器產生多聲道音訊資料來渲染球型諧波係數之構件(例如，音訊渲染器34)。
在第三實例中，第一實例之器件，其中用於基於局部揚聲器幾何形狀判定二維或三維渲染器之構件可包含用於當局部揚聲器幾何形狀與立體聲揚聲器幾何形狀一致時判定二維立體聲渲染器之構件(例如，立體聲渲染器產生單元48A)。
在第四實例中，第一實例之器件，其中用於基於局部揚聲器幾何形狀判定二維或三維渲染器之構件包含用於當局部揚聲器幾何形狀與具有兩個以上揚聲器之水平多聲道揚聲器幾何形狀一致時判定水平二維多聲道渲染器之構件(例如，水平渲染器產生單元48B)。
在第五實例中，第四實例之器件，其中用於判定水平二維多聲道渲染器之構件包含用於當判定之局部揚聲器幾何形狀指示不規則揚聲器幾何形狀時判定不規則水平二維多聲道渲染器之構件，如關於圖7之實例所描述。
在第六實例中，第四實例之器件，其中用於判定水平二維多聲道渲染器之構件包含用於當判定之局部揚聲器幾何形狀指示規則揚聲器幾何形狀時判定規則水平二維多聲道渲染器之構件，如關於圖7之實例所描述。
在第七實例中，第一實例之器件，其中用於基於局部揚聲器幾何形狀判定二維或三維渲染器之構件包含用於當局部揚聲器幾何形狀與在一個以上水平平面上具有兩個以上揚聲器之三維多聲道揚聲器幾何形狀一致時判定三維多聲道渲染器之構件(例如，3D渲染器產生單元48C)。
在第八實例中，第七實例之器件，其中用於判定三維多聲道渲染器之構件包含用於當判定之局部揚聲器幾何形狀指示不規則揚聲器幾何形狀時判定不規則三維多聲道渲染器之構件，如以上關於圖8A及圖8B之實例所描述。
在第九實例中，第七實例之器件，其中用於判定三維多聲道渲染器之構件包含用於當判定之局部揚聲器幾何形狀指示幾乎規則揚聲器幾何形狀時判定幾乎規則三維多聲道渲染器之構件，如以上關於圖8A之實例所描述。
在第十實例中，第七實例之器件，其中用於判定三維多聲道渲染器之構件包含用於當判定之局部揚聲器幾何形狀指示規則揚聲器幾何形狀時判定規則三維多聲道渲染器之構件，如以上關於圖8A之實例所描述。
在第十一實例中，第一實例之器件，其中用於判定渲染器之構件包含用於判定球型諧波係數相關聯的球型基底函數之所允許階之構件，該所允許階識別若給定判定之局部揚聲器幾何形狀則需要渲染之彼等球型諧波係數，及用於基於判定之所允許階判定渲染器之構件，如上關於圖5至圖8B之實例所描述。
在第十二實例中，第一實例之器件，其中用於判定二維或三維渲染器之構件包含用於判定球型諧波係數相關聯的球型基底函數之所允許階之構件，該所允許階識別若給定判定之局部揚聲器幾何形狀則需要渲染之彼等球型諧波係數；及用於判定二維或三維渲染器使得該二維或三維渲染器僅渲染與具有小於或等於判定之所允許階之階的球型基底函數相關聯之彼等球型諧波係數之構件，如以上關於圖5至圖8B之實例所描述。
在第十三實例中，第一實例之器件，其中用於判定一或多個揚聲器之局部揚聲器幾何形狀之構件包含用於自收聽者接收指定描述局 部揚聲器幾何形狀之局部揚聲器幾何形狀資訊的輸入之構件。
在第十四實例中，第一實例之器件，其中基於局部揚聲器幾何形狀判定二維或三維渲染器包含用於當局部揚聲器幾何形狀與單聲道揚聲器幾何形狀一致時判定單聲道渲染器之構件(例如，單聲道渲染器判定單元48D)。
圖13A至圖13D為說明根據本發明描述之技術形成的位元串流31A至31D。在圖13A之實例中，位元串流31A可表示在圖3之實例中展示的位元串流31之一實例。位元串流31A包括音訊渲染資訊39A，其包括定義信號值54之一或多個位元。此信號值54可表示以下描述之類型的資訊之任何組合。位元串流31A亦包括音訊內容58，其可表示音訊內容51之一實例。
在圖13B之實例中，位元串流31B可類似於位元串流31A，其中信號值54包含一索引54A、定義傳訊之矩陣的列大小54B之一或多個位元、定義傳訊之矩陣的行大小54C之一或多個位元及矩陣係數54D。可使用兩個至五個位元來定義索引54A，而可使用兩個至十六個位元來定義列大小54B及行大小54C中之每一者。
提取器件38可提取索引54A，且判定索引是否傳訊矩陣包括於位元串流31B中(其中諸如0000或1111之某些索引值可傳訊矩陣明確地指定於位元串流31B中)。在圖13B之實例中，位元串流31B包括一索引54A，其傳訊該矩陣是否明確地指定於位元串流31B中。結果，提取器件38可提取列大小54B及行大小54C。提取器件38可經組態以計算位元數目以剖析其表示作為列大小54B、行大小54C及每一矩陣係數的傳訊(未在圖13A中所示)或明確之位元大小之函數的矩陣係數。使用判定之數目個位元，提取器件38可提取矩陣係數54D，音訊播放器件24可使用該等矩陣係數組態音訊渲染器34中之一者，如上所述。雖然展示為在位元串流31B中單一次地傳訊音訊渲染資訊39B，但音訊 渲染資訊39B可多次地在位元串流31B中或至少部分或全部地在分開的頻帶外聲道中傳訊(在一些情況下，作為可選資料)。
在圖13C之實例中，位元串流31C可表示在以上圖3之實例中展示的位元串流31之一實例。位元串流31C包括音訊渲染資訊39C，其包括在此實例中指定演算法索引54E之信號值54。位元串流31C亦包括音訊內容58。可使用兩個至五個位元來定義演算法索引54E(如上指出)，其中此演算法索引54E可識別當渲染音訊內容58時待使用之渲染演算法。
提取器件38可提取演算法索引50E，且判定演算法索引54E是否傳訊矩陣包括於位元串流31C中(其中諸如0000或1111之某些索引值可傳訊矩陣明確地指定於位元串流31C中)。在圖8C之實例中，位元串流31C包括傳訊矩陣未明確地指定於位元串流31C中之演算法索引54E。結果，提取器件38將演算法索引54E轉遞至音訊播放器件，該音訊播放器件選擇該等渲染演算法(其在圖3及圖4之實例中表示為渲染器34)中之對應者(若可用)。雖然展示為在位元串流31C中單一次地傳訊音訊渲染資訊39C(在圖13C之實例中)，但音訊渲染資訊39C可多次地在位元串流31C中或至少部分或全部地在分開的頻帶外聲道中傳訊(在一些情況下，作為可選資料)。
在圖13D之實例中，位元串流31C可表示在以上圖4、圖5及圖8中展示的位元串流31之一實例。位元串流31D包括音訊渲染資訊39D，其包括在此實例中指定矩陣索引54F之信號值54。位元串流31D亦包括音訊內容58。可使用兩個至五個位元來定義矩陣索引54F(如上指出)，其中此矩陣索引54F可識別當渲染音訊內容58時待使用之渲染演算法。
提取器件38可提取矩陣索引50F，且判定矩陣索引54F是否傳訊矩陣包括於位元串流31D中(其中諸如0000或1111之某些索引值可傳訊 矩陣明確地指定於位元串流31C中)。在圖8D之實例中，位元串流31D包括傳訊矩陣未明確地指定於位元串流31D中之矩陣索引54F。結果，提取器件38將矩陣索引54F轉遞至音訊播放器件，音訊播放器件選擇渲染器34中之對應者(若可用)。雖然展示為在位元串流31D中單一次地傳訊音訊渲染資訊39D(在圖13D之實例中)，但音訊渲染資訊39D可多次地在位元串流31D中或至少部分或全部地在分開的頻帶外聲道中傳訊(在一些情況下，作為可選資料)。
圖14A及圖14B為可執行本發明中描述的技術之各種態樣之一3D渲染器判定單元48C之另一實例。亦即，3D渲染器判定單元48C可表示一單元，該單元經組態以當產生再生聲場之第一複數個揚聲器聲道信號時，當虛擬揚聲器係按球幾何形狀配置得比將球幾何形狀一分為二之水平平面低時將虛擬揚聲器投影至水平平面上之位置，且對描述該聲場的元素之一階層集合執行二維平移，使得再生之聲場包括顯得源自虛擬揚聲器之投影之位置的至少一聲音。
在圖14A之實例中，3D渲染器判定單元48C可接收SHC 27'且調用虛擬揚聲器渲染器350，該虛擬揚聲器渲染器可表示經組態以執行虛擬揚聲器t設計渲染之單元。虛擬揚聲器渲染器350可渲染SHC 27'且針對給定數目個虛擬揚聲器(例如，22或32)產生揚聲器聲道信號。
3D渲染器判定單元48C進一步包括一球型加權單元352、一上半球3D平移單元354、一耳朵層面2D平移單元356及一下半球2D平移單元358。球型加權單元352可表示經組態以加權某些聲道之單元。上半球3D平移單元354表示經組態以對經球型加權之虛擬揚聲器聲道信號執行3D平移以將此等信號在各種上半球實體(或換言之，真實)揚聲器間平移之單元。耳朵層面2D平移單元356表示經組態以對經球型加權之虛擬揚聲器聲道信號執行2D平移以將此等信號在各種耳朵層面實體(或換言之，真實)揚聲器間平移之單元。下半球2D平移單元358表 示經組態以對經球型加權之虛擬揚聲器聲道信號執行2D平移以將此等信號在各種下半球實體(或換言之，真實)揚聲器間平移之單元。
在圖14B之實例中，3D渲染判定單元48C'可類似於在圖14B中展示之3D渲染判定單元，惟3D渲染判定單元48C'可不執行球型加權或另外包括球型加權單元352除外。
無論如何，藉由假定每一揚聲器產生球型波來計算揚聲器饋入。在此情境下，歸因於第l個揚聲器在某一位置r,θ,φ處之壓力(作為頻率之函數)由以下給出 其中{r l ,θ l ,φ l }表示第l個揚聲器之位置，且g l (ω)為第l個揚聲器之揚聲器饋入(在頻域中)。歸因於所有五個揚聲器之總壓力P t 因此由以下給出
吾人亦知曉，就五個SHC而言之總壓力由以下等式給出
使以上兩個等式相等允許吾人使用變換矩陣來表達揚聲器饋入(就SHC而言)，如下：
此表達展示在五個揚聲器饋入與經選擇之SHC之間存在直接關係。該變換矩陣可取決於(例如)哪一SHC用於子集(例如，基本集合)中且使用SH基底函數之哪一定義而變化。以類似方式，可建構自選定基本集合轉換至不同聲道格式(例如，7.1、22.2)之變換矩陣。
雖然以上表達中之變換矩陣允許自揚聲器饋入至SHC之轉換，但吾人希望該矩陣可逆，使得自SHC開始，吾人可算出五個聲道饋入，且接著在解碼器處，吾人可視情況轉換回至SHC(當存在進階式(亦即，非舊版)渲染器時)。
可採用操縱以上架構以確保矩陣之可逆性之各種方式。此等包括(但不限於)變化揚聲器之位置(例如，調整5.1系統之五個揚聲器中之一或多者的位置，使得其仍遵守由ITU-R BS.775-1標準指定之角容差；諸如遵守T設計的傳感器之規則間距的傳感器之規則間距通常表現良好)、規則化技術(例如，與頻率相關之規則化)及常用以確保所有秩及良好定義之特徵值的各種其他矩陣操縱技術。最後，可能需要在心理聲學上測試5.1再現以確保在所有操縱後，修改之矩陣確實實際上產生正確及/或可接受之揚聲器饋入。只要保存了可逆性，則確保至SHC之正確的解碼之逆問題不成問題。
對於一些局部揚聲器幾何形狀(其可指在解碼器處之揚聲器幾何形狀)，以上概括的操縱以上架構以確保可逆性之方式可導致不太合乎需要之音訊影像品質。亦即，當與正捕獲之音訊相比時，聲音再生可能並不始終導致聲音之正確的局部化。為了校正此不太合乎需要之影像品質，可進一步擴大該等技術以介紹可被稱作「虛擬揚聲器」之概念。並不需要一或多個揚聲器重新定位或定位於具有由諸如以上指出之ITU-R BS.775-1的標準指定之某些角容差的空間之特定或定義之區域中，以上架構可經修改以包括某一形式之平移，諸如，向量基振幅平移(VBAP)、基於距離之振幅平移或其他形式之平移。為了說明之目的，聚焦於VBAP，VBAP可有效地介紹可特性化為「虛擬揚聲器」之概念。VBAP可通常地修改至一或多個揚聲器之饋入，使得此等一或多個揚聲器有效地輸出顯得源自在在不同於支援虛擬揚聲器之一或多個揚聲器之位置及/或角度中之至少一者的位置及角度中之一 或多者處的虛擬揚聲器之聲音。
為了說明，用於判定揚聲器饋入之以上等式(就SHC而言)可修改如下：
在以上等式中，VBAP矩陣具有大小為M列乘N行，其中M表示揚聲器之數目(且在以上等式中，將等於五)，且N表示虛擬揚聲器之數目。可將VBAP矩陣作為自收聽者的定義之位置至揚聲器之位置中之每一者的向量及自收聽者的定義之位置至虛擬揚聲器之位置中之每一者的向量之函數計算。以上等式中之D矩陣可具有大小為N列乘(階+1)2行，其中階可指SH函數之階。D矩陣可表示以下矩陣：
實際上，VBAP矩陣為M×N矩陣，其提供可被稱作在揚聲器之位置及虛擬揚聲器之位置中作為因素之「增益調整」的概念。以此方式介紹平移可導致當由局部揚聲器幾何形狀再生時導致較好品質影像的多聲道音訊之較好表示。此外，藉由將VBAP併入至此等式內，該等技術可克服不與各種標準中指定之揚聲器幾何形狀對準的不良揚聲器幾何形狀。
實務上，該等式可經求逆且用以將SHC變換回至多聲道饋入(針對揚聲器之一特定幾何形狀或組態)，其在以下可被稱作幾何形狀B。亦即，該等式可經求逆以求解出g矩陣。經求逆之等式可如下：
g矩陣可表示針對(在此實例中)5.1揚聲器組態中之五個揚聲器中之每一者的揚聲器增益。在此組態中使用之虛擬揚聲器位置可對應於在5.1多聲道格式規範或標準中定義之位置。可使用任何數目個已知音訊局部化技術判定可支援此等虛擬揚聲器中之每一者的揚聲器之位置，該等技術中之許多者涉及播放具有一特定頻率之音調以判定每一揚聲器相關於頭端單元(諸如，音訊/視訊接收器(A/V接收器)、電視、遊戲系統、數位視訊碟系統或其他類型之頭端系統)之位置。替代地，頭端單元之使用者可手動指定揚聲器中之每一者的位置。無論如何，若給定此等已知位置及可能的角度，則頭端單元可求解出增益(假定藉由VBAP的虛擬揚聲器之理想組態)。
在此方面，該等技術可使器件或裝置能夠對第一複數個揚聲器聲道信號執行向量基振幅平移或其他形式之平移以產生第一複數個虛擬揚聲器聲道信號。此等虛擬揚聲器聲道信號可表示提供至揚聲器之信號，其使此等揚聲器能夠產生顯得源自虛擬揚聲器之聲音。結果，當對第一複數個揚聲器聲道信號執行第一變換時，該等技術可使器件或裝置能夠對該第一複數個虛擬揚聲器聲道信號執行第一變換以產生描述聲場的元素之階層集合。
此外，該等技術可使裝置能夠對元素之階層集合執行第二變換以產生第二複數個揚聲器聲道信號，其中該第二複數個揚聲器聲道信號中之每一者與空間之一對應的不同區域相關聯，其中該第二複數個揚聲器聲道信號包含第二複數個虛擬揚聲器聲道，且其中該第二複數個虛擬揚聲器聲道信號與空間之對應的不同區域相關聯。在一些情況 下，該等技術可使器件能夠對該第二複數個虛擬揚聲器聲道信號執行向量基振幅平移以產生第二複數個揚聲器聲道信號。
雖然以上變換矩陣係自「模式匹配」準則導出，但替代的變換矩陣亦可自其他準則(諸如，壓力匹配、能量匹配等)導出。充分地，可導出允許基本集合(例如，SHC子集)與傳統多聲道音訊之間的變換之矩陣，且亦在操縱(其不降低多聲道音訊之保真度)後，亦可用公式表示亦可逆的稍微修改之矩陣。
在一些情況下，當執行以上描述之平移(在於三維空間中執行平移之意義上，其亦可被稱作「3D平移」)時，上述3D平移可引入偽訊或另外導致揚聲器饋入之較低品質播放。為了藉由實例說明，以上描述之3D平移可關於22.2揚聲器幾何形狀來使用，其展示於圖15A及圖15B中。
圖15A及圖15B說明同一22.2揚聲器幾何形狀，其中圖15A中展示的曲線圖中之黑點展示所有揚聲器22個揚聲器(不包括低頻揚聲器)之位置，且圖15B展示此等相同揚聲器之位置，但另外定義此等揚聲器之半球位置本質(其阻擋位於陰影半球後之彼等揚聲器)。無論如何，實際揚聲器中之極少數者(其數目在以上表示為M)實際上在彼半球中在收聽者之耳朵下方，其中收聽者之頭定位於半球中在圖15A及圖15B之曲線圖中的(0,0,0)之(x,y,z)點周圍。結果，試圖執行3D平移以虛擬化在收聽者之頭下方的揚聲器可為困難的，尤其當努力虛擬化具有均勻地定位於全部球周圍之虛擬揚聲器的32揚聲器球(且非半球)幾何形狀時，如當產生SHC時通常所假定，且其在圖12B之實例中以虛擬揚聲器之位置來展示。
根據本發明中描述之技術，圖14A之實例中展示的3D渲染器判定單元48C可表示一單元，該單元經組態以當產生再生聲場之第一複數個揚聲器聲道信號時，當虛擬揚聲器係按球幾何形狀配置得比將球幾 何形狀一分為二之水平平面低時將虛擬揚聲器投影至水平平面上之位置，且對描述該聲場的元素之一階層集合執行二維平移，使得再生之聲場包括顯得源自虛擬操之投影之位置的至少一聲音。
在一些情況下，水平平面可將球幾何形狀等分成兩個相等部分。圖16A根據本發明中描述之技術展示由水平平面402一分為二之球400，虛擬揚聲器向上投影於該水平平面上。虛擬揚聲器300A-300C，其中在以上關於圖14A及圖14B之實例概括的方式執行二維平移前按以上敍述之方式將下部虛擬揚聲器300A-300C投影至水平平面402上。雖然描述為投影至將球400相等地一分為二之水平平面402上，但該等技術可將虛擬揚聲器投影至球400內之任一水平平面(例如，高度)上。
圖16B根據本發明中描述之技術展示由虛擬揚聲器向下投影至其上的水平平面402一分為二之球400。在圖16B之此實例中，3D渲染器判定單元48C可將虛擬揚聲器300A-300C向下投影至水平平面402。雖然描述為投影至將球400相等地一分為二之水平平面402上，但該等技術可將虛擬揚聲器投影至球400內之任一水平平面(例如，高度)。
以此方式，該等技術可使3D渲染器判定單元48C能夠判定複數個實體揚聲器中之一者相對於按一幾何形狀配置的複數個虛擬揚聲器中之一者之位置的位置，且基於判定之位置調整在該幾何形狀內的該複數個虛擬揚聲器中之該者之位置。
3D渲染器判定單元48C可經進一步組態以當產生第一複數個揚聲器聲道信號時對元素之階層集合除了執行二維平移之外亦執行第一變換，其中該第一複數個揚聲器聲道信號中之每一者與空間之一對應的不同區域相關聯。此第一變換可在以上等式中反映為D-1。
3D渲染器判定單元48C可經進一步組態以在產生第一複數個揚聲器聲道信號時，當對元素之階層集合執行二維平移時對元素之階層集 合執行基於二維向量的振幅平移。
在一些情況下，第一複數個揚聲器聲道信號中之每一者與空間之一對應的不同定義之區域相關聯。此外，空間之不同定義之區域定義於音訊格式規範及音訊格式標準中之一或多者中。
3D渲染器判定單元48C亦可或替代地經組態以在產生再生聲場之第一複數個揚聲器聲道信號時，當虛擬揚聲器按球幾何形狀配置於在球幾何形狀中的耳朵層面處或附近之水平平面附近時，對描述聲場的元素之階層集合執行二維平移，使得再生之聲場包括顯得源自虛擬揚聲器之一位置的至少一聲音。
在此情況下，3D渲染器判定單元48C可經進一步組態以當產生第一複數個揚聲器聲道信號時對元素之階層集合除了執行二維平移之外亦執行第一變換(其再次可指以上指出之D-1變換)，其中該第一複數個揚聲器聲道信號中之每一者與空間之一對應的不同區域相關聯。
此外，3D渲染器判定單元48C可經進一步組態以在產生第一複數個揚聲器聲道信號時，當對元素之階層集合執行二維平移時對元素之階層集合執行基於二維向量的振幅平移。
在一些情況下，第一複數個揚聲器聲道信號中之每一者與空間之一對應的不同定義之區域相關聯。此外，空間之不同定義之區域可定義於音訊格式規範及音訊格式標準中之一或多者中。
替代地，或結合本發明中描述的技術之其他態樣中之任一者，器件10之一或多個處理器可經進一步組態以當將虛擬揚聲器按球幾何形狀配置於將球幾何形狀一分為二之水平平面上方時，在產生描述聲場之第一複數個揚聲器聲道信號使得聲場包括顯得源自虛擬揚聲器之位置的至少一聲音時，對元素之階層集合執行三維平移。
再次，在此情況下，3D渲染器判定單元48C可經進一步組態以當產生第一複數個揚聲器聲道信號時對元素之階層集合除了執行三維平 移之外亦執行第一變換，其中該第一複數個揚聲器聲道信號中之每一者與空間之一對應的不同區域相關聯。
此外，3D渲染器判定單元48C可經進一步組態以在產生第一複數個揚聲器聲道信號時，當對元素之階層(第一複數個揚聲器聲道信號)集合執行三維平移時對元素之階層集合執行三維向量基振幅平移。在一些情況下，第一複數個揚聲器聲道信號中之每一者與空間之一對應的不同定義之區域相關聯。此外，空間之不同定義之區域可定義於音訊格式規範及音訊格式標準中之一或多者中。
替代地，或結合本發明中描述的技術之其他態樣中之任一者，3D渲染器判定單元48C可進一步經組態以當在自元素之階層集合產生複數個揚聲器聲道信號中執行三維平移及二維平移時基於元素之階層集合中之每一者的階關於元素之階層集合執行加權。
3D渲染器判定單元48C可經進一步組態以當執行加權時基於元素之階層集合中之每一者的階關於元素之階層集合執行窗函數。此開窗函數可展示於圖17之實例中，其中y軸反映分貝且x軸表示SHC之階。此外，器件10之一或多個處理器可進一步經組態以當執行加權時基於元素之階層集合中之每一者的階關於元素之階層集合執行凱撒貝塞爾(Kaiser Bessle)窗函數(作為一實例)。
此等一或多個處理器可各表示用於執行歸因於該一或多個處理器之各種功能之構件。其他構件可包括專用特殊應用硬體、場可程式化閘陣列、特殊應用積體電路或專用或能夠執行可單獨或與本發明中描述之技術一起執行各種態樣之軟體的任一其他形式之硬體。
可如下總結由該等技術識別及潛在解決之問題。為了如實地播放較高階高保真度立體聲響複製/球型諧波係數環繞聲材料，揚聲器之配置可為至關重要的。理想地，等距揚聲器之三維球體可為需要的。在真實世界中，當前揚聲器設置通常1)並不同等地分佈，2)僅存 在於上半球中在收聽者周圍及上方，而非在下方之下半球中，及3)對於舊版支援(例如，5.1揚聲器設置)，通常具有在耳朵之高度處的揚聲器之環。可解決該問題之一策略為實際上創造理想的揚聲器佈局(在下文，叫作「t設計」)且經由三維向量基振幅平移(3D-VBAP)方法將此等虛擬揚聲器投影至真實(非理想定位之)揚聲器上。即使如此，此可不表示對問題之最佳解決方案，因為自下半球的虛擬揚聲器之投影可造成使播放之品質降級的強的局部化錯誤及其他感知偽訊。
本發明中描述的技術之各種態樣可克服以上概括的策略之不足之處。該等技術可提供虛擬揚聲器信號之不同處理。該等技術之第一態樣可使器件10能夠將來自下半球之虛擬揚聲器正交地映射至水平平面上且使用二維平移方法投影至兩個最靠近的真實揚聲器上。結果，該等技術之第一態樣可最小化、減少或移除由錯誤投影之虛擬揚聲器造成的局部化錯誤。其次，根據本發明中描述的技術之第二態樣，上半球中處於耳朵之高度處(或附近)的虛擬揚聲器亦可使用二維平移方法投影至兩個最靠近的揚聲器。此第二修改背後之原因可為與方位角方向之察覺相比，人類在察覺升高之聲音源時可能並不如此準確。雖然VBAP通常已知為在創造虛擬聲音源之方位角方向中準確，但在創造升高之聲音中其相對不準確--常在比所意欲高的高度之情況下察覺到察覺之虛擬聲音源。本發明之第二態樣避免在將不自其受益且可能甚至造成降級之品質的空間區中使用3D-VBAP。
本發明之第三態樣在於，使用習知三維平移方法投影在耳朵層面上方的上半球之所有其餘虛擬揚聲器。在一些情況下，可執行該等技術之第四態樣，其中使用作為球型諧波階之函數的加權函數來加權所有較高階高保真度立體聲響複製/球型諧波係數環繞聲材料，以增加材料之較平滑空間再生。此已展示為潛在地對於匹配2D與3D平移之虛擬揚聲器之能量有益。
雖然展示為執行本發明中描述的技術之每一態樣，但3D渲染器判定單元48C可執行在本發明中描述的態樣之任何組合，從而執行四個態樣中之一或多者。在一些情況下，產生球型諧波係數之不同器件可以互逆方式執行該等技術之各種態樣。雖然未詳細描述以避免冗餘，但本發明之技術不應嚴格限於圖14A之實例。
以上章節論述了用於5.1相容系統之設計。可相應地針對不同目標格式調整細節。作為一實例，為了實現7.1系統之相容性，將兩個附加音訊內容聲道添加至相容要求，且可將兩個以上SHC添加至基本集合，使得矩陣可逆。由於針對7.1系統(例如，Dolby TrueHD)之多數揚聲器配置仍在水平平面上，因此SHC之選擇可仍不包括具有高度資訊之SHC。以此方式，水平平面信號渲染將自渲染系統中的添加之揚聲器聲道受益。在包括具有高度分集之揚聲器的系統(例如，9.1、11.1及22.2系統)中，可能需要包括具有在基本集合中之高度資訊的SHC。對於如立體聲及單聲道之較低數目個聲道，現有5.1解決方案可能足夠涵蓋降混以維持內容資訊。
以上因此表示在元素之階層集合(例如，SHC之集合)與多個音訊聲道之間轉換之無損失機制。只要多聲道音訊信號未經受進一步的寫碼雜訊，則不會招致錯誤。若其經受寫碼雜訊，則至SHC之轉換可招致錯誤。然而，可藉由監視係數之值且採取適當行動以減少其效應來考量此等錯誤。此等方法可考量SHC之特性，包括SHC表示中之固有冗餘。
本文中描述之方法提供對在聲場之基於SHC之表示之使用中的潛在劣勢之解決方案。在無此解決方案之情況下，歸因於由不能夠具有在數百萬個舊版播放系統中之功能性強加之顯著劣勢，可不部署基於SHC之表示。
在一第一實例中，該等技術可因此提供一種器件，其包含用於 判定複數個實體揚聲器中之一者與按一幾何形狀配置的複數個虛擬揚聲器中之一者之間的一位置差異之構件(例如，渲染器判定單元40)，及用於基於該判定之位置差異調整該複數個虛擬揚聲器中之該一者在該幾何形狀內之一位置之構件(例如，渲染器判定單元40)。
在一第二實例中，第一實例之器件，其中用於判定位置差異之構件包含用於判定在複數個實體揚聲器中之該一者與複數個虛擬揚聲器中之該一者之間的高度差異之構件(例如，3D渲染器判定單元48C)。
在第三實例中，第一實例之器件，其中用於判定位置差異之構件包含用於判定在複數個實體揚聲器中之該一者與複數個虛擬揚聲器中之該一者之間的高度差異之構件，且其中用於調整該複數個虛擬揚聲器中之該一者之位置之構件包含用於當判定之高度差超過臨限值時將該複數個虛擬揚聲器中之該一者投影至比該複數個虛擬揚聲器之原始高度低的高度之構件，如上更詳細地關於圖8A至圖9及圖14A至圖16B之實例所描述。
在第四實例中，第一實例之器件，其中用於判定位置差異之構件包含用於判定在複數個實體揚聲器中之該一者與複數個虛擬揚聲器中之該一者之間的高度差異之構件，且其中用於調整該複數個虛擬揚聲器中之該一者之位置之構件包含用於當判定之高度差超過臨限值時將該複數個虛擬揚聲器中之該一者投影至比該複數個虛擬揚聲器中之該一者之原始高度高的高度之構件，如上更詳細地關於圖8A至圖9及圖14A至圖16B之實例所描述。
在第五實例中，第一實例之器件，其進一步包含用於當產生複數個揚聲器聲道信號以驅動複數個實體揚聲器時對描述聲場的元素之階層集合執行二維平移以便再生聲場使得再生之聲場包括顯得源自虛擬揚聲器之調整之位置的至少一聲音之構件，如上更詳細地關於圖 8A及圖8B之實例所描述。
在第六實例中，第五實例之器件，其中元素之階層集合包含複數個球型諧波係數。
在第七實例中，第五實例之器件，其中用於對元素之階層集合執行二維平移之構件包含用於當產生複數個揚聲器聲道信號時對元素之階層集合執行基於二維向量的振幅平移之構件，如上更詳細地關於圖8A及圖8B之實例所描述。
在第八實例中，第一實例之器件，其進一步包含用於判定不同於該複數個實體揚聲器中之對應的一或多者之位置的一或多個拉伸之實體揚聲器位置之構件，如上更詳細地關於圖8A至圖12B之實例所描述。
在第九實例中，第一實例之器件，其進一步包含用於判定不同於該複數個實體揚聲器中之對應的一或多者之位置的一或多個拉伸之實體揚聲器位置之構件，其中用於判定位置差異之構件包含用於判定拉伸之實體揚聲器位置中之至少一者相對於該複數個虛擬揚聲器中之該一者之位置之間的差異之構件，如上更詳細地關於圖8A至圖12B之實例所描述。
在第十實例中，第一實例之器件，其進一步包含用於判定不同於該複數個實體揚聲器中之對應的一或多者之位置的一或多個拉伸之實體揚聲器位置之構件，其中用於判定位置差異之構件包含用於判定拉伸之實體揚聲器位置中之至少一者與該複數個虛擬揚聲器中之該一者之位置之間的高度差異之構件，且其中用於調整該複數個虛擬揚聲器中之該一者之位置之構件包含用於當判定之高度差超過臨限值時將該複數個虛擬揚聲器中之該一者投影至比該複數個虛擬揚聲器之原始高度低的高度之構件，如上更詳細地關於圖8A至圖12B及圖14A至圖16B之實例所描述。
在第十一實例中，第一實例之器件，其進一步包含用於判定不同於該複數個實體揚聲器中之對應的一或多者之位置的一或多個拉伸之實體揚聲器位置之構件，其中用於判定位置差異之構件包含用於判定拉伸之實體揚聲器位置中之至少一者與該複數個虛擬揚聲器中之該一者之位置之間的高度差異之構件，且其中用於調整該複數個虛擬揚聲器中之該一者之位置之構件包含用於當判定之高度差超過臨限值時將該複數個虛擬揚聲器中之該一者投影至比該複數個虛擬揚聲器之原始高度高的高度之構件，如上更詳細地關於圖8A至圖12B及圖14A至圖16B之實例所描述。
在第十二實例中，第一實例之器件，其中該複數個虛擬揚聲器係按球型幾何形狀配置，如上更詳細地關於圖8A至圖12B及圖14A至圖16B之實例所描述。
在第十三實例中，第一實例之器件，其中該複數個虛擬揚聲器係按多面體幾何形狀配置。雖然為了易於說明目的未在由本發明之圖1至圖17說明的實例中之任一者中展示，但該等技術可關於任一虛擬揚聲器幾何形狀執行，包括任一形式之多面體幾何形狀，諸如，立方體幾何形狀、十二面體幾何形狀、三十二面體幾何形狀、菱形三十面體幾何形狀、稜鏡幾何形狀及金字塔幾何形狀(提供幾個實例)。
在第十四實例中，第一實例之器件，其中該複數個實體揚聲器係按不規則揚聲器幾何形狀配置。
在第十五實例中，第一實例之器件，其中該複數個實體揚聲器係按不規則揚聲器幾何形狀配置於多個不同水平平面上。
應理解，取決於實例，本文中描述的方法中之任何者之某些動作或事件可按不同序列執行，可添加、合併或全部省去(例如，對於方法之實踐，並非所有描述之動作或事件皆為必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處 理器同時而非依序執行。此外，雖然為了清晰起見，本發明之某些態樣經描述為由單一器件、模組或單元執行，但應理解，本發明之技術可由器件、單元或模組之組合來執行。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於一電腦可讀媒體上或經由一電腦可讀媒體來傳輸，且可由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定有助於電腦程式自一處轉移至另一處的任何媒體。
以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於在本發明中描述的技術之實施之指令、程式碼及/或資料結構之任何可利用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構之形式之所要的程式碼且可由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自一網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。
然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接件、載波、信號或其他暫時性媒體，而實情為，係有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光 碟、光碟、數位影音光碟(DVD)、軟性磁碟及Blu-ray光碟，其中磁碟通常以磁性之方式再生資料，而光碟藉由雷射以光學之方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指前述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。此外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或被併入組合之編碼解碼器中。同樣，該等技術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛的各種各樣之器件或裝置中，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。各種組件、模組或單元在本發明中經描述以強調經組態以執行揭示之技術的器件之功能態樣，但未必需要藉由不同硬體單元實現。相反，如上所述，各種單元可組合於一編碼解碼器硬體單元中或由互操作之硬體單元(包括如上所述之一或多個處理器)結合合適的軟體及/或韌體之集合提供。
已描述了該等技術之各種實施例。此等及其他實施例處於下列申請專利範圍之範疇內。

Claims (29)

  1. 一種判定用於表示一聲場之球型諧波係數之一渲染器之方法，該方法包含：基於局部揚聲器幾何形狀資訊判定一局部揚聲器幾何形狀種類，該局部揚聲器幾何資訊指示用於該等球型諧波係數之播放的一或多個揚聲器之一幾何形狀；基於經判定之該局部揚聲器幾何形狀種類選擇二維或三維渲染器產生程序之一者；基於該局部揚聲器幾何形狀資訊選擇經選擇之該二維或三維渲染器產生程序之該一者之一規則、幾乎規則或不規則版本中之一者；及根據經選擇之該規則、幾乎規則或不規則二維或三維渲染器產生程序之該一者產生該渲染器。
  2. 如請求項1之方法，其進一步包含使用經產生之該渲染器渲染該等球型諧波係數以產生多聲道音訊資料。
  3. 如請求項1之方法，其中選擇該二維或三維渲染器處理程序之該一者包含當該局部揚聲器幾何形狀種類與一立體聲揚聲器幾何形狀一致時，選擇一二維立體聲渲染器產生程序。
  4. 如請求項1之方法，其中選擇該二維或三維渲染器產生程序之該一者包含當該局部揚聲器幾何形狀種類與具有兩個以上揚聲器之水平多聲道揚聲器幾何形狀一致時，選擇一水平二維多聲道渲染器產生程序。
  5. 如請求項4之方法，其中選擇經選擇之該二維或三維渲染器產生程序之該一者之該規則、幾乎規則或不規則版本之該一者包含當該判定之局部揚聲器幾何形狀資訊指示一不規則揚聲器幾何 形狀時選擇一不規則水平二維多聲道渲染器產生程序。
  6. 如請求項4之方法，其中選擇經選擇之該二維或三維渲染器產生程序之該一者之該規則、幾乎規則或不規則版本中之該一者包含當該判定之局部揚聲器幾何形狀資訊指示一規則揚聲器幾何形狀時選擇一規則水平二維多聲道渲染器產生程序。
  7. 如請求項1之方法，其中選擇該二維或三維渲染器產生程序之該一者包含當該局部揚聲器幾何形狀資訊與在一個以上水平平面上具有兩個以上揚聲器之一三維多聲道揚聲器幾何形狀一致時，選擇一三維多聲道渲染器產生程序。
  8. 如請求項7之方法，其中選擇經選擇之該二維或三維渲染器產生程序之該一者之該規則、幾乎規則或不規則版本之該一者包含當該判定之局部揚聲器幾何形狀資訊指示一不規則揚聲器幾何形狀時選擇一不規則三維多聲道渲染器產生程序。
  9. 如請求項7之方法，其中選擇經選擇之該二維或三維渲染器產生程序之該一者之該規則、幾乎規則或不規則版本中之該一者包含當該判定之局部揚聲器幾何形狀資訊指示一幾乎規則揚聲器幾何形狀時選擇一幾乎規則三維多聲道渲染器產生程序。
  10. 如請求項7之方法，其中選擇經選擇之該二維或三維渲染器產生程序之該一者之該規則、幾乎規則或不規則版本之該一者包含當該判定之局部揚聲器幾何形狀資訊指示一規則揚聲器幾何形狀時選擇一規則三維多聲道渲染器產生程序。
  11. 如請求項1之方法，其中產生該渲染器包含：判定該等球型諧波係數相關聯的球型基底函數之一所允許階，該所允許階識別若給定該判定之局部揚聲器幾何形狀則在該等球型諧波係數中之需要渲染之彼等球型諧波係數；及基於該判定之所允許階根據經選擇之該規則、幾乎規則或不 規則二維或三維渲染器產生程序之該一者產生該渲染器。
  12. 如請求項1之方法，其中判定該二維或三維渲染器包含：判定該等球型諧波係數相關聯的球型基底函數之一所允許階，該所允許階識別若給定該判定之局部揚聲器幾何形狀則在該等球型諧波係數中之需要渲染之彼等球型諧波係數；及根據經選擇之該規則、幾乎規則或不規則二維或三維渲染器產生程序之該一者產生該渲染器使得該渲染器僅渲染該等球型諧波係數中之與具有小於或等於該判定之所允許階之一階的球型基底函數相關聯之彼等球型諧波係數。
  13. 如請求項1之方法，其中判定該一或多個揚聲器之該局部揚聲器幾何形狀資訊包含自一收聽者接收指定該局部揚聲器幾何形狀資訊的輸入。
  14. 如請求項1之方法，其中選擇該二維或三維渲染器產生程序包含當該局部揚聲器幾何形狀種類與一單聲道揚聲器幾何形狀一致時，選擇一單聲道渲染器。
  15. 一種經組態以判定用於表示一聲場之球型諧波係數之一渲染器之器件，其包含：一或多個處理器，其經組態以：基於局部揚聲器幾何形狀資訊判定一局部揚聲器幾何形狀種類，該局部揚聲器幾何資訊指示用於該等球型諧波係數之播放的一或多個揚聲器之一幾何形狀；基於經判定之局部揚聲器幾何形狀種類選擇二維或三維渲染器產生程序之一者；基於該局部揚聲器幾何形狀資訊選擇經選擇之該二維或三維渲染器產生程序之該一者之一規則、幾乎規則或不規則版本中之一者；及 根據經選擇之該規則、幾乎規則或不規則二維或三維渲染器產生程序之該一者產生該渲染器；及一記憶體，其經組態以儲存該渲染器。
  16. 如請求項15之器件，其中該一或多個處理器經進一步組態以使用產生之該渲染器渲染該等球型諧波係數以產生多聲道音訊資料。
  17. 如請求項15之器件，其中該一或多個處理器經組態以在該局部揚聲器幾何形狀種類與一立體聲揚聲器幾何形狀一致時選擇一二維立體聲渲染器產生程序。
  18. 如請求項15之器件，其中該一或多個處理器經組態以在該局部揚聲器幾何形狀種類與具有兩個以上揚聲器之水平多聲道揚聲器幾何形狀一致時選擇一水平二維多聲道渲染器產生程序。
  19. 如請求項18之器件，其中該一或多個處理器經組態以在該判定之局部揚聲器幾何形狀資訊指示一不規則揚聲器幾何形狀時選擇一不規則水平二維多聲道渲染器產生程序。
  20. 如請求項18之器件，其中該一或多個處理器經組態以在該判定之局部揚聲器幾何形狀資訊指示一規則揚聲器幾何形狀時選擇一規則水平二維多聲道渲染器產生程序。
  21. 如請求項15之器件，其中該一或多個處理器經組態以在該局部揚聲器幾何形狀種類與在一個以上水平平面上具有兩個以上揚聲器之一三維多聲道揚聲器幾何形狀一致時選擇一三維多聲道渲染器產生程序。
  22. 如請求項21之器件，其中該一或多個處理器經組態以在該判定之局部揚聲器幾何形狀資訊指示一不規則揚聲器幾何形狀時選擇一不規則三維多聲道渲染器產生程序。
  23. 如請求項21之器件，其中該一或多個處理器經組態以在該判定 之局部揚聲器幾何形狀資訊指示一幾乎規則揚聲器幾何形狀時選擇一幾乎規則三維多聲道渲染器產生程序。
  24. 如請求項21之器件，其中該一或多個處理器經組態以在判定之該局部揚聲器幾何形狀資訊指示一規則揚聲器幾何形狀時選擇一規則三維多聲道渲染器產生程序。
  25. 如請求項15之器件，其中該一或多個處理器經進一步組態以判定該等球型諧波係數相關聯的球型基底函數之一所允許階，該所允許階識別若給定該判定之局部揚聲器幾何形狀資訊則在該等球型諧波係數中之需要渲染之彼等球型諧波係數，且其中該一或多個處理器經組態以基於該判定之所允許階根據經選擇之該規則、幾乎規則或不規則二維或三維渲染器產生程序之該一者產生該渲染器。
  26. 如請求項15之器件，其中該一或多個處理器經進一步組態以判定該等球型諧波係數相關聯的球型基底函數之一所允許階，該所允許階識別若給定該判定之局部揚聲器幾何形狀資訊則在該等球型諧波係數中之需要渲染之彼等球型諧波係數，及其中該一或多個處理器經組態以根據經選擇之該規則、幾乎規則或不規則二維或三維渲染器產生程序之該一者產生該渲染器且使得該二維或三維渲染器僅渲染該等球型諧波係數中之與具有小於或等於該判定之所允許階之一階的球型基底函數相關聯之彼等球型諧波係數。
  27. 如請求項15之器件，其中該一或多個處理器經組態以自一收聽者接收指定局部揚聲器幾何形狀資訊的輸入。
  28. 如請求項15之器件，其中該一或多個處理器經組態以在該局部揚聲器幾何形狀種類與一單聲道揚聲器幾何形狀一致時選擇一單聲道渲染器。
  29. 一種非暫時性電腦可讀儲存媒體，其具有儲存於其上之指令，該等指令當執行時使一或多個處理器：基於局部揚聲器幾何形狀資訊判定一局部揚聲器幾何形狀種類，該局部揚聲器幾何資訊指示用於表示一聲場之球型諧波係數之播放的一或多個揚聲器之一幾何形狀；基於經判定之該局部揚聲器幾何形狀種類選擇二維或三維渲染器產生程序之一者；基於該局部揚聲器幾何形狀資訊選擇經選擇之該二維或三維渲染器產生程序之該一者之一規則、幾乎規則或不規則版本中之一者；及根據經選擇之該規則、幾乎規則或不規則二維或三維渲染器產生程序之該一者產生一渲染器。
TW103104151A 2013-02-07 2014-02-07 判定用於球型諧波係數之渲染器 TWI538531B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361762302P 2013-02-07 2013-02-07
US201361829832P 2013-05-31 2013-05-31
US14/174,784 US9736609B2 (en) 2013-02-07 2014-02-06 Determining renderers for spherical harmonic coefficients

Publications (2)

Publication Number Publication Date
TW201436587A TW201436587A (zh) 2014-09-16
TWI538531B true TWI538531B (zh) 2016-06-11

Family

ID=51259222

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103104152A TWI611706B (zh) 2013-02-07 2014-02-07 將虛擬揚聲器映射至實體揚聲器
TW103104151A TWI538531B (zh) 2013-02-07 2014-02-07 判定用於球型諧波係數之渲染器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW103104152A TWI611706B (zh) 2013-02-07 2014-02-07 將虛擬揚聲器映射至實體揚聲器

Country Status (7)

Country Link
US (2) US9913064B2 (zh)
EP (2) EP2954702B1 (zh)
JP (2) JP6309545B2 (zh)
KR (2) KR101877604B1 (zh)
CN (2) CN104969577B (zh)
TW (2) TWI611706B (zh)
WO (2) WO2014124268A1 (zh)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
USD721352S1 (en) 2012-06-19 2015-01-20 Sonos, Inc. Playback device
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
EP2765791A1 (en) * 2013-02-08 2014-08-13 Thomson Licensing Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field
USD721061S1 (en) 2013-02-25 2015-01-13 Sonos, Inc. Playback device
EP2991384B1 (en) 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
WO2014175076A1 (ja) 2013-04-26 2014-10-30 ソニー株式会社 音声処理装置および音声処理システム
US9412385B2 (en) * 2013-05-28 2016-08-09 Qualcomm Incorporated Performing spatial masking with respect to spherical harmonic coefficients
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US10499176B2 (en) 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
CN105379311B (zh) * 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法
WO2015054033A2 (en) * 2013-10-07 2015-04-16 Dolby Laboratories Licensing Corporation Spatial audio processing system and method
KR102231755B1 (ko) 2013-10-25 2021-03-24 삼성전자주식회사 입체 음향 재생 방법 및 장치
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US10412522B2 (en) 2014-03-21 2019-09-10 Qualcomm Incorporated Inserting audio channels into descriptions of soundfields
WO2015147435A1 (ko) * 2014-03-25 2015-10-01 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 시스템 및 방법
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
USD883956S1 (en) 2014-08-13 2020-05-12 Sonos, Inc. Playback device
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
EP3540732B1 (en) 2014-10-31 2023-07-26 Dolby International AB Parametric decoding of multichannel audio signals
WO2016077317A1 (en) * 2014-11-11 2016-05-19 Google Inc. Virtual sound systems and methods
EP3024253A1 (en) * 2014-11-21 2016-05-25 Harman Becker Automotive Systems GmbH Audio system and method
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US20170085972A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Media Player and Media Player Design
USD768602S1 (en) 2015-04-25 2016-10-11 Sonos, Inc. Playback device
USD906278S1 (en) 2015-04-25 2020-12-29 Sonos, Inc. Media player device
USD920278S1 (en) 2017-03-13 2021-05-25 Sonos, Inc. Media playback device with lights
USD886765S1 (en) 2017-03-13 2020-06-09 Sonos, Inc. Media playback device
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10334387B2 (en) 2015-06-25 2019-06-25 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US12087311B2 (en) 2015-07-30 2024-09-10 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding an HOA representation
EP3329486B1 (en) * 2015-07-30 2020-07-29 Dolby International AB Method and apparatus for generating from an hoa signal representation a mezzanine hoa signal representation
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
JP6437695B2 (ja) 2015-09-17 2018-12-12 ソノズ インコーポレイテッド オーディオ再生デバイスのキャリブレーションを容易にする方法
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
USD1043613S1 (en) 2015-09-17 2024-09-24 Sonos, Inc. Media player
US10306392B2 (en) 2015-11-03 2019-05-28 Dolby Laboratories Licensing Corporation Content-adaptive surround sound virtualization
CN105392102B (zh) * 2015-11-30 2017-07-25 武汉大学 用于非球面扬声器阵列的三维音频信号生成方法及系统
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
WO2017118551A1 (en) * 2016-01-04 2017-07-13 Harman Becker Automotive Systems Gmbh Sound wave field generation
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
DE102016103209A1 (de) 2016-02-24 2017-08-24 Visteon Global Technologies, Inc. System und Verfahren zur Positionserkennung von Lautsprechern und zur Wiedergabe von Audiosignalen als Raumklang
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
FR3050601B1 (fr) * 2016-04-26 2018-06-22 Arkamys Procede et systeme de diffusion d'un signal audio a 360°
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10412473B2 (en) 2016-09-30 2019-09-10 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
USD851057S1 (en) 2016-09-30 2019-06-11 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
USD827671S1 (en) 2016-09-30 2018-09-04 Sonos, Inc. Media playback device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
WO2018073759A1 (en) * 2016-10-19 2018-04-26 Audible Reality Inc. System for and method of generating an audio image
CA3054237A1 (en) * 2017-01-27 2018-08-02 Auro Technologies Nv Processing method and system for panning audio objects
JP6543848B2 (ja) * 2017-03-29 2019-07-17 本田技研工業株式会社 音声処理装置、音声処理方法及びプログラム
US11277705B2 (en) 2017-05-15 2022-03-15 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
US10015618B1 (en) * 2017-08-01 2018-07-03 Google Llc Incoherent idempotent ambisonics rendering
US10609485B2 (en) 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup
WO2019149337A1 (en) * 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
CN112119646B (zh) * 2018-05-22 2022-09-06 索尼公司 信息处理装置、信息处理方法以及计算机可读存储介质
WO2020030304A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method considering acoustic obstacles and providing loudspeaker signals
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
WO2020044244A1 (en) 2018-08-29 2020-03-05 Audible Reality Inc. System for and method of controlling a three-dimensional audio engine
US11798569B2 (en) * 2018-10-02 2023-10-24 Qualcomm Incorporated Flexible rendering of audio data
US10739726B2 (en) 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
KR102323529B1 (ko) 2018-12-17 2021-11-09 한국전자통신연구원 복합 차수 앰비소닉을 이용한 오디오 신호 처리 방법 및 장치
US11968518B2 (en) 2019-03-29 2024-04-23 Sony Group Corporation Apparatus and method for generating spatial audio
CN113853803A (zh) 2019-04-02 2021-12-28 辛格股份有限公司 用于空间音频渲染的系统和方法
US11122386B2 (en) * 2019-06-20 2021-09-14 Qualcomm Incorporated Audio rendering for low frequency effects
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN110751956B (zh) * 2019-09-17 2022-04-26 北京时代拓灵科技有限公司 一种沉浸式音频渲染方法及系统
EP4085660A4 (en) * 2019-12-30 2024-05-22 Comhear Inc. METHOD FOR PROVIDING A SPATIAL SOUND FIELD
US11246001B2 (en) 2020-04-23 2022-02-08 Thx Ltd. Acoustic crosstalk cancellation and virtual speakers techniques
US11750971B2 (en) * 2021-03-11 2023-09-05 Nanning Fulian Fugui Precision Industrial Co., Ltd. Three-dimensional sound localization method, electronic device and computer readable storage
CN115346537A (zh) * 2021-05-14 2022-11-15 华为技术有限公司 一种音频编码、解码方法及装置
CN115497485B (zh) * 2021-06-18 2024-10-18 华为技术有限公司 三维音频信号编码方法、装置、编码器和系统

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9204485D0 (en) 1992-03-02 1992-04-15 Trifield Productions Ltd Surround sound apparatus
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
EP1275272B1 (en) * 2000-04-19 2012-11-21 SNK Tech Investment L.L.C. Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions
JP3624805B2 (ja) 2000-07-21 2005-03-02 ヤマハ株式会社 音像定位装置
US7113610B1 (en) 2002-09-10 2006-09-26 Microsoft Corporation Virtual sound source positioning
FR2847376B1 (fr) 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US20040264704A1 (en) * 2003-06-13 2004-12-30 Camille Huin Graphical user interface for determining speaker spatialization parameters
US8054980B2 (en) 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US7928311B2 (en) 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
JP2008118166A (ja) 2005-06-30 2008-05-22 Pioneer Electronic Corp スピーカエンクロージャ、これを備えたスピーカシステムおよび多チャンネルステレオシステム
US7693709B2 (en) 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
JP4674505B2 (ja) 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
US9215544B2 (en) * 2006-03-09 2015-12-15 Orange Optimization of binaural sound spatialization based on multichannel encoding
DE102006053919A1 (de) * 2006-10-11 2008-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
DE102007059597A1 (de) 2007-09-19 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals in hoher Genauigkeit
EP2056627A1 (en) 2007-10-30 2009-05-06 SonicEmotion AG Method and device for improved sound field rendering accuracy within a preferred listening area
JP4338102B1 (ja) 2008-08-25 2009-10-07 薫 長山 スピーカーシステム
US8391500B2 (en) * 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
WO2010070225A1 (fr) 2008-12-15 2010-06-24 France Telecom Codage perfectionne de signaux audionumeriques multicanaux
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
GB2478834B (en) * 2009-02-04 2012-03-07 Richard Furse Sound system
WO2010092014A2 (en) * 2009-02-11 2010-08-19 Basf Se Pesticidal mixtures
GB0906269D0 (en) 2009-04-09 2009-05-20 Ntnu Technology Transfer As Optimal modal beamformer for sensor arrays
JP2010252220A (ja) * 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置およびそのプログラム
US8971551B2 (en) 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
EP2486561B1 (en) 2009-10-07 2016-03-30 The University Of Sydney Reconstruction of a recorded sound field
US20110091055A1 (en) * 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
WO2011117399A1 (en) 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback
WO2011152044A1 (ja) * 2010-05-31 2011-12-08 パナソニック株式会社 音響再生装置
US9271081B2 (en) 2010-08-27 2016-02-23 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
JP2012104871A (ja) * 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
TWI517028B (zh) 2010-12-22 2016-01-11 傑奧笛爾公司 音訊空間定位和環境模擬
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
EP2692155B1 (en) 2012-03-22 2018-05-16 Dirac Research AB Audio precompensation controller design using a variable set of support loudspeakers
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
CN104584588B (zh) 2012-07-16 2017-03-29 杜比国际公司 用于渲染音频声场表示以供音频回放的方法和设备
CA2893729C (en) * 2012-12-04 2019-03-12 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
US10499176B2 (en) 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
EP2866475A1 (en) 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
US20150264483A1 (en) 2014-03-14 2015-09-17 Qualcomm Incorporated Low frequency rendering of higher-order ambisonic audio data

Also Published As

Publication number Publication date
CN104956695B (zh) 2017-06-06
EP2954703B1 (en) 2019-12-18
CN104956695A (zh) 2015-09-30
KR20150115823A (ko) 2015-10-14
TWI611706B (zh) 2018-01-11
US9913064B2 (en) 2018-03-06
CN104969577A (zh) 2015-10-07
WO2014124268A1 (en) 2014-08-14
JP6284955B2 (ja) 2018-02-28
TW201436587A (zh) 2014-09-16
WO2014124264A1 (en) 2014-08-14
KR20150115822A (ko) 2015-10-14
CN104969577B (zh) 2017-05-10
EP2954702A1 (en) 2015-12-16
US20140219456A1 (en) 2014-08-07
US20140219455A1 (en) 2014-08-07
JP2016509820A (ja) 2016-03-31
EP2954703A1 (en) 2015-12-16
US9736609B2 (en) 2017-08-15
EP2954702B1 (en) 2019-06-05
JP6309545B2 (ja) 2018-04-11
JP2016509819A (ja) 2016-03-31
TW201436588A (zh) 2014-09-16
KR101877604B1 (ko) 2018-07-12

Similar Documents

Publication Publication Date Title
TWI538531B (zh) 判定用於球型諧波係數之渲染器
US10477310B2 (en) Ambisonic signal generation for microphone arrays
US20150264483A1 (en) Low frequency rendering of higher-order ambisonic audio data
US11356793B2 (en) Controlling rendering of audio data
KR101818877B1 (ko) 고차 앰비소닉 오디오 렌더러들에 대한 희소성 정보의 획득
US11743670B2 (en) Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
US11122386B2 (en) Audio rendering for low frequency effects
KR101941764B1 (ko) 고차 앰비소닉 오디오 렌더러들에 대한 대칭성 정보의 획득
EP3987824B1 (en) Audio rendering for low frequency effects
US20240129681A1 (en) Scaling audio sources in extended reality systems

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees