TW200922365A - A binaural object-oriented audio decoder - Google Patents

Description

200922365 九、發明說明： 【發明所屬之技術領域】 本發明係關於一 種立體音物件導向的聲頻解

傳遞函數參數，該等所接收之頭部相關傳遞函數參數僅隨 仰角參數及方位角參數變化。 碼器，該解 及譯碼至少 【先前技術】 二維聲源定位技術越來越受到關注，尤其是在手機領域 中。手機遊戲中之音樂回放及音響效果在被定位於三維空 間中時可給使用者帶來重大體驗。傳統上，三維定位技術 採用所謂的頭部相關傳遞函數（HRTF),如F. L. Wightman 及 D. J· Kistler描述於"Headphone simulation of free-field listening. I. Stimulus synthesis" J. Acoust. Soc. Am 85:858-867, 1989 。 該等函數描述一種藉由脈衝響應或頭部相關傳遞函數從 特定聲源位置至耳膜的傳輸。 在MPEG標準化體系内，一種三維立體音解碼及譯碼方 法被標準化。該方法包括自一常規立體音輸入信號或自一 單聲道輸入信號產生一立體音輸出聲頻。此所謂的立體音 132373.doc 200922365 解碼方法係由 Breebaart，J_、Herre，j.、vulem〇es，L、Jin， c.、Kj0rling，K.、Plogsties，j、K〇ppens，】（2〇岣之 '•Multi-channel goes mobile: MPEG Surround binaural —ering" (Proc. 2她㈣ c〇nference，“吡 k〇—所 …般而言，該等頭部相關傳遞函數及其參數表示係作 ^仰角、一方位角、及一距離之函數而變化。但為減小 測量資料量，該等頭部相關傳遞函數參數通常以一大致丄 至2米的固定距離進行測量。在正被開發之三維立體音解 碼益内，一介面被界定以提供該等頭部相關傳遞函數參數 按這種方式’使用者可選擇不同頭部相關傳 J或提供他/她自己的頭部相關傳遞函數。但是，現 行介面具有僅可界定用於有限組之仰角和/或方位 二=這意味著定位聲源於不同距離之效果不包括在内 ^吏用者不能變更該等虛擬聲源之被感測距離。進_步 ，即使該刪G環繞標準可提供_不同仰角及不同距離 ::部相關傳遞函數參數之—介面，該所需 夕數情況下係無法取用的， 叶在 固定距離進行測量且其對距離之相=夕數情況下僅以-【發明内容】 冑之相關性係切未知的。 本發明之一目的係提供—種改良型立 頻解碼器，其允許物件於—空間 曰物件導向的聲 該目的已由根據本發明之請求定位。 物件導向的聲頻解碼器達到…戶斤界疋的-種立體音 器包含用於解碼及譯 ^體音物件導向聲頻解碼 單馬至少一個聲頻物件的解碼構件。該 132373.doc 200922365 解碼及譯碼過程係基於頭部相關傳遞函數參數。該解碼及 澤碼過程（通常合併於一個步驟）係用以定位該經解碼之聲 頻物件於虛擬二維空間中。該等頭部相關傳遞函數參數 係基於一仰角參數、一方位角參數、及一距離參數。該等 參數對應於該聲頻物件在該三維空間中之（所期）位置。該 立體音物件導向聲頻解碼器被設置以接收該等頭部相關傳 遞函數參數，該等參數僅隨仰角參數及方位角參數變化。 為克服影響該等頭部相關傳遞函數參數之距離不被提供 之缺點’本發明提出根據一被接收之所期距離修正該等被 接收之頭部相關傳遞函數參數。該等經修正之頭部相關傳 遞函數參數用於定位-聲頻物件於該三維空間中之;^ = 離處。對該等頭部相關傳遞函數參數之該修正係基於針對 該等所接收之頭部相關函數參數之-預定距離參數。 ◎ 根據本發明之立體音物件導向聲頻解碼器之優點為該等 頭部相關傳遞函數參數可藉由從預定距離修正該等參數至 2期距離所獲得之距離參數進行擴展。該擴展可不需明確 夫頭部相關傳遞函數參數之測定期間所用之距離 :==::::::聲頻_一 化距離參數，且令笪 使 角、-方㈣及頭部相關傳遞函數參數之作爲-仰 進-步地，錯存”二離之函數的測量極其昂貴且耗時。 在距離參數不被包括時大大減小。 之戶“貝枓置 132373.doc 200922365 進一步的優點如下所述。根據本發明，藉由非常有限之 計算負擔即可獲得精確距離處理。使用者可修正運行中之 聲頻物件的被感知距離。對該距離之修正係執行於=數領 域，這導致與操作於頭部相關傳遞函數脈衝響應中之距離 修正(當應用常規三維合成法時)相比顯著減小之複雜性。 此外，該距離修正可不需獲得該等原始頭部相關 進行應用。 a ~ 在一實施例中，該距離處理構件被設置以藉由增大對應 於該聲頻物件之距離參數來減小該等頭部相關函數來數之 聲級參數。在該實施例情況下，該距離變量適當地影響著 該等頭部相關傳遞函數參數如同確實發生於實際中。0 在一實施例中，該距離處理構件被設置以使用按比例因 子之比例縮放，該等比例因子係預定距離參數、及所期距 離之-函數。該比例縮放之優點為計算工作僅限於該比例 因子之計算及-簡單乘法運算。該乘法係—極簡 並不引進大量計算負擔。

距子係該預^距離參數及該所期 距離之率。这種計算比例因子的方法極其簡單 精確。 J 在-實施例中，該等比例因子係針對雙耳之各者 每個比例因子包含對雙耳之 . 我度差廷種比例因子蚪 算方法為距離建模/修正提供了更大精確度。 。 在一實施例中，該預定 _ ,_ . 離，數知用—大致為2米之 值。如刖所I，為減小測量㈣ 孩·#碩部相關傳遞 132373.doc 200922365 函數參數大部分係按一固定距離（大約丨至2米）測量，因已 知自2米以上，HRTF之内耳特性實際上不隨距離發生 化。 在一實施例中，該所期距離參數係由一物件導向聲頻編 碼器提供。攻允許該解碼器適當地重現該聲頻物件在三維 空間中之位置。 ’ 在一實施例中，該所期距離參數係由使用者透過一專用 介面提供。這允許使用者自由且隨心所欲地定位該等經解 碼之聲頻物件於該三維空間中。 在一實施例中，該解碼構件包含—符合MPEG環繞標準 解馬器it -特性允許現有MpEG環繞解碼器之再使 用，且允許該解碼器獲得用別的方法無法達到的新特性。 本發明進—步提供方法請求項及—電腦程式產品，並允 許一可程式化裝置執行根據本發明之方法。 【實施方式】 本發明以上及其他方面將參相式所示實施例闡明及解 =圖式卜相同參♦數字指示相似或相應之部件。該 此Si:所指示之部件之部分通常以軟體形式實現，並因 此代表軟體實體，例如軟體組件或物件。 圖1顯示-物件導向聲頻解碼器500， 定距離參數之哕笙/、巴3用於將一預 之新㈣ 遞功能參數修正為所期距離 σ相關傳遞功能函數參數的 器萝w 1ΛΛ 双叼距離處理構件。一解碼 —置_代表現行標準立體音物件導向聲頻解碼器。該 132373.doc 200922365

—空間合成 on Spatial 基於頭部相關傳遞函數參數解碼 的解碼構件。範例解碼構件包含 。立體音物件導向解碼之詳細 J·、Villemoes，l.、jin，c、 Koppens，J. (2006)，”Mulu_

binaural rendering" » 韓國首爾，及ISC^IEC 降混音101被饋給該解碼構件，該解碼構件基於提供給 該參數變換單元120該等物件參數1〇2及之該等頭部相關傳 遞函數參數，從降混音中解碼及譯碼該等聲頻物件。該解 碼及譯碼（經常合併為一個步驟）將該經解碼之聲頻物件定 位於一虛擬三維空間中。 更特定言之’該降混音101被饋給該QMF分析單元110。 該單元所執行之處理描述於Breebaart，J.、van de Par，S.、 Kohlrausch，A·、及 Schuijers，E. (2005)之” Parametric coding of stereo audio"，Eurasip J. Applied Signal Proc.，issue 9: special issue on anthropomorphic processing of audio and speech, 1305-1322 0 該等物件參數102被饋給該參數變換單元120。該參數變 換單元將該等基於所接收之HRTF參數之物件參數轉換為 立體音參數104。該等立體音參數包含同時產生於一個或 132373.doc • 11 - 200922365 更多個物件信號之聲級差、相位差及相干值，該等物件信 號在該虛擬空間中均具有各自位置。該等立體音參數之詳 細資料見 Breebaart，J.、Herre，J.、Villemoes，L.、Jin, C.、Kj6rling，K.、Plogsties，J.、Koppens，J· (2006) channel goes mobile: MPEG Surround binaural rendering" » 第29屆AES研討會會議記錄，韓國首爾，及Breebaart，J.、

Faller，C.之"Spatial audio processing: MPEG Surround and other applications" , John Wiley & Sons，2007。 該QMF分析單元之輸出及該等立體音參數被饋給該空間 合成單元130。該單元所執行之處理描述於Breebaart，j.、 van de Par，S.、Kohlrausch，A.、及 Schuijers，E. (2005)之 "Parametric coding of stereo audio" > Eurasip J. Applied Signal Proc., issue 9: special issue on anthropomorphic processing of audi〇 and speech，1305-1322。隨後，該空間 合成單元130之輸出被饋給該QMF合成單元14〇，其生成三 維立體音輸出。

參數、及一距離參數。該等參數對應於該聲頻物 件在該二維空間中之（所期）位置。 在已被開發之立體音物件導向聲頻解碼器工⑼内部，一 個至該參數變拖輩开彳a r ® 器100内部

生效應，本發明 132373.doc -12- 200922365 建議根據一被接收之所期距離參數修正該等所接收之頭部 相關傳遞函數參數。對該等HRTF參數之該修正係基於針 對該等所接收之HRTF參數之一預定距離參數。該修正發 生於距離處理構件2〇0。該等HRTF參數2〇1連同每一聲頻 物件之所期距離2〇2被饋給該距離處理構件200。由該距離 處理構件所產生之該等經修正之頭部相關傳遞函數參數 103被饋給該參數變換單幻職被用來定位—聲頻物件於 虛擬三維空間中之所期距離處。 根據本發明之立體音物件導向聲頻解碼 頭部相關傳遞函數參數可藉由從預定距離修正該等=至專 ㈣距離所獲得之距離參數進行擴展。此擴展可不需明確 提{、在3亥等頭部相關傳遞函數參數之測定期間所用之距離 2數而達成。這樣該立體音物件導向聲頻解碼 =解碼器裝置i。。之情況中的僅使用仰角及： =1限制。這一特性具有相當大的價值，因該等頭部 j關傳遞函數參數之絕A部分根^包含 數’且作為一仰角、I化距離參 邻相Μ禮距離之函數的該等頭 =專遞函數參數之測量極其昂貴且耗時。此外，： 被包括時大大減小。彳需之貝科量在該距離參數不 進-步的優點如下所述。根 計算負擔即可獲得精確距離處理。==有限之 聲頻物件的被感知㈣。對^雜肖者了於#作中修正 域，廷導致與操作於頭部 卩於參數領 關傳遞函數脈衝響財之距離 132373.doc -13· 200922365 修正（當應用常規三維人士、、、土t ' σ成法時）相比顯著減小之複雜性。 此外，該距離修正可不和從 不而獲侍該專原始頭部相關脈衝響應 進行應用。 ’ 圖2顯示一同側耳、-對側耳、及該聲頻物件之被感知 位置。該聲頻物件實際上被置於位置320。依靠各耳分別 至該聲頻物件之距離302及3〇3,該聲頻物件被使用者的同 側（=左）及對侧（=右）耳不同地感知。該使用者之參考距離 3〇1係從同側及對側耳之間隔中心至該聲頻物件之位置測 定。 在一實施例中，該等頭部相關傳遞函數參數包含至少對 -同側耳之-聲級、對—對側耳之—聲級、及制側及對 側耳之間一相位差，該等參數決定該聲頻物件之被感知位 置。針對頻率帶指數b、仰角e及方位角&之各個組合而決 定該等參數。對一同側耳之聲級由Pi(a，e，b)指示，對一對 側耳之聲級由Pc(a，e，b)指示，該同侧及對侧耳之間相位差 則由φ (a，e,b)指示。關於HRTF之詳細資訊可見F L.

Wightman &D.J.Kistler，"Headphonesimulationoffree- field listening. I. Stimulus synthesis" > J. Acoust. Soc. Am., 85:858-867, 1989。每個頻率帶之聲級參數有助於仰角（由 於頻譜中特定的波峰及波谷）及對方位角的聲級差（在每個 頻率帶由聲級參數之比率決定）。絕對相位值或相位差值 捕獲到達雙耳之時間差’這亦是對聲頻物件方位角之重要 線索。 該距離處理構件200接收一規定仰角e、一方位角a、及 132373.doc -14· 200922365 頻率帶b、以及一所期距離#由數字202描述）的hRTF參數 201。該距離處理構件2〇〇之輸出包含經修正之hrtf參數 Pi’(a，e，b)、Pc'(a，e，b)及φ ，(a，e，b)，該等參數被用作對該參 數變換單元120之輸入103 : * 其中指數丨係針對同侧耳，且指數c係針對對側耳，d為 所期距離且函數D表示所需之修正處理。應注意僅有聲級 ( 被修正而相位差並不隨著至該聲頻物件之距離變化而變 化。 在一實施例中’該距離處理構件係被設置以隨著增大對 應於該聲頻物件之距離參數，減小該等頭部相關函數參數 之聲級參數。在該實施例之情況下，距離變量適當地影響 著該等頭部相關傳遞函數參數如同確實發生於實際中。 在一實施例中’該距離處理構件係被設置以使用比例因 子之方式進行比例縮放，該等比例因子係該預定距離參數 〇 dref 301及所期距離d之一函數： P'x(a,e,b) = gx(a,e,b,d)Px{a,e,b) > 其中該聲級指數X對同側及對側耳分別取值丨或〇。 • 該等比例因子&及心係由一特定距離模型G(a，e，b，d)產 生’該模型預測該等HRTF參數px作為一距離函數之變 化： gx{a,e,b,d) = G(a,e,b,d) G(a,e,b,dref) 132373.doc -15- 200922365 其中J為所期距離且dref為該等HRTF測量之距離儿卜該 比例縮放方法之優點為計算工作僅限於比例因子計算及一 簡單乘法運算。該乘法運算係—極其簡單之運算且並不引 進大量計算負擔。 在-實施例中’該比例因子係預定距離參數^與所期 距離d之一比率： 加，。 這種計算比例因子的方法極其簡單且足夠精確。 在一實施例中，該等比例因子係對雙耳之各者進行計 算，每個比例因子包含對兩耳之路徑長度差，即3〇2與3〇3 之差。對同側及對側耳之比例因子可表達成： gXa,e,b,d) =--^_ rf-sin(a)cos(e)y^ * gc(a,e,b,d)^--_ d + sin(a)cos(e)yff， 其中β為頭部半徑（通常8至9cm)。這種計算比例因子的 方法為距離建模/修正提供了更高精確性。 或者》亥函數D並不藉由—比例因子心與該等hrtf參數 I及PC之乘法運算實現’而是-更常規之函數，其藉由增 大距離減小？;及Pc之值，例如： d ， F Aa,e,b) ^ p-\a,e,b) »

P\(a,e,b) = ^-b\ d + ε J 132373.doc * 16 - 200922365 其中s係以極小距離影響其行為之變量並防止對零的除 法運算。 在一實施例中，該預定距離參數取近似2米之值，對這 一假定的解釋見 A. Kan、c. Jin、Α· van Schaik 之

Psychoacoustic evaluation of a new method for simulating near-field virtual auditory space"，第 120屆 AES研討會會議 a己錄，法國巴黎（2006)。如前所述，為減小測量資料量， ,, 該等頭部相關傳遞函數參數絕大部分係按一大致為丨至2米 的固定距離進行測量。應注意〇至2米範圍内的距離變化可 導致該等頭部相關傳遞函數參數之顯著參數變化。 在一實施例中，該所期距離參數由一物件導向聲頻解碼 器提供。這允許該解碼器適當地重現在進行錄音/編碼時 該等聲頻物件在三維空間中之位置。 在一實施例中’該所期距離參數由使用者透過一專用介 面提供。這允許使用者自由地按其所需地定位該等經解碼 之聲頻物件於三維空間之中。 在一實施例中，該解碼構件100包含一依照mpeg環繞標 準的解碼器。這一特性允許現行MPEG環繞解碼器之再使 用’且使該解碼器獲得用其它方法無法達到之新特性。 圖3顯示依照本發明之某些實施例之解碼方法的流程 圖。步驟410中，降混音及相應物件參數被接收。步驟42〇 中，獲得該所期距離及該等HRTF參數。隨後步驟43〇，執 行距離處理。這一步驟的結果是對一預定距離參數之該等 HRTF參數被轉換為對所接收之所期距離之該等經修正之 132373.doc -17- 200922365 取TF參數。步驟440中，所接收之降混音係基於該等所接 收之物件參數進行解碼。步驟450中，該等經解碼之聲頻 物件按照該等經修正之HRTF參數被定位於三維空間中。 最末兩個步驟可合併為一個步驟以提高效率。 、在-實施例中，-電腦程式產品執行根據本發明之方

在-實施例中…聲頻播放裝置包含_根據本發明之立 體音物件導向聲頻解碼器。 應注意上述之該等實施例係為說明而非限制本發明，且 熟習此項技術者可在不㈣附加請求項之範圍的 計多種替代實施例。 a 在附隨請求項中’圓括號内任何參考標記皆不應被解釋 為限制該請求項。措詞「包含」Μ不排除_請求項中所列 出之元件或步驟以外的元件或步驟之存在。Κ牛名前面 的措3 -」&「__個」纟不排除複數個該等元件之存 在。本發明可藉由包含數個分離元件之硬體及一適當程 化之電腦實現。 【圖式簡單說明】 圖1顯示-物件導向聲頻解碼器’其包含用於將一預定 1 巨離參數之料頭部相關傳遞函數參數修正為所期距離之 新頭部相關傳遞函數參數的距離處理構件； 顯示一同側耳、-對側耳'及該聲頻物件之被感知 圖3顯示依照本發明 之某些實施例之解碼方法 的流程 132373.doc -18- 200922365 圖 【主要元件符號說明】 105 解碼器裝置 106 降混音 107 物件參數 108 頭部相關傳遞函數參數 109 立體音參數 111 QMF分析單元

121 參數變換單元 131 空間合成 141 QMF合成單元 203 距離處理構件 204 HRTF 參數 205 聲頻物件 501 物件導向聲頻解碼器 301 參考距離 302 左耳至聲頻物件之距離 303 右耳至聲頻物件之距離 320 聲頻物件之位置 132373.doc -19·

Claims (1)

1. 200922365 申請專利範圍： 1· -種立體音物件導向聲 頭部相關傳遞函數來數〜、匕1 2卩基於若干 解碼構件，^參數解碼及譯碼至少—個聲頻物件之 擬三維空門中 军馮物件於—虛 角參數、:等頭部相關傳遞函數參數係、基於—仰 方位角參數及一距離參數，該等夂數 該聲頻物件^ “ 數對應於 在3亥虛擬三維空間中之位置，藉此該立體音 物件導向聲储紘 數參數上置以接收該等頭部相關傳遞函 _ ’该等接收之頭部相關傳遞函數參數僅隨該仰角 器之特：方位角參數變化’該立體音物件導向聲頻解碼 拯、為：根據一所接收之所期距離參數修正該等所 員邛相關傳遞函數參數的距離處理構件，該等麫 =之：部相關傳遞函數參數係用以定位該聲頻：件： =維上間中之所期距離處，對該等頭部相關傳遞函數 I L正係基於針對該等所接收之頭部相關函數來 數之—預定距離參數。 / 士咕求項1之立體音物件導向聲頻解碼器，其中該等頭 卩相關傳遞函數參數包含至少對—同側耳之—聲級參 數對一對側耳之一聲級參數、及該同側及對側耳之間 相位差，該等參數決定該聲頻物件之被感知位置。 132373.doc 1 ·如°月求項2之立體音物件導向聲頻解碼器，其十該距離 处里構件係被設置以隨著增大對應於該聲頻物件之距離 參數，減小該等頭部相關函數參數之各聲級參數。 2 _如明求項1之立體音物件導向聲頻解碼器，其中該距離 200922365 Γ 處理構件係被設置以使用若 干比例因子之比例縮放，該 數。 參數、及该所期距離之一函 5. 如請求項4之立體音物件墓 向聲頻解碼器，其中該比例 因子係該職距離參數與該所期轉之_比率。 6. 如請求項4之立體音物件導 V向聲頻解碼器，其中該等比 例因子係對雙耳之各者進 仃冲异，母—比例因子各包含 對雙耳之路徑長度差。 7. 如請求項3之立體音物件導向聲頻解碼器 距離參數取一近似為2米之值。 8·如請求項1之立體音物件導向聲頻解碼器 距離參數係由—物件導向聲頻編碼器提供 U求項1之立體音物件導向聲頻解碼器 距離參數係由使用者透過—專用介面提供 1〇.如請求項1之立體音物件導向聲頻解碼器 構件^ 3 -依照MPEG環繞標準的解碼器。 •一種聲頻解碼之方本， ”匕3基於若干頭部相關傳遞函 數參數解碼及譯碼至少一 — ^個耳頻物件，该解碼及譯碼包 3足位一聲頻物件於— 二 、虛擬一維二間中，該等頭部相關 傳遞函數參數係基於一 角參數、一方位角參數及-距 …该等參數對應於該聲頻物件在該虛擬三維空間 之位置，藉A該解碼及譯碼係基於所接收之各頭部相 "數该荨所接收之頭部相關傳遞函數泉數 參數及方位角參數變化，該聲頻解碼之方法之 其中該預定 其中該所期 其中該所期 其中該解碼 11 132373.doc 200922365 特徵為：根據-所接收之所期距離參數修正該等所接收 2部相關傳遞函數參數，該等經修正之頭部相關傳遞 參數係用以定位該聲頻物件於該三維空間中之所期 距離處’對該等頭部相關傳遞函數參數之該修正係基於 針對該等所接收之頭部相關函數參數之一預定距離。 ( 12·:請求項11之聲頻解碼方法’其中修正該等頭部相關傳 遞函數參數係使得該等頭部相關函數參數之聲級表數之 減小引起對應於該聲頻物件之距離參數之增大。 13· =:12之聲頻解碼方法，其中修正該;頭部相關傳 遞函數參數係藉由使用若干比例因子之比例縮放法執 仃’㈣比例因子為該職距離參數、及該所期距離之 —函數。 η.如請求項η之聲頻解碼方法，其中該解碼及譯 立體音MPEG環繞標準執行。 ·、、' 15· -種電腦程式產品’其係用於執行請求項。至 項之方法。 16· 一種聲頻播放裝置’包含-如請求们之立體音物件導 向聲頻解碼器。 辱 132373.doc