TWI836711B - 使用早期反射型樣之用於聽覺化之概念 - Google Patents
使用早期反射型樣之用於聽覺化之概念 Download PDFInfo
- Publication number
- TWI836711B TWI836711B TW111142604A TW111142604A TWI836711B TW I836711 B TWI836711 B TW I836711B TW 111142604 A TW111142604 A TW 111142604A TW 111142604 A TW111142604 A TW 111142604A TW I836711 B TWI836711 B TW I836711B
- Authority
- TW
- Taiwan
- Prior art keywords
- early reflection
- early
- listener
- room
- pattern
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 230000005236 sound signal Effects 0.000 claims description 104
- 230000006870 function Effects 0.000 claims description 67
- 230000004044 response Effects 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 101150086923 ERB1 gene Proteins 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 241000557626 Corvus corax Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010420 art technique Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 101100412093 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rec16 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Abstract
本申請案係關於用於聽覺化之早期反射處理概念。實施例係關於用於考慮早期反射之聲音呈現的設備及方法,且係關於用於判定一早期反射型樣之設備及方法。
Description
本申請案係關於用於聽覺化之早期反射處理概念。
房間脈衝響應(RIR)描述聲學環境(房間)中之聲源與接收器(亦即,收聽者)之間的關係。其指定房間對時域中的單元脈衝之響應,且對應於頻域中的房間轉移函數。其由直達聲音路徑、早期反射(ER)及彌散性後期混響組成。
在用於虛擬及擴增實境(VR/AR)應用之雙耳(或揚聲器)呈現中,來自特定來源及收聽者位置之房間脈衝響應可能顯著改變。在6自由度(6DOF) VR/AR應用中,收聽者通常可在整個場景內自由移動,從而產生永久性改變的房間脈衝響應。因此,在考慮到牆壁之幾何構型、遮擋物件及其他效應以計算物理上精確之反射型樣的情況下,必須花費大量計算來判定自來源至收聽者之每一反射。
本發明之觀察結果為不需要房間中之早期反射(ER)型樣之精確聲學再現來進行在感知上有說服力的呈現,且此可以很大程度上自房間之精確幾何細節提取之方式進行。以此方式,可節省許多計算。在反射型樣必須自編碼器傳輸至呈現器的情況下,與常規基於幾何構型之呈現中之目前先進技術相比,可節省與取決於收聽者位置有效地計算反射相關聯的旁側資訊之相當大的部分。
文件[1]係關於用較普遍之簡單ER型樣替代精確計算之「真實」ER。此舉之想法為尋找、描述及模擬描述在大房間(例如,音樂會大廳)之舞台上的小或大聲源(例如,管弦樂隊)之在感知上正交的參數[2、3],且經由揚聲器設定(例如,立體聲)對其進行播放或經由頭戴式耳機對其進行雙耳播放。作曲者或音響師能夠使用此等參數(如來源現況資訊、來源發熱、來源輝度、房間現況資訊、運轉混響、包絡及餘響)來設定場景。SPAT軟體已長期用於此類產生[4]。該方法亦用於ISO MPEG-4標準化中[5]。
在動態6DOF環境中,房間之聲學描述(尺寸、RT60、…)可能改變相當大的量。來源及接收器位置完全自由,且將即時地計算以用於聽覺化。高度取決於此等不斷改變的物理設定之感知參數無法定義為常數,且因此不適用於此任務。
此處,本發明具有採用環境之僅僅少數基本物理參數來選擇及調整簡單基本ER型樣的新方法。此具有以下優點:不需要特定調音背景來界定參數。其直接來自物理模型。所使用之簡單ER型樣適應於不同房間大小及不同RT60值。甚至對於室外環境,界定簡單ER型樣,其並非SPAT中之情況。相對於完全物理上正確的模擬,利用此方法之感知降級受到限制,此係因為人類聽覺系統不能夠分析早期反射之精細結構,例如[6]。
在下文中,使用新發明之簡單ER型樣、房間聲學參數,如RT60、預延遲時間、房間體積或房間尺寸及RT60之頻率相依性。ER型樣經特定界定以產生直達聲音與後期混響之間的平滑過渡。其應為頻率中性的,且無關於至牆壁之接近度以及來源及接收器之開口。
想法為產生收聽者之似乎合理且有說服力的感知,從而適應於總體房間聲學參數。此對於大多數情況係足夠的,此係因為收聽者不具有與「真實」物理上精確的ER之直接比較可能性。
可避免ER之耗費計算量的精確幾何計算,尤其是具有可視性檢查的計算,在如即時聽覺虛擬環境及擴增實境之應用中尤其如此。取決於來源及收聽者之精確(及時變)位置,「真實」ER之精確計算有時亦為困難的,且容易由於ER之出現及消失而產生假影。此可藉由使用已在進入場景時計算一次之恆定ER型樣來避免或藉由自一個聲學環境移動至由不同聲學參數界定之另一環境來避免。
本發明利用編碼器-位流-呈現器情境。在一種情況(a)下,預設簡單ER型樣可藉由僅在呈現器中可用之房間聲學參數來計算。此等參數依據來源-收聽者距離及其間之方位角即時地調整。在情況(b)下,以更進階方式在編碼器中預先分析場景之幾何構型。接著,在編碼器中預計算少數ER之簡單ER型樣,並將其在位元串流中傳輸至呈現器。此處,以與情況(a)中相同的方式依據收聽者距離及角度(或在呈現時可用的其他資訊)對其進行調整。此等兩種情況對於開放式不過時方法給出完全靈活性,其中其他分析知識可稍後併入至編碼器中。
動機
房間脈衝響應(RIR)描述聲學環境(房間)中之聲源與接收器(收聽者)之間的關係,且指定房間對單位脈衝之響應,見例如圖21。其由直達聲音路徑、早期反射(ER)及彌散性後期聲音部分組成。圖21展示藉由聲學房間模擬程式RAVEN產生的具有2階ER之單音RIR的實例[7]。
尤其在由許多表面界定之複雜物理環境/房間中,具有必要可視性檢查(「此來源在至收聽者之直達視線中?」)之幾何正確ER之計算係極耗時的。另一方面,眾所周知,人類聽覺感知會抑制關於與直達聲音有關的ER的許多細節(第一波前定律、優先效應、場景分析[8、9]),且因此脈衝響應之ER部分的精確模型化在許多情況下對於達成有說服力的呈現品質並非必需的(例如,[6])。聽覺系統使用ER來判定或改進若干感知屬性。其中有:
- 來源相對於接收器之位置
- 來源-接收器距離
- 聽覺來源寬度(ASW)
- 邊界之位準及頻率相依性吸收[10]
- 與接近的邊界之接近度
發明背景
存在已知簡化ER計算之若干方法。第一方法為僅完全避免ER之計算,亦即在無模擬ER之情況下呈現聲音,亦即僅呈現直達聲音及後期混響,見圖22。後期混響在所謂的預延遲時間開始。圖22展示具有直達聲音之RIR及在預延遲時間0.13秒開始之後期混響(無ER)。
下一可能性為僅計算幾何學上精確之一階反射,見圖23。在鞋盒形房間中,此將ER之數目自約27減少至6。圖23展示具有1階反射及後期混響之RIR(左)、俯視圖(右)。正方形(紅色)為聲源,圓(藍色)為接收器,連接圓與正方形之線(紅色)為直達聲音,自圓中離開之其他線(藍色)為反射,長度與對數位準成比例。
下一可能性為與直達聲音並排之僅兩個ER,見圖24。自音樂會大廳聲學已知旁側反射對ASW之影響[11]。應注意,與真實幾何模擬相比,此計算起來非常簡單。圖24展示具有與直達聲音並排之兩個反射的RIR(左)、俯視圖(右)。
在下一型樣中,兩個旁側反射由直達聲音之各側的4次反射及在[±45°及±135°]處的四個固定來源位置獨立反射序列替換,其各自由4次反射組成,見圖25。此型樣由SPAT演算法[1、5]啟發,但其不實施所有細節,尤其並非所有輸入參數之效應。用於此型樣之參數經界定以特定地產生如ASW之感知接收器屬性。除了RT60之外,無房間聲學特性用於其。圖25展示具有「SPAT」型樣之RIR(左)、俯視圖(右)。叉號(綠色及藍色)為ER。
先前所描述之方法經設計使得界定ER型樣之輸入參數為感知參數。其應描述由ER造成的收聽者之感知。缺點為其僅不明確地適於房間相關參數。調音知識及體驗對於設定感知界定參數係必要的,如來源現況資訊、來源發熱、來源輝度、房間現況資訊、運轉混響、包絡及餘響。此對於界定即時VR/AR系統之物理特性且不具有感知調音體驗之設計者而言為明確的缺點。尤其對於VR應用,通常作為觀測程序之副產物而相當好地知曉虛擬物理空間之幾何構型。此外,不存在藉由SPAT演算法已知之室外環境的ER型樣。
發明概要
本發明之目標為藉由明確地使用房間聲學及物理參數界定ER型樣來避免目前先進技術之缺點。此外,不同型樣係取決於房間特性而界定,且甚至適合於室外環境(此處,幾何構型之精確描述係困難的)。該等型樣具有取決於房間大小或其他物理參數之不同數目個ER。
新ER型樣特徵在於
● 與「真實」ER相比,在感知上似乎合理的呈現
● 與「真實」ER計算相比,計算複雜度降低
● ER型樣取決於物理房間特性之調適
● 不需要任何特定調音技巧及經驗來設定必要參數
● 室內與室外之相異ER型樣
● 在呈現器內計算預定義型樣之情況下,不需要額外旁側資訊(對於包括位元串流之傳輸的編碼器/位元串流/呈現器情境)
● 在編碼器中自場景幾何構型計算預定義型樣之情況下,需要極少的額外旁側資訊(對於包括位元串流之傳輸的編碼器/位元串流/呈現器情境)
此係藉由使用並不取決於房間之確切幾何構型的可參數化但固定之空間ER型樣來達成。在本發明之一較佳實施例中,型樣亦不取決於房間中之收聽者位置。實情為,僅一個(或幾個)全域特性參數用以組配ER型樣。以此方式,可極其高效地呈現型樣。
在以下新發明之ER型樣中,使用特定房間聲學參數,如RT60、預延遲時間、房間尺寸或房間體積、RT60針對型樣組配之頻率相依性。ER型樣係以產生直達聲音與後期混響之間的(在時間上)平滑過渡的方式界定。其應具有中性音品。其取決於房間體積及表面。其並不取決於來源及接收器在房間中之位置。
本發明之目標為產生收聽者之似乎合理且有說服力的感知,從而適應於總體房間聲學參數。此對於大部分使用情況係足夠的,尤其係由於收聽者不可能與「真實」物理上正確的ER之呈現進行直接比較。
根據本發明之第一態樣,本申請案之發明人意識到,在嘗試使用音訊信號之早期反射(ER)呈現時遇到的一個問題源自以下事實:早期反射取決於來源位置與收聽者位置之間的關係。發明人發現,有可能在不具有例如地板反射之情況下考慮來源位置獨立ER型樣,以使得ER呈現變得更容易,同時呈現結果仍極佳。用於呈現之房間脈衝響應之早期反射部分係藉由早期反射型樣排他性地判定。聲源與收聽者之間的空間關係不被視為房間脈衝響應之早期反射部分。此外,早期反射型樣中之早期反射位置相對於收聽者頭部定向之改變保持不變。此係基於以下發現:相同ER型樣可用於獨立於收聽者看向聲源抑或看向任何其他方向而判定房間脈衝響應之早期反射部分。
因此,根據本申請案之第一態樣,一種用於聲音呈現之設備經組配以接收關於一收聽者位置及一聲源位置之資訊。該設備經組配以使用一房間脈衝響應呈現該聲源之一音訊信號,該房間脈衝響應之早期反射部分係由一早期反射型樣排他性地判定。該早期反射型樣指示一群集,例如,群集應指示位置之集合,並且就連接該等位置之線之間的角度而言界定該等位置之相互置放;同義術語應為早期反射位置之「型樣」。早期反射型樣以如下方式定位於收聽者位置處:使得早期反射位置圍繞收聽者位置定位且在自收聽者位置之角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變,亦即,群集以平移方式置放於收聽者位置處。
根據本發明之第二態樣,本申請案之發明人意識到,在嘗試使用音訊信號之早期反射(ER)呈現時遇到的一個問題源自以下事實:室外環境之早期反射型樣為高度個別的,且取決於場景之物理設定。發明人發現,使用環境之適中分析產生之ER型樣可導致在聲學上有說服力但在計算上適中之ER呈現結果。
因此,根據本申請案之第二態樣,一種用於判定用於聲音呈現之一早期反射型樣的設備經組配以藉由以下操作執行對一聲學環境之一幾何分析:在一或多個分析位置中之每一者處判定一函數,該函數針對距各別分析位置之不同距離中的每一者指示表示一早期反射貢獻之一值;及相對於一或多個最大值檢測該函數或自其導出之另一函數以導出一或多個控制參數。另外,該設備經組配以藉由使用該一或多個控制參數置放該等早期反射位置而判定指示早期反射位置之一群集的一早期反射型樣。
根據本發明之第三態樣,本申請案之發明人意識到,在嘗試使用音訊信號之早期反射(ER)呈現時遇到的一個問題源自以下事實:用於呈現之音訊場景之早期反射型樣的傳輸可導致高傳信成本。發明人發現,ER型樣可藉由使用導致在聲學上有說服力的但在計算上適中之ER呈現結果的位元串流提示而產生。藉由僅在位元串流中使用提示,可降低傳信成本,此係由於不需要傳輸完整ER型樣。
因此,根據本申請案之第三態樣,一種用於聲音呈現之設備經組配以接收關於一收聽者位置及一聲源位置之第一資訊。該設備經組配以接收包含例如定位於該聲源位置處之一聲源之一音訊信號的一表示及一或多個早期反射型樣參數之一位元串流,且自其讀取該音訊信號之該表示及該一或多個早期反射型樣參數。舉例而言,該位元串流為在該位元串流之一標頭或後設資料欄位內部具有該早期反射參數之音訊位元串流,或為一檔案格式串流,在該檔案格式串流之一封包及該檔案格式串流之一播放軌內具有該早期反射參數,該播放軌包含表示該音訊信號之一音訊位元串流。另外,該設備經組配以取決於該一或多個早期反射型樣參數而判定一早期反射型樣,該早期反射型樣指示早期反射位置之一群集。此外,該設備經組配以使用一房間脈衝響應呈現該聲源之該音訊信號,該房間脈衝響應之早期反射部分係由一早期反射型樣判定。該早期反射型樣指示一群集,例如,群集應指示位置之集合,並且就連接該等位置之線之間的角度而言界定該等位置之相互置放;同義術語應為早期反射位置之「型樣」。早期反射型樣以如下方式定位於收聽者位置處:使得早期反射位置圍繞收聽者位置定位且在自收聽者位置之角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變,亦即,群集以平移方式置放於收聽者位置處。
根據本發明之第四態樣,本申請案之發明人意識到,在嘗試使用音訊信號之早期反射(ER)呈現時遇到的一個問題源於以下事實:考慮到牆壁之幾何構型、遮擋物件及其他效應,必須花費極大量計算來判定自來源至收聽者之每一反射,以計算物理上準確之反射型樣。發明人發現,簡單的房間聲學參數(如房間尺寸、房間體積或預延遲)可用以判定早期反射型樣內之早期反射位置的數目。不需要分析場景之真實早期反射,此係因為可取決於房間聲學參數而粗略估計早期反射。發明人發現,藉由ER數目對房間聲學參數之相依性產生ER型樣導致在聲學上有說服力,但在計算上適中之ER呈現結果。
因此,根據本申請案之第四態樣,一種用於判定用於聲音呈現之一早期反射型樣的設備經組配以接收表示一聲學環境之一聲學特性的至少一個房間聲學參數。該設備經組配而以如下方式判定指示早期反射位置之一群集的一早期反射型樣:使得該等早期反射位置之一數目取決於該至少一個房間聲學參數。
根據本發明之第五態樣,本申請案之發明人意識到,在嘗試使用音訊信號之早期反射(ER)呈現時遇到的一個問題源自如下事實:各來源與不同早期反射型樣相關聯。發明人發現,並不必要針對不同來源之信號使用不同ER型樣。此係基於以下想法:可取決於來源-收聽者關係對信號進行加權及求和,以使得僅基於ER型樣呈現音訊信號之加權總和。發明人發現,藉由針對多於一個聲源使用一ER型樣來呈現ER導致在聲學上有說服力,但在計算上適中之ER呈現結果。
因此,根據本申請案之第五態樣,一種用於聲音呈現之設備經組配以接收關於一收聽者位置、一第一聲源位置及一第二聲源位置之資訊。該設備經組配以使用一房間脈衝響應呈現該等兩個聲源之音訊信號,該房間脈衝響應之早期反射部分係由一早期反射型樣判定。該早期反射型樣指示一群集,例如,群集應指示位置之集合,並且就連接該等位置之線之間的角度而言界定該等位置之相互置放;同義術語應為早期反射位置之「型樣」。早期反射型樣以如下方式定位於收聽者位置處:使得早期反射位置圍繞收聽者位置定位且在自收聽者位置之角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變,亦即,群集以平移方式置放於收聽者位置處。該設備經組配以藉由形成定位於第一聲源位置處之第一聲源之第一音訊信號與定位於第二聲源位置處之第二聲源之第二音訊信號之加權總和來呈現兩個聲源之音訊信號。若第一聲源位置與收聽者位置之間的第一距離小於第二聲源位置與收聽者位置之間的第二距離,則加權總和對第一音訊信號之加權大於第二音訊信號,且若第一距離大於第二距離,則加權總和對第二音訊信號之加權大於第一音訊信號。另外,該設備經組配以藉由產生與房間脈衝響應之早期反射部分相關之早期反射貢獻揚聲器信號藉由自早期反射位置呈現加權總和來呈現兩個聲源之音訊信號。
根據本發明之第六態樣,本申請案之發明人意識到,在嘗試使用音訊信號之早期反射(ER)呈現時遇到的一個問題源於以下事實:考慮到牆壁之幾何構型、遮擋物件及其他效應,必須花費極大量計算來判定自來源至收聽者之每一反射,以計算物理上準確之反射型樣。發明人發現,簡單的房間聲學參數(如房間尺寸、房間體積或預延遲)可用以參數化界定早期反射之位置的函數。不需要分析場景之真實早期反射,此係因為可取決於房間聲學參數而粗略估計早期反射。此外,已發現螺旋函數提供早期反射位置之良好分佈。本發明人發現,使用一或多個螺旋函數產生ER型樣導致在感知上有說服力的,但在計算上適中之ER呈現結果。
因此,根據本申請案之第六態樣,一種用於判定用於聲音呈現之一早期反射型樣的設備經組配以:接收至少一個房間聲學參數,該至少一個房間聲學參數表示一聲學環境之一聲學特性;及藉由參數化居中於收聽者位置處之一或多個螺旋函數而判定指示早期反射位置之一群集的一早期反射型樣;及使用該一或多個螺旋函數來置放該等早期反射位置。
較佳實施例之詳細說明
即使具有相同或等效功能性之相同或等效的一或多個元件出現於不同圖式中,以下描述中仍藉由相同或等效參考數字來表示該一或多個元件。
在以下描述中,闡述多個細節以提供對本發明之實施例的較透徹解釋。然而,熟習此項技術者將顯而易見,可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下,以方塊圖形式而非詳細地展示熟知結構及裝置以便避免混淆本發明之實施例。另外,除非另外特定地指出,否則本文所描述之不同實施例的特徵可彼此組合。
在下文中,描述各種實例,其可輔助當使用早期反射處理概念時達成降低之音訊呈現複雜度。本文中所論述的簡化早期反射處理概念可添加至例如試探性地設計的其他早期反射處理概念,或可排他性地提供。
為了易於理解本申請案之以下實施例,描述以根據本發明之一實施例的早期反射型樣1之一般呈現開始。關於圖1中之早期反射型樣1所描述之特徵亦可適用於本文所述之任何其他早期反射型樣1。
早期反射型樣1指示早期反射位置ERP之群集,見ERP
1及ERP
2。舉例而言,群集應指示位置ERP之集合,並且(例如)依據連接位置與型樣1之中心2的線之間的角度α界定其相互置放。用於群集之同義術語應為「型樣」。
早期反射位置ERP (亦即,早期反射之位置)可指示或識別環境5 (例如,室內房間或室外區域)中可能發生音訊信號之早期反射的位置。舉例而言,定位於早期反射型樣1之中心2處的收聽者可感知來自早期反射位置ERP之早期反射。換言之,早期反射位置ERP可指示位置,定位於早期反射型樣1之中心處的收聽者自該等位置接收早期反射。
早期反射型樣1例如以如下方式定位於收聽者位置10處:使得該等早期反射位置ERP圍繞收聽者位置10定位,且處於相對於收聽者頭部定向之改變保持不變的自收聽者位置10的角度方向,亦即,群集以平移方式置放於收聽者位置10處。舉例而言,可判定早期反射位置ERP,以使得該等早期反射位置以大體均勻方式圍繞收聽者位置10在角度上分佈。
根據一實施例,可判定早期反射型樣1,亦即早期反射位置ERP,各別早期反射位置ERP
1/ERP
2與收聽者位置10之間的連接線(見圖1中之7及8)不相互重疊,亦即相互相異。此允許均勻分佈,且防止早期反射位置在環境5中聚集。
如圖1中所示,早期反射型樣1之中心2可定位在收聽者位置10處。早期反射型樣1之中心2可連結至收聽者位置10,且早期反射型樣1可與收聽者一起平移。然而,收聽者之旋轉移動不會改變早期反射位置ERP,亦即,早期反射型樣1不會遵循收聽者之旋轉運動。
根據一實施例,早期反射位置ERP連同收聽者位置10處於水平平面中。
根據一實施例,用於音訊呈現或用於產生早期反射型樣1之設備可經組配以藉由根據包含待呈現之音訊信號之表示的位元串流中之型樣方位角參數調整群集之方位角旋轉而判定早期反射位置ERP。換言之,完全早期反射型樣1可經旋轉以較佳地粗略估計例如某一環境5中之真實早期反射。在對移動(例如,收聽者之旋轉移動)之反應中不執行此方位角旋轉。群集之方位角旋轉之此調整可在早期反射型樣1之初始判定時執行。一旦判定早期反射型樣1,所有早期反射位置ERP即可對收聽者位置10之平移移動進行反應而經歷相同平移移動。可使用群集之方位角旋轉之調整來判定早期反射位置ERP相對於型樣1之中心2之配置。一旦判定型樣1,則可能不再調整該型樣,亦即,收聽者位置之移動不改變早期反射位置ERP與型樣1之中心2之間的相對配置。
根據一實施例,可在判定早期反射型樣時考慮表示聲學環境之聲學特性的至少一個房間聲學參數。至少一個房間聲學參數包含房間尺寸、房間體積及至後期混響之預延遲時間中之一或多者。較佳地,至少一個房間聲學參數包含聲學環境之此聲學特性中之僅一者。可自位元串流,例如自包含待使用早期反射型樣1呈現的音訊信號之表示的位元串流,接收或讀取至少一個房間聲學參數。
根據一實施例,可以使得早期反射位置之數目取決於至少一個房間聲學參數及/或使得早期反射位置之相互間距取決於至少一個房間聲學參數而改變/調適的方式判定早期反射型樣1。舉例而言,早期反射位置之相互間距藉由居中在收聽者位置處之中心擴展而改變。
根據一實施例,可判定型樣1之早期反射位置ERP之數目,使得
早期反射位置之數目及/或距收聽者位置之最遠早期反射位置愈大,則房間尺寸愈大,或
早期反射位置之數目及/或距收聽者位置之最遠早期反射位置愈大,則房間體積愈大,或
早期反射位置之數目及/或距收聽者位置之最遠早期反射位置愈大,則至後期混響之預延遲時間愈大。
「距收聽者位置之最遠早期反射位置」應理解為「早期反射位置中距收聽者位置距離最大的位置的距離」。根據一實施例,早期反射位置ERP被置放成接近型樣1之中心2,且型樣1包含的早期反射位置ERP愈多,則最遠早期反射位置距中心2愈遠。
根據一實施例,可取決於至少一個房間聲學參數藉由隨房間尺寸、房間體積或至後期混響之預延遲時間的增大而均勻地增大每一早期反射位置ERP至中心2之距離來改變/調適早期反射位置ERP之相互間距。視情況,早期反射位置ERP之相互間距可取決於至少一個房間聲學參數而改變/調適,使得早期反射位置ERP中距收聽者位置10距離最大的位置的距離愈大,房間尺寸愈大,或房間體積愈大,或至後期混響之預延遲時間愈大,其中該距離小於預延遲時間。此允許早期反射位置ERP之均勻分佈,且因此允許在聲學上有說服力的ER呈現結果。以下情況可能有利:隨著房間尺寸、房間體積或至後期混響之預延遲時間的增大,早期反射位置ERP中距收聽者位置10距離最大的位置之距離增大至超過早期反射位置ERP中距收聽者位置10距離最近的位置之距離。
圖2展示可用於音訊信號之早期反射處理之早期反射型樣1的實施例。早期反射型樣1包含早期反射位置ERP,見圖2中之ERP1
1至ERP1
5(ERP1)及ERP2
1至ERP2
5(ERP2)。圖2例示性地展示10個早期反射位置ERP。然而,顯而易見,早期反射型樣1可包含不同數目個早期反射位置ERP。早期反射型樣1可包含兩個或更多個早期反射位置ERP,例如僅包含早期反射位置ERP1
1及ERP2
1。
如圖2中所示,居中於收聽者位置(亦即中心2)處之兩個螺旋函數3及4可界定例如在環境5內的早期反射之位置,亦即早期反射位置ERP。然而,顯而易見,早期反射之位置可替代地由僅僅一個螺旋函數3或4界定或由超過兩個螺旋函數界定。用於音訊呈現或用於產生早期反射型樣1之設備可經組配以使用一或多個螺旋函數3、4來置放早期反射位置ERP,以判定環境5中之早期反射型樣1。舉例而言,各別設備可經組配以使用第一螺旋函數3來置放第一組早期反射位置ERP1 (見ERP1
1至ERP1
5),且使用第二螺旋函數4來置放第二組早期反射位置ERP2 (見ERP2
1至ERP2
5)。
第一組早期反射位置ERP1中之每一者係與第二組早期反射位置ERP2中之對應早期反射位置相關聯。舉例而言,早期反射位置ERP1
1可與對應早期反射位置ERP2
1相關聯,早期反射位置ERP1
2可與對應早期反射位置ERP2
2相關聯,早期反射位置ERP1
3可與對應早期反射位置ERP2
3相關聯,早期反射位置ERP1
4可與對應早期反射位置ERP2
4相關聯,且早期反射位置ERP1
5可與對應早期反射位置ERP2
5相關聯。對於第一組早期反射位置ERP1中之每一者,各別早期反射位置ERP1定位於垂直穿過在各別早期反射位置ERP1與第二組早期反射位置ERP2中之對應早期反射位置ERP2之間的連接線之線的對立側上。此確保收聽者自不同方向接收早期反射,且防止早期反射位置在一個區域中聚集。使用螺旋函數之此定位致能早期反射位置在環境5中之均勻分佈,從而導致音訊信號在聲學上有說服力,但在計算上適度的早期反射呈現結果。
圖2展示一實例:對於第一組早期反射位置ERP1中之每一者,第二組早期反射位置ERP2中之對應早期反射位置ERP2相對於連接線在角度上偏移至對於第一組早期反射位置ERP1中之所有早期反射位置ERP1共同的角度方向上。
根據一實施例,用於音訊呈現或用於產生早期反射型樣1之設備可經組配以使用兩個螺旋函數3及4來置放早期反射位置ERP1及ERP2,
- 使得該第一組早期反射位置ERP1中之每一者係與該第二組早期反射ERP2之對應早期反射位置相關聯,且
- 使得對於第一組早期反射位置ERP1中之每一者,各別早期反射位置ERP1定位於在型樣中心2處垂直穿過延行通過型樣中心2及第一組早期反射位置ERP1中之各別早期反射位置ERP1之軸線的各別線之側上,且使得第二組早期反射ERP2中之各別對應早期反射位置ERP2定位於各別線之對立側上,且
-
使得第二組早期反射位置ERP2中之各別對應早期反射位置ERP2相對於各別軸線在角度上偏移(見對應早期反射位置ERP1
1及ERP2
1之
)至對於第一組早期反射位置ERP1中之所有早期反射位置ERP1為共同及/或對於第二組早期反射位置ERP2中之所有早期反射位置ERP2為共同的角度方向。
一或多個螺旋函數3、4可以極座標(r, β)界定早期反射位置ERP,見用於界定第一組早期反射位置ERP1中之早期反射位置ERP1的(r1
1 至5,β1
1 至5)及用於界定第二組早期反射位置ERP2中之早期反射位置ERP2的(r2
1 至5,β2
1 至5)。
如將在下文中更詳細地描述,尤其見章節1 「室內ER參數計算」,一或多個螺旋函數3、4可取決於至少一個房間聲學參數而參數化,亦即,各別螺旋函數3、4取決於至少一個房間聲學參數而界定各別早期反射位置ERP。至少一個房間聲學參數包含房間尺寸、房間體積及至後期混響之預延遲時間中之一或多者。至少一個房間聲學參數可表示聲學環境5之聲學特性。
舉例而言,一或多個螺旋函數3、4可取決於至少一個房間聲學參數而參數化,
- 使得早期反射位置ERP之數目愈大,則房間尺寸愈大,或房間體積愈大,或至後期混響之預延遲時間愈大;及/或
- 使得對於早期反射位置ERP中之每一者,各別早期反射位置ERP距早期反射型樣1之中心2的距離愈大,則房間尺寸愈大,或房間體積愈大,或至後期混響之預延遲時間愈大。
根據一實施例,用於音訊呈現或用於產生早期反射型樣1之設備可經組配以參數化該一或多個螺旋函數且判定早期反射位置ERP之數目,使得早期反射位置中距收聽者位置距離最大的位置之距離愈大,則房間尺寸愈大,或房間體積愈大,或至後期混響之預延遲時間愈大,其中該距離小於預延遲時間。
根據一實施例,用於音訊呈現或用於產生早期反射型樣1之設備可經組配以支援早期反射型樣之不同判定。用於音訊呈現或用於產生早期反射型樣1之設備可經組配以取決於環境5而選擇判定類型。舉例而言,使用一或多個螺旋函數3、4對早期反射型樣1之判定(例如,第一判定)及/或以使得早期反射位置之數目取決於至少一個房間聲學參數的方式對早期反射型樣1之判定(例如,第一判定)可與如房間之室內環境相關聯,尤其見章節1 「室內ER參數計算」。可在聲學環境5為室內環境之情況下或在包含待呈現之音訊信號之表示的位元串流中之型樣類型索引採用預定狀態的情況下選擇此判定(例如,第一判定)。替代判定(例如,第二判定)更詳細地描述於章節3 「室外ER型樣」中。
如上文已描述,用於室內之新發明之ER型樣1中之一者由兩個螺線組成,見圖3。此型樣1具有覆蓋圍繞收聽者10之所有方向同時隨時間推移提供均勻分佈而無集群的優點。早期反射(ER)之數目可適應於房間之大小,其亦可自用於後期混響之預延遲導出。RT60之頻率相依性亦可界定ER之頻率相依性。RT60或平均吸收因數界定超出正常距離影響之額外放大。根據RT60之頻率相依性,計算簡單的擱置濾波器以使早期反射之頻率響應適應於由RT60所描述之總體吸收行為。圖3展示在a)時間、b)空間俯視圖,c)頻率相依性上之新ER型樣1。
1 室內ER 參數計算
室內ER參數計算之以下描述參考圖2及圖3。
用於螺旋型樣(亦即,用於第一螺旋函數3及用於第二螺旋函數4)之可變參數主要由預延遲時間設定。舉例而言,使用至後期混響之預延遲時間,例如
參數係取決於房間之預延遲而設定,其界定後期混響之開始且藉由以下等式1計算。
等式1
NumER表示早期反射位置之數目。
可使用第一螺旋函數3及第二螺旋函數4,使得第一組早期反射位置ERP1在極座標上判定為(r1;
),且第二組早期反射位置ERP2在極座標上判定為(r2;
)。具有兩個螺旋型樣之ER位置的方位角及半徑計算:
, n = [1:NumER/2] 等式2
, n = [1:NumER/2] 等式3
,
等式4
,
等式5
(1)
(2)
常數
distfactor可對應於上文所提及之常數
distFac。根據一實施例,可基於至少一個房間聲學參數而判定distfactor,例如,可判定distfactor,使得其愈大,則至後期混響之預延遲時間愈大。
如圖2中可見,極軸6延行穿過早期反射型樣1之中心2。早期反射型樣1之原點,亦即中心2,表示極點。射線自極點在參考方向(亦即極軸6)上延行,使得界定第一組早期反射位置ERB1中之早期反射位置ERB1
(1 至5)的角座標的方位角
(1 至5)及界定第二組早期反射位置ERB2中之早期反射位置ERB2
(1 至5)的角座標的方位角
(1 至5)表示距極軸6之角度。早期反射位置ERP1之半徑座標經導向至參考方向中,且早期反射位置ERP之半徑座標經導向至與參考方向相反之方向中,見圖2及等式4及等式5。
用於聲音呈現之設備可經組配以藉由以例如根據各別早期反射位置至該收聽者位置之距離而調整位準之方式自早期反射位置ERP呈現一或多個聲源之音訊信號來產生與房間脈衝響應之早期反射部分相關的早期反射貢獻揚聲器信號,例如見上文amp1及amp2之判定。舉例而言,對於第一組早期反射位置ERB1中之每一者,聲源之音訊信號係在位準amp1處自各別早期反射位置ERB1呈現,且對於第二組早期反射位置ERB2中之每一者,聲源之音訊信號係在位準amp2處自各別早期反射位置ERB2呈現。
反射之振幅取決於若干影響參數:
a) 標準距離定律(根據距離倍增而減小2倍)
b) 藉由以下校正
等式6
其中slDistance表示來源收聽者距離。項ampFac及吸收率表示常數。
如圖4中看出,反射與直達來源位準之間的位準關係係固定的。此處展示五個來源(一個直達來源及四個早期反射)之位準相對於來源-收聽者距離(sl距離)而上下變化。圖4展示收聽者、直達來源與反射之間的位準關係。
以根據各別早期反射位置至收聽者位置之距離調整位準之方式自每一早期反射位置呈現聲源之音訊信號可藉由以下操作執行:
使用位準偏移使自各別早期反射位置呈現聲源之音訊信號之位準偏移20,或以位準因數放大該位準,該偏移或因數對於所有早期反射位置係共同的,及
根據一振幅校正因數(見等式6)來設定位準偏移或位準因數。
舉例而言,對於第一組早期反射位置ERB1中之每一者,藉由ampCorrection (見等式6)偏移自各別早期反射位置ERB1呈現聲源之音訊信號的位準amp1,且對於第二組早期反射位置ERB2中之每一者,藉由ampCorrection (見等式6)偏移自各別早期反射位置ERB2呈現聲源之音訊信號的位準amp2。振幅校正因數,亦即等式6之ampCorrection,可含於包含音訊信號之表示的位元串流中。根據一實施例,振幅校正因數含於一或多個早期反射型樣參數中。
根據一實施例,以根據每一早期反射位置至收聽者位置之距離而調整位準之方式自各別早期反射位置呈現聲源之音訊信號可藉由相對於由該設備用於根據距離衰減(amp1及amp2)自聲源位置呈現音訊信號之位準調整,根據各別早期反射位置至收聽者位置之該距離來修改位準調整來執行。距離衰減可含於包含音訊信號之表示的位元串流中。根據一實施例,衰減含於一或多個早期反射型樣參數中。
如圖4中可見,在呈現時,偏移20自各別早期反射位置呈現聲源之音訊信號之位準,其中相同偏移應用於早期反射型樣1之所有早期反射位置ERP。另外,在呈現時,可取決於各別早期反射位置與收聽者之間的距離(例如,使用校正距離定律)而使自各別早期反射位置呈現聲源之音訊信號的位準衰減。
如上文所描述,對於單一聲源之音訊信號,亦有可能將此呈現技術應用於兩個或更多個聲源之兩個或更多個音訊信號,其中將特殊呈現應用於兩個或更多個音訊信號之加權總和。加權總和之計算更詳細地描述於章節5中。
2 在 VR 系統中之實施
圖5呈現在編碼器/解碼器環境中的簡單ER軟體演算法之建構圖。圖5展示編碼器及解碼器/呈現器中之簡單ER演算法之實施。首先,決定是否使用預定義ER型樣。接下來的決策係關於室內或室外ER型樣。對於室內型樣,不必傳輸其他參數。自已經存在之聲學場景參數計算ER型樣。對於室外型樣,分析場景之幾何構型,傳輸此等參數,且在解碼器中計算ER室外型樣。關於更多細節,見部分3。對於自一個聲學環境至下一環境之轉變,見部分4。對於處置一個場景中之若干音訊源,見部分5。
3 室外ER 型樣
圖6中所示之實施例係關於設備100,其用於判定用於聲音呈現之早期反射型樣1,經組配以藉由以下操作執行對聲學環境5之幾何分析110:在一或多個分析位置50 (見50
1至50
5)中之每一者處判定對於距各別分析位置50之不同距離114中之每一者指示表示早期反射貢獻116之值的函數112。相對於一或多個最大值118分解函數112或自其導出之另一函數以導出一或多個控制參數120。另外,設備100經組配以藉由使用一或多個控制參數置放早期反射位置而判定指示早期反射位置ERP之群集(見ERP
1至ERP
4)的早期反射型樣1。在下文中更詳細地描述設備100之特徵。
具體而言,對於室外場景,但不限於此,設計具有四個大致交叉定位之ER的新型樣1,見圖7。圖7展示具有四個早期反射位置ERP
1至ERP
4之新ER型樣1的空間俯視圖。不同距離(亦即,各別早期反射位置與中心2之間的各別距離)在此處可由預延遲時間及壓縮因數界定,該等預延遲時間及壓縮因數係自場景(亦即,環境5)之幾何分析110導出。
用於已知室外環境之ER型樣的使用為高度個別的,且取決於場景之物理設定。下文所描述之幾何分析110捕捉室外場景(亦即環境5)之感知上重要的特性,該等特性與感知ER相關:
圖8展示幾何室外場景分析。A)圍繞分析點的環的俯視圖。B)圍繞分析點之側視圖,其中環之高度增大。自中心收聽點(例如,分析點50),定位同心環。由半徑及高度界定之環區域表示此距離處之最大可能反射能量,見圖8。在環之間存在間距d (例如,3 m)。自分析點50發送出具有角度間距α (例如6°)之射線。其衝擊之第一表面在此距離下記為現有反射表面,且在環上求和。利用此方法,有可能針對距各別分析位置50之不同距離中之每一者判定指示表示早期反射貢獻之值的函數112。可針對分析點50中之每一者判定此函數。
換言之,相對於最近反射表面距離徑向取樣聲學環境5以獲得徑向取樣結果。另外,可執行對徑向取樣結果之徑向積分及徑向取樣結果之加權以便獲得函數112。可根據徑向距離執行加權以便隨著距離增大而減小早期反射貢獻。
圖9展示分析點50之網格的俯視圖a)及側視圖b)。點虛線指示場景(亦即環境5)之使用者可達區域。存在定位於使用者可達區域之內部部分中的多個分析點(例如9個),見圖9。其為3D網格,因為一些點在場景之幾何網格內部,且必須取消選擇。
或者,為針對每一分析點分析各別函數112,使在一或多個分析位置處判定之函數112經受求和(例如平均化)以得到圖10中所展示之另一函數112'係有利的。可平均化所有網格點之資料,且可分析分佈。其表示空間及距離上之反射室外能量,見圖10。圖10展示在若干分析點50上平均化的在距離上之反射表面區域分佈。
如圖10中可見,相對於兩個最大的最大值檢測自與個別分析點相關聯的函數導出之另一函數112'以導出針對兩個最大的最大值中之最近者118
1的第一振幅a1及第一距離p1以及針對兩個最大的最大值118
2中之最遠者的第二振幅a2及第二距離p2,作為一或多個控制參數120。或者,有可能自與個別分析點相關聯之函數中之每一者導出一或多個控制參數120。
舉例而言,振幅a1及a2連同其距離p1及p2為用以計算室外ER型樣1之輸入值。室外ER型樣1包含四個ER,見圖11a。
根據圖11a中所展示之一實施例,ER型樣1係藉由以下判定:
取決於p2而設定第一早期反射位置ERP
1及第三早期反射位置ERP
3距收聽者位置10之距離,及
基於取決於a1之第一項與取決於a2之第二項之間的商或差而設定一方面第一早期反射位置ERP
1及第三早期反射位置ERP
3距收聽者位置10之距離與另一方面第二早期反射位置ERP
2及第四早期反射位置ERP
4距收聽者位置10之距離之間的比率,見compFactor。
圖11a展示四個反射之室外ER型樣1,見收聽者周圍之圓(藍色),見叉號(紅色)。至第二分佈最大值118
2之距離p2界定至兩個更遠反射之距離,見早期反射位置ERP
1及ERP
3。壓縮因數compFactor可界定兩個較近反射之間的距離,見早期反射位置ERP
2及ERP
4。振幅之間的關係可界定壓縮因數,例如
四個早期反射位置ERP
i可經置放以使得其定位於極座標(r(i);β(i))處,其中i = 1…4。
角度座標可為β(1)≈5°至15°,β(2)≈90°至110°,β(3)≈180°至200°,β(4)≈270°至290°。根據一實施例,
。
半徑座標可根據等式7及8判定,其中自計算之半徑值的至多40%之偏差可為可允許的:
preDelay = p2/c(3)
等式6
其中i= [1...4],slDistance [m]表示來源-收聽者距離,preDelay [ms]為至第二分佈峰值(a2)之時間,c =343m/s表示聲速
其中 i= [2,4]等式7
如可看出,早期反射位置ERP
1及ERP
3之半徑座標係用等式7判定,且對於早期反射位置ERP
2及ERP
4,修改等式7以變為等式8。
根據圖11b中所示之實施例,可置放四個早期反射位置ERP
1至ERP
4,使得第一早期反射位置ERP
1及第二早期反射位置ERP
2配置於穿過收聽者位置10之第一線1000的對立側處,且第三早期反射位置ERP
3及第四早期反射位置ERP
4配置於垂直於第一線1000且穿過收聽者位置10之第二線2000的對立側處。根據一實施例,ER型樣1藉由以下來判定
取決於p2而設定第一早期反射位置ERP
1及第二早期反射位置ERP
2距收聽者位置10之距離,及
基於取決於a1之第一項與取決於a2之第二項之間的商或差而設定一方面第一早期反射位置ERP
1及第二早期反射位置ERP
2距收聽者位置10之距離與另一方面第三早期反射位置ERP
3及第四早期反射位置ERP
4距收聽者位置10之距離之間的比率。
自由場條件中之聲學點源之位準減小遵循1/r定律,其對應於針對每距離倍增達2倍的振幅減小[13]。當在少數ER中概述不同反射區域之影響時,此相對於距離之減小應減小指數倍。
distAlpha值[0.5..1]可藉由例如以下自區域分佈估計:
可允許自所計算之distAlpha值約20%的偏差。
根據一實施例,可根據以下設定distAlpha:
若 < 0.5 ,則 =0.5 ; 若 > 1.0 ,則 =1.0。
圖12展示針對不同distAlpha值隨點源之距離的振幅減小。
當在編碼器中進行幾何分析時,接著僅需將演算法參數predelay、compFactor及distAlpha傳送至呈現器。
在較詳細的幾何分析得出無法藉由上文所界定之等式導出的ER型樣之情況下,可獨立地傳輸所有單個反射位置及相對振幅以表示所要型樣。
來自對於不同室外情境之幾何分析以計算ER型樣之實例值:
[preDelay,compFac,ampFac,distAlpha]
由岩石包圍之室外現場[144,0.47,2.2,1]
城鎮街道[109,0.44,1,0,65]
城鎮公園[57,0.58,1,0,58]
如上文已經關於圖2所描述,根據一實施例,用於音訊呈現或用於產生早期反射型樣1之設備可經組配以支援早期反射型樣之不同判定。用於音訊呈現或用於產生早期反射型樣1之設備可經組配以取決於環境5而選擇判定類型。根據一實施例,可如此章節中所描述而執行第一判定,該第一判定涉及使用一或多個控制參數120來置放早期反射位置ERP。在聲學環境為室外環境之情況下或在包含待呈現之音訊信號之表示的位元串流中之型樣類型索引採用一預定狀態的情況下,可選擇該第一判定。視情況,可使用一或多個螺旋函數執行第二判定,如上文所描述。但顯而易見,其他類型之判定亦可用於選擇。
4 在入口處之行為
入口描述自一個聲學環境至下一聲學環境、自一個房間至下一房間或自一個房間至自由現場環境之間的邊界。為使得經由此類入口之轉變順暢,相關聯簡單ER型樣之間的交叉淡化處理係有益的。在例如d=5 m之區域內,來自一個聲學環境之貢獻位準淡化。
根據一實施例,用於呈現之設備可經組配以支援早期反射型樣1之第一判定方式及早期反射型樣1之第二判定方式,其中第一判定方式不同於第二判定方式,例如針對第一判定方式見章節1及圖2之描述,且針對第二判定方式見章節3。該設備可經組配以取決於型樣類型索引而在判定早期反射型樣1時使用第一判定方式或第二判定方式。此索引可含於一或多個早期反射型樣參數中。
5 若干音訊源求和成一個ER 型樣
在真實環境中,每一音訊源具有其取決於來源及接收器位置之個別ER型樣。在簡化模擬中,一個環境中之每一音訊源具有相同ER型樣,其圍繞收聽者位置。當來源或收聽者移動時,來源-收聽者距離改變,且因此與直達聲音之重要位準關係改變。必須保持此位準關係。
在本發明之一較佳實施例中,此可以如圖13中所描述之計算上高效的方式調節。圖13展示說明用距離加權將不同音訊源(AS1、AS2、…)求和成一個來源信號的方塊圖。首先,基於來源與收聽者之間的距離值考慮不同來源AS之間的位準關係。接著,可用合適距離加權將不同音訊源AS求和成單一來源信號。因此,僅僅一個ER型樣1必須經聽覺化以覆蓋模擬環境中之所有音訊源AS。此型樣1遵循收聽者之橫向移動(亦即,在x、y、z方向上之平移,而非收聽者頭部定向)。具體言之,當收聽者移動至特定方向時,ER型樣1中之ER的位置ERP隨收聽者移動。然而,無論收聽者頭部定向如何,其保持在恆定的預定義空間定向中。
根據一實施例,一種用於音訊呈現或用於產生早期反射型樣1之設備可經組配以使用房間脈衝響應呈現兩個或更多個聲源之音訊信號,該房間脈衝響應之早期反射部分係藉由以下操作藉由早期反射型樣來判定:形成定位於第一聲源位置處的第一聲源之第一音訊信號與定位於第二聲源位置處的第二聲源之第二音訊信號之加權總和,且藉由自早期反射位置呈現該加權總和來產生與房間脈衝響應之早期反射部分相關的早期反射貢獻揚聲器信號。舉例而言,加權總和在第一聲源位置與收聽者位置之間的第一距離小於第二聲源位置與收聽者位置之間的第二距離的情況下對第一音訊信號加權大於第二音訊信號,且在第一距離大於第二距離的情況下對第二音訊信號加權大於第一音訊信號。
根據一實施例,與房間脈衝響應之早期反射部分相關之早期反射貢獻揚聲器信號可藉由以根據各別早期反射位置至收聽者位置之距離而調整位準之方式每一早期反射位置呈現加權總和來產生。
在圖14中,視覺化收聽者、兩個直達來源及其反射之間的位準關係。每一直達來源之位準取決於其個別來源-收聽者距離。此等可個別地改變。直達來源之共同位準係藉由對個別位準求和來計算。自此位準,依據其距離計算相關反射。
圖14展示收聽者、兩個直達來源與總計反射之間的位準關係。
由來源-收聽者距離引起之減小對於每來源為個別的。對於完整ER型樣存在額外ampCorrection
等式8
6 簡要概述 6.1 呈現態樣
呈現器經裝備以在虛擬聽覺環境中呈現早期反射型樣,其
● 並不取決於具體房間幾何構型描述,例如,可僅考慮房間尺寸及/或房間體積及/或至後期混響之預延遲。
● 不取決於個別來源及收聽者位置(針對一個環境中之每一音訊源共享相同ER型樣),僅取決於來源-收聽者距離。
● 相對於使用者在固定位置處,例如在早期反射位置ERP處呈現(而非在空間中取決於來源及收聽者位置之位置處呈現)
o 在較佳實施例中,型樣ER之位置,亦即早期反射位置ERP,遵循收聽者之橫向移動(亦即,在x、y、z方向上之平移,而非收聽者頭部定向)。具體言之,當收聽者移動至特定方向時,ER型樣中之ER的位置隨收聽者移動。然而,無論收聽者頭部定向如何,其保持在恆定的預定義空間定向中。
圖15例示性地說明總體呈現程序。關於圖15所描述之特徵中之一或多者可由本文中所描述之用於聲音呈現之設備包含。
圖15展示用於聲音呈現之設備200。設備200經組配以呈現一或多個聲源210
1/210
2之一或多個音訊信號212
1/212
2。音訊信號212 (見212
1及212
2)可藉由考慮直達聲音(見220
1及220
2)、早期反射(見230)及/或後期混響(見240)而呈現。
在直達路徑220
1/220
2處,一或多個音訊信號212
1/212
2可經呈現以針對一或多個音訊信號212
1/212
2中之每一者獲得直達聲音貢獻揚聲器信號222
1/222
2。舉例而言,對於待呈現之音訊信號212
1及212
2中之每一者,可考慮各別相關聯聲源210
1/210
2與收聽者位置10之間的距離d
1/d
2以及各別聲源210
1/210
2與收聽者之定向之間的角度α
1/α
2以判定各別直達聲音貢獻揚聲器信號222
1/222
2。直達聲音貢獻揚聲器信號222
1/222
2與房間脈衝響應的直達聲源部分相關。
根據一實施例,設備200可經組配以對一或多個聲源210
1/210
2之一或多個音訊信號212
1/212
2進行混頻260以獲得混頻音訊信號262。在混頻260處,信號212
1/212
2可取決於各別相關聯之聲源210
1/210
2之位置而平移。舉例而言,對於音訊信號212
1/212
2中之每一者,在平移/混頻260處考慮各別相關聯聲源210
1/210
2與收聽者位置10之間的距離d
1/d
2。替代地或另外,混頻可如章節5中所描述而執行。
設備200經組配以使用房間脈衝響應呈現音訊信號(例如,混頻音訊信號262,例如,一或多個聲源210
1/210
2之音訊信號212
1及212
2的加權總和),該房間脈衝響應之早期反射部分係由例如在ER路徑230處的早期反射型樣1判定,以例如獲得與房間脈衝響應之早期反射部分相關之早期反射貢獻揚聲器信號232。早期反射貢獻揚聲器信號232可藉由自早期反射位置ERP(見ERP
1至ERP
6)執行音訊信號之呈現來產生。
視情況,設備200可包含ER型樣判定器270,例如用於產生早期反射型樣1的設備。早期反射型樣1之判定可如上文所提及之實施例中之一者中所描述來執行,例如見圖2及章節1、3及5。ER型樣判定器270可獲得用於產生早期反射型樣1的ER型樣資訊310。ER型樣資訊310可包含以下各者中之一或多者:ER型樣類型(室內/室外);predelay、compfactor及/或distAlpha(例如,用於室外);以及房間尺寸、房間體積及/或預延遲時間(例如,用於室內)。舉例而言,取決於待由ER型樣判定器270使用之判定,ER型樣判定器270接收環境描述310 (例如,一或多個房間聲學參數或一或多個控制參數)或位元串流提示320 (例如,一或多個早期反射型樣參數)或自位元串流300讀取該環境描述。
位元串流300可包含與第一聲源210
1相關聯之音訊信號212
1之表示214
1及與第二聲源210
2相關聯之音訊信號212
2之表示214
2。
根據一實施例,位元串流300可含有/包含本文中提到的參數中之一或多者。位元串流300可包含定位於聲源位置處且包含一或多個早期反射型樣參數之聲源210
1/210
2之音訊信號214
1/214
2的表示。舉例而言,位元串流300為在該位元串流之標頭或後設資料欄位內部具有早期反射參數之音訊位元串流,或為一檔案格式串流,在該檔案格式串流之封包及檔案格式串流之播放軌內具有早期反射參數,該播放軌包含表示音訊信號之音訊位元串流。該一或多個早期反射型樣參數包含以下各者中之一或多者:型樣類型索引、至後期混響之預延遲時間、壓縮因數、振幅校正因數、距離衰減指數、型樣方位角參數,及一或多個頻率響應參數。
在ER路徑230處,亦即在早期反射貢獻擴音器信號232之產生處,設備200視情況經組配而以根據一或多個頻率響應參數進行波譜塑形之方式自每一早期反射位置ERP呈現一或多個聲源210
1/210
2之音訊信號(見圖3c)。在圖3c中,圓(藍色)展示RT60之頻率相依性。可對所有早期反射應用相同頻率相依性。另一頻率相依性可藉由低音訊放大應用於來源或接收器之牆壁接近度(<2m)。一或多個頻率響應參數可含於位元串流中,該位元串流亦可包含音訊信號之表示或聲源210
1/210
2之個別信號212
1及212
2之表示。一或多個頻率響應參數可含於一或多個早期反射型樣參數中。
設備200可經組配以在執行自早期反射位置ERP呈現一或多個聲源210
1/210
2之音訊信號時,使用特定於收聽者頭部定向之HRTF。HRTF表示頭部相關轉移函數。
在可選彌散性路徑240處,一或多個音訊信號212
1/212
2可經呈現以獲得彌散性後期混響揚聲器信號242。設備200可經組配以產生房間脈衝響應之彌散性後期混響部分,且例如使用此房間脈衝響應以在彌散性路徑240中呈現一或多個音訊信號212
1/212
2。彌散性後期混響揚聲器信號242與房間脈衝響應之彌散性後期混響部分相關。
設備200可經組配以在呈現一或多個音訊信號212
1/212
2時藉由以下操作產生一組揚聲器信號252:對相關於房間脈衝響應之直達聲源部分之直達聲音貢獻揚聲器信號222
1/222
2及相關於房間脈衝響應之早期反射部分之早期反射貢獻揚聲器信號232及視情況相關於房間脈衝響應之彌散性後期混響部分之彌散性後期混響揚聲器信號242形成總和250。
室內呈現
a) ER型樣,其覆蓋直達聲音與後期混響開始之間的間隙
b) ER型樣,其分佈於水平平面中。
c) ER型樣,其由房間聲學參數(如房間尺寸、房間體積、至後期混響之預延遲時間、RT60)控制以設定其數目、其間距、其隨距離而變之振幅行為。
d) ER型樣,其可具有2與20之間的ER。
e) ER,其位置藉由螺線來判定。
f) ER,其位置由兩個螺旋臂判定。
g) ER,其位置藉由以下各者判定:
,
, n = [1:nER/2],其中nER = ER之數目
h) ER,其位置在方位角上隨機擴散直至預延遲時間。
i) ER型樣獨立於房間中之來源及接收器位置保持恆定。應注意,型樣之形式保持恆定,但其隨收聽者移動。而且,反射之振幅取決於來源-收聽者距離。
j) 使用經減少之地板反射產生特定聲音特性。
室外呈現
k) 稀疏ER型樣,特定地針對具有例如2至6次反射之室外場景。
l) 使用對整個場景之反射表面的幾何分析以導出ER室外型樣之位準及預延遲。
m) 使用所概述之隨距離之分佈來導出ER型樣參數。
n) 在使用者可達區域中的可能收聽位置的網格上進行此分析。
o) 使用此類分佈之前兩個峰值,連同對應距離
p) 自此分佈值計算預延遲、壓縮因數及distAlpha。
綜述
q) 當自一個聲學場景及/或房間改變至另一聲學場景及/或房間時應用ER型樣位準之位準淡入及淡出。
6.2 傳輸、位元串流及傳信態樣
a) 室內場景可完全在解碼器/呈現器中藉由場景給出之房間聲學參數來計算。
b) 特定言之,室外場景可得益於編碼器中之幾何分析。僅必須傳輸型樣之控制參數。在一較佳實施例中,參數包括:(演算法/型樣數目、至後期混響之預延遲、用於與預延遲相比之型樣之壓縮因數、振幅校正因數、距離衰減指數、型樣方位角參數、頻率響應描述)
c) 對於應使用新ER型樣之情況,此等型樣可完全在編碼器中計算,且可接著傳輸至解碼器。其由反射之時間位置及相對位準(關於正常距離衰減) (對於以下每一者之ER之數目:方位角、仰角、半徑、振幅校正因數、距離衰減指數、頻率響應描述)界定。
d) 解碼器/呈現器可預先配備有若干ER型樣。在此情況下,位元串流傳信包括指示應使用哪一預先供應之ER型樣的欄位。此外,此型樣之參數經傳信,如b.1中所描述。
7 應用領域
ER之耗時的精確幾何計算可尤其在如以下應用中避免:
- 即時聽覺虛擬環境
- 即時擴增實境
8 其他實施例
圖16展示用於聲音呈現之設備200之實施例,其經組配以接收關於收聽者位置10及聲源位置pos
s之資訊。此資訊可用於判定收聽者與聲源之間的距離d。視情況,設備200可經組配以使用如關於圖15中之設備200所描述的距離。設備200經組配以使用房間脈衝響應400呈現202聲源之音訊信號212,該房間脈衝響應之早期反射部分410由早期反射型樣1排他性地判定。早期反射型樣1指示早期反射位置ERP之群集,見ERP
1至ERP
4,且定位於收聽者位置10處,其方式為使得早期反射位置ERP在收聽者位置10周圍定位且處於自收聽者位置10之角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變。
設備200可包含上文所描述之特徵中之任一者。舉例而言,設備200可包含圖6、圖18或圖20之設備100,其用於判定用於聲音呈現之早期反射型樣。或者,設備200可包含用於判定用於聲音呈現之早期反射型樣的不同設備,例如經組配以執行如關於圖2所描述及/或如描述於章節1、3及5中之判定的設備。
圖17展示用於聲音呈現之設備200的實施例,其經組配以接收關於收聽者位置10及聲源位置pos
s之第一資訊。此資訊可用於判定收聽者與聲源之間的距離d。視情況,設備200可經組配以使用如關於圖15中之設備200所描述的距離。設備200經組配以接收包含例如定位於聲源位置pos
s處之聲源之音訊信號的表示214及一或多個早期反射型樣參數310之位元串流300,且自其讀取該音訊信號之該表示及該一或多個早期反射型樣參數。舉例而言,位元串流300為在該位元串流300之標頭或後設資料欄位內部具有早期反射參數310之音訊位元串流,或為一檔案格式串流,在該檔案格式串流之封包及檔案格式串流之播放軌內具有早期反射參數310,該播放軌包含表示音訊信號之音訊位元串流。
一或多個早期反射型樣參數310可包含型樣類型索引、至後期混響之預延遲時間、壓縮因數、振幅校正因數、距離衰減指數、型樣方位角參數、一或多個頻率響應參數中之一或多者。
另外,設備200經組配以取決於例如如關於圖2所描述及/或如描述於章節1、3及5中之一或多個早期反射型樣參數310而判定270早期反射型樣1。早期反射型樣1指示早期反射位置ERP 之群集,見ERP
1至ERP
4。舉例而言,設備300可經組配以執行早期反射型樣1之判定270,使得早期反射位置ERP之數目愈大,至後期混響之預延遲時間愈大。另外或替代地,設備200經組配以執行早期反射型樣1之判定270,使得距收聽者位置10之最遠早期反射位置ERP愈大,至後期混響之預延遲時間愈大。該距離可小於預延遲時間。
此外,設備200經組配以使用房間脈衝響應400呈現202聲源之音訊信號,該房間脈衝響應之早期反射部分410由早期反射型樣1判定。早期反射型樣1指示早期反射位置ERP之群集,見ERP
1至ERP
4,且以使得早期反射位置ERP在收聽者位置10周圍定位及處於自收聽者位置10之角度方向(其相對於收聽者頭部定向之改變保持不變)處的方式定位於收聽者位置10處。
根據一實施例,設備200經組配以在型樣類型索引指示編碼器-參數化判定方式的情況下,例如如章節1中所描述,自位元串流300讀取以下各者中之一或多者作為一或多個早期反射型樣參數310之部分:早期反射型樣中之早期反射的數目(對於例如每一早期反射、方位角、仰角、半徑)、至收聽者位置之距離(對於每一早期反射)、振幅校正因數(對於每一早期反射)、距離衰減指數及頻率響應描述(對於每一早期反射)。
設備200可包含上文所描述之特徵中之任一者。
圖18展示用於判定用於聲音呈現之早期反射型樣1之設備100的實施例,該設備經組配以接收表示聲學環境5之聲學特性的至少一個房間聲學參數310。設備100經組配而以使得早期反射位置ERP (見ERP
1至ERP
6)之數目272取決於至少一個房間聲學參數310的方式判定270早期反射型樣1。早期反射型樣1指示早期反射位置之群集。設備100可尤其包含上文關於圖2以及章節1及5所描述之特徵。
圖19展示用於聲音呈現之設備200之一實施例,其經組配以接收關於收聽者位置10、第一聲源位置pos
S1及第二聲源位置pos
S2之資訊。設備200經組配以使用房間脈衝響應400呈現202兩個聲源210
1及210
2之音訊信號212
1及212
2,該房間脈衝響應之早期反射部分410係由早期反射型樣1判定。早期反射型樣1指示早期反射位置ERP之群集,見ERP
1至ERP
4,且如以如下方式定位於收聽者位置10處:使得早期反射位置ERP圍繞收聽者位置10定位,且在自收聽者位置10的角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變。藉由形成定位於第一聲源位置pos
S1處之第一聲源210
1之第一音訊信號212
1與定位於第二聲源位置pos
S2處之第二聲源210
2之第二音訊信號212
2的加權總和204來進一步執行呈現202。若第一聲源位置pos
S1與收聽者位置10之間的第一距離d
1小於第二聲源位置pos
S2與收聽者位置10之間的第二距離d
2,則加權總和204對第一音訊信號212
1加權w
1大於第二音訊信號212
2,且若第一距離d
1大於第二距離d
2,則對第二音訊信號210
2加權w
2大於第一音訊信號210
1。另外,藉由自早期反射位置ERP呈現加權總和204而產生與房間脈衝響應400之早期反射部分410相關之早期反射貢獻揚聲器信號232來執行呈現。設備200可尤其包含章節5中所描述之特徵。然而,顯而易見,設備200亦可包含用於判定如以上實施例中之任一者中所描述的ER型樣1之設備。
圖20展示用於判定270用於聲音呈現之早期反射型樣1之設備100的實施例,該設備經組配以接收至少一個房間聲學參數310,其表示聲學環境5之聲學特性。設備100經組配以藉由參數化居中在收聽者位置10處之一或多個螺旋函數3及4且藉由使用該一或多個螺旋函數3及4置放早期反射位置ERP (見ERP1
1至ERP1
4及ERP2
1至ERP2
4)來判定270早期反射型樣1。早期反射型樣1指示早期反射位置ERP之群集。設備100可尤其包含如關於圖2及章節1所描述之特徵,但顯而易見,設備亦可包含其他本文中所描述之特徵。
9 實施替代例
儘管已在設備之上下文中描述一些態樣,但顯而易見,此等態樣亦表示對應方法之描述,其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地,方法步驟之內容脈絡中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。
本發明之所呈現音訊信號或本發明之早期反射型樣資訊可儲存於數位儲存媒體上,或可在諸如無線傳輸媒體或諸如網際網路之有線傳輸媒體的傳輸媒體上傳輸。
取決於某些實施要求,本發明之實施例可在硬體或軟體中實施。可使用其上儲存有與可規劃電腦系統協作(或能夠協作)之電子可讀控制信號,使得執行各別方法之數位儲存媒體(例如,軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行實施。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體,該等控制信號能夠與可規劃電腦系統協作,使得執行本文中所描述之方法中的一者。
通常,本發明之實施例可實施為具有程式碼之電腦程式產品,當電腦程式產品在電腦上執行時,程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上的用於執行本文中所描述之方法中的一者的電腦程式。
換言之,因此,本發明方法之實施例為具有當電腦程式運行於電腦上時,用於執行本文中所描述之方法中的一者的程式碼之電腦程式。
因此,本發明方法之另一實施例為資料載體(或數位儲存媒體,或電腦可讀媒體),其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。
因此,本發明方法之再一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通信連接(例如,經由網際網路)而傳送。
另一實施例包含處理構件,例如,經組配或經調適以執行本文中所描述之方法中的一者的電腦或可規劃邏輯裝置。
另一實施例包含其上安裝有用於執行本文中所描述之方法中的一者的電腦程式之電腦。
在一些實施例中,可規劃邏輯裝置(例如,場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或所有。在一些實施例中,場可規劃閘陣列可與微處理器合作,以便執行本文中所描述之方法中的一者。通常,該等方法較佳地由任一硬體設備執行。
上述實施例僅說明本發明之原理。應理解,對本文中所描述之配置及細節的修改及變化將對熟習此項技術者顯而易見。因此,其僅意欲由接下來之申請專利範圍之範疇限制,而非由藉由本文中實施例之描述及解釋所呈現的特定細節限制。
10 文獻[1] Jot, J.-M.,
Real-time spatial processing of sounds for music, multimedia and interactive human-computer interfaces.Audio and Multimedia, 1997(ACM Multimedia Systems Journal, February 1997). Available from: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.54.6319&rep=rep1&type=pdf.
[2] Jullien, J.P., E. Kahle, S. Winsberg, and O. Warusfel,
Some Results on the Objective Characterisation of Room Acoustical Quality in Both Laboratory and Real Environments, 1992, IRCAM, France. Available from: https://kahle.be/articles/IRCAM_Room_Acoustical_Quality_1992.pdf.
[3] Jot, J.-M., O. Warusfel, E. Kahle, and M. Mein.
Binaural Concert Hall Simulation in Real Time.
IEEE 93. 1993. Mohonk (USA).
[4] Carpentier, T.
A New Implementation of Spat in Max 15th Sound and Music Computing Conference (SMC2018)2018. Limassol, Cyprus. https://hal.archives-ouvertes.fr/hal-02094499/document.
[5] Väänänen, R. and J. Huopaniemi,
Advanced AudioBIFS: Virtual Acoustics Modeling in MPEG-4 Scene Description.IEEE Transactions on Multimedia, 2004.
6(5): p. 661-675.
[6] Brinkmann, F., H. Gamper, N. Raghuvanshi, and I. Tashev.
Towards Encoding Perceptually Salient Early Reflections for Parametric Spatial Audio Rendering.
148th AES Convention. 2020. Vienna, Austria.
[7] Brinkmann, F., et al.,
A Round Robin on Room Acoustical Simulation and Auralization.J. Acoust. Soc. Am., 2019.
145(4): p. 2746..2760 DOI: https://doi.org/10.1121/1.5096178.
[8] Bregman, A.S.,
Auditory Scene Analysis (The Perceptual Organization of Sound). 1990, MIT Press. ISBN: 9780262022972.
[9] Blauert, J.,
Spatial Hearing, The Psychophysics of Human Sound Localization. 2nd ed. 1997, Cambrigde Massachusetts: MIT Press. ISBN: 0-262-02413-6.
[10] Angus, J.A.S.,
The Effects of Specular Versus Diffuse Reflections on the Frequency Response at the Listener.J. Audio Eng. Soc., 2001.
49(3): p. 125-133.
[11] Barron, M. and A.H. Marshall,
Spatial Impression due to Early Lateral Reflections in Concert Halls: The Derivation of a Physical Measure.Journal of Sound and Vibration, 1981.
77(2): p. 211-232.
[12] Bech, S.
Perception of Reproduced Sound: Audibility of Individual Reflections in a Complete Sound Field.
96th AES Convention. 1994. Amsterdam, The Netherlands.
[13] Kuttruff, H.,
Room Acoustics (fourth edition). 2000: Spon Press. ISBN: 0-419-24580-4.
1:早期反射型樣
2:中心
3:螺旋函數
4:螺旋函數
5:聲學環境
6:極軸
7:連接線
8:連接線
10:收聽者位置
20:偏移
50,50
1,50
2,50
3,50
4,50
5:分析位置
100:設備
110:幾何分析
112:函數
112':另一函數
114:距離
116:早期反射貢獻
118,118
1,118
2:最大值
120:控制參數
200:設備
202:呈現
204:加權總和
210
1,210
2:聲源
212,212
1,212
2:音訊信號
214
1,214
2:表示
220
1,220
2:直達聲音/直達路徑
222
1,222
2:直達聲音貢獻揚聲器信號
230:早期反射
232:早期反射貢獻揚聲器信號
240:後期混響/彌散性路徑
242:彌散性後期混響揚聲器信號
250:總和
252:揚聲器信號
260:混頻
270:ER型樣判定器
272:數目
300:位元串流
310:ER型樣資訊/早期反射型樣參數
400:房間脈衝響應
410:早期反射部分
1000:第一線
2000:第二線
ERP
1,ERP
2,ERP
3,ERP
4,ERP
5,ERP
6,ERP1
1,ERP1
2,ERP1
3,ERP1
4,ERP1
5,ERP2
1,ERP2
2,ERP2
3,ERP2
4,ERP2
5:早期反射位置
a1:第一振幅
a2:第二振幅
d:間距
p1:第一距離
p2:第二距離
圖式未必按比例繪製,而是通常強調說明本發明之原理。在以下描述中,參考以下圖式描述本發明之各種實施例,在圖式中:
圖1展示早期反射型樣之一實施例;
圖2展示使用螺旋函數判定之早期反射型樣之一實施例;
圖3展示在a)時間、b)空間俯視圖及c)頻率相依性上之早期反射型樣的實施例;
圖4展示收聽者、直達來源與反射之間的位準關係;
圖5展示編碼器/解碼器/呈現器中之簡單ER演算法之實施;
圖6展示用於藉由分析環境來判定早期反射型樣之設備;
圖7展示具有四個早期反射位置之ER型樣之實施例的空間俯視圖;
圖8展示幾何室外場景分析;
圖9展示分析點之網格;
圖10展示在若干分析點上平均化的在距離上之反射表面區域分佈;
圖11a展示室外ER型樣之第一實施例;
圖11b展示室外ER型樣之第二實施例;
圖12展示針對不同distAlpha值隨點源之距離的振幅減小;
圖13展示說明用距離加權將不同音訊源求和成一個來源信號的方塊圖;
圖14展示收聽者、兩個直達來源與總計反射之間的位準關係;
圖15例示性地說明總體呈現程序;
圖16展示用於聲音呈現之設備之實施例;
圖17展示用於使用ER型樣參數呈現聲音之設備的實施例;
圖18展示用於取決於房間聲學參數判定ER型樣之設備的實施例;
圖19展示用於呈現兩個或更多個來源信號之加權總和的設備之實施例;
圖20展示用於使用螺旋函數判定ER型樣之設備的實施例;
圖21展示用聲學房間模擬程式RAVEN產生之單音2階RIR的實例;
圖22展示具有直達聲音之RIR及在預延遲時間0.13秒開始之後期混響(無ER);
圖23展示具有1階反射及後期混響之RIR(左)、俯視圖(右);
圖24展示具有與直達聲音並排之兩個反射的RIR(左)、俯視圖(右);及
圖25展示具有「SPAT」型樣之RIR(左)、俯視圖(右)。
1:早期反射型樣
2:中心
5:聲學環境
7:連接線
8:連接線
10:收聽者位置
Claims (30)
- 一種用於判定用於聲音呈現之一早期反射型樣(1)之設備(100),其經組配以接收至少一個房間聲學參數(310),其表示一聲學環境(5)之一聲學特性;藉由參數化居中於該收聽者位置(10)處之一或多個螺旋函數(3、4),且使用該一或多個螺旋函數(3、4)置放該等早期反射位置來判定一早期反射型樣(1),該早期反射型樣指示早期反射位置之一群集。
- 如請求項1之設備(100),其中該早期反射型樣(1)係用於以如下方式定位於該收聽者位置(10)處:使得該等早期反射位置圍繞該收聽者位置定位,且處於相對於收聽者頭部定向之改變保持不變的自該收聽者位置之角度方向。
- 如請求項1之設備(100),其中該至少一個房間聲學參數(310)包含以下各者中之一或多者:房間尺寸,房間體積,及至該後期混響之預延遲時間。
- 如請求項1之設備(100),其中該至少一個房間聲學參數(310)包含選自以下各者中之僅一個參數:房間尺寸,房間體積,及至該後期混響之預延遲時間。
- 如請求項1之設備(100),其中該一或多個螺旋函數(3、4)包含一第一螺旋函數(3)及一第二螺旋函數(4),其中該設備(100)經組配以使用該第一 螺旋函數(3)置放一第一組早期反射位置且使用該第二螺旋函數(4)置放一第二組早期反射位置,使得該第一組早期反射位置中之每一者與該第二組早期反射中之一對應早期反射位置相關聯,且定位於垂直穿過各別早期反射位置與該對應早期反射位置之間的一連接線之一線的一對立側上。
- 如請求項5之設備(100),其中對於第一組早期反射位置中之每一者,該第二組早期反射中之該對應早期反射位置相對於該連接線在角度上偏移至對於該第一組早期反射位置中之所有早期反射位置共同的一角度方向上。
- 如請求項7之設備(100),其經組配以基於該至少一個房間聲學參數(310)來判定distfactor。
- 如請求項7之設備(100),其經組配以判定distfactor,使得distfactor愈大,至該後期混響之該預延遲時間愈大。
- 如請求項7之設備(100),其經組配以基於該至少一個房間聲學參數(310)來判定nER。
- 如請求項1之設備(100),其經組配以自一位元串流(300)讀取該至少一個房間聲學參數(310),該位元串流包含待使用該早期反射型樣(1)呈現之一音訊信號之一表示。
- 如請求項1之設備(100),其經組配以判定早期反射位置之一數目,使得該數目愈大,則該等房間尺寸愈大,或該數目愈大,則該房間體積愈大,或該數目愈大,則至該後期混響之該預延遲時間愈大。
- 如請求項1之設備(100),其經組配以參數化該一或多個螺旋函數(3、4)且判定早期反射位置之一數目,使得該等早期反射位置中距該收聽者位置(10)距離最大的一位置之一距離愈大,該等房間尺寸愈大,或該房間體積愈大,或至該後期混響之該預延遲時間愈大,其中該距離小於該預延遲時間。
- 如請求項1之設備(100),其經組配以支援該早期反射型樣(1)之一第一判定及該早期反射型樣(1)之一第二判定,其中該第一判定不同於該第二判定,且涉及該參數化居中於該收聽者位置(10)之該一或多個螺旋函數(3、4)及該使用該一或多個螺旋函數(3、4)來置放該等早期反射位置,及在該聲學環境(5)為一室內環境之情況下或在包含待呈現之一音訊信號之一表示的一位元串流(300)中之一型樣類型索引採用一預定狀態的情況下選擇該第一判定。
- 如請求項1之設備(100),其經組配以判定該等早期反射位置,使得該等早期反射位置連同該收聽者位置(10)位於一水平平面中。
- 如請求項1之設備(100),其經組配以藉由根據包含待呈現之一音訊信號之一表示的一位元串流(300)中之一型樣方位角參數調整該群集之一方位角旋轉而判定該等早期反射位置。
- 一種用於聲音呈現之設備(200),其經組配以接收關於一收聽者位置(10)及一聲源位置之第一資訊;使用一房間脈衝響應(400)呈現該聲源之一音訊信號,該房間脈衝響應之早期反射部分(410)係由一早期反射型樣(1)判定,該早期反射型樣指示早期反射位置之一群集,且以如下方式定位於該收聽者位置(10)處:使得該等早期反射位置圍繞該收聽者位置(10)定位且在自該收聽者位置(10)之角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變,該設備(200)包含如請求項1之用於判定該早期反射型樣(1)之一設備(100)。
- 如請求項17之設備(200),其進一步經組配以產生該房間脈衝響應(400)之一彌散性後期混響部分。
- 如請求項17之設備(200),其進一步經組配以在呈現該音訊信號時,藉由形成相關於該房間脈衝響應(400)之一直達聲源部分的直達聲音貢獻揚聲器信號(222)與相關於該房間脈衝響應(400)之該早期反射部分(410)之早期反射貢獻揚聲器信號(232)之一總和而產生一組揚聲器信號(252)。
- 如請求項17之設備(200),其進一步經組配以藉由自該等早期反射位置執行該聲源之該音訊信號之一呈現而產生與該房間脈衝響應(400)之該早期反射部分(410)相關之早期反射貢獻揚聲器信號(232)。
- 如請求項20之設備(200),其進一步經組配以在藉由自該等早期反射位置執行該聲源之該音訊信號之一呈現而產生與該房間脈衝響應(400)之該早期反射部分(410)相關之該等早期反射貢獻揚聲器信號(232)時,以根據各別 早期反射位置至該收聽者位置(10)之一距離而調整位準之一方式自每一早期反射位置呈現該聲源之該音訊信號。
- 如請求項21之設備(200),其進一步經組配以在以根據該各別早期反射位置至該收聽者位置(10)之一距離而調整位準之一方式自每一早期反射位置呈現該聲源之該音訊信號時,使用一位準偏移使自該各別早期反射位置呈現該聲源之該音訊信號之一位準偏移(20),或以一位準因數放大該位準,該偏移或因數對於所有早期反射位置係共同的,及根據一振幅校正因數來設定該位準偏移或位準因數。
- 如請求項21之設備(200),其進一步經組配以在以根據該各別早期反射位置至該收聽者位置(10)之該距離而調整位準之一方式自每一早期反射位置呈現該聲源之該音訊信號時,相對於由該設備(200)用於根據一距離衰減指數自該聲源位置呈現該音訊信號之一位準調整,根據該各別早期反射位置至該收聽者位置之該距離來修改該位準調整。
- 如請求項20之設備(200),其進一步經組配以在藉由自該等早期反射位置執行該聲源之該音訊信號之一呈現而產生與該房間脈衝響應(400)之該早期反射部分(410)相關之該等早期反射貢獻揚聲器信號(232)時,以根據一或多個頻率響應參數進行波譜塑形之一方式來自每一早期反射位置呈現該聲源之該音訊信號。
- 如請求項17之設備(200),其進一步經組配以在執行自該等早期反射位置之該聲源之一音訊信號之該呈現時,使用特定於一收聽者頭部定向之HRTF。
- 一種位元串流(300),其用於進行如請求項17之聲音呈現。
- 一種數位儲存媒體,其儲存如請求項26之用於進行聲音呈現 之一位元串流(300)。
- 一種用於判定用於聲音呈現之一早期反射型樣(1)之方法,其包含接收至少一個房間聲學參數(310),其表示一聲學環境(5)之一聲學特性;藉由參數化居中於該收聽者位置(10)處之一或多個螺旋函數(3、4),且使用該一或多個螺旋函數(3、4)置放該等早期反射位置來判定一早期反射型樣(1),該早期反射型樣指示早期反射位置之一群集。
- 一種用於聲音呈現之方法,其包含接收關於一收聽者位置(10)及一聲源位置之第一資訊;使用一房間脈衝響應(400)呈現該聲源之一音訊信號,該房間脈衝響應之早期反射部分(410)係由一早期反射型樣(1)判定,該早期反射型樣指示早期反射位置之一群集,且以如下方式定位於該收聽者位置(10)處:使得該等早期反射位置圍繞該收聽者位置(10)定位且在自該收聽者位置(10)之角度方向處,該等角度方向相對於收聽者頭部定向之改變保持不變,該方法包含如請求項28之用於判定該早期反射型樣(1)之該方法。
- 一種電腦程式,其用於使一電腦在執行該電腦程式時執行如請求項28或請求項29之該方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21207274 | 2021-11-09 | ||
EP21207274.8 | 2021-11-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202329706A TW202329706A (zh) | 2023-07-16 |
TWI836711B true TWI836711B (zh) | 2024-03-21 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200366990A1 (en) | 2017-11-23 | 2020-11-19 | Bonn-Hee Goo | Multi-channel sound implementation device using open-ear headphones and method therefor |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200366990A1 (en) | 2017-11-23 | 2020-11-19 | Bonn-Hee Goo | Multi-channel sound implementation device using open-ear headphones and method therefor |
Non-Patent Citations (1)
Title |
---|
期刊 FAVROT SYLVAIN ET AL Validation of a Loudspeaker-Based Room Auralization System Using Speech Intelligibility Measures AES CONVENTION 126 1 May 2009 (2009-05-01) |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101627652B1 (ko) | 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 | |
TWI517028B (zh) | 音訊空間定位和環境模擬 | |
JP5285626B2 (ja) | 音声空間化及び環境シミュレーション | |
CN109891503B (zh) | 声学场景回放方法和装置 | |
EP2614445B1 (en) | Spatial audio encoding and reproduction of diffuse sound | |
KR101471798B1 (ko) | 다운믹스기를 이용한 입력 신호 분해 장치 및 방법 | |
KR20200047414A (ko) | 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법 | |
JP2012514358A (ja) | 三次元音場の符号化および最適な再現の方法および装置 | |
JP2024020307A (ja) | 空間的に拡張された音源を再生するための装置および方法、または、空間的に拡張された音源からビットストリームを生成するための装置および方法 | |
KR20100081300A (ko) | 오디오 신호의 디코딩 방법 및 장치 | |
JP2019506058A (ja) | 没入型オーディオ再生のための信号合成 | |
EP2368375B1 (en) | Converter and method for converting an audio signal | |
Pulkki et al. | Multichannel audio rendering using amplitude panning [dsp applications] | |
TWI836711B (zh) | 使用早期反射型樣之用於聽覺化之概念 | |
AU2022384608A1 (en) | Renderers, decoders, encoders, methods and bitstreams using spatially extended sound sources | |
TW202329706A (zh) | 使用早期反射型樣之用於聽覺化之概念 | |
TW202329705A (zh) | 聽覺化之早期反射概念 | |
TW202329707A (zh) | 用於聽覺化之早期反射型樣產生概念 | |
US11330391B2 (en) | Reverberation technique for 3D audio objects | |
Deppisch et al. | Browser Application for Virtual Audio Walkthrough. | |
AU2022388683A1 (en) | Sound processing apparatus, decoder, encoder, bitstream and corresponding methods | |
Tom | Automatic mixing systems for multitrack spatialization based on unmasking properties and directivity patterns |