TWI797587B - 基於柵格路徑尋找之繞射模型化 - Google Patents

Abstract

本文描述一種處理用於在一三維音訊場景中呈現之音訊內容之方法，其中該音訊內容包括在一源位置處之一聲源，該方法包括：獲得該三維音訊場景之一體素化表示，其中該體素化表示指示聲音可在其中傳播之體積元素及聲音被遮擋之體積元素；藉由對投影於一水平平面上之該體素化表示應用一投影操作而基於該體素化表示產生該音訊場景之一二維投影映射；以及基於該源位置、一聽者位置及該投影映射判定指示一虛擬聲源之一虛擬源位置之參數，以藉由從該虛擬源位置呈現一虛擬源信號來模擬由該三維音訊場景產生之聲繞射對在該源位置處之該聲源之一源信號之一影響。此外描述一種對應的設備以及對應的電腦程式產品。

Description

基於柵格路徑尋找之繞射模型化

本發明大體係關於一種處理用於在一三維音訊場景中進行音訊呈現之音訊內容之方法，將由三維音訊場景之元素引起之繞射效應納入考慮。特定言之，本發明係關於一種基於柵格路徑尋找之(聲學)繞射模型化之方法。本發明進一步係關於對應設備及電腦程式產品。

雖然在本文中將特定參考本發明描述一些實施例，但將瞭解，本發明並不限於此一使用領域，並且可應用於更廣泛之上下文中。

在整個本發明中對先前技術之任何討論不應被視為承認此技術廣為人知或形成領域中之公共一般知識之部分。

聲繞射係指一波遇到一障礙物或封堵器中之一孔時所發生之各種現象。聲繞射之心理聲學感知係指聲音圍繞一障礙物之「彎曲」或通過聲阻障中之一小開口之「延展」。此解釋為何在一音樂廳內，即使被一柱或一杆阻擋，吾人仍可很好地感知聲音；或吾人在一走廊中可聽到來自門稍微開著之一房間之聲音。

聲繞射係一種自然發生現象，其在傳遞正確解讀聲環境中發揮著重要作用。尤其，在存在遮擋聲阻障及/或其等中之小開口的情況下，其在感知上係相關的。不存在對聲繞射效應之模擬當然會破壞聲音場景之現實再現。

儘管聲繞射在實體世界中重要，但在虛擬環境(例如，虛擬實境或遊戲世界)中之繞射模型化通常被忽視。聲繞射效應之模型化通常完全拋棄或由一直接信號傳播方法所替代。甚至最先進技術音訊呈現解決方案仍未達到可在三維虛擬環境中即時精確再現現實聲學效應之一狀態。一個原因在於繞射效應之實體適當模型化係一計算密集之任務。此係歸因於遮擋/繞射相關對象幾何形狀(例如，壁及孔)之表示之複雜度、用於音訊呈現之空間之維度(例如，3D虛擬實境)以及對於模型化效應之真實感及內容創建者意圖之要求(例如，可聽性範圍)。

因此，存在對現實、而計算上可行之聲繞射模型化之需要。換言之，需要一種用於處理音訊內容以用於在一(虛擬)三維音訊場景中呈現之改良式方法及設備。

根據本發明之一第一態樣，提供一種處理用於在一三維音訊場景中呈現之音訊內容之方法。該三維音訊場景可為一虛擬音訊場景。該音訊內容可包含在一源位置處之一聲源。該方法可包含獲得該三維音訊場景之一體素化表示。該體素化表示可指示聲音可在其中傳播之體積元素(例如，體素)及聲音被遮擋之體積元素(例如，體素)。因而，該體素化表示可據稱包含三維音訊場景之一遮擋幾何形狀之一描述。在一些實施例中，該體素化表示中之該等體積元素(例如，體素)可為具有一預定義邊緣長度(例如，約10厘米)之立方體。在其他實施例中，該等體積元素(例如，體素)可具有一適應性大小，即，適應性邊緣長度。聲音可在其中傳播(例如，自由傳播)之體積元素可視為充滿空氣。在一些實施方案中，該體積元素可具有相關聯之遮擋係數，其等之範圍從指示自由聲音傳播之一係數值(例如，0)至完全遮擋(例如，1)。該方法可進一步包含獲得該音訊場景之一二維投影映射。該二維投影映射可藉由投影至一水平平面上之一投影操作與該體素化表示相關。此投影映射可包含一柵格，該柵格之各元素表示該音訊場景中之一水平位置，且指示該體素化表示中之該水平位置處(例如，上方或下方)之至少一個體積元素是否為聲音可在其中傳播之一體積元素。該投影映射亦可稱為一遮擋映射或傳播映射。該方法可進一步包括基於該源位置、一聽者位置及該投影映射判定指示一虛擬聲源之一虛擬源位置之參數，以藉由從該虛擬源位置呈現一虛擬源信號來模擬該三維音訊場景之聲繞射對在該源位置處之該聲源之一源信號之一影響。

藉由考慮該三維音訊場景之體素化表示，可顯著降低表示之複雜度。對於該體素大小之適當選擇(例如，大約10厘米之邊緣長度，或幾厘米之邊緣長度)，可達成此而不會感知到聽力體驗之劣化。藉由進一步投影至該二維投影映射上，可進一步降低複雜度，藉此容許採用二維路徑尋找演算法。該路徑尋找演算法輸出之路徑含有足夠資訊，以用於在一虛擬源位置產生一虛擬聲源，該虛擬聲源現實模擬該原始三維音訊場景中之聲音繞射之影響。藉由所提出之方法達成之複雜度降低，此容許以合理計算努力在一三維音訊場景中提供一現實聆聽體驗。特定言之，甚至對於即時應用(諸如虛擬實境應用或電腦/控制台遊戲)，此實現三維音訊場景中之現實聲音呈現。

在一些實施例中，獲得該二維投影映射可包含藉由將投影於該水平平面上之該投影操作應用於該體素化表示而基於該體素化表示產生該二維投影映射。若該等體積元素具有相關聯遮擋係數，則產生該投影映射可涉及將此等係數值之任一者映射至兩個極值之一者(例如，映射至0或1)之一刪節步驟。取決於情形(例如，期望幾何形狀改變之頻率)，該體素化表示及該二維投影映射可經預計算(例如，對於體積元素之複數個大小)，並且可在需要時被存取。例如，可在編碼器側上執行預計算，並且可將該(等)體素化表示及該(等)二維投影映射作為一位元流之部分提供至解碼器側。此可進一步減少該解碼器側之計算負載。

在一些實施例中，判定指示該虛擬源位置之該等參數可包含將一路徑尋找演算法應用於該投影映射以判定該源位置之一二維投影(例如，含有該源位置之一柵格元素)與該聽者位置之一二維投影(例如，含有該聽者位置之一柵格元素)之間的該投影映射中之一路徑，該路徑沿著指示該體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素。此等柵格元素可稱為非遮擋柵格元素。

取決於該呈現環境之特定要求，一系列廣泛可靠且有效之路徑尋找演算法輕易可得且可經選擇。藉此，藉由適當地選擇該路徑尋找演算法，所提出之方法可對在該呈現側存在之計算能力特定調整。

在一些實施例中，判定指示該虛擬源位置之該等參數可包含計算該三維音訊場景中之該源位置與該聽者位置之間的一視線。該判定可進一步包括，若該計算之視線與聲音被遮擋之該體素化表示中之一體積元素相交，且若該視線在該水平平面上之一二維投影與指示該體素化表示中之該水平位置處之該等體積元素之任一者皆非聲音可在其中傳播之一體積元素之該投影映射中之一柵格元素相交，則應用一路徑尋找演算法以判定該源位置之一二維投影與該聽者位置之一二維投影之間的該投影映射中之一路徑，該路徑沿著指示該體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素。在上述條件下，該判定可進一步包含基於該判定之路徑判定指示該虛擬源位置之該等參數。應理解，該判定步驟之上述子步驟可暗示在該體素化表示及/或該投影映射中是否存在一相交之各自判定步驟。

藉由執行關於該直接視線與該體素化表示中之遮擋體素相交或與該投影映射中之遮擋柵格元素相交之一檢查，可識別易於處理之特殊情況以進行特殊處理，藉此進一步降低總體計算負載。

在一些實施例中，該方法可進一步包含，若該路徑尋找演算法無法識別該源位置之該二維投影與該聽者位置之該二維投影之間的該投影映射中之一路徑，則獲得一細化體素化表示及一細化二維投影映射之一步驟。在上述條件下，該方法可進一步包含應用該路徑尋找演算法以判定該源位置之該二維投影與該聽者位置之該二維投影之間的該細化投影映射中之一路徑，該路徑沿著指示該細化體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素。該細化二維投影映射可藉由投影至該水平平面上之該投影操作與該細化體素化表示相關。此外，該細化體素化表示之該等體積元素可具有比該體素化表示之該等體積元素小之一邊緣長度。例如，該細化體素化表示之該等體積元素之該邊緣長度可具有該(初始/先前)體素化表示之該等體積元素之該邊緣長度之一半。是否獲得該細化體素化表示及該細化二維投影映射可取決於在呈現程序之一當前週期(例如，時間段)中是否存在時間(例如，CPU時間)。例如，該週期長度可與該音訊呈現之一期望(例如，預定)刷新率(更新率)相關。若CPU時間可用，則該表示可經細化，否則，若尚未找到路徑，則來自該聲源之該聲音可不呈現。

藉此，可連續提高表示之精度。若一「粗略」表示在找到一路徑並且判定該虛擬聲源之該虛擬源位置係可能的意義上產生可接受之結果，則可維持該粗略表示。另一方面，若未找到此路徑(且CPU時間可用)，則細化體素化表示之粒度，以檢查在遮擋幾何形狀中是否存在未在粗略粒度處識別但將容許來自該聲源之該聲音在聽者位置處被感知之一開口。因此，提出之條件細化容許在表示之精度與計算負載減少之間達成一最佳折衷。

在一些實施例中，判定指示該虛擬源位置之該等參數可包含基於該經判定路徑判定該聽者位置與該虛擬源位置之間的一距離及一方位角。其中，可基於該經判定路徑之一路徑長度來判定該距離。例如，該距離可經判定為該(完整)判定路徑之該路徑長度(例如，該路徑之實際長度或其之一估計/近似值，諸如「曼哈頓」距離或與該路徑相交之一加權數體素)。替代地，該經判定路徑之該路徑長度可基於該聽者位置及該源位置之垂直座標之一差，或基於至該體素化表示中之一外推來調整。判定該方位角可包含從該聽者位置之該二維投影開始識別該經判定路徑中之一最近方向變化。判定該方位角可進一步包含將該方位角判定為該聽者位置之該二維投影與該經識別之最近方向變化之間的一方位角。此處，應理解，該(最近)方向變化由聲音被遮擋之一體積元素引起。

因此，利用此事實：該投影映射中該判定路徑含有足夠資訊，以用於有效地判定將在呈現後產生一現實聆聽體驗之該虛擬源位置之一距離及一方位角。

在一些實施例中，判定指示該虛擬源位置之該等參數可包含基於該經判定路徑及該體素化表示判定該聽者位置與該虛擬源位置之間的一仰角。其中，判定該仰角可包含從該聽者位置之該二維投影開始識別該經判定路徑中之一最近方向變化。判定該仰角可進一步包含在該經識別方向變化之該水平位置處判定該體素化表示中之聲音可在其中傳播之一體積元素。此處，聲音可在該經判定方向變化之該水平位置傳播之該體積元素可經判定為具有與該聽者位置之垂直座標最近之一垂直座標、具有至該聽者位置與該聲源位置之間的該直接視線之一最小距離、或在聲音可在其中傳播之體素之一最大連續子集內之體積元素。判定該仰角可進一步包含將該仰角判定為該聽者位置與該經判定體積元素之間的一仰角。

藉此，利用此事實：該投影映射中之該判定路徑以及該體素化表示含有足夠資訊，以用於有效地判定將在呈現後產生一現實聆聽體驗之該虛擬源位置之一仰角。

在一些實施例中，判定指示該虛擬源位置之該等參數可包含計算該三維音訊場景中之該源位置與該聽者位置之間的一視線。判定指示該虛擬源位置之該等參數可進一步包含，若該經計算之視線與該體素化表示中之聲音被遮擋之一體積元素相交，並且若該視線在該水平平面上之一二維投影不與指示該體素化表示中之該水平位置處之該等體積元素之任一者皆非聲音可在其中傳播之一體積元素之該投影映射中之一柵格元素相交，則基於該視線在該水平平面上之該二維投影來判定該聽者位置與該虛擬源位置之間的一距離及一方位角。應理解，若該經計算之視線不與遮擋聲音之該體素化表示中之一體積元素相交(在該情況中，可使用該原始源位置)，或若在該投影映射中未找到路徑(在該情況中，完全不需要呈現聲音)，則不必判定一虛擬源位置。

藉此，可以一簡單方式識別且處理一特定瑣碎情況，以進一步減少由該提出之方法引起之總體計算負載，同時仍產生一現實聆聽體驗。

在一些實施例中，判定指示該虛擬源位置之該等參數可進一步包含基於該視線及該體素化表示判定該聽者位置與該虛擬源位置之間的一仰角。其中，判定該仰角可包含從該聽者位置開始識別與該經計算之視線相交並藉由其遮擋聲音之一最近體積元素。判定該仰角可進一步包含在該經識別體積元素之該水平位置處判定該體素化表示中聲音可在其中傳播之一體積元素。判定該仰角可進一步包含將該仰角判定為該聽者位置與該經判定體積元素之間的一仰角。

藉此，利用此事實：在該識別特殊情況中，該直接視線以及該體素化表示含有足夠資訊，以用於有效地判定將產生一現實聆聽體驗之該虛擬源位置之一仰角。

根據本發明之另一態樣，提供一種設備，其包括一處理器，其耦合至儲存用於該處理器之指令之一記憶體。該處理器可適於使該設備執行根據上述態樣及其實施例之任一者之方法。

根據本發明之另一態樣，提供一種電腦程式，其包含指令，其等用於使執行該等指令之一處理器執行根據上述第一態樣及其實施例之任一者之方法。

根據本發明之又一態樣，提供一種儲存根據前述態樣之電腦程式之一電腦可讀儲存媒體。

圖1A提供一三維音訊場景100之一實例，且圖1B描繪其在一二維投影平面上之水平投影。此音訊場景繪示當在一聽者位置(聽者位置) 120處感知時在一源位置(源定位) 110處發射之聲音之聲繞射之效應。源位置110與聽者位置120之間的一直接路徑130藉由音訊場景中之遮擋元素140阻擋，諸如源位置110與聽者位置120之間的壁或其他延伸元素。然而，在源位置110處發出之聲音將在聽者位置120處被感知。此係歸因於聲繞射，此容許聲音亦沿著圍繞遮擋元素140之所有路徑到達聽者位置120。從心理聲學之觀點，最短「彎曲」路徑150可被視為主導路徑。此效應需要適當地模型化，以容許在包含遮擋元素之(虛擬)三維音訊場景中進行現實音訊呈現。

廣義言之，本發明提出一種基於用於表示一三維(音訊)場景之體素化遮擋幾何形狀之等距柵格之路徑尋找演算法之聲繞射模型化之計算有效之方法。為達成此目的，本發明利用使用一體素化方法(例如，一適應性體素化方法)之一簡化(但足夠精確)幾何形狀表示。此外，本發明藉由收縮相關幾何形狀表示使用一二維空間來用於繞射模型化，可能與控制內容創建者及編碼器操作者之近似聲學遮擋/繞射現象之聲音效應之構件一起使用。

因此，根據本發明之方法及設備容許對動態及互動式三維虛擬環境進行感知上現實之聲學遮擋/繞射效應模擬，並旨在增強整體使用者體驗且促進虛擬實境(VR)應用之一更廣泛部署。在此處及下文中，「遮擋/繞射之模擬」可在對遮擋/繞射之感知效應模型化之意義上理解，並且不一定意味著實體效應之精確模擬。

作為一起始點，本發明假設含有一遮擋幾何形狀描述(即，關於音訊場景中之遮擋元素之資訊，例如，以網格或幾何形狀基元以及為其等表面獲得或分配至其等表面之可能遮擋係數表示)的一(虛擬)三維空間(例如，三維音訊場景)。本發明進一步假設(若干)聽者/(若干)使用者及(若干)音訊源之一位置(定位)以及由(若干)音訊源發射之(若干)音訊信號(例如，波形)。此等元素可被視為對由本發明之實施例提出之方法之一輸入。然而，應注意，此等方法亦可接收遮擋幾何形狀描述之一經處理版本。例如，該等方法可接收三維空間(例如，三維音訊場景)之一體素化表示作為一輸入。

基於上述假設(即，上述輸入)，根據本發明之實施例之方法及設備尋求藉由在一虛擬源位置提供(例如，判定或產生)一虛擬音訊源(虛擬聲源)，可能連同一虛擬源信號來模擬聲遮擋/繞射之感知效應。其中，虛擬源位置由其座標定義，包含一距離(例如，半徑)及一方向(例如，方位(角)及仰(角))。然而，應注意，虛擬源位置亦可使用其他座標表示(例如，在一笛卡爾座標系中)來定義，並且本發明不應限於球面座標。若以不同於用於聲音呈現之座標系之一座標系表達位置/定位，例如在音訊呈現時可執行座標系之間的一適當變換步驟。可基於源信號之原始波形來判定虛擬源信號，可對其施加修改(例如，增益、濾波器等)。

圖2繪示處理用於在一三維音訊場景中呈現之音訊內容之一方法200之一實例之一流程圖。音訊內容包括在一源位置處之一聲源，該聲源發射一(聲音)源信號，即，基於源信號發射聲音(例如，一源波形)。

在202，接收一場景幾何形狀作為一輸入。場景幾何形狀可係關於一三維音訊場景(三維音訊環境)之一網格表示。網格表示包括一網格或一組網格，其等表示(例如)三維音訊場景中之物件(場景之元素)之表面，諸如局部遮擋物(例如，障礙物)或全局遮擋物(例如，壁)。在一些實施方案中，各網格或網格表面可具有一相關聯之遮擋係數。

在204，判定是否已發生場景幾何形狀及/或對應遮擋性質之一更新。若是(Yes)，則方法進行至206以判定三維音訊場景之一體素化表示，或基於場景幾何形狀之一更新之子部分至少更新體素化表示之一子部分(例如，若體素化表示已可用且場景幾何形狀中之一變化相對較小)，隨後在208產生體素化表示之一二維投影映射。否則(No)，方法進行至214。

在206，執行聲學相關幾何形狀之一選擇。因此，從所有可用場景幾何資訊中選擇表示物件(具有能夠/應引起遮擋/繞射效應之尺寸及類型)之聲學相關資料之一子集。此步驟可為可選的。

在208，將體素化(即，一體素化方法/演算法)應用於場景幾何形狀或聲學相關幾何形狀(例如，遮擋/繞射相關幾何形狀)，以產生三維音訊場景之一體素化表示。體素化表示包括配置在一規則三維柵格中之具有規則大小之複數個體素(體積元素)。因而，體素可為一預定義邊緣長度(例如，約10厘米)之立方體。

在一個實例實施方案中，一體素化演算法可應用於三維音訊場景之網格化表示以產生體素化表示。此步驟包含藉由一3D體素化方法/演算法(例如，適應性3D體素化方法/演算法)降低幾何形狀之表示複雜度，該3D體素化方法/演算法將三維空間分成兩類(抽象)體素(體積元素)，即，諸如混凝土或木材之遮擋物物件材料(OM)體素及諸如空氣或水之聲音傳播介質(SM)體素。因此，體素之全集VOX由OM體素及SM體素之集合給定，

(1)

在210，提取/選擇用於繞射模型化之體素。為此，OM體素分為兩組體素，即，局部遮擋(LO)體素(對應於局部遮擋障礙物，諸如(例如)家具)及全局遮擋(GO)體素(對應於全局遮擋障礙物，諸如(例如)壁)。假設局部遮擋障礙物不對聲音傳播之大規模方向性產生一影響，使得來自一局部遮擋障礙物後之一聲源之聲音至少在距離局部遮擋障礙物足夠之距離內沿與原始聲音相同之方向傳播，可能有些衰減。因此，OM體素之集合經由以下分離

(2)

接著，方法200之後續步驟可僅考慮GO體素。因此，換言之，步驟210涉及從產生之體素化表示移除對應於局部遮擋物之任何體素，其中局部遮擋物表示三維音訊場景中預期不會對聲音傳播之大規模方向性產生影響之物件。例如，三維音訊場景之邊界(例如，壁)係應在此時保留之全局遮擋物。可藉由將影像處理技術(例如，包含濾波)應用於所產生之體素化表示來識別局部遮擋物，(例如)假設局部遮擋物將藉由適當空間濾波來移除。亦可基於OM體素之空間性質(例如，表示一遮擋障礙物之體素之數量及/或大小)及/或其等與週圍SM體素(例如，用於聲音傳播之自由體積)之關係來識別局部遮擋物。同樣地，局部遮擋物可由對應元資料直接指定，並且反映音訊場景創建者之意圖。應注意，步驟210可為可選的。

步驟206、208及210可據稱旨在藉由判定幾何形狀元素相對於其等引起之遮擋/繞射效應之一強度之一重要性可控地降低三維音訊場景之幾何形狀表示之一複雜度。

在一些實施方案中，步驟206、208及210可藉由以不同方式獲得三維音訊場景之一體素化表示來替換，例如藉由從一外部源接收體素化表示。例如，體素化表示可從一儲存記憶體中讀取，或可從一位元流提取(例如，解碼)。在此等情況中，亦將省略步驟202。一般言之，可稱方法200包括獲得三維音訊場景之一體素化表示之一步驟，其中體素化表示指示聲音可在其中傳播之體積元素(例如，SM體素)及聲音被遮擋之體積元素(例如，OM體素)。聲音可在其中傳播(例如，自由傳播)之體素可視為充滿空氣。在一些實施方案中，如上文描述，此步驟可藉由步驟206、208及210來實施。獲得三維音訊場景之體素化表示可取決於是否已發生三維音訊場景之一更新。

在可選步驟236，可藉由應用局部衰減模型化來依賴於聽者位置模擬由對應於局部遮擋物之所移除之體素對聲音之衰減來考慮在步驟210從體素化表示中移除之任何體素之影響。在此步驟判定之任何衰減增益或濾波器可應用於在230判定並在下文描述之虛擬源信號。

在212，從體素化表示(例如，從GO體素)產生(例如，計算)用於繞射模型化之一二維投影映射(或投影矩陣)。例如，可藉由將一投影操作應用於體素化表示基於體素化表示來產生音訊場景之二維投影映射。投影操作投影於一水平(例如，從一聽者視角係水平)平面上。因此，投影映射可包含一柵格，該柵格之各元素表示音訊場景中之一水平位置，且指示體素化表示中之該水平位置處(例如，水平平面上方、其中或下方)之至少一個體素(體積元素)是否為聲音可在其中傳播之一體素(例如，係一SM體素或等效地，並非一GO體素)。因而，投影映射亦可稱為傳播映射或遮擋映射。

在一些實施方案中，可使用以下收縮方法從三維體素化表示(三維體素組矩陣)或其表示全局遮擋阻障之部分獲得二維投影映射(投影矩陣)：

(3)

在此，值

及

可分別屬於指示自由聲音傳播(無遮擋；例如，值0)與完全遮擋(例如，值1)之極值之間的一範圍。例如，PM及GO之值可屬於範圍[0，1]並且對應於 0-無遮擋 1-完全遮擋。

不用說，值之反向賦值亦係可行的，在此情況中，方程式(3)必須藉由用最大值替換最小值而調適。

對於範圍[0，1]中之PM及GO之值，可在產生投影映射之上下文中執行一可選刪節步驟，以將投影映射之項目呈現為布林類型，如下：

(4)

其中

係遮擋臨限值。一般言之，產生投影映射可涉及一刪節步驟，其將體素化表示之體素之遮擋係數值中之任一者映射至兩個極值之一者(例如，映射至0或1)。換言之，產生二維投影映射可涉及一刪節操作，使得投影映射之柵格元素指示自由聲音傳播(無遮擋)或完全遮擋(遮擋)。

另一方面，體素化表示之體素之遮擋係數值(例如，GO之值)已為布林類型之情況亦係可行的。在此情況中，PM矩陣可如下獲得： 若對於

，

可稱步驟212旨在藉由引入

矩陣來表示「壁及洞」之概念而減少用於繞射模型化之空間之維度。實際上，若聲音傳播對於在一給定水平位置(即，在該水平位置之體素之「行」中)之任何體素係可能的，則投影映射將指示聲音傳播對於該水平位置(即，對於該柵格元素)係可能的，並因此指示在該水平位置處之至少一「孔」。

產生二維投影映射可取決於是否已發生三維音訊場景之一更新。

在一些實施方案中，步驟212可由以一不同方式獲得一二維投影映射來替換，例如，藉由從一外部源接收二維投影映射。例如，二維投影映射可從一儲存記憶體中讀取，或可從一位元流提取(例如，解碼)。一般言之，可稱方法200包括獲得音訊場景之一二維投影映射之一步驟，其中二維投影映射藉由投影於一水平平面上之一投影操作與體素化表示相關。投影映射包括一柵格，該柵格之各元素表示該音訊場景中之一水平位置，且指示體素化表示中之該水平位置處之至少一個體積元素是否為聲音可在其中傳播之一體積元素。在一些實施方案中，如上文描述，此步驟可藉由步驟212來實施，例如在獲得二維投影映射包括將投影操作應用於體素化表示之意義上。獲得二維投影映射仍可取決於是否已發生三維音訊場景之一更新。

在214，判定是否已發生一聽者位置及/或源位置之一更新。若是(Yes)，則方法進行至216以判定指示一虛擬聲源之一虛擬源位置之參數。否則(No)，方法進行至230，使用一先前判定之虛擬源位置。

一般言之，判定指示虛擬聲源之虛擬源位置之參數基於(原始)源位置、聽者位置及投影映射來執行。在一些情況中，判定可進一步基於體素化表示。判定指示虛擬聲源之虛擬源位置之目的係藉由從該虛擬源位置呈現一虛擬源信號來模擬三維音訊場景之聲繞射對在(原始)源位置處之聲源之一源信號之一影響。

判定指示虛擬源位置之參數可藉由下文討論之步驟216、218、220、222、224、226、228及234中之一些或全部來實施。一般言之，此步驟可據稱涉及將一路徑尋找演算法應用於投影映射以判定源位置之一二維投影(例如，包含該位置之一柵格元素)與聽者位置之一二維投影(例如，包含該位置之一柵格元素)之間的投影映射中之一路徑，該路徑沿著指示體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素(例如，無遮擋柵格元素)。

如上文提及，判定指示虛擬聲源之虛擬源位置之參數可取決於是否發生聽者位置及/或源位置之一更新。

在216，計算三維音訊場景中之源位置與聽者位置之間的一視線。此視線亦可稱為一聽者至源(使用者至源)直接視線。其計算可涉及常見幾何形狀計算。在一些實施方案中，聽者位置及/或源位置可經量化至其等所定位之各自體素之中心。視線可為三維空間中之一視線。

在218，檢查所計算之視線是否與藉由其遮擋聲音之體素化表示中的之體素(例如，一GO體素)相交。若是(Yes)，則方法進行至220。否則(No)，方法進行至238。在後者情況中，繞射模型化係不必要的，因為在聲源與聽者之間存在一直接視線。

在220，檢查視線在(投影映射之)水平平面上之一二維投影是否與指示體素化表示中之該水平位置之體積元素中之任一者並非聲音可在其中傳播之一體積元素(例如，指示遮擋之一PM元素，諸如

1)之投影映射中之一柵格元素相交。若是(Yes)，則方法前進至222。否則(No)，方法進行至234。在後者情況中，在投影映射中之路徑尋找係不必要的，因為在源位置與聽者位置之2D投影之間存在一直接(筆直)線。

步驟218及220旨在減少判定指示虛擬源位置之參數所必要之計算量。此藉由對簡單或瑣碎情況進行特殊處理來達成。步驟218及220在一些實施方案中可為可選的，注意，亦對於簡單或瑣碎情況，一般處理亦將產生合理結果。

在222，應用一路徑尋找演算法以判定源位置之一二維投影與聽者位置之一二維投影之間的投影映射中之一路徑，該路徑沿著指示體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素(例如，無遮擋柵格元素)。在一些實施方案中，聽者位置及/或源位置可經量化至其等分別定位之體素之投影(例如，柵格元素)之中心。在此步驟可應用任何路徑尋找演算法，包含(例如) A*及JPS。就此意義上，所提出之模型係關於路徑尋找演算法模塊化。

在一個實例實施方案中，步驟222可包括以下子步驟： ·對應於聽者(使用者)及源(物件)位置之體素指數(體素)的計算：

及

。 ·視情況，檢查

，

(即，聽者及源位置是否在聲音傳播材料內)，

=

(在此情況中，可跳過空間音訊呈現)，

(在此情況中，亦可跳過空間音訊呈現，假設源距離聽者太遠而無法被感知)等，並應用對應規則。 ·運行一路徑尋找演算法(例如，A*、JPS等)以獲得一路徑(例如，近似從源至聽者之一最短軌跡)。以下參數可應用於其控制(例如，加速及搜索迴路終止)： -路徑尋找演算法之啟發式參數 -一先前偵測之路徑(例如，對於一動態場景) -計算時間及/或資源之一數量之(若干)臨限值 -用(例如) 2D柵格元素(體素之2D投影)之一數量、距離單位、聲音衰減、所得源物件聲級等表示之一最大路徑長度之臨限值。

如上文描述，若計算之視線與聲音被遮擋之體素化表示中之一體積元素相交，並且若視線在水平平面上之二維投影與指示該體素化表示中之該水平位置處之體積元素之任一者皆非聲音可在其中傳播之一體積元素之投影映射中之一柵格元素(例如，一遮擋柵格元素)相交，則執行步驟222。

在224，檢查在步驟222中是否已發現一路徑。若已找到一路徑(Yes)，則方法進行至226。若未找到路徑(No)，則方法進行至238且可不判定指示一虛擬聲源之一虛擬源位置之參數。接著，方法可完全跳過針對當前聽者位置及當前源位置之繞射模型化及/或音訊呈現。下文將參考圖4描述未找到路徑之情況之一替代處理。

步驟226及228一般係關於基於在步驟222中判定之路徑來判定指示虛擬源位置之參數。

更詳細言之，在226，基於判定之路徑判定聽者位置與虛擬源位置之間的一距離(即，一半徑)及一方位角(即，一水平方向分量)。

可基於經判定路徑之一路徑長度來判定距離。例如，距離可判定為 -在步驟222中判定之投影映射上之完整路徑之長度； -在投影映射上之完整路徑之長度，其根據聽者及源位置在其等之垂直座標(例如，Z維度)(即，其等相對於水平平面之高度)中之差來調整；或 -外推至三維音訊場景之體素化表示(例如，GO體素)中之在聽者與源之間的完整路徑之長度。

順便提及，若虛擬源位置與聽者位置之間的經判定距離超過預期使用之呈現器之一最大呈現器距離，則虛擬源位置可設定為最大呈現距離，並且尚未考慮之任何剩餘距離可囊封為虛擬聲源之一額外衰減增益。

可藉由首先從聽者位置之二維投影開始識別經判定路徑中之一最近方向變化而判定方位角。接著，方位角可判定為聽者位置(至投影映射中)之二維投影與經識別之最近方向變化之間的一方位角。例如，方位角可基於聽者位置之二維投影及所識別之最近方向變化落在其中之投影映射之各自柵格元素之一相對位置來判定。換言之，當從聽者位置開始時，方位角可基於所判定之路徑之一方向來判定。換言之，方位角可基於從聽者位置至所判定路徑之第一遮擋柵格元素之投影映射中之一方向來判定，在此之後路徑改變其方向。應理解，方位角可參考一預定參考方向來判定，諸如(例如)三維音訊場景之座標系中之x維度或y維度。

圖3A示意性地繪示判定虛擬源位置之方位角之一實例。其中展示之投影映射30包含遮擋柵格元素50(陰影；即，表示音訊場景中之各自水平位置並指示在體素化表示中之該水平位置之體素之任一者皆非聲音可在其中傳播之一體素之柵格元素)，以及非遮擋柵格元素40 (即，表示音訊場景中之各自水平位置並指示在體素化表示中之該水平位置處之體素中之至少一者係聲音可在其中傳播之一體素之柵格元素)。為了繪示性目的，亦展示音訊場景之遮擋元素140之水平投影，不過此等投影並非投影映射30之部分。源位置10 (之二維投影)與聽者位置20 (之二維投影)之間的視線在投影映射30中之二維投影60受到投影映射30之遮擋柵格元素50中之至少一者遮擋。因此，源位置10與聽者位置20之間的路徑70由一路徑尋找演算法來判定。該路徑70在遮擋柵格元素90之後改變其方向。因此，判定路徑70之最近方向變化80之一位置。接著判定方位角以指示至路徑70之經識別最近方向變化80之方向95。此方向95通常不同於直接視線(之二維投影)之方向60。

在228，基於判定之路徑及體素化表示來判定聽者位置120與虛擬源位置之間的一仰角(即，一垂直方向分量)。特定言之，可藉由首先從聽者位置之二維投影開始識別經判定路徑中之最近方向變化而判定仰角。此可類似於步驟226進行，或重新使用在步驟226中識別之最近方向變化。接著，在所識別方向變化之水平位置處判定聲音可在其中傳播之體素化表示中之一體積元素。例如，可在包含所識別之最近方向變化之柵格元素之水平位置處之體素行中判定此一(非遮擋)體素。特定言之，可在具有最接近於聽者位置之垂直座標之一垂直座標之經識別之最近方向變化之水平位置處判定該(非遮擋)體素。最後，仰角可判定為聽者位置與經判定體素之間的一仰角。換言之，當外推至三維音訊場景之體素化表示中時，可基於所判定路徑之一方向從聽者位置開始判定仰角。應理解，仰角可參考一預定參考平面來判定，諸如(例如)體素化表示經投影至其上以產生投影映射之水平平面。

圖3B示意性地繪示判定虛擬源位置之仰角之一實例。特定言之，圖3B繪示沿著一垂直剖面平面通過體素化表示之(垂直)剖面，該垂直剖面平面與由二維投影映射之柵格定義之兩個方向中之其中一者對準，並且與在聽者位置20與源位置10之間的經判定路徑70之最近方向變化80 (最接近聽者位置20之二維投影)之位置(例如，體素)相交。除非源位置10及聽者位置具有一共同水平體素指數(即，配置在體素化表示之相同水平列中)，否則由二維投影映射之柵格定義之方向之任一選擇係適當的。若兩個位置共用一水平指數，則應選擇垂直剖面平面，使得其與源位置10與聽者位置20之間的直接視線相交。垂直剖面包含遮擋垂直柵格元素55及非遮擋垂直柵格元素45。

在本實例中，垂直剖面平面係與圖3A之二維投影映射正交並且包含圖3A之體素之底部水平列(即，包含最近方向變化80之體素之體素之水平列)之一平面。源位置10、聽者位置20及直接視線投影至垂直剖面平面上之其等各自垂直投影15、25及85。在本實例中，垂直剖面包含四個垂直遮擋柵格元素55，其等配置在一垂直行中並且對應於表示遮擋元素140向圖1A中右側之承托之體素。

為了判定仰角，識別垂直剖面中之一非遮擋垂直柵格元素45，該垂直柵格元素45在與最近方向變化80相同之水平位置處。在本實例中，識別在遮擋垂直柵格元素55之行正下方之非遮擋垂直柵格元素。一般言之，可識別該非遮擋垂直柵格元素，其在最近方向變化80之水平位置處且(例如)a)最接近視線之垂直投影85，b)最接近聽者位置20之垂直座標或c)對應於係非遮擋體素之一最大連續子集之部分之一體素。使用經識別之非遮擋垂直柵格元素來判定仰角。例如，可基於經識別非遮擋垂直柵格元素(例如，其中心)與聽者位置之垂直投影25之間的水平及垂直距離判定虛擬源位置之垂直投影5與聽者位置之垂直投影25之間的仰角之一垂直投影。接著可基於方位角及仰角之垂直投影來判定實際仰角，例如藉由將基於方位角方向與垂直剖面平面之方向之間的一差角之一三角變換應用至仰角之垂直投影。

注意，如圖3B中繪示之仰角之判定可使用源位置及聽者位置之垂直投影15、25之實際位置座標(如由陰影及虛線圓繪示)，而如圖3A中繪示之路徑尋找可僅指代含有此等位置之各自體素(體素指數)。

進一步注意，圖3B展示與聽者位置之垂直投影25之距離大於與源位置之垂直投影15之距離處之虛擬源位置之垂直投影5，此可歸因於判定路徑70之長度超過直接視線60之長度之事實。

總之，識別在所識別之最近方向變化80之水平位置處之一非遮擋(即，非GO)體素。此非遮擋體素可為(例如)在垂直座標(例如，高度)上最接近聽者位置20之非遮擋體素，或最接近直接視線之非遮擋體素，或係非遮擋體素之一最大連續子集之部分(例如，屬於一壁中之一最大開口)之非遮擋體素。接著基於在所識別之最近方向變化80之水平位置處之經識別之非遮擋體素來判定仰角。

重要的是，方位角及仰角之上述判定僅需要在最近方向變化80與聽者位置20之間的經判定路徑之最後一區段之瞭解。對於此等角度之判定，不需要瞭解路徑之任何其他剖面(且不相關)。若存在，則參考此等進一步剖面以用於判定至虛擬源位置之半徑(或距離)。

如上文提及，若計算之視線與聲音被遮擋之體素化表示中之一體素(例如，一GO體素)相交，但視線在水平平面上之二維投影不與指示該體素化表示中之該水平位置處之體積元素之任一者皆非聲音可在其中傳播之一體積元素之投影映射中之一柵格元素相交，則方法進行至234。在234，基於視線在水平平面上之二維投影來判定聽者位置與虛擬源位置之間的一距離(即，半徑)及一方位角(即，水平方向分量)。可以與步驟226中相同之方式判定距離，但用視線之二維投影替換判定之路徑。當從聽者位置觀看時，方位角可基於視線之二維投影之一方向來判定。接著，方法進行至228，在228判定仰角。此時，基於計算之視線及體素化表示判定仰角。此可以以下方式完成。首先，識別與視線已相交之體素化表示之遮擋體素(例如，GO體素)。若存在超過一個相交之遮擋體素，則選擇最接近聽者位置之一個遮擋體素。換言之，此相當於從聽者位置開始識別與經計算之視線相交並藉由其遮擋聲音之一最近體素(體積元素)。接著，對於該遮擋體素，判定在相同水平位置(例如，遮擋體素之上方或下方)處之最近非遮擋體素。此可相當於在所識別之體素之水平位置處判定聲音可在其中傳播之體素化表示中之一體積元素。最後，仰角經判定為聽者位置與經判定非遮擋體積元素之間的一仰角。

在230，基於聲源之源信號(例如，波形)判定在所判定之虛擬源位置處之虛擬源之虛擬源信號(例如，波形)。例如，虛擬源信號可為具有施加之修改(例如，增益、濾波器等)之原始波形(即，源信號)。此等修改可從以下選項中選擇： -無 -受虛擬源之局部環境影響之增益/濾波器(例如，後期混響) -受所有環境影響之增益/濾波器

換言之，原始源信號可用作虛擬源信號，或虛擬源信號可藉由對源信號施加增益及/或濾波器來產生。將濾波器應用至源信號可包含(例如)應用對應於(原始)源位置之一區域之混響，應用對應於虛擬源位置之一區域之混響，或一般言之應用對應於沿判定路徑之一或多個區域之混響。

在232，在虛擬源位置處對虛擬源應用呈現(例如，3DoF呈現)。一般言之，此步驟可據稱涉及將虛擬源信號從虛擬源位置呈現至聽者位置。此外，此時可執行音訊源之任何習知處理步驟，包含任何後處理步驟。

在238，若計算之視線不與聲音被遮擋之體素化表示中之一體素(例如，一GO體素)相交，則執行該步驟，或若在投影映射中未找到路徑，則跳過繞射模型化。若在源位置與聽者位置之間存在不被任何遮擋體素(例如，GO體素)遮擋之一直接視線，則在尋求在三維音訊場景中提供一現實聆聽體驗及聲音傳播之逼真感知時，不需要考慮三維音訊場景對聲音之繞射。若未找到路徑，則可完全不呈現來自聲源之聲音。

應理解，可對複數個源位置及/或聽者位置之各者(例如，對一源位置及一聽者位置之複數個對之各者)執行方法200之步驟214至232連同步驟234、236及238之處理流程。

在上述方法200中，若未找到路徑(在步驟224處為否)，則可不判定指示一虛擬聲源之一虛擬源位置之參數。接著，方法200可完全跳過針對當前聽者位置及當前源位置之繞射模型化及/或音訊呈現。下文將參考圖4描述提供未找到路徑之情況之一替代處理之一方法400。

方法400之步驟402、404、406、408、410、412、414、416、418、420、422及434可分別以與上文描述之方法200之步驟202、204、206、208、210、212、214、216、218、220、222及234相同之方式進行，且以上所作之各自陳述亦可適用於此。

在424，檢查在步驟422中是否已發現一路徑。若已找到一路徑(Yes)，則方法進行至426。若未找到路徑(No)，則方法進行至440。

方法400之步驟426、428、430及432可接著分別以與上文描述之方法200之步驟226、228、230及232相同之方式進行，且以上所作之各自陳述亦可適用於此。同樣地，步驟436可以與上述步驟236相同之方式進行。

在440，檢查CPU時間是否可用。例如，該步驟可藉由一即時資源管理應用程序(即時資源管理器)執行。可假設一特定週期(時間段)可用於判定虛擬源位置且執行實際呈現。此週期或時間段可與呈現之一更新率或刷新率相關(例如，可從其等導出)。接著，可在各週期中檢查在該週期中是否有足夠的時間(CPU時間)用於執行體素化之另一重複及後續步驟。此可基於對此重複所需之時間之一估計，例如基於三維音訊場景之特性及/或在一給定體素化粒度下所需之先前時間量。若發現無CPU時間可用(No)，則方法進行至438，此步驟可以與上述步驟238相同之方式執行。若發現CPU時間可用(Yes)，則方法進行至442。

在442，細化體素化之粒度。此對應於減小體素之大小(例如，邊緣長度)。例如，體素之邊緣長度在此時可減半，使得各體素分成八個較小體素用於下一重複。一般言之，大小(例如，邊緣長度)可根據一預定義比減小。隨後，方法返回至408以執行具有細化粒度之三維音訊場景之體素化。與上述類似，可藉由獲得具有細化粒度之三維音訊場景之一體素化表示來替換此步驟。例如，可從一儲存記憶體讀取此細化體素化表示，或可從一位元流提取此細化體素化表示(可能在從一源裝置(諸如(例如)一編碼器)以適用細化粒度請求細化體素化表示之後)。

接著如上文描述般進行剩餘步驟。其中，應理解，亦可(例如)藉由從一儲存記憶體讀取細化二維投影映射或從一位元流提取細化二維投影映射來獲得該細化二維投影映射(可能在從一源裝置(諸如(例如)一編碼器)以適用細化粒度請求細化體素化表示之後)。

應注意，只要判定在424未找到路徑並且在440發現CPU時間可用，體素化之粒度之細化便可重複(可能多次)。在此階段可應用之一進一步準則係檢查是否已達到體素化之一預定最小粒度。若已達到最小粒度，則方法可繼續進行，就像在步驟440未發現CPU時間可用。

在又一實施方案中，可重複(即，反覆執行)體素化表示之粒度之細化，只要CPU時間可用，而不管是否已找到一路徑。此可藉由改變步驟440及424之順序來實施，即，首先在440檢查CPU時間是否可用，並且僅在未發現CPU時間可用(Yes)之後，在424檢查是否已找到一路徑。應理解，在此情況中，若在步驟440未發現CPU時間可用(No)，則方法將進行至步驟424。接著，在步驟424，若未找到路徑(No)，則方法將進行至步驟438。在步驟440可應用之一進一步準則係檢查是否已達到體素化之一預定最小粒度。

除了在步驟442細化體素化之粒度之外，本實施方案可基於先前在體素化之較粗略粒度處發現之路徑來修改路徑尋找演算法之參數(例如，起始及/或目標位置)。

在上述實施方案中，每當在步驟404偵測到幾何形狀之一更新，體素化之粒度(例如，體素之大小或邊緣長度)便可重設為一預定義(例如，預設)值。在一些實施方案中，此可為體素化之粒度經重設(或一般地，粗化)之唯一實例。

雖然上文已描述處理音訊內容之一方法，但應理解，本發明同樣係關於適於執行所描述方法之設備及裝置(例如，編碼器、解碼器、呈現器、播放裝置等)，包含適合於使具有處理能力之一裝置執行所描述之方法之指令之電腦程式，以及儲存此等電腦程式之電腦可讀儲存媒體。

圖5展示適於執行所描述方法之一設備500之一實例。設備500包括一處理器510及一記憶體520，記憶體520耦合至處理器510並且儲存用於處理器510之指令。處理器510適於執行上文描述之(若干)方法。設備500可接收包含(例如)音訊內容(包含源信號及源位置之指示)及三維音訊場景之一指示之輸入530，並且可產生包含(例如)虛擬源信號及虛擬源位置之指示或一經呈現音訊信號之輸出540。

注意，所提出之方法可由一編碼器或一解碼器執行，或可在編碼器與解碼器之間分佈。在第一情況中，編碼器可產生所呈現之(虛擬)聲音信號之一表示作為一輸出。在第二情況中，若其計算能力允許，則解碼器可自行產生體素化表示及二維投影映射。替代地，在第三情況中，體素化表示及二維投影映射可由編碼器產生(可能在體素化之不同粒度)，並且可(例如)作為一位元流之部分提供至解碼器。接著，解碼器將獲得體素化表示及二維投影映射，例如藉由從位元流中提取其等，並繼續上文描述之(若干)方法之進一步步驟。此外，混合情況亦係可行的，其中(例如，從編碼器側)獲得體素化表示，並且由解碼器基於所獲得之體素化表示產生二維投影映射。解釋

除非另有特別陳述，否則自下列討論可明白，應瞭解，整個揭示內容討論中，利用術語(諸如「處理」、「計算」(computing、calculating)、「判定」、「分析」或類似者)係指操縱及/或將表示為物理(諸如電)量之資料轉換為類似表示為物理量之其他資料之一電腦或計算系統或類似電子計算裝置之行動及/或程序。

以一類似方式，術語「處理器」可係指處理電子資料(例如，來自暫存器及/或記憶體)以將該電子資料轉換為(例如)可儲存於暫存器及/或記憶體中之其他電子資料之任何裝置或一裝置之部分。一「電腦」或一「計算機器」或一「計算平台」可包含一或多個處理器。

本文描述之方法之各者之一項實例實施例呈攜載一指令集(例如，用於在一或多個處理器(例如，係網站伺服器配置之部分的一或多個處理器)上執行之一電腦程式)之一電腦可讀載體媒體之形式。因此，如熟習此項技術者將瞭解，本發明之實例實施例可經體現為一方法、一設備(諸如一專用設備)、一設備(諸如一資料處理系統)或一電腦可讀載體媒體(例如，一電腦程式產品)。電腦可讀載體媒體攜載包含一指令集之電腦可讀碼，該指令集當在一或多個處理器上執行時使處理器或若干處理器實施一方法。因此，本發明之態樣可採取一方法、一完全硬體實例實施例、一完全軟體實例實施例或組合軟體及硬體態樣之一實例實施例之形式。此外，本發明可採取載體媒體之形式(例如，在一電腦可讀儲存媒體上之一電腦程式產品)，其攜載經體現於該媒體中之電腦可讀程式碼。

貫穿本說明書對「一項實例實施例」、「一些實例實施例」或「一實例實施例」之參考意謂結合實例實施例描述之一特定特徵、結構或特性包含於本發明之至少一項實例實施例中。因此，整個此說明書各種位置中出現之片語「在一項實例實施例中」、「在一些實例實施例中」或「在一實例實施例中」並不必要全部係指代相同實例實施例。此外，一般技術者自此揭示內容將瞭解在一或多個實例實施例中特定特徵、結構或特性可以任何適當方式組合。

應瞭解，在本發明之實例實施例之上文描述中，為流線化揭示內容且幫助理解各種發明態樣之一或多者之目的，本發明之各種特徵有時可在其等之一單一實例實施例、圖或描述中分組在一起。然而，本發明之此方法並不解釋為反映一意圖：發明申請專利範圍需要比在各請求項中明確敘述更多之特徵。實情係，如下列發明申請專利範圍反映，發明態樣在於少於一單一先前揭示之實例實施例之所有特徵。因此，緊接著實施方式之發明申請專利範圍藉此明確併入此實施方式中，其中各請求項獨立作為本發明之一單獨實例實施例。

此外，雖然在本文中描述之一些實例實施例包含一些特徵而不包含包含於其他實例實施例中之其他特徵，但不同實例實施例之特徵之組合意在處於本發明之範疇內，且形成不同實例實施例，如將由熟習此項技術者所理解。例如，在下列發明申請專利範圍中，可以任何組合使用任何申請之實例實施例。

雖然已描述咸信為本發明之最佳模式，但熟習此項技術者將認知，可在不脫離本發明之精神的情況下，可對本發明做出其他及進一步修改，且其意在主張落入本發明之範疇內之所有此等改變及修改。舉例而言，上文給定之任何公式僅係可使用之程序之代表。可自方塊圖添加或刪除功能，且操作可在功能塊間互換。在本發明之範疇內，步驟可經添加至描述之方法或自其等刪除。

5:垂直投影 10:源位置 15:垂直投影 20:聽者位置 25:垂直投影 30:投影映射 40:非遮擋柵格元素 45:非遮擋垂直柵格元素 50:遮擋柵格元素 55:遮擋垂直柵格元素 60:二維投影 70:路徑 80:最近方向變化 85:垂直投影 90:遮擋柵格元素 95:方向 100:三維音訊場景 110:源位置 120:聽者位置 130:直接路徑 140:遮擋元素 150:最短「彎曲」路徑 200:方法 202:步驟 204:步驟 206:步驟 208:步驟 210:步驟 212:步驟 214:步驟 216:步驟 218:步驟 220:步驟 222:步驟 224:步驟 226:步驟 228:步驟 230:步驟 232:步驟 234:步驟 236:步驟 238:步驟 400:方法 402:步驟 404:步驟 406:步驟 408:步驟 410:步驟 412:步驟 414:步驟 416:步驟 418:步驟 420:步驟 422:步驟 424:步驟 426:步驟 428:步驟 430:步驟 432:步驟 434:步驟 436:步驟 438:步驟 440:步驟 442:步驟 500:設備 510:處理器 520:記憶體 530:輸入 540:輸出

現在將僅藉由實例，參考附圖描述本發明之實例實施例，在附圖中：

圖1A及圖1B分別繪示由一三維音訊場景及該場景在一二維體素化柵格上之二維水平投影中之遮擋元素引起之一聲繞射場景之一實例。

圖2繪示處理用於在一三維音訊場景中呈現之音訊內容之一方法之一實例之一流程圖。

圖3A及圖3B繪示二維投影映射中之路徑之實例。

圖4繪示處理用於在一三維音訊場景中呈現之音訊內容之一方法之另一實例之一流程圖。

圖5示意性繪示實施處理用於在一三維音訊場景中呈現之音訊內容之方法之一設備之一實例。

200:方法

202:步驟

204:步驟

206:步驟

208:步驟

210:步驟

212:步驟

214:步驟

216:步驟

218:步驟

220:步驟

222:步驟

224:步驟

226:步驟

228:步驟

230:步驟

232:步驟

234:步驟

236:步驟

238:步驟

Claims (19)

1. 一種處理用於在一三維音訊場景中呈現之音訊內容之方法，其中該音訊內容包括在一源位置之一聲源，該方法包括：獲得該三維音訊場景之一體素化表示，其中該體素化表示指示聲音可在其中傳播之體積元素及聲音被遮擋之體積元素；獲得該音訊場景之一二維投影映射，其中該二維投影映射藉由投影於一水平平面上之一投影操作與該體素化表示相關；及基於該源位置、一聽者位置及該投影映射判定指示一虛擬聲源之一虛擬源位置之參數，以藉由從該虛擬源位置呈現一虛擬源信號來模擬該三維音訊場景之聲繞射對在該源位置處之該聲源之一源信號之一影響。
2. 如請求項1之方法，其中獲得該二維投影映射包括將該投影操作應用於該體素化表示。
3. 如請求項1或2之方法，其中該投影映射包括一柵格，該柵格之各元素表示該音訊場景中之一水平位置，且指示該體素化表示中之該水平位置處之至少一個體積元素是否為聲音可在其中傳播之一體積元素。
4. 如請求項3之方法，其中判定指示該虛擬源位置之該等參數包括：應用一路徑尋找演算法至該投影映射以判定該源位置之一二維投影與該聽者位置之一二維投影之間的該投影映射中之一路徑，該路徑沿著指示該體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其 中傳播之一體積元素之柵格元素。
5. 如請求項3之方法，其中判定指示該虛擬源位置之該等參數包括：計算該三維音訊場景中之該源位置與該聽者位置之間的一視線；若該經計算之視線與聲音被遮擋之該體素化表示中之一體積元素相交，並且若該視線在該水平平面上之一二維投影與指示該體素化表示中之該水平位置處之該等體積元素之任一者皆非聲音可在其中傳播之一體積元素之該投影映射中之一柵格元素相交：應用一路徑尋找演算法以判定該源位置之一二維投影與該聽者位置之一二維投影之間的該投影映射中之一路徑，該路徑沿著指示該體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素；及基於該所判定之路徑判定指示該虛擬源位置之該等參數。
6. 如請求項4之方法，其進一步包括，若該路徑尋找演算法無法識別該源位置之該二維投影與該聽者位置之該二維投影之間的該投影映射中之一路徑：獲得一細化體素化表示及一細化二維投影映射；及應用該路徑尋找演算法以判定該源位置之該二維投影與該聽者位置之該二維投影之間的該經細化投影映射中之一路徑，該路徑沿著指示該細化體素化表示中之一各自水平位置處之至少一個體積元素係聲音可在其中傳播之一體積元素之柵格元素，其中該細化二維投影映射藉由投影至該水平平面上之該投影操作與 該細化體素化表示相關；及其中該細化體素化表示之該等體積元素具有比該體素化表示之該等體積元素小之一邊緣長度。
7. 如請求項4之方法，其中判定指示該虛擬源位置之該等參數包括：基於該經判定之路徑判定該聽者位置與該虛擬源位置之間的一距離及一方位角。
8. 如請求項7之方法，其中該距離基於該所判定路徑之一路徑長度來判定；及/或其中判定該方位角包括：從該聽者位置之該二維投影開始識別該經判定路徑中之一最近方向變化；及將該方位角判定為該聽者位置之該二維投影與該經識別之最近方向變化之間的一方位角。
9. 如請求項4之方法，其中判定指示該虛擬源位置之該等參數包括：基於該經判定之路徑及該體素化表示來判定該聽者位置與該虛擬源位置之間的一仰角。
10. 如請求項9之方法，其中判定該仰角包括：從該聽者位置之該二維投影開始識別該經判定路徑中之一最近方向變化； 在該經識別方向變化之該水平位置處判定該體素化表示中之聲音可在其中傳播之一體積元素；及將該仰角判定為該聽者位置與該經判定體積元素之間的一仰角。
11. 如請求項3之方法，其中判定指示該虛擬源位置之該等參數包括：計算該三維音訊場景中之該源位置與該聽者位置之間的一視線；若該經計算之視線與聲音被遮擋之該體素化表示中之一體積元素相交，並且若該視線在該水平平面上之一二維投影不與指示該體素化表示中之該水平位置處之該等體積元素之任一者皆非聲音可在其中傳播之一體積元素之該投影映射中之一柵格元素相交：基於該視線在該水平平面上之該二維投影來判定該聽者位置與該虛擬源位置之間的一距離及一方位角。
12. 如請求項11之方法，其中判定指示該虛擬源位置之該等參數進一步包括：基於該視線及該體素化表示來判定該聽者位置與該虛擬源位置之間的一仰角；及其中判定該仰角包括：從該聽者位置開始識別與該經計算之視線相交並藉由其遮擋聲音之一最近體積元素；在該經識別體積元素之該水平位置處判定該體素化表示中之聲音可在其中傳播之一體積元素；及將該仰角判定為該聽者位置與該經判定體積元素之間的一仰角。
13. 如請求項1或2之方法，其中獲得該三維音訊場景之該體素化表示包括：接收該三維音訊場景之一網格化表示；及將一體素化演算法應用於該三維音訊場景之該網格化表示以產生該體素化表示；及其中獲得該三維音訊場景之該體素化表示進一步包括：從該產生之體素化表示移除對應於局部遮擋物之任何體素，其中局部遮擋物表示該三維音訊場景中預期不會對聲音傳播之大規模方向性產生影響之物件。
14. 如請求項1或2之方法，其進一步包括：從該聲源之該源信號判定該虛擬源信號；及將該虛擬源信號從該虛擬源位置呈現至該聽者位置；及其中判定該虛擬源信號包括以下之一者：使用該源信號作為該虛擬源信號；或將一濾波器應用於該源信號以產生該虛擬源信號。
15. 如請求項1或2之方法，其中該體素化表示之該等體積元素指示遮擋係數，該等遮擋係數之值介於指示自由聲音傳播之一第一值與指示完全遮擋之一第二值之間；及產生該二維投影映射包括一刪節操作，使得該投影映射之柵格元素指示自由聲音傳播或完全遮擋。
16. 如請求項1或2之方法，其中每當發生該三維音訊場景之一更新時，執行獲得該體素化表示，隨後獲得該投影映射；及/或其中每當發生該源位置或該聽者位置之一更新時，執行判定指示該虛擬源位置之該等參數。
17. 一種電子設備，其包括一處理器，其經耦合至儲存用於該處理器之指令之一記憶體，其中該處理器適於使該設備執行如請求項1至16中任一項之方法。
18. 一種電腦程式，其包含指令，該等指令用於使執行該等指令之一處理器執行如請求項1至16中任一項之方法。
19. 一種儲存如請求項18之電腦程式之電腦可讀儲存媒體。

Images