TWI830989B

TWI830989B - 使用有效的中間繞射路徑來渲染一音訊場景的設備及方法

Info

Publication number: TWI830989B
Application number: TW110109218A
Authority: TW
Inventors: 李上文; 弗蘭克韋弗斯
Original assignee: 弗勞恩霍夫爾協會
Priority date: 2020-03-13
Filing date: 2021-03-15
Publication date: 2024-02-01
Also published as: AU2021236363B2; ZA202209785B; AU2021236363A1; KR20220154192A; BR112022017928A2; MX2022011151A; EP4118846A1; WO2021180940A1; US20230019204A1; JP2023518200A; CN115380542A; TW202139730A; CA3175059A1

Abstract

一種用於渲染一音訊場景的設備，該音訊場景包括在一音訊源位置的一音訊源及複數個繞射物體，該設備包括：一繞射路徑供應器，用於提供穿過該些繞射物體的複數個中間繞射路徑、具有該些繞射物體的一起點及一輸出邊緣的一中間繞射路徑及用於該中間繞射路徑的一相關聯的濾波資訊；一渲染器，用於在一收聽者位置渲染該音訊源，其中該渲染器配置成：基於該些中間繞射路徑及該收聽者位置來確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑；對於該一個或多個有效的中間繞射路徑中的每一個有效的中間繞射路徑，確定用於一全繞射路徑的一濾波表示；及使用與該音訊源相關聯的一音訊信號及用於每一個全繞射路徑的該濾波表示來計算出用於該音訊場景的複數個音訊輸出信號。

Description

使用有效的中間繞射路徑來渲染一音訊場景的設備及方法

本發明涉及音訊信號處理，特別是涉及可以在幾何聲學的上下文中使用的音訊信號處理，例如在虛擬實境(Virtual Reality,VR)或擴增實境(Augmented Reality,AR)應用中。

當處理一聲音信號以包含一模擬聲學空間的特徵並且以雙耳或多聲道技術在空間上再現聲音時，通常會應用虛擬聲學項目。因此，虛擬聲學包括空間聲音再現及室內聲學建模[參考文獻1]。

在室內建模方面，用於傳播建模的最準確方法是在一組邊界條件下解出理論波動方程式。然而，由於計算複雜性，基於數值求解器的大多數方法僅限於預先計算相關的聲學特徵，例如參數模型來近似脈衝響應：當興趣頻率和/或場景空間(體積/表面)的大小增加，甚至存在動態移動物體時，它會變成一團亂。鑑於最近的虛擬場景變得越來越大及越來越複雜，以實現一玩家及一物體之間或在場景中玩家之間非常詳細及敏感的交互，當前的數值方法不足以處理交互式、動態及大規模的虛擬場景。一些演算法通過使用用於預先計算聲音傳播的參數方向編碼[參考文獻2、3]及用於聲學波動方程式的一種有效的GPU基礎時域求解器[參考文獻4]來預先計算相關的聲學特徵，來展示了它們的渲染能力。然而，這些方法需要高品質系統資源，例如圖形卡、多核計算系統。

對於交互式聲音傳播環境來說，幾何聲學(geometric acoustics,GA))技術是一種實用可靠的方法。常用的幾何聲學技術包括像源方法(image source method,ISM)及光線追踪方法(ray tracing method,RTM)[參考文獻5、6]，並且為交互式環境開發了使用光束(beam)追踪及錐體(frustum)追踪的改進方法[參考文獻7、8]。對於繞射聲音建模來說，Kouryoumjian[參考文獻9]提出了繞射均勻理論(uniform theory of diffraction,UTD)，而Svensson[參考文獻10]提出了Biot-Tolstoy-Medwin(BTM)模型，以便在數值意義上更好地近似繞射聲音。然而，當前的交互演算法僅限於靜態場景[參考文獻11]或動態場景中的第一階繞射[參考文獻12]。

通過組合這兩種類別：用於低頻的數值方法與用於高頻的幾何聲學(GA)方法，可以實現混合方法[參考文獻13]。

特別在具有多個繞射物體的複雜聲音場景中，對邊緣周圍的繞射聲音建模的處理要求變得很高。因此，需要非常強大的計算資源來充分對在具有複數個繞射物體的音訊場景中聲音的繞射效應來建模。

本發明的一目的是提供一種用於渲染一音訊場景的改進概念。

這個目的通過請求項1的一種用於渲染一音訊場景的設備或請求項19的一種用於渲染一音訊場景的方法，或請求項20的一種電腦程式來實現。

本發明基於以下發現，通過使用已經具有相關聯的濾波資訊的一聲音場景的一起點或輸入邊緣與一最終或輸出邊緣之間的多個中間繞射路徑可以明顯地增強聲音繞射的處理。這種相關聯的濾波資訊已經覆蓋了起始邊緣與最終邊緣之間的整個路徑，無論起始邊緣與最終邊緣之間是否存在有單一個或多個繞射。這種程序依賴於起始邊緣與最終邊緣之間的途徑這樣的一個事實，即，起因於繞射效應，聲波必須經過的路線不取決於通常可變的收聽者位置，並且也不取決於音訊源位置。即使一音訊源也具有一可變的位置，僅有可變的源位置或可變的收聽者位置可以隨著時間改變，但是在繞射物體的一起始邊緣與一最終邊緣之間的任何中間繞射路徑不取決於任何東西，只取決於幾何形狀。這種繞射路徑是不變的，因為它僅由音訊場景幾何形狀所提供的繞射物體來定義。這些路徑僅隨時間變化，當複數個繞射物體中的一個改變它的形狀時，這意味著對於一可移動的剛性幾何體，這些路徑不會改變。此外，在一音訊場景中的複數個物體是靜止的，即不可移動。為了一整個中間繞射路徑提供一完整的濾波資訊可以增加處理效率，特別是在運行時。即使用於一中間繞射路徑的濾波資訊由於其沒有正向地驗證而導致最終未使用，也必須進行計算，但這種計算可以在初始化/編碼步驟中執行，而不必在運行時執行。換句話說，任何相對於濾波資訊或相對於中間繞射路徑的運行處理僅需對通常很少出現的動態物體進行，但是對於通常會出現的靜態物體，與一特定中間繞射路徑相關聯的濾波資訊始終保持不變，而與任何移動收聽者的任何移動音訊源無關。

一種用於渲染一音訊場景的設備，該音訊場景包括在一音訊源位置的一音訊源及複數個繞射物體，該設備包括：一繞射路徑供應器，用於提供穿過該些繞射物體的複數個中間繞射路徑，其中一中間繞射路徑具有該些繞射物體的一起點或起始邊緣及一輸出邊緣或最終邊緣及用於該中間繞射路徑的一相關聯的濾波資訊，該相關聯的濾波資訊描述了起因於從該起點或起始邊緣到該輸出邊緣或該輸出或最終點的繞射所導致的整個聲音傳播。通常，該些中間繞射路徑由一處理器在一初始化步驟中或一預先計算步驟中提供，該初始化步驟中或該預先計算步驟在，例如一虛擬實境環境中的，一實際運行處理之前發生。該繞射路徑供應器在運行時不必計算所有這樣的資訊，但是可以，例如，提供這樣的資訊作為一中間繞射路徑列表，一渲染器可以運行處理期間存取該中間繞射路徑列表。

該渲染器配置成在一收聽者位置渲染該音訊源，其中該渲染器配置成基於該些中間繞射路徑及該收聽者位置來確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑。該渲染器配置成對於該一個或多個有效的中間繞射路徑中的每一個有效的中間繞射路徑，使用用於該中間繞射路徑的該相關聯的濾波資訊與描述從該有效的中間繞射路徑的該輸出邊緣或從該最終邊緣到該收聽者位置的一音訊信號傳播的一濾波資訊的一組合來確定用於從該音訊源位置到該收聽者位置的一全繞射路徑的一濾波表示，該濾波表示對應於該一個或多個有效的中間繞射路徑中的一有效的中間繞射路徑。使用與該音訊源相關聯的一音訊信號及用於每一個全繞射路徑的該完整濾波表示可以計算出用於該音訊場景的複數個音訊輸出信號。

取決於應用，該音訊源位置是固定的，然後該繞射路徑供應器確定每一個有效的中間繞射路徑，使得每一個有效的中間繞射路徑的該起點對應於該固定的音訊源位置。可替代地，該音訊源位置是可變的，然後該繞射路徑供應器將該些繞射物體的一輸入邊緣或起始邊緣確定為一中間繞射路徑的該起點。該渲染器配置成用以，基於該一個或多個有效的中間繞射路徑的該輸入邊緣及該音訊源的該音訊源位置，附加地確定該一個或多個有效的中間繞射路徑，即確定可以屬於該具體音訊源位置的該路徑，以便於基於從該源到該輸入邊緣的另一個濾波資訊附加地確定用於全繞射路徑的該最終濾波表示，因此，在這種情下，該完整濾波表示由三部分確定。第一部份是用於從該聲源位置到該輸入邊緣的該聲音傳播的該濾波資訊。第二部分是屬於該有效中間繞射路徑的該相關聯的資訊，而第三部分是從該輸出邊緣或該最終邊緣到該實際收聽者位置的該聲音傳播。

本發明是有益處的，因為它提供了一種在複雜虛擬實境場景中模擬繞射聲音的有效方法及系統。本發明是有益處的，因為它允許通過一靜態及動態幾何物體對聲音傳播進行建模。特別地，本發明是有益處的在於它提供了關於如何基於一組先驗已知的幾何圖元來計算並且儲存繞射路徑資訊的方法及系統。特別地，該繞射聲音路徑包含一組屬性，例如用於潛在繞射邊緣、繞射角度及介於兩者之間的繞射邊緣等的一組幾何圖元。

本發明是有益處的，因為它允許通過該預處理器分析給定圖元的幾何資訊及提取一有用的資料庫，以便增強即時渲染聲音的速度。具體地，例如在美國申請2015/0378019 A1中公開的程序或如稍後描述的其他程序能夠預先計算邊緣之間的可見性圖，其結構最小化了需要在運行時考慮的繞射邊緣的數量。兩個邊緣之間的可見性並不一定意味著指定了從一源到一收聽者的確切路徑，因為在預先計算階段，通常不知道一源及該收聽者的位置。相反，所有可能的邊緣對之間的該可見性圖是一地圖，用以從來自一源的一組可變的邊緣導航到來自一收聽者的一組可變的邊緣。

1:多邊形或表面

1:邊緣

2:邊緣

3:邊緣

4:邊緣

5:邊緣

6:邊緣

7:邊緣

8:邊緣

9:邊緣

10:邊緣

11:邊緣

12:邊緣

13:邊緣

14:邊緣

15:邊緣

16:邊緣

20:特定邊緣

30:特定邊緣

50:音訊源

60:特定邊緣

70:特定邊緣

100:繞射路徑供應器

102:步驟

104:步驟

106:步驟

108:步驟

112:步驟

113:角度

114:步驟

115:角度

116:步驟

118:框

120:框

122:框

124:框

126:步驟

128:步驟

126:步驟

130:步驟

132:步驟

141:中間位置

142:新位置

143:原始聲源位置

200:渲染器

202:框

204:步驟

206:步驟

208:步驟

210:步驟

212:步驟

214:步驟

216:步驟

218:步驟

220:步驟

222:步驟

224:步驟

226:步驟

300:路徑

400:路徑

DO:動態物體

本發明的實施例隨後參照圖式進行討論，其中：第1圖是具有四個靜態物體的一示例場景的一上視圖。

第2a圖是具有四個靜態物體及單一動態物體的一示例場景的一上視圖。

第2b圖是描述沒有及具有該動態物體(dynamic object,DO)的繞射路徑的一列表。

第3圖是具有六個靜態物體的一示例場景的一上視圖。

第4圖是具有六個靜態物體的一示例場景的一上視圖，以示出如何從第一邊緣或輸入邊緣計算一高階繞射路徑。

第5圖示出了一演算法的一框圖，以預先計算中間繞射路徑(包含高階路徑)並且即時渲染該繞射聲音。

第6圖示出了根據一較佳第三實施例的一演算法的一框圖，以預先計算中間繞射路徑(包括高階路徑)並且即時渲染考慮到動態物體的該繞射聲音。

第7圖示出了根據一較佳實施例的一種用於渲染一聲音場景的設備。

第8圖示出了具有繪示在第4圖及第3圖中的兩個中間繞射路徑的一示例性路徑列表。

第9圖示出了用於計算一全繞射路徑的該濾波表示的一程序。

第10圖示出了用於檢索與一有效的中間繞射路徑相關聯的濾波資訊的一較佳實施方式。

第11圖示出了驗證一個或多個潛在有效的中間繞射路徑的一程序，以獲得該有效的中間繞射路徑。

第12圖示出了對未旋轉的或原始的源位置執行的旋轉，以增強該渲染音訊場景的音頻品質。

第7圖示出了一種用於渲染一音訊場景的設備，該音訊場景包括在一音訊源位置具有一音訊源訊號的一音訊源及複數個繞射物體。繞射路徑供應器100包括，例如由一預處理器填充的一儲存器，該預處理器在一初始化步驟中執行中間繞射路徑的計算，即，在由一渲染器200執行的運行處理操作之前。取決於通過該繞射路徑供應器100獲得的一中間繞射路徑列表的資訊，該渲染器配置成用以以一期望的輸出格式來計算多個音訊輸出信號，例如一雙耳格式、一立體聲格式、一5.1格式或任何其他輸出格式給一耳機的一揚聲器或揚聲器或僅用於儲存或傳輸。為此，該渲染器200不僅接收該中間繞射路徑列表，而且一方面接收一收聽者位置及一音訊源信號，另一方面接收該音訊源位置。

特別是，該渲染器200配置成用以在一收聽者位置渲染該音訊源，從而計算出到達該收聽者位置的該聲音訊號。該聲音信號的存在是起因於該音訊源被放置在該音訊源位置。為此，該渲染器配置成基於該些中間繞射路徑的該些輸出邊緣及該收聽者位置來確定從該音訊源位置到該收聽者位置的該一個或多個有效的中間繞射路徑。該渲染器也配置成對於該一個或多個有效的中間繞射路徑中的每一個有效的中間繞射路徑，使用用於該中間繞射路徑的該相關聯的濾波資訊與描述從該有效的中間繞射路徑的該輸出邊緣到該收聽者位置的一音訊信號傳播的一濾波資訊的一組合來確定用於從該音訊源位置到該收聽者位置的一全繞射路徑的一濾波表示，該濾波表示對應於該一個或多個有效的中間繞射路徑中的一有效的中間繞射路徑。

該渲染器使用與該音訊源相關聯的一音訊信號及使用用於每一個全繞射路徑的該濾波表示來計算用於該音訊場景的該些音訊輸出信號。取決於實施方式，除了繞射計算之外，該渲染器還可以配置用以附加地計算一階、二階或更高階的反射，並且，附加地，如果存在於該聲音場景中，該渲染器還可以配置成用以計算來自一個或多個附加音訊源的貢獻及來自一源的一直接聲音傳播的貢獻，該源具有未被該些繞射物體遮蔽的一直接聲音傳播路徑。

隨後，將更詳細地描述本發明的較佳實施例。特別是，如有必要，任何一階繞射路徑都可以即時實際地計算，但在具有多個繞射物體的複雜場景的情況下，這是非常有問題的。

特別是對於高階繞射路徑，由於可見性圖中的大量多餘資訊，如US 2015/0378019 A1中所示，即時計算這樣的繞射路徑是有問題的。例如，在第1圖中的該場景中，當一源位於該第一邊緣的右側而一收聽者位於該第五邊緣的左側時，可以想像，該繞射聲音通過該第一邊緣及該第五邊緣從一源傳到一收聽者。然而，基於可見性圖即時逐邊緣地建立該繞射路徑的方法在計算上變得複雜，尤其是當可見的邊緣的平均數量增加且繞射階次變得更高時。此外，不執行運行時邊緣到邊緣可見性檢查，這限制了該些動態物體之間以及一靜態物體與一動態物體之間的繞射效應。它只能關心一靜態物體或一單一動態物體的繞射效果。將(多個)動態物體的繞射效應與與多個靜態物體相關聯的效果相結合的唯一方法是使用重新定位的多個動態物體的圖元來更新所有可見性圖。然而，這在運行時是幾乎不可能的。

本發明的方法旨在減少所需的運行計算以指定從一源到一收聽者通過靜態及動態物體的多個邊緣的可能的(一階/高階)繞射路徑。因此，一組多個繞射聲音/音訊流以適當的延遲來渲染。較佳概念的實施例使用該繞射均勻理論(UTD)模型應用到具有新設計的系統階層的多個可見的且適當定向的邊緣。因此，多個實施例可以通過一靜態幾何體、一動態物體、一靜態幾何體與一動態物體的組合或多個動態物體的組合來渲染高階繞射效應。關於較佳概念的更多詳細資訊將在以下小節中介紹。

發起本實施例的主要思想是從問題開始的；“我們需要一直計算該些中間繞射路徑嗎？”。例如，如第3圖所示，從一源到一收聽者，我們可以說存在有三種可能的繞射路徑；(源)-(1)-(5)-(收聽者)、(源)-(9)-(13)-(收聽者)、(源)-(1)-(7)-(11)-(收聽者)。為了簡單說明，通過三個中間邊緣包含(1)、(7)及(11)的最後一個路徑是一個很好的示例。在交互環境中，一源可以移動，並且一收聽者也可以移動。然而，在任何情況下，包含(1)-(7)、(7)-(11)及(11)-(13)的該些中間路徑不會改變，除非存在有遮蔽該些中間路徑的一動態物體(請注意，如何處理/組合該些動態物體的繞射效應將在本節末尾介紹)。因此，一旦可以通過多個邊緣、相鄰的多邊形(例如，三角形網格)及在中間路徑內的繞射角度來預先計算從第一階到一允許的高階中間路徑，那麼它將最小化運行時所需的計算。

例如，第4圖顯示了具有六個靜態物體的一示例場景，以示出如何從一邊緣計算一高階繞射路徑。在這種情況下，它從該第一邊緣開始，並且一邊緣可能包含以下幾個相關資訊：

例如，parentGeometry或meshID表示所選邊緣所屬的幾何體。此外，一邊緣可以物理地定義為兩個頂點的線(通過它們的坐標或頂點id)，相鄰的三角形將有助於從一邊緣、一源或一收聽者來計算角度。internalAngle是兩個相鄰的三角形之間的角度，其表示圍繞這個邊緣的最大可能繞射角度。這也是可以決定這個邊緣是否是一潛在繞射邊緣的指標。

從該選定的邊緣(在這種情況下，如第4圖所示的該第一邊緣)，人們可以想像出從三角形網格中的一個到該開放空間及從另一個的兩種可能的繞射方向。這些方向通過顯示紅色及藍色箭頭的相鄰的三角形的法向量而可視化。例如，沿著該紅色表面法線(在逆時鐘方向上)，如果存在有用於將被繞射的一波的一邊緣空間(即，暗區)，邊緣2(edge no.2)、邊緣4(edge no.4)、邊緣 5(edge no.5)、邊緣7(edge no.7)通過檢查用於繞射的下一個邊緣。例如，一聲波不能從邊緣1(edge no.1)繞射到邊緣6(edge no.6)，因為在邊緣6處，可以從邊緣1看到邊緣6的兩側，這意味著相對於來自該邊緣1的一聲波，邊緣6不存在任何暗區。作為下一步，可以從邊緣7中找到下一個可能的繞射邊緣，即邊緣10及邊緣11。例如，如果導航到邊緣11，然後可以計算出從邊緣1、邊緣7到邊緣11的該中間角度。該中間角度被定義為向內波與向外波之間的角度，並且在這種情況下，到邊緣7的該向內波是從邊緣1到邊緣7的一向量。並且可以用φ_1-7-11來表示它。然而，在該路徑的起點或終點處，不存在這樣的中間角度。相反的，可以指定為源最大允許角度(maximum allowable angle for a source,MAAS)及指定為收聽者最小允許角度(minimum allowable angle for a listener,MAAL)。這意味著，如果相對於該相關聯的表面法線(在這個情況下，在邊緣1處的紅色)的一源角度大於該源最大允許角度(MAAS)，則一源可以看見該第二邊緣(例如，邊緣1)。在相同的概念中，如果一收聽者具有低於一給定的收聽者最小允許角度(MAAL)，則一收聽者可以看見該路徑中的最後一個邊緣之前的該邊緣。即時地，基於收聽者最小允許角度(MAAL)及源最大允許角度(MAAS)值，可以計算出一源與一收聽者相對於該相關聯的表面法線的該角度，然後可以驗證這個路徑。因此，在第4圖的場景中預先計算的該第4階路徑400可以定義為如第8圖上部所示的多個邊緣、多個三角形及多個角度的一向量。

中間路徑的較佳預先計算及相關的即時渲染演算法的總體程序如第5圖所示。一旦預先計算了一場景中所有可能的繞射路徑，則只需要從一源位置找到該可見的邊緣列表作為用於繞射的一起點，並且僅在一源與一收聽者之間的該直接路徑被遮蔽時，從一收聽者位置找到該列表作為一最終點。然後，需要計算一源相對於該相關聯的三角形的該角度(例如，第8圖中的1-R)及一收聽者相對於該三角形的該角度(例如，第8圖中的12-B)。如果該聲源角度小於源最大允許角度(MAAS)且該收聽者角大於收聽者最小允許角度(MAAL)，則它將是該聲源信號將沿其傳播的一有效的路徑。然後可以使用該邊緣頂點資訊及相關聯的角度來更新該源位置及繞射濾波器。

第1圖示出了具有4個繞射物體的一場景，其中邊緣1與邊緣5之間存在一第一階繞射路徑。第2b圖的上部示出了從邊緣1到邊緣5的該第一階繞射路徑以及該角度準則，相對於該起點或輸入邊緣1的的該源角度必須小於該源最大允許角度。這是在第1圖中的情況。收聽者最小允許角度(MAAL)也是如此。特別是，從第1圖中的頂點5與頂點6之間的該邊緣所計算出的相對於該輸出邊緣或最終邊緣的該收聽者位置的該角度大於該收聽者最小允許角度。對於第1圖中的該當前源位置及該第1圖中的該當前收聽者位置，第2b圖的上部所示的繞射路徑是有效的，並且相對於沒有動態物體的該繞射路徑，將會是該相關聯的濾波資訊的邊緣1與邊緣5之間的繞射特性可以預先存儲，或是使用第2b圖的該邊緣列表簡單地計算出來。

第4圖示出了從該輸入邊緣或起始邊緣到該輸出邊緣或最終邊緣12的一中間繞射路徑400。第3圖示出了從起始邊緣1到最終邊緣13的另一個中間繞射路徑300。第3圖及第4圖中的音訊場景具有從該源到邊緣9然後到邊緣13然後再到該收聽者或從該源到邊緣1然後從邊緣1到邊緣5然後再從邊緣5到該收聽者的多個附加的繞射路徑。然而，第3圖中的該路徑300僅被確定為第3圖中指示用於該收聽者位置的一有效的中間繞射路徑，其滿足收聽者最小允許角度，即該角度準則MAAL。然而，第4圖所示的一收聽者位置將不會滿足用於路徑300的這個MAAL準則。

另一方面，第3圖中的該收聽者位置將不會滿足第4圖中所示該路徑400的MAAL準則。因此，該繞射路徑供應器100或預處理器將轉發第8圖中所示的複數個中間繞射路徑，該些中間中間繞射路徑包括第4圖中所示作為一第一列表條目的該中間繞射路徑400並且提供第3圖中所示的該另一個中間繞射路徑300。該中間繞射路徑列表將會提供給該渲染器，並且該渲染器確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑。在第3圖所示的一收聽者位置的情況下，只有第8圖中的該列表的路徑300將被確定為一有效的中間繞射路徑，而對於第4圖所示的一收聽者位置，只有該路徑400將被確定為一有效的中間繞射路徑。

參照第3圖或第4圖中的場景，任何具有最終邊緣或輸出邊緣15、10、7或2的中間繞射路徑都不會被確定為一有效的中間繞射路徑，因為這些邊緣對於一收聽者是完全不可見的。第7圖中的該渲染器200將從理論上可能通過第4圖中的音訊場景的所有中間繞射路徑中選擇那些具有對該收聽者是可見的一最終邊緣或輸出邊緣，即這個示例中的邊緣4、5、12、13。這將會對應於該邊緣列表lis(edgelist(lis))。

相似地，關於該源位置，在來自第7圖的繞射路徑供應器100的該中間繞射路徑列表中提供的任何預先計算的中間繞射路徑，其具有例如完全不會被選擇作為一起始邊緣的邊緣，例如邊緣3、6、11及14。只有具有該些起始邊緣1、8、9、16的繞射路徑才會被選擇用來使用MAAS角度準則的特定驗證。這些邊緣將在邊緣列表src(edgelist(src))中。

綜上所述，實際有效的中間繞射路徑的確定是在三階段的程序中選擇的，從中最終確定了從該聲源到該收聽者的該聲音傳播的該濾波表示。在第一階段，僅選擇具有與該源位置匹配的起始邊緣的該預先儲存的繞射路徑。在第二階段，只選擇具有與該收聽者位置匹配的輸出邊緣的中間繞射路徑，並且，在第三階段，一方面使用用於該源的該角度準則，另一方面使用用於該收聽者的該角度準則來驗證這些選定的路徑中的每一個。然後，該渲染器僅使用存在於所有三個階段的該些中間繞射路徑來計算該音訊輸出信號。

第10圖示出了該選擇資訊的一較佳實施方式。在步驟102中，使用該音訊場景的該幾何資訊、使用該源位置並且特別是使用已經通過一預處理器預先計算的多個中間繞射路徑來確定用於一具體源位置的該潛在起始邊緣。在步驟104中，確定用於一具體收聽者位置的該潛在最終邊緣。在步驟106中，基於步驟102的結果及對應於上述第一階段及第二階段的框104的結果來確定該潛在中間繞射路徑。在步驟108中，使用該角度準則MAAS或MAAL來驗證該潛在中間繞射路徑，或者通常通過一可見性確定來確定一特定邊緣是否是一繞射邊緣。步驟108示出了上述的第三階段。該輸入數據MAAS及MAAL是從例如第8圖中所示的中間繞射路徑列表中獲得的。

第11圖示出了用於框108中執行的步驟的集合的一另一個程序，用於該潛在中間繞射路定的驗證。在步驟112中，相對於該起始邊緣來計算該源位置角度。例如，這對應於第1圖中的該角度113的計算。在步驟114中，相對於該最終邊緣來計算該收聽者位置角度。這對應於第1圖中的該角度115的計算。在步驟116中，比較該源位置角度與該源最大允許角度(MAAS)，並且如果確定了該角度大於該源最大允許角度(MAAS)的情況，則如框120所示該測試失敗。然而，當確定了該角度113小於該源最大允許角度(MAAS)時，則已經通過該第一有效性測試。

然而，當該第二驗證也通過時，該中間繞射路徑僅是一有效的中間繞射路徑。這是通過框118的結果所獲得的，即比較該收聽者最小允許角度(MAAL)與該收聽者位置角度115。當角度115大於該收聽者最小允許角度(MAAL)時，則如框122所示，獲得用於通過有效性測試的第二貢獻，並且如步驟126所示，從該中間繞射路徑列表中檢索該濾波資訊，或者，取決於在列表中數據來計算該濾波資訊，例如在參數表示的情況下，例如取決於第8圖的列表中指示的中間角。

一旦獲得與該有效的中間繞射路徑相關聯的濾波資訊，如第11圖中的步驟126之後的情況，第7圖的該音訊渲染器200必須計算該最終濾波資訊，如第9圖所示。特別是，第9圖中的步驟126對應於第11圖中的步驟126。在步驟128中，確定從該源位置到該有效的中間繞射路徑的該起始邊緣的起始濾波資訊。特別是，這是描述該源的該音訊傳播的該濾波資訊，例如，在第1圖中，直到邊緣1處的頂點。這樣的傳播資訊不僅指起因於距離所引起的衰減，而且還取決於角度。從幾何繞射理論(geometric theory of diffraction,GTD)或均勻繞射理論(uniform theory of diffraction,UTD)或可能用於本發明的任何其他聲音繞射模型可知，繞射聲音的頻率特性取決於該繞射角度。當該源角度113非常小時，與第1圖中的該源角度113更接近該源最大允許角度(MASS)的情況相比，通常只有該聲音的低頻部分被繞射，而高頻部分衰減得更厲害。在這種情況下，與該源角度接近0或非常小的情況相比，高頻衰減減少了。可以通過多種方式進行組合，一種有效的方式是將步驟128、126及130中獲得的三個濾波表示中的每一個都轉換成一頻譜表示以獲得該對應的傳遞函數，然後將頻譜域中的三個傳遞函數相乘以獲得該最終濾波表示，該最終濾波表示可以在頻域中操作的該音訊渲染器的情況下使用。在一替代方案中，在時域中操作的音訊渲染器的情況下，可以將頻域濾波資訊轉換到時域中。可替代地，可以使用代表各個濾波貢獻的時域濾波脈衝響應對該三個濾波項進行卷積運算，然後該音訊渲染器可以將所得的該時域濾波脈衝響應用於渲染。在這種情況下，該渲染器一方面會在該音訊源信號之間並且在另一方面在完整濾波表示之間來執行卷積運算。

隨後，第5圖被示出以便於提供用於靜態繞射物體的渲染的一較佳實施方式的一流程圖。該程序從框202開始。然後，提供一預先計算步驟以產生作為由第7圖的繞射路徑供應器100所提供的該列表。在步驟204中，使用用於遮蔽測試的網格來設置一跟踪器。這個步驟確定多個邊緣之間所有不同的繞射路徑，其中通過定義，當兩個不相鄰的邊緣之間的一直接路徑被遮擋時，才會發生繞射路徑。例如，當考慮第3圖時，邊緣1與邊緣11之間的該路徑被邊緣7遮蔽，因此會發生了一繞射。例如，這種情況由框204來確定。在框206中，使用兩個相鄰的三角形之間的內部角度來計算出一潛在繞射邊緣列表。該程序確定了用於這些繞射徑部分的該中間角度或內部角度，即，例如邊緣1與邊緣11之間的部分。該步驟206也將會確定在邊緣7通過邊緣11到邊緣12之間或邊緣7通過邊緣11到邊緣13之間的另一個繞射路徑部分。該對應的該繞射路徑是預先計算的，例如，如第8圖所示，使得例如第3圖的路徑300或例如第4圖的路徑400與描述從邊緣1到邊緣13的路徑300或從邊緣1到邊緣12的路徑400的整個聲音傳播的該相關聯的濾波資訊被預先計算。完成該預先計算程序並且執行運行步驟。在步驟210中，該渲染器200獲得該源及該收聽者位置數據。在步驟212中，執行該源與該收聽者之間的一方向路徑遮蔽測試。如果框212中的測試結果是該方向路徑被遮蔽，則該程序才會繼續。如果該直接路徑沒有被遮蔽，則會發生一直接傳播，並且對於這個路徑任何繞射都不是問題。

在步驟214，確定一方面來自一源而另一方面來自該收聽者的該可見的邊緣列表。這個程序對應於第10圖的步驟102、步驟104及步驟106。在步驟216中，從該邊緣列表的一輸入邊緣開始到用於該收聽者的該邊緣列表的一輸出邊源結束來驗證一路徑。這對應於在第10圖中在框108中執行的該程序。在步驟218中，確定該濾波表示，使得可以通過相對於該相關聯的邊緣的旋轉來更新一源位置，並且可以更新例如來自一UTD模型資料庫的該繞射濾波器。然而，通常，本發明不限於UTD模型資料庫應用，而是可以使用來自一繞射路徑的濾波資訊的任何具體計算及應用來應用本發明。在步驟220，計算用於該音訊場景的該音訊輸出信號，例如，通過使用相關聯的延遲線模組的一雙耳渲染方法，在此是為了距離效果沒有包含在對應的雙耳渲染方向濾波器，例如特定HRTF濾波器，中的情況下，來渲染一距離效果。

第12圖示出了對未旋轉的源位置執行的旋轉，以增強該渲染音訊場景的音頻品質。這種旋轉較佳地應用於第5圖的步驟218或第6圖的步驟218。出於渲染或空間化目的而旋轉該源位置有助於增強關於該原始源位置的空間感知。因此，關於第12圖，在一新位置142處渲染該聲源，該新位置142是通過以角度DA_9圍繞該邊緣9從該原始聲源位置143旋轉到該中間位置141所獲得的。通過連接邊緣13與邊緣9的線來確定這個角度，從而獲得一直線。然後，該中間位置141以角度DA_13圍繞邊緣13旋轉，以便於具有從該收聽者到該最終旋轉源的位置142的一直線。因此，不僅該頻率相關的均衡或衰減值被空間化，而且在該旋轉的源位置142處的該原始源的感知方向也被空間化。由於該聲音繞射效應會在每一個繞射處理中改變該聲音傳播的角度，因此這個最終旋轉的源位置是該感知的源位置。

參考從該源到該收聽者的一個示例性繞射路徑“源-(9)-(13)-收聽者”。使用該旋轉的源位置142產生用於再現空間聲音的該附加φ(phi)、θ(theta)資訊。

考慮到準確的源/收聽者位置的全相關聯的濾波資訊已經提供了每個頻率的準確的EQ資訊，即通過繞射效應的衰減效應。使用該原始源位置及到該原始源的距離已經構成了一低階層實施方式。通過附加地創建選擇適當的HRTF濾波器所需的資訊，增強了這種低階層實施方式。為此，該原始聲源相對於該相關邊緣以一定數量的繞射角度來旋轉，以產生繞射源的位置。然後，方位角及仰角可以從相對於收聽者的這個位置推導出來，並且可以獲得沿著該路徑的總傳播距離。

第12圖還示出了最終渲染的聲源位置142與通過該旋轉處理所獲得的該收聽者位置之間的該距離的計算。較佳地，附加地使用這個距離來確定用於渲染該源的兩者的一距離相關的衰減的一延遲。

隨後，進一步說明使用及確定該原始源位置143的該旋轉位置143。用於計算以獲得該有效的路徑的每一個步驟都處理該原始源位置143。但是，為了實現讓佩戴耳機的使用者在虛擬實境空間(VR space)中感受一更好的沉浸式聲音的雙耳渲染，將該聲源的位置優選地提供給雙耳器，使得該雙耳器可以將適當的空間濾波(H_L及H_R)應用到該原始音訊信號，其中H_L/H_R被稱為頭部相關傳遞函數(Head-related Transfer Function,HRTF)，就像例如https：//www.ece.ucdavis.edu/cipic/spatial-sound/tutorial/hrtf/中所描述。

Filterd_S_L=H_L(phi,theta,w)*S(w)

Filterd_S_R=H_R(phi,theta,w)*S(w)

單聲道信號S(w)不具有任何可以用來產生空間聲音的位置線索。但是通過HRTF過濾的聲音可以再現一空間印象。為此，應在整個過程中給出φ(phi)及θ(theta)(即該繞射源的相對方位角及仰角)。這就是旋轉該原始聲源的原因。因此，除了該濾波資訊之外，該渲染器還接收第12圖的該最終源位置142的資訊。雖然低階層實施方式通常可能使用該原始聲源143的方向，從而可以避免該聲源旋轉的複雜性，但該程序會受到可見於第12圖中的一方向誤差的影響。然而，對於一低階層實施方式，這些誤差是可接受的。該距離印像也是如此。如第12圖12，該旋轉的源142到該收聽者的距離比該原始源143到該收聽者的距離稍長。為了降低複雜性，對於一低階層實施方式來說可以接受這種距離誤差。然而，對於一低階層應用，可以避免這種誤差。

因此，通過相對於相關的邊緣旋轉該原始源來產生該繞射聲源的位置還可以提供從該源及該收聽者的該傳播距離，其中該距離用於距離衰減。

為了產生用於φ(phi)、θ(theta)及距離的附加資訊的這個處理對於多聲道播放系統也很有用。唯一不同的是，對於多聲道播放系統，一組不同的空間濾波器將應用到S(w)以將Filtered_S_i饋送到第i個揚聲器，如“Filterd_S_i=H_i(phi,theta,w,other parameters)*S(w)”。

較佳實施例涉及該渲染器的操作，該渲染器配置成用以取決於該有效的中間繞射路徑或取決於該全繞射路徑來計算一旋轉的音訊源位置，該旋轉的音訊源位置由於該有效的中間繞射路徑所引發的一繞射效應或取決於該全繞射路徑而不同於該音訊源位置，並且該渲染器配置成用以在該計算200用於該音訊場景的該些音訊輸出信號中使用該旋轉的音訊源位置，或該渲染器配置成用以除了使用該濾波表示之外，還使用與該全繞射路徑相關聯的一邊緣順序及與該全繞射路徑相關聯的一繞射角度順序來計算用於該音訊場景的該些音訊輸出信號。

在另一個實施例中，該渲染器配置成用以確定從該收聽者位置到該旋轉的音訊源位置的一距離，並且用以在該計算用於該音訊場景的該些音訊輸出信號中使用該距離。

在另一個實施例中，該渲染器配置成用以取決於該旋轉的音訊源位置及用於該些音訊輸出信號的一預定輸出格式來選擇一個或多個方向濾波器，並且用以在計算該些音訊輸出信號時應用該一個或多個方向濾波器及該濾波表示到該音訊信號。

在另一個實施例中，該渲染器配置成用以取決於該旋轉的音訊源位置與該收聽者位置之間的一距離來確定一衰減值，並且用以附加地取決於該音訊源位置或該旋轉的音訊源位置來應用該濾波表示或一個或多個方向濾波器到該音訊信號。

在另一個實施中，該渲染器配置成用以以包括至少一個旋轉操作的一系列旋轉操作來確定該旋轉的音訊源位置。

在該系列的一第一步驟中，從該全繞射路徑的一第一繞射邊緣開始，在一第一旋轉操作中旋轉從該第一繞射邊緣到該源位置的一路徑部分，以獲得從一第二繞射邊緣到一第一中間旋轉的源位置的一直線或在該全繞射路徑僅有該第一繞射邊緣的情況下從該收聽者位置到一第一中間旋轉的源位置的一直線，其中當該全繞射路徑僅有該第一繞射邊緣時，該第一中間旋轉的源位置是該旋轉的音訊源位置。該系列將會為了一單一個繞射邊緣完成。在有兩個繞射邊緣的情況下，該第一邊緣將是第12圖中的邊緣9，並且該第一中間位置是項目141。

在多於一個繞射邊緣的情況下，該第一旋轉操作的該結果是在一第二旋轉操作中圍繞該第二繞射邊緣旋轉，以獲得從一第三繞射邊緣到一第二中間旋轉的源位置的一直線或在該全繞射路徑僅有該第一繞射邊緣及該第二繞射邊緣的情況下從該收聽者位置到一第二中間旋轉的源位置的一直線，其中當該全繞射路徑僅有該第一繞射邊緣及該第二繞射邊緣時，該第二中間旋轉的源位置是該旋轉的音訊源位置。該序列將會為了兩個繞射邊緣完成。在具有兩個繞射邊緣的情況下，該第一邊緣將是第12圖中的邊緣9，並且該第二邊緣是邊緣13。

在一路徑具有兩個以上繞射邊緣的情況下，例如第3圖的路徑300，該程序繼續，其中以第3圖中的該第三繞射邊緣11，然後以第3圖中的邊緣13或第3圖中的邊緣12來附加地執行一個或多個旋轉操作，並且通常，直到處理了該全繞射路徑並且獲得從該收聽者位置到所獲得的該旋轉的源位置的一直線。

隨後，說明了處理動態物體(dynamic objects,DO)的一較佳實施方式。為此，參考第2b圖，相對於第1圖中的情況，第2b圖示出了一動態物體DO，該動態物體已經放置在該音訊景的中心位置從一個時刻到另一時刻。這意味著第2a圖上線所示的從邊緣1到邊緣5的該中間繞射路徑被繞射物體DO中斷，並且已經生成了兩個新的繞射路徑，一個從邊緣1到邊緣7，然後到邊緣5，另一個從邊緣1到邊緣3，然後到邊緣5。這些繞射路徑與一收聽者被放置在第2a圖左側的情況下是相關的。由於一動態物體已放置到該聲音場景中，因此MAAS及MAAL準則相對於不具有動態物體的情況也發生了改變。第1圖的該中間繞射路徑列表通過第2b圖下部所示的兩個附加中間繞射路徑而增加，例如，如第6圖的項目226所示。特別是，當假設第1圖中從邊緣1到邊緣5的該原始路徑只是一較大反射情況的一部分時，其中該源沒有靠近邊緣1，但是，例如，在多個物體之間存在一個或多個另一個反射路徑，並且相對於收聽者而言情況類似，那麼不具有該動態物體存在於第1圖中的該預先計算的繞射路徑可以很容易地在運行時更新，通過僅用兩個附加路徑來替換第1圖中從邊緣1到邊緣5的該繞射路徑，並且仍然保留從邊緣1到該繞射路徑的任何起始邊緣的較早部分，並且也保留從邊緣5到任何輸出邊緣或最終邊緣的路徑部分。

第6圖示出了使用動態物體執行的該程序的情況。在步驟222中，確定動態物體DO是否改變了它的位置，例如通過平移及旋轉。附接到該動態物體的邊緣被更新。在第2a圖的示例中，步驟222將確定，與第1圖所示的一較早時刻相比，存在具有特定邊緣70、60、20、30的動態物體。在步驟214中，將找到包括邊緣1及5的中間繞射路徑。在步驟224中，將確定因為該動態物體放置在邊緣1與5之間的該路徑中而存在的一中斷。在步驟224中，將找到如第2b圖的下部所示的一方面從邊緣1通過該動態物體邊緣30到邊緣5，另一方面從邊緣1通過動態物體邊緣60到邊緣5的該些附加路徑。在步驟226中，該非中斷路徑將通過兩個附加路徑而增加。這意味著，通過用第2b圖中所示的該兩個其他路徑部分來替換邊緣1及邊緣5之間的路徑部分來修改從來自任何(未繪示)輸入邊緣到邊緣1以及從邊緣5到任何(未繪示)輸出邊緣的一路徑(圖中未顯示)。從一輸入邊緣到邊緣1的該第一路徑部分將與這兩個路徑部分拼接在一起以獲得兩個附加中間繞射路徑，並且從邊緣5延伸到一輸出邊緣的該原始路徑的該輸出部分也將拼接到兩個對應增加的中間繞射路徑，使得起因於動態物體，從一個較早的中間繞射路徑(不具有動態物體)，已經產生了兩個新增加早期繞射路徑。第6圖中所示的其他步驟與第5圖中所示的步驟類似。

通過動態物體(在運行時)渲染該繞射效果是使用沉浸式媒體呈現用於娛樂的互動印象的最佳方式之一。考慮動態物體繞射的較佳策略如下：

1)在該預先計算步驟中：

A.如果存在動態物體/幾何體，則預先計算圍繞一給定動態物體的可能(中間)繞射路徑。

B.如果存在多個動態物體/幾何體，則基於不同動態物體之間不允許繞射的假設來預先計算圍繞一單一個物體的該可能(中間)繞射路徑。

C.如果存在一個動態物體/幾何體及一靜態物體/幾何體，則基於靜態與動態物體之間不允許繞射的假設來預先計算圍繞一動態或靜態物體的可能路徑。

2)在運行步驟中：

A.僅在一動態網格重新定位(在平移及旋轉方面)時，才更新屬於一重新定位的動態網格的該潛在邊緣。

B.從一源及一收聽者中找到該可見的邊緣列表。

C.驗證從一源的邊緣列表開始到一收聽者的邊緣列表結束的該路徑。

D.測試中間邊緣對之間的該可見性，並且如果存在由可能是一動態物體或一靜態物體的一中斷物體的一中斷，則通過邊緣、三角形及角度增加該驗證路徑內的路徑。

與用於靜態場景的演算法相比，如第6圖所示處理動態物體/幾何體的擴展演算法具有附加的步驟。

考慮到該較佳方法預先計算(中間)繞射路徑資訊，除特殊情況外不需要重新計算，與不允許更新預先計算的數據的現有技術相比，出現了許多實際優勢。此外，組合多個繞射路徑以產生一增加路徑的靈活功能使得可以同時考慮靜態及動態物體。

(1)較低的計算複雜度：該較佳方法不需要在運行時構建從一給定源位置到一收聽者位置的一完整路徑。相反地，它只需要找到在兩點之間的該有效的中間路徑。

(2)能夠渲染靜態及動態物體組合或多個動態物體的繞射效果：最先進的技術需要在運行時更新在(靜態或動態)邊緣之間的整個可見性圖，以同時考慮通過靜態及動態物體的繞射效應。該較佳方法需要兩個有效的路徑/路徑部分的一有效的拼接處理。

另一方面，與最先進的技術相比，預先計算(中間)衍射路徑需要更多的時間。然而，可以通過應用合理的約束來控制預先計算的路徑數據的大小，例如一個完整路徑中的最大允許衰減水平、最大傳播距離、繞射的最大階數等。

1)[基於幾何聲學的方法]基於該預先計算(中間)路徑資訊，發明了一較佳方法以將UTD模型應用到多個可見的/適當定向的邊緣。這種預先計算的數據不需要即時監控(大多數情況下)，除了非常罕見的情況，例如被動態物體中斷。因此，本發明即時地最小化該計算。

2)[模組化]每一個預先計算的路徑都作為一個模組來工作。

A.對於靜態場景，在一即時步驟中，我們只需要在兩個空間點之間找到該有效的模組。

B.對於動態場景，即使在該有效的路徑中存在物體(B)被一不同物體(A)中斷，我們也需要以通過A的一有效的路徑來擴充通過B的路徑(想像拼接兩個不同的圖片)。

3)[支持全動態交互]包含了靜態及動態物體或多個動態物體的結合的即時渲染繞射效果是可實現的。

這裡要提到的是，之前討論的所有替代方案或方面以及由以下請求項中的獨立請求項定義的所有方面都可以單獨使用，即，除了預期的替代方案、目標或獨立請求項外，沒有任何其他替代方案或目標。然而，在其他實施例中，兩個或更多個替代方案或方面或獨立請求項可以彼此組合，並且在其他實施例中，所有方面或替代方案和所有獨立請求項可以彼此組合。

本發明編碼的信號可以儲存在數位儲存介質或非暫時性儲存介質上，或者可以在諸如無線傳輸介質或諸如網際網路的有線傳輸介質之類的傳輸介質上傳輸。

儘管已經在設備的上下文中描述了一些方面，但很明顯，這些方面也代表了相應方法的描述，其中框或設備對應於方法步驟或方法步驟的特徵。類似地，在方法步驟的上下文中描述的方面也表示相應裝置的相應框或項目或特徵的描述。

根據特定實施方式要求，本發明的實施例可以以硬體或軟體來實施。這樣的實施方式可以使用數位儲存介質來執行，例如軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或FLASH記憶體，具有儲存在其上的電子可讀控制信號，它們協作(或能夠)與可編程電腦系統合作，從而執行相應的方法。

根據本發明的一些實施例包括具有電子可讀控制信號的數據載體，該控制信號能夠與可編程電腦系統協作，從而執行本文所述的方法之一。

通常，本發明的實施例可以實現為具有程式代碼的電腦程式產品，當電腦程式產品在電腦上運行時，該程式代碼可操作用於執行方法之一。程式代碼可以例如儲存在一機器可讀載體上。

其他實施例包括用於執行本文描述的方法之一的電腦程式，其存儲在機器可讀載體或非暫時性儲存介質上。

換句話說，本發明方法的實施例因此是具有程式代碼的電腦程式，當該電腦程式在電腦上運行時，該程式代碼用於執行這裡描述的方法中的一個。

因此，本發明方法的另一實施例是數據載體(或數位儲存介質，或電腦可讀介質)，其上記錄有用於執行本文所述方法之一的電腦程式。

因此，本發明方法的另一實施例是數據流或信號序列，其表示用於執行這裡描述的方法之一的電腦程式。數據流或信號序列可以例如被配置為經由數據通信連接、例如經由網際網路來傳輸。

另一個實施例包括處理裝置，例如電腦或可編程邏輯設備，其配置為或適合於執行這裡描述的方法之一。

另一實施例包括其上安裝有用於執行本文所述方法之一的電腦程式的電腦。

在一些實施例中，可編程邏輯器件(例如現場可編程門陣列)可用於執行本文所述方法的一些或全部功能。在一些實施例中，現場可編程門陣列可與微處理器協作以執行本文所述的方法之一。通常，這些方法較佳地由任何硬體設備執行。通常，這些方法較佳地由任何硬體設備執行。

上述實施例僅用於說明本發明的原理。應當理解，對本領域技術人員而言，這裡描述的佈置和細節的修改和變化將是顯而易見的。因此，其意圖是僅受限於即將到來的專利請求項的範圍，而不是受限於通過本文實施例的描述和解釋呈現的具體細節。

參考文獻

[1]L. Savioja and V. Välimäki. Interpolated rectangular 3-D digital waveguide mesh algorithms with frequency warping. IEEE Trans. Speech Audio Process., 11(6) 783-790, 2003.

[2]Mehra, R., Raghuvanshi, N., Antani, L., Chandak, A., Curtis, S., And Manocha, D. Wave-based sound propagation in large open scenes using an equivalent source formulation, ACM Trans. on Graphics 32(2) 19:1-19:13, 2013.

[3]Mehra, R., Antani, L., Kim, S., and Manocha, D. Source and listener directivity for interactive wave-based sound propagation, IEEE Transactions on Visualization and Computer Graphics, 20(4) 495-503, 2014.

[4]Nikunj Raghuvanshi and John M. Snyder, Parametric directional coding for precomputed sound propagation, ACM Trans. on Graphics 37(4) 108:1-108:14, 2018.

[5]J. B. Allen, and D. A. Berkley, Image method for efficiently simulating small-room acoustics. The Journal of the Acoustical Society of America 65(4) 943-950, 1979.

[6]M. Vorländer, Simulation of the transient and steady-state sound propagation in rooms using a new combined raytracing/image-source algorithm, The Journal of the Acoustical Society of America 86(1) 172-178, 1989.

[7]T. Funkhouser, I. Carlbom, G. Elko, G. Pingali, M. Sondhi, and J. West, A beam tracing approach to acoustic modeling for interactive virtual environments, In Proc. of ACM SIGGRAPH, 21-32, 1998.

[8]M. Taylor, A. Chandak, L. Antani, and D. Manocha, Resound: interactive sound rendering for dynamic virtual environments, In Proc. of the seventeen ACM international conference on Multimedia, 271-280, 2009.

[9]R. G. Kouyoumjian and P. H. Pathak, A uniform geometrical theory of diffraction for an edge in a perfectly conducting surface, In Proc. of the IEEE 62, 11, 1448-1461, 1974.

[10]U. P. Svensson, R. I. Fred, and J. Vanderkooy, An analytic secondary source model of edge diffraction impulse responses, Acoustical Society of America Journal 106 2331-2344, 1999.

[11]N. Tsingos, T. Funkhouser, A. Ngan, and I. Carlbom, Modeling acoustics in virtual environments using the uniform theory of diffraction, In Proc. of the SIGGRAPH, 545-552, 2001.

[12]M. Taylor, A. Chandak, Q. Mo, C. Lauterbach, C. Schissler, and D. Manocha, Guided multiview ray tracing for fast auralization. IEEE Transactions on Visualization and Computer Graphics 18, 1797-1810, 2012.

[13]H. Yeh, R. Mehra, Z. Ren, L. Antani, D. Manocha, and M. Lin, Wave-ray coupling for interactive sound propagation in large complex scenes, ACM Trans. Graph. 32, 6, 165:1-165:11, 2013

50:音訊源

100:繞射路徑供應器

200:渲染器

Claims

一種用於渲染一音訊場景的設備，該音訊場景包括在一音訊源位置的一音訊源及複數個繞射物體，該設備包括：一繞射路徑供應器，用於提供穿過該些繞射物體的複數個中間繞射路徑，該些中間繞射路徑中的一個中間繞射路徑具有該些繞射物體的一起點及一輸出邊緣的及用於該中間繞射路徑的一相關聯的濾波資訊；一渲染器，用於在一收聽者位置渲染該音訊源，其中該渲染器配置成：基於該些中間繞射路徑及該收聽者位置，從該繞射路徑供應器提供的穿過該些繞射物體的該些中間繞射路徑，來確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑，其中確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑包含：確定取決於該音訊源位置的一潛在輸入邊緣起始組或確定取決於該收聽者位置的一潛在輸出邊緣最終組；使用該潛在輸入邊緣起始組或該潛在輸出邊緣最終組，從一預先儲存的中間繞射路徑列表檢索一個或多個潛在有效的中間繞射路徑；及使用一源角度準則及在該音訊源位置與對應的該輸入邊緣之間的一源角度或使用一最終角度準則及在該收聽者位置與對應的一輸出邊緣之間的一收聽者角度，來驗證該一個或多個潛在有效的中間繞射路徑；對於該一個或多個有效的中間繞射路徑中的每一個有效的中間繞射路徑，使用用於該中間繞射路徑的該相關聯的濾波資訊與描述從該有效的中間繞射路徑的該輸出邊緣到該收聽者位置的一音訊信號傳播的一濾波資訊的一組合來確定用於從該音訊源位置到該收聽者位置的一全繞射路徑的一濾波表示，該濾波表示對應於該一個或多個有效的中間繞射路徑中的一有效的中間繞射路徑；及使用與該音訊源相關聯的一音訊信號及用於每一個全繞射路徑的該濾波表示來計算出用於該音訊場景的複數個音訊輸出信號。
如請求項1所述之設備，其中該音訊源位置是固定的，並且一預處理器配置成用以確定每一個有效的中間繞射路徑，使得每一個有效的中間繞射路徑的該起點對應於該音訊源位置；或其中該音訊源位置是可變的，並且其中該預處理器配置成用以將該些繞射物體的一輸入邊緣確定為一中間繞射路徑的該起點；及其中該渲染器配置成用以，基於該一個或多個有效的中間繞射路徑的該輸入邊緣及該音訊源的該音訊源位置，附加地確定該一個或多個有效的中間繞射路徑，並且用以，基於一另一個濾波資訊，附加地確定用於該全繞射路徑的該濾波表示，該另一個濾波資訊描述從該音訊源位置到與該全繞射路徑相關聯的該有效的中間繞射路徑的該輸入邊緣的一音訊信號傳播。
如請求項1所述之設備，其中所述渲染器配置成用以為從該音訊源位置到該收聽者位置的一直接路徑執行一遮蔽測試，並且當該遮蔽測試指示出該直接路徑被遮蔽時，僅用以確定該一個或多個有效的中間繞射路徑。
如請求項2所述之設備，其中該渲染器配置成用以通過將該相關聯的濾波資訊的一頻域表示與用於從該有效的中間繞射路徑到該收聽者位置的該音訊信號傳播的該濾波資訊的一頻域表示或描述從該音訊源位置到該有效的中間繞射路徑的該輸入邊緣的一音訊信號傳播的一另一個濾波資訊的一頻域表示相乘，來確定用於該全繞射路徑的該濾波表示。
如請求項1所述之設備，其中該渲染器配置成用以計算該源角度，並且用以比較該源角度與作為該源角度準則的一源最大允許角度(MASS)，並且當該源角度低於該源最大允許角度時，用以驗證一潛在中間繞射路徑成為該有效的中間繞射路徑；或其中該渲染器配置成用以計算該收聽者角度，並且比較該收聽者角度與作為該收聽者角度準則的一收聽者最小允許角度(MAAL)，並且當該收聽者角度大於該收聽者最小允許角度時，用以驗證一潛在中間繞射路徑成為該有效的中間繞射路徑。
如請求項1所述之設備，其中該繞射路徑供應器配置成用以存取儲存了該預先儲存的中間繞射路徑列表的一記憶體，該預先儲存的中間繞射路徑列表包括用於該些中間繞射路徑的複數個中間繞射路徑條目，其中每一個中間繞射路徑條目包括從一輸入邊緣延伸到一輸出邊緣的一系列邊緣或從一輸入三角形延伸到一輸出三角形的一系列三角形或從一源角度準則開始的一系列項目，該系列項目包括一個或多個中間角度並且包括一收聽者角度準則。
如請求項6所述之設備，其中該中間繞射路徑條目包括該相關聯的濾波資訊或對該相關聯的濾波資訊的一引用；或其中該渲染器配置成用以從該中間繞射路徑條目中的數據導出該相關聯的濾波資訊。
如請求項1所述之設備，其中該音訊場景的該些繞射物體包括一動態物體，並且其中該繞射路徑供應器配置成用以提供至少一個圍繞該動態物體的中間繞射路徑。
如請求項1所述之設備，其中該音訊場景的該些繞射物體包括兩個或多個動態繞射物體，並且其中該繞射路徑供應器配置成用以基於一繞射不允許存在於兩個不同動態物體之間的一假設來提供圍繞一單一動態物體的複數個中間繞射路徑。
如請求項1所述之設備，其中該音訊場景的該些繞射物體包括一個或多個動態物體及一個或多個靜態物體，其中該繞射路徑供應器配置成用以基於一繞射不允許在於一靜態物體與一動態物體之間的一假設來提供圍繞一動態物體或一靜態物體的複數個中間繞射路徑。
如請求項1所述之設備，其中該些繞射物體包括至少一個動態繞射物體，其中該渲染器配置成用以：確定該至少一個動態繞射物體是否已經相對於一平移與一旋轉中的至少一個被重新定位；更新附接到該經重新定位的動態繞射物體的邊緣；在確定該一個或多個有效的中間繞射路徑的該步驟中，檢查關於內部邊緣對之間的一可見性的一潛在有效的中間繞射路徑，其中由於重新定位該經重新定位的動態繞射物體所導致的該可見性的一中斷的情況下，通過由於該經重新定位的動態繞射物體所引發的一附加路徑來增加該潛在有效的中間繞射路徑以獲得該有效的中間繞射路徑。
如請求項1所述之設備，其中該渲染器配置成用以應用均勻繞射理論(UTD)來確定該相關聯的濾波資訊，或其中該渲染器配置成用以以一頻率相關的方式來確定該相關聯的濾波資訊。
如請求項1所述之設備，其中該渲染器配置成用以取決於該有效的中間繞射路徑或取決於該全繞射路徑來計算一旋轉的音訊源位置，該旋轉的音訊源位置由於該有效的中間繞射路徑所引發的一繞射效應或取決於該全繞射路徑而不同於該音訊源位置，並且該渲染器配置成用以在該計算用於該音訊場景的該些音訊輸出信號中使用該旋轉的音訊源位置；或其中該渲染器配置成用以除了使用該濾波表示之外，還使用與該全繞射路徑相關聯的一邊緣順序及與該全繞射路徑相關聯的一繞射角度順序來計算用於該音訊場景的該些音訊輸出信號。
如請求項13所述之設備，其中該渲染器配置成用以確定從該收聽者位置到該旋轉的音訊源位置的一距離，並且用以在該計算用於該音訊場景的該些音訊輸出信號中使用該距離。
如請求項13所述之設備，其中該渲染器配置成用以取決於該旋轉的音訊源位置及用於該些音訊輸出信號的一預定輸出格式來選擇一個或多個方向濾波器，並且用以在計算該些音訊輸出信號時應用該一個或多個方向濾波器及該濾波表示到該音訊信號。
如請求項13所述之設備，其中該渲染器配置成用以取決於該旋轉的音訊源位置與該收聽者位置之間的一距離來確定一衰減值，並且用以附加地取決於該音訊源位置或該旋轉的音訊源位置來應用該濾波表示或一個或多個方向濾波器到該音訊信號。
如請求項13所述之設備，其中該渲染器配置成用以以包括至少一個旋轉操作的一系列旋轉操作來確定該旋轉的音訊源位置；其中從該全繞射路徑的一第一繞射邊緣開始，在一第一旋轉操作中旋轉從該第一繞射邊緣到該源位置的一路徑部分，以獲得從一第二繞射邊緣到一第一中間旋轉的源位置的一直線或在該全繞射路徑僅有該第一繞射邊緣的情況下從該收聽者位置到一第一中間旋轉的源位置的一直線，其中當該全繞射路徑僅有該第一繞射邊緣時，該第一中間旋轉的源位置是該旋轉的音訊源位置；或其中該第一旋轉操作的一結果是在一第二旋轉操作中圍繞該第二繞射邊緣旋轉，以獲得從一第三繞射邊緣到一第二中間旋轉的源位置的一直線或在該全繞射路徑僅有該第一繞射邊緣及該第二繞射邊緣的情況下從該收聽者位置到一第二中間旋轉的源位置的一直線，其中當該全繞射路徑僅有該第一繞射邊緣及該第二繞射邊緣時，該第二中間旋轉的源位置是該旋轉的音訊源位置；以及其中附加地執行一個或多個旋轉操作，直到處理了該全繞射路徑並且獲得從該收聽者位置到所獲得的該旋轉的源位置的一直線。
一種用於渲染一音訊場景的方法，該音訊場景包括在一音訊源位置的一音訊源及複數個繞射物體，該方法包括：提供穿過該些繞射物體的複數個中間繞射路徑，該些中間繞射路徑中的一個中間繞射路徑具有該些繞射物體的一起點及一輸出邊緣及用於該中間繞射路徑的一相關聯的濾波資訊；在一收聽者位置渲染該音訊源，其中該渲染包括：基於該些中間繞射路徑及該收聽者位置，從該繞射路徑供應器提供的穿過該些繞射物體的該些中間繞射路徑，來確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑，其中確定從該音訊源位置到該收聽者位置的一個或多個有效的中間繞射路徑包含：確定取決於該音訊源位置的一潛在輸入邊緣起始組或確定取決於該收聽者位置的一潛在輸出邊緣最終組；使用該潛在輸入邊緣起始組或該潛在輸出邊緣最終組，從一預先儲存的中間繞射路徑列表檢索一個或多個潛在有效的中間繞射路徑；及使用一源角度準則及在該音訊源位置與對應的該輸入邊緣之間的一源角度或使用一最終角度準則及在該收聽者位置與對應的一輸出邊緣之間的一收聽者角度，來驗證該一個或多個潛在有效的中間繞射路徑；對於該一個或多個有效的中間繞射路徑中的每一個有效的中間繞射路徑，使用用於該中間繞射路徑的該相關聯的濾波資訊與描述從該有效的中間繞射路徑的該輸出邊緣到該收聽者位置的一音訊信號傳播的一濾波資訊的一組合來確定用於從該音訊源位置到該收聽者位置的一全繞射路徑的一濾波表示，該濾波表示對應於該一個或多個有效的中間繞射路徑中的一有效的中間繞射路徑；及使用與該音訊源相關聯的一音訊信號及用於每一個全繞射路徑的該濾波表示來計算出用於該音訊場景的複數個音訊輸出信號。
一種電腦程式，當在一電腦或一處理器上運行時，該電腦程式用於執行如請求項18所述之方法。