TW202324378A - 後期迴響距離衰減技術 - Google Patents

後期迴響距離衰減技術 Download PDF

Info

Publication number
TW202324378A
TW202324378A TW111142557A TW111142557A TW202324378A TW 202324378 A TW202324378 A TW 202324378A TW 111142557 A TW111142557 A TW 111142557A TW 111142557 A TW111142557 A TW 111142557A TW 202324378 A TW202324378 A TW 202324378A
Authority
TW
Taiwan
Prior art keywords
channels
sound
distance
audio
sound source
Prior art date
Application number
TW111142557A
Other languages
English (en)
Inventor
安卓斯 希爾瑟
喬根 希瑞
安蒂 艾隆奈恩
Original Assignee
弗勞恩霍夫爾協會
紐倫堡大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會, 紐倫堡大學 filed Critical 弗勞恩霍夫爾協會
Publication of TW202324378A publication Critical patent/TW202324378A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本發明提供一種根據一實施例之呈現器(100)。該呈現器(100)經組配以用於取決於發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道來呈現該虛擬音訊場景，其中，用於處理該聲源之該一或多個音訊通道。該呈現器(100)包含一後期迴響模組(110)，該後期迴響模組經組配以用於取決於該聲源之該一或多個音訊通道而產生一或多個後期迴響通道，其中該一或多個後期迴響通道表示由該聲源發射至該虛擬音訊場景中之該聲音的一後期迴響部分。此外，該呈現器(100)包含一聲音場景產生器(120)，該聲音場景產生器用於使用該一或多個後期迴響通道產生一或多個音訊輸出通道以用於再現該虛擬音訊場景。該後期迴響模組(110)經組配以取決於該虛擬音訊場景中之該聲源與一收聽者之間的一距離而取決於該聲源之該一或多個音訊通道產生該一或多個後期迴響通道。

Description

後期迴響距離衰減技術
發明領域
本發明係關於後期迴響距離衰減技術。特定言之，本發明係關於提供經模擬聲音環境之改良之感知合理性。該概念描述於雙耳再現系統內，但可擴展至其他形式之音訊再現。
發明背景
比如虛擬實境(VR)或擴增實境(AR)之經模擬體驗的主要態樣為創建個體可感知複雜的聲學現象之實體空間及環境的能力。在所謂的「六個自由度」(6DoF)呈現中狀況尤其如此，其中個體可在具有某些物理屬性之房間內部自由地移動且因此體驗多種聲音現象。所呈現之聲音大體上由直達聲、早期反射部分(ER)及後期迴響部分(LR)組成。
圖3示出封閉房間內點源之聲音對距離之相依性的理論位準，且對應於[1]之圖1.13。特定言之，圖1視覺化封閉房間中點源與接收者(收聽者)之間的聲音對距離之位準相依性。在聲源附近存在自由場條件，且距離每次加倍，位準就下降2倍或6 dB。在假定完全擴散遠離聲源的迴響場中，位準保持恆定。此等二個區域之間的邊界係由臨界距離界定。藉由下式計算針對全向源及接收者之臨界距離：
Figure 02_image001
具有A表示等效吸收面積[m 2]，V係房間體積[m 3]，且RT 60係迴響時間[s](參見https://en.wikipedia.org/wiki/Critical_distance)。
模型化房間中之聲源及接收者通常涉及虛擬環境可聽化中之三個不同的階段，即，直達聲、早期反射及後期迴響處理。
圖4示出房間中之聲源的標準實施，其具有三個階段：直達聲、早期反射及後期迴響處理。
如圖4中可看到，前二個階段具有距離相依之位準調整：源至接收者之距離將愈大，該等二者之位準將下降得愈多。通常假定後期迴響階段之位準在房間內係恆定的。在上文所提及之臨界距離處，直達聲位準與迴響位準之量係相等的。再現階段最終將輸出呈現至雙耳頭戴式耳機或揚聲器再現。
發明概要
本發明之目標係提供用於呈現虛擬音訊場景之改良之概念。本發明之目標係藉由如技術方案1之呈現器、如技術方案21之位元串流、如技術方案23之編碼器、如技術方案27之方法、如技術方案28之方法及如技術方案29之電腦程式來解決。
提供一種根據一實施例之呈現器。該呈現器經組配以用於取決於發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道來呈現該虛擬音訊場景，其中，用於處理該聲源之該一或多個音訊通道。該呈現器包含一後期迴響模組，該後期迴響模組經組配以用於取決於該聲源之該一或多個音訊通道而產生一或多個後期迴響通道，其中該一或多個後期迴響通道表示由該聲源發射至該虛擬音訊場景中之該聲音的一後期迴響部分。此外，該呈現器包含一聲音場景產生器，該聲音場景產生器用於使用該一或多個後期迴響通道產生一或多個音訊輸出通道以用於再現該虛擬音訊場景。該後期迴響模組經組配以取決於該虛擬音訊場景中之該聲源與一收聽者之間的一距離而取決於該聲源之該一或多個音訊通道產生該一或多個後期迴響通道。
此外，提供一種根據一實施例之位元串流。該位元串流包含發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之一編碼。此外，該位元串流包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之一距離衰減之一強度的一指示。
此外，提供一種根據一實施例之經組配以用於產生一位元串流之編碼器。該編碼器經組配以產生該位元串流，使得該位元串流包含發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之一編碼。此外，該編碼器經組配以產生該位元串流使得該位元串流進一步包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之一距離衰減之一強度的一指示。
此外，提供一種根據一實施例之方法。該方法經組配以用於取決於發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道來呈現該虛擬音訊場景，其中，用於處理該聲源之該一或多個音訊通道。該方法包含： - 取決於該聲源之該一或多個音訊通道產生一或多個後期迴響通道，其中該一或多個後期迴響通道表示由該聲源發射至該虛擬音訊場景中之該聲音的一後期迴響部分。以及： - 使用該一或多個後期迴響通道產生一或多個音訊輸出通道以用於再現該虛擬音訊場景。
取決於該聲源之該一或多個音訊通道產生該一或多個後期迴響通道係取決於該虛擬音訊場景中之物件源與一收聽者之間的一距離來進行。
此外，提供一種根據一實施例之用於產生一位元串流之方法。該方法包含： - 產生該位元串流使得該位元串流包含發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之一編碼。以及： - 產生該位元串流使得該位元串流進一步包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之一距離衰減之一強度的一指示。
此外，提供一種根據一實施例之電腦程式，其用於在執行於一電腦或信號處理器上時實施上述方法中之一者。
較佳實施例之詳細說明
圖1示出根據一實施例之用於呈現虛擬音訊場景之呈現器100。
提供根據一實施例之呈現器100。呈現器100經組配以用於取決於發射聲音至虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道來呈現虛擬音訊場景，其中，用於處理該聲源之一或多個音訊通道。
呈現器100包含後期迴響模組110，該後期迴響模組經組配以用於取決於聲源之一或多個音訊通道產生一或多個後期迴響通道，其中該一或多個後期迴響通道表示由聲源發射至虛擬音訊場景中之聲音的後期迴響部分。
此外，呈現器100包含聲音場景產生器120，該聲音場景產生器用於使用一或多個後期迴響通道產生一或多個音訊輸出通道以用於再現虛擬音訊場景。
後期迴響模組110經組配以取決於聲源之一或多個音訊通道取決於虛擬音訊場景中之聲源與收聽者之間的距離而產生一或多個後期迴響通道。
在一實施例中，後期迴響模組110可例如經組配以取決於聲源之一或多個音訊通道而產生一或多個後期迴響通道，使得該一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量可例如取決於虛擬音訊場景中之聲源與收聽者之間的距離而調適。
根據一實施例，後期迴響模組110可例如經組配以呈現一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量，使得虛擬音訊場景中之聲源與收聽者之間的較大距離導致相比於虛擬音訊場景中之聲源與收聽者之間的較小距離，一或多個後期迴響通道之位準及/或振幅及/或能量的更強衰減。
在一實施例中，後期迴響模組110可例如經組配以取決於聲源與收聽者之間的第一距離而呈現一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量，使得與在聲源與收聽者之間的距離為第一距離之一半的情況下一或多個音訊通道之衰減相比，一或多個後期迴響通道之聲壓位準可例如減小了介於1 dB與2 dB之間的值。
根據一實施例，呈現器100可例如進一步包含直達聲模組，該直達聲模組經組配以用於取決於聲源之一或多個音訊通道產生一或多個直達聲通道，使得虛擬音訊場景中之聲源與收聽者之間的較大距離導致相比於虛擬音訊場景中之聲源與收聽者之間的較小距離，一或多個直達聲通道之位準及/或振幅及/或能量的更強衰減，其中聲音場景產生器120可例如經組配以使用一或多個直達聲通道產生一或多個音訊輸出通道以用於再現虛擬音訊場景。
在一實施例中，若虛擬音訊場景中之聲源與收聽者之間的距離為較大距離而非較小距離，則後期迴響模組110可例如經組配以呈現一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量，使得該較大距離導致該一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量的衰減與由直達聲模組回應於較大距離而傳導的一或多個直達聲通道之位準及/或振幅及/或能量的衰減相比，係相對較小的。
根據一實施例，相比於在虛擬音訊場景中之聲源與收聽者之間的距離為當前距離的一半時，在虛擬音訊場景中之聲源與收聽者之間的距離為當前距離的情況下，後期直達聲模組可例如經組配以呈現一或多個直達聲通道之聲壓位準及/或振幅及/或量值及/或能量，使得該一或多個直達聲通道之聲壓位準減小了介於5 dB與7 dB之間的值，且後期迴響模組110可例如經組配以呈現一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量，使得該一或多個後期迴響通道之聲壓位準減小了介於1 dB與2 dB之間的值。
在一實施例中，呈現器100可例如經組配以接收包含關於後期迴響之距離衰減之強度的指示之一或多個資訊參數。後期迴響模組110可例如經組配以取決於虛擬音訊場景中之聲源與收聽者之間的距離及取決於關於後期迴響之距離衰減之強度的指示而調適一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量。
根據一實施例，位元串流可例如包含一或多個資訊參數，且其中呈現器100可例如經組配以接收位元串流且可例如經組配以自該位元串流獲得一或多個資訊參數；或呈現器100可例如經組配以自另一單元接收一或多個資訊參數，該另一單元已接收位元串流且已自該位元串流獲得一或多個資訊參數。
在一實施例中，一或多個資訊參數包含距離下降分貝因子及參考距離。後期迴響模組110可例如經組配以取決於虛擬音訊場景中之聲源與收聽者之間的距離，取決於距離下降分貝因子及取決於參考距離而調適一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量。
根據一實施例，後期迴響模組110可例如經組配以取決於增益dbGain而調適一或多個後期迴響通道之聲壓位準及/或振幅及/或量值及/或能量，該增益dbGain取決於： distanceGainDbFactor * log10(refDistance / distance)；及 distanceGainDbFactor = distanceGainDropDb / log10(2.0)； distanceGainDropDb指示距離下降分貝因子；refDistance指示參考距離；且distance指示虛擬音訊場景中之聲源與收聽者之間的距離。
在一實施例中，參考距離可例如為根據MPEG-I 6DoF音訊編碼器輸入格式(EIF)用於音訊元件的參考距離，其中該音訊元件可例如為聲源。
根據一實施例，後期迴響模組110可例如經組配以使用回饋延遲網路迴響器而產生一或多個後期迴響通道。
在一實施例中，呈現器100可例如進一步包含一早期反射模組，該早期反射模組經組配以用於取決於聲源之一或多個音訊通道產生一或多個早期反射通道。聲音場景產生器120可例如經組配以使用一或多個早期反射通道產生一或多個音訊輸出通道以用於再現虛擬音訊場景。
在一實施例中，呈現器100可例如經組配以取決於聲源之位置及取決於收聽者之位置而判定虛擬音訊場景中之該聲源與該收聽者之間的距離。聲源之位置及收聽者之位置被界定為三維；及/或聲源之位置及收聽者之位置被界定二維；及/或聲源之位置可例如被界定為三維，且收聽者位置及定向可例如被界定為六個自由度，使得收聽者之位置可例如被界定為三維，且收聽者之頭部之定向可例如使用三個旋轉角界定。
根據一實施例，一或多個聲源之一聲源的一或多個音訊通道係在立體混響域中表示，且其中聲音場景產生器120可例如經組配以取決於與該聲源之該一或多個音訊通道中之一者相關聯的多個球諧函數中之一者之屬性而再現虛擬音訊場景。或，該聲源之該一或多個音訊通道係在不同於立體混響域之不同域中表示，其中該聲源之該一或多個音訊通道係自該聲源之在該立體混響域中表示的一或多個其他通道導出，其中該一或多個音訊通道中之各音訊通道可例如取決於與該一或多個其他通道中之一者相關聯的多個球諧函數中之一者之屬性自該其他通道導出。
在一實施例中，呈現器100可例如包含一雙耳化器，該雙耳化器經組配以取決於一或多個後期迴響通道而產生二個音訊輸出通道以用於再現虛擬音訊場景。
根據一實施例，位元串流可例如包含一或多個聲源中之各聲源之一或多個音訊通道。呈現器100可例如經組配以接收位元串流且可例如經組配以自該位元串流獲得一或多個聲源中之各聲源的一或多個音訊通道；或呈現器100可例如經組配以自另一單元接收一或多個聲源中之各聲源的一或多個音訊通道，該另一單元已接收位元串流且已自該位元串流獲得一或多個聲源中之各聲源的一或多個音訊通道。
圖2示出根據一實施例之包含解碼器50及圖1之實施例之呈現器100的設備。
解碼器50經組配以用於解碼位元串流以獲得一或多個聲源中之各聲源的一或多個音訊通道。
呈現器100經組配以用於取決於一或多個聲源中之各聲源的一或多個音訊通道而呈現虛擬音訊場景。
根據一實施例，位元串流可例如包含一或多個資訊參數。解碼器50可例如經組配以自該位元串流獲得一或多個資訊參數。此外，呈現器100可例如經組配以自解碼器50接收一或多個資訊參數。
此外，提供一種根據一實施例之位元串流。該位元串流包含發射聲音至虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之編碼。此外，該位元串流包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之距離衰減之強度的指示。
根據一實施例，一或多個資訊參數可例如包含距離下降分貝因子且任擇地包含參考距離。
此外，提供一種根據一實施例之經組配以用於產生位元串流之編碼器。該編碼器經組配以產生位元串流，使得該位元串流包含發射聲音至虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之編碼。此外，該編碼器經組配以產生位元串流使得該位元串流進一步包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之距離衰減之強度的指示。
根據一實施例，該編碼器可例如經組配以產生位元串流，使得一或多個資訊參數包含距離下降分貝因子及參考距離。
在一實施例中，該編碼器可例如包含一輸入介面，該輸入介面經組配以用於自內容創建者接收關於後期迴響之距離衰減之強度的指示。
根據一實施例，該編碼器可例如包含一判定模組，該判定模組經組配以用於藉由取決於虛擬環境之一或多個屬性之自動處理而判定來自內容創建者的關於後期迴響之距離衰減之強度的指示。
在下文中，描述本發明之實施例所基於的特定實施例及考慮因素。
如上文所提及，在現有技術水平實施中，後期迴響位準係恆定的，亦即，其與源至收聽者距離無關且遵循圖3中所展示之理論行為。當呈現大的迴響空間(例如，在房間之遠端處具有聲源之大教堂)時，此導致不切實際的行為，此係因為在遠離源自臨界距離外部移動至任意較高距離時總體位準將決不會減小。即使在額外距離1 km之後，後期迴響之位準亦將不會衰減(若經模擬房間足夠大)。
然而，自實際房間聲學量測，已發現，擴散聲場之位準在超出實體實境中之臨界距離時並不完全恆定。尤其在不完全擴散之大型房間中，後期迴響的下降幅度較小(距離每次加倍小於6 dB)。根據經驗，取決於壁材料之吸收特性，在超出臨界距離時，距離每次加倍，位準下降1至2 dB。
本發明之實施例藉由將此發現包括在交互式房間模擬實際體驗中來提供具有提高之真實感的呈現。
本文所描述之實施例藉由將源至收聽者距離相依位準改變添加至後期迴響階段來達成此目的，參見圖5及圖6。
圖5示出根據一實施例之迴響場中之位準相依性的新行為。新行為由圖5中之虛線(藍色)描繪，其展示距離每次加倍迴響場中之位準相依性下降約1至2 dB。
在下文中，描述其他特定實施例。
圖6示出根據一實施例之具有距離相依位準調整的具有以下三個階段的房間模擬：直達聲、早期反射及後期迴響處理。
用於源-收聽者相依位準衰減之方法可在圖6中之後期迴響處理之前、在其內部或在其之後實施，如圖6中所描繪。在吾人之較佳實施中，該方法應用於進入後期迴響處理的信號之輸入。
本發明之位準調整方法藉由獲得待呈現項目在笛卡爾座標中之位置(x, y, z)開始： sourceLocation = item-＞position.location；
該方法接著獲得sourceLocation與listenerLocation之間的絕對距離dist (亦在笛卡爾座標中)： dist = (sourceLocation - listenerLocation).abs()；
該方法接著獲取dist之最大值及minimumDistance值。進行此操作以防止當非常接近於聲源時後期迴響的過量位準增加。當前minimumDistance被定義為1公尺。在一較佳實施例中，可在位元串流中將後期迴響minimumDistance自場景編碼器傳信至場景解碼器/呈現器。 dist = max(minimumDistance, dist)；
待應用於迴響輸入信號之distanceGain值係藉由方法calculateDistanceGain基於所呈現項目之dist及refDistance值來計算。refDistance為用於所呈現項目的以公尺為單位之參考距離，其由內容創建者在編碼器輸入格式檔案中定義且作為位元串流參數經傳信。參考距離為此輸入信號之所計算衰減為0 dB所處的距離，如在MPEG-I編碼器輸入格式[2]中所定義。 distanceGain = calculateDistanceGain(dist, item-＞refDistance)； itemGain = item-＞gain * distanceGain；
itemGain接著含有待應用於用於此所呈現項目之迴響輸入信號之增益，且組合由內容創建者針對此呈現項目以項目-＞增益(item-＞gain)在位元串流中定義的任何靜態增益與所計算之distanceGain。 在calculateDistanceGain中執行之方法如下： dbGain = distanceGainDbFactor * log10(refDistance / distance)； distanceGain = pow(10.0, dbGain / 20.0)；
此處，distanceGainDbFactor經計算為 distanceGainDbFactor = distanceGainDropDb / log10(2.0)；
在一實施例中，distanceGaindDropDb係在位元串流中經傳信且通常具有介於1 dB與2 dB之間的值以實施距離每次加倍1 dB至2 dB之間的位準減小。
以上方程式僅為實例：在其他實施例中，可直接計算線性增益使得實現所要衰減(距離每次加倍之distanceGaindDropDb)。
在已應用增益之後的輸入信號經饋送至數位回響器中。在一較佳實施中，數位回響器為回饋延遲網路(FDN)回響器。亦可使用其他合適的回響器實現。
在下文中，描述特定實施例。
在一個可能實施例中，distanceGaindDropDb可由內容創建者藉由用不同值進行實驗、收聽輸出並調整值予以判定，使得根據其經驗及藝術意圖，輸出在虛擬場景之所有地點中在感知上聽起來係合理的。
在一不同實施例中，可藉由執行以下步驟之自動編碼器處理來判定distanceGaindDropDb： -獲得包含幾何形狀及具有至少吸音參數之一或多種聲學材料的虛擬環境 -選擇虛擬環境中不太接近於虛擬環境之邊界中之任一者的源位置 -選擇處於與源位置相隔參考距離的位置處之第一接收者位置 -選擇距源位置具有大於參考距離之距離的至少一個第二接收者位置 -使用例如幾何聲學模型化、基於波之聲學模型化或此等之組合來執行聲學模型化，以獲得第一接收者位置處之第一脈衝回應及第二接收者位置處之第二脈衝回應 -自第一脈衝回應，獲得對應於擴散後期迴響之時間間隔之第一位準值 -自第二脈衝回應，獲得對應於擴散後期迴響之時間間隔之第二位準值 -以分貝為單位執行至第一位準值及第二位準值之線擬合，以獲得線之斜率 -將線之斜率在位元串流中傳信至呈現設備
以上方法適用於呈現虛擬實境(VR)場景，其中存在提供至編碼器設備之虛擬場景，該編碼器設備可判定合適參數(諸如，距離相依之位準衰減)並將其傳信至呈現設備。
在一些實施例中，呈現係在擴增實境(AR)情境中進行，在此狀況下，關於再現房間之資料不可供編碼器設備使用，但僅在呈現時間期間提供使用者收聽空間及其聲學之資訊(諸如尺寸、材料及迴響時間)，例如作為收聽空間描述檔案。
對於大型室內空間，對後期迴響處理實施距離相依之位準衰減係有用的且可增加音訊再現之真實性。
在本發明之一個實施例中，如上文所呈現之聲學模擬之類似方法在呈現設備接收到收聽空間描述檔案參數時由該呈現設備應用。該程序產生distanceGainDropDb參數，其可在收聽者處於由收聽者空間描述檔案界定之空間內時用於呈現迴響且產生源-收聽者相依距離增益衰減。
然而，由於AR處理在呈現器起動時執行，此不能花費過長時間，因此需要在呈現器處執行之程序在計算上比在編碼器處執行之程序更直接。
在本發明之一實施例中，代替使用收聽者空間描述檔案執行聲學模擬，該程序計算收聽者空間描述檔案中所描述之空間體積及/或收聽者空間描述檔案之材料吸收係數的平均值，並執行自收聽空間之體積及其平均吸收係數至用於距離相依位準衰減之合適值的映射。舉例而言，具有低平均吸收率之小空間可能會接收較小的distanceGainDropDb值，此意謂幾乎不存在後期迴響之源-收聽者相依之距離衰減，而具有較大吸收率之較大空間將接收較大的distanceGainDropDb值，此意謂針對此類空間將存在一定程度之距離相依位準衰減。
在下文中，描述一些實施例之態樣。
首先，描述根據一些特定實施例之呈現態樣。
根據一實施例，提供一種呈現器，其經裝備以呈現包括一或多個聲源之虛擬音訊場景且包括用於呈現後期迴響之階段，且後期迴響呈現取決於包括迴響時間(例如RT60)之一或多個迴響控制參數，其特徵在於，取決於源與收聽者之間的距離且取決於距離衰減之強度的量度而呈現後期迴響位準。
在一較佳實施例中，後期迴響距離衰減之強度之此量度指示針對距離之每次加倍以分貝為單位表示的相對衰減增加。
在另一較佳實施例中，應用距離每次加倍1至2 dB之值。
在另一較佳實施例中，自位元串流讀取後期迴響距離衰減之強度的量度。
現在，描述根據一些特定實施例之位元串流態樣。
一種用於藉由呈現器呈現聲學場景之位元串流，其特徵在於對於在該場景之某些部分中的後期迴響之至少一個描述，包括一位元串流欄位，該位元串流欄位指示應用於在該場景之此部分中呈現後期迴響之距離衰減的強度。
在一較佳實施例中，指示迴響距離衰減之強度的此欄位表示針對距離之每次加倍以分貝為單位表示的相對衰減增加。
特定實施例之應用領域可例如為即時聽覺虛擬環境領域或即時虛擬及擴增實境領域。
此處應提及，可個別地使用如之前所論述的所有替代方案或態樣及如以下申請專利範圍中之獨立請求項所定義的所有態樣，亦即，不具有除預期替代方案、物件或獨立請求項外的任何其他替代方案或物件。然而，在其他實施例中，該等替代方案或該等態樣或該等獨立請求項中的二者或多於二者可彼此組合，且在其他實施例中，所有態樣或替代方案及所有獨立請求項可彼此組合。
本發明之經編碼或經處理信號可儲存於數位儲存媒體或非暫時性儲存媒體上，或可在傳輸媒體，諸如無線傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。
取決於某些實施要求，本發明之實施例可在硬體或軟體中實施。實施可使用數位儲存媒體來執行，該媒體例如軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規化電腦系統協作(或能夠與可規劃電腦系統協作)，使得執行各別方法。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，該等電子可讀控制信號能夠與可規劃電腦系統協作，使得執行本文中所描述方法中之一者。
通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品運行於電腦上時，該程式碼操作性地用於執行該等方法中之一者。該程式碼可例如儲存於機器可讀載體上。
其他實施例包含用於執行本文中描述之方法中的一者之電腦程式，該電腦程式儲存於機器可讀載體或非暫時性儲存媒體上。
換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式運行於電腦上時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，該資料載體包含記錄於其上的用於執行本文中所描述之方法中的一者的電腦程式。
因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通訊連接(例如經由網際網路)而傳送。
另一實施例包含處理構件，例如經組配或經調適以執行本文中所描述之方法中的一者的電腦或可規劃邏輯裝置。
另一實施例包含電腦，該電腦具有安裝於其上之用於執行本文中所描述之方法中之一者的電腦程式。
在一些實施例中，可規劃邏輯裝置(例如場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，較佳由任何硬體設備來執行該等方法。
上文所描述之實施例僅僅例示本發明之原理。應理解，對本文中所描述之配置及細節的修改及變化將對本領域熟習此項技術者顯而易見。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉助於本文中實施例之描述及解釋所呈現的特定細節限制。 文獻
[1]  Ginn, K.B., Architectual Acoustics. 1978. Available from: https://www.bksv.com/media/doc/bn1329.pdf. ISBN: 87  87355  24  8.
[2]  ISO/IEC JTC1/SC29/WG6 (MPEG Audio): N0054 - MPEG-I Immersive Audio Encoder Input Format. 30 April 2021
50:解碼器 100:呈現器 110:後期迴響模組 120:聲音場景產生器
在下文中，參考諸圖更詳細地描述本發明之實施例，在該等圖中： 圖1示出根據一實施例之用於呈現虛擬音訊場景之呈現器。 圖2示出根據一實施例之包含解碼器及圖1之實施例之呈現器的設備。 圖3示出封閉房間中之點源之聲音對距離相依性的理論位準。 圖4示出房間中之聲源的標準實施，其具有三個階段，即直達聲、早期反射及後期迴響處理。 圖5示出根據一實施例之迴響場中之位準相依性的新行為。 圖6示出根據一實施例之具有距離相依位準調整的具有以下三個階段的房間模擬：直達聲、早期反射及後期迴響處理。
100:呈現器
110:後期迴響模組
120:聲音場景產生器

Claims (29)

  1. 一種用於取決於發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道來呈現該虛擬音訊場景之呈現器(100)，其中，為了處理該聲源之該一或多個音訊通道，該呈現器(100)包含： 一後期迴響模組(110)，其經組配以用於取決於該聲源之該一或多個音訊通道產生一或多個後期迴響通道，其中該一或多個後期迴響通道表示由該聲源發射至該虛擬音訊場景中之該聲音的一後期迴響部分，以及 一聲音場景產生器(120)，其用於使用該一或多個後期迴響通道產生一或多個音訊輸出通道以用於再現該虛擬音訊場景， 其中該後期迴響模組(110)經組配以取決於該虛擬音訊場景中之該聲源與一收聽者之間的一距離而取決於該聲源之該一或多個音訊通道產生該一或多個後期迴響通道。
  2. 如請求項1之呈現器(100)， 其中該後期迴響模組(110)經組配以取決於該聲源之該一或多個音訊通道而產生該一或多個後期迴響通道，使得該一或多個後期迴響通道之一聲壓位準及/或一振幅及/或一量值及/或一能量取決於該虛擬音訊場景中之該聲源與該收聽者之間的該距離而調適。
  3. 如請求項2之呈現器(100)， 其中該後期迴響模組(110)經組配以呈現該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量，使得與該虛擬音訊場景中之該聲源與該收聽者之間的一較小距離相比，該虛擬音訊場景中之該聲源與該收聽者之間的一較大距離導致該一或多個後期迴響通道之該位準及/或該振幅及/或該能量的一更強衰減。
  4. 如請求項2或3之呈現器(100)， 其中該後期迴響模組(110)經組配以取決於該聲源與該收聽者之間的一第一距離而呈現該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量，使得在該聲源與該收聽者之間的該距離為該第一距離之一半的情況下，與該一或多個音訊通道之一衰減相比，該一或多個後期迴響通道之該聲壓位準減小了介於1 dB與2 dB之間的一值。
  5. 如前述請求項中任一項之呈現器(100)， 其中該呈現器(100)進一步包含一直達聲模組，該直達聲模組經組配以用於取決於該聲源之該一或多個音訊通道產生一或多個直達聲通道，使得與該虛擬音訊場景中之該聲源與該收聽者之間的一較小距離相比，該虛擬音訊場景中之該聲源與該收聽者之間的一較大距離導致該一或多個直達聲通道之該位準及/或該振幅及/或該能量的一更強衰減， 其中該聲音場景產生器(120)經組配以使用該一或多個直達聲通道產生該一或多個音訊輸出通道以用於再現該虛擬音訊場景。
  6. 如請求項5之呈現器(100)， 其中若該虛擬音訊場景中之該聲源與該收聽者之間的該距離為該較大距離而非該較小距離，則該後期迴響模組(110)經組配以呈現該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量，使得該較大距離導致該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量的一衰減，與由該直達聲模組回應於該較大距離而傳導的該一或多個直達聲通道之該位準及/或該振幅及/或該能量的該衰減相比，係相對較小的。
  7. 如請求項6之呈現器(100)， 其中，相比於在該虛擬音訊場景中之該聲源與該收聽者之間的一距離係一當前距離的一半時，在該虛擬音訊場景中之該聲源與該收聽者之間的該距離係該當前距離的情況下， 該後期直達聲模組經組配以呈現該一或多個直達聲通道之該聲壓位準及/或該振幅及/或該量值及/或該能量，使得該一或多個直達聲通道之該聲壓位準減小了介於5 dB與7 dB之間的一值，且 該後期迴響模組(110)經組配以呈現該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量，使得該一或多個後期迴響通道之該聲壓位準減小了介於1 dB與2 dB之間的一值。
  8. 如前述請求項中任一項之呈現器(100)，其進一步附屬於請求項2， 其中該呈現器(100)經組配以接收包含關於後期迴響之一距離衰減之一強度的一指示之一或多個資訊參數，且 其中該後期迴響模組(110)經組配以取決於該虛擬音訊場景中之該聲源與該收聽者之間的該距離及取決於關於後期迴響之該距離衰減之該強度的該指示而調適該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量。
  9. 如請求項8之呈現器(100)， 其中一位元串流包含該一或多個資訊參數，且 其中該呈現器(100)經組配以接收該位元串流且經組配以自該位元串流獲得該一或多個資訊參數；或該呈現器(100)經組配以自另一單元接收該一或多個資訊參數，該另一單元已接收該位元串流且已自該位元串流獲得該一或多個資訊參數。
  10. 如請求項8或9之呈現器(100)， 其中該一或多個資訊參數包含一距離下降分貝因子及一參考距離，且 其中該後期迴響模組(110)經組配以取決於該虛擬音訊場景中之該聲源與該收聽者之間的該距離，取決於該距離下降分貝因子及取決於該參考距離而調適該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量。
  11. 如請求項10之呈現器(100)， 其中該後期迴響模組(110)經組配以取決於一增益dbGain而調適該一或多個後期迴響通道之該聲壓位準及/或該振幅及/或該量值及/或該能量，該增益dbGain取決於： distanceGainDbFactor * log10(refDistance / distance)；及 distanceGainDbFactor = distanceGainDropDb / log10(2.0)； 其中distanceGainDropDb指示該距離下降分貝因子， 其中refDistance指示該參考距離；且 其中distance指示該虛擬音訊場景中之該聲源與該收聽者之間的該距離。
  12. 如請求項10或11之呈現器(100)， 其中該參考距離為根據MPEG-I 6DoF音訊編碼器輸入格式(EIF)用於一音訊元件的一參考距離，其中該音訊元件係該聲源。
  13. 如前述請求項中任一項之呈現器(100)， 其中該後期迴響模組(110)經組配以使用一回饋延遲網路迴響器產生該一或多個後期迴響通道。
  14. 如前述請求項中任一項之呈現器(100)， 其中該呈現器(100)進一步包含一早期反射模組，該早期反射模組經組配以用於取決於該聲源之該一或多個音訊通道產生一或多個早期反射通道， 其中該聲音場景產生器(120)經組配以使用該一或多早期反射通道產生該一或多個音訊輸出通道以用於再現該虛擬音訊場景。
  15. 如前述請求項中任一項之呈現器(100)， 其中該呈現器(100)經組配以取決於該聲源之一位置及取決於一收聽者之一位置而判定該虛擬音訊場景中之該聲源與該收聽者之間的該距離， 其中該聲源之該位置及該收聽者之該位置被界定為三維，及/或 該聲源之該位置及該收聽者之該位置被界定為二維，及/或 該聲源之該位置被界定為三維，且該收聽者位置及定向被界定為六個自由度，使得該收聽者之該位置被界定為三維，且該收聽者之一頭部之定向係使用三個旋轉角界定。
  16. 如前述請求項中任一項之呈現器(100)， 其中該一或多個聲源之一聲源的該一或多個音訊通道係在一立體混響域中表示，且其中該聲音場景產生器(120)經組配以取決於與該聲源之該一或多個音訊通道中之一者相關聯的多個球諧函數中之一者之一屬性而再現該虛擬音訊場景，或 其中該聲源之該一或多個音訊通道係在不同於該立體混響域之一不同域中表示，其中該聲源之該一或多個音訊通道係自該聲源之在該立體混響域中表示的一或多個其他通道導出，其中該一或多個音訊通道中之各音訊通道係取決於與該一或多個其他通道中之一者相關聯的多個球諧函數中之一者之一屬性自該其他通道導出。
  17. 如前述請求項中任一項之呈現器(100)， 其中該呈現器(100)包含一雙耳化器，該雙耳化器經組配以取決於該一或多個後期迴響通道而產生二個音訊輸出通道以用於再現該虛擬音訊場景。
  18. 如前述請求項中任一項之呈現器(100)， 其中一位元串流包含該一或多個聲源中之各聲源的該一或多個音訊通道， 其中該呈現器(100)經組配以接收該位元串流且經組配以自該位元串流獲得該一或多個聲源中之各聲源的該一或多個音訊通道；或該呈現器(100)經組配以自另一單元接收該一或多個聲源中之各聲源的該一或多個音訊通道，該另一單元已接收該位元串流且已自該位元串流獲得該一或多個聲源中之各聲源的該一或多個音訊通道。
  19. 一種設備，其包含， 一解碼器(50)，其經組配以用於解碼一位元串流以獲得一或多個聲源中之各聲源的一或多個音訊通道，及 如前述請求項中任一項之呈現器(100)，其用於取決於該一或多個聲源中之各聲源的該一或多個音訊通道而呈現一虛擬音訊場景。
  20. 如請求項19之設備， 其中該呈現器(100)係如請求項9之呈現器(100)， 其中該位元串流包含該一或多個資訊參數， 其中該解碼器(50)經組配以自該位元串流獲得該一或多個資訊參數，且 其中該呈現器(100)經組配以自該解碼器(50)接收該一或多個資訊參數。
  21. 一種位元串流，其包含， 發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之一編碼，及 一或多個資料欄位，其包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之一距離衰減之一強度的一指示。
  22. 如請求項21之位元串流， 其中該一或多個資訊參數包含一距離下降分貝因子，且任擇地包含一參考距離。
  23. 一種經組配以用於產生一位元串流之編碼器， 其中該編碼器經組配以產生該位元串流，使得該位元串流包含發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之一編碼，且 其中該編碼器經組配以產生該位元串流使得該位元串流進一步包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之一距離衰減之一強度的一指示。
  24. 如請求項23之編碼器， 其中該編碼器經組配以產生該位元串流，使得該一或多個資訊參數包含一距離下降分貝因子及一參考距離。
  25. 如請求項23或24之編碼器， 其中該編碼器包含一輸入介面，該輸入介面經組配以用於自一內容創建者接收關於後期迴響之該距離衰減之該強度的該指示。
  26. 如請求項23或24之編碼器， 其中該編碼器包含一判定模組，該判定模組經組配以用於藉由取決於一虛擬環境之一或多個屬性之一自動處理而判定來自一內容創建者的關於後期迴響之該距離衰減之該強度的該指示。
  27. 一種用於取決於發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道來呈現該虛擬音訊場景之方法，其中，為了處理該聲源之該一或多個音訊通道，該方法包含： 取決於該聲源之該一或多個音訊通道產生一或多個後期迴響通道，其中該一或多個後期迴響通道表示由該聲源發射至該虛擬音訊場景中之該聲音的一後期迴響部分，以及 使用該一或多個後期迴響通道產生一或多個音訊輸出通道以用於再現該虛擬音訊場景， 其中取決於該聲源之該一或多個音訊通道產生該一或多個後期迴響通道係取決於該虛擬音訊場景中之物件源與一收聽者之間的一距離來進行。
  28. 一種用於產生一位元串流之方法，其包含 產生該位元串流使得該位元串流包含發射聲音至一虛擬音訊場景中之一或多個聲源中之各聲源的一或多個音訊通道之一編碼，以及 產生該位元串流使得該位元串流進一步包含一或多個資料欄位，該一或多個資料欄位包含一或多個資訊參數，該一或多個資訊參數包含關於後期迴響之一距離衰減之一強度的一指示。
  29. 一種電腦程式，其用於在於一電腦或信號處理器被執行上時實施如請求項27或28之方法。
TW111142557A 2021-11-09 2022-11-08 後期迴響距離衰減技術 TW202324378A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21207191.4 2021-11-09
EP21207191 2021-11-09

Publications (1)

Publication Number Publication Date
TW202324378A true TW202324378A (zh) 2023-06-16

Family

ID=78709214

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111142557A TW202324378A (zh) 2021-11-09 2022-11-08 後期迴響距離衰減技術

Country Status (4)

Country Link
AU (1) AU2022387785A1 (zh)
CA (1) CA3237716A1 (zh)
TW (1) TW202324378A (zh)
WO (1) WO2023083788A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188769B1 (en) * 1998-11-13 2001-02-13 Creative Technology Ltd. Environmental reverberation processor
EP3776543B1 (en) * 2018-04-11 2022-08-31 Dolby International AB 6dof audio rendering
US11128976B2 (en) * 2018-10-02 2021-09-21 Qualcomm Incorporated Representing occlusion when rendering for computer-mediated reality systems
KR20200095857A (ko) * 2019-02-01 2020-08-11 박상규 입체음향의 공간과 거리감 통제를 위한 공간 임펄스 응답 제어 장치
KR20220125225A (ko) * 2020-01-10 2022-09-14 소니그룹주식회사 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
GB2593170A (en) * 2020-03-16 2021-09-22 Nokia Technologies Oy Rendering reverberation

Also Published As

Publication number Publication date
CA3237716A1 (en) 2023-05-19
AU2022387785A1 (en) 2024-05-23
WO2023083788A1 (en) 2023-05-19

Similar Documents

Publication Publication Date Title
JP7009664B2 (ja) オーディオ信号処理システム及び方法
KR101676634B1 (ko) 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링
US9167346B2 (en) Object-oriented audio streaming system
CN109891503B (zh) 声学场景回放方法和装置
JP5956994B2 (ja) 拡散音の空間的オーディオの符号化及び再生
Jot et al. Rendering spatial sound for interoperable experiences in the audio metaverse
WO2014091375A1 (en) Reverberation processing in an audio signal
WO2019078035A1 (ja) 信号処理装置および方法、並びにプログラム
JP2021521681A (ja) オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム
GB2575511A (en) Spatial audio Augmentation
JP7371968B2 (ja) メタデータを利用するオーディオ信号処理方法及び装置
WO2022144493A1 (en) A method and apparatus for fusion of virtual scene description and listener space description
KR20220156809A (ko) 앵커링 정보를 이용하여 공간적으로 확장된 음원을 재생하는 장치 및 방법 또는 공간적으로 확장된 음원에 대한 디스크립션을 생성하기 위한 장치 및 방법
TW202332290A (zh) 使用空間擴展音源之呈現器、解碼器、編碼器、方法及位元串流
TW202324378A (zh) 後期迴響距離衰減技術
KR20210007122A (ko) 오디오 신호 처리 방법 및 장치
KR20190060464A (ko) 오디오 신호 처리 방법 및 장치
US11330391B2 (en) Reverberation technique for 3D audio objects
CN114128312B (zh) 用于低频效果的音频渲染
GB2614713A (en) Adjustment of reverberator based on input diffuse-to-direct ratio
AU2022384608A1 (en) Renderers, decoders, encoders, methods and bitstreams using spatially extended sound sources
KR20210004250A (ko) 오디오 신호 처리 방법 및 장치
WO2023161554A1 (en) Reverberation level compensation
WO2023131744A1 (en) Conditional disabling of a reverberator
TW202329706A (zh) 使用早期反射型樣之用於聽覺化之概念