TW201325268A - 虛擬實境音源定位裝置 - Google Patents

虛擬實境音源定位裝置 Download PDF

Info

Publication number
TW201325268A
TW201325268A TW100144247A TW100144247A TW201325268A TW 201325268 A TW201325268 A TW 201325268A TW 100144247 A TW100144247 A TW 100144247A TW 100144247 A TW100144247 A TW 100144247A TW 201325268 A TW201325268 A TW 201325268A
Authority
TW
Taiwan
Prior art keywords
channel
time
sound source
audio
virtual reality
Prior art date
Application number
TW100144247A
Other languages
English (en)
Inventor
bao-ji Zhang
guo-lun Huang
Dai-Ming Zhang
Original Assignee
Univ Nat Central
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Central filed Critical Univ Nat Central
Priority to TW100144247A priority Critical patent/TW201325268A/zh
Priority to US13/352,543 priority patent/US20130142338A1/en
Publication of TW201325268A publication Critical patent/TW201325268A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

一種虛擬實境音源定位裝置，係包括一空間參數產生器、一時/頻訊號分析器、一動態音源之都卜勒效應(Doppler Effect)調變器、一多聲道配置之訊號合成器、一時/頻訊號合成器以及一多音訊物件合成器(Multiple Object Audio Synthesis)所構成。本發明係利用空間資訊與物件之原始音訊合成3D虛擬實境音效之單音源分析/合成多聲道系統，透過空間參數抽取合成方式，使得僅需原始物件音訊與空間位置資訊即可達成以多聲道呈現空間音場效果，藉此可達到在傳輸上以較小之位元流完成多聲道回放系統，並在加入聲源移動產生都卜勒效應之考量下，更可忠實地呈現實際生活中聲源移動現象。適用於網路低位元率傳輸應用。

Description

虛擬實境音源定位裝置
本發明係有關於一種虛擬實境音源定位裝置，尤指涉及一種利用空間資訊與物件之原始音訊合成3D虛擬實境音效，特別係指適用於網路低位元率傳輸應用之單音源分析/合成多聲道系統。
按以往多聲道音訊編碼系統之架構，傳統多聲道播放必須將每個聲道訊號儲存傳送以呈現空間音場效果，惟隨著聲道數量增加，網路傳輸負擔也與之倍增，且在實際生活中，當隨著音訊在空間移動，依據音源與聽者相對位置之變化會產生頻率上之改變，此現象稱為都卜勒效應(Doppler Effect)，舊有多聲道技術大都以實際多聲道錄製/回放，而現有之多聲道技術則係事先在編碼端就編輯好空間環繞效果，或係由音效擴大機添加模擬迴響上去，讓使用者有環繞音場之感受；然而，這些效果並不能完全代表空間音場之效果，無法應用在互動遊戲上。
舊有之產生虛擬聲源位置技術上，如民國87年韋志修等人提出之「多聲道音效模擬裝置及方法」、以及民國93年林洽民提出之「多聲道音效模擬系統」等多聲道合成架構，皆使用頭部轉移函數(Head Related Transfer Function,HRTF)產生虛擬音源，惟其為了產生音源移動效果，必需不斷地進行音訊與頭部轉移函數之間迴旋積分運算，導致記憶體使用量大，不僅耗費電腦資源，亦耗費處理時間。故，一般習用者係無法符合使用者於實際使用時之所需。
本發明之主要目的係在於，克服習知技藝所遭遇之上述問題並提供一種適用於網路低位元率傳輸應用之虛擬實境音源定位裝置。
本發明之次要目的係在於，提供一種利用空間資訊與物件之原始音訊合成3D虛擬實境音效之單音源分析/合成多聲道系統。
本發明之另一目的係在於，提供一種只需從伺服端傳送極少位元率之空間參數即可產生多聲道音訊環場效果之裝置。
為達以上之目的，本發明係一種虛擬實境音源定位裝置，係包括一用以將音訊物件於空間中音源位置與聽者距離資訊轉換成空間參數之空間參數產生器；一用以將音訊物件分析成數個子頻帶之時/頻訊號之時/頻訊號分析器；一與該時/頻訊號分析器連接，用以根據音訊物件移動位置、距離與速度調整該子頻帶上之時/頻訊號之動態音源之都卜勒效應(Doppler Effect)調變器；一分別與該空間參數產生器及該動態音源之都卜勒效應調變器連接，用以經由音訊物件與該空間參數合成出多聲道之時/頻訊號之多聲道配置之訊號合成器；一與該多聲道配置之訊號合成器連接，用以將多聲道之時/頻訊號合成為多聲道之時域訊號之時/頻訊號合成器；以及一與該時/頻訊號合成器連接，用以將數個多聲道之音訊物件合成一組多聲道之輸出訊號之多音訊物件合成器(Multiple Object Audio Synthesis)所構成。
請參閱『第1圖及第2圖』所示，係分別為本發明之虛擬實境音源定位裝置架構示意圖、及本發明之網路服務應用架構示意圖。如圖所示：本發明係一種虛擬實境音源定位裝置，係至少包括一空間參數產生器11、一時/頻訊號分析器12、一動態音源之都卜勒效應(Doppler Effect)調變器13、一多聲道配置之訊號合成器14、一時/頻訊號合成器15以及一多音訊物件合成器(Multiple Object Audio Synthesis)16所構成。此利用空間資訊與物件之原始音訊合成3D虛擬實境音效之單音源分析/合成多聲道系統，適用於網路低位元率傳輸應用。
上述所提之空間參數產生器11係用以將音訊物件於空間中音源位置與聽者距離資訊轉換成空間參數。例如：將音源位置與聽者之間距離、角度轉換成聲道間能量差與聲道間時間差，其中，該聲道間能量差係以兩聲道揚聲器合成音源所產生之能量差；而該聲道間時間差係以兩聲道揚聲器合成音源所產生之時間差。
該時/頻訊號分析器12係可為短時傅立葉轉換(Short-time Fourier transform,STFT)、或指數調變正交鏡像對稱分析濾波器(Complex-exponential Modulated Quadrature Mirror Filter或Complex-exponential Modulated QMF)，其係用以將音訊物件分析成數個子頻帶之時/頻訊號。其中，該子頻帶係依據人耳聽覺系統對頻率之解析度，以等效矩形頻寬分類法(Equivalent Rectangular Bandwidth scale,ERB scale)構築之混合式分析濾波器排所轉換。
該動態音源之都卜勒效應調變器13係與該時/頻訊號分析器12連接，用以根據音訊物件移動位置、距離與速度調整該子頻帶上之時/頻訊號。
該多聲道配置之訊號合成器14係分別與該空間參數產生器11及該動態音源之都卜勒效應調變器13連接，用以經由音訊物件與該空間參數合成出多聲道之時/頻訊號。例如：藉由音訊物件以及該聲道間能量差與該聲道間時間差之資訊，並依據多聲道揚聲器配置狀況進而產生該多聲道之時/頻訊號。
該時/頻訊號合成器15係與該多聲道配置之訊號合成器14連接，用以將多聲道之時/頻訊號合成為多聲道之時域訊號。
該多音訊物件合成器16係與該時/頻訊號合成器15連接，用以將數個多聲道之音訊物件合成一組多聲道之輸出訊號。
當運用時，由客戶端(Client)提供伺服端(Server)本地音訊播放裝置數量，伺服端依據系統運作，例如：線上遊戲玩家移動、背景或互動音訊等，傳送空間參數與音訊物件資訊給予客戶端。其中音訊物件為單聲道之音訊，而該空間參數為聲道間能量差、時間差以及使用者與物件間或使用者與其他使用者間之相對位置。
該聲道間能量差可以下列方程式表示：
該聲道間時間差可以下列方程式表示：
d 1, b =q/c
d 2, b =(2r sinθ0-q)/c
上述都卜勒效應調變器對動態音源之子頻帶處理可以下列方程式表示：
上述多聲道配置之訊號合成器以四聲道為例，可以下列方程式表示：
其中1為揚聲器配置之編號。
本發明於一較佳實施例中之網路服務應用架構，如第2圖所示。在客戶端已具環境所有物件單聲道音訊下並告知伺服端揚聲器配置數量，伺服端依據虛擬場景音訊物件位置產生多聲道空間參數(例如：聲道間能量差、聲道間時間差、音訊物件編號以及音源位置與距離)並傳送至客戶端，當客戶端接收此空間參數後首先讀取客戶端之音訊物件並以時/頻訊號分析器分析成數個子頻帶訊號，接著分析音訊物件位置與移動速度進行頻率上之調變，以符合實際場景上聲源移動所產生之都卜勒效應，之後將此調變後之單音源音訊與來自伺服端之空間參數經由多聲道配置之訊號合成器，可即時地於客戶端產生多音源-多聲道之虛擬音源移動效果，藉此可讓使用者經由多聲道揚聲器聆聽音訊物件在空間中移動之實際感受。因此，本發明只需從伺服端傳送極少位元率之空間參數即可產生多聲道音訊環場效果，藉此帶給聽者環場音效之感受。
由上述可知，本裝置係將每個單聲道音訊表示為物件作為輸入訊號，即為當有n個物件發出聲音便會有n個輸入訊號，每個音訊物件各自經由時/頻訊號分析器轉換成時/頻訊號，在此域中可依據空間參數進行都卜勒效應之頻率訊號調整，以符合現實生活音訊移動現象，而輸出訊號可根據終端揚聲器數量多寡，以單聲道音訊配合空間參數合成多聲道空間音場效果，進而達到大幅降低網路傳送之負擔。
綜上所述，本發明係一種虛擬實境音源定位裝置，可有效改善習用之種種缺點，係透過空間參數抽取合成方式，使得僅需原始物件音訊與空間位置資訊即可達成以多聲道呈現空間音場效果，藉此可達到在傳輸上以較小之位元流完成多聲道回放系統，並在加入聲源移動產生都卜勒效應之考量下，更可忠實地呈現實際生活中聲源移動現象，進而使本發明之產生能更進步、更實用、更符合使用者之所須，確已符合發明專利申請之要件，爰依法提出專利申請。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。
11．．．空間參數產生器
12．．．時/頻訊號分析器
13．．．動態音源之都卜勒效應調變器
14．．．多聲道配置之訊號合成器
15．．．時/頻訊號合成器
16．．．多音訊物件合成器
第1圖，係本發明之虛擬實境音源定位裝置架構示意圖。
第2圖，係本發明之網路服務應用架構示意圖。
11．．．空間參數產生器
12．．．時/頻訊號分析器
13．．．動態音源之都卜勒效應調變器
14．．．多聲道配置之訊號合成器
15．．．時/頻訊號合成器
16．．．多音訊物件合成器

Claims (7)

  1. 一種虛擬實境音源定位裝置，係包括：一空間參數產生器，係用以將音訊物件於空間中音源位置與聽者距離資訊轉換成空間參數；一時/頻訊號分析器，係用以將音訊物件分析成數個子頻帶之時/頻訊號；一動態音源之都卜勒效應(Doppler Effect)調變器，係與該時/頻訊號分析器連接，用以根據音訊物件移動位置、距離與速度調整該子頻帶上之時/頻訊號；一多聲道配置之訊號合成器，係分別與該空間參數產生器及該動態音源之都卜勒效應調變器連接，用以經由音訊物件與該空間參數合成出多聲道之時/頻訊號；一時/頻訊號合成器，係與該多聲道配置之訊號合成器連接，用以將多聲道之時/頻訊號合成為多聲道之時域訊號；以及一多音訊物件合成器(Multiple Object Audio Synthesis)，係與該時/頻訊號合成器連接，用以將數個多聲道之音訊物件合成一組多聲道之輸出訊號。
  2. 依申請專利範圍第1項所述之虛擬實境音源定位裝置，其中，該時/頻訊號分析器係可為短時傅立葉轉換(Short-time Fourier transform,STFT)、或指數調變正交鏡像對稱分析濾波器(Complex-exponential Modulated Quadrature Mirror Filter或Complex-exponential Modulated QMF)。
  3. 依申請專利範圍第1項所述之虛擬實境音源定位裝置，其中，該空間參數產生器係將音源位置與聽者之間距離、角度轉換成聲道間能量差與聲道間時間差。
  4. 依申請專利範圍第3項所述之虛擬實境音源定位裝置，其中，該聲道間能量差係以兩聲道揚聲器合成音源所產生之能量差。
  5. 依申請專利範圍第3項所述之虛擬實境音源定位裝置，其中，該聲道間時間差係以兩聲道揚聲器合成音源所產生之時間差。
  6. 依申請專利範圍第1項所述之虛擬實境音源定位裝置，其中，該子頻帶係依據人耳聽覺系統對頻率之解析度，以等效矩形頻寬分類法(Equivalent Rectangular Bandwidth scale,ERB scale)構築之混合式分析濾波器排所轉換。
  7. 依申請專利範圍第1項所述之虛擬實境音源定位裝置，其中，該多聲道配置之訊號合成器係藉由音訊物件以及聲道間能量差與聲道間時間差之資訊，並依據多聲道揚聲器配置狀況進而產生該多聲道之時/頻訊號。
TW100144247A 2011-12-01 2011-12-01 虛擬實境音源定位裝置 TW201325268A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100144247A TW201325268A (zh) 2011-12-01 2011-12-01 虛擬實境音源定位裝置
US13/352,543 US20130142338A1 (en) 2011-12-01 2012-01-18 Virtual Reality Sound Source Localization Apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100144247A TW201325268A (zh) 2011-12-01 2011-12-01 虛擬實境音源定位裝置

Publications (1)

Publication Number Publication Date
TW201325268A true TW201325268A (zh) 2013-06-16

Family

ID=48524015

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100144247A TW201325268A (zh) 2011-12-01 2011-12-01 虛擬實境音源定位裝置

Country Status (2)

Country Link
US (1) US20130142338A1 (zh)
TW (1) TW201325268A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101415944B1 (ko) * 2013-12-30 2014-07-04 (주) 골프존 기상 상태에 대한 입체 음향을 제공하는 가상 골프 시뮬레이션 장치 및 방법
CN108076415B (zh) * 2016-11-16 2020-06-30 南京大学 一种多普勒音效的实时实现方法
US9942687B1 (en) 2017-03-30 2018-04-10 Microsoft Technology Licensing, Llc System for localizing channel-based audio from non-spatial-aware applications into 3D mixed or virtual reality space
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
KR102601194B1 (ko) * 2021-09-29 2023-11-13 한국전자통신연구원 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712061B2 (en) * 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US9313599B2 (en) * 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback

Also Published As

Publication number Publication date
US20130142338A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
US10820134B2 (en) Near-field binaural rendering
US10674262B2 (en) Merging audio signals with spatial metadata
CN112262585B (zh) 环境立体声深度提取
KR102516625B1 (ko) 몰입형 오디오를 캡처하고, 인코딩하고, 분산하고, 디코딩하기 위한 시스템 및 방법
CN101263741B (zh) 产生和处理表示hrtf的参数的方法和设备
KR101120909B1 (ko) 멀티 채널 파라미터 변환 장치, 방법 및 컴퓨터로 판독가능한 매체
TW200845801A (en) Method and apparatus for conversion between multi-channel audio formats
BR112020000775A2 (pt) aparelho para gerar uma descrição do campo sonoro, programa de computador, descrição do campo sonoro aprimorada e seu método de geração
BR112020000779A2 (pt) aparelho para gerar uma descrição de campo sonoro aprimorada, aparelho para gerar uma descrição de campo sonoro modificada a partir de uma descrição de campo sonoro e metadados com relação às informações espaciais da descrição de campo sonoro, método para gerar uma descrição de campo sonoro aprimorada, método para gerar uma descrição de campo sonoro modificada a partir de uma descrição de campo sonoro e metadados com relação às informações espaciais da descrição de campo sonoro, programa de computador e descrição de campo sonoro aprimorada.
BR112020000759A2 (pt) aparelho para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, método para gerar uma descrição aprimorada de campo sonoro, método para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, programa de computador, descrição aprimorada de campo sonoro
TW201325268A (zh) 虛擬實境音源定位裝置
Su et al. Inras: Implicit neural representation for audio scenes
US11388540B2 (en) Method for acoustically rendering the size of a sound source
CN109036456B (zh) 用于立体声的源分量环境分量提取方法
Zea Binaural In-Ear Monitoring of acoustic instruments in live music performance
US11304021B2 (en) Deferred audio rendering
Munoz Space Time Exploration of Musical Instruments
Anemüller et al. Binaural Rendering of Heterogeneous Sound Sources with Extent
Yang et al. The Three-dimensional Panning Method for Reconstructing Sound Field with the Listening Angle
Olgun et al. Sound field interpolation via sparse plane wave decomposition for 6DoF immersive audio
Zea A framework for spatial rendering of amplified musical instruments
Zhao et al. A simplified model for generating 3D realistic sound in the multimedia and virtual reality systems