TWI731326B - 高保真度環繞聲格式之音效處理系統及音效處理方法 - Google Patents

高保真度環繞聲格式之音效處理系統及音效處理方法 Download PDF

Info

Publication number
TWI731326B
TWI731326B TW108114462A TW108114462A TWI731326B TW I731326 B TWI731326 B TW I731326B TW 108114462 A TW108114462 A TW 108114462A TW 108114462 A TW108114462 A TW 108114462A TW I731326 B TWI731326 B TW I731326B
Authority
TW
Taiwan
Prior art keywords
data
channel
audio data
specific object
transfer function
Prior art date
Application number
TW108114462A
Other languages
English (en)
Other versions
TW202036538A (zh
Inventor
連于穎
曾恕宏
蕭堯
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202036538A publication Critical patent/TW202036538A/zh
Application granted granted Critical
Publication of TWI731326B publication Critical patent/TWI731326B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

一種高保真度環繞聲格式之音效處理方法，包括：取得一特定物體對應至一第一位置的一第一音訊資料；於一特定物體移動至一第二位置時，依據第一位置與第二位置計算一特定物體之一移動資訊；從一空間轉移資料庫中搜尋出對應移動資訊的一空間轉移函數；以及將空間轉移函數套用至第一音訊資料，以使特定物體產生對應第二位置的一輸出音效。

Description

高保真度環繞聲格式之音效處理系統及音效處理方法
本發明係有關於處理系統，特別是有關於一種高保真度環繞聲(Ambisonic)格式之音效處理系統及音效處理方法。
目前現在虛擬實境中的音效體驗，是以物件導向式音效(object based audio)的形式來達到六自由度的體驗。其中六自由度，即沿x、y、z三個直角坐標軸方向的移動自由度和這三個坐標軸的轉動自由度。此方式是將各聲源配置於空間，並實時渲染，多用於電影以及遊戲的後製，此類音效編制需有聲源的元資料(metadata)，聲源的位置、大小、速度等屬性，以及所在環境資訊，如混響、回聲、衰減等型態，需要大量的資訊及運算，並透過後製的方式調和。然而，一般使用者在實際環境錄製影片時，是將環境與目標物等聲音全部收錄，無法獨立環境中無上限的物件聲源資訊，故物件導向式音效的方式難以執行。
因此，如何讓一般使用者應用有限的資源錄製實際環境錄製影片，以製作虛擬實境的影片，並且可進一步在虛擬實境中的影片中，模擬行走時，接近或遠離虛擬物件的聲音來源，以更真實沉浸於錄製者所收錄的環境中，已成為本領域待解決的問題之一。
本發明實施例係提供一種音效處理系統及音效處理方法，讓使用者除了可以轉動頭部來感受聲音方位外，還可進一步在虛擬實境中的影片中，模擬行走時，接近或遠離虛擬物件的聲音來源，以更真實沉浸於錄製者所收錄的環境中。換言之，本發明實施例的音效處理系統及音效處理方法，達到在回放虛擬實境影片時，隨著使用者移動，即可對應使用者移動以調整聲音，讓使用者在虛擬實境中自由行走並能聽到自動伴隨行走方向、距離及頭部轉動而調整的聲音，且不須在錄製虛擬實境影片時記錄影片中每個物件的資訊，大符降低一般使用者在實際環境錄製虛擬影像影片的門檻。
本發明實施例係提供一種音效處理系統。音效處理系統包括一儲存裝置及一處理器。儲存裝置用以儲存一空間轉移資料庫。處理器用以取得一特定物體對應至一第一位置的一第一音訊資料，並於一特定物體移動至一第二位置時，依據第一位置與第二位置計算特定物體之一移動資訊，從空間轉移資料庫中搜尋出對應移動資訊的一空間轉移函數，並將空間轉移函數套用至第一音訊資 料，以使特定物體產生對應第二位置的一輸出音效。
本發明實施例更提供一種高保真度環繞聲格式之音效處理方法，包括：取得一特定物體對應至一第一位置的一第一音訊資料；於一特定物體移動至一第二位置時，依據第一位置與第二位置計算特定物體之一移動資訊；從一空間轉移資料庫中搜尋出對應移動資訊的一空間轉移函數；以及將空間轉移函數套用至第一音訊資料，以使特定物體產生對應第二位置的一輸出音效。
100:音效處理系統
16:麥克風陣列
LK:通訊連結
10:電子裝置
12:儲存裝置
DB:空間轉移資料庫
14:處理器
A、B、A’、C:位置
(XA,YA,ZA,WA)、(XB,YB,ZB,WB)、(XC,YC,ZC,WC):音訊資料
(△RXab,△RYab,△RZab,△RWab)、(△RXaa’,△RYaa’,△RZaa’,△RWaa’)、(△RXac,△RYac,△RZac,△RWac):空間轉移函數
300:音效處理方法
310~340:步驟
410、420:特定空間
R:方向
第1圖為根據本發明之一實施例繪示的一種音效處理系統之示意圖。
第2圖為根據本發明之一實施例繪示的一種空間轉移函數的產生方法之示意圖。
第3圖為根據本發明之一實施例繪示的一種音效處理方法之流程圖。
第4A~4B圖為根據本發明之一實施例繪示的一種音效處理方法之示意圖。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請參照第1圖，第1圖為根據本發明之一實施例繪示的一種音效處理系統100之示意圖。於一實施例中，音效處理系統100可以應用於一虛擬實境系統中的音效體驗部分。在一實施例中，音效處理系統100包含一儲存裝置12、一麥克風陣列16及一處理器14。於一實施例中，儲存裝置12及處理器14包含於一電子裝置10中。於一實施例中，麥克風陣列16可整合於電子裝置中。電子裝置10可以是一電腦、一手持裝置、一伺服器或其它包含運算功能元件的裝置。
於一實施例中，電子裝置10與麥克風陣列16之間建立一通訊連結LK。麥克風陣列16可將其收音傳送到電子裝置10。
於一實施例中，儲存裝置12可由記憶體、硬碟、隨身碟記憶卡等來實施。儲存裝置12用以儲存一空間轉移資料庫DB。
於一實施例中，一般使用者所錄製的環繞音效影片，可基於高保真度環繞聲(Ambisonic)格式，此方式又稱作高保真立體聲像複製。此方式是在錄製的當下，將環境聲響渲染於預設好的球面上，包含了使用者上下、左右、前後的軸向上的能量分布。此 方法已提前將聲音資訊渲染至固定半徑的球面上。透過此種方式，使用者可以體驗到三自由度(x、y、z三個直角坐標軸方向的轉動自由度)的變異，即轉動頭部所產生的聲音方位改變。然而，此方式並未有距離變異的資訊，故無法令使用者感受到六自由度的變化。故本案以下提出可以解決此問題的方法且可應用於虛擬影片所使用的音效場景中。
於一實施例中，麥克風陣列16中包含多個用以收音的麥克風。於一實施例中，虛擬實境影片中所使用的聲音較為主流的格式被稱為高保真度環繞聲(Ambisonic)格式，這種格式是一種球形全方向式的環繞聲技術，大多是使用四向拾取的聲場式麥克風(Soundfield microphone)，以至少4組獨立的錄音軌道來記錄虛擬實境影片中的音訊，此4組獨立的錄音軌道分別記錄X軸通道資料(通常以符號X代表之)、Y軸通道資料(通常以符號Y代表之)、Z軸通道資料(通常以符號Z代表之)及全向性通道資料(通常以符號W代表之)。於一實施例中，麥克風陣列16可用以於多個位置錄製音訊資料，例如麥克風陣列16於一第一位置錄製一第一音訊資料。
於一實施例中，處理器14用以執行各種運算，可由積體電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific intcgrated circuit，ASIC)或一邏輯電路來實施。
於一實施例中，音效處理系統100可應用於一虛擬實境系統中。音效處理系統100可以對應使用者在每個時點的位置以輸出音效；例如，當使用者於虛擬實境中慢慢接近一音源，則此 音源隨著使用者的接近而被調整得越來越大聲，相反地，當使用者於虛擬實境中慢慢遠離一音源，則此音源隨著使用者的遠離而被調整得越來越小聲。
於一實施例中，虛擬實境系統可應用已知的技術定位使用者的位置，故此處不贅述之。於一實施例中，使用者通常在觀看虛擬實境影片時，會配戴的頭戴式顯示器，此頭戴式顯示器中可包含重力感測器(g-sensor)，用以偵測使用者頭部在X軸、Y軸及Z軸的轉動資訊，並將此些頭戴式顯示器所測得的資訊傳給電子裝置10。藉此，音效處理系統100之電子裝置10中的處理器14可依據使用者的移動資訊(如應用已知的技術定位以得知移動距離)及/或頭部轉動資訊(如應用頭戴式顯示器中的重力感測器以取得資訊)對應輸出音效，讓使用者除了可以轉動頭部來感受聲音方位外，還可進一步在虛擬實境影片中行走，接近或遠離聲音來源，更真實沉浸於錄製者所收錄的環境中。
於一實施例中，音效處理系統100的處理器14將距離聲源遠近所導致的聲音訊號改變量視為一個濾波系統，包含移動時所導致的音量變化、相位變化以及頻率變化等，處理器14透過量化這些因距離變化所導致的音訊差，並套用在聽者原先虛擬實境影片的音訊檔上，讓聽者可以實時的體驗到接近/遠離此聲源的感受。以下更具體的敘述此些內容。
於一實施例中，處理器14取得對應一第一位置的第一音訊資料，例如特定物體(例如為使用者所配戴的電子裝置)一開始位於第一位置，並於特定物體移動至一第二位置時，計算第一位置與第二位置的一移動資訊(例如為第一位置到第二位置的距離)， 並從空間轉移資料庫DB中搜尋出對應移動資訊的一空間轉移函數，再將空間轉移函數套用至第一音訊資料，以產生對應第二位置的一輸出音效。
於一實施例中，多筆空間轉移函數可以事先儲存於空間轉移資料庫DB中，以供後續於音效處理方法300中直接取得並進行應用。以下說明空間轉移函數的產生方式。
於一實施例中，在無響室(或稱消音室、消聲室)中，給定不同方位角下距離遠近的脈衝響應，並利用麥克風陣列16收音，可得到高保真度環繞聲格式下四通道的資料，將此資料經由傅立葉轉換後得到各方位角不同距離下四通道的頻域變化資訊，此頻域變化資訊即為空間轉移函數。於一實施例中，麥克風陣列16可以是具高保真度環繞聲標準的麥克風陣列。以下佐以圖式以更具體的描述空間轉移函數的產生方式。
請參照第2圖，第2圖為根據本發明之一實施例繪示的一種空間轉移函數的產生方法之示意圖。於一實施例中，如第2圖所示，麥克風陣列16於位置A錄製音訊資料(XA,YA,ZA,WA)後，移動至位置B錄製音訊資料(XB,YB,ZB,WB)，處理器14計算音訊資料(XA,YA,ZA,WA)與音訊資料(XB,YB,ZB,WB)的各個參數值變化量，計算位置A與位置B的移動資訊(例如由位置A移動到位置B的距離為2公尺)，依據此些參數值變化量產生對應移動資訊的空間轉移函數(△RXab,△RYab,△RZab,△RWab)，並將此空間轉移函數(△RXab,△RYab,△RZab,△RWab)儲存於空間轉移資料庫DB。
於一實施例中，音訊資料(XA,VA,ZA,WA)包含 X軸通道資料XA、Y軸通道資料YA、Z軸通道資料ZA及全向性通道資料WA；音訊資料(XB,YB,ZB,WB)包含X軸通道資料XB、Y軸通道資料YB、Z軸通道資料ZB及全向性通道資料WB。
於一實施例中，此些參數值變化量包含X軸通道資料XA與X軸通道資料XB的差異變化量△RXab、Y軸通道資料YA與Y軸通道資料YB的差異變化量△RYab、Z軸通道資料ZA與Z軸通道資料ZB的差異變化量△RZab及全向性通道資料WA與全向性通道資料WB的差異變化量△RWab。
於一實施例中，對應第2圖所描述的取得空間轉移函數之方法可重複且大量的進行，將麥克風陣列16於位置配置於一特定空間的各個位置，使處理器14取得各個相對位置的參數值變化量，以產生大量的空間轉移函數，並將此些空間轉移函數儲存於空間轉移資料庫DB中，使得後續要應用空間轉移資料庫DB中的空間轉移函數時，能取得更精準的資訊。
請參照第3、4A及4B圖，第3圖為根據本發明之一實施例繪示的一種音效處理方法300之流程圖。第4A~4B圖為根據本發明之一實施例繪示的一種音效處理方法之示意圖。
於步驟310中，處理器14取得一特定物體對應至一第一位置的一第一音訊資料。此處的第一位置是指特定物體(例如為一使用者或一電子裝置)的位置。於一實施例中，使用者的位置可由虛擬實境技術領域已知的定位技術以取得。
於一實施例中，如第4A圖所示，處理器14判斷一特定物體的位置位於位置A後，處理器14由空間轉移資料庫DB讀取出對應位置A的音訊資料(XA,VA,ZA,WA)。於一實施例中，使 用者的位置可以使用已知的頭部追蹤(head tracking)方法以取得，故此處不贅述之。於一實施例中，使用者可配戴頭戴式顯示器，虛擬實境系統可用已知的演算法判斷頭戴式顯示器的位置，藉此追蹤使用者的頭部位置。
然，本發明並不限於此，處理器14可判斷特定區域(如第4B圖之特定區域410)中，任何特定物體(例如為其它電子裝置及/或身體部位)移動的位置及其移動資訊，並進行後續步驟。
於步驟320中，處理器14於特定物體移動至一第二位置時，依據第一位置與第二位置計算特定物體之一移動資訊。例如，如第4A圖所示，於特定物體(例如為使用者所配戴的電子裝置)移動至位置C時，處理器14計算位置A與位置C的移動資訊(例如由位置A移動到位置C的距離為2公尺)。此處的第二位置是指特定物體的位置，第一位置與第二位置之間的關係對應到移動資訊的空間轉移函數(△RXac,△RYac,△RZac,△RWac)。於一實施例中，使用者的位置可虛擬實境技術領域已知的定位技術以得知。
於第4A~4B圖所示的例子中，特定物體移動到位置A’(如第4B圖之特定空間410所示)，再往方向R作旋轉到位置C(如第4B圖之特定空間420所示)。
於步驟330中，處理器14從一空間轉移資料庫DB中搜尋出對應移動資訊的一空間轉移函數。例如，如第4B圖所示，於特定物體由位置A移動至位置A’時，處理器14計算位置A與位置A’的移動距離為2公尺，處理器14從一空間轉移資料庫DB中搜尋出對應移動資訊2公尺的空間轉移函數為(△RXaa’,△RYaa’,△RZaa’,△RWaa’)，此空間轉移函數的產生過程如同第2圖及其敘 述方式，故此處不贅述之。
於步驟340中，處理器14將空間轉移函數(△RXaa’,△RYaa’,△RZaa’,△RWaa’)套用至音訊資料(XA,YA,ZA,WA)，以使特定物體產生對應位置A’的一輸出音效。
於一實施例中，處理器14將空間轉移函數(△RXaa’,△RYaa’,△RZaa’,△RWaa’)套用至音訊資料(XA,YA,ZA,WA)，以產生位置A’的空間轉移函數(XA+△RXaa’,YA+△RYaa’,ZA+△RZaa’,WA+△RWaa’)，處理器14由空間轉移資料庫DB中搜尋出對應位置A’的空間轉移函數(XA+△RXaa’,YA+△RYaa’,ZA+△RZaa’,WA+△RWaa’)的輸出音效。
於一實施例中，處理器14將空間轉移函數(△RXaa’,△RYaa’,△RZaa’,△RWaa’)套用至音訊資料(XA,YA,ZA,WA)後，調整第一音訊資料的一相位、一響度或一頻率以產生特定物體的對應第二位置的輸出音效。
於一實施例中，若由空間轉移資料庫DB中不存在對應移動資訊(例如從位置A移動到位置A’)的空間轉移函數，處理器14可以選用接近此移動資訊的多個空間轉移函數，並以內插法或其他已知演算法的方式算出近似對應此移動資訊的空間轉移函數。
據此，當此音效處理方法300應用在虛擬實境系統時，特定物體在位置A所對應的輸出音效與在位置A’所對應的輸出音效並不相同，換言之，輸出音效可以對應特定物體的位置，應用空間轉移函數作頻率、相位及/或音量的調整。
於一實施例中，如第4B圖的特定空間420所示，當 特定物體移動到位置A’時，再往方向R旋轉到位置C(如第4B圖之特定空間420所示)，處理器14可藉由特定物體所配戴的重力感測器(g-sensor)取得此旋轉變量，並應用已知的演算法，例如四元素(Quaternion)、歐拉角(Euler Angle)、旋轉矩陣(Rotation Matrix)或旋轉向量(Rotation Vector,Euclidean Vector)等常見的三維空間的旋轉方式…等等，套用到音訊資料(XC,YC,ZC,WC)產生輸出音效，以得到位置C的聽感。
於一實施例中，當處理器10將音效處理方法300應用於虛擬實境系統上後，在虛擬實境系統上撥放他人錄製好的360度虛擬實境影片時，配戴頭戴式顯示器的使用者可在虛擬實境影片中移動，並體驗到接近或遠離聲源的音效感。
於一實施例中，藉由應用音效處理方法300，當手持裝置上撥放他人預先錄製好的虛擬實境影片時，可以針對感興趣的目標方位增強或衰減輸出音效。
綜上所述，本發明實施例係提供一種音效處理系統及音效處理方法，讓使用者除了可以轉動頭部來感受聲音方位外，還可進一步在虛擬實境中的影片中，模擬行走時，接近或遠離虛擬物件的聲音來源，以更真實沉浸於錄製者所收錄的環境中。換言之，本發明實施例的音效處理系統及音效處理方法，達到在回放虛擬實境影片時，隨著使用者移動，即可對應使用者移動以調整聲音，讓使用者在虛擬實境中自由行走並能聽到自動伴隨行走方向、距離及頭部轉動而調整的聲音，且不須在錄製虛擬實境影片時記錄影片中每個物件的資訊，大符降低一般使用者在實際環境錄製虛擬影像影片的門檻。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
300:音效處理方法
310~340:步驟

Claims (8)

  1. 一種高保真度環繞聲(Ambisonic)格式之音效處理系統，包括：一儲存裝置，用以儲存一空間轉移資料庫；以及一處理器，用以取得一特定物體對應至一第一位置的一第一音訊資料，並於該特定物體移動至一第二位置時，依據該第一位置與該第二位置計算該特定物體之一移動資訊，從該空間轉移資料庫中搜尋出對應該移動資訊的一空間轉移函數，並將該空間轉移函數套用至該第一音訊資料，以使該特定物體產生對應該第二位置的一輸出音效；其中，該處理器事先計算該特定物體對應至該第一位置的該第一音訊資料與對應至該第二位置的一第二音訊資料的複數個參數值變化量，計算該第一位置與該第二位置的該移動資訊，依據該些參數值變化量產生對應該移動資訊的該空間轉移函數，並將該空間轉移函數儲存於該空間轉移資料庫，其中，該些參數變化量值包含一第一X軸通道(X channel)資料與一第二X軸通道資料的差異變化量、一第一Y軸通道(Y channel)資料與一第二Y軸通道資料的差異變化量、一第一Z軸通道(Z channel)資料與一第二Z軸通道資料的差異變化量及一第一全向性通道(W channel)資料與一第二全向性通道資料的差異變化量。
  2. 如申請專利範圍第1項所述之音效處理系統，更包含：一麥克風陣列，用以於該第一位置錄製該第一音訊資料；其中，該第一音訊資料包含該第一X軸通道資料、該第一Y軸 通道資料、該第一Z軸通道資料及該第一全向性通道(W channel)資料，該移動資訊包含一移動距離或一座標位置。
  3. 如申請專利範圍第1項所述之音效處理系統，其中該處理器將該空間轉移函數套用至該第一音訊資料後，調整該第一音訊資料的一相位、一響度或一頻率以產生該特定物體對應該第二位置的該輸出音效。
  4. 如申請專利範圍第2項所述之音效處理系統，其中該麥克風陣列於該第一位置錄製該第一音訊資料後，移動至該第二位置錄製該第二音訊資料。
  5. 如申請專利範圍第4項所述之音效處理系統，其中該第二音訊資料包含該第二X軸通道資料、該第二Y軸通道資料、該第二Z軸通道資料及該第二全向性通道資料。
  6. 一種高保真度環繞聲格式之音效處理方法，包括：取得一特定物體對應至一第一位置的一第一音訊資料；於該特定物體移動至一第二位置時，依據該第一位置與該第二位置計算該特定物體之一移動資訊；從一空間轉移資料庫中搜尋出對應該移動資訊的一空間轉移函數；以及將該空間轉移函數套用至該第一音訊資料，以使該特定物體產生對應該第二位置的一輸出音效；其中，該處理器事先計算該特定物體對應至該第一位置的該第一音訊資料與對應至該第二位置的一第二音訊資料的複數個參數值變化量，計算該第一位置與該第二位置的該移動資訊，依據該些參數值變化量產生對應該移動資訊的該空間轉移函數，並將該空間轉 移函數儲存於該空間轉移資料庫；其中，該些參數變化量值包含一第一X軸通道(X channel)資料與一第二X軸通道資料的差異變化量、一第一Y軸通道(Y channel)資料與一第二Y軸通道資料的差異變化量、一第一Z軸通道(Z channel)資料與一第二Z軸通道資料的差異變化量及一第一全向性通道(W channel)資料與一第二全向性通道資料的差異變化量。
  7. 如申請專利範圍第6項所述之音效處理方法，更包含：藉由一麥克風陣列以於該第一位置錄製該第一音訊資料：其中該第一音訊資料包含該第一X軸通道資料、該第一Y軸通道(Y channel)資料、該第一Z軸通道資料及該第一全向性通道資料，該移動資訊包含一移動距離或一座標位置。
  8. 如申請專利範圍第6項所述之音效處理方法，更包含：將該空間轉移函數套用至該第一音訊資料後，調整該第一音訊資料的一相位、一響度或一頻率以產生該特定物體對應該第二位置的該輸出音效。
TW108114462A 2019-03-19 2019-04-25 高保真度環繞聲格式之音效處理系統及音效處理方法 TWI731326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/358,235 2019-03-19
US16/358,235 US20200304933A1 (en) 2019-03-19 2019-03-19 Sound processing system of ambisonic format and sound processing method of ambisonic format

Publications (2)

Publication Number Publication Date
TW202036538A TW202036538A (zh) 2020-10-01
TWI731326B true TWI731326B (zh) 2021-06-21

Family

ID=68289795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108114462A TWI731326B (zh) 2019-03-19 2019-04-25 高保真度環繞聲格式之音效處理系統及音效處理方法

Country Status (4)

Country Link
US (1) US20200304933A1 (zh)
EP (1) EP3713256A1 (zh)
CN (1) CN111726732A (zh)
TW (1) TWI731326B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022173989A1 (en) * 2021-02-11 2022-08-18 Nuance Communications, Inc. Multi-channel speech compression system and method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102032A (ja) * 2003-09-26 2005-04-14 Nippon Telegr & Teleph Corp <Ntt> 高臨場感音響受聴装置
WO2012023864A1 (en) * 2010-08-20 2012-02-23 Industrial Research Limited Surround sound system
EP2154677B1 (en) * 2008-08-13 2013-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a converted spatial audio signal
WO2014187877A2 (de) * 2013-05-24 2014-11-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mischpult, tonsignalerzeuger, verfahren und computerprogramm zum bereitstellen eines tonsignals
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106200945A (zh) * 2016-06-24 2016-12-07 王杰 内容重放装置、具有该重放装置的处理系统及方法
CN106484099A (zh) * 2016-08-30 2017-03-08 王杰 内容重放装置、具有该重放装置的处理系统及方法
US20170208416A1 (en) * 2015-12-16 2017-07-20 Oculus Vr, Llc Head-related transfer function recording using positional tracking
US20170311080A1 (en) * 2015-10-30 2017-10-26 Essential Products, Inc. Microphone array for generating virtual sound field

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147261A1 (en) * 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
CN105183421B (zh) * 2015-08-11 2018-09-28 中山大学 一种虚拟现实三维音效的实现方法及系统
US20170195795A1 (en) * 2015-12-30 2017-07-06 Cyber Group USA Inc. Intelligent 3d earphone
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
EP3472832A4 (en) * 2016-06-17 2020-03-11 DTS, Inc. DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
US10252108B2 (en) * 2016-11-03 2019-04-09 Ronald J. Meetin Information-presentation structure with impact-sensitive color change dependent on object tracking
US9865274B1 (en) * 2016-12-22 2018-01-09 Getgo, Inc. Ambisonic audio signal processing for bidirectional real-time communication
US11089425B2 (en) * 2017-06-27 2021-08-10 Lg Electronics Inc. Audio playback method and audio playback apparatus in six degrees of freedom environment
KR101988244B1 (ko) * 2017-07-04 2019-06-12 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
CN107360494A (zh) * 2017-08-03 2017-11-17 北京微视酷科技有限责任公司 一种3d音效处理方法、装置、系统及音响系统
US10003905B1 (en) * 2017-11-27 2018-06-19 Sony Corporation Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
KR102622714B1 (ko) * 2018-04-08 2024-01-08 디티에스, 인코포레이티드 앰비소닉 깊이 추출

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102032A (ja) * 2003-09-26 2005-04-14 Nippon Telegr & Teleph Corp <Ntt> 高臨場感音響受聴装置
EP2154677B1 (en) * 2008-08-13 2013-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a converted spatial audio signal
WO2012023864A1 (en) * 2010-08-20 2012-02-23 Industrial Research Limited Surround sound system
WO2014187877A2 (de) * 2013-05-24 2014-11-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mischpult, tonsignalerzeuger, verfahren und computerprogramm zum bereitstellen eines tonsignals
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20170311080A1 (en) * 2015-10-30 2017-10-26 Essential Products, Inc. Microphone array for generating virtual sound field
US20170208416A1 (en) * 2015-12-16 2017-07-20 Oculus Vr, Llc Head-related transfer function recording using positional tracking
CN106200945A (zh) * 2016-06-24 2016-12-07 王杰 内容重放装置、具有该重放装置的处理系统及方法
CN106484099A (zh) * 2016-08-30 2017-03-08 王杰 内容重放装置、具有该重放装置的处理系统及方法

Also Published As

Publication number Publication date
US20200304933A1 (en) 2020-09-24
CN111726732A (zh) 2020-09-29
EP3713256A1 (en) 2020-09-23
TW202036538A (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
US10952010B2 (en) Spatial audio for interactive audio environments
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
WO2018196469A1 (zh) 声场的音频数据的处理方法及装置
US20190313201A1 (en) Systems and methods for sound externalization over headphones
WO2020255810A1 (ja) 信号処理装置および方法、並びにプログラム
US20090310802A1 (en) Virtual sound source positioning
US11871209B2 (en) Spatialized audio relative to a peripheral device
CN114173256B (zh) 一种还原声场空间及姿态追踪的方法、装置和设备
JP2021535648A (ja) バイノーラル録音を取得及び再生するための方法
TWI731326B (zh) 高保真度環繞聲格式之音效處理系統及音效處理方法
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN116193196A (zh) 虚拟环绕声渲染方法、装置、设备及存储介质
Cecchi et al. An advanced spatial sound reproduction system with listener position tracking
CN115586492A (zh) 一种ar眼镜及其声源虚拟重定位方法和装置
NZ795232A (en) Distributed audio capturing techniques for virtual reality (1vr), augmented reality (ar), and mixed reality (mr) systems