TWI808277B - 用於多音訊串流之空間重定位的裝置和方法 - Google Patents

用於多音訊串流之空間重定位的裝置和方法 Download PDF

Info

Publication number
TWI808277B
TWI808277B TW108142945A TW108142945A TWI808277B TW I808277 B TWI808277 B TW I808277B TW 108142945 A TW108142945 A TW 108142945A TW 108142945 A TW108142945 A TW 108142945A TW I808277 B TWI808277 B TW I808277B
Authority
TW
Taiwan
Prior art keywords
audio
brir
processing device
spatial audio
data set
Prior art date
Application number
TW108142945A
Other languages
English (en)
Other versions
TW202028929A (zh
Inventor
望傅 沈
迪篪 李
Original Assignee
新加坡商創新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商創新科技有限公司 filed Critical 新加坡商創新科技有限公司
Publication of TW202028929A publication Critical patent/TW202028929A/zh
Application granted granted Critical
Publication of TWI808277B publication Critical patent/TWI808277B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

一種音訊顯現系統包括將音訊輸入訊號和較佳包括場所響應的個人化空間音訊轉移函數結合之處理器。個人化空間音訊轉移函數是選自複數個候選轉移函數資料集之一資料庫，該複數個候選轉移函數資料集之資料庫是從針對於複數個個體的入耳式麥克風測量所導出。替代而言，個人化轉移函數資料集是從聆聽者的實際入耳式測量所導出。前景與背景位置被指定且和來自針對於前景與背景方向與距離的選定資料集之轉移函數對相匹配。諸如語音和音樂的輸入音訊之二個頻道被處理。當諸如電話通話之語音通訊被接通，使用個人化轉移函數把正在顯現的音樂從前景移動到背景頻道，該背景頻道是對應於背景空間音訊位置。語音通話被同時轉移到前景頻道。

Description

用於多音訊串流之空間重定位的裝置和方法
本發明關於用於產生音訊以供透過頭戴式耳機來顯現之方法及系統。更特別而言，本發明關於使用個人化空間音訊轉移函數的資料集，並使用個人化空間音訊轉移函數來產生空間音訊位置，以創造透過頭戴式耳機之更逼真的音訊顯現(rendering)，該空間音訊轉移函數具有與音訊串流一起關聯於空間音訊位置的場所脈衝響應資訊。
相關申請案之交互參照
本申請案是以參照方式而納入來自以下前案的整體揭露內容：西元2018年1月7日所提出且標題為「藉由頭部追蹤來產生客製化空間音訊之方法」的美國專利申請案序號第62/614,482號；西元2016年12月28日所提出且標題為「用於產生客製化/個人化頭部相關轉移函數之方法」的國際申請案第PCT/SG2016/050621號，其主張來自西元2015年12月31日所提出且標題為「用於產生客製化/個人化頭部相關轉移函數之方法」的新加坡專利申請案第10201510822Y號之優先權裨益，其整體內容是針對所有目的以參照方式而納入。本申請案是以參照方式而進一步納入來自以下前案的整體揭露內容：西元2018年5月2日所提出且標題為「用於客製化音訊體驗之系統及處理方法」的美國專利申請案序號第15/969,767號；以及西元2018年9月19日所提出且標題為「藉由頭部追蹤來產生客製化空間音訊之方法」的美國專利申請案序號第16/136,211號。
經常，正在手機上聽音樂的使用者，當電話打來時可能希望音樂不間斷地繼續。不幸的是，大多數手機被裝配以在接聽電話時而使音樂靜音。所需要的是一改良系統，其在接聽電話時而允許音樂或其他音訊不間斷地繼續，並且考慮到允許使用者區別二個不同音訊源。
為了達成前述者，本發明在種種實施例中提出經裝配以將雙耳(binaural)訊號提供到頭戴式耳機之處理器及系統，所述系統包括用於將第一輸入音訊頻道中音訊放置在第一位置(諸如前景位置)的機構，以及用於將第二輸入音訊頻道中音訊放置在第二位置(諸如背景位置)的機構。
在本發明的一些實施例中，所述系統包括個人化空間音訊轉移函數的資料集，該個人化空間音訊轉移函數的資料集具有與至少二個音訊串流一起關聯於空間音訊位置的場所脈衝響應資訊(諸如：HRTF或BRIR)。針對至少二個位置的個人化BRIR是和二個輸入音訊串流一起使用，以建立前景空間音訊源與背景空間音訊源，來提供用於聆聽者透過頭戴式耳機之身歷其境的體驗。
102:第一音訊位置(前景位置)
103:頭戴式耳機
104:第二位置(背景位置)
105:聆聽者(頭部)
110:路徑
112、114:中間點(中間位置)
116、118:空間音訊位置
202、204:串流
207、208:濾波器
209、210:濾波器
214、215:加法器
216:頭戴式耳機
222、223、224、225:增益
700:系統
702:擷取裝置
704:影像感測器
706:處理器
710:遠端伺服器
712:選擇處理器
714:記憶體
715、716、717、718:行
720:BRIR產生模組
730:音訊顯現模組
732:記憶體
735:頭戴式耳機
[圖1]是說明針對於根據本發明的一些實施例所處理的音訊之空間音訊位置的示意圖。
[圖2]是說明根據本發明的一些實施例之用於呈現在不同空間音訊位置的音訊源(諸如來自數個不同型式的媒體任一者的)以及語音通訊之系統的示意圖。
[圖3]是說明根據本發明的實施例之用於產生用於客製化的BRIR、取得用於客製化的聆聽者性質、選擇用於聆聽者的客製化BRIR、以及用於顯現由BRIR所修正的音訊之系統的示意圖。
本發明的較佳實施例將作詳細論述。較佳實施例的實例被說明在伴隨圖式中。儘管本發明將關聯於這些較佳實施例而描述，將瞭解的是並無意圖以將本發明限制於上述較佳實施例。反之，意圖以涵蓋如可包括在由隨附申請專利範圍所界定之本發明精神與範疇內的替代、修改、與等效者。在以下說明，諸多特定細節被陳述以便提供本發明的徹底瞭解。本發明可在沒有這些特定細節的一些或全部而實行。在其他情況下，眾所周知的機構是為了避免不必要地混淆本發明而未詳細描述。
應在此指出的是，在種種圖式中的同樣標號係指同樣部分。在本文所說明及描述的種種圖式被使用以說明本發明的種種特徵。在某種程度上，特定特徵被說明在一個圖式中而未在另一個圖式，除非在其他情況下指明或其結構本身禁止所述特徵之納入，要瞭解的是，那些特徵可經調適以包括在其他圖所代表的實施例中，如同其完整說明在那些圖中。除非另為指明，所述圖式無須依照比例。提供在圖式上的任何尺度並無意以限制關於本發明的範疇而僅是說明性質。
雙耳技術，概括指稱關於或使用二個耳朵的技術，其致使使用者能以三維場來感知音訊。在一些實施例中，這是透過雙耳場所脈衝響應(BRIR,Binaural Room Impulse Response)與其相關的雙耳場所轉移函數(BRTF,Binaural Room Transfer Function)之確定及使用來達成。BRIR模擬來自揚聲器的聲波和聆聽者的耳朵、頭部與軀幹、以及在場所中的牆壁與其他物體之交互作用。替代 而言，頭部相關轉移函數(HRTF,Head Related Transfer Function)被使用在一些實施例中。HRTF是頻域中的轉移函數，其對應於代表在無響環境中的交互作用的脈衝響應。即，脈衝響應在此代表和聆聽者的耳朵、頭部與軀幹之聲音交互作用。
根據用於確定HRTF或BRTF的已知方法，真實或虛擬的頭部與雙耳麥克風被使用，以記錄針對於真實場所中之若干個揚聲器位置各者的立體聲脈衝響應(IR,impulse response)。即，各個耳朵為一者的一對脈衝響應是針對於各個位置所產生，這對被稱作為BRIR。音樂曲目或其他音訊串流可接著使用這些BRIR進行卷積(濾波)，且結果混合在一起及透過頭戴式耳機所播放。若正確等化被應用，則音樂頻道將聽起來像在BRIR被記錄處之場所中的喇叭位置所播放。
經常，正在手機上聽音樂的使用者，當電話打來時而使用者可能希望在接聽電話時音樂不間斷地繼續。並非行使靜音功能，二個單獨的音訊訊號(即：電話通話與音樂)可被饋送到相同頻道中。但概括而言，人們難以區別來自同個方向的聲音源。為了解決這問題，且根據一個實施例，當來電打來時，音樂是從第一位置指向到在第二位置(諸如背景位置)中之喇叭或頻道，即：音樂與語音通訊被放置在不同位置。不幸的是，儘管這些定位顯現音訊串流之方法當使用多喇叭設置時允許來源之分離，現今的大部分語音通訊是透過手機而打來，其通常並未連接到多頻道喇叭設置。甚者，即使使用多頻道設置的上述方法，當音訊源是藉由平移(pan)所指定的位置，該位置非完全對準於揚聲器實際位置，上述方法有時提供低於最佳的結果。這是部分歸因於當上述位置是藉由傳統的平移方法所大致估計以將感知的音訊位置移動到在多頻道喇叭位置之間的地方時，聆聽者難以精確定位空間音訊位置。
本發明藉由自動將語音通話與音樂定位在不同空間音訊位置以 解決透過頭戴式耳機之語音通訊的這些問題，其藉由運用使用轉移函數(諸如藉由使用HRTF)所虛擬化的位置，該轉移函數至少模擬來自至少個體的頭部、軀幹、與耳朵在音訊上的效應。更佳而言，在音訊上的場所效應是藉由BRIR來處理音訊串流所考量。但，非個體化的商用BRIR資料集，其給予大多數使用者不佳的方向感以及感知聲音源之更差的距離感。這可能導致在區別聲音源的難度。
為了解決這些附加問題，在一些實施例中，本發明使用個體化BRIR。在一個實施例中，個體化HRTF或BRIR資料集之產生，其是藉由將麥克風插入到聆聽者耳朵中且記錄在錄製期間中的脈衝響應所產生。這是耗時的過程，可能不便於包括在行動電話或其他音訊單元之銷售。在進一步實施例中，使用針對於各個個體聆聽者的基於影像性質之擷取所導出的個體化BRIR(或關聯BRTF)，語音與音樂的聲音源是定位在分開的第一(例如：前景)與第二(例如：背景)位置，所述性質被使用以從具有針對於複數個測量個體的個體化空間音訊轉移函數的候選庫之資料庫來確定適合的個體化BRIR。對應於至少二個分開空間音訊位置各者之個體化BRIR被較佳使用，以將第一與第二音訊串流指向到二個不同空間音訊位置。
再者，由於已知人們能夠較佳區別當一者是由聆聽者所確定為較接近而另一者被確定為較遠離時的二個聲音源，在一些實施例中，運用使用擷取基於影像性質所導出的個體化BRIR，音樂被自動放置在背景空間位置中的某距離且語音被放置在較近距離。
在再一個實施例中，擷取的基於影像性質是由行動電話所產生。在另一個實施例中，在確定語音通話為較低優先順序時，在收到諸如藉由致動開關所產生之來自聆聽者的控制訊號時，語音通話從前景被指向到背景且音樂被指向到前景。在又一個實施例中，在確定語音通話為較低優先順序且在收到來自聆聽者的控制訊號時，使用對應於針對於相同方向的不同距離之個體化 BRIR，語音通話的視在距離被增大且音樂的視在距離被減小。
儘管應瞭解的是，本文的大多數實施例描述用在於頭戴式耳機的個人化BRIR，所述用於定位結合語音通訊的媒體串流之技術，亦可根據關於圖3所述的步驟而延伸到針對於使用者所客製化的任何適合的轉移函數。
應瞭解的是，本發明的範疇意圖以涵蓋將各別的第一音訊源與語音通訊放置在使用者周圍的任何位置。再者，前景與背景之本文的使用並無意為受限於分別在聆聽者前方或在聆聽者後方的區域。確切而言，前景是以最概括意義被解讀為指稱二個分離位置的較顯著或重要者，而反之背景指稱分離位置的較不顯著者。甚者，應指出的是，本發明的範疇是以極為概括意義存在而根據本文所述技術使用HRTF或BRIR來將第一音訊串流指向到第一位置且將第二音訊串流指向到第二空間音訊位置。應進而指出的是，本發明的一些實施例可藉著同時施加訊號衰減，以取代地將較近距離指定為前景位置且將較遠位置指定為背景位置，而延伸到選擇在使用者周圍的任何方向位置為前景或背景位置各者。以其最簡單形式，應用二對BRIR以代表前景與背景位置之濾波電路系統將根據本發明的實施例而最初顯示。
圖1是說明針對於根據本發明的一些實施例所處理的音訊之空間音訊位置的示意圖。初始，聆聽者105可透過頭戴式耳機103來聆聽諸如音樂的第一音訊訊號。使用應用到第一音訊串流的BRIR，聆聽者感覺到第一音訊串流為來自第一音訊位置102。在一些實施例中，這是前景位置。在一個實施例中，一種技術將此前景位置放置在相對於聆聽者105的零度位置。當觸發事件發生，諸如在一個實施例中為接到一通電話，第二串流(例如：語音通訊或電話通話)被路由到第一位置(102)而第一音訊訊號被路由到第二位置104。在圖示的實例實施例中，這第二位置被放置在200度位置，其在一些實施例中被描述為較不顯著或背景位置。200度位置僅是作為非限制的實例而被選擇。放置音訊串流在這第 二位置，較佳使用對應於針對有關聆聽者的這第二位置的方位(azimuth)、仰角(elevation)、與距離之BRIR(或BRTF)所達成。
在一個實施例中，第一音訊串流到第二位置(例如：背景)之變遷係突然發生，而沒有提供任第一音訊串流正在移動通過中間空間位置之意識。這是由路徑110以圖形所描繪，其顯示無任何中間空間位置。在另一個實施例中，音訊是在短暫的過渡時間期間被定位在中間點112與114，以提供自前景位置102到背景位置104之直接移動感或替代性弧形型式的移動感。在較佳實施例中，用於中間位置112與114的BRIR被使用以空間定位音訊串流。在替代實施例中，藉由使用針對於前景與背景位置的BRIR，且藉由在對應於那些前景與背景位置的那些虛擬揚聲器之間平移，達成所述移動感。在一些實施例中，使用者可確認語音通訊(例如：電話通話)不應該得到優先順序狀態，且選取將電話通話移交到第二位置(例如：背景位置)或甚至使用者選定的第三位置，並將音樂回到第一(例如：前景)位置。在一個實施例中，這藉由將對應於音樂的音訊串流傳送回到前景(第一)位置102、且將語音通訊傳送到背景位置104所實行。在另一個實施例中，此優先順序之重新排列是藉由使得語音通話較遠離且音樂較接近於聆聽者頭部105所實行。此較佳為藉由指定在不同距離所捕捉、從捕捉測量所計算或內插以代表新距離之針對於聆聽者的新HRTF或BRTF所作成。舉例來說，為了增加來自背景位置104之音樂的優先權，視在距離可減小到空間音訊位置118或116。較佳藉由新HRTF或BRTF來處理音樂音訊串流所達成之此減小距離，其增加相對於語音通訊訊號之音樂的音量。在一些實施例中，同樣出於捕捉HRTF/BRTF值或內插之選擇，語音訊號可同時增加離聆聽者頭部105的距離。內插/計算可使用超過2個點來作成。舉例來說，為了得出其為二條線(AB與CD)之相交的一點，內插/計算可能需要點A、B、C、與D。
替代而言，產生語音通訊的空間音訊位置可在重排序步驟期間而 維持在固定位置或增加。在一些實施例中，二個單獨的音訊串流享有相等的顯著性。
在還有其他實施例中，使用者可從使用者介面空間音訊位置來選取用於串流的至少一者，更佳而言，針對於所有串流為單一或多個位置。
圖2是說明根據本發明的一些實施例之用於模擬在不同空間音訊位置的音訊源與語音通訊之系統的示意圖。圖2描繪進入空間音訊定位系統的概括二個不同串流(202與204)，藉由使用單獨成對之用於第一空間音訊位置的濾波器(即：濾波器207、208)以及用於第二空間音訊位置的濾波器209、210。在分別用於左頭戴式耳機杯部的訊號被相加在加法器214且用於頭戴式耳機216的右頭戴式耳機杯部的濾波結果被類似相加在加法器215之前，增益222-225可施加到所有濾波後的串流。儘管此組合的硬體模組顯示涉及的基本原理，其他實施例使用儲存在記憶體中的BRRI或HRTF，諸如在圖3所示(諸如行動電話)的音訊顯現模組730的記憶體732。在一些實施例中，根據那些空間音訊位置是藉由針對個人選擇除HRTF外尚具有場所響應的轉移函數所產生之事實，聆聽者輔助於分辨第一與第二空間音訊位置。在較佳實施例中，第一與第二位置是使用針對於聆聽者所客製化的BRIR而確定。
當HRTF或BRTF是針對聆聽者而個體化時，用於透過頭戴式耳機的顯現之系統及方法運作最佳化，該個體化不論是藉由直接入耳式麥克風測量，或者是在藉由並未使用入耳式麥克風測量時的個體化BRIR/HRIR資料集。根據本發明的較佳實施例，用於產生BRIR的一種客製方法被使用，其涉及從使用者擷取基於影像性質，且從BRIR的候選庫來確定適合BRIR，如概括由圖3所描繪。更詳細而言，圖3說明根據本發明的實施例之系統，其用以產生用於客製化用途的HRTF、取得用於客製化的聆聽者性質、選擇用於聆聽者的客製化HRTF、提供適以和相關使用者頭部移動一起運作的轉動濾波器，且用於顯現如 BRIR所修正的音訊。擷取裝置702是裝配以識別及擷取聆聽者的音訊相關實體性質之裝置。雖然方塊702可經裝配以直接測量那些性質(例如：耳朵的高度)，在較佳實施例中，有關的測量是從使用者的取得影像被擷取以包括至少使用者的耳朵或雙耳。擷取那些性質所必要的處理較佳發生在擷取裝置702，但同樣可位在別處。就非限制的實例而言，可在來自影像感測器704的影像之收到後而藉由在遠端伺服器710的處理器擷取性質。
在較佳實施例中，影像感測器704取得使用者耳朵的影像，且處理器706被裝配以擷取針對於使用者的有關性質，且將其傳送到遠端伺服器710。舉例來說，在一個實施例中，主動形狀模型(Active Shape Model)可被使用以識別在耳廓影像中的界標(landmark)，且使用那些界標與其幾何關係和線性距離以識別關於使用者的性質，其為相關於從一組儲存的BRIR資料集(即：從BRIR資料集的候選庫)來產生客製化BRIR。在其他實施例中，迴歸樹模型(RGT,Regression Tree Model)被使用以擷取性質。在還有其他實施例中，諸如神經網路與其他形式的人工智慧(AI,artificial intelligence)之機器學習被使用以擷取性質。神經網路的一個實例是卷積(Convolutional)神經網路。用於識別新聆聽者的獨特實體性質之數種方法的完整論述，被描述在西元2016年12月28日所提出且標題為「用於產生客製化個人化頭部相關轉移函數的方法」之申請案第PCT/SG2016/050621號，其揭示內容是以參照方式而整體納入本文。
遠端伺服器710較佳為透過諸如網際網路的網路而可存取。遠端伺服器較佳包括選擇處理器710來存取記憶體714，以使用在擷取裝置702所擷取的實體性質或其他影像相關性質而確定最佳匹配BRIR資料集。選擇處理器712較佳存取具有複數個BRIR資料集的記憶體714。即，在候選庫中的各個資料集將具有較佳針對於在方位與仰角且或許還有頭部傾斜的適當角度之各點的BRIR對。舉例來說，測量可在方位與仰角的每3度來進行，以產生針對於組成BRIR 的候選庫之取樣個體的BRIR資料集。
如稍早所論述，這些較佳為藉由關於適度規模的群體(即：大於100個個體)之入耳式麥克風的測量所導出，但可用較小群組的個體而運作，且連同關聯於各個BRIR集的類似影像相關性質而儲存。這些可為部分由直接測量且部分由內插法所產生，以形成BRIR對的球形柵格(grid)。即使有部分測量/部分內插的柵格，一旦適當方位與仰角的值被使用以識別針對於來自BRIR資料集的一點之適當BRIR對，未落在柵格線上之另外的點可經內插。舉例來說，可使用任何適合內插方法，其包括而不限於相鄰線性內插法、雙線性內插法、與球面三角內插法，較佳為在頻域。
在一個實施例中，儲存在記憶體714中的每個BRIR資料集包括針對於聆聽者的至少一個完整球形柵格。在上述情形，在方位(在圍繞使用者的水平面，即：在耳朵高度)或仰角的任何角度可經選擇以供放置聲音源。在其他實施例中，BRIR資料集較為受限，在一個實例為受限於產生符合習用立體聲設置(即：在相對於向前直行零位置的+30度與-30度)在場所中的揚聲器放置所需的BRIR對，或在完整球形柵格的另一個子集，用於多頻道設置的喇叭放置為沒有限制，諸如5.1系統或7.1系統。
HRIR是頭部相關脈衝響應(head-related impulse response)。其完整描述在無響條件下於時域之從來源到接收者的聲音傳遞。其大部分資訊關於被測量的人士之生理機能與人體測量。HRTF是頭部相關轉移函數(head-related transfer function)。其等同於HRIR，除了其為在頻域中的描述之外。BRIR是雙耳場所脈衝響應(binaural room impulse response)。其等同於HRIR，除了其在場所所測量之外，且因此額外納入針對在經捕捉於其中的特定配置之場所響應。BRTF是BRIR的頻域版本。應瞭解的是，在此說明書中，由於BRIR和BRTF為易於可調換，且同理HRIR和HRTF為易於可調換，本發明實施例是意圖以涵蓋那些易於 可調換的步驟，即使其並未在此明確描述。因此，舉例來說，當說明提到存取另一個BRIR資料集，應瞭解的是涵蓋存取另一個BRTF。
圖3進而描繪針對於儲存在記憶體中的資料之試樣邏輯關係。記憶體被顯示為在行716包括用於數個個體的BRIR資料集(例如：HRTF DS1A、HRTF DS2A等等)。這些是藉由和各個BRIR資料集關聯的性質(較佳為影像相關性質)而編索引及存取。在行715所顯示的關聯性質致使能將新聆聽者性質和關聯的BRIR的性質匹配，該些和BRIT關聯的性質係經測量及儲存在行716、717、與718中。即，其作用為對於在那些行所顯示之BRIR資料集的候選庫之索引。行717有關在參考位置零的儲存BRIR，其和其餘BRIR資料集相關聯，並當監測到聆聽者頭部轉動且順應聆聽者頭部轉動，其可和轉動濾波器結合以供有效率儲存及處理。這選項的進一步說明被詳述在西元2018年9月19日所提出且標題為「藉由頭部追蹤來產生客製化空間音訊之方法」之共同審理中的申請案第16/136,211號，其為以參照方式而整體納入本文。
概括而言，存取BRIR(或HRTF)資料集的候選庫之一個目的，是產生針對於個人的客製化音訊響應特性(諸如：BRIR資料集)。在一些實施例中，這些是使用來處理諸如語音通訊與媒體串流的輸入音訊訊號，以便如上所述為了和第一位置與第二位置關聯的空間音訊之準確感知而定位輸入音訊訊號。在一些實施例中，產生諸如個體化BRIR之此客製化音訊響應特性，包括擷取對於個體之諸如生物特徵量測資料的影像相關性質。舉例來說，此生物特徵量測資料可包括關於耳朵的耳廓、個人的整個耳朵、頭部、及/或肩膀之資料。在進一步實施例中，諸如(1)多匹配、(2)多辨識器型式、以及(3)基於叢集之處理策略被使用以產生中間資料集，其稍後被組合(在多個命中造成的情況)以產生針對於個體的客製化BRIR資料集。這些可藉由使用在其他方法之間的加權總和而被組合。在僅有單一個匹配的情況，沒有必要組合中間結果。在一個實施例中，中 間資料集是至少部分基於提取的BRIR資料集(來自候選庫)關於擷取性質之匹配的接近度。在其他實施例中，多個辨識器匹配步驟被使用，藉此處理器基於對應於生物特徵量測資料的複數個訓練參數而提取一個或多個資料集。在還有其他實施例中，基於叢集的處理策略被使用，藉此潛在資料集基於擷取資料(例如：生物特徵量測資料)而被叢集。叢集包含具有之一關係的多個資料集，此處它們被叢集或群集在一起，以形成有匹配來自影像的擷取資料(例如：生物特徵量測)之對應BRIR資料集的一模型。
在本發明的一些實施例中，2或多個距離球被儲存。此指稱對於相距使用者的2個不同距離所產生的球形柵格。在一個實施例中，一個參考位置BRIR被儲存且關聯於2或多個不同球形柵格距離球。在其他實施例中，各個球形柵格將具有其本身的參考BRIR以使用於可應用的轉動濾波器。選擇處理器712被使用以將在記憶體714的性質和擷取性質相匹配，該擷取性質係針對於新聆聽者而從擷取裝置702所接收的。種種方法被使用以匹配關聯性質，使得正確BRIR資料集可被導出。如上所述，這些方法包括藉由基於多匹配處理策略、多辨識器處理策略、基於叢集處理策略，以及如在西元2018年5月2日所提出且標題為「用於客製化音訊體驗的系統和處理方法」的美國專利申請案編號第15/969,767號之其他方法來比較生物特徵量測資料，上述美國專利申請案的揭露內容是以參照方式而整體納入本文。行718是指針對於在第二距離的測量個體之成組的BRIR資料集。即，此行告示針在第二距離處對於測量個體所記錄的BRIR資料集。作為在一個實例，在行716的第一BRIR資料集可在相距聆聽者為1.0m到1.5m被取得，而在行718的BRIR資料集可指在相距聆聽者為5m所測量的那些資料集。理想而言，BRIR資料集形成完整球形柵格，但本發明的實施例應用到完整球形柵格的任何與所有子集，其包括而不限於含有習用立體聲集的BRIR對之子集、5.1多頻道設置、7.1多頻道設置、以及球形柵格的所有其他變化與子集，包 括在方位與仰角二者為每3度或更少的BRIR對，以及在其密度為不規則的那些球形柵格。舉例來說，這可能包括球形柵格，其中在前面位置之柵格點的密度遠大於相對於聆聽者後方之柵格點的密度。再者，在行716與718的內容配置不僅應用到如由測量與內插法所導出的儲存BRIR對，而且還應用到藉由產生反映前者到含有轉動濾波器的BRIR之轉換的BRIR資料集所進一步改良者。
在一個或多個匹配或計算BRIR資料集之確定後，資料集被傳送到音訊顯現裝置730，以供儲存藉由針對於新聆聽者如上所述的匹配或其他技術所確定的整個BRIR資料集、或在一些實施例中為對應於選擇空間化音訊位置的子集。在一個實施例中，音訊顯現裝置接著選擇對於期望的方位或仰角位置之BRIR對且將其應用到輸入音訊訊號，以將空間化音訊提供到頭戴式耳機735。在其他實施例中，選擇的BRIR資料集被儲存在經耦接到音訊顯現裝置730及/或頭戴式耳機735的單獨模組中。在其他實施例中，在僅有受限儲存為可用在顯現裝置之情形，顯現裝置僅儲存和聆聽者最佳匹配的關聯性質資料之識別或最佳匹配BRIR資料集之識別，且如所需要而從遠端伺服器710來即時下載期望的BRIR對(針對於選定的方位與仰角)。如稍早論述，這些BRIR對較佳為藉由關於適度規模的群體(即：大於100個個體)之入耳式麥克風的測量所導出，且連同關聯於各個BRIR資料集的類似影像相關性質而儲存。並非為取得所有7200個點，這些可部分由直接測量且部分由內插法所產生以形成BRIR對的球形柵格。即使有部分測量/部分內插的柵格，未落在柵格線上之另外的點可經內插，一旦適當方位與仰角值被使用以識別針對於來自BRIR資料集的一點之適當BRIR對。
一旦顧客所選擇的HRTF或BRIR資料集被選擇用於個體，這些個體化轉移函數被使用以使得使用者或系統能夠提供至少第一與第二空間音訊位置以供定位各別的媒體串流與語音通訊。換言之，一對轉移函數被用於第一與第二空間音訊位置各者以虛擬放置那些串流，且歸因於其分開空間音訊位置而 因此致使聆聽者能專注在他優先選用音訊串流(例如：電話通話或媒體串流)。本發明的範疇是意圖涵蓋包括而不限於關聯於視訊的音訊、與音樂之所有媒體串流。
雖然前述的本發明已經為了清楚瞭解而以某些細節來描述，將顯而易見的是，某些變化與修改可在隨附申請專利範圍的範疇內而實行。是以，本實施例將視為說明性質而非限制性質，且本發明並不受限於本文所給定的細節，而是可在隨附申請專利範圍的範疇與等效者內所修改。
700:系統
702:擷取裝置
704:影像感測器
706:處理器
710:遠端伺服器
712:選擇處理器
714:記憶體
715、716、717、718:行
720:BRIR產生模組
730:音訊顯現模組
732:記憶體
735:頭戴式耳機

Claims (20)

  1. 一種藉由使用空間音訊位置轉移函數資料集以處理事件的音訊處理裝置，所述裝置包含： 音訊顯現模組，其裝配以定位分別包含至少一語音通訊串流與一媒體串流之第一與第二音訊訊號於至少第一空間音訊位置與第二空間音訊位置之經選擇者，所述第一與第二空間音訊位置的各者是藉由使用來自所述空間音訊位置轉移函數資料集的各別第一與第二轉移函數所顯現； 監測模組，用以監測語音通訊事件之起始，所述事件包含接到電話通話，且在所述電話通話之起始時，藉由將所述語音通訊定位到所述第一空間音訊位置且將所述媒體串流定位到所述第二空間位置以處理所述第一與第二音訊訊號；及 輸出模組，其裝配以透過二個輸出頻道來將合成的所述音訊顯現到耦接對的頭戴式耳機。
  2. 如請求項1所述之音訊處理裝置，其中所述空間音訊位置轉移函數資料集是針對於個體所客製化的資料集之個體化頭部相關脈衝響應(HRIR, Head Related Impulse Response)資料集或個體化雙耳場所脈衝響應(BRIR, Binaural Room Impulse Response)資料集的一者。
  3. 如請求項2所述之音訊處理裝置，其更包含第二處理器，其裝配以從輸入影像來擷取針對於所述個體的基於影像性質且用於將所述基於影像性質傳送到選擇處理器，所述選擇處理器被裝配以從具有已經針對於一群個體所提供的複數個HRIR或BRIR資料集的候選庫之記憶體而確定所述個體化HRIR或BRIR資料集，所述HRIR或BRIR資料集各自關聯於其對應的基於影像性質。
  4. 如請求項3所述之音訊處理裝置，其中所述選擇處理器藉由存取所述候選庫、藉由比較針對於所述個體之擷取的所述基於影像性質和針對於所述候選庫之擷取的所述性質來確定所述個體化BRIR資料集，基於接近度度量以識別一個或多個BRIR資料集，且所使用的處理策略是多匹配、多辨識器型式、與基於叢集之一者。
  5. 如請求項2所述之音訊處理裝置，其中來自確定的所述個體化BRIR資料集之所述第一與第二空間音訊位置是從在所述記憶體中的捕捉資料集而藉由內插法或其他計算方法所導出，且其中所述第一與第二空間音訊位置分別包含前景與背景位置。
  6. 如請求項5所述之音訊處理裝置，其中在由所述個體聆聽者確定所述語音通話為較低優先順序且產生對應控制訊號時，所述語音通話被指向到所述背景位置且所述音樂被指向到所述前景位置。
  7. 如請求項2所述之音訊處理裝置，其中在由所述個體聆聽者確定所述語音通話為較低優先順序且產生對應控制訊號時，使用對應於針對於相同方向的不同距離之個體化BRIR，所述語音通話的視在距離被增大且所述音樂的視在距離被減小。
  8. 如請求項2所述之音訊處理裝置，其中從所述語音通訊和所述媒體串流之各別初始位置，到所述第一空間音訊位置的所述語音通訊之所述定位、以及到所述第二空間音訊位置的所述媒體串流之所述定位是以突發方式來實行。
  9. 如請求項2所述之音訊處理裝置，其更包括裝配以取得所述輸入影像之可攜式影像捕捉裝置，且其中所述音訊處理裝置是取得所述影像且擷取所述基於影像性質之行動電話、通訊裝置、或平板電腦的一者。
  10. 如請求項1所述之音訊處理裝置，其中所述音訊處理裝置被裝配以在所述語音通訊串流之終止時而將所述媒體串流重定位到所述第一空間音訊位置。
  11. 如請求項1所述之音訊處理裝置，其中所述媒體串流包含音樂。
  12. 如請求項1所述之音訊處理裝置，其中使用來自對應於針對於相同方向的不同距離之個體化BRIR的各別第一與第二空間音訊位置聲音轉移函數，所述語音通話的視在距離被增大且所述音樂的視在距離被減小。
  13. 如請求項1所述之音訊處理裝置，其中所述輸出模組是經由無線連接與有線連接的一者而耦接到所述頭戴式耳機。
  14. 如請求項1所述之音訊處理裝置，其中所述輸出模組包括數位至類比轉換器，且到所述頭戴式耳機之所述耦接是透過類比埠。
  15. 如請求項1所述之音訊處理裝置，其中所述輸出模組被裝配以將數位訊號通過到所述頭戴式耳機，且所述頭戴式耳機包括數位至類比轉換器。
  16. 如請求項1所述之音訊處理裝置，其更包含裝配以供選取針對於所述第一空間音訊位置與所述第二空間音訊位置的至少一者的位置之使用者介面。
  17. 一種用於處理到一組頭戴式耳機的音訊串流之方法，所述方法包含： 定位分別包含至少一語音通訊串流與一媒體串流之第一與第二音訊訊號於至少第一空間音訊位置與第二空間音訊位置之經選擇者，所述第一與第二空間音訊位置的各者是藉由使用來自空間音訊位置轉移函數資料集的各別第一與第二轉移函數所顯現； 監測語音通訊事件之起始，所述事件包含接到電話通話，且在所述電話通話之起始時，藉由將所述語音通訊定位到所述第一空間音訊位置且將所述媒體串流定位到所述第二空間音訊位置以處理所述第一與第二音訊訊號，其中至少一個關聯場所脈衝響應是針對於所述第二空間音訊位置而存在；且 透過二個輸出頻道來將合成的所述音訊顯現到耦接對的頭戴式耳機。
  18. 如請求項17所述之方法，其中所述空間音訊位置轉移函數資料集是針對於個體所客製化之HRIR資料集或BRIR資料集的一者。
  19. 如請求項18所述之方法，其中所述客製化包括從輸入影像來擷取針對於所述個體的基於影像性質，且將所述基於影像性質傳送到選擇處理器，所述選擇處理器被裝配以從具有已經針對於一群個體所提供的複數個HRIR或BRIR資料集的候選庫之記憶體而確定個體化HRIR或BRIR資料集，所述HRIR或BRIR資料集各自關聯於其對應的基於影像性質。
  20. 如請求項19所述之方法，其中確定所述個體化BRIR資料集包含在所述候選庫中的現存BRIR資料集之間的進行內插。
TW108142945A 2018-12-07 2019-11-26 用於多音訊串流之空間重定位的裝置和方法 TWI808277B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/213,979 US10966046B2 (en) 2018-12-07 2018-12-07 Spatial repositioning of multiple audio streams
US16/213,979 2018-12-07

Publications (2)

Publication Number Publication Date
TW202028929A TW202028929A (zh) 2020-08-01
TWI808277B true TWI808277B (zh) 2023-07-11

Family

ID=68732857

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108142945A TWI808277B (zh) 2018-12-07 2019-11-26 用於多音訊串流之空間重定位的裝置和方法

Country Status (7)

Country Link
US (1) US10966046B2 (zh)
EP (1) EP3664477B1 (zh)
JP (1) JP2020108143A (zh)
KR (1) KR20200070110A (zh)
CN (1) CN111294724B (zh)
SG (1) SG10201911051PA (zh)
TW (1) TWI808277B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201800147XA (en) 2018-01-05 2019-08-27 Creative Tech Ltd A system and a processing method for customizing audio experience
US10390171B2 (en) 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking
US11418903B2 (en) 2018-12-07 2022-08-16 Creative Technology Ltd Spatial repositioning of multiple audio streams
WO2022108494A1 (en) * 2020-11-17 2022-05-27 Dirac Research Ab Improved modeling and/or determination of binaural room impulse responses for audio applications
US11653166B2 (en) * 2021-05-27 2023-05-16 Qualcomm Incorporated Directional audio generation with multiple arrangements of sound sources
CN118044231A (zh) * 2021-10-06 2024-05-14 索尼集团公司 信息处理装置和数据结构
US11871208B2 (en) * 2022-01-14 2024-01-09 Verizon Patent And Licensing Inc. Methods and systems for spatial rendering of multi-user voice communication
CN114696961B (zh) * 2022-05-23 2022-11-15 荣耀终端有限公司 一种多媒体数据传输方法和设备
WO2024136091A1 (ko) * 2022-12-20 2024-06-27 한국전자통신연구원 임펄스 응답 결정 방법 및 상기 방법을 수행하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008806A1 (en) * 2010-07-08 2012-01-12 Harman Becker Automotive Systems Gmbh Vehicle audio system with headrest incorporated loudspeakers
TW201303851A (zh) * 2011-03-16 2013-01-16 Dts Inc 三維音訊聲軌之編碼與再生技術
US20150124975A1 (en) * 2013-11-05 2015-05-07 Oticon A/S Binaural hearing assistance system comprising a database of head related transfer functions
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call
US20150382127A1 (en) * 2013-02-22 2015-12-31 Dolby Laboratories Licensing Corporation Audio spatial rendering apparatus and method

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US984946A (en) * 1909-06-16 1911-02-21 Watson Simpson Lennon Car-coupling.
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US7756281B2 (en) 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
US7555354B2 (en) 2006-10-20 2009-06-30 Creative Technology Ltd Method and apparatus for spatial reformatting of multi-channel audio content
US8078188B2 (en) * 2007-01-16 2011-12-13 Qualcomm Incorporated User selectable audio mixing
US20120183161A1 (en) 2010-09-03 2012-07-19 Sony Ericsson Mobile Communications Ab Determining individualized head-related transfer functions
US9030545B2 (en) 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
WO2013149645A1 (en) 2012-04-02 2013-10-10 Phonak Ag Method for estimating the shape of an individual ear
CN105900457B (zh) * 2014-01-03 2017-08-15 杜比实验室特许公司 用于设计和应用数值优化的双耳房间脉冲响应的方法和系统
DE102014214143B4 (de) * 2014-03-14 2015-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Signals im Frequenzbereich
US9900722B2 (en) 2014-04-29 2018-02-20 Microsoft Technology Licensing, Llc HRTF personalization based on anthropometric features
DE102014210215A1 (de) * 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
US9602947B2 (en) 2015-01-30 2017-03-21 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
US9544706B1 (en) 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
JP6754619B2 (ja) 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
KR20180041668A (ko) 2015-08-14 2018-04-24 톰슨 라이센싱 포인트 클라우드로부터의 인간의 귀의 3ｄ 복원
FR3040807B1 (fr) 2015-09-07 2022-10-14 3D Sound Labs Procede et systeme d'elaboration d'une fonction de transfert relative a la tete adaptee a un individu
JP6803916B2 (ja) 2015-10-26 2020-12-23 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エレベーション・レンダリングを実現するフィルタリング済みオーディオ信号を生成する装置および方法
SG10201800147XA (en) 2018-01-05 2019-08-27 Creative Tech Ltd A system and a processing method for customizing audio experience
SG10201510822YA (en) 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
US9774979B1 (en) 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
FR3051951B1 (fr) 2016-05-27 2018-06-15 Mimi Hearing Technologies GmbH Procede d'elaboration d'un modele deformable en trois dimensions d'un element, et systeme associe
US9584946B1 (en) * 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
US10187740B2 (en) 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US10219095B2 (en) * 2017-05-24 2019-02-26 Glen A. Norris User experience localizing binaural sound during a telephone call
US10390171B2 (en) 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008806A1 (en) * 2010-07-08 2012-01-12 Harman Becker Automotive Systems Gmbh Vehicle audio system with headrest incorporated loudspeakers
TW201303851A (zh) * 2011-03-16 2013-01-16 Dts Inc 三維音訊聲軌之編碼與再生技術
US20150382127A1 (en) * 2013-02-22 2015-12-31 Dolby Laboratories Licensing Corporation Audio spatial rendering apparatus and method
US20150124975A1 (en) * 2013-11-05 2015-05-07 Oticon A/S Binaural hearing assistance system comprising a database of head related transfer functions
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call

Also Published As

Publication number Publication date
TW202028929A (zh) 2020-08-01
US10966046B2 (en) 2021-03-30
SG10201911051PA (en) 2020-07-29
JP2020108143A (ja) 2020-07-09
EP3664477B1 (en) 2024-07-03
CN111294724A (zh) 2020-06-16
KR20200070110A (ko) 2020-06-17
EP3664477A1 (en) 2020-06-10
US20200186954A1 (en) 2020-06-11
CN111294724B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
TWI808277B (zh) 用於多音訊串流之空間重定位的裝置和方法
US11445321B2 (en) Method for generating customized spatial audio with head tracking
US8073125B2 (en) Spatial audio conferencing
US9131305B2 (en) Configurable three-dimensional sound system
US11849303B2 (en) Spatial repositioning of multiple audio streams
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
CN113196805B (zh) 用于获得及再现双声道录音的方法
US20190394596A1 (en) Transaural synthesis method for sound spatialization
US12028699B2 (en) Playing binaural sound clips during an electronic communication
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム