TW202249502A - 在兩個音頻通道上之聲源的離散雙耳空間化 - Google Patents

在兩個音頻通道上之聲源的離散雙耳空間化 Download PDF

Info

Publication number
TW202249502A
TW202249502A TW111106362A TW111106362A TW202249502A TW 202249502 A TW202249502 A TW 202249502A TW 111106362 A TW111106362 A TW 111106362A TW 111106362 A TW111106362 A TW 111106362A TW 202249502 A TW202249502 A TW 202249502A
Authority
TW
Taiwan
Prior art keywords
signal
sound
source
audio
user
Prior art date
Application number
TW111106362A
Other languages
English (en)
Inventor
賽巴斯汀 艾利略特 查夫
菲利浦 羅賓森
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202249502A publication Critical patent/TW202249502A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

本發明係關於在一音頻系統之兩個音頻通道上之超過兩個聲源的雙耳空間化。收集各自自一對應聲源發出之聲音信號，且將在一聲音場景之一角度範圍內之一各別虛擬位置指派給每一聲源。藉由根據該各別虛擬位置而水平移動每一聲音信號來產生多源音頻信號。將一第一多源音頻信號空間化至一第一方向以產生一第一左信號及一第一右信號。將一第二多源音頻信號空間化至一第二方向以產生一第二左信號及一第二右信號。使用該第一左信號、該第二左信號、該第一右信號及該第二右信號產生一雙耳信號。該雙耳信號使得每一聲源呈現為源自其各別虛擬位置。

Description

在兩個音頻通道上之聲源的離散雙耳空間化
本發明大體上係關於在頭戴裝置處展示音頻，且具體言之係關於一種在耦接至頭戴裝置之音頻系統之兩個音頻通道上之聲源的離散雙耳空間化。
空間化多個虛擬聲源之傳統方法通過針對每一耳產生一個音頻通道信號的濾波器（例如，頭部相關轉換函數）來提供一個通道之非空間化音頻信號，同時併入空間提示以在收聽者周圍之聲音場景（亦即，實體空間）中之特定位置中產生每一虛擬聲源的感知。對於具有無線連接性（例如，與智慧型電話或控制台藍芽連接）之典型人工實境頭戴裝置情境，音頻信號僅經由兩個音頻通道傳輸至頭戴裝置，其限制到兩個虛擬聲源之聲音場景。
本揭示之具體實例支援用於在音頻系統之兩個音頻通道上之超過兩個聲源的離散雙耳空間化以用於向音頻系統之使用者展示音頻內容之一種方法、電腦可讀取媒體和設備。音頻系統之至少一部分整合於由使用者穿戴之頭戴裝置中。在音頻系統處收集各自自複數個聲源中之對應聲源發出之複數個聲音信號。將在聲音場景之角度範圍內之各別虛擬位置指派給每一聲源。藉由根據各別虛擬位置水平移動每一聲音信號來產生第一多源音頻信號及第二多源音頻信號。將第一多源音頻信號空間化至第一方向以產生第一左信號及第一右信號。將第二多源音頻信號空間化至第二方向以產生第二左信號及第二右信號。使用第一左信號、第二左信號、第一右信號及第二右信號產生雙耳信號。由音頻系統產生之雙耳信號使得每一聲源向使用者呈現為源自各別虛擬位置。
本揭示之具體實例係關於一種在音頻系統之一對音頻通道上之超過兩個聲源（例如，虛擬聲源）的離散雙耳空間化。本揭示描述一種用於產生源自超過兩個聲源之雙耳信號之方法及系統，使得雙耳信號向音頻系統之使用者呈現為源自使用者穿戴之頭戴裝置（例如，人工實境眼鏡）周圍之聲音場景內之聲源的各別虛擬位置。聲源之虛擬位置為聲音場景內之位置，感知來自聲源之聲音自該位置起源。在一些具體實例中，音頻系統完全整合於頭戴裝置中。在一些其他具體實例中，音頻系統分佈於多個裝置當中，諸如在計算裝置（例如，智慧型電話或控制台）與介接（例如，經由無線連接）計算裝置之頭戴裝置之間。由於通信頻寬要求，音頻系統僅利用兩個音頻通道以用於通信，諸如頭戴裝置處之一對音頻通道（若音頻系統完全整合於頭戴裝置中），或在計算裝置與頭戴裝置之間的一對音頻通道（若音頻系統分佈於計算裝置與頭戴裝置之間）。因此，本文中所展示之音頻系統利用其兩個音頻通道以用於執行超過兩個聲源之離散雙耳空間化。本文中所展示之音頻系統應用定位求和與仿真源感知現象組合，以用於在聲音場景中置放超過兩個聲源同時僅利用兩個音頻通道。
本文中所展示之音頻系統收集各自自複數個聲源中之對應聲源發出之複數個聲音信號，且將在聲音場景之角度範圍內之各別虛擬位置指派給每一聲源。音頻系統藉由根據其各別虛擬位置而水平移動每一聲音信號來產生與聲音場景之第一方向相關聯之第一多源音頻信號及與聲音場景之第一方向相關聯之第二多源音頻信號。音頻系統將第一多源音頻信號空間化至第一方向以產生第一左信號及第一右信號。類似地，音頻系統將第二多源音頻信號空間化至第二方向以產生第二左信號及第二右信號。音頻系統藉由組合第一左信號、第二左信號、第一右信號以及第二右信號而產生雙耳信號以用於向使用者展示。用於向使用者展示之所產生雙耳信號使得每一聲源向使用者呈現為源自其各別虛擬位置。
本文中所展示之音頻系統應用一種方案，該方案促進在頭戴裝置之使用者周圍之聲音場景內置放超過兩個虛擬聲源，同時採用用於在音頻系統與頭戴裝置之間傳達音頻信號的現有頻寬要求。此在本文中藉由獨立聲源之離散空間化來達成，該獨立聲源產生與音頻系統之一對音頻通道相容之一對空間化多源音頻信號。該對空間化多源音頻信號饋入至兩個音頻通道中以用於向使用者展示。
本發明之具體實例可包括人工實境系統或結合人工實境系統實施。人工實境為在向使用者展示之前已以一些方式調整之實境形式，其可包括例如虛擬實境（virtual reality；VR）、擴增實境（augmented reality；AR）、混合實境（mixed reality；MR）、混雜實境或其某一組合及/或其衍生物。人工實境內容可包括完全所產生內容或與所擷取（例如，真實世界）內容組合之所產生內容。人工實境內容可包括視訊、音頻、觸覺反饋或其某一組合，其中之任一者可在單一通道中或在多個通道中（諸如，對觀看者產生三維效應之立體聲視訊）展示。另外，在一些具體實例中，人工實境亦可與用以在人工實境中產生內容及/或以其他方式用於人工實境中之應用程式、產品、附件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上，包括連接至主電腦系統之頭戴式裝置（例如，頭戴裝置）、獨立穿戴式裝置（例如，頭戴裝置）、行動裝置或計算系統，或能夠向一或多個觀看者提供人工實境內容之任何其他硬體平台。
圖1A為根據一或多個具體實例之實施為護目鏡裝置之頭戴裝置100的透視圖。在一些具體實例中，護目鏡裝置為近眼顯示器（near eye display；NED）。大體而言，頭戴裝置100可穿戴於使用者之面部上，使得內容（例如，媒體內容）使用顯示組合件及/或音頻系統予以展示。然而，亦可使用頭戴裝置100，使得媒體內容以不同方式向使用者展示。藉由頭戴裝置100展示之媒體內容之實例包括一或多個影像、視訊、音頻或其某一組合。頭戴裝置100包括框架，且可包括其中包含一或多個顯示元件120之顯示組合件、深度攝影機組合件（depth camera assembly；DCA）、音頻系統及位置感測器190以及其他組件。儘管圖1A在頭戴裝置100上之實例位置中說明頭戴裝置100之組件，組件可位於頭戴裝置100上之別處、與頭戴裝置100配對之周邊裝置上或其某一組合。類似地，在頭戴裝置100上可存在比圖1A中所展示組件更多或更少的組件。
框架110固持頭戴裝置100之其他組件。框架110包括固持一或多個顯示元件120之前部部分，及附接至使用者之頭部之末端零件（例如，邊撐機構）。框架110之前部部分橋接使用者之鼻子的頂部。末端零件之長度可為可調整的（例如，可調整的邊撐長度）以適合不同使用者。末端零件亦可包括在使用者之耳後方捲曲之部分（例如，邊撐尖端、耳機）
一或多個顯示元件120向穿戴頭戴裝置100之使用者提供光。如所說明，頭戴裝置包括用於使用者之每一眼睛之顯示元件120。在一些具體實例中，顯示元件120產生提供至頭戴裝置100之眼框之影像光。眼框為使用者在穿戴頭戴裝置100時其眼睛佔據之空間中的位置。舉例而言，顯示元件120可為波導顯示器。波導顯示器包括光源（例如，二維源、一或多個線源、一或多個點源等）及一或多個波導。來自光源之光內耦合至一或多個波導中，該一或多個波導以使得在頭戴裝置100之眼框中存在光瞳複製之方式輸出光。可使用一或多個繞射光柵進行來自一或多個波導之光的內耦合及/或外耦合。在一些具體實例中，波導顯示器包括掃描元件（例如，波導、鏡面等），該掃描元件在光內耦合至一或多個波導中時掃描來自光源之光。應注意在一些具體實例中，顯示元件120中之一個或兩個為不透明且並不透射來自頭戴裝置100周圍之局部區域的光。局部區域為環繞頭戴裝置100之區域。舉例而言，局部區域可為穿戴頭戴裝置100之使用者在其內部之房間，或穿戴頭戴裝置100之使用者可在外部且局部區域為外部區域。在此上下文中，頭戴裝置100產生VR內容。替代地，在一些具體實例中，顯示元件120中之一個或兩個至少部分地透明，使得來自局部區域之光可與來自一或多個顯示元件之光組合以產生AR及/或MR內容。
在一些具體實例中，顯示元件120不產生影像光，且替代地為將來自局部區域之光傳輸至眼框之透鏡。舉例而言，顯示元件120中之一個或兩個可為不具有校正之透鏡（不具度數）或具度數透鏡（例如，單視覺、雙焦及三焦或漸進）以有助於校正使用者的視力中之缺陷。在一些具體實例中，顯示元件120可經偏振及/或染色以保護使用者之眼睛免受太陽傷害。
在一些具體實例中，顯示元件120可包括額外光學區塊（未展示）。光學區塊可包括將來自顯示元件120之光導向至眼框之一或多個光學元件（例如，透鏡、菲涅爾透鏡（Fresnel lens）等）。光學區塊可例如校正影像內容中之一些或所有中的畸變，放大影像中之一些或所有或其某一組合。
DCA判定環繞頭戴裝置100之局部區域之部分的深度資訊。DCA包括一或多個成像裝置130及DCA控制器（圖1A中未展示），且亦可包括照明器140。在一些具體實例中，照明器140用光照明局部區域之部分。光可為例如在紅外線（infrared；IR）、用於飛行時間之IR閃光等中之結構化光（例如，點圖案、條等）。在一些具體實例中，一或多個成像裝置130擷取包括來自照明器140之光之局部區域之部分的影像。如所說明，圖1A展示單個照明器140及兩個成像裝置130。在替代具體實例中，不存在照明器140及至少兩個成像裝置130。
DCA控制器使用經擷取影像及一或多個深度判定技術來計算局部區域之部分的深度資訊。深度判定技術可為例如直接飛行時間（time-of-flight；ToF）深度感測、間接ToF深度感測、結構化光、被動立體聲分析、主動立體聲分析（藉由來自照明器140之光使用添加至場景之紋理），判定場景之深度之一些其他技術或其某一組合。
音頻系統提供音頻內容。音頻系統包括轉換器陣列、感測器陣列及音頻控制器150。然而，在其他具體實例中，音頻系統可包括不同及/或額外組件。類似地，在一些情況下，參考音頻系統之組件所描述之功能性可以與在此所描述之方式不同的方式分佈於組件當中。舉例而言，音頻控制器150之功能中之一些或所有可藉由遠端伺服器執行。
轉換器陣列向使用者展示聲音。轉換器陣列包括複數個轉換器。轉換器可為揚聲器160或組織轉換器170（例如，骨傳導轉換器或軟骨傳導轉換器）。儘管揚聲器160展示在框架110外部，但揚聲器160可密封於框架110中。組織轉換器170耦接至使用者之頭部且直接振動使用者之組織（例如，硬骨或軟骨）以產生聲音。根據本揭示之具體實例，轉換器陣列包含兩個轉換器（例如，兩個揚聲器160、兩個組織轉換器170或一個揚聲器160及一個組織轉換器170），亦即每一耳一個轉換器。轉換器之位置可不同於圖1A中所展示之位置。
感測器陣列偵測頭戴裝置100之局部區域內之聲音。感測器陣列包括複數個聲波感測器180。聲波感測器180擷取自局部區域（例如，房間）中之一或多個聲源發出之聲音。每一聲波感測器經組態以偵測聲音且將偵測到的聲音轉化為電子格式（類比或數位）。聲波感測器180可為聲波感測器、麥克風、聲音轉換器或適合於偵測聲音之類似感測器。
在一些具體實例中，一或多個聲波感測器180可置放於每一耳之耳道中（例如，充當雙耳麥克風）。在一些具體實例中，聲波感測器180可置放於頭戴裝置100之外部表面上，置放於頭戴裝置100之內部表面上，與頭戴裝置100（例如，一些其他裝置之部分）分離，或其某一組合。聲波感測器180之數目及/或位置可不同於圖1A中所展示之數目及/或位置。舉例而言，可增加聲波偵測位置的數目以增加所收集音頻資訊之量及資訊之靈敏度及/或準確度。聲波偵測位置可定向成使得麥克風能夠在環繞穿戴頭戴裝置100之使用者的廣泛範圍之方向上偵測聲音。
音頻控制器150處理來自感測器陣列之描述藉由感測器陣列偵測到之聲音的資訊。音頻控制器150可包含處理器及非暫時性電腦可讀取儲存媒體。音頻控制器150可經組態以產生到達方向（direction of arrival；DOA）估計，產生聲波轉換函數（例如，陣列轉換函數及/或頭部相關轉換函數），追蹤聲源之位置，在聲源之方向形成光束、分類聲源、產生揚聲器160之聲音濾波器或其某一組合。
根據本揭示之具體實例，音頻控制器150執行在音頻系統之一對音頻通道之超過兩個聲源（例如，虛擬聲源）的離散雙耳空間化。音頻控制器150可產生源自超過兩個聲源之雙耳信號，使得雙耳信號向音頻系統之使用者呈現為源自頭戴裝置100周圍之聲音場景內之聲源的各別虛擬位置。所產生雙耳信號可向使用者展示，例如經由揚聲器160及/或組織轉換器170。
音頻控制器150可首先收集（例如，在非暫時性電腦可讀取儲存媒體處）各自自對應聲源發出之複數個聲音信號。音頻控制器150可將在聲音場景之角度範圍內之各別虛擬位置指派給每一聲源。音頻控制器150可藉由根據每一聲源之各別虛擬位置而分割及水平移動每一聲音信號之能量以產生多源音頻信號，來執行對自超過兩個聲源發出之聲音信號之感知定位求和。特定角度方向（例如，匹配角度範圍之邊界）可指派給音頻系統之每一音頻通道。每一多源聲音信號可饋入至音頻系統之各別音頻通道中以用於在特定角度方向上進行空間化（例如，藉由經由音頻控制器150應用對應聲音濾波器）且產生向使用者呈現為源自每一聲源之各別虛擬位置之雙耳信號。
以此方式，音頻系統能夠在經指派給角度範圍之特定角度方向（例如，匹配角度範圍之邊界之角度方向）之一對聲源之間添加額外聲源（例如，講話者）。在例示性情況下，音頻系統記錄（例如，藉由音頻控制器150）具有總共三個不同呼叫者（亦即，聲源或講話者）之空間群組呼叫。聲音場景之角度範圍（例如，120°之角度範圍）可在三個不同聲源當中均勻劃分，且將具有對應角度方向之各別虛擬位置指派給每一聲源。所有聲源可在聲音場景內處於相同仰角。大體而言，聲源可在聲音場景內之任何兩個點之間散佈。
在一些具體實例中，聲源中之兩者可指派給匹配角度範圍之邊界之虛擬位置，例如指派給具有+60°及-60°之角度方向之聲音場景的虛擬位置。可將第三聲源指派給在其他兩個聲源之間的中心位置，例如指派給具有0°之角度方向之聲音場景的虛擬位置。音頻控制器150可能均勻分割（亦即，平移）來自兩個音頻通道之間的第三聲源之聲音信號的能量，且來自第三聲源之聲音信號將呈現為源自其他兩個聲源之間的聲音場景之中心位置。此係由於兩個定位提示（例如，對應於+60°及-60°之角度方向）在感知上求和對應於0°之角度方向之虛擬位置。其他兩個聲源之虛擬位置不受影響，此係由於其他兩個聲源之聲音信號各自具有與單一虛擬位置（例如，具有+60°或-60°之角度方向之虛擬位置）相關聯之空間提示。儘管與來自其他兩個聲源之聲音信號一起混合，但源自第三聲源之聲音信號在音頻系統之兩個音頻通道中為相干的，且僅來自第三聲源之聲音信號之彼等相干部分進行感知求和定位。
在一些具體實例中，音頻系統完全整合於頭戴裝置100中。在一些其他具體實例中，音頻系統分佈於多個裝置當中，諸如在計算裝置（例如，智慧型電話或控制台）與頭戴裝置100之間。計算裝置可與頭戴裝置100介接（例如，經由有線或無線連接）。在此等情況下，本文中所展示之處理步驟中之一些可在整合於計算裝置中之音頻系統的部分處執行。舉例而言，音頻控制器150之一或多個功能可在計算裝置處實施。與圖2、圖3A至3B、圖4及圖5結合描述關於音頻系統之結構及操作之更多細節。
位置感測器190回應於頭戴裝置100之運動而產生一或多個量測信號。位置感測器190可位於頭戴裝置100之框架110的部分上。位置感測器190可包括慣性量測單元（inertial measurement unit；IMU）。位置感測器190之實例包括：一或多個加速度計、一或多個陀螺儀、一或多個磁力計、偵測運動之另一適合類型的感測器、用於IMU之錯誤校正的一種類型之感測器，或其某一組合。位置感測器190可位於IMU外部、IMU內部，或其某一組合。
音頻系統可使用描述頭戴裝置100（例如，自位置感測器190）之位置資訊來更新聲源之虛擬位置，使得聲源相對於頭戴裝置100在位置上鎖定。在此情況下，當穿戴頭戴裝置100之使用者轉動其頭部時，虛擬源之虛擬位置隨著頭部移動。替代地，虛擬源之虛擬位置不相對於頭戴裝置100之位向鎖定。在此情況下，在穿戴頭戴裝置100之使用者轉動其頭部時，聲源之明顯虛擬位置將不改變。
在一些具體實例中，頭戴裝置100可提供用於頭戴裝置100之位置之同時定位與地圖構建（simultaneous localization and mapping；SLAM）及局部區域之模型之更新。舉例而言，頭戴裝置100可包括產生彩色影像資料之被動攝影機組合件（passive camera assembly；PCA）。PCA可包括擷取局部區域中之一些或所有的影像之一或多個RGB攝影機。在一些具體實例中，DCA之成像裝置130中之一些或所有亦可充當PCA。藉由PCA擷取之影像及藉由DCA判定之深度資訊可用於判定局部區域之參數，產生局部區域之模型，更新局部區域之模型或其某一組合。此外，位置感測器190追蹤頭戴裝置100在房間內之位置（例如，位置及姿勢）。關於頭戴裝置100之組件之額外細節下文結合圖2、圖3A至3B及圖5論述。
圖1B為根據一或多個具體實例之實施為HMD之頭戴裝置105的透視圖。在描述AR系統及/或MR系統的具體實例中，HMD之前側之部分在可見頻帶（約380 nm至750 nm）中至少部分透明，且HMD之在HMD之前側與使用者之眼睛之間的部分至少部分透明（例如，部分透明的電子顯示器）。HMD包括前部剛體115及帶部175。頭戴裝置105包括上文參考圖1A所描述之許多相同組件，但經修改以與HMD外觀尺寸整合。舉例而言，HMD包括顯示組合件、DCA、音頻系統及位置感測器190。圖1B展示照明器140、複數個揚聲器160、複數個成像裝置130、複數個聲波感測器180及位置感測器190。揚聲器160可位於各種位置中，諸如耦接至帶部175（如所展示），耦接至前部剛體115或可經組態以插入於使用者之耳道內。
圖2為根據一或多個具體實例之音頻系統200的方塊圖。圖1A或圖1B中之音頻系統可為音頻系統200之具體實例。音頻系統200產生用於使用者之一或多個聲波轉換函數。音頻系統200接著可使用一或多個聲波轉換函數以為使用者產生音頻內容。在圖2之具體實例中，音頻系統200包括轉換器陣列210、感測器陣列220及音頻控制器230。音頻系統200之一些具體實例具有與本文所描述之組件不同的組件。類似地，在一些情況下，功能可以與此處描述之方式不同的方式分佈於組件當中。
轉換器陣列210經組態以展示音頻內容。轉換器陣列210包括一對轉換器，亦即，每一耳一個轉換器。轉換器為提供音頻內容之裝置。轉換器可為例如揚聲器（例如，揚聲器160）、組織轉換器（例如，組織轉換器170）、提供音頻內容之一些其他裝置或其某一組合。組織轉換器可經組態以充當骨傳導轉換器或軟骨傳導轉換器。轉換器陣列210可經由空氣傳導（例如，經由一個或兩個揚聲器）、經由骨傳導（經由一個或兩個骨傳導轉換器）、經由軟骨傳導音頻系統（經由一個或兩個軟骨傳導轉換器）或其某一組合展示音頻內容。
骨傳導轉換器藉由振動使用者之頭部中之骨/組織來產生聲壓波。骨傳導轉換器可耦接至頭戴裝置之部分，且可經組態以在耦接至使用者之頭骨之部分的耳廓後方。骨傳導轉換器接收來自音頻控制器230之振動指令，且基於接收到之指令而振動使用者之頭骨的部分。來自骨傳導轉換器之振動產生組織承載聲壓波，該組織承載聲壓波朝向使用者之耳蝸傳播且繞過鼓膜。
軟骨傳導轉換器藉由振動使用者之耳之耳軟骨的一或多個部分來產生聲壓波。軟骨傳導轉換器可耦接至頭戴裝置之部分，且可經組態以耦接至耳之耳軟骨的一或多個部分。舉例而言，軟骨傳導轉換器可耦接到使用者之耳之耳廓的背面。軟骨傳導轉換器可沿著外部耳周圍之耳軟骨位於任何地方（例如，耳廓、耳屏、耳軟骨之一些其他部分或其某一組合）。振動耳軟骨之一或多個部分可產生：耳道外部之空中聲壓波；使得耳道之一些部分振動之組織承載聲壓波，由此在耳道內產生空中聲壓波；或其某一組合。所產生的空中聲壓波沿耳道朝向耳鼓膜傳播。
轉換器陣列210根據來自音頻控制器230之指令產生音頻內容。在一些具體實例中，將音頻內容空間化。經空間化音頻內容作為呈現為源自特定方向及/或目標區（例如，局部區域及/或虛擬物件中之物件）之音頻內容。舉例而言，經空間化音頻內容可使得其呈現聲音源自從音頻系統200之使用者穿過房間的虛擬演唱者。轉換器陣列210可耦接至穿戴式裝置（例如，頭戴裝置100或頭戴裝置105）。在替代具體實例中，轉換器陣列210可為與穿戴式裝置分離（例如，耦接至外部控制台）之一對揚聲器。
感測器陣列220偵測環繞感測器陣列220之局部區域內的聲音。感測器陣列220可包括複數個聲波感測器，該複數個聲波感測器各自偵測聲波之氣壓變化且將偵測到的聲音轉化為電子格式（類比或數位）。複數個聲波感測器可定位於頭戴裝置（例如，頭戴裝置100及/或及/或頭戴裝置105）、使用者（例如，使用者之耳道中）、頸帶或其某一組合上。聲波感測器為可麥克風、振動感測器、加速度計或其任何組合。在一些具體實例中，感測器陣列220經組態以使用複數個聲波感測器中之至少一些來監測藉由轉換器陣列210產生之音頻內容。增大感測器之數目可改善描述藉由轉換器陣列210產生之聲場及/或來自局部區域之聲音的資訊（例如，方向性）之準確性。
音頻控制器230控制音頻系統200之操作。在圖2之具體實例中，音頻控制器230包括資料儲存器235、DOA估計模組240、轉換函數模組250、追蹤模組260、波束成形模組270及聲音濾波器模組280。在一些具體實例中，音頻控制器230可位於頭戴裝置內部。音頻控制器230之一些具體實例具有與本文所描述之組件不同的組件。類似地，功能可以與此處描述之方式不同的方式分佈於組件當中。舉例而言，音頻控制器230之一些功能可在頭戴裝置外部執行。使用者可選擇加入以允許音頻控制器230將藉由頭戴裝置擷取之資料傳輸至頭戴裝置外部之系統，且使用者可選擇控制對任何此類資料之存取的隱私設定。
資料儲存器235儲存供音頻系統200使用之資料。資料儲存器235中之資料可包括記錄於音頻系統200之局部區域中之聲音、音頻內容、頭部相關轉換函數（head-related transfer functio；HRTF）、一或多個感測器之轉換函數、聲波感測器中之一或多個的陣列轉換函數（array transfer functio；ATF）、聲源位置、局部區域之虛擬模型、到達方向估計、聲音濾波器、聲源之虛擬位置、多源音頻信號、每一耳之轉換器（例如，揚聲器）之信號及供音頻系統200使用之其他相關資料或其任何組合。資料儲存器235可實施為非暫時性電腦可讀取儲存媒體。根據本揭示之具體實例，資料儲存器235可充當緩衝器以收集及儲存各自自複數個聲源中之對應（虛擬）聲源發出之複數個聲音信號。複數個聲源可為例如與音頻系統200之使用者進行會議通話之不同人。
使用者可選擇允許資料儲存器235記錄藉由音頻系統200擷取之資料。在一些具體實例中，音頻系統200可始終採用記錄，其中音頻系統200記錄藉由音頻系統200擷取之所有聲音，以便改善使用者之體驗。使用者可選擇加入或選擇退出以允許或防止音頻系統200記錄、儲存所記錄資料或將所記錄資料傳輸至其他實體。
DOA估計模組240經組態以部分基於來自感測器陣列220之資訊來定位局部區域中之聲源。定位為判定聲源相對於音頻系統200之使用者位於何處之過程。DOA估計模組240執行DOA分析以定位局部區域內之一或多個聲源。DOA分析可包括分析感測器陣列220處之每一聲音的強度、頻譜及/或到達時間以判定聲音源自的方向。在一些情況下，DOA分析可包括用於分析音頻系統200所位於之聲波環境周圍之任何適合演算法。
舉例而言，DOA分析可經設計以自感測器陣列220接收輸入信號，且將數位信號處理演算法應用於輸入信號以估計到達方向。此等演算法可包括例如輸入信號經取樣之延遲及求和演算法，且經取樣信號之所得經加權及延遲版本共同地經平均化以判定DOA。最小均方（least mean squared；LMS）演算法亦可經實施以產生適應性濾波器。此適應性濾波器接著可用於標識例如信號強度之差或到達時間之差。此等差接著可用於估計DOA。在另一具體實例中，可藉由將輸入信號轉化為頻域且在時頻（time-frequency；TF）域內選擇特定區間進行處理來判定DOA。每一選定的TF區間可經處理以判定彼區間是否包括具有直接路徑音頻信號之音頻頻譜的一部分。具有直接路徑信號之一部分的彼等區間接著可經分析以標識感測器陣列220接收直接路徑音頻信號之角度。經判定角度接著可用於標識用於接收到之輸入信號之DOA。上文未所列之其他演算法亦可單獨或結合以上演算法使用以判定DOA。
在一些具體實例中，DOA估計模組240亦可判定相對於局部區域內之音頻系統200之絕對位置的DOA。感測器陣列220之位置可自外部系統接收（例如，頭戴裝置之一些其他組件、人工實境控制台、映射伺服器、位置感測器（例如位置感測器190）等）。外部系統可產生局部區域之虛擬模型，其中映射有音頻系統200之局部區域及位置。接收到之位置資訊可包括音頻系統200中之一些或所有（例如，感測器陣列220）的位置及/或位向。DOA估計模組240可基於接收到之位置資訊而更新所估計的DOA。
轉換函數模組250經組態以產生一或多個聲波轉換函數。大體而言，轉換函數為得出每一可能輸入值之對應輸出值之數學函數。基於偵測到的聲音之參數，轉換函數模組250產生與音頻系統相關聯之一或多個聲波轉換函數。聲波轉換函數可為ATF、HRTF、其他類型之聲波轉換函數或其某一組合。ATF表徵麥克風如何自空間中之位點接收聲音。
ATF包括數個轉換函數，表徵在聲源與藉由感測器陣列220中之聲波感測器接收之對應聲音之間的關係。因此，對於聲源，存在用於感測器陣列220中之聲波感測器中之每一者的對應轉換函數。且共同地，轉換函數之集合稱為ATF。因此，對於每一聲源存在對應ATF。應注意，聲源可為例如在局部區域、使用者或轉換器陣列210之一或多個轉換器中產生聲音之某人或某物。用於相對於感測器陣列220之特定聲源位置之ATF在使用者之間可能不同，其歸因於當聲音行進至個人之耳時影響聲音之個人的解剖結構（例如，耳形狀、肩部等）。因此，針對音頻系統200之每一使用者使感測器陣列220之ATF個人化。
在一些具體實例中，轉換函數模組250判定音頻系統200之使用者之一或多個HRTF。HRTF表徵耳如何自空間中之位點接收聲音。相對於個人之特定源位置之HRTF針對個人之每一耳為唯一的（且對於個人為唯一的），此係由於當聲音行進至個人的耳時影響聲音之個人的解剖結構（例如，耳形狀、肩部等）。在一些具體實例中，轉換函數模組250可使用校準程序來判定使用者之HRTF。在一些具體實例中，轉換函數模組250可將關於使用者之資訊提供至遠端系統。使用者可調整隱私設定以允許或防止轉換函數模組250將關於使用者之資訊提供至任何遠端系統。遠端系統判定使用例如機器學習為使用者定製之HRTF之集合，且將經定製HRTF之集合提供至音頻系統200。
追蹤模組260經組態以追蹤一或多個聲源之位置。追蹤模組260可比較當前DOA估計且將其與先前DOA估計之所儲存歷史進行比較。在一些具體實例中，音頻系統200可在週期性排程上重新計算DOA估計，諸如每秒一次或每毫秒一次。追蹤模組可將當前DOA估計與先前DOA估計進行比較，且回應於聲源之DOA估計中之改變，追蹤模組260可判定聲源移動。在一些具體實例中，追蹤模組260可基於自頭戴裝置或一些其他外部來源接收到之視覺資訊而偵測位置中之改變。追蹤模組260可隨著時間推移追蹤一或多個聲源之移動。追蹤模組260可在每一時間點處儲存數個聲源之值及每一聲源之位置。回應於聲源之數目或位置之值中的改變，追蹤模組260可判定聲源移動。追蹤模組260可計算定位變化之估計。定位變化可用作對於移動中之改變之每一判定的信賴等級。
波束成形模組270經組態以處理一或多個ATF以選擇性地著重來自某一區域內之聲源的聲音，同時去著重來自其他區域之聲音。在分析藉由感測器陣列220偵測之聲音中，波束成形模組270可組合來自不同聲波感測器之資訊以著重來自局部區域之特定區之相關聯聲音，同時去著重來自該區外部之聲音。波束成形模組270可基於例如來自DOA估計模組240及追蹤模組260之不同DOA估計而將與來自特定聲源之聲音相關聯之音頻信號與局部區域中之其他聲源分離。波束成形模組270可因此選擇性地分析局部區域中之離散聲源。在一些具體實例中，波束成形模組270可增強來自聲源之信號。舉例而言，波束成形模組270可應用消除某些頻率以上、以下或之間的信號之聲音濾波器。信號增強用以相對於藉由感測器陣列220偵測之其他聲音來增強與給定標識聲源相關聯之聲音。
聲音濾波器模組280判定轉換器陣列210之聲音濾波器。在一些具體實例中，聲音濾波器使得音頻內容空間化，使得音頻內容呈現為源自目標區。聲音濾波器模組280可使用HRTF及/或聲波參數以產生聲音濾波器。聲波參數描述局部區域之聲波性質。聲波參數可包括例如混響時間、混響等級、室內脈衝回應等。在一些具體實例中，聲音濾波器模組280計算聲波參數中之一或多者。在一些具體實例中，聲音濾波器模組280自映射伺服器請求聲波參數（例如，如下文相對於圖5所描述）。
在一些具體實例中，相同（亦即，靜態）聲音濾波器（例如，HRTF）應用於使用者之頭部之不同位置，因此鎖定聲源相對於使用者之頭部位置之虛擬位置，亦即聲源之虛擬位置為「頭部鎖定的」。替代地，聲音濾波器模組280可基於使用者之頭部位置而更新聲音濾波器，因此鎖定局部區域內之聲源的虛擬位置，亦即聲源位置之虛擬位置為「世界鎖定的」。藉由聲音濾波器模組280判定之聲音濾波器可與音頻系統200之兩個音頻通道相關聯。在此情況下，虛擬聲源呈現在相同仰角處。然而，若音頻系統200包括一或多個額外音頻通道（例如總共三個音頻通道），則可應用與額外音頻通道相關聯之一或多個額外聲音濾波器，且虛擬聲源可呈現在不同仰角處，亦即虛擬聲源可置放於任何空間點內之聲音場景中（例如，空間中之三個位點）。類似地，如在具有相同仰角之聲源之情況下，具有不同仰角之聲源之虛擬位置可為頭部鎖定的或世界鎖定的。
聲音濾波器模組280將聲音濾波器提供至轉換器陣列210。在一些具體實例中，聲音濾波器可引起隨著頻率而變之聲音的正放大或負放大。關於聲音濾波器之應用之額外細節與圖3A結合描述。
圖3A為根據一或多個具體實例之在音頻系統200處實施之複數個離散聲源之離散雙耳空間化的方塊圖。資料儲存器235可記錄及收集各自自複數個聲源中之對應聲源發出之複數個聲音信號305A、305B、…、305N（亦即，超過兩個聲音信號）。因此，資料儲存器235可充當記憶體緩衝器。複數個聲源可為例如與音頻系統200之使用者進行會議通話之不同人。替代地，可處音頻控制器230之一些其他模組處，或在與音頻系統200及音頻控制器230介接（例如，經由無線連接）之計算裝置（例如，智慧型手機、控制台、遠端伺服器等）處收集聲音信號305A、305B、…、305N。
音頻控制器230可將音頻系統200周圍之在聲音場景之角度範圍內的各別虛擬位置指派給每一聲源。舉例而言，聲音場景之角度範圍可為120°，例如跨越-60°與+60°之間。指派給所有聲源之虛擬位置可位於相同仰角處之聲音場景內。在具體實例中，聲源置放於具有0°之仰角之使用者前方的水平面中。在另一具體實例中，聲源置放於地平線之下，例如具有-30°之角度仰角。在又一具體實例中，聲源置放於地平線之上，例如具有+30°之角度仰角。在又一具體實例中，聲源跨對角線分佈於聲音場景中。
在一些具體實例中，虛擬位置可根據在角度範圍內之虛擬位置的均一分佈來指派給聲源，亦即，所指派虛擬位置可在聲音場景之角度範圍內彼此相等地分離，其提供聲源當中之最大化話語可懂度。大體而言，在具有相同仰角之聲源相等地分佈於聲音場景內時，在每兩個鄰近虛擬位置之間的角分離度等於 AR/(NS-1)，其中 AR為角度範圍（例如120°）且 NS為相等地分佈於聲音場景內之獨立聲源之數目。在聲音場景內具有不同仰角之聲源之虛擬位置之相等空間分離亦可提供最大化話語可懂度。在一些其他具體實例中，虛擬位置可根據一或多個其他分佈來指派給聲源。
在具體實例中，僅存在四個獨立聲音信號，305A至305D。在此情況下，各自發出對應獨立聲音信號305A至305D之四個獨立聲源可相等地分佈於用於使用者之感知的聲音場景內。可在資料儲存器235處記錄及收集聲音信號305A至305D。匹配角度範圍之第一邊界之第一虛擬位置可指派給為聲音信號305A起源之第一聲源，例如第一虛擬位置可在聲音場景內具有+60°之角度方向。類似地，匹配角度範圍之第二邊界的第四虛擬位置可指派給為聲音信號305D起源之第四聲源，例如第四虛擬位置可在聲音場景中具有-60°之角度方向。第二虛擬位置可指派給為聲音信號305B起源之第二聲源，該第二虛擬位置在聲音場景中具有+20°之角度方向。最後，第三虛擬位置可指派給為聲音信號305C起源之第三聲源，該第三虛擬位置在聲音場景中具有-20°之角度方向。因此，在 NS=4個獨立聲源之情況下，每兩個鄰近虛擬位置之間的角分離度為120°/3=40°。
在另一具體實例中，經由聲音場景內之非均一間隔來指派聲源之至少一部分，例如在-20°與+60°之間。另外，至少一個聲源（例如，最大聲聲源）可置放於其他聲源指派給之角度範圍外部之聲音場景內。舉例而言，最大聲聲源可指派給具有-50°之角度方向之虛擬位置。若聲源不置放於聲音場景內以彼此交疊，則可改善具有響度中之實質性差異之聲源之使用者的感知。大體而言，較大聲源之較大空間分離將允許較安靜聲源之較大可懂度。
音頻控制器230之水平移動子模組310可根據每一聲源之各別虛擬位置來執行自資料儲存器235檢索之每一聲音信號305A、305B、…、305N之水平移動，以產生第一多源音頻信號315及第二多源音頻信號320。關於指派給聲源之各別虛擬位置之資訊對於水平移動子模組310為已知的，例如關於各別虛擬位置之資訊可自資料儲存器235獲得。第一多源音頻信號315可與聲音場景之角度範圍之第一方向相關聯。角度範圍之第一方向可匹配角度範圍之第一邊界，例如在聲音場景內具有+60°之角度方向之邊界。第二多源音頻信號320可與聲音場景之角度範圍之第二方向相關聯。角度範圍之第二方向可匹配角度範圍之第二邊界，例如在聲音場景內具有-60°之角度方向之邊界。
藉由水平移動子模組310執行之水平移動可藉由基於每一聲源之各別虛擬位置而在與第一方向相關聯之第一能量與和第二方向相關聯之第二能量之間分割每一聲音信號305A、305B、…、305N的能量來達成。針對所有聲音信號305A、305B、…、305N可並行執行水平移動。如圖3A中所展示，水平移動子模組310可將聲音信號305A之能量分為與第一方向相關聯之聲音信號312A之能量及與第二方向相關聯之聲音信號314A之能量。類似地，水平移動子模組310可將聲音信號305B之能量分為與第一方向相關聯之聲音信號312B之能量及與第二方向相關聯之聲音信號314B之能量等，且水平移動子模組310可將聲音信號305N之能量分為與第一方向相關聯之聲音信號312N之能量及與第二方向相關聯之聲音信號314N之能量。
第一多源音頻信號315可藉由對與第一方向相關聯之所有聲音信號312A、312B、…、312N求和來產生。類似地，第二多源音頻信號320可藉由對與第二方向相關聯之所有聲音信號314A、314B、…、314N求和來產生。在一些具體實例中，若指派給產生聲音信號305A之聲源之虛擬位置匹配第一方向，則聲音信號314A之能量將為零。類似地，若指派給產生聲音信號305N之聲源之虛擬位置匹配第二方向，則聲音信號312N之能量將為零。
水平移動子模組310可經組態以根據線性水平移動定律、能量水平移動定律、圓形水平移動定律、恆定功率水平移動定律、一些其他水平移動定律或其組合來執行聲音信號305A、305B、…、305N之水平移動。如圖3A中所說明，水平移動子模組310可為聲音濾波器模組280之部分。替代地，水平移動子模組310可為音頻控制器230的一些其他模組之部分，例如DOE估計模組240、轉換函數模組或波束成形模組270之部分。在另一具體實例中，水平移動子模組310為音頻控制器230之獨立模組。在又一具體實例中，水平移動子模組310整合於與音頻系統200分離之計算裝置中。
第一多源音頻信號315可饋送至音頻系統200之第一音頻通道上以用於藉由轉換函數325進行空間化。類似地，可將第二多源音頻信號320饋送至音頻系統200之第二音頻通道上以用於藉由轉換函數330進行空間化。轉換函數325可執行將第一多源音頻信號315空間化至第一方向以產生第一右信號335R及第一左信號335L。針對與第一方向相關聯之使用者之兩個耳，轉換函數325可為一對HRTF或一些其他對空間濾波器，例如具有+60°之角度方向。轉換函數330可執行將第二多源音頻信號320空間化至第二方向以產生第二右信號340R及第二左信號340L。針對與第二方向相關聯之使用者之兩個耳，轉換函數330可為一對HRTF或一些其他對空間濾波器，例如具有-60°之角度方向。
在一些具體實例中，相同轉換函數325、330用於使用者之頭部之不同位置。在此等情況下，當使用者之手部之位向改變時，聲源之虛擬位置之位置亦將在聲音場景內移動，使得聲源相對於使用者之手部之位向的虛擬位置保持固定。在一些其他具體實例中，基於使用者之頭部之移動而更新轉換函數325、330（亦即，不同轉換函數325、330可自轉換函數模組250檢索），使得每一聲源向使用者呈現為源自固定於聲音場景內之各別虛擬位置。如圖3A中所說明，應用於第一及第二多源音頻信號315、320之轉換函數325、330可為轉換函數模組250之部分。替代地，轉換函數325、330可為音頻控制器230之一些其他模組之部分，例如聲音濾波器模組280之一部分。
音頻控制器230可使用第一右信號335R、第一左信號335L、第二右信號340R及第二左信號340L產生雙耳信號345R、345L。雙耳信號345R、345L可使得每一聲源呈現為源自各別虛擬位置。用於向使用者之右耳展示之雙耳信號之右分量345R可藉由對第一右信號335R及第二右信號340R求和來產生。類似地，用於向使用者之左耳展示之雙耳信號之左分量345L可藉由對第一左信號335L及第二左信號340L求和來產生。可將雙耳信號345R、345L提供至用於向音頻系統之使用者展示的轉換器陣列210。舉例而言，可將右分量345R提供至對應揚聲器160及/或產生右耳之聲壓波之對應組織轉換器170。類似地，可將左分量345L提供至對應揚聲器160及/或產生左耳之聲壓波之對應組織轉換器170。
圖3B說明根據一或多個具體實例之由圖3A之離散雙耳空間化所產生之聲音場景中之聲源的虛擬位置（亦即，感知源位置）。音頻系統之音頻控制器230可執行複數個聲源（例如，發出聲音信號305A、305B、305C、…、305N之聲源）之離散雙耳空間化以產生雙耳信號之右及左分量345R、345L，如圖3A中所展示。可隨後將雙耳信號之右及左分量345R、345L提供至用於向使用者展示之音頻系統200之轉換器陣列210。使用者感知聲音信號305A、305B、305C、…、305N，如分別源自角度範圍355內之虛擬位置350A、350B、350C、…、350N。如上文所論述，虛擬位置350A、350B、350C、…、350N可均一地分佈於角度範圍355內。然而，虛擬位置350A、350B、350C、…、350N之一些其他分佈為可能的。
圖4為根據一或多個具體實例之複數個聲源之離散雙耳空間化之方法400的流程圖。圖4中所展示之過程可藉由音頻系統（例如，音頻系統200）之組件來執行。在其他具體實例中，其他實體可執行圖4中的步驟中之一些或所有。具體實例可包括不同及/或額外步驟，或以不同次序執行步驟。
音頻系統收集405（例如，在資料儲存器235）各自自複數個聲源中之對應聲源發出之複數個聲音信號。複數個聲源可為例如與音頻系統之使用者進行會議通話之不同人。音頻系統可藉由例如在會議通話之一或多個時段之每一預定時段期間緩衝來自聲源之聲音信號以收集405複數個聲音信號。
音頻系統將聲音場景之角度範圍內的各別虛擬位置指派410（例如，藉由音頻控制器230）給每一聲源。角度範圍可為例如在120°之總角度範圍的-60°與+60°之間。角度範圍可在複數個聲源當中相等地劃分為複數個角度方向，且指派給每一聲源之各別虛擬位置可對應於各別角度方向。替代地，複數個聲源可為非相等地分佈，亦即鄰近聲源之間的角分離度可為不同的。
音頻系統藉由根據各別虛擬位置水平移動每一聲音信號來產生415（例如，藉由音頻控制器230）第一多源音頻信號及第二多源音頻信號。音頻系統可藉由基於各別虛擬位置而在與第一方向相關聯之第一能量與和第二方向相關聯之第二能量之間分割每一聲音信號之能量來產生第一及第二多源音頻信號。第一方向可匹配角度範圍之第一邊界，且第二方向可匹配角度範圍之第二邊界。音頻系統可對每一聲音信號（例如，與第一方向相關聯）之第一對應部分求和以產生第一多源音頻信號。音頻系統可進一步對每一聲音信號（例如，與第二方向相關聯）之第二對應部分求和以產生第二多源音頻信號。
音頻系統將第一多源音頻信號空間化420（例如，藉由音頻控制器230）至第一方向以產生第一左信號及第一右信號。音頻系統可藉由將與第一方向相關聯之第一對HRTF（例如，對於使用者之兩個耳）應用於第一多源音頻信號來將第一多源音頻信號空間化。音頻系統可將第一空間濾波器（例如，對於使用者之兩個耳）應用於第一多源音頻信號以將第一多源音頻信號空間化至第一方向。音頻系統可基於使用者之頭部之移動而更新第一空間濾波器（例如，第一對HRTF），使得每一聲源呈現為源自固定於聲音場景內之各別虛擬位置。
音頻系統將第二多源音頻信號空間化425（例如，藉由音頻控制器230）至第二方向以產生第二左信號及第二右信號。音頻系統可藉由將與第二方向相關聯之第二對HRTF（例如，對於使用者之兩個耳）應用於第二多源音頻信號來將第二多源音頻信號空間化。音頻系統可將第二空間濾波器（例如，對於使用者之兩個耳）應用於第二多源音頻信號以將第二多源音頻信號空間化至第二方向。音頻系統可基於使用者之頭部之移動而更新第二空間濾波器（例如，第二對HRTF），使得每一第二源呈現為源自固定於聲音場景內之各別虛擬位置。
音頻系統使用第一左信號、第二左信號、第一右信號及第二右信號來產生430（例如，藉由音頻控制器230）雙耳信號，其中雙耳信號使得每一聲源呈現為源自各別虛擬位置。音頻系統可藉由對第一左信號及第二左信號求和來產生用於向使用者之左耳展示之雙耳信號之左分量。音頻系統可藉由對第一右信號及第二右信號求和來產生用於向使用者之右耳展示之雙耳信號的右分量。音頻系統可向使用者展示雙耳信號，例如經由轉換器陣列210。 系統環境
圖5為根據一或多個具體實例之包括頭戴裝置505之系統500。在一些具體實例中，頭戴裝置505可為圖1A之頭戴裝置100或圖1B之頭戴裝置105。系統500可在人工實境環境（例如，虛擬實境環境、擴增實境環境、混合實境環境或其某一組合）中操作。藉由圖5展示之系統500包括頭戴裝置505、耦接至控制台515之輸入/輸出（I/O）介面510、網路520及映射伺服器525。儘管圖5展示包括一個頭戴裝置505及一個I/O介面510之實例系統500，但在其他具體實例中，任何數目之此等組件可包括於系統500中。舉例而言，可存在各自具有相關聯I/O介面510之多個頭戴裝置，其中每一頭戴裝置及I/O介面510與控制台515通信。在替代組態中，不同及/或額外組件可包括於系統500中。另外，在一些具體實例中，與結合圖5中所展示之組件中之一或多者所描述之功能性可以與結合圖5所描述之方式不同的方式分佈於組件當中。舉例而言，控制台515之功能性中之一些或所有可由頭戴裝置505提供。
頭戴裝置505包括顯示組合件530、光學區塊535、一或多個位置感測器540及DCA 545。頭戴裝置505之一些具體實例具有與結合圖5所描述之組件不同的組件。另外，在其他具體實例中，藉由結合圖5所描述之各種組件提供之功能性可不同地分佈於頭戴裝置505之組件當中，或在遠離頭戴裝置505之個別組合件中擷取。
顯示組合件530根據自控制台515接收到之資料向使用者顯示內容。顯示組合件530使用一或多個顯示元件（例如，顯示元件120）顯示內容。顯示元件可為例如電子顯示器。在各種具體實例中，顯示組合件530包含單一顯示元件或多個顯示元件（例如，用於使用者之每一眼睛的顯示器）。電子顯示器之實例包括：液晶顯示器（liquid crystal display；LCD）、有機發光二極體（organic light emitting diode；OLED）顯示器、主動矩陣有機發光二極體顯示器（active-matrix organic light-emitting diode display；AMOLED）、波導顯示器、一些其他顯示器或其某一組合。應注意，在一些具體實例中，顯示元件120亦可包括光學區塊535之功能性中之一些或所有。
光學區塊535可放大自電子顯示器接收到之影像光，校正與影像光相關聯之光學誤差，及向頭戴裝置505之一個或兩個眼框展示經校正影像光。在各種具體實例中，光學區塊535包括一或多個光學元件。包括於光學區塊535中之實例光學元件包括：孔隙、菲涅爾透鏡、凸透鏡、凹透鏡、濾波器、反射面或影響影像光之任何其他適合光學元件。此外，光學區塊535可包括不同光學元件之組合。在一些具體實例中，光學區塊535中之光學元件中之一或多者可具有一或多個塗層，諸如部分反射或抗反射塗層。
藉由光學區塊535放大及聚焦影像光來允許電子顯示器與較大顯示器相比在實體上更小、重量更少且消耗更少功率。另外，放大可增大由電子顯示器展示之內容之視場。舉例而言，所顯示內容之視場使得所顯示內容使用使用者之幾乎所有視場（例如，大致110度對角線）來展示，且在一些情況下，使用使用者之所有視場來展示。另外，在一些具體實例中，可藉由添加或移除光學元件來調整放大之量。
在一些具體實例中，光學區塊535可經設計以校正一或多種類型之光學誤差。光學誤差之實例包括桶形或枕形畸變、縱向色像差或橫向色像差。其他類型之光學誤差可進一步包括球面像差、色像差或由於透鏡場曲率、像散引起之誤差或任何其他類型之光學誤差。在一些具體實例中，提供至電子顯示器用於顯示之內容為預失真的，且光學區塊535在其接收來自電子顯示器的基於內容而產生之影像光時校正畸變。
位置感測器540為產生指示頭戴裝置505之位置之電子裝置。位置感測器540回應於頭戴裝置505之運動而產生一或多個量測信號。位置感測器190為位置感測器540之具體實例。位置感測器540之實例包括：一或多個IMU、一或多個加速度計、一或多個陀螺儀、一或多個磁力計、偵測運動之另一適合類型的感測器或其某一組合。位置感測器540可包括用於量測平移運動（前/後、上/下、左/右）之多個加速度計及用於量測旋轉運動（例如，縱搖、偏航、橫搖）之多個陀螺儀。在一些具體實例中，IMU對量測信號進行快速取樣，且自經取樣資料來計算頭戴裝置505之所估計位置。舉例而言，IMU隨著時間推移整合自加速度計接收到之量測信號以估計速度向量，其隨著時間推移整合速度向量以判定頭戴裝置505上之參考點之所估計位置。參考點為可用於描述頭戴裝置505之位置之位點。儘管參考點可大體上定義為空間中之位點，然而，實際上參考點定義為頭戴裝置505內之位點。
DCA 545產生局部區域之部分之深度資訊。DCA包括一或多個成像裝置及DCA控制器。DCA 545亦可包括照明器。上文相對於圖1A描述DCA 545之操作及結構。
音頻系統550向頭戴裝置505之使用者提供音頻內容。音頻系統550與上文所描述之音頻系統200實質上相同。音頻系統550可包含一個或聲波感測器、一或多個轉換器及音頻控制器。音頻系統550可向使用者提供經空間化音頻內容。根據本揭示之具體實例，音頻系統550執行在其兩個音頻通道上之超過兩個聲源的離散雙耳空間化以用於向使用者展示音頻內容。音頻系統550可藉由根據其在聲音場景內之預指派虛擬位置而水平移動來自聲源之聲音信號來產生一對多源音頻信號。該對多源音頻信號可傳輸至音頻系統550之兩個音頻通道且藉由應用適當聲音濾波器而轉換成用於向使用者展示之雙耳信號。雙耳信號可使得每一聲源呈現為源自其在聲音場景內之各別虛擬位置。在一些具體實例中，音頻系統550可經由網路520自映射伺服器525請求聲波參數。聲波參數描述局部區域之一或多個聲波性質（例如，室內脈衝回應、混響時間、混響等級等）。音頻系統550可提供描述來自例如DCA 545之局部區域之至少一部分的資訊，及/或用於來自位置感測器540之頭戴裝置505之位置資訊。音頻系統550可使用自映射伺服器525接收到之聲波參數中之一或多者來產生一或多個聲音濾波器，且使用聲音濾波器以向使用者提供音頻內容。
I/O介面510為允許使用者發送動作請求且接收來自控制台515之回應的裝置。動作請求為執行特定動作之請求。舉例而言，動作請求可為開始或結束擷取影像或視訊資料之指令，或執行應用程式內之特定動作之指令。I/O介面510可包括一或多個輸入裝置。實例輸入裝置包括：鍵盤、滑鼠、遊戲控制器或用於接收動作請求且將動作請求傳達至控制台515之任何其他適合裝置。藉由I/O介面510接收之動作請求傳達至控制台515，該控制台515執行對應於動作請求之動作。在一些具體實例中，I/O介面510包括IMU，其擷取指示I/O介面510之所估計位置相對於I/O介面510之初始位置之校準資料。在一些具體實例中，I/O介面510可根據自控制台515接收到之指令向使用者提供觸覺反饋。舉例而言，當接收到動作請求時提供觸覺反饋，或控制台515將指令傳達至I/O介面510致使I/O介面510在控制台515執行動作以產生觸覺反饋。
控制台515將內容提供至頭戴裝置505以用於根據自以下各項中之一或多者接收到之資訊進行處理：DCA 545、頭戴裝置505及I/O介面510。在圖5中所展示之實例中，控制台515包括應用程式儲存器555、追蹤模組560及引擎565。控制台515之一些具體實例具有與結合圖5所描述之模組或組件不同的模組或組件。類似地，下文進一步描述之功能可與結合圖5所描述之方式不同的方式分佈於控制台515之組件之間。在一些具體實例中，本文相對於控制台515所論述之功能性可實施於頭戴裝置505或遠端系統中。
應用程式儲存器555儲存供控制台515執行之一或多個應用程式。應用程式為在由處理器執行時產生用於向使用者展示之內容的一組指令。由應用程式產生之內容可回應於經由頭戴裝置505或I/O介面510之移動而自使用者接收到之輸入。應用程式之實例包括：遊戲應用程式、會議應用程式、視訊播放應用程式或其他適合應用程式。
追蹤模組560使用來自DCA 545、一或多個位置感測器540或其某一組合之資訊來追蹤頭戴裝置505或I/O介面510之移動。舉例而言，追蹤模組560基於來自頭戴裝置505之資訊而判定頭戴裝置505之參考點在局部區域之映射中之位置。追蹤模組560亦可判定物件或虛擬物件之位置。另外，在一些具體實例中，追蹤模組560可使用指示頭戴裝置505相距位置感測器540之位置之資料的部分以及局部區域相距DCA 545之表示以預測頭戴裝置505的將來位置。追蹤模組560將頭戴裝置505或I/O介面510之所估計或所預測將來位置提供至引擎565。
引擎565執行應用程式且自追蹤模組560接收頭戴裝置505之位置資訊、加速度資訊、速度資訊、預測之將來位置或其某一組合。基於接收到之資訊，引擎565判定提供至頭戴裝置505以用於向使用者展示之內容。舉例而言，若接收到之資訊指示使用者已向左看，則引擎565為頭戴裝置505產生內容，該內容反映使用者在虛擬局部區域中或在使用額外內容來擴增局部區域之局部區域中之移動。另外，引擎565回應於自I/O介面510接收到之動作請求而在控制台515執行之應用程式內實行動作，且向使用者提供執行動作之反饋。所提供之反饋可為經由頭戴裝置505之視覺或聽覺反饋或經由I/O介面510之觸覺反饋。
網路520將頭戴裝置505及/或控制台515耦接至映射伺服器525。網路520可包括使用無線及/或有線通信系統兩者之區域網路及/或廣域網路之任何組合。舉例而言，網路520可包括網際網路，以及行動電話網路。在一個具體實例中，網路520使用標準通信技術及/或協定。因此，網路520可包括使用諸如乙太網路、802.11、微波存取全球互通（worldwide interoperability for microwave access；WiMAX）、2G/3G/4G行動通信協定、數位用戶線路（digital subscriber line；DSL）、非同步傳輸模式（asynchronous transfer mode；ATM）、無線帶寬、快速PCT進階切換等之技術連接。類似地，網路520上所使用之網路連接協定可包括多協定標籤切換（multiprotocol label switching；MPLS）、傳輸控制協定/網際網路協定（transmission control protocol/Internet protocol；TCP/IP）、使用者資料包協定（User Datagram Protocol；UDP）、超文字傳輸協定（hypertext transport protocol；HTTP）、簡單郵件傳輸協定（simple mail transfer protocol；SMTP）、檔案傳輸協定（file transfer protocol；FTP）等。經由網路520交換之資料可使用技術及/或包括呈二進位形式（例如，攜帶型網路圖形（Portable Network Graphics；PNG））之影像資料、超文本標記語言（hypertext markup language；HTML）、可延伸性標示語言（extensible markup language；XML）等的格式表示。另外，鏈接中之一些或所有可使用習知技術加密加密，諸如安全套接層（secure sockets layer；SSL）、傳輸層安全（transport layer security；TLS）、虛擬專用網路（virtual private networ；VPN）、網際網路協定安全（Internet Protocol security；IPsec）等。
映射伺服器525可包括儲存用以描述複數個空間之虛擬模型之資料庫，其中虛擬模型中之一個位置對應於頭戴裝置505之局部區域之當前組態。映射伺服器525經由網路520自頭戴裝置505接收用以描述局部區域之至少一部分及/或局部區域之位置資訊的資訊。使用者可調整隱私設定以允許或防止頭戴裝置505將資訊傳輸至映射伺服器525。映射伺服器525基於接收到之資訊及/或位置資訊而判定虛擬模型中之與頭戴裝置505之局部區域相關聯之位置。映射伺服器525部分基於虛擬模型中之經判定位置及與經判定位置相關聯之任何聲波參數而判定（例如，檢索）與局部區域相關聯之一或多個聲波參數。映射伺服器525可將局部區域之位置及與局部區域相關聯之聲波參數之任何值傳輸至頭戴裝置505。
系統500之一或多個組件可含有儲存使用者資料元件之一或多個隱私設定之隱私模組。使用者資料元件描述使用者或頭戴裝置505。舉例而言，使用者資料元件可描述使用者之實體特性、藉由使用者執行之動作、頭戴裝置505之使用者之位置、頭戴裝置505之位置、使用者之HRTF等。使用者資料元件之隱私設定（或「存取設定」）可以任何適合方式儲存，諸如與使用者資料元件相關聯、在授權伺服器上之索引、以另一適合方式，或以其任何組合進行儲存。
使用者資料元件之隱私設定指定使用者資料元件（或與使用者資料元件相關聯之特定資訊）可如何加以存取、儲存或以其他方式使用（例如，觀看、共用、修改、複製、執行、表面處理或標識）。在一些具體實例中，使用者資料元件之隱私設定可指定可能無法存取與使用者資料元件相關聯之某些資訊的實體之「阻斷列表」。與使用者資料元件相關聯之隱私設定可指定經准許存取或拒絕存取之任何適合精細程度。舉例而言，一些實體可具有查看特定使用者資料元件存在之權限，一些實體可具有查看特定使用者資料元件之內容之權限，且一些實體可具有修改特定使用者資料元件之權限。隱私設定可允許使用者允許其他實體存取或儲存使用者資料元件持續有限時段。
隱私設定可允許使用者指定使用者資料元件可自其存取之一或多個地理位置。對使用者資料元件之存取或拒絕存取可取決於嘗試存取使用者資料元件之實體的地理位置。舉例而言，使用者可允許存取使用者資料元件且指定使用者資料元件僅在使用者處於特定位置時可供實體加以存取。若使用者離開特定位置，則實體可能無法再存取使用者資料元件。作為另一實例，使用者可指定使用者資料元件僅在相距使用者之臨限距離內可供實體加以存取，諸如與使用者相同之局部區域內之頭戴裝置之另一使用者。若使用者隨後改變位置，則存取使用者資料元件之實體可失去存取，同時新群組之實體由於其出現於使用者之臨限距離內而可加以存取。
系統500可包括用於強制執行隱私設定之一或多個授權/隱私伺服器。若授權伺服器基於與使用者資料元件相關聯之隱私設定而判定實體經授權對使用者資料元件之存取，則來自對於特定使用者資料元件之實體之請求可標識與請求相關聯之實體，且使用者資料元件可僅發送至此實體。若請求實體未經授權對使用者資料元件之存取，則授權伺服器可防止所請求使用者資料元件被檢索或可防止所請求使用者資料元件被發送至實體。儘管本揭示以特定方式描述強制執行隱私設定，但本揭示涵蓋以任何適合方式強制執行隱私設定。 額外組態資訊
已出於說明目的展示具體實例之前述描述；其並不意欲為詳盡的或將本專利權利限制於所揭示之精確形式。熟習相關技術者可瞭解，可考慮上述揭示內容進行諸多修改及變化。
本說明書之一些部分按關於資訊之運算之演算法及符號表示來描述具體實例。熟習資料處理技術者通常使用此等演算法描述及表示來將其實質性工作有效地傳達給所屬領域中具有通常知識者。此等運算雖然在功能上、計算上或邏輯上加以描述，但是應理解為由電腦程式或等效電路、微碼或類似者來實施。此外，在不失一般性的情況下，將此等操作配置稱為模組，有時亦證明為方便的。所描述操作及其相關聯模組可以軟體、韌體、硬體或其任何組合實施。
本文所描述之步驟、操作或過程中之任一者可藉由一或多個硬體或軟體模組，單獨或與其他裝置組合來執行或實施。在一個具體實例中，軟體模組藉由電腦程式產品來實施，電腦程式產品包含含有電腦程式碼之電腦可讀取媒體，其可由電腦處理器執行以執行所描述之任何或所有步驟、操作或過程。
具體實例亦可關於用於執行本文中之操作的設備。此設備可經特別建構以用於所需目的，及/或該設備可包含由儲存於電腦中之電腦程式選擇性地啟用或重組態之通用計算裝置。此類電腦程式可儲存於非暫時性有形電腦可讀取儲存媒體或適合於儲存電子指令之任何類型之媒體中，此（些）媒體可耦接至電腦系統匯流排。此外，說明書中提及之任何計算系統可包括單個處理器，或可為採用多個處理器設計以增大計算能力之架構。
具體實例亦可關於由本文所描述之計算過程產生的產品。此類產品可包含由計算過程產生之資訊，其中該資訊儲存於非暫時性有形電腦可讀取儲存媒體上且可包括本文所描述之電腦程式產品或其他資料組合之任一具體實例。
最後，用於本說明書中之語言已主要出於可讀性及指導性目的而經選擇，且其可能尚未經選擇以描繪或限定本專利權利。因此，希望本專利權利之範疇不受此詳細描述限定，而實際上由關於基於此處之應用頒予的任何申請專利範圍限定。因此，具體實例之揭示內容意欲說明但不限制在以下申請專利範圍中闡述的專利權利之範疇。
100:頭戴裝置 105:頭戴裝置 110:框架 115:前部剛體 120:顯示元件 130:成像裝置 140:照明器 150:音頻控制器 160:揚聲器 170:組織轉換器 175:帶部 180:聲感測器 190:位置感測器 200:音頻系統 210:轉換器陣列 220:感測器陣列 230:音頻控制器 235:資料儲存器 240:DOA估計模組 250:轉換函數模組 260:追蹤模組 270:波束成形模組 280:聲音濾波器模組 305A:聲音信號 305B:聲音信號 305C:聲音信號 305N:聲音信號 310:水平移動子模組 312A:聲音信號 312B:聲音信號 312N:聲音信號 314A:聲音信號 314B:聲音信號 314N:聲音信號 315:第一多源音頻信號 320:第二多源音頻信號 325:轉換函數 330:轉換函數 335L:第一左信號 335R:第一右信號 340L:第二左信號 340R:第二右信號 345L:雙耳信號（左分量） 345R:雙耳信號（右分量） 350A:虛擬位置 350B:虛擬位置 350C:虛擬位置 350N:虛擬位置 355:角度範圍 400:方法 405:收集 410:指派 415:產生 420:空間化 425:空間化 430:產生 500:系統 505:頭戴裝置 510:輸入/輸出介面 515:控制台 520:網路 525:映射伺服器 530:顯示組合件 535:光學區塊 540:位置感測器 545:DCA 550:音頻系統 555:應用程式儲存器 560:追蹤模組 565:引擎
[圖1A]為根據一或多個具體實例之實施為護目鏡裝置之頭戴裝置的透視圖。 [圖1B]為根據一或多個具體實例之實施為頭戴式顯示器之頭戴裝置的透視圖。 [圖2]為根據一或多個具體實例之音頻系統的方塊圖。 [圖3A]為根據一或多個具體實例之在圖2之音頻系統處實施之離散聲源之離散雙耳空間化的方塊圖。 [圖3B]說明根據一或多個具體實例之由圖3A之離散雙耳空間化產生之聲音場景中之聲源的虛擬位置。 [圖4]為說明根據一或多個具體實例之用於多個聲源之離散雙耳空間化的過程的流程圖。 [圖5]為根據一或多個具體實例之包括頭戴裝置之系統。 該等圖僅出於說明目的描繪各種具體實例。所屬技術領域中具有通常知識者將自以下論述容易認識到可在不脫離本文所描述之原理之情況下採用本文所說明之結構及方法的替代具體實例。
210:轉換器陣列
230:音頻控制器
235:資料儲存器
250:轉換函數模組
280:聲音濾波器模組
305A:聲音信號
305B:聲音信號
305N:聲音信號
310:水平移動子模組
312A:聲音信號
312B:聲音信號
312N:聲音信號
314A:聲音信號
314B:聲音信號
314N:聲音信號
315:第一多源音頻信號
320:第二多源音頻信號
325:轉換函數
330:轉換函數
335L:第一左信號
335R:第一右信號
340L:第二左信號
340R:第二右信號
345L:雙耳信號(左分量)
345R:雙耳信號(右分量)

Claims (20)

  1. 一種方法，其包含： 收集各自自複數個聲源中之對應聲源發出的複數個聲音信號； 將在聲音場景之角度範圍內之各別虛擬位置指派給每一聲源； 藉由根據該各別虛擬位置而水平移動每一聲音信號來產生第一多源音頻信號及第二多源音頻信號； 將該第一多源音頻信號空間化至第一方向以產生第一左信號及第一右信號； 將該第二多源音頻信號空間化至第二方向以產生第二左信號及第二右信號；及 使用該第一左信號、該第二左信號、該第一右信號及該第二右信號來產生雙耳信號，其中該雙耳信號使得每一聲源向使用者呈現為源自該各別虛擬位置。
  2. 如請求項1之方法，其中該複數個聲源為與該使用者進行會議通話之不同人。
  3. 如請求項1之方法，其進一步包含： 對每一聲音信號之第一對應部分求和以產生該第一多源音頻信號；及 對每一聲音信號之第二對應部分求和以產生該第二多源音頻信號。
  4. 如請求項1之方法，其中： 該第一方向匹配該角度範圍之第一邊界；且 該第二方向匹配該角度範圍之第二邊界。
  5. 如請求項1之方法，其中產生該第一多源音頻信號及該第二多源音頻信號包含： 以該各別虛擬位置相對於該第一方向及該第二方向為基礎，在與該第一方向相關聯之第一能量與和該第二方向相關聯之第二能量之間分割每一聲音信號之能量。
  6. 如請求項1之方法，其進一步包含： 藉由將與該第一方向相關聯之第一對頭部相關轉換函數（HRTF）應用至該第一多源音頻信號來將該第一多源音頻信號空間化；及 藉由將與該第二方向相關聯之第二對HRTF應用至該第二多源音頻信號來將該第二多源音頻信號空間化。
  7. 如請求項1之方法，其進一步包含： 將第一空間濾波器應用至該第一多源音頻信號以將該第一多源音頻信號空間化至該第一方向；及 將第二空間濾波器應用至該第二多源音頻信號以將該第二多源音頻信號空間化至該第二方向。
  8. 如請求項7之方法，其進一步包含： 基於該使用者之頭部之移動而更新該第一空間濾波器及該第二空間濾波器，使得每一聲源呈現為源自固定於該聲音場景內的該各別虛擬位置。
  9. 如請求項1之方法，其進一步包含： 藉由對該第一左信號及該第二左信號求和來產生該雙耳信號之左分量以用於向該使用者之左耳展示；及 藉由對該第一右信號及該第二右信號求和來產生該雙耳信號之右分量以用於向該使用者之右耳展示。
  10. 如請求項1之方法，其進一步包含： 經由音頻系統之轉換器陣列來向該使用者展示該雙耳信號。
  11. 如請求項10之方法，其中該音頻系統整合於由該使用者穿戴之頭戴裝置中。
  12. 一種音頻系統，其包含： 非暫時性電腦可讀取儲存媒體，其經組態以收集各自自複數個聲源中之對應聲源發出之複數個聲音信號；及 音頻控制器，其耦接至該非暫時性電腦可讀取儲存媒體，該音頻控制器經組態以： 將每一聲源指派給在聲音場景之角度範圍內之各別虛擬位置， 藉由根據該各別虛擬位置而水平移動每一聲音信號來產生第一多源音頻信號及第二多源音頻信號， 將該第一多源音頻信號空間化至第一方向以產生第一左信號及第一右信號； 將該第二多源音頻信號空間化至第二方向以產生第二左信號及第二右信號，及 使用該第一左信號、該第二左信號、該第一右信號及該第二右信號來產生一雙耳信號，其中該雙耳信號使得每一聲源呈現為源自該各別虛擬位置。
  13. 如請求項12之音頻系統，其中該音頻控制器進一步經組態以： 對每一聲音信號之第一對應部分求和以產生該第一多源音頻信號；及 對每一聲音信號之第二對應部分求和以產生該第二多源音頻信號。
  14. 如請求項12之音頻系統，其中該音頻控制器進一步經組態以： 以該各別虛擬位置相對於該第一方向及該第二方向為基礎，而在與該第一方向相關聯之第一能量與和該第二方向相關聯之第二能量之間分割每一聲音信號之能量以產生該第一多源音頻信號及該第二多源音頻信號。
  15. 如請求項12之音頻系統，其中該音頻控制器進一步經組態以： 藉由將與該第一方向相關聯之第一對頭部相關轉換函數（HRTF）應用至該第一多源音頻信號來將該第一多源音頻信號空間化；及 藉由將與該第二方向相關聯之第二對HRTF應用至該第二多源音頻信號來將該第二多源音頻信號空間化。
  16. 如請求項12之音頻系統，其中該音頻控制器進一步經組態以： 將第一空間濾波器應用至該第一多源音頻信號以將該第一多源音頻信號空間化至該第一方向；及 將第二空間濾波器應用至該第二多源音頻信號以將該第二多源音頻信號空間化至該第二方向。
  17. 如請求項16之音頻系統，其中該音頻控制器進一步經組態以： 基於該音頻系統之使用者之頭部的移動而更新該第一空間濾波器及該第二空間濾波器，使得每一聲源呈現為源自固定於該聲音場景內之該各別虛擬位置。
  18. 如請求項12之音頻系統，其中該音頻控制器進一步經組態以： 藉由對該第一左信號及該第二左信號求和來產生該雙耳信號之左分量以用於向該音頻系統之使用者之左耳展示；及 藉由對該第一右信號及該第二右信號求和來產生該雙耳信號之右分量以用於向該使用者之右耳展示。
  19. 如請求項12之音頻系統，其進一步包含耦接至該音頻控制器之轉換器陣列，該轉換器陣列經組態以： 將所產生之該雙耳信號向該音頻系統之使用者展示。
  20. 一種非暫時性電腦可讀取儲存媒體，其上編碼有指令，該指令在由處理器執行時使得該處理器以進行以下操作： 在該非暫時性電腦可讀取儲存媒體處，收集各自自複數個聲源中之對應聲源發出之複數個聲音信號； 將在聲音場景之角度範圍內之各別虛擬位置指派給每一聲源； 藉由根據該各別虛擬位置而水平移動每一聲音信號來產生第一多源音頻信號及第二多源音頻信號； 將該第一多源音頻信號空間化至第一方向以產生第一左信號及第一右信號； 將該第二多源音頻信號空間化至第二方向以產生第二左信號及第二右信號；及 使用該第一左信號、該第二左信號、該第一右信號及該第二右信號來產生雙耳信號，其中該雙耳信號使得每一聲源呈現為源自該各別虛擬位置。
TW111106362A 2021-04-06 2022-02-22 在兩個音頻通道上之聲源的離散雙耳空間化 TW202249502A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/223,345 2021-04-06
US17/223,345 US11595775B2 (en) 2021-04-06 2021-04-06 Discrete binaural spatialization of sound sources on two audio channels

Publications (1)

Publication Number Publication Date
TW202249502A true TW202249502A (zh) 2022-12-16

Family

ID=81392834

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111106362A TW202249502A (zh) 2021-04-06 2022-02-22 在兩個音頻通道上之聲源的離散雙耳空間化

Country Status (5)

Country Link
US (2) US11595775B2 (zh)
EP (1) EP4320879A1 (zh)
CN (1) CN117158000A (zh)
TW (1) TW202249502A (zh)
WO (1) WO2022216561A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024136902A1 (en) * 2022-12-23 2024-06-27 Innopeak Technology, Inc. Data augmentation for noise detection and classification

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016681B2 (ja) * 2002-03-18 2007-12-05 ヤマハ株式会社 効果付与装置
DE60336499D1 (de) * 2002-11-20 2011-05-05 Koninkl Philips Electronics Nv Audio-gestüzte datenrepräsentationsvorrichtung und verfahren
US20080298610A1 (en) * 2007-05-30 2008-12-04 Nokia Corporation Parameter Space Re-Panning for Spatial Audio
EP2829048B1 (en) * 2012-03-23 2017-12-27 Dolby Laboratories Licensing Corporation Placement of sound signals in a 2d or 3d audio conference
WO2014052429A1 (en) * 2012-09-27 2014-04-03 Dolby Laboratories Licensing Corporation Spatial multiplexing in a soundfield teleconferencing system
WO2014157975A1 (ko) * 2013-03-29 2014-10-02 삼성전자 주식회사 오디오 장치 및 이의 오디오 제공 방법
EP2809088B1 (en) * 2013-05-30 2017-12-13 Barco N.V. Audio reproduction system and method for reproducing audio data of at least one audio object
US9763004B2 (en) * 2013-09-17 2017-09-12 Alcatel Lucent Systems and methods for audio conferencing
MX357405B (es) * 2014-03-24 2018-07-09 Samsung Electronics Co Ltd Metodo y aparato de reproduccion de señal acustica y medio de grabacion susceptible de ser leido en computadora.
EP2942982A1 (en) * 2014-05-05 2015-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering
US10880649B2 (en) * 2017-09-29 2020-12-29 Apple Inc. System to move sound into and out of a listener's head using a virtual acoustic system
KR20190083863A (ko) 2018-01-05 2019-07-15 가우디오랩 주식회사 오디오 신호 처리 방법 및 장치
US10863300B2 (en) * 2018-06-18 2020-12-08 Magic Leap, Inc. Spatial audio for interactive audio environments
US10819953B1 (en) 2018-10-26 2020-10-27 Facebook Technologies, Llc Systems and methods for processing mixed media streams
GB2579348A (en) * 2018-11-16 2020-06-24 Nokia Technologies Oy Audio processing
EP4085660A4 (en) * 2019-12-30 2024-05-22 Comhear Inc. METHOD FOR PROVIDING A SPATIAL SOUND FIELD

Also Published As

Publication number Publication date
US11595775B2 (en) 2023-02-28
US11825291B2 (en) 2023-11-21
US20230171560A1 (en) 2023-06-01
WO2022216561A1 (en) 2022-10-13
CN117158000A (zh) 2023-12-01
EP4320879A1 (en) 2024-02-14
US20220322023A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US10971130B1 (en) Sound level reduction and amplification
US10812929B1 (en) Inferring pinnae information via beam forming to produce individualized spatial audio
US11470439B1 (en) Adjustment of acoustic map and presented sound in artificial reality systems
EP4406236A1 (en) Audio system for spatializing virtual sound sources
KR20230041755A (ko) 외이의 변위에 기초한 가상 마이크 교정
US11825291B2 (en) Discrete binaural spatialization of sound sources on two audio channels
US11012804B1 (en) Controlling spatial signal enhancement filter length based on direct-to-reverberant ratio estimation
US11171621B2 (en) Personalized equalization of audio output based on ambient noise detection
CN115280798A (zh) 使用软骨传导确定头部相关传递函数
US11576005B1 (en) Time-varying always-on compensation for tonally balanced 3D-audio rendering
US12039991B1 (en) Distributed speech enhancement using generalized eigenvalue decomposition
US20240305942A1 (en) Spatial audio capture using pairs of symmetrically positioned acoustic sensors on a headset frame
US12003949B2 (en) Modifying audio data transmitted to a receiving device to account for acoustic parameters of a user of the receiving device
US11758319B2 (en) Microphone port architecture for mitigating wind noise
US11598962B1 (en) Estimation of acoustic parameters for audio system based on stored information about acoustic model
US12108241B1 (en) Adjusting generation of spatial audio for a receiving device to compensate for latency in a communication channel between the receiving device and a sending device
US11715479B1 (en) Signal enhancement and noise reduction with binaural cue preservation control based on interaural coherence
EP4447432A1 (en) Synchronizing video of an avatar with locally captured audio from a user corresponding to the avatar
TW202329700A (zh) 具有藉由空氣傳導換能器驅動的組織換能器之音訊系統