TW202105930A - 多個頭戴式裝置之間的音頻空間化和增強 - Google Patents

多個頭戴式裝置之間的音頻空間化和增強 Download PDF

Info

Publication number
TW202105930A
TW202105930A TW109114896A TW109114896A TW202105930A TW 202105930 A TW202105930 A TW 202105930A TW 109114896 A TW109114896 A TW 109114896A TW 109114896 A TW109114896 A TW 109114896A TW 202105930 A TW202105930 A TW 202105930A
Authority
TW
Taiwan
Prior art keywords
user
head
audio
mounted device
relative
Prior art date
Application number
TW109114896A
Other languages
English (en)
Inventor
威廉 歐文 布里米喬恩
安德魯 羅維特
菲利浦 羅賓森
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202105930A publication Critical patent/TW202105930A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones

Abstract

一共用的通訊頻道容許在多個使用者之間發送及接收音頻內容。每一個使用者是和一頭戴式裝置相關的，所述頭戴式裝置被配置以往返於其他使用者的頭戴式裝置來發送及接收音頻資料。在第一使用者的頭戴式裝置接收對應於第二使用者的音頻資料之後，所述頭戴式裝置根據所述第一使用者及所述第二使用者的相對位置來空間化所述音頻資料，使得當所述音頻資料被呈現給所述第一使用者時，所述音頻資料的聲音聽起來像是源自於對應所述第二使用者的一位置。所述頭戴式裝置根據在所述第二使用者的位置以及所述第一使用者的注視方向之間的偏差來增強所述音頻資料，此容許所述第一使用者能夠更清楚地聽到來自他們所注意的其他使用者的音頻資料。

Description

多個頭戴式裝置之間的音頻空間化和增強
本揭露內容大致是有關於在一共用的通訊頻道上的使用者之間的音頻通訊，特別是有關於在所述共用的通訊頻道的多個不同的使用者之間發送的音頻信號的空間化及增強。
在具有多個音源的環境中，聽眾在收聽一特定音源，而同時不理會來自其它音源的來源時可能會遇到困難。例如，在多個人同時說話的熱鬧的場所中，聽眾想從所述場所中的其它說話者的聲音聽清楚一特定說話者的話可能是困難的。此現象是以雞尾酒會問題(cocktail party problem)著稱的。在某些情形中，例如是說話者的不同的音源可能有記錄其語音的麥克風，所述語音被發送至聽眾以供聆聽。然而，對於聽眾而言，解讀所述聲音的一來源，尤其是當存在大量的音源、或是在不同的音源之間切換其注意力時可能是困難的。
實施例是有關建立用於在多個使用者之間發送及接收音頻內容的一共用的通訊頻道。每一個使用者是和一頭戴式裝置相關的，其被配置以往返於其它使用者的頭戴式裝置來發送及接收音頻資料。第一使用者的一頭戴式裝置響應於接收對應於第二使用者的音頻資料，以根據所述第一使用者及所述第二使用者的相對位置來空間化所述音頻資料，使得被呈現給所述第一使用者的音頻資料聽起來像是源自於一對應於所述第二使用者的位置。所述頭戴式裝置亦可以根據在所述第二使用者的位置以及一增強方向，例如是所述第一使用者的一注視方向之間的一偏差來增強所述音頻資料，此容許所述第一使用者能夠更清楚地聽到來自其所注意到的其它使用者的音頻資料。
在某些實施例中，一種頭戴式裝置被描述。所述頭戴式裝置包括一注視判斷系統，其被配置以判斷穿戴所述頭戴式裝置的第一使用者的一注視方向。所述頭戴式裝置進一步包括一接收器，其被配置以接收和一第二使用者相關的音頻資料，所述音頻資料包括一音頻輸出信號。所述頭戴式裝置進一步包括處理電路，其被配置以識別和所述第二使用者相關的相對於所述第一使用者的相對位置，並且判斷所述第二使用者的識別出的所述相對位置相對於所述第一使用者的所述注視方向的一偏差。所述處理電路根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻輸出信號。再者，所述處理電路可以響應於所述第二使用者的識別出的位置相對於所述第一使用者的所述注視方向的所述偏差是在一臨界量之內，根據所述偏差來增強所述音頻輸出信號的一振幅。所述頭戴式裝置進一步包括一音頻輸出介面，其被配置以傳送空間化且增強的所述音頻輸出信號至一或多個說話者以產生一輸出聲音，使得所述輸出聲音被表現給所述第一使用者以使得所述輸出聲音被感知為源自於所述第二使用者的所述位置。
所述方法可以藉由一音頻系統來加以執行。例如，一音頻系統是一頭戴式裝置(例如，近眼顯示器、頭戴式顯示器)的部分。所述音頻系統包含一麥克風組件、一收發器、一控制器、以及一揚聲器組件(例如，一揚聲器陣列)。
根據本發明的實施例是特別被揭露在所附的請求項中，其是針對於一種頭戴式裝置、一種方法、以及一種儲存媒體，其中任何在一請求項類型(例如頭戴式裝置)中提及的特點都也可以在例如是方法、儲存媒體、系統、以及電腦程式產品的另一請求項類型中加以主張。在所附的請求項中的往回的依附關係或參照只是為了格式的理由而被選擇。然而，任何產生自一刻意的參照回到任何先前的請求項(尤其是多重依附關係)的標的也都可以主張，因而請求項以及其之特點的任意組合被揭示並且可以主張，而不論在所附的請求項中所選擇的依附關係為何。可以主張的標的不僅包括如同在所附的請求項中闡述的特點的組合，而且也包括在所述請求項中的特點的任何其它的組合，其中在所述請求項中提及的每一個特點都可以和在所述請求項中的任何其它特點或是其它特點的組合來加以結合。再者，在此敘述或描繪的實施例及特點的任一者都可以在一個別的請求項中主張，且/或與在此敘述或描繪的任何實施例或特點組合、或是與所附的請求項的特點的任一者組合來加以主張。
在一實施例中，一種頭戴式裝置可包括： 注視判斷電路，其被配置以判斷所述頭戴式裝置的第一使用者的注視方向； 收發器，其被配置以接收和第二使用者的頭戴式裝置相關的音頻信號； 處理電路，其被配置以： 判斷和所述第二使用者相關的相對於所述第一使用者的相對位置； 判斷所述第二使用者的位置相對於所述第一使用者的增強方向的偏差，其中所述增強方向是至少部分根據所述第一使用者的所述注視方向； 至少部分根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻信號；以及 至少部分根據所述第二使用者的識別出的所述位置相對於所述第一使用者的所述增強方向的所述偏差來增強所述音頻輸出信號的振幅；以及 揚聲器組件，其被配置以根據空間化且增強的所述音頻輸出信號來投射聲音，使得被投射的聲音被感知為源自於所述第二使用者的所述位置。
在一實施例中，一頭戴式裝置可包括麥克風陣列，其包括被配置在複數個不同的位置中的複數個麥克風，所述麥克風陣列可被配置以捕捉在所述第一使用者的本地區域中的聲音並且產生音頻輸入信號。
所述處理電路可被配置以： 分析所述音頻輸入信號以識別源自於所述第一使用者的所述本地區域中的特定的區域的聲音；以及 藉由增強所述音頻輸入信號對應源自於所述特定的區域的所述聲音的部分，以從所述音頻輸入信號產生使用者音頻信號。
所述特定的區域可以對應於所述第一使用者的嘴部。
所述收發器可被配置以接收所述第二使用者的位置性資訊。
在一實施例中，一頭戴式裝置可包括天線陣列，其被配置以判斷和所述第二使用者相關的相對於所述第一使用者的所述相對位置。
所述處理電路可被配置以根據在所述第一使用者以及所述第二使用者之間是否有視線來空間化所述音頻輸出信號。
所述注視判斷電路可被配置以： 接收所述第一使用者的位置，所述位置包括所述第一使用者的至少一頭部朝向；以及 判斷所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向；以及 其中空間化和所述第二使用者相關的所述音頻輸出信號是根據所述第二使用者的所述位置至所述第一使用者的所述頭部朝向的相對的方向。
所述接收器可被配置以從第三使用者接收第二音頻信號，並且所述處理電路可被配置以： 識別和所述第三使用者相關的相對於所述第一使用者的相對位置； 判斷所述第三使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 比較所述第三使用者的識別出的所述相對位置的所述偏差與所述第二使用者的識別出的所述相對位置的所述偏差；以及 根據所述比較的結果來增強和所述第三使用者相關的所述第二音頻信號的振幅。
在一實施例中，一種方法可包括： 在第一使用者的頭戴式裝置處判斷所述第一使用者的增強方向； 在第一使用者的頭戴式裝置處接收和第二使用者的頭戴式裝置相關的音頻信號； 識別和所述第二使用者相關的相對於所述第一使用者的相對位置； 判斷所述第二使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 至少部分根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻信號；以及 至少部分根據所述第二使用者的識別出的所述位置相對於所述第一使用者的所述增強方向的所述偏差來增強所述音頻輸出信號的振幅；以及 根據空間化且增強的所述音頻輸出信號來投射聲音，使得被投射的聲音被感知為源自於所述第二使用者的所述位置。
在一實施例中，一種方法可包括利用麥克風陣列來捕捉在所述第一使用者的本地區域中的聲音並且產生音頻輸入信號，所述麥克風陣列包括被配置在複數個不同的位置中的複數個麥克風。
在一實施例中，一種方法可包括： 分析所述音頻輸入信號以識別源自於所述第一使用者的所述本地區域中的特定的區域的聲音； 藉由增強所述音頻輸入信號對應源自於所述特定的區域的所述聲音的部分，以從所述音頻輸入信號產生使用者音頻信號。
所述特定的區域可以對應於所述第一使用者的嘴部。
在一實施例中，一種方法可包括接收所述第二使用者的位置性資訊。
在一實施例中，一種方法可包括在天線陣列處接收來自所述第二使用者的頭戴式裝置的信號，並且根據所接收到的信號來判斷和所述第二使用者相關的相對於所述第一使用者的所述相對位置。
空間化所述音頻輸出信號可以是根據在所述第一使用者以及所述第二使用者之間是否有視線。
判斷所述第一使用者的增強方向可包括判斷所述第一使用者的注視方向，其藉由： 接收所述第一使用者的位置，所述位置包括所述第一使用者的至少一頭部朝向； 判斷所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向；以及 根據所述頭部朝向以及所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向來判斷所述注視方向；以及 其中空間化和所述第二使用者相關的所述音頻輸出信號是根據所述第二使用者的所述位置至所述第一使用者的所述朝向的相對的方向。
在一實施例中，一種方法可包括： 從第三使用者接收第二音頻信號； 識別和所述第三使用者相關的相對於所述第一使用者的相對位置； 判斷所述第三使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 比較所述第三使用者的識別出的所述相對位置的所述偏差與所述第二使用者的識別出的所述相對位置的所述偏差；以及 根據所述比較的結果來增強和所述第三使用者相關的所述第二音頻信號的振幅。
在一實施例中，一種可以儲存指令的非暫態的電腦可讀取媒體，當所述指令藉由一或多個處理器執行時，可以使得所述一或多個處理器執行包括以下的操作： 在第一使用者的頭戴式裝置處判斷所述第一使用者的增強方向； 在第一使用者的頭戴式裝置處接收和第二使用者的頭戴式裝置相關的音頻信號； 識別和所述第二使用者相關的相對於所述第一使用者的相對位置； 判斷所述第二使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 至少部分根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻信號；以及 至少部分根據所述第二使用者的識別出的所述位置相對於所述第一使用者的所述增強方向的所述偏差來增強所述音頻輸出信號的振幅；以及 根據空間化且增強的所述音頻輸出信號來投射聲音，使得被投射的聲音被感知為源自於所述第二使用者的所述位置。
判斷所述第一使用者的增強方向可包括判斷所述第一使用者的注視方向，其藉由： 接收所述第一使用者的位置，所述位置包括所述第一使用者的至少一頭部朝向； 判斷所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向；以及 根據所述頭部朝向以及所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向來判斷所述注視方向；以及 其中空間化和所述第二使用者相關的所述音頻輸出信號是根據所述第二使用者的所述位置至所述第一使用者的所述朝向的相對的方向。
在一實施例中，一或多個非暫態的電腦可讀取儲存媒體可以體現軟體，當所述軟體被執行時，可運作以執行根據上述實施例的任一者或是在上述實施例之內的一種方法。
在一實施例中，一種系統可包括：一或多個處理器；以及至少一記憶體，其耦接至所述處理器並且包括可藉由所述處理器執行的指令，當所述處理器執行所述指令時，其可運作以執行根據上述實施例的任一者或是在上述實施例之內的一種方法。
在一實施例中，一種較佳的是包括一非暫態的電腦可讀取儲存媒體之電腦程式產品，當在資料處理系統上被執行時，可運作以執行根據上述實施例的任一者或是在上述實施例之內的一種方法。
實施例是有關於一種具有一音頻系統的頭戴式裝置，所述音頻系統被配置以從多個音頻來源接收音頻信號，並且回放所接收到的音頻信號給一使用者(例如，所述頭戴式裝置的穿戴者)。所述音頻系統根據一特定的音頻來源的相對位置來空間化從所述音頻來源接收到的音頻信號，使得回放給所述使用者的音頻信號聽起來像是源自於所述音頻來源的所述位置。在某些實施例中，所述音頻系統根據所述音頻來源的所述位置以及所述使用者的一增強方向(例如，一注視方向)來增強從所述音頻來源接收到的音頻信號，以便於強調從某些音頻來源接收到的音頻資料，並且容許所述使用者能夠在不同的音頻來源之間切換其注意力。
在某些實施例中，一共用的通訊頻道被建立在一本地區域之內的複數個使用者之間。每一個人都穿戴一頭戴式裝置，其包括一收發器以用於和所述共用的通訊頻道中的其他使用者通訊(例如，發送及接收音頻信號)。每一個頭戴式裝置亦包含感測器，其被配置以追蹤其使用者的位置以及注視方向，此可被利用以判斷所述共用的通訊頻道的其他使用者的相對位置、以及所述其他使用者的位置是如何相關所述使用者的注視方向。
所述頭戴式裝置根據所述共用的通訊頻道的其他使用者的相對位置來處理從所述共用的通訊網路的其他使用者接收到的音頻信號，使得當所述音頻信號被回放給所述使用者時，其將會聽起來像是源自對應於所述其他使用者的位置。音頻信號亦根據所述使用者的增強方向(其可以是根據所述使用者的一注視方向，並且可被利用以推斷所述使用者注意到哪些其他使用者)而被增強，其中來自在與所述使用者的增強方向對準的位置處的其他使用者的音頻信號可以更強地被增強。例如，第一使用者從所述共用的通訊頻道的其他使用者的每一個接收音頻信號，其被空間化以指出所述其他使用者的每一個至所述第一使用者的相對位置，並且根據所述第一使用者目前正注視(例如，如同藉由注視方向所判斷)的所述其他使用者中的哪位來加以增強。
此外，所述頭戴式裝置包含一麥克風以用於記錄使用者本身的語音。所述使用者本身的語音接著可被發送至所述共用的通訊頻道中的其他使用者的頭戴式裝置。再者，在某些實施例中，所述使用者本身的語音可以被回放給所述使用者，以協助所述使用者調整其本身的語音的音量。
各種的實施例可包含一人工實境系統、或是結合一人工實境系統來加以實施。人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境(VR)、一擴增實境(AR)、一混合實境(MR)、一混雜實境、或是其中之某種組合及/或衍生。人工實境內容可包含完全是所產生的內容、或是結合所捕捉(例如，真實世界)的內容之產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，並且其之任一個都可以用單一通道或是多個通道來加以呈現(例如是產生三維效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中產生內容，且/或否則在一人工實境中被利用(例如，在人工實境中執行活動)。提供人工實境內容的人工實境系統可以在各種平台上加以實施，其包含連接至一主機電腦系統的一頭戴顯示器(HMD)、一獨立的HMD、一行動裝置或計算系統、或是任何其它能夠提供人工實境內容給一或多個觀看者的硬體平台。
圖1是描繪根據一或多個實施例的包含一音頻系統115的一環境的高階圖。所述音頻系統115可被整合為一頭戴式裝置110的部分，所述頭戴式裝置110可以被一使用者105A所穿戴。
穿戴包含所述音頻系統115的頭戴式裝置110的使用者105A是在一鄰近複數個其他使用者(使用者105B、105C、105D及105E)的環境內。所述使用者105A-E可以整體被稱為使用者105。所述使用者可以和彼此說話，並且因此分別可被視為對應於一音頻來源。此外，額外的音頻來源可能存在於所述環境中。在具有大量彼此鄰近的音頻來源的環境中，所述使用者105A想要專注在任何特定的音頻來源(例如，所述環境中的一特定的其他使用者的語音)可能是困難的。
為了使得在所述環境中的使用者之間的談話變得容易，每一個使用者可以穿戴具有一個別的音頻系統的一個別的頭戴式裝置。所述音頻系統115是和其它頭戴式裝置的音頻系統通訊以接收對應於所述其他使用者的語音的音頻信號，並且回放所述音頻信號給所述使用者105A。此可以容許所述使用者105A能夠更清楚地聽到其他使用者的語音。此外，所述音頻系統115處理所接收到的音頻信號，使得被回放給所述使用者105的音頻信號被空間化以使得所播放的聲音被感知為源自於所述其他使用者的位置。所述被回放的音頻信號亦可以根據所述使用者105目前正注視所述其他使用者中的哪位而被增強。
在某些實施例中，複數個使用者可以建立一共用的通訊頻道。例如，圖1是描繪具有三個使用者的第一共用的通訊頻道120A、以及具有兩個使用者的第二共用的通訊頻道120B。一共用的通訊頻道120可以對應於希望和彼此談話的一特定群組的使用者。例如，一共用的通訊頻道120可包含一些在彼此的某個接近程度之內(例如，坐在同一桌)的使用者。如同在此所用的，一共用的通訊頻道可以指稱一群組的多個使用者，每一個使用者是和一對應的音頻系統相關的，其中每一個使用者的音頻系統是能夠和所述群組內的每一個其他使用者的音頻系統通訊。例如，所述第一共用的通訊頻道120A的三個使用者105A、105B及105C的每一個具有和彼此通訊的個別的音頻系統，而所述第二共用的通訊頻道120B的兩個使用者105D及105E的每一個具有和彼此通訊的個別的音頻系統。
在某些實施例中，一共用的通訊頻道可包含一或多個遠端的使用者。一共用的通訊頻道可包含在一特定的地理區域(例如，對應於一特定的場所、建築物、等等)之內的複數個使用者。在某些實施例中，所述地理區域可以根據一或多個例如是牆壁的結構來界定。如同在此所用的，一遠端的使用者可以對應於一參與所述共用的通訊頻道的使用者，其位在對應於所述頻道的地理區域之外。例如，一共用的通訊頻道可包括坐在同一桌的一群組的使用者、以及位在一不同的建築物內的一或多個額外的遠端的使用者。
儘管圖1是描繪每一個共用的通訊頻道120A及120B為對應於不同的區域，但在某些實施例中，不同的共用的通訊頻道涵蓋重疊的區域。例如，所述第二共用的通訊頻道120B的使用者可以在一共同的區域之內和所述第一共用的通訊頻道120A的使用者混合。在某些實施例中，一特定的使用者可以參與超過一個的共用的通訊頻道(例如，兩個共用的通訊頻道120A及120B)。
在某些實施例中，一共用的通訊頻道120可以藉由一群組的一或多個使用者透過資訊的交換來加以建立。例如，第一使用者可以藉由掃描(例如，利用其個別的頭戴式裝置110或是其它掃描裝置)對應於第二使用者的資訊(例如，根據所述第二使用者穿戴的一頭戴式裝置、或是一例如是徽章的可掃描的物件)，來讓所述第二使用者加入一共同的共用的通訊頻道。在某些實施例中，所述共用的通訊頻道被實施為在至少所述第一及第二使用者的頭戴式裝置之間所建立的一對等網路的部分。
在某些實施例中，一或多個使用者105經由一網路125來存取一應用程式伺服器130。所述網路可包括網際網路、本地區域網路(LAN)、廣域網路(WAN)、行動有線或無線的網路、私有網路、虛擬私人網路、或是其之一組合。
所述應用程式伺服器130包含一或多個使得在不同使用者的頭戴式裝置之間的通訊變得容易的應用程式，並且可以對應於線上系統、本地的控制台、或是其之某種組合。例如，所述應用程式伺服器130可包含在兩個或多個使用者之間建立一共用的通訊頻道，並且維持對應於所建立的共用的通訊頻道的元資料的應用程式。其可包括線上系統。每一個使用者可以登錄至所述應用程式伺服器130上的線上系統，並且指出他們希望通訊的一或多個其他使用者。在某些實施例中，若兩個使用者都指出希望和對方使用者通訊，則在兩個使用者105之間的一連線可被建立。一共用的通訊頻道可以針對於其中群組的每一個使用者都連接至所述群組的其他使用者的每一個之每一群組的使用者來加以形成。
在其它實施例中，第一使用者可以建立一共用的通訊頻道120，其接著可以由額外的使用者來加入。例如，所述第一使用者可以提供給所述額外的使用者的每一個一密碼或是其它類型的認證，以容許所述額外的使用者經由所述應用程式伺服器130來加入所述共用的通訊頻道(例如，口頭或書面地提供所述密碼給所述額外的使用者、或是經由一使用者介面來發送所述密碼至所述第一使用者所指出的額外的使用者的頭戴式裝置)。在某些實施例中，所述應用程式伺服器130維護所述共用的通訊頻道120，並且發送有關所述頻道的一目前的狀態的更新(例如，若一新的使用者加入所述頻道、或是若一現有的使用者離開所述頻道)至所述頻道的每一個使用者的頭戴式裝置。在某些實施例中，所述應用程式伺服器130被用來維護對應於所述共用的通訊頻道120的資訊，並且發送有關所述共用的通訊頻道的目前的狀態資訊至每一個使用者的頭戴式裝置，而在所述頭戴式裝置之間的音頻資料的通訊可以對等地加以執行。
在某些實施例中，所述應用程式伺服器130包括一社群網路系統。所述社群網路系統可以維護一社交圖譜或是其它指出在不同使用者之間的關係的資料結構(例如，朋友關連)。在某些實施例中，在所述社群網路系統上只有具備一特定類型的關係的使用者才可以和彼此建立關連以形成一共用的通訊頻道。在某些實施例中，由所述應用程式伺服器130所維護的社交圖譜可被用來在多個使用者之間自動地建立一共用的通訊頻道120。例如，全都位在一特定的地理區域之內並且全都和彼此具有一特定類型的社群網路關係的一群組的使用者可以自動地內含在一共用的通訊頻道中。
在某些實施例中，所述應用程式伺服器130的某些或全部的功能可以藉由一本地的控制台來加以執行。例如，所述本地的控制台可以連接至對應於一本地環境中的不同使用者105的多個頭戴式裝置110，並且在所述環境中的使用者的群組之間建立及維護一或多個共用的通訊頻道。在某些實施例中，一或多個頭戴式裝置105可以透過一本地的控制台來連接至所述應用程式伺服器130。
圖2是根據一或多個實施例的描繪包含音頻系統的頭戴式裝置110的一例子，其可以被一共用的通訊頻道中的一使用者所穿戴。所述頭戴式裝置110呈現媒體給一使用者。在一實施例中，所述頭戴式裝置110可以是一近眼顯示器(NED)。在另一實施例中，所述頭戴式裝置110可以是一頭戴式顯示器(HMD)。一般而言，所述頭戴式裝置可被穿戴在一使用者(例如，使用者105)的臉部上，使得內容(例如，媒體內容)是利用所述頭戴式裝置的一或兩個透鏡210而被呈現。然而，所述頭戴式裝置110亦可被利用，以使得媒體內容是用一不同的方式而被呈現給一使用者。藉由所述頭戴式裝置110呈現的媒體內容的例子包含一或多個影像、視訊、音訊、或是其之某種組合。除了其它構件以外，所述頭戴式裝置110包含所述音頻系統，並且可包含一框架205、一透鏡210、一相機組件235、一位置感測器240、一眼動追蹤感測器245、以及一控制器215，以用於控制所述頭戴式裝置110的音頻系統以及各種其它的感測器。儘管圖2是在所述頭戴式裝置110上的範例位置處描繪所述頭戴式裝置110的構件，但是所述構件可以是位在所述頭戴式裝置110上的別處、在與所述頭戴式裝置110配對的一週邊裝置上、或是其之某種組合。
所述頭戴式裝置110可以校正或強化一使用者的視覺、保護一使用者的眼睛、或是提供影像給一使用者。所述頭戴式裝置110可以是眼鏡，其校正一使用者的視力上的缺陷。所述頭戴式裝置110可以是太陽眼鏡，其保護一使用者的眼睛以避開陽光。所述頭戴式裝置110可以是護目鏡，其保護一使用者的眼睛免受到衝擊。所述頭戴式裝置110可以是一夜視裝置或紅外線眼鏡以強化一使用者在夜晚的視覺。所述頭戴式裝置110可以是一近眼顯示器，其產生人工實境內容給所述使用者。或者是，所述頭戴式裝置110可以不包含透鏡210，並且可以是具有一音頻系統的一框架205，其提供音訊內容(例如，音樂、廣播、播客(podcasts))給一使用者。
所述透鏡210提供或透射光至一穿戴所述頭戴式裝置110的使用者。所述透鏡210可以是處方鏡片(例如，單光、雙焦點及三焦點、或是多焦)以助於校正一使用者的視力上的缺陷。所述處方鏡片透射環境光至穿戴所述頭戴式裝置110的使用者。所透射的環境光可以藉由所述處方鏡片而被改變，以校正所述使用者的視力上的缺陷。所述透鏡210可以是一偏光鏡片或是一染色鏡片，以保護所述使用者的眼睛以避開陽光。所述透鏡210可以具有作為一波導顯示器的部分的一或多個波導，其中影像光是透過所述波導的一端或邊緣而被耦合至所述使用者的眼睛。所述透鏡210可包含一用於提供影像光的電子顯示器，並且亦可包含一用於放大來自所述電子顯示器的影像光的光學區塊。
在某些實施例中，所述頭戴式裝置110可包含一相機組件235，其針對於圍繞所述頭戴式裝置110的一本地區域捕捉視覺的資訊。在某些實施例中，所述相機組件235對應於一景深相機組件(DCA)，其捕捉針對於所述本地區域描述景深資訊的資料。在某些實施例中，在某些實施例中，所述DCA可包含一光投影器(例如，結構光及/或用於飛行時間的閃光照明)、一成像裝置、以及一控制器。所捕捉的資料可以是所述成像裝置所捕捉的藉由所述光投影器而被投影到所述本地區域之上的光的影像。在一實施例中，所述DCA可包含兩個或多個被定向以立體捕捉所述本地區域的部分的相機以及一控制器。所捕捉的資料可以是藉由所述兩個或多個相機以立體捕捉的所述本地區域的影像。所述控制器利用所捕捉的資料以及景深決定技術(例如，結構光、飛行時間、立體成像、等等)來計算所述本地區域的景深資訊。根據所述景深資訊，所述控制器可以是能夠判斷所述頭戴式裝置110在所述本地區域之內的絕對的位置資訊。所述DCA可以和所述頭戴式裝置110整合在一起、或是可被設置在所述本地區域之內的所述頭戴式裝置110的外部。在後者的實施例中，所述DCA的控制器可以發送所述景深資訊至所述頭戴式裝置110的控制器215。
所述位置感測器240被配置以產生一或多個量測信號，並且根據所產生的信號來估計所述頭戴式裝置110的一目前的位置。在某些實施例中，所述頭戴式裝置110的目前的位置是相對於所述頭戴式裝置110的一最初的位置而被判斷出。所述估計的位置可包含所述頭戴式裝置110的一位置、及/或所述頭戴式裝置110或是穿戴所述頭戴式裝置110的使用者的頭部的一朝向、或是其之某種組合。所述朝向可以對應於每一個耳朵相對於所述參考點的一位置。在其中所述相機組件235包括一DCA的某些實施例中，所述位置感測器240利用來自所述DCA的景深資訊及/或所述絕對的位置性資訊以估計所述頭戴式裝置110的目前的位置。所述位置感測器240可包含用以量測平移的運動(前/後、上/下、左/右)的一或多個加速度計、以及用以量測旋轉的運動(例如，俯仰、偏擺、翻滾)的一或多個陀螺儀。在某些實施例中，所述位置感測器240包括可利用以偵測運動的其它類型的感測器，例如是一或多個磁力儀。
在某些實施例中，所述位置感測器240包括一慣性的量測單元(IMU)，其快速地取樣接收到的量測信號，並且從所取樣的資料計算所述頭戴式裝置110的估計的位置。例如，所述IMU在時間上積分從所述加速度計接收到的量測信號以估計一速度向量，並且在時間上積分所述速度向量以決定在所述頭戴式裝置110上的一參考點的一估計的位置。所述參考點是一可被用來描述所述頭戴式裝置110的位置的點。儘管所述參考點可以大致被定義為在空間中的一點，然而所述參考點實際是被定義為在所述頭戴式裝置110之內的一點。在某些實施例中，所述IMU可被實施為所述本地的控制器215的一部分，而不是所述位置感測器240。
所述眼動追蹤感測器245被配置以提供感測器讀數(例如，使用者的眼睛的捕捉到的影像)，其可利用於判斷所述使用者的一注視方向。當穿戴所述頭戴式裝置110時，所述使用者的眼睛可能會相對於其頭部來移動，此容許所述使用者能夠在不須移動其頭部下看往不同的方向。就此而論，所述使用者可能正在看不同於相對於所述頭戴式裝置110的位置及朝向的正前方的一方向(例如，如同藉由所述位置感測器240判斷者)。
在某些實施例中，所述眼動追蹤感測器245包括一眼動追蹤感測器，其被配置以判斷所述使用者的眼睛的一朝向。所述眼動追蹤感測器捕捉及分析所述使用者的一眼的影像以判斷所述使用者的眼睛相對於所述頭戴式裝置110的一朝向。在某些實施例中，所述眼動追蹤感測器包括一或多個光源以及一或多個相機。所述一或多個光源利用IR光，例如是紅外閃光(例如，用於飛行時間的景深判斷)、結構光圖案(例如，點圖案、條形圖案、等等)、閃爍圖案、等等來照射所述眼睛。一光源例如可以是垂直腔面發射雷射、發光二極體、微LED、某種其它的紅外光IR源、或是其之某種組合。所述一或多個相機被配置以捕捉利用來自所述一或多個光源的IR光而被照射的眼睛的一或兩者的影像。所述相機包含一影像感測器(例如，互補金屬氧化物半導體、電荷耦合裝置、等等)，其被配置以偵測從所述一或多個光源發射的光。在某些實施例中，所述相機亦可以是能夠偵測在其它頻帶(例如，可見光頻帶)中的光。所述眼動追蹤感測器針對於所述使用者的眼睛的一或兩者，利用所捕捉的影像以及一景深判斷技術來判斷眼睛朝向。景深判斷技術例如可包含結構光、飛行時間、立體成像、熟習此項技術者熟悉的某種其它的景深判斷方法、等等。在某些實施例中，所述眼動追蹤感測器根據所捕捉的影像以及所述使用者的眼睛的一模型來判斷眼睛朝向。
藉由所述眼動追蹤感測器判斷的眼睛朝向可以和所述頭戴式裝置110的一判斷出的位置(例如，如同利用所述位置感測器240所判斷的)組合，以判斷所述使用者的注視方向。例如，一對應於所述使用者的眼睛朝向的向量(其指出所述使用者的眼睛相對於其頭部的朝向)可以被加到一對應於所述頭戴式裝置的位置的向量(其指出所述頭戴式裝置在本地的環境之內的位置及朝向)，以判斷一對應於所述使用者的注視方向的向量(其指出所述使用者在所述本地的環境中注視的一方向)。藉由判斷所述使用者的注視方向，所述使用者在所述環境中注視的一方向被識別出，其可以結合所述共用的通訊頻道的其他使用者的位置的知識，而容許判斷所述使用者正看向其他使用者中的哪位。
在某些實施例中，所述眼動追蹤感測器245進一步從所述相機組件235的一相機接收一或多個影像，其描繪在所述相機的一FOV之內的所述本地區域，並且將所判斷的眼睛朝向對映到所接收到的影像之內的一位置。在某些實施例中，所述模組利用一物體識別以識別在所述一或多個影像之內的一或多個物體(例如，其他使用者)，並且將所判斷的眼睛朝向對映到一或多個所識別的物體。
所述頭戴式裝置110的音頻系統被配置以容許所述使用者能夠和在一共用的通訊頻道110之內的其他使用者通訊。在某些實施例中，所述音頻系統包括麥克風組件225、收發器230、具有一或多個揚聲器的揚聲器組件、以及控制器215。所述控制器215被配置以協調在所述頭戴式裝置110的各種構件之間的操作。例如，所述控制器215可以控制所述麥克風組件225以捕捉對應於所述使用者的語音的音頻資料，以經由所述收發器230而被發送至所述共用的通訊頻道之內的其他使用者。此外，所述控制器215可以經由所述收發器230接收對應於所述共用的通訊頻道的其他使用者的音頻資料，並且根據所述其他使用者至所述使用者的目前的位置的一相對位置(例如，如同藉由所述位置感測器240所判斷的)來處理所接收到的音頻資料(例如，空間化及/或增強所述音頻資料)。所述經處理的音頻資料可以利用所述揚聲器組件而被回放給所述使用者。有關所述音頻系統的額外細節是相關圖3來加以論述。
所述麥克風組件225記錄在所述頭戴式裝置110的一本地區域之內的聲音。一本地區域是圍繞所述頭戴式裝置110的一環境。例如，所述本地區域可以是穿戴所述頭戴式裝置110的使用者在裡面的一場所、或者穿戴所述頭戴式裝置110的使用者可以是在外面，並且所述本地區域是其中所述麥克風組件能夠偵測聲音的一外面的區域。所述麥克風組件225包含一或多個聲音感測器。在某些實施例中，所述聲音感測器被配置以記錄藉由所述頭戴式裝置110的使用者所做的語音。為了如此做，所述聲音感測器可以是位在接近所述使用者的嘴部，並且可具有短的捕捉範圍以便於避免捕捉非源自於所述使用者的其它聲音。在某些實施例中，所述聲音感測器可以是位在一個別的話筒或其它結構上，以便於位在更靠近所述使用者的嘴部處。
在某些實施例中，所述聲音感測器包括一埠，其對應於在所述頭戴式裝置110的框架205中的一孔。所述埠提供一耦合點，以供聲音從一本地區域至一聲音波導，其導引所述聲音至一聲音感測器。一聲音感測器捕捉從所述本地區域中的一或多個音源發射的聲音，並且被配置以偵測聲音並且轉換所偵測到的聲音成為一電子格式(類比或數位)。所述聲音感測器可以是聲波感測器、麥克風、聲音換能器、或是適合用於偵測聲音的類似的感測器。
儘管圖2是描繪所述麥克風組件225為被設置在所述頭戴式裝置110上的單一位置處，但是在某些實施例中，所述麥克風組件225包括一麥克風陣列，其具有複數個被設置在所述頭戴式裝置110上的聲音偵測位置。每一個聲音偵測位置可包含一聲音感測器或是一埠。所述聲音偵測位置可被置放在所述頭戴式裝置110的一外表面上、被置放在所述頭戴式裝置110的一內表面上、與所述頭戴式裝置110分開的(例如，某種其它裝置的部分)、或是其之某種組合。
所述收發器230被配置以和其他使用者的其它頭戴式裝置的收發器通訊。例如，所述收發器230可以發送資料(例如，對應於由所述使用者所做的語音的一音訊)至所述共用的通訊頻道之內的其他使用者的頭戴式裝置，並且從所述其他使用者的頭戴式裝置接收資料(例如，對應於由所述其他使用者所做的語音的音頻信號)。在某些實施例中，所述收發器230可以利用一網路(例如，所述網路125)以和一應用程式伺服器或控制台(例如，一被配置以維護所述共用的通訊頻道的應用程式伺服器)通訊。所述收發器230可包括一發送器、一接收器、或是兩者。
所述頭戴式裝置110進一步包括一揚聲器組件，其被配置以回放一或多個音頻信號為聲音，所述聲音被投射至所述頭戴式裝置110的使用者。在某些實施例中，所述揚聲器組件包含兩個或多個揚聲器，其容許被投射至所述使用者的聲音被空間化(例如，藉由調整透過所述揚聲器220的每一個所投射的聲音的一振幅)，使得所述聲音對於所述使用者而言可以聽起來是源自於所述本地區域中的一特定的位置或方向。例如，如同在圖2中所繪的，所述揚聲器組件可包括對應於所述使用者的左耳及右耳的一左揚聲器220a以及一右揚聲器220b。在某些實施例中，所述揚聲器可以覆蓋所述使用者的耳朵(例如，頭戴式耳機)、或是被插入所述使用者的耳朵中(例如，耳塞式耳機)。
儘管圖2是描繪兩個揚聲器(例如，左及右揚聲器220a及200b)，但是在某些實施例中，所述揚聲器可包括一揚聲器陣列，其包括在所述頭戴式裝置110上的複數個聲音發射位置。一聲音發射位置是一揚聲器的一位置、或是在所述頭戴式裝置110的框架105中的一埠。在一聲音發射位置的情形中，所述埠提供來自一聲音波導的聲音的一外部耦合點，所述聲音波導分開所述揚聲器陣列的一揚聲器與所述埠。從所述揚聲器發射的聲音行進穿過所述聲音波導，並且接著藉由所述埠發射到所述本地區域之中。在某些實施例中，所述聲音發射位置被設置在所述框架205的一外表面上(亦即，一並不面對所述使用者的表面)、在所述框架205的一內表面上(一面對所述使用者的表面)、或是其之某種組合。
儘管圖2是以一特定的配置來描繪所述頭戴式裝置110的各種構件，但所了解的是在其它實施例中，所述頭戴式裝置110可包含與那些在此所述者不同的構件，並且所述頭戴式裝置110的構件可以具有不同的結構、或是不同地被配置。在某些實施例中，以上論述的某些功能可以藉由不同的構件或是組合的構件來加以執行。
在所舉例說明的配置中，所述音頻系統是被嵌入使用者穿戴的NED中。在替代實施例中，所述音頻系統可被嵌入到使用者穿戴的頭戴式顯示器(HMD)中。儘管以上的說明論述所述音頻組件為被嵌入到使用者穿戴的頭戴式裝置中，但對於熟習此項技術者而言將會明顯的是所述音頻組件可被嵌入到不同的頭戴式裝置中，其可被使用者穿戴在別處、或是在不被穿戴下被使用者操作。 音頻系統
圖3是描繪根據一或多個實施例的一音頻系統300的方塊圖。所述音頻系統300可被實施為一頭戴式裝置(例如，所述頭戴式裝置110)的部分，並且可包括一麥克風組件225、一收發器230、一揚聲器組件330、以及一控制器215。所述音頻系統300的某些實施例具有不同於那些在此所述者的構件。類似地，所述功能可以用一不同於在此所述的方式而被分散在所述構件之間。在某些實施例中，所述音頻系統的某些功能可以是不同構件的部分(例如，某些功能可以是所述頭戴式裝置的部分，而某些可以是一控制台及/或伺服器的部分)。
所述麥克風組件225被配置以捕捉在所述使用者的一本地區域之內的聲音，並且產生一對應於所捕捉的聲音的音頻信號。在某些實施例中，所述麥克風組件225被配置以捕捉由所述使用者所做的語音，並且包括被配置以射束形成朝向所述本地區域的一特定的部分的複數個麥克風(例如，接近所述使用者的嘴部)，以增進偵測由所述頭戴式裝置的一使用者所說的聲音。例如，每一個麥克風產生一對應於藉由所述麥克風偵測到的聲音的音頻輸入信號。藉由分析針對於每一個麥克風的音頻輸入信號，源自於所述使用者的本地區域中的一特定的區域(例如，接近所述使用者的嘴部)的聲音可被識別。所述控制器215藉由增強所述音頻輸入信號的對應源自於所述特定的區域的所述聲音的部分，以從所述音頻輸入信號產生一使用者音頻信號。因此，所述使用者音頻信號可被產生以使得其反映源自於或接近所述使用者的嘴部的聲音(例如，其對應於所述使用者的語音)。此可以是有用的，因為其容許所述使用者的語音的一清楚的音頻信號能夠被捕捉，即使是在具有大量來自其它來源的聲音的環境中(例如，在一擁擠的場所中)也是如此。
所述收發器230被配置以往返在所述使用者參與的一共用的通訊頻道之內的其他使用者來發送及接收資料。例如，所述收發器230可以接收藉由所述麥克風組件225所捕捉的音頻資料(例如，對應於所述使用者本身的語音)，並且發送所接收到的音頻資料至所述共用的通訊頻道之內的其他使用者的頭戴式裝置上的收發器。此外，所述收發器230接收由所述共用的通訊頻道的其他使用者輸出的音頻資料(被稱為一音頻輸出信號或音頻信號)，其可以被處理(例如，藉由所述本地的控制器215)並且播放給所述第一使用者(例如，經由所述揚聲器220)。所述收發器230經由電磁波來通訊並且接收資訊。所述電磁波例如可以是射頻(RF)、IR、或是其之某種組合。在某些實施例中，所述收發器230利用RF及/或紅外線通訊來和所述本地區域中的其他使用者的收發器通訊。在某些實施例中，對應於複數個使用者的頭戴式裝置的複數個收發器可以和彼此通訊以建立一本地的網路(例如，經由藍芽或是其它類型的協定)。在某些實施例中，所述收發器230亦可以透過一網路(例如，網際網路)來和一應用程式伺服器、或是和一被配置以維護所述共用的通訊頻道的本地的控制台無線地通訊(例如，經由Wi-Fi)。此外，在其中所述共用的通訊頻道可包含遠端的使用者的實施例中，所述收發器230可以透過所述應用程式伺服器或是本地的控制台來和所述遠端的使用者通訊。
在某些實施例中，藉由所述收發器230傳送及接收的資料包括對應於發送的/接收到的音頻資料的元資料。所述元資料可以指出和所述音頻資料相關的使用者的一身分(例如，一使用者ID)以及所述使用者的一位置可以從其導出的資訊。例如，所述元資料可包含所述使用者的目前的位置資訊(例如，如同藉由在所述使用者的頭戴式裝置上的一位置感測器所判斷的)。在某些實施例中，第一頭戴式裝置110的收發器230包括一天線陣列，每一個天線是位在所述第一頭戴式裝置110上的不同位置處，使得藉由每一個天線從第二頭戴式裝置的收發器接收到的信號的一相對的時序或相位可被用來判斷所述第二頭戴式裝置的一相對位置。
所述揚聲器組件330被配置以回放一或多個音頻信號，以作為被投射至所述頭戴式裝置的使用者的聲音。如上所論述，在某些實施例中，所述揚聲器組件330包含兩個或多個揚聲器，其容許被投射至所述使用者的聲音被空間化(例如，藉由調整透過所述揚聲器的每一個所投射的聲音的一振幅)，使得所述聲音對於所述使用者而言可以聽起來是源自於所述本地區域中的一特定的位置或方向。
一揚聲器例如可以是一動圈式換能器、一壓電換能器、利用一電性信號來產生一聲音壓力波的某種其它裝置、或是其之某種組合。在某些實施例中，所述揚聲器組件330亦包含覆蓋每一個耳朵的揚聲器(例如，頭戴式耳機、耳塞式耳機、等等)。在其它實施例中，所述揚聲器組件330並不包含任何遮蔽使用者耳朵的揚聲器(例如，所述揚聲器是在頭戴式裝置的一框架上)。
所述控制器215包括用於操作所述麥克風組件225、收發器230、以及揚聲器組件330的電路模組。這些可包含一資料儲存335、一頻道配置電路305、一位置追蹤電路310、一注視判斷電路315、一信號處理電路320、以及一音頻濾波電路325。儘管圖3是描繪所述構件為所述控制器215，而且為對應於不同的電路，但理解到的是在其它實施例中，所述頻道配置電路305、所述位置追蹤電路310、所述注視判斷電路315、所述信號處理電路320、以及所述音頻濾波電路325可以用軟體(例如，軟體模組)、韌體、硬體、或是其之任意組合來體現。
所述資料儲存335儲存供所述控制器215的各種其它模組利用的資料。所儲存的資料可包含一共用的通訊頻道的一或多個參數(例如，在一共用的通訊頻道中的其他使用者的身分、用於接達所述共用的通訊頻道的認證資訊、等等)。所儲存的資料可包含和所述使用者相關的位置資訊(例如，所述使用者的位置及姿勢，如同藉由所述位置感測器240所判斷的)、及/或和其他使用者的音頻系統相關的位置資訊(例如，從其他使用者的頭戴式裝置接收到的)。在某些實施例中，所述資料儲存335可以儲存所述本地區域的一或多個模型。例如，所述控制器215可以產生所述本地區域的一模型，其指出在本地的環境中的所述使用者以及其他使用者的位置、在所述本地的環境中的一或多個物體(例如，利用所述相機組件235來偵測)、等等。所述資料儲存335亦可儲存一或多個眼動追蹤參數(例如，將被使用於眼動追蹤的光圖案、所述使用者的眼睛的模型、等等)、音頻內容(例如，記錄的音頻資料、接收到的音頻資料、等等)、一或多個用於空間化音頻內容的參數(例如，頭部相關的轉換函數)、一或多個用於增強音頻內容的參數(例如，用於判斷注意力評分的演算法)、一或多個用於濾波音頻內容的參數、所述音頻系統300所用的某種其它資訊、或是其之某種組合。
所述頻道配置電路305被配置以維護所述使用者在一共用的通訊頻道中的會員資格。如同在此所用的，維護所述使用者在所述共用的通訊頻道中的會員資格例如可包含建立所述共用的通訊頻道、加入所述使用者至一現有的共用的通訊頻道成為一會員及/或移除其、更新所述共用的通訊頻道的一或多個參數(例如，經由和一應用程式伺服器、或是和在所述共用的通訊頻道中的其他使用者的音頻系統通訊)、執行和所述共用的通訊頻道相關的其它動作、或是其之某種組合。
在某些實施例中，一使用者可以藉由提供對應於一或多個額外的使用者的資訊至所述頻道配置電路305(例如，經由一使用者介面、經由一掃描裝置、等等)來建立一共用的通訊頻道。作為響應的是，所述頻道配置電路305可以建立所述共用的通訊頻道以包含所述使用者以及所述一或多個額外的使用者。在某些實施例中，所述頻道配置電路305發送資料至和所述額外的使用者的每一個相關的頻道配置電路(例如，經由所述收發器230)，以建立所述共用的通訊頻道。
在某些實施例中，和所述共用的通訊頻道中的每一個使用者相關的頻道配置電路是在一個別的資料儲存(例如，資料儲存335)中儲存對應於所述頻道的資訊。所述資訊可包括在所述共用的通訊頻道之內的其他使用者的身分、在所述共用的通訊頻道上通訊所需的認證資訊、等等。在某些實施例中，所述頻道配置電路305可以偵測在一或多個頻道參數上的改變，例如是在所述頻道的使用者會員資格上的改變(例如，一新的使用者加入所述頻道、一使用者離開所述頻道、在一使用者的優先等級上的改變)、在和所述頻道相關的認證資訊上的改變、在所述頻道的其它參數上的改變、或是其之某種組合。響應於偵測到在頻道參數上的變化，所述頻道配置電路305可以傳遞所述改變至所述頻道中的其他使用者的頻道配置電路。就此而論，所述使用者的頻道通訊電路可以彼此協調，使得每一個頻道通訊電路都能夠存取有關所述共用的通訊頻道的最新的參數，因而每一個音頻系統300都能夠和所述頻道的其他使用者的那些音頻系統通訊。
在其它實施例中，所述頻道配置電路305是和一應用程式伺服器通訊(經由所述收發器230)，其協調所述共用的通訊頻道的建立(例如，藉由和將內含在所述共用的通訊頻道中的每一個使用者的音頻系統的頻道配置電路通訊)。例如，頻道配置電路305是和所述應用程式伺服器通訊以指出參與所述共用的通訊頻道，並且接收和所述共用的通訊頻道相關的參數(例如，在所述共用的通訊頻道之內的其他使用者的身分、在所述共用的通訊頻道上通訊所需的任何認證資訊、等等)。此外，所述頻道通訊電路305可以和所述應用程式伺服器通訊以指出有關所述使用者在所述頻道中的參與的任何改變。所述應用程式伺服器可以負責維護用於所述共用的通訊頻道的參數，並且傳遞所述參數至對應於參與所述頻道的使用者的頻道通訊電路，以確保頻道通訊電路可以利用到所述頻道的最新的參數。
所述位置追蹤電路310被配置以判斷所述使用者的一目前的位置。所述位置追蹤電路310從一位置感測器(例如，所述位置感測器240)接收對應於所述使用者的頭戴式裝置的位置資訊，並且根據所接收到的位置資訊來判斷所述頭戴式裝置的一目前的位置。所述使用者的頭戴式裝置的位置可以指出所述使用者在一本地的環境之內的一位置、以及所述使用者的一朝向(例如，在所述使用者的頭部上的頭戴式裝置的一朝向，在以下亦被稱為所述使用者的一“頭部朝向”)。在某些實施例中，所述使用者的位置是相對於一參考點而被計算出。在某些實施例中，所述位置追蹤電路310的一或多個功能是藉由一IMU來加以執行。
所述位置追蹤電路310可以進一步被配置以判斷對應於所述共用的通訊頻道的其他使用者的位置資訊。在某些實施例中，對應於其他使用者的位置資訊可以直接從所述其他使用者的頭戴式裝置接收到(例如，經由所述收發器230)。例如，所述位置資訊可以伴隨從所述共用的通訊頻道的一或多個其他使用者接收到的音頻資料的元資料而被接收到，所述位置資訊指出所述音頻資料被接收到所來自的使用者的一目前的位置(例如，如同藉由其他使用者的頭戴式裝置的位置追蹤模組所判斷的)。在某些實施例中，所述位置追蹤電路310利用所述其他使用者的所獲得的位置資訊來判斷所述其他使用者的每一個至所述使用者的目前的位置的一相對位置。在某些實施例中，所述位置追蹤電路310可以利用所述其他使用者的所判斷的位置以產生或更新所述本地區域的一模型。
在其它實施例中，所述位置追蹤電路310根據從其他使用者的頭戴式裝置上的一天線陣列的複數個天線接收到的分析信號，來判斷所述其他使用者的位置。例如，在某些實施例中，第一頭戴式裝置的音頻系統300的收發器230包括一天線陣列，每一個天線是位在所述第一頭戴式裝置上的不同位置處。所述第一頭戴式裝置的位置追蹤電路310分析在所述陣列的每一個天線接收到的來自第二頭戴式裝置的收發器的信號，並且根據所接收到的信號的一相對的時序或相位來判斷所述第二頭戴式裝置的一相對位置。在其它實施例中，所述收發器230接收藉由第二頭戴式裝置的一收發器發送的複數個不同的信號，其中所述第二頭戴式裝置的收發器是一天線陣列，其包括在所述第二頭戴式裝置上的不同位置處的複數個天線。所述位置追蹤電路310分析所接收到的信號(例如，所接收到的信號的一時序或相位)，從其可以判斷所述第二頭戴式裝置至所述第一頭戴式裝置的一相對位置。
所述注視判斷電路315是被配置以判斷穿戴所述頭戴式裝置的使用者的一注視方向(例如，根據藉由所述眼動追蹤感測器245所做的眼動追蹤量測，例如是所述使用者的眼睛的被捕捉的影像)。如同在此所用的，一使用者的注視方向是對應於所述使用者在本地的環境中正注視的一方向。在某些實施例中，所述使用者的注視方向是根據所述使用者的一頭部朝向以及所述使用者的眼睛位置的一組合而被判斷出。例如，所述注視判斷電路315可以從所述眼動追蹤感測器245接收一或多個眼動追蹤量測(例如，所述使用者的眼睛藉由一眼動追蹤相機捕捉的一或多個影像)，以判斷所述使用者的目前的眼睛朝向以及所述使用者的頭部朝向(例如，如同藉由所述位置追蹤電路310所判斷的)，並且利用所判斷的眼睛朝向來修改所述使用者的頭部朝向以判斷所述使用者在本地的環境之內的一注視方向。例如，使用者的頭部可能是正面對在一第一方向上。然而，若所述使用者的眼睛被朝向看往偏離所述第一方向(例如，並非看向正前方)，則所述使用者的注視方向將會不同於所述使用者的頭部朝向。
在某些實施例中，所述注視判斷電路315亦可以從所述相機組件235接收在所述相機的一FOV之內的所述本地區域的一或多個影像，並且對映所判斷的眼睛朝向至所接收到的影像之內的一位置。所述注視判斷電路可以利用物體識別來識別在所述一或多個影像之內的一或多個對應於所對映的位置的物體(例如，其他使用者)，以判斷所述使用者的注視方向是否對準一或多個識別出的物體。在某些實施例中，所識別出的物體可被用來產生或更新所述本地區域的一模型。例如，所識別出的物體(例如其他使用者)在所述一或多個影像之內的位置可被用來判斷所述使用者是否正注視所識別出的物體的任一個、所識別出的物體位在相對於所述使用者的何處、所述使用者是否看見所識別出的物體、等等。
儘管圖3是描繪所述位置追蹤電路310以及所述注視判斷電路315為個別的模組，但是在某些實施例中，所述位置追蹤電路310以及所述注視判斷電路315可被實施為單一模組。例如，所述單一注視判斷電路可以接收感測器量測(例如，來自所述位置感測器240的位置資料、以及所述眼動追蹤感測器245的眼動追蹤資料)，以判斷所述使用者的位置、所述使用者的頭部朝向、以及所述使用者的眼睛相對於其頭部的朝向，而所述使用者的注視方向可以從其來加以判斷。
所述信號處理電路320是被配置接收一或多個經由所述收發器230接收到的音頻信號，每一個音頻信號對應於所述共用的通訊頻道的另一使用者的一音頻系統(被稱為“傳送的音頻系統”)，並且根據所述其它音頻系統至所述使用者的相對位置來處理所述信號，以產生被呈現給所述使用者的音頻資料。
所述信號處理電路320識別所述傳送的使用者至所述使用者的目前的位置的一相對位置。所述位置資訊可以是從所述位置判斷模組310接收到的。在某些實施例中，所述信號處理電路320利用所述本地區域的一模型，其包含每一個使用者在所述本地區域中的位置資訊，以判斷所傳送的使用者的相對位置。此外，所述信號處理電路320可以從所述注視判斷電路315接收所述使用者的一目前的注視方向的一指示。根據所述使用者的相對位置，所述信號處理電路320可以空間化來自一傳送的使用者的音頻信號，使得當所述音頻信號被播放給所述使用者時(例如，經由所述揚聲器220)，所述聲音將會聽起來像是源自於所述傳送的使用者的位置。
在某些實施例中，所述信號處理電路320是根據一或多個所產生的和所述音頻系統相關的聲音轉換函數來空間化所述音頻信號。所述聲音轉換函數可以是頭部相關的轉換函數(HRTF)、或是其它類型的聲音轉換函數。所述HRTF是敘述一耳朵如何從空間中的一點接收一聲音的特徵。針對於一特定的來源位置相對於一個人的HRTF對於所述個人的每一個耳朵而言是獨特的(因而對於所述個人是獨特的)，因為所述個人的結構(例如，耳朵形狀、肩部、等等)在所述聲音行進至所述個人的耳朵時影響所述聲音。例如，在某些實施例中，所述信號處理電路320可以針對於所述使用者產生兩組HRTF，每一個耳朵各有一組HRTF，其對應於各種頻率以及相對位置。一HRTF或是一對HRTF可被利用以產生音頻內容，其包含似乎是源自於在空間中的一特定點(例如，從一傳送的音頻系統的一位置)的聲音。數個HRTF可被用來產生環繞聲的音頻內容(例如，用於家庭娛樂系統、劇院揚聲器系統、沉浸式環境、等等)，其中每一個HRTF或是每一對HRTF對應於在空間中的一不同的點，使得音頻內容似乎是來自於在空間中的數個不同的點。產生HRTF的額外的例子是被描述在名稱為“用於個人化的聲音轉換函數的動態判斷的音頻系統”的美國專利申請號16/015,879中，其藉此以其整體被納入作為參考。
在某些實施例中，所述信號處理電路320可以根據所述傳送的使用者相對於一增強方向的一位置來增強所述音頻信號。如同在此所用的，所述使用者的增強方向可以指稱所述使用者被推論為注意到的一方向。在某些實施例中，所述使用者的增強方向可以對應於所述使用者的注視方向。在其它實施例中，所述增強方向可以是根據所述使用者的頭部的一朝向、所述使用者的頭部相對於其身軀的一朝向、及/或類似者。為了便於討論，所述增強方向將會主要被論述為對應於所述注視方向，儘管所了解的是在其它實施例中，所述增強方向可以對應其它相對於所述使用者的方向。
如同在此所用的，增強一音頻信號可以是指正增強所述音頻信號(例如，相對於其它聲音或音頻信號增加所述音頻信號的振幅)、或是負增強所述音頻信號(例如，相對於其它聲音或音頻信號減小所述音頻信號的振幅)。例如，在某些實施例中，如同根據所述使用者的注視方向所判斷的，來自所述使用者正在注視的傳送的使用者(例如，其意指所述使用者正注意到所述傳送的使用者)的音頻信號是被正增強，而來自所述使用者並未注視的其它傳送的使用者的音頻信號是被負增強。此可以容許所述使用者能夠更輕易地聚焦在來自某些使用者(例如，他們注意到的傳送的使用者)的語音，其中較少來自其他使用者的語音的分心，尤其是在其中大量的使用者同時說話的情形。在某些實施例中，所述信號處理電路320根據針對於每一個傳送的使用者計算出的一“注意力評分”來增強每一個接收到的音頻信號，其是在以下相關圖4更加詳細地加以描述。
所述信號處理電路320可以根據所述使用者的頭部朝向來空間化所接收到的音頻資料，因為所述使用者的耳朵是在所述使用者頭部上的固定位置處。在另一方面，所述信號處理電路320是根據所述使用者的注視方向來增強所述音頻資料，以更佳的強調源自於所述使用者實際正在注視或注意到的其他使用者的音頻資料。
儘管以上的討論主要是參照到根據所述使用者的注視方向來增強音頻資料，但是在其它實施例中，音頻資料的增強可以是根據其它方向，例如所述使用者的一頭部方向、經由所述使用者的頭部相對於其身軀的一角度修改後的所述使用者的一頭部方向、或是其之某種組合。
所述信號處理電路320進一步輸出所述空間化且增強的音頻信號至所述揚聲器組件330的揚聲器。例如，所述信號處理電路320可以根據所執行的空間化及/或增強，來輸出具有不同振幅的音頻信號至所述揚聲器組件320的揚聲器的每一個。
所述音頻濾波電路325是被配置接收一對應於所述使用者所做的語音的使用者音頻信號(例如，如同藉由所述麥克風組件225所捕捉的)，並且在所述使用者音頻信號上執行濾波。所述使用者音頻信號可以被發送至所述共用的通訊頻道中的其他使用者。此外，在某些實施例中，所述使用者音頻信號亦可以透過所述揚聲器組件330而被回放給所述使用者。
在某些實施例中，因為所述共用的通訊頻道的使用者可能是在彼此的附近，因此一使用者可以是能夠聽到一傳送的使用者的語音的實際的聲音，並且透過其頭戴式裝置接收對應於所述傳送的使用者的語音的音頻資料。由於需要時間來處理所接收到的音頻信號，因此所述音頻資料可能是在所述傳送的使用者的語音可以在所述使用者的位置處被聽到之後，才被呈現給所述使用者(例如，透過揚聲器組件330)。介於當所述傳送的使用者的實際的語音可以在所述使用者的位置處被聽到，與當所述傳送的使用者的音頻資料透過所述揚聲器組件330而被撥放給所述使用者之間的延遲被稱為一處理延遲。若所述處理延遲超出某一時間量，則被呈現給所述第一使用者的音頻資料對於所述第一使用者而言可能聽起來像是一回音。此產生一非所要的音頻效應，對於使用者而言可能是令人分心的。例如，在某些實施例中，當所述處理延遲大於10到15ms時，回音效應被產生。
在某些實施例中，所述音頻濾波電路325包括一全通濾波器，其處理所述使用者音頻信號的一相位以產生一時間上分散的使用者音頻信號(在以下被稱為一“漫射的使用者音頻信號”)。所述漫射的使用者音頻信號可包括所述使用者音頻信號的複數個漫射反射，其具有和原始未濾波的信號相同的總能量。對於對應語音的聲音而言，相較於未濾波的信號，漫射所述使用者音頻信號容許其是人耳較不能偵測為一個別的聽覺事件。此容許所述使用者音頻信號能夠在其將被接收所述使用者音頻信號的其他使用者偵測為一個別的回音之前，進行較長的處理延遲。漫射所述使用者音頻信號的例子是在以下相關圖5更加詳細地加以描述。儘管本討論是指所述音頻濾波電路325在所述使用者音頻信號上執行時間的分散，以準備發送所述使用者音頻信號至在一共用的通訊頻道之內的其他使用者，但是在某些實施例中，所述音頻濾波電路325並非是在所述使用者音頻信號上執行時間的分散，而是在回放給所述使用者之前，在從其他使用者的音頻系統接收到的音頻信號上執行時間的分散。在某些實施例中，其它濾波技術可被利用。例如，替代在時間上漫射所述使用者音頻信號或是額外地，所述音頻濾波電路325在某些實施例中可以修改所述使用者音頻信號的一頻率大小頻譜。
在某些實施例中，所述音頻濾波電路325進一步濾波所述使用者音頻信號，以產生一經修改的使用者音頻信號以被回放給所述音頻系統300的使用者。當一使用者正在一吵雜的環境中說話且/或對著一麥克風說話時，所述使用者常常可能不知道其本身的語音的音量，因為其本身的語音的聲音被淹沒在所述吵雜的環境中。就此而論，所述使用者可能會不小心而不必要地拉高其語音。
為了避免所述使用者嘗試高聲超過所述環境的吵雜，所述使用者音頻信號的一版本可被回放給所述使用者，因而所述使用者可以更正確地評估其語音的音量。因為一個人聽到的其本身的語音是不同於如同藉由麥克風所捕捉的其語音所聽到的(例如，由於除了透過空氣的聲波之外，在其頭骨中由其聲帶所引起的振動也到達其耳朵)，因此所述使用者音頻信號可加以修改，以便讓所述使用者能夠辨認所述使用者音頻信號的聲音為其本身的語音。在某些實施例中，所述使用者音頻信號通過一或多個濾波器，其近似在所述使用者的語音上的如同所述使用者感知的頭骨振動的效應。在某些實施例中，所述一或多個濾波器被配置以一般可應用於大多數人(例如，根據平均的頭骨形狀及尺寸)。在其它實施例中，所述一或多個濾波器可以根據一或多個使用者設定而被客製化。例如，所述頭戴式裝置110的使用者可以在設定期間配置所述濾波器的一或多個設定，以更接近地近似他們是如何聽到其語音的。在某些實施例中，所述濾波器可包括一低通濾波器，其中使用者能夠調整所述濾波器的斜率以及截止頻率。在某些實施例中，所述濾波器可包括一系列的一或多個可調整的雙二階濾波器、一FIR(有限脈衝響應)濾波器、或是其之某種組合。
就此而論，藉由回授所述使用者音頻信號的一經濾波的版本回到使用者，所述使用者可以更正確地評估其語音的音量，即使是在吵雜的環境中也是如此，並且可以避免不必要地提高其語音。在某些實施例中，所述使用者音頻信號的經濾波的版本只有在所述環境中的雜音量(例如，利用所述麥克風組件所量測的)超出一臨界值時才被回放給所述使用者，使得若在所述環境中的雜音量是使得所述使用者可以預期能夠聽到其本身的語音，則所述經濾波的使用者音頻信號並不被回放給所述使用者。 位置為基礎的音頻空間化及增強
圖4是描繪根據一或多個實施例的具有在一共用的通訊頻道下的複數個使用者的一環境的一個例子。所述環境包含複數個使用者，其包含第一使用者405A以及額外的使用者405B、405C及405D(整體被稱為使用者405)，其是一共用的通訊頻道的部分。每一個使用者405正穿戴一個別的頭戴式裝置410，其包含所述使用者用來和所述共用的通訊頻道的其他使用者通訊的一音頻系統。為了便於解說，只有所述第一使用者405A穿戴的頭戴式裝置410被標示在圖4中。
所述第一使用者405A的頭戴式裝置410包括一位置感測器以及眼動追蹤感測器，其被配置以判斷所述第一使用者405A的一位置以及一注視方向，其可被用來判斷用於所述第一使用者405A的一增強方向415。儘管圖4是描繪所述第一使用者405A的增強方向415為與所述頭戴式裝置410以及所述使用者405A的頭部的朝向對準，但是所述增強方向415可以不是對準到所述使用者405A的頭部的朝向。例如，在某些實施例中，所述增強方向415可以對應於所述使用者405A的注視方向。就此而論，即使所述使用者405A的位置以及所述使用者405A的頭部的朝向保持靜態的，但是當所述使用者405A移動其眼睛時，所述增強方向415仍然可以改變。在其它實施例中，所述使用者405A的增強方向可以對應於所述使用者的一頭部方向(例如，根據所述使用者的頭部的一朝向)、所述使用者的被修改一介於所述使用者的頭部與身軀朝向之間的角度的頭部方向(例如，當在所述使用者的頭部與身軀之間的角度增加時，所述增強方向415偏離所述使用者的頭部方向)、或是其之某種組合。
在所述環境之內的其他使用者405B、405C及405D的每一個都可以是一傳送的使用者。響應於藉由所述使用者405B、405C或405D的每一個所做的語音，音頻資料被記錄(例如，藉由其個別的頭戴式裝置)並且被發送至所述第一使用者405A的頭戴式裝置410(以及其他參與所述頻道的使用者)。所述頭戴式裝置410的信號處理電路320分析所述其他使用者的每一個的相對位置以決定針對於每一個使用者的音頻信號應該如何加以處理。
在某些實施例中，所述第一使用者405A的頭戴式裝置410的音頻系統判斷對應於發送音頻信號至所述使用者405A的傳送的使用者的每一個的位置資訊，並且對於所述傳送的使用者的每一個判斷所述傳送的使用者相對於第一使用者405A的頭部朝向的一相對位置、以及在所述傳送的使用者的位置相對於所述第一使用者405A的增強方向415之間的一偏差。
所述傳送的使用者相對於所述第一使用者405A的頭部朝向的相對位置是被所述音頻系統利用來空間化從所述傳送的使用者接收到的音頻信號。利用所判斷的相對位置以及所述使用者405A的一判斷出的目前的頭部朝向，所述音頻系統空間化所述音頻信號以使得當其經由所述頭戴式裝置410的揚聲器組件而被投射至所述使用者405A時，所述音頻信號的聲音聽起來像是源自於所述對應的傳送的使用者的位置。在某些實施例中，所述音頻系統是藉由設定對應於所述揚聲器組件的每一個揚聲器的一或多個權重來空間化所述音頻信號。在某些實施例中，所述音頻系統利用一HRTF來空間化所述音頻信號。藉由調整透過所述揚聲器組件的每一個揚聲器而被投射至所述使用者405A的音頻信號的一振幅，所產生的聲音可以被做成是聽起來就像是源自於不同的位置(例如，對應於所述傳送的使用者的位置)。
例如，如同在圖4中所繪的，所述使用者405B是位在所述使用者的正前面。就此而論，來自所述使用者405B的音頻信號是被空間化成使得所產生的聲音被所述使用者405A感知為源自於所述使用者405A的前面。在另一方面，所述使用者405C以及使用者405D分別位在所述使用者405A的左邊及右邊。就此而論，所述音頻系統空間化所述個別的音頻信號，使得對應於所述使用者405C及405D的音頻聽起來像是源自於所述使用者的405C及405D的個別的位置。
在某些實施例中，空間化並未針對於所述使用者405A從本身是遠端使用者之傳送的使用者接收到的音頻信號而被執行。在其它實施例中，空間化可以針對於從某些類型的遠端使用者接收到的音頻信號來加以執行(例如，和在相隔所述使用者405A的一臨界距離之內的位置相關的遠端使用者)。
此外，在某些實施例中，若在所述使用者405A以及傳送的使用者之間沒有視線，則空間化並未被執行。例如，在某些實施例中，所述音頻系統可能知道在所述本地區域之內的某些類型的物體(例如牆壁)(例如，其利用所述相機組件235或是其它類型的感測器判斷的)。若在所述使用者405A以及一傳送的使用者之間的向量425交叉此種物體，此指出在所述使用者405A以及所述傳送的使用者之間欠缺視線，則來自所述傳送的使用者的音頻信號可以不被空間化。在某些實施例中，若在所述使用者405A以及和其沒有視線的傳送的使用者之間的距離小於一臨界量，則來自所述傳送的使用者的音頻信號可被空間化，但是若所述距離超過所述臨界量，則不被空間化。所述臨界量可以是一預設的量、或是可以根據一或多個使用者輸入、所述本地區域的一或多個判斷出的屬性(例如，所述場所的一尺寸)、或是其之某種組合來動態地決定。
此外，所述音頻系統根據每一個別的傳送的使用者的位置與所述使用者405A的增強方向415的一偏差來增強每一個接收到的音頻信號。如同在此所用的，一傳送的使用者(例如，使用者405C)的位置與所述使用者405A的增強方向的偏差可以根據在所述使用者405A的增強方向415與連接所述使用者405A及405C的一向量425之間所量測的一角度來加以決定。在某些實施例中，所述音頻系統亦可以根據每一個別的傳送的使用者的位置與所述使用者405A的距離來增強每一個接收到的音頻信號(例如，相較於來自較遠的傳送的使用者的音頻信號，來自較靠近所述使用者405A的傳送的使用者的音頻信號是更強地被增強)。
在其中來自多個其他使用者的多個音頻信號被接收並且投射至所述使用者405A的情形中，對於所述使用者405A而言，聚焦在任一使用者的語音可能是困難的，即使所述音頻信號被空間化也是如此。藉由選擇性地增強所接收到的音頻信號，所述使用者405A可以更輕易地聚焦在來自他們注意到的其他使用者的語音，而較不被來自他們未注意到的使用者的語音分心。
在某些實施例中，所述使用者405A注意到的是哪一位傳送的使用者可以根據所述使用者405A的增強方向415來推論。例如，若所述使用者405A的增強方向415對準另一使用者的位置，則所述使用者405A可被推論為注意到所述使用者。例如，如同在圖4中所繪的，所述使用者405A可以被推論為注意到所述使用者405B。在某些實施例中，若另一使用者的位置是在與所述增強方向415的一臨界偏差420之內，則所述使用者405A可以被推論為注意到所述另一使用者。例如，如同在圖4中所繪的，所述使用者405A可以被推論不是注意到所述使用者405C及405D，因為所述使用者405C及405D是離開所述增強方向415超過所述臨界偏差。在某些實施例中，若在與所述增強方向415的臨界偏差420之內有多個傳送的使用者，則所述使用者405A可被視為注意到在一最接近所述使用者405A的位置處的傳送的使用者、注意到在一與所述增強方向415的最小偏差的位置處的傳送的使用者、或是其之某種組合。
在某些實施例中，一“注意力評分”可以針對於所述共用的通訊頻道的其他使用者的每一個而被計算出。所述注意力評分可以作用為一度量，其指出一使用者有多高可被推論為注意到另一使用者，以便於決定增強從所述其他使用者接收到的一音頻信號到何種程度。針對於一特定使用者的注意力評分可以是根據所述使用者的位置與所述第一使用者405A的增強方向415的一偏差、所述使用者的位置至所述第一使用者405A的位置的一距離、或是其之某種組合。在某些實施例中，所述注意力評分被決定為一或多個因素的一總計(例如，一加權的總和)。
所述音頻系統根據所述使用者405A是否正注意到一傳送的使用者(例如，根據所述傳送的使用者的注意力評分)來增強從所述傳送的使用者接收到的音頻信號。例如，若所述使用者405A被推論為注意到所述傳送的使用者，則所述音頻系統正增強所述音頻信號，並且若所述使用者405A被推論為不注意到所述傳送的使用者，則並不正增強所述音頻信號。此外，在某些實施例中，若所述使用者405A被推論為不注意到所述傳送的使用者，則所述音頻信號可以被負增強，以便於最小化來自源自於所述使用者405A不注意到的傳送的使用者的音頻信號的分心。在某些實施例中，一傳送的使用者的音頻信號可以根據是否存在所述使用者405A被判斷為注意到的另一傳送的使用者來加以增強(例如，若所述使用者405A被推論是注意到所述使用者405B，則來自所述使用者405C的音頻信號被負增強，但是若沒有使用者在所述增強方向415的臨界偏差420之內，則不被負增強)。
在某些實施例中，所述音頻系統根據個別的傳送的使用者的注意力評分來增強接收到的音頻信號。在某些實施例中，增強的量可以進一步根據其他使用者的注意力評分(例如，所述傳送的使用者的評分相關其他傳送的使用者的排名)。例如，在圖4描繪的例子中，所述頭戴式裝置410的音頻系統可以藉由比較每一個傳送的使用者的位置至所述使用者405A的增強方向415的偏差來決定多大的增強來自所述傳送的使用者405B及405C的音頻信號，並且根據所述比較的結果來增強每一個音頻信號。例如，在某些實施例中，若有第二傳送的使用者具有一較高的注意力評分(例如，由於具有與所述使用者的注視方向的一較低的偏差)，則相較於若第二傳送的使用者並不存在(例如，目前未傳送音頻信號)、或是相較於第一傳送的使用者具有一較低的注意力評分，來自所述第一傳送的使用者的一音頻信號可以較小被增強。
因為針對於一傳送的使用者的注意力評分是根據使用者405A的增強方向415，所以隨著所述使用者405A的增強方向415改變(例如，由於其頭部或眼睛的移動)，針對於所述傳送的使用者的每一個的注意力評分可以依此被調整，此產生用於其個別的音頻信號的不同的增強量。在某些實施例中，針對於每一個傳送的使用者的注意力評分是週期性地被更新。在某些實施例中，若所述音頻系統偵測到在所述使用者405A的增強方向415上的改變超出一臨界量，則針對於一傳送的使用者的注意力評分被更新。
在其中所述增強方向415對應於所述使用者的注視方向的實施例中，因為所述使用者405A的眼睛可能潛在非常快速地移動，因此所述增強方向415可能潛在非常快速地改變。在某些實施例中，除非所述使用者405A的注視在至少一臨界時間期間未曾改變超過一臨界量，所述增強方向415才被更新，以便於降低所述使用者405A所做的隨機眼睛移動的影響。
在某些實施例中，針對於一傳送的使用者的注意力評分可以是進一步根據所述傳送的使用者的一增強方向而定。例如，若所述傳送的使用者的增強方向正面對所述使用者405A，則相較於若所述傳送的使用者的注視方向不是朝向所述使用者405A，對應於所述傳送的使用者的音頻信號可以藉由所述信號處理電路320而被修改成較強的。例如，如同在圖4中所繪的，來自所述使用者405C的音頻信號可以相較於來自所述使用者405D的音頻信號而更被增強，即使兩個使用者都具有與所述使用者405A的增強方向415的一類似的偏差大小。在某些實施例中，所述傳送的使用者的朝向或注視方向在所述傳送的使用者的注意力評分上的權重可以根據所述傳送的使用者的位置與所述增強方向415的偏差而變化。
在某些實施例中，其中所述共用的通訊頻道具有一或多個遠端的使用者，所述信號處理電路320可以根據所述使用者405A是否目前注意到在所述本地區域中的另一使用者來增強來自所述遠端的使用者的音頻信號。在某些實施例中，所述使用者405A可以經由一使用者介面來指出來自特定的傳送的使用者的音頻信號要如何被增強的一或多個修改。
藉由根據所述個別的傳送的使用者的相對位置來處理(例如，空間化及/或增強)接收到的音頻信號，所述信號處理電路320因此使得所述使用者405A聽到且聚焦在來自所述使用者注意到的其他使用者的音頻更為容易(例如，藉由正增強來自那些使用者的音頻信號)，並且容許所述使用者405A能夠更佳的意識到接收到的音頻信號所來自的其他使用者是位在何處。 用於回音縮減的音頻濾波
圖5是描繪根據一或多個實施例的濾波所述使用者音頻信號的圖。圖5是描繪第一圖505，其顯示在第一使用者的一耳道的一開口處量測到的音頻信號。所述第一使用者的一音頻系統是透過一共用的通訊頻道來和第二使用者的一音頻系統通訊。所述音頻信號包含一真實的音頻信號510以及一發送的音頻信號515。所述真實的音頻信號510對應於聲學的壓力波，其源自於所述第二使用者並且在所述使用者的耳道被量測(亦即，使用者聽到所述第二使用者的語音)。所述發送的音頻信號515對應於一未濾波的音頻信號，其對應於所述第二使用者的被記錄的語音(例如，作為所述第二使用者的使用者音頻信號)、被發送至所述第一使用者的音頻系統，並且透過一或多個揚聲器而被回放給所述第一使用者。由於和記錄、發送、處理、以及回放所述發送的音頻信號相關的處理延遲，所述發送的音頻信號515可能在所述真實的音頻510之後的對應於一處理延遲ΔT的一時間量，才在耳道偵測到(亦即，所述使用者可聽見的)。若所述處理延遲ΔT超過某一時間量(例如，10-15ms)，則所述第一使用者可能聽到所述發送的音頻信號515為一個別的聽覺事件以作為所述真實的音頻信號510，此可能產生使得所述第一使用者分心的一回音效應。
第二圖520是展示當所述發送的音頻利用一全通濾波器而被濾波以漫射所述音頻信號時，在所述第一使用者的位置處量測到的音頻。如同在第二圖520中所繪，相同的真實的音頻信號510是在所述第一使用者的位置處被聽到。然而，所述發送的音頻信號已經被濾波以產生所述經濾波的發送的音頻信號525，其包括複數個漫反射。即使所述經濾波的發送的音頻信號525在所述真實的音頻510之後的ΔT之前都未被聽到，但是所述發送的音頻信號525的漫射可以使得所述第一使用者將所述真實的音頻信號510以及所述經濾波的發送的音頻信號525解讀成是相同的聽覺事件的部分，此降低或消除所述非所要的回音效應。就此而論，藉由濾波所述音頻信號，可以容納較長的處理延遲，而不產生非所要的回音效應給所述使用者。在某些實施例中，所述音頻信號是在被發送至所述共用的通訊頻道的其他使用者之前，先在所述傳送的使用者的頭戴式裝置被濾波。在其它實施例中，所述音頻信號是在一接收所述音頻信號的使用者的頭戴式裝置被濾波。在其中濾波是在接收者側執行的某些實施例中，接收的頭戴式裝置的音頻系統可以判斷介於所述真實的音頻以及所述發送的音頻之間的一延遲，並且根據所判斷的延遲來調整一或多個濾波參數(例如，分散的量)。
在某些情形中，所述第一及第二使用者可以是與彼此隔一段距離，使得所述發送的音頻525是在所述真實的音頻510之前，先在所述第一使用者的位置處被聽到。在某些實施例中，若所述傳送的使用者被判斷是離開所述使用者至少一臨界距離，則所述音頻系統並不在所述發送的音頻上執行漫射濾波。
在其中所述共用的通訊頻道包含至少一遠端的使用者的實施例中，在遠端使用者以及非遠端使用者之間所發送的音頻信號並不需要進行濾波，因為所述遠端使用者無法聽到所述非遠端使用者的真實的音頻(而且反之亦然)，因而沒有因為處理延遲所引起的回音效應存在。此外，在某些實施例中，若做出判斷是在所述第二使用者以及第一使用者之間的距離是至少一臨界量、或是在所述第一及第二使用者之間有某些結構(例如，一牆壁)，使得所述第一使用者可以被推論為無法聽到所述第二使用者的真實的音頻，則來自所述第二使用者的音頻可以不被濾波。 頻道優先層級
在某些實施例中，在一共用的通訊頻道上的不同使用者可以被給予不同的優先層級。如同在此所用的，所述共用的通訊頻道的一使用者的一優先層級可以指出對應於所述使用者的語音的音頻信號相對於對應其他使用者的音頻信號而被增強的一層級，其中來自具有較高優先層級的使用者的音頻信號是相對於具有較低優先層級的使用者而被正增強。在某些實施例中，一共用的通訊頻道可包括對應於一基準優先層級的第一組使用者、以及和一高優先層級相關的至少一使用者(例如，一指定的演講者或領導者)，其被給予優於所述基準優先層級的優先權。
例如，當和所述高優先層級相關的一使用者(在以下被稱為一“優先使用者”)並未說話時，由對應於所述共用的通訊頻道的具有所述基準優先層級的使用者之第一使用者接收到的音頻信號可以如上所述地正常處理(例如，根據所述使用者的相對位置而被空間化及增強)。然而，在所述優先使用者說話之後，由所述第一使用者接收到的對應於所述優先使用者的音頻信號被增強，而不論所述第一使用者以及所述優先使用者的相對位置為何。此外，來自具有所述基準優先層級的使用者的音頻信號在來自所述優先使用者的音頻信號被播放給所述第一使用者的期間可被衰減，以便於確保所述第一使用者能夠清楚地聽到所述優先使用者的語音。
在某些實施例中，一共用的通訊頻道的使用者可以被組織成超過兩個不同的優先層級。來自具有較高優先層級的使用者的音頻信號將會相對於來自具有較低優先層級的使用者的音頻信號而被增強，此容許所述使用者能夠更清楚地聽到當較高優先的使用者說話時的語音。在某些實施例中，一共用的通訊頻道的每一個使用者可以根據其最有興趣注意到的其他使用者中的哪些人來指定個人化的優先層級給所述頻道的其他使用者。 程序流程
圖6是根據一或多個實施例的一種用於在一共用的通訊頻道中，空間化及增強從其他使用者接收到的音頻資料的程序的流程圖。所述程序可以藉由包含一音頻系統(例如，所述音頻系統300)的頭戴式裝置來加以執行。參與一共用的通訊頻道的第一使用者的頭戴式裝置(例如，在圖1中描繪的使用者105的頭戴式裝置110，其中所述使用者105是參與所述共用的通訊頻道120)。在其它實施例(例如，一控制台)中，其它的實體可以執行所述程序的某些或全部的步驟。同樣地，實施例可包含不同及/或額外的步驟、或是用不同的順序來執行所述步驟。
所述第一使用者的頭戴式裝置判斷605所述第一使用者的一增強方向。在其中所述增強方向對應於所述使用者的注視方向的某些實施例中，所述頭戴式裝置包括一眼動追蹤感測器以及一位置感測器，其用於判斷所述使用者的注視方向。例如，所述位置感測器可以判斷所述頭戴式裝置的一位置及朝向，從其可以推論出所述第一使用者的頭部的一位置及朝向。此外，所述眼動追蹤感測器可被用來判斷所述第一使用者的眼睛相對於其頭部的一朝向。就此而論，所述位置感測器以及眼動追蹤感測器的組合可被利用以判斷所述第一使用者的注視的一方向。
所述頭戴式裝置從所述共用的通訊頻道的一或多個傳送的使用者(例如，經由一收發器)接收610音頻信號。所述音頻信號可以對應於所述傳送的使用者的語音，並且可包含額外的元資料，例如是所述傳送的使用者的一身分、以及所述傳送的使用者的一位置可以從其而被判斷出的資料。
所述頭戴式裝置判斷615和一音頻信號被接收到所來自的傳送的使用者的每一個相關的位置。在某些實施例中，所述頭戴式裝置接收和所述音頻信號相關的元資料，其指出所述傳送的使用者的一位置(例如，如同藉由在所述傳送的使用者的一頭戴式裝置上的一位置感測器所判斷的)。在其它實施例中，所述頭戴式裝置接收藉由被設置在所述傳送的使用者的頭戴式裝置上的不同位置處的複數個天線(例如，一天線陣列)發送的複數個信號。根據所接收到的信號的一相位或時序，所述頭戴式裝置可以判斷所述傳送的使用者至所述第一使用者的一相對位置。
所述頭戴式裝置判斷620所述傳送的使用者的每一個相對於所述第一使用者的相對位置。一傳送的使用者的相對位置可以根據所述第一使用者的一頭部朝向來指出所述傳送的使用者位在相對於所述第一使用者的何處(例如，在所述第一使用者的前面、所述第一使用者的左邊、等等)。
所述頭戴式裝置判斷625在每一個傳送的使用者的位置以及所述第一使用者的增強方向之間的一偏差。所述偏差指出所述傳送的使用者相對於所述第一使用者的增強方向的位置。在某些實施例中，所述頭戴式裝置控制器可以額外判斷在所述傳送的使用者以及所述第一使用者之間的一距離。
所述頭戴式裝置針對於每一個傳送的使用者，根據所述個別的傳送的使用者相對於所述第一使用者的位置來空間化630音頻信號，使得透過兩個或多個揚聲器而被播放給所述第一使用者的音頻信號可以聽起來就像是源自於一特定的位置(例如，所述傳送的使用者的位置)。在某些實施例中，空間化所述音頻信號包括配置透過所述揚聲器的每一個所播放的音頻信號的一振幅，使得所述使用者能夠將所述聲音透過不同揚聲器的不同振幅解讀為對應於源自一特定位置的聲音。
所述頭戴式裝置根據個別的傳送的使用者的位置至所述第一使用者的增強方向的偏差來增強635針對於每一個傳送的使用者的音頻信號。在某些實施例中，若一傳送的使用者的位置的偏差不超過一臨界量，則針對於所述傳送的使用者的音頻信號被增強。在某些實施例中，增強的大小可以是成反比於在所述傳送的使用者的位置以及所述第一使用者的增強方向之間的一偏差量。就此而論，若一傳送的使用者的位置是接近所述第一使用者的增強方向，則來自所述傳送的使用者的音頻信號將會相較於若傳送的使用者的位置是進一步遠離所述增強方向而更強地被增強。在某些實施例中，增強的量亦可以是根據目前從其他傳送的使用者接收到的音頻信號的數量、在所述傳送的使用者以及所述第一使用者之間的距離、等等。在某些實施例中，一音頻信號的增強可包括所述音頻信號的衰減(例如，負增強)。
就此而論，藉由空間化及增強從所述共用的通訊頻道中的其他使用者接收到的音頻信號，所述頭戴式裝置的使用者可以更輕易地聚焦在他們注意到的其他使用者的語音，並且容許所述使用者能夠具有音頻信號被接收到所來自的其他使用者的每一個的位置感。此容許所述使用者能夠更清楚地聽到他們希望注意到的語音，即使是在吵雜的環境中也是如此，同時維持知道其他使用者在所述環境中的存在。
圖7是根據一或多個實施例的一種用於處理對應於一使用者語音的音頻信號的程序的流程圖。所述程序可以藉由包含一音頻系統(例如，所述音頻系統300)的頭戴式裝置來加以執行。參與一共用的通訊頻道的第一使用者的頭戴式裝置(例如，在圖1中描繪的使用者105的頭戴式裝置110，其中所述使用者105是參與所述共用的通訊頻道120)。在其它實施例(例如，一控制台)中，其它的實體可以執行所述程序的某些或全部的步驟。同樣地，實施例可包含不同及/或額外的步驟、或是用不同的順序來執行所述步驟。
所述頭戴式裝置接收705對應於藉由所述頭戴式裝置的使用者所做的語音的一使用者音頻信號。在某些實施例中，所述使用者音頻信號是藉由位在接近所述使用者的嘴部的一聲音感測器(例如，所述聲音感測器225)來加以記錄。在某些實施例中，所述使用者音頻信號是藉由一麥克風陣列而被產生，其利用射束形成以隔離及捕捉來自所述本地區域中的一特定區域(例如，接近所述使用者的嘴部)的聲音。
所述頭戴式裝置施加710一或多個濾波器(例如，一全通濾波器)至所述使用者音頻信號，其在時間上分散所述使用者音頻信號以產生一漫射的使用者音頻信號。
所述頭戴式裝置發送715所述漫射的使用者音頻信號至所述共用的通訊頻道中的其他使用者的頭戴式裝置。藉由在時間上分散所述使用者音頻信號，介於當另一使用者聽到所述使用者的真實的語音到當他們聽到透過一或多個揚聲器所播放給他們的所述發送的使用者音頻信號之間的處理延遲量可被增大，而不使得所述其他使用者聽到所述使用者音頻信號為一個別的聽覺事件，其產生一非所要的回音效應。
在某些實施例中，並非是在時間上分散所述使用者音頻信號並且發送所述漫射的使用者音頻信號至其他使用者的頭戴式裝置，音頻信號的時間上分散是藉由接收所述音頻信號的頭戴式裝置來加以執行。在某些實施例中，所述使用者音頻信號是根據一或多個濾波參數來加以在時間上分散，所述濾波參數可以根據在所述傳送及接收的使用者的頭戴式裝置之間的相對位置或距離來加以調整。
所述頭戴式裝置施加720一語音濾波器至所述使用者音頻信號，以產生所述使用者音頻信號的一改變的版本。所述語音濾波器被配置以模擬當一個人說話時，行進穿過頭骨的所述個人的聲帶的振動的效應，此影響他們是如何聽到其本身的語音。在某些實施例中，所述使用者可以人工地配置所述語音濾波器的一或多個參數，以便讓所述改變的使用者音頻信號更密切匹配他們是如何聽到其本身的語音。
所述頭戴式裝置回放720所述改變的使用者音頻信號至所述使用者(例如，透過一或多個揚聲器)，其容許所述使用者能夠得到更佳的其語音的目前的音量感，使得他們能夠更佳的調變其說話音量。 一人工實境系統的例子
圖8是根據一或多個實施例的包含如上所述的音頻系統的一頭戴式裝置的一系統環境。所述系統800可以操作在一人工實境環境中，例如是一虛擬實境、一擴增實境、一混合實境環境、或是其之某種組合。圖8所示的系統800是包括一頭戴式裝置805以及一輸入/輸出(I/O)介面815，其耦接至一控制台810。所述頭戴式裝置805可以是所述頭戴式裝置110的一實施例。儘管圖8是展示一範例的系統800包含一頭戴式裝置805以及一I/O介面815，但是在其它實施例中，任意數目的這些構件都可以內含在所述系統800中。例如，可以有多個頭戴式裝置805，其分別具有一相關的I/O介面815，其中每一個頭戴式裝置805以及I/O介面815是和所述控制台810通訊。在替代的配置中，不同及/或額外的構件可以內含在所述系統800中。此外，在某些實施例中，由結合在圖8中所示的構件中的一或多個所述的功能可以用不同於結合圖8所述的方式而被分散在所述構件之間。例如，所述控制台810的功能的部分或全部是由所述頭戴式裝置805提供的。
所述頭戴式裝置805呈現內容給一使用者，其包括一具有電腦產生的元素(例如，二維(2D)或三維(3D)影像、2D或3D視訊、聲音、等等)的物理真實世界的環境的擴增的視圖。所述頭戴式裝置805可以是一眼鏡裝置、或是一頭戴式顯示器。在某些實施例中，所呈現的內容包含音頻內容(例如，從一共用的通訊頻道的其他使用者接收到的音頻信號)。
所述頭戴式裝置805包含一音頻系統820、一感測器系統825、一電子顯示器830、以及一光學區塊835。所述音頻系統820可以對應於在圖3中所述的音頻系統300，並且可包括一麥克風組件225、收發器230、揚聲器組件330、以及控制器215。所述音頻系統820被配置以和其它HMD的音頻系統通訊、捕捉對應於所述HMD 805的使用者的語音的一音頻信號、處理(例如，從其它HMD)接收到的音頻信號、以及回放經處理的音頻信號給所述使用者。
所述感測器系統825包括一或多個感測器模組，其可包含一相機組件235、一位置感測器240、以及一眼動追蹤感測器245。所述感測器模組可被利用以產生在所述HMD 805周圍的本地區域的資訊，並且追蹤所述HMD 805的一位置以及所述HMD 805的使用者的一注視方向。在某些實施例中，所述感測器系統825的感測器可以和所述追蹤模組855一起被利用以追蹤所述HMD 805的一位置。
所述電子顯示器830以及所述光學區塊835是一透鏡210的一實施例。所述頭戴式裝置805的某些實施例具有不同於結合圖8所述的那些構件的構件。此外，在其它實施例中，由結合圖8所述的各種構件所提供的功能可以不同地被分散在所述頭戴式裝置805的構件之間、或是被捕捉在所述頭戴式裝置805遠端的個別的組件中。
所述電子顯示器830根據從所述控制台810接收到的資料來顯示2D或3D影像給所述使用者。在各種的實施例中，所述電子顯示器830包括單一電子顯示器或是多個電子顯示器(例如，一使用者的每一眼各有一顯示器)。所述電子顯示器830的例子包含：液晶顯示器(LCD)、有機發光二極體(OLED)顯示器、主動矩陣式有機發光二極體顯示器(AMOLED)、波導顯示器、某種其它顯示器、或是其之某種組合。
在某些實施例中，所述光學區塊835放大從所述電子顯示器830接收到的影像光、校正和所述影像光相關的光學誤差、以及呈現經校正的影像光至所述頭戴式裝置805的一使用者。在各種的實施例中，所述光學區塊835包含一或多個光學元件。內含在所述光學區塊835中的範例的光學元件包含：波導、孔徑、菲涅耳透鏡、凸透鏡、凹透鏡、濾光片、反射的表面、或是任何其它適當的影響影像光的光學元件。再者，所述光學區塊835可包含不同的光學元件的組合。在某些實施例中，在所述光學區塊835中的光學元件中的一或多個可以具有一或多個塗層，例如是部分反射或抗反射的塗層。
所述影像光藉由所述光學區塊835的放大及聚焦容許所述電子顯示器830比起較大型的顯示器實際上是較小的、重量較輕的、而且消耗較低的功率。此外，放大可以增加藉由所述電子顯示器830所呈現的內容的視野。例如，所顯示的內容的視野是使得所顯示的內容是利用所述使用者的幾乎所有的視野(例如，對角線約110度)，並且在某些情形中是全部的視野來加以呈現。此外，在某些實施例中，放大的量可以藉由增加或移除光學元件來調整。
在某些實施例中，所述光學區塊835可被設計以校正一或多種類型的光學誤差。光學誤差的例子包含桶形失真(barrel distortion)、枕形失真(pincushion distortion)、縱向色差以及橫向色差。其它類型的光學誤差可以進一步包含球面像差、色像差、或是由於透鏡像場彎曲所造成的誤差、像散(astigmatism)、或是任何其它類型的光學誤差。在某些實施例中，被提供至所述電子顯示器830以用於顯示的內容是預先被扭曲，並且所述光學區塊835在其從所述電子顯示器830接收根據所述內容所產生的影像光之後校正所述扭曲。
所述I/O介面815是容許使用者能夠傳送動作請求並且從所述控制台810接收響應的裝置。一動作請求是用以執行一特定動作的請求。例如，一動作請求可以是開始或結束影像或視訊資料的捕捉的一指令、或是用以執行在一應用程式之內的一特定動作的一指令。所述I/O介面815可包含一或多個輸入裝置。範例的輸入裝置包含：鍵盤、滑鼠、手動控制器、或是任何其它用於接收動作請求並且傳遞所述動作請求至所述控制台810的適當的裝置。藉由所述I/O介面815接收到的一動作請求是被傳遞至所述控制台810，其執行對應於所述動作請求的一動作。在某些實施例中，所述I/O介面815包含一或多個位置感測器，其捕捉指出相對於所述I/O介面815的一最初的位置的所述I/O介面815的一估計的位置的校準資料。在某些實施例中，所述I/O介面815可以根據從所述控制台810接收到的指令來提供觸覺回授至所述使用者。例如，觸覺回授是在一動作請求被接收到之後提供、或是在所述控制台810執行一動作時，所述控制台810傳遞指令至所述I/O介面815，其使得所述I/O介面815產生觸覺回授。所述I/O介面815可以監視來自所述使用者的一或多個輸入響應，以用於判斷音頻內容的一感知的原點方向及/或感知的原點位置。
所述控制台810根據從以下的一或多個：所述頭戴式裝置805、以及所述I/O介面815接收到的資訊，以提供內容至所述頭戴式裝置805以用於處理。在圖8所示的例子中，所述控制台810包含一應用程式儲存850、一追蹤模組855、以及一引擎845。所述控制台810的某些實施例具有與那些結合圖8所述者不同的模組或構件。類似地，進一步在以下敘述的功能可以用一與結合圖8所述者不同的方式而被分散在所述控制台810的構件之間。
所述應用程式儲存850儲存一或多個應用程式，以供所述控制台810執行。一應用程式是一群組的指令，當藉由一處理器執行時，其產生內容以用於呈現給使用者。藉由一應用程式產生的內容可以是響應於從所述使用者的經由所述頭戴式裝置805的移動或是所述I/O介面815接收到的輸入。應用程式的例子包含：遊戲應用程式、會議應用程式、視訊播放應用程式、或是其它適當的應用程式。在某些實施例中，所述控制台810可以作用為一應用程式伺服器(例如，所述應用程式伺服器130)，並且所述應用程式可包含一應用程式以用於維護在使用者(例如，不同的HMD 805的使用者)的群組之間的共用的通訊頻道。
所述追蹤模組855利用一或多個校準參數來校準所述系統環境800，並且可以調整一或多個校準參數以降低在所述頭戴式裝置805或是所述I/O介面815的位置的判斷上的誤差。藉由所述追蹤模組855所執行的校準亦考量到從所述頭戴式裝置805中的感測器系統825的一或多個感測器模組(例如，一位置感測器)、或是內含在所述I/O介面815中的一或多個感測器接收到的資訊。此外，若失去所述頭戴式裝置805的追蹤，則所述追蹤模組855可以重新校準所述系統環境800的部分或全部。
所述追蹤模組855利用資訊來自所述感測器(例如，位置感測器240、相機組件235、或是其之某種組合)，以追蹤所述頭戴式裝置805或是所述I/O介面815的移動。例如，所述追蹤模組855根據來自所述頭戴式裝置805的資訊來判斷所述頭戴式裝置805的一參考點在一本地區域的一對映中的一位置。所述追蹤模組855亦可以利用分別來自內含在所述I/O介面815中的一或多個感測器的指出所述頭戴式裝置805的一位置的資料、或是利用指出所述I/O介面815的一位置的資料，以判斷所述頭戴式裝置805的參考點、或是所述I/O介面815的一參考點的位置。此外，在某些實施例中，所述追蹤模組855可以利用指出所述頭戴式裝置805的一位置的資料的部分來預測所述頭戴式裝置805的一未來的位置。所述追蹤模組855提供所述頭戴式裝置805或是所述I/O介面515的估計或預測的未來的位置至所述引擎845。在某些實施例中，所述追蹤模組855可以提供追蹤資訊至所述音頻系統820，以用於決定如何空間化及/或增強接收到的音頻信號。
所述引擎845亦在所述系統環境800之內執行應用程式，並且從所述追蹤模組855接收所述頭戴式裝置805的位置資訊、加速資訊、速度資訊、預測的未來的位置、或是其之某種組合。根據所接收到的資訊，所述引擎845決定內容以提供至所述頭戴式裝置805，以用於呈現給所述使用者。例如，若所接收到的資訊指出所述使用者已經看向左邊，則所述引擎845產生用於所述頭戴式裝置805的內容，其在一虛擬的環境中、或是在一利用額外的內容擴增所述本地區域的環境中鏡射所述使用者的移動。此外，所述引擎845響應於從所述I/O介面815接收到的一動作請求以執行在所述控制台810上所執行的一應用程式之內的一動作，並且提供所述動作已被執行的回授至所述使用者。所提供的回授可以是經由所述頭戴式裝置805的視覺或可聽見的回授、或是經由所述I/O介面815的觸覺回授。 額外的配置資訊
本揭露內容的實施例的先前的說明已經為了說明之目的而被提出；其並非打算是窮舉的、或是限制本揭露內容至所揭露的精確形式。根據以上的揭露內容，熟習相關技術者可以體認到許多修改及變化是可能的。
此說明的某些部分是在資訊上的運算的演算法以及符號表示方面來描述本揭露內容的實施例。這些演算法的說明及表示是那些熟習資料處理技術者普遍使用的，以有效地傳達其工作的本質給其他熟習此項技術者。這些運算儘管是在功能上、計算上、或是邏輯上加以敘述的，但理解到的是藉由電腦程式或等效電路、微碼、或類似者來實施的。再者，亦已經證實的是有時稱這些運算的配置為模組是便利的，而不失去一般性。所述運算以及其相關的模組可以用軟體、韌體、硬體、或其之任意組合來體現。
在此所述的步驟、操作、或是程序的任一個都可以利用一或多個硬體或軟體模組、單獨或結合其它裝置來加以執行或實施。在某些實施例中，一軟體模組是利用一包括電腦可讀取媒體之電腦程式產品來加以實施，所述電腦程式產品包含電腦程式碼，其可藉由一電腦處理器來執行，以用於執行所述步驟、操作、或是程序的任一個或是全部。
本揭露內容的實施例在此亦可以有關於一種用於執行所述操作之設備。此設備可以是針對於所需目的特別被建構的，且/或其可包括一般用途的計算裝置，所述計算裝置藉由在所述電腦中儲存的一電腦程式而選擇性地被啟動或是被重新配置。此種電腦程式可被儲存在一非暫態的實體電腦可讀取儲存媒體、或是任意類型的適合用於儲存電子指令的媒體中，所述媒體可以耦接至一電腦系統匯流排。再者，在說明書中所參照的任何計算系統都可包含單一處理器、或者可以是為了增大計算功能而採用多個處理器的設計的架構。
本揭露內容的實施例亦可以有關於藉由在此所述的一計算程序產生的一產品。此種產品可包括產生自一計算程序的資訊，其中所述資訊被儲存在一非暫態的實體電腦可讀取儲存媒體上，並且可包含在此所述的一電腦程式產品或是其它資料組合的任何實施例。
最後，說明書中所用的語言已經主要為了可閱讀性以及指導的目的來選擇的，因而其可能尚未被選擇來描述或限制本發明的標的。因此，所欲的是本揭露內容的範疇並未受限於此詳細說明，而是藉由在一申請案上根據其所核准的任何請求項來加以限制。於是，所述實施例的揭露內容是欲為舉例說明本揭露內容的範疇，而非限制性的，所述範疇是被闡述在以下的請求項中。
105、105A-E:使用者 110:頭戴式裝置 115:音頻系統 120:共用的通訊頻道 120A:第一共用的通訊頻道 120B:第二共用的通訊頻道 125:網路 130:應用程式伺服器 205:框架 210:透鏡 215:控制器 220a:左揚聲器 220b:右揚聲器 225:麥克風組件 230:收發器 235:相機組件 240:位置感測器 245:眼動追蹤感測器 300:音頻系統 305:頻道配置電路 310:位置追蹤電路 315:注視判斷電路 320:信號處理電路 325:音頻濾波電路 330:揚聲器組件 335:資料儲存 405、405A、405B、405C、405D:使用者 410:頭戴式裝置 415:增強方向 420:臨界偏差 425:向量 505:第一圖 510:真實的音頻信號 515:發送的音頻信號 520:第二圖 525:經濾波的發送的音頻信號 605:步驟 610:步驟 615:步驟 620:步驟 625:步驟 630:步驟 635:步驟 705:步驟 710:步驟 715:步驟 720:步驟 800:系統 805:頭戴式裝置 810:控制台 815:輸入/輸出(I/O)介面 820:音頻系統 825:感測器系統 830:電子顯示器 835:光學區塊 845:引擎 850:應用程式儲存 855:追蹤模組
[圖1]是描繪根據一或多個實施例的一種用於音頻空間化及增強的系統可被利用在其中的一環境的高階圖。
[圖2]是根據一或多個實施例的一例子，其描繪一包含音頻系統的頭戴式裝置可以被一共用的通訊頻道中的一使用者穿戴。
[圖3]是描繪根據一或多個實施例的一音頻系統的方塊圖。
[圖4]是描繪根據一或多個實施例的在一共用的通訊頻道下具有複數個使用者的環境的一個例子。
[圖5]是描繪根據一或多個實施例的濾波一使用者音頻信號的圖。
[圖6]是根據一或多個實施例的一用於空間化及增強從一共用的通訊頻道中的其它使用者接收到的音頻資料的程序的流程圖。
[圖7]是根據一或多個實施例的一用於處理對應於一使用者的語音的音頻信號的程序的流程圖。
[圖8]是根據一或多個實施例的包含如上所述的音頻系統的頭戴式裝置的一系統環境。
所述圖式只是為了說明之目的來描繪本發明的各種實施例。熟習此項技術者將會從以下的討論輕易地體認到在此描繪的結構及方法的替代實施例可被採用，而不脫離在此所述的本發明的原理。
605:步驟
610:步驟
615:步驟
620:步驟
625:步驟
630:步驟
635:步驟

Claims (20)

  1. 一種頭戴式裝置，包括： 注視判斷電路，其被配置以判斷所述頭戴式裝置的第一使用者的注視方向； 收發器，其被配置以接收和第二使用者的頭戴式裝置相關的音頻信號； 處理電路，其被配置以： 判斷和所述第二使用者相關的相對於所述第一使用者的相對位置； 判斷所述第二使用者的位置相對於所述第一使用者的增強方向的偏差，其中所述增強方向是至少部分根據所述第一使用者的所述注視方向； 至少部分根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻信號；以及 至少部分根據所述第二使用者的識別出的所述位置相對於所述第一使用者的所述增強方向的所述偏差來增強所述音頻輸出信號的振幅；以及 揚聲器組件，其被配置以根據空間化且增強的所述音頻輸出信號來投射聲音，使得被投射的聲音被感知為源自於所述第二使用者的所述位置。
  2. 如請求項1之頭戴式裝置，進一步包括麥克風陣列，其包括被配置在複數個不同的位置中的複數個麥克風，所述麥克風陣列被配置以捕捉在所述第一使用者的本地區域中的聲音並且產生音頻輸入信號。
  3. 如請求項2之頭戴式裝置，其中所述處理電路進一步被配置以： 分析所述音頻輸入信號以識別源自於所述第一使用者的所述本地區域中的特定的區域的聲音；以及 藉由增強所述音頻輸入信號對應源自於所述特定的區域的所述聲音的部分，以從所述音頻輸入信號產生使用者音頻信號。
  4. 如請求項3之頭戴式裝置，其中所述特定的區域對應於所述第一使用者的嘴部。
  5. 如請求項1之頭戴式裝置，其中所述收發器進一步被配置以接收所述第二使用者的位置性資訊。
  6. 如請求項1之頭戴式裝置，進一步包括天線陣列，其被配置以判斷和所述第二使用者相關的相對於所述第一使用者的所述相對位置。
  7. 如請求項1之頭戴式裝置，其中所述處理電路進一步被配置以根據在所述第一使用者以及所述第二使用者之間是否有視線來空間化所述音頻輸出信號。
  8. 如請求項1之頭戴式裝置，其中所述注視判斷電路被配置以： 接收所述第一使用者的位置，所述位置包括所述第一使用者的至少一頭部朝向；以及 判斷所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向；以及 其中空間化和所述第二使用者相關的所述音頻輸出信號是根據所述第二使用者的所述位置至所述第一使用者的所述頭部朝向的相對的方向。
  9. 如請求項1之頭戴式裝置，其中所述接收器進一步被配置以從第三使用者接收第二音頻信號，並且所述處理電路進一步被配置以： 識別和所述第三使用者相關的相對於所述第一使用者的相對位置； 判斷所述第三使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 比較所述第三使用者的識別出的所述相對位置的所述偏差與所述第二使用者的識別出的所述相對位置的所述偏差；以及 根據所述比較的結果來增強和所述第三使用者相關的所述第二音頻信號的振幅。
  10. 一種方法，包括： 在第一使用者的頭戴式裝置處判斷所述第一使用者的增強方向； 在第一使用者的頭戴式裝置處接收和第二使用者的頭戴式裝置相關的音頻信號； 識別和所述第二使用者相關的相對於所述第一使用者的相對位置； 判斷所述第二使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 至少部分根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻信號；以及 至少部分根據所述第二使用者的識別出的所述位置相對於所述第一使用者的所述增強方向的所述偏差來增強所述音頻輸出信號的振幅；以及 根據空間化且增強的所述音頻輸出信號來投射聲音，使得被投射的聲音被感知為源自於所述第二使用者的所述位置。
  11. 如請求項10之方法，進一步包括利用麥克風陣列來捕捉在所述第一使用者的本地區域中的聲音並且產生音頻輸入信號，所述麥克風陣列包括被配置在複數個不同的位置中的複數個麥克風。
  12. 如請求項11之方法，進一步包括： 分析所述音頻輸入信號以識別源自於所述第一使用者的所述本地區域中的特定的區域的聲音； 藉由增強所述音頻輸入信號對應源自於所述特定的區域的所述聲音的部分，以從所述音頻輸入信號產生使用者音頻信號。
  13. 如請求項12之方法，其中所述特定的區域對應於所述第一使用者的嘴部。
  14. 如請求項10之方法，進一步包括接收所述第二使用者的位置性資訊。
  15. 如請求項10之方法，進一步包括在天線陣列處接收來自所述第二使用者的頭戴式裝置的信號，並且根據所接收到的信號來判斷和所述第二使用者相關的相對於所述第一使用者的所述相對位置。
  16. 如請求項10之方法，其中空間化所述音頻輸出信號是根據在所述第一使用者以及所述第二使用者之間是否有視線。
  17. 如請求項10之方法，其中判斷所述第一使用者的增強方向包括判斷所述第一使用者的注視方向，其藉由： 接收所述第一使用者的位置，所述位置包括所述第一使用者的至少一頭部朝向； 判斷所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向；以及 根據所述頭部朝向以及所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向來判斷所述注視方向；以及 其中空間化和所述第二使用者相關的所述音頻輸出信號是根據所述第二使用者的所述位置至所述第一使用者的所述朝向的相對的方向。
  18. 如請求項10之方法，進一步包括： 從第三使用者接收第二音頻信號； 識別和所述第三使用者相關的相對於所述第一使用者的相對位置； 判斷所述第三使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 比較所述第三使用者的識別出的所述相對位置的所述偏差與所述第二使用者的識別出的所述相對位置的所述偏差；以及 根據所述比較的結果來增強和所述第三使用者相關的所述第二音頻信號的振幅。
  19. 一種儲存指令的非暫態的電腦可讀取媒體，當所述指令藉由一或多個處理器執行時，使得所述一或多個處理器執行包括以下的操作： 在第一使用者的頭戴式裝置處判斷所述第一使用者的增強方向； 在第一使用者的頭戴式裝置處接收和第二使用者的頭戴式裝置相關的音頻信號； 識別和所述第二使用者相關的相對於所述第一使用者的相對位置； 判斷所述第二使用者的識別出的所述相對位置相對於所述第一使用者的所述增強方向的偏差； 至少部分根據和所述第二使用者相關的所述相對位置來空間化和所述第二使用者相關的所述音頻信號；以及 至少部分根據所述第二使用者的識別出的所述位置相對於所述第一使用者的所述增強方向的所述偏差來增強所述音頻輸出信號的振幅；以及 根據空間化且增強的所述音頻輸出信號來投射聲音，使得被投射的聲音被感知為源自於所述第二使用者的所述位置。
  20. 如請求項19之非暫態的電腦可讀取媒體，其中判斷所述第一使用者的增強方向包括判斷所述第一使用者的注視方向，其藉由： 接收所述第一使用者的位置，所述位置包括所述第一使用者的至少一頭部朝向； 判斷所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向；以及 根據所述頭部朝向以及所述第一使用者的眼睛相對於所述第一使用者的頭部的相對的朝向來判斷所述注視方向；以及 其中空間化和所述第二使用者相關的所述音頻輸出信號是根據所述第二使用者的所述位置至所述第一使用者的所述朝向的相對的方向。
TW109114896A 2019-05-07 2020-05-05 多個頭戴式裝置之間的音頻空間化和增強 TW202105930A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/405,950 2019-05-07
US16/405,950 US10708706B1 (en) 2019-05-07 2019-05-07 Audio spatialization and reinforcement between multiple headsets

Publications (1)

Publication Number Publication Date
TW202105930A true TW202105930A (zh) 2021-02-01

Family

ID=70861547

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114896A TW202105930A (zh) 2019-05-07 2020-05-05 多個頭戴式裝置之間的音頻空間化和增強

Country Status (7)

Country Link
US (2) US10708706B1 (zh)
EP (1) EP3922048B1 (zh)
JP (1) JP2022531067A (zh)
KR (1) KR20220005564A (zh)
CN (1) CN113796097A (zh)
TW (1) TW202105930A (zh)
WO (1) WO2020227254A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708706B1 (en) * 2019-05-07 2020-07-07 Facebook Technologies, Llc Audio spatialization and reinforcement between multiple headsets
IL271810A (en) * 2020-01-02 2021-07-29 Anachoic Ltd System and method for spatially projected audio communication
US11102602B1 (en) * 2019-12-26 2021-08-24 Facebook Technologies, Llc Systems and methods for spatial update latency compensation for head-tracked audio
US11277706B2 (en) * 2020-06-05 2022-03-15 Sony Corporation Angular sensing for optimizing speaker listening experience
WO2022067652A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 实时通信方法、装置和系统
WO2022072171A1 (en) * 2020-10-02 2022-04-07 Arris Enterprises Llc System and method for dynamic line-of-sight multi-source audio control
US11159881B1 (en) * 2020-11-13 2021-10-26 Hamilton Sundstrand Corporation Directionality in wireless communication
US11598962B1 (en) 2020-12-24 2023-03-07 Meta Platforms Technologies, Llc Estimation of acoustic parameters for audio system based on stored information about acoustic model
US20220230659A1 (en) * 2021-01-15 2022-07-21 Facebook Technologies, Llc System for non-verbal hands-free user input
EP4093046A1 (en) * 2021-05-21 2022-11-23 Nokia Technologies Oy Multi-microphone audio capture
US11832187B2 (en) * 2021-06-24 2023-11-28 Hewlett-Packard Development Company, L.P. Electronic device wakes
EP4145862A1 (en) * 2021-09-07 2023-03-08 Nokia Technologies Oy Signalling change events at an audio output device
US11698766B2 (en) 2021-10-14 2023-07-11 Google Llc Ultrasonic device-to-device communication for wearable devices
CN114049871A (zh) * 2022-01-13 2022-02-15 腾讯科技（深圳）有限公司 基于虚拟空间的音频处理方法、装置和计算机设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718301B1 (en) * 2004-10-25 2014-05-06 Hewlett-Packard Development Company, L.P. Telescopic spatial radio system
US9584915B2 (en) * 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US9832587B1 (en) * 2016-09-08 2017-11-28 Qualcomm Incorporated Assisted near-distance communication using binaural cues
US10555106B1 (en) * 2017-01-27 2020-02-04 Facebook Technologies, Llc Gaze-directed audio enhancement
US10928895B2 (en) * 2017-09-21 2021-02-23 Tobii Ab Systems and methods for interacting with a computing device using gaze information
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
US10360894B1 (en) * 2018-11-28 2019-07-23 International Business Machines Corporation Direction-aware cross talk management
US10708706B1 (en) * 2019-05-07 2020-07-07 Facebook Technologies, Llc Audio spatialization and reinforcement between multiple headsets

Also Published As

Publication number Publication date
EP3922048A1 (en) 2021-12-15
WO2020227254A1 (en) 2020-11-12
KR20220005564A (ko) 2022-01-13
US10873825B2 (en) 2020-12-22
US10708706B1 (en) 2020-07-07
US20200359158A1 (en) 2020-11-12
CN113796097A (zh) 2021-12-14
EP3922048B1 (en) 2024-04-10
JP2022531067A (ja) 2022-07-06

Similar Documents

Publication Publication Date Title
EP3922048B1 (en) Audio spatialization and reinforcement between multiple headsets
JP7317115B2 (ja) オーディオシステムのための修正されたオーディオ体験を生成すること
US10979845B1 (en) Audio augmentation using environmental data
US20230058952A1 (en) Audio apparatus and method of operation therefor
US11523244B1 (en) Own voice reinforcement using extra-aural speakers
US11758347B1 (en) Dynamic speech directivity reproduction
US11902735B2 (en) Artificial-reality devices with display-mounted transducers for audio playback
JP2022542747A (ja) ヒアスルーオーディオシステムのためのイヤプラグアセンブリ
US11276215B1 (en) Spatial audio and avatar control using captured audio signals
US10979236B1 (en) Systems and methods for smoothly transitioning conversations between communication channels
KR20230040347A (ko) 개별화된 사운드 프로파일들을 사용하는 오디오 시스템
US20220342213A1 (en) Miscellaneous audio system applications
US20230093585A1 (en) Audio system for spatializing virtual sound sources
US11812194B1 (en) Private conversations in a virtual setting
US11825291B2 (en) Discrete binaural spatialization of sound sources on two audio channels
CN117981347A (zh) 用于对虚拟声源进行空间化的音频系统
WO2023069946A1 (en) Voice analysis driven audio parameter modifications