TW202320556A - 基於用戶電信號的音頻調整 - Google Patents

基於用戶電信號的音頻調整 Download PDF

Info

Publication number
TW202320556A
TW202320556A TW111124599A TW111124599A TW202320556A TW 202320556 A TW202320556 A TW 202320556A TW 111124599 A TW111124599 A TW 111124599A TW 111124599 A TW111124599 A TW 111124599A TW 202320556 A TW202320556 A TW 202320556A
Authority
TW
Taiwan
Prior art keywords
user
location
audio
electrical activity
processors
Prior art date
Application number
TW111124599A
Other languages
English (en)
Inventor
鄧迪彥
韓君生
雷希米 庫爾卡尼
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202320556A publication Critical patent/TW202320556A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

一種裝置包括記憶體及一個或多個處理器。記憶體被組態以儲存指令。一個或多個處理器被組態以執行指令以獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料。一個或多個處理器亦被組態以執行指令以基於電活動資料來呈現音頻資料,以在音頻資料之回放期間調整聲源在聲場中的位置。

Description

基於用戶電信號的音頻調整
本公開內容大體上係關於基於用戶電信號來調整音頻。
技術的進步已經導致更小及更強大的計算裝置。例如,當前存在多種可攜式個人計算裝置,包括諸如行動電話及智慧電話的無線電話、平板及膝上型計算機,其體積小、重量輕且易於由用戶攜帶。這些裝置可以通過無線網路傳送語音及資料封包。此外,許多這樣的裝置結合了附加功能,例如數位靜態相機、數位攝影機、數位錄音器及音頻檔案播放器。此外,這樣的裝置可以處理可執行指令,包括可以用於存取網際網路的軟體應用,諸如web瀏覽器應用。因此,這些裝置可以包括顯著的計算能力。
這樣的計算裝置通常結合有回放空間音頻的功能,聲音可被感知為來自音頻源的方向。音頻源的方向通常被映射到回放裝置。作為示例,音頻可以表示被感知為來自觀看回放裝置的用戶前面的角色的話音。然而,如果用戶將回放裝置放在桌子上,則話音被感知為來自桌子而不是在用戶前面。
根據本公開內容的一個實施方式,一種裝置包括記憶體及一個或多個處理器。記憶體被組態以儲存指令。該一個或多個處理器被組態以執行指令以獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料。該一個或多個處理器亦被組態以執行指令以基於電活動資料來呈現音頻資料,以在音頻資料之回放期間調整聲源在聲場中的位置。
根據本公開內容的另一實施方式,一種方法包括在裝置處獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料。該方法亦包括基於電活動資料來呈現音頻資料,以在音頻資料之回放期間調整聲源在聲場中的位置。
根據本公開內容的另一實施方式,一種非暫時性計算機可讀媒體包括指令,該指令在由一個或多個處理器執行時使該一個或多個處理器獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料。該指令在由該一個或多個處理器執行時使該一個或多個處理器基於電活動資料來呈現音頻資料,以在音頻資料之回放期間調整聲源在聲場中的位置。
根據本公開內容的另一實施方式,一種器具包括用於獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料的構件。該器具亦包括用於基於電活動資料來呈現音頻資料以在音頻資料之回放期間調整聲源在聲場中的位置的構件。
在審閱包括以下部分的整個申請之後,本公開內容的其他態樣、優點及特徵將變得顯而易見:圖式簡單說明、實施方式及申請專利範圍。
在空間音頻之回放期間,聲音可以被感知為來自映射到回放裝置的音頻源的方向。作為示例,音頻可以表示被感知為來自觀看回放裝置的用戶的前面的角色的話音。然而,如果用戶或回放裝置改變位置使得回放裝置不再在用戶前面,則話音被感知為來自不在用戶前面的回放裝置。
公開了基於用戶電信號來調整音頻的系統及方法。音頻播放器可以在第一回放操作期間呈現音頻資料以包括聲源在聲場中的多個位置。例如,在第一回放操作期間收聽經呈現音頻資料之回放的用戶將感知到來自相同聲源的聲音同時來自聲場中的多個位置中的每一個。為了說明,用戶將感知聲音,好像在多個位置中的每一個處複製相同的聲源一樣。音頻播放器獲得對應於在第一回放操作期間從用戶頭部內的電源(例如,腦細胞)生成的電信號的電活動資料。作為示例,電活動資料包括從入耳式感測器接收的腦電圖(EEG)資料。音頻播放器基於電活動資料將多個位置中的一個位置識別為聲源之用戶優選位置。音頻播放器基於用戶優選位置呈現音頻資料,以在第二回放操作期間調整聲源的位置。例如,在第二回放操作期間收聽所呈現的音頻資料之回放的用戶將感知到來自聲源的聲音來自聲場中的用戶優選位置。因此,音頻播放器使得能夠基於用戶偏好來調整聲源的方向,而不是將其映射到回放裝置。
下面參考圖式描述本公開內容的特定態樣。在描述中,共同的特徵由共同的符號表示。如本文所使用的,各種術語僅用於描述特定實施方式的目的,並不旨在限制實施方式。例如,單數形式“一”、“一個”及“該”旨在也包括複數形式,除非上下文另有明確說明。此外,本文描述的一些特徵在一些實施方式中是單數的,並且在其他實施方式中是複數的。為了說明,圖1描繪了包括一個或多個處理器(圖1的“處理器”190)的裝置102,這指示在一些實施方式中,裝置102包括單個處理器190,並且在其他實施方式中,裝置102包括多個處理器190。
在一些圖式中,使用特定類型的特徵的多個實例。儘管這些特徵在實體上及/或邏輯上是不同的,但是每個特徵使用相同的符號,並且通過向符號添加字母來區分不同的實例。當在本文中提及作為一組或一種類型的特徵時,例如,當沒有提及特徵中的特定一個時,使用沒有區分字母的符號。然而,當本文提及相同類型的多個特徵中的一個特定特徵時,符號與區分字母一起使用。例如,參考圖1,多個位置被示出並且與符號150A及150B相關聯。當提及這些位置中的特定一個位置時,例如位置150A,使用區分字母“A”。然而,當提及這些位置中的任何任意一個或將這些位置作為一組時,使用符號150而沒有區分字母。
如本文所使用的,術語“包含”可以與“包括”互換使用。另外,術語“其中”可以與“在其處”互換使用。如本文所使用的,“示例性”指示示例、實施方式及/或態樣,並且不應被解釋為限制或指示偏好或優選的實施方式。如本文所使用的,用於修飾元素(諸如結構、組件、操作等)的序數術語(例如,“第一”、“第二”、“第三”等)本身並不指示該元素相對於另一元素的任何優先級或順序,而是僅將該元素與具有相同名稱的另一元素區分開(但是使用序數術語)。如本文所使用的,術語“集合”是指一個或多個特定元素,並且術語“複數個”是指多個(例如,兩個或更多個)特定元素。
如本文所使用的,“耦合”可以包括“通信耦合”、“電耦合”或“實體耦合”,並且亦可以(或替代地)包括其任何組合。兩個裝置(或組件)可以經由一個或多個其他裝置、組件、導線、匯流排、網路(例如,有線網路、無線網路或其組合)等直接或間接地耦合(例如,通信耦合、電耦合或實體耦合)。作為說明性的非限制性示例,電耦合的兩個裝置(或組件)可以包括在同一裝置中或不同裝置中,並且可以經由電子器件、一個或多個連接器或電感耦合來連接。在一些實施方式中,通信地耦合(例如電通信)的兩個裝置(或組件)可經由一個或多個導線、匯流排、網路等直接或間接地發送及接收信號(例如,數位信號或類比信號)。如本文中所使用,“直接耦合”可包括耦合(例如,通信地耦合、電耦合或實體耦合)而無中間組件的兩個裝置。
在本公開內容中,例如“決定”、“計算”、“估計”、“移位”、“調整”等術語可用於描述如何履行一個或多個操作。應當注意,這些術語不應被解釋為限制性的,並且可以利用其他技術來履行類似的操作。另外,如本文中所提及,“生成”、“計算”、“估計”、“使用”、“選擇”、“存取”及“決定”可互換地使用。例如,“生成”、“計算”、“估計”或“決定”參數(或信號)可指主動地生成、估計、計算或決定參數(或信號)或可指使用、選擇或存取例如由另一組件或裝置已生成的參數(或信號)。
參考圖1,公開了被組態以基於用戶電信號來調整音頻的系統的特定說明性態樣,並且一般地將其指定為100。系統100包括被組態以經由輸出介面124耦合到一個或多個揚聲器106的裝置102。
裝置102被組態以經由輸入介面114耦合到一個或多個感測器104。在特定態樣中,一個或多個感測器104包括入耳式感測器、電極帽、神經植入物、導電屏、非可穿戴感測器或其組合。裝置102被組態以耦合到一個或多個空間感測器176,該一個或多個空間感測器176被組態以生成指示用戶180之空間資訊(例如,移動、位置或定向中的至少一個)的空間資料177。在特定態樣中,一個或多個空間感測器176包括慣性測量(IMU)單元、相機、全球定位系統(GPS)感測器或其組合。
在一些態樣中,空間資料177(例如,IMU資料、圖像資料或兩者)指示用戶180之位置的變化、用戶180之定向的變化或兩者。例如,整合在用戶180佩戴的頭戴機中的一個或多個空間感測器176的IMU生成IMU資料,該IMU資料指示與用戶180之頭部182之移動相對應的頭戴機之移動。空間資料177包括IMU資料。
在一些態樣中,空間資料177(例如,GPS資料、圖像資料或兩者)指示用戶180之位置、定向或兩者。例如,一個或多個空間感測器176的相機在第一時間捕獲用戶180之第一圖像並且在第二時間捕獲用戶180之第二圖像。第一圖像指示頭部182在第一時間的第一定向,並且第二圖像指示頭部182在第二時間的第二定向。空間資料177包括第一圖像及第二圖像,其指示第一時間處的第一定向及第二時間處的第二定向,並且亦指示從第一定向到第二定向的定向變化。
裝置102被組態以耦合到一個或多個空間感測器178,該一個或多個空間感測器178被組態以生成指示參考188之空間資訊(例如,移動、位置或定向中的至少一個)的空間資料179。在特定態樣中,一個或多個空間感測器178包括IMU、相機、GPS感測器或其組合。在一些態樣中,空間資料179(例如,IMU資料、圖像資料或兩者)指示參考188之位置的變化、參考188之定向的變化或兩者。在一些態樣中,空間資料179(例如,GPS資料、圖像資料或兩者)指示參考188之位置、定向或兩者。在一些態樣中,參考188具有固定位置、固定定向或兩者。在這些態樣中,空間資料179可以指示固定位置、固定定向或兩者。例如,與由一個或多個空間感測器178生成空間資料179相比,空間資料179可以基於指示固定位置、固定定向或兩者的組態設定、預設資料、用戶輸入或其組合。裝置102被組態以使用音頻播放器140基於用戶電信號來調整音頻。
在一些實施方式中,系統100的一個或多個組件被包括在裝置102中,並且系統100的一個或多個組件被包括在被組態以耦合到裝置102的第二裝置中。在說明性的非限制性示例中,音頻播放器140包括在裝置102(例如,電話、平板計算機、遊戲控制台、計算裝置等)中,並且一個或多個空間感測器176、一個或多個揚聲器106、一個或多個感測器104或其組合包括在第二裝置(例如,用戶頭戴式裝置,例如用戶180之頭戴機)中。
一個或多個感測器104被組態以生成與來自用戶180之頭部182內的一個或多個電源184(例如,腦細胞)的電信號(例如,腦電波)相對應的電活動資料105。在特定態樣中,電活動資料105包括眼電圖(EOG)資料、EEG資料或兩者。輸入介面114被組態以從一個或多個感測器104接收電活動資料105。在特定態樣中,輸入介面114包括乙太網路介面、通用序列匯流排介面、Wi-Fi介面、藍牙®(華盛頓藍牙SIG公司的注冊商標)介面、序列埠介面、平行埠介面或其它類型的資料介面中的至少一個。
裝置102包括一個或多個處理器190。在特定態樣中,輸入介面114、輸出介面124或兩者耦合到一個或多個處理器190。一個或多個處理器190包括音頻播放器140。在特定態樣中,音頻播放器140包括被組態以調整音頻資料的音頻調整器170。在特定態樣中,音頻資料141A對應於由一個或多個麥克風捕獲的聲音。在特定態樣中,音頻資料141A對應於由遊戲引擎、音頻應用等生成的音頻。在特定態樣中,音頻資料141A對應於所捕獲聲音與虛擬聲音的組合。音頻資料141A表示聲場142(例如,三維(3D)聲場)。在音頻資料141A之回放期間,聲場142(例如,3D聲場)可以以使得收聽者能夠區分收聽者與3D聲場的一個或多個聲源之間的距離及/或位置的方式重建。
在說明性的非限制性示例中,音頻資料141A基於或轉換為這些格式中的一種:(i)傳統的基於聲道的音頻,其旨在通過預先指定的位置處的揚聲器播放;(ii)基於對象的音頻,其涉及用於單個音頻對象的離散脈衝編碼調變(PCM)資料,其中相關聯的元資料包括其位置坐標(以及其他資訊);或(iii)基於場景的音頻,其涉及使用球諧基函數的係數(亦稱為“球諧係數”或SHC、“高階立體混響(Higher-order Ambisonics)”或HOA及“HOA係數”)來表示聲場。
音頻播放器140被組態以履行多位置音頻生成164。例如,音頻調整器170被組態以通過將音頻資料141A呈現為具有對應於聲場142的多個位置150的聲源186的聲音來生成音頻資料141B。音頻播放器140被組態以在音頻回放操作144A期間將音頻資料141B輸出到一個或多個揚聲器106。一個或多個感測器104被組態以在音頻回放操作144A期間生成電活動資料105。音頻播放器140被組態以通過基於電活動資料105履行優選位置估計(優選位置估計)166來決定用戶優選位置167。音頻播放器140被組態以基於用戶優選位置167履行單個位置音頻生成(單個位置音頻生成)168。例如,音頻調整器170被組態以通過基於用戶優選位置167呈現音頻資料141A以調整聲源186在聲場142中的位置來生成音頻資料141C。
在一些實施方式中,裝置102對應於各種類型的裝置之一或被包括在各種類型的裝置之一中。在說明性示例中,一個或多個處理器190整合於頭戴機裝置中,該頭戴機裝置包括一個或多個揚聲器106且包括或耦合到一個或多個感測器104,例如參考圖6進一步描述。在其他示例中,一個或多個處理器190整合在如參考圖5所描述的行動電話或平板計算機裝置、如參考圖7所描述的可穿戴電子裝置、如參考圖8所描述的語音控制揚聲器系統、如參考圖9所描述的虛擬實境、混合實境或擴增實境頭戴機、如參考圖11所描述的一個或多個耳塞中的至少一個中。在另一說明性示例中,一個或多個處理器190整合到耦合到一個或多個揚聲器106及一個或多個感測器104的交通工具中,例如參考圖10進一步描述。
在操作期間,用戶180激活或啟動音頻播放器140的操作以回放音頻資料141A。音頻資料141A對應於至少表示來自聲場142中的位置150A的聲源186的聲音(例如,人的語音、來自鳥的聲音、來自樂器的音樂等)的空間音頻資料。例如,在音頻資料141A之回放期間,聲場142可被重建使得來自聲源186的聲音將被收聽者感知為來自聲場142(例如,3D空間)中的位置150A。為了說明,來自演員的話音(例如,用於電影音頻或有聲讀物)可以被感知為來自收聽者的前面,並且來自經過的汽車的聲音可以被感知為在收聽者後面從右向左行進。音頻資料141A可表示來自聲場142中的一個或多個附加聲源的附加聲音。
音頻播放器140被組態以基於用戶優選位置167或基於相對位置161(例如,用戶180相對於參考188的估計位置)來調整聲源186在聲場142中的位置。例如,相對位置161對應於用戶優選位置167的估計(或替代)。決定用戶優選位置167包括向用戶180回放音頻,其中聲源186的聲音可從聲場142的多個位置150感知。另一方面,可以在用戶180不知道的情況下在背景中估計相對位置161。在一些實施方式中,當相對位置161的位置置信度水準181大於或等於置信度閾值(置信度閾值)163時,音頻播放器140基於相對位置161調整聲源186的位置。然而,當位置置信度水準181小於置信度閾值163時,音頻播放器140通過回放具有來自多個位置150的聲源186的聲音的音頻來決定用戶優選位置167,並且基於用戶優選位置167調整聲源186的位置。因此,當位置置信度水準181未能滿足置信度閾值163時,從多個位置150選擇性地回放聲源186的聲音以決定用戶優選位置167。
在特定態樣中,音頻播放器140基於空間資料177、空間資料179、電活動資料105或其組合來履行相對位置估計160,以決定相對位置161及位置置信度水準181,如參考圖2A-圖2B進一步描述的。例如,相對位置161對應於用戶180相對於參考188的估計位置,並且位置置信度水準181指示與相對位置161相關聯的估計置信度。在一些實施方式中,相對位置161對應於用戶180相對於參考188之估計位置(例如,位置、定向或兩者)的估計位置(例如,位置、定向或兩者)。
在特定態樣中,參考188包括裝置102、顯示裝置、回放裝置、一個或多個揚聲器106、實體參考、虛擬參考、固定位置參考或行動參考中的一個或多個。例如,參考188可以包括在虛擬場景中具有固定位置的虛擬參考(例如,建築物)。作為另一示例,參考188可以包括能夠改變虛擬場景中的位置的虛擬參考(例如,行動虛擬角色)。在一些示例中,參考188可以包括在實體空間中具有固定位置(例如,附接到牆壁)的實體參考(例如,廣告顯示)。在其他示例中,參考188可以包括能夠改變實體空間中的位置的實體參考(例如,行動裝置)。
作為說明性示例,參考188被示出為與裝置102分離。在其他示例中,參考188可以整合在裝置102中。在一些實施方式中,參考188是指參考點(例如,特定位置)。在其他實施方式中,參考188可以具有多維(例如,二維或三維)形狀,諸如正方形、立方體、矩形、平面、稜柱、三角形、金字塔形、圓形、球形、橢圓形、卵形等。
在特定實施方式中,音頻播放器140初始化相對位置161以對應於在距用戶180預定距離(例如,12英寸)處定向在用戶180前面(例如,面向用戶180)的參考188(例如,行動電話屏幕)。在特定態樣中,預定距離基於組態設定、預設值、用戶輸入或其組合。在特定態樣中,音頻播放器140將位置置信度水準181初始化為小於置信度閾值163。在特定態樣中,置信度閾值163基於組態設定、預設值、用戶輸入或其組合。在一些態樣中,音頻播放器140基於參考188之移動、用戶180之移動或兩者來更新相對位置161及位置置信度水準181,如參考圖2A-圖2B進一步描述的。
音頻播放器140履行比較162以決定是將相對位置161用於單個位置音頻生成168還是決定用戶優選位置167。例如,音頻播放器140將位置置信度水準181與置信度閾值163進行比較。響應於決定位置置信度水準181大於或等於置信度閾值163,音頻播放器140基於相對位置161進行到單個位置音頻生成168,如參考圖2A-圖2B進一步描述的。例如,音頻調整器170基於音頻資料141A及相對位置161生成音頻資料141C。為了說明,生成音頻資料141C包括基於相對位置161呈現音頻資料141A。替代地,響應於決定位置置信度水準181小於置信度閾值163,音頻播放器140履行多位置音頻生成164以決定用戶優選位置167。
在一些態樣中,比較162包括相對位置161與相對位置161的先前決定的比較。例如,響應於決定相對位置161與相對位置161的先前決定之間的差小於位置改變閾值且位置置信度水準181大於第二置信度閾值,音頻播放器140返回到相對位置估計160而不調整聲源186的位置。
在多位置音頻生成164期間,音頻調整器170基於音頻資料141A生成音頻資料141B。例如,生成音頻資料141B包括呈現音頻資料141A以具有聲源186的多個位置。為了說明,音頻資料141B表示來自聲場142的位置150A的聲源186的聲音、來自聲場142的位置150B的聲源186的聲音、來自聲場142的一個或多個附加位置的聲源186的聲音,或其組合。
在特定態樣中,音頻資料141A表示來自位置150A的聲源186的聲音,且生成音頻資料141B包括添加來自位置150B、一個或多個附加位置或其組合的聲源186的聲音。在替代態樣中,音頻資料141A不包括聲源186的任何聲音,且生成音頻資料141B包括添加來自多個位置150中的每一個的聲源186的聲音。
音頻播放器140基於音頻資料141B履行優選位置估計166。例如,音頻播放器140經由一個或多個揚聲器106發起音頻資料141B的音頻回放操作144A。例如,音頻播放器140經由輸出介面124將音頻資料141B提供到一個或多個揚聲器106。在特定態樣中,輸出介面124包括乙太網路介面、通用序列匯流排(USB)介面、Wi-Fi介面、藍牙®(華盛頓藍牙SIG公司的注冊商標)介面、序列埠介面、平行埠介面或其它類型的資料介面中的至少一個。
音頻資料141B包括在音頻回放操作144A期間聲源186在聲場142中的多個位置150。在音頻回放操作144A期間,音頻播放器140經由輸入介面114從一個或多個感測器104獲得電活動資料105。電活動資料105對應於在音頻回放操作144A期間來自用戶180之頭部182內的一個或多個電源184的電信號。例如,當向用戶180播放音頻資料141B時,電信號由一個或多個電源184(例如,腦細胞)生成。在特定態樣中,音頻播放器140在音頻回放操作144A期間輸出指示正在履行音頻組態的警報(例如,視覺警報)。
音頻播放器140基於電活動資料105來決定聲源186之用戶優選位置167。例如,音頻播放器140使用優選位置模型(優選位置模型)174來處理電活動資料105,並且優選位置模型174(例如,人工神經網路、機器學習模型或兩者)的輸出指示位置150B對應於聲源186之用戶優選位置167。
在一些實施方式中,音頻播放器140基於履行優選源估計來決定用戶優選位置167,如關於圖3進一步描述的。例如,音頻調整器170通過在音頻回放操作144A期間將音頻資料141A呈現為具有話音源之第一位置及非話音源(例如,汽車)之第二位置來生成音頻資料141B。音頻調整器170基於在音頻回放操作144A期間獲得的電活動資料105來決定用戶優選位置167。例如,音頻播放器140響應於決定電活動資料105指示用戶180正在跟蹤單個源來決定話音源之第一位置對應於用戶優選位置167。可替代地,音頻播放器140響應於決定電活動資料105指示用戶180正在跟蹤多個源來決定非話音源之第二位置對應於用戶優選位置167。例如,即使當用戶180正在收聽非話音聲音(例如,駛過的汽車)時,人腦也跟蹤話音,因此指示用戶180正在跟蹤多個源的電活動資料105對應於用戶180收聽非話音聲音(例如,汽車)。
音頻播放器140基於用戶優選位置167履行單個位置音頻生成168。例如,音頻調整器170基於用戶優選位置167及音頻資料141A生成音頻資料141C。為了說明,生成音頻資料141C包括將音頻資料141A呈現為具有聲場142中的聲源186之用戶優選位置167(例如,位置150B)。作為示例,音頻播放器140將聲源186的位置從聲場142中的位置150A(如音頻資料141A中所表示)調整到聲場142中的位置150B(如音頻資料141C中所表示)。
音頻播放器140經由一個或多個揚聲器106啟動音頻資料141C的音頻回放操作144B。例如,音頻播放器140經由輸出介面124將音頻資料141C提供到一個或多個揚聲器106。音頻資料141C包括在音頻回放操作144B期間聲場142中聲源186之用戶優選位置167(例如,位置150B)。例如,在音頻回放操作144B期間將聲源186的位置調整到用戶優選位置167(例如,位置150B)。為了說明,聲源186在音頻回放操作144B期間被感知為來自聲場142的單個位置。在特定態樣中,聲源186的單個位置在音頻回放操作144B期間固定在用戶優選位置167(例如,位置150B)處。在替代態樣中,聲源186的單個位置在用戶優選位置167(例如,位置150B)處初始化且在音頻回放操作144B期間改變。例如,聲源186對應於飛鳥,並且來自鳥的聲音的位置在聲場142中移動。
因此,系統100使得能夠呈現具有聲音的音頻,該聲音可以被感知為來自被映射到用戶優選位置167或用戶優選位置167的估計(例如,相對位置161)的聲源186的方向。作為示例,如果用戶180將回放裝置(例如,參考188)放置在桌子上,則可以調整聲源186的位置以繼續被感知為來自用戶180的前面(例如,用戶優選位置167)。
參考圖2A,示出了與相對位置估計160相關聯的操作的說明性態樣的圖解200。相對位置估計160可以由圖1的音頻播放器140履行。
音頻播放器140履行相對位置估計160以決定相對位置161。相對位置161包括用戶180相對於參考188的距離212、相對定向263或兩者。例如,距離212指示用戶位置220(例如,用戶180之估計位置)與參考位置230(例如,參考188之估計位置)之間的距離。相對定向263指示相對於參考定向232(例如,參考188之估計定向)的用戶定向222(例如,用戶180之估計定向)。
音頻播放器140基於位置資料270履行相對位置估計160。例如,音頻播放器140初始化相對位置161以對應於在距用戶180預定距離(例如,12英寸)處定向在用戶180前面(例如,面向用戶180)的參考188(例如,行動電話屏幕)。音頻播放器140基於對位置資料270的更新來更新相對位置161。
示例202A到202C說明三維空間中的水平平面的自頂向下視圖。在特定態樣中,水平平面由三維空間中的X軸及Y軸限定,並且垂直平面由三維空間中的X軸及Z軸限定。示例202A對應於音頻播放器140將相對定向263及距離212分別初始化為相對定向263A及距離212A。示例202B-202C對應於音頻播放器140基於對位置資料270的更新來更新相對定向263及距離212。
在示例202A中,音頻播放器140將參考188之參考位置230初始化為參考位置230A,將參考188之參考定向232初始化為參考定向232A,將用戶180之用戶位置220初始化為用戶位置220A,並且將用戶180之用戶定向222初始化為用戶定向222A。
在一些實施方式中,空間資料179(例如,GPS資料、組態資料、圖像資料等)指示在三維空間中具有參考定向232A的參考位置230A處檢測到參考188,並且音頻播放器140將參考位置230及參考定向232分別初始化為參考位置230A及參考定向232A。在替代實施方式中,音頻播放器140將參考位置230初始化為對應於三維空間的原點(例如,沿著X軸0英寸、沿著Y軸0英寸及沿著Z軸0英寸)的參考位置230A,並且參考定向232A對應於面向三維空間中的預定方向(例如,水平平面中0度及垂直平面中0度)的參考188。
在一些實施方式中,空間資料177(例如,GPS資料、圖像資料等)指示在三維空間中具有用戶定向222A的用戶位置220A處檢測到用戶180,並且音頻播放器140將用戶位置220及用戶定向222分別初始化為用戶位置220A及用戶定向222A。在替代實施方式中,音頻播放器140將用戶位置220初始化為對應於三維空間中距參考位置230A的預定點(例如,在預定距離及預定方向處)的用戶位置220A。例如,用戶位置220A對應於在三維空間中在相對方向265A(例如,水平平面中0度及垂直平面中0度)距原點距離212A(例如,預定距離,諸如12英寸)的點(例如,沿X軸12英寸、沿Y軸0英寸及沿Z軸12英寸)。音頻播放器140將用戶定向222A初始化為三維空間中的預定方向(例如,水平平面(例如,XY平面)中的180度及垂直平面(例如,XZ平面)中的0度)以對應於面向參考188的用戶180。因此,音頻播放器140在時間T0將距離212初始化為距離212A,並且將相對定向263初始化為相對定向263A。相對定向263A(例如,水平平面中0度及垂直平面中0度)基於參考定向232A(例如,水平平面中0度及垂直平面中0度)、用戶定向222A(例如,水平平面中180度及垂直平面中0度)以及用戶位置220A到參考位置230A的相對方向265A(例如,水平平面中0度及垂直平面中0度)。
音頻播放器140基於位置資料270更新相對位置161。例如,位置資料270指示用戶180之位置的變化、用戶180之定向的變化、參考188之位置的變化、參考188之定向的變化或其組合,並且音頻播放器140基於由位置資料270指示的變化來更新相對位置161。在特定態樣中,位置資料270包括用戶180之空間資料177、參考188之空間資料179、用戶注視估計275或其組合。
電活動資料105可以指示用戶注視的方向(例如,用戶注視估計275)。在特定態樣中,用戶注視的方向是相對於頭部182的定向。例如,如果用戶180正在觀看特定注視目標並且在將頭部182的定向改變特定量(例如,10度)的同時繼續觀看相同的注視目標,則用戶注視的方向改變特定量(例如,10度)。在特定態樣中,音頻播放器140基於用戶注視估計275來估計用戶180之定向的變化。例如,音頻播放器140基於空間資料177決定用戶180之頭部182的定向的變化。在一些實施方式中,頭部182的定向的變化對應於用戶定向222的變化的廣泛估計,並且音頻播放器140基於用戶注視估計275細化用戶定向222的變化的估計。例如,如果用戶180移動頭部182但保持注視朝向相同位置,則用戶定向222可能沒有變化。
在特定態樣中,音頻播放器140使用注視估計模型274(例如,人工神經網路、機器學習模型或兩者)來處理電活動資料105(例如,EOG資料)以決定用戶注視估計275。提供基於空間資料177決定用戶定向222(例如,頭部定向)並基於用戶注視估計275(例如,用戶注視方向)更新用戶定向222作為說明性的非限制性示例。在一些示例中,音頻播放器140可以處理空間資料177及電活動資料105(指示用戶注視的方向)以決定用戶定向222。
根據一些研究,EOG資料(例如,電活動資料105)被建模以檢測掃視(例如,眼睛在凝視狀態之間的快速移動),並且指示掃視的EOG信號的變化反映了注視偏移的方向。例如,EOG信號的變化的增加指示注視向右偏移,並且EOG信號的變化的減小指示注視向左偏移。EOG信號的幅度指示注視偏移的角度。例如,幅度的較高絕對值指示較大的注視偏移。在特定態樣中,響應於檢測到凝視來決定用戶注視估計275。例如,基於決定用戶注視的方向在至少閾值持續時間內不變來檢測凝視。
在一些實施方式中,空間資料177(例如,GPS資料、圖像資料或兩者)可以直接指示用戶位置220、用戶定向222或兩者,而不是音頻播放器140基於變化來估計用戶位置220、用戶定向222或兩者。在一些實施方式中,空間資料179(例如,GPS資料、圖像資料或兩者)可以直接指示參考位置230、參考定向232或兩者,而不是音頻播放器140基於變化來估計參考位置230、參考定向232或兩者。
在一些實施方式中,參考188具有固定位置(例如,參考位置230A)。在一些態樣中,空間資料179指示參考定向232、固定位置(例如,參考位置230A)或兩者的變化(如果有的話)。在替代態樣中,參考188具有固定定向(例如,參考定向232A)。在一些示例中,空間資料179指示固定位置(例如,參考位置230A)、固定定向(例如,參考定向232A)或兩者。在一些示例中,空間資料179指示參考位置230沒有變化、參考定向232沒有變化或兩者。在其他示例中,位置資料270可以不包括空間資料179。例如,音頻播放器140基於空間資料177、用戶注視估計275或兩者來估計(例如,更新)用戶位置220及用戶定向222,並且基於參考188之固定位置及固定定向以及用戶180之估計位置及估計定向來履行相對位置估計160。
示例202B及202C示出了對應於不同用戶定向222、不同參考定向232及不同參考位置230的相同相對定向263的示例。在一些示例中,相同的相對定向263可以對應於不同的用戶定向222、不同的參考定向232、不同的用戶位置220、不同的參考位置230或其組合。在示例202B中,音頻播放器140在時間T0之後的時間T1獲得位置資料270。音頻播放器140基於空間資料177決定用戶180具有用戶定向222B(例如,水平平面中135度及垂直平面中0度)並且在用戶位置220B處。音頻播放器140基於空間資料179決定參考188在參考位置230B處並且具有參考定向232A(例如,水平平面中0度及垂直平面中0度)。音頻播放器140基於用戶位置220B與參考位置230B之間的差異來決定距離212B。
音頻播放器140決定用戶位置220B(例如,3D空間中的第一點)具有距參考位置230B(例如,3D空間中的第二點)的相對方向265A(例如,水平平面中0度及垂直平面中0度)。例如,相對方向265在示例202B中與在示例202A中相同。
相對方向265(例如,3D空間中第一點相對於第二點的方向)基於用戶位置220(例如,第一點)相對於參考位置230(例如,第二點)的方向,並且獨立於用戶定向222及參考定向232。相比之下,除了用戶位置220到參考位置230的相對方向265之外,相對定向263還基於用戶定向222及參考定向232。例如,相對定向263指示對應於用戶180的至少第一平面(例如,包括第一點)相對於對應於參考188的至少第二平面(例如,包括第二點)的定向。在說明性的非限制性示例中,第一平面對應於用戶180之頭部182的垂直橫截面,並且第二平面對應於參考188(例如,行動裝置)之顯示屏。
音頻播放器140基於用戶定向222B(例如,水平平面中135度及垂直平面中0度)、參考定向232A(例如,水平平面中0度及垂直平面中0度)及用戶位置220B相對於參考位置230B的相對方向265B(例如,水平平面中0度及垂直平面中0度)來決定相對定向263B(例如,水平平面中45度及垂直平面中0度)。在一些示例中,相對定向263對於具有相同用戶定向222及相同參考定向232的不同相對方向265可以是不同的,如參考圖2B進一步描述的。
在示例202C中,音頻播放器140在時間T0之後的時間T2處獲得位置資料270。音頻播放器140基於空間資料177決定用戶180具有用戶定向222A(例如,水平平面中180度及垂直平面中0度)並且在用戶位置220B處。音頻播放器140基於空間資料179決定參考188在參考位置230C處並且具有參考定向232C(例如,水平平面中45度及垂直平面中0度)。音頻播放器140基於用戶位置220B與參考位置230C之間的差異來決定距離212B。
音頻播放器140基於用戶位置220B(例如,3D空間中的第一點)與參考位置230C(例如,3D空間中的第三點)的比較來決定相對方向265C。例如,用戶位置220B具有距參考位置230C的相對方向265C(例如,水平平面中45度及垂直平面中0度)。音頻播放器140基於用戶定向222A(例如,水平平面中180度及垂直平面中0度)、參考定向232C(例如,水平平面中45度及垂直平面中0度)及用戶位置220B相對於參考位置230C的相對方向265C(例如,水平平面中45度及垂直平面中0度)來決定相對定向263B(例如,水平平面中45度及垂直平面中0度)。對於不同的參考位置230、不同的參考定向232、不同的用戶定向222、不同的相對方向265、相同的距離212及相同的用戶位置220,相對定向263在示例202C中與在示例202B中相同(例如,相對定向263B)。例如,與示例202B相比,在示例202C中,與用戶180相對應的至少第一平面(例如,頭部182的垂直橫截面)相對於與參考188相對應的至少第二平面(例如,顯示屏)具有相同的定向。
參考圖2B,示出了與相對位置估計160相關聯的操作的說明性態樣的圖解250。相對位置估計160可以由圖1的音頻播放器140履行。示例202D示出了由於用戶位置220相對於參考點位置230的不同相對方向265而對應於不同263定向263的相同用戶定向222及相同參考定向232的示例。
示例202D對應於音頻播放器140基於對位置資料270的更新來更新相對定向263及距離212。在示例202D中,音頻播放器140在時間T0之後的時間T3處獲得位置資料270。音頻播放器140基於空間資料177決定用戶180具有用戶定向222A(例如,水平平面中180度及垂直平面中0度)並且在用戶位置220D處。音頻播放器140基於空間資料179決定參考188具有參考定向232A(例如,水平平面中0度及垂直平面中0度)並且在參考位置230D處。音頻播放器140基於用戶位置220D與參考位置230D之間的差異來決定距離212A。
音頻播放器140基於用戶位置220D(例如,3D空間中的第三點)與參考位置230D(例如,3D空間中的第四點)的比較來決定相對方向265D。例如,用戶位置220D具有距參考位置230D的相對方向265D(例如,水平平面中39度及垂直平面中0度)。音頻播放器140基於用戶定向222A(例如,水平平面中180度及垂直平面中0度)、參考定向232A(例如,水平平面中0度及垂直平面中0度)及用戶位置220D相對於參考點位置230D的相對方向265D(例如,水平平面中39度及垂直平面中0度)來決定相對定向263D(例如,水平平面中39度及垂直平面中0度)。
對於相同的用戶定向222(例如,用戶定向222A)、相同的參考定向232(例如,參考定向232A)、不同的相對方向265、不同的用戶位置220及不同的參考位置230,示例202D的相對定向263D不同於示例202A的相對定向263A。例如,與示例202A相比,在示例202D中,對應於用戶180的第一平面(例如,頭部182的垂直橫截面)具有相同的用戶定向222,並且對應於參考188的第二平面(例如,顯示屏)具有相同的參考定向232。與示例202A相比,在示例202D中,第一平面具有與第二平面不同的相對定向263,因為第三點相對於第四點的相對方向265D不同於第一點相對於第二點的相對方向265A。
參考圖3,示出了可操作以基於用戶電信號來調整音頻的系統的圖解,並且一般地將其指定為300。在特定態樣中,圖1的系統100包括系統300的一個或多個組件。
在圖3中,示出了多位置音頻生成164及優選位置估計166的實施方式的示例。例如,多位置音頻生成164包括多源音頻生成364。為了說明,音頻播放器140通過將音頻資料141A呈現為在聲場142中具有話音源386之位置350及非話音源388之位置352來生成音頻資料141B。
音頻播放器140經由一個或多個揚聲器106啟動音頻資料141B的音頻回放操作144A。一個或多個感測器104在音頻回放操作144A期間生成電活動資料105。例如,電活動資料105基於在音頻回放操作144A期間來自一個或多個電源184的電信號。
在一些示例中,優選位置估計166包括優選源估計(優選源估計)366。例如,音頻播放器140基於電活動資料105將話音源386或非話音源388中的一個識別為用戶優選源367。音頻播放器140使用優選源模型374(例如,人工神經網路、機器學習模型或兩者)來處理電活動資料105以生成被跟蹤聲源的計數。
“被跟蹤聲源”對應於當聲源在音頻回放操作144A期間在聲場142中移動時用戶180之聽覺系統專注於(例如,關注)的聲源。根據一些研究,可以在EEG資料與關注的及非關注的聲源軌跡之間導出線性映射(例如,時間響應函數(TRF))。即使在存在分散注意力的刺激的情況下,也可以根據EEG的Δ相位及α功率二者來可靠地重建所關注的聲源的軌跡(例如,路徑)。對非關注的非話音聲源(例如,噪音)的跟蹤低於檢測水準,並且非關注的語音被弱跟蹤(例如,通過EEG的Δ相位)。
如果用戶180在音頻回放操作144A期間關注話音源386,則電活動資料105(例如,EEG資料的Δ相位及α功率)跟蹤話音源386,而對非話音源388的跟蹤低於檢測水準。如果用戶180在音頻回放操作144A期間關注非話音源388,則電活動資料105跟蹤非話音源388並且弱跟蹤話音源386。例如,EEG的Δ相位及α功率跟蹤非話音源388,並且EEG的Δ相位弱地跟蹤話音源386。
在一些實施方式中,訓練優選源模型374以決定由電活動資料指示的被跟蹤聲源的計數。例如,通過使用一個或多個揚聲器106回放與在聲場中移動(例如,改變位置)的聲源(例如,一個或多個話音源、一個或多個非話音源或其組合)相對應的音頻,請求用戶180在回放期間專注於(例如,關注)特定聲源,從一個或多個感測器104收集訓練電活動資料,並且用關注的聲源的計數標記訓練電活動資料,來生成訓練電活動資料。優選源模型374用於處理訓練電活動資料以生成跟蹤聲源的估計計數,損失度量基於估計計數與標記計數的比較,並且優選源模型374的組態設定(例如,權重、偏置或其組合)基於損失度量來調整。
響應於決定被跟蹤聲源的計數具有指示單個聲源被跟蹤的第一值(例如,1),音頻播放器140決定話音源386對應於用戶優選源367且位置350對應於用戶優選位置167。替代地,響應於決定被跟蹤聲源的計數具有指示多個聲源(例如,話音源386及非話音源388)被用戶180跟蹤的第二值(例如,大於1),音頻播放器140決定非話音源388對應於用戶優選源367且位置352對應於用戶優選位置167。為了說明,即使當收聽者(例如,用戶180)正關注非話音音頻時,人腦也在某種程度上跟蹤話音,並且當收聽者正關注話音音頻時,不跟蹤非話音。音頻播放器140基於用戶優選位置167(例如,位置350或位置352中的一個)履行單個位置音頻生成168,如參考圖1所描述的。
圖4將裝置102的實施方式400描繪為包括一個或多個處理器190的積體電路402。積體電路402亦包括輸入介面114,諸如一個或多個匯流排介面,以使得電活動資料105能夠被接收以用於處理。積體電路402亦包括輸出介面124,諸如匯流排介面,以使得能夠發送音頻資料141。積體電路402使得能夠基於用戶電信號來調整音頻。在一些示例中,積體電路402對應於耦合到一個或多個感測器104、一個或多個揚聲器106或其組合的系統中的組件,例如如圖5中所描繪的行動電話或平板計算機、如圖6中所描繪的頭戴機、如圖7中所描繪的可穿戴電子裝置、如圖8中所描繪的語音控制揚聲器系統、如圖9中所描繪的虛擬實境、混合實境或擴增實境頭戴機、如圖10中所描繪的交通工具、或如圖11所描繪的一個或多個耳塞。
作為說明性的非限制性示例,圖5描繪其中裝置102包括行動裝置502(例如電話或平板計算機)的實施方式500。行動裝置502包括一個或多個揚聲器106、顯示屏504或其組合。一個或多個處理器190的組件(包括音頻播放器140)整合在行動裝置502中,並且使用虛線示出以指示行動裝置502之用戶通常不可見的內部組件。
行動裝置502耦合到一個或多個感測器104。在一些實施方式中,行動裝置502對應於參考188且包括一個或多個運動感測器178。使用虛線示出了一個或多個運動感測器178,以指示行動裝置502之用戶通常不可見的內部組件。在一些實施方式中,一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176或其組合整合在用戶頭戴式裝置(例如,頭戴機或耳塞)中,並且音頻播放器140整合在行動裝置502中。在一些實施方式中,一個或多個空間感測器176(例如,相機)整合在行動裝置502中。
在特定示例中,音頻播放器140操作以基於用戶電信號來調整音頻,用戶電信號亦可以被處理以在行動裝置502處履行一個或多個操作,諸如啟動圖形用戶介面或以其他方式在顯示屏504處顯示與調整音頻相關聯的資訊或與音頻中檢測到的話音相關聯的資訊(例如,經由整合的“智慧助理”應用)。
圖6描繪了裝置102包括頭戴機裝置602的實施方式600。頭戴機裝置602包括或耦合到一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176、一個或多個空間感測器178或其組合。一個或多個處理器190的組件(包括音頻播放器140)整合於頭戴機裝置602中。在特定示例中,音頻播放器140操作以基於用戶電信號來調整音頻,這可使頭戴機裝置602在頭戴機裝置602處履行一個或多個操作,將經調整音頻資料傳送到第二裝置(未示出)以用於進一步處理,或其組合。
在一些實施方式中,頭戴機裝置602包括一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176或其組合,並且耦合到包括音頻播放器140的第二裝置。一個或多個空間感測器178可以被包括在頭戴機裝置602、第二裝置或兩者中。在一些態樣中,第二裝置包括交通工具、行動裝置、電話、遊戲控制台、通信裝置、可穿戴電子裝置、語音控制揚聲器系統、無人駕駛交通工具或其組合。
圖7描繪了實施方式700,其中裝置102包括可穿戴電子裝置702,其被示出為“智慧手錶”,音頻播放器140及一個或多個揚聲器106被整合到可穿戴電子裝置702中或耦合到可穿戴電子裝置702。
可穿戴電子裝置702耦合到一個或多個感測器104。在一些實施方式中,可穿戴電子裝置702對應於參考188並且包括一個或多個運動感測器178。使用虛線示出了一個或多個運動感測器178,以指示可穿戴電子裝置702之用戶通常不可見的內部組件。在一些實施方式中,一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176或其組合整合在用戶頭戴式裝置(例如,頭戴機或耳塞)中,並且音頻播放器140整合在可穿戴電子裝置702中。在一些實施方式中,一個或多個空間感測器176(例如,相機)整合在可穿戴電子裝置702中。
在特定示例中,音頻播放器140操作以基於用戶電信號來調整音頻,然後用戶電信號被處理以在可穿戴電子裝置702處履行一個或多個操作,諸如啟動圖形用戶介面或以其他方式在可穿戴電子裝置702的顯示屏704處顯示與調整音頻相關聯的資訊或與音頻中檢測到的話音相關聯的資訊。為了說明,可穿戴電子裝置702可以包括顯示屏,該顯示屏被組態以在可穿戴電子裝置702進行音頻回放操作144A期間顯示通知。在特定示例中,可穿戴電子裝置702包括在音頻回放操作144A期間提供觸覺通知(例如,振動)的觸覺裝置。例如,觸覺通知可以使用戶查看可穿戴電子裝置702以看到指示正在進行的音頻組態的所顯示的通知。因此,可穿戴電子裝置702可以向聽力受損的用戶或佩戴頭戴機的用戶警告正在履行音頻組態。
圖8是裝置102包括無線揚聲器及語音激活裝置802的實施方式800。無線揚聲器及語音激活裝置802可以具有無線網路連接並且被組態以執行輔助操作。包括音頻播放器140、一個或多個揚聲器106或其組合的一個或多個處理器190被包括在無線揚聲器及語音激活裝置802中。
無線揚聲器及語音激活裝置802耦合到一個或多個感測器104。在一些實施方式中,無線揚聲器及語音激活裝置802對應於參考188並且包括一個或多個運動感測器178。一個或多個運動感測器178使用虛線示出,以指示對無線揚聲器及語音激活裝置802之用戶通常不可見的內部組件。在一些實施方式中,一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176或其組合整合在用戶頭戴式裝置(例如,頭戴機或耳塞)中,並且音頻播放器140整合在無線揚聲器及語音激活裝置802中。在一些實施方式中,一個或多個空間感測器176(例如,相機)整合在無線揚聲器及語音激活裝置802中。
在操作期間,響應於經由音頻播放器140的操作接收到被識別為用戶話音的口頭命令,無線揚聲器及語音激活裝置802可以執行輔助操作(例如,整合輔助應用)。輔助操作可包括調整溫度、播放音樂、打開燈等。例如,輔助操作響應於在關鍵字或關鍵片語(例如,“你好助理”)之後接收到命令來被履行。
圖9描繪了實施方式900,其中裝置102包括對應於虛擬實境、混合實境或擴增實境頭戴機902的可攜式電子裝置。音頻播放器140、一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176、一個或多個空間感測器178或其組合整合到頭戴機902中。
可以履行基於用戶電信號的音頻調整,並且調整後的音頻信號可以經由頭戴機902之一個或多個揚聲器106來輸出。視覺介面裝置位於用戶眼睛的前面,以使得能夠在佩戴頭戴機902時向用戶顯示擴增實境、混合實境或虛擬實境圖像或場景。在一些實施方式中,參考188對應於可以由視覺介面裝置顯示的虛擬參考。在特定示例中,視覺介面裝置被組態以顯示指示音頻組態正在進行中的通知。
圖10描繪了實施方式1000,其中裝置102對應於交通工具1002或整合在交通工具1002內,交通工具1002被圖示為有人駕駛或無人駕駛的空中裝置(例如,包裹遞送無人機)。音頻播放器140、一個或多個揚聲器106或其組合整合到交通工具1002中。
交通工具1002耦合到一個或多個感測器104。在一些實施方式中,交通工具1002包括一個或多個運動感測器178。在一些實施方式中,交通工具1002對應於參考188。使用虛線示出一個或多個運動感測器178,以指示交通工具1002之用戶通常不可見的內部組件。在一些實施方式中,一個或多個感測器104、一個或多個揚聲器106、一個或多個空間感測器176或其組合整合在用戶頭戴式裝置(例如,頭戴機或耳塞)中,並且音頻播放器140整合在交通工具1002中。在一些實施方式中,一個或多個空間感測器176(例如,相機)整合在交通工具1002中。可以履行基於用戶電信號的音頻調整,並且調整後的音頻信號可以經由交通工具1002的一個或多個揚聲器106來輸出。
圖11是可操作以基於用戶電信號來履行音頻調整的耳塞1100(例如,圖1的裝置102的另一特定示例)的圖解。在圖11中,第一耳塞1102包括一個或多個空間感測器176中的至少一個,並且第二耳塞1104包括一個或多個空間感測器176中的至少一個。第一耳塞1102及第二耳塞1004中的每一個亦包括一個或多個揚聲器106中的至少一個。耳塞1200中的一個或兩個亦可以包括音頻播放器140、一個或多個空間感測器178或其組合。
參考圖12,示出了基於用戶電信號來調整音頻的方法1200的特定實施方式。在特定態樣中,方法1200的一個或多個操作由圖1的音頻播放器140、音頻調整器170、一個或多個處理器190、裝置102、系統100或其組合中的至少一個來履行。
方法1200包括在1202處獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料。例如,圖1的音頻播放器140獲得與來自用戶180之頭部182內的一個或多個電源184的電信號相對應的電活動資料105。
方法1200亦包括在1204處基於電活動資料呈現音頻資料以在音頻資料之回放期間調整聲源在聲場中的位置。例如,音頻播放器140基於電活動資料105呈現音頻資料141,以在音頻資料141之回放期間調整聲源186在聲場142中的位置。為了說明,音頻播放器140通過呈現音頻資料141A以將聲源186的位置從聲場142中的位置150A調整到位置150B來生成音頻資料141C。
方法1200因此使得能夠呈現具有聲音的音頻,該聲音可被感知為來自對應於用戶優選位置167或用戶優選位置167的估計(例如,相對位置161)的聲源186的方向(例如,位置150B)。作為示例,如果用戶180將回放裝置(例如,參考188)放置在桌子上,則可以調整聲源186的位置以繼續被感知為來自用戶180的前面(例如,用戶優選位置167)。
圖12的方法1200可以由現場可程式化閘陣列(FPGA)器件、特定應用積體電路(ASIC)、諸如中央處理單元(CPU)的處理單元、數位信號處理器(DSP)、控制器、另一硬體裝置、韌體裝置或其任何組合來實現。作為示例,圖12的方法1200可以由執行指令的處理器來履行,諸如參考圖13所描述的。
參看圖13,描繪裝置的特定說明性實施方式的方塊圖且一般地將其指定為1300。在各種實施方式中,裝置1300可具有比圖13中所說明的組件更多或更少的組件。在說明性實施方式中,裝置1300可對應於裝置102。在說明性實施方式中,裝置1300可以履行參考圖1-圖12描述的一個或多個操作。
在特定實施方式中,裝置1300包括處理器1306(例如,CPU)。裝置1300可包括一個或多個附加處理器1310(例如,一個或多個DSP)。在特定態樣中,圖1的一個或多個處理器190對應於處理器1306、處理器1310或其組合。處理器1310可包括話音及音樂編碼器-解碼器(編解碼器(CODEC))1308,其包括語音寫碼器(“聲碼器(vocoder)”)編碼器1336、聲碼器解碼器1338、音頻播放器140或其組合。
裝置1300可包括記憶體1386及編解碼器(CODEC)1334。記憶體1386可包括指令1356,該指令可由一個或多個附加處理器1310(或處理器1306)執行以實現參考音頻播放器140所描述的功能。裝置1300可以包括經由收發器1350耦合到天線1352的數據機1348。裝置1300可包括或耦合到一個或多個空間感測器176、一個或多個空間感測器178、一個或多個感測器104或其組合。
裝置1300可包括耦合到顯示控制器1326的顯示器1328。一個或多個揚聲器106及一個或多個麥克風1390可耦合到編解碼器1334。編解碼器1334可包括數位類比轉換器(DAC)1302、類比數位轉換器(ADC)1304或兩者。在特定實施方式中,編解碼器1334可從一個或多個麥克風1390接收類比信號,使用類比數位轉換器1304將類比信號轉換成數位信號(例如,音頻資料141A),以及將數位信號提供到話音及音樂編解碼器1308。話音及音樂編解碼器1308可以處理數位信號,並且數位信號可進一步由音頻播放器140處理。在特定實施方式中,話音及音樂編解碼器1308可將數位信號(例如,音頻資料141C)提供到編解碼器1334。編解碼器1334可使用數位類比轉換器1302將數位信號轉換為類比信號,並且可將類比信號提供到一個或多個揚聲器106。例如,音頻播放器140可響應於決定用戶180正跟蹤遠離用戶180或在用戶180後面的位置150A處的聲源186來生成音頻資料141C,以將聲源186的位置調整到更接近用戶180或在用戶180前面的位置150B。對應於音頻資料141C的類比信號可以經由整合在用戶180之頭戴機或耳塞中的一個或多個揚聲器106播出。
在特定實施方式中,裝置1300可包括在系統級封裝或系統單晶片裝置1322中。在特定實施方式中,記憶體1386、處理器1306、處理器1310、顯示控制器1326、編解碼器1334及數據機1348包括在系統級封裝或系統單晶片裝置1322中。在特定實施方式中,輸入裝置1330及電源1344耦合到系統級封裝或系統單晶片裝置1322。此外,在特定實施方式中,如圖13中所說明,顯示器1328、輸入裝置1330、一個或多個揚聲器106、一個或多個麥克風1390、天線1352及電源1344在系統級封裝或系統單晶片裝置1322外部。在特定實施方式中,顯示器1328、輸入裝置1330、一個或多個揚聲器106、一個或多個麥克風1390、天線1352及電源1344中的每一個可耦合到系統級封裝或系統單晶片裝置1322的組件,例如介面(例如,輸入介面114或輸出介面124)或控制器。
裝置1300可包括智慧揚聲器、揚聲器條、行動通信裝置、智慧電話、蜂巢電話、膝上型計算機、計算機、平板計算機、個人數位助理、顯示裝置、電視、遊戲控制台、音樂播放器、收音機、數位視頻播放器、數位視頻光碟(DVD)播放器、調諧器、相機、導航裝置、交通工具、頭戴機、擴增實境頭戴機、混合實境頭戴機、虛擬實境頭戴機、飛行器、家庭自動化系統、語音激活裝置、無線揚聲器及語音激活裝置。可攜式電子裝置、汽車、計算裝置、通信裝置、物聯網(IoT)裝置、虛擬實境(VR)裝置、基地台、行動裝置或其任何組合。
結合所描述的實施方式,一種器具包括用於獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料的構件。例如,用於獲得的構件可以對應於一個或多個感測器104、輸入介面114、音頻播放器140、一個或多個處理器190、裝置102、圖1的系統100、圖3的系統300、處理器1306、處理器1310、裝置1300、被組態以獲得電活動資料的一個或多個其他電路或組件、或其任何組合。
該器具亦包括用於基於電活動資料來呈現音頻資料以在音頻資料之回放期間調整聲源在聲場中的位置的構件。例如,用於呈現的構可以對應於音頻播放器140、一個或多個處理器190、裝置102、圖1的系統100、圖3的系統300、處理器1306、處理器1310、裝置1300、被組態以獲得電活動資料的一個或多個其他電路或組件、或其任何組合。
在一些實施方式中,一種非暫時性計算機可讀媒體(例如,計算機可讀儲存裝置,諸如記憶體1386)包括指令(例如,指令1356),該指令在由一個或多個處理器(例如,一個或多個處理器190、一個或多個處理器1310或處理器1306)執行時使一個或多個處理器獲得與來自用戶頭部(例如,頭部182)內的一個或多個電源(例如,一個或多個電源184)的電信號相對應的電活動資料(例如,電活動資料105)。該指令在由一個或多個處理器執行時使一個或多個處理器基於電活動資料來呈現音頻資料(例如,音頻資料141A)以在音頻資料(例如,音頻資料141C)之回放期間調整聲源(例如,聲源186)在聲場(例如,聲場142)中的位置(例如,位置150A)。
下面在相關條款的集合中描述本公開內容的特定態樣:
根據條款1,一種裝置包括:記憶體,其被組態以儲存指令;以及一個或多個處理器,其被組態以執行該指令以:獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料;以及基於該電活動資料來呈現音頻資料,以在該音頻資料之回放期間調整聲源在聲場中的位置。
條款2包括條款1之裝置,其中該一個或多個處理器進一步被組態以執行該指令以經由一個或多個揚聲器輸出該音頻資料。
條款3包括條款1或條款2之裝置,其中該電活動資料包括眼電圖(EOG)資料、腦電圖(EEG)資料或兩者。
條款4包括條款1至條款3中任一項之裝置,進一步包括介面,該介面被組態以從一個或多個感測器接收該電活動資料。
條款5包括條款4之裝置,其中該介面包括乙太網路介面、通用序列匯流排(USB)介面、Wi-Fi介面、藍牙介面、序列埠介面或平行埠介面中的至少一個。
條款6包括條款4或條款5之裝置,其中該一個或多個感測器包括入耳式感測器。
條款7包括條款4或條款5之裝置,其中該一個或多個感測器包括電極帽、神經植入物、導電屏、非可穿戴感測器或其組合。
條款8包括條款1至條款7中任一項之裝置,其中該一個或多個處理器進一步被組態以執行該指令以:經由一個或多個揚聲器發起該音頻資料之第一回放操作,在該第一回放操作期間,該音頻資料被呈現為包括該聲源在該聲場中的多個位置,其中該電活動資料基於在該音頻資料之該第一回放操作期間來自該一個或多個電源的該電信號;以及基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該位置。
條款9包括條款8之裝置,其中該一個或多個處理器被組態以執行該指令以基於決定位置置信度水準是否小於置信度閾值來決定是否呈現該音頻資料以包括該多個位置,其中該位置置信度水準與該用戶相對於參考的估計位置相關聯。
條款10包括條款9之裝置,其中該用戶相對於該參考的該估計位置包括該用戶相對於該參考之估計定向的估計定向、該用戶相對於該參考的估計距離、或兩者。
條款11包括條款9或條款10之裝置,其中該參考包括該裝置、顯示裝置、實體參考或虛擬參考中的一個或多個。
條款12包括條款9至條款11中任一項之裝置,其中該一個或多個處理器被組態以執行該指令以初始化該估計位置以對應於定向在該用戶前面的該參考。
條款13包括條款9至條款12中任一項之裝置,其中該一個或多個處理器被組態以將該位置置信度水準初始化為小於該位置閾值。
條款14包括條款9至條款13中任一項之裝置,其中該一個或多個處理器被組態以執行該指令以更新該用戶相對於該參考的估計位置,該估計位置基於該用戶之頭戴機之慣性測量單元(IMU)資料、該參考之空間資料、用戶注視估計或其組合來更新。
條款15包括條款1至條款14中任一項之裝置,其中該一個或多個處理器被組態以執行該指令以:基於該電活動資料來決定用戶注視估計;以及至少部分地基於該用戶注視估計來更新該用戶相對於參考的估計位置。
條款16包括條款1至條款15中任一項之裝置,其中該一個或多個處理器被組態以執行該指令以:使用機器學習模型來處理該電活動資料以決定用戶注視估計;以及基於該用戶注視估計來更新該用戶相對於參考的估計位置。
條款17包括條款1至條款16中任一項之裝置,其中該一個或多個處理器進一步被組態以執行該指令以使用機器學習模型來處理該電活動資料以決定該聲源之用戶優選位置。
條款18包括條款1至條款17中任一項之裝置,其中該一個或多個處理器進一步被組態以執行該指令以:呈現該音頻資料以包括該聲場中的話音源之第一位置及非話音源之第二位置;經由一個或多個揚聲器發起該音頻資料之第一回放操作,其中該電活動資料基於在該第一回放操作期間來自該一個或多個電源的該電信號;以及基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該聲源之該位置。
條款19包括條款18之裝置,其中該一個或多個處理器進一步被組態以執行該指令以:響應於決定該電活動資料指示單個聲源被跟蹤,決定該用戶優選位置對應於該話音源之該第一位置。
條款20包括條款18或條款19之裝置,其中該一個或多個處理器進一步被組態以執行該指令以:響應於決定該電活動資料指示該話音源及該非話音源被跟蹤,決定該用戶優選位置對應於該非話音源之該第二位置。
根據條款21,一種方法包括:在裝置處獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料;以及基於該電活動資料來呈現音頻資料,以在該音頻資料之回放期間調整聲源在聲場中的位置。
條款22包括條款21之方法,進一步包括:經由一個或多個揚聲器輸出該音頻資料。
條款23包括條款21或條款22之方法,其中該電活動資料包括眼電圖(EOG)資料、腦電圖(EEG)資料或兩者。
條款24包括條款21至條款23中任一項之方法,進一步包括經由介面從一個或多個感測器接收該電活動資料。
條款25包括條款24之方法,其中該介面包括乙太網路介面、通用序列匯流排(USB)介面、Wi-Fi介面、藍牙介面、序列埠介面或平行埠介面中的至少一個。
條款26包括條款24或條款25之方法,其中該一個或多個感測器包括入耳式感測器。
條款27包括條款24或條款25之方法,其中該一個或多個感測器包括電極帽、神經植入物、導電屏、非可穿戴感測器或其組合。
條款28包括條款21至條款27中任一項之方法,進一步包括:經由一個或多個揚聲器發起該音頻資料之第一回放操作,在該第一回放操作期間,該音頻資料被呈現為包括該聲源在該聲場中的多個位置,其中該電活動資料基於在該音頻資料之該第一回放操作期間來自該一個或多個電源的該電信號;以及基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該位置。
條款29包括條款28之方法,進一步包括:基於決定位置置信度水準是否小於置信度閾值,決定是否呈現該音頻資料以包括該多個位置,其中該位置置信度水準與該用戶相對於參考的估計位置相關聯。
條款30包括條款29之方法,其中該用戶相對於該參考的該估計位置包括該用戶相對於該參考之估計定向的估計定向、該用戶相對於該參考的估計距離、或兩者。
條款31包括條款29或條款30之方法,其中該參考包括該裝置、顯示裝置、實體參考或虛擬參考中的一個或多個。
條款32包括條款29至條款31中任一項之方法,進一步包括初始化該估計位置以對應於定向在該用戶前面的該參考。
條款33包括條款29到條款32中任一項之方法,進一步包括將該位置置信度水準初始化為小於該位置閾值。
條款34包括條款29至條款33中任一項之方法,進一步包括更新該用戶相對於該參考的估計位置,該估計位置基於該用戶之頭戴機之慣性測量單元(IMU)資料、該參考之空間資料、用戶注視估計或其組合來更新。
條款35包括條款21至條款34中任一項之方法,進一步包括:基於該電活動資料來決定用戶注視估計;以及基於該用戶注視估計來更新該用戶相對於參考的估計位置。
條款36包括條款21至條款35中任一項之方法,進一步包括:使用機器學習模型來處理該電活動資料以決定用戶注視估計;以及基於該用戶注視估計來更新該用戶相對於參考的估計位置。
條款37包括條款21至條款36中任一項之方法,進一步包括使用機器學習模型來處理該電活動資料以決定該聲源之用戶優選位置。
條款38包括條款21至條款37中任一項之方法,進一步包括:呈現該音頻資料以包括該聲場中的話音源之第一位置及非話音源之第二位置;經由一個或多個揚聲器發起該音頻資料之第一回放操作,其中該電活動資料基於在該第一回放操作期間來自該一個或多個電源的該電信號;以及基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該聲源之該位置。
條款39包括條款38之方法,進一步包括:響應於決定該電活動資料指示單個聲源被跟蹤,決定該用戶優選位置對應於該話音源之該第一位置。
條款40包括條款38或條款39之方法,進一步包括:響應於決定該電活動資料指示該話音源及該非話音源被跟蹤,決定該用戶優選位置對應於該非話音源之該第二位置。
根據條款41,一種裝置,包括:記憶體,其被組態以儲存指令;以及處理器,其被組態以執行該指令以履行條款21至40中任一項之方法。
根據條款42,一種非暫時性計算機可讀媒體儲存指令,該指令在由處理器執行時使該處理器履行條款21至條款40中任一項之方法。
根據條款43,一種器具包括用於實行條款21至條款40中任一項之方法的構。
根據條款44,一種非暫時性計算機可讀媒體儲存指令,該指令在由一個或多個處理器執行時使該一個或多個處理器:獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料;以及基於該電活動資料來呈現音頻資料,以在該音頻資料之回放期間調整聲源在聲場中的位置。
條款45包括條款44之非暫時性計算機可讀媒體,其中該指令在由該一個或多個處理器執行時使該一個或多個處理器更新該用戶相對於該參考的估計位置,該估計位置基於該用戶之頭戴機之慣性測量單元(IMU)資料、該參考之空間資料、用戶注視估計或其組合來更新。
條款46包括條款44或條款45之非暫時性計算機可讀媒體,其中該指令在由該一個或多個處理器執行時使該一個或多個處理器:基於該電活動資料來決定用戶注視估計;以及基於該用戶注視估計來更新該用戶相對於參考的估計位置。
條款47包括一種器具,該器具包括:用於獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料的構件;以及用於基於該電活動資料來呈現音頻資料以在該音頻資料之回放期間調整聲源在聲場中的位置的構件。
條款48包括條款47之器具,其中該用於獲得的構件或該用於呈現的構件中的至少一個整合在頭戴機、擴增實境頭戴機、混合實境頭戴機、虛擬實境頭戴機、交通工具、通信裝置、顯示裝置、電視、遊戲控制台、音樂播放器、收音機、數位頻播放器、相機、導航裝置、飛行器、家庭自動化系統、語音激活裝置、無線揚聲器及語音激活裝置、可攜式電子裝置、汽車、計算裝置、物聯網(IoT)裝置、行動裝置、或其任何組合中。
本領域技術人員將進一步認識到,結合本文中所公開的實施方式描述的各種說明性邏輯方塊、組態、模組、電路及演算法步驟可實施為電子硬體、由處理器執行的計算機軟體或兩者的組合。各種說明性組件、方塊、組態、模組、電路及步驟已在上文大體上就其功能進行了描述。這樣的功能被實現為硬體還是處理器可執行指令取決於特定應用及施加在整個系統上的設計約束。熟練的技術人員可針對每一特定應用以不同方式實施所描述的功能,此類實施決策不應被解釋為導致脫離本公開內容的範疇。
結合本文中所公開的實施方式描述的方法或演算法的步驟可直接體現於硬體中、由處理器執行的軟體模組中或兩者的組合中。軟體模組可以駐留在隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬盤、卸除式磁盤、緊湊光碟唯讀記憶體(CD-ROM)、或本領域已知的任何其他形式的非暫態儲存媒體中。示例性儲存媒體耦合到處理器,使得處理器可以從儲存媒體讀取資訊及向儲存媒體寫入資訊。在替代方案中,儲存媒體可以整合到處理器。處理器及儲存媒體可以駐留在特定應用積體電路(ASIC)中。ASIC可以駐留在計算裝置或用戶終端中。在替代方案中,處理器及儲存媒體可作為離散組件駐留在計算裝置或用戶終端中。
提供所公開的態樣中的先前描述,以使得本領域技術人員能夠製作或使用所公開的態樣。對於本領域技術人員來說,對這些態樣的各種修改將是顯而易見的,並且在不脫離本公開內容的範疇的情況下,本文定義的原理可以應用於其它態樣。因此,本公開內容並不旨在限於本文中所展示的態樣,而是應符合與如由所附申請專利範圍限定的原理及新穎特徵一致的可能的最廣泛範疇。
100、300:系統 102:裝置 104:感測器 105:電活動資料 106:揚聲器 114:輸入介面 124:輸出介面 140:音頻播放器 141、141A、141B、141C:音頻資料 142:聲場 144A、144B:音頻回放操作 150、150A、150B:位置 160:相對位置估計 161:相對位置 162:比較 163:置信度閾值 164:多位置音頻生成 166:優選位置估計 167:用戶優選位置 168:單個位置音頻生成 170:音頻調整器 174:優選位置模型 176、178:空間感測器 177、179:空間資料 180:用戶 181:位置置信度水準 182:頭部 184:電源 186:聲源 188:參考 190:處理器 200、250:圖解 202A、202B、202C:示例 212、212A、212B:距離 220、220A、220B:用戶位置 222、222A、222B:用戶定向 230、230A、230B、230C、230D:參考位置 232、232A、232C:參考定向 263、263A、263B、263D:相對定向 265、265A、265B、265C、265D:相對方向 270:位置資料 274:注視估計模型 275:用戶注視估計 350、352:位置 364:多源音頻生成 366:優選源估計 367:用戶優選源 374:優選源模型 386:話音源 388:非話音源 400:實施方式 402:積體電路 500、600、700、800、900、1000:實施方式 502:行動裝置 602:頭戴機裝置 702:可穿戴電子裝置 704:顯示屏 802:無線揚聲器及語音激活裝置 902:頭戴機 1002:交通工具 1100:耳塞 1102:第一耳塞 1104:第二耳塞 1200:方法 1202:獲得電活動資料 1204:基於電活動資料呈現音頻資料 1300:裝置 1302:數位類比轉換器(DAC) 1304:類比數位轉換器(ADC) 1306、1310:處理器 1308:話音及音樂編解碼器(CODEC) 1322:系統級封裝或系統單晶片裝置 1326:顯示控制器 1328:顯示器 1330:輸入裝置 1334:編解碼器(CODEC) 1336:聲碼器(vocoder)編碼器 1338:聲碼器(vocoder)解碼器 1344:電源 1348:數據機 1350:收發器 1352:天線 1356:指令 1386:記憶體 1390:麥克風
圖1是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的系統的特定說明性態樣的方塊圖。
圖2A及圖2B是根據本公開內容的一些示例的可以由圖1的系統履行的與相對位置估計相關聯的操作的說明性態樣的圖解。
圖3是根據本公開內容的一些示例的圖1的系統的組件的操作的說明性態樣的圖解。
圖4示出了根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的積體電路的示例。
圖5是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的行動裝置的圖解。
圖6是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的頭戴機的圖解。
圖7是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的可穿戴電子裝置的圖解。
圖8是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的語音控制揚聲器系統的圖解。
圖9是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的頭戴機(諸如虛擬實境、混合實境或擴增實境頭戴機)的圖解。
圖10是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的交通工具的圖解。
圖11是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的耳塞的圖解。
圖12是根據本公開內容的一些示例的可以由圖1的裝置履行的基於用戶電信號來調整音頻的方法的特定實施方式的圖解。
圖13是根據本公開內容的一些示例的可操作以基於用戶電信號來調整音頻的裝置的特定說明性示例的方塊圖。
102:裝置
104:感測器
105:電活動資料
106:揚聲器
114:輸入介面
124:輸出介面
140:音頻播放器
141、141A、141B、141C:音頻資料
142:聲場
144A、144B:音頻回放操作
150A、150B:位置
160:相對位置估計
161:相對位置
162:比較
163:置信度閾值
164:多位置音頻生成
166:優選位置估計
167:用戶優選位置
168:單個位置音頻生成
170:音頻調整器
174:優選位置模型
176、178:空間感測器
177、179:空間資料
180:用戶
181:位置置信度水準
182:頭部
184:電源
186:聲源
188:參考
190:處理器

Claims (30)

  1. 一種裝置,包含: 記憶體,其被組態以儲存指令;以及 一個或多個處理器,其被組態以執行該指令以: 獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料;以及 基於該電活動資料來呈現音頻資料,以在該音頻資料之回放期間調整聲源在聲場中的位置。
  2. 如請求項1之裝置,其中該一個或多個處理器進一步被組態以執行該指令以經由一個或多個揚聲器輸出該音頻資料。
  3. 如請求項1之裝置,其中該電活動資料包括眼電圖(EOG)資料、腦電圖(EEG)資料或兩者。
  4. 如請求項1之裝置,進一步包含介面,該介面被組態以從一個或多個感測器接收該電活動資料。
  5. 如請求項4之裝置,其中該介面包括乙太網路介面、通用序列匯流排(USB)介面、Wi-Fi介面、藍牙介面、序列埠介面或平行埠介面中的至少一個。
  6. 如請求項4之裝置,其中該一個或多個感測器包括入耳式感測器。
  7. 如請求項4之裝置,其中該一個或多個感測器包括電極帽、神經植入物、導電屏、非可穿戴感測器或其組合。
  8. 如請求項1之裝置,其中該一個或多個處理器進一步被組態以執行該指令以: 經由一個或多個揚聲器發起該音頻資料之第一回放操作,在該第一回放操作期間,該音頻資料被呈現為包括該聲源在該聲場中的多個位置,其中該電活動資料基於在該音頻資料之該第一回放操作期間來自該一個或多個電源的該電信號;以及 基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該位置。
  9. 如請求項8之裝置,其中該一個或多個處理器被組態以執行該指令以基於決定位置置信度水準是否小於置信度閾值來決定是否呈現該音頻資料以包括該多個位置,其中該位置置信度水準與該用戶相對於參考的估計位置相關聯。
  10. 如請求項9之裝置,其中該用戶相對於該參考的該估計位置包括該用戶相對於該參考之估計定向的估計定向、該用戶相對於該參考的估計距離、或兩者。
  11. 如請求項9之裝置,其中該參考包括該裝置、顯示裝置、實體參考或虛擬參考中的一個或多個。
  12. 如請求項9之裝置,其中該一個或多個處理器被組態以執行該指令以初始化該估計位置以對應於定向在該用戶前面的該參考。
  13. 如請求項9之裝置,其中該一個或多個處理器被組態以將該位置置信度水準初始化為小於該位置閾值。
  14. 如請求項9之裝置,其中該一個或多個處理器被組態以執行該指令以更新該用戶相對於該參考的估計位置,該估計位置基於該用戶之頭戴機之慣性測量單元(IMU)資料、該參考之空間資料、用戶注視估計或其組合來更新。
  15. 如請求項1之裝置,其中該一個或多個處理器被組態以執行該指令以: 基於該電活動資料來決定用戶注視估計;以及 至少部分地基於該用戶注視估計來更新該用戶相對於參考的估計位置。
  16. 如請求項1之裝置,其中該一個或多個處理器被組態以執行該指令以: 使用機器學習模型來處理該電活動資料以決定用戶注視估計;以及 基於該用戶注視估計來更新該用戶相對於參考的估計位置。
  17. 如請求項1之裝置,其中該一個或多個處理器進一步被組態以執行該指令以使用機器學習模型來處理該電活動資料以決定該聲源之用戶優選位置。
  18. 如請求項1之裝置,其中該一個或多個處理器進一步被組態以執行該指令以: 呈現該音頻資料以包括該聲場中的話音源之第一位置及非話音源之第二位置; 經由一個或多個揚聲器發起該音頻資料之第一回放操作,其中該電活動資料基於在該第一回放操作期間來自該一個或多個電源的該電信號;以及 基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該聲源之該位置。
  19. 如請求項18之裝置,其中該一個或多個處理器進一步被組態以執行該指令以:響應於決定該電活動資料指示單個聲源被跟蹤,決定該用戶優選位置對應於該話音源之該第一位置。
  20. 如請求項18之裝置,其中該一個或多個處理器進一步被組態以執行該指令以:響應於決定該電活動資料指示該話音源及該非話音源被跟蹤,決定該用戶優選位置對應於該非話音源之該第二位置。
  21. 一種方法,包含: 在裝置處獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料;以及 基於該電活動資料來呈現音頻資料,以在該音頻資料之回放期間調整聲源在聲場中的位置。
  22. 如請求項21之方法,進一步包含: 經由一個或多個揚聲器發起該音頻資料之第一回放操作,在該第一回放操作期間,該音頻資料被呈現為包括該聲源在該聲場中的多個位置,其中該電活動資料基於在該音頻資料之該第一回放操作期間來自該一個或多個電源的該電信號;以及 基於該電活動資料來決定該聲源之用戶優選位置,其中基於該用戶優選位置來呈現該音頻資料,以在該音頻資料之第二回放操作期間調整該位置。
  23. 如請求項22之方法,進一步包含:基於決定位置置信度水準是否小於置信度閾值,決定是否呈現該音頻資料以包括該多個位置,其中該位置置信度水準與該用戶相對於參考的估計位置相關聯。
  24. 如請求項23之方法,其中該用戶相對於該參考的該估計位置包括該用戶相對於該參考之估計定向的估計定向、該用戶相對於該參考的估計距離、或兩者。
  25. 如請求項23之方法,其中該參考包括該裝置、顯示裝置、實體參考或虛擬參考中的一個或多個。
  26. 一種儲存指令的非暫時性計算機可讀媒體,該指令在由一個或多個處理器執行時使該一個或多個處理器: 獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料;以及 基於該電活動資料來呈現音頻資料,以在該音頻資料之回放期間調整聲源在聲場中的位置。
  27. 如請求項26之非暫時性計算機可讀媒體,其中該指令在由該一個或多個處理器執行時使該一個或多個處理器更新該用戶相對於參考的估計位置,該估計位置基於該用戶之頭戴機之慣性測量單元(IMU)資料、該參考之空間資料、用戶注視估計或其組合來更新。
  28. 如請求項26之非暫時性計算機可讀媒體,其中該指令在由該一個或多個處理器執行時使該一個或多個處理器: 基於該電活動資料來決定用戶注視估計;以及 基於該用戶注視估計來更新該用戶相對於參考的估計位置。
  29. 一種器具,包含: 用於獲得與來自用戶頭部內的一個或多個電源的電信號相對應的電活動資料的構件;以及 用於基於該電活動資料來呈現音頻資料以在該音頻資料之回放期間調整聲源在聲場中的位置的構件。
  30. 如請求項29之器具,其中該用於獲得的構件或該用於呈現的構件中的至少一個整合在頭戴機、擴增實境頭戴機、混合實境頭戴機、虛擬實境頭戴機、交通工具、通信裝置、顯示裝置、電視、遊戲控制台、音樂播放器、收音機、數位視頻播放器、相機、導航裝置、飛行器、家庭自動化系統、語音激活裝置、無線揚聲器及語音激活裝置、可攜式電子裝置、汽車、計算裝置、物聯網(IoT)裝置、行動裝置、或其任何組合中。
TW111124599A 2021-09-07 2022-06-30 基於用戶電信號的音頻調整 TW202320556A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/467,883 US11689878B2 (en) 2021-09-07 2021-09-07 Audio adjustment based on user electrical signals
US17/467,883 2021-09-07

Publications (1)

Publication Number Publication Date
TW202320556A true TW202320556A (zh) 2023-05-16

Family

ID=82850370

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111124599A TW202320556A (zh) 2021-09-07 2022-06-30 基於用戶電信號的音頻調整

Country Status (4)

Country Link
US (1) US11689878B2 (zh)
CN (1) CN117897687A (zh)
TW (1) TW202320556A (zh)
WO (1) WO2023039308A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037468B2 (en) 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US9326086B2 (en) 2014-02-21 2016-04-26 City University Of Hong Kong Neural induced enhancement of audio signals
US10536786B1 (en) * 2018-06-27 2020-01-14 Google Llc Augmented environmental awareness system
CN109656365B (zh) * 2018-12-19 2021-03-30 东南大学 一种基于实时闭环振动刺激增强的脑机接口方法及系统
US11184723B2 (en) 2019-04-14 2021-11-23 Massachusetts Institute Of Technology Methods and apparatus for auditory attention tracking through source modification
US11839491B2 (en) * 2019-10-07 2023-12-12 The Regents Of The University Of Colorado, A Body Corporate Shape-memory in-ear biosensor for monitoring physiological signals
US11806166B2 (en) * 2020-02-21 2023-11-07 Bittium Biosignals Oy Electrode apparatus and measurement method thereof

Also Published As

Publication number Publication date
WO2023039308A1 (en) 2023-03-16
US20230075488A1 (en) 2023-03-09
US11689878B2 (en) 2023-06-27
CN117897687A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
JP6747538B2 (ja) 情報処理装置
EP3424229B1 (en) Systems and methods for spatial audio adjustment
US10585486B2 (en) Gesture interactive wearable spatial audio system
JP7165215B2 (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
US10257637B2 (en) Shoulder-mounted robotic speakers
TW201804315A (zh) 虛擬、擴充及混合實境
US11711665B2 (en) Switching binaural sound from head movements
US11721355B2 (en) Audio bandwidth reduction
JP2022141942A (ja) 情報処理装置、情報処理方法、並びにプログラム
CN106302974B (zh) 一种信息处理的方法及电子设备
US11902754B2 (en) Audio processing method, apparatus, electronic device and storage medium
TW202320556A (zh) 基於用戶電信號的音頻調整
KR20240049565A (ko) 사용자 전기 신호에 기초한 오디오 조정
US20230027060A1 (en) Display system and method
TWI813068B (zh) 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體
JP7397883B2 (ja) 環境に基づく通信データの提示
WO2023226161A1 (zh) 音源位置确定方法、设备及存储介质
TW202314684A (zh) 對來自多個麥克風的音訊信號的處理
TW202314478A (zh) 音訊事件資料處理
CN114710726A (zh) 智能穿戴设备的中心定位方法、设备及存储介质
JP2024504379A (ja) マイクロホンビームステアリングを用いる頭部装着型コンピューティングデバイス