TW202414191A - 使用單個音訊設備的空間音訊 - Google Patents

使用單個音訊設備的空間音訊 Download PDF

Info

Publication number
TW202414191A
TW202414191A TW112128611A TW112128611A TW202414191A TW 202414191 A TW202414191 A TW 202414191A TW 112128611 A TW112128611 A TW 112128611A TW 112128611 A TW112128611 A TW 112128611A TW 202414191 A TW202414191 A TW 202414191A
Authority
TW
Taiwan
Prior art keywords
audio
output device
audio output
spatial
channel
Prior art date
Application number
TW112128611A
Other languages
English (en)
Inventor
張南
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202414191A publication Critical patent/TW202414191A/zh

Links

Images

Abstract

揭示系統、裝置、程序和電腦可讀取媒體。根據一些態樣,一種處理音訊資料的方法可以包括:在計算設備處從輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;基於感測資訊決定第二音訊輸出設備未在使用中;基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流;及將經修改的空間音訊串流提供給第一音訊輸出設備。

Description

使用單個音訊設備的空間音訊
在一些實例中,描述了用於使用單個音訊設備的空間音訊的系統和技術。
多媒體系統被廣泛部署以提供各種類型的多媒體通訊內容,諸如語音、視訊、封包資料、訊息傳遞、廣播等。這些多媒體系統能夠處理、儲存、產生、操縱和再現多媒體資訊。多媒體系統的實例包括行動設備、遊戲裝置、娛樂系統、資訊系統、虛擬實境系統、模型和類比系統等。這些系統可以採用硬體和軟體技術的組合來支援多媒體資訊的處理、儲存、產生、操縱和再現,例如,客戶端設備、擷取裝置、存放裝置、通訊網路、電腦系統和顯示裝置。
在一些情況下,諸如耳機的可攜式設備可以與各種各樣的多媒體系統一起使用。真無線收聽設備不包括電纜,而是從無線音訊源無線地接收音訊資料串流,其已經變得流行並且可以在多媒體系統中使用,並且可以輸出空間音訊以提供沉浸式體驗。
在一些實例中,描述了用於使用單個音訊設備的空間音訊的系統和技術。該系統和技術可以經由將空間音訊擴展為與單聲道一起使用來改善空間音訊,並且經由省略各種濾波操作來降低功耗。
根據至少一個實例,提供了一種用於為單個音訊設備產生空間音訊串流的方法。該方法包括:在計算設備處從輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;基於感測資訊決定第二音訊輸出設備未在使用中;基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流;及將經修改的空間音訊串流提供給第一音訊輸出設備。
在另一實例中,提供了一種用於設備功能的裝置,其包括至少一個記憶體和耦接到至少一個記憶體的至少一個處理器。至少一個處理器被配置為:從正在輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;基於感測資訊決定第二音訊輸出設備未在使用中;基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流;及將經修改的空間音訊串流提供給第一音訊輸出設備。
在另一實例中,提供了一種其上儲存有指令的非暫時性電腦可讀取媒體,該指令在由一或多個處理器執行時使得該一或多個處理器:從正在輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;基於感測資訊決定第二音訊輸出設備未在使用中;基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流;及將經修改的空間音訊串流提供給第一音訊輸出設備。
在另一實例中,提供了一種用於設備功能的裝置。該裝置包括:用於從輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊的部件,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;用於基於感測資訊決定第二音訊輸出設備未在使用中的部件;用於基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流的部件;及用於將經修改的空間音訊串流提供給第一音訊輸出設備的部件。
在一些態樣,裝置是以下各項、以下各項的一部分、及/或包括以下各項:可穿戴設備、擴展現實(XR)設備(例如,虛擬實境(VR)設備、增強現實(AR)設備或混合現實(MR)設備)、頭戴式設備(HMD)設備、無線通訊設備、行動設備(例如,行動電話及/或行動手機及/或所謂的「智慧型電話」或另一行動設備)、相機、個人電腦、膝上型電腦、伺服器電腦、車輛或車輛的計算設備或部件、另一設備或其組合。在一些態樣中,裝置包括用於擷取一或多個圖像的相機或多個相機。在一些態樣,裝置亦包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣,上述裝置可以包括一或多個感測器(例如,一或多個慣性量測單元(IMU),諸如一或多個陀螺儀、一或多個陀螺測試儀、一或多個加速度計、其任何組合及/或其他感測器)。
本發明內容不意欲標識所要求保護的主題的關鍵或必要特徵,亦不意欲單獨用於決定所要求保護的主題的範疇。應當經由參考本專利的整個說明書的適當部分、任何或所有附圖以及每個請求項來理解主題。
經由參考以下說明書、請求項和附圖,前述內容以及其他特徵和態樣將變得更加明顯。
下文提供了本案的某些態樣。這些態樣中的一些態樣可以獨立地應用,並且它們中的一些態樣可以組合應用,這對於本發明所屬領域中具有通常知識者來說是顯而易見的。在以下描述中,出於解釋的目的,闡述了具體細節以便提供對本案的各態樣的透徹理解。然而,顯而易見的是,可以在沒有這些具體細節的情況下實踐各個態樣。附圖和描述不意欲是限制性的。
隨後的描述僅提供實例態樣,並且不意欲限制本案內容的範疇、適用性或配置。相反,實例態樣的隨後描述將為本發明所屬領域中具有通常知識者提供用於實現實例態樣的使能描述。應當理解,在不脫離所附請求項中闡述的本案的精神和範疇的情況下,可以對元素的功能和佈置進行各種改變。
隨後的描述僅提供實例態樣,並且不意欲限制本案內容的範疇、適用性或配置。相反,實例態樣的隨後描述將為本發明所屬領域中具有通常知識者提供用於實現實例態樣的使能描述。應當理解,在不脫離所附請求項中闡述的本案的精神和範疇的情況下,可以對元素的功能和佈置進行各種改變。
術語「示例性」及/或「實例」在本文中用於表示「用作實例、例子或示例性說明」。本文中描述為「示例性」及/或「實例」的任何態樣不一定被解釋為比其他態樣優選或有利。同樣地,術語「本案內容的態樣」並不要求本案內容的所有態樣皆包括所論述的特徵、優點或操作模式。
空間音訊建立三維(3D)虛擬聽覺空間,其允許佩戴具有慣性感測器的輔助設備的使用者在觀看電影、玩視訊遊戲或與源設備(例如,平板電腦)上的增強現實(AR)或虛擬實境(VR)內容互動時精決定位聲源在3D虛擬聽覺空間中的位置。空間音訊允許收聽音訊的人(本文中稱為收聽者)精決定位3D環境內的音訊源。空間音訊包括基於通道、雙耳或基於物件的音訊技術、協定、標準、格式或提供3D虛擬聽覺空間的任何其他音訊渲染概念或技術。
實現空間音訊的音訊設備必須包括各種感測器,諸如慣性量測單元(IMU),以偵測可以修改音訊串流的收聽者的運動,並決定收聽者的頭部姿勢,隨後修改音訊串流內的音訊源。真無線(TWS)耳塞和耳機最近已經實現了空間音訊特徵,以在耳塞或耳機皆附接到收聽者時允許收聽者的沉浸式體驗。
空間音訊自然地要求左音訊設備和右音訊設備提供身歷聲音訊串流(例如,左音訊串流和右音訊串流),並且當左音訊設備和右音訊設備中的一個與收聽者分離時,可以中斷空間音訊。然而,存在收聽者可能想要在使用單個音訊設備時聽到空間音訊的情況。例如,許多人在單個耳朵中聽到的能力有限,或者單個音訊設備可能正在充電。在另一實例中,人可能想要經由僅使單個音訊設備提供音訊以監視外部音訊線索(諸如門鈴、開門等)來監視外部音訊。在一些情況下,不同的人可以連接到單個音訊設備,諸如收聽左音訊通道的第一人和收聽右音訊通道的第二人。
在一些態樣中,針對使用單個音訊設備的空間音訊描述了系統、裝置、程序(亦稱為方法)和電腦可讀取媒體(在本文中統稱為「系統和技術」)。例如,電子設備可以從包括第一音訊輸出設備和第二音訊輸出設備的音訊設備獲得感測資訊。音訊設備可以輸出用於使用者的空間音訊串流。在一些態樣,音訊設備可以是能夠向收聽者提供身歷聲的一對無線耳塞,其中第一音訊輸出設備包括一個耳塞,並且第二音訊輸出設備包括第二耳塞。在其他實例中,音訊設備可以是耳機或包括耳塞或耳機的XR設備(例如,虛擬實境(VR)設備、增強現實(AR)設備等)。電子設備可以基於感測資訊決定第二音訊輸出設備未在使用中。例如,感測資訊可以向電子設備辨識或指示從無線耳塞(例如,左耳塞或右耳塞)到人的距離大於閾值距離(例如,5釐米),並且基於感測資訊,電子設備可以決定無線耳塞未在使用中。電子設備可以基於決定第二音訊輸出設備未在使用中來修改空間音訊串流。電子設備將經修改的空間音訊串流提供給第一音訊輸出設備。
在一個說明性態樣中,電子設備可基於在使用中的單個音訊輸出設備(例如,來自以上實例的第一音訊輸出設備)而修改空間音訊濾波。在一些情況下,當修改空間音訊串流時,可以省略(或不執行)與時間差和通道差相關的濾波。電子設備可以提供空間音訊串流,該空間音訊串流是單聲道的並且可以由單個音訊輸出設備使用。在另一說明性態樣中,所揭示的方法、系統和技術可用以使得多個收聽者能夠各自使用具有單聲道空間音訊串流的單個音訊輸出設備。
下文參考附圖更詳細地描述本案的額外細節和態樣。
圖1圖示根據本案的一些態樣的實例無線音訊輸出設備100。無線音訊輸出設備100提供單個音訊通道,左通道或右通道,並且可以與另一無線音訊輸出設備(未圖示)一起操作以提供兩個音訊通道(例如,左通道和右通道)。每個
根據一些實施例,每個無線音訊輸出設備100可以包括由主體110和從主體110延伸的桿部115形成的殼體105。在一些態樣,殼體105可以由諸如模製塑膠的整體式外部結構形成。主體110可以包括面向內部的麥克風120和面向外部的麥克風125。面向外部的麥克風125可以定位在由主體110和桿部115的部分限定的開口內。經由延伸到主體110和桿部115兩者中,麥克風125可以足夠大以從靠近收聽者的更寬區域接收聲音。在一些實施例中,殼體105可以限定聲學埠,該聲學埠可以將來自內部音訊驅動器的聲音引導出殼體105並引導到收聽者的耳道中。在其他實施例中,無線音訊輸出設備100可以包括可變形耳塞,該可變形耳塞可以插入收聽者的耳道中,使得無線收聽設備能夠被配置為入耳式聽力設備。
在一個實例中,桿部115具有基本上圓柱形的構造以及不遵循圓柱形構造的曲率的平面區域130。平面區域130可以指示無線收聽設備能夠接收收聽者輸入的區域。例如,在一些實施例中,可以經由在平面區域130處擠壓桿部115來輸入收聽者輸入。在一些實施例中,除了壓力感測能力之外或代替壓力感測能力,平面區域130可包括觸敏表面,其允許收聽者輸入觸摸命令,諸如接觸手勢。桿部115亦可以包括用於與充電盒(例如,圖2中的充電盒250)中的對應電觸點接觸的電觸點135和電觸點140。
無線音訊輸出設備100可以包括若干特徵,該等特徵可以使得收聽者能夠在延長的時間段甚至全天舒適地佩戴設備。殼體105的形狀和尺寸可以設計成牢固地配合在收聽者耳朵的耳屏和對耳屏之間,使得可攜式收聽設備即使在收聽者正在鍛煉或以其他方式主動移動時亦不易於從耳朵掉出。其功能亦可以使無線音訊輸出設備100能夠向主機設備(例如,主機設備210)提供音訊介面,使得收聽者可以不需要利用主機設備的圖形介面。音訊輸出設備100可以足夠複雜以使得收聽者能夠僅經由與無線音訊輸出設備100的互動來從主機設備執行日常操作。這可以經由不要求收聽者與主機設備進行實體互動及/或觀看主機設備的顯示螢幕幕來建立與主機設備的進一步獨立性,特別是當無線音訊輸出設備100的功能與主機設備的語音控制能力相結合時。因此,無線音訊輸出設備100可以為收聽者實現真正的無線和真正的免提體驗。
無線音訊輸出設備100亦可以包括無法在視覺上感知的各種部件。例如,無線音訊輸出設備100可以包括用於偵測設備的各個態樣的至少一個感測器。設備的示例性說明態樣包括設備的狀態(例如,無線音訊輸出設備100是否附接到人)、與收聽者相關的姿勢資訊、生物統計資訊(例如,收聽者的溫度)等。無線音訊輸出設備100的至少一個感測器能夠被配置為輸出標識收聽者的頭部相對於中性位置(例如,中性頭部位置)的方向的姿勢資訊。姿勢資訊可以由主機設備使用,並且主機設備可以被配置為改變呈現給無線音訊輸出設備100的音訊串流以提供空間音訊串流,該空間音訊串流提供3D虛擬聽覺空間
圖2示例性說明根據本案的各個態樣的可被配置為使用單個音訊輸出設備的TWS音訊輸出系統200的概念圖。TWS音訊輸出系統200包括主機設備210、一對音訊輸出設備230(例如,左音訊輸出設備230和右音訊輸出設備230)和充電盒250。
主機設備210在圖2中被圖示為行動通訊設備(例如,智慧型電話),但是可以是可以將音訊資料傳輸到無線音訊輸出設備(例如,無線音訊輸出設備100)的任何電子設備。合適的主機設備210的其他非限制性實例包括膝上型電腦、桌上型電腦、平板電腦、智慧手錶、音訊系統、視訊播放機等。
在一些態樣,每個音訊輸出設備230可以接收並產生聲音以為主機設備210提供增強的使用者介面。音訊輸出設備230可以包括處理器231,其執行儲存在記憶體(未圖示)中的電腦可讀取指令,用於執行音訊輸出設備230的多個功能。在一些實例中,處理器231可以是一或多個合適的計算設備,諸如微處理器、電腦處理單元(CPU)、數位訊號處理單元(DSP)、現場可程式設計閘陣列(FPGA)、特殊應用積體電路(ASIC)等。
處理器231可以可操作地耦接到介面232、通訊系統233和感測器系統234,以使音訊輸出設備230執行一或多個功能。例如,介面232可以包括用於向使用者輸出聲音的驅動器(例如,揚聲器)、用於輸入來自環境或使用者的聲音的一或多個麥克風、用於向使用者提供視覺通知的一或多個發光二極體(LED)、用於接收使用者輸入的壓力感測器或觸摸感測器(例如,電阻或電容觸摸感測器)及/或任何其他合適的輸入或輸出設備。通訊系統233可以包括用於使音訊輸出設備230能夠向來自主機設備210發送和從主機設備210接收資料/命令的無線和有線通訊部件。例如,通訊系統233可以包括音訊輸出設備230經由無線鏈路260與主機設備210通訊的電路,無線鏈路260由標準(例如,藍芽、WiFi直連、Zigbee等)或專有通訊鏈路實現。通訊系統233亦可以使音訊輸出設備230能夠經由無線鏈路與充電盒250無線通訊。
在一些態樣,感測器系統234可以包括接近感測器(例如,光學感測器、電容感測器、雷達等)、加速度計、麥克風和可以量測外部實體及/或環境的參數的任何其他類型的感測器。
音訊輸出設備230亦可以包括電池235(例如,合適的能量存放裝置,諸如鋰離子電池等),其能夠儲存能量並釋放儲存的能量以操作音訊輸出設備230。釋放的能量可以用於為音訊輸出設備230的電氣部件供電。電池235可以是可再充電電池,並且允許根據需要充電以補充儲存的能量。例如,電池238可以耦接到電池充電電路(未圖示),該電池充電電路可操作地耦接以從充電盒介面(未圖示)接收電力。殼體介面可以包括電觸點,以將音訊輸出設備230電耦接到充電盒250。在一些態樣,音訊輸出設備230可以經由充電盒內的電觸點從充電盒250接收電力。在一些態樣,音訊輸出設備230可以經由感應通訊介面經由充電盒250內的無線功率接收線圈來改變。
充電盒250可以包括電池(未圖示),其可以儲存能量並將能量釋放到電源電路以對音訊輸出設備230的電池235進行充電。如前述,音訊輸出設備230可以包括電觸點(例如,電觸點135和電觸點140),其可以經由充電盒中的觸點之間的有線電連接向音訊輸出設備230傳輸電力。在一些情況下,充電盒250可以被配置為促進主機設備210和音訊輸出設備230之間的無線連接的建立。
充電盒250亦可以包括處理器(未圖示)和通訊系統(未圖示)。處理器可以是用於操作充電盒250的一或多個處理器、ASIC、FPGA、微處理器等。處理器可以耦接到耳塞介面並且可以控制充電盒250的充電功能以對音訊輸出設備230的電池235進行充電,並且處理器亦可以耦接到通訊系統,用於操作充電盒與其他設備(包括音訊輸出設備230)的互動功能。在一個實例中,充電盒250的通訊系統包括藍芽部件或任何其他合適的無線通訊部件,其與音訊輸出設備230的通訊系統233無線地發送和接收資料。為此,充電盒250和每個音訊輸出設備230可以包括由導電體形成的天線,以發送和接收電磁訊號。
充電盒250亦可以包括使用者介面(例如,按鈕、揚聲器、諸如LED的光發射器等),其可以可操作地耦接到處理器以警告使用者各種通知。例如,使用者介面可以包括可以發出能夠被使用者聽到的可聽雜訊的揚聲器及/或可以發出能夠被使用者看到的光的一或多個LED或類似的燈。例如,充電盒250可以輸出音訊或光以指示至少一個音訊輸出設備230是否正在由充電盒250充電,或者指示充電盒電池電量低或正在充電。
主機設備210被配置為連接到音訊輸出設備230並提供音訊資訊。音訊輸出設備230亦可以在一些上下文中提供資訊,諸如音訊輸出設備230是否附接到收聽者。在一些情況下,主機設備210可以包括耦接到電池(未圖示)的處理器(未圖示)和包含可由主機計算系統(未圖示)執行以用於操作主機設備210的代碼行的主機儲存體(未圖示)。主機設備210亦可以包括用於允許主機設備210感測環境的主機感測器系統(例如加速度計、陀螺儀、光感測器等),以及用於向使用者輸出資訊和從使用者接收輸入的主機使用者介面系統(例如顯示器、揚聲器、按鈕、觸控式螢幕等)。另外,主機設備210亦可以包括用於允許主機設備210發送及/或接收資料的通訊系統,例如,無線保真(WiFi)、長期進化(LTE)、分碼多工存取(CDMA)、全球行動系統(GSM)、藍芽等。主機設備210的通訊系統亦可以經由無線通訊鏈路與通訊系統233通訊,使得主機設備210可以向音訊輸出設備230發送音訊資料以輸出聲音,並且從音訊輸出設備230接收資料以接收使用者輸入。通訊鏈路可以是任何合適的無線通訊線路,諸如藍芽連接。經由實現主機設備210和音訊輸出設備230之間的通訊,音訊輸出設備230可以增強主機設備210的使用者介面。
圖3是圖示根據本發明的一些態樣的消耗空間音訊的收聽者300的概念圖。在一些態樣,圖3圖示用於空間音訊的實例重播系統是身歷聲揚聲器設置,其包括音訊輸出設備310和音訊輸出設備320,音訊輸出設備310和音訊輸出設備320放置在收聽者300的左側和右側的前方。儘管圖3圖示揚聲器,但是音訊輸出設備亦可以是耳機或耳塞(例如,無線音訊輸出設備100)。通常,揚聲器302以-30°和30°的角度放置在圓上,並且當收聽這種身歷聲重播系統時感知到的聽覺空間圖像的寬度大致限於兩個揚聲器之間和後面的區域。
在一些態樣中,身歷聲擴音器重播取決於求和定位的感知現象,可經由控制通道間時間差(ICTD)及/或通道間位準差(ICLD)使聽覺事件出現在收聽者前方的擴音器對之間的任何地方。例如,當僅在揚聲器對之間引入振幅差(例如,ICLD)時,可以在耳朵之間產生相位差,或者產生類似於自然收聽中發生的耳間時間差(ITD)。
在一些態樣中,ICTD是相位差,其是音訊源相對於左通道與右通道之間的時間差,且ICLD是音訊源相對於左通道與右通道之間的強度差。例如,與右通道(例如,提供給右音訊輸出設備230)相比,收聽者300左側的物件將在由位於收聽者左側的音訊輸出設備310輸出的左通道(例如,提供給左音訊輸出設備230)上具有更高的強度(例如,功率譜密度(PSD))。在一些態樣中,左通道由位於收聽者的中性位置左側的音訊輸出設備310輸出,並且右通道由位於收聽者的中性位置右側的音訊輸出設備320輸出。例如,音訊輸出設備310和
在一些態樣中,ICTD引入相位延遲且ICLD引入強度差。例如,與右側相比,位於左側的源導致收聽者左側的訊號更強。換言之,兩個音訊輸出設備的ICLD基於源角度Φ。當經由音訊輸出系統(例如,揚聲器、圖2中的音訊輸出設備230等)重播這些音訊訊號時,聽覺事件將以與原始源角度Φ相關的角度Φ'出現。
在一些態樣,可以經由混合多個單獨可用的源訊號(例如,多軌記錄)來產生用於身歷聲音訊輸出系統的空間音訊。傳統上,在音訊串流中實現ICLD,其亦可以被稱為振幅平移。振幅平移的概念在圖3中視覺化。使用具有訊號縮放因數a 1和a 2的音訊輸出設備310和音訊輸出設備320來再現聲源s(n)。當應用振幅平移時,聽覺事件的感知方向大致遵循身歷聲正弦定律,如下文的等式1所示。 (等式1) 其中0°<Φ 0<90°是前向軸與兩個揚聲器之間的角度,Φ是聽覺事件的對應角度,並且a 1和a 2是決定ICLD的縮放因數。
在一些態樣,與不同收聽條件下的身歷聲正弦定律相比,身歷聲正切定律改善了頭部模型。在一些態樣,平移定律僅是近似,因為感知到的聽覺事件方向Φ亦取決於訊號特性,例如頻率和訊號頻寬。為此,空間音訊串流通常實現各種濾波器,諸如ICLD濾波器和ICTD濾波器,以建立空間音訊串流。
空間音訊亦可以經由被稱為延遲平移的不同技術來再現,該延遲平移使用ICTD來建立空間音訊。延遲平移,其通常難以在類比系統中再現,並且是通常不使用ICTD平移的主要原因。在一些情況下,ICLD可能優於ICTD,因為ICLD對於非理想條件更穩健。在一些態樣,當存在理想條件時,諸如當使用者佩戴耳機時,可以使用ICTD。
空間音訊的現代方法可以使用頭部相關傳遞函數(HTRF)、ICLD、ICTD和通道間相干性(ICC)來實現空間音訊以產生優越的效果。在一些態樣,HTRF基於人耳如何感知音訊來變換音訊,並且ICC是左通道相對於右通道的關係。當收聽者佩戴音訊輸出設備(諸如耳機或耳塞)時,音訊輸出設備可以被配置為辨識收聽者的頭部姿勢以辨識他們的方向。HTRF、ICLD、ICC和ICTD濾波器可以應用於音訊串流以建立改變收聽者在聽覺上如何感知聲音的空間音訊串流。在一些情況下,可以將頭部姿勢提供給主機設備(例如,主機設備210),並且基於在主機設備中執行的應用或功能產生的音訊串流可以被修改以建立空間音訊串流。在一些情況下,音訊串流可以包括與應用或功能內的物件(例如,玩3D遊戲的收聽者)相關聯的位置資訊,並且主機設備可以基於收聽者300相對於這些物件的位置的頭部姿勢來修改由物件產生的音訊。
圖4圖示根據本案的一些態樣的由主機設備執行的應用的概念性實例。在一些態樣,圖示3D應用以圖示可以由主機設備(例如,主機設備210)呈現的空間音訊。
在圖4的說明性實例中,應用可以是用於模擬比賽的3D遊戲(例如,在由頭戴式設備呈現的VR中)。由3D遊戲內的多個物件產生的音訊可以包括位置資訊。例如,來自第一汽車402的音訊將包括將第一汽車402的位置辨識為在主機設備的使用者的前方和左側的資訊,並且來自第二汽車404的音訊將包括將第二汽車404的位置辨識為在主機設備的使用者的前方和右側的資訊。在該實例中,飛機406可以飛過場景,並且由飛機406產生的音訊可以包括其相對於主機設備的使用者(例如,收聽者)的位置的資訊。
在一些態樣,主機設備的使用者(例如,收聽者)可能正在利用能夠決定使用者的頭部姿勢的音訊輸出設備來消耗音訊。在那種情況下,可以基於使用者的頭部姿勢將由第一汽車402、第二汽車404和飛機406產生的音訊渲染(例如,混合)到身歷聲音軌中,以提供空間音訊體驗。如前述,可以基於物件在應用內的位置將HTRF、ICLD、ICTD、ICC和其他效果應用於音訊源。
例如,當使用者改變他們的頭部位置時,由第一汽車402、第二汽車404和飛機406中的每一個產生的音訊將相對於使用者的頭部姿勢而改變。主機設備可以基於使用者的頭部姿勢將由第一汽車402、第二汽車404和飛機406中的每一個產生的音訊混合成身歷聲音訊串流,該身歷聲音訊串流提供空間效果並且向將左通道音訊串流提供給左音訊輸出設備並且將右通道音訊串流提供給右音訊輸出設備。
圖5A、5B、5C和5D圖示根據本案的一些態樣的決定音訊輸出設備何時未在使用中的空間音訊系統和方法的實例。圖5A圖示用於經由無線通訊鏈路向收聽者508提供前往左音訊輸出設備504和右音訊輸出設備506的空間音訊的主機設備502。
圖5B圖示收聽者508從他們的耳朵移除左音訊輸出設備504。左音訊輸出設備504包括至少一個感測器,其被配置為偵測收聽者508何時將左音訊輸出設備504插入其耳朵或從其耳朵移除左音訊輸出設備504。例如,左音訊輸出設備504能夠包括接近感測器,其偵測到從左音訊輸出設備504到收聽者頭部的距離510大於閾值(例如,10釐米)。
回應於偵測到左音訊輸出設備504已被插入或移除,左音訊輸出設備504可決定左音訊輸出設備504在使用中(例如,若距離小於閾值)或不再在使用中(例如,若距離大於閾值)。左音訊輸出設備504可以向主機設備502發送指示左音訊輸出設備504是否在使用中的訊息。在一個實例中,該訊息可以指示左音訊輸出設備504離線或將轉換到離線狀態。在一些商業上可獲得的產品中,主機設備502可基於偵測到音訊輸出設備之一未在使用中而中斷空間串流。
在一些態樣中,主機設備502可以被配置為偵測到收聽者508正在使用單個音訊輸出設備,並且可以提供為提供單個音訊通道(例如,單聲道音訊通道)的該單個音訊輸出設備所配置的空間音訊串流。
在一個示例性說明態樣,主機設備502被配置為決定源(例如,在主機設備上執行的應用)是否包括位置資訊。例如,提供身歷聲音軌的音樂重播應用可以不包括位置資訊。在另一實例中,VR遊戲可以提供來自VR遊戲內的物件的音訊串流,該音訊串流標識VR遊戲內的那些物件的位置。主機設備502可以被配置為基於音訊是包括位置資訊亦是傳統的身歷聲音訊來不同地處理音訊。
在一些態樣,若音訊不包括位置資訊(例如,身歷聲音訊),則主機設備可以將來自源的左通道和右通道混合成單聲道音訊串流,並在3D空間內向單聲道音訊串流分配預設位置。隨後,主機設備可以基於使用者的頭部姿勢和預設位置(例如,距中性頭部位置0°)將ICLD濾波器應用於單聲道音訊串流,以產生空間音訊串流。在此說明性態樣中,在空間音訊串流的建立中不使用任何ICTD資訊和ICC資訊。例如,省略了用於建立空間串流的ICTD濾波和ICC濾波。此外,亦從空間音訊串流的建立中省略了雙耳線索濾波。
在一些其他態樣,若音訊包括位置資訊(例如,來自3D遊戲或其他應用的音訊),則主機設備可以獲得與產生音訊的物件相關聯的位置資訊,並將ICLD濾波器應用於產生音訊的每個物件。主機設備可以省略用於建立空間串流的任何ICTD濾波器和ICC濾波器。此外,亦可以從空間音訊串流的建立中省略雙耳線索濾波。雙耳線索濾波的實例可以是遊戲執行時聲音,諸如在遊戲中鳴槍,並且雙耳線索濾波從音訊設備的佩戴者可以決定的位置輸出槍聲。另一實例是遊戲執行時語音,諸如敵人說話,並且雙耳線索濾波輸出語音,使得佩戴者可以決定說話者的位置。在另一實例中,應用可以是XR音樂視訊,並且音樂視訊中的歌手正在移動位置,並且雙耳線索濾波可以基於歌手的位置和使用者的頭部位置來改變歌手的語音。在ICLD濾波之後,主機被配置為基於收聽者的頭部姿勢來決定要應用於每個物件的聲音縮放因數,並將音訊串流混合到空間音訊串流中。
在該說明性實例中,空間音訊串流可以是單個通道的音訊,其將被提供給活動的音訊輸出設備並向收聽者提供音訊。例如,若收聽者從其左耳移除音訊輸出設備,則空間音訊串流可以包括右通道並且可以省略左通道。
圖5C圖示基於主機設備502的空間音訊系統的另一實例,該空間音訊系統向被配置為輸出身歷聲音訊的音訊輸出設備512(諸如耳機)提供空間音訊。如圖5C所示,音訊輸出設備512覆蓋收聽者508的兩隻耳朵。然而,音訊輸出設備512可以在聲學上隔離收聽者508,使得收聽者508不能感知到其他聲音,諸如門鈴。如圖5D所示,收聽者508可以將音訊輸出設備512配置為覆蓋單個耳朵以允許收聽者508感知其他聽覺提示。在這種情況下,音訊輸出設備512可以包括可以辨識左音訊輸出通道未在使用中的感測器。
在一些態樣中,主機設備502可以被配置為從音訊輸出設備512接收指示空間音訊串流的僅單個通道正被收聽者508收聽(例如,被收聽者508消耗)的資訊,並且主機設備可以提供被配置用於該單個通道的空間音訊串流。如前述,單個通道的空間音訊串流可以繼續提供收聽者508期望的沉浸式體驗。
圖6是示出根據本發明的某些態樣的用於處理音訊的方法600的實例的流程圖。方法600可以由被配置為提供音訊串流的計算設備執行,諸如行動無線通訊設備、擴展現實(XR)設備(例如,VR設備、AR設備、MR設備等)、網路連接的可穿戴設備(例如,網路連接的手錶)、車輛或車輛的部件或系統、膝上型電腦、平板電腦或另一計算設備。在一個說明性實例中,下文關於圖8所描述的計算系統800可經配置以執行方法600的全部或部分。
在方塊605處,計算系統可以從正在為使用者輸出空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備。在一個說明性態樣,音訊設備可以是一對耳機,或者可以是TWS耳機。感測資訊可以指示第二音訊輸出設備與使用者、第一音訊輸出設備或計算設備解耦。例如,第二音訊輸出設備可以是與一對無線耳機相關聯的單個無線耳機。在另一實例中,單個音訊輸出設備可被配置為以多種方式連接到計算系統,諸如與該對無線耳機相關聯的父子關係,或者每個無線耳機可連接到計算系統。
第二音訊輸出設備可以包括各種感測器,諸如接近感測器和壓力感測器,並且向計算系統提供感測資訊。例如,計算系統可以經由從第二音訊輸出設備的接近感測器接收感測資訊來獲得感測資訊。在另一態樣,計算系統可以經由從第一音訊輸出設備或第二音訊輸出設備的壓力感測器接收感測資訊來獲得感測資訊。在另一個實例中,音訊設備可以是耳機,其可以偵測耳機的旋轉並決定該旋轉指示一個耳機未定位在使用者的耳朵上。
在方塊610處,計算系統可基於感測資訊決定第二音訊輸出設備未在使用中。在一些態樣,計算系統可以基於感測資訊來偵測第二音訊輸出設備從使用者、第一音訊輸出設備或計算設備的解耦。例如,第二音訊輸出設備可以設置在使用者的耳道中,感測資訊可以指示佩戴者已經從耳道移除耳機。在另一說明性態樣,第一音訊輸出設備和第二音訊輸出設備可以具有父子關係,並且第一音訊輸出設備可以向計算系統提供第二音訊輸出設備斷開連接或處於待機狀態的資訊。在另一說明性態樣,計算系統可以決定第二音訊輸出設備與使用者的頭部之間的距離大於閾值距離。
在一些其他態樣,計算系統可以決定來自音訊設備的訊號的訊號強度,並且基於訊號強度決定第二音訊輸出設備與使用者的頭部分離。例如,音訊設備可以輸出用於量測距離的訊號,並且訊號的量測值可以指示音訊設備與使用者的頭部分離。在一些其他態樣,計算系統可以使用ML模型來辨識多個參數以指示應當禁用第二音訊輸出設備。在另一說明性態樣中,決定第一音訊輸出設備未在使用中包括從第一音訊輸出設備或第二音訊輸出設備接收指示第一音訊輸出設備或第二音訊輸出設備未在使用中的訊息。例如,可以從使用者的耳道移除TWS耳塞,並且TWS耳塞可以偵測到移除並向計算設備報告移除。
在方塊615處,計算系統可以基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流。在方塊615的一個說明性態樣中,計算系統可從至少第一音訊輸出設備獲得與使用者的運動相關的運動資訊。例如,第一音訊設備可以包括追蹤佩戴者頭部的位置的運動感測器。
計算系統可以在方塊615處基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流。在一個態樣,與空間音訊串流相關聯的音訊源提供與被配置為產生音訊的一或多個物件(諸如遊戲或VR模擬器)相關聯的位置資訊。例如,計算系統可以獲得與一或多個物件之每一者物件相關聯的位置資訊。例如,位置資訊可以與遊戲中發出聲音的物件相關聯,諸如賽車遊戲中汽車的位置,或者來自飛行模擬器中的感測器的警報。
在方塊615處,計算系統亦可以將至少一個空間濾波器應用於一或多個物件之每一者物件,並且將與一或多個物件之每一者物件相關聯的音訊混合到空間音訊串流中。為了應用空間濾波器,計算系統可以決定第二音訊輸出設備對應於左通道或右通道,基於決定第二音訊輸出設備對應於左通道或右通道來決定與物件相關聯的角度,並且基於與物件相關聯的角度、物件相對於左通道和右通道的通道間位準差以及使用者的頭部姿勢來決定聲音縮放因數。在該態樣中,從空間音訊串流的修改中省略了通道間時間差資訊和通道間相干性資訊。
在方塊615的另一說明性態樣中,與空間音訊串流相關聯的音訊源不提供與被配置為產生音訊的一或多個物件相關聯的位置資訊。例如,音訊源可以是不包括位置資訊的音訊串流或視訊檔。在該態樣中,為了修改空間音訊串流,計算系統可以將來自音訊源的左通道和右通道混合成單聲道音訊串流,將預設位置分配給單聲道音訊串流,並且基於使用者的頭部姿勢和預設位置將通道間位準差濾波器應用於單聲道音訊串流以產生空間音訊串流。可以從空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
在方塊615的另一說明性態樣中,當源提供位置資訊時,為了修改空間音訊串流,計算系統可以獲得與來自一或多個物件的產生音訊的每個物件相關聯的位置資訊,排除至少一個雙耳線索濾波器,排除與通道間時間差或通道間相干性相關聯的至少一個濾波器,將通道間位準差濾波器應用於來自一或多個物件的產生音訊的每個物件,以及將與來自一或多個物件的產生音訊的每個物件相關聯的音訊混合到空間音訊串流中。在此態樣中,計算系統可將通道間位準差濾波器應用於產生音訊的物件,辨識第二音訊輸出設備對應於左通道還是右通道,基於第二音訊輸出設備對應於左通道或右通道決定與物件相關聯的角度,並且基於與物件相關聯的角度、物件相對於左通道和右通道的通道間位準差以及使用者的頭部姿勢來決定聲音縮放因數。
在方塊615的另一說明性態樣中,當源不提供位置資訊時,為了修改空間音訊串流,計算系統可將來自源的左通道和右通道混合到空間音訊串流中,將預設位置分配給空間音訊串流,排除至少一個雙耳線索濾波器,排除與通道間時間差或通道間相干性相關聯的至少一個濾波器
在方塊620處,計算系統可以將經修改的空間音訊串流提供給第一音訊輸出設備。
圖7圖示根據一些態樣的被配置為產生用於單個音訊設備的空間音訊串流的實例主機設備700的方塊圖。在一些態樣,主機設備700被配置為執行上述方法中的一或多個。
主機設備700可以包括頭部姿勢模組702、音訊控制模組704、空間音訊混合模組706和輔助通訊模組708。模組702、704、706和708中的一或多個的部分可以至少部分地在硬體或韌體中實現。例如,輔助通訊模組708可以至少部分地由一或多個數據機(例如,藍芽數據機)實現。在一些態樣中,模組702、704、706和708中的至少一些至少部分地實現為儲存在記憶體中的軟體。例如,模組702、704、706和708中的一或多個的部分可以被實現為可由至少一個處理器執行以執行相應模組的功能或操作的非暫時性指令(或「代碼」)。
頭部姿勢模組702可以被配置為接收與使用者的頭部姿勢有關的資訊。例如,無線音訊輸出設備可以用IMU偵測使用者的頭部姿勢資訊,並將頭部姿勢資訊發送到主機設備700。
音訊控制模組704被配置為控制由一或多個音訊源(諸如應用)輸出的音訊。音訊控制模組704可以被配置為決定音訊輸出是否包括與音訊源相關聯的位置資訊。音訊控制模組704亦可以接收從無線音訊輸出設備提供的資訊,該資訊指示該無線音訊輸出設備的狀態,諸如無線音訊輸出設備是在使用中還是將要離線。
空間音訊混合模組706被配置為接收音訊串流和任何位置資訊,並且基於音訊輸出設備的狀態來混合音訊串流。舉例而言,當單個音訊輸出設備再現音訊的單個通道時,例如當左音訊輸出設備未附接到使用者時,空間音訊混合模組706可經配置以控制如上文所描述的空間音訊產生。舉例而言,空間音訊混合模組706可經配置以省略ICC濾波、ICTD濾波及雙耳線索濾波。
輔助通訊模組708被配置為從音訊輸出設備發送和接收訊息,並且可以被配置為將空間音訊串流提供給正在提供音訊的至少一個音訊輸出設備。在一些情況下,輔助通訊模組708可以被配置為與無線通訊相關,但是輔助通訊模組708亦可以與電連接到主機設備700的音訊輸出設備通訊。
在一些實例中,本文描述的程序(例如,方法600及/或本文描述的其他程序)可以由計算設備或裝置執行。在一個實例中,方法600可以由具有圖8所示的計算系統800的計算架構的計算設備執行。
計算設備可以包括任何合適的設備,諸如行動設備(例如,行動電話)、臺式計算設備、平板計算設備、可穿戴設備(例如,VR頭戴式耳機、AR頭戴式耳機、AR眼鏡、網路連接的手錶或智慧手錶或其他可穿戴設備)、伺服器電腦、自主車輛或自主車輛的計算設備、機器人設備、電視及/或具有執行本文描述的方法(包括方法600)的資源能力的任何其他計算設備。在一些情況下,計算設備或裝置可以包括各種部件,諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微電腦、一或多個相機、一或多個感測器及/或被配置為執行本文描述的方法的步驟的其他部件。在一些實例中,計算設備可以包括顯示器、被配置為傳送及/或接收資料的網路介面、其任何組合、及/或其他組件。網路介面可以被配置為傳送及/或接收基於IP的資料或其他類型的資料。
計算設備的部件可以在電路中實現。例如,部件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實現,該電子電路或其他電子硬體可以包括一或多個可程式設計電子電路(例如,微處理器、GPU、DSP、CPU及/或其他合適的電子電路),及/或可以包括電腦軟體、韌體或其任何組合及/或可以使用電腦軟體、韌體或其任何組合來實現,以執行本文描述的各種操作。
方法600被示出為邏輯流程圖,其動作表示可以在硬體、電腦指令或其組合中實現的一系列操作。在電腦指令的上下文中,動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令,當由一或多個處理器執行時,執行該操作。通常,電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序不意欲被解釋為限制,並且任何數量的所描述的操作可以以任何順序及/或並行地組合以實現方法。
本文描述的方法600及/或其他方法或程序可以在配置有可執行指令的一或多個電腦系統的控制下執行,並且可以實現為在一或多個處理器上、經由硬體或其組合共同執行的代碼(例如,可執行指令、一或多個電腦程式或一或多個應用)。如前述,代碼可以例如以包括可由一或多個處理器執行的多個指令的電腦程式的形式儲存在電腦可讀或機器可讀儲存媒體上。電腦可讀或機器可讀儲存媒體可以是非暫時性的。
圖8是示出用於實現本技術的某些態樣的系統的實例的圖。特別地,圖8圖示計算系統800的實例,其可以是例如構成內部計算系統、遠端計算系統、相機或其任何部件的任何計算設備,其中系統的部件使用連接805彼此通訊。連接805可以是使用匯流排的實體連接,或者是到處理器810中的直接連接,諸如在晶片組架構中。連接805亦可以是虛擬連接、聯網連接或邏輯連接。
在一些態樣,計算系統800是分散式系統,其中本案中描述的功能可以分佈在資料中心、多個資料中心、對等網路等內。在一些態樣,所描述的系統部件中的一或多個表示許多此類部件,每個部件執行針對其描述部件的功能中的一些或全部。在一些態樣,部件可以是實體或虛擬裝置。
實例計算系統800包括至少一個處理單元(CPU或處理器)810和連接805,連接805將包括系統記憶體815(諸如ROM 820和RAM 825)的各種系統部件耦接到處理器810。計算系統800可以包括與處理器810直接連接、緊鄰處理器810或整合為處理器810的一部分的高速記憶體的快取記憶體812。
處理器810可以包括任何通用處理器和硬體服務或軟體服務,諸如儲存在存放裝置830中的服務832、834和836,其被配置為控制處理器810以及專用處理器,其中軟體指令被併入到實際處理器設計中。處理器810可以基本上是完全獨立的計算系統,其包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或不對稱的。
為了實現使用者互動,計算系統800包括輸入設備845,其可以表示任何數量的輸入機構,諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統800亦可以包括輸出設備835,其可以是多個輸出機構中的一或多個。在一些實例中,多模態系統可以使使用者能夠提供多種類型的輸入/輸出以與計算系統800通訊。計算系統800可以包括通訊介面840,其通常可以支配和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發器來執行或促進接收及/或傳輸有線或無線通訊,包括利用音訊插孔/插頭、麥克風插孔/插頭、通用序列匯流排(USB)埠/插頭、an Apple® Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、Bluetooth®無線訊號傳輸、BLE無線訊號傳輸、IBEACON®無線訊號傳輸、RFID無線訊號傳輸、近場通訊(NFC)無線訊號傳輸、專用短程通訊(DSRC)無線訊號傳輸、802.11WiFi無線訊號傳輸、WLAN訊號傳輸、可見光通訊(VLC)、全球互通微波存取性(WiMAX)、IR通訊無線訊號傳輸、公用交換電話網(PSTN)訊號傳輸、整合式服務數位網路(ISDN)訊號傳輸、3G/4G/5G/LTE蜂巢資料網路無線訊號傳輸、自組織網路訊號傳輸、無線電波訊號傳輸、微波訊號傳輸、紅外訊號傳輸、可見光訊號傳輸、紫外光訊號傳輸、沿電磁頻譜的無線訊號傳輸或其某種組合。通訊介面840亦可以包括一或多個全球導航衛星系統(GNSS)接收器或收發器,其用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收到一或多個訊號來決定計算系統800的位置。GNSS系統包括但不限於基於美國的GPS、基於俄羅斯的全球導航衛星系統(GLONASS)、基於中國的北斗導航衛星系統(BDS)和基於歐洲的伽利略GNSS。對在任何特定硬體佈置上操作沒有限制,並且因此這裡的基本特徵可以容易地在改進的硬體或韌體佈置被開發時替換為改進的硬體或韌體佈置。
存放裝置830可以是設備的非揮發性及/或非暫時性及/或電腦可讀記憶體,並且可以是硬碟或可以儲存可由電腦存取的資料的其他類型的電腦可讀取媒體,諸如磁帶盒、快閃記憶卡、固態記憶體設備、數位多功能光碟、盒式磁帶、軟碟、柔性盤、硬碟、磁帶、磁條/磁帶條、任何其他磁儲存媒體、快閃記憶體、憶阻器記憶體、任何其他固態記憶體、光碟唯讀記憶體(CD-ROM)光碟、可重寫光碟(CD)光碟、可重寫光碟(CD)光碟、數位視訊盤(DVD)光碟、藍光光碟(BDD)光碟、全息光碟、另一種光學媒體、安全數位(SD)卡、微安全數位(microSD)卡、Memory Stick®卡、智慧卡晶片、EMV晶片、用戶身份模組(SIM)卡、迷你/微/納/微微SIM卡、另一種積體電路(IC)晶片/卡、RAM、靜態RAM(SRAM)、動態RAM(DRAM)、ROM、可程式設計唯讀記憶體(PROM)、可抹除可程式設計唯讀記憶體(EPROM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、快閃記憶體EPROM(FLASHEPROM)、快取緩衝記憶體(L1/L2/L3/L4/L5/L#)、電阻隨機存取記憶體(RRAM/ReRAM)、相變記憶體(PCM)、自旋轉移矩RAM(STT-RAM)、另一記憶體晶片或磁帶盒、及/或其組合。
存放裝置830可以包括軟體服務、伺服器、服務等,當定義這種軟體的代碼由處理器810執行時,其使系統執行功能。在一些態樣,執行特定功能的硬體服務可以包括儲存在電腦可讀取媒體中的軟體部件,其與必要的硬體部件(例如,處理器810、連接805、輸出設備835等)相結合以執行該功能。術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光學存放裝置和能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀取媒體可包含其中可儲存資料且不包含無線地或經由有線連接傳播的載波及/或暫時性電子訊號的非暫時性媒體。非暫時性媒體的實例可包含(但不限於)磁碟或磁帶、光學儲存媒體(例如CD或DVD)、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可具有儲存於其上的代碼及/或機器可執行指令,該等代碼及/或機器可執行指令可表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類別,或指令、資料結構或程式語句的任何組合。程式碼片段可經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容而耦接到另一程式碼片段或硬體電路。資訊、引數、參數、資料等可以經由包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等的任何合適的手段來傳遞、轉發或傳輸。
在一些情況下,計算設備或裝置可以包括各種部件,諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微電腦、一或多個相機、一或多個感測器及/或被配置為執行本文描述的程序的步驟的其他部件。在一些實例中,計算設備可以包括顯示器、被配置為傳送及/或接收資料的一或多個網路介面、其任何組合及/或其他部件。一或多個網路介面可以被配置為傳送及/或接收有線及/或無線資料,包括根據3G、4G、5G及/或其他蜂巢標準的資料、根據Wi-Fi(802.11x)標準的資料、根據Bluetooth TM標準的資料、根據IP標準的資料及/或其他類型的資料。
計算設備的部件可以在電路中實現。例如,部件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實現,該電子電路或其他電子硬體可以包括一或多個可程式設計電子電路(例如,微處理器、GPU、DSP、CPU及/或其他合適的電子電路),及/或可以包括電腦軟體、韌體或其任何組合及/或可以使用電腦軟體、韌體或其任何組合來實現,以執行本文描述的各種操作。
在一些態樣,電腦可讀存放裝置、媒體和記憶體可以包括包含位元串流等的電纜或無線訊號。然而,當提到時,非暫時性電腦可讀取儲存媒體明確地排除諸如能量、載波訊號、電磁波和訊號本身之類的媒體。
在以上描述中提供了具體細節以提供對本文提供的態樣和實例的透徹理解。然而,本發明所屬領域中具有通常知識者將理解,可以在沒有這些具體細節的情況下實踐這些態樣。為了清楚說明,在一些情況下,本技術可以被呈現為包括單獨的功能方塊,其包括包含設備、設備部件、以軟體現的方法中的步驟或常式、或硬體和軟體的組合的功能方塊。除了在附圖中示出及/或在本文中描述的那些部件之外,可以使用額外部件。例如,電路、系統、網路、程序和其他部件可以以方塊圖形式示出為部件,以免以不必要的細節模糊這些態樣。在其他實例中,可以在沒有不必要的細節的情況下示出公知的電路、程序、演算法、結構和技術,以便避免模糊這些態樣。
各個態樣可以在上面被描述為處理程序或方法,其被圖示為流程圖、流程圖、資料串流程圖、結構圖或方塊圖。儘管流程圖可以將操作描述為順序程序,但是許多操作可以並行或同時執行。另外,可以重新排列操作的順序。處理程序在其操作完成時終止,但是可以具有未包括在圖中的額外步驟。處理程序可以對應於方法、函數、程序、子常式、副程式等。當處理程序對應於函數時,其終止可以對應於函數的返回以調用函數或主函數。
根據上述實例的處理程序和方法可以使用儲存在電腦可讀取媒體中或以其他方式可從電腦可讀取媒體獲得的電腦可執行指令來實現。此類指令可以包括例如使得或以其他方式配置通用電腦、專用電腦或處理設備以執行特定功能或功能組的指令和資料。所使用的電腦資源的部分可以經由網路存取。電腦可執行指令可以是例如二進位檔案、諸如組合語言的中間格式指令、韌體、原始程式碼等。可以用於儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、設置有非揮發性記憶體的USB設備、聯網存放裝置等。
實現根據這些揭示的處理程序和方法的設備可以包括硬體、軟體、韌體、仲介軟體、微代碼、硬體描述語言或其任何組合,並且可以採用各種外形因素中的任何一種。當在軟體、韌體、仲介軟體或微代碼中實現時,用於執行必要任務的程式碼或程式碼片段(例如,電腦程式產品)可以儲存在電腦可讀或機器可讀取媒體中。處理器可以執行必要的任務。外形因素的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小外形因素個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可以體現在周邊設備或額外卡中。作為另一實例,此類功能亦可以在電路板上在單個設備中執行的不同晶片或不同程序中實現。
指令、用於傳遞此類指令的媒體、用於執行它們的計算資源以及用於支援此類計算資源的其他結構是用於提供本案中描述的功能的實例手段。
在前面的描述中,參考其具體態樣描述了本案的各態樣,但是本發明所屬領域中具有通常知識者將認識到,本案不限於此。因此,儘管本文已經詳細描述了本案的說明性態樣,但是應當理解,本發明構思可以以其他方式不同地實施和採用,並且所附請求項意欲被解釋為包括此類變型,除了受現有技術的限制之外。上述申請的各種特徵和態樣可以單獨地或聯合地使用。此外,在不脫離本說明書的更廣泛的精神和範疇的情況下,可以在本文描述的環境和應用之外的任何數量的環境和應用中利用各態樣。因此,說明書和附圖被認為是說明性的而不是限制性的。出於說明的目的,以特定順序描述了方法。應當理解,在替代態樣,可以以與所描述的順序不同的順序來執行方法。
具有通常知識者將理解,在不脫離本說明書的範疇的情況下,本文使用的小於(「<」)和大於(「>」)符號或術語可以分別用小於或等於(「 」)和大於或等於(「 」)符號代替。
在將部件描述為「被配置為」執行某些操作的情況下,可以例如經由設計電子電路或其他硬體以執行這些操作、經由對可程式設計電子電路(例如,微處理器或其他合適的電子電路)進行程式設計以執行這些操作或其任何組合來實現此類配置。
短語「耦接到」是指任何部件直接或間接地實體連接到另一部件,及/或任何部件與另一部件直接或間接地通訊(例如,經由有線或無線連接、及/或其他合適的通訊介面連接到另一部件)。
敘述集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示集合中的一個成員或集合中的多個成員(以任何組合)滿足請求項。例如,敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言意指A、B或A和B。在另一實例中,敘述「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」不將集合限制為集合中列出的專案。例如,敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以表示A、B或A和B,並且可以另外包括未在A和B的集合中列出的專案。
結合本文揭示的態樣描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以實現為電子硬體、電腦軟體、韌體或其組合。為清楚地說明硬體與軟體的此可互換性,上文已大體上就其功能性描述了各種示例性部件、方塊、模組、電路和步驟。這種功能是實現為硬體還是軟體取決於特定應用和施加在整個系統上的設計約束。具有通常知識者可以針對每個特定應用以不同的方式實現所描述的功能,但是這種實現決策不應被解釋為導致脫離本案的範疇。
本文中所描述的技術亦可以在電子硬體、電腦軟體、韌體或其任何組合中實施。此類技術可實施於多種裝置中的任一者中,例如通用電腦、無線通訊設備手持機或具有多種用途(包括無線通訊設備手持機及其他設備中的應用)的積體電路裝置。被描述為模組或部件的任何特徵可以在整合邏輯裝置中一起實現,或者單獨實現為個別但可交互動操作的邏輯裝置。若以軟體實施,則技術可至少部分地由包括程式碼的電腦可讀取資料儲存媒體實現,該程式碼包含在被執行時執行上文所描述的方法中的一或多個的指令。電腦可讀取資料儲存媒體可形成電腦程式產品的部分,該電腦程式產品可包含封裝材料。電腦可讀取媒體可包括記憶體或資料儲存媒體,例如RAM,例如同步動態隨機存取記憶體(SDRAM)、ROM、非揮發性隨機存取記憶體(NVRAM)、EEPROM、快閃記憶體、磁性或光學資料儲存媒體等等。補充或替代地,該技術可至少部分地由電腦可讀通訊媒體實現,該電腦可讀通訊媒體攜載或傳達呈指令或資料結構的形式的程式碼且可由電腦存取、讀取及/或執行,例如傳播訊號或波。
程式碼可由處理器執行,該處理器可包含一或多個處理器,例如一或多個DSP、通用微處理器、特殊應用積體電路(ASIC)、現場可程式設計邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。此處理器可經配置以執行本發明中所描述的技術中的任一者。通用處理器可以是微處理器;但在替代方案中,處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可以實現為計算設備的組合,例如,DSP和微處理器的組合、多個微處理器、一或多個微處理器與DSP核心的結合,或者任何其他此類配置。因此,如本文中所使用的術語「處理器」可指前述結構中的任一者、前述結構的任何組合或適合於實施本文中所描述的技術的任何其他結構或裝置。
本案的說明性態樣包括:
態樣1:一種處理音訊資料的方法,包括:在計算設備處,從輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;基於感測資訊決定第二音訊輸出設備未在使用中;基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流;及將經修改的空間音訊串流提供給第一音訊輸出設備。
態樣2:根據態樣1之方法,亦包括:從至少第一音訊輸出設備獲得與使用者的運動相關的運動資訊;及基於運動資訊決定使用者的頭部姿勢。
態樣3:根據態樣1至2中任一項所述的方法,其中感測資訊指示第二音訊輸出設備與使用者、第一音訊輸出設備或計算設備解耦,並且亦包括:基於感測資訊偵測第二音訊輸出設備與使用者、第一音訊輸出設備或計算設備的解耦。
態樣4:根據態樣1至3中任一項所述的方法,其中獲得感測資訊包括從第二音訊輸出設備的接近感測器接收感測資訊。
態樣5:根據態樣1至4中任一項所述的方法,其中獲得感測資訊包括從第一音訊輸出設備或第二音訊輸出設備的壓力感測器接收感測資訊。
態樣6:根據態樣1至5中任一項所述的方法,其中獲得感測資訊包括從第一音訊輸出設備或第二音訊輸出設備接收感測資訊。
態樣7:根據態樣1至6中任一項所述的方法,其中決定第二音訊輸出設備未在使用中包括:決定第二音訊輸出設備與使用者的頭部之間的距離大於閾值距離。
態樣8:根據態樣1至7中任一項所述的方法,其中決定第二音訊輸出設備未在使用中包括:決定來自音訊設備的訊號的訊號強度;及基於訊號強度決定第二音訊輸出設備與使用者的頭部分離。
態樣9:根據態樣1至8中任一項所述的方法,其中決定第一音訊輸出設備或第二音訊輸出設備未在使用中包括:在計算設備處從第一音訊輸出設備或第二音訊輸出設備接收指示第一音訊輸出設備或第二音訊輸出設備未在使用中的訊息。
態樣10:根據態樣1至9中任一項所述的方法,其中與空間音訊串流相關聯的音訊源提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中修改空間音訊串流包括:獲得與一或多個物件之每一者物件相關聯的位置資訊;將至少一個空間濾波器應用於該一或多個物件之每一者物件;及將與一或多個物件之每一者物件相關聯的音訊混合到空間音訊串流中。
態樣11:根據態樣1至10中任一項所述的方法,其中將至少一個空間濾波器應用於一或多個物件中的物件包括:決定第二音訊輸出設備對應於左通道或右通道;基於決定第二音訊輸出設備對應於左通道或右通道而決定與物件相關聯的角度;及基於與物件相關聯的角度、物件相對於左通道和右通道的通道間位準差以及使用者的頭部姿勢來決定聲音縮放因數。
態樣12:根據態樣1至11中任一項所述的方法,其中從空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
態樣13:根據態樣1至12中任一項所述的方法,其中與空間音訊串流相關聯的音訊源不提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中修改空間音訊串流包括:將來自音訊源的左通道和右通道混合成單聲道音訊串流;將預設位置分配給單聲道音訊串流;及基於使用者的頭部姿勢和預設位置將通道間位準差濾波器應用於單聲道音訊串流以產生空間音訊串流。
態樣14:根據態樣1至13中任一項所述的方法,其中從空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
態樣15:根據態樣1至14中任一項所述的方法,其中當源提供位置資訊時,空間音訊串流的修改包括:獲得與來自一或多個物件的產生音訊的每個物件相關聯的位置資訊;排除至少一個雙耳線索濾波器;排除與通道間時間差或通道間相干性相關聯的至少一個濾波器;將通道間位準差濾波器應用於來自一或多個物件的產生音訊的每個物件;及將與來自一或多個物件的產生音訊的每個物件相關聯的音訊混合到空間音訊串流中。
態樣16:根據態樣1至15中任一項所述的方法,其中將通道間位準差濾波器應用於產生音訊的物件包括:辨識第二音訊輸出設備對應於左通道或右通道;基於第二音訊輸出設備對應於左通道或右通道,決定與物件相關聯的角度;及基於與物件相關聯的角度、物件相對於左通道和右通道的通道間位準差以及使用者的頭部姿勢來決定聲音縮放因數。
態樣17:根據態樣1至16中任一項所述的方法,其中當源不提供位置資訊時,空間音訊串流的修改包括:將來自源的左通道和右通道混合到空間音訊串流中;將預設位置分配給空間音訊串流;排除至少一個雙耳線索濾波器;排除與通道間時間差或通道間相干性相關聯的至少一個濾波器;及基於使用者的頭部姿勢和預設位置對空間音訊串流應用通道間位準差濾波。
態樣18:一種裝置,包括至少一個記憶體(例如,在電路中實現)和耦接到記憶體的至少一個處理器(或多個處理器)。至少一個處理器(或多個處理器)被配置為:從輸出用於使用者的空間音訊串流的音訊設備獲得感測資訊,其中音訊設備包括第一音訊輸出設備和第二音訊輸出設備;基於感測資訊決定第二音訊輸出設備未在使用中;基於決定第二音訊輸出設備未在使用中和使用者的頭部姿勢來修改空間音訊串流以建立經修改的空間音訊串流;及將經修改的空間音訊串流提供給第一音訊輸出設備。
態樣19:根據態樣18之裝置,其中至少一個處理器被配置為:從至少第一音訊輸出設備獲得與使用者的運動相關的運動資訊;及基於運動資訊決定使用者的頭部姿勢。
態樣20:根據態樣18至19中任一項所述的裝置,其中至少一個處理器被配置為:基於感測資訊來偵測第二音訊輸出設備與使用者、第一音訊輸出設備或裝置的解耦。
態樣21:根據態樣18至20中任一項所述的裝置,其中為了獲得感測資訊,至少一個處理器被配置為從第二音訊輸出設備的接近感測器接收感測資訊。
態樣22:根據態樣18至21中任一項所述的裝置,其中為了獲得感測資訊,至少一個處理器被配置為從第一音訊輸出設備或第二音訊輸出設備的壓力感測器接收感測資訊。
態樣23:根據態樣18至22中任一項所述的裝置,其中為了獲得感測資訊,至少一個處理器被配置為從第一音訊輸出設備或第二音訊輸出設備接收感測資訊。
態樣24:根據態樣18至23中任一項所述的裝置,其中至少一個處理器被配置為:決定第二音訊輸出設備與使用者的頭部之間的距離大於閾值距離。
態樣25:根據態樣18至24中任一項的裝置,其中至少一個處理器被配置為:決定來自音訊設備的訊號的訊號強度;及基於訊號強度決定第二音訊輸出設備與使用者的頭部分離。
態樣26:根據態樣18至25中任一項所述的裝置,其中一個處理器被配置為:從第一音訊輸出設備或第二音訊輸出設備接收指示第一音訊輸出設備或第二音訊輸出設備未在使用中的訊息。
態樣27:根據態樣18至26中任一項所述的裝置,其中與空間音訊串流相關聯的音訊源提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中為了修改空間音訊串流,至少一個處理器被配置為:獲得與一或多個物件之每一者物件相關聯的位置資訊;將至少一個空間濾波器應用於一或多個物件之每一者物件;及將與一或多個物件之每一者物件相關聯的音訊混合到空間音訊串流中。
態樣28:根據態樣18至27中任一項所述的裝置,其中至少一個處理器被配置為:決定第二音訊輸出設備對應於左通道或右通道;基於決定第二音訊輸出設備對應於左通道或右通道而決定與物件相關聯的角度;及基於與物件相關聯的角度、物件相對於左通道和右通道的通道間位準差以及使用者的頭部姿勢來決定聲音縮放因數。
態樣29:根據態樣18至28中任一項所述的裝置,其中從空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
態樣30:根據態樣18至29中任一項所述的裝置,其中與空間音訊串流相關聯的音訊源不提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中為了修改空間音訊串流,至少一個處理器被配置為:將來自音訊源的左通道和右通道混合成單聲道音訊串流;將預設位置分配給單聲道音訊串流;及基於使用者的頭部姿勢和預設位置將通道間位準差濾波器應用於單聲道音訊串流以產生空間音訊串流。
態樣31:根據態樣18至30中任一項所述的裝置,其中從空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
態樣32:根據態樣18至31中任一項所述的裝置,其中為了修改空間音訊串流,至少一個處理器被配置為:獲得與來自一或多個物件的產生音訊的每個物件相關聯的位置資訊;排除至少一個雙耳線索濾波器;排除與通道間時間差或通道間相干性相關聯的至少一個濾波器;將通道間位準差濾波器應用於來自一或多個物件的產生音訊的每個物件;及將與來自一或多個物件的產生音訊的每個物件相關聯的音訊混合到空間音訊串流中。
態樣33:根據態樣18至32中任一項所述的裝置,其中至少一個處理器被配置為:辨識第二音訊輸出設備對應於左通道或右通道;基於第二音訊輸出設備對應於左通道或右通道,決定與物件相關聯的角度;及基於與物件相關聯的角度、物件相對於左通道和右通道的通道間位準差以及使用者的頭部姿勢來決定聲音縮放因數。
態樣34:根據態樣18至33中任一項所述的裝置,其中為了修改空間音訊串流,至少一個處理器被配置為:將來自源的左通道和右通道混合到空間音訊串流中;將預設位置分配給空間音訊串流;排除至少一個雙耳線索濾波器;排除與通道間時間差或通道間相干性相關聯的至少一個濾波器;及基於使用者的頭部姿勢和預設位置將通道間位準差濾波應用到空間音訊串流。
態樣35:一種包括指令的非暫時性電腦可讀取媒體,該等指令在由一或多個處理器執行時使該一或多個處理器執行根據態樣1至34中任一項所述的操作。
態樣36:一種裝置,包括用於執行根據態樣1至34中任一項的操作的部件。
100:無線音訊輸出設備 105:殼體 110:主體 115:桿部 120:麥克風 125:麥克風 130:平面區域 135:電觸點 140:電觸點 200:TWS音訊輸出系統 210:主機設備 230:音訊輸出設備 231:音訊輸出設備 232:介面 233:通訊系統 234:感測器系統 235:電池 250:充電盒 300:收聽者 310:音訊輸出設備 320:音訊輸出設備 402:第一汽車 404:第二汽車 406:飛機 502:主機設備 504:左音訊輸出設備 506:右音訊輸出設備 508:收聽者 510:距離 512:音訊輸出設備 600:方法 602:方塊 604:方塊 606:方塊 608:方塊 700:主機設備 702:頭部姿勢模組 704:音訊控制模組 706:空間音訊混合模組 708:輔助通訊模組 800:計算系統 805:連接 810:處理器 812:快取記憶體 815:系統記憶體 820:ROM 825:RAM 830:存放裝置 835:輸出設備 840:通訊介面 845:輸入設備 a 1:訊號縮放因數 a 2:訊號縮放因數 Φ:角度 Φ 0:角度
下文參考以下附圖詳細描述本案的示例性態樣:
圖1圖示根據本案的一些態樣的實例無線音訊輸出設備100。
圖2圖示根據本案的各個態樣的可被配置為使用單個音訊輸出設備的真無線(TWS)音訊輸出系統200的概念圖。
圖3是圖示根據本發明的一些態樣的消耗空間音訊的人的概念圖。
圖4圖示根據本案的一些態樣的由主機設備執行的應用的概念性實例。
圖5A、5B、5C和5D圖示根據本案的一些態樣的空間音訊系統和決定音訊輸出設備何時未在使用中的方法的實例。
圖6是圖示根據本案的某些態樣的用於處理音訊的方法的實例的流程圖。
圖7圖示根據一些態樣的被配置為產生用於單個音訊設備的空間音訊串流的實例主機設備的方塊圖。
圖8是示出用於實現本文描述的某些態樣的系統的實例的圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
502:主機設備
504:左音訊輸出設備
506:右音訊輸出設備
508:收聽者
510:距離

Claims (30)

  1. 一種處理音訊資料的方法,包括以下步驟: 在一計算設備處,從輸出用於一使用者的一空間音訊串流的一音訊設備獲得感測資訊,其中該音訊設備包括一第一音訊輸出設備和一第二音訊輸出設備; 基於該感測資訊決定該第二音訊輸出設備未在使用中; 基於決定該第二音訊輸出設備未在使用中以及該使用者的一頭部姿勢來修改該空間音訊串流以建立一經修改的空間音訊串流;及 將該經修改的空間音訊串流提供給該第一音訊輸出設備。
  2. 根據請求項1之方法,亦包括以下步驟: 從至少該第一音訊輸出設備獲得與該使用者的運動相關的運動資訊;及 基於該運動資訊決定該使用者的該頭部姿勢。
  3. 根據請求項1之方法,其中該感測資訊指示該第二音訊輸出設備與該使用者、該第一音訊輸出設備或該計算設備解耦,並且亦包括以下步驟: 基於該感測資訊來偵測該第二音訊輸出設備從該使用者、該第一音訊輸出設備或該計算設備的解耦。
  4. 根據請求項1之方法,其中獲得該感測資訊包括以下步驟:從該第二音訊輸出設備的一接近感測器接收該感測資訊。
  5. 根據請求項1之方法,其中獲得該感測資訊包括以下步驟:從該第一音訊輸出設備或該第二音訊輸出設備的一壓力感測器接收該感測資訊。
  6. 根據請求項1之方法,其中獲得該感測資訊包括從該第一音訊輸出設備或該第二音訊輸出設備接收該感測資訊。
  7. 根據請求項1之方法,其中決定該第二音訊輸出設備未在使用中包括以下步驟: 決定該第二音訊輸出設備與該使用者的一頭部之間的一距離大於閾值一距離。
  8. 根據請求項1之方法,其中決定該第二音訊輸出設備未在使用中包括以下步驟: 決定來自該音訊設備的一訊號的一訊號強度;及 基於該訊號強度決定該第二音訊輸出設備與該使用者的一頭部分離。
  9. 根據請求項1之方法,其中決定該第一音訊輸出設備或該第二音訊輸出設備未在使用中包括: 在該計算設備處從該第一音訊輸出設備或該第二音訊輸出設備接收指示該第一音訊輸出設備或該第二音訊輸出設備未在使用中的一訊息。
  10. 根據請求項1之方法,其中與該空間音訊串流相關聯的一音訊源提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中修改該空間音訊串流包括以下步驟: 獲得與該一或多個物件之每一者物件相關聯的該位置資訊; 將至少一個空間濾波器應用於該一或多個物件之每一者物件;及 將與該一或多個物件之每一者物件相關聯的音訊混合到該空間音訊串流中。
  11. 根據請求項10之方法,其中將該至少一個空間濾波器應用於該一或多個物件中的一物件包括以下步驟: 決定該第二音訊輸出設備對應於一左通道或一右通道; 基於決定該第二音訊輸出設備對應於該左通道或該右通道,來決定與一物件相關聯的一角度;及 基於與該物件相關聯的該角度、該物件相對於該左通道和該右通道的一通道間位準差以及該使用者的該頭部姿勢來決定一聲音縮放因數。
  12. 根據請求項10之方法,其中從該空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
  13. 根據請求項10之方法,其中與該空間音訊串流相關聯的一音訊源不提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中修改該空間音訊串流包括: 將來自音訊源的左通道和右通道混合成一單聲道音訊串流; 將一預設位置分配給該單聲道音訊串流;及 基於該使用者的該頭部姿勢和該預設位置將一通道間位準差濾波器應用於該單聲道音訊串流,以產生該空間音訊串流。
  14. 根據請求項13之方法,其中從該空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
  15. 一種裝置,包括: 至少一個記憶體;及 至少一個處理器,其耦接到至少一個記憶體並且被配置為: 從輸出用於一使用者的一空間音訊串流的音訊設備獲得感測資訊,其中該音訊設備包括一第一音訊輸出設備和一第二音訊輸出設備; 基於該感測資訊決定該第二音訊輸出設備未在使用中; 基於決定該第二音訊輸出設備未在使用中以及該使用者的一頭部姿勢來修改該空間音訊串流以建立一經修改的空間音訊串流;及 將該經修改的空間音訊串流提供給該第一音訊輸出設備。
  16. 根據請求項15之裝置,其中該至少一個處理器被配置為: 從至少該第一音訊輸出設備獲得與該使用者的運動相關的運動資訊;及 基於該運動資訊決定該使用者的該頭部姿勢。
  17. 根據請求項15之裝置,其中該至少一個處理器被配置為: 基於該感測資訊來偵測該第二音訊輸出設備與該使用者、該第一音訊輸出設備或該裝置的解耦。
  18. 根據請求項15之裝置,其中為了獲得該感測資訊,該至少一個處理器被配置為: 從該第二音訊輸出設備的一接近感測器接收該感測資訊。
  19. 根據請求項15之裝置,其中為了獲得該感測資訊,該至少一個處理器被配置為: 從該第一音訊輸出設備或該第二音訊輸出設備的一壓力感測器接收該感測資訊。
  20. 根據請求項15之裝置,其中為了獲得該感測資訊,該至少一個處理器被配置為: 從該第一音訊輸出設備或該第二音訊輸出設備接收該感測資訊。
  21. 根據請求項15之裝置,其中該至少一個處理器被配置為: 決定該第二音訊輸出設備與該使用者的一頭部之間的一距離大於一閾值距離。
  22. 根據請求項15之裝置,其中該至少一個處理器被配置為: 決定來自該音訊設備的一訊號的一訊號強度;及 基於該訊號強度決定該第二音訊輸出設備與該使用者的一頭部分離。
  23. 根據請求項15之裝置,其中該至少一個處理器被配置為: 從該第一音訊輸出設備或該第二音訊輸出設備接收指示該第一音訊輸出設備或該第二音訊輸出設備未在使用中的一訊息。
  24. 根據請求項15之裝置,其中與該空間音訊串流相關聯的一音訊源提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中為了修改該空間音訊串流,該至少一個處理器被配置為: 獲得與該一或多個物件之每一者物件相關聯的該位置資訊; 將至少一個空間濾波器應用於該一或多個物件之每一者物件;及 將與該一或多個物件之每一者物件相關聯的音訊混合到該空間音訊串流中。
  25. 根據請求項24之裝置,其中該至少一個處理器被配置為: 決定該第二音訊輸出設備對應於一左通道或一右通道; 基於決定該第二音訊輸出設備對應於該左通道或該右通道而決定與一物件相關聯的一角度;及 基於與該物件相關聯的該角度、該物件相對於該左通道和該右通道的一通道間位準差以及該使用者的該頭部姿勢來決定一聲音縮放因數。
  26. 根據請求項24之裝置,其中從該空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
  27. 根據請求項24之裝置,其中與該空間音訊串流相關聯的一音訊源不提供與被配置為產生音訊的一或多個物件相關聯的位置資訊,並且其中為了修改該空間音訊串流,該至少一個處理器被配置為: 將來自該音訊源的左通道和右通道混合成一單聲道音訊串流; 將一預設位置分配給該單聲道音訊串流;及 基於該使用者的該頭部姿勢和該預設位置將一通道間位準差濾波器應用於該單聲道音訊串流,以產生該空間音訊串流。
  28. 根據請求項27之裝置,其中從該空間音訊串流的修改中省略通道間時間差資訊和通道間相干性資訊。
  29. 根據請求項24之裝置,其中為了修改該空間音訊串流,該至少一個處理器被配置為: 獲得與來自該一或多個物件的產生音訊的每個物件相關聯的該位置資訊; 排除至少一個雙耳線索濾波器;排除與一通道間時間差或一通道間相干性相關聯的至少一個濾波器; 將一通道間位準差濾波器應用於來自該一或多個物件的產生音訊的每個物件;及 將與來自該一或多個物件的產生音訊的每個物件的音訊混合到該空間音訊串流中。
  30. 根據請求項24之裝置,其中為了修改該空間音訊串流,該至少一個處理器被配置為: 辨識該第二音訊輸出設備對應於一左通道或一右通道; 基於該第二音訊輸出設備對應於該左通道或該右通道來決定與該物件相關聯的一角度;及 基於與該物件相關聯的該角度、該物件相對於該左通道和該右通道的一通道間位準差以及該使用者的該頭部姿勢來決定一聲音縮放因數。
TW112128611A 2022-08-25 2023-07-31 使用單個音訊設備的空間音訊 TW202414191A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
WOPCT/CN2022/114880 2022-08-25

Publications (1)

Publication Number Publication Date
TW202414191A true TW202414191A (zh) 2024-04-01

Family

ID=

Similar Documents

Publication Publication Date Title
JP6799141B2 (ja) 空間化オーディオを用いた複合現実システム
EP3424229B1 (en) Systems and methods for spatial audio adjustment
US9113246B2 (en) Automated left-right headphone earpiece identifier
EP2839675B1 (en) Auto detection of headphone orientation
US11356797B2 (en) Display a graphical representation to indicate sound will externally localize as binaural sound
ES2805428T3 (es) Método y sistema para el procesamiento de sonido envolvente en un auricular
US10496360B2 (en) Emoji to select how or where sound will localize to a listener
US11223920B2 (en) Methods and systems for extended reality audio processing for near-field and far-field audio reproduction
TW202414191A (zh) 使用單個音訊設備的空間音訊
WO2024040527A1 (en) Spatial audio using a single audio device
US11924317B1 (en) Method and system for time-aligned media playback
CN117676002A (zh) 音频处理方法及电子设备