TW202117500A - 用於音訊呈現之隱私分區及授權 - Google Patents

用於音訊呈現之隱私分區及授權 Download PDF

Info

Publication number
TW202117500A
TW202117500A TW109122456A TW109122456A TW202117500A TW 202117500 A TW202117500 A TW 202117500A TW 109122456 A TW109122456 A TW 109122456A TW 109122456 A TW109122456 A TW 109122456A TW 202117500 A TW202117500 A TW 202117500A
Authority
TW
Taiwan
Prior art keywords
audio
audio streams
subset
processors
authorization level
Prior art date
Application number
TW109122456A
Other languages
English (en)
Inventor
賽德哈薩 高塔姆 斯瓦米納坦
艾薩克 加西亞 穆諾茲
S M 艾卡姆斯 薩利赫
尼爾斯 古恩瑟 彼得斯
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202117500A publication Critical patent/TW202117500A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4396Processing of audio elementary streams by muting the audio signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627Rights management associated to the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本發明揭示實例裝置及方法。一種實例裝置包含一記憶體,其經組態以儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級。該裝置亦包括一或多個處理器,該一或多個處理器實施在電路系統中且以通信方式耦接至該記憶體。該一或多個處理器經組態以基於該等相關聯授權等級,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。

Description

用於音訊呈現之隱私分區及授權
本發明係關於諸如音訊資料之媒體資料的處理。
正在開發電腦中介實境系統,以允許計算裝置對使用者體驗到的現有實境進行擴增或添加,移除或減去,或大體上進行修改。作為實例,電腦中介實境系統(其亦可被稱為「擴展實境系統」或「XR系統」)可包括虛擬實境(VR)系統、擴增實境(AR)系統及混合實境(MR)系統。電腦中介實境系統的感知成功通常與此類電腦中介實境系統根據視訊及音訊體驗提供逼真的沉浸式體驗的能力有關,其中視訊及音訊體驗以使用者期望之方式對準。儘管人類視覺系統比人聽覺系統更敏感(例如,就各種物件在場景中之感知定位而言),但確保足夠的聽覺體驗係確保逼真的沉浸式體驗日益重要的因素,尤其在視訊體驗改良以准許較佳定位視訊物件,以使得使用者能夠較佳地識別音訊內容的來源。
本發明大體上係關於電腦中介實境系統之使用者體驗的聽覺態樣,該電腦中介實境系統包括虛擬實境(VR)、混合實境(MR)、擴增實境(AR)、電腦視覺及圖形系統。該等技術之各種態樣可為擴展實境系統提供聲學空間的自適應音訊捕獲或合成及呈現。如本文中所使用,聲學環境經表示為室內環境或室外環境,或室內環境與室外環境兩者。聲學環境可包括一或多個子聲學空間,該等子聲學空間可包括各種聲學元素。室外環境之實例可包括汽車、建築物、牆壁、森林等。聲學空間可為聲學環境之實例,且可為室內空間或室外空間。如本文中所使用,音訊元素為由麥克風捕獲(例如,自近場源直接捕獲或自遠場源反射,無論真實還是合成)之聲音,或先前合成之音場,或自文字合成至語音之單聲道聲音,或來自聲學環境中之物件的虛擬聲音之反射。
在一個實例中,技術的各種態樣係針對一種裝置,該裝置包括一記憶體,其經組態以儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級;及一或多個處理器,其實施在電路系統中且以通信方式耦接至該記憶體,且經組態以:基於該等相關聯授權等級,選擇該複數個音訊串流之子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
在另一實例中,技術的各種態樣涉及一種方法,該方法包括:藉由一記憶體儲存複數個音訊串流以及關於該複數個音訊串流中之每一者之相關聯授權等級;藉由一或多個處理器且基於該等相關聯授權等級,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
在另一實例中,技術的各種態樣係針對一種裝置,該裝置包括:用於儲存複數個音訊串流及關於該複數個音訊串流中之每一者之相關聯授權等級的構件;以及用於基於該等相關聯授權等級來選擇該複數個音訊串流之一子集的構件,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
在另一實例中,技術的各種態樣係針對一種其上儲存有指令的非暫時性電腦可讀儲存媒體,該等指令在經執行時致使一或多個處理器:儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級;基於該等相關聯授權等級選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
在下文隨附圖式及描述中闡明本發明之一或多個實例之細節。自說明書及圖式以及自申請專利範圍,技術的各種態樣的其他特徵、目的及優點將顯而易見。
本申請案主張2019年7月3日申請之美國臨時申請案第62/870,591 號之權益,該申請案之全部內容以引用的方式併入本文中。
當用諸多音訊來源呈現音訊場景時,該等音訊來源可由現場場景中之音訊捕獲裝置獲得,或其可合成,則某些分區可含有音訊來源,該等音訊來源可包括應限制對其之存取的敏感資訊。根據本發明之技術,基於關於複數個音訊串流中之每一者之相關聯授權等級來選擇複數個音訊串流之子集。在一些實例中,複數個音訊串流中之一或多者與至少一個隱私分區相關聯。在一些實例中,可基於相關聯授權等級來改變複數個音訊串流之子集中之一或多者的增益。在一些實例中,經排除音訊串流可經歸零
當用諸多音訊來源呈現音訊場景時,本發明之技術可提供保護敏感資訊的能力。在一些實例中,當捕獲側無法限制對含有敏感資訊之音訊串流的存取時,本發明之技術可提供保護在呈現側上之敏感資訊的能力。
存在多種不同的表示音場之方式。實例格式包括基於頻道之音訊格式,基於物件之音訊格式以及基於場景之音訊格式。基於頻道之音訊格式係指5.1環繞音效格式、7.1環繞音效格式、22.2環繞音效格式,或將音訊頻道本地化至收聽者周圍特定位置以便重新創建音場的任何其他基於頻道之格式。
基於物件之音訊格式可係指其中通常使用脈衝碼調變(PCM)編碼且被稱為PCM音訊物件之音訊物件經指定以表示音場的格式。此類音訊物件可包括位置資訊(例如,後設資料),該位置資訊識別音訊物件相對於音場中之收聽者或其他參考點的位置,使得可將音訊物件呈現至一或多個揚聲器頻道以進行播放以便重新創建音場。本發明中所描述之技術可適用於以下格式中之任何一者,包括基於場景之音訊格式,基於頻道之音訊格式,基於物件之音訊格式或其任何組合。
基於場景之音訊格式可包括階層式元素集,該等元素在三個維度中定義音場。階層式元素集之一個實例為球諧係數(SHC)集。以下表達使用SHC證實音場之描述或表示:
Figure 02_image001
, 表達展示在時間t 在音場之任何點
Figure 02_image003
處之壓力
Figure 02_image005
可由SHC
Figure 02_image007
唯一表示。此處,
Figure 02_image009
,c 為音速(~343 m/s),
Figure 02_image011
為參考點(或觀察點),
Figure 02_image013
n 階球面貝索函數且
Figure 02_image015
n 階及m 子階的球諧基函數(其亦被稱為球面基函數)。可認識到,方括弧中之術語為信號之頻域表示(例如,
Figure 02_image017
),其可藉由各種時頻變換近似,諸如離散傅立葉變換(DFT)、離散餘弦變換(DCT)或小波變換。階層式集之其他實例包括小波變換係數集及多重解析度基函數之其他係數集。
SHC
Figure 02_image019
可藉由各種麥克風陣列組態進行物理獲取(例如,記錄),或可自音場之基於頻道或基於物件之描述中推導。SHC (其亦可被稱為球形環繞聲係數)表示基於場景之音訊,其中SHC可輸入至音訊編碼器以獲得可促進更高效傳輸或儲存的經編碼SHC。舉例而言,可使用涉及(1+4)2 (25,且因此為四階)係數的四階表示。
如上文所述,SHC可自使用麥克風陣列之麥克風記錄推導。如何自麥克風陣列實體地獲取SHC的各種實例在波萊蒂M.的「基於球諧函數的三維環繞音效系統(Three-Dimensional Surround Sound Systems Based on Spherical Harmonics)」,國際音訊工程協會期刊(J. Audio Eng. Soc.),第53卷第11期,2005年11月,第1004-1025頁。
以下方程式可說明如何自基於物件之描述推導SHC。對應於單個音訊物件的音場的係數
Figure 02_image019
可表達為:
Figure 02_image022
,其中i為
Figure 02_image024
Figure 02_image026
為n階的球面漢克爾函數(第二類),且
Figure 02_image028
為物件之位置。瞭解物件來源能量
Figure 02_image030
作為頻率的函數(例如,使用時頻分析技術,例如對經脈衝碼調變—PCM—串流進執行快速傅立葉變換)可實現將每一PCM物件及相應位置轉換成SHC
Figure 02_image019
。此外,可展示(由於上文為線性及正交分解),每一物件的
Figure 02_image019
係數為加性。以此方式,多個PCM物件可由
Figure 02_image019
係數來表示(例如,作為單個物件的係數向量之總和)。該等係數可含有關於音場的資訊(壓力隨三維(3D)座標變化的壓力),且上文表示自單個物件至整體音場之表示的變換,在觀察點
Figure 02_image034
之附近。
正在開發電腦中介實境系統(其亦可被稱為「擴展實境系統」或「XR系統」)利用球形環繞聲係數提供的潛在益處中之諸多者。例如,球形環繞聲係數可以潛在地實現音場內聲音來源之精確3D定位的方式表示三維音場。如此,XR裝置可將球形環繞聲係數呈現至揚聲器饋源,當經由一或多個揚聲器或耳機播放時,該等揚聲器饋源準確地再現音場。
作為另一實例,球形環繞聲係數可經平移或旋轉以考慮使用者移動而無需過於複雜的數學運算,因此潛在地適應XR裝置的低延時要求。另外,球形環繞聲係數為階層式,且因此自然地經由降階來適應可擴縮性(此可消除與更高階數相關聯的球形環繞聲係數),且從而潛在地實現音場之動態適應,以適應XR裝置的延時及/或電池需求。
對XR裝置使用球形環繞聲係數可以使諸多使用案例得到發展,該等使用案例依賴於由球形環繞聲係數提供特定而言用於電腦遊戲應用程式及即時視訊串流化應用程式的較沉浸式音場。在此等依賴於音場的低延時再現的高度動態的使用案例中,XR裝置可更喜歡球形環繞聲係數,而非其他難以操縱或涉及複雜呈現的表示形式。下文關於圖1A至圖1C提供關於此等使用案例的更多資訊。
儘管在本發明中關於VR裝置進行描述,但可在諸如行動裝置的其他裝置的上下文中執行技術的各種態樣。在此情況下,行動裝置(諸如所謂智慧型電話)可經由螢幕呈現聲學空間,該螢幕可經安裝至使用者之頭部或如正常使用行動裝置時所進行般進行觀看。如此,螢幕上之任何資訊皆可為行動裝置之一部分。行動裝置可能夠提供追蹤資訊,且因此允許VR體驗(在頭部安裝時)且正常體驗來查看聲學空間,其中正常體驗仍可允許使用者查看聲學空間,從而提供類VR型體驗(例如,舉起裝置並旋轉或平移裝置以查看聲音空間之不同部分)。
圖1A至圖1C為說明可執行本發明中所描述之技術的各種態樣之系統的圖。如在圖1A之實例中所展示,系統10包括來源裝置12A及內容消費者裝置14A。雖然在來源裝置12A及內容消費者裝置14A的上下文中進行描述,但該等技術可在其中對音場的任何表示進行編碼以形成表示音訊資料的位元串流的任何上下文中實施。此外,來源裝置12A可表示能夠產生音場的表示的任何形式的計算裝置,且通常在作為VR內容創建者裝置的上下文中進行描述。同樣地,內容消費者裝置14A可表示能夠實施本發明中所描述之呈現技術以及音訊播放的任何形式的計算裝置,且在本文中通常以VR用戶端裝置為背景進行描述。
來源裝置12A可由娛樂公司或可產生單聲道及/或多聲道音訊內容以供諸如內容消費者裝置14A的內容消費者裝置的操作者消費的其他實體來操作。在一些VR情景中,來源裝置12A結合視訊內容產生音訊內容。來源裝置12A包括內容捕獲裝置20,內容編輯裝置22及音場表示產生器24。內容捕獲裝置20可經組態以與麥克風18介接或以其他方式與麥克風18通信。
麥克風18可表示能夠捕獲音場並將其表示為音訊資料19的Eigenmike®或其他類型的3D音訊麥克風,音訊資料19可係指上述基於場景之音訊資料(諸如,球形環繞聲係數)、基於物件之音訊資料及基於頻道之音訊資料中之一或多者。儘管經描述為3D音訊麥克風,但麥克風18亦可表示經組態以捕獲音訊資料19的其他類型之麥克風(諸如全向麥克風、點麥克風、單向麥克風等)。音訊資料19可表示音訊串流或包括音訊串流。
在一些實例中,內容捕獲裝置20可包括整合至內容捕獲裝置20的外殼中之整合式麥克風18。內容捕獲裝置20可與麥克風18無線地或經由有線連接介接。並非經由麥克風18捕獲音訊資料19,或結合經由麥克風18捕獲音訊資料19,內容捕捉裝置20可在經由某一類型可抽換儲存、無線地及/或經由有線輸入處理來輸入音訊資料19之後處理音訊資料19。如此,根據本發明,內容捕獲裝置20與麥克風18的各種組合為可能的。
內容捕獲裝置20亦可經組態以與內容編輯裝置22介接或以其他方式與其通信。在一些情況下,內容捕獲裝置20可包括內容編輯裝置22 (其在一些情況下可表示軟體或軟體與硬體的組合,包括由內容捕獲裝置20執行以組態內容捕獲裝置20來執行特定形式之內容編輯的軟體)。內容編輯裝置22可表示經組態以編輯或以其他方式變更自內容捕獲裝置20接收之內容21 (包括音訊資料19)的單元。內容編輯裝置22可將經編輯內容23及相關聯資訊(例如,後設資料) 25輸出至音場表示產生器24。
音場表示產生器24可包括能夠與內容編輯裝置22 (或內容捕獲裝置20)介接的任何類型之硬體裝置。儘管在圖1A之實例中為展示,音場表示產生器24可使用由內容編輯裝置22提供的經編輯內容23,包括音訊資料19及資訊(例如,後設資料) 25,來產生一或多個位元串流27。在側重於音訊資料19的圖1A之實例中,音場表示產生器24可產生由音訊資料19表示之相同音場的一或多個表示,以獲得包括音場及資訊(例如,後設資料) 25的表示的位元串流27。
例如,為了使用球形環繞聲係數(其同樣為音訊資料19之一個實例)來產生音場的不同表示,音場表示產生器24可使用關於音場的球形環繞聲表示的譯碼方案(被稱為混合階球形環繞聲(MOA),如在2017年8月8日提交申請且在2019年1月3日發佈為美國專利公開案第20190007781號的標題為「用於電腦中介實境系統的混合階球形環繞聲(MOA)音訊資料」的美國專利申請第15/672,058號中較詳細論述)。
為了產生音場之特定MOA表示,音場表示產生器24可產生球形環繞聲係數全集之部分子集。例如,由音場表示產生器24產生之每一MOA表示可提供關於音場之某些區域的精度,但在其他區域中精度較低。在一個實例中,音場之MOA表示可包括八(8)個未經壓縮的球形環繞聲係數,而同一音場之三階球形環繞聲表示可包括十六(16)個未經壓縮的球形環繞聲係數。如此,與自球形環繞聲係數產生的相同聲場的對應三階球形環繞聲表示相比,作為球形環繞聲係數之部分子集產生的聲場的每一MOA表示可為較不儲存密集型且較不寬頻密集型(若且當在所說明傳輸頻道上作為位元串流27之一部分傳輸時)。
儘管關於MOA表示進行描述,但本發明之技術亦可關於一階球形環繞聲(FOA)表示來執行,在FOA表示中,使用與一階球基函數及零階球面基函數相關聯的所有球形環繞聲係數來表示音場。換言之,並非使用球形環繞聲係數之部分非零子集來表示音場,而是,音場表示產生器24可使用給定階數N的所有球形環繞聲係數來表示音場,從而導致球形環繞聲係數之總數等於(N+1)2
在此方面中,球形環繞聲音訊資料(其為在MOA表示或全階表示(諸如上述的一階表示)中指代球形環繞聲係數的另一方式)可包括與具有一或更少階的球面基函數相關聯的球形環繞聲係數(其可被稱為「1階球形環繞聲音訊資料」),與具有混合階及子階的球面基函數相關聯的球形環繞聲係數(且可被稱為上文所論述之「MOA表示」),或與具有大於一的階的球面基函數相關聯的球形環繞聲係數(其在上文被稱為「全階表示」)。
在一些實例中,內容捕獲裝置20或內容編輯裝置22可經組態以與音場表示產生器24無線通信。在一些實例中,內容捕獲裝置20或內容編輯裝置22可經由無線連接或有線連接中之一者或兩者與音場表示產生器24進行通信。經由內容捕獲裝置20或內容編輯裝置22與音場表示產生器24之間的連接,內容捕獲裝置20或內容編輯裝置22可提供呈各種內容形式的內容,出於論述目的,該內容經描述為音訊資料19之部分。
在一些實例中,內容捕獲裝置20可利用音場表示產生器24的各種態樣(就音場表示產生器24之硬體或軟體能力而言)。舉例而言,音場表示產生器24可包括經組態以執行心理聲學音訊編碼之專用硬體(或特殊化軟體,其當經執行時致使一或多個處理器執行心理聲學音訊編碼),諸如諸如由動畫專家群組(MPEG)、MPEG-H 3D音訊譯碼標準、MPEG-I沉浸式音訊標準或專屬標準闡述的統一語音及音訊譯碼器(經表示為「USAC」),諸如AptX™ (包括AptX的各種版本,諸如增強型AptX – E-AptX、AptX即時版、AptX立體聲及AptX高清晰度—AptX-HD)、高階音訊譯碼(AAC)、音訊編解碼器3 (AC-3)、蘋果無損音訊編解碼器(ALAC)、MPEG-4音訊無損串流化(ALS)、增強型AC-3、免費無損音訊編解碼器(FLAC)、Monkey's Audio、MPEG-1音訊第II層(MP2)、MPEG-1音訊第III層(MP3)、Opus及Windows媒體音訊(WMA)或其他標準。
內容捕獲裝置20可不包括心理聲學音訊編碼器專用硬體或特殊化軟體,且替代地可以非心理聲學音訊譯碼形式提供內容21之音訊態樣。音場表示產生器24可藉由至少部分地執行關於內容21之音訊態樣的心理聲學音訊編碼來輔助內容21的捕獲。
音場表示產生器24亦可藉由至少部分地基於(在音訊資料19包括基於場景之音訊資料的狀況下)自音訊資料19產生的音訊內容(例如,MOA表示及/或一階球形環繞聲表示)來產生一或多個位元串流27來輔助內容捕獲及傳輸。位元串流27可表示音訊資料19的壓縮版本及內容21的任何其他不同類型(諸如球形視訊資料、影像資料或文字資料的壓縮版本)。
音場表示產生器24可產生位元串流27以作為一個實例橫跨傳輸頻道進行傳輸,該傳輸頻道可為有線或無線頻道,諸如Wi-Fi頻道、藍芽頻道或符合第5代(5G)蜂巢式標準的頻道、資料儲存裝置,或類似物。位元串流27可表示音訊資料19之經編碼版本,且可包括主要位元串流及另一側位元串流,其可被稱為側頻道資訊或後設資料。在一些情況下,表示音訊資料19之壓縮版本的位元串流27 (其又可表示基於場景之音訊資料、基於物件之音訊資料、基於頻道之音訊資料或其組合)可符合根據MPEG-H 3D音訊編碼標準及/或MPEG-I沉浸式音訊標準產生之位元串流。
內容消費者裝置14A可由個人操作,且可表示VR用戶端裝置。儘管關於VR用戶端裝置進行描述,但內容消費者裝置14A可表示其他類型的裝置,諸如擴增實境(AR)用戶端裝置、混合實境(MR)用戶端裝置(或其他XR用戶端裝置)、標準電腦、頭戴式耳機、耳機、行動裝置(包括所謂智慧型電話)或任何其他能夠追蹤操作內容消費裝置14A之個人的頭部運動及/或一般平移運動的裝置。如在圖1A之實例中所展示,內容消費者裝置14A包括音訊播放系統16A,該音訊播放系統16A可指代能夠將用於播放的音訊資料呈現為單聲道及/或多頻道音訊內容的任何形式的音訊播放系統。
雖然在圖1A中展示為直接傳輸至內容消費者裝置14A,但來源裝置12A可將位元串流27輸出至位於來源裝置12A與內容消費者裝置14A之間的中間裝置。中間裝置可儲存位元串流27,以稍後遞送至內容消費者裝置14A,內容消費者裝置14A可請求位元串流27。中間裝置可包括檔案伺服器、web伺服器、桌上型電腦、膝上型電腦、平板電腦、行動電話、智慧型電話或任何其他能夠儲存位元串流27以便以後由音訊解碼器擷取的裝置。中間裝置可駐留在內容遞送網路中,該內容遞送網路能夠將位元串流27串流化(且可能與發送對應視訊資料位元串流結合)至用戶,諸如內容消費者裝置14A,從而請求位元串流27。
替代地,來源裝置12A可將位元串流27儲存至諸如光碟、數位視訊磁碟、高清晰度視訊磁碟或其他儲存媒體的儲存媒體,其中大多數能夠由電腦讀取,且因此,可將其稱為電腦可讀儲存媒體或非暫時性電腦可讀儲存媒體。在此上下文中,傳輸頻道可係指藉以傳輸儲存至媒體的內容(例如,呈一或多個位元串流27的形式)之頻道(且可包括零售商店及其他基於商店之遞送機制)。在任何情況下,因此,本發明之技術不應在此方面限制於圖1A之實例。
如上文所述,內容消費者裝置14A包括音訊播放系統16A。音訊播放系統16A可表示能夠播放單聲道及/或多聲道音訊資料的任何系統。音訊播放系統16A可包括多個不同音訊呈現器32。音訊呈現器32可各自提供一不同的呈現形式,其中不同的呈現形式可包括執行向量基振幅平移(VBAP)的各種方式中之一或多者,及/或執行音場合成的各種方式中之一或多者。如本文中所使用,「A及/或B」意指「A或B」或「A及B兩者」。
音訊播放系統16A可進一步包括音訊解碼裝置34。音訊解碼裝置34可表示經組態以對位元串流27進行解碼以輸出音訊資料19'的裝置(其中,主要符號可表示音訊資料19'由於音訊資料19之有損壓縮(諸如量化)而與音訊資料19不同)。再次,音訊資料19'可包括基於場景之音訊資料,其在一些實例中可形成完整的第一(或更高)階球形環繞聲表示或其子集,該完整的第一(或更高)階球形環繞聲表示或其子集形成相同音場的MOA表示,其分解,諸如主要音訊信號、周圍環境球形環繞聲係數及在MPEG-H 3D音訊編碼標準中所描述之基於向量的信號或其他形式的基於場景之音訊資料。音訊資料19'可包括音訊串流或音訊串流的表示。
其他形式的基於場景之音訊資料包括根據HOA (高階球形環繞聲)傳輸格式(HTF)定義的音訊資料。關於HTF之更多資訊可發現於歐洲電信標準協會(ETSI)的標題為「高階球形環繞聲(HOA)傳輸格式」的技術規範(TS) (ETSI TS 103589 V1.1.1,日期為2018年6月(2018- 06)),以及亦發現於2018年12月20日提交申請的標題為「關於高階球形環繞聲音訊資料的優先級資訊」的美國專利公開號第2019/0918028號中。在任何情況下,音訊資料19'可類似於音訊資料19的全部或部分子集,但由於有損操作(例如,量化)及/或經由傳輸頻道的傳輸而可不同。
作為基於場景之音訊資料的替代或結合基於場景之音訊資料,音訊資料19'可包括基於頻道之音訊資料。作為基於場景之音訊資料的替代或結合基於場景之音訊資料,音訊資料19'可包括基於物件之音訊資料或基於頻道之音訊。如此,音訊資料19'可包括基於場景之音訊資料、基於物件之音訊資料及基於頻道之音訊資料的任何組合。
音訊播放系統16A之音訊呈現器32可在音訊解碼裝置34已對位元串流27進行解碼以獲得音訊資料19'之後,將音訊資料19'呈現至輸出揚聲器饋源35。揚聲器饋源35可驅動一或多個揚聲器或耳機(出於便於說明目的,該一或多個揚聲器或耳機未在圖1A之實例中示出)。可以多種方式(包括N3D、SN3D、FuMa、N2D或SN2D)對包括音場之基於場景之音訊資料(且可能亦包括基於頻道之音訊資料及/或基於物件之音訊資料)的各種音訊表示進行正規化。
為了選擇合適的呈現器,或在一些情況下,產生合適的呈現器,音訊播放系統16A可獲得揚聲器資訊37,其指示揚聲器之數目(例如,擴音器或耳機揚聲器)及/或揚聲器之空間幾何形狀。在一些情況下,音訊播放系統16A可使用參考麥克風來獲得揚聲器資訊37,且可以動態判定揚聲器資訊37的方式來驅動揚聲器(其可參考電信號之輸出以致使換能器振動)。在其他情況下,或結合揚聲器資訊37的動態判定,音訊播放系統16A可提示使用者與音訊播放系統16A介接並輸入揚聲器資訊37。
音訊播放系統16A可基於揚聲器資訊37選擇音訊呈現器32中之一者。在一些情況下,當音訊呈現器32中無一者處於揚聲器資訊37中指定之揚聲器幾何形狀的某一臨限值相似性量度(在揚聲器幾何形狀方面)內時,音訊播放系統16A可基於揚聲器資訊37產生音訊呈現器32中之一者。在一些情況下,音訊播放系統16A可基於揚聲器資訊37產生音訊呈現器32中之一者,而無需首先嘗試選擇音訊呈現器32中之現有一者。
當將揚聲器饋源35輸出至耳機時,音訊播放系統16A可利用呈現器32中之一者,該呈現器32使用與頭部相關的轉移功能(HRTF)或能夠呈現至左及右揚聲器饋源35以進行耳機揚聲器播放的其他功能來提供雙耳呈現,諸如雙耳室脈衝回應呈現器。術語「揚聲器」或「換能器」通常可指任何揚聲器,包括擴音器、耳機揚聲器、骨導揚聲器、耳塞式揚聲器、無線耳機揚聲器等。一或多個揚聲器或耳機可然後播放所呈現揚聲器饋源35以重現音場。
儘管經描述為自音訊資料19'呈現揚聲器饋源35,但對揚聲器饋源35的呈現的提及可係指其他類型的呈現,諸如直接併入至對來自位元串流27之音訊資料的解碼中之呈現。替代呈現之實例可發現於MPEG-H 3D音訊標準之附件G中,其中呈現在音場合成之前在主要信號公式化及背景信號形成期間發生。如此,對音訊資料19'的呈現的提及應被理解為涉及實際音訊資料19'的呈現或音訊資料19'的分解或表示(諸如上文所述的主要音訊信號、環境球形環繞聲係數及/或基於向量的信號–其亦可被稱為V向量或多維球形環繞聲空間向量)。
音訊播放系統16A亦可基於追蹤資訊41來調適音訊呈現器32。即,音訊播放系統16A可與經組態以追蹤VR裝置之使用者的頭部運動以及可能的平移運動的追蹤裝置40介接。追蹤裝置40可表示經組態以追蹤VR裝置之使用者的頭部運動及可能平移運動的一或多個感測器(例如,相機—包括深度相機、陀螺儀、磁力計、加速度計、發光二極體—LED等)。音訊播放系統16A可基於追蹤資訊41來調適音訊呈現器32,使得揚聲器饋源器35反射頭部的改變以及使用者的可能平移運動,以正確再現回應於此類運動的音場。
圖1B為說明經組態以執行本發明中所描述之技術的各種態樣之另一實例系統50的方塊圖。系統50類似於圖1A中所展示的系統10,惟除圖1A中所展示的音訊呈現器32經替換為雙耳呈現器42 (在內容消費者裝置14B之音訊播放系統16B中),該雙耳呈現器能夠使用一或多個與頭部相關的轉移功能(HRTF)或能夠呈現至左及右揚聲器饋源43的其他功能來執行雙耳呈現。
音訊播放系統16B可將左及右揚聲器饋源43輸出至耳機48,耳機48可表示可穿戴裝置之另一實例且其可耦接至額外可穿戴裝置以促進音場的再現,諸如手錶、上文所述之VR頭戴式耳機、智慧型眼鏡、智慧型服裝、智慧型戒指、智慧型手鐲或任何其他類型的智慧型珠寶(包括智慧型項鏈)及其類似物。耳機48可無線地或經由有線連接耦接至額外可穿戴裝置。
另外,耳機48可經由有線連接(諸如標準的3.5mm音訊插孔,通用系統匯流排(USB)連接、光學音訊插孔或其他形式的有線連接),或無線地(諸如藉由Bluetooth™連接、無線網路連接等)耦接至音訊播放系統16B。耳機48可基於左及右揚聲器饋源43來重新創建由音訊資料19'表示之音場。耳機48可包括左耳機揚聲器及右耳機揚聲器,其由對應左及右揚聲器饋源43供電(或換言之,驅動)。
圖1C為說明另一實例系統60的方塊圖。實例系統60類似於圖1A之實例系統10,但系統60之來源裝置12B不包括內容捕獲裝置。來源裝置12B含有合成裝置29。內容開發者可使用合成裝置29來產生合成的音訊來源。合成的音訊來源可具有與其相關聯位置資訊,該位置資訊可識別音訊來源相對於音場中之收聽者或其他參考點的位置,使得可將音訊來源呈現至一或多個揚聲器頻道進行播放以便重新創建音場。在一些實例中,合成裝置29亦可合成視覺或視訊資料。
舉例而言,內容開發者可產生用於視訊遊戲之合成音訊串流。雖然圖1C之實例經展示具有圖1A之實例的內容消費者裝置14A,但圖1C之實例的來源裝置12B可與圖1B之內容消費者裝置14B一起使用。在一些實例中,圖1C之來源裝置12B亦可包括內容捕獲裝置,使得位元串流27可既含有所捕獲音訊串流又含有合成的音訊串流。
如上文所描述,內容消費者裝置14A或14B (其在下文中可被稱為內容消費者裝置14)可表示其中人類可穿戴顯示器(其亦可被稱為「頭戴式顯示器」)安裝在操作VR裝置之使用者的眼前的VR裝置。圖2為說明由使用者1102穿戴的VR裝置1100之實例的圖。VR裝置1100耦接至耳機1104或以其他方式包括耳機1104,耳機1104可藉由揚聲器饋源35之播放來再現由音訊資料19'表示之音場。揚聲器饋源35可表示能夠致使耳機1104之換能器內的隔膜以各種頻率振動的類比或數位信號,其中此程序通常被稱為驅動耳機1104。
視訊、音訊及其他感官資料可在VR體驗中扮演重要角色。為了參與VR體驗,使用者1102可穿戴VR裝置1100 (其亦可被稱為VR用戶端裝置1100)或其他可穿戴電子裝置。VR用戶端裝置(諸如VR裝置1100)可包括追蹤裝置(例如,追蹤裝置40),其經組態以追蹤使用者1102之頭部運動,且調適經由VR裝置1100展示之視訊資料以考慮頭部運動,從而提供沉浸式體驗,其中使用者1102可體驗視訊資料中以視覺三個維度所展示的聲學空間。聲學空間可係指虛擬世界(其中模擬整個世界),擴增世界(其中世界之部分藉由虛擬物件擴增)或物理世界(其中實境世界影像經虛擬導航)。
雖然VR (以及其他形式的AR及/或MR)可允許使用者1102視覺上駐留在虛擬世界中,但通常VR裝置1100可缺乏將使用者可聽見地置放在聲學空間中之能力。換言之,VR系統(其可包括負責呈現視訊資料及音訊資料的電腦—出於便於說明目的未在圖2之實例中顯示,及VR裝置1100)可無法以聽覺方式支援完整三維沉浸(且在一些情況下,逼真地以反映經由VR裝置1100呈現至使用者的顯示場景的方式)。
儘管在本發明中關於VR裝置進行描述,但可在諸如行動裝置的其他裝置的上下文中執行技術的各種態樣。在此情況下,行動裝置(諸如所謂智慧型電話)可經由螢幕呈現聲學空間,該螢幕可經安裝至使用者1102之頭部或如正常使用行動裝置時所進行般進行觀看。如此,螢幕上之任何資訊皆可為行動裝置之一部分。行動裝置可能夠提供追蹤資訊41,且因此允許VR體驗(在頭部安裝時)且正常體驗來查看聲學空間,其中正常體驗仍可允許使用者查看聲學空間,從而提供類VR型體驗(例如,舉起裝置並旋轉或平移裝置以查看聲音空間之不同部分)。
無論如何,返回至VR裝置上下文,VR之音訊態樣已分為沉浸式三個獨立類別。第一類別提供最低位準的沉浸,且被稱為三個自由度(3DOF)。3DOF係指音訊呈現,其考慮頭在三個自由度(側傾、縱傾及側滾)中之移動,因此允許使用者在任何方向上自由地環顧四周。然而,3DOF無法考慮平移頭部移動,其中頭未居中在音場的光學及聲學中心上。
第二類別被稱為3DOF增強版(3DOF+),其除了由於頭部遠離音場的光學中心及聲學中心所致的有限空間平移運動外,亦提供三個自由度(側傾、縱傾及側滾)。3DOF+可為諸如運動視差的感知效應提供支援,此可增強沉浸感。
第三類別被稱為六自由度(6DOF),以一方式呈現音訊資料,該方式在頭部運動(側傾、縱傾及側滾)方面考慮三個自由度,且亦考慮使用者在空間中之平移(x、y及z平移)。可藉由追蹤使用者在物理世界中之位置的感測器或藉由輸入控制器來誘發空間平移。
3DOF呈現為VR音訊態樣的目前最佳技術。如此,VR的音訊態樣比視訊態樣的沉浸感小,因此可能減少使用者所經歷的整體沉浸感。然而,VR正在快速過渡,且可迅速發展為支援3DOF+及6DOF,此可暴露出額外使用案例的機會。
例如,互動式遊戲應用程式可利用6DOF來促進完全沉浸式遊戲,其中使用者自己在VR世界中移動,且可藉由走至虛擬物件來與虛擬物件進行互動。此外,互動式即時串流應用程式可利用6DOF來允許VR用戶端裝置體驗音樂會或體育賽事的即時串流,仿佛親身出現在音樂會上,從而允許使用者在音樂會或體育賽事中移動。
存在與此等使用案例相關聯的多種困難。在完全沉浸式遊戲的情況下,延時可需要保持為低以啟用不會引起噁心或動暈症的遊戲玩法。此外,自音訊的角度,導致與視訊資料失去同步的音訊播放的延遲可降低沉浸感。此外,對於某些類型的遊戲應用程式,空間準確度對於允許準確回應可為重要的,包括關於使用者如何感知聲音為允許使用者預期當前未看到的動作的聲音。
在即時串流應用程式的上下文中,大量來源裝置12A或12B (其中任一者在下文中皆可被稱為來源裝置12)可串流傳輸內容21,其中來源裝置12可具有大不相同的能力。舉例而言,一個來源裝置12可為具有數位固定透鏡相機及一或多個麥克風的智慧型電話,而另一來源裝置可為能夠獲得比智慧型電話具有更高的解析度及品質的視訊的生產級電視設備。然而,在即時串流應用程式的上下文中,所有來源裝置12皆可提供不同品質的串流,自該等串流VR裝置可嘗試選擇合適的串流以提供預期的體驗。
此外,類似於遊戲應用程式,音訊資料中之延時使得與視訊資料發生同步丟失可導致較少的沉浸感。此外,空間準確度亦可為重要的,使得使用者可較佳地理解不同音訊來源的上下文或位置。此外,當使用者使用相機及麥克風進行即時串流時,隱私可成為一問題,因為使用者可不希望即時播送對公眾完全可用的串流。
在串流化應用程式(即時或錄製)的上下文中,可存在大量與品質及/或內容的不同級別相關聯的音訊串流。音訊串流可表示任何類型的音訊資料,包括基於場景之音訊資料(例如,球形環繞聲音訊資料,包括FOA音訊資料、MOA音訊資料及/或HOA音訊資料)、基於頻道之音訊資料及基於物件之音訊資料。僅選擇可自其重新創建音場的大量音訊串流中之一個可無法提供確保足夠沉浸感的體驗。然而,由於多個音訊串流之間的不同空間定位,選擇多個音訊串流可形成干擾,因此潛在地降低沉浸感。
根據本發明中所描述之技術,音訊解碼裝置34可在經由位元串流27可用的音訊串流(其由位元串流27表示且因此位元串流27可被稱為「音訊串流27」)之間自適應地選擇。音訊解碼裝置34可基於音訊位置資訊(ALI) (例如,圖1A至圖1C中之45A)在音訊串流27之不同音訊串流之間進行選擇,在一些實例中,音訊位置資訊可經包括為伴隨音訊串流27的後設資料,其中重新音訊位置資訊可在用於麥克風的聲學空間中界定捕獲捕獲各別音訊串流27的座標,或在用於合成音訊串流在聲學空間中界定虛擬捕獲座標。ALI 45A可表示在音訊空間中之捕獲或合成音訊串流27中之對應一者的位置。音訊解碼裝置34可基於ALI 45A選擇音訊串流27之子集,其中音訊串流27之子集排除音訊串流27中之至少一者。音訊解碼裝置34可輸出音訊串流27之子集作為音訊資料19'。
另外,音訊解碼裝置34可獲得追蹤資訊41,內容消費者裝置14可以將追蹤資訊41轉譯成裝置位置資訊(DLI) (例如,圖1A至圖1C中之45B)。DLI 45B可表示內容消費者裝置14在聲學空間中之虛擬或實際位置,其可經定義為聲學空間中之一或多個裝置座標。內容消費者裝置14可將DLI 45B提供至音訊解碼裝置34。音訊解碼裝置34然後可基於ALI 45A及DLI 45B自音訊串流27選擇音訊資料19'。音訊播放系統16A或16B然後可基於音訊資料19'再現對應的音場。
在此方面中,音訊解碼裝置34可自適應地選擇音訊串流27之子集以獲得可導致更沉浸式體驗的音訊資料19' (與選擇單個音訊串流或所有音訊資料19'相比較)。如此,本發明中所描述之技術的各種態樣可藉由可能使得音訊解碼裝置34能夠較佳地空間化音場內的聲音來源且因此改良沉浸感來改良音訊解碼裝置34 (以及音訊播放系統16A或16B及內容消費者裝置14)本身的操作。
在操作中,音訊解碼裝置34可與一或多個來源裝置12介接以判定關於音訊串流27中之每一者的ALI 45A。如圖1A之實例中所展示,音訊解碼裝置34可包括串流選擇單元44,其可表示經組態以執行本發明中所描述之音訊串流選擇技術的各種態樣的單元。
串流選擇單元44可基於ALI 45A產生群集圖(CM) 47。CM 47可定義關於音訊串流27中之每一者的ALI 45A。串流選擇單元44亦可針對音訊串流27中之每一者執行能量分析,以判定音訊串流27中之每一者判定能量圖,將能量圖連同ALI 45A一起儲存在CM 47中。能量圖可共同定義由音訊串流27表示的共同音場的能量。
串流選擇單元44接下來可判定由DLI 45B表示的裝置位置與由音訊串流27中之至少一者(且可能每一者)相關聯的ALI 45A表示的捕獲位置或合成位置之間的距離。然後,串流選擇單元44可基於(一或多個)距離,自音訊串流27選擇音訊資料19',如下文關於圖3A至圖3E更詳細地論述。
此外,在一些實例中,串流選擇單元44亦可基於儲存至CM 47之能量圖、ALI 45A及DLI 45B (共同地,其中以上文所述距離之形式呈現ALI 45A及DLI 45B:該等距離亦可被稱為「相對距離」)來選擇來自音訊串流27之音訊資料19'。舉例而言,串流選擇單元44可分析在CM 47中呈現的能量圖,以判定共同音場中之音訊來源的音訊來源位置(ASL) 49,該音訊來源發出由麥克風(例如,麥克風18)捕獲的聲音或由音訊串流27合成(諸如藉由合成裝置29)並由其表示。然後,串流選擇單元44可基於ALI 45A、DLI 45B及ASL 49判定來自音訊串流27之音訊資料19'。下文關於圖3A至圖3E論述關於串流選擇單元44如何選擇串流的更多資訊。
圖3A至圖3E為更詳細地說明圖1A之實例中所展示之串流選擇單元44的實例操作的圖。如圖3A之實例中所展示,串流選擇單元44可判定DLI 45B指示內容消費者裝置14 (經展示為VR裝置1100)在虛擬位置300A處。串流選擇單元44接下來可判定音訊元素302A至302J (統稱為音訊元素302)中之一或多者的ALI 45A,音訊元素302A至302J不僅可表示諸如圖1A中所示出的麥克風18的麥克風,而且可表示其他類型的捕獲裝置(包括其他XR裝置)、行動電話(包括所謂智慧型電話)及其類似物,或合成音場等)。
如上文所描述,串流選擇單元44可獲得音訊串流27。串流選擇單元44可與音訊元素302A至302J介接以獲得音訊串流27。在一些實例中,串流選擇單元44可與介面(諸如接收器、傳輸器及/或收發器)互動,以獲得根據第五代(5G)蜂巢式標準、個人區域網路(PAN),諸如Bluetooth™,或其他一些開源、專屬或標準化的通信協定的音訊串流27。在圖3A至圖3E及圖4E至圖4H之實例中,音訊串流之無線通信經表示為閃電,其中所選擇音訊資料19'經展示為自音訊元素302中之所選擇一或多者通信至VR裝置1100。
在任何情況下,串流選擇單元44接下來可以上文所描述方式獲得能量圖,分析能量圖以判定音訊來源位置304,其可表示圖1A之實例中所展示的ASL 49的一個實例。能量圖可表示音訊來源位置304,因為音訊來源位置304處之能量可高於周圍區域。假定能量圖中之每一者可表示此較高能量,則串流選擇單元44可基於能量圖中之較高能量對音訊來源位置304進行三角剖分。
接下來,串流選擇單元44可將音訊來源距離306A判定為音訊來源位置304與VR裝置1100之虛擬位置300A之間的距離。串流選擇單元44可比較音訊來源距離306A與音訊來源距離臨限值。在一些實例中,串流選擇單元44可基於音訊來源308之能量來推導音訊來源距離臨限值。即,當音訊來源308具有較高能量時(或換言之,當音訊來源308較大聲時),串流選擇單元44可增加音訊來源距離臨限值。當音訊來源308具有較高能量時(或換言之,當音訊來源308較安靜時),串流選擇單元44可減少音訊來源距離臨限值。在其他實例中,串流選擇單元44可獲得靜態定義的音訊來源距離臨限值,該音訊來源臨限值可由使用者1102靜態定義或指定。
在任何情況下,串流選擇單元44可在音訊來源距離306A大於音訊來源距離臨限值(其在此實例中出於說明目的而假定)時選擇音訊元素302A至302J (「音訊元素302」)之音訊串流27之單個音訊串流。串流選擇單元44可輸出音訊串流27中之對應者,音訊解碼裝置34可將音訊串流27中之該對應者解碼並輸出作為音訊資料19'。
假設使用者1102自虛擬位置300A移動至虛擬位置300B,串流選擇單元44可將音訊來源距離306B判定為音訊來源位置304與虛擬位置300B之間的距離。在一些實例中,串流選擇單元44可僅在一些可組態釋放時間之後更新,該可組態釋放時間可係指收聽者停止移動之後的時間。
無論如何,串流選擇單元44可再次比較音訊來源距離306B與音訊來源距離臨限值。串流選擇單元44可在音訊來源距離306B小於或等於音訊來源距離臨限值(其在此實例中出於說明目的而假定)時選擇音訊元素302A至302J (「音訊元素302」)之音訊串流27之多個音訊串流。串流選擇單元44可輸出音訊串流27中之對應者,音訊解碼裝置34可將音訊串流27中之該等對應者解碼並輸出作為音訊資料19'。
串流選擇單元44亦可判定虛擬位置300A與由ALI表示之捕獲位置(或合成位置)中之一或多者(且可能為每一者)之間的一或多個接近距離。然後,串流選擇單元44可比較一或多個接近距離與臨限值接近距離。與在一或多個接近距離小於或等於臨限值接近距離時相比,串流選擇單元44可在一或多個接近距離大於臨限值接近距離時選擇較少數目個音訊串流27,以獲得音訊資料19'。然而,與在接近距離大於臨限接近距離值時相比,串流選擇單元44可在接近距離中之一或多者小於或等於臨限值接近距離時選擇較大數目個音訊串流27,以獲得音訊資料19'。
換言之,串流選擇單元44可嘗試選擇音訊串流27中之彼等,使得音訊資料19'最緊密地對準於虛擬位置300B且圍繞虛擬位置300B。接近距離臨限值可定義此臨限值,VR頭戴式耳機1100之使用者1102可設定該臨限值,或串流選擇單元44可再次基於音訊元素302F至302J之品質動態地判定音訊來源308之增益或響度、追蹤資訊41 (例如,以判定使用者1102是否面對音訊來源308)或任何其他因素。
在此方面,當收聽者位於位置300B處時,串流選擇單元44可增加音訊空間化準確度。此外,當收聽者位於位置300A處時,串流選擇單元44可降低位元速率,因為僅音訊元素302A之音訊串流被用於再現音場,而非音訊元素302B至302J的多個音訊串流。
接下來參考圖3B之實例,串流選擇單元44可判定音訊元素302A之音訊串流為損壞的、有雜訊的或不可用的。假定音訊來源距離306A大於音訊來源距離臨限值,根據上文較詳細所描述之技術,串流選擇單元44可自CM 47移除音訊串流並反覆遍歷音訊串流27以選擇音訊串流27中之單個者(例如,圖3B之實例中之音訊元素302B的音訊串流)。
接下來參考圖3C之實例,串流選擇單元44可獲得新音訊串流(音訊元素302K之音訊串流)及包括ALI 45A之對應新資訊(例如,後設資料)。串流選擇單元44可將新音訊串流添加至表示音訊串流27之CM 47。假定音訊來源距離306A大於音訊來源距離臨限值,根據上文較詳細所描述之技術,串流選擇單元44可反覆遍歷音訊串流27以選擇音訊串流27中之單個者(例如,圖3C之實例中之音訊元素302B的音訊串流)。
在圖3D之實例中,音訊元素302經替換為特定實例裝置320A至320J(「裝置320」),其中裝置320A表示專用麥克風320A、而裝置320B、320C、320D、320G、320H及320J表示智慧型電話。裝置320E、320F及320I可表示VR裝置。裝置320中之每一者可包括麥克風,其捕獲欲根據本發明中所描述之串流選擇技術的各種態樣進行選擇的音訊串流27。
在諸多上下文中,存在可對某些人不適當或無禮的音訊串流。舉例而言,在即時體育賽事中,場地中可存在使用無禮語言的人。在一些視訊遊戲中可亦如此。在其他即時事件中,例如會議,可發生敏感的討論。藉助使用授權等級,串流選擇單元44可自對內容消費者裝置14之使用者的播放篩選處或以其他方式排除非所期望或敏感的音訊串流。授權等級可與單個音訊串流或隱私分區(關於圖4C較詳細地論述)相關聯。
授權等級可採用數個不同形式。舉例而言,授權等級可類似於美國電影協會(MPAA)等級,或其可類似於安全許可。
實施授權等級的另一方式可基於聯絡人清單。此聯絡人清單可含有複數個聯絡人,且亦可含有聯絡人中之一或多者的好感度排名(favorability rank或favorability ranking)。一或多個處理器可將聯絡人清單儲存在內容消費者裝置14內的記憶體中。在此實例中,若內容創建者或內容來源在內容消費者裝置14上的聯絡人清單(例如,內容清單中列出的人)內,則滿足授權等級。若內容創建者或內容來源不在內容消費者裝置14上之聯絡人清單內,則不滿足授權等級。在另一實例中,授權等級可基於排名。舉例而言,當聯絡人具有至少預定的好感度排名時,可發生授權。
在一些狀況下,來源裝置12可設定授權等級。舉例而言,在發生敏感討論的會議中,內容創建者或來源可創建並應用一定授權等級,以使得只有具有適當特權的某些人才能聽到彼資訊。對於無適當特權的其他人,串流選擇單元44可篩選出或以其他方式排除關於討論的音訊串流。
在其他狀況下,諸如體育賽事實例,內容消費者裝置14可創建授權等級。如此,使用者可在音訊播放期間排除無禮語言。
圖3E為說明具有三個或多於三個音訊元素之實例音樂會的概念圖。在圖3E之實例中,在舞台323上描繪多個音樂家。歌手312位於音訊元素310A的後面。弦樂部314經描繪位於音訊元素310B後面。鼓手316經描繪位於音訊元素310C的後面。其他音樂家318經描繪位於音訊元素310D的後面。音訊元素310A至301D可包括與麥克風所接收的音相對應的音訊串流。在一些實例中,音訊元素310A至310D可表示合成音訊串流。舉例而言,音訊元素310A可表示主要與歌手312相關聯的一或多個音訊串流,但該一或多個音訊串流亦可包括由其他樂隊成員(諸如,弦樂部314、鼓手316或其他音樂家318)產生的聲音,雖然音訊元素310B可表示主要與弦樂部314相關聯的一或多個音訊串流,但亦可表示由其他樂隊成員產生的聲音。以此方式,音訊元素310A至310D中之每一者可表示不同音訊串流。
亦描繪多個裝置。此等裝置表示位於多個不同收聽位置之使用者裝置。耳機321位於音訊元素310A附近,但在音訊元素310A與音訊元素310B之間。如此,根據本發明之技術,串流選擇單元44可選擇音訊串流中之至少一者以為耳機321之使用者產生類似於使用者位於圖3E中耳機321所位於之位置的音訊體驗。相似地,VR護目鏡322經展示位於音訊元素310C的後面,且在鼓手316與其他音樂家318之間。串流選擇單元44可選擇至少一個音訊串流,以為VR護目鏡322之使用者產生類似於使用者位於圖3E中VR護目鏡322所位於之位置的音訊體驗。
智慧型眼鏡324經展示相當居中地位於音訊元素310A、310C與310D之間。串流選擇單元44可選擇至少一個音訊串流,以為智慧型眼鏡324之使用者產生類似於使用者位於圖3E中智慧型眼鏡324所位於之位置的音訊體驗。另外,裝置326 (其可表示能夠實施本發明之技術的任何裝置,諸如行動手機、揚聲器陣列、耳機、VR護目鏡、智慧型眼鏡等)位於音訊元素310B的前面。串流選擇單元44可選擇至少一個音訊串流,以為裝置326之使用者產生類似於使用者位於圖3E中裝置325所位於之位置的音訊體驗。雖然關於特定位置論述特定裝置,但所描繪之裝置中之任一者可提供與圖3E中所描繪的不同的期望收聽位置的指示。
圖4A為根據本發明之技術說明在圖1A至圖1C之實例中所展示的串流選擇單元的操作之實例的流程圖。內容消費者裝置14之一或多個處理器可在內容消費者裝置14上之記憶體中儲存複數個音訊串流及關於音訊串流中之每一者之授權等級(350)。舉例而言,音訊串流可具有相關聯授權等級。在一些實例中,授權等級可與音訊串流直接相關聯。在一些實例中,授權等級可與相關聯於音訊串流的隱私分區相關聯,且以此方式,音訊串流與授權等級相關聯。在一些實例中,複數個音訊串流以編碼形式儲存。在其他實例中,複數個音訊串流以解碼形式儲存。
在一些實例中,音訊串流之授權等級基於與音訊串流相關聯的位置資訊。舉例而言,音訊解碼裝置34可在記憶體中儲存與聲學空間之座標相關聯的位置資訊,在聲學空間中捕獲或合成複數個音訊串流中之對應者。可基於位置資訊來判定關於複數個音訊串流中之每一者之授權等級。在一些實例中,可在聲學空間中定義複數個隱私分區。每一隱私分區可具有相關聯授權等級。在一些實例中,可基於隱私分區之授權等級來判定關於複數個音訊串流中之至少一者之授權等級,該隱私分區含有捕獲或合成複數個音訊串流中之至少一者的位置。在一些實例中,複數個音訊串流中之至少一者之授權等級等於隱私分區之授權等級,該隱私分區含有捕獲或合成複數個音訊串流中之一者的位置。
內容消費者裝置14之一或多個處理器可基於相關聯授權等級以排除複數個音訊串流中之至少一者的方式來選擇複數個音訊串流之子集(352)。在一些實例中,經排除串流與一或多個隱私分區相關聯。舉例而言,使用者1102可不具有收聽一或多個隱私分區中之音訊來源之授權,且串流選擇單元44之一或多個處理器可自複數個音訊串流之子集排除彼等音訊串流。在一些實例中,串流選擇單元之一或多個處理器可藉由使經排除音訊串流歸零來自複數個音訊串流之子集排除音訊串流。
串流選擇單元44之一或多個處理器可將複數個音訊串流之子集輸出至一或多個揚聲器或耳機(354)。舉例而言,串流選擇單元44之一或多個處理器可將複數個音訊串流之子集輸出至耳機48。
在一些實例中,內容消費者裝置14可自來源裝置12接收授權等級。舉例而言,授權等級可包含於與音訊串流相關聯的後設資料中,或可以其他方式在位元串流27中。在其他實例中,內容消費者裝置之一或多個處理器可產生授權等級。在一些實例中,串流選擇單元44之一或多個處理器可比較與每一音訊串流相關聯的授權等級與關於該裝置或該裝置之使用者(例如,使用者1102)之授權等級,且基於每一音訊串流相關聯的授權等級與關於該裝置或該裝置之使用者之授權等級的比較選擇複數個音訊串流之子集。在一些實例中,授權等級包括多於兩個排名,而非經授權或未經授權。在此類實例中,串流選擇單元44之一或多個處理器可藉由比較複數個音訊串流中之每一者的排名與使用者(例如,使用者1102)的排名且基於該比較來選擇複數個音訊串流之子集來選擇複數個音訊串流之子集。舉例而言,使用者的排名可指示使用者未經授權收聽不同排名的音訊串流,且串流選擇單元44可不選擇此類音訊串流。在其他實例中,授權等級可基於可儲存在內容消費者裝置14之記憶體中之複數個聯絡人。在此類實例中,串流選擇單元44之一或多個處理器可藉由判定複數個音訊串流中之一或多者的來源是否與複數個聯絡人中之一或多者相關聯並基於比較選擇複數個音訊串流之子集來選擇複數個音訊串流之子集。在一些實例中,複數個聯絡人包括好感度排名。在一些實例中,串流選擇單元44之一或多個處理器可藉由判定複數個音訊串流中之一或多者的來源是否與至少預定好感度排名的複數個聯絡人中之一或多者相關聯並基於比較選擇複數個音訊串流之子集來選擇複數個音訊來源之子集。在一些實例中,當隱私分區不具有相關聯授權等級時,內容消費者裝置14可制止對與隱私分區相關聯的音訊串流進行解碼。
在一些實例中,內容消費者裝置14可經組態以接收複數個音訊串流以及關於音訊串流中之每一者之相關聯授權等級。在一些實例中,內容消費者裝置14可經組態以接收關於裝置之使用者之授權等級。在一些實例中,內容消費者裝置14可藉由選擇具有不大於關於該裝置之使用者之所接收授權等級的相關聯授權等級的彼等音訊串流來選擇複數個音訊串流之子集,並將複數個音訊串流之所選擇子集發送至可聽輸出裝置(例如,耳機48),以用於複數個音訊串流之所選擇子集的可聽輸出。
在一些實例中,複數個音訊串流之子集包括基於在由內容消費者裝置14之一或多個處理器解碼的位元串流(例如,位元串流27)中接收的經編碼資訊的再現音訊串流。在其他實例中,音訊串流可未經編碼。
圖4B為根據本發明之技術說明在圖1A至圖1C之實例中所展示的串流選擇單元的操作(4000)之另一實例的流程圖。一或多個處理器可在內容消費者裝置14之記憶體中儲存音訊串流及與音訊串流相關聯的資訊,包括位置資訊及授權等級(400)。在一些實例中,與音訊串流相關聯的資訊可為後設資料。串流選擇單元44可獲得位置資訊(401)。如上文所論述,此位置資訊可與聲學空間中之捕獲座標相關聯。在一些實例中,例如在位置資訊與特定音訊串流相關聯時,串流選擇單元44可藉由自記憶體讀取位置資訊來獲得位置資訊,或在其他實例中,例如在必要時,在位置資訊與隱私分區關聯時,串流選擇單元44可藉由計算位置資訊來獲得位置資訊。
授權等級可與每一音訊串流或隱私分區相關聯(將關於圖4D進行更全面論述)。例如,在即時事件中,可發生敏感討論,或可存在對於某些觀眾使用的不適當語言或正在討論的不適當主題。藉由向每一音訊串流或隱私分區指派授權等級,串流選擇單元44可篩選出相關音訊串流,或以其他方式排除該等音訊串流,以便不再現該等音訊串流。串流選擇單元44可判定串流是否經授權用於使用者1102 (402)。舉例而言,串流選擇單元44可基於與音訊串流相關聯的授權等級(例如,直接地或藉由與具有相關聯授權等級的隱私分區相關聯)來判定音訊串流是否經授權。在一些實例中,授權等級可為排名,如下文關於表1及表2所論述的。在其他實例中,授權等級可基於聯絡人清單。在使用聯絡人清單進行鑑別之實例中,當內容創建者或來源不在聯絡人清單中或不具有足夠高的好感度排名時,串流選擇單元44可篩選出或以其他方式排除音訊串流或隱私分區。
在一個實例中,音訊播放系統16 (出於簡化目的,其可係指音訊播放系統16A或音訊播放系統16B)可允許使用者更動控制授權等級。音訊播放系統16可自使用者1102獲得更動控制至少一個授權等級的請求並判定是否更動控制授權等級(404)。當更動控制授權等級時,串流選擇單元44可選擇或添加音訊串流(403),且音訊串流或隱私分區可經包括在音訊輸出中。當未更動控制授權等級時,各別音訊串流或隱私分區可未經包括在輸出中,例如,串流選擇單元44將不選擇音訊串流(405)。在一些實例中,一些使用者可具有更動控制授權等級的能力,而其他使用者則具有該能力。舉例而言,父母可具有更動控制授權等級的能力,而子女可不具有該能力。在一些實例中,超級使用者可具有更動控制授權等級的能力,而普通使用者則不具有該能力。在一個實例中,音訊播放系統16可向來源裝置12發送訊息,該訊息指示來源裝置12或基地台停止發送經排除音訊串流(409)。以此方式,可節省傳輸頻道內的頻寬。
當使用者對於給定音訊串流或隱私分區不具有足夠授權等級時,串流選擇單元44可排除(例如,不選擇)彼音訊串流或隱私分區。在一個實例中,音訊播放系統16可基於音訊串流或隱私分區之授權等級來改變增益,從而增強或衰減音訊輸出(406)。在一些實例中,音訊播放系統16可將給定音訊串流或隱私分區歸置零或零位調整。音訊解碼裝置34可將兩個或多於兩個所選擇音訊串流組合在一起(407)。所選擇音訊串流的組合可例如藉由混合或內插來完成。音訊解碼裝置34然後可輸出所選擇串流(408)。
圖4C及圖4D為說明關於隱私分區在本發明中所描述之技術的各種態樣的圖。展示靜態音訊來源441,諸如開放式麥克風。靜態音訊來源441可為即時音訊來源或合成音訊來源。亦展示動態音訊來源442,諸如在使用者操作的行動手機中,其中使用者在記錄音訊來源時進行設定。動態音訊來源442可為即時音訊來源或合成音訊來源。靜態音訊來源441及/或動態音訊來源442中之一或多者可捕獲或合成音訊資訊443。來源裝置可將音訊資訊發送至控制器444。控制器444可處理音訊資訊。在圖4C中,控制器444經展示實施在可位於內容消費者裝置14中之處理器449A中。在圖4D中,控制器444經展示實施在可位於來源裝置12A或12B中之處理器450中,而非在可位於內容消費者裝置14中之處理器449B中。舉例而言,控制器444可例如藉由形心及半徑資料將音訊資訊劃分為各別分區(例如,隱私分區),創建音訊串流,及用關於音訊來源441及442之位置的位置資訊及包括分區邊界的分區劃分標記音訊串流。在一些實例中,位置資訊可為後設資料。控制器444可線上或離線執行此等功能。然後,控制器444可藉由單獨鏈路452將位置資訊發送至優先級排序單元445,且藉由鏈路453將音訊串流發送至優先級排序單元445,或可藉由單個鏈路一起發送位置資訊及音訊串流。
在一個實例中,優先級排序單元445可為創建及指派授權等級的位置。舉例而言,優先級排序單元445可判定哪些隱私分區的增益可改變以及哪些隱私分區可經歸零或自呈現排除。
展示更動控制單元446。此更動控制可准許使用者更動控制關於給定隱私分區之授權等級。
內容消費者裝置14可判定使用者位置及定向資訊447,且利用使用者位置及定向資訊447、音訊串流、位置資訊、分區邊界及授權等級來創建呈現448。
圖4E及圖4F為進一步說明根據本發明之諸態樣的隱私分區之概念的圖。使用者460經展示在數群組音訊元素附近,每群組音訊元素表示一音訊串流。在一些實例中,授權哪些音訊串流用於分組而非單獨地創建使用者460之音訊體驗可為有用的。在一些實例中,可存在彼此接近的多個音訊元素。例如,在會議之實例中,經定位彼此接近的多個音訊元素可正接收敏感資訊。因此,可創建隱私分區,且可對與給定隱私分區相關聯的音訊串流中之每一者指派相同授權等級。在一些實例中,授權等級可與給定隱私分區中之每一音訊串流直接相關聯。在其他實例中,授權等級及音訊串流可與隱私分區相關聯。如本發明中所使用,當授權等級被認為與音訊串流相關聯時,授權等級可與音訊串流直接相關聯或可與相關聯於音訊串流的隱私分區相關聯。舉例而言,當本發明指出記憶體可儲存複數個音訊串流及關於音訊串流中之每一者之授權等級時,記憶體可儲存複數個音訊串流,且:1)隱私分區之授權等級以及複數個音訊串流及隱私分區之間的關聯;2)每一音訊串流之授權等級;或3)其任何組合。
來源裝置12可向使用者指派例如可為排名之授權等級。圖4C及圖4D的優先級排序單元445可指派增益、衰減及歸零資訊(例如,後設資料),且在此實例中,為每一隱私分區指派一排名。舉例而言,隱私分區461可含有音訊串流4611、4612及4613。隱私分區462可含有音訊串流4621、4622及4623。隱私分區463可含有音訊串流4631、4632及4633。如表1中所展示,控制器444可將此等音訊串流標記為屬於其各別隱私分區。優先級排序單元445亦可將增益及歸零資訊(例如,後設資料)與音訊串流相關聯。如表1中所表示,G為增益,且N為歸零或排除。在此實例中,使用者460相對於隱私分區461及463具有排名2,但相對於隱私分區462具有排名3。如表中所指示,串流選擇單元44將排除隱私分區462或使隱私分區462歸零,且隱私分區462內之音訊元素(或音訊來源) (例如,音訊串流4621至4623)將不可用於呈現,如圖4E中所展示,除非使用者460要更動控制授權等級,在該狀況下音訊呈現將如圖4F中所展示。雖然授權等級在表1中經展示為排名,但授權等級可其他方式實施,諸如基於聯絡人清單。
分區 標籤 後設資料 排名
461 ,463 4611至4613,4631至4633 G -20dB,N=0 2
462 4621至4623 G – N/A,N=1 3
表1
圖4G及圖4H為說明排除單獨音訊串流而非隱私分區的圖。在此實例中,音訊串流未經叢集處理,而是彼此遠離,且控制器444可單獨標記該等音訊串流,每一音訊串流具有其自己之授權等級。舉例而言,音訊串流471、472、473及474可不含有重疊資訊。在一些實例中,音訊串流471、472、473及474中之每一者可具有不同授權等級。參考表2,在此實例中,控制器444可用單獨授權等級標記音訊串流471、472、473及474中之每一者,且不將其中之任何一個指派至隱私分區。優先級排序單元445可向每一音訊串流指派增益及歸零資訊(例如,後設資料)。在一個實例中,內容消費者裝置14可針對每一音訊串流為使用者指派排名。如在表2中可看到,串流選擇單元44可將音訊串流474自使用者470的呈現歸零或排除,如在圖4G中所展示,除非使用者470更動控制優先級排序,則使用者470的呈現將如圖4H中所展示出現。在其他實例中,如上文所描述,可使用聯絡人清單,而非使用排名作為授權等級。
分區 標籤 後設資料 排名
不適用 471 G = 0dB,N = 0 2
不適用 472 G = 0dB,N = 0 2
不適用 473 G = 0dB,N = 0 2
不適用 474 G = N/A,N = 1 1
表2
圖5為說明可根據本發明中所描述之技術的各種態樣進行操作的可穿戴裝置500之實例的圖。在各種實例中,可穿戴裝置500可表示VR頭戴式耳機(諸如上文所描述VR裝置1100)、AR頭戴式耳機、MR頭戴式耳機或任何其他類型的擴展實境(XR)頭戴式耳機。擴增實境「AR」可係指重疊於使用者實際所位於的真實世界上方的電腦呈現影像或資料。混合實境「MR」可係指經世界鎖定至真實世界中特定位置之電腦呈現影像或資料,或亦可為VR上之一種變體,其中部分電腦呈現之3D元素及部分拍攝的真實元素經組合為模擬使用者在環境中之實際存在的沉浸式體驗。擴展實境「XR」可表示VR、AR及MR的統稱。關於XR術語的更多資訊,請發現於傑遜彼得森(Jason Peterson)於2017年7月7日發佈的標題為「虛擬實境、擴增實境及混合實境定義(Virtual Reality, Augmented Reality, and Mixed Reality Definitions)」的文件。
可穿戴裝置500可表示其他類型的裝置,諸如手錶(包括所謂「智慧型手錶」)、眼鏡(包括所謂的「智慧型眼鏡」)、耳機(包括所謂的「無線耳機」及「智慧型耳機」)、智慧型服裝、智慧型珠寶及其類似物。無論表示VR裝置、手錶、眼鏡及/或耳機,可穿戴裝置500可經由有線連接或無線連接與支援可穿戴裝置500的計算裝置通信。
在一些情況下,支援可穿戴裝置500的計算裝置可經整合在可穿戴裝置500內,且因此可穿戴裝置500可被認為與支援可穿戴裝置500的計算裝置相同的裝置。在其他情況下,可穿戴裝置500可與可支援可穿戴裝置500的單獨計算裝置通信。在此方面,不應將術語「支援」理解為需要單獨專用裝置,而可將經組態以執行本發明中所描述的技術的各種態樣的一或多個處理器可整合在可穿戴裝置500內或整合在與可穿戴裝置500分離的計算裝置內。
例如,當可穿戴裝置500表示VR裝置1100時,單獨的專用計算裝置(諸如包括一或多個處理器的個人電腦)可呈現音訊及視覺內容,而可穿戴裝置500可判定平移頭部運動,在該平移頭部運動時,專用計算裝置可根據本發明中所描述之技術的各種態樣基於平移頭部運動呈現音訊內容(作為揚聲器饋源)。作為另一實例,當可穿戴裝置500表示智慧型眼鏡時,可穿戴裝置500可包括一或多個處理器,該一或多個處理器皆判定平移頭部運動(藉由在可穿戴裝置500之一或多個感測器內介接)並基於所判定平移頭運動呈現揚聲器饋源。
如所展示,可穿戴裝置500包括一或多個定向揚聲器,以及一或多個追蹤及/或記錄相機。另外,可穿戴裝置500包括一或多個慣性、觸覺及/或健康感測器、一或多個眼動追蹤相機、一或多個高敏感度音訊麥克風以及光學器件/投影硬體。可穿戴裝置500之光學/投影硬體可包括耐用的半透明顯示技術及硬體。
可穿戴裝置500亦包括連接性硬體,其可表示支援多模式連接性諸如4G通信、5G通信、藍芽等的一或多個網路介面。可穿戴裝置500亦包括一或多個環境光感測器、一或多個相機及夜視感測器,以及一或多個骨傳導換能器。在一些情況下,可穿戴裝置500亦可包括一或多個帶有魚眼透鏡及/或望遠透鏡的被動及/或主動相機。儘管在圖5中未展示,但可穿戴裝置500亦可包括一或多個發光二極體(LED)燈。在一些實例中,LED燈可被稱為「超亮」LED燈。在一些實施方案中,可穿戴裝置500亦可包括一或多個後置相機。將瞭解,可穿戴裝置500可展現出各種不同的外觀尺寸。
此外,追蹤及記錄相機以及其他感測器可有助於判定平移距離。儘管在圖5之實例中未展示,但可穿戴裝置500可包括用於偵測平移距離的其他類型感測器。
儘管關於可穿戴裝置(諸如上文關於圖2之實例所論述的VR裝置1100及圖1A至圖1C之實例中所闡述的其他裝置)的特定實例進行描述,但熟習此項技術者將應瞭解,與圖1A至圖1C及圖2有關的描述可適用於可穿戴裝置的其他實例。舉例而言,諸如智慧型眼鏡的其他可穿戴裝置可包括感測器,藉由感測器獲得平移頭部運動。作為另一實例,諸如智慧型手錶的其他可穿戴裝置可包括感測器,藉由該等感測器來獲得平移運動。如此,本發明中所描述之技術不應限於特定類型的可穿戴裝置,而任何可穿戴裝置可經組態以執行本發明中所描述之技術。
圖6A及圖6B為說明可執行本發明中所描述之技術的各種態樣之實例系統的圖。圖6A說明其中來源裝置12C進一步包括相機600之實例。相機600可經組態以捕獲視訊資料,且將所捕獲原始視訊資料提供至內容捕獲裝置20。內容捕獲裝置20可將視訊資料提供至來源裝置12C的另一組件,以用於進一步處理成檢視埠劃分部分。
在圖6A之實例中,內容消費者裝置14C亦包括VR裝置1100。將理解,在各種實施方案中,VR裝置1100可經包括在內容消費者裝置14C中或外部耦接至內容消費者裝置14C。VR裝置1100包括顯示硬體及揚聲器硬體,用於輸出視訊資料(例如,與各種檢視埠相關聯)且用於呈現音訊資料。
圖6B說明實例,其中圖6A中所展示的音訊呈現器32經替換為雙耳呈現器42,該雙耳呈現器42能夠使用一或多個HRTF或能夠向左及右揚聲器饋源43呈現的其他功能來執行雙耳呈現。內容消費者裝置14D之音訊播放系統16C可將左及右揚聲器饋源43輸出至耳機48。
耳機48可經由有線連接(諸如標準的3.5 mm音訊插孔,通用系統匯流排(USB)連接、光學音訊插孔或其他形式的有線連接),或無線地(諸如藉由Bluetooth™連接、無線網路連接等)耦接至音訊播放系統16C。耳機48可基於左及右揚聲器饋源43來重新創建由音訊資料19'表示之音場。耳機48可包括左耳機揚聲器及右耳機揚聲器,其由對應左及右揚聲器饋源43供電(或換言之,驅動)。應注意,內容消費者裝置14C及內容消費者裝置14D可與圖1C之來源裝置12B一起使用。
圖7為說明圖1A至圖1C之實例中所展示之來源裝置及內容消費者裝置中之一或多者之實例組件的方塊圖。在圖7之實例中,裝置710包括處理器712 (其可被稱為「一或多個處理器」或「處理器」)、圖形處理單元(GPU) 714、系統記憶體716、顯示器處理器718、一或多個整合式揚聲器740、顯示器703、使用者介面720、天線721及收發器模組722。在裝置710為行動裝置之實例中,顯示器處理器718為行動顯示器處理器(MDP)。在一些實例中,諸如其中裝置710為行動裝置之實例,處理器712、GPU 714及顯示器處理器718可形成為積體電路(IC)。
舉例而言,IC可被認為晶片封裝內的處理晶片,且可為系統單晶片(SoC)。在一些實例中,處理器712、GPU 714及顯示器處理器718中之兩者可一起經容納在同一IC中,且另一者可經容納在不同積體電路(例如,不同的晶片封裝)中,或全部三者可經容納在不同的IC中或在同一IC上。然而,在裝置710為行動裝置之實例中,處理器712、GPU 714及顯示器處理器718全部經容納在不同的積體電路中。
處理器712、GPU 714及顯示器處理器718之實例包括但不限於一或多個數位信號處理器(DSP)、通用微處理器、專用積體電路(ASIC)、現場可程式化邏輯陣列(FPGA)或其他等效的積體或離散邏輯電路系統。處理器712可為裝置710之中央處理單元(CPU)。在一些實例中,GPU 714可為特殊化硬體,其包括為GPU 714提供適合於圖形處理的大規模並行處理能力的積體及/或離散邏輯電路系統。在一些實例中,GPU 714亦包括通用處理能力,且在實施通用處理任務(即,非圖形相關任務)時可被稱為通用GPU (GPGPU)。顯示器處理器718亦可為特殊化積體電路硬體,其經設計以自系統記憶體716擷取影像內容,將影像內容合成為影像訊框,並將該影像訊框輸出至顯示器703。
處理器712可執行各種類型的應用程式。應用程式之實例包括web瀏覽器、電子郵件應用程式、試算表、視訊遊戲、產生可視物件以進行顯示的其他應用程式,或上文更詳細列出的任何應用程式類型。系統記憶體716可儲存用於執行應用程式的指令。處理器712上之應用程式中之一者的執行致使處理器712產生欲顯示的影像內容的圖形資料及欲播放的音訊資料19 (可能經由整合式揚聲器740)。處理器712可基於處理器712傳輸至GPU 714之指令或命令,將影像內容之圖形資料傳輸至GPU 714,以進行進一步處理。
處理器712可根據特定應用處理介面(API)與GPU 714通信。此類API之實例包括Microsoft® 的DirectX® API、克洛納斯(Khronos)集團的OpenGL® 或OpenGL ES® ;然而,本發明之態樣不限於DirectX、OpenGL或OpenCL API,且可擴展至其它類型的API。此外,不需要本發明中所描述的技術根據API起作用,且處理器712及GPU 714可利用任何程序來進行通信。
系統記憶體716可為裝置710之記憶體。系統記憶體716可包括一或多個電腦可讀儲存媒體。系統記憶體716之實例包括但不限於隨機存取記憶體(RAM)、電可擦除可程式化唯讀記憶體(EEPROM)、快閃記憶體或可用於攜帶或儲存呈指令及/或資料結構的所要程式碼且可由電腦或處理器存取的其他媒體。
在一些實例中,系統記憶體716可包括致使處理器712、GPU 714及/或顯示器處理器718執行本發明中賦予處理器712、GPU 714及/或顯示器處理器718的功能的指令。因此,系統記憶體716可為其上儲存有指令的電腦可讀儲存媒體,該等指令在經執行時致使一或多個處理器(例如,處理器712、GPU 714及/或顯示器處理器718)執行各種功能。
系統記憶體716可包括非暫時性儲存媒體。術語「非暫時性」指示儲存媒體不以載波或傳播信號體現。然而,術語「非暫時性」不應解釋為意指系統記憶體716為不可移動或其內容為靜態。作為一個實例,可將系統記憶體716自裝置710移除,且移動至另一裝置。作為另一實例,可將與系統記憶體716大體上相似的記憶體插入至裝置710中。在某些實例中,非暫時性儲存媒體可儲存可隨時間改變的資料(例如,在RAM中)。
使用者介面720可表示一或多個硬體或虛擬(意味著硬體與軟體的組合)使用者介面,使用者可藉由該使用者介面與裝置710介接。使用者介面720可包括物理按鈕、開關、雙態切換開關、指示燈或其虛擬版本。使用者介面720亦可包括物理或虛擬鍵盤、觸控介面(諸如,觸控螢幕、觸覺回饋及其類似物)。
處理器712可包括一或多個硬體單元(包括所謂「處理核心」),其經組態以執行上文關於內容創建者裝置及/或內容消費者裝置之模組、單元或其他功能組件中之任何者中之一或多者所論述操作的全部或一些部分。天線721及收發器模組722可表示經組態以建立及維持來源裝置12與內容消費者裝置14之間的連接的單元。天線721及收發器模組722可表示能夠根據一或多種無線通信協定(諸如,第五代(5G)蜂巢式標準、個人區域網路(PAN)協定,諸如Bluetooth™或其他開源、專屬或其他通信標準)進行無線通信的一或多個接收器及/或一或多個傳輸器。舉例而言,收發器模組722可接收及/或傳輸無線信號。收發器模組722可表示單獨傳輸器、單獨接收器、單獨傳輸器及單獨接收器兩者,或經組合傳輸器及接收器。天線721及收發器模組722可經組態以接收經編碼音訊資料。同樣,天線721及收發器模組722可經組態以傳輸經編碼音訊資料。
圖8A至圖8C為說明在執行串流選擇技術的各種態樣時圖1A至圖1C之實例中所展示之串流選擇單元44的實例操作的流程圖。首先參考圖8A之實例,串流選擇單元44可自所有經啟用音訊元素(亦被稱為接收器)獲得音訊串流27,其中音訊串流27可包括對應資訊(例如,後設資料),諸如ALI 45A (800)。串流選擇單元44可關於音訊串流27中之每一者執行能量分析以計算各別能量圖(802)。
接下來,串流選擇單元44可基於與音訊來源308 (如由音訊來源距離306A及/或306B所定義)及音訊元素(如由上文所論述的接近度距離所定義)的接近度,迭代遍歷音訊元素的不同組合(在CM 47中定義) (步驟804),且程序可返回至802。如圖8A中所展示,音訊元素可經排名或以其他方式與不同存取權限相關聯。串流選擇單元44可以上文所描述的方式基於由DLI 45B表示的收聽者位置(其為指代「虛擬位置」或「裝置位置」的另一方式)及由ALI 45A表示的音訊元素位置來進行迭代以識別是需要音訊串流27之較大子集還是音訊串流27之縮減子集(806、808)。
當需要音訊串流27之較大子集時,串流選擇單元44可向音訊資料19'添加音訊元素,或換言之,額外音訊串流(諸如,當在圖3A之實例中使用者較接近於音訊來源時) (810)。當需要音訊串流27之縮減子集時,串流選擇單元44可自音訊資料19'移除音訊元素,或換言之,現有音訊串流(諸如,當在圖3A之實例中使用者較遠離於音訊來源時) (812)。
在一些實例中,串流選擇單元44可判定音訊元素的當前群集為最佳集合(或換言之,現有音訊資料19'將保持與本文中所描述之選擇程序相同導致相同音訊資料19') (804),且過程可返回到802。然而,當音訊串流經添加至音訊資料19'或自音訊資料19'移除時,串流選擇單元44可更新CM 47 (814),產生群集歷史(815) (包括位置、能量圖等)。
另外,串流選擇單元44可判定隱私設定是啟用還是停用音訊元素的添加(其中隱私設定可係指例如藉由密碼、授權等級或排名、時間等限制對音訊串流27中之一或多者的存取的數位存取權限) (816、818)。當隱私設定啟用添加音訊元素時,串流選擇單元44可將音訊元素添加至經更新CM 47 (其係指將音訊串流添加至音訊資料19') (820)。當隱私設定啟用添加音訊元素時,串流選擇單元44可將音訊元素自經更新CM 47移除(其係指將音訊串流自音訊資料19'移除) (822)。以此方式,串流選擇單元44可識別新的一組經啟用音訊元素(824)。
串流選擇單元44可以此方式進行迭代且根據任何給定頻率來更新各種輸入。舉例而言,串流選擇單元44可以使用者介面速率來更新隱私設定(意指更新係藉由經由使用者介面輸入的更新來驅動)。作為另一實例,串流選擇單元44可以感測器速率更新位置(意味著位置經由音訊元素的移動而改變)。串流選擇單元44可進一步以音訊訊框速率來更新能量圖(意味著每訊框更新能量圖)。
接下來參考圖8B之實例,串流選擇單元44可以上文關於圖8A所描述的方式操作,惟除串流選擇單元44可不使CM 47的判定基於能量圖。如此,串流選擇單元44可從所有啟用的音訊元素獲得音訊串流27,其中音訊串流27可包括諸如ALI 45A的對應資訊(例如,後設資料) (840)。串流選擇單元44可判定隱私設定是啟用還是停用音訊元素的添加(其中隱私設定可係指例如藉由密碼、授權等級或排名、時間等限制對音訊串流27中之一或多者的存取的數位存取權限) (842、844)。
當隱私設定啟用添加音訊元素時,串流選擇單元44可將音訊元素添加至經更新CM 47 (其係指將音訊串流添加至音訊資料19') (846)。當隱私設定啟用添加音訊元素時,串流選擇單元44可將音訊元素自經更新CM 47移除(其係指將音訊串流自音訊資料19'移除) (848)。以此方式,串流選擇單元44可識別新的一組經啟用音訊元素(850)。串流選擇單元44可迭代(852) CM 47中之音訊元素的不同組合,以判定表示音訊資料19'的群集圖歷史(854)。
串流選擇單元44可以此方式進行迭代且根據任何給定頻率來更新各種輸入。舉例而言,串流選擇單元44可以使用者介面速率來更新隱私設定(意指更新係藉由經由使用者介面輸入的更新來驅動)。作為另一實例,串流選擇單元44可以感測器速率更新位置(意味著位置經由音訊元素的移動而改變)。
接下來參考圖8C之實例,串流選擇單元44可上文關於圖8A所描述的方式操作,惟除串流選擇單元44可不使CM 47的判定基於隱私設定啟用的音訊元素。如此,串流選擇單元44可從所有啟用的音訊元素獲得音訊串流27,其中音訊串流27可包括諸如ALI 45A的對應資訊(例如,後設資料) (860)。串流選擇單元44可關於音訊串流27中之每一者執行能量分析以計算各別能量圖(862)。
接下來,串流選擇單元44可基於與音訊來源308的接近度(如由音訊來源距離306A及/或306B所定義)及音訊元素(如由上文所論述的接近度距離所定義)迭代遍歷音訊元素的不同組合(在CM 47中定義) (步驟864),且程序可返回至862。如圖8C中所展示,音訊元素可經排名或以其他方式與不同存取權限相關聯。串流選擇單元44可以上文所描述的方式基於由DLI 45B表示的收聽者位置(其同樣為指代上文所論述的「虛擬位置」或「裝置位置」的另一方式)及由ALI 45A表示的音訊元素位置來進行迭代以識別是需要音訊串流27之較大子集還是音訊串流27之縮減子集(866、868)。
當需要音訊串流27之較大子集時,串流選擇單元44可向音訊資料19'添加音訊元素,或換言之,額外音訊串流(諸如,當在圖3A之實例中使用者較接近於音訊來源時) (870)。當需要音訊串流27之縮減子集時,串流選擇單元44可自音訊資料19'移除音訊元素,或換言之,現有音訊串流(諸如,當在圖3A之實例中使用者較遠離於音訊來源時) (872)。
在一些實例中,串流選擇單元44可判定音訊元素的當前群集為最佳集合(或換言之,現有音訊資料19'將保持與本文中所描述之選擇程序相同導致相同音訊資料19') (864),且過程可返回到862。然而,當音訊串流經添加至音訊資料19'或自音訊資料19'移除時,串流選擇單元44可更新CM 47 (874),產生群集歷史(875)。
串流選擇單元44可以此方式進行迭代且根據任何給定頻率來更新各種輸入。舉例而言,串流選擇單元44可以感測器速率更新位置(意味著隨著位置經由音訊元素的移動而改變)。串流選擇單元44可進一步以音訊訊框速率來更新能量圖(意味著每訊框更新能量圖)。
應認識到,取決於實例,本文中所描述之諸技術中之任一者的特定動作或事件可以不同順序執行,可經添加、合併或完全省去(例如,並非所有所描述動作或事件為實踐技術所必需的)。此外,在某些實例中,可(例如)經由多執行緒處理、中斷處理或多處理器同時地而非依序地執行動作或事件。
在一些實例中,VR裝置(或串流化裝置)可使用耦接至VR/串流化裝置的記憶體的網路介面來將交換訊息傳遞至外部裝置,其中交換訊息與音場的多個可用表示相關聯。在一些實例中,VR裝置可使用耦接至網路介面的天線來接收無線信號,該無線信號包括與音場的多個可用表示相關聯的資料封包、音訊封包、視訊封包或傳輸協定資料。在一些實例中,一或多個麥克風陣列可捕獲音場。
在一些實例中,儲存至記憶體裝置的音場的多個可用表示可包括音場的複數個基於物件之表示、音場的高階球形環繞聲表示、音場的混合階球形環繞聲表示、音場的基於物件之表示與音場的高階球形環繞聲表示的組合、音場的基於物件之表示與音場的混合階球形環繞聲表示的組合,或音場的基於混合階表示與音場的高階球形環繞聲表示的組合。
在一些實例中,音場的多個可用表示中之音場表示中之一或多者可包括至少一個高解析度區域及至少一個較低解析度區域,且其中基於轉向角的所選擇表示提供關於至少一個高解析度區域的較大空間精度及關於較低解析度區域的較低空間精度。
圖9說明根據本發明之諸態樣的支援雙隱私限制之無線通信系統100之實例。無線通信系統100包括基地台105、UE 115及核心網路130。在一些實例中,無線通信系統100可為長期演進(LTE)網路、高級LTE (LTE-A)網路、LTE-A專業版網路、第五代(5G)蜂巢式網路或新的無線電(NR)網路。在一些狀況下,無線通信系統100可支援增強型寬頻通信、超可靠(例如,關鍵任務)通信、低延時通信或與低成本且低複雜度裝置之通信。
基地台105可經由一或多個基地台天線而與UE 115以無線方式通信。本文中所描述之基地台105可包括或可被熟習此項技術者稱為基地收發器台、無線電基地台、存取點、無線電收發器、NodeB、eNodeB (eNB)、下一代NodeB或十億NodeB (其中任一者可被稱為gNB)、本籍NodeB、本籍eNodeB或某一些其他合適的術語。無線通信系統100可包括不同類型之基地台105 (例如,巨型小區基地台或小型小區基地台)。本文中所描述之UE 115可能夠與各種類型之基地台105及包括巨型eNB、小型小區eNB、gNB、中繼基地台及其類似物之網路設備進行通信。
每一基地台105可與特定地理涵蓋區110相關聯,在該特定地理涵蓋區110中支援與各種UE 115之通信。每一基地台105可經由通信鏈路125為各別地理涵蓋區110提供通信涵蓋範圍,且基地台105與UE 115之間的通信鏈路125可利用一或多個載波。無線通信系統100中展示之通信鏈路125可包括自UE 115至基地台105之上行鏈路傳輸,或自基地台105至UE 115之下行鏈路傳輸。下行鏈路傳輸亦可被稱為前向鏈路傳輸而上行鏈路傳輸亦可被稱為反向鏈路傳輸。
基地台105之地理涵蓋區110可經劃分為僅構成地理涵蓋區110之一部分的扇區,且每一扇區可與小區相關聯。舉例而言,每一基地台105可為巨型小區、小型小區、熱點或其他類型之小區或其各種組合提供通信涵蓋範圍。在一些實例中,基地台105可為可移動的且因此為移動地理覆蓋範圍區域110提供通信覆蓋範圍。在一些實例中,與不同技術相關聯的不同地理涵蓋區110可重疊,且可由同一基地台105或不同基地台105來支援與不同技術相關聯的重疊地理涵蓋區110。無線通信系統100可包括例如異質LTE/LTE-A/LTE-A專業版、5G蜂巢式或NR網路,其中不同類型的基地台105為各種地理涵蓋區110提供覆蓋範圍。
UE 115可分散在整個無線通信系統100,且每一UE 115可為靜止或行動的。UE 115亦可被稱為行動裝置、無線裝置、遠端裝置、手持式裝置或用戶裝置,或一些其他合適的術語,其中「裝置」亦可被稱為單元、台、終端機或用戶端。UE 115亦可為個人電子裝置,諸如蜂巢式電話、個人數位助理(PDA)、平板電腦、膝上型電腦或個人電腦。在本發明之實例中,UE 115可為本發明中描述之音訊來源中之任一者,包括VR頭戴式耳機、XR頭戴式耳機、AR頭戴式耳機、運載工具、智慧型電話、麥克風,麥克風陣列或包括麥克風的任何其他裝置,或能夠傳輸所捕獲及/或合成的音訊串流。在一些實例中,合成的音訊串流可為儲存在記憶體中或先前所創建或合成的音訊串流。在一些實例中,UE 115亦可係指無線本地迴路(WLL)台、物聯網(IoT)裝置、萬物聯網(IoE)裝置或機器型通信(MTC)裝置或其類似物,其可實施在諸如電器、運輸載具、儀錶或其類似物之各種物件中。
諸如MTC或IoT裝置之一些UE 115可為低成本或低複雜度裝置,且可提供機器之間的自動通信(例如,經由機器對機器(M2M)通信)。M2M通信或MTC可係指允許裝置在無人為干預的情況下彼此通信或與基地台105通信之資料通信技術。在一些實例中,M2M通信或MTC可包括來自裝置的通信,該裝置交換及/或使用指示隱私分區及/或授權等級影響各種音訊串流及/或音訊來源的增益及/或歸零的資訊(例如,後設資料),如關於圖4A至圖4H所描述。
在一些狀況下,UE 115亦能夠與其他UE 115直接通信(例如,使用同級間(P2P)或裝置對裝置(D2D)協定)。利用D2D通信的一群組UE 115中之一或多者可在基地台105的地理涵蓋區110內。此群組中之其他UE 115可在基地台105之地理涵蓋區110之外,或以其他方式不能接收來自基地台105之傳輸。在一些情況下,經由D2D通信進行通信的UE 115群組可利用一對多(1:M)系統,其中每一UE 115傳輸至群組中之每個其他UE 115。在一些狀況下,基地台105促進用於D2D通信之資源的排程。在其他狀況下,在UE 115之間實施D2D通信而不涉及基地台105。
基地台105可與核心網路130通信且彼此通信。例如,基地台105可經由空載傳輸鏈路132 (例如,經由S1、N2、N3或其他介面)與核心網路130介接。基地台105可經由空載傳輸鏈路134 (例如,經由X2、Xn或其他介面)直接(例如,直接在基地台105之間)或間接(例如,經由核心網路130)彼此通信。
在一些狀況下,無線通信系統100可利用經許可及未經許可之無線電頻譜帶兩者。舉例而言,無線通信系統100可在諸如5 GHz工業、科學、醫療(ISM)頻帶之未經許可頻帶中使用許可協助存取(LAA)、LTE-未經許可(LTE-U)無線電存取技術或NR技術。當在未經許可之無線電頻譜帶中操作時,諸如基地台105及UE 115之無線裝置可使用先聽後送(LBT)程序以確保在傳輸資料之前清除頻道。在一些狀況下,未經許可之頻帶中之操作可基於載波聚合組態以及在經許可頻帶(例如,LAA)中操作之組成載波。未經許可頻譜中之操作可包括下行鏈路傳輸、上行鏈路傳輸、同級間傳輸或此等之組合。未經許可頻譜中之雙工可基於分頻雙工(FDD)、分時雙工(TDD)或兩者之組合。
本發明包括以下實例。
實例1. 一種經組態以播放複數個音訊串流中之一或多者的裝置,該裝置包含:一記憶體,其經組態以儲存該複數個音訊串流及包括關於該等音訊串流中之每一者之一授權等級的對應音訊後設資料,以及與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲該複數個音訊串流中之該對應者;及一或多個處理器,其耦接至該記憶體,且經組態以:基於該音訊後設資料中之該授權等級及該位置資訊,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例2. 如實例1之裝置,其中該一或多個處理器經進一步組態以獲得該位置資訊。
實例3. 如實例2之裝置,其中該一或多個處理器藉由自該記憶體讀取該位置資訊來獲得該位置資訊。
實例4. 如實例2之裝置,其中經排除串流與一或多個隱私分區相關聯,且該一或多個處理器藉由判定該位置資訊來獲得該位置資訊。
實例5. 如實例1至4之任何組合之裝置,其中該一或多個處理器經進一步組態以將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例6. 如實例1至5之任何組合之裝置,其中該一或多個處理器經進一步組態以基於該音訊後設資料中之該授權等級來改變該複數個音訊串流之該子集中之一或多個音訊串流的一增益。
實例7. 如實例1至6之任何組合之裝置,其中一或多個微處理器經進一步組態以基於該音訊後設資料中之該授權等級以及與該聲學空間之該等座標相關聯的該位置資訊來判定一隱私分區。
實例8. 如實例7之裝置,其中該一或多個微處理器經進一步組態以藉由獲得該隱私分區來判定該隱私分區。
實例9. 如實例1至6之任何組合之裝置,其中該一或多個微處理器經進一步組態以基於該音訊後設資料中之該授權等級以及與該聲學空間之該等座標相關聯的該位置資訊來產生一隱私分區。
實例10.    如實例1至9之任何組合之裝置,其中該一或多個微處理器經進一步組態以向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例11.    如實例1至10之任何組合之裝置,其中該一或多個處理器經進一步組態以組合該複數個音訊串流之該子集中之至少兩者。
實例12.    如實例11之裝置,其中該一或多個處理器藉由混合或內插中之至少一者來組合該複數個音訊串流之該子集中之該至少兩者。
實例13.    如實例1至12之任何組合之裝置,其中該一或多個處理器經進一步組態以更動控制該音訊後設資料中之該授權等級。
實例14.    如實例13之裝置,其中該一或多個處理器經組態以:基於該音訊後設資料中之該授權等級經更動控制,將該複數個音訊串流輸出至一或多個揚聲器。
實例15.    如實例1至14之任何組合之裝置,其中該音訊後設資料中之該授權等級係自一來源裝置接收。
實例16.    如實例1至15之任何組合之裝置,其中該一或多個處理器經進一步組態以產生該音訊後設資料中之該授權等級。
實例17.    如實例1至16之任何組合之裝置,進一步包含一顯示裝置。
實例18.    如實例17之裝置,其進一步包含一麥克風,其中該一或多個處理器經進一步組態以自該麥克風接收一語音命令,並基於該語音命令控制該顯示裝置。
實例19.    如實例1至18之任何組合之裝置,其進一步包含一或多個揚聲器。
實例20.    如實例1至19之任何組合之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
實例21.    如實例1至19之任何組合之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含一虛擬世界。
實例22.    如實例1至21之任何組合之裝置,其進一步包含經組態以呈現該聲學空間的一頭戴式裝置。
實例23.    如實例1至19之任何組合之裝置,其中該裝置包含一行動手機。
實例24.    如實例1至23之任何組合之裝置,其進一步包含一無線收發器,該無線收發器耦接至該一或多個處理器且經組態以接收一無線信號。
實例25.    如實例24之裝置,其中該無線信號為藍芽。
實例26.    如實例24之裝置,其中該無線信號符合第五代(5G)蜂巢式協定。
實例27.    一種播放複數個音訊串流中之一或多者的方法,該方法包含:藉由一記憶體儲存該複數個音訊串流及包括關於該等音訊串流中之每一者之一授權等級的對應音訊後設資料,以及與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲該複數個音訊串流中之該對應者;及藉由該一或多個處理器且基於該音訊後設資料之該授權等級及該位置資訊,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例28.    如實例27之方法,其進一步包含由該一或多個處理器獲得該位置資訊。
實例29.    如實例28之方法,其中該獲得該位置資訊係藉由自該記憶體讀取該位置資訊。
實例30.    如實例28之方法,其中該獲得該位置資訊係藉由判定該位置資訊,且其中經排除串流與一或多個隱私分區相關聯。
實例31.    如實例27至30之任何組合之方法,其進一步包含藉由該一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例32.    如實例27至31之任何組合之方法,其進一步包含藉由該一或多個處理器基於該音訊後設資料中之該授權等級來改變該複數個音訊串流之該子集內之一或複數個音訊串流的一增益。
實例33.    如實例27至32之任何組合之方法,其進一步包含藉由該一或多個處理器基於該音訊後設資料中之該授權等級以及與該聲學空間的該等座標相關聯的該位置資訊來判定一隱私分區。
實例34.    如實例33之方法,其中該判定該隱私分區係藉由獲得該隱私分區。
實例35.    如實例27至34之任何組合之方法,其進一步包含藉由該一或多個處理器基於該音訊後設資料中之該授權等級以及與該聲學空間的該等座標相關聯的該位置資訊來產生一隱私分區。
實例36.    如實例27至35之任何組合之方法,其進一步包含藉由該一或多個處理器向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例37.    如實例27至36之任何組合之方法,其進一步包含藉由該一或多個處理器,組合該複數個音訊串流之該子集中之至少兩者。
實例38.    如實例37之方法,其中該組合該複數個音訊串流之該子集中之該至少兩者係藉由混合或內插中之至少一者。
實例39.    如實例27至38之任何組合之方法,其進一步包含藉由該一或多個處理器更動控制該音訊後設資料中之該授權等級。
實例40.    如實例39之方法,其進一步包含藉由該一或多個處理器基於該音訊後設資料中之該授權等級經更動控制將該複數個音訊串流輸出至一或多個揚聲器。
實例41.    如實例27至40的任何組合之方法,其進一步包含自一來源裝置接收該授權等級。
實例42.    如實例27至41之任何組合之方法,其進一步包含藉由該一或多個處理器產生該授權等級。
實例43.    如實例27至42之任何組合之方法,其進一步包含自一麥克風接收一語音命令,且基於該語音命令控制一顯示裝置。
實例44.    如實例27至43之任何組合之方法,其進一步包含將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例45.    如實例27至44之任何組合之方法,其中對一擴展實境頭戴式耳機執行該方法,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
實例46.    如實例27至45之任何組合之方法,其中對一擴展實境頭戴式頭戴式耳機執行該方法,且其中該聲學空間包含一虛擬世界。
實例47.    如實例27至46之任何組合之方法,其中對經組態以呈現該聲學空間的一頭戴式裝置執行該方法。
實例48.    如實例27至47之任何組合之方法,其中對一行動手機執行該方法。
實例49.    如實例27至48之任何組合之方法,其進一步包含接收一無線信號。
實例50.    如實例49之方法,其中該無線信號為藍芽。
實例51.    如實例49之裝置,其中該無線信號符合第五代(5G)蜂巢式協定。
實例52.    一種經組態以播放複數個音訊串流中之一或多者的裝置,該裝置包含:用於儲存該複數個音訊串流及包括關於該等音訊串流中之每一者之一授權等級的對應音訊後設資料,以及與一聲學空間之座標相關聯的位置資訊的構件,在該聲學空間中捕獲該複數個音訊串流中之該對應者;及用於基於該音訊後設資料中之該授權等級及該位置資訊選擇該複數個音訊串流之一子集的構件,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例53.    如實例52之裝置,其進一步包含用於獲得該位置資訊的構件。
實例54.    如實例53之裝置,其中該獲得該位置資訊係藉由自該記憶體讀取該位置資訊。
實例55.    如實例53之裝置,其中該獲得該位置資訊係藉由判定該位置資訊,且其中經排除串流與一或多個隱私分區相關聯。
實例56.    如實例52至55之任何組合之裝置,其進一步包含用於將該複數個音訊串流之該子集輸出至一或多個揚聲器的構件。
實例57.    如實例52至56之任何組合之裝置,其進一步包含用於基於該音訊後設資料中之該授權等級來改變該複數個音訊串流之該子集內之音訊串流中之一或多者的一增益的構件。
實例58.    如實例52至57之任何組合之裝置,其進一步包含用於基於該音訊後設資料中之該授權等級以及與該聲學空間的該等座標相關聯的該位置資訊來判定一隱私分區的構件。
實例59.    如實例58之裝置,其中該判定該隱私分區係藉由獲得該隱私分區。
實例60.    如實例52至59之任何組合之裝置,其進一步包含用於基於該音訊後設資料中之該授權等級以及與該聲學空間的該等座標相關聯的該位置資訊來產生一隱私分區的構件。
實例61.    如實例52至60之任何組合之裝置,其進一步包含用於向一來源裝置或基地台中之至少一者發送一信號的構件,該信號指示停止發送經排除音訊串流。
實例62.    如實例52至61之任何組合之裝置,其進一步包含用於組合該複數個音訊串流之該子集中之至少兩者的構件。
實例63.    如實例62之裝置,其中該組合該複數個音訊串流之該子集中之該至少兩者係藉由混合或內插中之至少一者。
實例64.    如實例52至63之任何組合之裝置,其進一步包含用於更動控制該音訊後設資料中之該授權等級的構件。
實例65.    如實例64之裝置,其進一步包含用於基於該音訊後設資料中之該授權等級經更動控制將該複數個音訊串流輸出至一或多個揚聲器的構件。
實例66.    如實例52至65之任何組合之裝置,其進一步包含用於自一來源裝置接收該授權等級的構件。
實例67.    如實例52至66之任何組合之裝置,其進一步包含用於產生該授權等級的構件。
實例68.    如實例52至67之實例及其組合,其進一步包含用於自一麥克風接收一語音命令的構件,及用於基於該語音命令控制一顯示裝置的構件。
實例69.    如實例52至68之任何組合之裝置,其進一步包含用於將該複數個音訊串流之該子集輸出至一或多個揚聲器的構件。
實例70.    如實例52至69之任何組合之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
實例71.    如實例52至70之任何組合之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含一虛擬世界。
實例72.    如實例52至71之任何組合之裝置,其中該裝置包含經組態以呈現該聲學空間的一頭戴式裝置。
實例73.    如實例52至69之任何組合之裝置,其中該裝置包含一行動手機。
實例74.    如實例52至73之任何組合之裝置,其進一步包含用於接收一無線信號的構件。
實例75.    如實例74之裝置,其中該無線信號為藍芽。
實例76.    如實例74之裝置,其中該無線信號符合第五代(5G)蜂巢式協定。
實例77.    一種非暫時性電腦可讀儲存媒體,其上儲存有指令,該等指令在經執行時致使一或多個處理器:儲存該複數個音訊串流及包括關於該等音訊串流中之每一者之一授權等級的對應音訊後設資料,以及與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲該複數個音訊串流中之該對應者;及基於該音訊後設資料中之該授權等級及該位置資訊選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例78.    如實例77之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器獲得該位置資訊。
實例79.    如實例78之非暫時性電腦可讀儲存媒體,其中該一或多個處理器藉由自該記憶體讀取該位置資訊來獲得該位置資訊。
實例80.    如實例78之非暫時性電腦可讀儲存媒體,其中經排除串流與一或多個隱私分區相關聯,且該一或多個處理器藉由判定該位置資訊來獲得該位置資訊。
實例81.    如實例77至80之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例82.    如實例77至81之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於音訊後設資料中之該授權等級來改變該複數個音訊串流之該子集中之一或多個音訊串流的一增益。
實例83.    如實例77至82之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於該音訊後設資料中之該授權等級及與該聲學空間之該等座標相關聯的該位置資訊來判定一隱私分區。
實例84.    如實例83之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器藉由獲得該隱私分區來判定該隱私分區。
實例85.    如實例77至84之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於該音訊後設資料中之該授權等級及與該聲學空間之該等座標相關聯的該位置資訊來生成一隱私分區。
實例86.    如實例77至85之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器向一來源裝置或基地台中之至少一者發送一信號以指示停止發送經排除資訊。
實例87.    如實例77至86之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器組合該複數個音訊串流之該子集中之至少兩者。
實例88.    如實例87之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器藉由混合或內插中之至少一者來組合該複數個音訊串流之該子集中之該至少兩者。
實例89.    如實例77至88之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器更動控制該音訊後設資料中之該授權等級。
實例90.    如實例89之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時基於該音訊後設資料中之該授權等級經更動控制將該複數個音訊串流輸出至一或多個揚聲器。
實例91.    如實例77至90之任何組合之非暫時性電腦可讀儲存媒體,其中該音訊後設資料中之該授權等級係自一來源裝置接收。
實例92.    如實例77至91之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器產生該音訊後設資料中之該授權等級。
實例93.    如實例77至92中任一者之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於一語音命令來控制一顯示裝置。
實例94.    如實例77至93之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例95.    如實例77至95之任何組合之非暫時性電腦可讀儲存媒體,其中該聲學空間包含藉助由一相機捕獲之視訊資料表示的一場景。
實例96.    如實例77至95之任何組合之非暫時性電腦可讀儲存媒體,其中該聲學空間包含一虛擬世界。
實例97.    如實例77至96之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器在一頭戴式裝置上呈現該聲學空間。
實例98.    如實例77至96之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器在一行動手機上呈現該聲學空間。
實例99.    如實例77至98之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器接收一無線信號。
實例100.  如實例99之非暫時性電腦可讀儲存媒體,其中該無線信號為藍芽。
實例101.  如實例99之非暫時性電腦可讀儲存媒體,其中該無線信號符合第五代(5G)蜂巢式協定。
實例102.  一種經組態以播放源自一來源的複數個音訊串流中之一或多者的裝置,該裝置包含:一記憶體,其經組態以儲存複數個聯絡人,該複數個音訊串流及對應音訊後設資料,以及與一聲學空間的座標相關聯的位置資訊,在該聲學空間中捕獲該複數個音訊串流中之該對應一者;及一或多個處理器,其耦接至該記憶體,且經組態以:判定該來源是否與該複數個聯絡人中之一者相關聯;以及當該來源不與該複數個聯絡人中之一者相關聯時,基於該位置資訊,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例103.  如實例102之裝置,其中該一或多個處理器經進一步組態以獲得該位置資訊。
實例104.  如實例102至103之任何組合之裝置,其中該一或多個處理器經進一步組態以將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例105.  如實例102至104之任何組合之裝置,其中該一或多個處理器經進一步組態以基於該來源是否與該複數個聯絡人中之一者相關聯來改變該複數個音訊串流之該子集的一增益。
實例106.  如實例102至105之任何組合之裝置,其中一或多個微處理器經進一步經組態以獲得一隱私分區。
實例107.  如實例102至105之任何組合之裝置,其中該一或多個微處理器經進一步組態以基於該來源是否不與該複數個聯絡人中之一者相關聯以及與該聲學空間之該等座標相關聯的該位置資訊來判定一隱私分區。
實例108.  如實例102至107之任何組合之裝置,其中該一或多個微處理器經進一步組態以基於該來源是否不與該複數個聯絡人中之一者相關聯以及與該聲學空間之該等座標相關聯的該位置資訊來產生一隱私分區。
實例109.  如實例102至108之任何組合之裝置,其中該一或多個微處理器經進一步組態以向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例110.  如實例102至109之任何組合之裝置,其中該一或多個處理器經進一步組態以組合該複數個音訊串流之該子集中之至少兩者。
實例111.  如實例110之裝置,其中該一或多個處理器藉由混合或內插中之至少一者來組合該複數個音訊串流之該子集中之該至少兩者。
實例112.  如實例102至111之任何組合之裝置,其中該一或多個微處理器經進一步組態以向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例113.  如實例102至112之任何組合之裝置,其中該複數個聯絡人包含好感度排名。
實例114.  如實例113之裝置,其中該一或多個處理器經進一步組態以:判定該來源裝置是否與具有至少一預定好感度排名的該複數個聯絡人中之一者相關聯;且當該來源不與具有至少該預定好感度排名的該複數個聯絡人中之一者相關聯時,選擇該複數個音訊串流之該子集。
實例115.  如實例102至114之任何組合之裝置,其進一步包含一顯示裝置。
實例116.  如實例102至115之任何組合之裝置,其進一步包含一麥克風,其中該一或多個處理器經進一步組態以自該麥克風接收一語音命令,並基於該語音命令控制該顯示裝置。
實例117.  如實例102至116之任何組合之裝置,其進一步包含一或多個揚聲器。
實例118.  如實例102至117之任何組合之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
實例119.  如實例102至117之任何組合之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含一虛擬世界。
實例120.  如實例102至119之任何組合之裝置,其進一步包含經組態以呈現該聲學空間的一頭戴式裝置。
實例121.  如實例102至117之任何組合之裝置,其中該裝置包含一行動手機。
實例122.  如實例102至121之任何組合之裝置,其進一步包含一無線收發器,該無線收發器耦接至該一或多個處理器且經組態以接收一無線信號。
實例123.  如實例122之裝置,其中該無線信號為藍芽。
實例124.  如實例122之裝置,其中該無線信號符合第五代(5G)蜂巢式協定。
實例125.  一種播放源自一來源的複數個音訊串流中之一或多者的方法,該方法包含:藉由一記憶體儲存複數個聯絡人,該複數個音訊串流及對應音訊後設資料,以及與一聲學空間的座標相關聯的位置資訊,在該聲學空間中捕獲該複數個音訊串流中之該對應一者;及判定該來源是否與該複數個聯絡人中之一者相關聯;以及當該來源不與該複數個聯絡人中之一者相關聯時,藉由該一或多個處理器且基於該位置資訊,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例126.  如實例125之方法,其進一步包含由該一或多個處理器獲得該位置資訊。
實例127.  如實例125至126之任何組合之方法,其進一步包含藉由該一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例128.  如實例125至127之任何組合之方法,其進一步包含:藉由該一或多個處理器基於該來源是否與該複數個聯絡人中之一者相關聯來改變該複數個音訊串流之該子集的一增益。
實例129.  如實例125至128之任何組合之方法,其進一步包含藉由該一或多個處理器獲得一隱私分區。
實例130.  如實例125至129之任何組合之方法,其進一步包含藉由該一或多個處理器基於該來源是否未與該複數個聯絡人中之一者相關聯以及與該聲學空間的該等座標相關聯的該位置資訊來判定一隱私分區。
實例131.  如實例125至130之任何組合之方法,其進一步包含藉由該一或多個處理器基於該來源是否未與該複數個聯絡人中之一者相關聯以及與該聲學空間的該等座標相關聯的該位置資訊來產生一隱私分區。
實例132.  如實例125至131之任何組合之方法,其進一步包含向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例133.  如實例125至132之任何組合之方法,其進一步包含藉由該一或多個處理器,組合該複數個音訊串流之該子集中之至少兩者。
實例134.  如實例133之方法,其中該組合該複數個音訊串流之該子集中之該至少兩者係藉由混合或內插中之至少一者。
實例135.  如實例125至134之任何組合之方法,其進一步包含藉由該一或多個處理器向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例136.  如實例125至135之任何組合之方法,其中該複數個聯絡人包含好感度排名。
實例137.  如實例136之方法,其進一步包含:藉由該一或多個處理器判定該來源裝置是否與具有至少一預定好感度排名的該複數個聯絡人中之一者相關聯;且當該來源不與具有至少該預定好感度排名的該複數個聯絡人中之一者相關聯時,選擇該複數個音訊串流之該子集。
實例138.  如實例125至137之任何組合之方法,其進一步包含自一麥克風接收一語音命令,且藉由該一或多個處理器基於該語音命令來控制一顯示裝置。
實例139.  如實例125至138之任何組合之方法,其進一步包含將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例140.  如實例125至139之任何組合之方法,其中該聲學空間包含藉助由一相機捕獲之視訊資料表示的一場景。
實例141.  如實例125至139之任何組合之方法,其中該聲學空間包含一虛擬世界。
實例142.  如實例125至141之任何組合之方法,其進一步包含將該聲學空間呈現在一頭戴式裝置上。
實例143.  如實例125至139之任何組合之方法,其中對一行動手機執行該方法。
實例144.  如實例125至143之任何組合之方法,其進一步包含接收一無線信號。
實例145.  如實例144之方法,其中該無線信號為藍芽。
實例146.  如實例144之裝置,其中該無線信號符合第五代(5G)蜂巢式協定。
實例147.  一種經組態以播放源自一來源的複數個音訊串流中之一或多者的裝置,該裝置包含:用於儲存複數個聯絡人,該複數個音訊串流及對應音訊後設資料,以及與一聲學空間的座標相關聯的位置資訊的構件,在該聲學空間中捕獲該複數個音訊串流中之該對應一者;及用於判定該來源是否與該複數個聯絡人中之一者相關聯的構件;以及用於當該來源不與該複數個聯絡人中之一者相關聯時,基於該位置資訊,選擇該複數個音訊串流之一子集的構件,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例148.  如實例147之裝置,其進一步包含用於獲得該位置資訊的構件。
實例149.  如實例147至148之任何組合之裝置,其進一步包含用於將該複數個音訊串流之該子集輸出至一或多個揚聲器的構件。
實例150.  如實例147至149之任何組合之裝置,其進一步包含用於基於該來源是否與該複數個聯絡人中之一者相關聯來改變該複數個音訊串流之該子集的一增益的構件。
實例151.  如實例147至150之任何組合之裝置,其進一步包含用於獲得一隱私分區的構件。
實例152.  如實例147至151之任何組合之裝置,其進一步包含用於基於該來源是否未與該複數個聯絡人中之一者相關聯以及與該聲學空間的該等座標相關聯的該位置資訊來判定一隱私分區的構件。
實例153.  如實例147至152之任何組合之裝置,其進一步包含用於基於該來源是否未與該複數個聯絡人中之一者相關聯以及與該聲學空間的該等座標相關聯的該位置資訊來產生一隱私分區的構件。
實例154.  如實例147至153之任何組合之裝置,其進一步包含用於向一來源裝置或基地台中之至少一者發送一信號的構件,該信號指示停止發送經排除音訊串流。
實例155.  如實例147至154之任何組合之裝置,其進一步包含用於組合該複數個音訊串流之該子集中之至少兩者的構件。
實例156.  如實例155之裝置,其中該組合該複數個音訊串流之該子集中之該至少兩者係藉由混合或內插中之至少一者。
實例157.  如實例147至156之任何組合之裝置,其進一步包含用於向一來源裝置或基地台中之至少一者發送一信號的構件,該信號指示停止發送經排除音訊串流。
實例158.  如實例147至157之任何組合之裝置,其中該複數個聯絡人包含好感度排名。
實例159.  如實例158之裝置,其進一步包含:用於判定該來源裝置是否與具有至少一預定好感度排名的該複數個聯絡人中之一者相關聯的構件;及當該來源不與具有至少該預定好感度排名的該複數個聯絡人中之一者相關聯時,用於選擇該複數個音訊串流之該子集的構件。
實例160.  如實例147至159之任何組合之裝置,其進一步包含用於自一麥克風接收一語音命令的構件,及用於基於該語音命令控制一顯示裝置的構件。
實例161.  如實例147至160之任何組合之裝置,其進一步包含用於將該複數個音訊串流之該子集輸出至一或多個揚聲器的構件。
實例162.  如實例147至161之任何組合之裝置,其中該聲學空間包含藉助由一相機捕獲之視訊資料表示的一場景。
實例163.  如實例147至161之任何組合之裝置,其中該聲學空間包含一虛擬世界。
實例164.  如實例147至163之任何組合之裝置,其進一步包含用於在一頭戴式裝置上呈現該聲學空間的構件。
實例165.  如實例147至164之任何組合之裝置,其進一步包含用於在一相對手機上呈現該聲學空間的構件。
實例166.  如實例147至165之任何組合之裝置,其進一步包含用於接收一無線信號的構件。
實例167.  如實例166之裝置,其中該無線信號為藍芽。
實例168.  如實例166之裝置,其中該無線信號符合第五代(5G)蜂巢式協定。
實例169.  一種非暫時性電腦可讀儲存媒體,其上儲存有指令,該等指令在經執行時致使一或多個處理器:儲存複數個聯絡人,該複數個音訊串流及對應音訊後設資料,以及與一聲學空間的座標相關聯的位置資訊,在該聲學空間中捕獲該複數個音訊串流中之該對應一者;判定該來源是否與該複數個聯絡人中之一者相關聯;以及當該來源不與該複數個聯絡人中之一者相關聯時,基於該位置資訊,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例170.  如實例169之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器獲得該位置資訊。
實例171.  如實例169至170之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例172.  如實例169至171之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於該源是否與該複數個聯絡人中之一者相關聯來改變該複數個音訊串流之該子集的一增益。
實例173.  如實例169至172之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器獲得一隱私分區。
實例174.  如實例169至173之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於該來源是否不與該複數個聯絡人中之一者相關聯及與該聲學空間之該等座標相關聯的該位置資訊來判定一隱私分區。
實例175.  如實例169至174之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於該來源是否不與該複數個聯絡人中之一者相關聯及與該聲學空間之該等座標相關聯的該位置資訊來產生一隱私分區。
實例176.  如實例169至175之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器向一來源裝置或基地台中之至少一者發送一信號以指示停止發送經排除資訊。
實例177.  如實例172至178之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器組合該複數個音訊串流之該子集中之至少兩者。
實例178.  如實例177之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器藉由混合或內插中之至少一者來組合該複數個音訊串流之該子集中之該至少兩者。
實例179.  如實例169至178之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器向一來源裝置或基地台中之至少一者發送一信號以指示停止發送經排除資訊。
實例180.  如實例169至179之任何組合的非暫時性電腦可讀儲存媒體,其中該多個聯絡人包含好感度排名。
實例181.  如實例180之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器執行:判定該來源裝置是否與具有至少一預定好感度排名的該複數個聯絡人中之一者相關聯;且當該來源不與具有至少該預定好感度排名的該複數個聯絡人中之一者相關聯時,選擇該複數個音訊串流之該子集。
實例182.  如實例169至181之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器基於一語音命令來控制一顯示裝置。
實例183.  如實例169至182之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器。
實例184.  如實例169至183之任何組合之非暫時性電腦可讀儲存媒體,其中該聲學空間包含藉助由一相機捕獲之視訊資料表示的一場景。
實例185.  如實例169至183之任何組合之非暫時性電腦可讀儲存媒體,其中該聲學空間包含一虛擬世界。
實例186.  如實例169至185之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器在一頭戴式裝置上呈現該聲學空間。
實例187.  如實例169至186之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器在一行動手機上呈現該聲學空間。
實例188.  如實例169至187之任何組合之非暫時性電腦可讀儲存媒體,其中該等指令在經執行時致使一或多個處理器接收一無線信號。
實例189.  如實例188之非暫時性電腦可讀儲存媒體,其中該無線信號為藍芽。
實例190.  如實例188之非暫時性電腦可讀儲存媒體,其中該無線信號符合第五代(5G)蜂巢式協定。
實例191.  一種裝置,其包含一記憶體,其經組態以儲存複數個音訊串流及對該等音訊串流中之每一者的一相關聯授權等級;及一或多個處理器,其實施在電路系統中且以通信方式耦接至該記憶體,且經組態以:基於該等相關聯授權等級,選擇該複數個音訊串流之子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例192.  如實例191之裝置,其中該記憶體經進一步組態以儲存與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者。
實例193.  如實例192之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
實例194.  如實例192之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含一虛擬世界。
實例195.  如實例192之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中一聲學空間包含一實體世界。
實例196.  如實例192之裝置,其中該複數個音訊串流之該所選擇子集進一步基於該位置資訊。
實例197.  如實例191至196之任何組合之裝置,其中經排除串流與一或多個隱私分區相關聯。
實例198.  如實例191至197之任何組合之裝置,其中該一或多個處理器經進一步組態以將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
實例199.  如實例191至198之任何組合之裝置,其中該一或多個處理器經進一步組態以基於該等相關聯授權等級來改變該複數個音訊串流之該子集中之一或多個音訊串流的一增益。
實例200.  如實例191至199之任何組合之裝置,其中該一或多個處理器經進一步組態以使經排除音訊串流歸零。
實例201.  如實例191至200之任何組合之裝置,其中該一或多個處理器經進一步組態以向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例202.  如實例191至201之任何組合之裝置,其中該一或多個處理器經進一步組態以藉由混合或內插中之至少一者組合該複數個音訊串流之該子集中之至少兩者。
實例203.  如實例191至202之任何組合之裝置,其中該一或多個處理器經進一步組態以:自一使用者獲得更動控制至少一個授權等級的一請求;且基於該請求,將與該至少一個授權等級相關聯的該等經排除音訊串流中之至少一者添加至該複數個音訊串流之該子集。
實例204.  如實例203之實例之裝置,其中該一或多個處理器經組態以:基於將該等經排除音訊串流中之該至少一者添加至該複數個音訊串流之該子集來將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
實例205.  如實例191至204之任何組合之裝置,其中自一來源裝置接收一授權等級。
實例206.  如實例191至205之任何組合之裝置,其中該一或多個處理器經進一步組態以產生該等相關聯授權等級。
實例207.  如實例191至206之任何組合之裝置,其中該等相關聯授權等級包含排名。
實例208.  如實例207之裝置,其中該一或多個處理器藉由以下步驟來選擇該複數個音訊串流之該子集:比較該複數個音訊串流中之每一者之該排名與一使用者之一排名;及基於該比較,選擇該複數個音訊串流之該子集。
實例209.  如實例191至208之任何組合之裝置,其中該記憶體經進一步組態以儲存複數個聯絡人,且其中該等相關聯授權等級基於該複數個聯絡人。
實例210.  如實施例209之裝置,其中該一或多個處理器藉由以下步驟選擇該複數個音訊串流之該子集:判定該複數個音訊串流中之一或多者的來源是否與該複數個聯絡人中之一或多者相關聯;且基於該比較選擇該複數個音訊串流之該子集。
實例211.  如實例209至210之任何組合之裝置,其中該複數個聯絡人包含好感度排名,且其中該一或多個處理器藉由以下步驟選擇該複數個音訊串流之該子集:判定該複數個音訊串流中之一或多者的來源是否與具有至少一預定好感度排名之該複數個聯絡人中之一或多者相關聯;且基於該比較選擇該複數個音訊串流之該子集。
實例212.  如實例191至211之任何組合之裝置,其中該裝置為一內容消費者裝置,且當一隱私分區不具有一相關聯授權等級時,該內容消費者裝置制止對與該隱私分區相關聯的一音訊串流進行解碼。
實例213.  如實例191至212之任何組合之裝置,其中該裝置為一內容消費者裝置,且該複數個音訊串流之該子集包含基於在由該一或多個處理器解碼之一位元串流中接收的經編碼資訊的經再現音訊串流。
實例214.  如實例191至213之任何組合之裝置,其中該裝置為一來源裝置,且該複數個音訊串流未經編碼。
實例215.  如實例191至214之任何組合之裝置,其中該一或多個處理器基於該複數個音訊串流中之該至少一者未經授權用於一使用者,選擇該複數個音訊串流之該子集以排除該複數個音訊串流中之該至少一者。
實例216.  如實例191至215之任何組合之裝置,其中該等相關聯授權等級經包含在與每一音訊串流相關聯的後設資料中,或以其它方式在一位元串流中。
實例217.  如實例191至216之任何組合之裝置,其進一步包含一顯示裝置。
實例218.  如實例191至217之任何組合之裝置,其進一步包含一麥克風,其中該一或多個處理器經進一步組態以自該麥克風接收一語音命令,並基於該語音命令控制一顯示裝置。
實例219.  如實例191至218之任何組合之裝置,其進一步包含一或多個揚聲器。
實例220.  如實例191至219之任何組合之裝置,其中該裝置包含一行動手機。
實例221.  如實例191至220之任何組合之裝置,其進一步包含一無線收發器,該無線收發器耦接至該一或多個處理器且經組態以接收一無線信號,其中該無線信號為藍芽或Wi-Fi中之一者,或符合第五代(5G)蜂巢式協定。
實例222.  如實例191至221之任何組合之裝置,其中該選擇該複數個音訊串流之一子集係基於該等相關聯授權等級與該裝置或該裝置之一使用者之一授權等級的一比較。
實例223.  如實例191至222之任何組合之裝置,其中該記憶體經進一步組態以儲存與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者,且其中基於該位置資訊判定關於該複數個音訊串流中之該一者之該授權等級。
實例224.  如實例223之裝置,其中在該聲學空間中定義複數個隱私分區,每一隱私分區具有一相關聯授權等級,其中基於該隱私分區之該授權等級判定關於該複數個音訊串流中之該一者之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
實例225.  如實例224之裝置,其中該複數個音訊串流中之該一者之該授權等級等於該隱私分區之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
實例226.  如實例191至225之任何組合之裝置,其中該裝置經組態以:接收該複數個音訊串流及關於該複數個音訊串流中之每一者之該相關聯授權等級;及接收關於該裝置之一使用者之一授權等級,其中該一或多個處理器經組態以:藉由選擇具有不大於關於該裝置之該使用者之該所接收授權等級的一相關聯授權等級的彼等音訊串流,選擇該複數個音訊串流之該子集;及將該複數個音訊串流之該所選擇子集發送至一可聽輸出裝置,以用於該複數個音訊串流之該所選擇子集的可聽輸出。
實例227.  一種方法,其包含:藉由一記憶體儲存複數個音訊串流及關於該等音訊串流中之每一者之一相關聯授權等級;及藉由一或多個處理器且基於該等相關聯授權等級,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例228.  如實例227之方法,其進一步包含藉由該記憶體儲存與一聲學空間的座標相關聯位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者。
實例229.  如實例228之方法,其中對一擴展實境頭戴式耳機執行該方法,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
實例230.  如實例228之方法,其中對一擴展實境頭戴式耳機執行該方法,且其中該聲學空間包含一虛擬世界。
實例231.  如實例228之方法,其中對經組態以呈現該聲學空間的一頭戴式裝置執行該方法。
實例232.  如實例227至231之任何組合之方法,其中該複數個音訊串流之該所選子集進一步基於該位置資訊。
實例233.  如實例227至232之任何組合之方法,其中經排除串流與一或多個隱私分區相關聯。
實例234.  如實例227至233之任何組合之方法,其進一步包含藉由該一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
實例235.  如實例227至234之任何組合之方法,其進一步包含藉由該一或多個處理器基於該等授權等級來改變該複數個音訊串流之該子集內之一或複數個音訊串流的一增益。
實例236.  如實例227至235之任何組合之方法,其進一步包含藉由該一或多個處理器使該等經排除音訊串流歸零。
實例237.  如實例227至236之任何組合之方法,其進一步包含藉由該一或多個處理器向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
實例238.  如實例227至237之任何組合之方法,其進一步包含:藉由該一或多個處理器,藉由混合或內插中之至少一者來組合該複數個音訊串流之該子集中之至少兩者。
實例239.  實例227至238之任何組合之方法,其進一步包含:自一使用者獲得更動控制至少一個授權等級的一請求;且基於該請求,藉由該一或多個處理器將與該至少一個授權等級相關聯的該等經排除音訊串流中之至少一者添加至該複數個音訊串流之該子集。
實例240.  如實例227至239之任何組合之方法,其進一步包含藉由該一或多個處理器基於將該等經排除音訊串流中之該至少一者添加至該複數個音訊串流之該子集來將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
實例241.  如實例227至240之任何組合之方法,其進一步包含自一來源裝置接收一授權等級。
實例242.  如實例227至241之任何組合之方法,其進一步包含藉由該一或多個處理器產生一授權等級。
實例243.  如實例227至241之任何組合之方法,其中該等相關聯授權等級包含排名。
實例244.  如實施例243之方法,其中該選擇該複數個音訊串流之該子集包含:藉由該一或多個處理器,比較該複數個音訊串流中之每一者之該排名與一使用者之一排名;及藉由該一或多個處理器基於該比較,選擇該複數個音訊串流之該子集。
實例245.  如實例227至244之任何組合之方法,其進一步包含藉由該記憶體儲存複數個聯絡人,且其中相關聯授權等級基於該複數個聯絡人。
實例246.  如實施例245之方法,其中該選擇該複數個音訊串流之該子集包含:藉由該一或多個處理器,判定該複數個音訊串流中之一或多者之一來源是否與該複數個聯絡人中之一或多者相關聯;及藉由該一或多個處理器基於該比較,選擇該複數個音訊串流之該子集。
實例247.  如實施例245至246之任何組合之方法,其中該複數個聯絡人包含好感度排名,且其中該選擇該複數個音訊串流之該子集包含:藉由該一或多個處理器,判定該複數個音訊串流中之一或多者之一來源是否與具有至少一預定好感度排名的該複數個聯絡人中之一或多者相關聯;及藉由該一或多個處理器基於該比較,選擇該複數個音訊串流之該子集。
實例248.  如實例227至247之任何組合之方法,其進一步包含當一隱私分區不具有一相關聯授權等級時,制止對與該隱私分區相關聯的一音訊串流進行解碼。
實例249.  如實例227至248之任何組合之方法,其中該複數個音訊串流之該子集包含基於在由該一或多個處理器解碼之一位元串流中接收的經編碼資訊的經再現音訊串流。
實例250.  如實例227至249之任何組合之方法,其中該複數個音訊串流未經編碼。
實例251.  如實例227至250之任何組合之方法,其中該選擇該複數個音訊串流之該子集以排除該複數個音訊串流中之該至少一者係基於該複數個音訊串流中之該至少一者未經授權用於一使用者。
實例252.  如實例227至251之任何組合之方法,其進一步包含自一麥克風接收一語音命令,且基於該語音命令控制一顯示裝置。
實例253.  如實例227至252之任何組合之方法,其中對一行動手機執行該方法。
實例254.  如實例227至253之任何組合之方法,進一步包含接收一無線信號,其中該無線信號為藍芽或Wi-Fi中之一者,或符合第五代(5G)蜂巢式協定。
實例255.  如實例227至254之任何組合之方法,其中該選擇該複數個音訊串流之一子集係基於該等相關聯授權等級與該裝置或該裝置之一使用者之一授權等級的一比較。
實例256.  如實例227至255之任何組合之方法,其進一步包含藉由該記憶體儲存與一聲學空間的座標相關聯的位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者,其中基於該位置資訊判定關於該複數個音訊串流中之該一者之該授權等級。
實例257.  如實例256之方法,其中在該聲學空間中定義複數個隱私分區,每一隱私分區具有一相關聯授權等級,其中基於該隱私分區之該授權等級判定關於該複數個音訊串流中之該一者之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
實例258.  如實例257之方法,其中該複數個音訊串流中之該一者之該授權等級等於該隱私分區之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
實例259.  實例227至258之任何組合之方法,其進一步包含:藉由該一或多個處理器接收該複數個音訊串流及該複數個音訊串流中之每一者的該相關聯授權等級;藉由該一或多個處理器接收關於該裝置之一使用者之一授權等級,及藉由該一或多個處理器將該複數個音訊串流之該所選擇子集發送至一可聽輸出裝置,以用於該複數個音訊串流之該所選擇子集之可聽輸出,其中該選擇該複數個音訊串流之該子集包含選擇具有不大於關於該裝置之該使用者的該所接收授權等級的一相關聯授權等級的彼等音訊串流。
實例260.  一種裝置,其包含:用於儲存複數個音訊串流及關於該等音訊串流中之每一者的一相關聯授權等級的構件;及用於基於該等相關聯授權等級來選擇該複數個音訊串流之一子集的構件,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
實例261.  一種其上儲存有指令的非暫時性電腦可讀儲存媒體,該等指令在經執行時致使一或多個處理器:儲存複數個音訊串流及關於該等音訊串流中之每一者之一相關聯授權等級;基於該等相關聯授權等級選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
應注意,本文中所描述之方法描述可能實施,且可重新配置或以其他方式修改操作及步驟,且其他實施為可能的。此外,可組合來自方法中之兩者或多於兩者之態樣。
在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任一組合來實施。在以軟體實施時,該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於例如資料儲存媒體之有形媒體,或包括促進(例如)根據通信協定將電腦程式自一個位置傳送至另一位置之任一媒體之通信媒體。以此方式,電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構之任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例且非限制性,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光學磁碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置、快閃記憶體或可用於以指令或資料結構之形式儲存所要程式碼且可由電腦存取之其他媒體。此外,可將任何連接適當地稱為電腦可讀媒體。舉例而言,在使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波等無線技術從網站、伺服器或其他遠端源傳輸指令時,則該同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波等無線技術皆包括於媒體之定義中。然而,應理解電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,但替代地係針對非暫時性、有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。上述各項之組合亦應包括在電腦可讀媒體之範疇內。
指令可由一或多個處理器執行,諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效積體或離散邏輯電路。因此,如本文中所使用之術語「處理器」可係指前述結構或適於實施本文中所描述之技術之任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供在經組態以用於編碼及解碼或併入於組合式編解碼器中的專用硬體及/或軟體模組內。此外,技術可以一或多個電路或邏輯元件來完全實施。
本發明之技術可以廣泛各種裝置或設備(包括無線手機、積體電路(IC)或IC組(例如,晶片組))實施。各種組件、模組或單元在本發明中經描述以強調經組態以執行所揭示技術之裝置的功能態樣,而未必需要由不同硬體單元實現。確切而言,如上文所描述,各種單元可以編解碼硬體單元組合或藉由交互操作硬體單元(包括如上文所描述之一或多個處理器)的集合結合適合軟體及/或韌體提供。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10:系統 12A:來源裝置 12B:來源裝置 12C:來源裝置 14A:內容消費者裝置 14B:內容消費者裝置 14C:內容消費者裝置 14D:內容消費者裝置 16A:音訊播放系統 16B:音訊播放系統 16C:音訊播放系統 18:麥克風 19:音訊資料 19':音訊資料 20:內容捕獲裝置 21:內容 22:內容編輯裝置 23:經編輯內容 24:音場表示產生器 25:資訊/後設資料 27:位元串流 29:合成裝置 32:音訊呈現器 34:音訊解碼裝置 35:揚聲器饋源 37:揚聲器資訊 40:追蹤裝置 41:追蹤資訊 42:雙耳呈現器 43:左/右揚聲器饋源 44:串流選擇單元 45A:音訊位置資訊(ALI) 45B:裝置位置資訊(DLI) 47:群集圖(CM) 48:耳機 49:音訊來源位置(ASL) 50:系統 60:系統 100:無線通信系統 105:基地台 110:地理涵蓋區 115:UE 125:通信鏈路 130:核心網路 132:空載傳輸鏈路 134:空載傳輸鏈路 300A:虛擬位置 300B:虛擬位置 302A:音訊元素 302B:音訊元素 302C:音訊元素 302D:音訊元素 302E:音訊元素 302F:音訊元素 302G:音訊元素 302H:音訊元素 302I:音訊元素 302J:音訊元素 302K:音訊元素 304:音訊來源位置 306A:音訊來源距離 306B:音訊來源距離 308:音訊來源 310A:音訊元素 310B:音訊元素 310C:音訊元素 310D:音訊元素 312:歌手 314:弦樂部 316:鼓手 318:音樂家 321:耳機 322:VR護目鏡 323:舞台 324:智慧型眼鏡 326:裝置 350:步驟 352:步驟 354:步驟 400:步驟 401:步驟 402:步驟 403:步驟 404:步驟 405:步驟 406:步驟 407:步驟 408:步驟 409:步驟 441:靜態音訊來源 442:動態音訊來源 443:音訊資訊 444:控制器 445:優先級排序單元 446:更動控制單元 447:使用者位置及定向資訊 448:呈現 449A:處理器 449B:處理器 450:處理器 452:單獨鏈路 453:鏈路 460:使用者 461:隱私分區 462:隱私分區 463:隱私分區 470:使用者 471:音訊串流 472:音訊串流 473:音訊串流 474:音訊串流 500:可穿戴裝置 600:相機 703:顯示器 710:裝置 712:處理器 714:圖形處理單元(GPU) 716:系統記憶體 718:顯示器處理器 720:使用者介面 721:天線 722:收發器模組 740:整合式揚聲器 800:步驟 802:步驟 804:步驟 806:步驟 808:步驟 810:步驟 812:步驟 814:步驟 815:步驟 816:步驟 818:步驟 820:步驟 822:步驟 824:步驟 840:步驟 842:步驟 844:步驟 846:步驟 848:步驟 850:步驟 852:步驟 854:步驟 860:步驟 862:步驟 864:步驟 866:步驟 868:步驟 870:步驟 872:步驟 874:步驟 875:步驟 1100:虛擬實境(VR)裝置 1102:使用者 1104:耳機 4000:操作 4611:音訊串流 4612:音訊串流 4613:音訊串流 4621:音訊串流 4622:音訊串流 4623:音訊串流 4631:音訊串流 4632:音訊串流 4633:音訊串流
圖1A至圖1C為說明可執行本發明中所描述之技術的各種態樣之系統的圖。
圖2為說明由使用者穿戴的VR裝置之實例的圖。
圖3A至圖3E為更詳細地說明圖1A至圖1C之實例中所展示之串流選擇單元的實例操作的圖。
圖4A及圖4B為說明在執行串流選擇技術的各種態樣時圖1A至圖1C之實例中所展示之串流選擇單元的操作之實例的流程圖。
圖4C及圖4D為根據本發明中所描述之技術的各種態樣說明本發明中關於隱私分區所描述之技術的各種態樣的圖。
圖4E及圖4F為根據本發明中所描述之技術的各種態樣進一步說明隱私分區的使用的圖。
圖4G及圖4H為根據本發明中所描述之技術的各種態樣說明排除單獨音訊串流的圖。
圖5為說明可根據本發明中所描述之技術的各種態樣進行操作的可穿戴裝置之實例的圖。
圖6A及圖6B為說明可執行本發明中所描述之技術的各種態樣之其他實例系統的圖。
圖7為說明圖1A至圖1C之實例中所展示之來源裝置及內容消費者裝置中之一或多者之實例組件的方塊圖。
圖8A至圖8C為說明在執行串流選擇技術的各種態樣時圖1A至圖1C之實例中所展示之串流選擇單元的實例操作的流程圖。
圖9根據本發明的態樣說明支援隱私分區及授權等級的無線通信系統之實例。
400:步驟
401:步驟
402:步驟
403:步驟
404:步驟
405:步驟
406:步驟
407:步驟
408:步驟
409:步驟
4000:操作

Claims (71)

  1. 一種裝置,其包含: 一記憶體,其經組態以儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級;及 一或多個處理器,其經實施在電路系統中且以通信方式耦接至該記憶體,且經組態以: 基於該等相關聯授權等級,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
  2. 如請求項1之裝置,其中該記憶體經進一步組態以儲存與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者。
  3. 如請求項2之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
  4. 如請求項2之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中一聲學空間包含一虛擬世界。
  5. 如請求項2之裝置,其中該裝置包含一擴展實境頭戴式耳機,且其中一聲學空間包含一實體世界。
  6. 如請求項2之裝置,其中該複數個音訊串流之所選擇子集進一步係基於該位置資訊。
  7. 如請求項1之裝置,其中經排除音訊串流與一或多個隱私分區相關聯。
  8. 如請求項1之裝置,其中該一或多個處理器經進一步組態以將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
  9. 如請求項1之裝置,其中該一或多個處理器經進一步組態以基於該等相關聯授權等級來改變該複數個音訊串流之該子集中之一或多個音訊串流的一增益。
  10. 如請求項1之裝置,其中該一或多個處理器經進一步組態以使經排除音訊串流歸零。
  11. 如請求項1之裝置,其中該一或多個處理器經進一步組態以向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
  12. 如請求項1之裝置,其中該一或多個處理器經進一步組態以藉由混合或內插中之至少一者組合該複數個音訊串流之該子集中之至少兩者。
  13. 如請求項1之裝置,其中該一或多個處理器經進一步組態以: 自一使用者獲得更動控制至少一個授權等級的一請求;及 基於該請求,將與該至少一個授權等級相關聯的該等經排除音訊串流中之至少一者添加至該複數個音訊串流之該子集。
  14. 如請求項13之裝置,其中該一或多個處理器經組態以: 基於該將該等經排除音訊串流中之該至少一者添加至該複數個音訊串流之該子集來將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
  15. 如請求項1之裝置,其中自一來源裝置接收一授權等級。
  16. 如請求項1之裝置,其中該一或多個處理器經進一步組態以產生該等相關聯授權等級。
  17. 如請求項1之裝置,其中該等相關聯授權等級包含排名。
  18. 如請求項14之裝置,其中該一或多個處理器藉由以下步驟選擇該複數個音訊串流之該子集: 比較該複數個音訊串流中之每一者的該排名與一使用者的一排名;及 基於該比較選擇該複數個音訊串流之該子集。
  19. 如請求項1之裝置,其中該記憶體經進一步組態以儲存複數個聯絡人,且其中該等相關聯授權等級係基於該複數個聯絡人。
  20. 如請求項19之裝置,其中該一或多個處理器藉由以下步驟選擇該複數個音訊串流之該子集: 判定該複數個音訊串流中之一或多者的一來源是否與該複數個聯絡人中之一或多者相關聯;及 基於該比較選擇該複數個音訊串流之該子集。
  21. 如請求項19之裝置,其中該複數個聯絡人包含好感度排名,且其中該一或多個處理器藉由以下步驟選擇該複數個音訊串流之該子集: 判定該複數個音訊串流中之一或多者的一來源是否與具有至少一預定好感度排名之該複數個聯絡人中之一或多者相關聯;及 基於該比較選擇該複數個音訊串流之該子集。
  22. 如請求項1之裝置,其中該裝置為一內容消費者裝置,且當一隱私分區不具有一相關聯授權等級時,該內容消費者裝置制止對與該隱私分區相關聯的一音訊串流進行解碼。
  23. 如請求項1之裝置,其中該裝置為一內容消費者裝置,且該複數個音訊串流之該子集包含基於在由該一或多個處理器解碼之一位元串流中接收的經編碼資訊的經再現音訊串流。
  24. 如請求項1之裝置,其中該裝置為一來源裝置,且該複數個音訊串流未經編碼。
  25. 如請求項1之裝置,其中該一或多個處理器基於該複數個音訊串流中之該至少一者未經授權用於一使用者,選擇該複數個音訊串流之該子集以排除該複數個音訊串流中之該至少一者。
  26. 如請求項1之裝置,其中該等相關聯授權等級經包含在與每一音訊串流相關聯的後設資料中,或以其它方式在一位元串流中。
  27. 如請求項1之裝置,其進一步包含一顯示裝置。
  28. 如請求項1之裝置,其進一步包含一麥克風,其中該一或多個處理器經進一步組態以自該麥克風接收一語音命令,並基於該語音命令控制一顯示裝置。
  29. 如請求項1之裝置,其進一步包含一或多個揚聲器。
  30. 如請求項1之裝置,其中該裝置包含一行動手機。
  31. 如請求項1之裝置,其進一步包含一無線收發器,該無線收發器耦接至該一或多個處理器且經組態以接收一無線信號,其中該無線信號為藍芽或Wi-Fi中之一者,或符合第五代(5G)蜂巢式協定。
  32. 如請求項1之裝置,其中該選擇該複數個音訊串流之一子集係基於該等相關聯授權等級與該裝置或該裝置之一使用者之一授權等級的一比較。
  33. 如請求項1之裝置,其中該記憶體經進一步組態以儲存與一聲學空間之座標相關聯的位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者,且其中基於該位置資訊判定關於該複數個音訊串流中之該一者之該授權等級。
  34. 如請求項33之裝置,其中在該聲學空間中定義複數個隱私分區,每一隱私分區具有一相關聯授權等級,其中基於該隱私分區之該授權等級判定關於該複數個音訊串流中之該一者之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
  35. 如請求項33之裝置,其中該複數個音訊串流中之該一者之該授權等級等於該隱私分區之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
  36. 如請求項1之裝置,其中該裝置經組態以: 接收該複數個音訊串流及關於該複數個音訊串流中之每一者之該相關聯授權等級;及 接收關於該裝置之一使用者之一授權等級, 其中該一或多個處理器經組態以: 藉由選擇具有不大於關於該裝置之該使用者之所接收授權等級的一相關聯授權等級的彼等音訊串流,來選擇該複數個音訊串流之該子集;及 將該複數個音訊串流之該所選擇子集發送至一可聽輸出裝置,以用於該複數個音訊串流之該所選擇子集的可聽輸出。
  37. 一種方法,其包含: 藉由一記憶體,儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級;及 藉由一或多個處理器且基於該等相關聯授權等級,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
  38. 如請求項37之方法,其進一步包含藉由該記憶體儲存與一聲學空間的座標相關聯之位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者。
  39. 如請求項38之方法,其中對一擴展實境頭戴式耳機執行該方法,且其中該聲學空間包含由一相機捕獲的視訊資料表示的一場景。
  40. 如請求項38之方法,其中對一擴展實境頭戴式耳機執行該方法,且其中該聲學空間包含一虛擬世界。
  41. 如請求項38之方法,其中對經組態以呈現該聲學空間的一頭戴式裝置執行該方法。
  42. 如請求項37之方法,其中該複數個音訊串流之所選擇子集進一步係基於該位置資訊。
  43. 如請求項37之方法,其中經排除串流與一或多個隱私分區相關聯。
  44. 如請求項37之方法,其進一步包含藉由該一或多個處理器將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
  45. 如請求項37之方法,其進一步包含藉由該一或多個處理器基於該等相關聯授權等級來改變該複數個音訊串流之該子集內之音訊串流中之一或多者的一增益。
  46. 如請求項37之方法,其進一步包含藉由該一或多個處理器使該等經排除音訊串流歸零。
  47. 如請求項37之方法,其進一步包含藉由該一或多個處理器向一來源裝置或基地台中之至少一者發送一信號,該信號指示停止發送經排除音訊串流。
  48. 如請求項37之方法,其進一步包含藉由該一或多個處理器,藉由混合或內插中之至少一者來組合該複數個音訊串流之該子集中之至少兩者。
  49. 如請求項37之方法,其進一步包含: 自一使用者獲得更動控制至少一個授權等級的一請求;及 基於該請求,藉由該一或多個處理器將與該至少一個授權等級相關聯的該等經排除音訊串流中之至少一者添加至該複數個音訊串流之該子集。
  50. 如請求項37之方法,其進一步包含藉由該一或多個處理器基於該將該等經排除音訊串流中之該至少一者添加至該複數個音訊串流之該子集來將該複數個音訊串流之該子集輸出至一或多個揚聲器或耳機。
  51. 如請求項37之方法,其進一步包含自一來源裝置接收一授權等級。
  52. 如請求項37之方法,其進一步包含藉由該一或多個處理器產生一授權等級。
  53. 如請求項37之方法,其中該等相關聯授權等級包含排名。
  54. 如請求項37之方法,其中該選擇該複數個音訊串流之該子集包含: 藉由該一或多個處理器,比較該複數個音訊串流中之每一者的該排名與一使用者的一排名;及 藉由該一或多個處理器,基於該比較選擇該複數個音訊串流之該子集。
  55. 如請求項37之方法,其進一步包含藉由該記憶體儲存複數個聯絡人,且其中相關聯授權等級係基於該複數個聯絡人。
  56. 如請求項55之方法,其中該選擇該複數個音訊串流之該子集包含: 藉由該一或多個處理器,判定該複數個音訊串流中之一或多者的一來源是否與該複數個聯絡人中之一或多者相關聯;及 藉由該一或多個處理器,基於該比較選擇該複數個音訊串流之該子集。
  57. 如請求項55之方法,其中該複數個聯絡人包含好感度排名,且其中該選擇該複數個音訊串流之該子集包含: 藉由該一或多個處理器,判定該複數個音訊串流中之一或多者的一來源是否與具有至少一預定好感度排名之該複數個聯絡人中之一或多者相關聯;及 藉由該一或多個處理器,基於該比較選擇該複數個音訊串流之該子集。
  58. 如請求項37之方法,其進一步包含當一隱私分區不具有一相關聯授權等級時,制止對與該隱私分區相關聯的一音訊串流進行解碼。
  59. 如請求項37之方法,其中該複數個音訊串流之該子集包含基於在由該一或多個處理器解碼之一位元串流中接收的經編碼資訊的經再現音訊串流。
  60. 如請求項37之方法,其中該複數個音訊串流未經編碼。
  61. 如請求項37之方法,其中該選擇該複數個音訊串流之該子集以排除該複數個音訊串流中之該至少一者係基於該複數個音訊串流中之該至少一者未經授權用於一使用者。
  62. 如請求項37之方法,其進一步包含自一麥克風接收一語音命令,且基於該語音命令控制一顯示裝置。
  63. 如請求項37之方法,其中對一行動手機執行該方法。
  64. 如請求項37之方法,進一步包含接收一無線信號,其中該無線信號為藍芽或Wi-Fi中之一者,或符合第五代(5G)蜂巢式協定。
  65. 如請求項37之方法,其中該選擇該複數個音訊串流之一子集係基於該等相關聯授權等級與該裝置或該裝置之一使用者之一授權等級的一比較。
  66. 如請求項37之方法,其進一步包含藉由該記憶體儲存與一聲學空間的座標相關聯的位置資訊,在該聲學空間中捕獲或合成該複數個音訊串流中之一對應者,其中基於該位置資訊判定關於該複數個音訊串流中之該一者之該授權等級。
  67. 如請求項37之方法,其中在該聲學空間中定義複數個隱私分區,每一隱私分區具有一相關聯授權等級,其中基於該隱私分區之該授權等級判定關於該複數個音訊串流中之該一者之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
  68. 如請求項37之方法,其中該複數個音訊串流中之該一者之該授權等級等於該隱私分區之該授權等級,該隱私分區含有捕獲或合成該複數個音訊串流中之該一者的該位置。
  69. 如請求項37之方法,其進一步包含: 藉由該一或多個處理器,接收該複數個音訊串流及關於該複數個音訊串流中之每一者之該相關聯授權等級; 藉由該一或多個處理器,接收關於該裝置之一使用者之一授權等級;及 藉由該一或多個處理器,將該複數個音訊串流之該所選擇子集發送至一可聽輸出裝置,以用於該複數個音訊串流之該所選擇子集的可聽輸出, 其中該選擇該複數個音訊串流之該子集包含選擇具有不大於關於該裝置之該使用者之所接收授權等級的一相關聯授權等級的彼等音訊串流。
  70. 一種裝置,其包含: 用於儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級的構件;及 用於基於該等相關聯授權等級,選擇該複數個音訊串流之一子集的構件,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
  71. 一種非暫時性電腦可讀儲存媒體,其上儲存有指令,該等指令在經執行時致使一或多個處理器: 儲存複數個音訊串流及關於該複數個音訊串流中之每一者之一相關聯授權等級;及 基於該等相關聯授權等級,選擇該複數個音訊串流之一子集,該複數個音訊串流之該子集排除該複數個音訊串流中之至少一者。
TW109122456A 2019-07-03 2020-07-02 用於音訊呈現之隱私分區及授權 TW202117500A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962870591P 2019-07-03 2019-07-03
US62/870,591 2019-07-03
US16/918,386 US11354085B2 (en) 2019-07-03 2020-07-01 Privacy zoning and authorization for audio rendering
US16/918,386 2020-07-01

Publications (1)

Publication Number Publication Date
TW202117500A true TW202117500A (zh) 2021-05-01

Family

ID=74066083

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109122456A TW202117500A (zh) 2019-07-03 2020-07-02 用於音訊呈現之隱私分區及授權

Country Status (6)

Country Link
US (1) US11354085B2 (zh)
EP (1) EP3994562A1 (zh)
CN (1) CN114041113A (zh)
BR (1) BR112021026272A2 (zh)
TW (1) TW202117500A (zh)
WO (1) WO2021003394A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11310209B2 (en) * 2019-09-10 2022-04-19 Motorola Solutions, Inc. Method and device for protecting confidentiality of audio messages
US11080011B1 (en) * 2020-03-20 2021-08-03 Tap Sound System Audio rendering device and audio configurator device for audio stream selection, and related methods
US12101631B1 (en) * 2020-04-24 2024-09-24 Cable Television Laboratories, Inc. Systems and methods for network device advanced privacy
KR20220034571A (ko) * 2020-09-11 2022-03-18 삼성전자주식회사 음성에 포함된 커맨드를 확인하는 전자 장치와 이의 동작 방법
US11686191B2 (en) 2020-10-16 2023-06-27 Halliburton Energy Services, Inc. Identification of residual gravitational signal from drilling tool sensor data
CN116964543A (zh) * 2021-03-11 2023-10-27 瑞典爱立信有限公司 扩展现实中的移动媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010070225A1 (fr) 2008-12-15 2010-06-24 France Telecom Codage perfectionne de signaux audionumeriques multicanaux
US8863008B2 (en) 2010-02-17 2014-10-14 International Business Machines Corporation Automatic removal of sensitive information from a computer screen
US8700406B2 (en) 2011-05-23 2014-04-15 Qualcomm Incorporated Preserving audio data collection privacy in mobile devices
KR102049977B1 (ko) * 2012-12-31 2019-11-28 엘지전자 주식회사 이동 단말기
WO2016159984A1 (en) 2015-03-31 2016-10-06 Hewlett-Packard Development Company, L.P. Transmitting multimedia streams to users
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
GB2529310B (en) 2015-07-16 2016-11-30 Powerchord Group Ltd A method of augmenting an audio content
US10530731B1 (en) * 2016-03-28 2020-01-07 Snap Inc. Systems and methods for chat with audio and video elements
WO2018064528A1 (en) 2016-09-29 2018-04-05 The Trustees Of Princeton University Ambisonic navigation of sound fields from an array of microphones
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US20180278835A1 (en) 2017-03-21 2018-09-27 Honeywell International Inc. Systems and methods for enabling dynamic privacy zones in the field of view of a security camera based on motion detection
US10405126B2 (en) 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
CN107484082A (zh) * 2017-08-08 2017-12-15 广东小天才科技有限公司 一种基于声道控制音频信号传输的方法及用户终端
US10540521B2 (en) 2017-08-24 2020-01-21 International Business Machines Corporation Selective enforcement of privacy and confidentiality for optimization of voice applications
KR20190035241A (ko) 2017-09-26 2019-04-03 삼성전자주식회사 화학 기계적 연마 공정의 온도 제어 방법, 이를 수행하기 위한 온도 제어 유닛, 및 이러한 온도 제어 유닛을 포함하는 화학 기계적 연마 장치
US10657974B2 (en) 2017-12-21 2020-05-19 Qualcomm Incorporated Priority information for higher order ambisonic audio data
US10620904B2 (en) * 2018-09-12 2020-04-14 At&T Intellectual Property I, L.P. Network broadcasting for selective presentation of audio content
EP3921756A1 (en) * 2019-02-08 2021-12-15 Starkey Laboratories, Inc. Assistive listening device systems, devices and methods for providing audio streams within sound fields

Also Published As

Publication number Publication date
BR112021026272A2 (pt) 2022-03-03
EP3994562A1 (en) 2022-05-11
CN114041113A (zh) 2022-02-11
US20210004200A1 (en) 2021-01-07
WO2021003394A1 (en) 2021-01-07
US11354085B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
TWI838554B (zh) 具有用於控制擴展實境體驗之音訊呈現之使用者介面之裝置及非暫時性電腦可讀儲存媒體及其方法
US11429340B2 (en) Audio capture and rendering for extended reality experiences
US11140503B2 (en) Timer-based access for audio streaming and rendering
TW202117500A (zh) 用於音訊呈現之隱私分區及授權
US11356793B2 (en) Controlling rendering of audio data
WO2020072369A1 (en) Representing occlusion when rendering for computer-mediated reality systems
US20210006976A1 (en) Privacy restrictions for audio rendering
US11580213B2 (en) Password-based authorization for audio rendering
TW202133625A (zh) 基於運動選擇音訊串流
TW202110197A (zh) 調適用於呈現之音訊流
US11601776B2 (en) Smart hybrid rendering for augmented reality/virtual reality audio
US11750998B2 (en) Controlling rendering of audio data
WO2024081530A1 (en) Scaling audio sources in extended reality systems