TW202401241A - 用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統 - Google Patents

用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統 Download PDF

Info

Publication number
TW202401241A
TW202401241A TW112118525A TW112118525A TW202401241A TW 202401241 A TW202401241 A TW 202401241A TW 112118525 A TW112118525 A TW 112118525A TW 112118525 A TW112118525 A TW 112118525A TW 202401241 A TW202401241 A TW 202401241A
Authority
TW
Taiwan
Prior art keywords
user
game
audio
real
video game
Prior art date
Application number
TW112118525A
Other languages
English (en)
Inventor
維多利亞 朵恩
瑟雷斯特 比恩
瑟皮迪 卡瑞米
瑪迪 艾曼迪恩
Original Assignee
美商索尼互動娛樂有限責任公司
日商索尼互動娛樂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商索尼互動娛樂有限責任公司, 日商索尼互動娛樂股份有限公司 filed Critical 美商索尼互動娛樂有限責任公司
Publication of TW202401241A publication Critical patent/TW202401241A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用於為一使用者處理音訊之方法及系統包括當使用者正與一視訊遊戲互動時識別該使用者在一真實世界環境中之一互動區。監視該真實世界環境以偵測可能影響該互動區之任何改變。回應於偵測到改變，動態地調整針對一耳機之一側或兩側之音訊之一音量，該耳機之一側或兩側向使用者之一隻或兩隻耳朵提供音訊。對音訊之調整係為了防止使用者在與視訊遊戲互動時分心。

Description

用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統
本發明係關於向使用者提供由互動式應用生成之音訊，並且更具體地係關於根據與使用者之每隻耳朵相關聯之聽覺屬性以及使用者正在其中操作之互動區之當前狀態來調整向使用者之每隻耳朵提供之音訊。
隨著視訊遊戲(亦即，互動式應用)之日益普及以及使用者在不同裝置上可用之視訊遊戲數量不斷增加，及時向使用者提供適當回饋變得尤為重要。視訊遊戲接收來自使用者之遊戲輸入，更新遊戲狀態，並且向使用者提供包括當前狀態之遊戲內容。遊戲內容包括遊戲場景及遊戲音訊。遊戲音訊可以藉由耦合至遊戲輸入裝置或計算裝置之耳機提供給使用者，遊戲輸入及/或遊戲內容藉由該遊戲輸入裝置或計算裝置提供。遊戲輸入裝置可以係控制器、鍵盤、觸控螢幕裝置、頭戴式顯示器(HMD)上定義之控制輸入或任何其他輸入裝置。
使用者可以使用HMD來選擇視訊遊戲並與其互動。HMD用於提供遊戲輸入，在HMD之顯示螢幕上呈現視訊遊戲之遊戲場景，以及透過耳機提供與玩遊戲過程相關之音訊。有時，為了具有完全沉浸式體驗，HMD可以被組態為壓低或完全阻擋來自真實世界環境之聲音。因此，使用者可能完全沉浸在視訊遊戲中，並且可能不太注意或可能不知道使用者附近之真實世界環境狀況。當人員或寵物或真實世界物件接近使用者時，使用者甚至可能沒有意識到人員、寵物或物件。在此類情況下，當人員或寵物或物件靠近使用者或直接與使用者互動時，使用者可能才意識到該人員或寵物或物件。尤其係當使用者參與高強度遊戲之玩遊戲過程時，來自人員或寵物或物件之此類突然互動可能會使使用者分心，並且因此影響使用者之玩遊戲過程。
正係在此背景下提出了本發明之實施例。
本發明之實施方案係關於用於調整互動式應用提供給使用者之音訊以向使用者通知使用者正在其中操作互動式應用之真實世界環境之當前狀態的系統及方法。使用者可以選擇互動式應用(例如，視訊遊戲)並開始與視訊遊戲互動(例如，玩遊戲過程)。視訊遊戲在玩遊戲過程期間接收來自使用者之使用者輸入並生成遊戲內容。遊戲內容包括遊戲音訊及包括遊戲場景之遊戲視訊。遊戲視訊被轉發至使用者之顯示螢幕上進行呈現，並且遊戲音訊被轉發至使用者使用之耳機。用於呈現遊戲場景之顯示螢幕及用於呈現遊戲音訊之耳機與使用者用來選擇視訊遊戲並與其互動之用戶端裝置相關聯。回應於使用者選擇要玩之視訊遊戲，在真實世界環境中建立使用者之互動區。互動區識別使用者正存取視訊遊戲並與其互動之地理位置。在耳機及/或用戶端裝置(例如，頭戴式顯示器)之幫助下，使用者全神貫注於視訊遊戲並且可能不太注意真實世界環境中發生之事情。當在真實世界環境發生影響互動區之改變時，該改變可能會在使用者與視訊遊戲互動時導致使用者分心或干擾使用者。分心或干擾可能影響視訊遊戲之玩遊戲過程並導致使用者之玩遊戲體驗並非最佳。
為了避免此類分心或干擾並確保使用者獲得最佳之玩遊戲體驗，系統監視真實世界環境以偵測正在發生或預期會發生之可能影響使用者互動區的任何改變。當偵測到或預期到影響互動區之改變時，系統及/或視訊遊戲向使用者提供預先或及時之通知。可以藉由自動調整經由耳機提供給使用者之遊戲音訊之音量來提供通知，以便阻擋由改變引起之一些不期望之環境聲音。另外或替代地，系統可以輸出針對正在影響或預期影響使用者之互動區之人員或物件(例如，寵物)之聲音。輸出聲音可以係針對人員或物件的指示使用者在視訊遊戲中之沉浸程度之通知之形式。監視互動區並向使用者或人員/物件提供通知可以幫助使用者獲得不受打擾之最佳玩遊戲體驗。
在一個實施方案中，揭示了一種用於調整提供給使用者之聲音之方法。該方法包括偵測使用者正在與視訊遊戲互動之真實世界環境中之互動區。視訊遊戲提供用於呈現給使用者之遊戲內容。遊戲內容包括遊戲場景及與遊戲場景相關聯之音訊。在該使用者與該視訊遊戲互動時監視該真實世界環境以偵測可影響該互動區之任何改變。回應於偵測到影響該互動區之改變，動態地調整針對耳機之一側或兩側之音訊之音量，該耳機之一側或兩側提供針對該使用者之一隻耳朵或兩隻耳朵之遊戲音訊。對音訊之調整量係為了警告使用者在真實世界環境中正發生或預計發生影響互動區中之使用者之改變。
在另一個實施方案中，揭示了一種用於向人員提供警告之方法。該方法包括偵測使用者正在與視訊遊戲互動之真實世界環境中之互動區。視訊遊戲提供用於呈現給使用者之遊戲內容。遊戲內容包括遊戲視訊及與遊戲視訊相關聯之遊戲音訊。在該使用者與該視訊遊戲互動時監視該真實世界環境以偵測影響該互動區之改變。影響互動區之改變係由人員自第一方向接近互動區中之使用者引起的。回應於偵測到該等改變而動態地調整針對耳機之第一側之遊戲音訊之音量，該耳機之第一側向該使用者之第一隻耳朵提供遊戲音訊。耳機用於向使用者提供遊戲音訊。除了調整音量外，亦自動生成聲音並且該聲音係針對作為改變之原因之人員的。該聲音包括指示使用者在視訊遊戲中之沉浸程度之通知。
自結合附圖進行的以實例方式圖解說明本發明之原理之以下詳細描述中，本發明之其他態樣及優點將變得顯而易見。
在以下描述中，闡述眾多具體細節以提供對本發明之透徹理解。然而，對於熟習此項技術者將顯而易見的係，可以在沒有一些或所有此等具體細節之情況下實踐本發明。在其他情況下，沒有詳細描述公知之程序步驟以免使本發明不清楚。
隨著互動式應用(例如，視訊遊戲、元宇宙)之數量不斷增加，以及時方式向使用者提供適當之遊戲內容及適當之通知對於允許使用者具有豐富之互動體驗係重要的。使用者可能正在玩視訊遊戲或在元宇宙空間中進行互動。由視訊遊戲生成之遊戲內容包括遊戲場景及與視訊遊戲之遊戲場景相關聯之遊戲音訊。遊戲場景在用戶端裝置之顯示螢幕(諸如頭戴式顯示器(HMD)、電視監視器、顯示螢幕或與計算裝置相關聯之顯示表面)上呈現。遊戲音訊藉由嵌入在使用者佩戴之耳機內之揚聲器來提供，其中耳機耦合至用於與視訊遊戲互動之用戶端裝置(例如，HMD或控制器或計算裝置)。來自使用者所在之真實世界環境之聲音被嵌入在計算裝置、HMD及/或控制器中、或者安置在真實世界環境中之麥克風擷取並被處理以判定真實世界環境中之任何改變。
真實世界環境之改變係藉由首先在使用者正在與視訊遊戲互動或在元宇宙空間中互動時所在之真實世界環境中建立使用者之互動區來判定的。互動區被定義為在真實世界環境中靠近或圍繞使用者之區域。在使用者與視訊遊戲互動或在元宇宙空間中互動期間，監視真實世界環境以偵測正影響或預計影響互動區之任何改變。影響互動區之改變用於警告使用者有人員接近使用者或向人員通知使用者在視訊遊戲中之沉浸程度。例如，向使用者提供之警告可以藉由增大針對使用者之一隻耳朵或兩隻耳朵之遊戲音訊之聲音來阻擋由於人員或寵物接近正在互動區中互動之使用者所引起之環境聲音。在另一個例項中，當使用者沉浸在高強度遊戲中時，可以向人員提供通知以指示遊戲之強度及在使用者與高強度遊戲之互動期間使用者之意願(例如，不被打擾)。
因此，該等方法及系統被組態為判定真實世界環境中之可能影響互動區中之使用者的不期望之聲音來源於何處，並且向使用者提供即將發生分心之警告或通知人員不要在使用者沉浸在視訊遊戲或元宇宙空間中時打擾或打斷使用者。警告可以作為聲音或語音輸出提供給使用者或人員。針對使用者之聲音或語音輸出可以根據定義使用者每隻耳朵對不同聲音及雜訊位準之耐受程度之聲音分數而動態地調整。
在大致理解本發明之情況下，將參考各種附圖來描述具體實例。
圖1A圖解說明根據一些實施方案之實例性系統10之簡化方塊圖，該系統用於回應於偵測到物件接近使用者之互動區而處理在使用者沉浸在互動式應用中時提供給使用者之音訊。使用者(使用者1)被示為正在自地理位置1(GL1)存取在遊戲主控台116上執行之視訊遊戲以便玩遊戲。使用者1使用輸入裝置選擇視訊遊戲並與其互動，該輸入裝置諸如手持式遊戲控制器(以下簡稱為“控制器”) 120、滑鼠112、鍵盤(未示出)等。在該實施方案中，遊戲主控台116與使用者位於同一位置並且被組態為執行視訊遊戲，接收透過一或多個輸入裝置提供之遊戲輸入，並且返回遊戲內容以向使用者呈現。使用由使用者提供之遊戲輸入來更新視訊遊戲之遊戲狀態，並且為當前遊戲狀態生成之遊戲內容被轉發給使用者以供呈現。遊戲內容包括呈現在顯示螢幕100(諸如電視螢幕、電腦監視器、頭戴式顯示器(HMD)之顯示螢幕(未示出)、顯示表面(未示出)等)上之遊戲視訊，以及透過由使用者佩戴之耳機呈現之遊戲音訊。判定使用者1之每隻耳朵之聽覺屬性，並且根據使用者1之該每隻耳朵之聽覺屬性向使用者1提供遊戲音訊。
回應於偵測到使用者1正存取要玩之視訊遊戲，系統10(例如，音訊處理引擎)或視訊遊戲監視真實世界環境以判定在使用者1正與視訊遊戲互動時物件(例如，人員、寵物或任何其他真實世界物件)是否正接近互動區122中之使用者1。可以使用一或多個圖像擷取裝置來完成監視，該等圖像擷取裝置諸如安置在安置於真實世界環境中之顯示螢幕100上方之外部相機114及/或與控制器120或使用者佩戴之HMD相關聯之一或多個面向外部之相機(未示出)。分析圖像以識別真實世界環境中之使用者1之互動區122並偵測接近真實世界環境之互動區122中之使用者1之真實世界物件/實體(例如，人員或寵物)。基於偵測，可以調整提供給使用者1之遊戲音訊及/或生成通知/聲音並將其引導至人員或寵物。例如，當真實世界物件/實體係接近使用者1之人員時，可以以語音輸出或指示使用者在視訊遊戲中之沉浸程度之聲音之形式向人員提供通知。當物件係朝向使用者1移動之寵物時，通知可以係針對寵物之低音高聲音以分散寵物之注意力使其遠離互動區122。
圖1B提供了在一些替代實施方案中用於由使用者(例如，使用者1)存取遊戲以便玩遊戲之遊戲雲端系統(GCS) 10’之概述。GCS 10’包括安置在地理位置1中之用戶端裝置，其通過網路200通信地耦合至遊戲雲端系統300。儘管GCS 10’之實施方案被示為包括位於地理位置1 (GL1)中之單個用戶端裝置，但該等實施方案可以被擴展為包括分佈在單個地理位置(例如，GL1)或不同地理位置中並通過網路200通信地連接至遊戲雲端系統300的複數個用戶端裝置。GCS 10’被組態為主控複數個遊戲及其他互動式應用，諸如社交媒體應用、內容提供者應用、元宇宙空間等。GCS 10’被組態為由複數個使用者可以自單個地理位置(例如，GL1)或自複數個地理位置(GL1、GL2、GL3……等)存取。用戶端裝置可以係具有處理器、記憶體及存取網路200 (諸如LAN、WAN、有線、無線或4G/5G等)之通信能力的任何類型之用戶端計算裝置，並且可以係可攜式的或非可攜式的。用戶端裝置中之每一者可以運行作業系統並且包括存取網路200之網路介面，或可以係具有網路介面以經由網路200與遊戲雲端系統300通信之精簡型用戶端，其中遊戲雲端系統300提供計算功能。例如，用戶端裝置可以係包括具有可攜式外形規格之監視器或觸控螢幕的智慧型電話、行動裝置、平板電腦、桌上型電腦、個人電腦、可穿戴裝置、控制器120、連接電視或混合或其他數位裝置。
使用者(例如，玩家)可以使用使用者帳戶存取可在GCS 10處獲取之視訊遊戲。回應於來自使用者(例如，使用者1)之對要玩之視訊遊戲之存取請求，對照使用者資料儲存庫305中維持之使用者帳戶304對使用者1之使用者帳戶進行驗證。在提供對視訊遊戲之存取之前，亦對照遊戲資料儲存庫306驗證該請求。遊戲資料儲存庫306維持處於或可主控在GCS 10’處之一系列遊戲名稱，並且當引入新遊戲時，將與新遊戲相關之遊戲名稱、遊戲代碼及資訊更新到遊戲資料儲存庫306。應注意，儘管關於視訊遊戲(也簡稱為“遊戲”)描述各種實施方案，但實施方案可以被擴展為包括任何其他互動式應用，其包括存取元宇宙空間。
在成功驗證使用者1及使用者1之請求之後，遊戲雲端系統300識別其中可主控遊戲之資料中心301，並且向所識別之資料中心301發送信號以載入與請求中所識別之遊戲名稱相關聯之遊戲。在一些實施方案中，一個以上資料中心301可主控或能夠主控遊戲。遊戲雲端系統300識別在地理上靠近使用者1之地理位置之資料中心301。玩家1之地理位置可以使用用戶端裝置內之全球定位系統(GPS)機制、用戶端裝置之IP位址、用戶端裝置之ping資訊、經由用戶端裝置執行之使用者1之社交及其他線上互動(僅舉幾例)來判定。當然，上述偵測使用者1之地理位置之方法係作為實例提供的，並且應注意，可以使用其他類型之機制或工具來判定使用者1之地理位置。識別靠近使用者1之地理位置之資料中心可以減少在使用者1之用戶端裝置與在識別之資料中心301處執行之遊戲之間傳輸遊戲相關資料時之延遲。
資料中心301可以包括複數個遊戲伺服器302，並且遊戲伺服器302係基於可在用於主控遊戲之遊戲伺服器302處獲取之資源來選擇。在一些實施方案中，可以在所識別資料中心301內之一個以上之遊戲伺服器302上執行遊戲之實例。替代地，遊戲之實例可以在一個以上之資料中心301內之一個以上伺服器302上執行。一個以上之資料中心內之一或多個伺服器302一起提供足以滿足遊戲要求之硬體/軟體資源。遊戲伺服器302可以係遊戲雲端系統300中可獲取之任何類型之伺服器計算裝置，包括獨立伺服器等。此外，遊戲伺服器302可管理一或多個虛擬機，該一或多個虛擬機支援在主機上為玩家執行遊戲之實例之遊戲處理器。
在一些實施方案中，一或多個伺服器302可以包括複數個遊戲主控台(或計算裝置)303，並且遊戲雲端系統300可在所識別之一或多個伺服器302內識別一或多個遊戲主控台或計算裝置303以載入遊戲。一或多個遊戲主控台/計算裝置303中之每一者可以係獨立遊戲主控台或計算裝置，或可以係機架式伺服器或刀鋒伺服器。刀鋒伺服器又可以包括複數個伺服器刀鋒，其中每個刀鋒具有例如用於樣例化遊戲之單個實例所需之電路系統及資源。當然，上文所述之遊戲主控台係實例性的，而不應被視為限制性的。其他類型之遊戲主控台或計算裝置(包括其他形式之刀鋒伺服器)也可用於執行所識別遊戲之實例。一旦識別一或多個遊戲主控台或計算裝置，就將遊戲之通用遊戲相關代碼載入到一或多個遊戲主控台/計算裝置上並且使得可由使用者1獲取。
在其他實施方案中，視訊遊戲可以在用戶端裝置處本地執行或者在通信地連接至用戶端裝置之遊戲主控台116處執行，並且來自正執行之視訊遊戲之後設資料可以通過網路200傳輸至遊戲雲端系統300之所識別之資料中心301處之遊戲伺服器302，以用於影響遊戲狀態並且用於與其他使用者(例如，玩家及觀眾)共用玩遊戲過程資料。可以自輸入裝置(諸如滑鼠112、鍵盤(未示出)等)或與用戶端裝置相關聯之控制介面(例如，觸控螢幕等)或自通信連接至用戶端裝置之控制器120提供影響遊戲之遊戲狀態之遊戲輸入。在遊戲雲端系統300處執行之遊戲可以係單玩家遊戲或多玩家遊戲。在一些實施方案中，視訊遊戲可以係允許來自不同地理位置之複數個使用者存取並玩視訊遊戲之大型多玩家線上(MMO)遊戲。
在遊戲之玩遊戲過程期間，通信地連接至遊戲之遊戲邏輯之遊戲引擎(例如，分散式遊戲引擎)管理遊戲之遊戲邏輯之執行，收集自一或多個用戶端裝置接收到之一或多個使用者(例如，玩家)輸入並將其傳輸至遊戲邏輯。遊戲引擎亦管理遊戲引擎之功能部分之分配及同步從而以最優方式處理由遊戲邏輯生成之遊戲資料，並且生成傳輸回至使用者之用戶端裝置以供呈現之遊戲資料訊框。當視訊遊戲係MMO遊戲時，使用來自複數個使用者之輸入來影響視訊遊戲之總體遊戲狀態。遊戲輸入由遊戲引擎處理，並且回應於由遊戲提供之遊戲輸入，遊戲內容被生成、編碼並流式傳輸至使用者之用戶端裝置，包括使用者1之用戶端裝置。如所述，遊戲內容包括遊戲視訊及與遊戲視訊相關聯之遊戲音訊。遊戲視訊作為資料訊框轉發至用戶端裝置進行呈現。遊戲音訊被轉發至使用者佩戴之耳機。耳機通信地耦合至用戶端裝置並且被組態為根據使用者之聲音分數調整提供給使用者之音訊。聲音分數定義了使用者對不同聲音及雜訊位準之耐受程度。在一些情況下，與左耳相關聯之聲音分數可能與右耳之聲音分數不同。
當使用者1參與遊戲之玩遊戲過程時，接近使用者1之人員或寵物可能造成分心，甚至最終可能會干擾使用者1之玩遊戲過程。為了防止此類分心或讓使用者1為此類即將到來之分心做好準備，系統被組態為監視使用者1附近之真實世界環境，以判定真實世界環境中是否發生影響或預計影響使用者1周圍區域之改變。當在使用者附近之真實世界環境中偵測到此類改變時，分析改變並向使用者1提供通知或向人員或寵物提供警告聲音。如前所述，通知可以呈增大針對使用者1的沿改變之方向之耳朵之遊戲音訊聲音之形式，及/或也可以生成聲音或通知並將其引導至接近使用者1之人員或寵物。向人員提供通知以向人員告知使用者1在視訊遊戲中之沉浸程度。例如，使用者1可能沉浸在高強度遊戲中或沉浸在遊戲之高強度部分或遊戲之關鍵部分中。在此類情況下，接近使用者1之人員可以被通知以向人員告知使用者1正參與高強度遊戲並且不應被打擾。將參考圖2詳細描述偵測使用者1正在其中操作之真實世界環境中之改變並向使用者1及/或引起改變之人員/寵物提供通知之細節。
圖2圖解說明根據一些實施方案之具有複數個組件以處理提供給使用者之音訊之實例性音訊處理引擎310。音訊處理引擎310可以在遊戲主控台(圖1A之116)上本地執行或在作為遊戲雲端系統(圖1B之300)之一部分之雲端遊戲伺服器302上遠端執行。一些組件包括遊戲內容分析器312、空間映射引擎314、聽覺屬性檢索引擎316、音訊校準引擎318及音訊串流引擎320。上述組件係作為實例提供的，並且不應被視為限制或窮舉。
音訊處理引擎310之遊戲內容分析器312用於判定使用者已經選擇用於互動之互動式應用之情景。互動式應用可以係視訊遊戲，並且使用者互動可以係選擇要玩之視訊遊戲之選擇動作。處理在視訊遊戲之玩遊戲過程期間提供之遊戲輸入，更新遊戲狀態並且生成包括遊戲視訊及遊戲音訊之遊戲內容並將該遊戲內容轉發給使用者以供呈現。遊戲可以係高強度或低強度遊戲。如果使用者正與高強度視訊遊戲或視訊遊戲之高強度部分互動，則使用者不希望被打擾。
作為遊戲內容分析器312之一部分，首先判定遊戲內容之聽覺屬性312a及視訊屬性312b。聽覺屬性312a可以用於識別為視訊遊戲生成之遊戲音訊之細節，包括在遊戲中擷取之不同聲音(動作相關、事件相關、遊戲環境相關等)、音樂、語音、效果及遊戲相關輸入。音樂可以包括背景音樂態樣、情感態樣(恐怖與滑稽、嚴肅與悲傷)、節奏態樣(快與慢)等。語音可以用於判定遊戲音訊是否來源於遊戲角色、由使用者提供作為遊戲之語音輸入或作為與另一個使用者或觀眾之互動等。節奏可以用於判定遊戲之強度。提供聲音效果以確認在遊戲中執行之活動或動作、識別真實感等。類似地，遊戲視訊屬性312b識別遊戲角色屬性、遊戲角色在玩遊戲過程期間之表現、回應於遊戲輸入而執行之互動之類型、此類互動之品質、使用使用者之遊戲輸入執行之動作之類型及品質、遊戲場景之品質等。聽覺屬性312a及視訊屬性312b可以用於判定情景、當前狀態、遊戲強度，其可以用於判定使用者在遊戲中之沉浸程度。聽覺屬性312a及視訊屬性312b連同分析資料被作為輸入轉發給音訊處理引擎310之其他組件用於進一步處理。
音訊處理引擎310之空間映射引擎314被組態為對使用者正在其中操作之三維真實世界環境執行空間映射，並使用空間映射來監視使用者之真實世界環境。執行空間映射以識別使用者在真實世界環境中之互動區，並判定在真實世界環境中是否發生或預計發生可能會使使用者在遊戲之玩遊戲過程期間分心之改變。由於使用者在其與遊戲之互動期間在真實世界環境中四處移動，因此使用者之互動區可以動態地改變。空間映射考慮了動態改變之互動區，以在遊戲之玩遊戲過程期間監視真實世界環境中之可能影響使用者之任何改變，使得可以向使用者提供適當之通知或警告。
空間映射引擎314使用環境空間映射引擎314a及聽覺空間映射引擎314b來執行真實世界環境映射及聽覺空間映射。環境空間映射引擎314a可以啟動及使用由安置在真實世界環境中、使用者之用戶端裝置及/或輸入裝置或遊戲主控台或通信地耦合至使用者之用戶端/輸入裝置之計算裝置中之一或多個圖像擷取裝置擷取之真實世界環境之圖像。自不同方向擷取真實世界環境之圖像，並且該等圖像用於使用三角測量技術構建真實世界環境之三維(3D)映射圖。真實世界環境之3D映射圖用於定義使用者在真實世界環境中之互動區，並且當使用者在真實世界環境中四處移動時，互動區被動態地更新。
聽覺空間映射引擎314b被組態為執行聽覺空間映射以識別在真實世界環境中生成之聲音或雜訊並判定產生聲音之方向。例如，在真實世界環境中，聲音或雜訊可能係在使用者與遊戲互動時由於人員說話、開門/關門或大步走向使用者、或寵物吠叫、喵喵聲或跑向使用者而生成的。由接近使用者之人員或寵物生成之聲音之各種屬性(例如，類型、方向、音量、音高、節奏等)連同用於識別產生聲音的與使用者相關之特定方向之真實世界環境之3D映射係使用安置在真實世界環境中之一或多個外部麥克風或自用戶端裝置(例如，控制器、HMD、其他輸入裝置等)處可用之麥克風陣列而擷取的。聲音之聽覺屬性作為輸入被提供給音訊校準引擎318。此外，包括使用者之互動區之真實世界環境之3D映射細節作為輸入被提供給音訊校準引擎318以供進一步處理。
使用者之聽覺屬性(包括左耳屬性及右耳屬性)由聽覺屬性檢索引擎316檢索並作為輸入提供給音訊校準引擎318。在一些實施方案中，使用者之聽覺屬性可以係儲存在使用者設定檔資料儲存庫313中的使用者之使用者設定檔之一部分。回應於偵測到接近使用者之可能影響遊戲之玩遊戲過程之人員、寵物或真實世界物件，可以檢索聽覺屬性。
音訊校準引擎318分析在真實世界環境中生成之聲音之聽覺屬性及使用者之互動區之屬性以判定人員或寵物與使用者之接近度以及在使用者正與遊戲互動時人員或寵物使使用者分心之可能性。基於分析，音訊校準引擎318生成通知以警告使用者有人員或寵物相對接近使用者。在一些實施方案中，除了向使用者生成通知之外，音訊校準引擎318亦識別使用者之特定耳朵以轉發通知，其中用於提供通知的使用者之特定耳朵被識別為與由接近使用者之人員或寵物引入之聲音之方向對準。使用者通常使用耳機收聽遊戲音訊，使得他們不會被遊戲外部之雜訊或聲音分散注意力。此允許使用者具有真正沉浸之玩遊戲體驗。通知連同遊戲音訊一起透過使用者之耳機而提供。在一個實施方案中，通知被轉發至針對與聲音方向對準之第一隻耳朵(亦即，左耳或右耳)之耳機第一側，並且遊戲音訊被轉發至針對使用者之第二隻耳朵之耳機第二側。
在一些實施方案中，通知作為音訊通知(例如，語音通知、特定聲音等)提供給使用者。在該實施方案中，遊戲音訊被選擇性地提供給第二隻耳朵並且通知被選擇性地提供給第一隻耳朵。在替代實施方案中，向使用者之第一隻耳朵提供遊戲音訊以及通知，而僅向第二隻耳朵提供遊戲音訊。在該實施方案中，遊戲音訊可以在背景呈現，而聲音在前景呈現。此外，回應於偵測到人員繼續向使用者移動，可以動態地降低遊戲音訊之音量並且動態地增大通知之音量。根據使用者之聽覺屬性向使用者提供通知及遊戲音訊，其中聽覺屬性指定向使用者提供遊戲音訊及通知之音量、頻率等。聽覺屬性可以包括被定義為指示使用者每隻耳朵對不同聲音及雜訊位準之耐受程度的聲音分數。包括聲音分數之聽覺屬性可以係使用者在系統或視訊遊戲之初始設置期間提供之自訂設置315之一部分，或者可以藉由進行聽覺測試來判定。使用者之自訂設置315可以定義使用者對視訊之偏好、用於提供輸入及用於顯示互動內容、包括聽覺屬性之聽覺偏好、耳朵偏好或提供互動音訊(例如，哪隻耳朵提供遊戲聲音、哪隻耳朵提供警告或其他聲音等)之裝置。為使用者之每隻耳朵識別之聽覺屬性可以儲存在使用者設定檔313中並且每次要向使用者提供音訊(遊戲音訊、語音通知等)時使用。在又其他實施方案中，代替除了遊戲音訊之外亦提供單獨之音訊通知，向使用者提供之通知可以呈增大轉發至耳機第一側並針對第一隻耳朵之遊戲音訊音量及以正常音量將遊戲音訊提供給針對第二隻耳朵之耳機第二側之形式。提供給第一側之遊戲音訊之音量被動態地增大以阻擋接近使用者之人員/寵物提供之聲音以確保使用者不會被聲音分散注意力。遊戲音訊之音量增大之程度由使用者之聽覺屬性決定，以便保證增大後之音量不會對使用者之聽力造成任何傷害，但足以阻擋由人員/寵物引入的不期望之環境聲音。
作為通知使用者之補充或替代，音訊校準引擎318可以生成第二通知，該第二通知被輸出到真實世界環境並且被引導至例如生成聲音之人員或寵物。可以生成第二通知並將其引導至人員，例如，以向人員告知使用者在視訊遊戲之玩遊戲過程中之沉浸程度。例如，基於遊戲音訊之節奏及遊戲內容之情景，可以判定使用者正參與高強度遊戲或遊戲之高強度部分或處於遊戲之需要使用者專注之關鍵部分。在此類情況下，生成第二通知並將其作為警告引導至人員，以指示使用者之沉浸程度(亦即，使用者沉浸之遊戲之強度位準)並且不要打擾使用者。在一些實施方案中，使用者可以定義或系統可以指定通知必須發送給人員之時間、頻率及/或速度，並且此類細節可以基於由使用者提供之通知細節、遊戲強度、人員之接近度及/或根據生成之遊戲內容之情景、根據遊戲邏輯、根據使用者之遊戲輸入等判定的使用者沉浸程度。通知細節可以儲存在使用者設定檔中所儲存之通知設置中或作為使用者之系統設置之一部分儲存，並且在要向人員提供第二通知時檢索該等通知細節。另一方面，如果使用者沒有參與高強度遊戲或者不處於遊戲之關鍵部分，則基於通知細節，可以不生成第二通知，或者可以生成第二通知但不將其發送至人員或寵物。在一些實施方案中，第二通知可以呈由系統或控制器生成之警告聲音或語音輸出之形式，或經由HMD或控制器上之燈可視地提供，或藉由透過控制器提供之觸覺信號提供。
替代地，通知可能呈由例如系統生成之特殊聲音之形式及呈對作為在真實世界環境中引入不期望之聲音之原因之寵物之輸出之形式，因為寵物接近使用者並且可能會使使用者在玩遊戲過程期間分心。第二通知可以係僅寵物能聽到並做出反應之低音高聲音。可以提供低音高聲音來分散寵物之注意力使其遠離使用者之互動區。
來自音訊校準引擎318之細節(包括遊戲內容、根據通知設置生成之對使用者及/或對人員/寵物之通知、使用者之自訂設置及/或系統設置)被轉發至音訊串流引擎320。音訊串流引擎320根據為在用戶端裝置與執行音訊處理引擎310之遊戲雲端伺服器之間建立之通信通道定義之通信協定，將包括音訊通知及對使用者/人員/寵物之其他形式之通知的通知內容封包成資料封包。生成之資料封包連同遊戲內容(遊戲音訊、遊戲視訊)一起轉發給使用者之用戶端裝置進行呈現。例如，將遊戲視訊轉發至用戶端裝置之顯示螢幕進行呈現，並且將遊戲音訊及針對使用者之語音通知(例如，警告)轉發至使用者佩戴之耳機進行呈現。具體地，遊戲音訊及包括針對每隻耳朵之任何警告之語音通知被單獨識別及提供(亦即，左耳音訊及右耳音訊)，使得向使用者之每隻耳朵呈現適當之音訊。
當使用者沉浸在視訊遊戲之玩遊戲過程中時，回應於偵測到真實世界物件(亦即，人員、寵物、真實世界物件)進入使用者之互動區，針對動態調整提供給使用者之音訊討論了各種實施方案。此等實施方案不限於在使用者參與玩視訊遊戲時提供通知，而係可以被擴展為在使用者參與/沉浸於在元宇宙空間及/或任何其他互動式應用中進行互動時提供通知。
圖3A-1、圖3A-2圖解說明在一個實施方案中通知使用者有人員正接近使用者之互動區之實例。在圖3A-1中，使用者1被示為在與使用者選擇之要玩之視訊遊戲互動時出現在互動區122中。如圖所示，遊戲音訊經由使用者佩戴之耳機呈現給使用者1。具體地，遊戲音訊被引導至使用者之左耳及右耳。當使用者自互動區122內與視訊遊戲互動時，監視真實世界環境以偵測任何改變。該系統可以使用真實世界環境之聽覺空間映射及3D空間映射來偵測接近使用者1之互動區122之人員。真實世界環境之聽覺空間映射及/或3D空間映射用於識別人員接近使用者1之方向。回應於偵測到人員接近使用者1之互動區122之方向，動態地調整針對使用者1之每隻耳朵之遊戲音訊。圖3A-2圖解說明一個此類實例，其中人員被示為自右側接近使用者1，並且作為回應，針對向右耳提供音訊之耳機右側之遊戲音訊之音量被增強以便阻擋由接近使用者1之人員引入之聲音。在該實例中，針對向左耳提供遊戲音訊之耳機左側之遊戲音訊之音量維持在正常位準。遊戲音訊之音量之增強位準及正常位準係基於為使用者1之每隻耳朵指定之聽覺屬性來定義的。此外，針對右耳之遊戲音訊之音量可以被增強持續人員被示為向使用者1移動之持續時間。當人員停止向使用者1移動或遠離使用者1之互動區122移動時，針對耳機之右側之遊戲音訊之音量被動態地調整為在正常位準下呈現。遊戲音訊之增強音量被定義為在人員自右側接近使用者1時阻擋由人員在真實世界環境中引入之聲音。
圖3B-1及圖3B-2圖解說明替代實例，其中在一個實施方案中，生成聲音以導致真實世界物件遠離在真實世界環境中互動之使用者1移動。圖3B-1示出了使用者1在真實世界環境中識別之互動區122內與視訊遊戲進行互動。當遊戲視訊在用戶端裝置(未示出)之顯示螢幕(未示出)上呈現時，經由耳機向使用者1提供遊戲音訊。當使用者1與視訊遊戲互動時，寵物被示為向使用者1跑去。如果允許寵物繼續接近使用者1，則寵物可能會造成使用者1之分心，此可能隨後導致干擾使用者1之玩遊戲過程。為了避免對使用者1之玩遊戲過程之此類干擾，系統主動監視使用者1之真實世界環境，偵測寵物在真實世界環境中之存在，生成聲音，諸如僅寵物能聽到之低音高聲音，並且經由使用者1用來提供遊戲輸入之控制器120或經由遊戲主控台116將聲音引導至寵物。低音高聲音之輸送方式可能導致寵物遠離使用者1之互動區移動。圖3B-2示出了經由以下方式被引導至寵物之警告聲音之實例：(a)控制器，或(b)遊戲主控台。回應於低音高聲音，寵物被示為自使用者1之互動區跑開。在此期間，使用者1經由耳機被提供遊戲音訊，並且將遊戲音訊輸送到使用者之每隻耳朵係根據為使用者定義之聽覺屬性，並且使用者1甚至可能沒有意識到正在接近之寵物。
圖4圖解說明根據一個實施方案之用於處理提供給使用者之互動式應用(諸如視訊遊戲)之音訊之方法之操作之流程。該方法開始於操作401，其中回應於使用者選擇要玩之視訊遊戲，判定使用者在真實世界環境中之互動區。使用者之互動區被識別為在使用者在其中操作視訊遊戲之真實世界環境中靠近或圍繞使用者之區域。如操作402中所圖解說明，在使用者與視訊遊戲互動期間，監視真實世界環境之與互動區有關之改變。該等改變可能係由於真實世界物件(諸如人員或寵物)在使用者自互動區內與視訊遊戲互動時接近使用者導致的。接近使用者之人員或寵物可能在玩遊戲過程期間導致使用者分心，此可能導致干擾使用者之玩遊戲過程。為了避免此類分心，人員或寵物接近之方向根據真實世界環境之空間映射來判定，並使用空間映射來確立人員或寵物相對於使用者之接近方向。空間映射可以包括使用由人員或寵物引入之聲音之聽覺空間映射，以及使用者在其中使用來自安置在真實世界環境中或嵌入在由使用者操作以用於向視訊遊戲提供輸入之一或多個用戶端裝置中之圖像擷取裝置之圖像進行操作的真實世界環境之3D空間映射。回應於偵測到人員或寵物自特定方向接近使用者，動態地調整經由耳機提供給使用者之至少一隻耳朵之遊戲音訊之音量以阻擋不期望之聲音，如操作403中所圖解說明。使用者之至少一隻耳朵被識別為在不期望之聲音之方向上。如上所述，動態地調整遊戲音訊之音量持續由於人員或寵物接近使用者導致之不期望之聲音存在之一段時間，並且一旦人員或寵物離開使用者或停止向使用者移動，針對至少一隻耳朵之遊戲音訊之音量被動態調整到正常位準，其中正常位準係基於使用者之至少一隻耳朵之聽覺屬性定義的。
本文描述之各種實施方案係為了阻止由接近使用者之真實世界物件引入之不期望之雜訊使使用者分心，使得使用者可以不受干擾地玩視訊遊戲或與互動式應用(例如，元宇宙空間)互動。代替調整遊戲音訊之音量，可以向使用者之一隻耳朵(左耳或右耳)提供通知(諸如警告或資訊訊息、語音輸出等)，同時向另一隻耳朵(右耳或左耳)提供遊戲音訊。在一些實施方案中，資訊訊息可以包括使用者之玩遊戲過程之細節，諸如遊戲類型、遊戲之強度位準、使用者對玩遊戲過程之興趣、使用者在視訊遊戲中之沉浸程度、使用者參與玩遊戲過程之程度、使用者在玩遊戲過程期間或在玩遊戲過程之特定沉浸程度下被打擾之意願。在一些實施方案中，向使用者提供資訊訊息之頻率及速度可以在使用者定義之自訂設置中定義。因此，當使用者被告知真實世界環境之改變可能在互動區中影響他們時，根據在使用者之自訂設置中指定之頻率及速度生成資訊訊息並將其提供給使用者。例如，當使用者全神貫注於遊戲之高強度部分時，他們不希望被打擾。因此，當系統在此期間偵測到人員或寵物接近使用者時，將通知使用者有人員或寵物接近互動區，並且通知使用者之頻率及速度可以根據使用者定義之自訂設置。例如，當判定在使用者正參與遊戲之關鍵部分時人員愈來愈接近使用者時，可以更頻繁地及/或以更快之速度轉發資訊訊息，而當判定人員離使用者足夠遠或已停止向使用者移動或參與遊戲之低強度部分時，可以不太頻繁地轉發資訊訊息。也可以考慮採用向使用者提供通知之其他方式，包括調整針對使用者之兩隻耳朵之遊戲音訊之音量、將特定聲音連同遊戲音訊一起提供給一隻耳朵等。
上面定義之通知使用者之方式可以被擴展為在互動式應用中生成並通知有人員接近使用者。關於通知使用者之頻率及速度，可以生成警告訊息並將其引導至人員以向人員告知使用者在遊戲中之沉浸程度及使用者在玩遊戲過程期間之意願。例如，當使用者參與遊戲之關鍵部分時，使用者之意願可能係不被打擾，並且可以根據如在使用者之自訂設置中指定之使用者意願生成警告訊息並將其提供給人員。
圖5圖解說明可以用於執行本發明之各種實施例之各態樣之實例性伺服器裝置500之組件。該方塊圖圖解說明伺服器裝置500，其可以併入有或者可以係個人電腦、視訊遊戲主控台、個人數位助理、頭戴式顯示器(HMD)、可穿戴計算裝置、膝上型或桌上型計算裝置、伺服器或適合於實踐本發明之實施例之任何其他數位計算裝置。伺服器裝置(或簡稱為“伺服器”或“裝置”) 500包括用於運行軟體應用程式及任選地作業系統之中央處理單元(CPU) 502。CPU 502可以由一或多個同質或異質處理核心構成。例如，CPU 502係具有一或多個處理核心之一或多個一般用途微處理器。可以使用具有微處理器架構之一或多個CPU來實施其他實施例，該等微處理器架構特別地適於高度並行且計算密集之應用程式，諸如處理解釋查詢、識別情景相關資源以及立即在視訊遊戲中實施及呈現情景相關資源的操作。裝置500可以係在玩遊戲片段之玩家本地的(例如，遊戲主控台)，或者係遠離玩家的(例如，後端伺服器處理器)，或者係在遊戲雲端系統中使用虛擬化來向用戶端裝置遠端流式傳輸玩遊戲過程之許多伺服器中之一者。
記憶體504儲存供CPU 502使用之應用程式及資料。儲存裝置506提供用於應用程式及資料之非揮發性儲存裝置及其他電腦可讀媒體，並且可以包括固定磁碟機、可移除磁碟機、快閃記憶體裝置以及CD-ROM、DVD-ROM、藍光、HD-DVD或其他光學儲存裝置，以及信號傳輸及儲存媒體。使用者輸入裝置508將使用者輸入自一或多個使用者傳送至裝置500，該裝置之實例可以包括鍵盤、滑鼠、操縱杆、觸控板、觸控螢幕、靜態或視訊記錄器/相機、用於辨識手勢之追蹤裝置及/或麥克風。網路介面514允許裝置500經由電子通信網路與其他電腦系統通信，並且可以包括通過局域網路及廣域網路(諸如網際網路)進行之有線或無線通信。音訊處理器512適於自由CPU 502、記憶體504及/或儲存裝置506提供之指令及/或資料生成類比或數位音訊輸出。裝置500之組件(包括CPU 502、記憶體504、資料儲存裝置506、使用者輸入裝置508、網路介面514及音訊處理器512)經由一或多個資料匯流排522連接。
圖形子系統520進一步與資料匯流排522及裝置500之組件連接。圖形子系統520包括圖形處理單元(GPU) 516及圖形記憶體518。圖形記憶體518包括用於儲存輸出圖像之每一個像素之像素資料之顯示記憶體(例如，訊框緩衝器)。圖形記憶體518可以與GPU 516整合在同一裝置中，作為單獨裝置與GPU 516連接，及/或在記憶體504內實施。像素資料可以直接自CPU 502提供給圖形記憶體518。替代地，CPU 502可以向GPU 516提供定義期望輸出圖像之資料及/或指令，GPU 516根據該等資料及/或指令生成一或多個輸出圖像之像素資料。定義期望輸出圖像之資料及/或指令可以儲存在記憶體504及/或圖形記憶體518中。在一個實施例中，GPU 516包括自定義場景之幾何形狀、照明、著色、紋理、運動及/或相機參數之指令及資料來生成輸出圖像之像素資料的3D呈現能力。GPU 516亦可以包括能夠執行著色器程式之一或多個可程式化執行單元。
圖形子系統520週期性地自圖形記憶體518輸出圖像之像素資料，以顯示在顯示裝置510上。顯示裝置510可以係能夠回應於來自裝置500之信號來顯示視覺資訊之任何裝置，包括CRT、LCD、電漿及OLED顯示器。除了顯示裝置510之外，像素資料亦可以被投影到投影表面上。裝置500可以向顯示裝置510提供例如類比或數位信號。
應注意，在廣闊之地理區域上遞送之存取服務(諸如提供對當前實施例之遊戲之存取)經常使用雲端計算。雲端計算係一種計算方式，其中動態可擴展及通常虛擬化之資源藉由網際網路作為服務提供。使用者不需要成為支援他們之“雲端”中技術基礎設施方面之專家。雲端計算可以分為不同之服務，諸如基礎設施即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)。雲端計算服務通常提供線上之自web流覽器存取之常用應用程式(諸如視訊遊戲)，而軟體及資料則儲存在雲端中之伺服器上。基於電腦網路圖中繪示網際網路之方式，術語雲端被用作網際網路之隱喻，並且係其隱藏之複雜基礎設施之抽象。
在一些實施例中，遊戲伺服器可以用於執行視訊遊戲玩家之持續時間資訊平台之操作。藉由網際網路玩之大多數視訊遊戲都係經由與遊戲伺服器之連接來操作的。通常，遊戲使用專用之伺服器應用程式，該伺服器應用程式自玩家收集資料並將其分發給其他玩家。在其他實施例中，視訊遊戲可由分散式遊戲引擎執行。在此等實施例中，分散式遊戲引擎可在複數個處理實體(PE)上執行，使得每個PE執行視訊遊戲在其上運行之給定遊戲引擎之功能片段。遊戲引擎將每個處理實體簡單地視為計算節點。遊戲引擎通常執行一系列功能多樣之操作，以執行視訊遊戲應用以及使用者體驗之附加服務。例如，遊戲引擎實施遊戲邏輯，執行遊戲計算、實體效果、幾何變換、呈現、照明、著色、音訊、以及附加之遊戲內或遊戲相關服務。附加服務可包括例如訊息傳送、社交實用程式、音訊通信、遊戲播放/重播功能、幫助功能等。雖然遊戲引擎有時可在由特定伺服器之超管理器虛擬化之作業系統上執行，但在其他實施例中，遊戲引擎本身分散在複數個處理實體間，該複數個處理實體中之每一者可駐留在資料中心之不同伺服器單元上。
根據該實施例，取決於每個遊戲引擎片段之需要，用於執行操作之各別處理實體可以係伺服器單元、虛擬機或容器。例如，如果遊戲引擎片段負責相機變換，則可向該特定遊戲引擎片段提供與圖形處理單元(GPU)相關聯之虛擬機，因為該引擎片段將進行大量相對簡單之數學運算(例如，矩陣變換)。可以向需要更少但更複雜之操作之其他遊戲引擎片段提供與一或多個更高功率之中央處理單元(CPU)相關聯之處理實體。
藉由分散遊戲引擎，遊戲引擎具有不受實體伺服器單元之能力約束之彈性計算性質。替代地，在需要時，向遊戲引擎提供更多或更少之計算節點，以滿足視訊遊戲之需求。自視訊遊戲及視訊遊戲玩家之角度看，分散在多個計算節點上之遊戲引擎與在單個處理實體上執行之非分散式遊戲引擎沒有區別，因為遊戲引擎管理器或監督程式分發工作負荷並無縫地整合結果以便為最終使用者提供視訊遊戲輸出分量。
使用者利用用戶端裝置存取遠端服務，該等用戶端裝置至少包括CPU、顯示器及I/O。用戶端裝置可以係PC、行動電話、上網本、PDA等。在一個實施例中，在遊戲伺服器上執行之網路辨識用戶端所使用之裝置類型並調整所採用之通信方法。在其他情況下，用戶端裝置使用標準通信方法(諸如html)來通過網際網路存取遊戲伺服器上之應用程式。
應理解，可以針對特定平台及特定相關聯之控制器裝置開發給定之視訊遊戲或遊戲應用程式。然而，當經由如本文所呈現之遊戲雲端系統使此類遊戲可用時，使用者可能使用不同之控制器裝置來存取視訊遊戲。例如，可能已經針對遊戲主控台及其相關聯之控制器開發了遊戲，而使用者可能正在利用鍵盤及滑鼠自個人電腦存取遊戲之基於雲端之版本。在此情況下，輸入參數組態可以定義自使用者之可用控制器裝置(在此情況下為鍵盤及滑鼠)生成之輸入到執行視訊遊戲可接受之輸入之映射。
在另一個實例中，使用者可經由平板計算裝置、觸控螢幕智慧型電話或其他觸控螢幕驅動之裝置存取雲端遊戲系統。在此情況下，用戶端裝置及控制器裝置一起整合在同一裝置中，其中輸入藉由偵測到之觸控螢幕輸入/手勢來提供。對於此類裝置，輸入參數組態可限定與視訊遊戲之遊戲輸入相對應之特定觸控螢幕輸入。例如，在視訊遊戲之運行期間，可能顯示或疊覆按鈕、方向鍵或其他類型之輸入元件以指示觸控螢幕上使用者可以觸控以生成遊戲輸入之位置。手勢(諸如在特定方向上之輕掃或具體之觸控運動)也可被偵測為遊戲輸入。在一個實施例中，可向使用者提供指導，指示如何經由觸控螢幕提供用於玩遊戲之輸入，例如在開始玩視訊遊戲之前提供指導，以便使使用者適應觸控螢幕上之控制項之操作。
在一些實施例中，用戶端裝置用作控制器裝置之連接點。亦即，控制器裝置經由無線或有線連接與用戶端裝置通信以將來自控制器裝置之輸入發送至用戶端裝置。用戶端裝置可繼而處理此等輸入，然後經由網路(例如，經由諸如路由器之本地網路連結裝置存取之網路)將輸入資料傳輸至雲端遊戲伺服器。然而，在其他實施例中，控制器本身可以係網路連結裝置，具有經由網路直接將輸入傳送至雲端遊戲伺服器之能力，而無需首先透過用戶端裝置傳送此類輸入。例如，控制器可連接至本地網路連結裝置(諸如上述路由器)以向雲端遊戲伺服器發送資料以及自雲端遊戲伺服器接收資料。因此，雖然可能仍然需要用戶端裝置接收來自基於雲端之視訊遊戲之視訊輸出並將其呈現在本地顯示器上，但藉由允許控制器通過網路將輸入直接發送至雲端遊戲伺服器從而繞過用戶端裝置，可減少輸入延時。
在一個實施例中，網路連結控制器及用戶端裝置可被組態為將某些類型之輸入直接地自控制器發送至雲端遊戲伺服器，並且經由用戶端裝置發送其他類型之輸入。例如，其偵測不依賴於控制器本身以外之任何附加硬體或處理之輸入可以經由網路自控制器直接發送至雲端遊戲伺服器，從而繞過用戶端裝置。此類輸入可包括按鈕輸入、操縱杆輸入、嵌入式運動偵測輸入(例如，加速度計、磁力計、陀螺儀)等。然而，利用附加硬體或需要由用戶端裝置進行處理之輸入可由用戶端裝置發送至雲端遊戲伺服器。此等可能包括自遊戲環境中擷取之視訊或音訊，此等視訊或音訊可以在發送至雲端遊戲伺服器之前由用戶端裝置進行處理。另外，來自控制器之運動偵測硬體之輸入可由用戶端裝置結合所擷取之視訊進行處理，以偵測控制器之位置及運動，隨後用戶端裝置會將該位置及運動傳送至雲端遊戲伺服器。應理解，根據各種實施例之控制器裝置亦可以自用戶端裝置或直接自雲端遊戲伺服器接收資料(例如，回饋資料)。
在一個實施例中，可以經由頭戴式顯示器(HMD)使用虛擬環境來實施各種技術實例。HMD也可以被稱為虛擬實境(VR)頭戴式設備。如本文所使用，術語“虛擬實境”(VR)通常係指使用者與虛擬空間/環境之互動，該互動涉及透過HMD (或VR頭戴式設備)以對HMD之移動(由使用者控制)做出即時回應之方式觀看虛擬空間以向使用者提供在虛擬空間或元宇宙中之感覺。例如，使用者在面向給定方向時可以看到虛擬空間之三維(3D)視圖，並且當使用者轉向一側並由此同樣地轉動HMD時，則在HMD上呈現該側在虛擬空間中之視圖。HMD可以類似於眼鏡、護目鏡或頭盔之方式佩戴，並且被組態為向使用者顯示視訊遊戲或其他元宇宙內容。HMD由於其緊鄰使用者之眼睛提供顯示機制而向使用者提供了極具沉浸感之體驗。因此，HMD可以向使用者之每隻眼睛提供佔據使用者之大部分或者甚至整個視野之顯示區域，並且亦可以提供具有三維深度及視角之觀看。
在一個實施例中，HMD可以包括注視追蹤相機，該注視追蹤相機被組態為在使用者與VR場景互動時擷取使用者之眼睛之圖像。由注視追蹤相機擷取之注視資訊可以包括與使用者之注視方向以及使用者關注或有興趣與其互動之VR場景中之特定虛擬物件及內容項相關之資訊。因此，基於使用者之注視方向，系統可以偵測可能係使用者潛在關注(其中使用者有興趣與其互動及參與其中)之特定之虛擬物件及內容項，例如遊戲角色、遊戲物件、遊戲道具等。
在一些實施例中，HMD可以包括一或多個面向外部之相機，該一或多個面向外部之相機被組態為擷取使用者之真實世界空間之圖像，諸如使用者之身體移動及可以位於真實世界空間中之任何真實世界物件。在一些實施例中，可分析由面向外部之相機擷取之圖像以判定真實世界物件相對於HMD之位置/定向。使用HMD、真實世界物件之已知位置/定向以及來自慣性運動單元(IMU)感測器之慣性感測器資料，可在與VR場景之使用者互動期間連續地監視及追蹤使用者之姿勢及移動。例如，在與遊戲中之場景互動時，使用者可作出各種姿勢，諸如指向及走向場景中之特定內容項。在一個實施例中，系統可追蹤並處理姿勢以生成與遊戲場景中之特定內容項之互動之預測。在一些實施例中，可使用機器學習來促進或輔助該預測。
在HMD使用期間，可使用各種單手以及雙手控制器。在一些實施方案中，可以藉由追蹤控制器中所包括之燈或追蹤與控制器相關聯之形狀、感測器及慣性資料來追蹤控制器本身。使用此等不同類型之控制器或甚至僅僅使用做出之及由一或多個相機擷取之手勢，可以介接、控制、操縱HMD上呈現之虛擬實境環境或元宇宙、與該虛擬實境環境或元宇宙互動並且參與到該虛擬實境環境或元宇宙中。在一些情況下，HMD可以通過網路無線地連接至雲端計算及遊戲系統。在一個實施例中，雲端計算及遊戲系統維護並執行使用者所玩之視訊遊戲。在一些實施例中，雲端計算及遊戲系統被組態為通過網路自HMD及介面物件接收輸入。雲端計算及遊戲系統被組態為處理輸入以影響正在執行之視訊遊戲之遊戲狀態。來自正在執行之視訊遊戲之輸出(諸如視訊資料、音訊資料及觸覺回饋資料)被傳輸至HMD及介面物件。在其他實施方案中，HMD可透過諸如蜂巢網路之另選機制或通道與雲端計算及遊戲系統無線通信。
另外，儘管可以參考頭戴式顯示器來描述本發明中之實施方案，但應明瞭，在其他實施方案中，可以替換為非頭戴式顯示器，包括但不限於可擕式裝置螢幕(例如，平板、智慧型電話、膝上型電腦等)或可以被組態為根據本實施方案呈現視訊及/或提供互動式場景或虛擬環境之顯示的任何其他類型之顯示器。應理解，可使用本文揭示之各種特徵將本文限定之各種實施例組合或裝配成特定之實施方案。因此，所提供之實例僅係一些可能之實例，而不限於藉由組合各種元件來定義更多實施方案之可能之各種實施方案。在一些實例中，在不背離所揭示或等效實施方案之精神之情況下，一些實施方案可以包括更少之元件。
如所指出，可使用各種電腦裝置組態來實踐本發明之用於在計算裝置之間通信之實施方案，該各種電腦裝置組態包括手持式裝置、微處理器系統、基於微處理器之或可程式化之消費電子產品、小型電腦、大型電腦、頭戴式顯示器、可穿戴計算裝置等。亦可在分散式計算環境中實踐本發明之實施例，在該分散式計算環境中，透過基於有線之網路或無線網路連結之遠端處理裝置執行任務。
在一些實施例中，可使用無線技術來促進通信。此類技術可包括例如5G無線通信技術。5G係第五代蜂巢網路技術。5G網路係數位蜂巢網路，其中提供商覆蓋之服務區域被劃分成被稱為小區之小地理區域。表示聲音及圖像之類比信號在移動裝置中數位化、由類比轉數位轉換器轉換並作為位元串流傳輸。通過由收發器自其他小區中再用之頻率池中分配之頻道，小區中之所有5G無線裝置藉由無線電波與小區中之本地天線陣列及小功率自動收發器(發射器及接收器)通信。本地天線藉由高頻寬光纖或無線回程連接與蜂巢網路及網際網路連接。與在其他小區網路中一樣，自一個小區跨到另一小區之行動裝置自動轉到新小區。應理解，5G網路僅係通信網路之實例性類型，並且本發明之實施例可利用更早一代之無線或有線通信，以及5G之後的更新一代之有線或無線技術。
考慮到上述實施例，應理解，本發明可採用涉及儲存在電腦系統中之資料之各種電腦實施之操作。此等操作係需要對實體量之實體操縱之彼等操作。形成本發明之一部分的本文描述之任何操作都係有用之機器操作。本發明亦係關於用於執行此等操作之裝置或設備。該設備可以針對所需目的進行專門構造，或者該設備可以係由儲存在電腦中之電腦程式選擇性地啟動或組態之一般用途電腦。具體地，各種一般用途機器可與根據本文之教示內容編寫之電腦程式一起使用，或者構造更專門之設備來執行所需操作可更方便。
儘管按特定順序描述了方法操作，但應理解，可在操作之間執行其他內務處理操作，或者可調整操作以使得它們在略微不同之時間發生，或者可將操作分散在系統中，該系統允許處理操作以與該處理相關聯之各種時間間隔發生，惟用於生成所修改遊戲狀態之遙測及遊戲狀態資料之處理以所需方式執行即可。
一或多個實施例亦可被製造為電腦可讀媒體上之電腦可讀代碼。電腦可讀媒體係可以儲存資料之任何資料儲存裝置，該資料隨後可以由電腦系統讀取。電腦可讀媒體之實例包括硬碟驅動器、網路附接儲存裝置(NAS)、唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶以及其他光學及非光學資料儲存裝置。電腦可讀媒體可包括分散在網路耦合之電腦系統上之電腦可讀有形媒體，使得以分散式方式儲存及執行電腦可讀代碼。
儘管出於清楚理解之目的而略微詳細地描述了前述實施例，但應明白，可在所附申請專利範圍之範疇內實踐某些變化及修改。因此，本發明實施例應認為係說明性而非限制性的，且該等實施例不限於本文給出之細節，而係可在所附申請專利範圍之範疇及等效範疇內進行修改。
應理解，可使用本文揭示之各種特徵將本文限定之各種實施例組合或裝配成特定之實施方案。因此，所提供之實例僅係一些可能之實例，而不限於藉由組合各種元件來定義更多實施方案之可能之各種實施方案。在一些實例中，在不背離所揭示或等效實施方案之精神之情況下，一些實施方案可以包括更少之元件。
10:系統 10’:遊戲雲端系統 100:顯示螢幕 112:滑鼠 114:外部相機 116:遊戲主控台 120:手持式遊戲控制器/控制器 122:互動區 200:網路 300:遊戲雲端系統 301:資料中心 302:遊戲伺服器/伺服器/雲端遊戲伺服器 303:遊戲主控台/計算裝置 304:使用者帳戶 305:使用者資料儲存庫 306:遊戲資料儲存庫 307:玩遊戲過程資料儲存庫 308:玩遊戲過程資料 310:音訊處理引擎 312:遊戲內容分析器 312a:聽覺屬性 312b:視訊屬性/遊戲視訊屬性 313:使用者設定檔資料儲存庫/使用者設定檔 314:空間映射引擎 314a:環境空間映射引擎 314b:聽覺空間映射引擎 315:自訂設置 316:聽覺屬性檢索引擎 318:音訊校準引擎 320:音訊串流引擎 320a:音量調變 320b:音訊過濾器 320c:警告(音訊、文字或圖形) 401:操作 402:操作 403:操作 500:伺服器裝置/裝置 502:中央處理單元 504:記憶體 506:儲存裝置/資料儲存裝置 508:使用者輸入裝置 510:顯示裝置 512:音訊處理器 514:網路介面 516:圖形處理單元 518:圖形記憶體 520:圖形子系統 522:資料匯流排
結合附圖參考以下描述，可最佳地理解本發明。 [圖1A]圖解說明根據本發明之一個實施方案之用於執行向使用者提供遊戲場景及遊戲音訊之視訊遊戲的系統之簡化方塊圖。 [圖1B]圖解說明根據本發明之一個實施方案之簡化之概念性遊戲雲端系統，其可由來自不同地理位置之複數個使用者存取並且生成提供遊戲音訊以呈現給每個使用者之視訊遊戲之遊戲內容。 [圖2]圖解說明根據本發明之一個實施方案之在作為遊戲雲端系統之一部分之遊戲雲端伺服器上執行之簡化音訊處理引擎，其用於處理自執行視訊遊戲生成之遊戲音訊。 [圖3A-1]及[圖3A-2]圖解說明根據本發明之一個實施方案之回應於在使用者正與視訊遊戲互動時人員接近使用者之互動區而提供給使用者之遊戲音訊。 [圖3B-1]及[圖3B-2]圖解說明根據本發明之一個實施方案之提供給使用者之遊戲音訊及所生成之用於嚇唬寵物離開互動區之聲音。 [圖4]圖解說明根據本發明之一個實施方案之用於處理由視訊遊戲生成之遊戲音訊之方法之操作之簡化流程。 [圖5]圖解說明根據本發明之一個實施方案之用於提供為互動式應用生成之音訊的簡化之概念性遊戲雲端系統。
302:遊戲伺服器/伺服器/雲端遊戲伺服器
310:音訊處理引擎
312:遊戲內容分析器
312a:聽覺屬性
312b:視訊屬性/遊戲視訊屬性
313:使用者設定檔資料儲存庫/使用者設定檔
314:空間映射引擎
314a:環境空間映射引擎
314b:聽覺空間映射引擎
315:自訂設置
316:聽覺屬性檢索引擎
318:音訊校準引擎
320:音訊串流引擎
320a:音量調變
320b:音訊過濾器
320c:警告(音訊、文字或圖形)

Claims (19)

  1. 一種用於為一使用者處理音訊之方法，其包括： 偵測該使用者正與一視訊遊戲互動之一真實世界環境內之一互動區，該視訊遊戲提供遊戲內容以呈現給該使用者，其中該遊戲內容包括遊戲場景及與該等遊戲場景相關聯之音訊； 在該使用者與該視訊遊戲互動時監視該真實世界環境以偵測可能影響該互動區之改變；以及 回應於偵測到該等改變而動態地調整針對一耳機之一側或兩側之音訊之一音量，該耳機之一側或兩側提供針對該使用者之一隻耳朵或兩隻耳朵之音訊， 其中該方法之操作由一計算裝置之一處理器執行。
  2. 如請求項1之方法，其中動態地調整該音量包括： 識別在該真實世界環境中偵測到改變之一方向，該方向係與該使用者相關地識別的；以及 沿在該真實世界環境中發生該等改變之該方向自動地調整該視訊遊戲的傳輸至該使用者之一隻耳朵之該音訊之該音量。
  3. 如請求項2之方法，其中藉由使用以下任一者或一組合執行該使用者正在其中操作之該真實世界環境之聽覺空間映射來識別該方向：用於向該視訊遊戲提供輸入之一控制器內可用之麥克風陣列；或執行或提供該視訊遊戲之該遊戲內容之一遊戲主控台；或在該真實世界環境中靠近該互動區安置之一外部麥克風。
  4. 如請求項2之方法，其中根據為該使用者之該耳朵定義之一聲音分數自動地調整該音量，該聲音分數係自該使用者之一使用者設定檔中檢索的並且指定該使用者之每隻耳朵對不同聲音及雜訊位準之一耐受程度。
  5. 如請求項2之方法，其中調整該音訊之該音量包括增大針對該使用者的沿該等改變之該方向之該耳朵之該音訊之該音量，並且維持針對該使用者之另一隻耳朵之該音訊之該音量。
  6. 如請求項2之方法，其進一步包括生成一聲音並將該聲音引導至接近該使用者之該互動區之一人員或一寵物，該聲音包括指示該使用者在該視訊遊戲中之一沉浸程度之一通知，以及 生成一警告並將該警告提供給該使用者以向該使用者通知該人員或該寵物與該互動區之相對接近度。
  7. 如請求項1之方法，其進一步包括自動地生成一資訊訊息並將該資訊訊息轉發給接近在該互動區中互動之該使用者之一人員，該資訊訊息被提供以指示該使用者在該視訊遊戲中之一沉浸程度，並且 其中透過由該使用者用於向該視訊遊戲提供輸入之一控制器之一揚聲器或經由執行該視訊遊戲之一系統或使用安置在一頭戴式顯示器上之燈可視地將該資訊訊息作為一聲音或一語音輸出而提供。
  8. 如請求項7之方法，其中根據由該使用者定義之一設置轉發該資訊訊息，該設置根據該使用者之該沉浸程度而定義。
  9. 如請求項7之方法，其中轉發該資訊訊息之一頻率及一速度係基於當偵測到該等改變時該使用者當前參與之該視訊遊戲或該視訊遊戲之一部分之一強度。
  10. 如請求項1之方法，其中在該真實世界環境中偵測到之該等改變係由於一人員或一寵物接近該互動區所致。
  11. 如請求項1之方法，其中針對該使用者之每隻耳朵之該音訊之該音量係根據為該使用者之該每隻耳朵定義之一聲音分數，自該使用者之一使用者設定檔中檢索之該聲音分數定義該使用者之該每隻耳朵對各種聲音及雜訊位準之一耐受程度。
  12. 一種用於向一人員提供一警告之方法，其包括： 偵測一使用者正與一視訊遊戲互動之一真實世界環境內之一互動區，該視訊遊戲提供遊戲內容以呈現給該使用者，其中該遊戲內容包括遊戲視訊及與該遊戲視訊相關聯之遊戲音訊； 在該使用者與該視訊遊戲互動時監視該真實世界環境，以偵測影響該互動區之改變，該等改變由於該人員自一第一方向接近該互動區中之該使用者而引起； 回應於偵測到該等改變而動態地調整針對一耳機的向該使用者之一第一隻耳朵提供該遊戲音訊之一第一側之該遊戲音訊之一音量，該耳機用於向該使用者提供該遊戲音訊；以及 自動地生成針對作為該等改變之原因之該人員之一聲音，該聲音包括指示該使用者在該視訊遊戲中之一沉浸程度之一通知， 其中該方法之操作由一計算裝置之一處理器執行。
  13. 如請求項12之方法，其中當該沉浸程度指示該使用者正在參與高強度視訊遊戲或該視訊遊戲之高強度部分時，將該聲音作為該警告轉發給該人員以使該人員改變方向而遠離該互動區。
  14. 如請求項12之方法，其中動態地調整該音量包括： 識別在該真實世界環境中偵測到該等改變之一方向，該方向係與該使用者相關地識別的；以及 自動地調整該視訊遊戲的傳輸至該耳機之該第一側之該遊戲音訊之該音量，該耳機之該第一側係針對該使用者的沿在該真實世界環境中偵測到該等改變之該方向之該第一隻耳朵的。
  15. 如請求項14之方法，其中藉由執行該使用者正在其中操作之該真實世界環境之聽覺空間映射來識別該方向，該聽覺空間映射使用以下任一者或一組合來執行：用於向該視訊遊戲提供輸入之一控制器可用之麥克風陣列；或執行或提供該視訊遊戲之該遊戲內容之一遊戲主控台；或在該真實世界環境中靠近該互動區安置之一外部麥克風。
  16. 如請求項14之方法，其中針對該使用者之該第一隻耳朵之該遊戲音訊之該音量係根據為該使用者之該第一隻耳朵定義之一聲音分數而自動調整的，該聲音分數係自該使用者之一使用者設定檔中檢索的並用於定義該使用者之該第一隻耳朵對不同聲音及雜訊位準之一耐受程度。
  17. 如請求項14之方法，其中調整該遊戲音訊之該音量包括增大傳輸至該耳機的針對該使用者之沿在該真實世界環境中偵測到該等改變之該方向之該第一隻耳朵之該第一側之該遊戲音訊之該音量，並維持傳輸至該耳機的針對該使用者之一第二隻耳朵之一第二側之該遊戲音訊之該音量。
  18. 如請求項14之方法，其中針對該人員之該聲音之一頻率及一音量係基於該視訊遊戲之一強度位準及該人員與該互動區之接近度。
  19. 如請求項12之方法，其中當該使用者當前參與之視訊遊戲或視訊遊戲之一部分為低強度時，不向該人員發送該聲音。
TW112118525A 2022-05-27 2023-05-18 用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統 TW202401241A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/827,577 US20230398435A1 (en) 2022-05-27 2022-05-27 Methods and systems for dynamically adjusting sound based on detected objects entering interaction zone of user
US17/827,577 2022-05-27

Publications (1)

Publication Number Publication Date
TW202401241A true TW202401241A (zh) 2024-01-01

Family

ID=86861721

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112118525A TW202401241A (zh) 2022-05-27 2023-05-18 用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統

Country Status (4)

Country Link
US (1) US20230398435A1 (zh)
CN (1) CN117122920A (zh)
TW (1) TW202401241A (zh)
WO (1) WO2023230489A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129278A1 (en) * 2014-07-27 2018-05-10 Alexander Luchinskiy Interactive Book and Method for Interactive Presentation and Receiving of Information
US10595147B2 (en) * 2014-12-23 2020-03-17 Ray Latypov Method of providing to user 3D sound in virtual environment
JP2017069687A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US9749766B2 (en) * 2015-12-27 2017-08-29 Philip Scott Lyren Switching binaural sound
JP6783541B2 (ja) * 2016-03-30 2020-11-11 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US11385726B2 (en) * 2020-06-01 2022-07-12 Science House LLC Systems, methods, and apparatus for enhanced presentation remotes

Also Published As

Publication number Publication date
WO2023230489A1 (en) 2023-11-30
CN117122920A (zh) 2023-11-28
US20230398435A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US11662813B2 (en) Spectating virtual (VR) environments associated with VR user interactivity
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
US10112111B2 (en) Spectator view perspectives in VR environments
JP2020518321A (ja) Ｖｒ環境への第２の画面の仮想ウィンドウ
US11806615B2 (en) Asynchronous virtual reality interactions
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US11833428B2 (en) Positional haptics via head-mounted peripheral
US10530818B2 (en) Server-based sound mixing for multiuser voice chat system
TW202401241A (zh) 用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統
US11863956B2 (en) Methods and systems for balancing audio directed to each ear of user
US11914146B2 (en) Methods and systems for adding real-world sounds to virtual reality scenes
US20230386443A1 (en) Method for adjusting noise cancellation in headphones based on real-world activity or game context
JP2019208185A (ja) 情報処理装置および音発生方法
US20240033619A1 (en) Impaired player accessability with overlay logic providing haptic responses for in-game effects
US20240017171A1 (en) DYNAMIC ADJUSTMENT OF IN-GAME THEME PRESENTATION BASED ON CONTEXT OF GAME ACTIVITy
US20240073489A1 (en) Mesh Network for Propagating Multi-dimensional World State Data
US20240139635A1 (en) Methods and systems for assistive chat interactivity
US20240115940A1 (en) Text message or app fallback during network failure in a video game
JP7232765B2 (ja) シミュレーション方法とシステム