TWI647593B - 模擬環境顯示系統及方法 - Google Patents

模擬環境顯示系統及方法 Download PDF

Info

Publication number
TWI647593B
TWI647593B TW106133763A TW106133763A TWI647593B TW I647593 B TWI647593 B TW I647593B TW 106133763 A TW106133763 A TW 106133763A TW 106133763 A TW106133763 A TW 106133763A TW I647593 B TWI647593 B TW I647593B
Authority
TW
Taiwan
Prior art keywords
user
detector
space
wearable device
computing device
Prior art date
Application number
TW106133763A
Other languages
English (en)
Other versions
TW201814444A (zh
Inventor
楊宏毅
蔡育根
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201814444A publication Critical patent/TW201814444A/zh
Application granted granted Critical
Publication of TWI647593B publication Critical patent/TWI647593B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Architecture (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本案涉及一種模擬環境顯示系統及方法，其中，系統包含第一穿戴裝置、第二穿戴裝置以及計算裝置。第一穿戴裝置用以輸出模擬環境的景象以及輸出第一音訊。第二穿戴裝置用以收集鄰近該第二穿戴裝置的環境音並將其傳送至計算裝置。計算裝置用以根據索引值將環境音融合至第一音訊中，並將經融合的第一音訊傳送至第一穿戴裝置。其中此索引值係根據第一和第二穿戴裝置於模擬環境中被指派的兩座標之間的相對距離和相對方向所決定。

Description

模擬環境顯示系統及方法
本案涉及一種用以提供模擬環境的系統及方法，尤為一種向複數使用者提供模擬環境的系統及方法。
模擬環境的應用，例如虛擬實境和擴增實境，在許多方面皆非常實用。在現今的市場中，模擬環境最常被用於電玩遊戲或展示場合。無論是在電玩遊戲或展示場合中，大多時候模擬環境都具有複數使用者。然而，儘管模擬環境中所能展現的模擬物件越發精細，多數使用者仍舊係以模擬環境中的使用者互動體驗是否良好作為評斷基準。
事實上，目前技術所能提供的模擬環境中，複數使用者之間的溝通功能仍相當受限。是故，發展出一種能夠提升使用者互動體驗的系統在本領域中係有其必要性的。
本案內容之一實施態樣係關於一種模擬環境顯示系統，應用於提供一模擬環境。此種模擬環境顯示系統包含一第一穿戴裝置、一第二穿戴裝置以及一計算裝置。其中該第 一穿戴裝置用以輸出該模擬環境的一景象以及輸出一第一音訊。該第二穿戴裝置用以收集鄰近該第二穿戴裝置的一環境音並傳送該環境音。該計算裝置用以根據一索引值將該環境音融合至該第一音訊中，並傳送經融合的該第一音訊至該第一穿戴裝置。其中該索引值係根據該第一穿戴裝置和該第二穿戴裝置於該模擬環境中被指派的兩座標之間的一相對距離以及一相對方向所決定。
本案的另一實施態樣係關於一種模擬環境顯示方法，應用於提供一模擬環境。此種模擬環境顯示方法包含下列步驟：透過一第一穿戴裝置輸出該模擬環境的一景象以及輸出一第一音訊；透過一第二穿戴裝置收集鄰近該第二穿戴裝置的一環境音並將該環境音傳送至一計算裝置；透過該計算裝置根據一索引值將該環境音融合至該第一音訊中，其中該索引值係根據該第一穿戴裝置和該第二穿戴裝置於該模擬環境中被指派的兩座標之間的一相對距離以及一相對方向所決定；以及透過該計算裝置傳送經融合的該第一音訊至該第一穿戴裝置。
應當理解，前述的發明內容以及後續的實施方式僅係敘述各種可能的實施態樣，其係用以詳細地說明本案欲保護的內容。
根據本案之技術內容，本案實施例藉由提供一種模擬環境顯示系統以及方法，其係用以在模擬環境中展現具方向性的音效，改善了先前技術所展現之音效其臨場感與真實性不足的問題。
V1‧‧‧第一使用者角色
V2‧‧‧第二使用者角色
V3‧‧‧虛擬人偶
1‧‧‧第一使用者
2‧‧‧第二使用者
3‧‧‧人偶
100‧‧‧第一使用者裝置
200‧‧‧第二使用者裝置
300‧‧‧計算裝置
400‧‧‧光學偵測器
500‧‧‧光學偵測器
501‧‧‧第一聲音
502‧‧‧第一索引
503‧‧‧音訊處理模組
504‧‧‧第二使用者背景音
505‧‧‧混合器
506‧‧‧第二使用者裝置
601‧‧‧第一聲音
602‧‧‧第二聲音
603‧‧‧第三聲音
604‧‧‧第一音訊處理模組
605‧‧‧第一索引
606‧‧‧第二索引
607‧‧‧第三索引
608‧‧‧第二音訊處理模組
609‧‧‧第四使用者背景音
610‧‧‧混合器
611‧‧‧第四使用者裝置
S701-S705‧‧‧方法步驟
透過閱讀本案實施例的詳細說明，應能夠更佳地理解本案的技術內容，於閱讀本案的各實施例時，可一併參照下列的各個圖式：第1A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖；第1B圖為基於本案第1A圖之實施例繪示的模擬環境顯示系統之示意圖；第2A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖；第2B圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖；第2C圖為基於本案第2A、2B圖之實施例繪示的模擬環境顯示系統之示意圖；第3A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖；第3B圖為基於本案第3A圖之實施例繪示的模擬環境顯示系統之示意圖；第4A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖；第4B圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖； 第4C圖為基於本案第4A、4B圖之實施例繪示的模擬環境顯示系統之示意圖；第5圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖；第6圖基於本案一實施例繪示的模擬環境顯示系統之示意圖；以及第7圖為基於本案一實施例繪示的模擬環境顯示方法之步驟流程圖。
以下將以圖式及詳細敘述清楚說明本案之精神，任何所屬技術領域中具有通常知識者在瞭解本案之實施例後，當可由本案所教示之技術，加以改變及修飾，其並不脫離本案之精神與範圍。
本文之用語只為描述特定實施例，而無意為本案之限制。單數形式如“一”、“這”、“此”、“本”以及“該”，如本文所用，同樣也包含複數形式。
關於本文中所使用之『第一』、『第二』、…等，並非特別指稱次序或順位的意思，亦非用以限定本案，其僅為了區別以相同技術用語描述的元件或操作。
關於本文中所使用之『耦接』或『連接』，均可指二或多個元件或裝置相互直接作實體接觸，或是相互間接作實體接觸，亦可指二或多個元件或裝置相互操作或動作。
關於本文中所使用之『包含』、『包括』、『具 有』、『含有』等等，均為開放性的用語，即意指包含但不限於。
關於本文中所使用之『及/或』，係包括所述事物的任一或全部組合。
關於本文中所使用之方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本案。
關於本文中所使用之用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在本案之內容中與特殊內容中的平常意義。某些用以描述本案之用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本案之描述上額外的引導。
第1A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。所述的模擬環境係為由電腦設備根據虛擬物件建構而成的一種環境，例如虛擬實境、擴增實境以及混合實境等等。如第1A圖所示，在一實施例中，第一使用者1以及第二使用者2身處於第一空間中，此第一空間可為房間或是辦公場域。另外，在此第一空間的地板上，更擺設了具有第一輪廓的人偶3。在本實施例中，第一使用者裝置100設置於第一使用者1的頭上，而第二使用者裝置200設置於第二使用者2的頭上，其中，第一使用者裝置100以及第二使用者裝置200可為頭戴顯示器(Head-Mounted Displays)。第一使用者裝置100係與計算裝置300協同運作，用以透過第一視覺介面向第一使用者1顯示虛擬實境中 的第一使用者景象。此第一視覺介面可為第一使用者裝置100上的顯示螢幕，而第一使用者景象則顯示了由第一使用者1的視角於虛擬實境中所觀看到的部分景象。
同理地，第二使用者裝置200亦與計算裝置300協同運作，用以透過第二視覺介面向第二使用者2顯示虛擬實境中的第二使用者景象。此第二視覺介面可為第二使用者裝置200上的顯示螢幕，而第二使用者景象則顯示了由第二使用者2的視角於虛擬實境中所觀看到的部分景象。根據兩個使用者於虛擬實境中的可視區域不同，第一使用者景象和第二使用者景象可能包含或不包含虛擬實境中的同一區域。第一使用者裝置100上可設置第一偵測器，用以偵測第一使用者1前方的第一可視區域當中的物件，而既然第二使用者2以及人偶3皆位於第一可視區域中，第一使用者裝置100即可偵測到它們。
第1B圖為基於本案第1A圖之實施例繪示的模擬環境顯示系統之示意圖。第1B圖所繪示係以第三人角度觀看由計算裝置300所提供之虛擬實境中的景象。於第1B圖中可見，虛擬實境中有第一使用者角色V1以及第二使用者角色V2，此第一使用者角色V1以及第二使用者角色V2分別對應第一使用者1以及第二使用者2。第一使用者角色V1於虛擬實境中的第一座標被顯示，而此第一座標係指派給第一使用者裝置100。第二使用者角色V2於虛擬實境中的第二座標被顯示，而此第一座標係指派給第二使用者裝置200。第一使用者景象中可見的範圍係由第一使用者裝置100所指向 的第一方向所決定，第二使用者景象中可見的範圍係由第二使用者裝置200所指向的第二方向所決定。
在本實施例中，第一使用者裝置100可透過攝影機自第一使用者1身上擷取第一臉部特徵，並將第一臉部特徵傳送至計算裝置300，即如第1A圖中所示。而計算裝置300則可根據第一臉部特徵建構第一使用者角色V1的臉部輪廓，藉此，由計算裝置300所提供的第一使用者角色V1的虛擬外表將更相似於第一使用者1在真實世界中的真實面貌。同理地，計算裝置300亦可透過第二使用者裝置200擷取第二臉部特徵，藉此，計算裝置300可提供虛擬外表更相似於第二使用者2之真實面貌的第二使用者角色V2。而當第二座標位於第一使用者景象的可視範圍內時，第一使用者1即可透過第一使用者裝置100觀看第二使用者角色V2。
請一併參照第1A圖以及第1B圖，在本實施例中，由於人偶3也在第一使用者景象的可視範圍內，第一使用者可以透過第一使用者裝置100選定將人偶3顯示於虛擬實境中，而第一使用者裝置100可對人偶3進行掃描，並據以產生對應人偶3之第一輪廓的掃描資訊。如第1A圖所示，第一使用者裝置100可將掃描資訊傳送到計算裝置300。計算裝置300則可據以於虛擬實境中的第三座標位置上顯示虛擬人偶V3，其中虛擬人偶V3具有第二輪廓，第二輪廓係相應於第一輪廓，另外，第三座標位置可由第一使用者1或計算裝置300所指派。藉此，第一使用者1可以選擇任何真實世界中的物件，由系統於虛擬實境中顯示被選物件的複製品。由於虛擬人偶 V3被顯示於虛擬實境中的第三座標位置上，一旦第三座標位置位於第二使用者景象的可視範圍內時，第二使用者2即可於第二使用者景象中觀看虛擬人偶V3。
在本實施例中，由於第一使用者裝置100可於第一空間中偵測到第二使用者2，第一使用者裝置100即可偵測第二使用者裝置200相對於第一使用者裝置100的空間向量。第一使用者裝置100可再將第二使用者裝置200的空間向量傳送到計算裝置300，而第二使用者裝置200的空間向量可被用於判斷第一使用者1與第二使用者2於第一空間中的相對方向。亦即，當穿戴第一使用者裝置100的第一使用者1以及穿戴第二使用者裝置200的第二使用者2兩者位於同一空間中時，只要第一使用者裝置100或第二使用者裝置200當中的一者能夠偵測另一者，計算裝置300即可據以獲取第一使用者1與第二使用者2的相對距離及相對方向。
在一些實施例中，第一使用者角色V1和第二使用者角色V2所被指派的座標兩者間的距離與第一使用者裝置100和第二使用者裝置200兩者之間的相對距離一致，特別是在第一使用者裝置100和第二使用者裝置200兩者位於同一空間的狀況下會有如此配置。然而，在一些實施例中，第一使用者角色V1和第二使用者角色V2所被指派的座標兩者之間的距離與第一使用者裝置100和第二使用者裝置200兩者之間的相對距離不一致，即便第一使用者裝置100和第二使用者裝置200兩者之間在真實世界相距第一距離，計算裝置300仍可將第一使用者角色V1和第二使用者角色V2指派於虛擬實境中相 距第二距離的兩座標位置上。
在一些實施例中，第一使用者裝置100不僅可以偵測第二使用者裝置200的空間向量，其也能追蹤第二使用者2的動作，例如第二使用者2的手勢或姿勢，並據以產生動作資訊。此動作資訊可被傳送至如第1A圖所示的計算裝置300，計算裝置300即可根據動作資訊讓第二使用者角色V2顯示同樣的手勢或姿勢。透過此種方式，即便在同一空間中除了使用者裝置以外沒有額外的其他偵測器，系統仍能夠獲取使用者的位置資訊。
第2A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。如第2A圖所示，在一實施例中，第一使用者1位於第一空間中，而具有第一輪廓的人偶3置放於第一空間的地板上。此第一空間中設置有光學偵測器400，此光學偵測器400係用以於第一空間中拍攝環境影像。透過拍攝這些環境影像，光學偵測器400可以追蹤第一使用者裝置100或第一使用者1相對於第一空間的空間向量。光學偵測器400以及第一使用者裝置100兩者皆與計算裝置300通訊耦接。類似於第1A圖和第1B圖之實施例，在本實施例中，第一使用者裝置100可透過第一視覺介面向第一使用者1顯示第一使用者景象，而第一使用者景象顯示了由第一使用者1的視角於虛擬實境中所觀看到的部分景象。
第2B圖為基於本案第2A圖之實施例繪示的模擬環境顯示系統之示意圖。如第2B圖所示，在本實施例中，第二使用者2位於不同於第一空間的第二空間中。此第二空間中 設置有光學偵測器500，此光學偵測器500可為攝影機，其係用以於第二空間中拍攝環境影像。透過拍攝這些環境影像，光學偵測器500可以追蹤第二使用者裝置200或第二使用者2相對於第二空間的空間向量。類似於第1A圖和第1B圖之實施例，在本實施例中，第二使用者裝置200係用以透過第二視覺介面向第二使用者2顯示第二使用者景象，而第二使用者景象顯示了由第二使用者2的視角於虛擬實境中所觀看到的部分景象。
第2C圖為基於本案第2A圖及第2B圖之實施例繪示的模擬環境顯示系統之示意圖。請一併參照第2A、2B、2C圖。在本實施例中，如第2A圖所示，光學偵測器400可將第一使用者裝置100的空間向量傳送至計算裝置300，如第2B圖所示，光學偵測器500可將第二使用者裝置200的空間向量傳送至計算裝置300。計算裝置300即可根據第一使用者裝置100的空間向量以及第二使用者裝置200的空間向量在虛擬實境中顯示第一使用者角色V1以及第二使用者角色V2，其中，第一使用者角色V1被顯示於虛擬實境中的第一座標位置上，而第二使用者角色V2被顯示於虛擬實境中的第二座標位置上。透過光學偵測器400持續追蹤第一使用者裝置100的空間向量並將其傳送至計算裝置300，計算裝置300可使第一使用者角色V1顯示對應第一使用者1於第一空間中的動作。應當理解，第2A至2C圖所示之實施例與第1A至1B圖所示之實施例的差異在於，在前者之實施例中，第一使用者1以及第二使用者2兩者係位於不同的兩個空間當中，在此種狀況下，則需透過分別設 置於此不同的兩個空間中光學偵測器400和光學偵測器500來偵測第一使用者裝置100以及第二使用者裝置200的空間向量。
如第2A圖所示，第一使用者1可透過第一使用者裝置100選擇於虛擬實際中顯示人偶3，第一使用者裝置100可對人偶3進行掃描，並據以產生對應人偶3之第一輪廓的掃描資訊。在一些實施例中，第一使用者1可透過將第一視覺介面中的選取視窗指向人偶3以將其選定，由於人偶3被選取視窗選定，設置於第一使用者裝置100上的光學偵測器即可掃描人偶3的體積以及輪廓，第一使用者裝置100再據以產生掃描資訊。第一使用者裝置100並將掃描資訊傳送到計算裝置300，計算裝置300則可據以於虛擬實境中的第三座標位置上顯示虛擬人偶V3。其中，虛擬人偶V3具有相應於第一輪廓的第二輪廓，而第二輪廓與真實人偶3的第一輪廓基本上係為完全相同的。若第三座標位置位於第一使用者1和第二使用者2於虛擬實境中的可視範圍內時，第一使用者1和第二使用者2將可觀看虛擬人偶V3。亦即，當穿戴第一使用者裝置100的第一使用者1和穿戴第二使用者裝置200的第二使用者2位於不同的空間中時，可以透過如同上述實施例中的光學偵測器400和光學偵測器500等獨立偵測器來分別偵測第一使用者裝置100和第二使用者裝置200在不同空間中的空間向量，藉此，計算裝置300即可根據這些獨立偵測器所獲取的空間向量來決定第一使用者1與第二使用者2在虛擬實境中的相對距離及相對方向。在一些實施例中，第一使用者1與第二使用者2在虛擬實境中的相對 距離及相對方向係根據第一使用者1與第二使用者2在真實世界中的距離和方向所決定。
第3A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。如第3A圖所示，第一使用者1以及第二使用者2位於第一空間中。在此實施例中，第一使用者1穿戴第一使用者裝置100，而第二使用者2穿戴第二使用者裝置200，此第一使用者裝置100以及此第二使用者裝置200可為頭戴顯示器(Head-Mounted Displays)。第一使用者裝置100與計算裝置300協同運作，用以透過第一視覺介面向第一使用者1顯示虛擬實境中的第一使用者景象，其中，第一使用者裝置100被指派於虛擬實境中的第一座標位置。此第一視覺介面可為第一使用者裝置100上的顯示螢幕，而第一使用者景象則顯示了由第一使用者1的視角於虛擬實境中所觀看到的部分景象。同理地，第二使用者裝置200亦與計算裝置300協同運作，用以透過第二視覺介面向第二使用者2顯示虛擬實境中的第二使用者景象，其中，第二使用者裝置200被指派於虛擬實境中的第二座標位置。此第二視覺介面可為第二使用者裝置200上的顯示螢幕，而第二使用者景象則顯示了由第二使用者2的視角於虛擬實境中所觀看到的部分景象。第一使用者裝置100上可設置第一偵測器，用以偵測第一使用者1前方的第一可視區域當中的物件。當前第二使用者2正位於第一可視區域中，第一使用者裝置100即可偵測到第二使用者2。在一些實施例中，第一偵測器可為一種光學偵測器、聲波偵測器、攝影機以及動作偵測器，而第一偵測器更 可用於偵測第一使用者裝置100的空間向量，而此空間向量將被傳送至計算裝置300以判斷第一使用者裝置100與第二使用者裝置200之間的相對距離及相對方向。
再者，在本實施例中，第一使用者裝置100更用以向第一使用者1輸出第一音訊，此第一音訊可為背景音樂或是預設的音效資訊，例如非玩家角色的語音對話或某些互動所引發的回饋音效等等。同樣地，第二使用者裝置200亦用以向第二使用者2輸出第二音訊。此些第一音訊或第二音訊係由計算裝置300傳輸給第一使用者裝置100以及第二使用者裝置200，再透過設置於其上的音訊播放器播放給第一使用者1和第二使用者2聆聽。第一使用者裝置100更用以透過麥克風收集第一使用者裝置100附近的第一環境音，例如第一使用者1所發出的聲響，或由其他裝置、使用者所發出的聲響。第二使用者裝置200亦可透過麥克風收集第二使用者裝置200附近的第二環境音。
在本實施例中，如前所述，第二使用者2位於第一使用者景象的第一可視區域時，第一使用者裝置100可偵測第二使用者裝置200相對於第一使用者裝置100的空間向量。第一使用者裝置100將傳送第二使用者裝置200的空間向量至計算裝置300，計算裝置300即可根據第二使用者裝置200的空間向量判斷第一使用者1和第二使用者2之間的相對距離及相對方向。
第3B圖為基於本案第3A圖之實施例繪示的模擬環境顯示系統之示意圖。如第3A圖所示，收集而來的第一 使用者裝置100和第二使用者裝置200在真實世界中的相對距離及相對方向可用以產生一種索引資訊，此索引資訊可於計算裝置300在將第一環境音融合至第二音訊時作為一種參照。因此，第二使用者2即可聆聽到混入第一環境音的第二音訊，其效果就如同第二使用者1在其真實世界之位置向第二使用者2說話一般。如第3B圖所繪示，位於虛擬實境中的第一座標位置上的第一使用者角色V1好似在向第二座標位置上的第二使用者角色V2說話。反之亦然，同理地，計算裝置300亦可將第二環境音融合至第一音訊中再透過第一使用者裝置100提供給第一使用者1。在一些實施例中，本案係透過頭部相關函數(Head Related Transfer Function,HRTF)演算法將第一環境音融合至第二音訊當中，將第二環境音融合至第一音訊時亦同。上述的頭部相關函數演算法係為一種音效處理技術。其原理在於，有許多因素，例如使用者的頭部或耳朵的形狀、尺寸等等，皆可能影響特定使用者在聆聽一種音效時的感受。而此頭部相關函數演算法最主要的效果係為根據此原理重製音訊，以令使用者感覺到此重製過的音訊係由特定的位置所傳來。換言之，此頭部相關函數演算法係用以修改音訊的方向效果再提供給使用者。
在一些實施例中，由於第一使用者1和第二使用者2皆位於同一空間中，故第一使用者裝置100可以透過其麥克風同時收集第一環境音和第二環境音。在此狀況下，第二使用者2製造的第二環境音仍可以被收集並傳送至計算 裝置300。透過此種配置，計算裝置300即可持續地根據使用者於真實世界中的相對距離以及相對方向來提供混入使用者交談語音的虛擬音效。
第4A圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。如第4A圖所示，穿戴第一使用者裝置100的第一使用者1位於第一空間中，此第一使用者裝置100可為頭戴顯示器(Head-Mounted Displays)，其與計算裝置300協同運作，用以透過第一視覺介面向第一使用者1顯示虛擬實境中的第一使用者景象。另外，第一使用者裝置100更可向第一使用者1輸出第一音訊，此第一音訊可為虛擬實境中的背景音樂或是預設的音效資訊。第一使用者裝置100亦可透過設置於其上的麥克風收集鄰近第一使用者裝置100的第一環境音，例如第一使用者1的說話聲音或是笑聲等等。
第4B圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。如第4B圖所示，穿戴第二使用者裝置200的第二使用者2於第二空間中。此第二使用者裝置200與計算裝置300協同運作，用以透過第二視覺介面向第二使用者2顯示虛擬實境中的第二使用者景象。另外，第二使用者裝置200更可向第二使用者2輸出第二音訊，此第二音訊可為虛擬實境中的背景音樂或是預設的音效資訊。第二使用者裝置200更可透過設置於其上的麥克風收集鄰近第二使用者裝置200的第二環境音。
第4C圖為基於本案第4A圖及第4B圖實施例繪示的模擬環境顯示系統之示意圖。如第4A、4B以及4C圖所示， 第一環境音以及第二環境音將被傳送至計算裝置300。計算裝置300將依據第一索引將第一環境音融合至第二音訊當中，其中第一索引係由虛擬實境中的第一使用者角色V1和第二使用者角色V2之間的相對距離及相對方向所決定。計算裝置300亦可依據第二索引將第二環境音融合至第一音訊當中，其中第二索引亦為由虛擬實境中的第一使用者角色V1和第二使用者角色V2之間的相對距離及相對方向所決定。
根據上述，無論第一使用者1和第二使用者2在真實世界中的位置為何，這些索引資訊仍可以改透過虛擬實境中的第一使用者角色V1和第二使用者角色V2之間的相對距離及相對方向來決定。透過此種方式，計算裝置300即可持續地根據使用者於模擬環境中的相對距離以及相對方向來提供混入使用者交談語音的虛擬音效。
第5圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。如第5圖所示，在本實施例中，第一聲音501被收集且被傳送至計算裝置300，此第一聲音501將被傳送至音訊處理模組503，此音訊處理模組503可為一種透過頭部相關函數演算法進行處理的模組。第一索引502亦將被傳送至音訊處理模組503，此第一索引502係由第一使用者與第二使用者在模擬環境中分別被指派的座標位置之間的相對距離及相對方向所決定。此音訊處理模組503將根據第一索引502處理第一聲音501，被處理後的第一聲音501將被傳送至混合器505。第二使用者背景音(BGM)504亦將被傳送至混合器505，混合器505再把被處理後的第一聲音501第二使用者背景 音504混合以產生混音結果。最後，計算裝置300的混合器505再將混音結果傳送至第二使用者裝置506。如此一來，當第二使用者穿戴第二使用者裝置506時，其所聽到的第一聲音501將如同是由第一使用者在模擬環境中所被指派的座標位置所發出。
第6圖為基於本案一實施例繪示的模擬環境顯示系統之示意圖。如第6圖所示，在一實施例中，由第一使用者發出的第一聲音601、由第二使用者發出的第二聲音602以及由第三使用者發出的第三聲音603三者將被收集且被傳送至計算裝置300的第一音訊處理模組604。此外，第一音訊處理模組604更接收了第一索引605、第二索引606以及第三索引607，其中，第一索引605係由第一使用者與第四使用者在模擬環境中分別被指派的座標位置之間的相對距離及相對方向所決定，而第二索引606則係由第二使用者與第四使用者在模擬環境中分別被指派的座標位置之間的相對距離及相對方向所決定，而第三索引607則係由第三使用者與第四使用者在模擬環境中分別被指派的座標位置之間的相對距離及相對方向所決定。此第一音訊處理模組604將依據這些索引並透過高階環繞音效(Higher Order Ambisonic,HOA)演算法處理第一聲音601、第二聲音602以及第三聲音603，其中高階環繞音效演算法係為用以模擬立體環繞音效的相關演算法。經處理後的第一聲音601、第二聲音602以及第三聲音603將被傳送至第二音訊處理模組608，此第二音訊處理模組608係為利用頭部相關函數演算法進行處理的模 組。另外，第一索引605、第二索引606以及第三索引607也會被傳送至第二音訊處理模組608。
在本實施例中，第二音訊處理模組608將根據第一索引605處理第一聲音601，並根據第二索引606處理第二聲音602，再根據第三索引607處理第三聲音603。被第二音訊處理模組608處理後的第一聲音601、第二聲音602以及第三聲音603將進一步被傳送至混合器610。混合器610係用以將被處理後的第一聲音601、第二聲音602、第三聲音603以及第四使用者背景音609加以混合，再將據以產生的混音結果傳送至第四使用者裝置611。而第四使用者則可透過第四使用者裝置611聆聽第一聲音601、第二聲音602以及第三聲音603，其效果就如同各使用者由各自於模擬環境中所處之位置說話一般。
第7圖為基於本案一實施例繪示的模擬環境顯示方法之步驟流程圖。所述的模擬環境係為由電腦設備根據虛擬物件建構而成的一種環境，例如虛擬實境、擴增實境以及混合實境等等。此方法的各個步驟將於下列段落中詳細說明。
步驟S701：透過一第一穿戴裝置輸出該模擬環境的一景象以及輸出一第一音訊。如第1A圖、第2A圖、第3A圖、第4A圖之實施例所示，第一使用者裝置100係與計算裝置300協同運作，用以透過第一視覺介面向第一使用者1顯示虛擬實境中的第一使用者景象。此第一視覺介面可為第一使用者裝置100上的顯示螢幕，而第一使用者景象則顯示了由第一使用者1的視角於虛擬實境中所觀看到的部分景象。再 另外，第一使用者裝置100更用以向第一使用者1輸出第一音訊，此第一音訊可為背景音樂或是預設的音效資訊。
步驟S702：透過一第二穿戴裝置收集鄰近該第二穿戴裝置的一環境音。如第1A圖、第2A圖、第3A圖、第4B圖之實施例所示，第二使用者裝置200亦與計算裝置300協同運作，用以透過第二視覺介面向第二使用者2顯示虛擬實境中的第二使用者景象，其中，第二使用者裝置200被指派於虛擬實境中的第二座標位置。另外，第二使用者裝置200更用以透過設置於其上的麥克風來收集第二使用者裝置200附近的第二環境音。
步驟S703：透過該第二穿戴裝置傳送該環境音至一計算裝置。如第1A圖、第2A圖、第3A圖、第4B圖之實施例所示，第二使用者裝置200會將第二環境音傳送至計算裝置300。如第3A圖及第4B圖所示，第二環境音將被傳送至計算裝置300。而如第5圖所示，被收集的第一聲音501將被傳送至計算裝置300的音訊處理模組503以及混合器505。而又如第6圖所示，被收集的所有聲音將被傳送至計算裝置300的第一音訊處理模組604、第二音訊處理模組608以及混合器610。
步驟S704：透過該計算裝置根據一索引值將該環境音融合至該第一音訊中，其中該索引值係根據該第一穿戴裝置和該第二穿戴裝置於該模擬環境中被指派的兩座標之間的一相對距離以及一相對方向所決定。如第5圖所示，被收集的第一聲音501將被傳送至計算裝置300的音訊處理模組503，再由音訊處理模組503依據第一索引502進行處理。再由混合 器505將被處理後的第一聲音501以及第二使用者背景音504一併處理。如第6圖所示，收集而來的第二聲音602將被傳送至第一音訊處理模組604進行處理，處理後的第二聲音602將再被交由計算裝置300的第二音訊處理模組608，第二音訊處理模組608將依據第二索引606再處理第二聲音602，其中，此第二索引606係由第二使用者與第四使用者在模擬環境中分別被指派的座標位置之間的相對距離及相對方向所決定。再來，經第二音訊處理模組608處理後的第二聲音602再交由計算裝置300的混合器610進行處理，混合器610係用以將被處理後的第二聲音602與第四使用者背景音609加以混合。
步驟S705：透過該計算裝置傳送融合後的該第一音訊至該第一穿戴裝置。如第5圖所示，混合器505將把混音結果傳送至第二使用者裝置506。如第6圖所示，混合器610將把混音結果傳送至第四使用者裝置611，而第四使用者裝置611可將混音結果呈現給第四使用者聆聽。
綜上所述，本案提供一種在模擬環境中表現具方向性之音效的技術方法。透過第一使用者裝置以及第二使用者裝置的協同運作，計算裝置不僅能收集鄰近的環境音，更可以獲取用以表示各使用者裝置之間的相對距離以及相對方向的索引資訊。透過進一步地利用各種音訊處理演算法，例如頭部相關函數或高階環繞音效演算法等，計算裝置可根據這些索引資訊將環境音融入欲提供給使用者的音訊當中。因此，無論各使用者係位於同一空間或不同空間中，本案都能透過使用者 裝置提供將收集來的環境音與音訊相融合的方向性音效。如此一來，穿戴使用者裝置的使用者聆聽到融合後的音訊時，其所感覺到的效果如同其他使用者自正確的方向向他說話一般。
雖然本案以實施例揭露如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (20)

  1. 一種模擬環境顯示系統，應用於提供一模擬環境，包含：一第一穿戴裝置，用以輸出該模擬環境的一景象以及輸出一第一音訊；一第二穿戴裝置，用以收集鄰近該第二穿戴裝置的一環境音並用以傳送該環境音；以及一計算裝置，用以根據一索引值將該環境音融合至該第一音訊中並將經融合的該第一音訊傳送至該第一穿戴裝置，其中該索引值係根據該第一穿戴裝置和該第二穿戴裝置於該模擬環境中被指派的兩座標之間的一相對距離以及一相對方向所決定。
  2. 如請求項1所述之系統，其中該第二穿戴裝置更用以獲取一臉部特徵並傳送該臉部特徵至該計算裝置，該臉部特徵被用以於該景象中顯示一虛擬角色的一臉部輪廓。
  3. 如請求項1所述之系統，其中該第二穿戴裝置更用以掃描一物件以產生一掃描資訊並傳送該掃描資訊至該計算裝置，該掃描資訊被用以於該景象中顯示一虛擬物件，該虛擬物件具有對應該物件的一輪廓。
  4. 如請求項1所述之系統，其中該第一穿戴裝 置更包含一偵測器，該偵測器用以追蹤該第二穿戴裝置相對於該第一穿戴裝置的一空間向量，其中該空間向量將被傳送至該計算裝置以決定該相對距離以及該相對方向。
  5. 如請求項4所述之系統，其中該偵測器包含光學偵測器、聲波偵測器、攝影機以及動作偵測器。
  6. 如請求項1所述之系統，更包含：一偵測器，設置於一第一空間，用以追蹤該第一穿戴裝置相對於該第一空間的一第一空間向量，並追蹤該第二穿戴裝置相對於該第一空間的一第二空間向量，其中該第一空間向量以及該第二空間向量將被傳送至該計算裝置以決定該相對距離以及該相對方向。
  7. 如請求項6所述之系統，其中該偵測器包含光學偵測器、聲波偵測器、攝影機以及動作偵測器。
  8. 如請求項1所述之系統，更包含：一第一偵測器，設置於一第一空間，並用以追蹤該第一穿戴裝置相對於該第一空間的一第一空間向量；以及一第二偵測器，設置於一第二空間，並用以追蹤該第二穿戴裝置相對於該第二空間的一第二空間向量；其中該第一空間向量以及該第二空間向量將被傳送至該計算裝置以決定該相對距離以及該相對方向。
  9. 如請求項8所述之系統，其中該第一偵測器以及該第二偵測器包含光學偵測器、聲波偵測器、攝影機以及動作偵測器。
  10. 如請求項1所述之系統，其中該環境音係透過頭部相關函數(Head Related Transfer Function,HRTF)融合至該第一音訊中。
  11. 一種模擬環境顯示方法，應用於顯示一模擬環境，包含：透過一第一穿戴裝置輸出該模擬環境的一景象以及輸出一第一音訊；透過一第二穿戴裝置收集鄰近該第二穿戴裝置的一環境音；透過該第二穿戴裝置傳送該環境音至一計算裝置；透過該計算裝置根據一索引值將該環境音融合至該第一音訊中，其中該索引值係根據該第一穿戴裝置和該第二穿戴裝置於該模擬環境中被指派的兩座標之間的一相對距離以及一相對方向所決定；以及透過該計算裝置傳送經融合的該第一音訊至該第一穿戴裝置。
  12. 如請求項11所述之方法，更包含：透過該第二穿戴裝置獲取一臉部特徵；透過該第二穿戴裝置傳送該臉部特徵至該計算裝置；以 及透過該計算裝置於該景象中根據該臉部特徵顯示一虛擬角色的一臉部輪廓。
  13. 如請求項11所述之方法，更包含：透過該第二穿戴裝置掃描一物件以產生一掃描資訊；透過該第二穿戴裝置傳送該掃描資訊至該計算裝置；以及透過該計算裝置於該景象中根據該掃描資訊顯示一虛擬物件，該虛擬物件具有對應該物件的一輪廓。
  14. 如請求項11所述之方法，更包含：透過設置於該第一穿戴裝置的一偵測器追蹤該第二穿戴裝置相對於該第一穿戴裝置的一空間向量；以及透過該第一穿戴裝置傳送該空間向量至該計算裝置以決定該相對距離以及該相對方向。
  15. 如請求項14所述之方法，其中該偵測器包含光學偵測器、聲波偵測器、攝影機以及動作偵測器。
  16. 如請求項11所述之方法，更包含：透過設置於一第一空間的一偵測器追蹤該第一穿戴裝置相對於該第一空間的一第一空間向量；透過該偵測器追蹤該第二穿戴裝置相對於該第一空間的一第二空間向量； 透過該偵測器傳送該空間向量至該計算裝置；以及透過該計算裝置根據該第一空間向量以及該第二空間向量決定該相對距離以及該相對方向。
  17. 如請求項16所述之方法，其中該偵測器包含光學偵測器、聲波偵測器、攝影機以及動作偵測器。
  18. 如請求項11所述之方法，更包含：透過設置於一第一空間的一第一偵測器追蹤該第一穿戴裝置相對於該第一空間的一第一空間向量；透過設置於一第二空間的一第二偵測器追蹤該第二穿戴裝置相對於該第二空間的一第二空間向量；透過該第一偵測器傳送該第一空間向量至該計算裝置；透過該第二偵測器傳送該第二空間向量至該計算裝置；以及透過該計算裝置根據該第一空間向量以及該第二空間向量決定該相對距離以及該相對方向。
  19. 如請求項18所述之方法，其中該第一偵測器以及該第二偵測器包含光學偵測器、聲波偵測器、攝影機以及動作偵測器。
  20. 如請求項11所述之方法，其中該環境音係透過頭部相關函數(Head Related Transfer Function,HRTF)融合至該第一音訊中。
TW106133763A 2016-10-07 2017-09-29 模擬環境顯示系統及方法 TWI647593B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662405251P 2016-10-07 2016-10-07
US62/405,251 2016-10-07
US15/717,927 2017-09-27
US15/717,927 US10896544B2 (en) 2016-10-07 2017-09-27 System and method for providing simulated environment

Publications (2)

Publication Number Publication Date
TW201814444A TW201814444A (zh) 2018-04-16
TWI647593B true TWI647593B (zh) 2019-01-11

Family

ID=61830046

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106133763A TWI647593B (zh) 2016-10-07 2017-09-29 模擬環境顯示系統及方法

Country Status (3)

Country Link
US (1) US10896544B2 (zh)
CN (1) CN107943275B (zh)
TW (1) TWI647593B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252965B2 (ja) 2018-02-15 2023-04-05 マジック リープ， インコーポレイテッド 複合現実のための二重聴取者位置
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
EP3734419A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US10645522B1 (en) * 2019-05-31 2020-05-05 Verizon Patent And Licensing Inc. Methods and systems for generating frequency-accurate acoustics for an extended reality world
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
CN111475022A (zh) * 2020-04-03 2020-07-31 上海唯二网络科技有限公司 一种在多人vr场景中对交互式语音数据进行处理的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023005A (zh) * 2014-05-06 2014-09-03 山东歌尔谷崧精密工业有限公司 虚拟会议系统
US20150279079A1 (en) * 2014-03-26 2015-10-01 Mark D. Wieczorek Virtual reality devices and accessories
TW201537218A (zh) * 2014-03-20 2015-10-01 Syndiant Inc 頭戴式擴增實境顯示系統
TW201621557A (zh) * 2014-12-04 2016-06-16 宏達國際電子股份有限公司 虛擬實境系統

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144633B2 (en) * 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
KR101285391B1 (ko) 2010-07-28 2013-07-10 주식회사 팬택 음향 객체 정보 융합 장치 및 방법
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US8902713B2 (en) * 2012-08-29 2014-12-02 Motorola Mobility Llc Wearable device with acoustic user input and method for same
IL298018B2 (en) * 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
US20160088417A1 (en) * 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9686466B1 (en) * 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
TW201510771A (zh) 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
EP3136713A4 (en) * 2014-04-22 2017-12-06 Sony Corporation Information reproduction device, information reproduction method, information recording device, and information recording method
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
EP3174005A1 (en) * 2015-11-30 2017-05-31 Nokia Technologies Oy Apparatus and method for controlling audio mixing in virtual reality environments
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10359988B2 (en) * 2016-04-06 2019-07-23 Tmrwland Hongkong Limited Shared experience of virtual environments
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201537218A (zh) * 2014-03-20 2015-10-01 Syndiant Inc 頭戴式擴增實境顯示系統
US20150279079A1 (en) * 2014-03-26 2015-10-01 Mark D. Wieczorek Virtual reality devices and accessories
CN104023005A (zh) * 2014-05-06 2014-09-03 山东歌尔谷崧精密工业有限公司 虚拟会议系统
TW201621557A (zh) * 2014-12-04 2016-06-16 宏達國際電子股份有限公司 虛擬實境系統

Also Published As

Publication number Publication date
CN107943275A (zh) 2018-04-20
CN107943275B (zh) 2021-01-08
US10896544B2 (en) 2021-01-19
TW201814444A (zh) 2018-04-16
US20180101990A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
TWI647593B (zh) 模擬環境顯示系統及方法
US11350071B2 (en) Augmented reality based user interfacing
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
US9654734B1 (en) Virtual conference room
JP2023095956A (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
CN103119628B (zh) 利用运动特性的显示器上三维用户界面效果
US11703941B2 (en) Information processing system, information processing method, and program
JP2017147001A (ja) 広範囲同時遠隔ディジタル提示世界
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
Yang et al. Audio augmented reality: A systematic review of technologies, applications, and future research directions
US20140119580A1 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
Zhou et al. An experimental study on the role of 3D sound in augmented reality environment
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
CN113260954B (zh) 基于人工现实的用户群组
US20230300250A1 (en) Selectively providing audio to some but not all virtual conference participants reprsented in a same virtual space
Zhou et al. An experimental study on the role of software synthesized 3D sound in augmented reality environments
CN105894581B (zh) 一种呈现多媒体信息的方法及装置
JP7161200B2 (ja) カラオケ演出システム
CN116194792A (zh) 连接评估系统
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method
WO2024060959A1 (zh) 虚拟环境中的观影画面调整方法、装置、存储介质及设备
Tripathi et al. A case study for Microsoft HoloLens
WO2023113603A1 (en) Autostereoscopic display device presenting 3d-view and 3d-sound