TWI766365B - 在具有複數個實體參與者的環境中放置虛擬內容 - Google Patents

在具有複數個實體參與者的環境中放置虛擬內容 Download PDF

Info

Publication number
TWI766365B
TWI766365B TW109131341A TW109131341A TWI766365B TW I766365 B TWI766365 B TW I766365B TW 109131341 A TW109131341 A TW 109131341A TW 109131341 A TW109131341 A TW 109131341A TW I766365 B TWI766365 B TW I766365B
Authority
TW
Taiwan
Prior art keywords
parameter
environment
virtual content
digital representation
determined
Prior art date
Application number
TW109131341A
Other languages
English (en)
Other versions
TW202127866A (zh
Inventor
喬納森 齊斯
羅伯特 塔茨
丹尼爾詹姆士 蓋斯特
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202127866A publication Critical patent/TW202127866A/zh
Application granted granted Critical
Publication of TWI766365B publication Critical patent/TWI766365B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

一種設備可被配置成經由以下方式來決定虛擬內容在具有複數個實體參與者的環境中的顯示屬性：擷取該環境的圖像；分析所擷取的圖像以標識該環境中的至少一個物件；決定所標識的物件的參數；及基於所決定的參數來決定虛擬內容的數位表示的顯示屬性。各實施例可以包括與其他設備協商顯示屬性以產生經協調的顯示屬性，以及渲染該虛擬內容的數位表示以使得遠端參與者對於所有共置的參與者看起來皆處於相同固定位置、並與該等共置的參與者大小一致。

Description

在具有複數個實體參與者的環境中放置虛擬內容
本專利申請案主張於2019年9月16日提出申請的題為「Placement of Virtual Content in Environments with a Plurality of Physical Participants(在具有複數個實體參與者的環境中放置虛擬內容)」的美國非臨時申請案第16/572,030的優先權，該申請案已被轉讓給本案受讓人並由此經由援引明確納入於此。本案係關於在具有複數個實體參與者的環境中放置虛擬內容。
近年來，在環境中渲染圖像和虛擬內容的軟體應用程式日益普及並得到廣泛應用，諸如電子遊戲、虛擬培訓系統、協調工作環境、基於高級web的會議和螢幕共享應用程式。此外，當今行動設備技術的進步允許行動設備使用者在其行動設備上執行強大的軟體應用程式，諸如將來自使用者的實體環境的真實世界圖像與電腦產生的意像或虛擬內容結合的增強現實軟體應用程式。例如，增強現實應用程式可以向環繞應用程式的使用者的自然世界添加圖形、聲音及/或觸覺回饋。圖像、視訊串流以及關於人及/或物件的資訊可以在可穿戴電子顯示器（例如，智慧眼鏡、增強現實眼鏡等）上呈現給使用者，以使得使用者能夠觀看現實世界的人或物的表示及/或與其互動。
由於該等趨勢，預期增強現實應用程式將允許使用者與遠端位置中的其他人協調和互動，就像所有參與者皆位於相同環境（例如，相同房間）中一樣。例如，增強現實應用程式可以將遠端參與者渲染為三維表示或二維視訊或化身，以使得本端參與者和遠端參與者可以按照與就像所有參與者皆處於相同環境中一般相同的方式來互動和通訊。
本案的各個態樣提供了決定虛擬內容在具有複數個參與者的環境中的顯示屬性的方法，該方法可以包括以下步驟：由處理器擷取該環境的圖像；分析所擷取的圖像以標識該環境中的物件；決定所標識的物件的參數；及基於所決定的參數來決定虛擬內容的數位表示的顯示屬性。在一些態樣，處理器可以是複數個參與者之一的智慧型電話的處理器。
一些態樣可以包括向所決定的參數指派優先順序。在一些態樣，基於所決定的參數來決定虛擬內容的數位表示的顯示屬性可以包括：基於向所決定的參數指派的優先順序來決定虛擬內容的數位表示的顯示屬性。
在一些態樣，決定所標識的物件的參數可以包括：決定固定位置參數、大小參數或視線參數中的至少一者或多者；及決定視野參數、間隔參數、人際距離參數、高度參數和可見性參數中的至少一者或多者。在一些態樣，向所決定的參數指派優先順序可以包括：向固定位置參數、大小參數，或視線參數指派第一優先順序；及向視野參數、間隔參數、人際距離參數、高度參數，或可見性參數指派第二優先順序，其中第一優先順序是比第二優先順序高的優先順序。
一些態樣可以包括：標識該環境中的一或多個其他設備；及向所標識的一或多個其他設備發送所決定的參數。一些態樣可以包括：從該環境中的至少一個其他設備接收附加參數，其中基於所決定的參數來決定虛擬內容的數位表示的顯示屬性可以包括：基於所決定的參數以及所接收的附加參數來決定虛擬內容的數位表示的一或多個顯示屬性。
在一些態樣，基於所決定的參數來決定遠端參與者的數位表示的顯示屬性可以包括：與該環境中的至少一個其他設備協商用於渲染遠端參與者的數位表示的一或多個顯示屬性以產生一或多個經協調的顯示屬性。一些態樣可以包括使用一或多個經協調的顯示屬性來渲染遠端參與者的數位表示以使得實體地存在於該環境中的所有共置的參與者皆感知到遠端參與者處於該環境中的相同固定位置。一些態樣可以包括：使用一或多個經協調的顯示屬性來基於實體地存在於該環境中的參與者的大小對遠端參與者的數位表示的大小進行調整。一些態樣可以包括：使用一或多個經協調的顯示屬性來渲染遠端參與者的數位表示以使得該遠端參與者看起來位於實體地存在於該環境中的第一參與者與實體地存在於該環境中的第二參與者之間。
在一些態樣，使用一或多個經協調的顯示屬性來渲染遠端參與者的數位表示以使得該遠端參與者看起來位於實體地存在於該環境中的第一參與者與實體地存在於該環境中的第二參與者之間可以包括：使用經協調的顯示屬性來渲染遠端參與者的數位表示以使得該遠端參與者看起來與實體地存在於該環境中的第一參與者以及實體地存在於該環境中的第二參與者大致等距。
一些態樣可以包括使用一或多個經協調的顯示屬性來渲染遠端參與者的數位表示以使得該遠端參與者看起來被錨定到空座位。一些態樣可以包括：擷取該環境的經更新圖像；分析所擷取的經更新圖像以決定所標識的物件的數目、定位、位置，或大小是否已經改變；回應於決定所標識的物件的該定位、位置，或大小已經改變，決定所標識的物件的經更新參數；決定所決定的參數與所決定的經更新參數之差是否超過閾值；及回應於決定所決定的參數與所決定的經更新參數之差超過閾值，決定遠端參與者的數位表示的經更新顯示屬性。
在一些態樣，基於所決定的參數來決定遠端參與者的數位表示的顯示屬性可以包括：為複數個遠端參與者中的每一者的每個數位表示決定至少一個顯示屬性。在一些態樣，擷取該環境的圖像可以包括：由與設備（例如，計算設備、行動設備、頭戴式設備等）相關聯的處理器來擷取該環境的圖像。在一些態樣，決定所標識的物件的參數可以包括：決定固定位置參數、大小參數、視線參數、視野參數、間隔參數、人際距離參數、高度參數或可見性參數中的至少一者或多者。在一些態樣，虛擬內容可以是遠端參與者。在某些態樣，虛擬內容與遊戲相關。在一些態樣，該環境可以是增強現實遊戲環境。
進一步態樣可以包括一種裝備有處理器的計算設備，該處理器被配置有處理器可執行指令以執行以上概述的方法中的任一者的操作，諸如擷取環境的圖像；分析所擷取的圖像以標識該環境中的至少一個物件；決定所標識的物件的參數；及基於所決定的參數來決定遠端參與者的數位表示的顯示屬性。進一步的態樣可以包括一種設備，該設備包括圖像感測器；投影儀，其被配置成將圖像投影到光學透鏡上；及耦合到圖像感測器和投影儀的處理器，並且該處理器被配置有處理器可執行指令以執行以上概述的方法中的任一者的操作，諸如擷取環境的圖像；分析所擷取的圖像以標識該環境中的至少一個物件；決定所標識的物件的參數；及基於所決定的參數來決定遠端參與者的數位表示的顯示屬性。
進一步態樣可以包括其上儲存有處理器可執行指令的非暫時性處理器可讀取儲存媒體，該等處理器可執行指令被配置成使設備及/或相關聯的計算設備中的處理器執行以上概述的方法中的任一者的操作。進一步態樣可以包括具有用於實現以上概述的方法的功能的各種構件的設備及/或相關聯的計算設備。
將參照附圖詳細描述各個實施例。在可能之處，相同元件符號將貫穿附圖用於代表相同或類似部分。對特定實例和實現作出的引述用於說明性目的，而無意限定請求項的範疇。
概括而言，各個實施例包括用於決定虛擬內容在具有複數個實體參與者的環境中的顯示屬性的方法，以及被配置成實現該等方法的設備（例如，計算設備、行動設備、頭戴式設備等）。例如，行動設備或頭戴式設備可被配置成：擷取環境（例如遊戲室、會議區域、運動場等）的圖像；分析所擷取的圖像以標識該環境中的至少一個物件；決定所標識的物件的參數；及基於所決定的參數來決定遠端參與者的數位表示的顯示屬性。
術語「行動設備」通常在本文中被用來代表以下任一者或全部：智慧型電話、蜂巢式電話、物聯網路（IOT）設備、個人或行動多媒體播放機、膝上型電腦、平板電腦、超級本、掌上電腦、無線電子郵件接收器、啟用網際網路的多媒體蜂巢式電話、無線遊戲控制台、頭戴式設備，以及包括可程式設計處理器、記憶體以及用於向無線通訊網路發送及/或從無線通訊網路接收無線通訊信號的電路系統的類似電子設備。儘管各個實施例在行動設備（諸如智慧型電話和平板電腦）中是尤其有用的，但是該等實施例通常在包括用於存取蜂巢或無線通訊網路的通訊電路系統的任何電子設備中皆是有用的。
短語「頭戴式設備」及其首字母縮寫「HMD」在本文中使用，以可互換地代表向使用者呈現電腦產生的意像與來自使用者的實體環境的現實世界的圖像（亦即，使用者無需戴眼鏡就能看到的內容）的組合，及/或使穿戴者/使用者能夠在真實世界場景的背景下觀看所產生的圖像的任何電子顯示系統。作為實例，頭戴式設備可以是，可以包括，或者可被包括在以下各項中：頭盔、眼鏡、虛擬實境眼鏡、增強現實眼鏡、電子護目鏡以及其他類似技術/設備。在一些實施例中，頭戴式設備可以包括處理器、記憶體、顯示器、相機以及用於與網際網路、網路，或另一計算設備連接的無線介面。
在一些實施例中，頭戴式設備可以是用於從另一計算設備（例如，桌上型電腦、膝上型電腦、智慧型電話、平板電腦等）接收視訊的附件，其中全部或部分處理在該另一計算設備（例如，圖1B和圖11中所圖示的計算設備等）的處理器上執行。如此，在各個實施例中，頭戴式設備可被配置成在頭戴式設備中的處理器上本端執行所有處理，將所有主處理卸載到另一計算設備（例如，存在於遊戲室中的膝上型電腦等）中的處理器，或在頭戴式設備中的處理器與該另一計算設備中的處理器之間分離主處理操作。此外，在存在多個頭戴式設備（例如，在具有若干參與者的會議中）及/或多個計算設備（例如，多個智慧型電話、智慧型電話、平板電腦和膝上型電腦的混合）的情況下，主處理操作可以使用本案的頭戴式設備及/或計算設備按分散式方式來執行，該等頭戴式設備及/或計算設備可以經由無線通訊（例如，藍芽、WiFi、LTE-直連等）交換資料和計算結果。
術語「環境」通常在本文中被用來代表參與者可能在現實中以及虛擬地出現的可見背景。環境可以包括本端參與者的實體位置。實體環境的非限定性實例包括遊戲室、控制室、教室、訓練設施、運動場（例如，用於比賽）等。在一些實施例中，環境可以包括虛擬位置，諸如其中所有參與者皆可以虛擬地出現的電子遊戲域。例如，環境可以是參與者在增強現實棋盤遊戲中進行互動的虛擬空間。
短語「遠端參與者」和虛擬內容在本文中被用來代表被投影以在相同虛擬環境中出現並與他人互動、但實體地不存在於與其他參與者相同的實體環境（例如，相同運動場、會議室等）中的人或人的數位表示。短語「共置的參與者」在本文中被用來代表實體地存在於與至少一個其他參與者相同的環境中的人（或該人所持有或穿戴的設備）。可以在以下描述和請求項中引用「虛擬內容」、「遠端參與者」和「該遠端參與者」，然而此類引用是為了便於描述，並且各個實施例不限於為渲染單個參與者的虛擬存在。相反，各個實施例的方法和操作可被用來定位和渲染任意數目的遠端參與者。類似地，各個實施例可以與任何數目的共置的參與者一起使用。此外，各個實施例可以在其中所有參與者皆是遠端參與者的應用程式中（諸如在虛擬遊戲應用程式中）實現。此外，「遠端參與者」可以是虛擬參與者的圖像（諸如化身）、在虛擬實境遊戲中扮演角色的人的電腦產生的圖像。為了涵蓋實體地不存在的個體的各種類型的圖像，術語「虛擬內容」可被用來代表說明書和請求項中的虛擬參與者。
人們越來越多地使用其設備（例如，智慧型電話、行動設備、頭戴式設備等）以在增強現實應用（諸如增強現實遊戲、增強現實訓練、虛擬會議等）中與他人進行傳達或互動。一種可以在參與者的智慧型電話上播放的增強現實遊戲的流行用法：增強現實遊戲展示實體地不存在、但看起來以實際外觀（例如，經由智慧型電話上的相機的圖像）或以虛擬外觀（例如，化身）出現在智慧型電話上的圖像中的個體的圖像。此外，增強現實系統正在變革複雜裝備的操作者的培訓，諸如複雜的控制室、作戰室、飛機駕駛艙、機器人手術環境，並且正在使得本端個體和遠端個體能夠參與相同培訓課，此舉能夠顯著地提高團隊培訓效率和成本效益。此外，不再需要會議中的所有參與者實體地出席以與他人互動，就好像所有人皆在相同遊戲室中一樣，因為增強現實系統能夠被用來展示所有參與者的圖像，就好像在相同環境中一樣。
智慧型電話、現代虛擬實境顯示器和圖像擷取設備可以經由在虛擬實境顯示器中渲染遠端參與者的數位表示，以使得該等遠端參與者看起來與使用者設備的使用者/佩戴者處於相同環境中來提高生產率並在各種類型的群組互動（例如，增強現實遊戲、群組聊天、會議、群組培訓、講座等）中促進本端參與者與遠端參與者之間的互動。然而，對於其中兩個或更多個共置的參與者實體地存在於相同環境中（例如，坐在相同實體遊戲台之前，在運動場、相同房間、區域、控制中心中等）的虛擬群組互動（例如，增強現實遊戲、會議等），若使用者設備沒有智慧地選擇渲染虛擬內容（諸如遠端參與者）的數位表示的位置及/或定位，則使用者設備（例如，智慧型電話）提供的生產力或使用者互動的任何改良可被消除。例如，若遠端參與者的數位表示的放置與共置的參與者中的每一者的使用者設備（例如，智慧型電話）不一致，則每個共置的參與者在對虛擬內容（諸如遠端參與者）講話或聽虛擬內容時可面向/看向不同的方向。此情形可能是令人困惑的、使人分散的、擾亂的，及/或以其他方式妨礙參與者之間的人與人的自然通訊。
通常，為了促進人與人的自然通訊，對於使用者設備而言將虛擬內容（例如，遠端參與者的數位表示等）放置在從所有參與者（包括當一些參與者實體地存在於相同環境中時共置的參與者）的角度來看皆相同的固定位置中可能是有益的。例如，若虛擬內容（例如，遠端參與者）的數位表示被一個使用者設備放置在遊戲桌處的某個位置中，則共置的參與者的所有其他使用者設備皆可以將遠端參與者的數位表示渲染在該相同位置中。另外，使用者設備智慧地調整遠端參與者的數位表示的大小以使得該遠端參與者在共置的參與者看來不會太大、太小，或以其他方式顯得不自然可能是有益的。例如，虛擬內容（例如，遠端參與者）的數位表示的大小可被調整成在智慧型電話顯示器中看起來與共置的參與者大致相同的大小。此外，使用者設備將遠端參與者的數位表示渲染成使得遠端參與者被置於相對於共置的參與者的合適高度處，位於共置的參與者的視野內，不會阻擋另一參與者的視線，被合適地間隔開（例如，所有參與者看起來大致等距等），計及人際距離（例如，沒有被渲染得與另一參與者如此接近以至於感覺好像該人正在侵佔個人空間邊界等），並以其他方式容易地可見（例如，不要置於在明亮或複雜的背景前面等）可能是有益的。
各個實施例包括：被配置成在使用者設備（例如，智慧型電話）中運行的增強現實軟體應用程式；及/或使用者設備，其被配置成經由智慧地決定虛擬內容（諸如遠端參與者的數位表示）的位置、定位、取向、大小和其他顯示特性以促進人與人的自然交流（例如，眼神接觸、正常輪流交談等）來在本端參與者和遠端參與者以及虛擬內容之間促進人與人的自然通訊（例如，眼神接觸、正常輪流交談等）。
設備處理器（例如，智慧型電話中的處理器、共置的參與者佩戴的頭戴式設備中的處理器、可交換地耦合到頭戴式設備的行動設備中的處理器等）可被配置成與其他設備處理器（例如，智慧型電話中的處理器、其他共置的參與者佩戴的頭戴式設備中的處理器等）協調以智慧地決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性。例如，設備處理器可被配置成決定環境，諸如經由渲染虛擬環境（例如，增強現實遊戲台、虛擬遊戲環境等）或經由經由使用者設備的相機來擷取實際環境（例如，遊戲桌、運動場、會議室、控制室、培訓環境等）的圖像。對於實際環境，設備處理器可以分析所擷取的圖像以標識環境內的人和物件（例如，書桌、桌子、椅子、牆等），擷取或計算資料（例如，經由感測器陣列或處理器）。對於虛擬環境，設備處理器可以決定環境中的各個虛擬物件的形狀和位置。設備處理器可以基於所擷取/計算出的資料計算所標識的物件中的每一者的各個參數，並將所決定的參數發送給其他設備處理器（例如，經由無線資料連結將資料發送給其他參與者的智慧型電話）。
在一些實施例中，設備處理器亦可被配置成使用定位和映射技術，諸如同時定位和映射（SLAM）、視覺同時定位和映射（VSLAM），及/或本領域中公知的其他技術來建立場景的網格映射。設備處理器可以使用網格映射來決定虛擬內容（諸如遠端參與者）的位置，及/或與環境中的其他設備共享網格映射，以使得所有設備處理器皆知曉在該環境中虛擬內容應當被放置在何處。
由設備處理器計算和傳達的參數可以包括固定位置參數、大小參數、視線參數、視野參數、間隔參數、人際距離參數、高度參數，及/或可見性參數。該等參數中的每一者可以與指示該參數的重要性的一或多個權重相關聯。例如，為了容適具有虛擬內容和許多遠端參與者的多方遊戲，設備處理器可以增大與固定位置參數相關聯的權重及/或減小與大小參數相關聯的權重。設備處理器亦可以對參數進行優先順序排序，給予固定位置、大小和視線參數比視野、間距、人際距離、高度和可見性參數高的優先順序。
每個設備處理器可以接收由其他設備處理器計算的參數，並將所接收的參數與在該設備上計算的參數結合使用以協調或協商用於渲染虛擬內容（諸如遠端參與者的圖像）的數位表示的顯示屬性。
每個設備處理器可以使用經協調的顯示屬性來渲染虛擬內容（諸如遠端參與者的圖像）的數位表示以使得所有共置的參與者（亦即，實體地存在於相同實體環境中的人）感知到虛擬內容處於環境中的相同位置（例如，遊戲台、遊戲室、遊戲場景、會議室、控制室、作戰室、裝備等），並被錨定到相同實體物件（例如，遊戲件、空椅子、控制台等），及/或以其他方式相對於環境的圖像處於固定位置。
設備處理器亦可被配置成使用經協調的顯示屬性來智慧地調整數位表示的大小，以使得虛擬內容（諸如遠端參與者的圖像）在參與者經由其設備（例如，智慧型電話）觀看時不會不自然，以使得虛擬內容被置於相對於共置的參與者的合適高度處，位於共置的參與者的視野內，不會阻擋另一參與者的視線，被合適地間隔開（例如，所有參與者看起來大致等距等），計及人際距離（例如，沒有被渲染得與另一參與者如此接近以至於感覺好像該人正在侵佔個人空間邊界等），並以其他方式容易地可見（例如，不被置於在明亮或複雜的背景前面等）。
在一些實施例中，設備處理器可被配置成複製真實世界的場景，諸如經由將虛擬內容的數位表示錨定到遊戲場景內、實體或虛擬控制台後面的空椅子等。在一實施例中，設備處理器可被配置成選擇個體（當虛擬內容是遠端參與者的圖像時）在該個體實體地存在於環境中的情況下有可能選擇的空椅子（或相對於遊戲桌、裝備等的位置）（例如，離遊戲中其他參與者不遠的椅子、控制室中的空控制台等）。
在一些實施例中，設備處理器可被配置成偵測環境中的物件、虛擬內容或人的數目、位置、定位、大小等的變化，決定偵測到的變化是否超過閾值，並動態地回應於決定偵測到的變化超過該閾值來重新計算參數或權重以計及偵測到的變化。例如，設備處理器（例如，參與者的智慧型電話中的處理器）可能偵測到新參與者（虛擬、遠端或共置的）在遊戲、會議、訓練課等已經開始之後已經加入，並重新計算參數及/或權重以計及新參與者，並基於重新計算出的參數及/或權重來更新虛擬內容（例如，遠端參與者）的渲染。作為另一實例，設備處理器可以在遊戲、會議或訓練課已經開始之後偵測到參與者（虛擬、遠端或共置的）已經移動了位置（例如，經由改變座位橫向移動、經由站立或坐下垂直移動等），決定參與者的當前位置與先前位置之間的距離是否超過閾值，並回應於決定參與者的當前位置與先前位置之間的距離超過該閾值來重新計算參數及/或更新遠端參與者的渲染。
在一些實施例中，設備處理器可被配置成計算附加值並執行附加操作，以計及與在比賽、會議或訓練課已經開始之後更新遠端參與者的渲染或重新定位遠端參與者的放置相關聯的特殊考慮。
在一些實施例中，設備處理器可被配置成調整虛擬內容的渲染，諸如遠端參與者的圖像（例如，經由重新調整虛擬內容的圖像的大小和空間）以支援社交慣例並促進人與人的交流。例如，設備處理器可被配置成將虛擬內容（諸如虛擬或遠端參與者的圖像）的定位決定為類似於人們通常如何參加共置的遊戲、會議、培訓課等一般。在完全共置的遊戲和會議中，通常後來者要找到在群組的其他成員附近的座位或站立位置。後來者選擇離其他參與者中的每一者大致等距離的座位或站立位置亦是常見的（例如，若存在其他開放座位更均等地間隔開，人們通常不會坐在彼此旁邊）。人們自然而然地如此做，部分是為了改良與最大數目的參與者的眼神交流。後來者亦可能會擠成群組配置，並且其他參與者可能稍微調整其位置以便為後來者騰出空間。為了複製該等人類行為傾向，設備處理器可被配置成自動調整其他虛擬內容的位置/渲染，以維持良好的間距及/或計及以上所論述的其他考慮（例如，視線等）。
在一些實施例中，設備處理器（例如，智慧型電話的處理器）可被配置成將閾值設得為足夠高，以使得渲染在偵測到某些變化時（諸如當單個參與者站起來時）不被調整。設備處理器可以將閾值設得足夠低，以使得渲染在偵測到其他變化時（諸如當大多數共置的人站起來或坐下時）被調整。
在一些實施例中，設備處理器可被配置成將使用者變化傳達給其他設備處理器以實現一致渲染。例如，若使用者手動地調整虛擬內容（諸如遠端參與者）的數位表示在其智慧型電話上渲染的位置，則設備處理器可以將調整後的渲染的位置發送給其他設備處理器（諸如參與相同遊戲、會議、培訓等的其他人的智慧型電話中的處理器）。作為回應，其他設備處理器亦可以調整相同虛擬內容的數位表示，以使得虛擬內容相對於環境的配置對於所有使用者而言保持一致。
圖1A以根據各個實施例的可被配置成智慧地決定虛擬物件的顯示特性（例如，遠端參與者的數位表示）的頭戴式設備100的形式圖示了使用者設備。在圖1A中所圖示的實例中，頭戴式設備100包括框架102、兩個光學透鏡106以及處理器114，該處理器114通訊地耦合到圖像投影儀108、單目圖像感測器或相機110、感測器陣列112、記憶體116和通訊電路系統118。投影儀108可被嵌入在框架102的臂部104並被配置成將圖像投影到光學透鏡106上。投影儀108可以包括發光二極體（LED）模組、光隧道、均勻透鏡、光學顯示器、折疊鏡，以及現有投影儀或頭戴顯示器中公知的其他元件。在一些實施例中，兩個光學透鏡106可以包括圖像形成元件，該等圖像形成元件被配置成將圖像疊加在經由透鏡的視圖上，在該情形中可以不實現投影儀108。
在一些實施例中，頭戴式設備100及/或處理器114可被配置成採用SLAM技術來構造和更新未知環境的映射，同時追蹤環境中的頭戴式設備100的位置。例如，頭戴式設備100可被裝備有單目圖像感測器，該單目圖像感測器根據環境來擷取圖像或訊框。頭戴式設備100可以在所擷取的圖像內標識突出的物件（例如，共置的參與者）或特徵（例如，共置的參與者的面部及/或身體特徵），估計圖像中的特徵的尺寸和比例，將所標識的特徵彼此及/或與具有已知尺寸和比例的測試圖像中的特徵進行比較，並基於該等比較來標識對應關係。每個對應關係可以是將一個圖像中的特徵（或特徵點）標識為具有在另一圖像中作為相同特徵的高可能性的一組值或資訊結構。換言之，對應關係可以是一組具備對應關係的圖像點（例如，第一圖像中的第一點和第二圖像中的第二點等）。頭戴式設備100可以基於所標識的對應關係來產生單應性矩陣資訊結構，並且使用單應性矩陣來決定其在環境中的姿勢（例如，位置、取向等）。
各個實施例可被實現在智慧型電話上，智慧型電話的實例在圖1B中圖示。智慧型電話120可以包括耦合到內部記憶體122、顯示器123和揚聲器124的處理器121。另外，智慧型電話120可以包括用於發送和接收電磁輻射、可連接到無線資料連結的天線125及/或耦合到處理器121的蜂巢式電話收發機126。智慧型電話120通常亦包括用於接收使用者輸入的功能表選擇按鈕或搖桿開關127。
典型的智慧型電話120亦包括聲音編碼/解碼（CODEC）電路128，該電路將從話筒接收到的聲音數位化成適於無線傳輸的資料封包，並對接收到的聲音資料封包進行解碼以產生提供給揚聲器以產生聲音的類比信號。此外，處理器121、無線收發機126和CODEC 128中的一者或多者可以包括數位信號處理器（DSP）電路（未單獨圖示）。
圖1C圖示了根據各個實施例的電腦架構和各個感測器，該電腦架構和各個感測器可被包括在頭戴式設備100或智慧型電話120中，該頭戴式設備100或智慧型電話120被配置成採用SLAM或其他技術以在虛擬會議中渲染遠端參與者的數位表示。在圖1C中所圖示的實例中，頭戴式設備100包括主機板元件152、圖像感測器154、微控制器單元（MCU）156、紅外（IR）感測器158、慣性量測單元（IMU）160、鐳射距離感測器（LDS）162和光流感測器164。
感測器154、158-164可以收集對於在頭戴式設備100或智慧型電話120中採用SLAM技術有用的資訊。例如，光流感測器164可以量測光流或視覺運動，並且基於光流/視覺運動來輸出量測結果。光流可以標識或定義由觀察者（例如，頭戴式設備100、智慧型電話120、佩戴者/使用者等）與場景之間的相對運動引起的視覺場景中的物件、表面和邊緣的視運動的模式。光流資訊可被MCU 156用來量測頭戴式設備100、智慧型電話120，以及頭戴式設備100、智慧型電話120等附近的其他物件之間的視覺運動或相對運動。另外，頭戴式設備100或智慧型電話120可以將光流資訊用於運動偵測、物件分段、接觸時間資訊、延伸焦點計算、運動補償編碼、立體視差量測，以及其他類似資訊。在一些實施例中，光流感測器164可以是圖像感測器，該圖像感測器被耦合到被程式設計成執行光流演算法的MCU 156（或處理器114、121）。在一些實施例中，光流感測器164可以是在相同晶片或晶粒上包括圖像感測器和處理器的視覺晶片。
頭戴式設備100或智慧型電話120可被裝備有各種附加感測器，包括陀螺儀、加速度計、磁力計、磁羅盤、海拔計、相機、光學閱讀器、取向感測器、單目圖像感測器，及/或用於監視實體狀況（例如，位置、運動、加速度、取向、海拔等）或收集對於採用SLAM技術有用的資訊的類似感測器。
在各個實施例的以下描述中，附圖以及附圖的描述代表各個實施例的示例性實現，在該等實施例中，本端參與者和遠端參與者圍繞遊戲桌（諸如在增強現實遊戲中在其上展示真實和虛擬遊戲台的桌子）開會。該實例僅用於說明性目的，並不意欲限定。各個實施例同樣適用於其他應用，在該等應用中，虛擬實境被用來使得本端參與者和遠端參與者以及虛擬內容能夠互動，就好像實體地位於相同環境中，（諸如涉及共同遊戲環境的遊戲（例如遊戲台、遊戲場景等）、用於會議的會議桌、用於涉及裝備的培訓課的裝備控制台（其可以實體地展示或虛擬地渲染）、決策者團隊之間的培訓課、控制室或作戰室的會議等）。
圖2A圖示了根據各個實施例配置的頭戴式設備100a、100b，頭戴式設備100a、100b可被用來進行具有虛擬內容（諸如遠端參與者202）的遊戲。設備處理器（例如，參與者的智慧型電話200a中的處理器121、頭戴式設備100a中的處理器114等）可被配置成與其他設備處理器（例如，參與者的智慧型電話200b中的處理器121、頭戴式設備100b中的處理器114）協調以智慧地決定虛擬內容（諸如遠端參與者202）的數位表示的顯示屬性。例如，設備處理器可被配置成經由智慧型電話或頭戴式設備的相機來擷取環境（例如，遊戲室）的圖像，分析所擷取的圖像以標識環境內的人和物件（例如，遊戲桌206、遊戲台207、共置的參與者204a和204b等），擷取或計算資料（例如，經由智慧型電話200a的相機和其他感測器、經由頭戴式設備100a的感測器陣列112或處理器114等），基於所擷取/計算出的資料計算所標識的物件中的每一者的各個參數，並將所計算/決定的參數發送給其他設備處理器（例如，另一智慧型電話200b內的處理器121）。設備處理器可以使用該等參數來決定各個顯示屬性，並渲染虛擬內容（諸如遠端參與者202）的數位表示，以使得虛擬內容被放置在遊戲桌206處並且在每個共置的參與者204a、204b看來均置於固定區域208內（諸如相對於真實或虛擬遊戲台207）。
圖2A亦圖示了智慧型電話200a、200b及/或頭戴式設備100a、100b可被配置成調整虛擬內容（諸如遠端參與者202）的數位表示的大小，以使得遠端參與者在共置的參與者204a、204b看來不會太大、太小，或以其他方式顯得不自然。智慧型電話200a、200b及/或頭戴式設備100a、100b亦可以將虛擬內容（諸如遠端參與者202）的數位表示渲染成使得虛擬內容看起來被置於相對於共置的參與者204a、204b的合適高度210處，被合適地間隔開（例如，所有參與者看起來大致等距等），計及人際距離（例如，沒有被渲染得與另一參與者如此接近以至於感覺好像該人正在侵佔個人空間邊界等），並以其他方式容易地可見（例如，不要置於明亮或複雜的背景前面等）。
圖2B圖示了虛擬內容（諸如遠端參與者202）的數位表示可被渲染以使得虛擬內容在經由其智慧型電話顯示器或頭戴式設備觀看的共置的參與者204a、204b的視野內，並且不阻擋遠端參與者或共置的參與者中的任一者的視線。
圖3A和圖3B圖示了在相同環境（例如，遊戲室）中共置、坐在遊戲桌206周圍、並佩戴頭戴式設備100a-100d的多個會議參與者。
參考圖3A，共置的參與者304a-304d已經選擇了其座位及/或已經將其自己安置在遊戲桌206的三個側面周圍，以使得其可以彼此通訊並觀看遊戲台、白板、TV、監視器，或演示302。共置的參與者304a-304d中的每一者相對於環境和遊戲桌206處於略有不同的實體位置，並且在兩個共置的參與者304b與共置的參與者304c之間存在人形大小的間隙306。
參考圖3B，智慧型電話200a、200b及/或頭戴式設備100a-100d可被配置成彼此通訊以協調地決定虛擬內容（諸如遠端參與者202）的數位表示應當以人形大小的間隙306來渲染。作為該等操作的一部分，智慧型電話200a、200b及/或頭戴式設備100a-100d可以分析、計算或計及各個參數（及其對應的權重），包括固定位置參數、大小參數、視線參數、視野參數、間隔參數、人際距離參數、高度參數和可見性參數。
固定位置參數可以指示虛擬內容（諸如遠端參與者202）的數位表示應當被置於相對於所有共置的參與者304a-304d相同的固定位置。例如，若虛擬內容（諸如遠端參與者202）的數位表示被置於遊戲桌206處的某個位置之前，則所有共置的參與者皆可以在該相同位置中或在固定區域內看到虛擬內容。與固定位置參數相關聯的權重值可以指示虛擬內容的數位表示在固定位置中的渲染相對於其他參數的權重或重要性。
（諸）大小參數可以指示虛擬內容（諸如遠端參與者202）的數位表示的所渲染大小對於所有共置的參與者304a-304d而言應當是一致的，並且對於其被渲染的位置而言應當是合適的（例如，自然和預期的大小）。例如，大小參數可以指示作為遠端參與者的身體的虛擬內容應被渲染為與共置的參與者304a-304d的身體大致相同的大小。為了達成該點，智慧型電話200a、200b及/或頭戴顯示器100a-100d中的一者或多者可被配置成量測共置的參與者304a-304d的頭部的大小及/或其之間的距離以產生平均數，並使用此資訊來決定虛擬內容（諸如遠端參與者202）的數位表示所渲染的大小。與每個大小參數相關聯的權重值可以指示將虛擬內容（諸如遠端參與者202）的數位表示渲染為對於所有共置的參與者而言皆是一致的及/或與同處一地的參與者304a-304d大致相同的大小的權重或重要性。
（諸）視線參數可以指示虛擬內容（諸如遠端參與者202）的數位表示不應當被渲染在阻擋共置的參與者304a-304d中的任一者的視線的位置，該位置可以由智慧型電話200a、200b及/或頭戴式設備100a-100d標識阻擋另一參與者的一些或全部視圖的區域來決定。在一些實施例中，智慧型電話200a、200b及/或頭戴式設備100a-100d中的一者或多者可被配置成寬泛地量測區域及/或視線，以使得虛擬內容（諸如遠端參與者202）的數位表示不會被放置得太靠近毗鄰參與者（例如，共置的參與者304b或共置的參與者304c）。與每個視線參數相關聯的權重值可以指示將虛擬內容（諸如遠端參與者202）的數位表示渲染為以不阻擋共置的參與者304a-304d中的任一者的視線的權重或重要性。
（諸）視野參數可以指示虛擬內容（諸如遠端參與者202）的數位表示應當以適合於儘可能多的共置的參與者304a-304d的視野的方式來渲染。與每個視野參數相關聯的權重值可以指示將虛擬內容（諸如遠端參與者202）的數位表示渲染為適合於另一共置的參與者304a-304d的視野的權重或重要性。因為智慧型電話200a、200b及/或頭戴顯示器100a-d可能具有狹窄的視野，因此可能難以在所有共置的參與者304a-304d的視野內渲染虛擬內容（諸如遠端人員）。在該情形中，一或多個視野參數的權重可被減小以計及個體智慧型電話200a、200b及/或頭戴式設備100a-100d的特性及/或與在所有共置的參與者304a-304d的視野內渲染虛擬內容（諸如遠端參與者202）的數位表示相關聯的任何困難。
（諸）間隔參數可以指示虛擬內容（諸如遠端參與者202）的數位表示應當離共置的參與者304a-304d等距離地放置，類似於人們通常如何在面對面的遊戲設置中正常地組織其自己一般。例如，一個人通常不會坐得太靠近另一個人，並且亦不會坐得離群體的其他人太遠。為了計及該點，智慧型電話200a、200b及/或頭戴顯示器100a-100d可以量測其他參與者中的每一者之間的距離，計及環境中的障礙物和物件（例如，演示302），並在具有最大可用空間的可接受一側渲染遠端參與者202的數位表示（例如，不包括演示302的一側）。智慧型電話200a、200b及/或頭戴顯示器100a-100d可以進行量測，計算平均得分，使用該平均得分來決定最長側，並將遠端參與者202的數位表示放置置於最長側。在將先前定位的虛擬內容（諸如遠端參與者）考慮在內的情況下，可以針對後續遠端參與者重複該程序。與每個間隔參數相關聯的權重值可以指示將虛擬內容（諸如遠端參與者202）的數位表示渲染為離共置的參與者304a-304d等距離的權重或重要性。
（諸）人際距離參數可以指示虛擬內容（諸如遠端參與者202）的數位表示不應當被渲染得太靠近另一參與者（例如，共置的參與者304b），以至於感覺好像該遠端參與者正在侵佔個人空間邊界。由於該人際距離可能隨文化不同而有所變化，因此智慧型電話200a、200b及/或頭戴顯示器100a-d可被配置成基於預配置的值、共置的參與者之間的行為和距離、人工智慧，或其他類似參數來決定距離。與人際距離參數相關聯的權重值可以指示渲染虛擬內容（諸如遠端參與者202）的數位表示以使得遠端參與者看起來不會侵佔共置的參與者304a-304d的個人空間邊界的權重或重要性。
在給定共置的參與者304a-304d的位置、定位和高度的情況下，（諸）高度參數可以指示虛擬內容（諸如遠端參與者202）的數位表示應當被置於合適高度處。取決於共置的參與者304a-304d的位置、定位和高度，此情形可能需要坐高或站高。在一些實施例中，智慧型電話200a、200b及/或頭戴式設備100a-d可被配置成將高度決定為每個共置的參與者的頭或眼睛的平均高度。在一些實施例中，智慧型電話200a、200b及/或頭戴式設備100a-d可被配置成決定大多數共置的參與者304a-304d是坐著還是站著，並對大多數共置的參與者所處於的無論何種取平均。例如，若三個共置的參與者正坐著而兩個共置的參與者正站立，則智慧型電話200a、200b及/或頭戴式設備100a-d可以獲取三個坐著的參與者的平均眼睛高度並將虛擬內容（諸如遠端參與者202）的數位表示放置在該水平處。與每個高度參數相關聯的權重值可以指示將虛擬內容（諸如遠端參與者202）的數位表示渲染在相對於其他參數的合適高度處的權重或重要性。
可見性參數可以指示虛擬內容（諸如遠端參與者202）的數位表示應當被放置成針對可見性進行最佳化，諸如經由避免可能會妨礙虛擬內容（諸如遠端參與者202）的數位表示的可見性或干擾共置的參與者304a-304d的視圖的明亮或複雜的背景或錨定物件。與每個可見性參數相關聯的權重值可以指示渲染數位表示以針對可見性進行最佳化的權重或重要性。
返回到圖3B中所圖示的實例，智慧型電話200a、200b及/或頭戴式設備100a-d可以經由擷取和分析環境的圖像以標識環境中的人和物件（包括遊戲參與者、遊戲桌206，及/或演示302）來決定虛擬內容（諸如遠端參與者202）的數位表示應當以人形大小的間隙306來渲染。頭戴式設備100a-d可以計算環境中所標識出的物件/人的各個參數（例如，深度、距離、取向等）。智慧型電話200a、200b及/或頭戴式設備100a-100d可以使用計算出/經分析的參數來決定遠端參與者202的數位表示應當以人形大小的間隙306來渲染。亦即，智慧型電話200a、200b及/或頭戴式設備100a-100d可基於對以上參數中的一者或多者及其相應的權重的分析決定：將虛擬內容（諸如遠端參與者202）的數位表示置於人形大小間隙306中將允許共置的參與者304a-304d繼續觀看演示302並彼此通訊。
回應於決定虛擬內容（諸如遠端參與者202）的數位表示應當被渲染在人形大小的間隙306中，智慧型電話200a、200b及/或頭戴式設備100a-100d可以搜尋環境的所擷取的圖像以標識位於人形大小的間隙306內或緊鄰人形大小的間隙306的表面或物件（例如，空椅子），選擇所標識的表面/物件以用作錨點，並基於計算出/經分析的參數以及所選表面/物件與共置的參與者304a-304d之間的相對距離來決定虛擬內容（諸如遠端參與者202）的數位表示的顯示屬性（例如，大小等）。智慧型電話200a、200b及/或頭戴式設備100a-100d可以渲染虛擬內容（諸如遠端參與者202）的數位表示，以使得虛擬內容在所有共置的參與者看來在固定位置（例如，錨定到錨定表面/物件）及/或以使得共置的參與者能夠輕鬆且自然地彼此通訊和互動、並與虛擬內容通訊和互動。
圖4A圖示了其中虛擬內容（諸如遠端參與者202）的數位表示被放置在相對於遊戲桌206的自然位置，並且共置的參與者204a-204c中的每一者皆具有至虛擬內容的數位表示的直接視線（由虛線箭頭指示）的一個實例。然而，虛擬內容（諸如遠端參與者202）的數位表示的位置/定位阻擋了共置的參與者204b和204c的視線。此情形例如在共置的參與者204c在遊戲進行之後加入遊戲的情況下可能發生。
圖4B圖示了根據實施例配置的參與者智慧型電話及/或頭戴式設備可以協調以決定共置的參與者204b和204c之間的視線被阻擋，並將虛擬內容（諸如遠端參與者202）的數位表示重新定位到相對於遊戲桌206的不同位置或定位，以使得所有共置的參與者204a-204c具有彼此之間的直接視線（由實線箭頭指示）以及至虛擬內容（諸如遠端參與者202）的數位表示的直接視線（由虛線箭頭指示）。
圖5A-圖5C圖示了根據實施例配置的參與者智慧型電話及/或頭戴式設備可以智慧地決定虛擬內容（諸如遠端參與者202a、202b）的數位表示應當相對於共置的參與者204a-204c中的位置或定位來渲染的位置。圖5A圖示了參與者的智慧型電話及/或頭戴式設備可被配置成計算共置的參與者204a-204c之間的距離，並決定各參與者之間的最大距離（L）在共置的參與者204a與共置的參與者204c之間。
參考圖5B，參與者智慧型電話及/或頭戴式設備可以在共置的參與者204a與共置的參與者204c之間渲染虛擬內容（諸如第一遠端參與者202a）的數位表示。智慧型電話及/或頭戴式設備可以重新計算共置的參與者204a-204c與虛擬內容（諸如遠端參與者202a）的數位表示之間的距離，並決定各參與者之間的最大距離（L）現在處於共置的參與者204a與共置的參與者204b之間。
圖5C圖示了參與者智慧型電話及/或頭戴式設備可以在共置的參與者204a與共置的參與者204b之間渲染虛擬內容（諸如第二遠端參與者202b）的數位表示。智慧型電話及/或頭戴式設備可以重新計算共置的參與者204a-204c與虛擬內容（諸如遠端參與者202a、202b）的數位表示之間的距離，並決定各參與者之間的最大距離（L）現在處於共置的參與者204b與共置的參與者204c之間。智慧型電話及/或頭戴式設備可以重複該等操作，直到所有遠端參與者皆在環境中渲染為止。
圖6-圖9圖示了根據各個實施例（例如，包括以上參照圖1-圖5論述的任何或所有實施例）的決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性的方法600、700、800、900。方法600、700、800、900的全部或部分可以由設備處理器執行，諸如由共置的參與者佩戴的頭戴式設備中的處理器（例如，圖1A中所圖示的處理器114）、獨立地或可交換地耦合到由共置的參與者佩戴的頭戴式設備的智慧型電話中的處理器（例如，圖1B中所圖示的處理器121）、可交換地耦合到智慧型電話或頭戴式設備的伺服器計算設備中的處理器，或與雲端網路或基於雲端的計算系統相關聯的處理器。
參照圖6，在方法600的方塊602，設備處理器可以擷取、產生或接收環境的圖像。例如，智慧型電話或頭戴式設備上的相機可以擷取環境的視訊，並將圖像訊框提供給設備處理器。作為另一實例，來自環境的圖像可以由定位在環境內並與設備處理器處於通訊的一或多個相機擷取。
在方塊604，設備處理器可以分析所擷取的圖像以標識該環境中的至少一個物件（例如，人、遊戲桌、空座位等）。在一些實施例中，作為方塊604的操作的一部分，設備處理器可以使用定位和映射技術（諸如機器視覺、VSLAM或其他技術和本領域中公知的技術）來建立環境的網格或映射，標識物件，決定物件在環境中的定位、取向及/或位置，及/或執行其他類似操作。
在方塊606，設備處理器可以決定所標識的物件的參數。例如，設備處理器可以在方塊606，決定固定位置參數、大小參數、視線參數、視野參數、間隔參數、人際距離參數、高度參數，及/或可見性參數中的任一者或全部。在一些實施例中，所決定的參數中的每一者可以與指示相應重要性的一或多個權重或優先順序相關聯。
在一些實施例中，設備處理器可被配置成基於使用者輸入來調整與參數相關聯的優先順序或權重及/或計及各種條件、事件或偏好。例如，設備處理器可以決定將虛擬內容（諸如遠端參與者）的數位表示渲染在對於不同的共置的參與者而言不同的位置中與將虛擬內容（諸如遠端參與者）的數位表示渲染得比在環境中實體地存在的共置的參與者的大小小得多相比會更分散或破壞人與人間的交流和互動。如此，為了容適具有許多遠端參與者的遊戲或會議，設備處理器可以增大與固定位置參數相關聯的權重或減小與大小參數相關聯的權重。作為另一實例，設備處理器可以決定將虛擬內容（諸如遠端參與者）的數位表示渲染在對於不同的共置的參與者而言不同的位置中與將虛擬內容（諸如遠端參與者）的數位表示渲染得太靠近在環境中實體地存在的共置的參與者相比會更分散或破壞人與人間的交流和互動。作為回應，設備處理器可以向固定位置參數指派與向人際距離參數指派的優先順序/權重相比更高的優先順序或權重。
在一些實施例中，設備處理器可被配置成基於使用者輸入來調整與參數相關聯的優先順序或權重。在此類實施例中，設備處理器可以允許使用者/佩戴者手動地控制各個參數對於該使用者或一群使用者（例如，遊戲參與者等）重要的程度。在一些實施例中，設備處理器可以在智慧型電話、頭戴顯示器及/或相關聯的計算設備的使用者介面的設置功能表中進行的使用者選擇的形式來接收使用者輸入。
在一些實施例中，設備處理器可以向固定位置參數、大小參數或視線參數指派與向視野參數、間隔參數、人際距離參數、高度參數和可見性參數指派的優先順序/權重相比更高的優先順序或權重。
返回到圖6，設備處理器可以在方塊608基於所決定的參數（及其相應的權重/優先順序）來決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性。例如，設備處理器可以基於在方塊608決定的參數來決定虛擬內容（諸如遠端參與者）的數位表示應當被渲染在環境中存在的空白空間（例如，空椅子等）所包圍的區域中。作為另一實例，設備處理器可以基於在方塊608決定的參數來決定虛擬內容（諸如遠端參與者）的數位表示的大小應當被調整成使得虛擬內容在使用者/佩戴者看來約6英尺高，其中頭部大小的寬度在6與7英寸之間，長度在8與9英寸之間，胸圍在44與46英寸之間，肩寬為16英寸。
參照圖7，在方法700的方塊602-608，設備處理器可以執行方法600的相同編號的方塊的操作，如參照圖6所描述的。
在方塊710，設備處理器可以標識（例如，在相同環境、區域、遊戲室等中）實體地緊鄰該設備處理器的其他設備（例如，其他智慧型電話、計算設備、行動設備、頭戴式設備等）。此舉可以例如經由廣播ping訊息或傳輸信標，從而請求接收該訊息/信標的所有設備以標識符（例如，媒體存取控制（MAC）位址等）、通訊參數、位置資訊，及/或其他類似資訊進行回應來完成。
在方塊712，設備處理器可以向所標識出的設備（亦即，相同環境中的其他設備等）發送在方塊606決定的參數及/或在方塊608決定的顯示屬性。
參照圖8，在方法800的方塊602-606，設備處理器可以執行方法600的相同編號的方塊的操作，如參照圖6所描述的。
在方塊808，設備處理器可以從（例如，在相同環境中）實體地緊鄰該設備處理器的一或多個其他設備接收附加參數。例如，當每個設備處理器決定參數時，此類參數可以被傳輸給環境內的所有其他設備處理器。作為另一實例，若單個設備處理器正在針對環境中的所有設備執行各個實施例的操作，則每個智慧型電話或頭戴式設備可以向該一個處理設備發送圖像、位置、取向和其他資訊。
在方塊810，設備處理器可以基於所決定的參數以及接收自其他設備的附加參數來決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性。
在方塊812，設備處理器可以向所標識的設備（亦即，相同環境中的其他設備等）發送在方塊810決定的顯示屬性。
參照圖9，在方法900的方塊602-606，設備處理器可以執行方法600的相同編號的方塊的操作，如參照圖6所描述的。
在方塊908，設備處理器可以與該環境中（或實體地緊鄰參與者智慧型電話、頭戴式設備等）的其他設備協商用於渲染虛擬內容（諸如遠端參與者）的數位表示的顯示屬性以產生經協調的顯示屬性。例如，設備處理器可以向其他設備發送所提議的顯示屬性，並從每個設備接收其自己提議的顯示屬性。可以由一個、一些或所有設備處理器採用各種決策方法來獲得單組顯示屬性。例如，每個設備處理器可以測試所接收的每一組顯示屬性，並向其他設備發送對是否違反決定顯示屬性的各種準則中的任一者的指示。作為另一實例，環境內的一個設備處理器可被指定為用於決定顯示屬性的控制器，並且可以基於輸入（例如，由其他頭戴顯示器擷取的位置和取向資訊以及圖像）來如此做，並使用所收集的資訊來決定經協調的顯示屬性。其他方法可以在決定經協調的顯示屬性時使用。
在方塊910，設備處理器可以基於經協調的顯示屬性來渲染虛擬內容（諸如遠端參與者）的數位表示。例如，設備處理器可以使用經協調的顯示屬性來將虛擬內容（例如，遠端參與者）的數位表示渲染在相對於所有共置的參與者相同的固定位置。亦即，因為顯示屬性被協商和協調，因此若將虛擬內容（諸如遠端參與者）的數位表示置於該環境中的另一智慧型電話或頭戴式設備的遊戲桌處的某個位置，則設備處理器將會把虛擬內容（諸如遠端參與者）的數位表示渲染在相同位置。
圖10圖示了根據一實施例的更新虛擬內容（諸如遠端參與者）的數位表示的顯示屬性的方法1000。方法1000可以在決定數位表示的顯示屬性、渲染數位表示，或者虛擬遊戲已經開始之後執行。方法1000的全部或部分可以由設備處理器執行，諸如由共置的參與者佩戴的頭戴式設備中的處理器（例如，圖1A中所圖示的處理器114）或智慧型電話中的處理器（例如，圖11中所圖示的處理器121）。
在方塊1002，設備處理器可以擷取、產生或接收環境的經更新圖像。例如，一個或所有設備上的相機可以擷取環境的視訊，並週期性地向設備處理器（例如，智慧型電話處理器、頭戴式設備的處理器、遠端計算設備的處理器等）提供圖像訊框。作為另一實例，環境的圖像可以由定位在環境內並與設備處理器處於通訊的一或多個相機週期性地擷取。
在方塊1004，設備處理器可以分析經更新圖像以決定該環境中的人或物件的數目、位置、定位或大小是否已經改變。此種操作可以包括：決定各個參與者和物件的邊界，並將所決定的邊界與上一次決定顯示參數時決定並儲存在記憶體中的邊界進行比較。
在方塊1006，設備處理器可以回應於決定該環境中的人或物件的位置、定位或大小已經改變來決定該環境中的所標識的物件的經更新參數。
在方塊1008，設備處理器可以決定原始參數與經更新參數之差。
在決定方塊1010，設備處理器可以決定原始參數與經更新參數之差是否超過閾值。閾值可被設得足夠高，以使得渲染在偵測到某些變化時（諸如當單個參與者站起來時）不作調整。附加地或附加地，閾值可被設得足夠低，以使得渲染在偵測到某些變化時（諸如當大多數共置的人站立或坐下時）作調整。
回應於決定原始參數與經更新參數之差未超過閾值（亦即，決定方塊1010=「否」），設備處理器可以在方塊1012繼續基於原始參數（例如，在方塊606計算出的參數等）及/或原始顯示屬性（例如，在方塊608計算出的顯示屬性等）來渲染虛擬內容（諸如遠端參與者）的數位表示。
回應於決定原始參數與經更新參數之差超過閾值（亦即，決定方塊1010=「是」），設備處理器可以在方塊1014基於經更新參數來決定數位表示的經更新顯示屬性。例如，設備處理器可執行方法600、700、800或900中的任一者的一或多個操作以在方塊1014決定經更新參數。
在方塊1016，設備處理器可以基於經更新顯示屬性來渲染虛擬內容（諸如遠端參與者）的數位表示。
一些實施例可以包括經由以下方式來決定用於顯示在遊戲、增強現實遊戲、訓練課、會議等中（諸如虛擬實境系統中）的一或多個遠端參與者的圖像的顯示屬性的方法：（由與智慧型電話及/或頭戴式設備相關聯的處理器）擷取遊戲室/區域的圖像、分析所擷取的圖像以標識遊戲室/區域中的人和物件，決定所標識的人和物件的參數，以及基於所決定的參數來決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性。
在一些實施例中，決定所標識的人和物件的參數可以包括：基於一或多個因素決定該等參數，其中一或多個因素包括以下至少一者或多者：固定位置因素、大小因素、視線因素、視野因素、間隔因素、人際距離因素、高度因素或可見性因素。
一些實施例可以包括向一或多個因素中的每一者指派優先順序，其中基於所決定的參數來決定遠端參與者的數位表示的顯示屬性可以包括：基於向該一或多個因素中的每一者指派的優先順序來決定遠端參與者的數位表示的顯示屬性，並且向該一或多個因素中的每一者指派優先順序可以包括：向固定位置因素、大小因素或視線因素指派與向視野因素、間隔因素、人際距離因素、高度因素和可見性因素指派的優先順序相比更高的優先順序。
一些實施例可以包括標識遊戲室/區域中的其他頭戴式設備，以及向遊戲室/區域中的其他智慧型電話及/或頭戴式設備發送所決定的參數。一些實施例可以包括從遊戲室/區域中的其他智慧型電話及/或頭戴式設備接收附加參數，其中基於所決定的參數來決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性可以包括：基於所決定的參數以及接收自遊戲室/區域中的其他智慧型電話及/或頭戴式設備的附加參數來決定虛擬內容（例如，遠端參與者）的數位表示的顯示屬性。在一些實施例中，基於所決定的參數來決定虛擬內容（諸如遠端參與者）的數位表示的顯示屬性可以包括：與遊戲室/區域中的其他智慧型電話及/或頭戴式設備協商用於渲染虛擬內容的數位表示的顯示屬性以產生經協調的顯示屬性。
一些實施例可以包括使用經協調的顯示屬性來渲染虛擬內容（諸如遠端參與者）的數位表示，以使得實體地存在於遊戲室/區域中的所有共置的參與者皆感知到虛擬內容處於遊戲室/區域中的相同固定位置。一些實施例可以包括使用經協調的顯示屬性來智慧地調整遠端參與者的數位表示的大小，以使得該遠端參與者看起來與實體地存在於遊戲室/區域中的共置的參與者的大小大致相同。一些實施例可以包括使用經協調的顯示屬性來渲染虛擬內容（諸如遠端參與者）的數位表示，以使得虛擬內容看起來處於與實體地存在於遊戲室/區域中的共置的參與者的平均高度大致相同的高度。
一些實施例可以包括使用經協調的顯示屬性來渲染虛擬內容（諸如遠端參與者）的數位表示，以使得虛擬內容看起來與實體地存在於遊戲室/區域中的共置的參與者大致等距。一些實施例可以包括使用經協調的顯示屬性來渲染虛擬內容（諸如遠端參與者）的數位表示，以使得虛擬內容看起來被錨定到遊戲桌處的空椅子。一些實施例可以包括：擷取遊戲室/區域的經更新圖像；分析所擷取的經更新圖像以決定遊戲室/區域中的人或物件的數目、位置、定位，或大小是否已經改變；回應於決定遊戲室/區域中的人或物件的位置、定位，或大小已經改變，決定遊戲室/區域中的所標識的人和物件的經更新參數；決定所決定的參數與所決定的經更新參數之差是否超過閾值；及回應於決定所決定的參數與所決定的經更新參數之差超過閾值，決定虛擬內容（諸如遠端參與者）的數位表示的經更新顯示屬性。
各個實施例方法可在各種個人計算設備（諸如如圖11中所圖示的膝上型電腦1100）中實現。膝上型電腦1100將通常包括耦合到揮發性記憶體1102和大容量非揮發性記憶體（諸如快閃記憶體的磁碟機1104）的處理器1101。膝上型電腦1100亦可以包括耦合到處理器1106的軟碟機1105。電腦接收器設備1100亦可以包括耦合到處理器1101的用於建立資料連接或接收外部記憶體接收器設備的數個連接器埠或其他網路介面（諸如通用序列匯流排（USB）或FireWire®連接器插槽，或用於將處理器1101耦合到網路（例如，通訊網路）的其他網路連接電路）。在筆記本配置中，電腦外殼包括均耦合到處理器1101的觸控板1110、鍵盤1112和顯示器1114。計算設備的其他配置可包括如眾所周知地耦合到處理器（例如，經由USB輸入）的電腦滑鼠或軌跡球，上述各項亦可結合各個實施例來使用。
處理器可以是可經由軟體指令（應用程式）配置成執行包括本案中所描述的各個實施例的功能在內的各種功能的任何可程式設計微處理器、微型電腦或者一或多個多處理器晶片。在一些行動設備中，可提供多個處理器，諸如一個處理器專用於無線通訊功能並且一個處理器專用於執行其他應用程式。典型地，軟體應用程式可被儲存在內部記憶體中，隨後該等軟體應用程式被存取並被載入到處理器中。處理器可以包括足以儲存應用軟體指令的內部記憶體。
所圖示和描述的各個實施例是僅作為說明請求項的各種特徵的實例來提供的。然而，相對於任何給定實施例所圖示和描述的特徵不必限於相關聯的實施例，並且可以與所圖示和描述的其他實施例聯用或組合。此外，申請專利範圍不意欲限於任何一個示例性實施例。例如，方法的一或多個操作可以代替方法的一或多個操作或與之組合。
上述方法描述和程序流程圖僅作為說明性實例而提供，且並非意欲要求或暗示各個實施例的操作可以按所提供的次序來執行。如熟習此項技術者將領會的，前述各實施例中的操作次序可按任何次序來執行。諸如「此後」、「隨後」、「接著」等措辭並非意欲限定操作次序；該等措辭被用來指引讀者遍歷方法的描述。進一步，對單數形式的請求項元素的任何引述（例如使用冠詞「一」、「某」或「該」的引述）不應解釋為將該元素限定為單數。
結合本文中所揭示的實施例來描述的各種說明性邏輯區塊、功能元件、功能性元件、電路和演算法操作可實現為電子硬體、電腦軟體，或該兩者的組合。為清楚地說明硬體與軟體的該可互換性，各種說明性元件、方塊、功能元件、電路和操作在上文是以其功能性的形式作一般化描述的。此類功能性是被實現為硬體還是軟體取決於具體應用和施加於整體系統的設計約束。熟習此項技術者可針對每種特定應用以不同方式來實現所描述的功能性，但此類實施例決策不應被解讀為致使脫離請求項的範疇。
用於實現結合本文所揭示的實施例描述的各種說明性邏輯、邏輯區塊、功能元件，以及電路的硬體可用設計成執行本文所描述的功能的通用處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、個別的硬體元件，或其任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何習知的處理器、控制器、微控制器，或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP與微處理器的組合、複數個微處理器、與DSP核心協同的一或多個微處理器，或任何其他此類配置。或者，一些操作或方法可由專用於給定功能的電路系統來執行。
在一或多個實施例中，所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若在軟體中實現，則各功能可作為一或多個指令或代碼儲存在非暫時性電腦可讀取媒體或非暫時性處理器可讀取媒體上。本文所揭示的方法或演算法的操作可在處理器可執行軟體模組中實施，該處理器可執行軟體模組可常駐在非暫時性電腦可讀取或處理器可讀取儲存媒體上。非暫時性電腦可讀取或處理器可讀取儲存媒體可以是能被電腦或處理器存取的任何儲存媒體。作為實例而非限定，此類非暫時性電腦可讀取或處理器可讀取媒體可包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備，或能被用來儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。如本文中所使用的磁碟（disk）和光碟（disc）包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟（disk）往往以磁的方式再現資料而光碟（disc）用鐳射以光學方式再現資料。以上的組合亦被包括在非暫時性電腦可讀取和處理器可讀取媒體的範疇內。另外，方法或演算法的操作可作為一條代碼及/或指令或者任何代碼及/或指令組合或集合而常駐在可被納入電腦程式產品中的非暫時性處理器可讀取媒體及/或電腦可讀取媒體上。
提供所揭示的實施例的先前描述是為了使任何熟習此項技術者皆能製作或使用本請求項。對該等實施例的各種修改對於熟習此項技術者而言將是顯而易見的，並且本文所定義的普適原理可被應用於其他實施例和實現而不會脫離各請求項的範疇。由此，本案並非意欲被限定於本文中所描述的實施例和實現，而是應被授予與所附請求項以及本文所揭示的原理和新穎特徵一致的最廣義的範疇。
100:頭戴式設備 100a:頭戴式設備 100b:頭戴式設備 100c:頭戴式設備 100d:頭戴式設備 102:框架 104:臂部 106:光學透鏡 108:投影儀 110:相機 112:感測器陣列 114:處理器 116:記憶體 118:通訊電路系統 120:智慧型電話 121:處理器 122:內部記憶體 123:顯示器 124:揚聲器 125:天線 126:蜂巢式電話收發機 127:搖桿開關 128:CODEC 152:主機板元件 154:圖像感測器 156:微控制器單元（MCU） 158:紅外（IR）感測器 160:慣性量測單元（IMU） 162:鐳射距離感測器（LDS） 164:光流感測器 200a:智慧型電話 200b:智慧型電話 202:遠端參與者 202a:遠端參與者 202b:遠端參與者 204a:共置的參與者 204b:共置的參與者 204c:共置的參與者 206:遊戲桌 207:遊戲台 208:固定區域 210:合適高度 302:演示 304a:共置的參與者 304b:共置的參與者 304c:共置的參與者 304d:共置的參與者 306:人形大小的間隙 600:方法 602:方塊 604:方塊 606:方塊 608:方塊 700:方法 710:方塊 712:方塊 800:方法 808:方塊 810:方塊 812:方塊 900:方法 908:方塊 910:方塊 1000:方法 1002:方塊 1004:方塊 1006:方塊 1008:方塊 1010:決定方塊 1012:方塊 1014:方塊 1016:方塊 1100:膝上型電腦 1101:處理器 1102:揮發性記憶體 1104:磁碟機 1105:軟碟機 1106:處理器 1110:觸控板 1112:鍵盤 1114:顯示器
納入於本文且構成本說明書一部分的附圖圖示了各個實施例中的示例性實施例，並與以上提供的一般描述和下文提供的詳細描述一起用來解釋請求項的特徵。
圖1A是可被配置成實現各個實施例的頭戴式設備（例如，增強現實眼鏡）的圖示。
圖1B是適於實現一些實施例的智慧型電話的元件方塊圖。
圖1C是根據各實施例的圖示電腦架構和感測器的系統方塊圖，該電腦架構和感測器可被包括在被配置成在虛擬會議中渲染遠端參與者的數位表示的設備中。
圖2A是根據各實施例的會議參與者穿戴設備的圖示，該等穿戴設備可被配置成在虛擬會議中渲染遠端參與者的數位表示。
圖2B是圖示遠端參與者的數位表示可被渲染成使得遠端參與者在共置的參與者的視野內並且不阻擋遠端參與者或共置的參與者中的任一者的視線的方塊圖。
圖3A和圖3B是圖示被配置成在虛擬會議中渲染遠端參與者的數位表示的設備的方塊圖，該虛擬會議包括實體地存在於相同環境中並圍繞遊戲桌坐在適於觀看演示的位置處的多個共置的參與者。
圖4A是圖示設備可以在相對於遊戲桌的自然位置處渲染遠端會議參與者的數位表示並使得共置的參與者中的每一者具有至該遠端會議參與者的數位表示的直接視線的方塊圖。
圖4B是圖示根據各實施例配置的設備可以與存在於環境中的其他設備交換資料以將遠端會議參與者的數位表示重新定位到相對於遊戲桌的不同位置或定位以使得所有共置的參與者彼此具有直接視線並且具有至遠端會議參與者的數位表示的直接視線的方塊圖。
圖5A-圖5C是圖示根據各實施例配置的設備可以智慧地決定遠端會議參與者的數位表示應當相對於實體地存在於環境中的共置的參與者的位置或定位來渲染的位置的方塊圖。
圖6-圖9是圖示根據一些實施例的決定遠端參與者的數位表示的顯示屬性的方法的程序流程圖。
圖10是圖示根據一實施例的更新遠端參與者的數位表示的顯示屬性的方法的程序流程圖。
圖11是適用於各個實施例的示例性計算設備的元件圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100a:頭戴式設備
100b:頭戴式設備
200a:智慧型電話
200b:智慧型電話
202:遠端參與者
204a:共置的參與者
204b:共置的參與者
206:遊戲桌
207:遊戲台
208:固定區域
210:合適高度

Claims (43)

  1. 一種決定虛擬內容在具有複數個參與者的一環境中的顯示屬性的方法，包括以下步驟：由一處理器擷取該環境的一圖像；由該處理器分析所擷取的該圖像以標識該環境中的一物件；由該處理器決定所標識的該物件的一參數；由該處理器從該環境中的至少一個其他設備接收一附加參數；由該處理器基於所決定的該參數和所接收的該附加參數來決定相對於所標識的該物件的該虛擬內容的一數位表示的一位置；及由該處理器將所決定的該位置發送至至少一個其他設備。
  2. 如請求項1之方法，進一步包括以下步驟：向所決定的該參數指派一優先順序，其中基於所決定的該參數和所接收的該附加參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置之步驟包括以下步驟：基於向所決定的該參數指派的該優先順序來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置。
  3. 如請求項2之方法，其中決定所標識的該物件的該參數之步驟包括以下步驟：決定一固定位置參數、一大小參數或一視線參數中的 至少一者或多者；及決定一視野參數、一間隔參數、一人際距離參數、一高度參數和一可見性參數中的至少一者或多者。
  4. 如請求項3之方法，其中向所決定的該參數指派一優先順序之步驟包括以下步驟：向該固定位置參數、該大小參數或該視線參數指派一第一優先順序；及向該視野參數、該間隔參數、該人際距離參數、該高度參數或該可見性參數指派一第二優先順序，並且其中該第一優先順序是比該第二優先順序高的一優先順序。
  5. 如請求項1之方法，進一步包括以下步驟：標識該環境中的該一或多個其他設備，其中將所決定的該位置發送至至少一個其他設備包括將所決定的該位置發送至所標識的該一或多個其他設備。
  6. 如請求項1之方法，其中基於所決定的該參數和所接收的該附加參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置之步驟包括以下步驟：與該環境中的至少一個其他設備協商用於渲染相對於所標識的該物件的該虛擬內容的該數位表示的一或多個位置以產生一或多個經協調的顯示屬性。
  7. 如請求項6之方法，進一步包括以下步驟：使用該一或多個經協調的顯示屬性來渲染該虛擬內容的 該數位表示，以使得實體地存在於該環境中的所有共置的參與者皆感知到該虛擬內容處於該環境中的相同固定位置。
  8. 如請求項6之方法，進一步包括以下步驟：使用該一或多個經協調的顯示屬性來基於實體地存在於該環境中的一參與者的一大小對該虛擬內容的該數位表示的大小進行調整。
  9. 如請求項6之方法，進一步包括以下步驟：使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的一第一參與者與實體地存在於該環境中的一第二參與者之間。
  10. 如請求項9之方法，其中使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的該第一參與者與實體地存在於該環境中的該第二參與者之間之步驟包括以下步驟：使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來與實體地存在於該環境中的該第一參與者以及實體地存在於該環境中的該第二參與者大致等距。
  11. 如請求項1之方法，進一步包括以下步驟：擷取該環境的一經更新圖像；分析所擷取的該經更新圖像以決定所標識的該物件的一數目、位置、定位或大小是否已經改變； 回應於決定所標識的該物件的該定位、位置或大小已經改變，決定所標識的該物件的一經更新參數；決定所決定的該參數與所決定的該經更新參數之一差是否超過一閾值；及回應於決定所決定的該參數與所決定的該經更新參數之該差超過該閾值，決定相對於所標識的該物件的該虛擬內容的該數位表示的一經更新位置。
  12. 如請求項1之方法，其中基於所決定的該參數和所接收的該附加參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置之步驟包括以下步驟：為複數個遠端參與者中的每一者的每個數位表示決定至少一個位置。
  13. 如請求項1之方法，其中決定所標識的該物件的該參數之步驟包括以下步驟：決定以下至少一項或多項：一固定位置參數；一大小參數；一視線參數；一視野參數；一間隔參數；一人際距離參數；一高度參數；或一可見性參數。
  14. 如請求項1之方法，其中該虛擬內容與一遊 戲相關。
  15. 一種計算設備，包括：一記憶體；及一處理器，該處理器耦合到該記憶體並被配置成：擷取一環境的一圖像；分析所擷取的該圖像以標識該環境中的一物件；決定所標識的該物件的一參數；從該環境中的至少一個其他設備接收一附加參數；基於所決定的該參數和所接收的該附加參數來決定相對於所標識的該物件的虛擬內容的一數位表示的一位置；及將所決定的該位置發送至至少一個其他設備。
  16. 如請求項15之計算設備，其中該處理器配置成：向所決定的該參數指派一優先順序；及經由基於向所決定的該參數指派的該優先順序決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置，來基於所決定的該參數和所接收的該附加參數決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置。
  17. 如請求項16之計算設備，其中該處理器配置成：經由以下方式來決定所標識的該物件的該參數：決定一固定位置參數、一大小參數或一視線參數中 的至少一者或多者；及決定一視野參數、一間隔參數、一人際距離參數、一高度參數和一可見性參數中的至少一者或多者。
  18. 如請求項17之計算設備，其中該處理器配置成：經由以下方式來向所決定的該參數指派該優先順序：向該固定位置參數、該大小參數，或該視線參數指派一第一優先順序；及向該視野參數、該間隔參數、該人際距離參數、該高度參數或該可見性參數指派一第二優先順序，其中該第一優先順序是比該第二優先順序高的一優先順序。
  19. 如請求項15之計算設備，其中該處理器配置成：標識該環境中的一或多個其他設備，其中將所決定的該位置發送至至少一個其他設備包括將所決定的該位置發送至所標識的該一或多個其他設備。
  20. 如請求項15之計算設備，其中該處理器被配置成基於所決定的該參數和所接收的該附加參數決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置包括與該環境中的至少一個其他設備協商用於渲染相對於所標識的該物件的該虛擬內容的該數位表示的一或多個位置以產生一或多個經協調的顯示屬性。
  21. 如請求項20之計算設備，其中該處理器被 配置成使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得實體地存在於該環境中的所有共置的參與者皆感知到該虛擬內容處於該環境中的相同固定位置。
  22. 如請求項20之計算設備，其中該處理器被配置成使用該一或多個經協調的顯示屬性來基於實體地存在該環境中的一參與者的一大小對該虛擬內容的該數位表示的大小進行調整。
  23. 如請求項20之計算設備，其中該處理器被配置成使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的一第一參與者和實體地存在於該環境中的一第二參與者之間。
  24. 如請求項15之計算設備，其中該處理器配置成：擷取該環境的一經更新圖像；分析所擷取的該經更新圖像以決定所標識的該物件的一數目、位置、定位或大小是否已經改變；回應於決定所標識的該物件的該定位、位置或大小已經改變，決定所標識的該物件的一經更新參數；決定所決定的該參數與所決定的該經更新參數之一差是否超過一閾值；及回應於決定所決定的該參數與所決定的該經更新參數之該差超過該閾值，決定相對於所標識的該物件的該虛 擬內容的該數位表示的一經更新位置。
  25. 如請求項15之計算設備，其中該處理器配置成經由為複數個遠端參與者中的每一者的每個數位表示決定至少一個位置，來基於所決定的該參數和所接收的該附加參數決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置。
  26. 如請求項15之計算設備，進一步包括：一圖像感測器；及一投影儀，其被配置成將圖像投影到光學透鏡上，其中該處理器被耦合到該圖像感測器和該投影儀。
  27. 如請求項15之計算設備，其中該虛擬內容與一遊戲相關。
  28. 一種決定虛擬內容在具有複數個參與者的一環境中的顯示屬性的方法，包括以下步驟：由一處理器擷取該環境的一圖像；分析所擷取的該圖像以標識該環境中的一物件；決定所標識的該物件的一參數；及基於所決定的該參數來決定相對於所標識的該物件的該虛擬內容的一數位表示的一位置；擷取該環境的一經更新圖像；分析所擷取的該經更新圖像以決定所標識的該物件的一數目、位置、定位或大小是否已經改變；回應於決定所標識的該物件的該定位、位置或大小已經改變，決定所標識的該物件的一經更新參數； 決定所決定的該參數與所決定的該經更新參數之一差是否超過一閾值；及回應於決定所決定的該參數與所決定的該經更新參數之該差超過該閾值，決定相對於所標識的該物件的該虛擬內容的該數位表示的一經更新位置。
  29. 如請求項28之方法，進一步包括以下步驟：標識該環境中的該一或多個其他設備；及向所標識的一或多個其他設備發送所決定的該位置。
  30. 如請求項28之方法，進一步包括以下步驟：從該環境中的至少一個其他設備接收一附加參數，其中基於所決定的該參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置包括：基於所決定的該參數以及所接收的該附加參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的一或多個位置。
  31. 如請求項28之方法，其中基於所決定的該參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置之步驟包括以下步驟：與該環境中的至少一個其他設備協商用於渲染相對於所標識的該物件的該虛擬內容的該數位表示的一或多個位置以產生一或多個經協調的顯示屬性。
  32. 如請求項31之方法，進一步包括以下步驟：使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得實體地存在於該環境中的所有共置的參與者皆感知到該虛擬內容處於該環境中的相同固定 位置。
  33. 如請求項31之方法，進一步包括以下步驟：使用該一或多個經協調的顯示屬性來基於實體地存在於該環境中的一參與者的一大小對該虛擬內容的該數位表示的大小進行調整。
  34. 如請求項31之方法，進一步包括以下步驟：使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的一第一參與者與實體地存在於該環境中的一第二參與者之間。
  35. 如請求項34之方法，其中使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的該第一參與者與實體地存在於該環境中的該第二參與者之間之步驟包括以下步驟：使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來與實體地存在於該環境中的該第一參與者以及實體地存在於該環境中的該第二參與者大致等距。
  36. 一種計算設備，包括：一記憶體；及一處理器，該處理器耦合到該記憶體並被配置成：擷取一環境的一圖像；分析所擷取的該圖像以標識該環境中的一物件；決定所標識的該物件的一參數； 基於所決定的該參數來決定相對於所標識的該物件的虛擬內容的一數位表示的一位置；擷取該環境的一經更新圖像；分析所擷取的該經更新圖像以決定所標識的該物件的一數目、位置、定位或大小是否已經改變；回應於決定所標識的該物件的該定位、位置或大小已經改變，決定所標識的該物件的一經更新參數；決定所決定的該參數與所決定的該經更新參數之一差是否超過一閾值；及回應於決定所決定的該參數與所決定的該經更新參數之該差超過該閾值，決定相對於所標識的該物件的該虛擬內容的該數位表示的一經更新位置。
  37. 如請求項36之計算設備，其中該處理器進一步配置成：標識該環境中的一或多個其他設備；及向所標識的一或多個其他設備發送所決定的該位置。
  38. 如請求項36之計算設備，其中該處理器進一步配置成：從該環境中的至少一個其他設備接收一附加參數；及經由基於所決定的該參數以及所接收的該附加參數決定相對於所標識的該物件的該虛擬內容的該數位表示的一或多個位置來基於所決定的該參數來決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置。
  39. 如請求項36之計算設備，其中該處理器進 一步配置成經由與該環境中的至少一個其他設備協商用於渲染相對於所標識的該物件的該虛擬內容的該數位表示的一或多個位置來基於所決定的該參數決定相對於所標識的該物件的該虛擬內容的該數位表示的該位置，以產生一或多個經協調的顯示屬性。
  40. 如請求項39之計算設備，其中該處理器進一步配置成使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得實體地存在於該環境中的所有共置的參與者皆感知到該虛擬內容處於該環境中的相同固定位置。
  41. 如請求項39之計算設備，其中該處理器進一步配置成使用該一或多個經協調的顯示屬性來基於實體地存在該環境中的一參與者的一大小對該虛擬內容的該數位表示的大小進行調整。
  42. 如請求項39之計算設備，其中該處理器進一步配置成使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的一第一參與者和實體地存在於該環境中的一第二參與者之間。
  43. 如請求項42之計算設備，其中該處理器進一步配置成經由使用該一或多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來與實體地存在於該環境中的該第一參與者以及實體地存在於該環境中的該第二參與者大致等距，來使用該一或 多個經協調的顯示屬性來渲染該虛擬內容的該數位表示，以使得該虛擬內容看起來位於實體地存在於該環境中的該第一參與者與實體地存在於該環境中的該第二參與者之間。
TW109131341A 2019-09-16 2020-09-11 在具有複數個實體參與者的環境中放置虛擬內容 TWI766365B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/572,030 US11159766B2 (en) 2019-09-16 2019-09-16 Placement of virtual content in environments with a plurality of physical participants
US16/572,030 2019-09-16

Publications (2)

Publication Number Publication Date
TW202127866A TW202127866A (zh) 2021-07-16
TWI766365B true TWI766365B (zh) 2022-06-01

Family

ID=72659334

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109131341A TWI766365B (zh) 2019-09-16 2020-09-11 在具有複數個實體參與者的環境中放置虛擬內容

Country Status (6)

Country Link
US (2) US11159766B2 (zh)
EP (1) EP4031957A1 (zh)
KR (1) KR20220062513A (zh)
CN (1) CN114365197A (zh)
TW (1) TWI766365B (zh)
WO (1) WO2021055241A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304239B2 (en) 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
DE112019005601T5 (de) * 2018-11-09 2021-07-29 Sony Group Corporation Informationsverarbeitungsvorrichtung und -verfahren und programm
US11159766B2 (en) 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN116360601A (zh) * 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11374988B1 (en) * 2021-01-29 2022-06-28 Microsoft Technology Licensing, Llc Controlled user interface transitions for private breakout communication sessions
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム
GB2606346B (en) * 2021-04-28 2023-10-25 Sony Interactive Entertainment Inc System and method of head mounted display personalisation
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法
US20230252730A1 (en) * 2022-02-04 2023-08-10 The Boeing Company Situational awareness headset
US20230252735A1 (en) * 2022-02-07 2023-08-10 Tencent America LLC Apparatus for creating shared virtual conversational space with ar and non-ar devices using edge processing
US20230377279A1 (en) * 2022-05-19 2023-11-23 Disney Enterprises, Inc. Space and content matching for augmented and mixed reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050245302A1 (en) * 2004-04-29 2005-11-03 Microsoft Corporation Interaction between objects and a virtual environment display
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US20160025981A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Smart placement of virtual objects to stay in the field of view of a head mounted display

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6034652A (en) 1996-03-22 2000-03-07 Interval Research Corporation Attention manager for occupying the peripheral attention of a person in the vicinity of a display device
US7319992B2 (en) 2000-09-25 2008-01-15 The Mission Corporation Method and apparatus for delivering a virtual reality environment
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
GB2456748A (en) 2007-10-22 2009-07-29 Nortel Networks Ltd Contact centre queue management
US8436789B2 (en) 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
JP2011095797A (ja) 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
EP2499550A1 (en) 2009-11-10 2012-09-19 Selex Sistemi Integrati S.p.A. Avatar-based virtual collaborative assistance
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9563265B2 (en) 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
JP2014174589A (ja) 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法
US9230368B2 (en) 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US9779544B2 (en) 2014-12-23 2017-10-03 Google Inc. Labeling for three-dimensional occluded shapes
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
EP3106963B1 (en) 2015-06-16 2019-07-24 Nokia Technologies Oy Mediated reality
WO2017021902A1 (en) 2015-08-03 2017-02-09 Smartvizs Private Limited System and method for gesture based measurement of virtual reality space
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US10384130B2 (en) 2016-08-05 2019-08-20 AR Sports LLC Fantasy sport platform with augmented reality player acquisition
US10271033B2 (en) 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10304239B2 (en) 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US11159766B2 (en) 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050245302A1 (en) * 2004-04-29 2005-11-03 Microsoft Corporation Interaction between objects and a virtual environment display
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US20160025981A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Smart placement of virtual objects to stay in the field of view of a head mounted display

Also Published As

Publication number Publication date
US11159766B2 (en) 2021-10-26
US20220006973A1 (en) 2022-01-06
EP4031957A1 (en) 2022-07-27
WO2021055241A1 (en) 2021-03-25
CN114365197A (zh) 2022-04-15
TW202127866A (zh) 2021-07-16
US20210084259A1 (en) 2021-03-18
KR20220062513A (ko) 2022-05-17
US11765318B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
TWI766365B (zh) 在具有複數個實體參與者的環境中放置虛擬內容
US20200322395A1 (en) Multiuser asymmetric immersive teleconferencing
US11455032B2 (en) Immersive displays
US11800059B2 (en) Environment for remote communication
US11836282B2 (en) Method and device for surfacing physical environment interactions during simulated reality sessions
US11712628B2 (en) Method and device for attenuation of co-user interactions
CN113260954B (zh) 基于人工现实的用户群组
US11887249B2 (en) Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
CN117806457A (zh) 多用户通信会话中的演示
US11675425B2 (en) System and method of head mounted display personalisation
US11947733B2 (en) Muting mode for a virtual object representing one or more physical elements
CN116194792A (zh) 连接评估系统
US20240037886A1 (en) Environment sharing
WO2023043607A1 (en) Aligning scanned environments for multi-user communication sessions
JP2023129018A (ja) リモート会議支援装置、方法及びプログラム