TW202328872A - 元宇宙內容模態映射 - Google Patents

元宇宙內容模態映射 Download PDF

Info

Publication number
TW202328872A
TW202328872A TW111142581A TW111142581A TW202328872A TW 202328872 A TW202328872 A TW 202328872A TW 111142581 A TW111142581 A TW 111142581A TW 111142581 A TW111142581 A TW 111142581A TW 202328872 A TW202328872 A TW 202328872A
Authority
TW
Taiwan
Prior art keywords
modality
user
device type
processors
executed
Prior art date
Application number
TW111142581A
Other languages
English (en)
Inventor
楚托里安 艾瑞克 莫飛
尼可拉斯 巴科
托馬斯 恩里奇
約爾 伍溫
萊傑 加雷斯 班頓
克里斯托弗 麥寇 巴茲查
Original Assignee
美商尼安蒂克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商尼安蒂克公司 filed Critical 美商尼安蒂克公司
Publication of TW202328872A publication Critical patent/TW202328872A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Stored Programmes (AREA)
  • Preparation Of Compounds By Using Micro-Organisms (AREA)

Abstract

實施方案大體上係關於元宇宙內容模態映射。在一些實施方案中，一種方法包含獲得針對一虛擬環境之一第一模態開發之功能性。該方法進一步包含將該功能性映射至該虛擬環境之一第二模態。該方法進一步包含基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。

Description

元宇宙內容模態映射
元宇宙內容係其中一系統運用電腦產生之物件在一虛擬或真實世界環境中呈現物件之一互動式體驗。元宇宙內容可以不同模態呈現，諸如行動電話擴增實境(AR)，在頭戴裝置AR或虛擬實境(VR)上，在一二維(2D)顯示器上(例如，在一桌上型電腦上)等。元宇宙內容可在一應用程式或行動瀏覽器上顯示。元宇宙內容開發之一障礙係需要處置多個模態。
實施方案大體上係關於元宇宙內容模態映射。在一些實施方案中，一種系統包含一或多個處理器，且包含經編碼於一或多個非暫時性電腦可讀儲存媒體中以供該一或多個處理器執行之邏輯。該邏輯在被執行時可操作以引起該一或多個處理器執行包含以下之操作：獲得針對一虛擬環境之一第一模態開發之功能性；將該功能性映射至該虛擬環境之一第二模態；及基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。
進一步關於該系統，在一些實施方案中，該第一模態與一第一裝置類型之擴增實境相關聯，其中該第一裝置類型係一行動裝置，其中該第二模態與一第二裝置類型相關聯，且其中該第二裝置類型係一擴增實境頭戴裝置、一虛擬實境頭戴裝置或一桌上型電腦之一者。在一些實施方案中，該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：判定與該第二模態相關聯之一裝置；啟動與該第二模態相關聯之軟體模組；及使與該裝置之使用者互動適於針對該第一模態開發之該功能性。在一些實施方案中，該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與該第二模態相關聯之一三維場景中之一或多個使用者手勢映射至與該第一模態相關聯之一或多個二維使用者介面元素。在一些實施方案中，該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與相關聯於該第二模態之一或多個輸入裝置之使用者互動映射至與該第一模態相關聯之一或多個二維使用者介面元素。在一些實施方案中，該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之一或多個背景元素。在一些實施方案中，該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之至少一個目標物件。
在一些實施方案中，提供一種其上具有程式指令之非暫時性電腦可讀儲存媒體。該等指令在由一或多個處理器執行時可操作以引起該一或多個處理器執行包含以下之操作：獲得針對一虛擬環境之一第一模態開發之功能性；將該功能性映射至該虛擬環境之一第二模態；及基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。
進一步關於該電腦可讀儲存媒體，在一些實施方案中，該第一模態與一第一裝置類型之擴增實境相關聯，其中該第一裝置類型係一行動裝置，其中該第二模態與一第二裝置類型相關聯，且其中該第二裝置類型係一擴增實境頭戴裝置、一虛擬實境頭戴裝置或一桌上型電腦之一者。在一些實施方案中，該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：判定與該第二模態相關聯之一裝置；啟動與該第二模態相關聯之軟體模組；及使與該裝置之使用者互動適於針對該第一模態開發之該功能性。在一些實施方案中，該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與該第二模態相關聯之一三維場景中之一或多個使用者手勢映射至與該第一模態相關聯之一或多個二維使用者介面元素。在一些實施方案中，該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與相關聯於該第二模態之一或多個輸入裝置之使用者互動映射至與該第一模態相關聯之一或多個二維使用者介面元素。在一些實施方案中，該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之一或多個背景元素。在一些實施方案中，該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之至少一個目標物件。
在一些實施方案中，一種電腦實施方法包含：獲得針對一虛擬環境之一第一模態開發之功能性；將該功能性映射至該虛擬環境之一第二模態；及基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。
進一步關於該方法，在一些實施方案中，該第一模態與一第一裝置類型之擴增實境相關聯，其中該第一裝置類型係一行動裝置，其中該第二模態與一第二裝置類型相關聯，且其中該第二裝置類型係一擴增實境頭戴裝置、一虛擬實境頭戴裝置或一桌上型電腦之一者。在一些實施方案中，該方法進一步包含：判定與該第二模態相關聯之一裝置；啟動與該第二模態相關聯之軟體模組；及使與該裝置之使用者互動適於針對該第一模態開發之該功能性。在一些實施方案中，該方法進一步包含將與該第二模態相關聯之一三維場景中之一或多個使用者手勢映射至與該第一模態相關聯之一或多個二維使用者介面元素。在一些實施方案中，該方法進一步包含將與相關聯於該第二模態之一或多個輸入裝置之使用者互動映射至與該第一模態相關聯之一或多個二維使用者介面元素。在一些實施方案中，該方法進一步包含基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之一或多個背景元素。
可藉由參考說明書之剩餘部分及隨附圖式來實現本文中所揭示之特定實施方案之性質及優點之一進一步理解。
相關申請案之交叉參考
本申請案主張來自2021年11月8日申請之標題為「REALITY ENGINE」之美國臨時專利申請案第63/277,163號及2022年11月7日申請之標題為「METAVERSE CONTENT MODALITY MAPPING」之美國實用專利申請案第17/982,365號之優先權，該等案特此為全部目的以宛如全文闡述引用的方式併入本申請案中。
實施方案大體上係關於元宇宙內容模態映射。在各種實施方案中，一系統獲得針對一元宇宙環境之一主要或第一模態開發之功能性。第一模態可涉及一行動裝置，諸如一智慧型電話或平板裝置。系統將功能性映射至元宇宙環境之一次要或第二模態。第二模態可涉及一擴增實境(AR)頭戴裝置、一虛擬實境(VR)頭戴裝置或一桌上型電腦。系統基於與第二模態相關聯之使用者互動執行針對第一模態開發之功能性。
元宇宙內容模態映射之實施方案為開發者配備用於針對網際網路之下一迭代(元宇宙)創建內容及應用程式之工具。實施方案提供使開發者能夠利用元宇宙部署且經完全最佳化以適於無數裝置以每次皆提供適當沉浸式體驗的一強大的平台。隨著網頁演進及變得空間化且更具沉浸感，此係有益的。
實施方案使開發者能夠建立一基於網頁之擴增實境(WebAR)項目一次且將其部署至任何處，包含在iOS及Android智慧型電話、平板電腦、桌上型及膝上型電腦以及虛擬實境及擴增實境頭戴式裝置上。實施方案使WebAR項目能夠在如今已成為人們日常生活之一不可或缺的部分之裝置以及將在未來之元宇宙中促進吾人之生活之裝置上立即存取，而全部不增加開發時間。
本文中所描述之實施方案使存取WebAR世界效果體驗之終端使用者能夠在行動裝置、AR頭戴裝置、VR頭戴裝置及桌上型電腦上參與該等體驗。實施方案確保使用者基於其等所使用之裝置接收正確的體驗，且管理使用者適當地觀看沉浸式內容、與沉浸式內容互動、參與沉浸式內容所需之全部映射，無論其等使用什麼裝置。
實施方案提供新回應式網頁之開始。恰如從桌上型電腦調適至行動裝置所需之2D網站，沉浸式網站需要對用於體驗其等之不同裝置作出反應。實施方案使開發者能夠建立跨最流行的行動、頭戴式裝置及桌上型電腦立即相容之WebAR體驗。
圖1係可用於本文中所描述之實施方案之與用於元宇宙內容模態映射之一系統相關聯的一例示性環境100之一方塊圖。在各種實施方案中，環境100包含一系統102、一行動裝置104、一AR頭戴裝置106、一VR頭戴裝置108及一桌上型電腦110。
在各種實施方案中，行動裝置104可為具有一觸控螢幕使用者介面(UI)之任何適合智慧型裝置。例如，行動裝置104可為一智慧型電話、平板電腦等。AR頭戴裝置106及VR頭戴裝置108可為具有一頭戴式顯示器之任何適合頭戴系統，諸如護目鏡、眼鏡等，其具有在一使用者之眼睛前方之一或多個顯示螢幕。
在各種實施方案中，桌上型電腦可為通常在一桌上使用之任何類型之電腦系統。例如，桌上型電腦可為一膝上型電腦或具有一電腦機殼、一監視器、一鍵盤及一滑鼠及/或觸控板之一習知桌上型電腦。桌上型電腦之實際組態可取決於特定實施方案而變化。例如，桌上型電腦可為具有一整合式電腦、一鍵盤及一滑鼠及/或觸控板之一監視器。
行動裝置104、AR頭戴裝置106、VR頭戴裝置108及桌上型電腦110可與系統102通信及/或可直接或經由系統102彼此通信。網路環境100亦包含系統102及用戶端裝置104、106、108及110透過其通信之一網路112。網路112可為任何適合通信網路，諸如一藍牙(Bluetooth)網路、一Wi-Fi網路、網際網路等或其等之一組合。
如本文中更詳細描述，系統102獲得針對元宇宙環境之一主要或第一模態開發之功能性。在各種實施方案中，第一模態與一第一裝置類型之基於網頁之AR相關聯。第一裝置類型可為一行動裝置，諸如一行動裝置104 (例如，智慧型電話、平板電腦等)。雖然本文中在一基於網頁之AR之內容背景中描述各種實施方案，但實施方案亦可應用於各種用戶端裝置上之原生AR應用程式。系統將功能性映射至元宇宙環境之一次要或第二模態。系統基於與第二模態相關聯之使用者互動執行針對第一模態開發之功能性。在各種實施方案中，第二模態與不同於第一裝置類型之一第二裝置類型相關聯。如本文中更詳細描述，第二裝置類型可為數種類型之裝置之一者。例如，在一些實施方案中，第二裝置類型可為一AR頭戴裝置，諸如AR頭戴裝置106。在一些實施方案中，第二裝置類型係一VR頭戴裝置，諸如VR頭戴裝置108。在一些實施方案中，第二裝置類型係一桌上型電腦，諸如桌上型電腦110。
第一及第二模態亦可被稱為互動模態，其中其等為不同類型之裝置之使用者提供不同互動模態。例如，一使用者可經由一觸控螢幕與行動裝置104互動。一使用者可經由一手持式控制器與AR頭戴裝置106或與VR頭戴裝置108互動。一使用者可經由一鍵盤、一觸控板及/或一滑鼠(未展示)與桌上型電腦110互動。此等裝置之各者可被視為不同模態或互動模態。
為便於繪示，第一模態係指涉及一行動裝置(諸如一智慧型電話或平板電腦)之一主要模態，且第二模態係指涉及一或多個AR頭戴裝置、一或多個VR頭戴裝置或一或多個桌上型電腦或其等之一組合之一次要模態。第一模態與第二模態之間之此互通性實現本文中所描述之宇宙(universal)或元宇宙部署之實施方案。
為便於繪示，圖1針對系統102、行動裝置104、AR頭戴裝置106、VR頭戴裝置108及桌上型電腦110之各者展示一個區塊。區塊102至110可表示多個系統、伺服器裝置、資料庫行動裝置、AR頭戴裝置、VR頭戴裝置及桌上型電腦。在其他實施方案中，環境100可能不具有全部所展示組件及/或可具有其他元件，包含代替或補充本文中所展示之元件之其他類型之元件。
雖然系統102執行本文中所描述之實施方案，但在其他實施方案中，與系統102相關聯之任何適合組件或組件之組合或與系統102相關聯之任何一或多個適合處理器可促進執行本文中所描述之實施方案。
圖2係根據一些實施方案之用於調適基於網頁之擴增實境應用程式以於含有行動電話、擴增實境頭戴裝置、虛擬實境頭戴裝置及桌上型電腦之一元宇宙環境中部署的一例示性流程圖。參考圖1及圖2兩者，在方塊202起始一方法，其中一系統(諸如系統102)獲得針對一元宇宙環境之一主要或第一模態開發之功能性。如上文指示，在各種實施方案中，第一模態與一第一裝置類型(其可為一行動裝置，諸如一行動裝置104 (例如，智慧型電話、平板電腦等))之一基於網頁之AR相關聯。再者，如上文指示，雖然本文中在基於網頁之AR之內容背景中描述各種實施方案，但實施方案亦可應用於各種用戶端裝置上之原生AR應用程式。
在方塊204，系統將功能性映射至元宇宙環境之一次要或第二模態。如上文指示，在各種實施方案中，第二模態與不同於第一裝置類型之一第二裝置類型相關聯。如本文中更詳細描述，第二裝置類型可為數種類型之裝置之一者。例如，在各種實施方案中，第二裝置類型可為一AR頭戴裝置(諸如AR頭戴裝置106)、一VR頭戴裝置(諸如VR頭戴裝置108)或一桌上型電腦(諸如桌上型電腦110)。本文中所描述之實施方案可應用於此等類型之用戶端裝置之任何者或其等之一組合。
在方塊206，系統基於與第二模態相關聯之使用者互動執行針對第一模態開發之功能性。在本文中更詳細描述涉及系統基於與一第二模態相關聯之使用者互動執行針對第一模態開發之功能性的各種例示性實施方案。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
圖3係根據一些實施方案之用於在一元宇宙環境中跨不同模態部署元宇宙內容或應用程式之一例示性流程圖。參考圖1及圖3兩者，在方塊302起始一方法，其中一系統(諸如系統102)判定與第二模態相關聯之裝置。系統在正在建立系統與用戶端裝置之間之連接時之運行時間進行此判定。在偵測到裝置之後，系統判定裝置之類型及其相關聯運行時間環境或第二模態(例如，AR頭戴裝置、VR頭戴裝置、桌上型電腦等)。基於運行時間環境，系統針對給定模態載入正確的互動映射庫。互動映射庫含有用於模態之可用軟體模組。
在方塊304，系統啟動與第二模態相關聯之適當軟體模組。系統亦確保預設地啟動應運行之軟體模組。例如，若使用涉及一AR頭戴裝置或VR頭戴裝置之一沉浸式模態，則系統確保所需軟體模組以及相關聯驅動程式及應用程式設計介面(API)在瀏覽器中可用。在各種實施方案中，系統基於裝置類型(例如，AR頭戴裝置、VR頭戴裝置、桌上型電腦等)判定各軟體模組及相關聯驅動程式是否可在一特定模態上供電及/或運行。
系統亦確保停用非由第二模態之裝置支援之軟體模組。例如，一些程式碼或切向程式碼段(諸如人臉效果)可能無法在一特定類型之裝置(諸如不具有攝像機之一裝置)上適當地運行。因而，系統可停用與程式碼相關聯之一軟體模組或軟體模組之一部分。系統建議視需要代替性地使用特定模態。
在方塊306，系統使與第二模態之裝置(例如，AR頭戴裝置、VR頭戴裝置、桌上型電腦等)之使用者互動適於針對第一模態之行動裝置(例如，智慧型電話、平板裝置等)開發之功能性。在各種實施方案中，適當之經啟動軟體模組及相關聯驅動程式提供第二模態之裝置之起動程序、每圖框更新及關機程序。例如，運用行動電話AR，系統使用適當軟體模組以起始攝像機，提供圖框更新且在工作階段結束時停止攝像機。運用一VR或AR頭戴裝置，系統使用適當軟體模組，起始VR或AR工作階段，提供頭部姿勢及控制器資料及更新，且在結束時停止VR或AR工作階段。運用一桌上型電腦，系統使用適當軟體模組以顯示3D內容，將第二模態之一鍵盤及/或觸控板及/或滑鼠映射至第一模態之2D觸控，且在工作階段結束時隱藏3D內容。
在各種實施方案中，系統利用使用在運行時間適於各獨有裝置類型之WebAssembly及網頁圖形庫(WebGL)以及Javascript API開發之軟體模組。實施方案使用一攝像機應用程式架構提供一流的行動WebAR體驗，同時與WebXR API優美地整合以提供最佳化用於非行動裝置(諸如一AR或VR頭戴裝置或一電腦等)之WebAR項目之一智慧包裝程式。如本文中在各種實施方案中描述，實施方案藉由選擇技術之一適當組合以運行體驗、透過模態特定機制提供UX相容性映射、建構或隱藏虛擬環境且空間化2D介面等而最佳化WebAR項目。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
圖4係根據一些實施方案之用於在於一元宇宙環境中跨不同模態部署一擴增實境應用程式時提供空間化UI的一例示性流程圖。在各種實施方案中，系統將與一第二模態中之一3D場景中之一空間化UI相關聯之一或多個使用者手勢映射至與第一模態相關聯之一或多個2D UI元素。如下文更詳細描述，當在一AR頭戴裝置或一VR頭戴裝置上存取一虛擬體驗時，系統將最初針對第一模態中之一行動裝置設計之互動式2D UI元素轉譯至一第二模態中之一空間控制面板上。
參考圖1及圖4兩者，在方塊402起始一方法，其中一系統(諸如系統102)在第二模態之一3D場景中顯示第一模態之行動2D UI元素。在一些實施方案中，系統可在第二模態之第二UI中呈現來自第一模態之2D UI元素。例如，系統可判定已在2D螢幕上繪製何2D UI元素(例如，按鈕等)。接著，系統可捕捉2D UI元素且將2D UI元素轉換為系統在3D場景中顯示之對應3D UI元素版本。此等3D UI元素係功能性的，其中使用者可選擇第二模態中之3D UI元素及與3D UI元素互動，宛如使用者選擇第一模態中之2D UI元素及與2D UI元素互動。
在一些實施方案中，系統可直接在第二模態之3D場景中將2D UI元素重新創建為3D UI元素。在一些案例中，從一預期2D UI元素轉譯可導致一對應3D UI元素在3D環境中傾斜。因而，在一些實施方案中，系統亦可在第二模態之3D場景中創建對應3D UI元素之一經最佳化佈局。
在方塊404，系統判定與3D場景中之3D UI元素之使用者互動。此等使用者互動可被稱為觸發事件。在各種實施方案中，系統判定使用者與其互動之3D場景中之3D UI元素之位置。系統亦判定與各3D UI元素之使用者互動之類型及與各使用者互動相關聯之資訊(例如，向量、值等)。舉例而言，諸如當使用者選擇及操縱一給定虛擬物件時，系統可偵測虛擬控制項選擇及虛擬物件之拖曳。在另一實例中，系統可判定使用者何時選擇一給定虛擬物件及修改虛擬物件(例如，改變大小、色彩等)。系統亦可判定與其他各種類型之虛擬控制項之使用者互動(例如，點選用於退出AR或VR環境之一按鈕等)。
在方塊406，系統將使用者在第二模態中與其互動之3D UI元素之位置映射至第一模態之2D UI元素之對應位置或直接至2D UI元素。例如，若使用者點選第二模態之3D場景中之一螢幕上的一給定虛擬控制項(例如，按鈕等)，則系統將該觸發事件映射至第一模態之2D螢幕上(例如，一行動裝置之2D螢幕上)之虛擬控制項(例如，按鈕等)之對應位置處的一「輕觸」，或將該觸發事件直接映射至呈現於2D螢幕上之對應控制物件。換言之，系統將第二模態中之觸發事件手勢(諸如一按鈕點選)轉譯為第一模態中之一按鈕輕觸。在此例示性案例中，在一AR或VR頭戴裝置案例中，系統可基於使用者實體上按壓一手持式控制器上之一按鈕而偵測及識別對虛擬控制項之一使用者點選，其中手持式控制器之位置映射至呈現於3D場景中之虛擬按鈕。接著，系統對第二模態中之觸發事件進行波追蹤或將其傳播至第一模態中之對應2D UI元素。
在方塊408中，系統執行與第一模態之2D UI元素相關聯之對應命令。
在方塊410，系統基於對第一模態中之2D場景之更新來更新第二模態中之3D場景中之圖框。因此，在於第一模態中執行操作時，使用者無縫地體驗第二模態中之3D場景中之互動。
雖然3D內容存在於許多AR體驗中，但大多數WebAR項目亦包含若干2D UI元素。如上文例示，諸如按鈕或文字之2D元素有助於促進使用者互動。此等2D元素對於平面螢幕(諸如智慧型電話、平板電腦及桌上型電腦)係理想的。當在其中體驗變得空間化之AR及VR頭戴裝置中可用時，本文中所描述之實施方案提供特殊關注。具有一3D場景中之3D UI元素之一虛擬空間控制面板上之3D元素可被稱為一文件物件模型(DOM)平板電腦。在各種實施方案中，DOM平板電腦促進使用者互動，諸如結合按鈕來影響3D場景。在一些實施方案中，系統可使一DOM平板電腦能夠在不需要時由使用者再定位或最小化在使用者之手腕上，以免干擾使用者之沉浸式體驗。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
圖5係根據一些實施方案之涉及一桌上型電腦至一行動裝置之互動映射之用於在一元宇宙環境中部署一擴增實境應用程式的一例示性流程圖。如下文更詳細描述，在各種實施方案中，系統將與至相關聯於第二模態之一桌上型電腦之一或多個輸入裝置的使用者互動映射至與第一模態相關聯之一行動裝置之一或多個2D UI元素。
參考圖1及圖5兩者，在方塊502起始一方法，其中一系統(諸如系統102)接收來自至一桌上型電腦之一或多個輸入裝置之輸入信號。如上文指示，在各種實施方案中，桌上型電腦可為通常在一桌上使用之任何類型之電腦系統，諸如一膝上型電腦或具有一電腦機殼、一監視器、一鍵盤及一滑鼠及/或觸控板之一習知桌上型電腦等。在各種實施方案中，輸入裝置係機械輸入裝置，且特定輸入裝置類型可取決於特定實施方案而變化。例如，輸入裝置可包含鍵盤、滑鼠、觸控板、操縱桿、遊戲控制器等。
在方塊504，系統將桌上型電腦之各輸入信號映射至一行動裝置之一對應2D UI元素。如本文中指示，行動裝置係一元宇宙環境中之一主要或第一模態，且桌上型電腦係元宇宙環境中之一次要或第二模態。一例示性輸入信號至2D UI元素映射可為將展示於一桌上型電腦監視器上之一物件上之一指向、點選及拖曳手勢或滾動手勢映射至一行動電話上之相同物件上之一捏縮手勢或其他多點觸控手勢。輸入信號及至對應2D UI元素之映射之特定組合可取決於特定實施方案而變化。在另一實例中，輸入信號可基於用於改變展示於一桌上型電腦監視器上之一物件之尺度的一滾動手勢，其中系統將滾動手勢映射至行動電話上之相同物件上之一多點觸控捏縮手勢。在另一實例中，輸入信號可基於經由一鍵盤及用於拖曳展示於一桌上型電腦監視器上之一物件之一點選及拖曳手勢選擇的一選項，其中系統將此組信號映射至行動電話上之相同物件上之兩指觸控手勢。
雖然在展示於一行動裝置之一螢幕上之2D UI元素之內容背景中描述一些實施方案，但此等實施方案亦可應用於行動電話之移動。例如，輸入信號可基於用於使物件旋轉之對展示於一桌上型電腦監視器上之一物件的一右擊及拖曳，其中系統將此組信號映射至一行動電話之一移動，其中電話移動對應於物件之一旋轉或圍繞一物件之移動。在另一實例中，輸入信號可基於用於展示於一桌上型電腦監視器上之一物件之x-y平移的一鍵盤上之箭頭鍵之按壓，其中系統將此組信號映射至一行動電話之螢幕上之物件之x-y平移。
在方塊506，系統執行與行動裝置之各2D UI元素相關聯之命令。在各種實施方案中，命令之執行導致行動裝置之螢幕上之一或多個目標物件之各種操縱，諸如先前實例中所描述之操縱。因此，系統將來自第二模態(例如，桌上型電腦)之輸入裝置之輸入信號轉譯為第一模態(例如，行動裝置)上之2D UI元素。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
圖6係根據一些實施方案之涉及一頭戴裝置至一行動裝置之互動映射之用於在一元宇宙環境中部署一擴增實境應用程式的一例示性流程圖。如下文更詳細描述，在各種實施方案中，系統將與至相關聯於第二模態之一頭戴裝置之一或多個輸入裝置的使用者互動映射至與第一模態相關聯之一行動裝置之一或多個2D UI元素。
參考圖1及圖6兩者，在方塊602起始一方法，其中一系統(諸如系統102)接收來自至一頭戴裝置之一或多個輸入裝置之輸入信號。在各種實施方案中，頭戴裝置可為一AR頭戴裝置或一VR頭戴裝置，諸如圖1之AR頭戴裝置106或VR頭戴裝置108。如上文指示，一AR頭戴裝置或一VR頭戴裝置可為具有一頭戴式顯示器之任何適合頭戴系統，諸如護目鏡、眼鏡等，其具有在一使用者之眼睛前方之一或多個顯示螢幕。在各種實施方案中，輸入裝置可包含機械輸入裝置，且特定輸入裝置類型可取決於特定實施方案而變化。例如，輸入裝置可包含遊戲控制器、眼睛追蹤裝置等。例示性輸入信號可包含偵測及追蹤與頭戴裝置相關聯之一射線相交及一手持式控制器之一使用者互動。
在方塊604，系統將至頭戴裝置之各輸入信號映射至一行動裝置之一對應2D UI元素。例如，至頭戴裝置之輸入信號可包含來自一手持式控制器之控制信號、來自一眼動儀之輸入、3D射線相交資料等。如本文中指示，行動裝置係一元宇宙環境中之一第一模態，且頭戴裝置係元宇宙環境中之一第二模態。在一些實施方案中，系統可將與頭戴裝置相關聯之一3D射線相交之偵測及追蹤以及與一手持式控制器之使用者互動映射至一行動裝置上之一2D觸控座標。
在方塊606，系統執行與行動裝置之各2D UI元素相關聯之命令。在各種實施方案中，命令之執行導致行動裝置之螢幕上之一或多個目標物件之各種操縱，諸如先前實例中所描述之操縱。因此，系統將來自第二模態(例如，頭戴裝置)之輸入裝置之輸入信號轉譯為第一模態(例如，行動裝置)上之2D UI元素。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
圖7繪示展示根據一些實施方案之與諸如桌子702之一物件相交之3D射線的一側視圖700之一方塊圖。展示一桌子702、與一AR頭戴裝置706相關聯之一3D射線704及一手持式控制器708。在一些實施方案中，在AR頭戴裝置706之內容背景中，系統可基於捕捉真實世界之一視圖之AR頭戴裝置706的一攝像機或一對攝像機判定及追蹤3D射線704。一或多個攝像機對應於使用者之眼睛(未展示)。在一些實施方案中，3D射線704在3D射線交點710處與桌子702相交。在一些實施方案中，3D射線704亦可基於捕捉使用者之眼睛對桌子702之注視(例如，視線)之AR頭戴裝置706的一攝像機或一對攝像機。用於判定3D射線704之方向及3D射線交點710之位置的實際技術可取決於特定實施方案而變化。在一些實施方案中，系統可在AR頭戴裝置706中顯示3D射線交點710，如下文結合圖8更詳細描述。
圖8繪示展示根據一些實施方案之與諸如圖7之桌子702之一物件相交的3D射線交點710之一透視圖800之一方塊圖。展示一桌子702、3D射線交點710及一3D射線交點802。在各種實施方案中，透視圖800可表示使用者從AR頭戴裝置706 (在圖7中展示)中看到的視覺視圖。如所展示，系統可在AR頭戴裝置706之觀看器之視覺視圖中顯示3D射線交點710。
在其中AR頭戴裝置及/或使用者之注視(例如，視線)橫向移動使得3D射線橫向移動之一案例中，3D射線交點從桌子702上之3D射線交點710移位至在桌子旁邊之地面上之3D射線交點802。在各種實施方案中，系統使3D射線交點之運動平穩以維持來自3D射線交點從桌子至地板或地面之過渡的平穩連續性。在一些實施方案中，系統判定3D射線最初與桌子702相交之處之3D射線交點802處的一參考點或錨定點。系統在被橫向拖曳時繼續平穩地更新3D射線交點，此防止3D射線交點從桌子702快速移動至地板。
在各種實施方案中，系統結合一手持式控制器之一使用者互動判定第二模態之3D場景中之桌子702之一使用者選擇，其中系統將此等輸入信號之一組合映射至第一模態之一2D UI元素(例如，2D座標)。例如，在3D射線交點在桌子702處時，系統可使使用者能夠藉由點選手持式控制器708而選擇諸如桌子702之一物件。此使使用者能夠基於3D射線交點710指向諸如桌子702之一特定物件。只要使用者維持選擇(例如，持續按壓手持式控制器708上之一按鈕)，系統便可將3D射線交點710鎖定在桌子702上。若桌子702係一虛擬物件，則在選擇桌子702時，系統可使使用者能夠在3D場景中四處移動及拖曳桌子702。
在一些實施方案中，在一VR頭戴裝置(未展示)之內容背景中，3D射線相交可基於捕捉使用者之眼睛對虛擬3D場景中之物件之注視(例如，視線)之VR頭戴裝置的一攝像機或一對攝像機。追蹤使用者之注視之一或多個攝像機亦對應於使用者之眼睛。
在兩種案例中，無論頭戴裝置係AR頭戴裝置706或一VR頭戴裝置(未展示)，系統皆將第二模態之3D場景之3D射線相交映射至第一模態之一行動電話之螢幕上之2D觸控。系統亦使使用者能夠選擇一給定物件且基於與一手持式控制器之使用者互動操縱物件。換言之，與頭戴裝置及控制器之使用者互動導致對3D空間中之一目標點(例如，3D射線交點710)之一「輕觸」，此轉譯為對一行動裝置之觸控螢幕上之一目標點之一輕觸。
再次參考圖6，在方塊606，系統執行與行動裝置之各2D UI元素相關聯之命令。在各種實施方案中，命令之執行導致行動裝置之螢幕上之一或多個目標物件之各種操縱(例如，觸控、輕觸、拖曳等)，諸如先前實例中所描述之操縱。因此，系統將來自第二模態(例如，AR或VR頭戴裝置)之輸入裝置之輸入信號轉譯為第一模態(例如，行動裝置)上之2D UI元素。因此，系統將一頭戴裝置及手持式控制器之功能性(例如，按鈕選擇等)轉譯為一行動裝置上之觸控及拖曳手勢。
習知地，為在行動裝置上參與AR，使用者通常被要求在行動裝置之螢幕上執行若干手勢，諸如輕觸、捏縮及滑移等。涉及元宇宙部署之本文中所描述之實施方案的優點部分基於如本文中所描述之此等新裝置類別或第二模態之互動映射來使AR體驗在非行動裝置上可用。為達成此等優點，實施方案藉由將行動WebAR觸控輸入映射至跨AR及VR頭戴裝置、桌上型電腦及相關聯輸入裝置(包含鍵盤、觸控板、滑鼠、控制器、手部追蹤等)可用之大量輸入選項而空間化該等行動WebAR觸控輸入。由於使用者所使用之裝置將在運行時間被識別，故實施方案為使用者提供適當互動，處置互動映射以容許使用者直觀地與3D內容互動。
圖9係根據一些實施方案之用於基於與模態相關聯之裝置類型調適一3D場景中之適當背景元素的一例示性流程圖。如下文更詳細描述，系統偵測所使用模態及體驗在3D場景中是否具有一適當環境。系統執行環境映射以增強跨不同模態之元宇宙體驗。在各種實施方案中，系統基於與第二模態相關聯之一裝置類型調適與第二模態相關聯之一3D場景中之一或多個背景元素。
在各種實施方案中，在方塊902起始一方法，其中一系統(諸如圖1之系統102)判定一給定模態是否顯示一真實環境或一虛擬場景環境。例如，具有攝像機之AR頭戴裝置及行動裝置顯示真實環境但不顯示虛擬場景環境。VR頭戴裝置及桌上型電腦顯示虛擬場景環境但不顯示真實環境。
在方塊904，系統基於所部署或使用之目標裝置來顯示適當背景。如上文指示，AR頭戴裝置及具有攝像機之行動裝置顯示真實環境但不顯示虛擬場景環境。在其中使用一AR頭戴裝置或行動裝置之案例中，系統可僅顯示如由各自裝置之攝像機捕捉之真實環境。若AR頭戴裝置或行動裝置顯示一場景環境，則由於不需要虛擬場景環境，系統可簡單移除虛擬場景環境以使真實環境能夠完全可見。
如上文指示，VR頭戴裝置及桌上型電腦顯示虛擬場景環境但不顯示真實環境。在其中使用一VR頭戴裝置或桌上型電腦之一案例中，系統可繼續顯示虛擬環境。若VR頭戴裝置或桌上型電腦未準備好顯示一虛擬環境，則系統將適當背景元素添加至3D場景。例如，系統可產生及顯示一地板或地面以提供一給定虛擬物件(例如，一虛擬汽車)與地板或地面之間的相對垂直深度之一感覺。在無一地板之情況下，一虛擬物件(諸如一經體現汽車)將無尺度感，其可呈現為在一空白空間中漂浮。在另一實例中，系統可在地平線上產生及顯示霧以提供虛擬物件與地平線之間的水平或橫向深度之一感覺。
在各種實施方案中，系統可將一圖案添加至地板。此使使用者能夠在一物件(諸如一汽車)在3D場景中移動時看見物件之移動。看起來移位之地板上之圖案將給予使用者以物件正在跨地板移動之一指示。系統可提供具有一圖案或一背景(諸如地平線上之一霧)之任何經添加地板作為一預設。霧可防止使用者看見一無限距離以提供一距離感。在一些實施方案中，系統亦可預設地提供場景元素(諸如一樹或山)以提供一尺度以及距離感。在一些實施方案中，系統可添加色彩變化以進一步提供一深度感。例如，系統可使地板之更遠部分或更遠物件具有一不同色彩(例如，色相更藍灰等)。
在各種實施方案中，系統使一開發者或使用者能夠添加具有具色彩、圖案及多種形狀之任何所要元素(包含一地面或地形、建築物、樹、雲等)之一自訂背景以增強總體體驗。系統亦可使一開發者或使用者能夠提供牆壁以將3D場景放置於室內。因而，3D場景畫布可在室外或室內或包含室外及室內環境兩者。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
圖10係根據一些實施方案之用於基於與模態相關聯之裝置類型向一元宇宙環境中之一3D場景中之虛擬內容提供一回應式尺度的一例示性流程圖。如下文更詳細描述，系統藉由使3D內容舒適且可及同時確保一開發者對一3D場景之視覺跨不同模態之裝置一致而調適3D場景中之一目標物件以適應使用者位置。
在各種實施方案中，在方塊1002起始一方法，其中一系統(諸如圖1之系統102)判定用於一元宇宙環境中之一第二模態之裝置類型。例如，系統可判定裝置是否為一AR頭戴裝置、一VR頭戴裝置、一桌上型電腦等。
在方塊1004，系統識別由裝置顯示之3D場景中之一目標物件。
在方塊1006，系統判定裝置之觀看器之一起始高度。在一些實施方案中，起始高度可為攝像機相對於地面之高度。起始高度表示當使用者開始透過觀看器查看目標物件時使用者對目標物件之視覺視圖。
在方塊1008，系統基於與第二模態相關聯之裝置類型調適與第二模態相關聯之3D場景中之一個目標物件。例如，系統按比例放大或縮小目標物件以跨不同模態之裝置填充一一致視覺角度及視覺舒適度。此使3D場景中之目標物件之起始位置能夠跨頭戴裝置、桌上型電腦及行動電話以及案例在大小或尺度上保持相同或近似相同。在一些實施方案中，作為按比例調整場景中之物件之一替代例，其他實施方案可改變視覺攝像機之高度且相應地按比例調整後續攝像機運動。在各種實施方案中，系統亦可調整目標物件之觀看角度以使目標物件在運用不同裝置或模態或案例之情況下看起來相同或類似。因此，實施方案確保包含目標物件之3D場景之內容跨不同模態之裝置及使用者案例在視覺上舒適且可及。再者，不需要使用者巡遊場景以使視圖舒適。
雖然步驟、操作或運算可以一特定順序呈現，但在特定實施方案中可改變順序。取決於特定實施方案，步驟之其他順序係可行的。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。再者，一些實施方案可能不具有全部所展示步驟及/或可具有代替或補充本文中所展示之步驟之其他步驟。
以下圖11、圖12及圖13展示在不同高度處及運用不同模態觀看之一目標物件之不同視圖。
圖11繪示展示根據一些實施方案之在一使用者在一站立位置中使用一AR頭戴裝置之情況下使用者觀看地面上之一目標物件的一側視圖1100之一方塊圖。展示一AR頭戴裝置1102、一目標物件1104及地面1106。在此案例中，使用者站立且看向地面1106。再者，目標物件1104係一虛擬汽車。在各種實施方案中，系統調適目標物件1104使得使用者透過一AR頭戴裝置1102觀看整個目標物件1104。
圖12繪示展示根據一些實施方案之在一使用者在一就坐位置中使用一AR頭戴裝置之情況下使用者觀看地面上之一目標物件的一側視圖1200之一方塊圖。展示一AR頭戴裝置1202、一目標物件1204 (其係一汽車)及地面1206。在此案例中，使用者就坐且看向地面1206。使用者可坐在一椅子、一輪椅等上。再者，目標物件1204係一虛擬汽車。在各種實施方案中，系統調適目標物件1204使得使用者透過AR頭戴裝置1202觀看整個目標物件1204。此為行動性受限之一使用者提供對一完全沉浸式體驗之可及性。
圖13繪示展示根據一些實施方案之在一使用者在一站立位置中使用一行動裝置之情況下使用者觀看一桌子上之一目標物件的一側視圖1300之一方塊圖。展示一行動裝置1302、一目標物件1304 (其係一汽車)及一桌子1306。在此案例中，使用者站立且看向桌子1306。再者，目標物件1304係一虛擬汽車。在各種實施方案中，系統調適目標物件1304使得使用者透過行動裝置1302觀看整個目標物件1304。
圖14繪示展示根據一些實施方案之表示不同模態中之一目標物件之一視圖的透過一觀看器1400之一透視圖之一方塊圖。展示在一觀看器之一顯示器1404中觀看之一目標物件1402 (其係一汽車)。在各種實施方案中，目標物件1402被展示為佔據顯示器之一特定部分，其中整個目標物件1402可見。如上文指示，在各種實施方案中，系統亦可調整目標物件之觀看角度以使目標物件在運用不同裝置或模態或案例之情況下看起來相同或類似。目標物件1402之此視圖可表示基於依據所使用裝置之類型對目標物件1402之尺度之調整的圖11、圖12及圖13之案例之任何者中的目標物件之視圖。因此，目標物件在不同案例及模態中覆蓋相同視場量。
因此，實施方案係有益的，因為其等不僅考量裝置之類型，而且考量使用者在參與3D體驗時之位置。無論使用者在虛擬實境中係站立或就坐，此皆適用。實施方案動態地調整觀看高度以確保全部所觀看內容係舒適的且可及的，而無關於使用者正在使用什麼裝置。實施方案達成此等優點同時考慮到初始視覺視點以增加使用者以開發者所預期之方式觀看內容的置信度。
實施方案具有各種其他優點。例如，在實施方案消除或最小化跨平台開發中之許多工作之同時，實施方案包含強大的機制作為平台之部分，此有助於依裝置類別客製化3D體驗。實施方案完全支援使用three.js及A-Frame創建之WebAR世界效果。實施方案之元宇宙部署能力亦針對iOS及Android智慧型電話及平板電腦、桌上型及膝上型電腦及各種AR及VR頭戴系統進行最佳化。實施方案使開發者能夠創建多種純行動WebAR世界效果、人臉效果及影像目標體驗。
實施方案使網頁成為基於智慧型電話之AR實境之一強大場所，且使開發者能夠跨iOS及Android裝置存取數十億個智慧型電話，此係任何擴增實境平台之最廣範圍。實施方案解鎖甚至更多場所以存取及參與沉浸式內容，而顯著擴展此範圍而無需延長開發時間。元宇宙開發之實施方案使開發者能夠創建從行動裝置自動調適至電腦及頭戴裝置之一WebAR項目。
圖15係可用於本文中所描述之一些實施方案之一例示性網路環境1500之一方塊圖。在一些實施方案中，網路環境1500包含一系統1502，系統1502包含一伺服器裝置1504及一資料庫1506。例如，系統1502可用於實施圖1之系統102，以及執行本文中所描述之實施方案。網路環境1500亦包含可與系統1502通信及/或可直接或經由系統1502彼此通信之用戶端裝置1510、1520、1530及1540。網路環境1500亦包含系統1502及用戶端裝置1510、1520、1530及1540透過其通信之一網路1550。網路1550可為任何適合通信網路，諸如一Wi-Fi網路、藍牙網路、網際網路等。
為便於繪示，圖15針對系統1502、伺服器裝置1504及網路資料庫1506之各者展示一個區塊，且針對用戶端裝置1510、1520、1530及1540展示四個區塊。區塊1502、1504及1506可表示多個系統、伺服器裝置及網路資料庫。再者，可存在任何數目個用戶端裝置。在其他實施方案中，環境1500可能不具有全部所展示組件及/或可具有其他元件，包含代替或補充本文中所展示之元件之其他類型之元件。
雖然系統1502之伺服器裝置1504執行本文中所描述之實施方案，但在其他實施方案中，與系統1502相關聯之任何適合組件或組件組合或與系統1502相關聯之任何適合一或多個處理器可促進執行本文中所描述之實施方案。
在本文中所描述之各種實施方案中，系統1502之一處理器及/或任何用戶端裝置1510、1520、1530及1540之一處理器引起本文中所描述之元素(例如，資訊等)顯示於一或多個顯示螢幕上之一使用者介面中。
圖16係可用於本文中所描述之一些實施方案之一例示性電腦系統1600之一方塊圖。例如，電腦系統1600可用於實施圖15之伺服器裝置1504及/或圖1之系統102，以及執行本文中所描述之實施方案。在一些實施方案中，電腦系統1600可包含一處理器1602、一作業系統1604、一記憶體1606及一輸入/輸出(I/O)介面1608。在各種實施方案中，處理器1602可用於實施本文中所描述之各種功能及特徵，以及執行本文中所描述之方法實施方案。雖然將處理器1602描述為執行本文中所描述之實施方案，但電腦系統1600之任何適合組件或組件組合或與電腦系統1600或任何適合系統相關聯之任何適合一或多個處理器可執行所述步驟。本文中所描述之實施方案可在一使用者裝置上、在一伺服器上或兩者之一組合上實行。
電腦系統1600亦包含可儲存於記憶體1606上或任何其他適合儲存位置或電腦可讀媒體上之一軟體應用程式1610。軟體應用程式1610提供使處理器1602能夠執行本文中所描述之實施方案及其他功能之指令。軟體應用程式亦可包含一引擎，諸如用於執行與一或多個網路及網路通信相關聯之各種功能之一網路引擎。電腦系統1600之組件可由一或多個處理器或硬體裝置之任何組合以及硬體、軟體、韌體等之任何組合實施。
為便於繪示，圖16針對處理器1602、作業系統1604、記憶體1606、I/O介面1608及軟體應用程式1610之各者展示一個區塊。此等區塊1602、1604、1606、1608及1610可表示多個處理器、作業系統、記憶體、I/O介面及軟體應用程式。在各種實施方案中，電腦系統1600可能不具有全部所展示組件及/或可具有其他元件，包含代替或補充本文中所展示之組件之其他類型之組件。
雖然已關於其特定實施方案對描述進行描述，但此等特定實施方案僅為闡釋性的且非限制性的。在實例中繪示之概念可應用於其他實例及實施方案。
在各種實施方案中，軟體經編碼於一或多個非暫時性電腦可讀媒體中以供一或多個處理器執行。軟體在由一或多個處理器執行時可操作以執行本文中所描述之實施方案及其他功能。
可使用任何適合程式設計語言來實施包含C、C++、C#、Java、JavaScript、組合語言等之特定實施方案之常式。可採用不同程式設計技術，諸如程序或物件導向。常式可在一單一處理裝置或多個處理器上執行。雖然步驟、操作或運算可以一特定順序呈現，但在不同特定實施方案中可改變此順序。在一些特定實施方案中，在本說明書中展示為循序之多個步驟可同時執行。
特定實施方案可在一非暫時性電腦可讀儲存媒體(亦稱為一機器可讀儲存媒體)中實施以由或結合指令執行系統、設備或裝置使用。特定實施方案可以軟體或硬體或兩者之一組合中之控制邏輯之形式實施。控制邏輯在由一或多個處理器執行時可操作以執行本文中所描述之實施方案及其他功能。例如，一有形媒體(諸如一硬體儲存裝置)可用於儲存可包含可執行指令之控制邏輯。
一「處理器」可包含處理資料、信號或其他資訊之任何適合硬體及/或軟體系統、機構或組件。一處理器可包含具有一通用中央處理單元、多個處理單元、用於達成功能性之專用電路或其他系統之一系統。處理不需要限於一地理位置或具有時間限制。例如，一處理器可「即時」、「離線」、以一「批量模式」等執行其功能。可在不同時間及在不同位置處藉由不同(或相同)處理系統執行處理之部分。一電腦可為與一記憶體通信之任何處理器。記憶體可為任何適合資料儲存器、記憶體及/或非暫時性電腦可讀儲存媒體，包含電子儲存裝置，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、磁性儲存裝置(硬碟機或類似者)、快閃記憶體、光學儲存裝置(CD、DVD或類似者)、磁碟或光碟，或適於儲存指令(例如，程式或軟體指令)以供處理器執行之其他有形媒體。例如，一有形媒體(諸如一硬體儲存裝置)可用於儲存可包含可執行指令之控制邏輯。指令亦可含在一電子信號中及提供為一電子信號，例如以自一伺服器(例如，一分散式系統及/或一雲端運算系統)遞送之軟體即服務(SaaS)之形式。
亦將瞭解，在圖式/圖中描繪之元件之一或多者亦可以一更分離或整合式方式實施，或甚至在某些情況中被移除或呈現為不可操作，如根據一特定應用係有用的。實施可儲存於一機器可讀媒體中之一程式或程式碼以允許一電腦執行上文描述之方法之任何者亦在精神及範疇內。
如在本文中之描述中及整個以下發明申請專利範圍各處使用，「一」、「一個」及「該」包含複數指涉，除非上下文另有清楚指示。再者，如在本文中之描述中及整個以下發明申請專利範圍各處使用，「在...中」之含義包含「在...中」及「在...上」，除非上下文另有清楚指示。
因此，雖然已在本文中描述特定實施方案，但在前文之揭示內容中預期修改、各種改變及取代之範圍，且將瞭解，在一些例項中，在不脫離如所闡述之範疇及精神之情況下，將採用特定實施方案之一些特徵而不對應地使用其他特徵。因此，可進行許多修改以使一特定情境或材料適於基本範疇及精神。
100: 環境 102: 系統/區塊 104: 行動裝置/用戶端裝置/區塊 106: 擴增實境(AR)頭戴裝置/用戶端裝置/區塊 108: 虛擬實境(VR)頭戴裝置/用戶端裝置/區塊 110: 桌上型電腦/用戶端裝置/區塊 112: 網路 202: 方塊 204: 方塊 206: 方塊 302: 方塊 304: 方塊 306: 方塊 402: 方塊 404: 方塊 406: 方塊 408: 方塊 410: 方塊 502: 方塊 504: 方塊 506: 方塊 602: 方塊 604: 方塊 606: 方塊 700: 側視圖 702: 桌子 704: 三維(3D)射線 706: 擴增實境(AR)頭戴裝置 708: 手持式控制器 710: 三維(3D)射線交點 800: 透視圖 802: 三維(3D)射線交點 902: 方塊 904: 方塊 1002: 方塊 1004: 方塊 1006: 方塊 1008: 方塊 1100: 側視圖 1102: 擴增實境(AR)頭戴裝置 1104: 目標物件 1106: 地面 1200: 側視圖 1202: 擴增實境(AR)頭戴裝置 1204: 目標物件 1206: 地面 1300: 側視圖 1302: 行動裝置 1304: 目標物件 1306: 桌子 1402: 目標物件 1404: 顯示器 1500: 網路環境 1502: 系統/區塊 1504: 伺服器裝置/區塊 1506: 資料庫/區塊 1510: 用戶端裝置 1520: 用戶端裝置 1530: 用戶端裝置 1540: 用戶端裝置 1550: 網路 1600: 電腦系統 1602: 處理器/區塊 1604: 作業系統/區塊 1606: 記憶體/區塊 1608: 輸入/輸出(I/O)介面/區塊 1610: 軟體應用程式/區塊
圖1係可用於本文中所描述之實施方案之與用於元宇宙內容模態映射之一系統相關聯的一例示性環境之一方塊圖。
圖2係根據一些實施方案之用於調適基於網頁之擴增實境應用程式以於含有行動電話、擴增實境頭戴裝置、虛擬實境頭戴裝置及桌上型電腦之一元宇宙環境中部署的一例示性流程圖。
圖3係根據一些實施方案之用於在一元宇宙環境中跨不同模態部署元宇宙內容或應用程式之一例示性流程圖。
圖4係根據一些實施方案之用於在於一元宇宙環境中跨不同模態部署一擴增實境應用程式時提供空間化使用者介面(UI)的一例示性流程圖。
圖5係根據一些實施方案之涉及一桌上型電腦至一行動裝置之互動映射之用於在一元宇宙環境中部署一擴增實境應用程式的一例示性流程圖。
圖6係根據一些實施方案之涉及一頭戴裝置至一行動裝置之互動映射之用於在一元宇宙環境中部署一擴增實境應用程式的一例示性流程圖。
圖7繪示展示根據一些實施方案之與諸如桌子702之一物件相交的三維(3D)射線之一側視圖之一方塊圖。
圖8繪示展示根據一些實施方案之與諸如一桌子之一物件相交的一3D射線交點之一透視圖之一方塊圖。
圖9係根據一些實施方案之用於基於與模態相關聯之裝置類型調適一3D場景中之適當背景元素的一例示性流程圖。
圖10係根據一些實施方案之用於基於與模態相關聯之裝置類型為一元宇宙環境中之一3D場景中之虛擬內容提供一回應式尺度的一例示性流程圖。
圖11繪示展示根據一些實施方案之在一使用者在一站立位置中使用一擴增實境(AR)頭戴裝置之情況下使用者觀看地面上之一目標物件的一側視圖之一方塊圖。
圖12繪示展示根據一些實施方案之在一使用者在一就坐位置中使用一AR頭戴裝置之情況下使用者觀看地面上之一目標物件的一側視圖之一方塊圖。
圖13繪示展示根據一些實施方案之在一使用者在一站立位置中使用一行動裝置之情況下使用者觀看一桌子上之一目標物件的一側視圖之一方塊圖。
圖14繪示展示根據一些實施方案之表示不同模態中之一目標物件之一視圖的透過一觀看器1400之一透視圖之一方塊圖。
圖15係可用於本文中所描述之一些實施方案之一例示性網路環境之一方塊圖。
圖16係可用於本文中所描述之一些實施方案之一例示性電腦系統之一方塊圖。
202:方塊
204:方塊
206:方塊

Claims (20)

  1. 一種系統，其包括： 一或多個處理器； 邏輯，其經編碼於一或多個非暫時性電腦可讀儲存媒體中以供該一或多個處理器執行，且在被執行時可操作以執行包括以下之操作： 獲得針對一虛擬環境之一第一模態開發之功能性； 將該功能性映射至該虛擬環境之一第二模態；及 基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。
  2. 如請求項1之系統，其中該第一模態與一第一裝置類型之擴增實境相關聯，其中該第一裝置類型係一行動裝置，其中該第二模態與一第二裝置類型相關聯，且其中該第二裝置類型係一擴增實境頭戴裝置、一虛擬實境頭戴裝置或一桌上型電腦之一者。
  3. 如請求項1之系統，其中該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作： 判定與該第二模態相關聯之一裝置； 啟動與該第二模態相關聯之軟體模組；及 使與該裝置之使用者互動適於針對該第一模態開發之該功能性。
  4. 如請求項1之系統，其中該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與該第二模態相關聯之一三維場景中之一或多個使用者手勢映射至與該第一模態相關聯之一或多個二維使用者介面元素。
  5. 如請求項1之系統，其中該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與相關聯於該第二模態之一或多個輸入裝置之使用者互動映射至與該第一模態相關聯之一或多個二維使用者介面元素。
  6. 如請求項1之系統，其中該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之一或多個背景元素。
  7. 如請求項1之系統，其中該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之至少一個目標物件。
  8. 一種在其上攜載程式指令之非暫時性電腦可讀儲存媒體，該等指令在由一或多個處理器執行時可操作以執行包括以下之操作： 獲得針對一虛擬環境之一第一模態開發之功能性； 將該功能性映射至該虛擬環境之一第二模態；及 基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。
  9. 如請求項8之電腦可讀儲存媒體，其中該第一模態與一第一裝置類型之擴增實境相關聯，其中該第一裝置類型係一行動裝置，其中該第二模態與一第二裝置類型相關聯，且其中該第二裝置類型係一擴增實境頭戴裝置、一虛擬實境頭戴裝置或一桌上型電腦之一者。
  10. 如請求項8之電腦可讀儲存媒體，其中該邏輯在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作： 判定與該第二模態相關聯之一裝置； 啟動與該第二模態相關聯之軟體模組；及 使與該裝置之使用者互動適於針對該第一模態開發之該功能性。
  11. 如請求項8之電腦可讀儲存媒體，其中該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與該第二模態相關聯之一三維場景中之一或多個使用者手勢映射至與該第一模態相關聯之一或多個二維使用者介面元素。
  12. 如請求項8之電腦可讀儲存媒體，其中該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：將與相關聯於該第二模態之一或多個輸入裝置之使用者互動映射至與該第一模態相關聯之一或多個二維使用者介面元素。
  13. 如請求項8之電腦可讀儲存媒體，其中該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之一或多個背景元素。
  14. 如請求項8之電腦可讀儲存媒體，其中該等指令在被執行時進一步可操作以引起該一或多個處理器執行包括以下之操作：基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之至少一個目標物件。
  15. 一種方法，其包括： 獲得針對一虛擬環境之一第一模態開發之功能性； 將該功能性映射至該虛擬環境之一第二模態；及 基於與該第二模態相關聯之使用者互動執行針對該第一模態開發之該功能性。
  16. 如請求項15之方法，其中該第一模態與一第一裝置類型之擴增實境相關聯，其中該第一裝置類型係一行動裝置，其中該第二模態與一第二裝置類型相關聯，其中該第二裝置類型係一擴增實境頭戴裝置、一虛擬實境頭戴裝置或一桌上型電腦之一者。
  17. 如請求項15之方法，其進一步包括： 判定與該第二模態相關聯之一裝置； 啟動與該第二模態相關聯之軟體模組；及 使與該裝置之使用者互動適於針對該第一模態開發之該功能性。
  18. 如請求項15之方法，其進一步包括將與該第二模態相關聯之一三維場景中之一或多個使用者手勢映射至與該第一模態相關聯之一或多個二維使用者介面元素。
  19. 如請求項15之方法，其進一步包括將與相關聯於該第二模態之一或多個輸入裝置之使用者互動映射至與該第一模態相關聯之一或多個二維使用者介面元素。
  20. 如請求項15之方法，其進一步包括基於與該第二模態相關聯之一裝置類型調適與該第二模態相關聯之一三維場景中之一或多個背景元素。
TW111142581A 2021-11-08 2022-11-08 元宇宙內容模態映射 TW202328872A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163277163P 2021-11-08 2021-11-08
US63/277,163 2021-11-08
US17/982,365 2022-11-07
US17/982,365 US20230147561A1 (en) 2021-11-08 2022-11-07 Metaverse Content Modality Mapping

Publications (1)

Publication Number Publication Date
TW202328872A true TW202328872A (zh) 2023-07-16

Family

ID=86228673

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111142581A TW202328872A (zh) 2021-11-08 2022-11-08 元宇宙內容模態映射

Country Status (4)

Country Link
US (1) US20230147561A1 (zh)
CA (1) CA3237710A1 (zh)
TW (1) TW202328872A (zh)
WO (1) WO2023079527A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949564B2 (en) * 2022-03-04 2024-04-02 Lan Party Technologies, Inc. Virtual gaming environment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8127297B2 (en) * 2007-10-31 2012-02-28 International Business Machines Corporation Smart virtual objects of a virtual universe independently select display quality adjustment settings to conserve energy consumption of resources supporting the virtual universe
KR20110007419A (ko) * 2009-07-16 2011-01-24 한국전자통신연구원 멀티 메타버스 환경에서의 콘텐츠 전송 시스템 및 이를 이용한 콘텐츠 관리 방법
KR102471977B1 (ko) * 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
US11521356B2 (en) * 2019-10-10 2022-12-06 Meta Platforms Technologies, Llc Systems and methods for a shared interactive environment

Also Published As

Publication number Publication date
US20230147561A1 (en) 2023-05-11
WO2023079527A1 (en) 2023-05-11
CA3237710A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US11557102B2 (en) Methods for manipulating objects in an environment
US10657716B2 (en) Collaborative augmented reality system
US11727650B2 (en) Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US11275481B2 (en) Collaborative augmented reality system
US11954245B2 (en) Displaying physical input devices as virtual objects
US11429246B2 (en) Device, method, and graphical user interface for manipulating 3D objects on a 2D screen
US11379033B2 (en) Augmented devices
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
WO2017156112A1 (en) Contextual virtual reality interaction
TW202328872A (zh) 元宇宙內容模態映射
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
KR20230017746A (ko) 객체들의 3차원 미리보기를 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
AU2022382108A1 (en) Metaverse content modality mapping
US11641460B1 (en) Generating a volumetric representation of a capture region
US11836871B2 (en) Indicating a position of an occluded physical object
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
US20240019979A1 (en) Conversion of 3d virtual actions into 2d actions
US20240061657A1 (en) Identification of callback from 2d app to render 3d model using 3d app
McDonald et al. SmartVR Pointer: Using Smartphones and Gaze Orientation for Selection and Navigation in Virtual Reality
WO2024063786A1 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
WO2023028570A1 (en) Displaying and manipulating user interface elements
CN116888571A (zh) 在环境中操纵用户界面的方法