TWI807732B - 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體 - Google Patents

用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI807732B
TWI807732B TW111111913A TW111111913A TWI807732B TW I807732 B TWI807732 B TW I807732B TW 111111913 A TW111111913 A TW 111111913A TW 111111913 A TW111111913 A TW 111111913A TW I807732 B TWI807732 B TW I807732B
Authority
TW
Taiwan
Prior art keywords
virtual
external environment
environment
game
readable storage
Prior art date
Application number
TW111111913A
Other languages
English (en)
Other versions
TW202245888A (zh
Inventor
菅野千尋
宮本茂
Original Assignee
美商尼安蒂克公司
英商尼安蒂克國際科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商尼安蒂克公司, 英商尼安蒂克國際科技有限公司 filed Critical 美商尼安蒂克公司
Publication of TW202245888A publication Critical patent/TW202245888A/zh
Application granted granted Critical
Publication of TWI807732B publication Critical patent/TWI807732B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種用戶端裝置可顯示各種擴增實境及虛擬實境影像給一使用者。例如，該用戶端裝置捕捉一外部環境之影像且識別該環境中之物體。若一物體滿足一虛擬環境標準，則該用戶端裝置在該環境中之該物體之位置處顯示一虛擬環境之一視窗。在另一實例中，該用戶端裝置包含可產生光之一光總成。若該使用者開啟該光總成，則顯示於該環境中之虛擬物體將聚集至由來自該光總成之光照亮之一區域。在另一實例中，該用戶端裝置估計該環境中之一物體之深度資訊。該用戶端裝置接著基於該深度資訊顯示該環境中之一虛擬物體且亦可顯示該虛擬物體與該外部環境中之一物體互動。

Description

用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體
本發明大體上係關於顯示可互動擴增實境(AR)及虛擬實境(VR)影像。
問題
顯示裝置可用於透過一沉浸式體驗呈現資訊給一使用者。此資訊可包含傳統靜態影像或視訊但亦可包含擴增實境(AR)或虛擬實境(VR)影像。AR及VR可用於各種領域，包含遊戲、工程設計、醫學及航空。然而，AR及VR體驗通常彼此隔離體驗。此外，一使用者與虛擬物體(AR或VR物體)互動之能力通常限於幾個手勢或控制命令。
一用戶端裝置可顯示各種可互動擴增實境(AR)及虛擬實境(VR)影像給一使用者。
在一些實施例中，該用戶端裝置捕捉一外部環境之影像且識別該外部環境中之真實世界物體。若一物體滿足一虛擬環境標準，則該用戶端裝置在該外部環境中之該物體之位置處或該位置附近顯示一虛擬環境之一視窗。該用戶端裝置接著透過該視窗顯示該虛擬環境之部分。因 此，該使用者可藉由相對於該物體移動該用戶端裝置來研究該虛擬環境。
在一些實施例中，該用戶端裝置包含可產生光之一光總成且該用戶端裝置在該外部環境中顯示虛擬角色。若該使用者開啟該光總成，則該等虛擬角色將聚集至由來自該光總成之光照亮之該外部環境之一區域。因此，藉由開啟該光總成且移動該用戶端裝置，該使用者可控制該等虛擬角色在該外部環境中之移動。
在一些實施例中，該用戶端裝置估計該外部環境中之物體之深度資訊。該用戶端裝置可基於該深度資訊在該外部環境中顯示一虛擬物體。該用戶端裝置亦可在該外部環境中顯示與該等物體互動之虛擬物體。因此，該虛擬物體可對使用者顯得更真實或更逼真。
100:網路運算環境
105:網路
110:用戶端裝置
115:遊戲資料庫
120:遊戲伺服器
125:攝影機總成
135:遊戲模組
140:定位模組
143:光總成
145:通用遊戲模組
150:商用遊戲模組
155:資料收集模組
160:事件模組
170:可遍歷空間估計訓練系統
175:物體識別器模組
180:視窗模組
185:閃光燈模組
190:物體互動模組
195:深度估計模組
200:真實世界
210:虛擬世界
212:位置
214:位置
222:對應位置
224:對應位置
230:虛擬元素
232:虛擬物品
240:物體/地標
250:虛擬能量
300:遊戲介面
310:顯示視窗
315:玩家資訊
320:選單
330:通信介面
340:音訊控制
400:顯示器
405:用戶端裝置
410:外部環境
415:電源插座
420:視覺效應
425:視窗
430:虛擬環境
435:虛擬角色
440:虛擬桌子
505:虛擬角色
510:外部環境
515:區域
605:虛擬角色
605A:角色
605B:角色
610:外部環境
615:桌子
700:程序
710:捕捉
720:識別
730:判定
740:顯示
800:程序
810:捕捉
820:顯示
830:接收
840:顯示
900:程序
910:捕捉
920:識別
930:估計
940:顯示
1000:電腦
1002:處理器
1004:晶片組
1006:記憶體
1008:儲存裝置
1010:鍵盤
1012:圖形配接器
1014:指標裝置
1016:網路配接器
1018:顯示器
1020:記憶體控制器集線器
1022:I/O集線器
圖1繪示根據一或多個實施例之一網路運算環境。
圖2描繪根據一或多個實施例的具有與真實世界平行之一地理位置之一虛擬環境之一表示。
圖3描繪根據一或多個實施例之一平行實境遊戲之一例示性遊戲介面。
圖4A至圖4D係繪示根據一些實施例之一虛擬環境之一視窗之顯示的一系列實例性影像。
圖5A及圖5B係繪示根據一些實施例之虛擬物體之聚集之一系列影像。
圖6描繪根據一實施例之在一外部環境中顯示兩個虛擬角色605之影像資料之一用戶端裝置110。
圖7係描繪根據一實施例之顯示一虛擬環境之一視窗之一 大致程序的一流程圖。
圖8係描繪根據一實施例之在一外部環境中移動一虛擬物體之一大致程序的一流程圖。
圖9係描繪根據一實施例之在一外部環境中顯示一虛擬物體之一大致程序的一流程圖。
圖10繪示根據一或多個實施例之適合於訓練或應用一可遍歷空間模型之一實例性電腦系統。
圖式及以下描述僅藉由說明方式描述特定實施例。熟習技術者將易於自以下描述認識到：可在不背離所描述之原理之情況下採用結構及方法之替代實施例。現將參考若干實施例，附圖中繪示該等實施例之實例。
例示性基於位置之平行實境遊戲系統
在包含一虛擬世界地理位置中之擴增實境(AR)內容之一平行實境遊戲之背景中描述各種實施例，擴增實境內容與真實世界地理位置之至少一部分平行使得真實世界中之玩家移動及動作影響虛擬世界中之動作，且反之亦然。使用本文中所提供之揭示內容，一般技術者應理解，所描述之標的可應用於其中顯示AR及虛擬實境VR影像之其他情景中。此外，使用本文中所提供之揭示內容，一般技術者應瞭解，將鑑於本發明明白數個遊戲介面組態及基本功能。本發明不意欲受限於任一特定組態。
另外，基於電腦之系統之固有靈活性允許系統之組件之間及系統之組件中之各種可行組態、組合及任務及功能劃分。例如，根據本發明之態樣之系統及方法可使用一單一運算裝置或跨多個運算裝置(例 如，連接於一電腦網路中)實施。
圖1繪示根據一或多個實施例之一網路運算環境100。網路運算環境100提供玩家在具有與真實世界平行之一地理位置之一虛擬世界中之互動。特定而言，真實世界中之一地理區域可直接鏈接或映射至虛擬世界中之一對應區域。一玩家可藉由移動至真實世界中之各種地理位置在虛擬世界中四處移動。例如，一玩家在真實世界中之位置可經追蹤且用於更新玩家在虛擬世界中之位置。通常，玩家在真實世界中之位置藉由找到玩家透過其與虛擬世界互動之一用戶端裝置110之位置且假定玩家位於相同(或大致相同)位置來判定。例如，在各種實施例中，若玩家在真實世界中之位置在對應於虛擬世界中之一虛擬元素之虛擬位置之真實世界位置之一臨限距離(例如10米、20米等等)內，則玩家可與虛擬元素互動。為方便起見，足夠接近一虛擬元素以依此方式與其互動之一玩家指稱位於對應虛擬元素之真實位置處。另外，參考「玩家之位置」描述各種實施例，但熟習技術者應瞭解，此等參考可指代玩家之用戶端裝置110之位置。
現參考圖2，其描繪根據一個實施例之與可充當一平行實境遊戲之玩家之遊戲板之真實世界200平行之一虛擬世界210之一概念圖。如圖中所繪示，虛擬世界210可包含於真實世界200之地理位置平行之一地理位置。特定而言，界定真實世界200中之一地理區域或空間之一座標範圍經映射至界定虛擬世界210中之一虛擬空間之一對應座標範圍。真實世界200中之座標範圍可與一城鎮、鄰域、城市、校園、場所、一國家、大陸、整個地球或其他地理區域相關聯。地理座標範圍中之各地理座標經映射至虛擬世界中之一虛擬空間中之一對應座標。
一玩家在虛擬世界210中之位置對應於玩家在真實世界200 中之位置。例如，位於真實世界200中之位置212處之玩家A在虛擬世界210中具有一對應位置222。類似地，位於真實世界中之位置214處之玩家B在虛擬世界中具有一對應位置224。當玩家在真實世界中之一地理座標範圍內四處移動時，玩家亦在虛擬界定虛擬世界210中之虛擬空間之座標範圍內四處移動。特定而言，與由玩家攜帶之一行動運算裝置相關聯之一定位系統(例如一GPS系統)可用於在導覽真實世界中之地理座標範圍時追蹤一玩家之位置。與真實世界200中之玩家之位置相關聯之資料用於更新界定虛擬世界210中之虛擬空間之對應座標範圍內之玩家之位置。依此方式，玩家可藉由在真實世界200中之對應地理座標範圍之間行進而無需檢查或週期性更新真實世界200中之特定離散位置處之位置資訊在界定虛擬世界210中之虛擬空間之座標範圍內沿一連續軌跡導覽。
基於位置之遊戲可包含需要玩家行進至散佈於虛擬世界中之各種虛擬位置處之各種虛擬元素或虛擬物體或與其互動之複數個遊戲目標。如本文中所描述，一虛擬物體可為由用戶端裝置110顯示之一AR或VR物體。虛擬物體包含有生命物體及無生命物體。有生命物體可指稱一虛擬角色。虛擬角色可表示遊戲之一角色，諸如一非玩家角色(NPC)。一玩家可藉由行進至真實世界中之虛擬元素或物體之對應位置行進至此等虛擬位置。例如，一定位系統可連續追蹤玩家之位置使得當玩家連續導覽真實世界時，玩家亦連續導覽平行虛擬世界。玩家可接著在特定位置處與各種虛擬元素或物體互動以達成或執行一或多個遊戲目標。
例如，一遊戲目標使玩家與位於虛擬世界210中之各種虛擬位置處之虛擬元素230互動。此等虛擬元素230可鏈接至真實世界200中之地標、地理位置或物體240。真實世界地標或物體240可為藝術品、紀 念碑、建築物、企業、圖書館、博物館或其他適合真實世界地標或物體。互動包含捕捉一些虛擬物品、主張一些虛擬物品之所有權、使用一些虛擬物品、花費一些虛擬貨幣等等。為捕捉此等虛擬元素230，一玩家行進至鏈接至真實世界中之虛擬元素230之地標或地理位置240且與虛擬世界210中之虛擬元素230互動。例如，圖2之玩家A可能必須行進至真實世界200中之一地標240以與鏈接至特定地標240之一虛擬元素230互動或捕捉虛擬元素230。與虛擬元素230之互動可能需要真實世界中之動作，諸如拍攝一照片或驗證、獲得或捕捉關於與虛擬元素230相關聯之地標或物體240之其他資訊。在其他實施例中，可用用於捕捉虛擬元素之不同或額外機制。例如，一遊戲內物品可使一玩家與一虛擬元素遠端(即，來自除對應於虛擬元素之位置之外之一真實世界位置)互動。
遊戲目標可能需要玩家使用由玩家在基於位置之遊戲中收集之一或多個虛擬物品。例如，玩家可在虛擬世界210行進以搜尋可用於完成遊戲目標之虛擬物品(例如武器、生物、電源或其他物品)。此等虛擬物品可藉由行進至真實世界200中之不同位置或藉由完成虛擬世界210或真實世界200中之各種動作來找到或收集。在圖2中所展示之實例中，一玩家使用虛擬物品232捕捉一或多個虛擬元素230。特定而言，一玩家可將虛擬物品232部署於接近虛擬元素230或虛擬元素230內之虛擬世界210中之位置處。依此方式部署以或多個虛擬物品232可導致針對特定玩家或針對特定玩家之團隊/戰隊捕捉虛擬元素230。
在一個特定實施方案中，一玩家可能必須聚集虛擬能量作為平行實境遊戲之部分。如圖2中所描繪，虛擬能量250可散佈於虛擬世界210中之不同位置處。一玩家可藉由行進至真實世界200中之虛擬能量 250之對應位置來收集虛擬能量250。虛擬能量250可用於給虛擬物品供電或執行遊戲中之各種遊戲目標。丟失所有虛擬能量250之一玩家可與遊戲斷接。
根據本發明之態樣，平行實境遊戲可為其中遊戲中之每個參與者共用相同虛擬世界之一大型多玩家之基於位置之遊戲。玩家可分成單獨團隊或戰隊且可一起協作以達成一或多個遊戲目標，諸如捕捉一虛擬元素或主張其所有權。依此方式，平行實境遊戲本質上可為鼓勵遊戲內之玩家之間的協作之一社交遊戲。在平行實境遊戲期間，來自對手團隊之玩家可彼此對抗(或有時合作以達成共同目標)。一玩家可使用虛擬物品來攻擊或阻礙對手團隊之玩家前進。在一些情況中，玩家被鼓勵在真實世界位置處集合以進行平行實境遊戲中之協作或互動事件。在此等情況中，遊戲伺服器嘗試確保玩家確實在場且沒有冒充。
平行實境遊戲可具有各種特徵以增強及鼓勵平行實境遊戲內之遊戲玩法。例如，玩家可累積可在整個遊戲中使用(例如，購買遊戲內物品，兌換其他物品，製作物品等等)之一虛擬貨幣或另一虛擬獎勵(例如虛擬代幣、虛擬點、虛擬材料資源等等)。隨著玩家完成一或多個遊戲目標且在遊戲內獲得經驗，玩家可前進通過各種等級。在一些實施例中，玩家可透過遊戲中提供之一或多個通信介面彼此通信。玩家亦可獲得可用於完成遊戲內之遊戲目標之增強「權利」或虛擬物品。使用本文中所提供之揭示內容，一般技術者應理解，在不偏離本發明之範疇之情況下，平行實境遊戲可包含各種其他遊戲特徵。
返回參考圖1，網路運算環境100使用一用戶端伺服器架構，其中一遊戲伺服器120通過一網路105與一用戶端裝置110通信以在用 戶端裝置110處提供一平行實境遊戲給玩家。網路運算環境100亦可包含其他外部系統，諸如贊助商/廣告商系統或企業系統。儘管圖1中僅繪示一個用戶端裝置110，但任何數目個用戶端裝置110或其他外部系統可通過網路105連接至遊戲伺服器120。此外，網路運算環境100可含有不同或額外元件且功能可依不同於下文將描述之一方式分佈於用戶端裝置110與伺服器120之間。
一用戶端裝置110可為可由一玩家用於與遊戲伺服器120介接之任何可攜式運算裝置。例如，一用戶端裝置110可為一無線裝置、一個人數位助理(PDA)、可攜式遊戲裝置、蜂巢式電話、智慧型電話、平板電腦、導航系統、手持式GPS系統、可穿戴運算裝置、具有一或多個處理器之一顯示器或其他此類裝置。在另一例項中，用戶端裝置110包含一習知電腦系統，諸如一桌上型或一膝上型電腦。然而，用戶端裝置110可為具有一運算裝置之一車輛。簡言之，一用戶端裝置110可為可使一玩家能夠與遊戲伺服器120互動之任何電腦裝置或系統。作為一運算裝置，用戶端裝置110可包含一或多個處理器及一或多個電腦可讀儲存媒體。電腦可讀儲存媒體可儲存引起處理器執行操作之指令。用戶端裝置110較佳地係可易於與一玩家一起攜帶或依其他方式運輸之一可攜式運算裝置，諸如一智慧型電話或平板電腦。
用戶端裝置110與遊戲伺服器120通信以將一實體環境之感測資料提供給遊戲伺服器120。用戶端裝置110包含捕捉用戶端裝置110所在之實體環境中之一場景之二維影像資料之一攝影機總成125。在圖1中所展示之環境中，各用戶端裝置110包含額外軟體組件，諸如一遊戲模組135、一定位模組140及一光總成143。用戶端裝置110可包含用於自一玩 家接收資訊或提供資訊給一玩家之各種其他輸入/輸出裝置。實例性輸入/輸出裝置包含一顯示螢幕、一觸控螢幕、一觸控板、資料輸入鍵、揚聲器及適合於語音辨識之一麥克風。用戶端裝置110亦可包含用於記錄來自用戶端裝置110之資料之其他各種感測器，包含(但不限於)移動感測器、加速度計、陀螺儀、其他慣性量測單元(IMU)、氣壓計、定位系統、溫度計、光感測器等等。用戶端裝置110可進一步包含用於通過網路105提供通信之一網路介面。一網路介面可包含用於與一個以上網路介接之任何適合組件，包含(例如)傳輸器、接收器、埠、控制器、天線或其他適合組件。
攝影機總成125捕捉用戶端裝置110定位於其中之環境之一場景之影像資料。攝影機總成125可利用依變動捕捉速率具有變動色彩捕捉範圍之各種變動光感測器。攝影機總成125可含有一廣角鏡頭或一遠攝鏡頭。攝影機總成125可經組態以捕捉單一影像或視訊作為影像資料。攝影機總成125捕捉影像資料且與用戶端裝置110上之運算裝置共用影像資料。影像資料可附加有描述包含感測資料(例如溫度、環境亮度)或捕捉資料(例如曝光量、溫暖、快門速度、焦距、捕捉時間等等)之影像資料之其他細節之後設資料。攝影機總成125可包含可捕捉影像資料之一或多個攝影機。在一個例項中，攝影機總成125包含一個攝影機且經組態以捕捉單眼影像資料。在另一例項中，攝影機總成125包含兩個攝影機且經組態以捕捉立體影像資料。在各種其他實施方案中，攝影機總成125包含各經組態以捕捉影像資料之多個攝影機。
遊戲模組135提供一介面給一玩家以參與平行實境遊戲。遊戲伺服器120通過網路105將遊戲資料傳輸至用戶端裝置110以用戶端裝 置110處之供遊戲模組135使用以提供遊戲之本機版本給遠離遊戲伺服器120之位置處之玩家。遊戲伺服器120可包含用於通過網路105提供通信之一網路介面。一網路介面可包含用於與一或多個網路介接之任何適合組件，包含(例如)傳輸器、接收器、埠、控制器、天線或其他適合組件。
由用戶端裝置110執行之遊戲模組135提供一玩家與平行實境遊戲之間的一介面。遊戲模組135可在與用戶端裝置110相關聯之一顯示裝置上呈現一使用者介面，顯示裝置顯示與遊戲相關聯之一虛擬世界(例如，呈現虛擬世界之影像)且允許一玩家在虛擬世界中互動以執行各種遊戲目標。在一些其他實施例中，遊戲模組135呈現用來自平行實境遊戲之虛擬元素或物體擴增之來自真實世界之影像資料(例如，由攝影機總成125捕捉)。在此等實施例中，遊戲模組135可產生虛擬內容或根據自用戶端裝置之其他組件接收之其他資訊調整虛擬內容。例如，遊戲模組135可調整一虛擬物體以根據影像資料中所捕捉之場景之一深度資訊顯示於使用者介面上。
遊戲模組135亦可控制各種其他輸出以允許一玩家與遊戲互動而無需玩家觀看一顯示螢幕。例如，遊戲模組135可控制允許玩家玩遊戲而無需查看顯示螢幕之各種音訊、振動或其他通知。遊戲模組135可存取自遊戲伺服器120接收之遊戲資料以提供遊戲之一準確表示給玩家。遊戲模組135可接收及處理玩家輸入且通過網路提供更新給遊戲伺服器120。遊戲模組135亦可產生或調整將由用戶端裝置110顯示之遊戲內容。例如，遊戲模組135可基於描述一場景之可遍歷空間之資訊(例如，如由可遍歷空間估計模型130判定)產生一虛擬元素。例如，遊戲模組135可判定可遍歷空間上之場景中之一虛擬元素之一路徑。
定位模組140可為用於監測用戶端裝置110之位置之任何裝置或電路系統。例如，定位模組140可藉由使用一衛星導航定位系統(例如一GPS系統、一伽利略定位系統、全球導航衛星系統(GLONASS)、北斗衛星導航及定位系統)、一慣性導航系統、一航位推算系統，基於IP位址，藉由使用三角量測或近接蜂巢塔或Wi-Fi熱點或用於判定位址之其他適合技術來判定實際或相對位置。定位模組140可進一步包含可幫助準確定位用戶端裝置110位置之各種其他感測器。
當玩家在真實世界中隨用戶端裝置110四處移動時，定位模組140追蹤玩家之位置且提供玩家位置資訊給遊戲模組135。遊戲模組135基於玩家在真實世界中之實際位置來更新與遊戲相關聯之虛擬世界中之玩家位置。因此，一玩家可簡單藉由攜帶或運輸真實世界中之用戶端裝置110來與虛擬世界互動。特定而言，玩家在虛擬世界中之位置可對應於玩家在真實世界中之位置。遊戲模組135可通過網路105提供玩家位置資訊給遊戲伺服器120。作為回應，遊戲伺服器120可制定各種技術來驗證用戶端裝置110位置以防止騙子冒充用戶端裝置110位置。應理解，與一玩家相關聯之位置資訊僅在已通知玩家要存取玩家之位置資訊及如何在遊戲背景中利用位置資訊(例如，更新虛擬世界中之玩家位置)之後授予權限才利用。另外，與玩家相關聯之任何位置資訊將依保護玩家隱私之一方式儲存及維護。
遊戲伺服120可為任何運算裝置且可包含一或多個處理器及一或多個電腦可讀儲存媒體。電腦可讀儲存媒體可儲存引起處理器執行操作之指令。遊戲伺服器120可包含一遊戲資料庫115且可與遊戲資料庫115通信。遊戲資料庫115儲存用於平行實境遊戲中以通過網路105服務或 提供給(若干)用戶端110之遊戲資料。
儲存於遊戲資料庫115中之遊戲資料可包含：(1)平行實境遊戲中與虛擬世界相關聯之資料(例如，用於在顯示裝置上呈現虛擬世界之影像資料、虛擬世界中位置之地理座標等等)；(2)與平行實境遊戲之玩家相關聯之資料(例如玩家檔案，包含(但不限於)玩家資訊、玩家經驗等級、玩家貨幣、當前玩家在虛擬世界/真實世界中之位置、玩家能量等級、玩家偏好、團隊資訊、戰隊資訊等等)；(3)與遊戲目標相關聯之資料(例如與當前遊戲目標、遊戲目標狀態、過去遊戲目標、未來游戲目標、所要遊戲目標等等相關聯之資料)；(4)與虛擬世界中之虛擬元素相關聯之資料(例如虛擬元素之位置、虛擬元素之類型、與虛擬元素相關之遊戲目標；虛擬元素之對應實際世界位置資訊；虛擬元素之行為、虛擬元素之相關性等等)；(5)與真實世界物體、地標、鏈接至虛擬世界元素關聯之位置相關聯之資料(例如，真實世界物體/地標之位置、真實世界物體/地標之描述、鏈接至真實世界物體之虛擬元素之相關性等等)；(6)遊戲狀態(例如當前玩家數目、遊戲目標之當前狀態、玩家排行榜等等)；(7)與玩家動作/輸入相關聯之資料(例如，當前玩家位置、過去玩家位置、玩家移動、玩家輸入、玩家查詢、玩家通信等等)；(8)在平行實境遊戲之實施期間使用、相關或獲得之任何其他資料。儲存於遊戲資料庫115中之遊戲資料可由系統管理員離線或即時填充或由自系統100之使用者/玩家(諸如通過網路105自一用戶端裝置110)接收之資料填充。
遊戲伺服器120可經組態以自一用戶端裝置110接收對遊戲資料之請求(例如，經由遠端程序呼叫(RPC))且經由網路105回應於此等請求。例如，遊戲伺服器120可將遊戲資料編碼於一或多個資料檔案中且將 資料檔案提供至用戶端裝置110。另外，遊戲伺服器120可經組態以經由網路105自一用戶端裝置110接收遊戲資料(例如玩家位置、玩家動作、玩家輸入等等)。例如，用戶端裝置110可經組態以將玩家輸入及其他更新週期性發送至遊戲伺服器120，遊戲伺服器120將玩家輸入及其他更新用於更新遊戲資料庫115中之遊戲資料以反映遊戲之任何及所有變化條件。
在所展示實施例中，伺服器120包含一通用遊戲模組145、一商業遊戲模組150、一資料收集模組155、一事件模組160及一可遍歷空間估計訓練系統170。如上文所提及，遊戲伺服器120與可為遊戲伺服器120之部分或遠端存取之一遊戲資料庫115(例如，遊戲資料庫115可為經由網路105存取之一分佈式資料庫)。在其他實施例中，遊戲伺服器120含有不同或額外元件。另外，功能可依不同於所描述之方式之外之一方式分佈於元件之間。例如，遊戲資料庫115可整合至遊戲伺服器120中。
通用遊戲模組145裝載所有玩家之平行實境遊戲且充當所有玩家之平行實境遊戲之當前狀態之權威來源。作為主機，通用遊戲模組145產生遊戲內容以(例如)經由其各自用戶端裝置110呈現給玩家。通用遊戲模組145可存取遊戲資料庫115以在裝載平行實境遊戲時擷取或儲存遊戲資料。通用遊戲模組145亦自用戶端裝置110接收遊戲資料(例如深度資訊、玩家輸入、玩家位置、玩家動作、地標資訊等等)且將所接收之遊戲資料併入平行實境遊戲之所有玩家之整體平行實境遊戲中。通用遊戲模組145亦可管理遊戲資料通過網路105遞送至用戶端裝置110。通用遊戲模組145亦可操縱用戶端裝置110之安全態樣，包含(但不限於)確保用戶端裝置110與遊戲伺服器120之間的連接，建立各種用戶端裝置110之間的連接及驗證各種用戶端裝置110之位置。
在其中包含一個商業遊戲模組150之實施例中，商業遊戲模組150可與通用遊戲模組145分離或可為其一部分。商業遊戲模組150可管理在平行實境遊戲內包含與真實世界中之一商業活動鏈接之各種遊戲特徵。例如，商業遊戲模組150可通過網路105(經由一網路介面)自諸如贊助商/廣告商、企業或其他實體之外部系統接收請求以在平行實境遊戲中包含與商業活動鏈接之遊戲特徵。商業遊戲模組150可接著配置以將此等遊戲特徵包含於平行實境遊戲中。
遊戲伺服器120可進一步包含一資料收集模組155。在其中包含一個資料收集模組155之實施例中，資料收集模組155可與通用遊戲模組145分離或可為其一部分。資料收集模組155可管理在平行實境遊戲內包含與真實世界中之一資料收集活動鏈接之各種遊戲特徵。例如，資料收集模組155可修改儲存於遊戲資料庫115中之遊戲資料以在平行實境遊戲中包含與資料收集活動鏈接之遊戲特徵。資料收集模組155亦可分析由玩家依照資料收集活動收集之資料且提供資料以供各種平台存取。
事件模組160管理玩家存取平行實境遊戲中之事件。儘管為方便起見使用術語「事件」，但應瞭解，此術語不必指代以特定位置或時間之一特定事件。確切而言，其可指代其中一或多個存取標準用於判定玩家是否能夠存取存取控制之遊戲內容之任何內容提供。此內容可為包含具有較少或無存取控制之遊戲內容之一較大平行實境遊戲之部分或可為一獨立、存取控制之平行實境遊戲。
網路105可為任何類型之通信網路，諸如一區域網路(例如內部網路)、廣域網路(例如網際網路)或其等之一些組合。網路亦可包含一用戶端裝置110與遊戲伺服器120之間的一直接連接。一般而言，遊戲 伺服器120與一用戶端裝置110之間的通信可使用任何類型之有線或無線連接、使用各種通信協定(例如TCP/IP、HTTP、SMTP、FTP)、編碼或格式(例如HTML、XML、JSON)或保護方案(例如VPN、安全HTTP、SSL)經由一網路介面進行。
本文中所討論之技術參考伺服器、資料庫、軟體應用程式及其他基於電腦之系統以及所採取之動作及發送至此等系統且自此等系統發送之資訊。一般技術者將認識到，基於電腦之系統之固有靈活性允許組件之間及組件中之任何及功能之各種可行組態、組合及劃分。例如，本文中所討論之伺服器程序可使用一單一伺服器或組合工作之多個伺服器實施。資料庫及應用程式可在一單一系統上實施或跨多個系統分佈。分佈式組件可循序或並行操作。
另外，在其中本文中所討論之系統及方法存取及分析關於使用者(例如玩家)之個人資訊或利用個人資訊(諸如位置資訊)之情形中，使用者可提供有一機會以控制程式或特徵是否收集資訊且控制是否或如何自系統或其他應用程式接收內容。在提供有關要收集哪些資訊及如何使用資訊之有意義通知給使用者之前，不會收集或使用此資訊或資料。除非使用者提供許可同意(使用者可隨時撤銷或修改許可)，否則不會收集或使用資訊。因此，使用者可控制如何收集關於使用者之資訊且如何由應用程式或系統使用。另外，在儲存或使用某些資訊或資料之前，可依一或多個方式處理資訊或資料，使得個人身份資訊被移除。例如，一使用者之身份可經處理使得無法判定使用者之個人身份資訊。
例示性遊戲介面
圖3描繪可呈現於一用戶端110之一顯示器上作為一玩家與 虛擬世界210之間的介面之部分之一遊戲介面300之一個實施例。遊戲介面300包含一顯示視窗310，其可用於顯示虛擬世界210及遊戲之各種其他態樣(諸如玩家位置222及虛擬元素230虛擬物品232及虛擬能量250在虛擬世界210中之位置)。使用者介面300亦可顯示其他資訊，諸如遊戲資料資訊、遊戲通信、玩家資訊、用戶端位置驗證指令及與遊戲相關聯之其他資訊。例如，使用者介面可顯示玩家資訊315，諸如玩家名稱、經驗等級及其他資訊。使用者介面300可包含用於存取各種遊戲設置及與遊戲相關聯之其他資訊之一選單320。使用者介面300亦可包含實現遊戲系統與玩家之間及平行實境遊戲之一或多個玩家之間的通信之一通信介面330。
根據本發明之態樣，一玩家可藉由在真實世界中簡單攜帶一用戶端裝置110來與平行實境遊戲互動。例如，一玩家可藉由在一智慧型電話上簡單存取與平行實境遊戲相關聯之一應用程式且與智慧型電話在真實世界中四處移動來玩遊戲。就此而言，玩家不必為了玩基於位置之遊戲而在一顯示螢幕上連續觀看虛擬世界之一視覺表示。因此，使用者介面300可包含允許一使用者與遊戲互動之複數個非視覺元素。例如，遊戲介面可在玩家正靠近遊戲中之一虛擬元素或物體時或在平行實境遊戲中發生一重要事件時提供聽覺通知給玩家。一玩家可用音訊控制340控制此等聽覺通知。可取決於虛擬元素或事件之類型提供不同類型之聽覺通知給使用者。可取決於以玩家對一虛擬元素或物體之接近度增加或減少聽覺通知之頻率或音量。可提供其他非視覺通知及信號(諸如一振動通知或其他適合通知或信號)給使用者。
返回參考圖1，在一些實施例中，遊戲模組135包含一物體識別器模組175、一視窗模組180、一閃光燈模組185、一物體互動模組 190及一深度估計模組195。儘管此等模組儲存於用戶端裝置110上，此等模組之一或多者可儲存於遊戲伺服器120上。例如，由攝影機模組125捕捉之影像發送至遊戲伺服器120上之一模組且模組稍後經由網路105將顯示指令提供至用戶端裝置110。另外，儘管模組係遊戲模組135之部分，但模組不限於遊戲背景。下文進一步描述模組175、180、185、190及195。
顯示虛擬環境之視窗
在一些實施例中，影像資料由用戶端裝置110呈現以針對使用者(例如一遊戲之一玩家)提供一組合或可互換AR/VR體驗。一組合AR/VR體驗包含顯示AR影像資料給使用者，同時在某些情形中，顯示VR影像資料給使用者。例如，在顯示一外部環境(亦指稱真實世界)之影像同時，遊戲模組135顯示一視窗。在此描述之背景中，一視窗係允許一使用者觀看先前未顯示之一虛擬環境之一虛擬物體(指稱一視窗)。一視窗通常顯示於外部環境中之一物體上方。例如，一視窗顯示於一牆壁上之一圖框上方。因此，一使用者可移動至圖框以觀看看起來位於圖框後面之一虛擬環境之部分。下文相對於物體識別器模組175及視窗模組180進一步描述此組合AR/VR體驗。
物體識別器模組175接收及分析由攝影機模組125捕捉之影像以識別影像中之物體。物體識別器模組175可識別無生命物體及有生命物體(例如動物及人類)或甚至有生命物體之部分(例如一手或一腿)。識別一物體可指代辨識一影像中之一組像素表示一物體且判定物體之一物體類型。一物體類型描述物體是什麼(例如人類、狗、椅子、牆壁、桌子或燈)。例如，物體識別器模組175判定一組像素表示一椅子。物體識別器模 組175可經組態以識別一房間中之常見物體，諸如牆壁、桌子、椅子、圖片及燈。在一些實施例中，物體識別器模組175使用可識別輸入影像(或時間系列影像)中之一或多個類型之物體之一機器學習分類器。分類器可使用包含像素組(例如，已經手動標記)之物體類型標籤之訓練影像來訓練。替代地，可使用其中將規則應用於輸入影像以判定是否描繪一給定類型之物體之基於規則之方法。
物體識別器模組175亦可判定一識別物體是否滿足一或多個虛擬環境標準。虛擬環境標準描述物體或適合於表示一虛擬環境之一視窗之物體之特性。適合物體一般具有面向外部環境之一平坦表面，其中表面之一表面積足夠大以重疊虛擬環境之部分(例如，表面積大於四平方英寸)。適合物體亦可安裝至一牆壁。例如，可期望物體為薄的、矩形的且安裝至一牆壁。適合物體亦可易於一使用者接取(例如，物體係可見的且不存在阻礙使用者靠近物體之障礙物)。因此，物體識別器模組175可判定一物體是否滿足此等虛擬環境標準之一或多者。
一虛擬環境標準可為適合於表示一視窗之一物體類型清單。例如，一虛擬環境標準指定電源插座、燈開關、圖框及電腦監測器係適合物體。因此，在此等實施例中，若一物體被分配清單中之一物體類型(由物體識別器模組175)，則物體可滿足一虛擬環境標準。
在一些實施例中，物體識別器模組175識別外部環境中之物體之表面且判定識別表面之任何者是否適合於表示一視窗(例如，表面是否平坦且具有高於一臨限值之一表面積)，而不是識別整個物體。
視窗模組180在滿足一或多個虛擬環境標準之一物體處顯示一虛擬環境之視窗(例如，提供指令以使用戶端裝置110顯示)。若超過 一個識別物體滿足虛擬環境標準，則視窗模組180可選擇最滿足標準之物體。替代地，視窗模組180可允許使用者選擇一個物體來表示視窗。在一些實施例中，可不顯示視窗，直至自使用者接收觀看視窗之一指令或用戶端裝置110在識別物體之一臨限距離內。
視窗顯示於選定物體之一位置處(或大致該位置處)(例如，在物體之一面向外表面處)或選定物體之一位置附近(例如，物體之12英寸內)。視窗之一平面可實質上平行於物體之一面向外表面(例如，5度內)。視窗之一形狀及大小可對應於(例如，匹配或實質上類似於)物體之一形狀及大小。例如，視窗之邊界匹配物體之一輪廓。
視窗允許使用者(使用用戶端裝置110)透過視窗觀看一虛擬環境之部分。換言之，某人透過視窗看之角度觀看虛擬環境之部分。例如，為觀看虛擬環境之其他部分，使用者必須相對於物體移動用戶端裝置110。在一些情況中，視窗包含一使用者必須開啟(例如，藉由選擇門)以觀看虛擬環境之部分之一門。
虛擬環境通常包含玩遊戲(例如平行實境遊戲)之使用者所關注物體。例如，虛擬環境包含與一遊戲相關之虛擬角色。在一些情況中，虛擬環境中之虛擬角色與外部環境中之虛擬或真實物體(例如外部環境中之虛擬角色)互動。例如，虛擬環境中之一虛擬角色透過視窗與使用者對話。有關虛擬環境之資訊(諸如其大小及形狀)及虛擬環境中之物體可自遊戲伺服器120接收。例如，遊戲伺服器120提供指令以顯示包含四個牆壁、一底板及一天花板之一虛擬房間且在房間中顯示特定虛擬物體。
在一些實施例中，使用者可(例如)藉由選擇視窗或提供一指令以進入視窗來「進入」虛擬環境。在此等實施例中，可顯示虛擬環境 之影像資料而非外部環境之影像資料以指示使用者已「進入」虛擬環境(換言之，用戶端裝置顯示對應於虛擬環境之VR影像)。
在一些實施例中，視窗模組180在將視窗顯示於物體處之前在選定物體上或選定物體周圍顯示一AR視覺效應(例如動畫效應)。視覺效應意欲將使用者之目光吸引至物體且將一視窗將顯示於物體處告知給使用者。視覺效應可移動及改變色彩以吸引使用者之注意。例如，視覺效應改變物體之色彩。視覺效應之其他實例包含煙霧、爆炸、煙花及星星。
圖4A至圖4D係繪示根據一些實施例之一虛擬環境之一視窗之顯示的一系列實例性影像。圖4A描繪根據一實施例之顯示一外部環境410之影像資料之一用戶端裝置405之一顯示器400。在圖4A之實例中，外部環境410係包含兩個牆壁、一地板、一桌子及安裝至一牆壁之一電源插座415之一房間之一部分。儘管圖4A中未繪示，但外部環境410之影像資料可用虛擬物體擴增。
在圖4A至圖4D之實例中，牆壁插座415經選擇以表示一虛擬環境之一視窗。為將此傳達給使用者，視窗模組180通過牆壁插座415顯示一視覺效應420(參閱圖4B)。在此實例中，視覺效應420包含插座415周圍之星星。
圖4C及圖4D繪示通過插座415顯示之一虛擬環境430之一視窗425。視窗425之一大小及形狀匹配插座415之大小及形狀。在圖4D中，用戶端裝置110更靠近插座415使得虛擬環境430之細節可被看到。虛擬環境430包含一房間中之兩個虛擬角色435及一虛擬桌子440。房間看起來位於插座415安裝至其之牆壁後面。
光互動
如相對於圖1所描述，用戶端裝置110可包含可產生照明外部環境之光之一光總成143。例如，光總成產生足夠光以協助一使用者在一弱光情形中觀看一外部環境之部分。光總成143亦可由攝影機總成125用於在捕捉一影像時照明外部環境。為產生光，光總成包含一或多個光源，諸如一發光二極體(LED)。剩餘描述假定光總成143之光源經定位使得由攝影機總成125捕捉之光包含由光總成143照明之外部環境之一區域。例如，光總成143面向相同於攝影機總成125之一方向。
當光總成143產生光時，其可指稱「開啟」。當光總成143未產生光或產生少量光時，其可指稱「關閉」。光總成143可提供允許一使用者關閉及開啟光總成143之一使用者介面。遊戲模組135亦可包含允許使用者控制光總成143(例如，使得使用者可在不離開遊戲之情況下控制光總成143)之一使用者介面。
在一些遊戲情形或遊戲模式中，使用者可使用來自光總成143之光與顯示於外部環境(或一虛擬環境)中之虛擬物體互動。例如，當光總成143開啟時，遊戲模組143揭示先前未顯示之虛擬物體。在另一實例中，在開啟光總成143之後，外部環境中之虛擬角色朝向由光總成143照明之外部環境之一區域聚集。取決於遊戲，若關閉光總成143，則虛擬物體可保留於區域中或其等可開始再次移動穿過外部環境。因此，藉由開啟光總成143，一使用者可藉由移動用戶端裝置110(且因此改變由光總成143照明之環境之部分)控制外部環境中之虛擬物體之位置。在此實例中，開啟光總成143之一指令可指稱一聚集指令。在一些實施例中，一使用者可藉由選擇顯示器之一區域(例如，顯示位置)指示一虛擬物體移動至外部環境中之一位置。
閃光燈模組185通信耦合至光總成143且顯示(例如，提供指令以使用戶端裝置110顯示)虛擬物體之移動。明確而言，回應於開啟光總成143，閃光燈模組185顯示虛擬物體自外部環境中之其當前位置朝向由光總成143照明之外部環境之一區域移動。
由於光總成143通常相對於攝影機總成固定，所以閃光燈總成185無需在外部環境之影像資料中識別來自光總成143之光。相反，閃光燈模組185可將虛擬物體移動至由用戶端裝置110顯示之外部環境之一區域(指稱與顯示器之一區域對應之外部環境之一區域)。在一些情況中，虛擬物體移動至顯示器之一特定區域，諸如一中心區域。若用戶端裝置110在光總成143開啟同時移動，則將照明環境之一不同區域。若移動高於一臨限值(例如，藉由分析來自定位模組140之一信號判定)，則閃光燈模組185可顯示虛擬物體自其先前位置移動至接收光之新區域。
在一些實施例中，閃光燈模組185顯示一視覺效應(例如一動畫效應)以指示由光總成143照明之區域。此可幫助使用者識別區域。實例性視覺效應包含區域之一虛擬聚光燈或照亮。
圖5A及圖5B係繪示根據一些實施例之虛擬物體之聚集之一系列實例性影像。圖5A描繪根據一實施例之在一外部環境510中顯示三個虛擬角色505之影像資料之一用戶端裝置110。虛擬角色505具有人形且位於外部環境510中。出於任何數目個原因，虛擬角色505可位於外部環境510中。例如，遊戲模組135在外部環境中之隨機位置中產生虛擬角色505或遊戲模組135顯示虛擬角色505在外部環境510中行走。
在玩遊戲時，可期望使用者將三個虛擬角色505聚集至外部環境510之一區域。為聚集虛擬角色505，使用者可開啟光總成143，如 上文所描述。圖5B描繪根據一實施例之顯示包含在由光總成143照明之外部環境之一區域515處聚集之三個虛擬角色505之影像資料之一用戶端裝置110。在圖5B之實例中，照明區域515之輪廓視覺上由一視覺效應照亮以幫助使用者識別區域515。
虛擬物體互動
返回參考圖1，物體互動模組190顯示(例如，提供指示以使用戶端裝置110顯示)虛擬物體與外部環境中之物體互動。此可導致虛擬物體對使用者而言看起來更真實且逼真。為此，物體互動模組190自物體互動模組190接收識別物體。藉由分析識別物體之特性(諸如其形狀及表面)，物體互動模組190可顯示虛擬物體與識別物體直接或間接互動。間接互動之實例包含一虛擬角色四處行走或看著一物體。直接互動之實例包含一虛擬角色觸碰、倚靠、站立或爬上一物體。例如，物體互動模組190顯示一虛擬角色爬上(例如向上或向下)一物體，諸如一輥狀物體或具有凸緣或手把之一物體。在另一實例中，物體互動模組190顯示一虛擬角色滑下一傾斜表面，傾斜表面相對於物體互動模組190已判定為地平面(例如，垂直於重力或攝影機之視場中之可見地面之平均定向之平面)之角度傾斜超過一臨限量(例如，小於80度且超過5度)。
在一些實施例中，物體互動模組190顯示虛擬物體與使用者互動。例如，一使用者可「拾取」一虛擬物體且將其移動至環境中之一不同位置。在另一實例中，物體互動模組190提供指令使得一虛擬物體「跟隨」外部環境中之一使用者。在此實例中，物體互動模組190可將一物體識別為一人。物體互動模組190可接著顯示一虛擬角色在環境中之人後面移動(例如行走)。人體之組成部分可經識別(例如腿、軀幹及手臂)使 得虛擬角色可顯示為與人步調一致地行走。
深度估計器模組195估計一物體(由物體識別器模組175識別)與用戶端裝置110之一距離。基於估計距離(亦指稱深度資訊)，遊戲模組135顯示(例如，提供指令以使用戶端裝置110顯示)外部環境中之一虛擬物體。例如，若一虛擬物體顯示為靠近一物體，則可基於物體之估計距離來調整虛擬物體之大小。在一些實施例中，深度資訊使一虛擬物體能夠部分顯示為在一物體後面。例如，若深度資訊指示一真實世界物體更靠近待顯示之一虛擬物體之一位置，則可顯示虛擬物體使得真實世界物體看起來使虛擬物體之一部分不清楚。因此，使用深度資訊可使虛擬物體看起來更真實。
在一些實施例中，遊戲模組135包含允許一使用者拍攝展示外部環境中之虛擬物體之照片之一虛擬攝影機模組(圖中未繪示)。在此等實施例中，亦可基於深度資訊顯示虛擬物體。
深度估計器模組195可經機器學習。例如，其使用包含影像中之像素組(例如，已經手動標記)之物體距離標籤之訓練影像來訓練。若用戶端裝置包含兩個攝影機，則可基於立體影像資料估計一距離。替代地，可使用其中將規則應用於輸入影像以估計輸入影像中之物體之一距離之基於規則之方法。
圖6描繪根據一實施例之顯示一外部環境610中之兩個虛擬角色605之影像資料之一用戶端裝置110。角色605A在影像之背景中顯示為站立於一桌子615上，同時角色605B在影像之前景中顯示為站立於地面上。儘管虛擬角色605具有一相同大小，但角色605在影像中顯示有不同大小使得角色看起來在外部環境610中。特定而言，由於角色605A顯示於 背景中且角色605B顯示於前景中，但角色605A比角色605B小以提供一深度感。角色605之代銷可基於來自深度估計模組195之距離資訊。例如，深度估計模組195估計用戶端裝置與桌子615之間的一距離且基於距離判定角色605A及605B之一高度。
模組互動
儘管上文單獨描述視窗模組180、閃光燈模組185、物體互動模組190及深度估計模組195，但其等可一起用於產生使用者之一改良遊戲體驗。例如，可基於來自深度估計模組195之深度資訊來顯示各虛擬物體。
在另一實例中，在一些遊戲情形中，虛擬環境可為暗的，使得一使用者無法透過視窗觀看虛擬環境之部分。為觀看虛擬環境，使用者可藉由開啟光總成143且定位用戶端裝置110使得光看起來通過視窗傳播至虛擬環境中來視覺照明虛擬環境之部分。類似地，使用者可藉由定位用戶端裝置110使得來自光總成之光穿過視窗傳播至虛擬環境中來引導外部環境中之虛擬物體移動通過視窗且進入虛擬環境中。
在另一實例中，若使用者藉由開啟光總成143且將其手放在用戶端裝置110前面來將光引導至其手上，則一虛擬物體可移動至使用者手上。其後，使用者可藉由移動其手來移動外部環境中之虛擬物體。此外，若顯示一視窗且使用者將其手移動靠近表示視窗之物體，則遊戲模組135可顯示虛擬物體通過視窗放置於虛擬環境中。
用於顯示虛擬環境之視窗之程序
圖7係描述根據一實施例之顯示一虛擬環境之一視窗之一大致程序700的一流程圖。程序700可由具有一物體識別器模組及一視窗 模組之一用戶端裝置(例如用戶端裝置110)完成。用戶端裝置可為諸如一智慧型電話之一行動裝置且具有一攝影機(例如攝影機總成125)、一光總成(例如光總成143)及一顯示器。在一些實施例中，用戶端裝置至少部分實施上文在圖1至圖3中所描述之平行實境遊戲。儘管以下描述在一用戶端裝置之背景內，但程序700(或程序之步驟)可在其他運算裝置(例如一伺服器)上執行。程序700之步驟可依不同順序執行，且程序700可包含不同、額外或較少步驟。
用戶端裝置由一攝影機總成捕捉710一外部環境之一影像。用戶端裝置基於捕捉影像識別720外部環境中之一物體。用戶端裝置判定730外部環境中之物體滿足一虛擬環境標準。用戶端裝置在由攝影機總成捕捉之外部環境之額外影像中之物體之一位置處或位置附近顯示740一虛擬環境之一視窗。用戶端裝置可回應於判定物體滿足標準顯示視窗。
在一些實施例中，用戶端顯示外部環境中之一虛擬物體通過視窗移動至虛擬環境。
用戶端裝置可自一伺服器接收有關虛擬環境之資訊，且其可使用有關虛擬環境之資訊判定透過視窗顯示之虛擬內容。
在一些實施例中，程序700可進一步包含用戶端裝置識別外部環境中之候選物體。用戶端裝置判定候選物體之各者是否滿足虛擬環境標準。用戶端裝置選擇滿足虛擬環境標準之候選物體之一者作為物體。
程序700可進一步包含用戶端裝置接收一指令以顯示虛擬環境，且回應於接收指令，顯示虛擬環境而非外部環境之影像。
程序700可進一步包含用戶端裝置基於捕捉影像識別外部環境中的具有一傾斜表面之一第二物體，且在由攝影機總成捕捉之外部環 境之額外影像中顯示爬上第二物體且滑下第二物體之傾斜表面之一虛擬物體。
在一些實施例中，判定外部環境中之物體滿足虛擬環境標準包括判定物體位於外部環境中之一牆壁上。
用於移動虛擬物體之程序
圖8係描述根據一實施例之移動一外部環境中之一虛擬物體之一大致程序800的一流程圖。程序800可由具有一閃光燈模組之一用戶端裝置(例如用戶端裝置110)完成。用戶端裝置可為諸如一智慧型電話之一行動裝置且具有一攝影機(例如攝影機總成125)、一光總成(例如光總成143)及一顯示器。在一些實施例中，用戶端裝置至少部分實施上文在圖1至圖3中所描述之平行實境遊戲。儘管以下描述在一用戶端裝置之背景內，但程序800(或程序之步驟)可在其他運算裝置(例如一伺服器)上執行。程序800之步驟可依不同順序執行，且程序800可包含不同、額外或較少步驟。
用戶端裝置由一攝影機總成捕捉810一外部環境之一影像。用戶端裝置在一顯示器上顯示820外部環境之影像中之一虛擬物體。用戶端裝置接收830一聚集指令(例如，來自一使用者)。用戶端裝置顯示840由移動至對應於顯示器之一區域的外部環境之一區域的攝影機總成捕捉之外部環境之額外影像中的虛擬物體用戶端裝置可顯示虛擬物體回應於接收聚集指令移動。
在一些實施例中，聚集指令係開啟用戶端裝置之光總成之一指令。外部環境之區域可為由來自光總成之光照明之一區域。在一些實施例中，用戶端裝置在顯示器之區域處顯示一視覺效應以指示由來自光總 成之光照明之外部環境之區域。
在一些實施例中，用戶端顯示外部環境之影像中之複數個虛擬物體，各物體顯示於外部環境中之一不同位置處。用戶端裝置可顯示複數個虛擬物體之各者自其等位置移動至外部環境之區域。
在一些實施例中，用戶端裝置判定用戶端裝置之移動高於一臨限值。回應於判定用戶端裝置之移動高於臨限值，用戶端裝置顯示虛擬物體自外部環境之區域移動至對應於顯示器之區域的外部環境之一第二區域。
程序800可進一步包含用戶端裝置基於捕捉影像識別外部環境中的具有一傾斜表面之一物體，且顯示虛擬物體爬上物體且滑下物體之傾斜表面。
儘管在一AR背景中描述程序800，但可在一VR背景中執行一類似程序。例如，用戶端裝置顯示一VR環境之影像，且回應於一聚集指令，用戶端裝置顯示VR環境中之一虛擬物體移動至對應於顯示器之一區域的VR環境之一區域。
用於顯示一虛擬物體之程序
圖9係描述根據一實施例之顯示一外部環境中之一虛擬物體之一大致程序900的一流程圖。程序900可由具有一閃光燈模組之一用戶端裝置(例如用戶端裝置110)完成。用戶端裝置可為諸如一智慧型電話之一行動裝置且具有一攝影機(例如攝影機總成125)、一光總成(例如光總成143)及一顯示器。在一些實施例中，用戶端裝置至少一部分實施上文在圖1至圖3中所描述之平行實境遊戲。儘管以下描述在一用戶端裝置之背景內，但程序900(或程序之步驟)可在其他運算裝置(例如一伺服器)上執 行。程序900之步驟可依不同順序執行，且程序900可包含不同、額外或較少步驟。
用戶端裝置由一攝影機總成捕捉910一外部環境之一影像。用戶端裝置基於捕捉影像識別920外部環境中之一物體。用戶端裝置估計930捕捉影像中之物體之深度資訊。用戶端裝置基於識別物體及深度資訊顯示940一虛擬物體。
在一些實施例中，虛擬物體係一虛擬角色且顯示虛擬物體包括顯示虛擬角色與物體互動。
在一些實施例中，物體係一人手。
程序900可進一步包含基於捕捉影像識別外部環境中之物體之一傾斜表面，且顯示虛擬物體爬上物體且滑下物體之傾斜表面。
實例性運算系統
圖10係根據一實施例之一運算裝置之一實例性架構。儘管圖10描繪繪示根據一實施例之用作本文中所描述之一或多個實體之部分或全部之一電腦之實體組件的一高級方塊圖，但一電腦可具有圖10中所提供之組件之額外、較少組件或變體。儘管圖10描繪一電腦1000，但圖式意在用作可存在於電腦系統中之各種特徵之功能描述的程度大於用作本文中所描述之實施方案之一結構示意圖。實際上且如一般技術者所認知，單獨展示之物品可經組合且一些物品可被分離。
圖10中繪示耦合至一晶片組1004之至少一個處理器1002。亦耦合至晶片組1004係一記憶體1006、一儲存裝置1008、一鍵盤1010、一圖形配接器1012、一指標裝置1014及一網路配接器1016。一顯示器1018耦合至圖形配接器1012。在一個實施例中，晶片組1004之功能由一 記憶體控制器集線器1020及一I/O集線器1022提供。在另一實施例中，記憶體1006直接耦合至處理器1002而非晶片組1004。在一些實施例中，電腦1000包含用於使此等組件互連之一或多個通信集線器。一或多個通信集線器視情況包含互連且控制系統組件之間的通信之電路系統(有時稱作一晶片集)。
儲存裝置1008係任何非暫時性電腦可讀儲存媒體，諸如一硬碟、光碟唯讀記憶體(CD-ROM)、DVD或一固態記憶體裝置或其他光學儲存器、磁卡帶、磁帶、磁碟儲存器或其他磁性儲存裝置、磁碟儲存裝置、光碟儲存裝置、快閃記憶體裝置或其他非揮發性固態儲存裝置。此一儲存裝置1008亦可指稱持續性記憶體。指標裝置1014可為一滑鼠、軌跡球或其他類型之指標裝置，且與鍵盤1010組合使用以將資料輸入至電腦1000。圖形配接器1012在顯示器1018上顯示影像及其他資料。網路配接器1016將電腦1000耦合至一區域或廣域網路。
記憶體1006保持由處理器1002使用之指令及資料。記憶體1006可為非持續性記憶體，其實例包含高速隨機存取記憶體，諸如DRAM、SRAM、DDR RAM、ROM、EEPROM、快閃記憶體。
如技術中已知，一電腦1000可具有不同於圖10中所展示之組件或除圖10中所展示之組件之外之組件。另外，電腦1000可缺少某些繪示組件。在一個實施例中，充當一伺服器之一電腦1000可缺少一鍵盤1010、指標裝置1014、圖形配接器1012或顯示器1018。再者，儲存裝置1008可在電腦1000本機或遠端(諸如包含於一儲存區域網路(SAN)內)。
如技術中已知，電腦1000經調適以執行用於提供本文中所描述之功能之電腦程式模組。如本文中所使用，術語「模組」係指用於提 供特定功能之電腦程式邏輯。因此，可在硬體、韌體或軟體中實施一模組。在一個實施例中，程式模組儲存於儲存裝置1008上，載入記憶體1006中且由處理器1002執行。
額外考量
以上描述之一些部分根據演算法程序或操作描述實施例。此等演算法描述及表示係熟習資料處理技術者常用於有效地傳達其工作要旨給其他熟習技術者。儘管在功能上、運算上或邏輯上描述此等操作，但此等操作被理解為由包括供一處理器或等效電路、微碼或其類似者執行之指令之電腦程式實施。此外，在不失一般性之情況下，有時將功能操作之此等配置稱為模組亦證明係方便的。
如本文中所使用，對「一個實施例」或「一實施例」之任何參考意謂連同實施例描述之一特定元件、特徵、結構或特性包含於至少一個實施例中。在說明書中多處出現片語「在一個實施例中」未必指代相同實施例。
可使用表達「耦合」及「連接」及其衍生詞來描述一些實施例。應理解，此等術語不意欲為彼此之同義詞。例如，可使用術語「連接」來描述一些實施例以指示兩個或更多個元件彼此直接實體或電接觸。在另一實例中，可使用術語「耦合」來描述一些實施例以指示兩個或更多個元件直接實體或電接觸。然而，術語「耦合」亦可意謂：兩個或更多個元件彼此不直接接觸，而是彼此合作或互動。實施例不限於內文。
如本文中所使用，術語「包括(comprises/comprising)」、「包含(includes/including)」、「具有(has/having)」或其任何其他變體旨在涵蓋一非排斥包含。例如，包括一系列元件之一程序、方法、物品或 設備未必僅限於該等元件，但可包含未明確列出或此程序、方法、物品或設備固有之其他元件。此外，除非明確相反說明，否則「或」指代一包含性或而非一排斥性或。例如，一條件A或B由以下之任一者滿足：A為真(或存在)且B為假(或不存在)；A為假(或不存在)且B為真(或存在)；及A及B兩者為真(或存在)。
另外，「一(a/an)」之使用用於描述實施例之元件及組件。此僅為了方便而進行且給出本發明之一般意義。此描述應理解為包含一個或至少一個，且單數亦包含複數，除非其顯然另有含義。當值被描述為「約」或「實質上」(或其衍生詞)時，此等值應被解釋為準確+/-10%，除非自內文明白另一含義。例如，「約10」應理解為意謂「在9至11之一範圍內」。
在閱讀本發明之後，熟習技術者將瞭解一系統之又額外替代結構及功能設計及用於提供所揭示AR功能之一程序。因此，儘管已繪示及描述特定實施例及應用，但應瞭解，所描述標的不限於本文中所揭示之精確構造及組件，且可在所揭示之方法及設備之配置、操作及細節上作出熟習技術者將明白之各種修改、改變及變動。保護範疇應僅受限於所發佈之任何申請專利範圍。
100:網路運算環境
105:網路
110:用戶端裝置
115:遊戲資料庫
120:遊戲伺服器
125:攝影機總成
135:遊戲模組
140:定位模組
143:光總成
145:通用遊戲模組
150:商用遊戲模組
155:資料收集模組
160:事件模組
175:物體識別器模組
180:視窗模組
185:閃光燈模組
190:物體互動模組
195:深度估計模組

Claims (19)

  1. 一種包括儲存指令之非暫時性電腦可讀儲存媒體，該等指令在由一運算裝置執行時引起該運算裝置執行包含以下之操作：由一攝影機總成捕捉一外部環境之一影像；基於該捕捉影像識別該外部環境中之一物體；判定該外部環境中之該物體滿足一虛擬環境標準；及回應於判定該物體滿足該虛擬環境標準，在由該攝影機總成捕捉之該外部環境之額外影像中之該物體之一位置處或該位置附近顯示一虛擬環境之一視窗，其中該虛擬環境之至少一部分在自該外部環境透過該視窗觀看時呈現在該等額外影像中。
  2. 如請求項1之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含顯示該外部環境中之一虛擬物體透過該視窗移動至該虛擬環境。
  3. 如請求項1之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含：自一伺服器接收有關該虛擬環境之資訊；及使用有關該虛擬環境之該資訊判定透過該視窗顯示之虛擬內容。
  4. 如請求項1之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含：識別該外部環境中之候選物體； 判定該等候選物體之各者是否滿足該虛擬環境標準；及選擇滿足該虛擬環境標準之該等候選物體之一者作為該物體。
  5. 如請求項1之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含：接收一指令以顯示該虛擬環境；及回應於接收該指令，顯示該虛擬環境而非該外部環境之影像。
  6. 如請求項1之非暫時性電腦可讀儲存媒體，其中該視窗之一形狀及大小對應於該物體之一形狀及大小。
  7. 如請求項1之非暫時性電腦可讀儲存媒體，其中該視窗之一平面實質上平行於該物體之一表面。
  8. 如請求項1之非暫時性電腦可讀儲存媒體，其中該虛擬環境係具有一或多個虛擬物體之一虛擬房間。
  9. 如請求項1之非暫時性電腦可讀儲存媒體，其中判定該外部環境中之該物體滿足該虛擬環境標準包括判定該物體位於該外部環境中之一牆壁上。
  10. 如請求項1之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含： 將該外部環境中之一虛擬物體顯示於一顯示器上；經由使用者輸入接收一聚集指令，其中該聚集指令包括開啟與該顯示器相關聯之一行動裝置之一光總成之一指令；及回應於接收該聚集指令，顯示該虛擬物體移動至對應於該顯示器之一區域的該外部環境之一區域。
  11. 如請求項1之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含：基於該捕捉影像識別該外部環境中的具有一傾斜表面之一第二物體；及在由該攝影機總成捕捉之該外部環境之該等額外影像中顯示一虛擬物體爬上該第二物體且滑下該第二物體之該傾斜表面。
  12. 如請求項1之非暫時性電腦可讀儲存媒體，其中重疊該等額外影像中之該物體而顯示該視窗，使得該物體看似已被該視窗所替換。
  13. 一種包括儲存指令之非暫時性電腦可讀儲存媒體，該等指令在由一運算裝置執行時引起該運算裝置執行包含以下之操作：由一攝影機總成捕捉一外部環境之一影像；將該外部環境之影像中之一虛擬物體顯示於一顯示器上；經由使用者輸入接收一指令以開啟閃光燈；回應於接收該指令以開啟該閃光燈，針對由該攝影機總成捕捉之複數個額外影像之各者，識別對應於會被該閃光燈照亮之該外部環境之一部 分的該顯示器之一區域；及顯示重疊於該外部環境之該等額外影像上之該虛擬物體朝向對應於該外部環境之該部分之該顯示器之該區域移動。
  14. 如請求項13之非暫時性電腦可讀儲存媒體，其中該閃光燈係照亮該外部環境之一實體閃光燈。
  15. 如請求項13之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含：基於該捕捉影像識別該外部環境中的具有一傾斜表面之一物體；及顯示該虛擬物體爬上該物體且滑下該物體之該傾斜表面。
  16. 如請求項13之非暫時性電腦可讀儲存媒體，其中：顯示該虛擬物體包括顯示該外部環境之該影像中之複數個虛擬物體，各物體顯示於該外部環境中之一不同位置處，且顯示該等額外影像中之該虛擬物體移動至對應於該顯示器之該區域的該外部環境之該區域包括顯示該複數個虛擬物體之各者自其等位置移動至該外部環境之該區域。
  17. 如請求項13之非暫時性電腦可讀儲存媒體，其中該等操作進一步包含：判定與該顯示器相關聯之一用戶端裝置之移動高於一臨限值；回應於判定該用戶端之移動高於該臨限值，顯示該虛擬物體自該外 部環境之該區域移動至對應於該顯示器之該區域的該外部環境之一第二區域。
  18. 如請求項13之非暫時性電腦可讀儲存媒體，其中當該攝影機總成之視點捕捉到該影像移動時，更新該外部環境之該部分。
  19. 如請求項13之非暫時性電腦可讀儲存媒體，其中該閃光燈係在該顯示器之該區域上之一虛擬聚光燈。
TW111111913A 2021-03-29 2022-03-29 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體 TWI807732B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/216,413 US11361519B1 (en) 2021-03-29 2021-03-29 Interactable augmented and virtual reality experience
US17/216,413 2021-03-29

Publications (2)

Publication Number Publication Date
TW202245888A TW202245888A (zh) 2022-12-01
TWI807732B true TWI807732B (zh) 2023-07-01

Family

ID=81944326

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112120486A TW202402365A (zh) 2021-03-29 2022-03-29 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體
TW111111913A TWI807732B (zh) 2021-03-29 2022-03-29 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112120486A TW202402365A (zh) 2021-03-29 2022-03-29 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體

Country Status (9)

Country Link
US (2) US11361519B1 (zh)
EP (1) EP4314993A1 (zh)
JP (1) JP2022153230A (zh)
KR (1) KR20230175207A (zh)
CN (1) CN117751339A (zh)
AU (1) AU2022251171A1 (zh)
CA (1) CA3215563A1 (zh)
TW (2) TW202402365A (zh)
WO (1) WO2022208230A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US20140225924A1 (en) * 2012-05-10 2014-08-14 Hewlett-Packard Development Company, L.P. Intelligent method of determining trigger items in augmented reality environments
US20150339842A1 (en) * 2009-06-23 2015-11-26 Disney Enterprises, Inc. System and Method for Rendering in Accordance with Location of Virtual Objects in Real-Time
KR20170036710A (ko) * 2014-07-25 2017-04-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실세계 오브젝트를 갖는 가상 현실 환경
US20180122142A1 (en) * 2016-10-31 2018-05-03 Verizon Patent And Licensing Inc. Methods and Systems for Dynamically Customizing a Scene for Presentation to a User
TWM589834U (zh) * 2019-09-17 2020-01-21 藝力米數位科技有限公司 擴增實境整合系統

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
US20090315916A1 (en) * 2008-06-24 2009-12-24 International Business Machines Corporation On-the-fly creation of virtual places in virtual worlds
EP2189191B1 (en) * 2008-11-25 2016-02-24 Fox Factory, Inc. Methods and Apparatus for Virtual Competition
US8762861B2 (en) * 2008-12-28 2014-06-24 Avaya, Inc. Method and apparatus for interrelating virtual environment and web content
US9418479B1 (en) * 2010-12-23 2016-08-16 Amazon Technologies, Inc. Quasi-virtual objects in an augmented reality environment
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9846965B2 (en) * 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US9824500B2 (en) * 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
JP6483056B2 (ja) * 2016-06-10 2019-03-13 任天堂株式会社 ゲーム装置、ゲーム制御方法およびゲームプログラム
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
CN107754212A (zh) * 2016-08-16 2018-03-06 上海掌门科技有限公司 跑步运动设备及其虚拟现实交互方法
US9983687B1 (en) * 2017-01-06 2018-05-29 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
JP7116410B2 (ja) * 2017-03-31 2022-08-10 株式会社バンダイナムコエンターテインメント プログラム及び画像生成システム
US11144114B2 (en) * 2017-05-11 2021-10-12 Sony Corporation Information processing apparatus and information processing method
JP7103357B2 (ja) * 2017-07-26 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP6756327B2 (ja) * 2017-11-10 2020-09-16 株式会社Ｓｏｋｅｎ 姿勢検出装置、及び姿勢検出プログラム
JP6961723B2 (ja) * 2018-01-16 2021-11-05 株式会社ソニー・インタラクティブエンタテインメント 移動体および移動体制御方法
CN110515452B (zh) * 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339842A1 (en) * 2009-06-23 2015-11-26 Disney Enterprises, Inc. System and Method for Rendering in Accordance with Location of Virtual Objects in Real-Time
US20140225924A1 (en) * 2012-05-10 2014-08-14 Hewlett-Packard Development Company, L.P. Intelligent method of determining trigger items in augmented reality environments
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
KR20170036710A (ko) * 2014-07-25 2017-04-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실세계 오브젝트를 갖는 가상 현실 환경
US20180122142A1 (en) * 2016-10-31 2018-05-03 Verizon Patent And Licensing Inc. Methods and Systems for Dynamically Customizing a Scene for Presentation to a User
TWM589834U (zh) * 2019-09-17 2020-01-21 藝力米數位科技有限公司 擴增實境整合系統

Also Published As

Publication number Publication date
TW202402365A (zh) 2024-01-16
AU2022251171A1 (en) 2023-11-16
CN117751339A (zh) 2024-03-22
JP2022153230A (ja) 2022-10-12
CA3215563A1 (en) 2022-10-06
KR20230175207A (ko) 2023-12-29
US11361519B1 (en) 2022-06-14
US20220309756A1 (en) 2022-09-29
TW202245888A (zh) 2022-12-01
US11748961B2 (en) 2023-09-05
WO2022208230A1 (en) 2022-10-06
EP4314993A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP6345282B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US8902255B2 (en) Mobile platform for augmented reality
TW202230211A (zh) 使用圖像神經網路及相關姿勢監督之視覺攝影機重新局部化
US20220351518A1 (en) Repeatability predictions of interest points
TWI797571B (zh) 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體
TWI807732B (zh) 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體
US20230196693A1 (en) Controlling Augmented Reality Content Via Selection of Real-World Locations or Objects
US20240075379A1 (en) Dynamically Generated Local Virtual Events
US20240075380A1 (en) Using Location-Based Game to Generate Language Information
US20230277943A1 (en) Mapping traversable space in a scene using a three-dimensional mesh
TW202109458A (zh) 利用深度提示之深度預估模型之自我監督訓練
TW202238068A (zh) 自監督多圖框單眼深度估計模型