TWI786700B - 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中 - Google Patents

利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中 Download PDF

Info

Publication number
TWI786700B
TWI786700B TW110123541A TW110123541A TWI786700B TW I786700 B TWI786700 B TW I786700B TW 110123541 A TW110123541 A TW 110123541A TW 110123541 A TW110123541 A TW 110123541A TW I786700 B TWI786700 B TW I786700B
Authority
TW
Taiwan
Prior art keywords
virtual
real
world
game
virtual environment
Prior art date
Application number
TW110123541A
Other languages
English (en)
Other versions
TW202204018A (zh
Inventor
艾爾克 威格薛夫
Original Assignee
美商索尼互動娛樂有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商索尼互動娛樂有限責任公司 filed Critical 美商索尼互動娛樂有限責任公司
Publication of TW202204018A publication Critical patent/TW202204018A/zh
Application granted granted Critical
Publication of TWI786700B publication Critical patent/TWI786700B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Abstract

提供了一種用於將一虛擬物件插入一虛擬環境中之方法，該方法包括：產生一真實世界物件之一掃描圖；處理該掃描圖以識別該真實世界物件之一類型；基於該真實世界物件之該經識別之類型而產生與該真實世界物件相似之一虛擬物件；基於該真實世界物件之該經識別之類型而向該虛擬物件指派一功能，該功能定義能夠由該虛擬物件在一虛擬環境中執行的一動作；將該虛擬物件部署在該虛擬環境中。

Description

利用第二螢幕裝置掃描3D物件以插入虛擬環境中
本揭示案係關於用於利用第二螢幕裝置掃描3D物件以用於插入虛擬環境中之系統及方法。
遊戲產業持續發展之領域係多玩家遊戲之領域，該多玩家遊戲能夠向地理上遠離彼此的玩家提供集體遊戲體驗。遊戲產業之擴展領域係共享遊戲玩法視訊且觀看遊戲玩法之領域。使用者現能夠通過網站、社交媒體等記錄並共享其遊戲玩法。此外，使用者可直播其遊戲玩法，使得其他人可在遊戲玩法發生時實質實時觀看其遊戲玩法。
遊戲產業的另一當前趨勢係朝向雲端遊戲發展。雲端遊戲藉由在可保證視訊遊戲資源的資料中心中遠端地執行視訊遊戲來向終端使用者提供優勢。由遠端地執行的視訊遊戲產生的視訊經串流傳輸至使用者的設備，且來自使用者的輸入經發送返回至資料中心。這使終端使用者無需擁有具體硬體以便執行遊戲本身。相反，終端使用者僅需要持有足夠硬體來串流傳輸遊戲玩法，且仍可享受高質量遊戲體驗。此外，在理論上，雲端遊戲使得能夠從網路連接可用的任何位置進行遊戲。
視訊遊戲產業的持續趨勢係圖形的增加的複雜性及計算資源的可用性，以滿足現代遊戲引擎之需求。隨著視訊遊戲的發展，它們的解析度及幀速率持續增加，從而使得能夠顯現非常實際且詳細的虛擬環境。另外，雲端遊戲的普及持續增長，且向雲端執行視訊遊戲的轉移甚至使得能夠更好地取得高質量遊戲體驗。
本揭示案之實施例係在此上下文中產生的。
本揭示案之實施方案提供用於利用第二螢幕裝置掃描3D物件以用於插入虛擬環境中之系統及方法。
在一些實施方案中，提供了一種用於將一虛擬物件插入一虛擬環境中之方法，該方法包括：產生一真實世界物件之一掃描圖；處理該掃描圖以識別該真實世界物件之一類型；基於該真實世界物件之該經識別之類型而產生與該真實世界物件相似之一虛擬物件；基於該真實世界物件之該經識別之類型而向該虛擬物件指派一功能，該功能定義能夠由該虛擬物件在一虛擬環境中執行的一動作；將該虛擬物件部署在該虛擬環境中。
在一些實施方案中，產生該真實世界物件之該掃描圖包括捕獲該真實世界物件之一或多個影像。
在一些實施方案中，該真實世界物件之該一或多個影像包括來自環繞該真實世界物件之多個角度之影像。
在一些實施方案中，該捕獲一或多個影像由一手持裝置執行。
在一些實施方案中，處理該掃描圖以識別該真實世界物件之該類型包括應用一機器學習模型以基於該掃描圖辨識該真實世界物件之該類型。
在一些實施方案中，產生該虛擬物件包括獲得該真實世界物件之該經識別之類型之一3D模型。
在一些實施方案中，產生該虛擬物件包括將該真實世界物件之特徵應用於該3D模型。
在一些實施方案中，向該虛擬物件指派該功能包括定義該功能到一控制器輸入以用於啟動該功能之一映射。
在一些實施方案中，將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬環境中放置該虛擬物件之一位置。
在一些實施方案中，將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬物件在該虛擬環境中之一大小。
在一些實施方案中，該虛擬環境係一視訊遊戲或一模擬。
在一些實施方案中，提供了一種用於將一虛擬物件插入一虛擬環境中之方法，該方法包括：接收一真實世界物件之一2D繪圖；處理該2D繪圖以識別該真實世界物件之一類型；基於該真實世界物件之該經識別之類型而產生與該真實世界物件相似之一虛擬物件；基於該真實世界物件之該經識別之類型而向該虛擬物件指派一功能，該功能定義能夠由該虛擬物件在一虛擬環境中執行的一動作；將該虛擬物件部署在該虛擬環境中。
在一些實施方案中，接收該真實世界物件之該2D繪圖包括接收創建該2D繪圖的觸控螢幕輸入。
在一些實施方案中，其中處理該2D繪圖以識別該真實世界物件之該類型包括應用一機器學習模型以基於該2D繪圖辨識該真實世界物件之該類型。
在一些實施方案中，產生該虛擬物件包括獲得該真實世界物件之該經識別之類型之一3D模型。
在一些實施方案中，向該虛擬物件指派該功能包括定義該功能到一控制器輸入以用於啟動該功能之一映射。
在一些實施方案中，將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬環境中放置該虛擬物件之一位置。
在一些實施方案中，將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬物件在該虛擬環境中之一大小。
在一些實施方案中，該虛擬環境係一視訊遊戲或一模擬。
藉由結合附圖進行之以舉例之方式說明本揭示案之原理的以下詳細描述，本揭示案之其他態樣及優點將變得顯而易見。
在以下描述中，闡述了眾多具體細節以便提供對本揭示案之透徹理解。然而，對熟習此項技術者而言將顯而易見的是，可在沒有此等具體細節中之一些或全部的情況下實踐本揭示案。在其他情況下，未詳細描述眾所周知之處理步驟，以免混淆本揭示案。
概括而言，本揭示案之實施方案係關於用於使用第二螢幕裝置掃描三維(3D)真實世界物件並將此類物件之虛擬表示注入視訊遊戲中以用於遊戲玩法之方法及系統。所得虛擬物件可用於例如幫助視訊遊戲之玩家或作為對手的障礙物。這可藉由向遊戲世界帶來另外的物件多樣性且基於玩家的真實世界物件而實現個人化及客製化來向視訊遊戲之遊戲玩法增加另外的維度。在一些實施方案中，記錄真實世界物件之360度視圖，且物件之3D模型基於該360度視圖而產生且用於將對應之虛擬物件注入虛擬環境中。虛擬物件可在虛擬環境中經受碰撞偵測及虛擬物件交互及表示之其他方面。
雖然一般參考視訊遊戲描述本揭示案之實施方案，但是應瞭解，本文描述之原理及實施方案可應用於任何類型的模擬或交互應用，諸如視訊遊戲、虛擬實境模擬、擴增實境應用、通信應用、社交網路應用或能夠支持本文描述的功能的任何其他類型的應用或程式。
圖1概念性地圖解說明根據本揭示案之實施方案之掃描真實世界物件且將對應之虛擬物件注入視訊遊戲中。在所圖解說明之實施方案中，使用者100操作第二螢幕裝置102。在本揭示案之實施方案中，裝置102被描述為「第二螢幕」，此乃因它相對於在其上呈現視訊遊戲的顯示器114的主螢幕而言係次要的。然而，應認識到，在一些實施方案中，裝置102也可為通過其呈現視訊遊戲的裝置，在這種情況下，裝置102既用作主螢幕又用作次要螢幕。
以舉例之方式而非進行限制，第二螢幕裝置102可為可攜式遊戲裝置(例如，PlayStation Vita)、平板電腦、蜂巢式行動電話或具有用於影像捕獲的攝影機(例如，面向後)及用於呈現圖形(諸如來自攝影機的實時影像)的顯示螢幕(例如，面向前或與攝影機相反面向)的其他可攜式/手持裝置。在所圖解說明之實施方案中，使用者100使用第二螢幕裝置102來捕獲局部環境中的真實世界物件104之影像。
在一些實施方案中，藉由捕獲真實世界物件104之360度掃描圖來執行影像捕獲，其中使用者100在真實世界物件104周圍移動第二螢幕裝置，同時繼續朝向真實世界物件104引導第二螢幕裝置102之攝影機，因此自環繞真實世界物件之複數個角度或有利點捕獲真實世界物件之影像。影像捕獲可經組態來捕獲呈離散影像形式的影像資料及/或視訊，該影像資料及/或視訊提供真實世界物件之360度環繞視圖。在一些實施方案中，影像被拼接在一起以形成真實世界物件之360度環繞視圖。此外，在一些實施方案中，掃描過程包括處理所捕獲之影像資料以產生真實世界物件之3D表示/模型，使得表示3D結構、表面及尺寸。
雖然本文描述之實施方案需要使用可攜式/手持裝置用於掃描真實世界物件，但是在其他實施方案中，可使用實質上靜止攝影機用於掃描，例如藉由讓使用者在攝影機的視域中操縱真實世界物件以有利於自多個角度捕獲(例如，在保持真實世界物件的同時使其旋轉)。在一些實施方案中，使用頭戴式顯示器(HMD)之面向外部之攝影機掃描真實世界物件。
在一些實施方案中，掃描過程使用深度攝影機(例如，除正規非深度攝影機之外)用於影像捕獲，該深度攝影機能夠捕獲深度資訊(例如，給定像素到深度攝影機之距離)。應瞭解，在一些實施方案中，利用深度攝影機可使得能夠更快及/或更強健地判定3D結構。
以舉例之方式而非進行限制，在所圖解說明之實施方案中，真實世界物件104被圖解說明為燈。然而，應瞭解，真實世界物件104可為真實世界中存在的可使用第二螢幕裝置102捕獲的任何類型的物件。舉例而言，使用者可自他們參與視訊遊戲遊戲玩法所在的其房間內捕獲真實世界物件，或自其他位置(包括戶外)捕獲真實世界物件。
所掃描之物件影像資料(其可包括捕獲的影像及/或視訊)及/或真實世界物件104的360度環繞視圖在一些實施方案中被處理以產生虛擬物件的3D模型(參考符號106)。在一些實施方案中，這需要針對預定義3D模型庫進行搜索，而在其他實施方案中，3D模型基於所掃描的物件影像資料而重新產生。
然後，真實世界物件104之屬性及功能被判定並應用於3D模型以產生對應之虛擬物件或虛擬資產(參考符號108)。以舉例之方式而非進行限制，此類屬性的實例包括一或多種顏色、尺寸(例如，高度、寬度、深度)、重量、反射率等。功能可包括真實世界物件104的任何類型的操作特性或效用，由於其虛擬類比物可歸於對應之虛擬物件。舉例而言，在真實世界物件104為燈的情況下，則對應之虛擬燈可具有能夠接通(以提供照明)、關斷(從而停止照明)、改變顏色、調整亮度、調整燈罩角度、調整可移動臂角度等的功能。
在產生虛擬物件之後，則可將其插入視訊遊戲或模擬中(參考符號110)。舉例而言，在所圖解說明之實施方案中，視訊遊戲被呈現在主顯示器114(例如，電視、監視器、LCD/LED顯示器等)上。在一些實施方案中，視訊遊戲由電腦112(例如，遊戲控制台、個人電腦、膝上型電腦等)局部地執行，而在其他實施方案中，視訊遊戲可被雲端執行，並且遊戲玩法視訊及輸入在電腦112與雲端遊戲系統的伺服器之間串流傳輸。在一些實施方案中，電腦112及顯示器114係連接的獨立裝置，而在其他實施方案中，電腦112及顯示器114整合在同一裝置中。在一些實施方案中，視訊遊戲之玩家(諸如使用者100)操作控制器116以與視訊遊戲介接並向該視訊遊戲提供輸入，例如以控制虛擬環境中的代表性化身或虛擬角色。
在所圖解說明之實施方案中，對應之虛擬物件118插入視訊遊戲之虛擬環境中，且從而當包括虛擬物件118的虛擬環境之視圖呈現在顯示器114中時可見。應瞭解，由於虛擬物件118現為虛擬環境的一部分，因此它可與虛擬環境中的其他物件經受相同交互態樣，包括關於光照、反射、碰撞偵測等。此外，虛擬物件118可包括在虛擬環境的上下文中操作的功能，諸如在如所圖解說明虛擬物件118為燈的情況下能夠被接通或關斷。
圖2概念性地圖解說明根據本揭示案之實施方案之用於辨識及應用基於掃描真實世界物件而產生的虛擬物件的特徵之過程。在所圖解說明之實施方案中，第二螢幕裝置102用於對真實世界物件200執行360度掃描，該真實世界物件在所圖解說明之實施方案中呈汽車/車輛的形式。掃描過程202產生物件影像資料，該物件影像資料由物件辨識過程204分析。物件辨識過程204經組態來基於所捕獲之物件影像資料而識別真實世界物件200的類型，諸如判定真實世界物件200係什麼，或者它以使用者之語言(例如，英語)被命名或稱為什麼。以舉例之方式而非進行限制，在所圖解說明之實施方案中，應用於所掃描的影像資料的物件辨識過程204可辨識到真實世界物件200為汽車。
在一些實施方案中，物件辨識過程204採用機器學習模型來辨識及識別真實世界物件200。在一些實施方案中，機器學習模型根據其對真實世界物件的訓練理解來對真實世界物件200進行分類、歸類或作標記。在一些實施方案中，掃描過程產生真實世界物件之3D表示/模型，且機器學習模型被訓練來識別此種3D表示。在一些實施方案中，掃描過程如前所述產生2D影像資料，且機器學習模型被訓練以基於2D影像資料而識別真實世界物件。
在一些實施方案中，物件辨識過程204對照參考物件之資料庫參考真實世界物件的掃描圖，且自參考物件中判定最接近匹配，以便辨識及識別真實世界物件。在一些實施方案中，判定類似性測量結果以量化與最接近匹配物件之類似度，且從而判定識別之置信度。
此外，除物件辨識過程204之外，執行特徵/屬性辨識過程206以辨識或識別真實世界物件200之特徵及/或屬性。舉例而言，在所圖解說明之實施方案中，特徵辨識過程可進一步識別到真實世界物件200不僅為汽車，而且更具體地，具有四扇門、具有某種顏色且具有某一尺寸等的旅行車車身樣式，應瞭解，參考所圖解說明之實施方案，汽車之特徵以舉例之方式而非限制地進行描述。應瞭解，在各種實施方案中，給定物件之特徵/屬性可包括關於各種選項、組態、尺寸、零件、零件數量、零件配置、零件外觀(例如，一或多種顏色、設計、藝術態樣)、材料、功能或給定物件的進一步定義該物件之結構、外觀或功能能力的任何其他態樣的描述資訊。
在一些實施方案中，至少部分地基於首先使用物件辨識過程204來識別物件的類型而識別特徵及屬性。即，真實世界物件被判定為的物件類型亦可判定將針對真實世界物件之虛擬物件表示定義的特徵/屬性。舉例而言，在所圖解說明之實施方案中，真實世界物件200為汽車，且一旦被識別為如此，系統就可具有與汽車相關聯且要根據所掃描資訊判定的各種特徵，諸如門的數量、車身樣式、顏色、尺寸等。
繼續參考圖2，在操作208處，獲得真實世界物件200之3D模型。在一些實施方案中，3D模型自預定義的3D模型庫中獲得。舉例而言，基於物件類別/名稱之識別及物件之可能之一或多個識別特徵，然後自庫擷取對應之預定義3D模型。然後，在操作210處，將從真實世界物件之掃描圖識別的任何相關特徵應用於3D模型，諸如定義3D模型之任何可組態態樣或尺寸，定義表面之顏色/外觀等。在操作212處，在將特徵應用於3D模型之後，然後對應於真實世界物件200之虛擬物件被產生且作為資產被儲存以用於部署在虛擬環境(諸如模擬或視訊遊戲之虛擬環境)中。
圖3概念性地圖解說明根據本揭示案之實施方案之用於基於掃描真實世界物件而產生資產以用於部署在虛擬環境中之方法。在方法操作300處，例如使用如先前所述的第二螢幕裝置來掃描真實世界物件。如上所述，掃描可需要捕獲真實世界物件之360度環繞視圖，且可進一步需要產生真實世界物件之3D模型的3D掃描過程。
在方法操作302處，執行物件辨識過程以識別真實世界物件，諸如識別其類型或名稱或真實世界物件之其他描述符。在一些實施方案中，採用訓練的機器學習模型304來辨識真實世界物件。機器學習模型304可使用標記/分類的物件資料306進行訓練，以使得機器學習模型304能夠基於自掃描過程產生的資料而識別真實世界物件。
在方法操作308處，執行確認過程以確認物件辨識是否成功。舉例而言，可詢問執行掃描的使用者真實世界物件之所識別的類型或名稱是否正確(例如藉由在第二螢幕裝置上呈現問題)，使用者可藉由回答是或否來對其作出回應(例如藉由選擇呈現在第二螢幕裝置上之是或否選項)。若使用者回應為否，指示該識別不正確，則在一些實施方案中，在方法操作310處，使用者可定義對真實世界物件之識別，諸如藉由輸進真實世界物件之類型或名稱。將新物件識別及其對應之掃描資料添加到物件資料306，該物件資料將用於訓練機器學習模型304，使得隨時間推移，機器學習模型304將辨識新添加的物件。
若在方法操作308處，使用者藉由物件辨識過程確認識別到真實世界物件，則該方法前進至方法操作312，其中自模型庫313擷取用於真實世界物件之經識別之類型/名稱的對應之預定義3D模型。
在方法操作314處，判定擷取到的3D模型與實際真實世界物件的類似性。在一些實施方案中，基於使用者輸入，諸如藉由詢問使用者所選擇的3D模型是否與真實世界物件匹配到可接受的程度而做出該判定。
在一些實施方案中，擷取到的3D模型與真實世界物件之類似性藉由比較擷取到之3D模型與從真實世界物件之掃描圖產生之表示(諸如自掃描資料產生之3D模型)來判定。在一些實施方案中，若類似性程度超過預定義閾值，則判定擷取到的3D模型與真實世界物件足夠類似，且方法前進至方法操作316。
若擷取到的3D模型與真實世界物件不夠類似，則在方法操作320處產生新3D模型。而且，在使用者在方法操作310處將真實世界物件定義為系統的新物件的情況下，則方法亦前進以在方法操作320處產生新3D模型。在一些實施方案中，新3D模型可為作為掃描真實世界物件的結果而產生的3D模型，且可進一步被細化或調整以產生新3D模型。可使用各種圖形渲染技術中的任一種，諸如藉由定義點雲端、多邊形網格、定義表面紋理、位移映射、鏡面映射、菲涅爾等來產生新3D模型。將產生的新3D模型添加至模型庫313以供將來使用。
在方法操作316處，真實世界物件之特徵及/或屬性應用於3D模型(預定義/擷取或新產生的)。這可包括對模型進行蒙皮，以判定其在虛擬環境中的外觀，諸如應用真實世界物件之捕獲方面諸如形狀、幾何結構、紋理等。在方法操作318處，將所得資產儲存到資產庫322以供將來擷取及部署在虛擬環境中。
圖4概念性地圖解說明根據本揭示案之實施方案之將各種類型的物件插入虛擬環境中。在所圖解說明之實施方案中，示出各種真實世界物件，諸如桌400、帽子402、手電筒404及汽車406。如本揭示案中所描述的，此類真實世界物件可被掃描並插入虛擬環境中，諸如插入視訊遊戲或虛擬世界或其他模擬的場景中。即，基於真實世界物件的掃描而產生與該真實世界物件相似的虛擬物件或資產，並將該虛擬物件插入虛擬環境中。如所描述，產生虛擬物件之過程可包括產生或獲得真實世界物件之3D模型且將屬性應用於該3D模型。應瞭解，可存在可建模並插入虛擬環境中的許多不同類型的物件。
舉例而言，可存在插入虛擬環境中的固定的、不可移動物件。即，一旦將此種物件放置到虛擬環境中，則該物件就在虛擬環境中遊戲玩法或正規交互之常規過程中不再係可移動的。此類固定的、不可移動物件之實例可包括家具、建築結構、室內家俱、牆壁、自然環境特徵等。在視訊遊戲的上下文中，此等可進一步包括一般更大物件，該等更大物件可用於覆蓋其自身或阻礙其他玩家之路徑或阻止他們移動到某處。應瞭解，物件被任意地定義為在虛擬環境中係固定的且不可移動的，例如，與遊戲設計一致或關於此類物件向所有玩家呈現一致的虛擬環境。以舉例之方式而非進行限制，在所圖解說明之實施方案中，真實世界桌400作為虛擬桌410插入虛擬環境408中，並且虛擬桌410經組態來固定在其位置處且不可移動。
除不可移動之外，此類固定物件也可為不可毀壞及/或不可變形的。因此，此類物件可經組態來作為永久物件放置在虛擬環境中。
另一種物件類型包括可移動的固定物件，其中物件本身係固定的，但是當它在虛擬環境中移動時可由玩家移動或攜帶在玩家的化身上。實例包括玩家的化身所佩戴或攜帶的任何衣服物品或其他產品(例如，頭盔、盾、裝甲等)，或玩家在虛擬環境中可移動(例如，可撿拾或操縱)的其他物品，諸如球、杯、盤等。因此，此類物件可經組態來可在玩家的場景中移動。
在一些實施方案中，佩戴在玩家化身上的物件針對玩家的化身自動適當地調整大小。舉例而言，作為由玩家化身佩戴的虛擬夾克被掃描並插入的夾克可調整成使得虛擬夾克的主體適配化身的軀幹且袖長度適配化身的臂長度等。在所圖解說明之實施方案中，真實世界帽子402作為虛擬帽子412被插入虛擬環境408中，且進一步由化身414佩戴。因此，虛擬帽子412被調整大小以適當地適配化身414之頭。
擴展該概念，應瞭解，在將任何給定虛擬物件部署到虛擬世界中期間，虛擬物件可能需要被重新調整大小以適合於在其中放置或使用它的上下文。如所述，由虛擬角色佩戴或使用的物品可被自動調整以適配佩戴或使用它們的虛擬角色。舉例而言，除衣服(例如衣物、鞋、眼鏡/護目鏡等)被自動調整大小之外，與虛擬角色相關聯的其他類型的物件(諸如武器、工具、器具、裝置等)可自動調整大小以合身於虛擬角色。類似地，與虛擬環境中的另一物件連結或相關聯(例如，附接到另一個物件、由另一物件使用等)的任何虛擬物件可基於另一物件而重新調整大小以便適合於另一物件。在一些實施方案中，部署的虛擬物件基於與其他類似或相關物件進行大小比較而重新調整大小(例如，基於場景中的其他汽車之大小而調整汽車的大小)。
然而，在一些實施方案中，使用者可能希望添加物件(例如，牆壁或障礙物等)，該物件之尺寸/大小由使用者定義。應瞭解，此類使用者定義的大小可獨立於虛擬環境中的其他物件。在一些實施方案中，自動判定的大小/尺寸可作為建議提供給使用者(例如，基於其他物件，諸如上面討論的物件)，且使用者可接受或拒絕此種建議，調整所建議的大小/尺寸或輸進新尺寸/大小。
另一類係可用物件，該些可用物件包括有附加到其的功能的物件，該些可用物件在虛擬環境中執行某種動作。實例包括武器(例如，槍、大炮、弓等)、車輛(例如，汽車、卡車、摩托車、小型機車、自行車、飛機、直升機等)、工具等。與此類物件相關聯的功能可在虛擬環境中被執行並視覺化，且因此，對應之虛擬物件經組態來具有被定義用於在虛擬環境中使用的必要功能，包括在執行時虛擬物件示出其功能的動畫。在虛擬環境中插入具有功能的虛擬物件之實例包括匯入虛擬環境中的可由玩家射擊的虛擬武器、可由玩家駕駛/領航的插入的虛擬車輛等。
在如討論的一些實施方案中，基於將真實世界物件辨識為因此包括預定義功能的給定類型而預定義/獲得插入的虛擬物件的功能。在一些實施方案中，提供使用者介面以使得使用者能夠調整或定義給定虛擬物件的功能，包括可選地包括或排除給定虛擬物件的預定義功能，或者調整預定義功能的設置。在一些實施方案中，使用者可將給定功能指派給虛擬物件，或者為虛擬物件定義新功能。
應瞭解，給定虛擬物件的功能，無論是從預定義源獲得還是新定義的，都進一步定義使用者如何存取或操作此類功能，諸如定義觸發給定功能之介面機制。舉例而言，在視訊遊戲的上下文中，物件的功能可被映射到控制器按鈕或其他輸入裝置，該些控制器按鈕或其他輸入裝置可用於觸發要啟動、接通/關斷、射擊等的功能。在一些實施方案中，當虛擬物件顯示在第二螢幕裝置上(諸如在部署虛擬物件的虛擬環境的視圖中)時，可例如藉由在虛擬物件顯示在第二螢幕裝置之觸控螢幕上時輕擊虛擬物件本身來啟動或觸發虛擬物件之相關聯功能。
以舉例之方式而非進行限制，在所圖解說明之實施方案中，真實世界手電筒404被掃描並作為虛擬手電筒416插入虛擬環境408中。由於真實世界手電筒404被辨識為手電筒，故該系統將虛擬手電筒416產生為包括手電筒的功能，即，能夠接通或關斷、在虛擬環境中提供照明並充當光源，且例如藉由被化身414握持及操縱來可由使用者移動。作為在所圖解說明之實施方案中所示之另一實例，真實世界汽車406被掃描並作為虛擬汽車418插入虛擬環境408中。由於真實世界的汽車406被辨識為汽車，故該系統將虛擬汽車418產生為包括汽車的功能，即，能夠諸如藉由使得化身414能夠打開虛擬汽車418之車門並爬到駕駛座中且在虛擬環境408中假裝控制虛擬汽車418的移動來由使用者在虛擬環境中駕駛。
指派給虛擬物件的功能之一些另外的非限制性實例包括以下：虛擬武器具有用於射擊或使用虛擬武器(包括例如武器射擊砲彈類型、虛擬武器造成傷害量等)的功能、虛擬書寫/繪畫用具(例如，鋼筆、鉛筆、毛筆等)具有用於在虛擬環境中在表面上創建標記的功能、虛擬鍵盤具有鍵被動畫化以示出它們被按下的功能等。
另外，在一些實施方案中，指派給虛擬物件的功能包括與真實世界物件相關聯或與啟動真實世界物件的給定功能相關聯的聲音。舉例而言，虛擬槍可在射擊時產生槍擊的聲音，虛擬汽車可在駕駛時產生引擎轉動的聲音，虛擬燈可在接通或關斷時產生開關的聲音等。
在一些實施方案中，指派用於在虛擬環境中使用的功能不需要呈現在對應之真實世界物件中。舉例而言，真實世界物件可為玩具版本的物件，例如玩具版本的汽車，而對應之虛擬物件被指派給與實際真實版本的物件相關聯的功能，例如對應之虛擬汽車可在虛擬環境中駕駛，且在虛擬環境中作為「真實」汽車進行適當地縮放。可將填充玩具動物作為虛擬動物插入，該虛擬動物可移動或以其他方式表現得像真實動物所表現的一樣(例如，產生真實動物將產生的聲音)，但是在虛擬環境中。類似地，人形玩具可作為虛擬角色插入且在虛擬環境中被指派行為。
在一些實施方案中，自真實世界物件到虛擬物件之轉換經組態來匹配虛擬環境之藝術風格。舉例而言，給定視訊遊戲中的人物角色可能不是真實地繪製的，而是以某種藝術風格繪製的。因此，若掃描真實世界的人，則產生對應之虛擬角色以具有視訊遊戲的風格，但所具有的蒙皮或特徵/屬性經組態來與真實世界的人的蒙皮或特徵/屬性相似。舉例而言，真實世界的人可具有黑頭髮，且因此虛擬角色經組態成具有黑頭髮，但虛擬角色係視訊遊戲的藝術風格。
圖5概念性地圖解說明根據本揭示案之實施方案之使用二維(2D)影像來使得能夠將虛擬物件插入虛擬環境中。雖然已經描述了掃描三維物件以將對應之虛擬物件插入虛擬環境中，但是在本揭示案之其他實施方案中，可利用二維繪圖或影像來插入虛擬物件。舉例而言，如在參考符號500處概念性地所示，使用者100例如在第二螢幕裝置102之觸控螢幕顯示器上繪製產品之圖片。或者在如參考符號502處概念性圖解說明的另一實施方案中，使用者100例如在一張紙上創建繪圖504，且使用第二螢幕裝置102捕獲繪圖504之二維掃描圖。在任一種情況下，產生包括產品之繪圖之二維影像。
在方法操作510處，應用影像辨識過程來識別在二維影像中繪製之產品。與上述類似，辨識過程經組態來辨識或識別影像中示出的產品之類型或名稱或其他描述符。然後，在方法操作512處，執行3D模型搜索以識別用於經識別之繪圖物件的對應之3D模型。應瞭解，辨識過程及/或3D模型搜索可利用機器學習模型。在方法操作514處，例如藉由自分析產品之繪圖判定或提取此類屬性來判定物件之屬性，且將此類屬性應用於3D模型。然後在方法操作516處，所得的虛擬物件/資產產生並插入虛擬環境中。
因此，使用者可在2D中繪製某個東西，且可對2D影像進行處理、標記，且可獲得匹配的3D模型以使得能夠產生與由使用者繪製的產品對應之虛擬物件。這可對於不具有特定物件但希望將此種物件插入虛擬環境中的玩家特別有用，此乃因他們能夠在無需持有真實世界物件之情況下獲得對應虛擬物件。
圖6概念性地圖解說明根據本揭示案之實施方案之用於將虛擬物件插入虛擬環境中的使用者介面過程。在所圖解說明之實施方案中，使用者參與由電腦112顯現到顯示器114的視訊遊戲或模擬。使用者操作第二螢幕裝置102以掃描真實世界物件600(例如，在所圖解說明之實施方案中為自行車)。如先前所述，分析並識別掃描圖(例如，識別為自行車)且產生對應之虛擬物件。
在處理掃描圖之後，呈現在第二螢幕裝置102上之使用者介面可示出視圖602，其中呈現掃描圖處理之結果，從而通知使用者100真實世界物件600已被識別為什麼，且建議將對應之虛擬物件插入視訊遊戲的虛擬環境中。所建議的虛擬物件視覺地顯示以供使用者評估。當使用者接受虛擬物件以供插入時，第二螢幕裝置示出視圖604，其中呈現允許使用者將視訊遊戲的遊戲玩法倒帶到更早時間點的介面。以舉例之方式而非進行限制，示出的介面可包括可移動滑件606，使用者可控制該可移動滑件(例如藉由在第二螢幕裝置102上使用觸控手勢來拖動滑件)以便存取遊戲玩法中更早的時間點。
因此，在倒帶遊戲玩法之後，然後介面呈現來自遊戲玩法中更早時間點的視圖608。在遊戲玩法中的該更早時間點(其係在虛擬環境中的不同位置處)處，使用者放置自真實世界物件600產生的虛擬物件610。在一些實施方案中，使用者100可諸如藉由在第二螢幕裝置上使用觸控手勢將虛擬物件自一個位置拖動到另一位置來移動虛擬物件610。在一些實施方案中，虛擬物件610可諸如藉由在第二螢幕裝置上使用觸控手勢來在虛擬環境中旋轉。在一些實施方案中，虛擬物件可諸如藉由在第二螢幕裝置102上使用捏縮及擴展觸控手勢來調整大小/縮放。
在一些實施方案中，第二螢幕裝置102上的介面呈現虛擬環境之3D視圖，其中使用者可導航到用於放置虛擬物件之期望位置。在一些實施方案中，介面呈現2D視圖，諸如使用者可在其中放置虛擬物件的虛擬環境之地圖視圖或俯視圖。
在一些實施方案中，諸如藉由如上所述倒帶遊戲來將虛擬物件放置到正在運行之遊戲中。在其他實施方案中，可呈現遊戲的示出虛擬環境的一部分的單個幀，且使用者使得能夠將虛擬物件放置在單個幀內，因此系統識別虛擬環境中已放置虛擬物件之特定位置。
在一些實施方案中，用於放置的使用者介面呈現在顯示器114上。使用者介面的控制可通過第二螢幕裝置102諸如藉由通過第二螢幕裝置102啟用影響示出在顯示器114上的虛擬物件的放置的觸控螢幕控制來進行。
圖7A及圖7B概念性地圖解說明根據本揭示案之實施方案之跟蹤已被插入虛擬環境中的真實世界物件之狀態。在一些實施方案中，可在真實世界中繼續跟蹤已掃描並插入虛擬環境中的真實世界物件，使得可識別真實世界物件的改變並將其反映在對虛擬環境中對應之虛擬物件的更新中。圖7A以舉例之方式而非進行限制地圖解說明佩戴著頭戴式顯示器(HMD) 702之使用者700。HMD 702包括一或多個面向外部的攝影機，其用於捕獲真實世界局部環境704中的真實世界物件，諸如燈706、盒708及植物710。對燈706、盒708及植物710之掃描可藉由讓使用者700朝向此等真實世界物件引導HMD之攝影機，且在一些實施方案中，繞著該些物件走動以使得能夠自環繞該些物件之多個角度進行影像捕獲來執行。如已描述的，可產生對應之虛擬物件並將其部署到虛擬環境712中。在所圖解說明之實施方案中，可通過HMD 702可見(例如，出於視訊遊戲或其他模擬或VR程式之目的)的虛擬環境712被示出為包括分別對應於燈706、盒708及植物710的虛擬燈714、虛擬盒716及虛擬植物718。
在一些實施方案中，HMD 702的面向外部的攝影機亦例如使用SLAM(同步定位及製圖)技術，可能結合HMD 702中的其他感測器(諸如加速度計、陀螺儀、磁力計或其他運動感測硬體)用於HMD 702之位置/取向跟蹤。因此，在HMD 702之常規使用過程中，其在局部環境中的位置跟蹤可包括在局部環境704中循環捕獲真實世界物件。因此，在一些實施方案中，真實世界物件可持續被辨識，且它們之狀態可被跟蹤並用於更新它們在虛擬環境712中的對應虛擬物件之狀態。
舉例而言，圖7B圖解說明與圖7A圖解說明的局部環境相比處於更晚時間處的局部環境704。在該更晚時間處，燈706被接通，盒708在其側面包括繪畫，且植物710已生長。此等真實世界物件持續與虛擬環境712中的對應虛擬物件相關聯，且因此，虛擬燈714在虛擬環境中被接通，虛擬盒716被更新為在其側面包括繪圖，且虛擬植物718被更新為示出它已生長與真實世界植物710類似之量。
因此，在一些實施方案中，當來自真實世界的物件被合併到虛擬環境中時，它不僅被掃描一次，而且可在稍後時間點處持續被掃描或捕獲，且可隨時間跟蹤其長期狀態。依此方式，模擬保持連接回到真實世界物件且跟蹤此等物件之狀態改變。
雖然前面已參考HMD進行了描述，但是應瞭解，在其他實施方案中，如先前所述的第二螢幕裝置或捕獲局部環境的另一攝影機亦可用於長期跟蹤真實世界物件之狀態。在一些實施方案中，系統經組態來在預定義時間量之後(或以週期性時間間隔)提示使用者更新真實世界物件之掃描圖以便捕獲真實世界物件之狀態的任何改變。舉例而言，系統可詢問使用者是否想要更新虛擬物件，或者其對應之真實世界物件是否存在任何改變，且若是，則指引使用者進行重新掃描虛擬物件對應之真實世界物件。虛擬物件與重新掃描的真實世界物件之間的差別可被識別並用於更新虛擬環境中的虛擬物件。
圖8概念性地圖解說明根據本揭示案之實施方案之用於將真實世界物件插入虛擬環境中之系統。如所示，第二螢幕裝置102包括攝影機810及顯示器(例如，觸控螢幕顯示器)812。第二螢幕裝置102實施掃描邏輯814，該掃描邏輯經組態來諸如藉由能夠對真實世界物件進行360度環繞影像捕獲來控制攝影機810掃描真實世界物件。在一些實施方案中，掃描邏輯814處理所捕獲之影像資料，例如將影像拼接在一起，或者藉由處理所捕獲之影像資料來產生真實世界物件之3D掃描。掃描邏輯814輸出作為真實世界物件之掃描圖的掃描資料。
在一些實施方案中，第二螢幕裝置102經由網路808(例如，包括網際網路)與在一或多個伺服器電腦上實施的物件管理服務800通信。第二螢幕裝置102亦與電腦112局部地(例如無線地，或通過網路808)通信。在所圖解說明之實施方案中，電腦112執行視訊遊戲816，且進一步顯現視訊遊戲之遊戲玩法視訊以用於呈現在顯示器114上。
在一些實施方案中，第二螢幕裝置102經由網路808將掃描資料傳輸到物件管理服務800。在一些實施方案中，掃描資料經由電腦112傳輸。
物件管理服務800包括識別在掃描資料中捕獲的真實世界物件的物件辨識過程302。在一些實施方案中，機器學習模型304(使用物件資料306訓練)用來自掃描資料辨識真實世界物件。
在一些實施方案中，基於對掃描資料中真實世界物件的識別，實施模型搜索802，該模型搜索針對所識別物件的匹配的預定義3D模型搜索模型庫313。在一些實施方案中，代替擷取預定義模型，模型產生器804產生對應於真實世界物件的新3D模型，該新3D模型被添加到模型庫313。資產產生器806將真實世界物件之特徵及屬性應用於3D模型，以產生儲存到資產庫332的對應之虛擬物件或資產。資產產生器806亦向虛擬物件指派在將虛擬物件部署在其中的虛擬環境的上下文中操作的功能。
所產生的虛擬物件被部署到視訊遊戲816之虛擬環境中且因此成為視訊遊戲遊戲玩法之一部分。
雖然在所圖解說明之實施方案中，物件管理服務800可經由網路808存取，但是在其他實施方案中，物件管理服務之任何部分可在電腦112上或第二螢幕裝置102上實施。舉例而言，在一些實施方案中，模型產生器804在電腦112上實施以產生上傳到模型庫313的新3D模型。在一些實施方案中，資產庫322在電腦112處局部地實施，或者其部分被複製並儲存在電腦112處，以易於由視訊遊戲816存取。
應瞭解，藉由使得視訊遊戲之玩家能夠掃描真實世界物件並將其插入視訊遊戲中，新類型的遊戲玩法機製成為可能。舉例而言，第一玩家可參與視訊遊戲之遊戲玩法，而第二玩家掃描物件並將它們插入視訊遊戲虛擬環境中。在一些實施方案中，第一玩家及第二玩家可協作地玩，使得第二玩家插入虛擬物件旨在幫助第一玩家之遊戲玩法或以其他方式支持第一玩家及第二玩家兩者達成遊戲玩法目標。舉例而言，第二玩家可插入旨在阻止敵人在虛擬環境中特定方向上移動的物件，或者保護第一個玩家免受敵人的傷害等。
在其他實施方案中，第二玩家與第一玩家係對立的，使得將虛擬物件插入視訊遊戲虛擬環境中旨在阻礙或以其他方式防止第一玩家在視訊遊戲中達成其遊戲玩法目標。舉例而言，由第二玩家插入的虛擬物件可旨在阻礙第一玩家之路徑。
在一些實施方案中，多個使用者可將虛擬物件貢獻給相同共享虛擬環境，使得來自不同使用者(在不同位置中)的真實世界物件共同地再現在相同虛擬空間中。這使得使用者能夠進行更多客製化，且此外，使用者可藉由使得使用者能夠插入來自其各別局部環境的物件(包括由各別使用者佩戴或處置的物件)來在共享虛擬環境中更準確地再現。舉例而言，使用者可掃描其最喜歡的一副太陽鏡，且其化身將在虛擬環境中佩戴該太陽鏡。舉例而言，使用者可參與虛擬自備聚餐便飯，並且每個使用者將菜肴插入虛擬環境中。使用者可虛擬地相互展示、共享或演示來自其真實世界局部環境的物件。由於此類物件將以3D形式再現在虛擬環境中且可由使用者操縱，故這可為使用者創造強大的沉浸式效果，尤其是在虛擬實境中。
本揭示案之實施方案可作為遊戲引擎之一部分而包括在內。概括而言，遊戲引擎係提供使得能夠有效開發視訊遊戲的特徵的軟體開發框架。遊戲引擎可包括具有可再用模組以處置遊戲功能之各態樣的軟體庫，該些態樣以舉例之方式而非進行限制地包括：圖形渲染(例如，包括頂點處理、多邊形處理、蔭影、光照、紋理等)、聲音、物理(包括碰撞處置)、動畫、腳本處理、人工智慧、網路、串流傳輸、記憶體管理、線程、局部化支持、場景圖、劇情動畫等。
遊戲引擎可針對不同硬體平台(諸如遊戲控制台、行動裝置、個人電腦等)進行最佳化。以舉例之方式而非進行限制，遊戲引擎可根據平台最佳化記憶體使用(例如，如何優先化圖形管線中的各種任務等)。在一些實施方案中，硬體可為某一特定處理實體之刀鋒式(bladed)版本，諸如遊戲控制台。因此，使用者可被指派給特定刀鋒，該特定刀鋒提供與已最佳化控制台遊戲相同的硬體。
應瞭解，亦可存在遊戲伺服器邏輯來提供串流傳輸及/或其他服務(封包化、編碼、服務品質(QOS)監視、帶寬測試、存取社交網路/朋友等)。
在一些實施方案中，雲端基礎結構可運行管理程序，該管理程序抽象化硬體並提供虛擬機框架，操作系統(OS)可載入在該虛擬機框架上。因此，堆疊可包括在OS上運行的應用程式/視訊遊戲，該OS載入在由管理程序個體化的虛擬機(VM)上，該管理程序載入在下層硬體上。依此方式，執行應用程式不必耦合到特定硬體。
在一些實施方案中，應用程式/視訊遊戲可在容器上執行，該容器在應用程式層處抽象化，從而將程式碼與從屬物封裝在一起，因此使得軟體開發與OS或硬體平台無關，並促進跨平台之軟體可攜性。
在一些實施方案中，採用分佈式遊戲引擎，其中遊戲引擎之不同部分可由不同計算實體處置。舉例而言，遊戲引擎之功能(諸如物理引擎、渲染引擎等(2D/3D圖形)、聲音、腳本處理、動畫、AI、網路、串流傳輸(編碼)、記憶體管理、線程等)可分為不同功能處理區塊及/或分佈在許多不同計算之間的服務。應瞭解，對於分佈式遊戲引擎，需要低延時通信以避免延時問題。為了維持期望之幀速率，計算及通信之總時間應滿足某些限制條件。因此，根據是否可能在更短時間內完成過程，劃分某些任務可能有效或可能無效。
使用分佈式遊戲引擎之優點在於可能利用彈性計算，其中計算資源可根據需要增多或縮減。舉例而言，在傳統地單個硬體伺服器上執行的大型多玩家遊戲中，在例如大約100名玩家之後，硬體資源變得有限，使得無法添加更多玩家。遊戲可使另外的玩家排隊，這意味著玩家必須等待才能加入遊戲。然而，在分佈式遊戲引擎之情況下，藉由使用彈性雲端計算資源，可添加更多計算節點來滿足需求，因此實現例如數千名玩家。遊戲不再受特定硬體伺服器之極限的約束。
因此，雲端遊戲引擎可具有分佈到不同處理實體的功能。應瞭解，不同功能可在不同框架中執行。舉例而言，一些功能(例如，社交)可更容易在容器中運行，而使用連接到GPU的VM可更好地運行圖形。
為了促進雲端遊戲引擎功能的分佈，分佈/同步層可管理作業之分佈，例如發送出作業、接收回資料、識別執行何種任務及何時執行、處置隊列(例如，若作業比需要的完成得更快的話)。在一些實施方案中，若需要，可動態地細分給定任務。舉例而言，動畫可具有光照，且若光照尤其複雜，則該光照可細分為發送出去以供計算並在返回時重新組裝的三個光照作業。因此，若遊戲引擎功能需要更多工作，則可細分它們。
雲端服務提供者以指定性能級別，例如以每秒輸入/輸出操作(「IOPS」)提供計算。因此，遊戲提供者可自雲端服務提供商指定VM、專用處理能力、內存量等，並使用雲端服務提供者之系統來個體化分佈式雲端遊戲引擎。
在一些實施方案中，庫模組及更新處置器可為遊戲引擎之一或多個組件或模組。在一些實施方案中，庫模組及更新處置器可為單獨組件或整合的。在一些實施方案中，庫模組及更新處置器可作為遊戲引擎的補充來操作。在一些實施方案中，遊戲引擎可為分佈式遊戲引擎，如上所述。
如上所述，本揭示案之實施方案可應用於雲端遊戲系統。雲端遊戲系統之一個實例為Playstation® Now雲端遊戲系統。在此種系統中，用戶端裝置可為遊戲控制台，諸如Playstation® 4或Playstation® 5遊戲控制台，或者可為其他裝置，諸如個人電腦、膝上型電腦、平板電腦、手機、行動裝置等。
概括而言，為了實現雲端遊戲，當接收到使用者對遊戲標題之請求時，由與雲端遊戲站點相關聯之資料中心內的一或多個伺服器執行若干操作。當雲端遊戲站點接收到使用者請求時，識別託管與所選遊戲標題相關聯之遊戲之資料中心，且將該請求發送至所識別之資料中心，以便針對所選遊戲標題將遊戲執行個體化。回應於該請求，資料中心處之伺服器識別遊戲程式碼，載入所識別之遊戲程式碼且初始化與遊戲程式碼有關之檔案，以準備向使用者呈現遊戲內容。與遊戲相關聯之遊戲資料可包括通用遊戲資料及使用者特定遊戲資料。因此，初始化檔案可包括識別、載入及初始化通用遊戲資料及使用者特定遊戲資料兩者。初始化通用遊戲資料可包括初始化圖形引擎、安裝圖形資料、初始化聲音檔案、安裝原圖等。初始化使用者特定資料可包括定位、傳送及安裝使用者資料、使用者歷史、遊戲歷史等。
在通用遊戲資料被載入及初始化的同時，可提供「初現」螢幕以在用戶端裝置處顯現。初現螢幕可被設計以提供正在載入之遊戲的代表性影像，以允許使用者預覽正在載入之遊戲之類型。一旦載入了通用遊戲資料，就可顯現特定初始內容，且可呈現選擇/導覽螢幕以供使用者選擇及客製化。在選擇/導覽螢幕上提供之使用者選擇輸入可包括遊戲級別選擇、遊戲圖符選擇、遊戲模式選擇、遊戲獲勝及可能需要上傳額外遊戲內容之其他與使用者相關的資料。在一些實施例中，藉由將遊戲內容自遊戲雲端系統串流傳輸至使用者之計算裝置以用於觀看及互動，使得遊戲內容可用。在一些實施方案中，在載入使用者特定資料之後，遊戲內容可用於玩遊戲。
圖9A圖解說明用來載入可通過雲端遊戲站點獲取之遊戲之遊戲檔案之例示性系統。該系統包括複數個用戶端裝置900，其經由網路902通信地連接至雲端遊戲站點904，該網路可包括LAN、有線、無線、蜂巢式(例如，4G、5G等)或任何其他類型的資料網路，包括網際網路。當自用戶端裝置900接收到存取雲端遊戲站點904之請求時，雲端遊戲站點904存取儲存在使用者資料儲存區908中之使用者帳戶資訊906，以識別與藉以起始該請求之用戶端裝置相關聯之使用者。在一些實施例中，雲端遊戲站點亦可驗證所識別之使用者，以便判定該使用者被授權觀看/玩的所有遊戲。在使用者帳戶識別/驗證之後，雲端遊戲站點存取遊戲標題資料儲存區910以識別在遊戲雲端站點上可用於起始該請求之使用者帳戶之遊戲標題。遊戲標題資料儲存區910又與遊戲資料庫912互動以獲得可用於雲端遊戲站點之所有遊戲之遊戲標題。當引入新遊戲時，將用遊戲程式碼來更新遊戲資料庫912，且將向遊戲標題資料儲存區910提供新引入的遊戲之遊戲標題資訊。當起始請求時，起始請求之用戶端裝置可能已或可能未向雲端遊戲站點註冊。若起始請求之用戶端裝置之使用者並非已註冊使用者，則雲端遊戲站點可將該使用者識別為新使用者，且選擇適合於新使用者之遊戲標題(例如，一組預設之遊戲標題)。如圖9A所示，將所識別之遊戲標題傳回至用戶端裝置以呈現在顯示螢幕900-a上。
偵測顯現在用戶端裝置上之遊戲標題之一處的使用者互動，且向雲端遊戲站點發送信號。該信號包括偵測到使用者互動之遊戲標題資訊及在遊戲標題處註冊之使用者互動。回應於自用戶端裝置接收到信號，雲端遊戲站點主動判定正在託管遊戲之資料中心(例如，資料中心914-a、914-b、914-c或914-d)，且向所識別之資料中心發送信號以載入與偵測到使用者互動的遊戲標題相關聯的遊戲。在一些實施例中，一個以上之資料中心可託管遊戲。在此類實施例中，雲端遊戲站點可判定起始請求之用戶端裝置之地理位置，且識別地理上接近於用戶端裝置之資料中心，且發信號通知資料中心預先載入遊戲。可使用用戶端裝置內之全球定位系統(Global Position System，GPS)機構、用戶端之IP位址、用戶端之ping資訊等來判定使用者之地理位置。當然，偵測使用者之地理位置之前述方式可為例示性的，且可使用其他類型之機構或工具來判定使用者之地理位置。識別接近於用戶端裝置之資料中心可將使用者與遊戲進行互動期間之延時減至最低。在一些實施例中，所識別之資料中心可能不具有託管遊戲所需之頻寬/容量或可能被過度使用。在此等實施例中，雲端遊戲站點可識別地理上接近於用戶端裝置之第二資料中心。載入遊戲包括載入遊戲程式碼且執行遊戲之執行個體。
回應於自雲端遊戲站點接收到信號，所識別之資料中心可選擇資料中心處之伺服器(例如，伺服器916-a、916-b、916-c或916-d)以在該伺服器上將遊戲執行個體化。基於可用之硬體/軟體能力及遊戲要求來選擇伺服器。伺服器可包括複數個遊戲控制台(例如，遊戲控制台918-a、918-b、918-c或918-d)，且伺服器可判定使用複數個遊戲控制台中之哪一者來載入遊戲。遊戲控制台可類似於獨立之遊戲控制台，或者可為機架安裝式伺服器或刀鋒伺服器。刀鋒伺服器又可包括複數個伺服器刀鋒，每一刀鋒具有用於將諸如遊戲之單一專用應用程式執行個體化所需的電路。當然，上述遊戲控制台為例示性的，且不應被理解為限制性的。其他類型之遊戲控制台(包括遊戲站等)及其他形式之刀鋒伺服器亦可用於託管所識別之遊戲。
一旦識別了遊戲控制台，就將遊戲之通用遊戲相關程式碼載入至遊戲控制台上，且經由雲端遊戲站點、經由網路將信號傳回至用戶端裝置，該信號識別在上面將遊戲執行個體化之遊戲控制台。因此，使載入之遊戲可供使用者使用。
圖9B為概念性地圖解說明根據本揭示案之實施方案之各種操作之流程圖，該等操作被執行以用於將雲端視訊遊戲串流傳輸至用戶端裝置。遊戲系統918執行視訊遊戲且產生原始(未壓縮)視訊920及音訊922。對視訊920及音訊922進行捕獲及編碼以用於串流傳輸目的，如在所圖解說明之圖中的參考符號924處所指示。編碼可提供用於壓縮視訊及音訊串流，以減少頻寬使用且最佳化遊戲體驗。編碼格式之實例包括H.265/MPEG-H、H.264/MPEG-4、H.263/MPEG-4、H.262/MPEG-2、WMV、VP6/7/8/9等。
將已編碼音訊926及已編碼視訊928進一步封包化成網路封包，如參考符號932處所指示，以用於經由諸如網際網路之網路進行傳輸之目的。網路封包編碼過程亦可使用資料加密過程，藉此提供增強之資料安全性。在所圖解說明之實施方案中，產生音訊封包934及視訊封包936以用於經由網路進行傳輸，如參考符號940處所指示。
遊戲系統918另外產生觸覺反饋資料930，該觸覺反饋資料亦被封包化成網路封包以用於網路傳輸。在所圖解說明之實施方案中，產生觸覺反饋封包938以用於經由網路進行傳輸，如在參考符號940處進一步指示。
在一或多個伺服器上執行產生原始視訊及音訊以及觸覺反饋資料、對視訊及音訊進行編碼以及將已編碼音訊/視訊及觸覺反饋資料封包化以用於傳輸之前述操作，該一或多個伺服器共同定義雲端遊戲服務/系統。如在參考符號940處所指示，經由諸如且/或包括網際網路之網路來傳輸音訊、視訊及觸覺反饋封包。如參考符號942處所指示，由用戶端裝置解碼/重組音訊封包934、視訊封包936及觸覺反饋封包938以在用戶端裝置處定義已編碼音訊946、已編碼視訊948及觸覺反饋資料950。若資料已經加密，則亦對網路封包進行解密。接著，如參考符號944處所指示，由用戶端裝置對已編碼音訊946及已編碼視訊948進行解碼，以產生用戶端側原始音訊及視訊資料以用於顯現在顯示裝置952上。可處理/傳達觸覺反饋資料950以在控制器裝置956或可藉以顯現觸覺效果之其他介面裝置處產生觸覺反饋效果。觸覺效果之一個實例為控制器裝置956之振動或隆隆聲。
將瞭解，視訊遊戲係回應於使用者輸入，且因此，可執行與上述用於傳輸及處理使用者輸入之程序流程類似、但在自用戶端裝置至伺服器之相反方向上的程序流程。如圖所示，使用者操作控制器裝置956可產生輸入資料958。在用戶端裝置處將此輸入資料958封包化，以用於經由網路傳輸至雲端遊戲系統。由雲端遊戲伺服器對輸入資料封包960進行解封及重組以在伺服器側上定義輸入資料962。將輸入資料962饋送至遊戲系統918，該遊戲系統處理輸入資料962以更新視訊遊戲之遊戲狀態。
在音訊封包934、視訊封包936及觸覺反饋封包938之傳輸(參考符號940)期間，可監視經由網路之資料傳輸以確保雲端遊戲串流之服務品質。舉例而言，如參考符號964所指示，可監視網路狀況，包括上游及下游網路頻寬兩者，且可回應於可用頻寬之變化而調整遊戲串流傳輸。即，可基於當前網路狀況來控制網路封包之編碼及解碼，如參考符號966所指示。
圖10圖解說明資訊服務提供者架構之實施例。資訊服務提供者(ISP) 1070向地理上分散且經由網路1086連接之使用者1082提供大量資訊服務。ISP可提供僅一種類型的服務，諸如股價更新，或多種服務，諸如廣播媒體、新聞、體育、遊戲等。另外，每一ISP所提供之服務係動態的，即，可在任何時間點添加或刪除服務。因此，向特定個人提供特定類型之服務之ISP可能隨時間而改變。舉例而言，當使用者在其家鄉時，可由接近使用者之ISP來服務該使用者，且當使用者旅行到不同城市時，可由不同ISP來服務該使用者。家鄉ISP將把所需之資訊及資料傳送至新ISP，使得使用者資訊「跟隨」使用者來到新城市，從而使資料更接近於使用者且更易於存取。在另一實施例中，可在管理用於使用者之資訊的主控器ISP與在主控器ISP之控制下直接與使用者介接之伺服器ISP之間建立主控器-伺服器關係。在另一實施例中，當用戶端在世界各地移動時，將資料自一個ISP傳送至另一ISP，以使處於更好位置來為使用者提供服務之ISP係提供此等服務之ISP。
ISP 1070包括應用服務提供者(ASP) 1072，該ASP經由網路(例如，包括，以舉例之方式而非限制，任何有線或無線網路、LAN、WAN、WiFi、寬帶、電纜、光纖、衛星、蜂巢式(例如，4G、5G等)、網際網路等)向顧客提供基於電腦之服務。使用ASP模型來提供之軟體有時亦稱為按需軟體或軟體即服務(SaaS)。提供對特定應用程式(諸如顧客關係管理)之存取的一種簡單形式係藉由使用諸如HTTP之標準協定。應用軟體駐留在供應商之系統上，且使用者經由使用HTML之web瀏覽器、藉由供應商所提供之專用用戶端軟體或其他遠端介面(諸如精簡用戶端)對其進行存取。
在廣闊地理區域傳遞之服務經常使用雲端計算。雲端計算係一種計算方式，其中經由網際網路提供動態可縮放且通常虛擬化之資源作為服務。使用者不需要成為支援他們之「雲端」中的技術基礎結構方面之專家。雲端計算可分為不同的服務，諸如基礎結構即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)。雲端計算服務通常在線上提供可自web瀏覽器存取之通用商業應用程式，而軟體及資料儲存在伺服器上。基於在電腦網路圖中如何描繪網際網路，術語雲端被用作網際網路之隱喻(例如，使用伺服器、儲存器及邏輯)，且係對其所隱藏之複雜基礎結構之抽象。
此外，ISP 1070包括遊戲處理伺服器(Game Processing Server，GPS) 1074，遊戲用戶端使用該GPS來玩單玩家及多玩家視訊遊戲。經由網際網路來玩之大多數視訊遊戲經由連接至遊戲伺服器來操作。通常，遊戲使用專用之伺服器應用程式，該應用程式自玩家收集資料且將其散佈至其他玩家。此比同級間配置效率更高且更有效，但其需要單獨之伺服器來託管伺服器應用程式。在另一實施例中，GPS建立玩家之間的通信且其各別玩遊戲裝置交換資訊而不依賴於集中式GPS。
專用GPS係獨立於用戶端而運作之伺服器。此類伺服器通常在位於資料中心內之專用硬體上運作，從而提供更多之頻寬及專用之處理能力。對於大多數基於PC之多玩家遊戲，專用伺服器係託管遊戲伺服器之較佳方法。大規模多玩家線上遊戲在專用伺服器上運行，該等專用伺服器通常由擁有遊戲標題之軟體公司託管，從而允許該等專用伺服器控制及更新內容。
廣播處理伺服器(BPS) 1076將音訊或視訊信號散佈至受眾。向很小範圍之受眾進行廣播有時稱為窄播。廣播散佈之最後一段係信號如何到達聽眾或觀眾，且信號可能像廣播電臺或電視臺一樣以空中方式到達天線及接收器，或可能經由站台或直接自網路經由有線電視或有線廣播(或「無線電纜」)到達。網際網路亦可將廣播或電視帶給接收者，特別是藉由多播，多播允許共享信號及頻寬。歷史上，廣播已經按地理區域來定界，諸如全國廣播或區域廣播。然而，隨著快速網際網路之普及，廣播不受地理限制，此乃因內容幾乎可到達世界上之任何國家。
儲存服務提供者(SSP) 1078提供電腦儲存空間及相關的管理服務。SSP亦提供週期性備份及存檔。藉由提供儲存即服務，使用者可根據需要訂購更多儲存器。另一主要優點係SSP包括備份服務，且在使用者電腦之硬碟機發生故障的情況下，使用者將不會丟失所有資料。此外，複數個SSP可具有使用者資料之全部或部分副本，從而允許使用者以效率高的方式存取資料，而與使用者所在之位置或用來存取資料之裝置無關。舉例而言，當使用者移動時，使用者可存取在家用電腦中以及在行動電話中的個人檔案。
通信提供者1080向使用者提供連接。一種通信提供者為網際網路服務提供者(ISP)，其提供對網際網路之存取。ISP使用適合於遞送網際網路協定資料報之資料傳輸技術(諸如撥號、DSL、電纜數據機、光纖、無線或專用高速互連)來連接其顧客。通信提供者亦可提供訊息傳遞服務，諸如電子郵件、即時訊息傳遞及SMS文字傳遞。另一類型之通信服務提供者為網路服務提供者(NSP)，其藉由提供對網際網路之直接主幹存取來出售頻寬或網路存取。網路服務提供者可由電信公司、資料電信廠商、無線通信提供者、網際網路服務提供者、提供高速網際網路存取之有線電視運營商等組成。
資料交換機1088互連ISP 1070內部之若干模組，且將此等模組經由網路1086連接至使用者1082。資料交換機1088在ISP 1070之所有模組非常靠近的情況下可覆蓋小的區域，或當不同的模組在地理上分散時可覆蓋大的地理區域。舉例而言，資料交換機1088可包括在資料中心之機櫃內的快速十億位元乙太網路(或更快)，或洲際虛擬區域網路(VLAN)。
使用者1082使用用戶端裝置1084存取遠端服務，該用戶端裝置至少包括CPU、記憶體、顯示器和I/O。用戶端裝置可為PC、行動電話、上網本、平板電腦、遊戲系統、PDA等。在一個實施例中，ISP 1070辨識用戶端使用之裝置類型並調整採用的通信方法。在其他情況下，用戶端裝置使用標準通信方法(諸如html)來存取ISP 1070。
本揭示案之實施例可利用各種電腦系統組態來實踐，該等電腦系統組態包括手持式裝置、微處理器系統、基於微處理器的或可程式化的消費電子產品、小型電腦、大型電腦及類似者。亦可在分佈式計算環境中實踐本揭示案，在分佈式計算環境中，任務由經由基於有線的網路或無線網路鏈接之遠端處理裝置執行。
在一些實施例中，可使用無線技術來促進通信。此類技術可包括例如5G無線通信技術。5G係第五代蜂巢式網路技術。5G網路係數位蜂巢式網路，其中提供者覆蓋的服務區域被分為稱為小區之小地理區域。代表聲音及影像的類比信號在電話中經數位化，由類比至數位轉換器轉換並作為位元流傳輸。單元中的所有5G無線裝置藉由無線電波經由收發器自其他單元中重複使用的頻率池指派的頻率信道與單元中的局部天線陣列及低功率自動收發器(發射器及接收器)通信。局部天線藉由高帶寬光纖或無線回傳連接與電話網路及網際網路連接。如同其他單元網路一樣，自一個單元跨越到另一個單元的行動裝置自動地傳送到新單元。應理解，5G網路僅為通信網路之例示性類型，且本揭示案之實施例可利用較早代無線或有線通信，以及5G之後的較晚代有線或無線技術。
考慮到以上實施例，應理解，本揭示案可採用涉及儲存在電腦系統中之資料的各種電腦實施之操作。此等操作係需要對物理量進行實體操縱之操作。形成本揭示案之一部分的本文描述之操作中之任一者係有用的機器操作。本揭示案亦係關於用於執行此等操作之裝置或設備。裝置可出於所需目的專門構造而成，或裝置可為由儲存於電腦中的電腦程式選擇性地啟動或組態之通用電腦。特定而言，各種通用機器可與根據本文中之教示編寫之電腦程式一起使用，或構造更專門之裝置來執行所需操作可能更方便。
本揭示案亦可體現為電腦可讀媒體上之電腦可讀程式碼。或者，可使用上述資料交換互連自伺服器下載電腦可讀程式碼。電腦可讀媒體係可儲存隨後可被電腦系統讀取之資料之任何資料儲存裝置。電腦可讀媒體之實例包括硬碟機、網路附接儲存裝置(NAS)、唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶及其他光學及非光學資料儲存裝置。電腦可讀媒體可包括分佈在耦合網路之電腦系統上之電腦可讀有形媒體，使得電腦可讀碼以分散方式儲存及執行。
儘管方法操作係以特定次序描述，但應理解，其他內務處理操作可在操作之間執行，或可調整操作，使得該等操作在稍微不同之時間發生，或可分散在允許處理操作以與處理相關聯之各種間隔發生之系統中，只要重疊操作之處理係以期望方式執行即可。
儘管為了清楚理解之目的而略微詳細地描述了前述發明，但顯而易見的是，可以在所附申請專利範圍之範疇內做出某些變化及修改。因此，本揭示案之實施例應被理解為說明性的而非限制性的，且本揭示案不限於本文給出之細節，而是可在所描述之實施例之範疇及等效物內進行修改。
100,700,1082:使用者 112:電腦 102:第二螢幕裝置 104,200,600:真實世界物件 106,108,110,500,502,924,940,942,944,964,966:參考符號 208,210,212:操作 114,812:顯示器 116:控制器 118,610:虛擬物件 202:掃描過程 204,308:物件辨識過程 206:特徵/屬性辨識過程 300,302,308,310,312,314,316,318,320,510,512,514:方法操作 304:機器學習模型 306:物件資料 313:模型庫 322:資產庫 400:桌 402:帽子 404:真實世界手電筒 406:真實世界汽車 408,712:虛擬環境 410:虛擬桌 412:虛擬帽子 414:化身 416:虛擬手電筒 418:虛擬汽車 504:繪圖 602,608:視圖 606:可移動滑件 702:頭戴式顯示器(HMD) 704:真實世界局部環境 706:燈 708:盒 710:植物 714:虛擬燈 716:虛擬盒 718:虛擬植物 800:物件管理服務 802:模型搜索 804:模型產生器 806:資產產生器 808,902,1086:網路 810:攝影機 814:掃描邏輯 816:視訊遊戲 900:用戶端裝置 900-a:顯示螢幕 904:雲端遊戲站點 906:使用者帳戶資訊 908:使用者資料儲存區 910:遊戲標題資料儲存區 914-a,914-b,914-c,914-d:資料中心 916-a,916-b,916-c,916-d:伺服器 918:遊戲系統 918-a,918-b,918-c,918-d:遊戲控制台 920:原始視訊 922:原始音訊 926,946:已編碼音訊 928,948:已編碼視訊 930,950:觸覺反饋資料 932:參考數字 934:音訊封包 936:視訊封包 938:觸覺反饋封包 952:顯示裝置 956:控制器裝置 958,962:輸入資料 960:輸入資料封包 1070:資訊服務提供者(ISP) 1072:應用服務提供者(ASP) 1074:遊戲處理伺服器(GPS) 1076:廣播處理伺服器(BPS) 1078:儲存服務提供者(SSP) 1080:通信提供者 1088:資料交換機
藉由參考以下結合附圖進行之描述，可最佳地瞭解本揭示案及其另外之優點。
[圖1]概念性地圖解說明根據本揭示案之實施方案之掃描真實世界物件且將對應之虛擬物件注入視訊遊戲中。 [圖2]概念性地圖解說明根據本揭示案之實施方案之用於辨識及應用基於掃描真實世界物件而產生的虛擬物件的特徵之過程。 [圖3]概念性地圖解說明根據本揭示案之實施方案之用於基於掃描真實世界物件而產生資產以用於部署在虛擬環境中之方法。 [圖4]概念性地圖解說明根據本揭示案之實施方案之將各種類型的物件插入虛擬環境中。 [圖5]概念性地圖解說明根據本揭示案之實施方案之使用二維(2D)影像來使得能夠將虛擬物件插入虛擬環境中。 [圖6]概念性地圖解說明根據本揭示案之實施方案之用於將虛擬物件插入虛擬環境中的使用者介面過程。 [圖7A]及[圖7B]概念性地圖解說明根據本揭示案之實施方案之跟蹤已被插入虛擬環境中的真實世界物件之狀態。 [圖8]概念性地圖解說明根據本揭示案之實施方案之用於將真實世界物件插入虛擬環境中之系統。 [圖9A]圖解說明根據本揭示案之實施方案之用來載入通過雲端遊戲站可用的遊戲的遊戲檔案之例示性系統。 [圖9B]為概念性地圖解說明根據本揭示案之實施方案之各種操作之流程圖，該等操作被執行以用於將雲端視訊遊戲串流傳輸至用戶端裝置。 [圖10]圖解說明根據本揭示案之實施方案之資訊服務提供者架構的實施例。
100:使用者
112:電腦
102:第二螢幕裝置
104:真實世界物件
106,108,110:參考符號
114:顯示器
116:控制器
118:虛擬物件

Claims (19)

  1. 一種用於將一虛擬物件插入一虛擬環境中之方法，該方法應用於雲端遊戲系統，其包含：產生一真實世界物件之一掃描圖；處理該掃描圖以識別該真實世界物件之一類型；基於該真實世界物件之該經識別之類型而產生與該真實世界物件相似之一虛擬物件；基於該真實世界物件之該經識別之類型而向該虛擬物件指派一功能，該功能定義能夠由該虛擬物件在該雲端遊戲系統上執行之一虛擬環境中執行之一動作；將該虛擬物件部署在該虛擬環境中。
  2. 如請求項1之方法，其中產生該真實世界物件之該掃描圖包括捕獲該真實世界物件之一或多個影像。
  3. 如請求項2之方法，其中該真實世界物件之該一或多個影像包括來自環繞該真實世界物件之多個角度之影像。
  4. 如請求項2之方法，其中該捕獲一或多個影像由一手持裝置執行。
  5. 如請求項1之方法，其中處理該掃描圖以識別該真實世界物件之該類型包括應用一機器學習模型以基於該掃描圖辨識該真實世界物件之該類型。
  6. 如請求項1之方法，其中產生該虛擬物件包括獲得該真實世界物件之該經識別之類型之一3D模型。
  7. 如請求項6之方法，其中產生該虛擬物件包括將該真實世界物件之特徵應用於該3D模型。
  8. 如請求項1之方法，其中向該虛擬物件指派該功能包括定義該功能到一控制器輸入以用於啟動該功能之一映射。
  9. 如請求項1之方法，其中將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬環境中放置該虛擬物件之一位置。
  10. 如請求項1之方法，其中將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬物件在該虛擬環境中之一大小。
  11. 如請求項1之方法，其中該虛擬環境係一視訊遊戲或一模擬。
  12. 一種用於將一虛擬物件插入一虛擬環境中之方法，該方法應用於雲端遊戲系統，其包含：接收一真實世界物件之一2D繪圖；處理該2D繪圖以識別該真實世界物件之一類型；基於該真實世界物件之該經識別之類型而產生與該真實世界物件相似之一虛擬物件；基於該真實世界物件之該經識別之類型而向該虛擬物件指派一功能，該功能定義能夠由該虛擬物件在該雲端遊戲系統上執行之一虛擬環境中執行之一動作；將該虛擬物件部署在該虛擬環境中。
  13. 如請求項12之方法，其中接收該真實世 界物件之該2D繪圖包括接收創建該2D繪圖的觸控螢幕輸入。
  14. 如請求項12之方法，其中處理該2D繪圖以識別該真實世界物件之該類型包括應用一機器學習模型以基於該2D繪圖辨識該真實世界物件之該類型。
  15. 如請求項12之方法，其中產生該虛擬物件包括獲得該真實世界物件之該經識別之類型之一3D模型。
  16. 如請求項12之方法，其中向該虛擬物件指派該功能包括定義該功能到一控制器輸入以用於啟動該功能之一映射。
  17. 如請求項12之方法，其中將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬環境中放置該虛擬物件之一位置。
  18. 如請求項12之方法，其中將該虛擬物件部署在該虛擬環境中包括接收使用者輸入以判定該虛擬物件在該虛擬環境中之一大小。
  19. 如請求項12之方法，其中該虛擬環境係一視訊遊戲或一模擬。
TW110123541A 2020-06-30 2021-06-28 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中 TWI786700B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/917,708 2020-06-30
US16/917,708 US11514690B2 (en) 2020-06-30 2020-06-30 Scanning of 3D objects with a second screen device for insertion into a virtual environment

Publications (2)

Publication Number Publication Date
TW202204018A TW202204018A (zh) 2022-02-01
TWI786700B true TWI786700B (zh) 2022-12-11

Family

ID=77207227

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110123541A TWI786700B (zh) 2020-06-30 2021-06-28 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中

Country Status (3)

Country Link
US (1) US11514690B2 (zh)
TW (1) TWI786700B (zh)
WO (1) WO2022005850A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11771982B2 (en) * 2020-02-14 2023-10-03 Real Tech, Llc. Systems and methods for augmented reality role playing entertainment
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US11790671B2 (en) * 2020-10-05 2023-10-17 Crazing Lab, Inc. Vision based light detection and ranging system using multi-fields of view
JP7146884B2 (ja) * 2020-12-08 2022-10-04 株式会社スクウェア・エニックス ビデオゲーム処理プログラム及びビデオゲーム処理システム
US11890544B2 (en) * 2020-12-30 2024-02-06 Blizzard Entertainment, Inc. Prop placement with machine learning
WO2023237949A1 (en) * 2022-06-06 2023-12-14 3M Innovative Properties Company Devices, media, and methods for imaging and measuring walls and décor items
GB2619552A (en) * 2022-06-10 2023-12-13 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
US20240020354A1 (en) * 2022-07-15 2024-01-18 Sony Interactive Entertainment Inc. Validating a real-world object's digital twin

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201246088A (en) * 2011-03-10 2012-11-16 Microsoft Corp Theme-based augmentation of photorepresentative view
TW201737024A (zh) * 2016-03-24 2017-10-16 高通公司 用於將實體環境之虛擬影像整合至虛擬實境之空間關係
US20180005433A1 (en) * 2016-06-30 2018-01-04 Jeffrey Kohler Three-dimensional object scanning feedback
CN110389703A (zh) * 2019-07-25 2019-10-29 腾讯数码（天津）有限公司 虚拟物品的获取方法、装置、终端和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
US10719123B2 (en) 2014-07-15 2020-07-21 Nant Holdings Ip, Llc Multiparty object recognition
WO2019067642A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc APPLICATION PRESENTATION BASED ON AN ENVIRONMENT
US11087136B2 (en) 2018-04-13 2021-08-10 Apple Inc. Scene classification
US20210133850A1 (en) * 2019-11-06 2021-05-06 Adobe Inc. Machine learning predictions of recommended products in augmented reality environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201246088A (en) * 2011-03-10 2012-11-16 Microsoft Corp Theme-based augmentation of photorepresentative view
TW201737024A (zh) * 2016-03-24 2017-10-16 高通公司 用於將實體環境之虛擬影像整合至虛擬實境之空間關係
US20180005433A1 (en) * 2016-06-30 2018-01-04 Jeffrey Kohler Three-dimensional object scanning feedback
CN110389703A (zh) * 2019-07-25 2019-10-29 腾讯数码（天津）有限公司 虚拟物品的获取方法、装置、终端和存储介质

Also Published As

Publication number Publication date
US11514690B2 (en) 2022-11-29
US20230098160A1 (en) 2023-03-30
US20210406575A1 (en) 2021-12-30
TW202204018A (zh) 2022-02-01
WO2022005850A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
TWI786700B (zh) 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中
US11436803B2 (en) Insertion of VR spectator in live video of a live event
US10796489B1 (en) Game engine responsive to motion-capture data for mixed-reality environments
US10424077B2 (en) Maintaining multiple views on a shared stable virtual space
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
US10380798B2 (en) Projectile object rendering for a virtual reality spectator
US10719192B1 (en) Client-generated content within a media universe
JP5137970B2 (ja) ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置
JP2021525911A (ja) マルチサーバクラウド仮想現実（ｖｒ）ストリーミング
JP2020515316A (ja) ３ｄコンテンツの作成、放送、および視聴
JP7050883B2 (ja) 中心窩レンダリングシステムにおける、遅延ライティングの最適化、パーティクルの中心窩適応、及びシミュレーションモデル
TW201205121A (en) Maintaining multiple views on a shared stable virtual space
US20220274027A1 (en) Joining or replaying a game instance from a game broadcast
CN110832442A (zh) 注视点渲染系统中的优化的阴影和自适应网状蒙皮
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
CN113795814A (zh) 虚拟人物现实间跨界
US11494964B2 (en) 2D/3D tracking and camera/animation plug-ins
JP2023552744A (ja) ゲーム内の動的カメラアングル調整
US11998849B2 (en) Scanning of 3D objects for insertion into an augmented reality environment
US20220254082A1 (en) Method of character animation based on extraction of triggers from an av stream
US20220314112A1 (en) Adjustable robot for providing scale of virtual assets and identifying objects in an interactive scene