TW202300201A - 興趣點之重複性預測 - Google Patents
興趣點之重複性預測 Download PDFInfo
- Publication number
- TW202300201A TW202300201A TW111116103A TW111116103A TW202300201A TW 202300201 A TW202300201 A TW 202300201A TW 111116103 A TW111116103 A TW 111116103A TW 111116103 A TW111116103 A TW 111116103A TW 202300201 A TW202300201 A TW 202300201A
- Authority
- TW
- Taiwan
- Prior art keywords
- interest
- points
- repeatability
- point
- game
- Prior art date
Links
- 230000006870 function Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 46
- 230000003252 repetitive effect Effects 0.000 claims description 25
- 230000004807 localization Effects 0.000 abstract description 14
- 238000013459 approach Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 10
- 238000013480 data collection Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/90—Identifying an image sensor based on its output data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本發明描述用於基於在擷取包含興趣點之一場景之影像中偵測該興趣點之一重複性來評估該興趣點以供定位使用之方法。藉由使用一經訓練重複性模型而判定興趣點之該重複性。藉由分析一場景之一時間序列之影像且判定該場景中之各興趣點之重複性函數而訓練該重複性模型。藉由識別該時間序列之影像中之哪些影像允許由一興趣點偵測模型偵測該興趣點而判定該重複性函數。
Description
所描述之標的大體上係關於攝影機定位,且特定言之,係關於判定興趣點之重複性以評估一興趣點在攝影機定位應用中之可用性。
問題
攝影機定位通常係指使用藉由攝影機擷取之影像來判定一攝影機在一環境內之位置及定向(姿勢)之一程序。攝影機定位具有一廣泛且不斷增加範圍之用途。在擴增實境(AR)應用中,一虛擬環境與一真實世界環境共置。若準確地判定擷取真實世界環境之影像之一攝影機之姿勢(例如,一視訊饋給),則虛擬元素可精確地疊加於真實世界環境之描繪上。舉例而言,可將一虛擬帽子放置於一真實雕像之頂部上,可將一虛擬角色部分描繪於實體物件後面,及類似者。
可藉由識別由攝影機擷取之一影像內之興趣點並將興趣點映射至3維(3D)地圖而執行攝影機定位。然而,歸因於真實世界中之不斷變化狀況,興趣點可能不時從一場景消失。舉例而言,歸因於移動車輛在一興趣點前面通過,該興趣點可能不時消失。在另一實例中,照明條件可能導致用於偵測興趣點之一模型錯過對一場景之影像內之一興趣點之識別。因而,需要能夠判定一興趣點將多穩定以能夠判定興趣點是否係用於定位目的之一適合候選者。
本發明描述用於基於在擷取包含興趣點之一場景之影像中偵測興趣點之重複性來評估興趣點以供定位使用之方法。藉由使用一經訓練重複性模型而判定興趣點之重複性。藉由分析一場景之一時間序列之影像且判定場景中之各興趣點之重複性函數而訓練重複性模型。藉由識別時間序列之影像中之哪些影像允許由一興趣點偵測模型偵測興趣點而判定重複性函數。
重複性模型可用於藉由濾除在一當前時間期間不可能偵測到之興趣點而產生一摘要地圖。此外,重複性模型可用於識別一輸入影像內之興趣點以查詢一3D地圖用於接收資訊以執行用於判定擷取輸入影像之一攝影機之一姿勢之一定位演算法。
相關申請案之交叉參考
本申請案主張2021年4月30日申請之美國臨時申請案第63/182,648號之權利,該案之全部內容以引用之方式併入。
圖及以下描述僅藉由圖解描述某些實施例。熟習此項技術者將從以下描述辨識,可在不脫離所描述之原理之情況下採用結構及方法之替代實施例。在可行的所有情況下,在圖中使用類似或相同元件符號以指示類似或相同功能性。在元件共用一共同數字,後接一不同字母之情況下,此指示元件係類似的或相同的。除非上下文另有指示,否則單獨對數字之引用通常係指此等元件之任一者或任何組合。
在一平行實境遊戲之上下文中描述各項實施例,該平行實境遊戲包含一虛擬世界地理中之擴增實境內容,其與真實世界地理之至少一部分平行,使得玩家在真實世界中之移動及動作影響虛擬世界中之動作。另外,基於電腦之系統之固有靈活性允許系統之組件之間及當中之任務及功能性之多種可能組態、組合及劃分。
實例性基於位置之平行實境遊戲
圖1係與真實世界100平行之一虛擬世界110之一概念圖。虛擬世界110可充當一平行實境遊戲之玩家之遊戲板。如繪示,虛擬世界110包含與真實世界100之地理平行之一地理。特定言之,在真實世界100中界定一地理區域或空間之一座標範圍映射至在虛擬世界110中界定一虛擬空間之一對應座標範圍。真實世界100中之座標範圍可與市鎮、鄰里、城市、校園、場域、國家、大洲、全球或其他地理區域相關聯。地理座標範圍中之各地理座標映射至虛擬世界110中之一虛擬空間中之一對應座標。
一玩家在虛擬世界110中之位置對應於玩家在真實世界100中之位置。例如,定位於真實世界100中之位置112處之玩家A在虛擬世界110中具有一對應位置122。類似地,定位於真實世界100中之位置114處之玩家B在虛擬世界110中具有一對應位置124。當玩家在真實世界100中之一地理座標範圍中四處移動時,玩家亦在界定虛擬世界110中之虛擬空間之座標範圍中四處移動。特定言之,與由玩家攜帶之一行動運算裝置相關聯之一定位系統(例如,一GPS系統、一定位系統或兩者)可用於在玩家在真實世界100中之地理座標範圍巡遊時追蹤玩家之位置。與玩家在真實世界100中之位置相關聯之資料用於更新玩家在界定虛擬世界110中之虛擬空間之對應座標範圍中之位置。以此方式,玩家可藉由簡單地在真實世界100中之對應地理座標範圍當中行進而在界定虛擬世界110中之虛擬空間之座標範圍中沿一連續軌跡巡遊,而不必登入或週期性地更新真實世界100中之特定離散位置處之位置資訊。
基於位置之遊戲可包含要求玩家行進至散佈於虛擬世界110中之各種虛擬位置處之各種虛擬元素或虛擬物件或與其等互動之遊戲目標。一玩家可藉由行進至虛擬元素或物件在真實世界100中之對應位置而行進至此等虛擬位置。例如,一定位系統可追蹤玩家之位置,使得當玩家巡遊真實世界100時,玩家亦巡遊平行虛擬世界110。接著,玩家可與特定位置處之各種虛擬元素或物件互動以達成或執行一或多個遊戲目標。
一遊戲目標可使玩家與定位於虛擬世界110中之各種虛擬位置處之虛擬元素130互動。此等虛擬元素130可連結至真實世界100中之地標、地理位置或物件140。真實世界地標或物件140可為藝術品、紀念碑、建築物、企業、圖書館、博物館或其他適合真實世界地標或物件。互動包含奪得(capturing)、獲得所有權(claiming ownership of)、使用某一虛擬物項、花費一些虛擬貨幣等。為奪得此等虛擬元素130,一玩家行進至連結至真實世界中之虛擬元素130之地標或地理位置140且執行與虛擬世界110中之虛擬元素130之任何必要互動(如藉由遊戲規則定義)。舉例而言,玩家A可能必須行進至真實世界100中之一地標140以與連結於該特定地標140之一虛擬元素130互動或奪得該虛擬元素130。與虛擬元素130之互動可能需要真實世界中之動作,諸如拍攝照片或驗證、獲得或擷取關於與虛擬元素130相關聯之地標或物件140之其他資訊。
遊戲目標可能要求玩家使用藉由玩家在基於位置之遊戲中收集之一或多個虛擬物項。例如,玩家可在虛擬世界110行進尋求可用於完成遊戲目標之虛擬物項132 (例如,武器、生物、能力升級(power up)或其他物項)。可藉由行進至真實世界100中之不同位置或藉由在虛擬世界110或真實世界100中完成各種動作(諸如與虛擬元素130互動、與非玩家角色或其他玩家戰鬥或完成任務(quest)等)而發現或收集此等虛擬物項132。在圖1中展示之實例中,一玩家使用虛擬物項132來奪得一或多個虛擬元素130。特定言之,一玩家可將虛擬物項132部署於虛擬世界110中接近虛擬元素130或在虛擬元素130內之位置。以此方式部署一或多個虛擬物項132可導致針對玩家或針對玩家之團隊/派別(faction)奪得虛擬元素130。
在一個特定實施方案中,一玩家可能必須收集虛擬能量作為平行實境遊戲之部分。虛擬能量150可散佈於虛擬世界110中之不同位置處。一玩家可藉由行進至對應於虛擬能量在虛擬世界110中之位置之真實世界100中之位置(或在該位置之一臨限距離內)而收集虛擬能量150。虛擬能量150可用於供應能量給虛擬物項或執行遊戲中之各種遊戲目標。失去全部虛擬能量150之一玩家可與遊戲斷開連接或被阻止玩遊戲達一定時間量或直至其等已收集額外虛擬能量150。
根據本發明之態樣,平行實境遊戲可為一大型多玩家基於位置之遊戲,其中遊戲中之每一參與者共用同一虛擬世界。玩家可被劃分成分開的團隊或派別且可一起合作以達成一或多個遊戲目標,諸如奪得或獲得一虛擬元素之所有權。以此方式,平行實境遊戲本質上可為鼓勵遊戲內玩家當中之合作之一社群遊戲。來自對抗團隊之玩家可在平行實境遊戲期間相互對抗(或有時協作以達成共同目標)。一玩家可使用虛擬物項來攻擊或阻礙對抗團隊之玩家取得進展。在一些情況中,鼓勵玩家集合於真實世界位置處以進行平行實境遊戲中之合作或互動事件。在此等情況中,遊戲伺服器試圖確保玩家實際上實體存在且並非偽裝其等之位置。
圖2描繪一遊戲介面200之一項實施例,其可作為玩家與虛擬世界110之間之介面之部分呈現(例如,在玩家之智慧型電話上)。遊戲介面200包含一顯示視窗210,該顯示視窗210可用於顯示虛擬世界110及遊戲之各種其他態樣,諸如玩家位置122及虛擬元素130、虛擬物項132及虛擬能量150在虛擬世界110中之位置。使用者介面200亦可顯示其他資訊,諸如遊戲資料資訊、遊戲通信、玩家資訊、用戶端位置驗證指令及與遊戲相關聯之其他資訊。舉例而言,使用者介面可顯示玩家資訊215,諸如玩家名稱、經驗等級及其他資訊。使用者介面200可包含用於存取各種遊戲設定及與遊戲相關聯之其他資訊的一選單220。使用者介面200亦可包含一通信介面230,該通信介面230實現遊戲系統與玩家之間及平行實境遊戲之一或多個玩家之間的通信。
根據本發明之態樣,一玩家可藉由在真實世界中隨身攜帶一用戶端裝置310而與平行實境遊戲互動。例如,一玩家可藉由在一智慧型電話上存取與平行實境遊戲相關聯之一應用程式且帶著智慧型電話在真實世界中四處移動來玩遊戲。在此方面,玩家不必為了玩基於位置之遊戲而在一顯示螢幕上連續觀看虛擬世界之一視覺表示。因此,使用者介面200可包含允許一使用者與遊戲互動之非視覺元素。例如,當玩家接近遊戲中之一虛擬元素或物件時或當平行實境遊戲中發生一重要事件時,遊戲介面可向玩家提供聲響通知。在一些實施例中,一玩家可運用音訊控制件240來控制此等聲響通知。可取決於虛擬元素或事件之類型而向使用者提供不同類型之聲響通知。取決於一玩家與一虛擬元素或物件之近接程度,聲響通知可增大或減小頻率或音量。可向使用者提供其他非視覺通知及信號,諸如一振動通知或其他適合通知或信號。
在一些實施例中,虛擬世界同時在多個玩家當中共用。即,對於在同一虛擬世界中互動之全部使用者,放置於虛擬世界中之虛擬物件將出現在相同(或實質上相同)位置處。此外,使用者與虛擬物件互動影響在同一虛擬世界中互動之其他使用者之遊戲玩法。舉例而言,若一第一玩家將一虛擬物件從一第一位置移動至一第二位置,則在同一虛擬世界中互動之其他玩家將經歷物件從第一位置移動至第二位置。
在其中虛擬世界中之位置對應於真實世界中之位置之一平行世界設定中,虛擬物項在虛擬世界中之位置對應於真實世界中之位置。當使用一擴增實境應用程式與虛擬世界互動時,瞭解用於產生擴增實境內容之攝影機之位置係有益的。此外,由於多個使用者可能夠經由其等各自擴增實境介面看見同一虛擬物件且與其互動,故瞭解用於產生虛擬實境內容之攝影機之實際姿勢亦為有益的。即,藉由瞭解用於產生擴增實境內容之攝影機之位置及姿勢,可改良呈現給玩家之擴增實境介面內之虛擬內容之定位及定向,從而在多個玩家同時與虛擬世界中之同一物件互動時導致一更準確體驗。
平行實境遊戲可具有各種特徵以增強及鼓勵平行實境遊戲內之遊戲玩法。例如,玩家可累積一虛擬貨幣或可在整個遊戲中使用(例如,以購買遊戲內物項、兌換其他物項、製作物項等)之另一虛擬獎勵(例如,虛擬代幣、虛擬點數、虛擬材料資源等)。隨著玩家完成一或多個遊戲目標且在遊戲內獲得經驗,玩家可行進遍歷各個級別。玩家亦可能夠獲得可用於在遊戲內完成遊戲目標之增強「力量」或虛擬物項。
一般技術者使用所提供之揭示內容將瞭解,眾多遊戲介面組態及基礎功能性係可行的。除非相反地明確規定,否則本發明不意欲限於任一特定組態。
例示性基於位置之平行實境遊戲系統
在一平行實境遊戲之上下文中描述各項實施例,該平行實境遊戲包含一虛擬世界地理中之擴增實境內容,其與真實世界地理之至少一部分平行,使得玩家在真實世界中之移動及動作影響虛擬世界中之動作且反之亦然。一般技術者使用本文中提供之揭示內容將理解,所描述之標的物可應用於期望判定一影像內之一興趣點之重複性之其他情境中。另外,基於電腦之系統之固有靈活性允許系統之組件之間及當中之任務及功能性之多種可能組態、組合及劃分。例如,可使用一單一運算裝置或跨多個運算裝置(例如,連接於一電腦網路中)實施根據本發明之態樣之系統及方法。
圖3繪示一網路連結運算環境300之一項實施例。網路連結運算環境300使用一用戶端-伺服器架構,其中一遊戲伺服器320經由一網路370與一用戶端裝置310通信以在用戶端裝置310處向一玩家提供一平行實境遊戲。網路連結運算環境300亦可包含其他外部系統,諸如贊助商/廣告商系統或商業系統。儘管圖3中僅展示一個用戶端裝置310,然任何數目個用戶端裝置310或其他外部系統可經由網路370連接至遊戲伺服器320。此外,網路連結運算環境300可含有不同或額外元件且功能性可以不同於下文描述之方式分佈於用戶端裝置310與伺服器320之間。
網路連結運算環境300提供具有與真實世界平行之一地理之一虛擬世界中之玩家之互動。特定言之,真實世界中之一地理區域可直接連結或映射至虛擬世界中之一對應區域。一玩家可藉由移動至真實世界中之各種地理位置而在虛擬世界中四處移動。例如,一玩家在真實世界中之位置可經追蹤且用於更新玩家在虛擬世界中之位置。通常,藉由找到玩家透過其正與虛擬世界互動之一用戶端裝置310之位置且假定玩家處於同一(或近似同一)位置而判定玩家在真實世界中之位置。舉例而言,在各項實施例中,若玩家在真實世界中之位置在對應於虛擬世界中之一虛擬元素之虛擬位置之真實世界位置之一臨限距離(例如,10米、20米等)內,則玩家可與虛擬元素互動。為了方便起見,參考「玩家之位置」描述各項實施例但熟習此項技術者將瞭解,此等參考可指代玩家之用戶端裝置310之位置。
網路連結運算環境300使用一用戶端-伺服器架構,其中一遊戲伺服器320經由一網路370與一用戶端裝置310通信以在用戶端裝置310處向玩家提供一平行實境遊戲。網路連結運算環境300亦可包含其他外部系統,諸如贊助商/廣告商系統或商業系統。儘管圖3中僅繪示一個用戶端裝置310,然任何數目個用戶端310或其他外部系統可經由網路370連接至遊戲伺服器320。此外,網路連結運算環境300可含有不同或額外元件且功能性可以不同於下文描述之一方式分佈於用戶端裝置310與伺服器320之間。
一用戶端裝置310可為能夠被一玩家使用以與遊戲伺服器320介接之任何可攜式運算裝置。例如,一用戶端裝置310較佳地係可由一玩家攜帶之一可攜式無線裝置,諸如一智慧型電話、可攜式遊戲裝置、擴增實境(AR)頭戴套件、蜂巢式電話、平板電腦、個人數位助理(PDA)、導航系統、手持式GPS系統或其他此類裝置。對於一些使用情況,用戶端裝置310可為一行動性較差裝置,諸如一桌上型或一膝上型電腦。此外,用戶端裝置310可為具有一內建運算裝置之一車輛。
用戶端裝置310與遊戲伺服器320通信,從而向遊戲伺服器320提供一物理環境之感測資料。用戶端裝置310包含一攝影機總成312,該攝影機總成312擷取用戶端裝置310所處之物理環境中之一場景之二維影像資料。在圖3中展示之實施例中,各用戶端裝置310包含軟體組件,諸如一遊戲模組314及一定位模組316。用戶端裝置310亦包含一定位模組318。用戶端裝置310可包含用於接收來自一玩家之資訊及/或向一玩家提供資訊之各種其他輸入/輸出裝置。實例性輸入/輸出裝置包含一顯示螢幕、一觸控螢幕、一觸控板、資料鍵入按鍵、揚聲器及適於語音辨識之一麥克風。用戶端裝置310亦可包含用於記錄來自用戶端裝置310之資料之其他各種感測器,包含(但不限於)移動感測器、加速度計、陀螺儀、其他慣性量測單元(IMU)、氣壓計、定位系統、溫度計、光感測器等。用戶端裝置310可進一步包含用於經由網路370提供通信之一網路介面。一網路介面可包含用於與一或多個網路介接之任何適合組件,包含(舉例而言)傳輸器、接收器、埠、控制器、天線或其他適合組件。
攝影機總成312包含可擷取影像資料之一或多個攝影機。攝影機擷取描述具有一特定姿勢(攝影機在環境內之位置及定向)之用戶端裝置310周圍之環境之一場景之影像資料。攝影機總成312可使用具有不同色彩擷取範圍及不同擷取速率之多種光感測器。類似地,攝影機總成312可包含具有一系列不同透鏡(諸如一廣角透鏡或一望遠透鏡)之攝影機。攝影機總成312可經組態以擷取單一影像或作為一視訊之圖框之多個影像。
此外,攝影機總成312之定向可平行於地面,其中攝影機總成312瞄準地平線。攝影機總成312擷取影像資料且與用戶端裝置310上之運算裝置共用影像資料。影像資料可附加描述包含感測資料(例如,溫度、環境亮度)或擷取資料(例如,曝光、暖度、快門速度、焦距、擷取時間等)之影像資料之其他細節之後設資料。攝影機總成312可包含可擷取影像資料之一或多個攝影機。在一個例項中,攝影機總成312包括一個攝影機且經組態以擷取單眼影像資料。在另一例項中,攝影機總成312包括兩個攝影機且經組態以擷取立體影像資料。在各種其他實施方案中,攝影機總成312包括各經組態以擷取影像資料之複數個攝影機。
用戶端裝置310亦可包含用於收集關於用戶端裝置周圍之環境之資料之額外感測器,諸如移動感測器、加速度計、陀螺儀、氣壓計、溫度計、光感測器、麥克風等。藉由攝影機總成312擷取之影像資料可附加描述關於影像資料(諸如額外感測資料(例如,溫度、環境亮度、氣壓、位置、姿勢等)或擷取資料(例如,曝光長度、快門速度、焦距、擷取時間等))之其他資訊之後設資料。
遊戲模組314向一玩家提供用以參與平行實境遊戲之一介面。遊戲伺服器320經由網路370將遊戲資料傳輸至用戶端裝置310以供用戶端裝置310處之遊戲模組314使用,以向遠離遊戲伺服器320之位置處之玩家提供遊戲之本端版本。遊戲伺服器320可包含用於經由網路370提供通信之一網路介面。一網路介面可包含用於與一或多個網路介接之任何適合組件,包含(舉例而言)傳輸器、接收器、埠、控制器、天線或其他適合組件。
遊戲模組314向一玩家提供用以參與平行實境遊戲之一介面。遊戲伺服器320經由網路370將遊戲資料傳輸至用戶端裝置310以供遊戲模組314使用,以向遠離遊戲伺服器之位置處之一玩家提供遊戲之一本端版本。在一項實施例中,遊戲模組314在用戶端裝置310之一顯示器上呈現一使用者介面,該使用者介面描繪一虛擬世界(例如,呈現虛擬世界之影像)且允許一使用者與虛擬世界互動以執行各種遊戲目標。在一些實施例中,遊戲模組314呈現用來自平行實境遊戲之虛擬元素增強之真實世界之影像(例如,藉由攝影機總成312擷取)。在此等實施例中,遊戲模組314可根據從用戶端裝置310之其他組件接收之其他資訊產生或調整虛擬內容。舉例而言,遊戲模組314可根據在影像資料中擷取之場景之一深度圖來調整待在使用者介面上顯示之一虛擬物件。
遊戲模組314亦可控制各種其他輸出以允許一玩家與遊戲互動而無需玩家觀看一顯示螢幕。例如,遊戲模組314可控制允許玩家在未查看顯示螢幕之情況下玩遊戲之各種音訊、振動或其他通知。遊戲模組314可存取從遊戲伺服器320接收之遊戲資料以向使用者提供遊戲之一準確表示。遊戲模組314可接收並處理玩家輸入且經由網路370向遊戲伺服器320提供更新。遊戲模組314亦可產生及/或調整待藉由用戶端裝置310顯示之遊戲內容。舉例而言,遊戲模組314可基於深度資訊產生一虛擬元素。
定位模組316可為用於判定用戶端裝置310之位置之任何裝置或電路系統。舉例而言,定位模組316可藉由使用一衛星導航定位系統(例如,一GPS系統、一伽利略定位系統、全球導航衛星系統(GLONASS)、北斗衛星導航及定位系統)、一慣性導航系統、一航位推算系統、IP位址分析、三角量測及/或近接蜂巢式塔或Wi-Fi熱點或其他適合技術而判定實際或相對位置。
當玩家在真實世界中帶著用戶端裝置310四處移動時,定位模組316追蹤玩家之位置且向遊戲模組314提供玩家位置資訊。遊戲模組314基於玩家在真實世界中之實際位置而更新與遊戲相關聯之虛擬世界中之玩家位置。因此,一玩家可簡單地藉由在真實世界中攜帶或運輸用戶端裝置310而與虛擬世界互動。特定言之,玩家在虛擬世界中之位置可對應於玩家在真實世界中之位置。遊戲模組314可經由網路370向遊戲伺服器320提供玩家位置資訊。作為回應,遊戲伺服器320可制定各種技術以驗證用戶端裝置310之位置以防止作弊者偽裝其等位置。應瞭解,僅在已向一玩家通知待存取玩家之位置資訊且在遊戲之上下文中待如何利用位置資訊(例如,以更新虛擬世界中之玩家位置)之後授予許可的情況下利用與玩家相關聯之位置資訊。另外,以保護玩家隱私之一方式儲存並維護與玩家相關聯之任何位置資訊。
定位模組318接收藉由定位模組316針對用戶端裝置310判定之位置且藉由判定攝影機總成312之一或多個攝影機之一姿勢來細化該位置。在一項實施例中,定位模組318使用藉由定位模組316產生之位置來選擇用戶端裝置310周圍之環境之一3D地圖。定位模組318可從本端儲存器或從遊戲伺服器320獲得3D地圖。3D地圖可為一點雲、網格或用戶端裝置310周圍之環境之任何其他適合3D表示。
在一項實施例中,定位模組318應用一經訓練模型以判定藉由攝影機總成312擷取之影像相對於3D地圖之姿勢。因此,定位模型可判定用戶端裝置310之位置及定向之一準確(例如,在幾公分及幾度內)判定。接著,可使用基於感測器讀數、週期性重新定位或該兩者之一組合之航位推算隨時間追蹤用戶端裝置310之位置。具有用戶端裝置310之一準確姿勢可使遊戲模組314能夠以給出虛擬物件正與真實世界互動之印象之方式呈現疊加於真實世界之影像(例如,藉由在一顯示器上顯示虛擬元素以及來自攝影機總成312之一即時饋給)或真實世界本身(例如,藉由在一AR頭戴套件之一透明顯示器上顯示虛擬元素)上之虛擬內容。舉例而言,一虛擬角色可能躲藏於一真實樹後面,一虛擬帽子可放置於一真實雕像上,或若一真人過快地接近一虛擬生物,則其可能逃跑並躲藏。
在一些實施例中,由定位模組318使用之模型經訓練以自藉由一攝影機擷取之一或多個影像相對於用戶端裝置310周圍之物理環境之一或多個現有影像判定該攝影機之相對姿勢。在一項實施例中,定位模組318可參考現有影像之一或多者之已知絕對姿勢將相對姿勢轉換成一絕對姿勢。舉例而言,遊戲資料庫315可儲存藉由具有不同姿勢之攝影機擷取之物理環境之一組參考影像。各參考影像之絕對姿勢可與參考影像相關聯地儲存(例如,作為後設資料)。因此,一旦已相對於參考影像之一或多者判定用戶端裝置310之攝影機之姿勢,便可使用參考影像之絕對姿勢及攝影機之相對姿勢來判定用戶端裝置之攝影機之絕對姿勢。
遊戲伺服器320包含向用戶端裝置310提供遊戲功能性之一或多個運算裝置。遊戲伺服器320可包含一遊戲資料庫330或可與一遊戲資料庫330通信。遊戲資料庫330儲存在平行實境遊戲中使用之遊戲資料以經由網路370伺服或提供給用戶端裝置310。
儲存於遊戲資料庫330中之遊戲資料可包含:(1)與平行實境遊戲中之虛擬世界相關聯之資料(例如,用於在一顯示裝置上呈現虛擬世界之影像資料、虛擬世界中之位置之地理座標等);(2)與平行實境遊戲之玩家相關聯之資料(例如,玩家設定檔,包含(但不限於)玩家資訊、玩家經驗等級、玩家貨幣、虛擬世界/真實世界中之當前玩家位置、玩家能量位凖、玩家偏好、團隊資訊、派別資訊等);(3)與遊戲目標相關聯之資料(例如,與當前遊戲目標、遊戲目標之狀態、過去遊戲目標、未來遊戲目標、所要遊戲目標等相關聯之資料);(4)與虛擬世界中之虛擬元素相關聯之資料(例如,虛擬元素之位置、虛擬元素之類型、與虛擬元素相關聯之遊戲目標;虛擬元素之對應實際世界位置資訊;虛擬元素之行為、虛擬元素之相關性等);(5)與真實世界物件、地標、連結至虛擬世界元素之位置相關聯之資料(例如,真實世界物件/地標之位置、真實世界物件/地標之描述、連結至真實世界物件之虛擬元素之相關性等);(6)遊戲狀態(例如,當前玩家數目、遊戲目標之當前狀態、玩家排行榜等);(7)與玩家動作/輸入相關聯之資料(例如,當前玩家位置、過去玩家位置、玩家移動、玩家輸入、玩家查詢、玩家通信等);或(8)在實施平行實境遊戲期間使用、相關或獲得之任何其他資料。可由系統管理員或藉由從系統之使用者(例如,玩家) (諸如經由網路370從一用戶端裝置310)接收之資料離線或即時填入儲存於遊戲資料庫330中之遊戲資料。
遊戲伺服器320可經組態以接收來自一用戶端裝置310之對遊戲資料之請求(例如經由遠端程序呼叫(RPC))且經由網路370回應於該等請求。例如,遊戲伺服器320可將遊戲資料編碼成一或多個資料檔案且向用戶端裝置310提供該等資料檔案。另外,遊戲伺服器320可經組態以經由網路370接收來自一用戶端裝置310之遊戲資料(例如,玩家位置、玩家動作、玩家輸入等)。例如,用戶端裝置310可經組態以將玩家輸入及其他更新週期性地發送至遊戲伺服器320,該遊戲伺服器320使用其等來更新遊戲資料庫315中之遊戲資料以反映遊戲之任何及全部改變狀況。
在圖3中展示之實施例中,遊戲伺服器320包含一通用遊戲模組322、一商業遊戲模組323、一資料收集模組324、一事件模組326、一重複性訓練系統380、重複性模型385、一地圖繪製系統327及一3D地圖328。如上文提及,遊戲伺服器320與可為遊戲伺服器320之部分或遠端存取之一遊戲資料庫315互動(例如,遊戲資料庫315可為經由網路370存取之一分佈式資料庫)。在其他實施例中,遊戲伺服器320含有不同及/或額外元件。另外,功能可以不同於描述之一方式分佈於元件當中。例如,遊戲資料庫315可整合至遊戲伺服器320中。
通用遊戲模組322為一組玩家(例如,平行實境遊戲之全部玩家)託管平行實境遊戲之一例項且充當該組玩家之平行實境遊戲之當前狀態之權威源。作為主機,通用遊戲模組322產生遊戲內容用於(例如,經由其等各自用戶端裝置310)呈現給玩家。通用遊戲模組322可在託管平行實境遊戲時存取遊戲資料庫330以擷取或儲存遊戲資料。通用遊戲模組322亦可接收來自用戶端裝置310之遊戲資料(例如,深度資訊、玩家輸入、玩家位置、玩家動作、地標資訊等)且將所接收之遊戲資料併入平行實境遊戲之整組玩家之整體平行實境遊戲中。通用遊戲模組322亦可管理經由網路370將遊戲資料遞送至用戶端裝置310。在一些實施例中,通用遊戲模組322亦管控用戶端裝置310與平行實境遊戲之互動之安全態樣,諸如保全用戶端裝置與遊戲伺服器320之間之連接,在各種用戶端裝置之間建立連接,或驗證各種用戶端裝置310之位置以防止玩家藉由偽裝其等位置而作弊。
商業遊戲模組323可與通用遊戲模組322分開或作為通用遊戲模組322之一部分。商業遊戲模組323可管理在平行實境遊戲內包含與真實世界中之一商業活動連結之各種遊戲特徵。例如,商業遊戲模組323可經由網路370接收來自諸如贊助商/廣告商、企業或其他實體之外部系統之請求以包含與真實世界中之商業活動連結之遊戲特徵。接著,商業遊戲模組323可在確認連結之商業活動已發生時配置將此等遊戲特徵包含於平行實境遊戲中。舉例而言,若一企業向平行實境遊戲之提供者支付一商定金額,則識別企業之一虛擬物件可出現在平行實境遊戲中對應於企業(例如,一商店或餐廳)之一真實世界位置之一虛擬位置處。
資料收集模組324可與通用遊戲模組322分開或作為通用遊戲模組322之一部分。資料收集模組324可管理在平行實境遊戲內包含與真實世界中之一資料收集活動連結之各種遊戲特徵。例如,資料收集模組324可修改儲存於遊戲資料庫330中之遊戲資料以在平行實境遊戲中包含與資料收集活動連結之遊戲特徵。資料收集模組324亦可分析藉由玩家按照資料收集活動收集之資料且提供資料以供各種平台存取。
事件模組326管理對平行實境遊戲中之事件之玩家存取。儘管為了方便起見使用術語「事件」,然應瞭解,此術語無需指代一特定位置或時間之一特定事件。實情係,其可指代存取控制遊戲內容之任何佈建,其中使用一或多個存取準則來判定玩家是否可存取該內容。此內容可為包含具有較少存取控制或不具有存取控制之遊戲內容之一較大平行實境遊戲之部分或可為一獨立存取控制平行實境遊戲。
重複性訓練系統380訓練重複性模型385。重複性訓練系統380接收影像資料用於訓練重複性模型385。通常,重複性訓練系統380將一時間序列之影像輸入至重複性模型385中以產生或預測影像中識別之興趣點之一重複性函數。如本文中使用,一興趣點係一地理區域內之物件及表面上之一3D點,具有允許該點在其描繪(例如,影像或視訊)中被穩健地偵測之特性。興趣點可在影像(或視訊)中描繪且其等可能藉由識別描繪興趣點之影像之部分而在影像內識別。重複性訓練系統380可使用一監督式訓練演算法來訓練重複性模型385。重複性訓練系統380可定義重複性模型之一總損失臨限值,該總損失臨限值可用於判定重複性模型在估計一重複性函數時是否足夠準確。
一旦重複性模型385被訓練,重複性模型便接收關於一興趣點之資料(例如,描繪一興趣點之影像資料)且輸出興趣點之重複性之預測。如本文中使用,重複性係指將在擷取同一場景但在不同條件(例如,不同時間/日期、照明條件、角度、天氣等)下之一圖片內偵測到興趣點之一可能性。在一些實施例中,重複性之預測呈指示一設定時間段中之各時間間隔之一重複性值之一重複性函數之形式。
地圖繪製系統327基於一組影像產生一地理區域之一3D地圖。3D地圖可為一點雲、多邊形網格或地理區域之3D幾何形狀之任何其他適合表示。3D地圖可包含提供額外上下文資訊(諸如識別物件桌子、椅子、時鐘、燈柱、樹木等)、材料(混凝土、水、磚、草等)或遊戲屬性(例如,可被角色遍歷、適合某些遊戲內動作等)之語義標籤。在一項實施例中,地圖繪製系統327將3D地圖連同任何語義/上下文資訊一起儲存於3D地圖儲存器328中。3D地圖可連同位置資訊(例如,3D地圖之中心之GPS座標、定義3D地圖之範圍之一環柵或類似者)一起儲存於3D地圖儲存器328中。因此,遊戲伺服器320可向用戶端裝置310提供3D地圖,該等用戶端裝置310提供指示其等在由3D地圖覆蓋之地理區域內或附近之位置資料。
地圖繪製系統390額外地識別影像內之興趣點(例如,識別描繪興趣點之影像之一區)且將關於興趣點之資訊儲存於3D地圖328中。在一些實施例中,地圖繪製系統390藉由基於從各個角度描繪興趣點之多個影像運算興趣點之位置而產生3D地圖。
地圖繪製系統390額外地產生包含含於完整3D地圖中之資料之一子集之摘要地圖3D。可產生摘要地圖以允許藉由具有有限頻寬或儲存能力之用戶端裝置(例如,行動裝置)傳輸及儲存地圖。摘要地圖包含在一特定時間期間與用戶端裝置相關之資訊。在一些實施例中,隨著用戶端裝置移動或隨著時間流逝,地圖繪製系統390更新摘要地圖以移除不再相關之興趣點(例如,因為興趣點在一當前時間期間之重複性值低於一臨限值)且添加已變得相關之新興趣點。
網路370可為任何類型之通信網路,諸如一區域網路(例如,內部網路)、廣域網路(例如,網際網路)或其等之某一組合。網路亦可包含一用戶端裝置310與遊戲伺服器320之間之一直接連接。一般而言,可經由使用任何類型之有線或無線連接、使用各種通信協定(例如,TCP/IP、HTTP、SMTP、FTP)、編碼或格式(例如,HTML、XML、JSON)或保護方案(例如,VPN、安全HTTP、SSL)之一網路介面進行遊戲伺服器320與一用戶端裝置310之間之通信。
本發明參考伺服器、資料庫、軟體應用程式及其他基於電腦之系統,以及所採取之動作及向及自此等系統發送之資訊。一般技術者將辨識,基於電腦之系統之固有靈活性允許組件之間及當中之任務及功能性之多種可能組態、組合及劃分。例如,可使用一單一伺服器或組合工作之多個伺服器來實施被揭示為藉由一伺服器實施之程序。資料庫及應用程式可在一單一系統上實施或跨多個系統分佈。分佈式組件可循序或平行操作。
在所揭示之系統及方法存取並分析關於使用者之個人資訊,或利用個人資訊(諸如位置資訊)之情境中,可向使用者提供機會以控制程式或特徵是否收集資訊且控制是否或如何接收來自系統或其他應用程式之內容。不收集或使用此資訊或資料,直至已向使用者提供待收集什麼資訊及如何使用資訊之有意義的通知。不收集或使用資訊,除非使用者提供同意,該同意可由使用者隨時撤銷或修改。因此,使用者可控制如何收集關於使用者之資訊且如何由應用程式或系統使用該資訊。另外,某些資訊或資料在其被儲存或使用之前可以一或多種方式進行處理,使得個人可識別資訊被移除。舉例而言,可處理一使用者之身份,使得無法針對使用者判定個人可識別資訊。
實例方法
圖4A係描述根據一或多項實施例之運用參考影像訓練重複性模型385之一方法400之一次反覆之一流程圖。在訓練時,方法400通常將運用不同輸入影像重複許多次,直至滿足一或多個訓練目標。方法400產生可判定一輸入影像內描繪之一興趣點之一重複性之一經訓練重複性模型385。從重複性訓練系統380執行方法400之視角繪示圖4A之步驟。然而,可藉由其他實體及/或組件執行一些或全部步驟。另外,一些實施例可平行執行步驟,依不同順序執行步驟,或執行不同步驟。
在所展示之實施例中,方法400開始於重複性訓練系統380接收410一系列訓練影像(例如,藉由一用戶端裝置310之一攝影機擷取之一系列RGB影像)。在一些實施例中,跨一設定時間段(例如,一天、一周、一個月或一年)擷取該系列訓練影像。此外,該系列訓練影像中之各影像與指示影像何時被擷取之一時間戳記相關聯。在一些實施例中,從跨設定時間段記錄之一或多個視訊提取該系列訓練影像。
圖4B繪示根據一或多項實施例之一場景之一時間序列之訓練影像。明確言之,圖4B繪示在六個不同時間(T0至T5)獲取之同一場景之六個影像。在圖4B之實例中,第一影像470A與一第一時間戳記T0相關聯,第二影像470B與一第二時間戳記T1相關聯,第三影像470C與一第三時間戳記T2相關聯,第四影像470D與一第四時間戳記T3相關聯,第五影像470E與一第五時間戳記T4相關聯,且第六影像470F與一第六時間戳記T5相關聯。
重複性訓練系統380識別420在所接收系列之訓練影像中之影像內描繪之一組興趣點。在一些實施例中,重複性訓練系統380使用一經訓練模型用於偵測一輸入影像內之興趣點(例如,識別描繪興趣點之輸入影像之部分)。在圖4B之實例中,重複性訓練系統380識別對應於一建築物之窗戶之興趣點480A、對應於停放於一建築物前面之一皮卡車之興趣點480B及對應於道路上之一汽車之興趣點480C。
對於經識別之各興趣點,重複性訓練系統380識別430在偵測到興趣點之該系列訓練影像內之影像。即,對於該系列訓練影像中之各影像,重複性系統380判定用於偵測興趣點之經訓練模型是否偵測到一特定興趣點。基於此識別,重複性訓練系統380產生440興趣點之一重複性函數。在一些實施例中,基於與該系列訓練影像中之影像之各者相關聯之時間戳記進一步產生重複性函數。舉例而言,重複性函數指示在與該系列之訓練影像相關聯之設定時間段之各時間間隔(例如,每十分鐘週期、每小時、早上/下午/晚上/夜晚、每天、每月等)期間是否在訓練影像組內之一影像中偵測到興趣點。替代地,若各時間間隔與多個影像相關聯(例如,若多個影像與同一時間間隔內之一時間戳記相關聯),則重複性函數可指示與偵測到興趣點之一特定時間間隔相關聯之影像之一百分比。
舉例而言,在圖4B之實施例中,重複性訓練系統380產生第一興趣點480A之一重複性函數、第二興趣點480B之一重複性函數及第三興趣點480C之一重複性函數。第一興趣點480A之重複性函數可指定在全部六個影像470A至470F中(跨時間戳記T0至T5)偵測到第一興趣點480A。第二興趣點480B之重複性函數可指定在前五個影像470A至470E中(跨時間戳記T0至T4)偵測到第二興趣點。最後,第三興趣點480C之重複性函數可指定僅在第一影像470A中(在時間戳記T0)偵測到第三興趣點。
使用所產生之重複性函數,重複性訓練系統380訓練一重複性模型385用於估計在一輸入影像中偵測到之一興趣點之一重複性函數。在一些實施例中,重複性模型385經訓練以判定將在一興趣點所處之一場景之一影像中偵測到該興趣點之一時間序列之可能性。即,對於一設定時間段中之各時間間隔,重複性模型385經訓練以預測將在含有興趣點之場景之一影像中偵測到該興趣點且藉由一攝影機在特定時間間隔內擷取該興趣點的可能性。
圖5係描述根據一或多項實施例之使用一重複性模型385用於建構一3D地圖328之一方法500之一流程圖。方法500產生興趣點之一資料庫,該資料庫可經查詢以收集用於判定拍攝擷取含有一組輸入興趣點之描繪之一場景之一輸入圖片之一攝影機之一姿勢之資訊。從地圖繪製系統390執行方法500之視角繪示圖5之步驟。然而,可藉由其他實體及/或組件執行一些或全部步驟。另外,一些實施例可平行執行步驟,依不同順序執行步驟,或執行不同步驟。
地圖繪製系統390接收510一場景之一影像。地圖繪製系統390識別520在所接收影像內描繪之興趣點。在一些實施例中,地圖繪製系統390使用一經訓練模型用於偵測一輸入影像內之興趣點(例如,識別描繪興趣點之輸入影像之部分)。舉例而言,地圖繪製系統390使用由重複性訓練系統380用於識別一輸入影像內描繪之興趣點之同一訓練模型。
對於各經識別興趣點,地圖繪製系統390使用藉由重複性訓練系統380訓練之重複性模型385來預測530興趣點之一重複性。舉例而言,使用重複性模型385來判定興趣點之一重複性函數(或重複性分數)。基於經判定重複性函數,地圖繪製系統390選擇540興趣點之一子集。舉例而言,地圖繪製系統390選擇具有指示高於一特定臨限值之一平均重複性之一重複性函數之興趣點。替代地,地圖繪製系統390基於其等各自重複性函數對興趣點進行排序,且基於排序選擇最高興趣點。接著,地圖繪製系統390儲存550關於興趣點之選定子集中之興趣點之各者之資訊以建構3D地圖328。舉例而言,地圖繪製系統390儲存關於興趣點之選定子集中之各興趣點之影像、座標及其他相關資訊。
圖6係描述根據一或多項實施例之將一重複性模型385用於判定一攝影機之姿勢之一方法600之一流程圖。方法600產生一輸入影像之一估計姿勢。從一用戶端裝置310執行方法600之視角繪示圖6之步驟。然而,可藉由其他實體及/或組件執行一些或全部步驟。另外,一些實施例可平行執行步驟,依不同順序執行步驟,或執行不同步驟。
一用戶端裝置310之定位模組接收610一場景之一影像。可藉由作為用戶端裝置310之一組件或在用戶端裝置310外部之一攝影機擷取場景之影像。在平行實境遊戲之上下文中,場景可具有可映射至虛擬世界中之虛擬位置之真實世界位置。場景之影像亦可具有對應於擷取影像之攝影機之幾何性質之內部參數(intrinsic)。影像可為藉由攝影機擷取之一單個影像。替代地,影像可為來自藉由攝影機擷取之視訊之一圖框。
定位模組318識別620在所接收影像中描繪之一組興趣點。在一些實施例中,定位模組318使用一經訓練模型用於偵測一輸入影像內之興趣點(例如,識別描繪興趣點之輸入影像之部分)。舉例而言,定位模組318使用由重複性訓練系統380用於識別一輸入影像內描繪之興趣點之同一訓練模型。
對於各經識別興趣點,定位模組318應用藉由重複性訓練系統380訓練之重複性模型385以預測630興趣點之一重複性。舉例而言,使用重複性模型385來判定各經識別興趣點之一重複性函數(或重複性分數)。基於經判定重複性函數,定位模組318選擇640興趣點之一子集。舉例而言,定位模組318選擇具有指示高於一特定臨限值之一平均重複性之一重複性函數之興趣點。替代地,定位模組318基於其等各自重複性函數對興趣點進行排序,且基於排序選擇最高興趣點。接著,定位模組318搜尋650 3D地圖328內之興趣點且擷取660關於來自3D地圖328之一或多個興趣點之資訊。基於關於一或多個興趣點之所擷取資訊,定位模組318判定670擷取所接收影像之一攝影機之一姿勢。
圖7係描述根據一或多項實施例之將一重複性模型385用於建構一特定位置之一摘要地圖之一方法700之一流程圖。方法600產生一摘要地圖,其可被傳輸至一用戶端裝置310以允許用戶端裝置判定用戶端裝置在3D空間內之一姿勢。從地圖繪製系統390執行方法700之視角繪示圖7之步驟。然而,可藉由其他實體及/或組件執行一些或全部步驟。另外,一些實施例可平行執行步驟,依不同順序執行步驟,或執行不同步驟。
地圖繪製系統390判定710一用戶端裝置310之一當前時間。地圖繪製系統390可接收來自用戶端裝置之當前時間,或可基於遊戲伺服器320之一內部時間及用戶端裝置310之位置來判定用戶端裝置之當前當地時間。在其他實施例中,地圖繪製系統390使用一通用時間(例如,UTC)來儲存時間值。因此,用戶端裝置310之當前時間係與地圖繪製系統390之當地時間相同。地圖繪製系統390識別720一設定地理區域內之一組興趣點。舉例而言,地圖繪製系統390識別在用戶端裝置310附近之一組興趣點(例如,k最近興趣點)。
地圖繪製系統390將重複性模型385應用於該組興趣點中之經識別興趣點之各者以預測730當前時間期間興趣點之一重複性。舉例而言,使用重複性模型385來判定當前時間期間各興趣點之一重複性值。基於各興趣點之經判定重複性,地圖繪製系統390選擇740興趣點之一子集以包含於摘要地圖中。舉例而言,地圖繪製系統390選擇具有高於一特定臨限值之當前時間之一重複性值之興趣點。替代地,地圖繪製系統390基於其等各自重複性值對興趣點進行排序,且基於排序選擇最高興趣點。接著,地圖繪製系統390基於興趣點之選定子集來產生750一摘要地圖。摘要地圖可用於判定用戶端裝置之姿勢(例如,使用圖6之方法600)。
實例性運算系統
圖8係根據一實施例之一運算裝置之一實例性架構。儘管圖8描繪繪示根據一實施例之用作本文中描述之一或多個實體之部分或全部之一電腦之實體組件之一高階方塊圖,然一電腦可具有圖8中提供之組件之額外、較少組件或變動。儘管圖8描繪一電腦800,然圖意欲作為可存在於電腦系統中之各種特徵之功能描述而非作為本文中描述之實施方案之一結構示意圖。實務上,且如一般技術者辨識,分開地展示之物項可組合且一些物項可分離。
圖8中繪示耦合至一晶片組804之至少一個處理器802。一記憶體806、一儲存裝置808、一鍵盤810、一圖形配接器812、一指標裝置814及一網路配接器816亦耦合至晶片組804。一顯示器818耦合至圖形配接器812。在一項實施例中,藉由一記憶體控制器集線器820及一I/O集線器822提供晶片組804之功能性。在另一實施例中,記憶體806直接耦合至處理器802而非晶片組804。在一些實施例中,電腦800包含用於將此等組件互連之一或多個通信匯流排。一或多個通信匯流排視情況包含將系統組件互連且控制系統組件之間之通信的電路系統(有時被稱為一晶片組)。
儲存裝置808係任何非暫時性電腦可讀儲存媒體,諸如一硬碟機、光碟唯讀記憶體(CD-ROM)、DVD或一固態記憶體裝置或其他光學儲存器、磁帶盒、磁帶、磁碟儲存器或其他磁性儲存裝置、磁碟儲存裝置、光碟儲存裝置、快閃記憶體裝置或其他非揮發性固態儲存裝置。此一儲存裝置808亦可被稱為永久記憶體。指標裝置814可為一滑鼠、軌跡球或其他類型之指標裝置,且與鍵盤810組合使用以將資料輸入至電腦800中。圖形配接器812在顯示器818上顯示影像及其他資訊。網路配接器816將電腦800耦合至一區域或廣域網路。
記憶體806保存由處理器802使用之指令及資料。記憶體806可為非永久記憶體,其之實例包含高速隨機存取記憶體,諸如DRAM、SRAM、DDR RAM、ROM、EEPROM、快閃記憶體。
如此項技術中已知,一電腦800可具有除圖8中展示之組件以外之不同及/或其他組件。另外,電腦800可能缺少某些所繪示組件。在一項實施例中,充當一伺服器之一電腦800可能缺少一鍵盤810、指標裝置814、圖形配接器812及/或顯示器818。此外,儲存裝置808可位於電腦800本端及/或遠離電腦800 (諸如體現於一儲存區域網路(SAN)內)。
如此項技術中已知,電腦800經調適以執行用於提供本文中描述之功能性之電腦程式模組。如本文中使用,術語「模組」係指用於提供指定功能性之電腦程式邏輯。因此,可在硬體、韌體及/或軟體中實施一模組。在一項實施例中,程式模組儲存於儲存裝置808上,載入至記憶體806中,且藉由處理器802執行。
額外考量
上文描述之一些部分在演算法程序或操作方面描述實施例。此等演算法描述及表示通常被熟習資料處理技術者用於將其等工作主旨有效地傳達給其他熟習此項技術者。此等操作當在功能上、運算上或邏輯上被描述時被理解為藉由包括供一處理器或等效電路執行之指令、微程式碼或類似者之電腦程式實施。此外,在不失一般性之情況下,有時亦已證明將功能操作之此等配置稱為模組係方便的。
如本文中使用,對「一項實施例」或「一實施例」之任何引用意謂結合實施例描述之一特定元件、特徵、結構或特性包含於至少一項實施例中。在說明書中之各個位置出現片語「在一項實施例中」不一定全部指代同一實施例。
可使用表述「耦合」及「連接」連同其等衍生詞來描述一些實施例。應瞭解,此等術語不意欲作為彼此的同義詞。舉例而言,可使用術語「連接」來描述一些實施例以指示兩個或更多個元件彼此直接實體或電接觸。在另一實例中,可使用術語「耦合」來描述一些實施例以指示兩個或更多個元件直接實體或電接觸。然而,術語「耦合」亦可意謂兩個或更多個元件彼此不直接接觸,但仍彼此合作或互動。實施例不限於此上下文。
如本文中使用,術語「包括(comprises、comprising)」、「包含(includes、including)」、「具有(has、having)」或其等之任何其他變動意欲涵蓋一非排他性包含。舉例而言,包括一元件清單之一程序、方法、物品或設備不一定限於僅彼等元件,而可包含未明確列出或此程序、方法、物品或設備固有之其他元件。此外,除非相反地明確規定,否則「或」係指包含性或且非排他性或。舉例而言,一條件A或B藉由以下項之任一者滿足:A為真(或存在)且B為假(或不存在),A為假(或不存在)且B為真(或存在),且A及B兩者皆為真(或存在)。
另外,採用「一」或「一個」之使用來描述實施例之元件及組件。這樣做僅為了方便起見且給出本發明之一般意義。此描述應被解讀為包含一個或至少一個且單數亦包含複數,除非顯然另有含義。
在閱讀本發明後,熟習此項技術者將瞭解用於判定或使用興趣點之重複性之一系統及一程序之又額外替代結構及功能設計。因此,雖然已繪示且描述特定實施例及應用,但應瞭解,所描述之標的物不限於本文中揭示之精確構造及組件且可在所揭示之方法及設備之配置、操作及細節中作出熟習此項技術者將明白之各種修改、改變及變動。保護範疇應僅受以下發明申請專利範圍限制。
100:真實世界
110:虛擬世界
112:位置
114:位置
122:對應位置/玩家位置
124:對應位置
130:虛擬元素
132:虛擬物項
140:地標、地理位置或物件
150:虛擬能量
200:遊戲介面
210:顯示視窗
215:玩家資訊
220:選單
230:通信介面
240:音訊控制件
312:攝影機總成
314:遊戲模組
316:定位模組
318:定位模組
320:遊戲伺服器
323:商業遊戲模組
324:資料收集模組
326:事件模組
328:3D地圖/3D地圖儲存器
330:遊戲資料庫
370:網路
380:重複性訓練系統
385:重複性模型
390:地圖繪製系統
400:方法
410:接收
420:識別
430:識別
440:產生
470A:第一影像
470B:第二影像
470C:第三影像
470D:第四影像
470E:第五影像
470F:第六影像
480A:第一興趣點
480B:第二興趣點
480C:第三興趣點
500:方法
510:接收
520:識別
530:預測
540:選擇
550:儲存
600:方法
610:接收
620:識別
630:預測
640:選擇
650:搜尋
660:擷取
670:判定
700:方法
710:判定
720:識別
730:預測
740:選擇
750:產生
800:電腦
802:處理器
804:晶片組
806:記憶體
808:儲存裝置
810:鍵盤
812:圖形配接器
814:指標裝置
816:網路配接器
818:顯示器
820:記憶體控制器集線器
822:I/O集線器
T0:第一時間戳記
T1:第二時間戳記
T2:第三時間戳記
T3:第四時間戳記
T4:第五時間戳記
T5:第六時間戳記
圖1描繪根據一項實施例之具有與真實世界平行之一地理之一虛擬世界之一表示。
圖2描繪根據一項實施例之一平行實境遊戲之一例示性遊戲介面。
圖3繪示根據一或多項實施例之一網路連結運算環境。
圖4A係描述根據一或多項實施例之用於訓練重複性模型之一般程序之一流程圖。
圖4B繪示根據一或多項實施例之一場景之一時間序列之影像。
圖5係描述根據一或多項實施例之用以建構一3D地圖之重複性函數之一實例性用途之一流程圖。
圖6係描述根據一或多項實施例之用以判定一攝影機之姿勢之重複性函數之一實例性用途之一流程圖。
圖7係描述根據一或多項實施例之用以建構一摘要地圖之重複性函數之一實例性用途之一流程圖。
圖8繪示根據一或多項實施例之適合用於訓練或應用一重複性模型之一實例性電腦系統。
圖及以下描述僅藉由圖解描述某些實施例。熟習此項技術者將容易從以下描述辨識,可在不脫離所描述之原理之情況下採用結構及方法之替代實施例。現將參考數項實施例,在附圖中繪示該等實施例之實例。
700:方法
710:判定
720:識別
730:預測
740:選擇
750:產生
Claims (20)
- 一種電腦實施方法,其包括: 接收一用戶端裝置之一位置之一識別; 識別定位於該用戶端裝置之該位置附近之複數個興趣點; 判定該等經識別興趣點之各者之一重複性分數; 基於該等經識別興趣點之各者之該經判定重複性分數來選擇興趣點之一子集; 基於興趣點之該選定子集來產生該用戶端裝置之該位置附近之一摘要地圖;及 將該摘要地圖發送至該用戶端裝置。
- 如請求項1之方法,其進一步包括: 將關於興趣點之該選定子集中之各興趣點之資訊儲存於一3D地圖中。
- 如請求項1之方法,其中判定一經識別興趣點之一重複性分數包括: 基於該經識別興趣點應用一重複性模型,基於跨一設定時間段之一場景之一時間序列之影像來訓練該重複性模型。
- 如請求項3之方法,其進一步包括: 判定一當前時間, 其中該經識別興趣點之該重複性分數係進一步基於該經判定當前時間。
- 如請求項4之方法,其中基於來自該用戶端裝置之一所接收時間或該用戶端裝置之該經識別位置及一伺服器之一內部時間之至少一者來判定該當前時間。
- 如請求項3之方法,其中藉由以下項訓練該重複性模型: 跨該設定時間段接收該場景之該時間序列之影像; 使用一興趣點偵測模型來識別該等所接收時間序列之影像中之一組訓練興趣點; 對於該組訓練興趣點中之各訓練興趣點,藉由識別其中藉由該興趣點偵測模型偵測該訓練興趣點之該等時間序列之影像中之影像而判定一重複性函數;且 使用與來自該組訓練興趣點之一或多個訓練興趣點相關聯之資訊及該一或多個訓練興趣點之對應重複性函數來訓練該重複性模型。
- 如請求項1之方法,其中該重複性分數指示一經訓練興趣點偵測模型將基於藉由該用戶端裝置擷取之影像來偵測該興趣點的一可能性。
- 一種非暫時性電腦可讀儲存媒體,其經組態以儲存指令,該等指令在藉由一處理器執行時引起該處理器: 接收一場景之一影像; 從該場景之該所接收影像識別一組興趣點; 判定該組興趣點中之各興趣點之一重複性分數; 基於該等經識別興趣點之各者之該經判定重複性來選擇興趣點之一子集; 在一地圖中搜尋來自興趣點之該選定子集之一或多個興趣點; 接收關於來自興趣點之該選定子集之一或多個興趣點之資訊;且 基於關於該一或多個興趣點之該經接收資訊來判定擷取該場景之該影像之一攝影機之一姿勢。
- 如請求項8之非暫時性電腦可讀儲存媒體,其中基於一經訓練興趣點偵測模型來識別該組興趣點。
- 如請求項8之非暫時性電腦可讀儲存媒體,其中藉由基於一經識別興趣點應用一重複性模型而判定該經識別興趣點之該重複性分數。
- 如請求項10之非暫時性電腦可讀儲存媒體,其中基於跨一設定時間段之一場景之一時間序列之影像來訓練該重複性模型。
- 如請求項10之非暫時性電腦可讀儲存媒體,其中在一地圖中搜尋來自興趣點之該選定子集之一或多個興趣點包括在一個三維(3D)圖中搜尋該一或多個興趣點。
- 如請求項8之非暫時性電腦可讀儲存媒體,其中判定擷取該場景之該影像之一攝影機之一姿勢包括: 基於關於該一或多個興趣點之該經接收資訊來判定該攝影機之一相對姿勢;及 基於一組參考影像及該攝影機之該經判定相對姿勢來判定該攝影機之一絕對姿勢。
- 如請求項8之非暫時性電腦可讀儲存媒體,其中該場景對應於映射至一虛擬世界中之一虛擬位置之一真實世界位置。
- 一種電腦實施方法,其包括: 跨一設定時間段接收一場景之一時間序列之影像; 使用一興趣點偵測模型來識別該等所接收時間序列之影像中之一組興趣點; 對於該組興趣點中之各興趣點,藉由識別其中藉由該興趣點偵測模型偵測該興趣點之該等時間序列之影像中之影像而判定一重複性函數;及 使用與來自該組興趣點之一或多個興趣點相關聯之資訊及該一或多個興趣點之對應重複性函數來訓練一重複性模型。
- 如請求項15之方法,其中該等時間序列之影像中之各影像與一時間戳記相關聯,且其中該重複性函數係進一步基於與其中藉由該興趣點偵測模型偵測該興趣點之各影像相關聯之該時間戳記。
- 如請求項15之方法,其中該重複性函數針對一組時間段之各時間段指示是否藉由該興趣點偵測模型在對應於該時間段之一影像中偵測到該興趣點。
- 如請求項15之方法,其中該重複性函數針對一組時間段之各時間段指示對應於其中藉由該興趣點偵測模型偵測到該興趣點之該時間段之影像之一百分比。
- 如請求項15之方法,其中該重複性模型經訓練以預測將藉由該興趣點偵測模型從一給定時間間隔內擷取之一影像偵測到一目標興趣點的一可能性。
- 如請求項15之方法,其中該重複性模型經訓練以預測將藉由該興趣點偵測模型從該興趣點所處之該場景之一影像偵測到一目標興趣點的一時間序列之可能性。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163182648P | 2021-04-30 | 2021-04-30 | |
US63/182,648 | 2021-04-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202300201A true TW202300201A (zh) | 2023-01-01 |
Family
ID=83807731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111116103A TW202300201A (zh) | 2021-04-30 | 2022-04-27 | 興趣點之重複性預測 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220351518A1 (zh) |
EP (1) | EP4330929A1 (zh) |
JP (1) | JP2024515995A (zh) |
KR (1) | KR20240005790A (zh) |
TW (1) | TW202300201A (zh) |
WO (1) | WO2022232226A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12039665B2 (en) * | 2022-08-02 | 2024-07-16 | Niantic, Inc. | Simulated consistency check for points of interest on three-dimensional maps |
KR102616029B1 (ko) * | 2023-04-21 | 2023-12-20 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120250984A1 (en) * | 2010-12-01 | 2012-10-04 | The Trustees Of The University Of Pennsylvania | Image segmentation for distributed target tracking and scene analysis |
US20120301014A1 (en) * | 2011-05-27 | 2012-11-29 | Microsoft Corporation | Learning to rank local interest points |
CN104933755B (zh) * | 2014-03-18 | 2017-11-28 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
CN108073933B (zh) * | 2016-11-08 | 2021-05-25 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及装置 |
US11003956B2 (en) * | 2019-05-16 | 2021-05-11 | Naver Corporation | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression |
JP7422785B2 (ja) * | 2019-05-17 | 2024-01-26 | マジック リープ, インコーポレイテッド | ニューラルネットワークおよび角検出器を使用した角検出のための方法および装置 |
-
2022
- 2022-04-27 KR KR1020237040903A patent/KR20240005790A/ko unknown
- 2022-04-27 US US17/730,555 patent/US20220351518A1/en active Pending
- 2022-04-27 EP EP22796608.2A patent/EP4330929A1/en active Pending
- 2022-04-27 JP JP2023566745A patent/JP2024515995A/ja active Pending
- 2022-04-27 TW TW111116103A patent/TW202300201A/zh unknown
- 2022-04-27 WO PCT/US2022/026471 patent/WO2022232226A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20220351518A1 (en) | 2022-11-03 |
JP2024515995A (ja) | 2024-04-11 |
EP4330929A1 (en) | 2024-03-06 |
KR20240005790A (ko) | 2024-01-12 |
WO2022232226A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW202109458A (zh) | 利用深度提示之深度預估模型之自我監督訓練 | |
WO2022123466A1 (en) | Visual camera re-localization using graph neural networks and relative pose supervision | |
US11748961B2 (en) | Interactable augmented and virtual reality experience | |
US20220351518A1 (en) | Repeatability predictions of interest points | |
TW202238068A (zh) | 自監督多圖框單眼深度估計模型 | |
US11957978B2 (en) | Refining camera re-localization determination using prior pose model | |
US12073601B2 (en) | Determining visual overlap of images by using box embeddings | |
TW202147179A (zh) | 自單一影像判定可遍歷空間 | |
JP7340746B2 (ja) | 拡張現実環境におけるマルチユーザルート追跡 | |
US12039665B2 (en) | Simulated consistency check for points of interest on three-dimensional maps | |
US20240075379A1 (en) | Dynamically Generated Local Virtual Events | |
US20240108989A1 (en) | Generating additional content items for parallel-reality games based on geo-location and usage characteristics | |
US20230421985A1 (en) | Localization using Audio and Visual Data | |
TWI853277B (zh) | 相關於減少在反作弊資料流中的時間延遲之電腦實施方法、非暫時性電腦可讀儲存媒體及遊戲伺服器 | |
US20240362857A1 (en) | Depth Image Generation Using a Graphics Processor for Augmented Reality | |
US20240265504A1 (en) | Regularizing neural radiance fields with denoising diffusion models | |
WO2023166490A1 (en) | Mapping traversable space in a scene using a three-dimensional mesh | |
TW202319101A (zh) | 減少在反作弊資料流中的時間延遲 |