TWI817825B - 擴增實境互動系統、伺服器以及行動裝置 - Google Patents
擴增實境互動系統、伺服器以及行動裝置 Download PDFInfo
- Publication number
- TWI817825B TWI817825B TW111143134A TW111143134A TWI817825B TW I817825 B TWI817825 B TW I817825B TW 111143134 A TW111143134 A TW 111143134A TW 111143134 A TW111143134 A TW 111143134A TW I817825 B TWI817825 B TW I817825B
- Authority
- TW
- Taiwan
- Prior art keywords
- mobile device
- data
- server
- module
- image
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 47
- 230000003993 interaction Effects 0.000 title description 13
- 238000000034 method Methods 0.000 title description 8
- 230000008859 change Effects 0.000 claims abstract description 54
- 230000002452 interceptive effect Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 241000086550 Dinosauria Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一種擴增實境互動系統，應用於實體場景，且包含伺服器及複數個行動裝置。伺服器儲存對應實體場景的點雲地圖，且些行動裝置之行動裝置上傳實體圖像、角色狀態變化數據及局部變化數據至伺服器。伺服器將實體圖像與點雲地圖進行比對以實時計算出行動裝置的方位數據，並根據角色狀態變化數據及局部變化數據調整對應使用者的角色數據。伺服器向些行動裝置中其餘行動裝置推播行動裝置的方位數據以及角色數據，以使些其餘行動裝置顯示的擴增實境影像根據行動裝置的方位數據以及角色數據進行實時調整。
Description
本發明關於一種擴增實境顯示方案，尤其關於一種適用於戶外場景、多人連線遊玩的擴增實境互動系統、擴增實境互動方法、伺服器以及行動裝置。
虛擬實境(Virtual Reality，VR)、擴增實境(Augmented Reality，AR)及混合實境(Mixed Reality，MR)係目前影像處理、電腦視覺及電腦圖學領域發展相當熱門之技術，目前已被廣泛應用於教學、實驗、電競等領域。從一開始單純提供使用者本身與擴增實境物件之間的互動，已逐漸發展到能夠在裝置上顯示出與其他使用者之間的互動。舉例而言，擴增實境技術中的虛擬物件會隨著使用者與場景的互動而改變，藉此維持擴增實境的效果。舉例而言，假設使用者原本在擴增實境中面向一虛擬物體的正面，當使用者在移動到該虛擬物體的側面時，顯示裝置必須能夠實時地對使用者顯示該虛擬物體的側面。
為了讓計算機裝置能夠隨著影像擷取裝置的移動而提供相對應的虛擬內容，傳統的擴增實境技術一般會預先針對影像擷取裝置在各個位置及/或方向對於同一目標所擷取的實體內容建立多個特徵點地圖，而當影像擷取裝置的位置及/或方向產生變化時，傳統的擴增實境技術便可利用該等特徵點地圖上的特徵點來辨識影像擷取裝置的目前位置及/或目前方向，從而取得影像擷取裝置
的位置變化及/或方向變化。如此，隨著影像擷取裝置的移動，傳統的擴增實境技術便可根據影像擷取裝置的位置變化及/或方向變化來提供相對應的虛擬內容。
現有技術提出了一種能夠呈現玩家之間互動的方案，其透過在室內環境對背景進行標記，例如在牆上設計特徵點，使得玩家相對於背景的動作或位移時產生位移資料，擴增實境裝置再根據位移資料於擴增實境圖像中顯示出對手的動作和狀態的變化。然而，上述方案目前僅適用於20坪內的室內環境，且遊玩人數增多時會難以識別不同玩家的身份，對於使用者體驗而言仍有改善的空間。
綜上所述，實有需要一種新穎的擴增實境顯示方法和相關的系統來改善傳統的擴增實境技術的上述問題。
有鑑於上述需求，本發明的目的在於提供室外環境下多人互動的沉浸式體驗。
為了達到上述目的，本發明一實施例提供了一種擴增實境互動系統，應用於一實體場景，且包含一伺服器、通訊連接於該伺服器之一第一行動裝置以及至少一第二行動裝置。該伺服器儲存對應該實體場景的一點雲地圖，且該第一行動裝置，該第一行動裝置上傳一實體圖像、一角色狀態變化數據及一局部變化數據至該伺服器。該伺服器將該實體圖像與該點雲地圖進行比對以實時計算出該第一行動裝置的方位數據，並根據該角色狀態變化數據及該局部變化數據調整對應一使用者的角色數據。該伺服器向至少該第二行動裝置推播該第一行動裝置的該方位數據以及該角色數據，以使該至少第二行動裝置顯示
的擴增實境影像根據該第一行動裝置的該方位數據以及該角色數據進行實時調整。
本發明另一實施例提供了一種擴增實境互動方法，應用於一實體場景，包含：對該實體場景進行拍攝以產生對應該實體場景的一點雲地圖；將該點雲地圖儲存於一伺服器；一第一行動裝置之上傳一實體圖像、一角色狀態變化數據及一局部變化數據至該伺服器；該伺服器將該實體圖像與該點雲地圖進行比對以實時計算出該第一行動裝置的方位數據，並根據該角色狀態變化數據及該局部變化數據調整對應一使用者的角色數據；該伺服器向至少一第二行動裝置推播該第一行動裝置的該方位數據以及該角色數據，以使至少該第二行動裝置顯示的擴增實境影像根據該第一行動裝置的該方位數據以及該角色數據進行實時調整。
本發明另一實施例提供了一種伺服器，包含一全域定位模組、一資料庫及一同步模組。該全域定位模組儲存有對應一實體場景的點雲地圖，用以將收到的資料與該點雲地圖進行比對。該資料庫通訊連接於該全域定位模組，用以儲存該方位數據及該角色數據。該同步模組通訊連接於該資料庫，用以向至少一第二行動裝置推播該第一行動裝置的該方位數據以及該角色數據，以使該至少一其他行動裝置顯示的擴增實境影像根據該行動裝置的該方位數據以及該角色數據進行實時調整。
一種行動裝置，安裝有關聯於複數個實體場景的應用程式，該行動裝置包含一處理模組、一影像擷取模組、一通訊模組及一顯示模組。該處理模組用以執行該應用程式，且該影像擷取模組用以擷取一影像。該影像包括關聯於該些實體場景之一第一實體場景圖像及一玩家圖像，該玩家圖像對應一電子
裝置，該電子裝置用以擷取關聯於該些實體場景之一第二實體場景圖像；該通訊模組耦接於該處理模組以及該影像擷取模組，且通訊連接於一伺服器，其中該伺服器儲存對應該些實體場景的一點雲地圖，且該伺服器將該第一實體場景圖像和該第二實體場景圖像分別與該點雲地圖進行比對，以分別計算出該行動裝置的方位數據和該電子裝置的方位數據。該顯示模組用以顯示根據該行動裝置的該方位數據、該電子裝置的該方位數據、及該玩家圖像對應之一虛擬物件。
綜上所述，本發明的技術方案能夠實現室外場景的多人虛擬實境互動方案，而不侷限於室內小坪數的遊玩方案，故能夠有效解決現有技術面臨的瓶頸。此外，本發明的技術方案可以透過一般智慧型手機來實作，故使用者不用額外添購設備，能夠省去不少花費。
1000:擴增實境互動系統
100:伺服器
200-1,200-2,200-3,...,200-N:行動裝置
110:全域定位模組
120:資料庫
130:同步模組
140:輔助模組
210,310:影像擷取模組
220:局域追蹤模組
230,330:通訊模組
240:定位模組
250,350:處理模組
300:行動裝置
340:顯示模組
302,304,306,308:步驟
N1:虛擬物件
S1:第一實體場景圖像
S2:第二實體場景圖像
P1,P2,P3:玩家
圖1係為根據本發明一實施例的擴增實境互動系統的示意圖。
圖2係為根據本發明一實施例的擴增實境互動方法的流程圖。
圖3係為根據本發明一實施例的行動裝置的示意圖。
圖4係為對應本發明擴增實境互動系統的第一實體場景圖像的示意圖。
圖5係為對應為本發明擴增實境互動系統的第二實體場景圖像的示意圖。
本發明特別以下述例子加以描述，這些例子僅係用以舉例說明而已，因為對於熟習此技藝者而言，在不脫離本揭示內容之精神和範圍內，當可作各種之更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所
界定者為準。在通篇說明書與申請專利範圍中，除非內容清楚指定，否則「一」以及「該」的意義包含這一類敘述包括「一或至少一」該元件或成分。此外，如本發明所用，除非從特定上下文明顯可見將複數排除在外，否則單數冠詞亦包括複數個元件或成分的敘述。在通篇說明書與申請專利範圍所使用之用詞(terms)，除有特別註明，通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本發明之用詞將於下或在此說明書的別處討論，以提供從業人員(practitioner)在有關本發明之描述上額外的引導。在通篇說明書之任何地方之例子，包含在此所討論之任何用詞之例子的使用，僅係用以舉例說明，當然不限制本發明或任何例示用詞之範圍與意義。同樣地，本發明並不限於此說明書中所提出之各種實施例。
此外，若使用「電(性)耦接」或「電(性)連接」或「通訊連接」一詞在此係包含任何直接及間接的電氣連接手段，亦包含無線或有線之連接手段。舉例而言，若文中描述一第一裝置電性耦接於一第二裝置，則代表該第一裝置可直接連接於該第二裝置，或透過其他裝置或連接手段間接地連接至該第二裝置。
可了解如在此所使用的用詞「包含(comprising)」、「包含(including)」、「具有(having)」、「含有(containing)」、「包含(involving)」等等，為開放性的(open-ended)，即意指包含但不限於。另外，本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之申請專利範圍。
請參考圖1，圖1係為根據本發明一實施例的擴增實境互動系統1000的示意圖，擴增實境互動系統1000應用於一實體場景，且包含一伺服器100及複
數個行動裝置200-1、200-2、200-3、...、200-N。伺服器100儲存對應實體場景的一點雲地圖，且行動裝置200-1、200-2、200-3、...、200-N中的行動裝置200-1傳送一影像、一角色狀態變化數據及一局部變化數據至該伺服器。行動裝置200-1傳送至伺服器的影像可包含實體場景之實體場景圖像，且影像也可包含一玩家圖像。伺服器100將實體場景圖像與點雲地圖進行比對以實時計算出行動裝置200-1的方位數據，並根據角色狀態變化數據及局部變化數據調整對應於一使用者(即行動裝置200-1的使用者，可為一玩家)的角色數據。伺服器100向行動裝置200-2、200-3、...、200-N推播行動裝置200-1的方位數據以及角色數據，使得行動裝置200-2、200-3、...、200-N顯示的擴增實境影像根據行動裝置200-1的方位數據以及該角色數據進行實時調整。行動裝置200-1、200-2、200-3、...、200-N可以是智慧型手機、平板電腦、智慧型眼鏡、元宇宙眼鏡等具備影像擷取以及三維移動偵測等功能的設備。
點雲地圖的製作方式係對實體場景進行各種角度的拍攝，最後經由拍攝的多張圖像整建出點雲地圖，之後行動裝置(諸如行動裝置200-1、200-2、200-3、...、200-N中的一者)上傳拍攝到的實體場景圖像後，實體場景圖像會與點雲地圖比對以計算出行動裝置拍攝實體場景圖像時與實體場景的相對位置及方位。
伺服器100包含全域定位模組110、資料庫120、同步模組130及輔助模組140。全域定位模組110儲存有對應實體場景的所述點雲地圖，用以將收到的資料(例如行動裝置上傳的影像中之實體場景圖像)與點雲地圖進行比對，以確定使用者所在的位置及方位。資料庫120通訊連接於全域定位模組110，用以儲存方位數據及角色數據。同步模組130通訊連接於資料庫，用以向行動裝置
200-2、200-3、...、200-N推播行動裝置200-1的方位數據以及角色數據。輔助模組140用以接收來自行動裝置的GPS資訊，在一些實施例中，輔助模組可整合於全域定位模組110或是資料庫120。
行動裝置200-1除了上傳影像至全域定位模組110，還上傳角色狀態變化數據及局部變化數據至資料庫120。全域定位模組110將實體場景圖像與點雲地圖進行比對以實時計算出行動裝置200-1的方位數據，並根據行動裝置200-1的角色狀態變化數據及局部變化數據調整對應於行動裝置200-1的使用者的角色數據。
舉例來說，行動裝置200-1、200-2、200-3、...、200-N任一者可安裝有關聯於虛擬實境應用的應用程式，並包含影像擷取模組210、局域追蹤模組220、通訊模組230、定位模組240(標注為“GPS”)以及處理模組250。行動裝置200-1、200-2、200-3、...、200-N另可再包含一顯示模組(未圖示)。舉例來說，行動裝置200-1、200-2、200-3、...、200-N任一者可包含記憶體和儲存空間(未圖示)以安裝應用程式。影像擷取模組210可例如是攝影鏡頭及/或影像處理單元，局域追蹤模組220可以是IMU單元(又稱為慣性測量儀、姿態模組、陀螺儀等)，用以偵測行動裝置的三維數據，例如取得行動裝置的六軸變化量。定位模組240耦接於通訊模組230，用以偵測行動裝置的位置並產生位置數據，其中通訊模組230將接收自定位模組240的位置數據傳送至伺服器100的輔助模組140。處理模組250為智慧型手機上晶片的常見設計，此處不再多作描述。
處理模組250執行上述應用程式，並產生角色狀態變化數據。應用程式可以是涉及虛實互動的遊戲軟體，角色狀態變化數據可以是虛擬人物的生命值變化、衣著變化、手部或頭部的動作細節，亦可為伴隨虛擬人物留言或標語。
角色數據整合了上述角色狀態變化數據、局部變化數據，並可包含其他類型的數據。考量到相對於角色狀態變化數據、局部變化數據的實時更新(例如1秒或以下更新一次)，角色數據更新的頻率可能較低(例如3~5秒才更新一次)。
進一步而言，影像擷取模組210用以拍攝實體場景以取得實體場景圖像，局域追蹤模組220用於進行慣性測量以取得對應行動裝置200-1的三維變化數據，以作為上述局部變化數據。通訊模組230耦接於處理模組250、影像擷取模組210以及局域追蹤模組220，且通訊連接於伺服器100，用以根據上述應用程式將接收自處理模組250的角色狀態變化數據、接收自影像擷取模組210的實體場景圖像、以及接收自局域追蹤模組220的局部變化數據傳送至伺服器100。伺服器100儲存對應實體場景的點雲地圖，且伺服器100將實體場景圖像與點雲地圖進行比對以實時計算出行動裝置200-1的方位數據，並根據角色狀態變化數據及局部變化數據調整對應使用者的角色數據。伺服器向些行動裝置中行動裝置200-2、200-3、...、200-N推播行動裝置的方位數據以及角色數據，以使些行動裝置200-2、200-3、...、200-N顯示的擴增實境影像根據行動裝置的方位數據以及組角色數據進行實時調整。
請參考圖2，圖2係為根據本發明一實施例的擴增實境互動方法的流程圖。請注意，假若可獲得實質上相同的結果，則這些步驟並不一定要遵照圖2所示的執行次序來執行。圖2所示之方法可被圖1所示之擴增實境互動系統1000所採用。請注意，倘若可達到相同或相仿功效，本發明擴增實境互動方法的執行順序不一定完全如圖2所示，且額外的步驟可插入其中。圖2的步驟摘要如下：
步驟302：對實體場景進行拍攝以產生點雲地圖，並將點雲地圖儲存於伺服器。
步驟304：上傳實體場景圖像、角色狀態變化數據及局部變化數據至伺服器。
步驟306：將實體場景圖像與點雲地圖進行比對以實時計算出行動裝置的方位數據，並根據角色狀態變化數據及局部變化數據調整對應使用者的角色數據。
步驟308：向其餘行動裝置推播行動裝置的方位數據以及角色數據，以使其餘行動裝置顯示的擴增實境影像根據行動裝置的方位數據以及角色數據進行實時調整。
由於熟習技藝者在閱讀完以上段落後應可輕易瞭解圖2中每一步驟的細節，為簡潔之故，在此將省略進一步的描述。
請一併參考圖3至圖5，圖3係為根據本發明一實施例的行動裝置300的示意圖，安裝有關聯於複數個實體場景的應用程式，舉例來說，行動裝置300可包含記憶體和儲存空間(未圖示)以安裝應用程式。如圖3所示，行動裝置300包含一影像擷取模組310、一通訊模組330、一顯示模組340及處理模組350。處理模組350用以執行上述應用程式，且影像擷取模組310用以擷取影像，例如關聯於複數個實體場景之一第一實體場景圖像及一玩家圖像(參考圖4以及相關說明)。玩家圖像對應一電子裝置，且電子裝置用以擷取關聯於上述實體場景之一第二實體場景圖像(參考圖5以及相關說明)。詳細來說，電子裝置可例如對於一玩家而言即為其他玩家所持有或配戴的行動裝置。通訊模組330耦接於處理模組350以及影像擷取模組310，且通訊連接於一伺服器(例如於前述實施例中的伺服器100)，其中伺服器儲存對應上述實體場景的一點雲地圖，且伺服器將第一實體場景圖像和第二實體場景圖像分別與點雲地圖進行比對，以分別計算
出行動裝置的方位數據和電子裝置的方位數據，伺服器將行動裝置的方位數據和電子裝置的方位數據傳送至通訊模組。顯示模組340用以顯示根據行動裝置的方位數據、電子裝置的方位數據、及玩家圖像對應之一虛擬物件。
圖4係為對應本發明擴增實境互動系統1000的第一實體場景圖像S1的示意圖，且圖5係為對應為本發明擴增實境互動系統1000的第二實體場景圖像S2的示意圖，其中玩家P1、P2正使用擴增實境互動系統1000進行一射擊主題的遊戲，且玩家P1、P2皆持有行動裝置300進行遊玩，行動裝置300可以是智慧型手機、平板電腦、智慧型眼鏡、元宇宙眼鏡等具備影像擷取以及三維移動偵測等功能且同時具備顯示模組的設備。如圖4所示，玩家P1、P2正第一實體場景圖像S1中的虛擬物件N1(以恐龍來示意，但本發明不限於此)進行射擊，目前第一實體場景圖像S1是位於玩家P1、P2身後的玩家P3的行動裝置所顯示的圖像。由於此時玩家P1的各種數據(諸如方位數據、虛擬物件、角色狀態變化數據、局部變化數據等)已透過擴增實境互動系統1000實時推播給其他玩家，當玩家P3將自己的拍攝角度轉向玩家P1時則擷取到第二實體場景圖像S2時(如圖5所示)，玩家P1的狀態(諸如頭部和手部位置的變化、槍枝對準的角度、人物受傷狀態、生命值顯示、標記的文字或表情圖案等)也會於畫面中更新。如此一來，遊戲的擬真和互動效果得以大幅提昇，並且可適應各種室內或室外場地場地來進行遊戲。
綜上所述，本發明的技術方案能夠實現室外場景的多人虛擬實境互動方案，而不侷限於室內小坪數的遊玩方案，故能夠有效解決現有技術面臨的瓶頸。此外，本發明的技術方案可以透過一般智慧型手機來實作，故使用者不用額外添購設備，能夠省去不少花費。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
302,304,306,308:步驟
Claims (8)
- 一種擴增實境互動系統，應用於一實體場景，包含：一伺服器，儲存對應該實體場景的一點雲地圖；以及通訊連接於該伺服器之一第一行動裝置，該第一行動裝置上傳一實體場景圖像、一角色狀態變化數據及一局部變化數據至該伺服器，該伺服器將該實體場景圖像與該點雲地圖進行比對以實時計算出該第一行動裝置的方位數據，並根據該角色狀態變化數據及該局部變化數據調整對應一使用者的角色數據；通訊連接於該伺服器之至少一第二行動裝置；其中該伺服器向至少該第二行動裝置推播該第一行動裝置的該方位數據以及該角色數據，以使該至少第二行動裝置顯示的擴增實境影像根據該第一行動裝置的該方位數據以及該角色數據進行實時調整。
- 如請求項1所述之擴增實境互動系統，其中該第一行動裝置包含：一影像擷取模組，用以拍攝該實體場景以取得該實體場景圖像；一局域追蹤模組，用於進行慣性測量以取得對應該第一行動裝置的三維變化數據，以作為該局部變化數據；一通訊模組，耦接於該影像擷取模組以及該局域追蹤模組，且通訊連接於該伺服器，用以將接收自該影像擷取模組的該實體場景圖像以及接收自該局域追蹤模組的該局部變化數據傳送至該伺服器。
- 如請求項2所述之擴增實境互動系統， 其中該第一行動裝置還包含：一定位模組，耦接於該通訊模組，用以偵測該第一行動裝置的位置並產生一位置數據，其中該通訊模組將接收自該定位模組的該位置數據傳送至該伺服器。
- 如請求項1所述之擴增實境互動系統，其中該伺服器包含：一全域定位模組，儲存有該點雲地圖，用以將該實體場景圖像與該點雲地圖進行比對以實時計算出該第一行動裝置的該方位數據；一資料庫，通訊連接於該全域定位模組，用以儲存該方位數據及該角色數據；以及一同步模組，通訊連接於該資料庫，用以向至少該第二行動裝置推播該第一行動裝置的該方位數據以及該角色數據。
- 一種伺服器，包含：一全域定位模組，儲存有對應一實體場景的點雲地圖，用以將收到的資料與該點雲地圖進行比對；一資料庫，通訊連接於該全域定位模組，用以儲存一方位數據及一角色數據；以及一同步模組，通訊連接於該資料庫，用以向至少一第二行動裝置推播一第一行動裝置的該方位數據以及該角色數據，以使該至少一其他行動裝置顯示的擴增實境影像根據該行動裝置的該方位數據以及該角色數據進行實時調整；其中該第一行動裝置上傳一實體場景圖像至該全域定位模組，以及上傳一角色狀態變化數據及一局部變化數據至該資料庫，該全域定位模組將該實體場景圖像與該點雲 地圖進行比對以實時計算出該第一行動裝置的方位數據，並根據該角色狀態變化數據及該局部變化數據調整對應一使用者的角色數據。
- 一種行動裝置，安裝有關聯於複數個實體場景的應用程式，該行動裝置包含：一處理模組，用以執行該應用程式；一影像擷取模組，用以擷取一影像，該影像包括關聯於該些實體場景之一第一實體場景圖像及一玩家圖像，該玩家圖像對應一電子裝置，該電子裝置用以擷取關聯於該些實體場景之一第二實體場景圖像；一通訊模組，耦接於該處理模組以及該影像擷取模組，且通訊連接於一伺服器，其中該伺服器儲存對應該些實體場景的一點雲地圖，且該伺服器將該第一實體場景圖像和該第二實體場景圖像分別與該點雲地圖進行比對，以分別計算出該行動裝置的方位數據和該電子裝置的方位數據，及該伺服器將該行動裝置的方位數據和該電子裝置的方位數據傳送至該通訊模組；以及一顯示模組，用以顯示根據該行動裝置的該方位數據、該電子裝置的該方位數據、及該玩家圖像對應之一虛擬物件。
- 如請求項6所述之行動裝置，該行動裝置更包含：一局域追蹤模組，用於進行慣性測量以取得對應該行動裝置的三維變化數據，以作為局部變化數據；其中，該通訊模組週期性地將該局部變化數據傳送至該伺服器。
- 如請求項7所述之行動裝置，該行動裝置更包含：一定位模組，耦接於該通訊模組，用以偵測該行動裝置的位置並產生一位置數據，其中該通訊模組將接收自該定位模組的該位置數據傳送至該伺服器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111143134A TWI817825B (zh) | 2022-11-11 | 2022-11-11 | 擴增實境互動系統、伺服器以及行動裝置 |
| US17/991,836 US20240161416A1 (en) | 2022-11-11 | 2022-11-21 | Augmented reality interaction system, server and mobile device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111143134A TWI817825B (zh) | 2022-11-11 | 2022-11-11 | 擴增實境互動系統、伺服器以及行動裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI817825B true TWI817825B (zh) | 2023-10-01 |
| TW202419142A TW202419142A (zh) | 2024-05-16 |
Family
ID=89858037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111143134A TWI817825B (zh) | 2022-11-11 | 2022-11-11 | 擴增實境互動系統、伺服器以及行動裝置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240161416A1 (zh) |
| TW (1) | TWI817825B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108693959A (zh) * | 2017-04-09 | 2018-10-23 | 金德奎 | 一种基于ar或mr虚拟媒介的社交方法 |
| TW202009652A (zh) * | 2018-08-23 | 2020-03-01 | 鼎鼎企業管理顧問股份有限公司 | 整合位置資訊、方向感測、線性加速度感測及地圖導航之導購系統及其方法 |
| CN113129411A (zh) * | 2019-12-30 | 2021-07-16 | 华为技术有限公司 | 一种仿生动画生成方法及电子设备 |
| CN113728362A (zh) * | 2019-02-25 | 2021-11-30 | 奈安蒂克公司 | 增强现实移动边缘计算 |
| TWM626295U (zh) * | 2021-11-03 | 2022-05-01 | 狂點軟體開發股份有限公司 | 利用同一現實世界擴增複數虛擬世界的適地性可跨界互訪之「Metaverse」社群系統 |
| TW202241571A (zh) * | 2021-04-28 | 2022-11-01 | 吳鑑顯 | 一種結合地圖、行銷、觀光與虛實轉換的遊戲軟體系統 |
-
2022
- 2022-11-11 TW TW111143134A patent/TWI817825B/zh active
- 2022-11-21 US US17/991,836 patent/US20240161416A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108693959A (zh) * | 2017-04-09 | 2018-10-23 | 金德奎 | 一种基于ar或mr虚拟媒介的社交方法 |
| TW202009652A (zh) * | 2018-08-23 | 2020-03-01 | 鼎鼎企業管理顧問股份有限公司 | 整合位置資訊、方向感測、線性加速度感測及地圖導航之導購系統及其方法 |
| CN113728362A (zh) * | 2019-02-25 | 2021-11-30 | 奈安蒂克公司 | 增强现实移动边缘计算 |
| CN113129411A (zh) * | 2019-12-30 | 2021-07-16 | 华为技术有限公司 | 一种仿生动画生成方法及电子设备 |
| TW202241571A (zh) * | 2021-04-28 | 2022-11-01 | 吳鑑顯 | 一種結合地圖、行銷、觀光與虛實轉換的遊戲軟體系統 |
| TWM626295U (zh) * | 2021-11-03 | 2022-05-01 | 狂點軟體開發股份有限公司 | 利用同一現實世界擴增複數虛擬世界的適地性可跨界互訪之「Metaverse」社群系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240161416A1 (en) | 2024-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9892563B2 (en) | System and method for generating a mixed reality environment | |
| US11244469B2 (en) | Tracking position of device inside-out for augmented reality interactivity | |
| CN110650354B (zh) | 虚拟动漫角色直播方法、系统、设备及存储介质 | |
| CN106774844B (zh) | 一种用于虚拟定位的方法及设备 | |
| KR101637990B1 (ko) | 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 | |
| US20140267234A1 (en) | Generation and Sharing Coordinate System Between Users on Mobile | |
| CN102939139B (zh) | 共享虚拟空间中便携式设备的校准 | |
| US9662564B1 (en) | Systems and methods for generating three-dimensional image models using game-based image acquisition | |
| Satoh et al. | A hybrid registration method for outdoor augmented reality | |
| TWI468734B (zh) | 用於在共享穩定虛擬空間維持多個視面的方法、攜帶式裝置以及電腦程式 | |
| US20130178257A1 (en) | System and method for interacting with virtual objects in augmented realities | |
| WO2013027628A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR100941749B1 (ko) | 증강 현실 장치 및 가상 이미지 합성 방법 | |
| WO2018113759A1 (zh) | 基于定位系统和ar/mr的探测系统及探测方法 | |
| CN110221691B (zh) | 一种沉浸式虚拟体验方法、系统及装置 | |
| Oskiper et al. | Augmented reality binoculars | |
| CN109668545A (zh) | 用于头戴式显示装置的定位方法、定位器以及定位系统 | |
| WO2013111146A4 (en) | System and method of providing virtual human on human combat training operations | |
| CN108961423A (zh) | 虚拟信息处理方法、装置、设备及存储介质 | |
| CN112907652A (zh) | 相机姿态获取方法、视频处理方法、显示设备和存储介质 | |
| Baker et al. | Splat: Spherical localization and tracking in large spaces | |
| TWI817825B (zh) | 擴增實境互動系統、伺服器以及行動裝置 | |
| CN112788443B (zh) | 基于光通信装置的交互方法和系统 | |
| CN112288876A (zh) | 远距离ar识别服务器及系统 | |
| JP2012098936A (ja) | 電子掲示板システム，サーバ装置及び端末装置 |