TW202145061A

TW202145061A - 遠端建構虛擬場景的系統、方法及非暫存性電腦可讀取記錄媒體

Info

Publication number: TW202145061A
Application number: TW109116842A
Authority: TW
Inventors: 林翰霙
Original assignee: 光時代科技有限公司
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2021-12-01
Also published as: TWI747294B

Abstract

本發明提供一種遠端建構虛擬場景的系統，包含至少一第一光標籤裝置、一第二光標籤裝置、以及一光標籤識別裝置。該第一光標籤裝置具有一第一光標籤，該第一光標籤至少對應於一裝置位姿訊息。該第二光標籤裝置具有一第二光標籤。該光標籤識別裝置包含一攝影單元、一顯示器、以及一處理器。該光標籤識別裝置經由該攝影單元拍攝該第二光標籤的圖像並經由該處理器計算獲得一位姿訊息，並依據該位姿訊息與用戶選擇的該第一光標籤裝置建立相對該第一光標籤裝置的裝置位姿訊息的場景資訊，將該場景資訊顯示於該顯示器上，並提供虛擬物件設置功能。

Description

遠端建構虛擬場景的系統、方法及非暫存性電腦可讀取記錄媒體

本發明有關於一種建構虛擬場景的系統、方法與非暫存性電腦可讀取記錄媒體，尤指一種遠端建構虛擬場景的系統、方法與非暫存性電腦可讀取記錄媒體。

擴增實境（Augmented Reality, AR），也可稱之為實擬虛境或擴張現實，是指透過攝影機影像的位置及角度精算並加上圖像分析技術，讓螢幕上的虛擬世界能夠與現實世界場景進行結合與互動的技術。

而在純粹討論虛擬世界時，虛擬世界中所有的物件（例如：天空、地面、人、動物、桌椅、高樓大廈等）都可稱之為虛擬物件。而在擴增實境系統的關鍵在於如何將虛擬世界的虛擬物件與實際環境結合，因此擴增實境演算法軟體必須要取得真實世界的坐標，再將虛擬物件疊合到坐標上。

為了取得真實世界的坐標以及建立準確的坐標位置，通常需要專門的拍攝人員使用專用相機拍攝，並且前去真實世界的環境中取得相應的圖像，才能夠取得真實世界的精確坐標位置，並加以將虛擬物件結合，已達到擴增實境的需求。

本發明提供一種遠端建構虛擬場景的系統，包含至少一第一光標籤裝置、一第二光標籤裝置、以及一光標籤識別裝置。該第一光標籤裝置具有一第一光標籤，該第一光標籤至少對應於一裝置位姿訊息。該第二光標籤裝置具有一第二光標籤。該光標籤識別裝置包含一攝影單元、一顯示器、以及一處理器，該光標籤識別裝置經由該攝影單元拍攝該第二光標籤的圖像並經由該處理器計算獲得一位姿訊息，並依據該位姿訊息與用戶選擇的該第一光標籤裝置建立相對該第一光標籤裝置的裝置位姿訊息的場景資訊，將該場景資訊顯示於該顯示器上，並提供虛擬物件設置功能。

本發明另外提供一種遠端建構虛擬場景的方法，包含一光標籤識別裝置的一攝影單元拍攝一第二光標籤裝置的圖像。該圖像經由該光標籤識別裝置的一處理器計算獲得一位姿訊息。該處理器依據該位姿訊息與用戶選擇的一第一光標籤裝置建立相對該第一光標籤裝置的一裝置位姿訊息的場景資訊。該場景資訊顯示於該光標籤識別裝置的一顯示器上。以及該處理器設置虛擬物件於該場景資訊中。

本發明另外提供一種非暫存性電腦可讀取記錄媒體，係用於儲存一程式，當一處理晶片載入該程式後將可執行如前述的方法。

是以，比起習知技術，本發明無需親自到達現實環境去取得圖像，並且可以透過光標籤取得三維空間中的位置且在遠端進行虛擬物件的設置。

有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必照實際比例繪製，該等圖式及其比例並非用以限制本發明之範圍，在此先行敘明。

以下請參閱「圖1」，為本發明遠端建構虛擬場景的系統方塊示意圖，如圖所示：

本實施例提供一種遠端建構虛擬場景的系統100，主要包括至少一第一光標籤裝置10、具有第二光標籤的第二光標籤裝置20以及光標籤識別裝置30。「圖1」中所示的虛線，係指光標籤識別裝置30對第二光標籤裝置20的拍攝關係，於此先行敘明。

所述的第一光標籤裝置10具有第一光標籤，第一光標籤至少對應於裝置位姿訊息。

前述的第一光標籤裝置10、第二光標籤裝置20是一種能通過不同發光方式來傳遞資訊的裝置，不同於傳統二維碼，光標籤具有識別距離遠、指向性強、不受可見光條件的限制，因此光標籤能提供更遠的識別距離以及更強的資訊交換能力。通常光標籤通常可包括控制器或至少一個光源，該控制器可以藉由不同模式驅動光源，使光標籤能向外傳遞不同的資訊。而每個光標籤可以被分配一個標示資訊，作為光標籤的識別資訊，且通過該識別資訊能獲得光標籤的裝置位姿訊息。在此須特別注意的是，於本實施例中雖然僅揭示兩組光標籤裝置（第一光標籤裝置10、第二光標籤裝置20），在實務上可選用的光標籤裝置可以為三個或三個以上，用戶可以經由應用程式所提供的服務選定對應的光標籤裝置，並基於該光標籤裝置所對應的場景資訊進行編修，於本發明中不予以限制。

前述的裝置位姿訊息，包含了位置資訊(坐標)與姿態資訊（該姿態資訊例如是指光標籤的朝向等，例如朝向正北方向）。前述的姿態資訊是指第一光標籤裝置10、第二光標籤裝置20在某個坐標系（例如世界坐標系或光標籤坐標系）中的朝向資訊。當第一光標籤裝置10、第二光標籤裝置20平移而沒有旋轉時，位置資訊（坐標）變化，但第一光標籤裝置10、第二光標籤裝置20姿態資訊會保持不變。當第一光標籤裝置10、第二光標籤裝置20僅旋轉而不平移時，第一光標籤裝置10、第二光標籤裝置20的位置資訊保持不變，但姿態資訊會發生變化。

於另外的實施例中，前述的位置資訊於一可行的實施例中可以是該裝置本身於世界坐標中的位址資訊（例如世界大地測量系統（World Geodetic System, WGS）、經緯坐標系等）。於其他可行的實施例中，裝置位置資訊亦可以是基於用戶設定相對穩定的錨點而預先建立的空間坐標系、或其他任意可供作為絕對位置或相對位置參考的空間坐標資訊，於本發明中不予以限制。

請參酌「圖2」，所述的光標籤識別裝置30包含攝影單元32、顯示器34、以及處理器36。光標籤識別裝置30可以為（但不限定於）具有拍攝功能、顯示功能、運算功能的手機（Smart Phone）、平板電腦（Tablet）、智慧眼鏡（Smart Glasses）、穿戴式裝置（Wearable Devices）等或其他具有傳感器並具有攝像鏡頭、顯示螢幕、運算處理器及聯網功能的裝置，能將拍攝的影像及/或其資訊藉由網際網路傳送至其他裝置（例如伺服器），該光標籤識別裝置30的選擇於本發明中不予以限制。於一實施例中，本發明中所述的處理器36可以更進一步配合一儲存單元執行，經由該儲存單元儲存程式，藉以經由載入該儲存單元執行相應的功能；於另一可行的實施例中，該處理器36可以與該儲存單元共構而作成單晶片實施，於本發明中不予以限制。其中該儲存單元可以是但不限定於快取記憶體（Cache memory）、動態隨機存取記憶體（DRAM）、持續性記憶體（Persistent Memory）等可以做為儲存資料和取出資料用途之裝置或其組合，於本發明中不予以限制。

於其中一實施例中，本發明能搭配一伺服器，該伺服器具有儲存單元。所述的伺服器（Server）包括中央處理器、硬碟、記憶體（儲存單元）等，並由該等硬體協同執行對應的軟體（Software）以實現本發明中所述的功能及演算法，該等軟硬體於電訊號上的協同關係非屬本發明所欲限制的範圍。於本發明其中一實施例中，部分的程序可以由光標籤識別裝置30執行，亦可以由該伺服器執行，於本發明中不予以限制。

以上已將本發明的硬體架構進行大致的說明，針對本發明配合硬體所執行的演算法及功能後面將進行更進一步的說明，請一併參閱「圖3」，係揭示本發明遠端設置虛擬物件的方法的流程示意圖，如圖所示：

針對各該光標籤裝置（例如第一光標籤裝置10、第二光標籤裝置20）的場景資訊係依據對應的光標籤代碼（或坐標位置）作為索引預先以資料庫的形式儲存於該光標籤識別裝置30或是連接或耦接至該光標籤識別裝置30的伺服器。

於光標籤識別裝置30啟動應用程序所提供的服務時，首先，用戶先操作光標籤識別裝置30，經由該光標籤識別裝置30的攝影單元32拍攝第二光標籤裝置20上第二光標籤的圖像（步驟S201）。

接續，該處理器36於獲得該第二光標籤的圖像後，經由該圖像計算獲得該光標籤識別裝置30的位姿訊息（步驟S202）。

所述的位姿訊息(包含位置資訊與姿態資訊)係指光標籤識別裝置30與第二光標籤裝置20的相對位置關係及相對姿態。

於一實施例中，可以藉由下述方式來確定光標籤識別裝置30相對於第二光標籤裝置20的位姿訊息(位置資訊與姿態資訊)。首先，根據第二光標籤裝置20的光標籤建立一個坐標系，該坐標系可以被稱為光標籤坐標系。可以將光標籤上的一些點確定為在光標籤坐標系中的一些空間點，並且可以根據光標籤的物理尺寸資訊及/或物理形狀資訊來確定這些空間點在光標籤坐標系中的坐標。光標籤上的一些點例如可以是光標籤的外殼的角、光標籤中的光源的端部、光標籤中的一些標識點、等等。根據光標籤的物理結構特徵或幾何結構特徵，可以在攝影單元32拍攝的圖像中找到與這些空間點分別對應的像點，並確定各個像點在圖像中的位置。根據各個空間點在光標籤坐標系中的坐標以及對應的各個像點在圖像中的位置，結合光標籤識別裝置30的內參資訊，可以計算得到拍攝該圖像時光標籤識別裝置30在光標籤坐標系中的位姿訊息（R，t），其中R為旋轉矩陣，其可以用於表示光標籤識別裝置30在光標籤坐標系中的姿態資訊（也可稱為朝向資訊），t為位移向量，其可以用於表示光標籤識別裝置30在光標籤坐標系中的位置資訊。前述計算R、t的方法能利用已知的現有技術來計算取得，例如，用於3D-2D技術的PnP（Perspective-n-Point）方法來計算R、t。

接續，於獲得位姿訊息後，該處理器36進一步依據該位姿訊息與用戶選擇的第一光標籤裝置10建立相對第一光標籤裝置10的裝置位姿訊息的場景資訊（步驟S203）。

具體而言，當該處理器36已取得位姿訊息後，用戶能藉由處理器36內建的軟體去選擇需要的第一光標籤裝置10，處理器36依據用戶的選擇作為索引由資料庫中找到對應該第一光標籤裝置10的場景資訊，再根據已取得的光標籤識別裝置30與第二光標籤裝置20的位姿訊息錨定至該第一光標籤裝置10所對應的坐標，以虛擬設置用戶於第一光標籤裝置10於空間中所對應的位置及姿態，並基於該等資訊建立用戶的場景資訊。

以下針對前述的內容列舉一具體實施例，請參閱「圖4」。用戶P手持光標籤識別裝置30A，拍攝具有坐標

的第二光標籤裝置20A，並運算光標籤識別裝置30A與第二光標籤裝置20A的向量

、roll 角(

)（圖未示）、pitch 角(

)（圖未示）、yaw 角(

)（圖未示）後錨定至第一光標籤裝置10A所對應的坐標

。所述的向量

與

之間

軸坐標變化的純量為

，

軸坐標變化的純量為

，

軸坐標變化的純量為

。所述的roll 角(

)為在yz平面逆時針的旋轉方向。所述的pitch 角(

)為在zx平面逆時針的旋轉方向。yaw 角(

)為在xy平面逆時針的旋轉方向。所述的第一光標籤裝置10A於圖4中為虛線，該虛線係指對於用戶P來說，第一光標籤裝置10A並非實際存在用戶P周圍。

除上述的方式外，第一光標籤裝置10的場景資訊亦可以由處理器36經由網際網路、區域網路或實體連線連接至伺服器向伺服器下載取得，於本發明中不予以限制場景資訊所儲存的媒介。於其中所述的場景資訊除了對應於光標籤裝置所在場景空間的三維資訊，亦可以包括配合所述的光標籤裝置已經預先建立的虛擬物件。在此所述的虛擬物件例如是3D 模型、2D 平面圖片、透空遮罩影片、影片或虛擬文字訊息等，於本發明中不予以限制。

更進一步在一較佳實施例中，所述的第一光標籤裝置10周圍的場景資訊包括複數個對應個別時間點的場景資訊。前述包括複數個對應個別時間點的場景資訊，請參閱「圖5」，例如：場景資訊包括早上九點的場景資訊（請參閱圖5（A））、晚上八點的場景資訊（請參閱圖5（B））。前述場景資訊的時間點非屬本發明所欲限制的範圍。

於其他的實施例中，當第一光標籤裝置10周圍的場景資訊包括複數個對應個別時間點的場景資訊時，處理器36能依據用戶P選擇的時間點建立相對應時間點的場景資訊。於其中一可行的應用實施例中，例如可以依據店鋪的營業時間顯示不同店鋪的資訊，或是依據時間點建立環境亮度（白晝或夜晚）等，如「圖6」，圖6（A）為早上九點時，餐廳與銀行營業情況下的場景資訊；圖6（B）為晚上八點時，餐廳轉營業成酒吧，並且銀行晚上沒有營業情況下的場景資訊，前述該等場景資訊建立方式非屬本發明所欲限制的範圍。其中，圖中的斜線係指晚上的天空。

於該處理器36確認場景資訊後，該處理器36係將該場景資訊顯示於該光標籤識別裝置30的顯示器34上（步驟S204）。

在此步驟中，處理器36所建構的場景資訊係基於該第一光標籤裝置10的裝置位姿訊息，此時顯示器34所顯示的影像將對應至第一光標籤裝置10的場景資訊，並且用戶P於顯示器34中所看到的用戶相對於第一光標籤裝置10的方位與距離相同於光標籤識別裝置30與第二光標籤裝置20的方位與距離。

於其他的實施例中，資料庫中可進一步包括複數個對應個別時間點的場景資訊，用戶P能藉由應用程式所提供的服務依據需求的時間點（或是依據當下的時間點）選擇對應時間點的場景資訊並顯示於光標籤識別裝置30的顯示器34上。如「圖7」所示，當光標籤識別裝置30為智慧手機30B，並且用戶選擇下午八點的場景資訊時，智慧手機30B的顯示器上顯示用戶P所選擇的下午八點的場景資訊（圖6（B））。

最後，該處理器36依據設置虛擬物件於該場景資訊中（步驟S205）。

於此步驟中處理器36設置虛擬物件的功能，是由處理器36所提供的應用程序而執行的場景建立工具，所述的場景建立工具例如可以在三維空間中標定坐標，並依據所標定的坐標建立三維物件（例如擴充實境物件、對話框、圖像等），經由建立三維物件修改場景資訊。編修後的場景資訊可以儲存於該光標籤識別裝置30的儲存單元內或直接上傳至伺服器以更新場景資訊，以便第三方存取伺服器後下載編修過後的場景資訊。

於本實施例中，處理器36具有能夠將顯示器34中所顯示的場景資訊進行虛擬物件的軟件，使用戶P能對場景資訊設置虛擬物件。所述的軟件包括（但不限於）ARKit、 ARCore、 Unity、Vufori、HP Reveal、MAKAR等軟體開發套件（Software Development Kit, SDK）或其他能將虛擬物件與實際環境結合的演算法軟體，於本發明中不予以限制。

於其他的實施例中，處理器36能夠將顯示器34中所顯示已具有虛擬物件的場景資訊進行設置，使用戶P能對場景資訊中的虛擬物件進行調整。所述的處理器36具有能夠調整虛擬物件的軟體，所述的軟體與設置虛擬物件的軟體相同，因此不再贅述。

本發明之方法亦可記錄於電腦可讀取記錄媒體，所述的「電腦可讀取記錄媒體」包括（但不限於）攜帶型或非攜帶型儲存裝置、光儲存器件，及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀取記錄媒體可包括非暫存性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。

非暫存性媒體之實例可包括（但不限於）磁碟或磁帶、諸如緊密光碟（CD）或數位化通用光碟（DVD）之光學儲存媒體、快閃記憶體、記憶體或記憶體器件。

電腦可讀取記錄媒體可具有儲存於其上之代碼及/或機器可執行指令，該等代碼及/或機器可執行指令可表示程序、函數、子程式、程式、常式、次常式、模組、軟體套件、類別，或指令、資料結構或程式語句之任何組合。一個碼段可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或類似者之任何合適方式傳遞、轉遞或傳輸。

此外，可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施實施例。當實施於軟體、韌體、中間軟體或微碼中時，用以執行必要任務之程式碼或碼段（例如電腦程式產品）可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。

綜上所述，本發明無需親自到達現實環境去取得圖像，並且可以透過光標籤取得三維空間中的位置且在遠端進行虛擬物件的設置。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。

100:遠端建構虛擬場景的系統 10:第一光標籤裝置 10A:第一光標籤裝置 20:第二光標籤裝置 20A:第二光標籤裝置 30:光標籤識別裝置 30A:光標籤識別裝置 30B:智慧手機 32:攝影單元 34:顯示器 36:處理器 P:用戶

:向量

:坐標

:坐標

:純量

:純量

:純量 S201-205:步驟

圖1，本發明遠端建構虛擬場景的系統的方塊示意圖。

圖2，本發明光標籤識別裝置的方塊示意圖。

圖3，本發明遠端建構虛擬場景的方法的流程示意圖。

圖4，本發明藉由光標籤識別裝置進行錨定的方塊示意圖。

圖5，本發明場景資訊不同時間點的示意圖。

圖6，本發明場景資訊中不同時間點店鋪營業情況的示意圖。

圖7，本發明晚上八點場景資訊顯示於智慧手機上的示意圖。

100:遠端建構虛擬場景的系統

10:第一光標籤裝置

20:第二光標籤裝置

30:光標籤識別裝置

Claims

一種遠端建構虛擬場景的系統，包含：至少一第一光標籤裝置，具有一第一光標籤，該第一光標籤至少對應於一裝置位姿訊息；一第二光標籤裝置，具有一第二光標籤；以及一光標籤識別裝置，該光標籤識別裝置包含一攝影單元、一顯示器、以及一處理器，該光標籤識別裝置經由該攝影單元拍攝該第二光標籤的圖像並經由該處理器計算獲得一位姿訊息，並依據該位姿訊息與用戶選擇的該第一光標籤裝置建立相對該第一光標籤裝置的裝置位姿訊息的場景資訊，將該場景資訊顯示於該顯示器上，並提供虛擬物件設置功能。
如申請專利範圍第1項所述的遠端建構虛擬場景的系統，其中該第一光標籤裝置周圍的場景資訊藉由一伺服器或該處理器中的一儲存單元取得。
如申請專利範圍第1項或第2項所述的遠端建構虛擬場景的系統，其中該第一光標籤裝置周圍的場景資訊包含已建立的虛擬物件，該處理器能對已建立的該虛擬物件進行調整。
如申請專利範圍第3項所述的遠端建構虛擬場景的系統，其中該伺服器或該儲存單元的第一光標籤裝置周圍場景資訊包括複數個對應個別時間點的場景資訊並將該場景資訊顯示於該顯示器上供用戶選擇。
如申請專利範圍第4項所述的遠端建構虛擬場景的系統，其中該處理器依據選擇的時間點建立對應時間點的該場景資訊。
一種遠端建構虛擬場景的方法，包含：一光標籤識別裝置的一攝影單元拍攝一第二光標籤裝置的圖像；該圖像經由該光標籤識別裝置的一處理器計算獲得一位姿訊息；該處理器依據該位姿訊息與用戶選擇的一第一光標籤裝置建立相對該第一光標籤裝置的一裝置位姿訊息的一場景資訊；該場景資訊顯示於該光標籤識別裝置的一顯示器上；以及該處理器設置虛擬物件於該場景資訊中。
如申請專利範圍第6項所述的遠端建構虛擬場景的方法，其中該第一光標籤裝置周圍的場景資訊藉由一伺服器或該處理器中的一儲存單元取得。
如申請專利範圍第6項或第7項所述的遠端建構虛擬場景的方法，其中該處理器能對該第一光標籤裝置周圍的場景資訊中已建立的該虛擬物件進行調整。
如申請專利範圍第8項所述的遠端建構虛擬場景的方法，其中該顯示器能顯示包括複數個對應個別時間點場景資訊的第一光標籤裝置周圍的場景資訊。
如申請專利範圍第9項所述的遠端建構虛擬場景的方法，其中對應時間點的該場景資訊能藉由該處理器去選擇時間並建立相對應的場景資訊。
一種非暫存性電腦可讀取記錄媒體，係用於儲存一程式，當一處理晶片載入該程式後將可執行如申請專利範圍第6至10項中任一項所述的方法。