TWM630060U

TWM630060U - 真實空間虛擬化之擴增實境互動模組

Info

Publication number: TWM630060U
Application number: TW110211412U
Authority: TW
Inventors: 白璧珍; 葉慶元; 陳凱嶸
Original assignee: 宇萌數位科技股份有限公司
Priority date: 2021-09-28
Filing date: 2021-09-28
Publication date: 2022-08-01

Abstract

一種真實空間虛擬化之擴增實境互動模組，係包括一擴境實境模組，該擴境實境模組更包括一特徵檢測單元，該特徵檢測單元再電性連接一處理單元，該處理單元內更包括一特徵比對器、一光流追蹤器及一分割暨分類器，其中該特徵比對器進行特徵描述，該光流追蹤器電性連接該特徵檢測單元，該光流追蹤器進行光流法持續追蹤該影像資料之光流，該分割暨分類器係電性連接該特徵檢測單元，該分割暨分類器進行影像分割，該處理單元電性連接一融合匹配器，該融合匹配器用以進行地理標示，最後，融合匹配器電性連接一姿態估算器，以進行在三維空間之位置計算。

Description

真實空間虛擬化之擴增實境互動模組

本創作係有關一種導航裝置，尤指一種運用在真實空間虛擬化之擴增實境互動模組。

在擴增實境(Augmented Reality，AR)應用於室內導航的技術領域中，現有的主要技術之一係透過GPS定位模組得到初步定位資訊，再配合視覺慣性感測模組得到的姿態訊息作為定位參考，於假設的定位參考點抓取預設的虛擬資訊，並將具導航訊息的虛擬資訊映射至呈現實際景象的螢幕上。

由於到了室內失去GPS訊號後，單靠視覺慣性感測模組得到的姿態訊息計算的結果，將產生累加的誤差，因此需要再利用標記(Marker)或自然特徵(Natural Features)等預定位方式，來協助計算以求獲得更正確的假設參考點座標該虛擬資訊正確地對應顯現於該螢幕上。

而為了計算出在在室內的定位，目前常用的演算法係為一種為運動推斷結構(SFM)，該演算法是一種攝影測量範圍成像技術，用於估計二維圖像序列中的三維結構，最常用在只有單一鏡頭的RGB相機中；而後續的發展的技術中，係利用包括飛時測距TOF(Time of Flight)，結構光(Structured Light)或是雙眼立體視覺(Stereo Vision)，進一步在推算物體與相機間的關係，並經由演算法來計算出相關位置。

然而，前述的相關定位演算法中，都會有一個相同的問題，就是如果有一個會移動的物體出現在空間中，就會仿礙到計算的正確性，舉例來說，當兩個人走過了一個畫像，畫像是固定，是一個良好得地標(land mark)，可以用來推算相機在空間中的移動，但是人體卻不是一直固定在同一位置上，不但會移動，還有可能成為強大的特徵並遮蔽了重要的地標，造成我們在攝影姿態估計上，若是把兩個人一並列入計算，就有可能產生了極大的誤差，成了欲解決的問題之一。

針對上述之缺失，本創作之主要目的在於提供一種真實空間虛擬化之擴增實境互動模組，透過該擴境實境模組內將影像中把可能會移動之物體切割出來，並進行標示，再由相對應之影像處理排除其影響因子，去除雜訊不列出計算，以估算出最佳之物體位置。

為達成上述之目的，本創作係主要提供一種真實空間虛擬化之擴增實境互動模組，該擴境實境模組係包括：一特徵檢測單元，該特徵檢測單元係用於針對數位化之影像進行特徵檢測，該特徵檢測單元再電性連接一處理單元，其中該處理單元內更包括：一特徵描述器、一光流追蹤器及一分割暨分類器，其中：該特徵描述器係用於進行特徵描述：該光流追蹤器，係電性連接該特徵檢測單元，用以追蹤由該特徵檢測單元所傳來該影像資料之光流：該分割暨分類器，係電性連接該特徵檢測單元，用以接收來自該特徵檢測單元之影像資料，經由該分割暨分類器進行複數影像中之單一影格內容進行分割並予以標示；以及一融合匹配器，係電性連接該處理單元，該融合匹配器用以接收來自該處理單元完成後之影像資料進行處理及標示，並剔除被匹配的特徵，之後產生良好之關鍵點；一姿態估算器，係電性連接融合匹配器，該姿態估算器用以接收來自該融合匹配器計算後之影像資料，以進行在三維空間之位置計算。

1:控制單元

2:鏡頭模組

3:擴境實境模組

31:特徵檢測單元

32:處理單元

321:特徵描述器

322:光流追蹤器

323:分割暨分類器

33:融合匹配器

34:姿態估算器

4:無線通訊單元

5:定位單元

6:視覺慣性量測單元

100:行動裝置

101:顯示螢幕

200:雲端伺服器

第一圖係為本創作之行動裝置示意圖。

第二圖係為本創作之系統連接示意圖。

第三圖係為本創作之系統方塊圖。

第四圖係為本創作之擴境實境模組方塊圖。

請參閱第一圖及第二圖，係分別為本創作之行動裝置示意圖與系統連接示意圖。如圖所示，本創作導航系統係裝置於一行動裝置100上，該行動裝置上具有一顯示螢幕101，該顯示螢幕101係用於顯示該導航系統所呈現之資訊，如第三圖所示，該導航系統係主要包括一控制單元1，該控制單元1係為本系統之控制中樞，用以控制本系統之功能及資訊傳輸，於本實施例中該控制單元1係為一種微處理器；該控制單元1係電性連接一鏡頭模組2，該鏡頭模組2係透過光學鏡頭進行實地影像擷取，在轉成數位化影像輸入至該導航系統內；又，該控制單元1電性連接一擴境實境模組3，該擴境實境模組3係用以接收該數位化之影像進行後續分析。

續參閱第三圖。另，該控制單元1電性連接一無線通訊單元4，該無線通訊單元4係用以進行無線網路之連接，以進行數據傳輸，於本實施例中該無線通訊單元4係為一種無線通訊裝置；該控制單元1再電性連接一定位單元5，該定位單元5於本實施例中係為一種GPS模組，經由該定位單元5係以獲取該行動裝置100之定位；而該控制單元1再電性連接一視覺慣性量測單元6，該視覺慣性量測單元6於本實施例中係為一種視覺慣性量測裝置，係用以測量物體三軸姿態角(或角速率)以及加速度之用，在本系統中，該視覺慣性量測單元6係用於量測行動裝置100之姿態，輔以分析相關位置之定位用；此外，該行動裝置100透過該無線通訊單元4與一雲端伺服器200電性連接，如第二圖所示，該雲端伺服器200內存有一地圖圖資，於本實施例中該地圖圖資係包括二維及三維圖資，請參閱第二、三圖，該導航系統透過該無線通訊單元4下載圖資，以結合該擴增實境至該行動裝置100，並於該螢幕101上顯示。

請參閱第四圖，係為本創作之擴境實境模組方塊圖。如圖所示，該擴境實境模組3係接收數位化之影像進行，其中該擴境實境模組3更包括一特徵檢測單元31，該特徵檢測單元31係用於針對數位化之影像進行特徵檢測，於本實施例中，該特徵檢測單元31係為一種具有運算功能之處理器；該特徵檢測單元31再電性連接一處理單元32，其中該處理單元32內更包括：一特徵描述器321、一光流追蹤器322及一分割暨分類器323，其中：該特徵描述器321係用於進行特徵描述：該光流追蹤器322，係電性連接該特徵檢測單元31，用以追蹤由該特徵檢測單元31所傳來該影像資料之光流：該分割暨分類器323，係電性連接該特徵檢測單元31，用以接收來自該特徵檢測單元31之影像資料，經由該分割暨分類器323進行影像中之影像分割並予以標示；以及一融合匹配器33，係電性連接該處理單元32，該融合匹配器33用以接收來自該處理單元32完成後之影像資料進行處理及標示，並剔除被匹配的特徵，之後產生良好之關鍵點；一姿態估算器34，係電性連接融合匹配器33，該姿態估算器34用以接收來自該融合匹配器33計算後之影像資料，以進行在三維空間之位置計算。

當導航系統開啟時，於一室內環境中能接收GPS信號之位置，首先定位該行動裝置100為一起始點，依據GPS最後座標，過濾出GPS點附近範圍之圖資並下載該建築物圖資，舉例而言，過濾出300公尺內之圖資，然後再利用特徵比對找出最可能定位；該行動裝置100於行進間利用該鏡頭模組2持續拍攝影片，影片中之影格經過該擴境實境模組3進行特徵萃取與追蹤推算出該行動裝置100在空間中可能之連續運動姿態與連續移動向量，同時以視覺慣性量測單元6測量之數值經過運動與視覺慣性分析，以推算出該行動裝置100可能之連續運動姿態與連續移動向量，最後在該鏡頭模組2之真實3D空間中，從該擴境實境模組3取得擴增虛擬之資訊並顯示於該螢幕101以進行導航，而該擴境實境模組3在計算過程中經由剔除已經是過去一段時間前之幀(frame)，剔除範圍係為已知，光流追蹤器322可以持續追蹤這些剔除之範圍移動點位，剔除範圍之特徵也可以進行每一幀比對，所以融合匹配器33再更新過去一整段時間之結果，重新估算並且最佳化過去一整段時間之行動裝置100姿態，來推估當前之行動裝置100姿態。

惟以上所述之實施方式，是為較佳之實施實例，當不能以此限定本創作實施範圍，若依本創作申請專利範圍及說明書內容所作之等效變化或修飾，皆應屬本創作下述之專利涵蓋範圍。