TW202314195A - 真實空間虛擬化之擴增實境之應用方法與應用互動模組 - Google Patents

Abstract

一種真實空間虛擬化之擴增實境之應用方法，其應用方法如下：於一室內環境中能接收GPS信號之位置，首先定位一行動裝置為一起始點，依據GPS最後座標，過濾出GPS點附近範圍之空間資訊並從一雲端伺服器下載該空間資訊，該行動裝置於行進間利用一鏡頭模組持續拍攝影片，影片中之影格透過一擴增實境模組進行特徵萃取與追蹤推算出該行動裝置在空間中可能之連續運動姿態與連續移動向量，同時以一視覺慣性量測單元測量之數值經過運動與視覺慣性分析，以推算出該行動裝置可能之連續運動姿態與連續移動向量，最後在該鏡頭模組之真實3D空間中，從該擴增實境模組取得真實空間之資訊並予以虛擬化後顯示於該行動裝置之螢幕加以顯示與引導使用者。

Description

真實空間虛擬化之擴增實境之應用方法與應用互動模組

本發明關於一種影像模擬技術領域，尤指一種運用在真實空間虛擬化之擴增實境應用方法，並運用該應用方法去除會移動或者會變動的真實物件所形成的影格影像，據此，可增加虛擬物件與真實空間疊合之精確，準確與穩定性， 可獲得較佳的擴增實境之方法者。

擴增實境（Augmented Reality，AR）運用在室內導航的技術領域中，現有的方式乃透過GPS定位模組得到初步定位資訊，再配合視覺慣性感測模組得到的姿態訊息作為定位參考，於假設的定位參考點抓取預設的虛擬資訊，並將具導航訊息的虛擬資訊映射至呈現實際景象的螢幕上。

但是在室內會因為失去GPS訊號，僅能靠視覺慣性感測模組得到的姿態訊息計算的結果，將產生累加的誤差，因此需要再利用標記（Marker）或自然特徵（Natural Features）等預定位方式，來協助計算以求獲得更正確的假設參考點座標該虛擬資訊正確地對應顯現於該螢幕上。

為了計算出在在室內的定位，目前常用的演算法係為一種為運動推斷結構(SFM) ，該演算法是一種攝影測量範圍成像技術，用於估計二維圖像序列中的三維結構，最常用在只有單一鏡頭的RGB相機中；而後續的發展的技術中，係利用包括飛時測距TOF(Time of Flight)，結構光(Structured Light)或是雙眼立體視覺(Stereo Vision)，進一步在推算物體與相機間的關係，並經由演算法來計算出相關位置。

然而，前述的相關定位演算法中， 都會有一個相同的問題，就是當出現一個會移動的物體在空間中，就會妨礙到計算的正確性，舉例來說：如第一圖所示，當兩個人走過了一個畫像，畫像是固定且是一個良好得地標(land mark)，可以用來推算相機在空間中的移動，但是人體卻不是一直固定在同一位置上，不但會移動還有可能成為強大的特徵並遮蔽了重要的地標(即是前述的畫像)，造成我們在攝影姿態估計上，若是把兩個人一並列入計算，就有可能產生了極大的誤差，成了欲解決的問題之一。

換言之若能再將前述兩個人加以剔除，也就是攝影中產生的雜訊不要納入計算，就能取得較佳空間定位資訊。

本發明的主要目的即在於提供一種真實空間虛擬化之擴增實境之應用方法與應用互動模組，透過該擴增實境模組內將影像中把可能會移動之物體切割出來，並進行標示，再由相對應之影像處理排除其影響因子，去除雜訊不列出計算，以估算出最佳之物體位置。

緣此，本發明之一種真實空間虛擬化之擴增實境之應用方法，其應用方法如下：於一室內環境中能接收GPS信號之位置，首先定位一行動裝置為一起始點，依據GPS最後座標，過濾出GPS點附近範圍之空間資訊並從一雲端伺服器下載該空間資訊，該行動裝置於行進間利用一鏡頭模組持續拍攝影片，影片中之影格透過一擴增實境模組進行特徵萃取與追蹤推算出該行動裝置在空間中可能之連續運動姿態與連續移動向量，同時以一視覺慣性量測單元測量之數值經過運動與視覺慣性分析，以推算出該行動裝置可能之連續運動姿態與連續移動向量，最後在該鏡頭模組之真實3D空間中，從該擴增實境模組取得真實空間之資訊並予以虛擬化後顯示於該行動裝置之顯示螢幕加以顯示與引導使用者。

在前述的實施例中，該擴增實境模組在計算的過程中，係從該鏡頭模組所擷取的數位化影像被轉換成多個影格影像；該特徵檢測單元花費一段時間針對前述的數位化影像進行特徵檢測；一特徵描述器描述指定的特徵範圍，該光流追蹤器可持續追蹤特徵範圍移動點位，該分割暨分類器則將來自每一幀影格比對，再由該融合匹配器更新前一段時間之結果，進而重新估算並最佳化過去一整段時間之行動裝置的姿態，進而推估該行動裝置姿態與物體位置。而重複的進行上述的流程，可持續更新一整段拍攝時間的結構，進而推估該行動裝置姿態與物體位置。

透過上述的說明，可以理解到本發明的優點在於：透過該擴增實境模組內將影像中把可能會移動之物體切割出來，並進行標示，再由相對應之影像處理排除其影響因子，去除雜訊不列出計算，以估算出最佳之物體位置。

一種運用真實空間虛擬化之擴增實境之應用方法之互動模組，包含有：一特徵檢測單元、一處理單元、一融合匹配器以及一姿態估算器所構成；

該特徵檢測單元係用於針對數位化之影像進行特徵檢測；

該處理單元係電性連接該特徵檢測單元並且進行影像辨識，該處理單元包含有一特徵描述器、一光流追蹤器與一分割暨分類器；

該特徵描述器係用於針對影像中特徵描述；

該光流追蹤器係電性連接該特徵檢測單元，用以追蹤由該特徵檢測單元所傳來該影像資料之光流；

該分割暨分類器係電性連接該特徵檢測單元，用以接收來自該特徵檢測單元之影像資料，經由該分割暨分類器標示連續影像中會移動與變動的雜訊範圍；

該融合匹配器係電性連接該處理單元，該融合匹配器用以接收來自該處理單元完成後之影像資料進行處理及標示，而剔除雜訊範圍中的特徵，一段時間後產生複數影格相互匹配的特徵紀錄；

該姿態估算器係電性連接融合匹配器，該姿態估算器用以接收來自該融合匹配器計算後之影像資料，以進行在三維空間之位置計算。

在本發明的實施例中，該擴增實境互動模組係安裝在一行動裝置，該行動裝置具有一顯示螢幕，該顯示螢幕用於顯示該行動裝置之導航系統所呈現的資訊，該導航系統包含有一控制單元，其用於控制該導航系統與資訊傳輸，該控制單元更電性連接於一鏡頭模組，該鏡頭模組係依光學鏡頭進行實地影像擷取，再轉換成數位化影像輸入至該導航系統，該控制單元更與該擴增實境互動模組電性連接，將該鏡頭模組所擷取的數位化之影像進行後續處理與分析。

在前述的實施例，其中，該控制單元更電性連接一無線通訊單元，該無線通訊單元係用以進行無線網路之連接，以提供該行動裝置進行數據傳輸。

在前述的實施例，其中，該控制單元電性連接一定位單元，經由該定位單元係以獲取該行動裝置之定位。

在前述的實施例，其中，該控制單元電性連接一視覺慣性量測單元，該視覺慣性量測單元為一種視覺慣性量測裝置，係用以測量物體三軸姿態角、或者角加速率以及加速度用，該視覺慣性量測單元係用於量測該行動裝置之姿態，輔以分析相關位置之定位。

在前述的實施例中，該行動裝置透過該無線通訊單元與一雲端伺服器電性連接，該雲端伺服器內存有一空間資訊，配合該行動裝置之導航系統，以及結合該行動裝置之擴增實境互動模組，將影像於該顯示螢幕加以顯示，使得使用者可進行虛實互動。

如第二、三、四圖，本發明之一種真實空間虛擬化之擴增實境之應用方法，其應用方法如下：

1.首先於一室內環境中能接收GPS信號之位置，首先定位一行動裝置100為一起始點，依據GPS最後座標，過濾出GPS點附近範圍之空間資訊並從一雲端伺服器200下載該空間資訊，該行動裝置100於行進間利用一鏡頭模組2持續拍攝影片，影片中之影格透過一擴增實境模組3進行特徵萃取與追蹤推算出該行動裝置100在空間中可能之連續運動姿態與連續移動向量，同時以一視覺慣性量測單元6測量之數值經過運動與視覺慣性分析，以推算出該行動裝置100可能之連續運動姿態與連續移動向量，最後在該鏡頭模組2之真實3D空間中，從該擴增實境模組3取得真實空間之資訊並顯示於該顯示螢幕101加以顯示與引導使用者。

2.請參閱第二、三圖，當產生如第一圖之雜訊A時(即是有人穿過畫像)，該擴增實境模組3在計算的過程中，係從該鏡頭模組2所擷取的數位化影像被轉換成多個影格影像；一特徵檢測單元31花費一段時間針對前述的數位化影像進行特徵檢測；一特徵描述器321描述指定的特徵範圍，一光流追蹤器322可持續追蹤特徵範圍移動點位，一分割暨分類器323將每一幀影格比對，再由一融合匹配器33更新前一段時間之結果，進而重新估算並最佳化過去一整段時間之行動裝置的姿態，進而推估該行動裝置100姿態與物體位置。而重複的進行上述的流程，可持續更新一整段拍攝時間的結構，進而推估該行動裝置100姿態與物體位置。

如第二圖所示，透過上述的說明，可以理解到本發明的優點在於：透過該擴增實境模組3內將影像中把可能會移動之物體切割出來並進行標示，再由相對應之影像處理排除其影響因子，去除雜訊不列出計算，以估算出最佳之物體位置，換言之只留下畫像，而圖中黑色的人像雜訊A即是被特徵選出而剔除的範圍。

是以透過上述的說明，本發明進一步提供一種運用真實空間虛擬化之擴增實境之應用方法之互動模組，如第五、六圖所示，本發明導航系統係裝置於該行動裝置100上，該行動裝置上具有一顯示螢幕101，該顯示螢幕101係用於顯示該導航系統所呈現之資訊，該導航系統係主要包括一控制單元1，該控制單元1係為本系統之控制中樞，用以控制本系統之功能及資訊傳輸，於本實施例中該控制單元1係為一種微處理器；該控制單元1係電性連接該鏡頭模組2，該鏡頭模組2係透過光學鏡頭進行實地影像擷取，在轉成數位化影像輸入至該導航系統內；又，該控制單元1電性連接該擴增實境模組3，該擴增實境模組3係用以接收該數位化之影像進行後續分析。

請繼續參閱第六圖。另，該控制單元1電性連接一無線通訊單元4，該無線通訊單元4係用以進行無線網路之連接，以進行數據傳輸，於本實施例中該無線通訊單元4係為一種無線通訊裝置；該控制單元1再電性連接一定位單元5，該定位單元5於本實施例中係為一種GPS模組，經由該定位單元5係以獲取該行動裝置100之定位；而該控制單元1再電性連接一視覺慣性量測單元6，該視覺慣性量測單元6於本實施例中係為一種視覺慣性量測裝置，係用以測量物體三軸姿態角（或角加速率）以及加速度之用，在本系統中，該視覺慣性量測單元6係用於量測行動裝置100之姿態，輔以分析相關位置之定位用；此外，該行動裝置100透過該無線通訊單元4與一雲端伺服器200電性連接，如第七圖之系統連接示意圖所示，該雲端伺服器200內存有一空間資訊，於本實施例中該空間資訊係包括二維及三維圖資，該導航系統透過該無線通訊單元4下載圖資，以結合該擴增實境至該行動裝置100，並於該螢幕101上顯示，使用者可進行虛實互動。

請參閱第八圖，係為本發明之擴增實境模組3方塊圖。如圖所示，該擴增實境模組3係接收數位化之影像進行，其中該擴增實境模組3更包括一特徵檢測單元31，該特徵檢測單元31係用於針對數位化之影像進行特徵檢測，於本實施例中，該特徵檢測單元31係為一種具有運算功能之處理器；該特徵檢測單元31再電性連接一處理單元32，其中該處理單元32進行數位化影像的處理，該處理單元32內更包括：一特徵描述器321、一光流追蹤器322及一分割暨分類器323，其中：該特徵描述器321係用於針對影像中特徵描述；該光流追蹤器322係電性連接該特徵檢測單元31，用以追蹤由該特徵檢測單元31所傳來該影像資料之光流；該分割暨分類器323係電性連接該特徵檢測單元31，用以接收來自該特徵檢測單元31之影像資料，經由該分割暨分類器323進行連續影像中之複數個單一影格分割並予以標示影像中會移動與變動的雜訊範圍；該融合匹配器33係電性連接該處理單元32，該融合匹配器33用以接收來自該處理單元32完成後之影像資料進行處理及標示，而剔除雜訊範圍中的特徵，一段時間後產生複數影格相互匹配的特徵紀錄；該姿態估算器34係電性連接融合匹配器33，該姿態估算器34用以接收來自該融合匹配器33計算後之影像資料，以進行在三維空間之位置計算。

如第三、四、八圖所示，透過擴增實境模組3所設置的特徵檢測單元31、處理單元32、融合匹配器33、姿態估算器34，鏡頭模組2經過特徵的萃取、特徵的描述，剔除雜訊A後能產生良好的關鍵點，接下來以光流法持續追蹤，如果光流遺失了，則利用特徵的萃取、特徵的描述重新偵測，另外，分割暨分類器323會將影格中的物體加以標示，利用融合匹配器33可當作特徵比對，進而將雜訊遮蔽起來，最後再給鏡頭模組姿態估計來計算，取得在空間中的3D位置。

綜上所述，本發明構成結構均未曾見於諸書刊或公開使用，誠符合發明專利申請要件，懇請 鈞局明鑑，早日准予專利，至為感禱。

需陳明者，以上所述乃是本發明之具體實施立即所運用之技術原理，若依本發明之構想所作之改變，其所產生之功能仍未超出說明書及圖式所涵蓋之精神時，均應在本發明之範圍內，合予陳明。

100:行動裝置 101:顯示螢幕 200:雲端伺服器 1:控制單元 2:鏡頭模組 3:擴增實境模組 31:特徵檢測單元 32:處理單元 321:特徵描述器 322:光流追蹤器 323:分割暨分類器 33:融合匹配器 34:姿態估算器 4:無線通訊單元 5:定位單元 6:視覺慣性量測單元 A:雜訊

第一圖係為影像中出現雜訊的示意圖。 第二圖係為本發明實際運作的示意圖。 第三圖係為本發明應用方法流程圖。 第四圖係為進行特徵偵測與去除雜訊的的方塊圖。 第五圖係為本發明之行動裝置示意圖。 第六圖係為本發明之系統方塊圖。 第七圖係為本發明之系統連接示意圖。 第八圖係為本發明之擴增實境模組方塊圖。

3:擴增實境模組

31:特徵檢測單元

32:處理單元

321:特徵描述器

322:光流追蹤器

323:分割暨分類器

33:融合匹配器

34:姿態估算器

Claims (8)

1. 一種真實空間虛擬化之擴增實境之應用方法，其應用方法如下：於一室內環境中能接收GPS信號之位置，首先定位一行動裝置為一起始點，依據GPS最後座標，過濾出GPS點附近範圍之空間資訊並從一雲端伺服器下載該空間資訊，該行動裝置於行進間利用一鏡頭模組持續拍攝影片，影片中之影格透過一擴增實境模組進行特徵萃取與追蹤推算出該行動裝置在空間中可能之連續運動姿態與連續移動向量，同時以一視覺慣性量測單元測量之數值經過運動與視覺慣性分析，以推算出該行動裝置可能之連續運動姿態與連續移動向量，最後在該鏡頭模組之真實3D空間中，從該擴增實境模組取得真實空間之資訊並顯示於該行動裝置之顯示螢幕加以顯示與引導使用者。
2. 如請求項1所述之真實空間虛擬化之擴增實境之應用方法，其中，前述的擴增實境模組在計算的過程中，係從該鏡頭模組所擷取的數位化影像被轉換成多個影格影像；一特徵檢測單元花費一段時間針對前述的數位化影像進行特徵檢測；一特徵描述器剔除指定的特徵範圍，一光流追蹤器可持續追蹤該些剔除的特徵範圍移動點位，一分割暨分類器將每一幀影格標示變動與移動範圍，再由一融合匹配器更新前一段時間之結果，進而重新估算並最佳化過去一整段時間之行動裝置的姿態，進而推估該行動裝置姿態與物體位置；並且重複的進行上述的流程，可持續更新一整段拍攝時間的結構，進而推估該行動裝置姿態與物體位置。
3. 一種運用請求項1之運用真實空間虛擬化之擴增實境之應用方法之互動模組，包含有：一特徵檢測單元、一處理單元、一融合匹配器以及一姿態估算器所構成； 該特徵檢測單元係用於針對數位化之影像進行特徵檢測； 該處理單元係電性連接該特徵檢測單元並且進行影像辨識，進一步的該處理單元包含有一特徵描述器、一光流追蹤器與一分割暨分類器； 該特徵描述器係用於針對影像中特徵描述； 該光流追蹤器係電性連接該特徵檢測單元，用以追蹤由該特徵檢測單元所傳來該影像資料之光流； 該該融合匹配器係電性連接該處理單元，分割暨分類器係電性連接該特徵檢測單元，用以接收來自該特徵檢測單元之影像資料，經由該分割暨分類器進行連續影像中之複數個單一影格分割並予以標示； 該融合匹配器用以接收來自該處理單元完成後之影像資料進行處理及標示，而剔除變動與移動的範圍雜訊特徵，之後產生複數影格相互匹配的特徵紀錄； 該姿態估算器係電性連接融合匹配器，該姿態估算器用以接收來自該融合匹配器計算後之影像資料，以進行在三維空間之位置計算。
4. 如請求項3所述之運用真實空間虛擬化之擴增實境之應用方法之互動模組，其中，該擴增實境互動模組係安裝在一行動裝置，該行動裝置具有一顯示螢幕，該顯示螢幕用於顯示該行動裝置之導航系統所呈現的資訊，進一步的該導航系統包含有一控制單元，其用於控制該導航系統與資訊傳輸，該控制單元更電性連接於一鏡頭模組，該鏡頭模組係依光學鏡頭進行實地影像擷取，再轉換成數位化影像輸入至該導航系統，該控制單元更與該擴增實境互動模組電性連接，將該鏡頭模組所擷取的數位化之影像進行後續處理與分析。
5. 如請求項4所述之運用真實空間虛擬化之擴增實境之應用方法之互動模組，其中，該控制單元更電性連接一無線通訊單元，該無線通訊單元係用以進行無線網路之連接，以提供該行動裝置進行數據傳輸。
6. 如請求項5所述之運用真實空間虛擬化之擴增實境之應用方法之互動模組，其中，該控制單元電性連接一定位單元，經由該定位單元係以獲取該行動裝置之定位。
7. 如請求項6所述之運用真實空間虛擬化之擴增實境之應用方法之互動模組，其中，該控制單元電性連接一視覺慣性量測單元，該視覺慣性量測單元為一種視覺慣性量測裝置，係用以測量物體三軸姿態角、或者角加速率以及加速度用，該視覺慣性量測單元係用於量測該行動裝置之姿態，輔以分析相關位置之定位。
8. 如請求項7所述之運用真實空間虛擬化之擴增實境之應用方法之互動模組，其中，該行動裝置透過該無線通訊單元與一雲端伺服器電性連接，該雲端伺服器內存有一空間資訊，配合該行動裝置之導航系統，以及結合該行動裝置之擴增實境互動模組，將影像於該顯示螢幕加以顯示，使得使用者可進行虛實互動。

Images