TWI574223B - 運用擴增實境技術之導航系統 - Google Patents

Description

運用擴增實境技術之導航系統

本發明是有關於一種導航系統，特別是指一種運用擴增實境技術之導航系統。

擴增實境（Augmented Reality，AR）指的是把虛擬資訊疊加到使用者的知覺感官—特別是針對視覺—上，不僅可以強化感官所接收到的訊息密度，同時降低在真實世界與電腦螢幕之間來回切換的心力。因此，自1960年代，蘇澤蘭（Ivan Sutherland）首開先河以降，擴增實境技術已擴展至外科醫療、機械修復、軍事訓練，乃至電玩遊戲。並且，隨著手持式裝置，如手機、平板，或是穿戴式裝置的快速發展，使得該等裝置同時具備有高效能的處理器、多樣的感測元件，以及能隨時隨地的透過網路傳遞資訊，作為擴增實境的應用平台實在更合適不過了。正因如此，運用擴增實境技術的應用程式也如雨後春筍般冒出。其中，導航系統應算是其中一項殺手級應用。

然而，擴增實境的主要技術在於如何準確地將虛擬資訊覆蓋於使用者所見到的實際景象。因此，擴增實境系統必須追蹤且記錄使用者頭部—或者更準確地來說，是指眼睛—的位置與方向等姿態訊息，並且利用這些姿態訊息來獲得一投影轉換映射矩陣。對於室外導航系統而言，只需透過GPS定位模組得到定位資訊，再配合由慣性感測模組所得到的姿態訊息，就可藉由該投影轉換映射矩陣將具導航訊息的虛擬資訊映射至呈現實際景象的螢幕上。但是，對於室內導航來說，因為不一定能接收到GPS訊號，所以一般除了建構類似GPS的信號源的方式外，也常利用標記（Marker）或自然特徵（Natural Features）等預定位方式，來協助該虛擬資訊正確地對應顯現於該螢幕上。不過，這些方式不僅需要設置複數定位設施，還要架構一用以由該等定位設施所分別對應出一定位資訊的資料庫，因而增加該導航系統的整體建置成本與複雜度。

因此，本發明之目的，即在提供一種能減少設置定位設施及相關資料庫建置，以及利用光流分析定位，而運用擴增實境技術之導航系統。

於是，本發明運用擴增實境技術之導航系統包含一量測單元、一導航單元，及一影像單元。

該量測單元包括一定位模組，及一姿態模組。該定位模組用以輸出一相關於位置座標的定位信號。該姿態模組用以輸出一相關於旋轉角度的姿態信號。

該導航單元係根據該定位信號進行路徑規劃，以獲得一用引指引使用者的導引訊息，並輸出一相關於該導引訊息的導航信號。

該影像單元包括一擷取模組、一運算模組、一擴增實境模組，及一顯示介面。該擷取模組用以自一空間環境連續地擷取出一平面影像，使該運算模組對該等連續時序平面影像進行光流（Optical Flow）分析，以輸出一相關於該分析結果，且用以估算出位置座標的光流信號。同時，該運算模組還對每一平面影像進行平面檢測，以輸出一相關於該檢測結果的對位信號。該擴增實境模組接收該導航信號及該對位信號，並進行影像對位，使該導引訊息能正確地疊合於該等平面影像上的實際地板場景，且一同呈現於該顯示介面。

本發明之功效在於：藉由該影像單元所擷取的平面影像進行光流分析，而從中分析出使用者移動的方向及大小，以作為定位量測的方法。不僅相較於傳統定位方法有更準確的量測結果，使該導航單元能更精確地進行路徑規劃，而且還具有輔助該擴增實境模組，將該導引訊息對位疊合於該等平面影像上的實際地板場景，提供給使用者直覺化的導航體驗。

參閱圖1，本發明運用擴增實境技術之導航系統的一實施例包含一量測單元100、一導航單元200，及一影像單元300。

參閱圖1，該量測單元100包括一定位模組110、一姿態模組120，及一相關於一空間環境的地圖資料130。其中，該定位模組110是根據一位置估算流程，以輸出一相關於位置座標的定位信號；該姿態模組120則是根據一姿態運算流程，以輸出一相關於該運算結果的姿態信號。另外，在本實施例中，該姿態模組120係利用一陀螺儀121感測輸出一相關於自身定義座標系統中各軸的姿態角度信號。此外，亦可結合電子羅盤（E-Compass）等相關慣性量測模組（Inertial Measurement Unit，IMU）來進行旋轉角度偵測，以增進量測的精度與速度。

參閱圖1，該導航單元200是根據該定位信號，並配合一路徑規劃方法，以輸出一相關於一導引訊息的導航信號。

參閱圖1，該影像單元300包括一擷取模組310、一運算模組320、一擴增實境模組330，及一顯示介面340。該擷取模組310是用以自該空間環境連續地擷取出一平面影像400，使該運算模組320對該等連續時序平面影像400進行一光流（Optical Flow）分析流程，以輸出一相關於該分析結果，且用以估算出位置座標的光流信號；同時，該運算模組320還對每一平面影像400進行一平面檢測流程，以輸出一相關於該檢測結果的對位信號。該擴增實境模組330接收該導航信號及該對位信號，並進行一影像對位流程，使該導引訊息能正確地疊合於該等平面影像400上的實際地板場景，且一同呈現於該顯示介面340。

以下將對該實施例中的各流程進行詳細說明：

首先，為了避免GPS（Global Positioning System，全球衛星定位系統）在室內因訊號不佳而無法利用。同時，為求降低整體建置成本與複雜度，而需要減少定位設施的設置。因此，該位置估算流程的流程圖如圖2所示，並包括下列步驟：

步驟S21：藉由感測該空間環境中的一定位標的，而獲得該啟始座標。要說明的是，該定位標的可以是如QR Code（Quick Response Code，快速響應矩陣碼），或是RFID（Radio Frequency Identification，主動式射頻識別）等預先設置於該空間環境中，用以提供辨識定位的裝置。若是QR Code等影像辨識裝置，則可透過該擷取模組310，及該運算模組320進行影像擷取分析，並配合儲存於該定位模組內的資料庫，探知該QR Code是設置於何處，以獲得該啟始座標。另外，若是RFID等訊號辨識裝置，則可透過相關感測器偵測該RFID訊號，並且同樣配合該定位模組內的資料庫，而獲得該RFID的位置，進而獲得該啟始座標。值得一提的是，本實施例是以QR Code的形式作為該定位標的。因為，該形式不只相較於RFID的設置成本來得低廉，同時不需增加感測RFID的感測器，而能節省相關設備成本。

步驟S22：根據該光流信號推算出該位移向量。如前述所提及，GPS在室內的信號品質並不穩定。不過，由於本發明已包含該影像單元300，而能在進行擴增實境的過程中，同時對所擷取到的平面影像400進行該光流分析流程。並且，依據所獲得的該光流信號即能估測出該擷取模組310的位移及縮放等變動量，而可用來估算該位移向量。

步驟S23：將該啟始座標加上該位移向量，並對應於該地圖資料130的座標系統，而獲得一估算座標，以輸出相關於該估算座標的該定位信號。要說明的是，該地圖資料130是一幅如圖3所示的二維平面地圖，可視為該空間環境的俯視圖。由於該地圖資料130的座標系統與該空間環境的座標系統有著轉換對應關係，因此，該位移向量必須進行相關的對應，而獲得該估算座標。如此一來，才能正確地將使用者的位置顯示在該地圖資料130上；同時，對於後續產生該導引訊息的步驟也有著重要的相關聯性。

步驟S24：持續地更新該估算座標。

接著，為了能讓該導引訊息能正確地疊合在該等平面影像400上，同時也讓擴增實境的效果更好，該擷取模組310的姿態估測的精確度是非常重要的。傳統的擴增實境系統常藉由圖像標記，來協助估測該擷取模組310的位移、旋轉及焦距縮放等變動量。不僅需要事先在場景中建置相關的標記或裝置，使得成本提高，而且也需要配合該等標記或裝置建立相關資料庫及裝設細節，如擺置位置、角度等，不具使用上的彈性與便利性。因此，為求解決上述問題，該姿態運算流程如圖4所示，並包括下列步驟：

步驟S41：由該姿態模組120感測輸出相關於自身在該世界座標系統中各軸旋轉角度的該姿態信號。在此過程中，是藉著該陀螺儀121感測輸出相關於自身定義座標系統中各軸的該姿態角度信號；接著，該姿態模組120解析該姿態角度信號，以獲得相關於該陀螺儀121定義座標系中各軸的姿態角度，並根據一重力加速度分量至該座標系上的各軸大小關係，而得到分別對應於該世界座標系統中各軸的旋轉角度。

步驟S42：由該運算模組320解析該光流信號，以獲得該擷取模組310對應於該世界座標系統的位移向量。在此過程中，該影像單元300對所擷取到的平面影像400進行該光流分析流程，再由所獲得的該光流信號估測出該擷取模組310相對於自身座標系統的位移向量，並根據座標轉換，將該位移向量轉換對應至該世界座標系統中。

步驟S43：將上述各模組所分別對應至該世界座標系統的旋轉角度及位移向量，整併成一相關於旋轉及平移的幾何變換矩陣。要說明的是，由於該姿態模組120與該擷取模組310有著不同的座標系統，而且該等座標系統之間有一相關於位移、旋轉的座標轉換關係。其中，該座標轉換關係可以透過一校正程序找出。然後，透過該座標轉換關係，而將各模組的幾何關係在相同的座標系統—即該世界座標系統—中對應呈現。值得一提的是，該幾何變換矩陣對於後續影像對位流程也有著相當重要的應用。

至此，本發明已從該量測單元100中獲得位置及姿態等資訊。而且，由上述說明可知，該光流信號不僅能估算出位置座標，還能獲得該擷取模組310的位移向量。因此，產生該光流信號的該光流分析流程便相當重要。另外，由於一般空間環境中的特徵點（Feature Point）大多不明顯，使得必須萃取並追蹤特徵點的傳統光流法，在估測該擷取模組310的位移及焦距縮放等變動量時，其估測準確率降低。因此，本發明所提出的該光流分析流程並不進行特徵點追蹤，而是採取全域的多點平均進行光流場分析估測，其流程如圖5所示，並包括下列步驟：

步驟S51：分別從該等連續時序平面影像400中取得複數分析像素。

步驟S52：記錄每一分析像素在其平面影像400中的像素座標，並分別加總該等分析像素的X、Y軸座標值。

步驟S53：分別將前後時序平面影像400的X、Y座標值總和相減，並進行平均運算，以輸出相關於該運算結果，且用以估算出位移向量的該光流信號。

上述步驟可用下面(1)(2)兩式表達：

(1)

(2)

其中， 分別表示前後時序平面影像400上第 i點的分析像素的X軸座標值； 分別表示前後時序平面影像400上第 i點的分析像素的Y軸座標值； 為每一平面影像400上特徵點的個數； 分別為前後時序平面影像400之間的光流場在X、Y軸方向的位移量，而且該光流信號是相關於 及 。

而對於如何應用該光流信號，以獲得該擷取模組310在世界座標系統中的各軸位移量，原理詳述如下：

在每一平面影像400上，光流場的光流點變化 及 可以直接地用來估算該擷取模組310在世界座標系統中的X軸—水平方向與Z軸—垂直方向的位移量 。如(3) (4)兩式：

(3)

(4)

其中， 為相關於該擷取模組310的參數。

但是，對於該擷取模組310在世界座標系統中的Y軸方向的位移量 ，則必須透過針孔成像原理來推得。

參閱圖13，當兩幅平面影像400之間有位移量 時，意即該擷取模組310的焦點在前後時序中，於世界座標系統中的Y軸方向有 的位移量。其中， 為該焦點位於世界座標系統中的初始Y軸座標， 則為該擷取模組310位移後，該焦點在世界座標系統中的Y軸位移座標， 、 之間的差值大小即為位移量 。另外，在初始平面影像400上的一光流點 P，對應於位移後的平面影像400上為 P’，且分別相對於該平面影像400中心 O及 O’的高度為 w及 。當該擷取模組310的焦距固定為 f時，藉由針孔成像原理與三角量測法來推算 ， 將可整理如(5)式：

(5)

如此，憑藉著該光流點 P分別對應於該等平面影像400上的高度，以及該擷取模組310的參數，如焦距 f、焦點座標 V等，即可推算出位移量 。

另外，由於該光流分析流程沒有進行特徵點比對追蹤，不僅可以減少運算時間，並且還能避免因特徵點不明顯，而難以判斷每一特徵點的光流方向，使得估測結果的誤差過大。因此，該光流分析流程能提高系統的即時性，以及降低光流的判斷誤差。另外，經發明人實驗測試，該光流分析流程具有高強健性，能有效地降低室內環境亮度對分析結果的干擾，也不會受到背景物體動態位移的影響。

接著，使用者可輸入一目標位置至該地圖資料130中，並配合在步驟S23中，所建立在該地圖資料130上的目前位置，以進行該路徑規劃方法，而產生用以指引使用者從該目前位置沿一路徑至該目標位置的導引訊息。要說明的是，在本實施例中，該導引訊息是如圖6所示，以箭頭形式的圖像呈現，但也可用文字，或圖像與文字合用來指引使用者。而且，該路徑規劃方法的流程圖如圖7所示，並包含下列步驟：

步驟S71：根據該地圖資料130建立一相鄰串列。

步驟S72：將該目前位置及該目標位置分別對應成在該相鄰串列上的二節點。

步驟S73：利用迪科斯徹（Dijkstra）路徑規劃法，找尋出相關於該等節點之間最短距離的路徑。

更進一步說明上述步驟：

在步驟S71中，係針對該地圖資料130上有相連的節點去進行路徑規劃，而能快速且有效地計算出最快路徑或最短路徑。這是因為路徑規劃常使用到鬆弛（Relaxation）操作，若是採用如圖8所示的一相鄰矩陣，由於該等節點之間的關係不明確，無法有效侷限範圍，使得每一次在進行鬆弛操作時，都會將其中一節點與其中其它節點之間的路徑通通列入考慮，造成運算效能低落。因此，改以結合座標的相鄰串列，如圖9所示，就具有清楚明確的節點關係。對於鬆弛過程中，可以針對有相連的節點去進行鬆弛操作，減少不必要的時間消耗。此外，由於矩陣元素本身可以將儲存座標資訊，而可利用來計算距離。因此，該相鄰串列可以再進一步簡化，如圖10所示，精簡後的相鄰串列，僅需記錄與該節點相連接的節點編號，不僅大幅簡化地圖資訊建立的複雜度，對於後續的資料更新也更為容易。

在步驟S73中，迪科斯徹路徑規劃法會建立一棵最短路徑樹（Shortest Path Tree）。首先，從代表該目前位置的節點作為一起點，並向外搜尋、比較與該節點相連的其它節點的距離，以選擇一個與之最近的節點，而將該節點加入該最短路徑樹中。接著，將該起點移至該節點，而對不在最短路徑樹上的節點進行鬆弛操作。重複執行上述步驟，直到找尋到代表該目標位置的節點加入該最短路徑樹後，即完成路徑規劃，而且所獲得的路徑即為最短路徑。

最後，即是將該導引訊息疊合於該等平面影像400上，而一同呈現於該顯示介面340。在這過程中，如何配合使用者的空間感知，且能正確地將該導引訊息對位疊合在平面影像400上，是擴增實境技術中的核心所在。因此，在本發明中，針對影像對位的處理包含二部分，一是由該運算模組320對每一平面影像400所進行的平面檢測流程；二是由該擴增實境模組330根據該導航信號及該對位信號，而進行的影像對位流程。

其中，該平面檢測流程是用來找尋該空間環境中的地板平面映射到該等平面影像400的位置，以便將箭頭形式的該導引訊息疊合在該位置上，而讓使用者透過該顯示介面340同時獲得該導引訊息與其對應的行走方向指引。該平面檢測流程如圖11所示，並包含下列步驟：

步驟S111：將每一平面影像400轉換成一灰階影像。要說明的是，雖然彩色影像具有較多的訊息，但對於後續相關的影像處理而言，該灰階影像可以降低運算時間，以及節省暫存記憶體容量。

步驟S112：透過Wiener反褶積（Deconvolution）強化該灰階影像中的邊緣。

步驟S113：使用Canny偵測器（Detector）搜尋強化後的邊緣。

步驟S114：利用霍夫轉換（Hough Transform）連接同一直線邊緣。

步驟S115：根據該等邊緣在該平面影像400上的位置及方向，以判斷每一邊緣是否為一牆腳。

步驟S116：由相鄰的牆腳界定出該空間環境中的地面，以輸出相關於每一牆腳的該對位信號。

另外，該影像對位流程如圖12所示，並包含下列步驟：

步驟S121：由該姿態信號及該對位信號運算產生一映射矩陣。要說明的是，該映射矩陣是根據該姿態信號及該對位信號，而得到該導引訊息和每一平面影像400座標系統之間的映射關係。並且，一般是用所謂的單應性矩陣（Homography Matrix）來表示，以整合旋轉及平移的變換關係。另外，該姿態運算流程中所獲得的該幾何變換矩陣也具有與該映射矩陣相仿的對應關係，因此，也可採用該幾何變換矩陣作為該映射矩陣，惟需要加入該擷取模組310的相關參數，以獲得該世界座標系統與每一平面影像400座標系統之間的對應關係。

步驟S122：將該導引訊息透過該映射矩陣進行仿射轉換（Affine Transform），而疊加在該平面影像400上。

綜上所述，本發明運用擴增實境技術之導航系統能有效地降低建置的成本及系統複雜性，因此可實作於一頭戴式顯示裝置（Head-mounted Display Device），或是如Google Cardboard等簡易型裝置，使得任何如手機、平板等手持式裝置，都能搖身一變，成為能運用擴增實境技術的導航系統，而透過擴增實境的方式呈現該導引訊息，提供給使用者直覺化的導航體驗。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，即凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

100‧‧‧量測單元

110‧‧‧定位模組

120‧‧‧姿態模組

121‧‧‧陀螺儀

130‧‧‧地圖資料

200‧‧‧導航單元

300‧‧‧影像單元

310‧‧‧擷取模組

320‧‧‧運算模組

330‧‧‧擴增實境模組

340‧‧‧顯示介面

400‧‧‧平面影像

S21~24‧‧‧步驟

S41~43‧‧‧步驟

S51~53‧‧‧步驟

S71~73‧‧‧步驟

S111~116‧‧‧步驟

S121~122‧‧‧步驟

f‧‧‧焦距

,‧‧‧影像中心

,‧‧‧光流點

,‧‧‧焦點座標

,‧‧‧高度

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，說明本發明運用擴增實境技術之導航系統的一實施例； 圖2是一流程圖，說明該實施例中的一位置估算流程； 圖3是一示意圖，說明該實施例中的一地圖資料； 圖4是一流程圖，說明該實施例中的一姿態運算流程； 圖5是一流程圖，說明該實施例中的一光流分析流程； 圖6是一示意圖，說明該實施例中的一導引訊息呈現於一平面影像上的實際地板場景； 圖7是一流程圖，說明該實施例中的一路徑規劃方法的運算流程； 圖8是一示意圖，說明根據一包含複數節點，及該等節點彼此之間的距離的地圖資訊，而建立的一相鄰矩陣； 圖9是一示意圖，說明根據該地圖資訊，而建立的一相鄰串列； 圖10是一示意圖，說明根據該地圖資訊，並結合該等節點序號，以簡化該相鄰串列的一最佳化相鄰串列； 圖11是一流程圖，說明該實施例中的一平面檢測流程； 圖12是一流程圖，說明該實施例中的一影像對位流程；及 圖13是一示意圖，說明先後時序平面影像在進行光流分析時，之間的位移量對應於世界座標系統的幾何關係。

100‧‧‧量測單元

110‧‧‧定位模組

120‧‧‧姿態模組

121‧‧‧陀螺儀

130‧‧‧地圖資料

200‧‧‧導航單元

300‧‧‧影像單元

310‧‧‧擷取模組

320‧‧‧運算模組

330‧‧‧擴增實境模組

340‧‧‧顯示介面

400‧‧‧平面影像

Claims (9)

1. 一種運用擴增實境技術之導航系統，包含：一量測單元，包括一定位模組，及一姿態模組，該定位模組用以輸出一相關於位置座標的定位信號，該姿態模組用以輸出一相關於旋轉角度的姿態信號；一導航單元，根據該定位信號進行路徑規劃，以獲得一用以指引使用者的導引訊息，並輸出一相關於該導引訊息的導航信號；及一影像單元，包括一擷取模組、一運算模組、一擴增實境模組，及一顯示介面，該擷取模組用以自一空間環境連續地擷取出一平面影像，該運算模組分別由該等連續時序平面影像中取得複數分析像素，且紀錄每一分析像素在平面影像中的像素座標，並分別加總該等分析像素的X、Y軸座標值，再分別將前後時序平面影像的X、Y座標值總和相減以進行平均運算，而輸出一相關於該運算結果且用以估算出位置座標的光流信號；同時，該運算模組還對每一平面影像進行平面檢測，以輸出一相關於該檢測結果的對位信號，該擴增實境模組接收該導航信號及該對位信號，並進行影像對位，使該導引訊息能正確地疊合於該等平面影像上，且一同呈現於該顯示介面。
2. 如請求項1所述的運用擴增實境技術之導航系統，其中，該運算模組係執行以下動作，以獲得該對位信號：將每一平面影像轉換成一灰階影像，並且透過Wiener反褶積(Deconvolution)，以強化該灰階影像中的邊緣；接著， 使用Canny偵測器(Detector)搜尋強化後的邊緣，再利用霍夫轉換(Hough Transform)連接同一直線邊緣；最後，根據該等邊緣在該平面影像上的位置及方向，以判斷每一邊緣是否為一牆腳，並由相鄰的牆腳界定出該空間環境中的地面，以輸出相關於每一牆腳的該對位信號。
3. 如請求項1所述的運用擴增實境技術之導航系統，其中，該擴增實境模組係執行以下動作，以呈現擴增實境效果：根據該姿態信號及該對位信號，以產生一相關於影像座標對應的投影轉換映射矩陣，並且將該導引訊息透過該投影轉換映射矩陣進行仿射轉換(Affine Transform)，而疊合在該等平面影像上。
4. 如請求項1所述的運用擴增實境技術之導航系統，其中，該量測單元還包括一相關於該空間環境的地圖資料，該定位模組是根據該光流信號進行位置估算，並對應於該地圖資料的座標系統，以輸出相關於該地圖資料上所在位置座標的該定位信號。
5. 如請求項4所述的運用擴增實境技術之導航系統，其中，該定位模組係執行以下動作，以輸出該定位信號：藉由感測該空間環境中的一定位標的，而獲得一啟始座標；接著，根據該光流信號，以推算出一位移向量；最後，將該啟始座標加上該位移向量，並對應於該地圖資料的座標系統，而獲得一估算座標，以輸出相關於該估算座標的該定位信號。
6. 如請求項5所述的運用擴增實境技術之導航系統，其中，該定位模組會先判斷該估算座標是否存在，若不存在，則進行感測該定位標的；若存在，則根據該光流信號，以推算出該位移向量，再將原先的估算座標加上該位移向量，並對應於該地圖資料的座標系統，而獲得一新的估算座標，如此，持續地更新該估算座標，並輸出相關於該估算座標的該定位信號。
7. 如請求項4所述的運用擴增實境技術之導航系統，其中，該姿態模組具有一陀螺儀，該陀螺儀感測輸出一相關於自身定義座標系統中各軸的姿態角度信號，該姿態模組根據該姿態角度信號與一重力加速度之間的關係，以輸出自身在一世界座標系統中各軸旋轉角度的該姿態信號。
8. 如請求項4所述的運用擴增實境技術之導航系統，其中，該導航單元係執行以下動作，以獲得該導引訊息：根據該地圖資料建立一相鄰串列；接著，將一目前位置及一目標位置分別對應成在該相鄰串列上的二節點；最後，利用迪科斯徹(Dijkstra)路徑規劃法，找尋出一相關於該等節點之間最短距離的路徑，以輸出相關於沿該路徑行走的該導引訊息。
9. 如請求項8所述的運用擴增實境技術之導航系統，其中，該導引訊息是用以指引使用者從該目前位置沿該路徑至該目標位置的圖像、文字其中一者。