TW201715476A - 運用擴增實境技術之導航系統 - Google Patents

運用擴增實境技術之導航系統 Download PDF

Info

Publication number
TW201715476A
TW201715476A TW104135036A TW104135036A TW201715476A TW 201715476 A TW201715476 A TW 201715476A TW 104135036 A TW104135036 A TW 104135036A TW 104135036 A TW104135036 A TW 104135036A TW 201715476 A TW201715476 A TW 201715476A
Authority
TW
Taiwan
Prior art keywords
module
augmented reality
signal
navigation
image
Prior art date
Application number
TW104135036A
Other languages
English (en)
Other versions
TWI574223B (zh
Inventor
黃崇豪
李崙暉
何前程
王柏凱
Original Assignee
行政院原子能委員會核能研究所
國立雲林科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 行政院原子能委員會核能研究所, 國立雲林科技大學 filed Critical 行政院原子能委員會核能研究所
Priority to TW104135036A priority Critical patent/TWI574223B/zh
Priority to US15/256,791 priority patent/US9953461B2/en
Application granted granted Critical
Publication of TWI574223B publication Critical patent/TWI574223B/zh
Publication of TW201715476A publication Critical patent/TW201715476A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18Stabilised platforms, e.g. by gyroscope
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

一種運用擴增實境技術之導航系統包含一量測單元、一導航單元及一影像單元。該量測單元包括一能輸出一定位信號的定位模組,及一姿態模組。該導航單元根據該定位信號,以輸出一相關於一導引訊息的導航信號。該影像單元包括一能擷取出複數平面影像的擷取模組、一運算模組、一擴增實境模組及一顯示介面。該運算模組對該等平面影像進行影像運算,以分別輸出一光流信號及一對位信號。該擴增實境模組接收該導航信號及該對位信號,並進行影像對位,使該導引訊息能正確地疊合於該等平面影像上的實際地板場景,以呈現擴增實境導航路徑指引效果。

Description

運用擴增實境技術之導航系統
本發明是有關於一種導航系統,特別是指一種運用擴增實境技術之導航系統。
擴增實境(Augmented Reality,AR)指的是把虛擬資訊疊加到使用者的知覺感官—特別是針對視覺—上,不僅可以強化感官所接收到的訊息密度,同時降低在真實世界與電腦螢幕之間來回切換的心力。因此,自1960年代,蘇澤蘭(Ivan Sutherland)首開先河以降,擴增實境技術已擴展至外科醫療、機械修復、軍事訓練,乃至電玩遊戲。並且,隨著手持式裝置,如手機、平板,或是穿戴式裝置的快速發展,使得該等裝置同時具備有高效能的處理器、多樣的感測元件,以及能隨時隨地的透過網路傳遞資訊,作為擴增實境的應用平台實在更合適不過了。正因如此,運用擴增實境技術的應用程式也如雨後春筍般冒出。其中,導航系統應算是其中一項殺手級應用。
然而,擴增實境的主要技術在於如何準確地將虛擬資訊覆蓋於使用者所見到的實際景象。因此,擴增實境系統必須追蹤且記錄使用者頭部—或者更準確地來說,是指眼睛—的位置與方向等姿態訊息,並且利用這些姿態訊息來獲得一投影轉換映射矩陣。對於室外導航系統而言,只需透過GPS定位模組得到定位資訊,再配合由慣性感測模組所得到的姿態訊息,就可藉由該投影轉換映射矩陣將具導航訊息的虛擬資訊映射至呈現實際景象的螢幕上。但是,對於室內導航來說,因為不一定能接收到GPS訊號,所以一般除了建構類似GPS的信號源的方式外,也常利用標記(Marker)或自然特徵(Natural Features)等預定位方式,來協助該虛擬資訊正確地對應顯現於該螢幕上。不過,這些方式不僅需要設置複數定位設施,還要架構一用以由該等定位設施所分別對應出一定位資訊的資料庫,因而增加該導航系統的整體建置成本與複雜度。
因此,本發明之目的,即在提供一種能減少設置定位設施及相關資料庫建置,以及利用光流分析定位,而運用擴增實境技術之導航系統。
於是,本發明運用擴增實境技術之導航系統包含一量測單元、一導航單元,及一影像單元。
該量測單元包括一定位模組,及一姿態模組。該定位模組用以輸出一相關於位置座標的定位信號。該姿態模組用以輸出一相關於旋轉角度的姿態信號。
該導航單元係根據該定位信號進行路徑規劃,以獲得一用引指引使用者的導引訊息,並輸出一相關於該導引訊息的導航信號。
該影像單元包括一擷取模組、一運算模組、一擴增實境模組,及一顯示介面。該擷取模組用以自一空間環境連續地擷取出一平面影像,使該運算模組對該等連續時序平面影像進行光流(Optical Flow)分析,以輸出一相關於該分析結果,且用以估算出位置座標的光流信號。同時,該運算模組還對每一平面影像進行平面檢測,以輸出一相關於該檢測結果的對位信號。該擴增實境模組接收該導航信號及該對位信號,並進行影像對位,使該導引訊息能正確地疊合於該等平面影像上的實際地板場景,且一同呈現於該顯示介面。
本發明之功效在於:藉由該影像單元所擷取的平面影像進行光流分析,而從中分析出使用者移動的方向及大小,以作為定位量測的方法。不僅相較於傳統定位方法有更準確的量測結果,使該導航單元能更精確地進行路徑規劃,而且還具有輔助該擴增實境模組,將該導引訊息對位疊合於該等平面影像上的實際地板場景,提供給使用者直覺化的導航體驗。
參閱圖1,本發明運用擴增實境技術之導航系統的一實施例包含一量測單元100、一導航單元200,及一影像單元300。
參閱圖1,該量測單元100包括一定位模組110、一姿態模組120,及一相關於一空間環境的地圖資料130。其中,該定位模組110是根據一位置估算流程,以輸出一相關於位置座標的定位信號;該姿態模組120則是根據一姿態運算流程,以輸出一相關於該運算結果的姿態信號。另外,在本實施例中,該姿態模組120係利用一陀螺儀121感測輸出一相關於自身定義座標系統中各軸的姿態角度信號。此外,亦可結合電子羅盤(E-Compass)等相關慣性量測模組(Inertial Measurement Unit,IMU)來進行旋轉角度偵測,以增進量測的精度與速度。
參閱圖1,該導航單元200是根據該定位信號,並配合一路徑規劃方法,以輸出一相關於一導引訊息的導航信號。
參閱圖1,該影像單元300包括一擷取模組310、一運算模組320、一擴增實境模組330,及一顯示介面340。該擷取模組310是用以自該空間環境連續地擷取出一平面影像400,使該運算模組320對該等連續時序平面影像400進行一光流(Optical Flow)分析流程,以輸出一相關於該分析結果,且用以估算出位置座標的光流信號;同時,該運算模組320還對每一平面影像400進行一平面檢測流程,以輸出一相關於該檢測結果的對位信號。該擴增實境模組330接收該導航信號及該對位信號,並進行一影像對位流程,使該導引訊息能正確地疊合於該等平面影像400上的實際地板場景,且一同呈現於該顯示介面340。
以下將對該實施例中的各流程進行詳細說明:
首先,為了避免GPS(Global Positioning System,全球衛星定位系統)在室內因訊號不佳而無法利用。同時,為求降低整體建置成本與複雜度,而需要減少定位設施的設置。因此,該位置估算流程的流程圖如圖2所示,並包括下列步驟:
步驟S21:藉由感測該空間環境中的一定位標的,而獲得該啟始座標。要說明的是,該定位標的可以是如QR Code(Quick Response Code,快速響應矩陣碼),或是RFID(Radio Frequency Identification,主動式射頻識別)等預先設置於該空間環境中,用以提供辨識定位的裝置。若是QR Code等影像辨識裝置,則可透過該擷取模組310,及該運算模組320進行影像擷取分析,並配合儲存於該定位模組內的資料庫,探知該QR Code是設置於何處,以獲得該啟始座標。另外,若是RFID等訊號辨識裝置,則可透過相關感測器偵測該RFID訊號,並且同樣配合該定位模組內的資料庫,而獲得該RFID的位置,進而獲得該啟始座標。值得一提的是,本實施例是以QR Code的形式作為該定位標的。因為,該形式不只相較於RFID的設置成本來得低廉,同時不需增加感測RFID的感測器,而能節省相關設備成本。
步驟S22:根據該光流信號推算出該位移向量。如前述所提及,GPS在室內的信號品質並不穩定。不過,由於本發明已包含該影像單元300,而能在進行擴增實境的過程中,同時對所擷取到的平面影像400進行該光流分析流程。並且,依據所獲得的該光流信號即能估測出該擷取模組310的位移及縮放等變動量,而可用來估算該位移向量。
步驟S23:將該啟始座標加上該位移向量,並對應於該地圖資料130的座標系統,而獲得一估算座標,以輸出相關於該估算座標的該定位信號。要說明的是,該地圖資料130是一幅如圖3所示的二維平面地圖,可視為該空間環境的俯視圖。由於該地圖資料130的座標系統與該空間環境的座標系統有著轉換對應關係,因此,該位移向量必須進行相關的對應,而獲得該估算座標。如此一來,才能正確地將使用者的位置顯示在該地圖資料130上;同時,對於後續產生該導引訊息的步驟也有著重要的相關聯性。
步驟S24:持續地更新該估算座標。
接著,為了能讓該導引訊息能正確地疊合在該等平面影像400上,同時也讓擴增實境的效果更好,該擷取模組310的姿態估測的精確度是非常重要的。傳統的擴增實境系統常藉由圖像標記,來協助估測該擷取模組310的位移、旋轉及焦距縮放等變動量。不僅需要事先在場景中建置相關的標記或裝置,使得成本提高,而且也需要配合該等標記或裝置建立相關資料庫及裝設細節,如擺置位置、角度等,不具使用上的彈性與便利性。因此,為求解決上述問題,該姿態運算流程如圖4所示,並包括下列步驟:
步驟S41:由該姿態模組120感測輸出相關於自身在該世界座標系統中各軸旋轉角度的該姿態信號。在此過程中,是藉著該陀螺儀121感測輸出相關於自身定義座標系統中各軸的該姿態角度信號;接著,該姿態模組120解析該姿態角度信號,以獲得相關於該陀螺儀121定義座標系中各軸的姿態角度,並根據一重力加速度分量至該座標系上的各軸大小關係,而得到分別對應於該世界座標系統中各軸的旋轉角度。
步驟S42:由該運算模組320解析該光流信號,以獲得該擷取模組310對應於該世界座標系統的位移向量。在此過程中,該影像單元300對所擷取到的平面影像400進行該光流分析流程,再由所獲得的該光流信號估測出該擷取模組310相對於自身座標系統的位移向量,並根據座標轉換,將該位移向量轉換對應至該世界座標系統中。
步驟S43:將上述各模組所分別對應至該世界座標系統的旋轉角度及位移向量,整併成一相關於旋轉及平移的幾何變換矩陣。要說明的是,由於該姿態模組120與該擷取模組310有著不同的座標系統,而且該等座標系統之間有一相關於位移、旋轉的座標轉換關係。其中,該座標轉換關係可以透過一校正程序找出。然後,透過該座標轉換關係,而將各模組的幾何關係在相同的座標系統—即該世界座標系統—中對應呈現。值得一提的是,該幾何變換矩陣對於後續影像對位流程也有著相當重要的應用。
至此,本發明已從該量測單元100中獲得位置及姿態等資訊。而且,由上述說明可知,該光流信號不僅能估算出位置座標,還能獲得該擷取模組310的位移向量。因此,產生該光流信號的該光流分析流程便相當重要。另外,由於一般空間環境中的特徵點(Feature Point)大多不明顯,使得必須萃取並追蹤特徵點的傳統光流法,在估測該擷取模組310的位移及焦距縮放等變動量時,其估測準確率降低。因此,本發明所提出的該光流分析流程並不進行特徵點追蹤,而是採取全域的多點平均進行光流場分析估測,其流程如圖5所示,並包括下列步驟:
步驟S51:分別從該等連續時序平面影像400中取得複數分析像素。
步驟S52:記錄每一分析像素在其平面影像400中的像素座標,並分別加總該等分析像素的X、Y軸座標值。
步驟S53:分別將前後時序平面影像400的X、Y座標值總和相減,並進行平均運算,以輸出相關於該運算結果,且用以估算出位移向量的該光流信號。
上述步驟可用下面(1)(2)兩式表達:
(1)
(2)
其中,分別表示前後時序平面影像400上第i 點的分析像素的X軸座標值;分別表示前後時序平面影像400上第i 點的分析像素的Y軸座標值;為每一平面影像400上特徵點的個數;分別為前後時序平面影像400之間的光流場在X、Y軸方向的位移量,而且該光流信號是相關於
而對於如何應用該光流信號,以獲得該擷取模組310在世界座標系統中的各軸位移量,原理詳述如下:
在每一平面影像400上,光流場的光流點變化可以直接地用來估算該擷取模組310在世界座標系統中的X軸—水平方向與Z軸—垂直方向的位移量。如(3) (4)兩式:
(3)
(4)
其中,為相關於該擷取模組310的參數。
但是,對於該擷取模組310在世界座標系統中的Y軸方向的位移量,則必須透過針孔成像原理來推得。
參閱圖13,當兩幅平面影像400之間有位移量時,意即該擷取模組310的焦點在前後時序中,於世界座標系統中的Y軸方向有的位移量。其中,為該焦點位於世界座標系統中的初始Y軸座標,則為該擷取模組310位移後,該焦點在世界座標系統中的Y軸位移座標,之間的差值大小即為位移量。另外,在初始平面影像400上的一光流點P ,對應於位移後的平面影像400上為P’ ,且分別相對於該平面影像400中心OO’ 的高度為w。當該擷取模組310的焦距固定為f 時,藉由針孔成像原理與三角量測法來推算將可整理如(5)式:
(5)
如此,憑藉著該光流點P 分別對應於該等平面影像400上的高度,以及該擷取模組310的參數,如焦距f 、焦點座標V 等,即可推算出位移量
另外,由於該光流分析流程沒有進行特徵點比對追蹤,不僅可以減少運算時間,並且還能避免因特徵點不明顯,而難以判斷每一特徵點的光流方向,使得估測結果的誤差過大。因此,該光流分析流程能提高系統的即時性,以及降低光流的判斷誤差。另外,經發明人實驗測試,該光流分析流程具有高強健性,能有效地降低室內環境亮度對分析結果的干擾,也不會受到背景物體動態位移的影響。
接著,使用者可輸入一目標位置至該地圖資料130中,並配合在步驟S23中,所建立在該地圖資料130上的目前位置,以進行該路徑規劃方法,而產生用以指引使用者從該目前位置沿一路徑至該目標位置的導引訊息。要說明的是,在本實施例中,該導引訊息是如圖6所示,以箭頭形式的圖像呈現,但也可用文字,或圖像與文字合用來指引使用者。而且,該路徑規劃方法的流程圖如圖7所示,並包含下列步驟:
步驟S71:根據該地圖資料130建立一相鄰串列。
步驟S72:將該目前位置及該目標位置分別對應成在該相鄰串列上的二節點。
步驟S73:利用迪科斯徹(Dijkstra)路徑規劃法,找尋出相關於該等節點之間最短距離的路徑。
更進一步說明上述步驟:
在步驟S71中,係針對該地圖資料130上有相連的節點去進行路徑規劃,而能快速且有效地計算出最快路徑或最短路徑。這是因為路徑規劃常使用到鬆弛(Relaxation)操作,若是採用如圖8所示的一相鄰矩陣,由於該等節點之間的關係不明確,無法有效侷限範圍,使得每一次在進行鬆弛操作時,都會將其中一節點與其中其它節點之間的路徑通通列入考慮,造成運算效能低落。因此,改以結合座標的相鄰串列,如圖9所示,就具有清楚明確的節點關係。對於鬆弛過程中,可以針對有相連的節點去進行鬆弛操作,減少不必要的時間消耗。此外,由於矩陣元素本身可以將儲存座標資訊,而可利用來計算距離。因此,該相鄰串列可以再進一步簡化,如圖10所示,精簡後的相鄰串列,僅需記錄與該節點相連接的節點編號,不僅大幅簡化地圖資訊建立的複雜度,對於後續的資料更新也更為容易。
在步驟S73中,迪科斯徹路徑規劃法會建立一棵最短路徑樹(Shortest Path Tree)。首先,從代表該目前位置的節點作為一起點,並向外搜尋、比較與該節點相連的其它節點的距離,以選擇一個與之最近的節點,而將該節點加入該最短路徑樹中。接著,將該起點移至該節點,而對不在最短路徑樹上的節點進行鬆弛操作。重複執行上述步驟,直到找尋到代表該目標位置的節點加入該最短路徑樹後,即完成路徑規劃,而且所獲得的路徑即為最短路徑。
最後,即是將該導引訊息疊合於該等平面影像400上,而一同呈現於該顯示介面340。在這過程中,如何配合使用者的空間感知,且能正確地將該導引訊息對位疊合在平面影像400上,是擴增實境技術中的核心所在。因此,在本發明中,針對影像對位的處理包含二部分,一是由該運算模組320對每一平面影像400所進行的平面檢測流程;二是由該擴增實境模組330根據該導航信號及該對位信號,而進行的影像對位流程。
其中,該平面檢測流程是用來找尋該空間環境中的地板平面映射到該等平面影像400的位置,以便將箭頭形式的該導引訊息疊合在該位置上,而讓使用者透過該顯示介面340同時獲得該導引訊息與其對應的行走方向指引。該平面檢測流程如圖11所示,並包含下列步驟:
步驟S111:將每一平面影像400轉換成一灰階影像。要說明的是,雖然彩色影像具有較多的訊息,但對於後續相關的影像處理而言,該灰階影像可以降低運算時間,以及節省暫存記憶體容量。
步驟S112:透過Wiener反褶積(Deconvolution)強化該灰階影像中的邊緣。
步驟S113:使用Canny偵測器(Detector)搜尋強化後的邊緣。
步驟S114:利用霍夫轉換(Hough Transform)連接同一直線邊緣。
步驟S115:根據該等邊緣在該平面影像400上的位置及方向,以判斷每一邊緣是否為一牆腳。
步驟S116:由相鄰的牆腳界定出該空間環境中的地面,以輸出相關於每一牆腳的該對位信號。
另外,該影像對位流程如圖12所示,並包含下列步驟:
步驟S121:由該姿態信號及該對位信號運算產生一映射矩陣。要說明的是,該映射矩陣是根據該姿態信號及該對位信號,而得到該導引訊息和每一平面影像400座標系統之間的映射關係。並且,一般是用所謂的單應性矩陣(Homography Matrix)來表示,以整合旋轉及平移的變換關係。另外,該姿態運算流程中所獲得的該幾何變換矩陣也具有與該映射矩陣相仿的對應關係,因此,也可採用該幾何變換矩陣作為該映射矩陣,惟需要加入該擷取模組310的相關參數,以獲得該世界座標系統與每一平面影像400座標系統之間的對應關係。
步驟S122:將該導引訊息透過該映射矩陣進行仿射轉換(Affine Transform),而疊加在該平面影像400上。
綜上所述,本發明運用擴增實境技術之導航系統能有效地降低建置的成本及系統複雜性,因此可實作於一頭戴式顯示裝置(Head-mounted Display Device),或是如Google Cardboard等簡易型裝置,使得任何如手機、平板等手持式裝置,都能搖身一變,成為能運用擴增實境技術的導航系統,而透過擴增實境的方式呈現該導引訊息,提供給使用者直覺化的導航體驗。
惟以上所述者,僅為本發明之實施例而已,當不能以此限定本發明實施之範圍,即凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。
100‧‧‧量測單元
110‧‧‧定位模組
120‧‧‧姿態模組
121‧‧‧陀螺儀
130‧‧‧地圖資料
200‧‧‧導航單元
300‧‧‧影像單元
310‧‧‧擷取模組
320‧‧‧運算模組
330‧‧‧擴增實境模組
340‧‧‧顯示介面
400‧‧‧平面影像
S21~24‧‧‧步驟
S41~43‧‧‧步驟
S51~53‧‧‧步驟
S71~73‧‧‧步驟
S111~116‧‧‧步驟
S121~122‧‧‧步驟
f‧‧‧焦距
O,O'‧‧‧影像中心
P,P'‧‧‧光流點
V,V'‧‧‧焦點座標
w,w'‧‧‧高度
本發明之其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中: 圖1是一方塊圖,說明本發明運用擴增實境技術之導航系統的一實施例; 圖2是一流程圖,說明該實施例中的一位置估算流程; 圖3是一示意圖,說明該實施例中的一地圖資料; 圖4是一流程圖,說明該實施例中的一姿態運算流程; 圖5是一流程圖,說明該實施例中的一光流分析流程; 圖6是一示意圖,說明該實施例中的一導引訊息呈現於一平面影像上的實際地板場景; 圖7是一流程圖,說明該實施例中的一路徑規劃方法的運算流程; 圖8是一示意圖,說明根據一包含複數節點,及該等節點彼此之間的距離的地圖資訊,而建立的一相鄰矩陣; 圖9是一示意圖,說明根據該地圖資訊,而建立的一相鄰串列; 圖10是一示意圖,說明根據該地圖資訊,並結合該等節點序號,以簡化該相鄰串列的一最佳化相鄰串列; 圖11是一流程圖,說明該實施例中的一平面檢測流程; 圖12是一流程圖,說明該實施例中的一影像對位流程;及 圖13是一示意圖,說明先後時序平面影像在進行光流分析時,之間的位移量對應於世界座標系統的幾何關係。
100‧‧‧量測單元
110‧‧‧定位模組
120‧‧‧姿態模組
121‧‧‧陀螺儀
130‧‧‧地圖資料
200‧‧‧導航單元
300‧‧‧影像單元
310‧‧‧擷取模組
320‧‧‧運算模組
330‧‧‧擴增實境模組
340‧‧‧顯示介面
400‧‧‧平面影像

Claims (10)

  1. 一種運用擴增實境技術之導航系統,包含: 一量測單元,包括一定位模組,及一姿態模組,該定位模組用以輸出一相關於位置座標的定位信號,該姿態模組用以輸出一相關於旋轉角度的姿態信號; 一導航單元,根據該定位信號進行路徑規劃,以獲得一用以指引使用者的導引訊息,並輸出一相關於該導引訊息的導航信號;及 一影像單元,包括一擷取模組、一運算模組、一擴增實境模組,及一顯示介面,該擷取模組用以自一空間環境連續地擷取出一平面影像,使該運算模組對該等連續時序平面影像進行光流(Optical Flow)分析,以輸出一相關於該分析結果,且用以估算出位置座標的光流信號;同時,該運算模組還對每一平面影像進行平面檢測,以輸出一相關於該檢測結果的對位信號,該擴增實境模組接收該導航信號及該對位信號,並進行影像對位,使該導引訊息能正確地疊合於該等平面影像上,且一同呈現於該顯示介面。
  2. 如請求項1所述的運用擴增實境技術之導航系統,其中,該運算模組係執行以下動作,以獲得該光流信號:分別從該等連續時序平面影像中取得複數分析像素;接著,紀錄每一分析像素在平面影像中的像素座標,並分別加總該等分析像素的X、Y軸座標值;最後,分別將前後時序平面影像的X、Y座標值總和相減,並進行平均運算,以輸出相關於該運算結果的該光流信號。
  3. 如請求項1所述的運用擴增實境技術之導航系統,其中,該運算模組係執行以下動作,以獲得該對位信號:將每一平面影像轉換成一灰階影像,並且透過Wiener反褶積(Deconvolution),以強化該灰階影像中的邊緣;接著,使用Canny偵測器(Detector)搜尋強化後的邊緣,再利用霍夫轉換(Hough Transform)連接同一直線邊緣;最後,根據該等邊緣在該平面影像上的位置及方向,以判斷每一邊緣是否為一牆腳,並由相鄰的牆腳界定出該空間環境中的地面,以輸出相關於每一牆腳的該對位信號。
  4. 如請求項1所述的運用擴增實境技術之導航系統,其中,該擴增實境模組係執行以下動作,以呈現擴增實境效果:根據該姿態信號及該對位信號,以產生一相關於影像座標對應的投影轉換映射矩陣,並且將該導引訊息透過該投影轉換映射矩陣進行仿射轉換(Affine Transform),而疊合在該等平面影像上。
  5. 如請求項1所述的運用擴增實境技術之導航系統,其中,該量測單元還包括一相關於該空間環境的地圖資料,該定位模組是根據該光流信號進行位置估算,並對應於該地圖資料的座標系統,以輸出相關於該地圖資料上所在位置座標的該定位信號。
  6. 如請求項5所述的運用擴增實境技術之導航系統,其中,該定位模組係執行以下動作,以輸出該定位信號:藉由感測該空間環境中的一定位標的,而獲得一啟始座標;接著,根據該光流信號,以推算出一位移向量;最後,將該啟始座標加上該位移向量,並對應於該地圖資料的座標系統,而獲得一估算座標,以輸出相關於該估算座標的該定位信號。
  7. 如請求項6所述的運用擴增實境技術之導航系統,其中,該定位模組會先判斷該估算座標是否存在,若不存在,則進行感測該定位標的;若存在,則根據該光流信號,以推算出該位移向量,再將原先的估算座標加上該位移向量,並對應於該地圖資料的座標系統,而獲得一新的估算座標,如此,持續地更新該估算座標,並輸出相關於該估算座標的該定位信號。
  8. 如請求項5所述的運用擴增實境技術之導航系統,其中,該姿態模組具有一陀螺儀,該陀螺儀感測輸出一相關於自身定義座標系統中各軸的姿態角度信號,該姿態模組根據該姿態角度信號與一重力加速度之間的關係,以輸出自身在一世界座標系統中各軸旋轉角度的該姿態信號。
  9. 如請求項5所述的運用擴增實境技術之導航系統,其中,該導航單元係執行以下動作,以獲得該導引訊息:根據該地圖資料建立一相鄰串列;接著,將一目前位置及一目標位置分別對應成在該相鄰串列上的二節點;最後,利用迪科斯徹(Dijkstra)路徑規劃法,找尋出一相關於該等節點之間最短距離的路徑,以輸出相關於沿該路徑行走的該導引訊息。
  10. 如請求項9所述的運用擴增實境技術之導航系統,其中,該導引訊息是用以指引使用者從該目前位置沿該路徑至該目標位置的圖像、文字其中一者。
TW104135036A 2015-10-26 2015-10-26 運用擴增實境技術之導航系統 TWI574223B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104135036A TWI574223B (zh) 2015-10-26 2015-10-26 運用擴增實境技術之導航系統
US15/256,791 US9953461B2 (en) 2015-10-26 2016-09-06 Navigation system applying augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104135036A TWI574223B (zh) 2015-10-26 2015-10-26 運用擴增實境技術之導航系統

Publications (2)

Publication Number Publication Date
TWI574223B TWI574223B (zh) 2017-03-11
TW201715476A true TW201715476A (zh) 2017-05-01

Family

ID=58558679

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104135036A TWI574223B (zh) 2015-10-26 2015-10-26 運用擴增實境技術之導航系統

Country Status (2)

Country Link
US (1) US9953461B2 (zh)
TW (1) TWI574223B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640931B (zh) * 2017-11-23 2018-11-11 財團法人資訊工業策進會 影像目標追蹤方法及裝置
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
TWI672482B (zh) * 2018-06-08 2019-09-21 林器弘 室內導航系統
US10917827B2 (en) 2018-06-19 2021-02-09 Htc Corporation Communication system and head mounted display
TWI743477B (zh) * 2019-05-07 2021-10-21 威盛電子股份有限公司 圖像處理裝置及圖像處理的方法
TWI782332B (zh) * 2019-10-15 2022-11-01 中國商北京市商湯科技開發有限公司 一種擴增實境資料呈現方法、設備及儲存媒體
US11625837B2 (en) 2020-08-10 2023-04-11 National Taiwan University Of Science And Technology Earthquake monitoring system and earthquake monitoring method

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201700058961A1 (it) * 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
TWI691907B (zh) * 2018-06-12 2020-04-21 網銀國際股份有限公司 行動裝置及其空間中的定位方法
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
US11808590B2 (en) * 2019-01-11 2023-11-07 Massachusetts Institute Of Technology Autonomous navigation in a cluttered environment
CN111787273A (zh) * 2019-04-04 2020-10-16 智钧(深圳)数据科技有限公司 一种实境定位系统
US10591576B1 (en) 2019-06-07 2020-03-17 Capital One Services, Llc Automated system for vehicle tracking
US10682980B1 (en) 2019-06-07 2020-06-16 Capital One Services, Llc Systems and methods for test driving cars with limited human interaction
US10589720B1 (en) 2019-06-07 2020-03-17 Capital One Services, Llc Automated system for car access in retail environment
US10900801B2 (en) * 2019-06-07 2021-01-26 Capital One Services, Llc Augmented reality directions utilizing physical reference markers
US11557053B2 (en) * 2020-02-07 2023-01-17 International Business Machines Corporation Deep learning to correct map and image features
CN111476829A (zh) * 2020-03-12 2020-07-31 梦幻世界科技(珠海)有限公司 一种基于光流的增强现实虚实图像动态配准方法及装置
CN113804195B (zh) * 2020-06-15 2024-09-06 浙江莲荷科技有限公司 信息处理方法及设备和室内地图定位方法及设备
TWI779305B (zh) 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
CN113280817B (zh) * 2020-07-08 2024-07-23 阿里巴巴集团控股有限公司 一种基于地标的视觉导航
JP6828934B1 (ja) * 2020-08-18 2021-02-10 株式会社ビーブリッジ ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム
CN112700496A (zh) * 2020-12-15 2021-04-23 国科易讯(北京)科技有限公司 Ar实时定位方法、系统
CN112556727B (zh) * 2020-12-15 2022-11-15 国科易讯(北京)科技有限公司 一种ar导航定位误差校准方法、装置、设备及存储介质
US11614332B2 (en) * 2020-12-17 2023-03-28 Adobe Inc. Systems for generating indications of traversable paths
TWI800930B (zh) * 2021-09-28 2023-05-01 宇萌數位科技股份有限公司 真實空間虛擬化之擴增實境之應用方法與應用互動模組
US11828600B2 (en) * 2021-09-29 2023-11-28 Ncr Corporation Indoor wayfinder interface and service
CN113900517B (zh) * 2021-09-30 2022-12-20 北京百度网讯科技有限公司 线路导航方法和装置、电子设备、计算机可读介质
US11972039B1 (en) 2022-12-02 2024-04-30 ARMaps Augmented reality skydiving system
CN118623895A (zh) * 2024-08-14 2024-09-10 广州市林业和园林科学研究院 一种树木根系扫描仪器的辅助定位与校准装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9728007B2 (en) * 2010-05-18 2017-08-08 Teknologian Tutkimuskeskus Vtt Oy Mobile device, server arrangement and method for augmented reality applications
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP5732988B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
GB2507510B (en) * 2012-10-31 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
TWI555390B (zh) * 2013-02-20 2016-10-21 仁寶電腦工業股份有限公司 控制電子設備的方法與電子裝置
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
TW201447375A (zh) * 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
US10074151B2 (en) * 2015-09-30 2018-09-11 Intel Corporation Dense optical flow acceleration

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640931B (zh) * 2017-11-23 2018-11-11 財團法人資訊工業策進會 影像目標追蹤方法及裝置
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
US10282915B1 (en) 2017-12-27 2019-05-07 Industrial Technology Research Institute Superimposition device of virtual guiding indication and reality image and the superimposition method thereof
TWI672482B (zh) * 2018-06-08 2019-09-21 林器弘 室內導航系統
US10917827B2 (en) 2018-06-19 2021-02-09 Htc Corporation Communication system and head mounted display
TWI739117B (zh) * 2018-06-19 2021-09-11 宏達國際電子股份有限公司 通訊系統、頭戴式顯示器及其切換傳輸模式的方法
TWI743477B (zh) * 2019-05-07 2021-10-21 威盛電子股份有限公司 圖像處理裝置及圖像處理的方法
TWI782332B (zh) * 2019-10-15 2022-11-01 中國商北京市商湯科技開發有限公司 一種擴增實境資料呈現方法、設備及儲存媒體
US11625837B2 (en) 2020-08-10 2023-04-11 National Taiwan University Of Science And Technology Earthquake monitoring system and earthquake monitoring method

Also Published As

Publication number Publication date
US9953461B2 (en) 2018-04-24
TWI574223B (zh) 2017-03-11
US20170116783A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
TWI574223B (zh) 運用擴增實境技術之導航系統
US11393173B2 (en) Mobile augmented reality system
US10499002B2 (en) Information processing apparatus and information processing method
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
US10462406B2 (en) Information processing apparatus and information processing method
CN111174799A (zh) 地图构建方法及装置、计算机可读介质、终端设备
JP2015532077A (ja) 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
WO2018134686A2 (en) Systems, methods, device and apparatuses for performing simultaneous localization and mapping
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
US9239965B2 (en) Method and system of tracking object
CN112465907B (zh) 一种室内视觉导航方法及系统
TWM560099U (zh) 運用擴增實境技術之室內精確導航系統
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
KR102029741B1 (ko) 객체를 추적하는 방법 및 시스템
KR20180068483A (ko) 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
Calloway et al. Global localization and tracking for wearable augmented reality in urban environments
Mohan VirtualTag: Enabling Indoor Augmented Reality with Marker-Facilitated Localization
Wu et al. Cognition-based augmented reality visualization of the geospatial data
JP2017112565A (ja) 投影装置、投影方法及び投影用コンピュータプログラム