TW202109455A

TW202109455A - 應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計

Info

Publication number: TW202109455A
Application number: TW108129425A
Authority: TW
Inventors: 何前程; 王冠傑; 陳冠維; 詹敬平
Original assignee: 國立雲林科技大學
Priority date: 2019-08-19
Filing date: 2019-08-19
Publication date: 2021-03-01
Also published as: TWI712993B

Abstract

一種應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，藉由一包含有一單目影像擷取模組之電子裝置來實施：(A) 對於該單目影像擷取模組擷取的每一環境圖像，獲得多張欲分析圖像；(B) 獲得每一環境圖像之每一欲分析圖像的多個角特徵點；(C) 獲得每一環境圖像的多個主目標角特徵點；(D) 將每一環境圖像該環境圖像分割為多個子環境圖像；(E) 獲得每一環境圖像的每一候選角特徵點的一角點分數；(F) 獲得每一環境圖像的每一子環境圖像的次目標角特徵點；(G) 獲得該電子裝置的一初始位置；(H) 獲該等主目標角特徵點及該等次目標角特徵點的對應關係。

Description

應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計

本發明是有關於一種半特徵視覺里程計方法，特別是指一種應用於半特徵視覺式同步定位與建圖的半特徵視覺里程計方法。

傳統應用於擴增實境技術之視覺式同步定位與建圖（Visual SLAM）的方法主要分為三種，第一種為特徵視覺式同步定位與建圖方法（Feature-Based Visual SLAM），例如：ORB-SLAM，其所擷取的特徵點（Keypiont）皆對應有描述子（Descriptor），因此特徵點雖具有較佳的強健性（Robustness），雖使得特徵點深度估測準確率較高，但卻於運算處理上非常耗時；第二種為直接視覺式同步定位與建圖方法（Direct Visual SLAM），其僅比對像素出現位置，而不計算任何特徵點及描述子，例如：LSD-SLAM ，因此雖於計算上處理迅速，但特徵點深度估測準確率並不高；最後第三種半直接視覺式同步定位與建圖方法（Semi-Direct Visual SLAM），例如：SVO-SLAM，其擷取相較於第一種為特徵視覺式同步定位與建圖方法更為稠密的特徵點，尤其在遭遇到無紋理的環境或無紋理的障礙物時。同時不計算對應之描述子，雖然特徵點的強健性不及第一種為特徵視覺式同步定位與建圖方法，但相較於第一種為特徵視覺式同步定位與建圖方法具有更快的處理速度與更多的特徵點，及相較於第二種為直接視覺式同步定位與建圖方法具有更佳的特徵點深度估測準確率與特徵點強健可靠性。

然而，除了第一種方法能穩定地應用於擴增實境的實際使用，而第二種與第三種方法皆會因為光影變化或相機晃動造成準確率不佳而造成錯誤。有鑑於此，故如何提供一種相較於第一種方法運算更為迅速，且特徵點深度估測準確率相較於第二種與第三種方法更佳的視覺里程計方法，即為本創作所欲解決之首要課題。

因此，本發明的目的，即在提供一種運算更為迅速且具有更佳特徵點深度估測準確率的視覺里程計方法。

於是，本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，藉由一包含有一單目影像擷取模組之電子裝置來實施，該電子裝置於移動中並週期性地透過該單目影像擷取模組擷取多張相關於該電子裝置周圍環境的環境圖像，並包含一步驟(A)、一步驟(B)，一步驟(C)，一步驟(D)，一步驟(E)、一步驟(F)、一步驟(G)，以及一步驟(H)。

步驟(A)是對於每一環境圖像，藉由該電子裝置，根據該單目影像擷取模組所擷取該環境圖像，獲得多張對應該環境圖像且對應不同倍率大小的欲分析圖像。

步驟(B)是對於每一環境圖像，藉由該電子裝置，根據該環境圖像中每一欲分析圖像，獲得多個對應該環境圖像的角特徵點。

步驟(C)是對於每一環境圖像，藉由該電子裝置，自該環境圖像所對應的該等角特徵點中，獲得多個對應該環境圖像的主目標角特徵點。

步驟(D)是對於每一環境圖像，藉由該電子裝置，將該環境圖像分割為N₁ ×N₂ 的多個子環境圖像，N₁ >0，N₂ >0。

步驟(E)是對於每一環境圖像的該等角特徵點中作為該等主角目標特徵點以外的每一候選角特徵點，藉由該電子裝置，利用角檢測演算法，獲得一對應於該候選角特徵點的角點分數。

步驟(F)是對於每一環境圖像的每一子環境圖像，藉由該電子裝置，自該子環境圖像中的所有候選角特徵點中，獲得一對應該子環境圖像且具有最高角點分數的次目標角特徵點。

步驟(G)是藉由該電子裝置，根據選自於該等環境圖像中之連續二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，獲得相關於該電子裝置的一初始位置。

步驟(H)是藉由該電子裝置，根據該二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，獲得該二張目標環境圖像之其中一者之該等主目標角特徵點及該等次目標角特徵點相對於該二張目標環境圖像之其中另一者之該等主目標角特徵點及該等次目標角特徵點的對應關係。

本發明之功效在於：藉由該電子裝置1經由步驟(A)~(E)獲得每一張環境圖像中所對應的該等主目標角特徵點及該等次目標角特徵點以完成特徵點擷取，接著於步驟(F)中完成初始的位置估測，最後於步驟(G)完成特徵點追蹤，便能根據每一張環境圖像的該等主目標角特徵點及該等次目標角特徵點，完成相較於第一種方法運算更為迅速，且特徵點深度估測準確率相較於第二種與第三種方法更佳的「半特徵視覺里程計」。

參閱圖1，習知擴增實境導航與廣告技術的主要流程分為五個階段：定位估測（Positioning Estimation）用於定位當前使用者位置並建圖、路徑規劃（Path Planning）用於規劃使用者當前位置至目的地的路徑、影像對位（Image Registration）用於將虛擬圖像與當前現實畫面疊合、視角估測（Pose Estimation）用於重新獲得當前現實畫面，及影像重繪（Image Refreshing）用於重新調整虛擬圖像並與重新獲得之當前現實畫面疊合。值得特別說明的是，各種不同的視覺式同步定位與建圖方法可以大幅地影響定位估測、影像對位及視角估測等三個階段的處理速度及準確率。因此，本發明提出一基於「半特徵視覺里程計」的半特徵視覺式同步定位與建圖方法來進一步地改進擴增實境導航與廣告技術中的定位估測、影像對位及視角估測等三個階段。

在定位估測階段中，又包含三個步驟：視覺里程計（Visual Odometry）用於根據一單目影像擷取模組11的所擷取多張相關於現實畫面的圖像，以建立該單目影像擷取模組11的移動的軌跡、地圖建構（Local Mapping）用於根據該單目影像擷取模組11的所擷取相關於現實畫面的該等圖像，以建立外在環境三維幾何空間，及迴環檢測（Loop Closing）用於檢測並連接重複的移動軌跡。

參閱圖2，在習知視覺里程計步驟中，又包含三子步驟：特徵點擷取（Feature Extraction）用於擷取相關於現實畫面之每一圖像的特徵點、初始的位置估測（Initial Pose Estimation）用於根據相關於現實畫面之連續二張圖像所對應的特徵點，估測出該單目影像擷取模組11的初始位置，及特徵點匹配（Feature Matching）用於根據相關於現實畫面之連續二張圖像所對應的特徵點，獲得連續該二張圖像所對應的特徵點之間的對應關係，同時根據所估測出該單目影像擷取模組11的初始位置，獲得該單目影像擷取模組11的移動軌跡。

值得特別說明的是，本發明係提出一全新的「半特徵視覺里程計」方法以取代習知「視覺里程計」子步驟，並應用於視覺式同步定位與建圖方法步驟中，故將使用本發明半特徵視覺里程計方法的視覺式同步定位與建圖方法稱為「半特徵視覺式同步定位與建圖方法（Semi-Feature Visual SLAM）」。以下針對本發明用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，作詳細說明。

參閱圖3，本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計之一實施例係藉由一電子裝置1來實施。

該電子裝置1包含一用於期性地擷取多張相關於周圍環境之環境圖像的該單目影像擷取模組11、一顯示模組12，以及一電連接該單目影像擷取模組11與該顯示模組12的處理模組13。特別地，該電子裝置1係於移動中透過該單目影像擷取模組11擷取每一張環境圖像。

在該實施例中，該電子裝置1之實施態樣，例如為一智慧型手機、一平板電腦或一智慧型穿戴裝置，但不以此為限。

參閱圖4~6，以下將藉由本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計之該實施例來說明該電子裝置1的運作細節，並包含一步驟51、一步驟52、一步驟53、一步驟54、一步驟55、一步驟56、一步驟57，以及一步驟58。特別地，步驟51~56係屬於「半特徵視覺里程計」的特徵點擷取步驟；步驟57係屬於「半特徵視覺里程計」的初始的位置估測步驟；步驟58係屬於「半特徵視覺里程計」的特徵點匹配步驟。

在步驟51中，對於每一環境圖像，該處理模組13根據該該環境圖像，獲得多張對應該環境圖像且對應不同倍率大小的欲分析圖像。其中，該處理模組13係利用圖像金字塔演算法（Image Pyramid）獲得該等欲分析圖像，但不以此為限。

在步驟52中，對於每一環境圖像，該處理模組13根據該環境圖像中每一欲分析圖像，獲得多個對應該環境圖像的角特徵點。其中，該處理模組13係利用特徵點檢測演算法（FAST，Feature from Accelerated Segment Test）獲得該等欲分析圖像，但不以此為限。

參閱圖7，值得特別說明的是，步驟52還進一步包含一子步驟521，以及一子步驟522。

在子步驟521中，對於每一環境圖像中每一欲分析圖像，該處理模組13根據該欲分析圖像，利用特徵點檢測演算法，獲得多個對應該欲分析圖像的預選角特徵點。

在子步驟522中，對於每一環境圖像，該處理模組13根據該環境圖像中每一欲分析圖像所對應的該等預選角特徵點，獲得對應該環境圖像的該等角特徵點。

在步驟53中，對於每一環境圖像，該處理模組13自該環境圖像所對應的該等角特徵點中，獲得多個對應該環境圖像的主目標角特徵點。其中，該處理模組13係利用非極大抑制演算法（Non-maximum Suppression），獲得該等主目標角特徵點。

參閱圖8，值得特別說明的是，步驟53還進一步包含一子步驟531、一子步驟532，以及一子步驟533。

在子步驟531中，對於每一環境圖像的每一角特徵點，該處理模組13將該角特徵點作為中心，並以M個像素為半徑，獲得包含該角特徵點的該角點區域，M>0。值得特別說明的是，在該實施例中，M=3，能兼具較快地運算速度及較佳地準確率。

在子步驟532中，對於每一環境圖像，該處理模組13根據該環境圖像的該等角點區域，利用非極大抑制演算法，自該環境圖像的該等角點區域中，獲得多個目標角點區域。

在子步驟533中，對於每一環境圖像，該處理模組13將該環境圖像的每一目標角點區域所對應的該角特徵點作為對應於該環境圖像的該等主目標角特徵點。

在步驟54中，對於每一環境圖像，該處理模組13將該環境圖像分割為N₁ ×N₂ 的多個子環境圖像，N₁ >0，N₂ >0。值得特別說明的是，在該實施例中，N₁ =5，N₂ =5，能兼具較快地運算速度及較佳地準確率。

在步驟55中，對於每一環境圖像的該等角特徵點中作為該等主角目標特徵點以外的每一候選角特徵點，該處理模組13根據該候選角特徵點，獲得一對應於該候選角特徵點的角點分數。其中，該處理模組13係利用角檢測演算法（Shi–Tomasi所提出之Good Feature演算法），獲得對應於該候選角特徵點的該角點分數。

在步驟56中，對於每一環境圖像的每一子環境圖像，該處理模組13自該子環境圖像中的所有候選角特徵點中，獲得一對應該子環境圖像並具有最高角點分數且大於一角點閾值的次目標角特徵點。值得特別說明的是，在該實施例中，該角點閾值係藉由該單目影像擷取模組11的一內部參數（Intrinsic Parameters）與一外部參數（Extrinsic Parameters）所獲得，以藉此兼具較快地運算速度及較佳的深度估測準確率。而在其他實施例中，對於每一環境圖像的每一子環境圖像，該處理模組13亦可僅取對應該子環境圖像且具有最高角點分數的該候選角特徵點作為該次目標角特徵點，雖運算速度相較於該實施例較慢，但仍相較於第一種方法運算速度更為迅速。

在步驟57中，該處理模組13根據選自於該等環境圖像中之連續二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，獲得相關於該電子裝置1的一初始位置。其中，該處理模組13先根據該二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，係利用直線性變換法（DLT，Direct Linear Transformation）計算出一單應矩陣（Homography），且利用八點法（Eight-Point Algorithm）計算出一基礎矩陣（Fundamental Matrix），再根據所計算出之該單應矩陣及該基礎矩陣，獲得相關於該電子裝置1的該初始位置。

在步驟58中，該處理模組13根據該二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，獲得該二張目標環境圖像之其中一者之該等主目標角特徵點及該等次目標角特徵點相對於該二張目標環境圖像之其中另一者之該等主目標角特徵點及該等次目標角特徵點之間的對應關係，此外，該處理模組13可同時根據步驟57所獲得之該電子裝置1的初始位置，及步驟58所獲得之對應關係，獲得該電子裝置1的移動軌跡。其中，該處理模組13係利用最小光度誤差法（Photometric error），獲得該二張目標環境圖像之該者之該等主目標角特徵點及該等次目標角特徵點相對於該二張目標環境圖像之該另一者之該等主目標角特徵點及該等次目標角特徵點的對應關係。值得特別說明的是，在該實施例中，該處理模組1可藉由重覆地執行步驟58，以獲得該等選自於該等環境圖像中之二張連續地之環境圖像中該等主目標角特徵點及該等次目標角特徵點的之對應關係，同時根據步驟57所獲得之相關於該電子裝置1的該初始位置，進而獲得該電子裝置1的移動軌跡。

簡言之，本發明所強調之「半特徵視覺里程計」方法在特徵點擷取子步驟中是採用FAST特徵點檢測演算法、圖像金字塔演算法及角檢測演算法，如圖5、6之步驟51~56；而在初始的位置估測子步驟中是採用直線性變換法及八點法，如圖6之步驟57；最後，在特徵點匹配子步驟是採用最小光度誤差法而不計算描述子，如圖6之步驟58。

綜上所述，本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，藉由該電子裝置1對於移動中並週期性拍攝的每一張環境圖像，經由步驟51~56以獲得每一張環境圖像中所對應的該等主目標角特徵點及該等次目標角特徵點並完成特徵點擷取，接著，該電子裝置1於步驟57中根據每一張環境圖像中所對應的該等主目標角特徵點及該等次目標角特徵點，利用直線性變換法及八點法完成初始的位置估測，最後該電子裝置1於步驟58中利用最小光度誤差法完成特徵點追蹤，便能在運算速度相較於特徵視覺式同步定位與建圖方法更為迅速，且具有相較於直接/半直接視覺式同步定位與建圖方法更佳的特徵點深度估測準確率的情況下完成「半特徵視覺里程計」，更乃至於完成擴增實境導航與廣告技術（半特徵視覺式同步定位與建圖方法）。因此，故確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

1:電子裝置 11:單目影像擷取模組 12:顯示模組 13:處理模組 51~58:步驟 521~522:子步驟 531~533:子步驟

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一示意圖，說明習知擴增實境導航與廣告技術的五個階段；圖2是一示意圖，說明習知擴增實境導航與廣告技術之定位估測階段中所包含的三個步驟：視覺里程計、地圖建構及迴環檢測；圖3是一方塊圖，說明一執行本發明應用於半特徵視覺里程計的圖像特徵擷取方法的一實施例的電子裝置；圖4是一示意圖，說明一應用於半特徵視覺式同步定位與建圖方法；圖5是一流程圖，說明本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計之該實施例的流程步驟51~55；圖6是一流程圖，說明本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計之該實施例的流程步驟56~58；圖7是一流程圖，說明本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計如何獲得對應環境圖像的所有角特徵點的細部流程；及圖8是一流程圖，說明本發明應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計如何獲得對應於環境圖像的所有主目標角特徵點的細部流程。

51~55:步驟

Claims

一種應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，藉由一包含有一單目影像擷取模組之電子裝置來實施，該電子裝置於移動中並週期性地透過該單目影像擷取模組擷取多張相關於該電子裝置周圍環境的環境圖像，該應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計包含以下步驟： (A) 對於每一環境圖像，藉由該電子裝置，根據該單目影像擷取模組所擷取的該環境圖像，獲得多張對應該環境圖像且對應不同倍率大小的欲分析圖像； (B) 對於每一環境圖像，藉由該電子裝置，根據該環境圖像中每一欲分析圖像，獲得多個對應該環境圖像的角特徵點； (C) 對於每一環境圖像，藉由該電子裝置，自該環境圖像所對應的該等角特徵點中，獲得多個對應該環境圖像的主目標角特徵點； (D) 對於每一環境圖像，藉由該電子裝置，將該環境圖像分割為N₁ ×N₂ 的多個子環境圖像，N₁ >0，N₂ >0； (E) 對於每一環境圖像的該等角特徵點中作為該等主角目標特徵點以外的每一候選角特徵點，藉由該電子裝置，利用角檢測演算法，獲得一對應於該候選角特徵點的角點分數； (F) 對於每一環境圖像的每一子環境圖像，藉由該電子裝置，自該子環境圖像中的所有候選角特徵點中，獲得一對應該子環境圖像且具有最高角點分數的次目標角特徵點； (G) 藉由該電子裝置，根據選自於該等環境圖像中之連續二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，獲得相關於該電子裝置的一初始位置；及 (H) 藉由該電子裝置，根據該二張目標環境圖像所對應的該等主目標角特徵點及該等次目標角特徵點，獲得該二張目標環境圖像之其中一者之該等主目標角特徵點及該等次目標角特徵點相對於該二張目標環境圖像之其中另一者之該等主目標角特徵點及該等次目標角特徵點之間的對應關係。
如請求項1所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，在步驟(A)中，用圖像金字塔演算法，獲得該等欲分析圖像；在步驟(B)中，用特徵點檢測演算法，獲得該等角特徵點；及在步驟(C)中，用非極大抑制演算法，獲得該等主目標角特徵點。
如請求項1所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，在步驟(F)中，對於每一環境圖像的每一子環境圖像，藉由該電子裝置，自該子環境圖像中的所有候選角特徵點中，獲得對應該子環境圖像並具有最高角點分數且大於一角點閾值的該次目標角特徵點。
如請求項1所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，在步驟(F)中，該角點閾值係藉由該單目影像擷取模組的一內部參數與一外部參數所獲得。
如請求項2所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中， (B-1) 對於每一環境圖像中每一欲分析圖像，藉由該電子裝置，根據該欲分析圖像，利用特徵點檢測演算法，獲得多個對應該欲分析圖像的預選角特徵點；及 (B-2) 藉由該電子裝置，根據每一環境圖像中每一欲分析圖像所對應的該等預選角特徵點，獲得對應該環境圖像的該等角特徵點。
如請求項2所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，步驟(C)還包含以下步驟： (C-1) 對於每一環境圖像的每一角特徵點，藉由該電子裝置，獲得一包含該角特徵點的角點區域； (C-2) 對於每一環境圖像，藉由該電子裝置，根據該環境圖像的該等角點區域，利用非極大抑制演算法，自該環境圖像的該等角點區域中，獲得多個目標角點區域；及 (C-3) 對於每一環境圖像，藉由該電子裝置，將該環境圖像的每一目標角點區域所對應的該角特徵點作為對應於該環境圖像的該等主目標角特徵點。
如請求項6所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，在步驟(C-1)中，對於每一環境圖像的每一角特徵點，藉由該電子裝置，將該角特徵點作為中心，並以M個像素為半徑，獲得包含該角特徵點的該角點區域，M>0。
如請求項7所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，在步驟(C-1)中，M=3。
如請求項1所述的應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計，其中，在步驟(G)中，用直線性變換法及八點法，獲得相關於該電子裝置的該初始位置；及在步驟(H)中，用最小光度誤差法，獲得該二張目標環境圖像之該者之該等主目標角特徵點及該等次目標角特徵點相對於該二張目標環境圖像之該另一者之該等主目標角特徵點及該等次目標角特徵點的對應關係。