TWI652447B - 適用於疊代最近點法以選擇關鍵圖框的系統與方法 - Google Patents

Abstract

一種適用於疊代最近點法以選擇關鍵圖框的系統，包含參考圖框選擇器，根據目前圖框與目前關鍵圖框以產生參考圖框；疊代最近點法迴圈單元，針對參考圖框與目前圖框執行疊代最近點法，以產生目前圖框的姿勢；及關鍵圖框更新單元，根據目前圖框的姿勢與參考圖框的姿勢的差值條件，以產生新關鍵圖框。

Description

適用於疊代最近點法以選擇關鍵圖框的系統與方法

本發明係有關視覺測距(visual odometry)，特別是關於一種適用於疊代最近點法(iterative closest point, ICP)以選擇關鍵圖框(keyframe)的系統與方法。

視覺測距可適用於機器人學(robotics)與電腦視覺，藉由分析相機(例如紅綠藍-深度相機)所擷取影像，用以決定機器人的位置與方位。使用疊代最近點法(ICP)將來源圖框與目標圖框予以校準(align)，以估算機器人的移動。第一圖顯示傳統視覺測距系統100的方塊圖，揭露於李施樂(Shile Li)等人提出的“使用強度輔助的疊代最近點法的快速視覺測距(Fast Visual Odometry Using Intensity-Assisted Iterative Closest Point)”，公開於2016年七月，刊登於電氣及電子工程師學會的機器人學與自動化期刊(IEEE ROBOTICS AND AUTOMATION LETTERS)第1冊第2號，其內容視為本說明書的一部份。

視覺測距系統100可用以降低計算成本，且能降低異常值(outlier或離群值)的影響。如第一圖的視覺測距系統100所示，對來源圖框執行顯著點(salient point)選擇11，以提供疊代最近點法(ICP)有用的訊息。接著，執行對應(correspondence)搜尋12，以決定匹配點。基於強韌靜態(robust static)以執行對應組(correspondence pair)的加權(weighting)13。執行遞增轉換(incremental transformation)14以降低所建立的對應之間的距離。重複執行上述11至14的操作，直到遞增轉換小於臨界值或者已到達最大容許執行次數。

由於感測器雜訊於估算時總是會造成誤差，因此傳統圖框至圖框的校準方法本質上會造成漂移(drift)的累積。為了克服漂移問題，克里斯琴·克爾(Christian Kerl)等人提出“紅綠藍-深度相機的密集視覺同步定位與地圖構建(Dense Visual SLAM for RGB-D Cameras)”，公開於2013年，刊登於智慧機器人系統的國際會議公報(Proc. of the Int. Conf. on Intelligent Robot Systems (IROS))，其內容視為本說明書的一部份。基於關鍵圖框的姿勢同步定位與地圖構建(SLAM)方法可估算目前影像與關鍵圖框之間的轉換，用以限制區域漂移。只要相機足夠靠近關鍵圖框，即不會累積漂移。同步定位與地圖構建(SLAM)系統需要額外執行關鍵圖框的選擇、迴圈閉合(loop closure)的偵測與驗證、地圖的最佳化。

於傳統方法中，當目前影像無法匹配於最近的關鍵圖框時，即會產生新的關鍵圖框。然而，於決定目前圖框與最近關鍵圖框的轉換後，所選擇的關鍵圖框可能產生大誤差，因而造成嚴重的追蹤漏失。因此，亟需提出一種新穎機制，用以避免選擇具大誤差的關鍵圖框。

鑑於上述，本發明實施例的目的之一在於提出一種適用於疊代最近點法(ICP)以選擇具小誤差的關鍵圖框的系統與方法，用於未知環境下建構或更新地圖且同步追蹤定位。

根據本發明實施例，適用於疊代最近點法以選擇關鍵圖框的系統包含參考圖框選擇器、疊代最近點法迴圈單元及關鍵圖框更新單元。參考圖框選擇器根據目前圖框與目前關鍵圖框以產生參考圖框。疊代最近點法迴圈單元針對參考圖框與目前圖框執行疊代最近點法，以產生目前圖框的姿勢。關鍵圖框更新單元根據目前圖框的姿勢與參考圖框的姿勢的差值條件，以產生新關鍵圖框。

第二圖的方塊圖顯示本發明實施例的適用於疊代最近點法(ICP)以選擇關鍵圖框(keyframe)的系統200。疊代最近點法(ICP)一般可用以減少二個點群(clouds of points)之間的差值。本實施例的系統200可適用於同步定位與地圖構建(SLAM)，其可用於未知環境下建構或更新地圖且同步追蹤定位，例如使用於機器人地圖構建與導航。

系統200的方塊可使用電路、電腦軟體或其組合來實施。例如，系統200的至少一部分可執行於數位影像處理器。又例如，系統200的至少一部分可使用電腦指令來實施。在一實施例中，系統200可適用於擴增實境(AR)裝置。擴增實境裝置的硬體元件主要包含處理器(例如影像處理器)、顯示器(例如頭戴顯示裝置)及感測器(例如色彩-深度相機，例如可得到紅、綠、藍及深度的紅綠藍-深度相機)。其中，感測器或相機擷取場景以產生影像圖框(簡稱圖框)，再饋至處理器以執行系統200的操作，因而產生擴增實境於顯示器。

在本實施例中，系統200可包含參考圖框選擇器21，其根據目前圖框C與目前關鍵圖框K以產生參考圖框S。目前圖框C可由相機(例如紅綠藍-深度相機)來提供。

第三圖顯示第二圖的參考圖框選擇器21的流程圖。於步驟211，針對目前圖框C與目前關鍵圖框K執行至少一次疊代最近點法(ICP)。在本實施例中，針對目前圖框C與目前關鍵圖框K僅執行一次疊代最近點法(ICP)。疊代最近點法(ICP)的操作細節可參閱前述“使用強度輔助的疊代最近點法的快速視覺測距”及“紅綠藍-深度相機的密集視覺同步定位與地圖構建”。疊代最近點法(ICP)的操作細節還可參閱卡里·普立(Kari Pulli)提出的“大數據集的多視配準(Multiview Registration for Large Data Sets)”，公開於1999年十月，刊登於三維數位影像與模型建立第二次國際會議(Second International Conference on 3D Digital Imaging and Modeling)；以及弗朗索瓦·帕莫洛(Francois Pomerleau)等人提出的“深度相機追蹤：快速疊代最近點法的參數研究(Tracking a Depth Camera: Parameter Exploration for Fast ICP)”，公開於2011年九月，刊登於電氣及電子工程師學會/日本機器人學會的智慧機器人學與系統國際會議(IEEE/RSJ International Conference on Intelligent Robots and Systems)，其內容視為本說明書的一部份。

接著，於步驟212，如果執行疊代最近點法(ICP)所得到結果當中的正常值(inlier或群內值)的數目小於預設值n(表示匹配品質未達到預設位準)，則選擇目前備用圖框B作為參考圖框(亦即S=B)；否則選擇目前關鍵圖框K作為參考圖框(亦即S=K)。換句話說，如果目前圖框C未校準(align)於目前關鍵圖框K(亦即匹配品質未達到預設位準)，則使用目前備用圖框B於後續的疊代最近點法(ICP)；否則繼續使用目前關鍵圖框K於後續的疊代最近點法(ICP)。

在本實施例中，如果歐幾里德(Euclidean)距離未落於匹配距離的比例當中，則匹配點組即視為正常值。正常值的數目愈大表示愈高的匹配品質。在本實施例中，暫存於儲存裝置(例如緩衝器)的前一圖框即作為目前備用圖框B。

本實施例的系統200可包含疊代最近點法(ICP)迴圈單元22，其針對(參考圖框選擇器21所輸出的)參考圖框S與目前圖框C執行疊代最近點法(ICP)。疊代最近點法(ICP)迴圈單元22因而產生目前圖框的姿勢Pc與誤差值。疊代最近點法(ICP)迴圈單元22的操作細節可參閱前述資料。

本實施例的系統200可包含關鍵圖框更新單元23，其根據目前圖框的姿勢Pc與參考圖框的姿勢Ps的差值(offset或difference)以產生新關鍵圖框K’。第四圖顯示本發明實施例的關鍵圖框更新單元23(第二圖)的流程圖。於步驟231，決定目前圖框的姿勢Pc與參考圖框的姿勢Ps的差值條件。本實施例的差值條件可表示如下: 位移(t) ＞ η ₁旋轉(Rθ) ＞ η ₂其中t代表位移(translation)，θ代表旋轉(rotation)角度，R代表深度距離，且η ₁、η ₂為差值的預設臨界值。

如果滿足差值條件(表示目前圖框不再匹配於最近關鍵圖框K)，則將目前圖框C作為新關鍵圖框K’(亦即K’=C)；否則將參考圖框S作為新關鍵圖框K’(亦即K’=S)。

值得注意的是，步驟231的差值條件包含二個次條件：(1)位移次條件與(2)旋轉次條件。在一實施例中，當至少一個次條件滿足時，則滿足差值條件。在另一實施例中，當二個次條件都滿足時，則滿足差值條件。

根據本實施例的特徵之一，旋轉次條件(亦即，旋轉(Rθ) ＞ η ₂)同時考量深度距離R與旋轉角度θ。同時考量深度距離R與旋轉角度θ兩者的原因在於，具相同旋轉角度θ但不同深度距離會感覺到不同的移動。換句話說，具不同深度距離的二個點是不同的。

本實施例的系統200可包含備用圖框更新單元24，用以提供新備用圖框B’。在本實施例中，備用圖框更新單元24可包含儲存裝置(例如緩衝器)，其暫存目前圖框，作為執行下一次疊代最近點法(ICP)時的新備用圖框B’。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100‧‧‧視覺測距系統

11‧‧‧顯著點選擇

12‧‧‧對應搜尋

13‧‧‧對應組的加權

14‧‧‧遞增轉換

200‧‧‧系統

21‧‧‧參考圖框選擇器

211‧‧‧執行一次疊代最近點法

212‧‧‧正常值的數目是否小於預設值

22‧‧‧疊代最近點法迴圈單元

23‧‧‧關鍵圖框更新單元

231‧‧‧差值條件

24‧‧‧備用圖框更新單元

ICP‧‧‧疊代最近點法

C‧‧‧目前圖框

K‧‧‧關鍵圖框

K’‧‧‧新關鍵圖框

B‧‧‧備用圖框

B’‧‧‧新備用圖框

S‧‧‧參考圖框

Pc‧‧‧目前圖框的姿勢

n‧‧‧預設值

t‧‧‧位移

R‧‧‧深度距離

θ‧‧‧旋轉角度

η₁‧‧‧臨界值

η₁‧‧‧臨界值

第一圖顯示傳統視覺測距系統的方塊圖。 第二圖的方塊圖顯示本發明實施例的適用於疊代最近點法(ICP)以選擇關鍵圖框的系統。 第三圖顯示第二圖的參考圖框選擇器的流程圖。 第四圖顯示本發明實施例的關鍵圖框更新單元(第二圖)的流程圖。

Claims (12)

1. 一種適用於疊代最近點法以選擇關鍵圖框的系統，包含：一參考圖框選擇器，根據目前圖框與目前關鍵圖框以產生參考圖框；一疊代最近點法迴圈單元，針對該參考圖框與該目前圖框執行疊代最近點法，以產生目前圖框的姿勢；及一關鍵圖框更新單元，根據該目前圖框的姿勢與參考圖框的姿勢的差值條件，以產生新關鍵圖框；其中該參考圖框選擇器執行以下步驟：針對該目前圖框與該目前關鍵圖框執行至少一次疊代最近點法；及如果執行疊代最近點法所得到結果當中的正常值的數目小於預設值，即表示匹配品質未達到預設位準，則選擇目前備用圖框作為該參考圖框；否則選擇該目前關鍵圖框作為該參考圖框。
2. 根據申請專利範圍第1項所述適用於疊代最近點法以選擇關鍵圖框的系統，其中該目前備用圖框即為暫存的前一圖框。
3. 根據申請專利範圍第1項所述適用於疊代最近點法以選擇關鍵圖框的系統，其中該差值條件包含該目前圖框的姿勢與該參考圖框的姿勢之間的位移、旋轉角度與深度距離。
4. 根據申請專利範圍第3項所述適用於疊代最近點法以選擇關鍵圖框的系統，其中該差值條件包含： 位移次條件：位移(t)>η₁；旋轉次條件：旋轉(R θ)>η₂；其中t代表位移，θ代表旋轉角度，R代表深度距離，且η₁、η₂為差值的預設臨界值。
5. 根據申請專利範圍第4項所述適用於疊代最近點法以選擇關鍵圖框的系統，其中如果滿足至少一個次條件，則將該目前圖框作為該新關鍵圖框，否則將該參考圖框作為該新關鍵圖框。
6. 根據申請專利範圍第1項所述適用於疊代最近點法以選擇關鍵圖框的系統，更包含一備用圖框更新單元，根據該目前圖框以提供新備用圖框。
7. 根據申請專利範圍第6項所述適用於疊代最近點法以選擇關鍵圖框的系統，其中該備用圖框更新單元包含一儲存裝置，其暫存該目前圖框，作為執行下一次疊代最近點法時的新備用圖框。
8. 一種適用於疊代最近點法以選擇關鍵圖框的方法，包含：根據目前圖框與目前關鍵圖框以產生參考圖框；針對該參考圖框與該目前圖框執行疊代最近點法，以產生目前圖框的姿勢；及根據該目前圖框的姿勢與參考圖框的姿勢的差值條件，以產生新關鍵圖框； 其中產生該參考圖框的步驟包含：針對該目前圖框與該目前關鍵圖框執行至少一次疊代最近點法；及如果執行疊代最近點法所得到結果當中的正常值的數目小於預設值，即表示匹配品質未達到預設位準，則選擇目前備用圖框作為該參考圖框；否則選擇該目前關鍵圖框作為該參考圖框。
9. 根據申請專利範圍第8項所述適用於疊代最近點法以選擇關鍵圖框的方法，其中該目前備用圖框即為暫存的前一圖框。
10. 根據申請專利範圍第8項所述適用於疊代最近點法以選擇關鍵圖框的方法，其中該差值條件包含該目前圖框的姿勢與該參考圖框的姿勢之間的位移、旋轉角度與深度距離。
11. 根據申請專利範圍第10項所述適用於疊代最近點法以選擇關鍵圖框的方法，其中該差值條件包含：位移次條件：位移(t)>η₁；旋轉次條件：旋轉(R θ)>η₂；其中t代表位移，θ代表旋轉角度，R代表深度距離，且η₁、η₂為差值的預設臨界值。
12. 根據申請專利範圍第11項所述適用於疊代最近點法以選擇關鍵圖框的方法，其中如果滿足至少一個次條件，則將該目前圖框作為該新關鍵圖框，否則將該參考圖框作為該新關鍵圖框。