TWI569229B - 資料之登錄方法 - Google Patents

資料之登錄方法 Download PDF

Info

Publication number
TWI569229B
TWI569229B TW102122937A TW102122937A TWI569229B TW I569229 B TWI569229 B TW I569229B TW 102122937 A TW102122937 A TW 102122937A TW 102122937 A TW102122937 A TW 102122937A TW I569229 B TWI569229 B TW I569229B
Authority
TW
Taiwan
Prior art keywords
point
plane
points
dimensional
planes
Prior art date
Application number
TW102122937A
Other languages
English (en)
Other versions
TW201415414A (zh
Inventor
田口裕一
史琳可瑪 拉瑪琳甘
簡用典
馮晨
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201415414A publication Critical patent/TW201415414A/zh
Application granted granted Critical
Publication of TWI569229B publication Critical patent/TWI569229B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

資料之登錄方法
本發明係普遍與三維資料的登錄相關，並且更尤指將三維點及三維平面與彼此一起登錄以應用於即時重建。
三維重建
互動與即時三維的場景重建可使用在許多應用中，例如機器人、擴增實境、醫療成像及電腦視覺等。即時稀疏及密集三維重建可使用被動感測器，例如攝像機。然而，被動感測器卻難以重建無紋理區域。
對於重建無紋理區域，可使用主動式三維感測器。例如，微軟Xbox Kinect感測器使用紅外光譜將三維資料擷取為從即時感測器之視角開始的深度地圖。
其他問題係涉及到處理時間、記憶體要求、以及精確性。由於視角範圍及解析率，三維感測器通常係產生局部場景重建。所期望的是提供一種精確及快速的登錄方法，該方法可將連續的部份深度地圖與場景模型相組合。慣性感測器容易漂移，因此，為了精確登錄，須要依賴紅綠藍三色(RGB)(紋理)影像或深度地圖中的特 徵。此外，深度地圖通常有雜訊且沒有任何較高層級的空間約束。再者，點雲需要龐大的記憶體並且難以壓縮。
三維對三維登錄
局部
三維資料的校正或登錄在電腦視覺應用中是基本問題，而該問題可使用幾種方法解決。登錄方法可以是局部方法或整體方法。局部方法應該從良好的初始化所開始，並使用相對小的迭代動作來登錄三維點雲。此方法與可收斂至具有良好初始解之整體解的非線性最小化方法類似。最常見的局部方法是迭代最近點(ICP)方法，其迭代地使用封閉形式解來絕定相對應的三維點及動作。
整體
整體方法通常考慮整個三維點雲、識別出一些關鍵幾何特徵(基本物件)、在整體點雲中匹配特徵、以及在對應於採用隨機抽樣一致演算法(RANSAC)程序下使用最小集合產生最佳化假設。藉由整體方法得到的粗略登錄通常是由局部非線性精化(refinement)所產生。不同於局部方法，整體方法並不需要初始化。然而，整體方法會因為不正確及不充足的對應關係而受影響。一般使用在整體方法的幾何基本物件不是點或線就是平面。
已知有數種使用同質及異質對應關係的整體登錄方法。例如，由給定的點對點、線對線、平面對平面、點對線、點對平面或線對平面的對應關係可以決定用於登錄之封閉形式解。一種方法係使用分支界定(branch- and-bound)從點對點、點對線及點對平面之對應關係得到整體最佳解。另一種方法係使用分支定界以得到最佳對應關係，並針對點對點登錄問題作轉換。
使用三維感測器的SLAM
在行動機器人中，一些以三維感測器為基礎的方法係使用同步定位與建圖(SLAM)系統，用於決定感測器的運動以及重建場景結構。這些方法通常使用幾何特徵，如點、線或平面的基本物件。提供三維資料之平面切片(如二維雷射掃描器或超音波感測器)的三維感測器可用於決定平面及三自由度(DOF)運動。提供全三維點雲的三維感測器(如結構光掃描器、接置在運動平臺上的二維雷射掃描器及Kinect感測器)可用於決定六自由度運動。
紅綠藍三色-深度建圖(RGB-D mapping)係從紅綠藍三色影像擷取關鍵點、使用深度地圖將三維的點反投影(back-projects)、並使用三個點對點對應關係以利用RANSAC程序(其係使用ICP方法進一步精化過)確定動作的初始估計。
另一種方法係在SLAM系統中以三維感測器利用三個平面對平面的對應關係。該方法係利用平面之間的幾何約束解決對應關係的問題。
另一種方法係利用較小視野(FOV)之三維感測器及較大FOV之二維掃描器的組合用於將平面及線段兩者作為基本物件使用的SLAM系統。該方法係設計為序列式(sequential)SLAM系統，其可解決局部登錄問題， 而不可解決整體登錄。
微軟的Kinect Fusion可登錄具有虛擬深度地圖(藉由使用粗略到精細的ICP方法從整體的縮減正負距離函數(truncated signed distance function,TSDF)表示中產生)的當前深度地圖。該TSDF表示可整合所有先前己登錄進整體座標系統的深度地圖，並且相較於使用單一影像將可產生更高品質之深度地圖。
已知有其他幾種變異的ICP方法，但該些變異的ICP方法在兩個相異三維點雲的情況下仍有局部極小值的問題。僅仰賴點的登錄方法或SLAM系統係在無紋理區域或具有重複圖案之區域中具有不充足或不正確的對應關係。而以平面為基礎之技術則在含有不充足之非平行平面數的場景中具有退化(degeneracy)問題。
隨著三維感測器(如Kinect感測器)的使用，線對應關係係因為深度不連續處附近之噪訊或缺漏深度值而難以獲得。
本發明之實施例提供一種用於在兩個不同座標系中登錄資料的方法。該方法係使用點及平面作為登錄基本物件。該方法可藉由利用三維感測器之同步定位與建圖(SLAM)系統而使用。該SLAM系統係本發明之登錄方法的應用。
藉由該方法，可以將三維資料集合登錄在兩個使用至少三個點及平面基本物件之任意組合(例如三 個平面、兩個平面及一個點、一個平面及兩個點與三個點)的座標系統中。該方法尤其關於混合(多樣)基本物件之集合，即至少兩個三維點以及至少一個三維平面，或者是至少一個三維點以及至少兩個三維平面。
也就是說，該方法可使用三個基本物件的最小集合及RANSAC程序登錄三維資料並重建場景。由於在三維資料中平面的數量明顯小於點的數量，由較佳實施例所使用的RANSAC程序係使用平面比點更多之基本物件組合(如至少兩平面及一點)。
相對於主要使用點以進行登入之現有技術的方法，本發明的方法具有以下優點。由於對較少數量的平面基本物件來說，對應關係之搜索及登錄較快且可以即時執行。該方法可產生比以點為基礎的模型更加緊密之以平面為基礎的三維模型。該方法提供整體登錄而不會遭遇如現有技術中局部登錄方法的局部極小值或初始化的問題。
100‧‧‧登錄方法
101、102‧‧‧座標系統
105‧‧‧剛體轉換
110‧‧‧三維點
120‧‧‧三維平面
150、200‧‧‧處理器
201‧‧‧輸入
202‧‧‧深度地圖
203‧‧‧紋理影像
204‧‧‧被動立體攝像機
205‧‧‧主動紅外線或雷射掃描器
206‧‧‧專用攝像機
210‧‧‧選擇
211‧‧‧測量
220‧‧‧登錄
221‧‧‧指標
225‧‧‧整體地圖
230‧‧‧最佳化
240‧‧‧感測器動作
250‧‧‧更新
301‧‧‧三個平面
302‧‧‧二個平面及一個點
303‧‧‧一個平面及二個點
304‧‧‧三個點
401‧‧‧登錄的點雲
402‧‧‧表示
第1圖係根據本發明實施例之登錄方法的示意圖；第2圖係根據本發明實施例之登錄方法的同步定位與建圖(SLAM)系統的流程圖；第3圖係本發明實施例所使用之隨機抽樣一致演算法(RANSAC)程序的示意圖；以及第4圖係根據本發明實施例之以混合平面及點為基礎 之模型的示意圖。
本發明實施例提供一種方法，用於登錄在兩個不同的座標系中的三維(3D)數據。如第1圖所示，本領域中已知，該方法可在連接於記憶體及輸入/輸出介面的處理器150中執行。
第1圖表示登錄方法100的示意圖。登錄方法100係藉由使用選自兩個不同座標系的三維資料之至少三個基本物件的兩個集合(set)而在兩個不同的座標系101與102之間決定六自由度(6-DOF)剛體轉換105。該些基本物件包括三維點110及三維平面120。三個基本物件中的每個集合包括至少一個三維平面、至少一個三維點以及第三基本物件(不是點就是平面)。在兩個集合中的平面係登錄為平面，而點則登錄為點。登錄方法可以是整體(global)的並且可被即時地執行。
登錄方法可如第2圖所示，係由同步定位與建圖(Simultaneous Localization and Mapping(SLAM))系統所使用。SLAM系統係本發明之登錄方法的應用。如同本領域中已知，系統可在連接於記憶體及輸入/輸出介面的處理器200中實行。給SLAM系統之範例輸入201是一個或多個集合的深度地圖202。深度地圖202係描述地圖中各個畫素的深度值(距離)而因此藉由反投影(back-projecting)根據其深度值之地圖中畫素來提供三維點雲。SLAM系統可選擇性地擷取相對應於深度地圖的一個或多個二維紋理影 像203的集合。紋理影像203可為灰階或具有紅綠藍三色(RGB)色頻(color channels)。深度地圖可藉由三維感測器(如被動立體攝像機204，或主動紅外線或雷射掃描器205)所擷取，同時紋理影像可藉由攝像機(如在立體攝像機204中的單一攝像機或專用攝像機206)所擷取。三維感測器及攝像機可由人手持或可由機構(machine)持定(如機械手臂或機械運動平臺)。其關鍵概念在於，輸入可藉由可動式感測器所擷取，即本發明之登錄方法係藉由將不同視點處所擷取的三維點雲登錄而決定感測器之運動並重建場景。
本發明之SLAM系統係從輸入(參見測量211)選擇210三維點及三維平面基本物件之集合，並登錄220與整體地圖225(參見指標(landmarks)221)中之點及平面基本物件之集合相關的該些點及平面。各個集合係包括至少一個三維點及至少一個三維平面。而在集合裡的第三基本物件不是兩個點就是兩個平面。登錄的執行係藉由將具有該兩個集合中之點的該些點以及具有兩個集合中之平面的該些平面登錄而執行。
SLAM系統係以使用最小的三個基本物件之隨機抽樣一致演算法(Random Sample Consensus(RANSAC))程序220執行登錄方法。當額外的輸入被擷取時，最佳化230可被應用於整體地圖。
三維點
本發明之SLAM系統係在三維點雲中選擇一或多個關鍵點，以取得三維點基本物件。關鍵點可使用三維關鍵點 探測器從三維點雲中選擇而不使用紋理影像。範例的三維關鍵點探測器係包括正歸對齊徑向特徵(Normal Aligned Radial Feature,NARF)及加速強健特徵(SURF)。或者，系統可從各個使用二維關鍵點探測器的紋理影像中選擇二維關鍵點，並使用相對應之深度值將關鍵點反投影，以取得三維點基本物件。範例的二維關鍵點探測器係包括尺度不變特徵轉換(Scale-invariant feature transform或SIFT)以及加速強健特徵。該些三維及二維關鍵點探測器亦提供用於各個探測到之關鍵點的特徵描述符(descriptor)。
各個基本物件係藉由關鍵點的位置p m 及描述符D m (即(p m ,D m ))而表現。描述符可用於將測量與指標之間的三維基本物件匹配
三維平面
要從三維點雲中選擇平面，本發明使用下面的迭代程序：1. 在三維點雲中隨機選擇參考點的集合；2. 針對每個參考點使用局部窗口(local window)內的鄰近點而決定最佳化平面；3. 以相關於深度地圖之網格圖(grid graph)之方式，判定與參考點形成相連成分之所有內點(inliers)；4. 識別出具有足夠及最大數目之內點的最佳平面；以及5. 從三維點雲中移除內點。
各個平面基本物件係藉由平面參數π m 及內點I m 的集合所表現。平面參數形成四維向量 ，其中n m 為單位法向量，且 d m 係與座標系統原點的距離。
登錄
感測器之動作240(即，對應於整體地圖之座標系統的六自由度剛體轉換)係藉由將對應於整體地圖之指標中基本物件的測量所得之基本物件登錄而決定。使用點和平面兩者以及本發明之RANSAC程序的本發明之登錄方法係於下文中描述。
地圖更新
本發明之SLAM系統係藉由增加從關鍵幀(keyframes)中所選出之點及平面基本物件將整體地圖更新250。當前幀僅在其動作與先前之關鍵幀有足夠之差異時(例如當前幀之平移及旋轉與先前幀之平移及旋轉之差異係超過預定閥值)才會被認為是關鍵幀。各個點指標係由位置符p l 及描述符D l 所表示成(p l ,D l )。各個平面指標係由平面參數 及內點I l 之集合表示成(π l ,I l )。
地圖最佳化
為了將所有關鍵幀之間的登錄一起精化，本發明之SLAM系統係使用點及平面兩者而藉由光束法平差(bundle adjustment)執行最佳化230。而光束法平差係從用於追蹤使用該登錄方法之攝像機動作的主執行緒之個別的非同步執行緒(thread asynchronously)所執行。光束法平差的細節係如下描述。
使用點及平面之登錄
本發明之登錄方法係使用點對點及平面對平面的對應關係，並提供封閉形式(Closed-Form)解。而該方法係適用於三個或更多個的對應關係。因此，可使用該方法以產生假設(使用在本發明之RANSAC程序中最少數量之三個對應關係)，也可以使用所有內點對應關係而將RANSAC程序所給出的初始假設精化。
用於混合的點對點及平面對平面之對應關係的封閉形式解
令在兩不同座標系中的{p i }及{p' i }(其中 i=1,...,M )係與三維點對應，且{π j =(n j T ,d j ) T }及{π' j =(n' j T ,d' j ) T }(其中 j=1,...,N )係與三維平面對應。本發明決定座標系統之間的六自由度剛體轉換子[R,t]，其中R係3×3旋轉矩陣(Rotation)且t係3×1平移向量(translation vector)。
針對個別情況的解
關於點對點之對應關係，旋轉矩陣及平移向量的分量 可被分解。令以及為三維點集合之形 心(centroids)，並且以及。接著，可將 誤差最小化之旋轉矩陣的最小平方解 係藉由使用旋轉矩陣之四元數表示(quaternion representation)或奇異值分解(SVD)而得出。使用所估計的旋轉矩陣，該平移向量係為旋轉後形心間之差異，即
關於平面對平面之對應關係的情況，旋轉矩陣係藉由將誤差最小化所得，即 其能夠以與點對點之對應關係類似的方式解出。而對於決定平移向量，本發明可將以下針對三個或更多之平面的線性約束式(liner constraint)疊加(stack)並將該線性系統解出，即n' j T t=d' j -d j . (4)。在此，T係表示轉置運算子。
針對混合情況的解
針對混合情況，本發明具有點對點及平面對平面的對應關係。本發明利用在個別情況下所使用之分解以決定旋轉矩陣及平移向量。為了決定旋轉矩陣，本發明將式(1)及(3)結合成為 其中， w j 係針對平面的加權，該加權可針對各個平面的對 應關係而改變。式(5)具有如同式(1)及式(3)的形式，並且可以相同方式得到最佳旋轉矩陣。更詳而言之，本發明係定義3×3之關聯矩陣K，即
令K=UDV T 為K的奇異值分解(SVD)。接著，最佳旋轉矩陣為
為了決定平移向量t，本發明將以下誤差，即 最小化。
該誤差最小化係相對應於定義具有對角化加權矩陣W=diag(M,M,M,w 1 ,...,w N )之線性系統，即 接著，加權後的最小平方解為t=(A T WA) -1 A T Wb。
簡化問題
為了唯一地選出R及t，在式(6)中的關聯矩陣K及在式(9)中的矩陣A須滿足某些條件。為了唯一地確定R，關聯矩陣K之秩數應大於1，並且以下條件中之至少一者為真，即1. det(UV T )=1；2. K的最小奇異值為單根。
為了唯一地確定平行向量t，式(9)中之矩陣A的秩數應為3。
若對應關係是在以下情況中的任何一者，即三個平面、二個平面與一個點、一個平面與二個點及三個點，則矩陣K及A滿足上述特性。在本發明之SLAM系統的RANSAC程序中，本發明使用這些最少數量之對應關係以產生假設。
RANSAC程序
與只在二維圖像空間中之對應關係相比，本發明之三維基本物件提供數種可用於識別錯誤匹配的不變量。給定在兩個不同座標系統中相對應之點及平面，某些已在一個座標系統中決定之幾何實體(entity)係實質與在第二座標系統中相對應的實體匹配。
本發明在各個座標系中均識別出三個不變量：以兩點之間的距離為基礎的I1；以點與平面之間的距 離為基礎的I2；以及以兩平面之間的法線夾角為基礎的I3。
相對應之幾何基本物件可與不變向量I=(i 1 ,i 2 ,i 3 )相關連，其中 i 1 、 i 2 及 i 3 係個別與相對於I1、I2及I3之類型的不變量的數量相關。
所有包括點與平面之相對應的三聯體(triplets)係具有總共為三個的不變量，即三個點(I=(3,0,0))、一個平面及個兩點(I=(1,2,0))、兩個平面及一個點(I=(0,2,1))與三個平面(I=(0,0,3))。
解讀樹或分支界定法(branch-and-bound rmethod)可利用這些不變數而用於識別錯誤匹配。針對本發明之RANSAC程序，本發明可使用簡單之以解讀樹為基礎的修剪(pruning)。
在基於不變量消去不匹配之前，本發明得出某些初始對應關係。在點的情況下，本發明使用SURF描述符以得出對應關係。在平面的情況下，本發明從所有可能的對應關係開始，並基於不變量消去不匹配。由於在三維資料中的平面數量係通常遠小於點所相對應的數量，故在RANSAC程序中使用三個平面的速度係遠遠快於使用三個點的速度。再者，由於平面係藉由許多的點所產生，故平面較不會受到三維資料中之噪訊影響，使得登錄更為精確。因此，如第3圖所示，本發明以基本物件之三聯體將RANSAC程序初始化，並且如果適用的話，係以下列順序優先：首先為三個平面301，其次為兩個平面及一個點302，再者為一個平面及兩個點303或三個點304。
RANSAC程序之終止條件可以是將被採樣的對應關係之預定最小數量。
點與平面的光束法平差
本發明之SLAM系統在光束法平差中將以下變數最佳 化：點的指標、平面的指標 及關鍵幀動作
在此，係第 k 個關鍵幀之平 移(x,y,z)分量，而係表現出繞(x,y,z) 軸之旋轉。第 k 個關鍵幀之旋轉矩陣R k 係由 所表示。
本發明係利用與各個點/平面指標相關聯之點/平面基本物件而決定Jacobian矩陣，詳細說明如下。
點的指標
針對點的指標，本發明係將點的指標與在第 k 個關 鍵幀中的關聯點之間的歐幾里德距離 誤差最小化，即
使用指標及關鍵幀動作 的當前估計，本發明將式(10)線性化成 其中並且
從式(11)，本發明得出三個個別地對應各(x,y,z)分量的方程式。針對 x 分量的方程式為 而那些針對 y 及 z 分量的式子可以類似方法得到。
平面的指標
對於平面的指標，本發明可將幾何誤差最小化，該幾何誤差係藉由在平面指標與從關鍵幀中的關聯平面所採樣之三維點之間的距離總和所定義。具體而言，本發明均一 地從平面基本物件的內圍三維點採樣三維點，並且 決定各個採樣的點與關聯平面指標之間的距離。因此， 本發明所最小化的幾何誤差為
本發明係利用平面指標 及關鍵幀動作之當前估計 將式(14)最小化成 ，其中。簡化後， 可得出
在平面指標之間的幾何約束
本發明之SLAM系統可選擇性地強制實現在光束法平差中的平面指標之間的幾何約束。幾何約束包括平行和正交。正交或平行之平面通常可在人為環境中所觀察到，該人為環境使得強制實現幾何約束對於達到精確登錄是有用的。
針對每對平面指標， 及，本發明係 使用預定閥值檢查兩平面的法向量之間係充分接近0度(平行)或90度(正交)。若上述條件為真，則本發明係強制實現下述約束，即 a j a j' +b j b j' +c j c j' =S, (17)，其中若兩平面充分接近平行則 S=1，而若兩平面充分接近正交則 S=0。
使用兩平面指標的當前估計，即 及，則本發明將 式(17)線性化成
在簡化後，式(18)可導成
解
針對所有指標及關鍵幀將式(13)、(16)及(19)疊加可導出線性系統，即J△=-ε 0 ，其中Jacobain矩陣為J、誤差向 量為ε 0 而更新向量為。本發明係使用 高斯-牛頓(Gauss-Newton)法求解最佳化問題。
實行
本發明之即時SLAM系統係使用具有640×480畫素解析度的紋理影像與深度地圖。當登錄成功時，本發明將重疊(superimpose)在當前點雲上的點及平面指標可視化。本發明之SLAM系統總是將對應整體地圖的整體登錄一幀一幀地確定。本發明之SLAM系統將重建後的平面指標提供成以平面為基礎的場景代表，該場景代表係比以點為基礎的場景代表提供更緊密及更多語意上(semantic)的訊息。
本發明之效用
本發明提供一種登錄方法，該方法將點及平面兩者皆使用作基本物件，以將兩個不同的座標系統中的三維資料登錄。使用本發明之登錄方法，已開發出用於三維感測器之即時SLAM系統，而該感測器可將點對點及平面對平面兩者的對應關係一起用於登錄。與僅使用點相較，將兩種基本物件一起使用可達到更快速且更加精確的登錄。本發明之SLAM系統係將三維模型產生為平面的集合，這提供了比僅僅以點為基礎的表示方式提供更加緊密及更多語意上的場景訊息。
本發明表明，三個三維點/平面之基本物件 的任何組合皆可允許兩個不同座標系統之間的登錄。本發明亦表明使用三維點及三維平面兩者以將複數個座標系統之間的登錄共同最佳化的光束法平差框架(framework)。光束法平差框架可強制實現三維平面(如平行及正交)之間的幾何約束，以進一步提高針對人為環境中的登錄精確性。
平面的使用可以更快的重建並使模型更加緊湊。局部方法(如迭代最近點法(ICP))係很容易在三維感測器快速運動下發生局部極小值的問題，而本發明之登錄方法提供了一種整體的解決方案並避免局部極小值的問題。
該方法係與從已經登錄之三維點雲中提取平面基本物件的方法不同。相反地，該方法係使用從用於登錄之個別三維點雲中所選擇出之平面及點基本物件。在登錄中使用點與平面和僅使用點相較之下可得到更有效率及精確的登錄。
如第4圖所示，本發明之SLAM系統的輸出係為所登錄的點雲401以及以平面為基礎之場景表示402。該以平面為基礎之場景表示係提供比以點為基礎之表示更加緊密及更多語意上之訊息。該表示係即時產生。
由於本發明可將點及平面一起使用，因此可避免先前技術中之方法所出現的錯誤。而此混合模式登錄是新穎的。
對於登錄之封閉形式解係以統一方式提供於點對點及平面對平面的對應關係。
200‧‧‧處理器
201‧‧‧輸入
202‧‧‧深度地圖
203‧‧‧紋理影像
204‧‧‧被動立體攝像機
205‧‧‧主動紅外線或雷射掃描器
206‧‧‧專用攝像機
210‧‧‧選擇
211‧‧‧測量
220‧‧‧登錄
221‧‧‧指標
225‧‧‧整體地圖
230‧‧‧最佳化
240‧‧‧感測器動作
250‧‧‧更新

Claims (19)

  1. 一種用於登錄資料的方法，其中該資料具有三個維度，該方法係包括下列步驟：從第一座標系統中的資料中選出基本物件之第一集合，其中該基本物件之第一集合包括至少一個平面、至少一個點、以及不是點就是平面的第三基本物件；從第二座標系統中的資料中選出基本物件之第二集合，其中該基本物件之第二集合包括至少一個平面、至少一個點、以及對應於該基本物件之第一集合的該第三基本物件的第三基本物件；決定在該第一座標系統與該第二座標系統之間的六自由度剛體轉換[R,t]，其係最小化由點對點誤差測度及平面對平面誤差測度之組合所形成的誤差測度，其中，該點對點誤差測度包含該第一座標系統中的該點與經由該六自由度剛體轉換所轉換後之該第二座標系統中的該點之間之距離，且其中，該平面對平面誤差測度包含該第一座標系統中的該平面與經由該六自由度剛體轉換所轉換後之該第二座標系統中的該平面之間之距離；以及利用該六自由度剛體轉換將該基本物件之第一集合以及第二集合中的該些平面與彼此一起登錄及將該些點與彼此一起登錄，以取得登錄後的基本物件，其中，在該六自由度剛體轉換中之R係旋轉矩陣以及t 係平移向量。
  2. 如申請專利範圍第1項所述之方法，其中，該登錄係整體者。
  3. 如申請專利範圍第1項所述之方法，其中，該登錄係即時者。
  4. 如申請專利範圍第1項所述之方法，更包括將該資料擷取作為深度地圖(depth map)。
  5. 如申請專利範圍第4項所述之方法，其中，該深度地圖係藉由三維感測器所擷取。
  6. 如申請專利範圍第4項所述之方法，更包括將該登錄的基本物件保持在整體地圖(global map)中。
  7. 如申請專利範圍第4項所述之方法，其中，該登錄係使用隨機抽樣一致演算法程序。
  8. 如申請專利範圍第4項所述之方法，更包括藉由位置及描述符表示各個點，並且藉由單位法向量以及與離對應座標系之原點的距離表示各個平面。
  9. 如申請專利範圍第4項所述之方法，其中，該各個平面係藉由下述方式選擇：於三維點雲中隨機選擇參考點集合；利用局部窗口內部的鄰近點決定對於各個參考點之最佳化平面；以相關於該深度地圖之網格圖之方式，判定與該參考點形成相連成分的所有內點；識別出且有預定數量之該些內點的最佳化平面； 以及將針對該些內點從該三維點雲中移除。
  10. 如申請專利範圍第6項所述之方法，其中，該整體地圖係藉由使用該點及該平面的光束法平差而最佳化。
  11. 如申請專利範圍第1項所述之方法，更包括基於在各個座標系統中點與點之間的距離、點與平面之間的距離、或兩平面法線之間的夾角而識別出登錄期間的錯誤匹配。
  12. 如申請專利範圍第7項所述之方法，更包括將該隨機抽樣一致演算法程序以可得之基本物件的三聯體以3個平面、2個平面及1個點、1個平面及2個點或3個點的順序初始化。
  13. 如申請專利範圍第4項所述之方法，其中，各個點皆係由三維關鍵點探測器所選擇。
  14. 如申請專利範圍第10項所述之方法，其中，該光束法平差係強制實現該些平面之間的幾何約束。
  15. 如申請專利範圍第1項所述之方法，其中，該方法之輸出係包括已登錄之點雲以及以平面為基礎的場景表示。
  16. 如申請專利範圍第5項所述之方法，其中，該三維探測器在擷取期問內係可運動者。
  17. 如申請專利範圍第4項所述之方法，更包括擷取與該深度地圖對應的紋理影像。
  18. 如申請專利範圍第17項所述之方法，其中，各個點係 藉由應用於該紋理影像之二維關鍵點探測器所選擇，並且使用該深度地圖將所探測到的關鍵點反投影。
  19. 如申請專利範圍第18項所述之方法，其中，該紋理影像係藉由攝像機所擷取。
TW102122937A 2012-06-29 2013-06-27 資料之登錄方法 TWI569229B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/539,060 US9183631B2 (en) 2012-06-29 2012-06-29 Method for registering points and planes of 3D data in multiple coordinate systems
PCT/JP2013/067583 WO2014003081A1 (en) 2012-06-29 2013-06-20 Method for registering data

Publications (2)

Publication Number Publication Date
TW201415414A TW201415414A (zh) 2014-04-16
TWI569229B true TWI569229B (zh) 2017-02-01

Family

ID=48782575

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102122937A TWI569229B (zh) 2012-06-29 2013-06-27 資料之登錄方法

Country Status (7)

Country Link
US (1) US9183631B2 (zh)
JP (1) JP5955406B2 (zh)
KR (1) KR101643079B1 (zh)
CN (1) CN104395932B (zh)
DE (1) DE112013003214T5 (zh)
TW (1) TWI569229B (zh)
WO (1) WO2014003081A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
RU2013106319A (ru) * 2013-02-13 2014-08-20 ЭлЭсАй Корпорейшн Основанная на характерных точках надежная регистрация трехмерного твердого тела
KR102084253B1 (ko) * 2013-11-20 2020-03-03 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
US9412040B2 (en) * 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
US9171403B2 (en) * 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
US10242453B2 (en) * 2014-04-30 2019-03-26 Longsand Limited Simultaneous localization and mapping initialization
US9430847B2 (en) 2014-06-12 2016-08-30 Mitsubishi Electric Research Laboratories, Inc. Method for stereo visual odometry using points, lines and planes
DE112014006911T5 (de) * 2014-08-29 2017-05-11 Technische Universität München Verfahren und System zum Scannen eines Objekts unter Verwendung eines RGB-D-Sensors
US10346963B2 (en) * 2014-09-11 2019-07-09 Cyberoptics Corporation Point cloud merging from multiple cameras and sources in three-dimensional profilometry
US9846963B2 (en) 2014-10-03 2017-12-19 Samsung Electronics Co., Ltd. 3-dimensional model generation using edges
TWI554976B (zh) 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
US10360469B2 (en) * 2015-01-15 2019-07-23 Samsung Electronics Co., Ltd. Registration method and apparatus for 3D image data
US9998763B2 (en) * 2015-03-31 2018-06-12 Nxgen Partners Ip, Llc Compression of signals, images and video for multimedia, communications and other applications
EP3304166B1 (en) * 2015-06-02 2019-06-26 Life Technologies Corporation Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
ITUB20154043A1 (it) 2015-09-30 2017-03-30 Datalogic IP Tech Srl Sistema e metodo di lettura di informazioni codificate
US11054802B2 (en) * 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
CN108604301B (zh) * 2015-12-04 2022-03-25 欧特克公司 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征
US9807365B2 (en) * 2015-12-08 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. System and method for hybrid simultaneous localization and mapping of 2D and 3D data acquired by sensors from a 3D scene
DE102015017010A1 (de) * 2015-12-30 2017-07-06 Faurecia Innenraum Systeme Gmbh Verfahren zur Ermittlung von Oberflächendefekten sowie Computer-Programmprodukt
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
US10393515B2 (en) 2016-01-20 2019-08-27 Mitsubishi Electric Corporation Three-dimensional scanner and measurement assistance processing method for same
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
FR3048872B1 (fr) * 2016-03-21 2018-04-13 Medtech Sa Procede et dispositif de recalage automatise pour un robot chirurgical
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10176589B2 (en) 2017-01-31 2019-01-08 Mitsubishi Electric Research Labroatories, Inc. Method and system for completing point clouds using planar segments
US10659768B2 (en) 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
JP6692321B2 (ja) * 2017-05-25 2020-05-13 日本電信電話株式会社 幾何的合わせこみ装置、方法、及びプログラム
US10848741B2 (en) * 2017-06-12 2020-11-24 Adobe Inc. Re-cinematography for spherical video
TWI652447B (zh) 2017-09-12 2019-03-01 財團法人成大研究發展基金會 適用於疊代最近點法以選擇關鍵圖框的系統與方法
WO2019057179A1 (zh) * 2017-09-22 2019-03-28 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
CN109579794B (zh) * 2017-09-28 2021-03-23 财团法人成大研究发展基金会 适用于迭代最近点法以选择关键图框的系统与方法
US11212507B2 (en) 2017-11-16 2021-12-28 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional images
TWI651687B (zh) 2017-11-24 2019-02-21 財團法人工業技術研究院 三維模型建構方法及其系統
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
CN108776990A (zh) * 2018-04-10 2018-11-09 清华大学 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统
CN109345574B (zh) * 2018-08-31 2020-10-09 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
JP7078127B2 (ja) 2018-10-18 2022-05-31 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
US20200125846A1 (en) 2018-10-23 2020-04-23 The Boeing Company Augmented Reality System for Manufacturing Composite Parts
CN111582293B (zh) * 2019-02-19 2023-03-24 曜科智能科技（上海）有限公司 平面几何一致性检测方法、计算机设备、及存储介质
JP7220591B2 (ja) * 2019-03-07 2023-02-10 三菱重工業株式会社 自己位置推定装置、自己位置推定方法及びプログラム
CN110009726B (zh) * 2019-03-08 2022-09-30 浙江中海达空间信息技术有限公司 一种根据平面基元间的结构关系对点云提取平面的方法
TWI675000B (zh) * 2019-03-22 2019-10-21 所羅門股份有限公司 物件運送方法及系統
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技（深圳）有限公司 一种三维对象重建方法和装置
US11289078B2 (en) * 2019-06-28 2022-03-29 Intel Corporation Voice controlled camera with AI scene detection for precise focusing
US11138465B2 (en) 2019-12-10 2021-10-05 Toyota Research Institute, Inc. Systems and methods for transforming coordinates between distorted and undistorted coordinate systems
JPWO2021235458A1 (zh) * 2020-05-21 2021-11-25
CN111899291A (zh) * 2020-08-05 2020-11-06 深圳市数字城市工程研究中心 基于多源维度分解的城市点云从粗到精的自动配准方法
CN112001955A (zh) * 2020-08-24 2020-11-27 深圳市建设综合勘察设计院有限公司 一种基于二维投影平面匹配约束的点云配准方法及系统
CN112348893B (zh) * 2020-10-30 2021-11-19 珠海一微半导体股份有限公司 一种局部点云地图构建方法及视觉机器人
CN112379773B (zh) 2020-11-12 2024-05-24 深圳市洲明科技股份有限公司 多人三维动作捕捉方法、存储介质及电子设备
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
CN113311412B (zh) * 2021-05-13 2024-03-01 哈尔滨工业大学 用于移动机器人的激光雷达传感器六维外参标定方法
CN114463396B (zh) * 2022-01-07 2024-02-06 武汉大学 一种利用平面形状和拓扑图投票的点云配准方法
CN114882087B (zh) * 2022-07-12 2022-10-04 武汉瀚迈科技有限公司 针对具有不完整基本图元的三维扫描点云实时配准方法
CN117984074A (zh) * 2024-03-29 2024-05-07 成都飞机工业（集团）有限责任公司 一种用于大型三维立体装配无固定测量点调姿定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200928570A (en) * 2007-12-28 2009-07-01 Ind Tech Res Inst Method for three-dimension (3D) measurement and an apparatus thereof
US20110205338A1 (en) * 2010-02-24 2011-08-25 Samsung Electronics Co., Ltd. Apparatus for estimating position of mobile robot and method thereof

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3738456B2 (ja) * 1994-11-14 2006-01-25 マツダ株式会社 物品の位置検出方法およびその装置
JP2000337831A (ja) * 1999-05-28 2000-12-08 Minolta Co Ltd ３次元データの位置合わせ方法
JP2003162549A (ja) * 2001-11-28 2003-06-06 National Institute Of Advanced Industrial & Technology 統合された形状モデル生成方法及びコンピュータプログラム
US7135992B2 (en) * 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
JP3855053B2 (ja) * 2003-01-30 2006-12-06 国立大学法人 東京大学 画像処理装置、画像処理方法、及び画像処理プログラム
CN1312633C (zh) * 2004-04-13 2007-04-25 清华大学 大规模三维场景多视点激光扫描数据自动配准方法
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
CN100559398C (zh) * 2007-06-19 2009-11-11 北京航空航天大学 自动的深度图像配准方法
JP5141507B2 (ja) * 2008-08-25 2013-02-13 村田機械株式会社 自律移動装置
JP2010066595A (ja) * 2008-09-11 2010-03-25 Toyota Motor Corp 環境地図生成装置及び環境地図生成方法
JP2012524663A (ja) * 2009-04-23 2012-10-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 物体学習ロボットおよび方法
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2011095858A (ja) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd ３次元デジタイザ
JP5580164B2 (ja) * 2010-10-18 2014-08-27 株式会社トプコン 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
EP2451164B1 (en) * 2010-11-08 2017-05-03 Telefonaktiebolaget LM Ericsson (publ) Improved view synthesis
US20120250984A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Image segmentation for distributed target tracking and scene analysis
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200928570A (en) * 2007-12-28 2009-07-01 Ind Tech Res Inst Method for three-dimension (3D) measurement and an apparatus thereof
US20110205338A1 (en) * 2010-02-24 2011-08-25 Samsung Electronics Co., Ltd. Apparatus for estimating position of mobile robot and method thereof

Also Published As

Publication number Publication date
US9183631B2 (en) 2015-11-10
CN104395932A (zh) 2015-03-04
KR20150024349A (ko) 2015-03-06
US20140003705A1 (en) 2014-01-02
DE112013003214T5 (de) 2015-04-02
TW201415414A (zh) 2014-04-16
KR101643079B1 (ko) 2016-07-26
JP5955406B2 (ja) 2016-07-20
CN104395932B (zh) 2017-04-26
JP2015515655A (ja) 2015-05-28
WO2014003081A1 (en) 2014-01-03

Similar Documents

Publication Publication Date Title
TWI569229B (zh) 資料之登錄方法
US10334168B2 (en) Threshold determination in a RANSAC algorithm
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
Li et al. A 4-point algorithm for relative pose estimation of a calibrated camera with a known relative rotation angle
US20130187919A1 (en) 3D Body Modeling, from a Single or Multiple 3D Cameras, in the Presence of Motion
Sinha et al. Camera network calibration and synchronization from silhouettes in archived video
WO2015006224A1 (en) Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US9460513B1 (en) Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN106504321A (zh) 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
da Silveira et al. Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications
CN115035235A (zh) 三维重建方法及装置
Maninchedda et al. Face reconstruction on mobile devices using a height map shape model and fast regularization
Garau et al. Unsupervised continuous camera network pose estimation through human mesh recovery
Lam et al. 3D human modeling using virtual multi-view stereopsis and object-camera motion estimation
Paudel Local and global methods for registering 2D image sets and 3D point clouds
Ranade et al. Can generalised relative pose estimation solve sparse 3D registration?
Bajpai et al. A Cross-Platform Open Source 3D Object Reconstruction System using a Laser Line Projector.
Korkee 3D scanning with a Kinect depth sensor
Win Curve and Circle Fitting of 3D Data Acquired by RGB-D Sensor
CN117994354A (zh) 手眼标定方法、装置、存储介质及计算机设备
CN117173740A (zh) 一种基于非同源双目的刷掌识别两图对齐方法
Azevedo 3D object reconstruction using computer vision: reconstruction and characterization applications for external human anatomical structures
Raposo Calibration, Structure-from-Motion and Registration Beyond Point Features
CN117173741A (zh) 一种基于非同源双目的刷掌识别两图对齐方法