TWI805934B - 一種實體物件轉換點雲資訊之模型建置系統及其方法 - Google Patents

Abstract

本發明是關於一種實體物件轉換點雲資訊之模型建置系統及其方法，該系統包括：一深度攝影機，以一角度方式掃描一實體物件，形成一第一資訊；一中央處理器，連接於該深度攝影機，該中央處理器進一步包括：一轉換模組，用以對該第一資訊進行轉換，形成一第一點雲資訊；一處理模組，用以對該第一點雲資訊進行合併，形成一第二點雲資訊；一濾除模組，用以對該第二點雲資訊進行濾除動作，形成一三維模型；以及一配準模組，用以對該三維模型在深度與色彩上進行配準。

Description

一種實體物件轉換點雲資訊之模型建置系統及其方法

本發明關於一種模型建置系統及其方法，具體來說是針對實體物件轉換點雲資訊之模型建置系統及其方法。

雷射掃描儀可透過產生點雲的三維座標資訊以偵測並分析三維物體的形狀與外觀資料。然而，儘管使用雷射掃描儀可以快速獲得物體的空間資訊，但是在透過雷射對物體進行掃描時，往往仍有以下問題，例如：當所掃描的物體具有複雜的結構時，例如：輪框，即便透過不同角度的多次掃描，所合併的各角度的點雲資料仍難以精確地呈現物體的輪廓形狀；以及，在產生物體的點雲資料後，往往還需人工的方式將物體形狀的前後左右進行對位，例如完成鞋楦的點雲資料後，需要利用人工方式將鞋楦的點雲資料與鞋楦進行比對，以在鞋楦的點雲資料上標註鞋尖、鞋跟以及左、右鞋面。

因此，現有技術仍具有改進的空間。

是以，為了解決上述問題，本發明的目的在於提供一種實體物件轉換點雲資訊之模型建置系統，能夠針對具有複雜結構的實體物件精確地提供其輪廓的空間資料。

本發明的再一目的在於提供一種實體物件轉換點雲資訊之模型建置系統，可基於深度與色彩自動地對實體物件的輪廓進行配準，從而省去人工對實體物件的輪廓進行標註的麻煩。

為了達到上述目的，本發明提供一種實體物件轉換點雲資訊之模型建置系統，包括：一深度攝影機，以一角度方式掃描一實體物件，形成一第一資訊；一中央處理器，連接於該深度攝影機，該中央處理器進一步包括：一轉換模組，用以對該第一資訊進行轉換，形成一第一點雲資訊；一處理模組，用以對該第一點雲資訊進行合併，形成一第二點雲資訊；一濾除模組，用以對該第二點雲資訊進行濾除動作，形成一三維模型；以及一配準模組，用以對該三維模型在深度與色彩上進行配準。

較佳地，該角度方式可包括兩種以上之掃描角度，以及該第一點雲資訊包括多個次點雲資訊，每個次點雲資訊分別與相應的該掃描角度對應。

較佳地，更包括：在形成該第一點雲資訊後，透過一偵測模組進行一離群點偵測。

較佳地，該偵測模組透過計算每個次點雲資料中的每個點到鄰近點的距離分布，並透過計算其中的標準差與平均值，從而定義出該距離分布的標準範圍。

較佳地，更包括：該處理模組從所述多個次點雲資訊中取出兩個次點雲資訊，並計算該兩個次點雲資訊之間的各點的距離，直到算出的該距離為最小距離值，並且從所述多個次點雲資訊中計算出兩個次點雲資訊之間的轉換矩陣。

較佳地，基於該最小距離值與該轉換矩陣，該處理模組將該兩個次點雲資訊進行平移與旋轉，直到形成該實體物件的輪廓的該第二點雲資訊。

較佳地，更包括：該濾除模組針對該第二點雲資訊在三維軸向上切割出一立體像素，並檢查每個該立體像素中是否存在一資訊點。

較佳地，更包括：透過該配準模組的一光源模組，以獲得該實體物件的色彩資訊，並且該配準模組連接該深度攝影機，以獲得該實體物件的深度資訊。

較佳地，基於該色彩資訊與該深度資訊，該配準模組從該色彩資訊的RGB圖像提取特徵點，將該特徵點映射到該深度資訊的三維坐標上，並與該第二點雲資料的輪廓進行批配。

為了達到上述目的，本發明提供一種實體物件轉換點雲資訊之模型建置方法，包括：透過一深度攝影機以一角度方式掃描一實體物件，形成一第一資訊；由一轉換模組對該第一資訊進行轉換，形成一第一點雲資訊；由一處理模組對該第一點雲資訊進行合併，形成一第二點雲資訊；由一濾除模組對該第二點雲資訊進行濾除動作，形成一三維模型；以及由一配準模組對該三維模型在深度與色彩上進行配準。

具體而言，本發明的一種實體物件轉換點雲資訊之模型建置系統及其方法，能夠針對具有複雜結構的實體物件精確地提供其輪廓的空間資料，並且自動化地對實體物件的輪廓進行配準，從而省去人工標註的麻煩。

以下將透過圖式及詳細描述來清楚說明本發明，任何所屬技術領域中具有通常知識者在瞭解本發明所揭露之實施例後，當可由本發明內容所教示之技術，加以改變及修飾，其並不脫離本發明揭露之精神與範圍。以下說明中相同元件將以相同之符號標示來進行說明以便於理解。

請參考第1圖。第1圖為根據本發明實施例的模型建置系統10的示意圖。系統10是一種實體物件轉換點雲系統，可用以將實體物件進行三維模型建置。如第1圖所示，系統10包括深度攝影機102、中央處理器103。

在系統10中，深度攝影機102電性連接於中央處理器103。深度攝影機102可以是線雷射掃描儀，但不限於此，用於偵測環境中實體物件20的形狀與外觀資料。中央處理器103可包括轉換模組104、偵測模組105、處理模組106、濾除模組108、配準模組110，其中前述模組彼此電性連接，用於執行三維模型建置。

以下為了更好地理解本發明的內容，系統10的詳細操作將搭配第2圖與第3圖中所示的實施例進行說明。第2圖為根據本發明實施例的模型建置方法的流程圖；第3圖的(a)部分為根據本發明實施例的線雷射掃描儀掃描的示意圖；第3圖的(b)部分為根據本發明實施例的使用線雷射掃描儀對鞋楦掃描的示意圖。如第2圖所示，三維模型重建建置包含步驟S1、S2、S3、S4以及步驟S5。在步驟S1中，透過深度攝影機102以角度方式掃描實體物件，形成第一資訊。在本發明的實施例中，深度攝影機102是一線雷射掃描儀，如第3圖的(a)部分所示，線雷射掃描儀的發射器提供一或多束雷射光束並發射至實體物件20上，並透過線雷射掃描儀上的感測模組(未繪示)接收從實體物件20上反射的雷射光束訊號。

在本發明的實施例中，如第3圖的(b)部分所示，實體物件20置於單軸向移動平台30上，移動平台30的側邊設置有移動式龍門32，其可沿著移動平台30的軸向移動，移動式龍門32上設置有線雷射掃描儀。隨著龍門32在移動平台30的軸向上移動，線雷射掃描儀所發射的雷射光束從實體物件20的一端橫跨到另一端以掃描實體物件20的三維輪廓形狀。在掃描的過程中，線雷射掃描儀可接收來自實體物件20的位置資料。在本發明的實施例中，實體物件20是鞋楦，但不限於此。當線雷射掃描儀完成鞋楦的掃描後，可從其中接收到鞋楦的位置資訊，該資訊是以CSV(Comma-Separated Values)形式儲存為第一資訊，但資料形式可以以任何可儲存形式，並不限於此。

進一步，在本發明的實施例中，步驟S1還包括步驟S11，如第5圖所示，在步驟S11中的以角度方式可包括兩種以上的掃描角度。第4圖為根據本發明實施例的掃描角度的示意圖，如第4圖所示，掃描角度θ以透過映射在移動平台的掃描基準線B與垂直於掃描基準線B的垂直線L相交所形成的圓心O，其中垂直線L對應鞋楦的高度，並透過對應鞋楦的長度作為半徑R，以圍繞圓心O進行0度至360度的旋轉。在這樣的情況下，本發明的系統10可針對無法以一次掃描而涵蓋的實體物件或是具有複雜結構或深度資訊的實體物件進行掃描，從而獲得完整的實體物件的空間資訊。

如第4圖所示，鞋楦所呈現的掃描角度θ為90度。在本發明的實施例中，以0度、45度、90度、135度、180度、225度、270度、315度的掃描角度對鞋楦進行掃描。

以下，將使用上述的掃描角度進行三維模型重建建置的後續步驟。

在步驟S2中，由轉換模組104對第一資訊進行轉換，形成一第一點雲資訊，其中轉換手段可透過習知的方法將CSV轉換成PCD(Point Cloud Data)的第一點雲資料，在此不多加贅述。在本發明的實施例中，第一點雲資訊可包括多個次點雲資訊，每個次點雲資訊分別與相應的掃描角度θ對應。亦即，轉換模組104可將上述0度、45度、90度、135度、180度、225度、270度、315度的鞋楦掃描角度的第一資訊分別轉換成對應的次點雲資訊。

較佳地，在本發明的實施例中，步驟S2還包括步驟S21，如第5圖所示，在形成第一點雲資訊後，透過偵測模組105進行離群點偵測。點雲資訊是在三維座標系統中的一組向量的集合，可表示幾何位置資訊，因此偵測模組105可透過計算第一點雲資訊中每個次點雲資料中的每個點到鄰近點的距離分布，並透過計算其中的標準差與平均值，從而定義出該次點雲資料的距離分布標準範圍。

第6圖的(a)部分和(b)部分為透過偵測模組移除雜訊點的前後對比示意圖。如第6圖的(a)部分所示，透過偵測模組105的計算後，在標準範圍之外的點就稱為離群點；如第6圖的(b)部分所示，當次點雲資料被偵測到具有離群點時，該離群點可被偵測模組105移除。

在步驟S3中，由處理模組106對第一點雲資訊進行合併，形成第二點雲資訊。當鞋楦的各掃描角度已被轉換成包括多個次點雲資料的第一點雲資料後，處理模組106從所述多個次點雲資訊中取出兩個次點雲資訊，該兩個次點雲資訊可以是所述多個次點雲資訊中的任意兩個，並計算兩個次點雲資訊之間的各點的距離，直到算出的距離為最小距離值，並且從所述多個次點雲資訊中計算出該兩個次點雲資訊之間的轉換矩陣。具體來說，處理模組106透過執行迭代最近點演算法(Iterative Closest Point, ICP)對該兩個次點雲資訊進行合併動作。

第7圖為根據本發明的實施例的處理模組執行迭代最近點演算法的示意圖。如第7圖所示，從所述多個次點雲資訊中取出兩個次點雲資訊後，處理模組106將其中一個次點雲資訊定義為初始點雲P以及將另一個次點雲資訊定義為目標點雲Q，並且從初始點雲P與目標點雲Q之間求取對位點雲R。由於處理模組106會不斷的重複迭代最近點的過程直至收斂，因此能夠計算出兩群點之間的最小距離值並計算出最佳的旋轉矩陣。

接著，處理模組106基於最小距離值和旋轉矩陣將兩個次點雲資訊進行平移與旋轉，亦即仿射變換，從而獲得最終的對位點雲R，亦即兩個次點雲資訊完成合併。

較佳地，處理模組106在求取對位點雲R之前，會計算兩個次點雲資料之間的相關性。若兩個次點雲資料之間相關性較低，則會導致對位的效果較差。因此在進行掃描鞋楦時，透過多個掃描角度的結果，處理模組106會優先選擇較相近的兩個次點雲資料進行合併，再擴展至整個楦頭的合併工作。

具體來說，在本發明的實施例中，0度、45度、90度、135度、180度、225度、270度、315度的鞋楦掃描角度分別對應各自的次點雲資訊，處理模組106分別計算所述次點雲資訊中兩兩之間的相關性，兩個次點雲資訊之間的相關性可界於15度至75度的掃描角度範圍，較佳地，可界於30度至60度的掃描角度範圍，更佳地為45度的掃描角度。本發明人發現倘若在相關性中選擇較小的掃描角度，例如兩次點雲資訊之間的掃描角度僅差距為10度甚至更小，則會導致兩個次點雲資訊之間的合併耗費太多時間；與之相反，倘若在相關性中選擇選擇過大的掃描角度，例如兩次點雲資訊之間的掃描角度大於80度甚至更大，則導致兩個次點雲資料之間的關聯性變低，使得無法完整產生正確的合併。

在本發明的實施例中，次點雲資料的合併流程可分為上半部分與下半部分分別進行，最後再藉由兩側的掃描結果得出完整鞋楦點雲模型。於此，掃描角度45度的次點雲資訊以下稱為45度的掃描結果，其他掃描角度的次點雲資訊可類推。進一步，0度、45度、90度、135度、180度、225度、270度、315度的掃描結果中，處理模組106先針對45度的掃描結果、90度的掃描結果、135度的掃描結果進行合併，於此稱為上半部分合併。其中，合併的方式可以是45度與90度的掃描結果先進行合併，再與135度的掃描結果進行合併，但合併的方式不限於此。

第8圖為根據本發明的實施例的執行上半部分合併的示意圖。如第8圖的(a)部分、(b)部分和(c)部分所示，其分別示出上半部分的合併結果的左前視圖、俯視圖以及右前視圖。

接著，針對225度的掃描結果、270度的掃描結果、315度的掃描結果進行合併，於此稱為下半部分合併。第9圖為根據本發明的實施例的執行下半部分合併的示意圖，如第9圖的(a)部分、(b)部分和(c)部分所示，其分別示出下半部分的合併結果的左前視圖、俯視圖以及右前視圖。

接著，再藉由兩側的掃描結果，亦即0度的掃描結果、180度的掃描結果針對上半部分與下半部分進行合併以得出鞋楦輪廓的第二點雲資訊。具體來說，將0度的掃描結果、180度的掃描結果與前述已完成上半部分合併的次點雲資料進行合併，並且再將0度的掃描結果、180度的掃描結果與前述已完成下半部分合併的次點雲資料進行合併，最後再將前述兩部分進行合併，從而得出鞋楦輪廓的第二點雲資訊，在此稱為鞋楦輪廓的點雲模型。需要注意的是，針對各掃描角度的合併可以是各種形式的合併，並不限於本發明以上的合併方式。

在步驟S4中，由濾除模組108對第二點雲資訊進行濾除動作，形成對應鞋楦實體物件的三維模型。當完成鞋楦輪廓的點雲模型後，為了解決其中會產生的資訊點重複問題，透過濾除模組108執行VoxelGrid進行濾波。在鞋楦輪廓的點雲模型中，沿著三維空間的三個軸向(X軸、Y軸、Z軸)切割出相同大小的立體像素(Voxel)，濾除模組108會檢查其中的每個立體像素中是否有資訊點存在。若切割後存在有資訊點，則將整個立體像素的資訊點設定成該立體像素的中心點，使得可以有效解決資訊點的重複問題且可以完整保留鞋楦的點雲輪廓。

較佳地，立體像素的大小可透過濾除模組108進行調整。第10圖為根據本發明的實施例的透過濾除模組執行濾除的示意圖。如第10圖的(a)部分所示，其為未執行濾除的鞋楦輪廓點雲模型。如第10圖的(b)部分所示，其為經過濾除模組108進行濾除後，立體像素大小設定為2公分。如第10圖的(c)部分所示，其為經過濾除模組108進行濾除後，立體像素大小設定為5公分。需要注意的是，針對立體像素大小的設定可以是其他數值，並不限於本發明以上的設定。

較佳地，在本發明的另一實施例中，可針對合併後的上半部分與合併後的下半部分分別先進行濾除模組108的濾除，再將上半部分與下半部分進行合併，如第2圖所示。藉此，除了有效解決資訊點重複的問題之外，還可以將完整的輪廓進行保留，同時透過將點雲資訊的數量降低，可以節省運算與處理時間。

第11圖為根據本發明的實施例的濾除後的鞋楦輪廓的點雲模型的示意圖。如第11圖的(a)部分所示，為濾除後的鞋楦輪廓的點雲模型的左前視圖、如第11圖的(b)部分所示，為濾除後的鞋楦輪廓的點雲模型的俯視圖、如第11圖的(c)部分所示，為濾除後的鞋楦輪廓的點雲模型的右前視圖。

在步驟S5中，由配準模組110對鞋楦的三維模型在深度與色彩上進行配準。在本發明的實施例中，配準模組110包括一光源模組111，光源模組111可以是RGB攝影機、紅外線相機或其他的感光元件等，但不限於此。透過光源模組111以獲得鞋楦的色彩資訊。較佳地，光源模組111可以包括一個或多個發光元件。

接著，配準模組110電性連接於深度攝影機102，以獲得鞋楦的深度資訊。基於該深度資訊與色彩資訊，配準模組110從色彩資訊的RGB圖像提取鞋楦的特徵點，將特徵點映射到深度資訊的三維坐標上，並與鞋楦三維模型的輪廓進行批配。

雖然本發明內容已以實施方式揭露如上，然而其並非用以限制本發明之內容，任何熟習此技藝者，在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本發明所揭露內容之保護範圍當視後附之申請專利範圍所界定為準。

10:系統 20:實體物件 30:移動平台 32:龍門 102:深度攝影機 103:中央處理器 104:轉換模組 105:偵測模組 106:處理模組 108:濾除模組 110:配準模組 111:光源模組 B:掃描基準線 L:垂直線 O:圓心 R:半徑 P:初始點雲 Q:目標點雲 R:對位點雲 θ:掃描角度 S1、S2、S3、S4、S5:步驟 S11、S21:步驟

第1圖為根據本發明實施例的模型建置系統的示意圖； 第2圖為根據本發明實施例的模型建置方法的流程圖； 第3圖的(a)部分為根據本發明實施例的線雷射掃描儀掃描的示意圖； 第3圖的(b)部分為根據本發明實施例的使用線雷射掃描儀對鞋楦掃描的示意圖； 第4圖為根據本發明實施例的掃描角度的示意圖； 第5圖為根據本發明實施例的模型建置方法的細部流程圖； 第6圖的(a)部分和(b)部分為透過偵測模組移除雜訊點的前後對比示意圖； 第7圖為根據本發明的實施例的處理模組執行迭代最近點演算法的示意圖； 第8圖的(a)部分為根據本發明的實施例的執行上半部分合併的左前視圖； 第8圖的(b)部分為根據本發明的實施例的執行上半部分合併的俯視圖； 第8圖的(c)部分為根據本發明的實施例的執行上半部分合併的右前視圖； 第9圖的(a)部分為根據本發明的實施例的執行下半部分合併的左前視圖； 第9圖的(b)部分為根據本發明的實施例的執行下半部分合併的俯視圖； 第9圖的(c)部分為根據本發明的實施例的執行下半部分合併的右前視圖； 第10圖的(a)部分為根據本發明的實施例的未透過濾除模組執行濾除的示意圖； 第10圖的(b)與(c)部分為根據本發明的實施例的透過濾除模組執行濾除的示意圖； 第11圖的(a)部分為根據本發明的實施例的濾除後的鞋楦輪廓的點雲模型的左前視圖； 第11圖的(b)部分為根據本發明的實施例的濾除後的鞋楦輪廓的點雲模型的俯視圖；以及 第11圖的(c)部分為根據本發明的實施例的濾除後的鞋楦輪廓的點雲模型的右前視圖。

10:系統

102:深度攝影機

103:中央處理器

104:轉換模組

105:偵測模組

106:處理模組

108:濾除模組

110:配準模組

111:光源模組

Claims (9)

1. 一種實體物件轉換點雲資訊之模型建置系統，包括：一深度攝影機，以一角度方式掃描一實體物件，形成一第一資訊，該角度方式包括兩種以上之掃描角度；一中央處理器，連接於該深度攝影機，該中央處理器進一步包括：一轉換模組，用以對該第一資訊進行轉換，形成一第一點雲資訊；一處理模組，用以對該第一點雲資訊進行合併，形成一第二點雲資訊；一濾除模組，用以對該第二點雲資訊進行濾除動作，形成一三維模型；以及一配準模組，用以對該三維模型在深度與色彩上進行配準；其中，該第一點雲資訊包括多個次點雲資訊，該處理模組計算該多個次點雲資訊中所取出兩個次點雲資訊之間的相關性，以將其中一個次點雲資訊定義為初始點雲，同時將另一個次點雲資訊定義為目標點雲，並且從該初始點雲與該目標點雲之間求取對位點雲，其中，每個次點雲資訊分別與相應的該掃描角度對應，該處理模組優先選擇具有在一預設範圍內的掃描角度的兩個次點雲資訊進行合併。
2. 如請求項1所述的系統，其中，更包括：在形成該第一點雲資訊後，透過一偵測模組進行一離群點偵測。
3. 如請求項2所述的系統，其中，該偵測模組透過計算每個次點雲資料中的每個點到鄰近點的距離分布，並透過計算其中的標準差與平均值，從而定義出該距離分布的標準範圍。
4. 如請求項1所述的系統，其中，更包括：該處理模組從所述多個次點雲資訊中取出兩個次點雲資訊，並計算該兩個次點雲資訊之間的各點的距離，直到算出的該距離為最小距離值，並且從所述多個次點雲資訊中計算出兩個次點雲資訊之間的轉換矩陣。
5. 如請求項4所述的系統，其中，基於該最小距離值與該轉換矩陣，該處理模組將該兩個次點雲資訊進行平移與旋轉，直到形成該實體物件的輪廓的該第二點雲資訊。
6. 如請求項1所述的系統，其中，更包括：該濾除模組針對該第二點雲資訊在三維軸向上切割出一立體像素，並檢查每個該立體像素中是否存在一資訊點。
7. 如請求項1所述的系統，其中，更包括：透過該配準模組的一光源模組，以獲得該實體物件的色彩資訊，並且該配準模組連接該深度攝影機，以獲得該實體物件的深度資訊。
8. 如請求項7所述的系統，其中，基於該色彩資訊與該深度資訊，該配準模組從該色彩資訊的RGB圖像提取特徵點，將該特徵點映射到該深度資訊的三維坐標上，並與該第二點雲資料的輪廓進行批配。
9. 一種如請求項1之系統的實體物件轉換點雲資訊之模型建置方法。

Images