TWI625700B

TWI625700B - 用於點雲資料貼合之冗餘點偵測方法

Info

Publication number: TWI625700B
Application number: TW106131674A
Authority: TW
Inventors: 黃文輝; 胡博期; 林治中; 吳佳祥
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2017-09-15
Filing date: 2017-09-15
Publication date: 2018-06-01
Also published as: CN109508141B; CN109508141A; TW201915953A

Abstract

一種用於點雲資料貼合之冗餘點偵測方法，係於資料處理裝置執行，該方法包含：從掃描器接收具有連續關係的第一、第二點雲資料；對第一、第二點雲資料進行縮減取樣，以分別成為第一、第二簡化點雲資料；建立第一簡化點雲資料的三維點雲索引結構，供搜尋第二簡化點雲資料中的各資料點以對應於第一簡化點雲資料的各資料點；建立最佳化轉換矩陣，使第二簡化點雲資料透過該最佳化轉換矩陣的轉換後，第一、第二簡化點雲資料之對應的兩筆資料點的切平面之間具有一最小距離；當最小距離小於判斷值，所述兩筆資料點為冗餘的資料點。

Description

用於點雲資料貼合之冗餘點偵測方法

本創作是有關一種用於點雲資料貼合之冗餘點偵測方法，特別是指將兩筆具有點雲(point cloud)資料進行貼合時，偵測出該兩點雲資料之重複冗餘點的方法。

習知點雲資料掃描系統係利用移動中一掃描器對一目標物進行連續掃描，其中，每掃描一次可得到一筆點雲資料，該點雲資料包含複數資料點，每一資料點包含有三維座標資訊以供建構該目標物的影像。所以，在進行快速掃描取像時，在短時間內可產生多筆點雲資料，每一筆點雲資料的三維座標資訊係以每秒數十到數百筆的速度進入掃描系統。

舉例來說，請參考圖8A，掃描器先後產生一第一點雲資料41與一第二點雲資料42，請參考圖8B，掃描系統可根據該兩點雲資料41、42的重複區域40將該兩點雲資料41、42彼此貼合，其中，該第一點雲資料41的邊界410落在第二點雲資料42的範圍內，相對的，該第二點雲資料42的邊界420落在第一點雲資料41的範圍內，該兩邊界410、420之間即為該重複區域40。請參考圖8C與圖8D，掃描器接著產生一第三點雲資料43，掃描系統係將貼合後的第一、第二點雲資料41、42再貼合該第三點雲資料43。依此類推，請參考圖8E，掃描系統可再接收一第四點雲資料44或再依序接收更多筆點雲資料，以進一步進行貼合。

如前所述，該掃描系統係根據兩相鄰的點雲資料的重複區域而將該兩點雲資料串接貼合，整體來看，當完成掃描該目標物的掃描後，在不同的點雲資料之間，其重複區域資料點的重複性高，不但提升資料儲存的成本，也影響點雲資料的傳輸效率以及計算效率。

有鑒於此，本創作之主要目的是提供一種用於點雲資料貼合之冗餘點偵測方法，用以偵測貼合之點雲資料的重複冗餘點，當排除重複的冗餘點，即可有效降低資料儲存的成本，也提升資料的傳輸效率以及計算效率。

本創作用於點雲資料貼合之冗餘點偵測方法，係於一資料處理裝置執行，該資料處理裝置連線一掃描器以接收點雲資料，該方法包含：接收具有連續關係的一第一點雲資料與一第二點雲資料；對該第一點雲資料與該第二點雲資料進行縮減取樣，以分別成為一第一簡化點雲資料與一第二簡化點雲資料；建立該第一簡化點雲資料的三維點雲索引結構，供搜尋該第二簡化點雲資料中的各資料點以對應於該第一簡化點雲資料的各資料點；建立一最佳化轉換矩陣，使該第二簡化點雲資料透過該最佳化轉換矩陣的轉換後，該第一簡化點雲資料與該第二簡化點雲資料之對應的兩筆資料點的切平面之間具有一最小距離；判斷該最小距離是否小於一判斷值；若是，則所述兩筆資料點為冗餘的資料點；若否，回到「建立該第一簡化點雲資料的三維點雲索引結構，供搜尋該第二點雲資料中的各資料點以對應於該第一簡化點雲資料的各資料點」的步驟，以進行該最佳化轉換矩陣的疊代運算。

根據本創作的偵測方法，是將兩筆簡化點雲資料當中重複的冗餘資料點偵測出來，所述冗餘資料點代表該兩簡化點雲資料所掃描到的重疊區域的資料點，因此，在應用上可排除任一筆簡化點雲資料的冗餘資料點，讓不同點雲資料之間重複的資料點不會重複儲存及運算，降低資料的吞吐量，故能有效降低資料儲存的成本，也提升資料的傳輸效率以及計算效率。

請參考圖1，執行本創作偵測方法的系統包含有一掃描器10與一資料處理裝置20。該掃描器10可採用結構光(structured light)掃描技術對一目標物進行掃描以取得一筆點雲(point cloud)資料，該點雲資料包含複數資料點，該等資料點可構成目標物的圖像，其中每一個資料點可包含亮度資訊、深度資訊(range image)以及三維空間參數，三維空間參數可包含各資料點的x軸旋轉索引值(yaw)、x座標、與x軸的夾角(α)、y軸旋轉索引值(pitch)、y座標、與y軸的夾角(β)、z軸旋轉索引值(roll)、z座標、與z軸的夾角(γ)…等。該資料處理裝置20可為電腦，但不以此為限，該資料處理裝置20連線該掃描器10，以接收該掃描器10所拍攝的點雲資料。

需說明的是，本創作偵測方法的實施例是以口內掃描系統為例說明，但不以此為限，本創作偵測方法亦可應用於其它類型的三維重建系統，舉例來說，本創作可應用於各產業領域的三維檢測、快速成形與三維列印…等。

首先簡要說明本創作偵測方法的整體架構流程，首先，該掃描器10沿著一軌跡移動，在移動的同時，該掃描器10對一目標物連續掃描，其中，每掃描一次可產生一筆點雲資料，故連續掃描可產生多筆點雲資料，並由該資料處理裝置20接收該等點雲資料。請參考圖2A，考慮先後掃描到的第一點雲資料與第二點雲資料，由於掃描器10是在行進間連續掃描，所以該兩點雲資料、的內容並非完全吻合，但有彼此重複的部分，該資料處理裝置20可調整第二點雲資料的方位以供正確貼合於第一點雲資料。為了調整第二點雲資料的方位，本創作建立第一點雲資料的三維點雲索引結構，根據該三維點雲索引結構，可供初步得到該兩點雲資料、之間各資料點的對應關係。接著，本創作經過數次疊代運算後產生一最佳化轉換矩陣，供該第二點雲資料通過該最佳化轉換矩陣的轉換以貼合於第一點雲資料。經過貼合後，該兩點雲資料、彼此重複的部分已大致重疊，故能在該兩點雲資料、之重疊處偵測出重複的冗餘資料點。

以下詳細說明本創作的技術手段，請配合參考圖3，本創作偵測方法的實施例包含以下步驟：

步驟S1：掃描目標物

該掃描器10可為手持式掃描器或固定式掃描器，以手持式掃描器為例，牙科醫師將掃描器10伸入患者的口腔內以進行牙齒的拍攝作業，當該掃描器10沿著患者牙體表面移動並掃描時，可得到數筆具有連續關係的牙體點雲資料。為了說明，請參考圖2A，本創作以該掃描器10在行進間連續拍攝以得到第一點雲資料與第二點雲資料為例，因為該兩點雲資料、是在該掃描器10移動的狀態下所連續掃描的，故該第一點雲資料與該第二點雲資料分別對應於不同的口腔內位置。

步驟S2：縮減取樣(Down-sampling)

該資料處理裝置20接收該第一點雲資料與該第二點雲資料，其中，該資料處理裝置20可採用均勻取樣，係根據一取樣週期擷取並儲存該第一點雲資料與該第二點雲資料的資料點。舉例來說，當該第一點雲資料具有N筆資料點，該取樣週期可為每n筆資料點取一筆資料點，則該第一點雲資料經過縮減取樣後僅包含N/n筆資料點，故取樣後的資料點數量低於取樣前的資料點數量，藉此有效初步降低資料傳輸量及運算量。

為了說明，經過縮減取樣後的點雲資料稱為簡化點雲資料，所以，請參考圖2B、圖4與圖5，該第一點雲資料經縮減取樣後成為第一簡化點雲資料，該第二點雲資料經縮減取樣後成為第二簡化點雲資料。

步驟S3：建立三維點雲索引結構

為了提升資料點的搜尋效率，本創作係建立該第一簡化點雲資料的三維點雲索引結構，供搜尋該第二簡化點雲資料中的各資料點以對應於該第一簡化點雲資料的各資料點，本創作建立該三維點雲索引結構之目的，是要在該第一簡化點雲資料中快速搜尋到一資料點p _i，使該資料點p _i與第二簡化點雲資料中的一資料點q _j最接近，本創作實施例是以k-d樹(k-dimensional tree)建立三維點雲索引結構，惟透過k-d樹建立點雲資料的三維點雲索引結構是所屬技術領域的通常知識，僅簡單說明如下。

首先以一維的情況下說明，假設第一簡化點雲資料與第二簡化點雲資料的維度是一個維度，透過二元搜尋法(binary search)，可對第一簡化點雲資料的所有資料點p _i根據其座標值進行排序以建立一維點雲索引結構。因為是以一個維度為例，所以第一簡化點雲資料排序後的資料點p _i在數線展開後，讓第二簡化點雲資料的資料點q _j逐個與排序在中位(middle element)的資料點p _i比較，使第二簡化點雲資料中的每一個資料點q _j都能搜尋到與第一簡化點雲資料中最接近的資料點p _i。

若第一簡化點雲資料與第二簡化點雲資料的維度是三個維度，則將前述之k-d樹推廣於建立本創作的三維點雲索引結構。首先，對第一簡化點雲資料所有資料點p _i根據其座標值進行排序以建立三維點雲索引結構，此結構包含如圖6A所示的根節點(root node)RN，該根節點RN包含第一簡化點雲資料的所有資料點p _i，請參考圖6B，邊界盒(bounding box)BB儲存所有資料點p _i，該邊界盒BB由資料點p _i的座標在x、y與z三維度的最大值與最小值決定，也就是第一簡化點雲資料在三軸座標系統的資料範圍，根節點RN之下每一層的節點皆代表該節點涵蓋點雲的資料範圍，節點內記錄其三維邊界盒BB、左右子節點的指標、作為判斷依據的切割維度(cut dimension)與切割值(cut value)，以及包含的資料點，不失一般性，若沿著Z軸找到根節點RN對應的三維點雲Z座標的中位數m1，請參考圖6D，則以此中位數m1建立的平面Plane1(即：z=m1的平面)將邊界盒BB空間切分成兩份空間，該兩份空間分別對應到圖6C所示的兩個節點SN；接著重複以上切割空間的步驟，亦即對目前最底層的節點，例如圖6C底層的兩個節點SN，各自沿著Y軸找到中位數m2、m3，如圖6F所示，中位數m2、m3各自有一個切割平面Plane2(即：y=m2的平面)與Plane3(即：y=m3的平面)，這兩個切割平面Plane2、Plane3又將平面Plane1分出的兩空間各自切成兩塊，若此時平面Plane2、Plane3切割之後的空間只剩一個三維點，則停止切割，且此時各切割後的空間對應的節點為圖6E所示的葉節點(leaf node)LN，也就是葉節點LN只包含一個資料點，而為搜尋的終點。若切割後空間內不只有一個三維點，則繼續沿著X軸切割，這樣的切割步驟將重複執行直到空間內只剩一個三維點為止。

步驟S4：建立初始轉換矩陣

在直角座標系統下，本創作利用初始x軸夾角a’、初始y軸夾角b’、初始z軸夾角g’、初始x軸位移tx’、初始y軸位移ty’與初始z軸位移tz’建立一4x4的初始轉換矩陣，表示如下：

其中為初始旋轉矩陣，為初始位移矩陣，分別表示如下：

本創作實施例中，初始x軸夾角a’、初始y軸夾角b’、初始z軸夾角g’、初始x軸位移tx’、初始y軸位移ty’與初始z軸位移tz’可分別為0，但不以此為限。

步驟S5：搜尋對應資料點

此步驟的目的是對第二簡化點雲資料的所有資料點q _j，在第一簡化點雲資料中找到較接近的資料點p _i，以建立兩資料點p _i、q _j的對應關係。根據步驟S3的三維點雲索引結構，搜尋時比較查詢資料點q _j與所在節點範圍判斷要往哪一邊的子節點移動，並持續追蹤k-d樹直到最底層的葉節點為止。

首次完成此步驟後，第一簡化點雲資料的各資料點p _i可初步對應到第二簡化點雲資料的各資料點q _j。請參考圖3，在此先說明步驟S5~S7為疊代運算的步驟，每一次疊代運算可產生一個最佳化轉換矩陣，考慮目前為第k次疊代運算，而第k-1次為前一次的疊代運算，而經過第k-1次疊代運算再回到步驟S5時，第一簡化點雲資料的各資料點p _i可對應到透過第k-1最佳化轉換矩陣轉換後之第二簡化點雲資料的各資料點q _j。其中k=1時，該第k-1最佳轉換矩陣即為初始轉換矩陣。

步驟S6：建立最佳化轉換矩陣

經前述步驟S5後，若第一簡化點雲資料具有一資料點 d _i ，第二簡化點雲資料具有對應的一資料點 s _i ，亦即該資料點 s _i 是步驟S5中所搜尋到透過第k-1最佳化轉換矩陣轉換後之第二簡化點雲資料的資料點，在步驟S6中，各資料點 s _i 經過一轉換矩陣後成為資料點，該資料點與資料點 d _i 建立一向量，其中，當該轉換矩陣是一最佳化轉換矩陣，則資料點 d _i 的切平面與該資料點的切平面之間具有一最小距離，該最小距離可以由該向量在資料點 d _i 切平面法向量 n _i 的投影來決定，該最佳化轉換矩陣的通式可表示如下：

其中：

上式中，是位移矩陣，是旋轉矩陣，分別表示如下：；，其中：

tx、ty與tz分別為x軸位移、y軸位移與z軸位移，本創作利用線性解逼近手段，假設三軸夾角趨近於0，亦即x軸夾角，y軸夾角，z軸夾角，則，，，，，，則該旋轉矩陣變成，表示如下：

該轉換矩陣成為，表示如下：

將此轉換代入該最佳化轉換矩陣，使該最佳化轉換矩陣成為，表示如下：

則其中第i項都可用線性展開，表示如下：

所以，所有i項的線性展開可以形成一個線性系統：

其中：，其中：

則

亦即，可使上式之具有最小值的參數向量 x(包含α、β、γ、t _x、t _y、t _z等六個轉換參數)是最佳化轉換參數，其分別表示為α _opt、β _opt、γ _opt、t _xopt、t _yopt、t _zopt，其表示如下：

其中，該等最佳化轉換參數α _opt、β _opt、γ _opt、t _xopt、t _yopt、t _zopt可利用擬返(pseudo inverse)運算而得。

最後，根據該該等最佳化轉換參數α _opt、β _opt、γ _opt、t _xopt、t _yopt、t _zopt套用至前述的旋轉矩陣 R _k 與位移矩陣 T _k ，即得到該最佳化轉換矩陣，此為更新的最佳化轉換矩陣，表示如下：

所以，本創作之第二簡化點雲資料透過更新的最佳化轉換矩陣的轉換後成為，可使第一簡化點雲資料與轉換後的第二簡化點雲資料之對應的兩筆資料點的切平面之間具有一最小距離。

步驟S7：收斂評估

前述步驟S5到此步驟S7為疊代過程，步驟7評估疊代是否符合一收斂條件，若符合該收斂條件，表示該兩筆簡化點雲資料、已可透過該更新的最佳化轉換矩陣貼合完成；反之，若未符合收斂條件，則利用更新的最佳化轉換矩陣回復執行步驟S5~S7，以再次更新最佳化轉換矩陣以供進行收斂評估，直到收斂為止。

需說明的是，每當再次回到步驟S5時，是讓該第一簡化點雲資料的各資料點利用步驟S3的該三維點雲索引結構，搜尋出透過前一次之最佳化轉換矩陣(即：第k-1最佳化轉換矩陣)轉換後之第二簡化點雲資料的對應資料點；而在步驟S6中，所使用的該轉換矩陣 M係前一次的最佳化轉換矩陣，亦即利用第k-1最佳化轉換矩陣再次產生新的一筆更新的最佳化轉換矩陣(即：第k最佳化轉換矩陣)，再計算出該第一簡化點雲資料與透過第k最佳化轉換矩陣轉換後的第二簡化點雲資料之間，對應的兩筆資料點的切平面之間的該最小距離，依此類推。

關於收斂條件的判斷，說明如後。在步驟S6產生的結果是該最小距離，假設為第k次疊代後，兩資料點 d _i 、 s _i 之間的該最小距離具有一最大誤差值e _k，表示如下：

則收斂條件係以第k次與第k-1次的最大誤差值來判斷，本創作的收斂條件是，其中 t _e 為預設的一判斷值，若疊代多次仍未能收斂，則有可能因疊代次數過多產生運算瓶頸，所以本創作可設定一疊代上限次數，當該資料處理裝置20判斷出疊代次數達到該疊代上限次數時，將停止疊代，並將已估計的多組轉換中有最小誤差的一組作為最佳轉換矩陣。

步驟S8：標記冗餘點

冗餘點為該兩簡化點雲資料、重覆取像的資料點，請參考圖2C與圖7，貼合後應重疊在一起而產生一重疊區域30，第一簡化點雲資料的邊界31落入該第二簡化點雲資料的範圍中，且第二簡化點雲資料的邊界32落入該第一簡化點雲資料的範圍中，該兩簡化點雲資料、的圖案特徵已大致重疊。但因牙體表面經過數位掃描，實際上兩筆資料重覆區域的資料點未必會有完全相同的座標值，本創作利用下式判斷條件對應之資料點之間的最小距離來評估是否為冗餘點：

其中t _R為預設的判斷值，本創作將符合上式條件的資料點 d _i、 s _i作為該兩簡化點雲資料、之重複的冗餘資料點。其中，由於步驟S5已建立兩資料點 d _i、 s _i的對應關係，故可以直接根據座標資訊計算該兩資料點 d _i、 s _i之間的距離，以供判斷該距離是否低於該判斷值t _R。

綜上所述，本創作偵測出冗餘點後，應用上可將冗餘點進行排除，進而有效降低資料儲存成本，以及進一步優化資料傳輸效率與資料運算效率。再者，本創作透過縮減取樣、三維索引結構、線性逼近等技術手段，也能有效降低資料量，以及提升運算速度。

10‧‧‧掃描器
20‧‧‧資料處理裝置
30‧‧‧重疊區域
31‧‧‧邊界
32‧‧‧邊界
P‧‧‧第一點雲資料
‧‧‧第一簡化點雲資料
Q‧‧‧第二點雲資料
‧‧‧第二簡化點雲資料
RN‧‧‧根節點
BB‧‧‧邊界盒
SN‧‧‧節點
LN‧‧‧葉節點
40‧‧‧重複區域
41‧‧‧第一點雲資料
410‧‧‧邊界
42‧‧‧第二點雲資料
420‧‧‧邊界
43‧‧‧第三點雲資料
44‧‧‧第四點雲資料

圖1：實施本創作偵測方法之系統的實施例的方塊示意圖。圖2A~圖2C：本創作實施例將第一點雲資料與第二點雲資料彼此貼合的示意圖。圖3：本創作偵測方法之實施例的流程示意圖。圖4：第一簡化點雲資料的示意圖。圖5：第二簡化點雲資料的示意圖。圖6A~圖6F：本創作產生三維點雲索引結構的示意圖。圖7：將圖4與圖5之簡化點雲資料彼此貼合的示意圖。圖8A~圖8E：習知將多筆點雲資料串接貼合的示意圖。

Claims

一種用於點雲資料貼合之冗餘點偵測方法，係於一資料處理裝置執行，該資料處理裝置連線一掃描器以接收點雲資料，該方法包含：接收具有連續關係的一第一點雲資料與一第二點雲資料；對該第一點雲資料與該第二點雲資料進行縮減取樣，以分別成為一第一簡化點雲資料與一第二簡化點雲資料；建立該第一簡化點雲資料的三維點雲索引結構，供搜尋該第二簡化點雲資料中的各資料點以對應於該第一簡化點雲資料的各資料點；建立一最佳化轉換矩陣，使該第二簡化點雲資料透過該最佳化轉換矩陣的轉換後，該第一簡化點雲資料與該第二簡化點雲資料之對應的兩筆資料點的切平面之間具有一最小距離；判斷該最小距離是否小於一判斷值；若是，則所述兩筆資料點為冗餘的資料點；若否，回到「建立該第一簡化點雲資料的三維點雲索引結構，供搜尋該第二點雲資料中的各資料點以對應於該第一簡化點雲資料的各資料點」的步驟，以進行該最佳化轉換矩陣的疊代運算。
如請求項1所述之用於點雲資料貼合之冗餘點偵測方法，該最佳化轉換矩陣
表示如下：
其中 k：疊代次數； R _k ：旋轉矩陣； T _k ：位移矩陣； α _opt、β _opt、γ _opt、t _xopt、t _yopt、t _zopt：最佳化轉換參數。
如請求項2所述之用於點雲資料貼合之冗餘點偵測方法，進一步判斷該第一簡化點雲資料與該第二簡化點雲資料之對應的兩筆資料點的最大誤差值是否符合一收斂條件；若否，重新計算該最佳化轉換矩陣，直到符合該收斂條件；該收斂條件表示如下：
其中 e _k：根據第k次最佳轉換矩陣得到的最大誤差值，
， d _i是該第一簡化點雲資料的資料點， s _i是該第二簡化點雲資料之對應的資料點； e _k-1：根據第k-1次最佳轉換矩陣得到的最大誤差值； t _e ：判斷值。
如請求項3所述之用於點雲資料貼合之冗餘點偵測方法，於判斷該最小距離是否小於該判斷值的步驟中，是以下式判斷該最小距離是否為冗餘點：
其中，t _R為一判斷值。
如請求項4所述之用於點雲資料貼合之冗餘點偵測方法，利用線性解逼近手段建立該最佳化轉換矩陣。