TW201913574A - 應用於物件檢測之攝影機與雷射測距儀的數據融合方法 - Google Patents

Abstract

一種應用於物件檢測之攝影機與雷射測距儀的數據融合方法，以影像處理為基礎結合雷射測距儀，該影像處理是由幾何特徵與雷射測距資料融合的方法，用來重建物件的3D尺寸。

Description

應用於物件檢測之攝影機與雷射測距儀的數據融合方法

本發明是針對在未知的環境中要使自主機器人可以操作物體或執行任務，需要重建機器人所在的環境的三維場景，機器人必須被設計成具有移動的能力外具有認知環境的物體或景像的三維重建感知系統，是機械視覺研究的一個基本問題，立體攝影機系統被設計用來重建場景3D的資訊，本發明為融合雷射測距與影像特徵的重建場景3D影像處理方法。

習知3D影像擷取的優點是大範圍、高解析和短的資料擷取時間，同時可以得到顏色資訊，且取向設備的體積逐漸縮小，用影像處理的方法重建場景深度的品質取決於幾個特性，例如光照條件、場景中物體的紋理、以及場景中物件的複雜度等，通常情況下，立體影像的相對應點搜尋在邊緣和有紋理的區域會得到相當不錯的成果，但是在無影像特徵的區域則會失敗，因此用立體影像來重建無紋理特徵的物件表面深度無法得到好的結果，雷射測距儀可以直接得到點的距離，加上線掃描或面掃描的方式，可以得到二維或三維的距離，且不受環境光源的影響。

攝影機和雷射測距儀，為不同的任務提供了不同的優勢。攝影機可以用來辨識物件的幾何形狀或顏色，而雷射測距儀可以很容易的得到景深資訊。雖然三維雷射測距儀可以量測空間的三維資訊但其價格昂 貴，因此本發明希望能將較便宜的1D雷射測距量測的資料和攝影機的影像融合來重建場景的3D資訊。

由於生產線上擺放的物件位置與形狀是隨機的，如何將雷射測距掃描的資料與影像融合重建物件的3D尺寸及其位置是本發明的重點，在工具機產業中，本發明結合機械手臂是可以增加生產線上的流暢度及自動化的可能性，達到高產能及高精度且降低人事成本，雷射掃描得到的距離可以用幾何的關係求出被量測點與參考平面之間的距離，影像處理可以得到景物的邊緣特徵，若能得到這些特徵點與雷射掃描的相對應點，則可以組合成特徵點的3D資訊用來重建3D場景，因此，本發明探討影像特徵的處理方法，再提出雷射掃描資訊與影像特徵點融合的方法。

上述的邊緣的檢測是以標識影像中亮度變化明顯的點，影像屬性中的顯著變化通常反映了屬性的重要事件和變化。這些包括(1)深度不連續、(2)表面不連續、(3)物質屬性變化、和(4)場景照明變化，邊緣的檢測在黑白影像中，通常以影像的梯度來辨識，偵測方法大致可分為一階導函數的局部極值和二階導函數的過零點來辨識邊緣區域。

點、線、圓檢測算法正在廣泛的研究中，最常見的算法是Hough轉換算法，大多數算法應用圓周上的特徵點以檢測同心圓，根據區域分割方法分割同心圓的不同圓區域，以獲得圓心和半徑，在一個圓圈找出2個特徵點，然後連接這兩個點來獲得一條弦，並根據幾何特性，即圓上任何弦的垂直平分線都會通過圓心。

因此，適當的約束條件需要根據特徵點的算法來進行設置，並具有一定的局限性，基於特徵點的算法有不好的抗干擾和預處理的高需 求，當存在雜訊，失真或邊緣不連續時，將會增加運算的複雜度和時間。

有人提出了一種基於不同位置的校正圖案和相關的物理約束校準的方法，將特徵集成到二維平面，以最大限度地減少在不同感測器特徵之間的距離；或者，其他方法基於障礙校正過程中與特定的圖案，在不同感測器中，允許物理約束相匹配的檢測，使用一個有CAD模型的校準物體，允許由單幀執行匹配，基於三角圖案校正，提出一個使用單眼攝像機基於圓形圖案校正的類似系統。

上述大多數是透過使用特定的圖案進行校正，其中涉及該驅動或用戶的定義，這導致無法在任何時刻或是在任何地點進行校正，校準被限制到一些特定的時刻和地點，尤其是有特殊的條件需求或是需要人工操作。

用於解決上述問題的三維測量系統，價格非常高且架構非常複雜不普遍應用。

因此本發明應用於物件檢測之攝影機與雷射測距儀的數據融合方法，使用螺距致動雷射測距儀(PALRF)結合攝影機來完成設計重建三維深度影像的方法，而PALRF技術是使用一維雷射測距儀安裝在螺距致動器軸心上，在設定的每個角增量中，雷射測距儀會擷取一維的掃描深度資訊，這些向量將被投影到一個局部坐標系，產生一個3D影像為目的。

本發明應用於物件檢測之攝影機與雷射測距儀的數據融合方法，係採用一台雷射測距儀及一台攝影機，有關於影像擷取、影像處理、邊緣提取等方法，以及雷射測距儀線平面校正的方法以及投影到立體幾何 空間的演算法，影像處理主要的方法是利用灰階調整、二值化、形態學運算及圖形分割方法，進行影像中的物件辨識及分析，雷射測距的量測以雷射測距資料轉換與校正，用以與影像處理得到的幾何特徵融合，藉尋找雷射測距儀掃描線與攝影機影像的對應關係，來找出與雷射掃描點相對應的影像特徵，再對這些匹配的圖像與物件的工程圖檔進行比對，來計算出物件表面輪廓與中心及深度等參數，所得到的融合演算法可以用2D的物件影像及1D的雷射測距資料來重建物件的3D尺寸。

1‧‧‧影像讀取

2‧‧‧RGB to HSV色彩轉換

3‧‧‧臨界值選取

4‧‧‧進行二值化

5‧‧‧形態運算

6‧‧‧影像增強

8‧‧‧輪廓追蹤

9‧‧‧分析

圖1：影像處理流程圖

圖2：影像投影與雷射測距的關係

圖3：三維掃描示意圖

圖4：等高線示意圖

圖5：投影點在三維空間中的關係圖

圖6：結合攝影機與雷射測距儀重建3D場景的方法圖

圖7：量測場景

圖8：為以α及γ表示的量測場景的高度曲線

圖9：為以α及γ表示的量測場景的等高線圖

圖10：為以世界座標表示的量測場景的高度曲線

圖11：為以世界座標表示的量測場景的等高線圖

圖12：為雷射測距量測資料的點雲圖

圖13：為影像像素與雷射量測數據融合的點雲圖

圖14(a)：十字形的物件圖

圖14(b)：角狀的物件圖

圖14(c)：多物件的情況圖

圖14(d)：為物件超出範圍的情況圖

圖15(a)：為字形物件影像處理後的結果圖

圖15(b)：為型物件其影像處理結果圖

圖15(c)：為多物件其影像處理結果圖

圖15(d)：為件超出範圍影像處理後的結果圖

圖16(a)：為物件灰階的X方向梯度圖

圖16(b)：為十字形物件灰階的Y方向梯度圖

圖16(c)：為十字型物件灰階的X方向梯度圖

圖16(d)：為十字型物件灰階的Y方向梯度圖

圖16(e)：為多物件灰階的X方向梯度圖

圖16(f)：為多物件灰階的Y方向梯度圖

圖16(g)：為物件超出範圍灰階的X方向梯度圖

圖16(h)：為物件超出範圍灰階的Y方向梯度圖

圖17(a)：為十字形物件的由影成形重建結果圖

圖17(b)：為十字形物件經圖15(a)遮罩運算圖

圖17(c)：為角型物件的由影成形重建結果圖

圖17(d)：為角型物件經圖15(b)遮罩運算圖

圖17(e)：為多物件的由影成形重建結果圖

圖17(f)：為多物件經圖15(c)遮罩運算圖

圖17(g)：為物件超出範圍的由影成形重建結果圖

圖17(h)：為物件超出範圍經圖15(d)遮罩運算圖

圖18(a)：為以α及γ表示的高度曲線

圖18(b)：為以世界座標表示的高度曲線

圖18(c)：為以α及γ表示的等高線圖

圖18(d)：為以世界座標表示的等高線圖

圖19(a)：為以α及γ表示的高度曲線圖

圖19(b)：為以世界座標表示的高度曲線

圖19(c)：為以α及γ表示的等高線圖

圖19(d)：為以世界座標表示的等高線圖

圖20(a)：為以α及γ表示的高度曲線圖

圖20(b)：為以世界座標表示的高度曲線圖

圖20(c)：為以α及γ表示的等高線圖

圖20(d)：為以世界座標表示的等高線圖

圖21(a)：為以α及γ表示的高度曲線圖

圖21(b)：為以世界座標表示的高度曲線圖

圖21(c)：為以α及γ表示的等高線圖

圖21(d)：為以世界座標表示的等高線圖

圖22(a)十字形物件的雷射掃描點雲圖

圖22(b)十字形物件的數據融合的點雲圖

圖22(c)角型物件的雷射掃描點雲圖

圖22(d)角型物件的數據融合的點雲圖

圖22(e)多物件的雷射掃描點雲圖

圖22(f)多物件的數據融合的點雲圖

圖22(g)物件超出範圍的雷射掃描點雲圖

圖22(h)物件超出範圍的數據融合的點雲圖

應用於物件檢測之攝影機與雷射測距儀的數據融合方法，其方法為：首先偵測物件輪廓的影像處理流程如圖1所示，原始的場景影像讀取1，通常會受光源的影響產生不同亮度的背景影像，為了得到目標物的輪廓特徵，先進行影像格式轉換，再用色彩分割的方式進行RGB to HSV色彩轉換2，設定臨界值選取3之後進行二值化4，接著為了降低光源不均勻的影響，將二值化後的色彩分割影像經由形態運算5的開閉合方法去除雜訊，並經由銳化濾波器加強影像增強6線條的輪廓，最後，使用Canny運算子提取邊緣特徵並用連結的方式標記所有像素點進行輪廓追蹤8進而分析9輪廓。如圖2所示，c為攝影機的鏡頭中心，將雷射光源放置在c點上，可以得到雷射光從中心點發射掃描景物的測距方法與景物經由攝影機的影像投影關係，圖中l為場景L的投影，可用表示。雷射掃描場景L得到的距離z(α)可用下述第一式表示： 式中α為雷射掃描角，所以只要將雷射測距儀量測的值乘cosα，即可得到物件L與參考平面的距離，因此由雷射測距儀量測得到的物件L與參考平面的關係可用下述第二式表示：P(z _i ,α _i )=P _ref -LData(α _i )×cosα _i

以上第二式中的i為取樣點，P _ref 為雷射測距儀與參考平面的距離，P(z _i ,α _i )為量測點與參考平面的距離，LData(α _i )為雷射測距儀在取樣角度α _i 的量測值，若能將第二式與攝影機投影幾何結合，找出影像l與雷射掃描Z(α _i )的相對應點，即可融合影像平面上的線段l與其相對應物長L的距離，來重建景物的3D資訊。

如圖3所示，將圖2的影像投影與雷射測距的2D關係擴展到3D，若能控制雷射測距儀具有與雷射掃描方向垂直運動的能力，則進行場景的三維量測是有可能的，如圖3所示，我們以步進馬達驅動雷射測距儀進行俯仰掃描，可將各雷射掃描平面投影到三維空間，雷射平面掃描透過步進馬達驅動俯仰角γ _i 為已知，量測物S得到的距離P(z _i ,α _i ,γ _i )用來表示量測物與參考平面的距離，如下述第三式所示：P(z _i ,α _i ,γ _i )=P _ref -LData(α _i ,γ _i )×cosα _i ×cosγ _i

上式中γ _i 為步進馬達的角度，LData(α _i ,γ _i )為雷射測距儀在取樣角度α _i 的量測值。

用雷射測距儀以圖3的方式掃描物件後，得到的量測資料用第三式轉換並對應到用α _i 及γ _i 表示的網格，可以得到物件的等高曲線，如圖4所示，等高線密集處表示物件表面曲度變化大，物件的影像經梯度運算及邊緣偵測的結果，可以與等高線融合，藉此找出物件的雷射掃描點與其影像的相對應點。

一般而言，雷射光源無法與攝影機鏡頭中心重疊，它們之間會有偏移量b如圖5所示，O點為攝影機投影中心及攝影機坐標系原點，攝影機與雷射測距儀的基座距離b為已知，Z軸與攝影機光軸重疊，因此影像平 面位在焦距f上，目標點P在攝影機坐標系中的坐標P為(X _O ,Y _O ,Z _O )，投影在影像平面上的二維坐標為p(x,y)。

根據針孔成像原理可以得到下述第四式為： 利用三角函數得到下述第五式為： 及由第四式與第五式得到下述第六式： 整理後可得下述第七式：

P點的三維坐標P(X _O ,Y _O ,Z _O )計算結果得到第八式如下： 上式中α為雷射測距儀X方向的掃描角，p點的x,y值可由攝影機參數得知，焦距f值由下述第九式計算得知： 以上式中l為雷射測距儀的量測值，整理後得到第十式如下：

上述，結合攝影機與雷射測距儀重建3D場景的方法如同圖6所示，由雷射測距量測得到的距離L(z,α,γ)，配合已知的α及γ用第三式可 以得到場景的等高線，由攝影機拍攝的場景影像，用影像處理得到場景中各個物件的邊緣線，若能由等高線得到與邊緣特徵的相對應點，即可用第十式來重建3D場景。

經由攝影機及雷射測距儀的參數，如攝影機的焦距f、雷射測距儀及微步進馬達的解析度等，可以使用上述方法將攝影機影像及雷射測距儀的數據進行融合，首先取得微步進馬達的當前位置、雷射測距儀的量測距離以及攝影機的影像，之後進行相對應點搜尋，以得到融合的數據。

由於雷射掃描點的間隔投影在世界座標中的實際網格大小(△X,△Y)可由雷射的掃描角α及俯仰角γ表示，△X=Ldata×(tan(α _i+1)-tan(α _i ))，△Y=Ldata×(tan(γ _i+1)-tan(γ _i ))，可知雷射掃描點間的實際網格的長△X與寬△Y皆不等距，所以雷射掃描得到的Ldata要放在(X,Y)的座標，需先將掃描座標(α,γ)轉成空間座標(X,Y)。影像座標與真實世界座標(X,Y)之間的關係則可以由參考物件的尺寸與參考物件的影像像素值之比例求得，將影像座標(x,y)轉換成空間座標(X,Y)之後，影像的像素就可以與雷射掃描的測距值進行匹配。

如圖7所示的量測場景，矩型物件置於參考板前，設定雷射測距儀的掃描角α範圍為負8度至正32度，步進馬達驅動雷射測距儀的俯仰角γ範圍為正負18度。量測得到的雷射距離量測值，首先使用一維插值的方法，將雷射量測數據擴充至564*456筆資料，接著由第三式轉換，得到以參考平面為基準的高度曲線如圖8所示，為以α及γ表示的量測場景的高度曲線，在圖8中 總共有564條雷射掃描所得到的雷射距離量測曲線，x軸方向為α角，y軸方向為γ角，將參考平面的距離設定為0，由每一行雷射掃描線的軌跡，可得到待測場景中由α及γ定義的點與參考平面的距離P(z _i ,α _i ,γ _i )。將雷射量測距離L(z,α,γ)以第三式處理後，配合以α及γ表示的平面座標，可以得到場景的等高線如圖9所示，以α及γ表示的量測場景的等高線圖，由圖中明顯可以看出等高線，該密集處代表高度的變化大，為物件的邊緣線。

將圖8以α及γ表示網格轉換成世界座標之後，可以得到564條雷射測距儀的線掃描所得到的雷射距離量測曲線，如圖10所示，以世界座標表示的量測場景的高度曲線，將參考平面的距離設定為0，配合以x及y表示的平面座標，可以得到世界座標中的場景的等高線圖如圖11所示，以世界座標表示的量測場景的等高線圖，在圖11中可以明顯看出等高線密集處代表高度的變化大，為物件的邊緣線，可以得到物件的邊緣尺寸及平面高度。

再來，將雷射測距量測資料以點雲圖的形式表示，如圖12所示雷射測距量測資料的點雲圖，可以看出矩形的待測物件的表面輪廓及尺寸，由於量測物件表面無紋理資訊，無法判別此一物件的材質、特性，因此將以圖6的融合方法，將雷射測距量測得到的資料用世界座標表示得到的等高線圖，與影像顏色分割後的二值化影像所得的邊緣特徵加以匹配，得到如圖13所示為影像像素與雷射量測數據融合的點雲圖，圖13是以待測物件的邊界 盒、質心等參數，與雷射掃描所得的距離量測資料進行比對，以相同解析度的資料量，進行特徵匹配，將不匹配的部分移除，因此圖13中，只有520*434筆資料是融合成功的，由融合得到的點雲圖可以完整的得到待測物件的表面紋理特徵以及表面尺寸，圖13的融合結果，其偵測點數量、匹配錯誤點的數量與成功率，如下表所示，得到圖13矩形物件雷射掃描點與影像像素融合結果如下表： 其中成功率的計算如下式： 多物件的3D表面重建結果，如圖14所示，本節的測試將探討十字形的物件、角狀的物件、多物件的情況以及有物件超出範圍的情況，分別如圖14(a)(b)(c)(d)所示。如上所述，首先使用影像處理演算法與重新採樣法進行物件特徵擷取，處理後的二值化影像如圖15所示，其中圖14(a)十字形物件影像處理後的結果是圖15(a)；以及，圖14(b)為角型物件，其影像處理結果為15(b)；以及，圖14(c)為多物件，其影像處理。

結果為圖15(c)以及，圖14(d)物件超出範圍，影像處理後的結果為圖15(d)。

影像處理得到待測物件的影像特徵如表二所示，包含色度、飽和度、亮度、邊界盒、質心及面積等參數，接著計算出圖14的灰階影像的X方向及Y方向梯度變化量，如圖16所示，將圖16(a)與圖16(b)得到的梯度值通過傅立葉轉換使不可積梯度場映射為頻域中的可積基本函數的組合並根據全域積分演算法計算影像深度如圖17(a)所示，得到待測物件的影像特徵如下表所示：

圖17(b)為使用圖15(a)為遮罩將圖17(a)再運算後的結果，同理，將圖16(c)、圖16(d)、圖16(e)、圖16(f)、圖16(g)、圖16(h)所得的梯度值使用由影成形演算法進行深度重建的結果分別如圖17(c)、圖17(e)、圖17(g)所示，而圖17(d)、圖17(f)、圖17(h)則分別是經由圖15(b)、圖15(c)、圖15(d)為遮罩再運算後的結果，由圖17(a)、圖17(c)、圖17(e)、圖17(g)可以看出雖然由影成形演算法可以重建出待測物件的表面高度，但是容易受到表面紋理變化的影響，導致重建錯誤的情形發生。

如參考板的黑白格分別被重建在最高點與最低點上，因此本文使用影像處理過後的二值化影像為遮罩，於由影成形演算法的重建結果進行遮罩運算，得到如圖17(b)、圖17(d)、圖17(f)、圖17(h)的結果。

在圖17(c)中，有一個角形的待測物件，使用由影成形演算法的結果，將角狀物件邊緣的部分重建出高度，但是斜面的部分卻重建成斜率反方向的平面，在圖17(e)中，有三個方形物件位置呈現不適當的擺放，可看到方形物件的側面，有陰影的部分被重建在負的高度上，而正面的部分被重建在正的高度上，如圖17(g)所示，左上角的三角形物件及右下角方形物件，為較深咖啡色的物件，被重建在負的高度上，而另兩塊較淺色的方形物件則被重建在正的高度上，有此可知此一演算法受到顏色紋理的影響很大，且針對角狀物件容易重建失敗，如圖17(a)所示，由於此物件所得的影像只拍到正面的部分，且正面的顏色紋理變化很小，因此使用由影成形演算法可以成功的重建此一物件的表面高度。

分析過由影成形演算法的問題之後，接著使用本發明的方法進行物件的3D表面重建，如前節所述將雷射感測器對圖14的量測場景進行2D的面掃描，將所擷取的雷射測距的量測資料進行插值擴充成564*456筆資料之後，使用第三式將量測資料轉換成以α及γ表示的高度曲線，分別如圖18(a)、圖19(a)、圖20(a)及圖21(a)所示，將參考平面的距離設定為0，配合以α及γ表示的平面座標，可以得到場景的等高線圖分別如圖18(c)、圖19(c)、圖20(c)及圖21(c)所示。由於以α及γ表示的實際網格大小皆不等距，因此需要轉換成以世界座標x及y表示的高度曲線，分別如圖18(b)、圖19(b)、圖20(b)及圖21(b)所示，將參考平面的距離設定為0，配合以x及y表示的平面座標，可以得到世界座標中的場景的等高線圖如圖18(d)、圖 19(d)、圖20(d)及圖21(d)所示，由圖中明顯可以看出等高線密集處代表高度的變化大，為物件的邊緣線。

將圖18(a)、圖19(a)、圖20(a)及圖21(a)的雷射測距量測資料以點雲圖的形式表示，分別如圖22(a)、圖22(c)、圖22(e)、圖22(g)所示，可以看出待測物件的表面輪廓及尺寸，但是無任何的紋理資訊，無法判別這些物件的材質及特性，因此本發明所述的融合方法，得到分別如圖22(b)、圖22(d)、圖22(f)、圖22(h)所示的融合結果。

以待測物件的邊界盒及質心等參數，與雷射掃描所得的距離量測資料進行比對，以相同解析度的資料量，進行特徵匹配，將不匹配的部分移除，得到融合的結果如圖22(b)所示，包括509*410筆資料、圖22(d)486*374筆資料、圖22(f)529*411筆資料及圖22(h)519*411筆資料是匹配成功的，由這些融合點的點雲圖得到待測物件的表面紋理特徵、表面尺寸及表面高度。圖22(b)、圖22(d)、圖22(f)、圖22(h)的融合結果，依偵測點數量、匹配錯誤點的數量與成功率加以比較，不同物件的雷射掃描點與影像像素融合結果為下表所示：

以上所述，攝影機拍攝物件(3D)所得到的影像(2D)失去物件的深度資訊；以及，雷射測距得到的距離是以雷射光源為起點與物的距離，演算法為：

a.發展一種演算法將雷射測距得到的物件距離依雷射掃描角度轉成參考面的等高曲線。

b.發展一種演算法求出量測物件的幾何特徵

c.發展一種演算法將a與b融合來量測得到物件的3D資訊。

其融合演算程序為：

1.影像處理的部分，首先利用顏色分割的方法將待測物件的輪廓分割出來，配合形態學運算濾除雜訊，得到一張有標記的二值化影像，接著利用梯度的大小及方向，使用全域積分來計算影像深度，並使用物件分割出來的二值化影像做為遮罩進行遮蔽運算，所得的由影成型的3D重建圖，較容易因為紋理的變化或是特殊形狀的情況而出現重建錯誤的情形。

2.本發明使用物件分割出來的二值化影像及其特徵參數，與等高線圖的邊緣特徵如邊界盒、質心等參數進行比對，以相同解析度的資料量，進行特徵匹配，並將不匹配的部分移除，融合的結果以點雲圖的形式呈現，本發明的數據融合方法可以將雷射測距所得的資料加以轉換成以參考平面為基準的等高線，與由影像得到的邊緣線進行相對應點匹配，成功的將雷射測距資料與攝影機影像相對應的像素融合。

3.由上述特徵擷取與由影成形演算法的實驗，可知使用全域積分演算法進行3D物件表面的重建結果，若沒有使用遮罩進行非待測物件的場景濾除，會受量測場景的影響；以及，由雷射掃描資料與影像像素點融合的實驗結果，可知雷射掃描點間的實際掃描網格的長與寬皆不等距，所以需先將雷射測距量測得到的資料轉換成以世界平面座標表示的等高線圖，以相同解析度的資料量，進行特徵匹配，再將不匹配的部分移除，以點雲圖的形式呈現融合雷射測距資料與影像特徵得到的待測物件表面紋理特徵以及表面尺寸。

本發明是以矩形物件、十字形物件、角形物件、多物件、物件超出範圍、非實心物件以及具有傾斜角的非實心物件作為待測場景的測試情況，其優點為：(1)在矩形物件的實驗中，得到99.8%的匹配率，而十字形物件、角形物件、多物件以及物件超出範圍的匹配率分別是98.80%、99.95%、97.10%及96.36%，(2)非實心物件的第一層匹配率為93.30%，具有傾斜角的非實心物件的第一層及第二層的匹配率分別為94.88%及98.54%，(3)由多物件的3D表面重建的實驗結果，可知平面型物件、角型物件與超出範圍的物件，以本發明方法為基礎的量測系統可以得到高於95%的良好的重建結果，但是對於非實心物件與具有傾斜角的非實心物件，所得到紋理映射的重建結果較差。經由本發明驗證所設計的數據融合方法，可以用2D的物件影像及1D的雷射測距資料來重建物件的3D尺寸。

Claims (4)

1. 一種應用於物件檢測之攝影機與雷射測距儀的數據融合方法，主要是一攝影機結合一雷射測距儀，該攝影機拍攝3D的物件取得2D影像，該雷射測距儀進行雷射掃描取得測距數據；將2D影像資料與測距數據融合，其融合方法為：將雷射掃描測距數據以演算法將測距數據轉換成以參考平面為基準的高度曲線與平面座標，演算後得到場景的等高線圖；以及，將測距數據資料轉換成世界平面座標並以座標的高度曲線及參考平面為基準的等高線圖判斷物件的實際邊緣相對座標結合攝影機取得的2D影像資料進行影像處理演算法，求出量測物件的幾何特徵與場景的等高線圖判斷物件的邊緣融合，取得重建物件的3D尺寸。
2. 一種應用於物件檢測之攝影機與雷射測距儀的數據融合方法，係指以一攝影機的影像處理為基礎結合一雷射測距儀，以該攝影機的影像處理與雷射測距儀所掃描資料融合的方法：該雷射測距儀，以一種演算法將雷射測距得到的3D物件距離依雷射掃描角度轉成參考面的等高曲線，以演算法求出量測物件的幾何特徵，將等高曲線與幾何特徵以融合演算法取得量測得到物件的3D輪廓資訊；該攝影機的影像處理，由幾何特徵利用顏色分割的方法將待測物件的3D輪廓分割出來，配合形態學運算濾除雜訊，得到一張有標記的二值化影像，接著利用梯度的大小及方向，使用全域積分來計算影像深度，並使用物件分割出來的二值化影像做為遮罩進行遮蔽運算，運算所得成型為3D重建圖；以及，該物件分割出來的二值化影像及其特徵參數 與等高線圖的邊緣特徵參數進行比對，以相同解析度的資料量，進行特徵匹配，並將不匹配的部分移除，融合的結果以點雲圖的形式呈現，藉此該等高曲線與幾何特徵以融合演算法取得數據與攝影機影像處理的相對應像素融合，取得到物件的3D尺寸。
3. 一種應用於物件檢測之攝影機與雷射測距儀的數據融合方法，該數據融合方法係採用一雷射測距儀及一攝影機，該攝影機取得影像擷取、影像處理、邊緣提取等資料，該雷射測距儀線取得平面校正與投影到立體幾何空間的演算資料，藉由影像處理得到的資料利用灰階調整、二值化、形態學運算及圖形分割方法，進行影像中的物件辨識及分析，雷射測距的量測以雷射測距資料轉換與校正，用以與影像處理得到的幾何特徵融合，尋找雷射測距儀掃描線與攝影機影像的對應關係，找出與雷射掃描點相對應的影像特徵，再對這些匹配的圖像與物件的工程圖檔進行比對，計算出物件表面輪廓與中心及深度等參數，得到的融合演算法可將物件2D的影像及雷射測距1D的資料，取得物件的3D尺寸。
4. 一種應用於物件檢測之攝影機與雷射測距儀的數據融合方法，該數據融合方法係採用一雷射測距儀及一攝影機，以該攝影機的影像處理為基礎結合該雷射測距儀，其特徵在於：使用螺距致動雷射測距儀結合攝影機來完成設計重建三維深度影像，將一維雷射測距儀安裝在螺距致動器軸心上，在設定的每個角增量中，雷射測距儀會擷取1D的掃描深度資訊，這些向量將被投影到一個局部坐標系，產生一個3D影像，影像處理是利用灰階調整、二值化、形態學運算及圖 形分割方法，進行影像中的物件辨識及分析，雷射測距的量測以雷射測距資料轉換與校正，轉換與校正後的數據再以與攝影機影像處理得到的幾何特徵融合，藉由雷射測距儀掃描線與攝影機影像處理的幾何特徵對應關係，找出與雷射掃描點相對應的影像特徵，再對這些匹配的圖像與物件的工程圖檔進行比對，計算出物件表面輪廓與中心及深度等參數，藉此將攝影機得到物件影像以影像處理資料與1D的雷射測距資料融合演算來取得物件的3D尺寸。