TWI480508B - 物體位置資訊的量測方法及裝置 - Google Patents

Description

物體位置資訊的量測方法及裝置

本發明是有關於一種量測方法及裝置，且特別是有關於一種物體位置資訊的量測方法及裝置。

在工業自動化之應用上，隨著製程能力的提升，在距離量測的準確性與速度的要求上也逐漸提升。尤其在視覺導引機器人(Vision Guided Robot，VGR)的應用及發展上，對於堆疊工件隨機取放(Ramdom Bin Picking)的距離量測格外重要，以期建立完整工件模型，使得VGR系統由所獲得的影像中精準地計算工件的位置與姿態，進而大幅提昇工件抓取、搬運和組裝能力。

針對目前電子零件、水五金等工件的相關產品，其具有多樣、少量的特性，因此生產線常會因應各種不同的工件而需要使用很多的夾治具，無形中導致成本大幅提昇及效率不佳等問題。因此，此類的生產線常用VGR系統來提升機械手臂對工件的空間姿態辨識能力與抓取能力。然而，因雷射光聚焦之位置與待測工件表面之高度位置的不同，會造成雷射光投射在工件上 出現離焦現象，當此現象產生時，雷射光在攝影機畫面中的位置會有粗細不同現象，不僅不易正確判斷雷射光的座標位置，且當工件表面曲率變化大時，更會因距離估測誤差變大，而無法重現高精度的外觀模型。

本發明係有關於一種物體位置資訊的量測方法及裝置，利用三角測距法，找出光線照射在工件上的座標位置。當影像擷取單元擷取到光線照射在工件表面輪廓上為一不完整的線段時，先進行片斷線段資訊之補償方法，此方法係針對不完整線段之端點的灰階資訊進行一鄰近遮罩補點的演算，強化線段之完整度，以建立完整之工件模型。

本發明係有關於一種物體位置資訊的量測方法及裝置，可以準確地求得光線照射在工件上的座標位置。當光線聚焦的位置與待測工件表面的高度位置不同時，先進行一離焦誤差的演算，以線段亮度值的變異程度，計算出光線的離焦情形。再透過離焦權重演算法進行位置量測，以推算出未離焦之光線照射在工件上的正確座標位置，進而提高三角測距法的精確度。

根據本發明之一方面，提出一種物體位置資訊的量測方法，包括下列步驟。以一光線掃描一檢測平台上的物體，以得到一對應物體表面特徵之輪廓線。接收具有輪廓線的一反射影像，並在一第一方向上的第一位置計算對應的質心位置，包括：根據第一位置在一第二方向，所有超過一亮度門檻值亮度值總 和，以及所有亮度值的總和計算一離焦誤差，其中第二方向垂直於第一方向；根據離焦誤差，計算第一位置的一離焦權重；以及根據離焦權重，計算質心位置。重複在第一方向上的不同位置計算對應之質心位置。根據此等質心位置，計算輪廓線的位置資訊。

根據本發明之一方面，提出一種物體位置資訊的量測裝置。此量測裝置包括一發光源、一影像擷取單元以及一影像處理模組。發光源以一光線掃描一檢測平台上的物體，以得到一對應物體表面特徵之輪廓線。影像擷取單元用以擷取具有輪廓線的一反射影像。影像處理模組接收反射影像，並在一第一方向上的第一位置計算對應的質心位置，其中影像處理模組根據第一位置在一第二方向，所有超過一亮度門檻值亮度值總和，以及所有亮度值的總和計算一離焦誤差，其中第二方向垂直於第一方向，影像處理模組根據離焦誤差，計算第一位置的一離焦權重，並根據離焦權重，計算質心位置。影像處理模組重複在第一方向上的不同位置計算對應之質心位置，並根據此等質心位置，計算輪廓線的位置資訊。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

R‧‧‧光線

M‧‧‧影像

Us‧‧‧輪廓線

Bs‧‧‧基準線

S‧‧‧距離

Y‧‧‧距離

10‧‧‧塊規

20‧‧‧物體

30‧‧‧檢測平台

110‧‧‧發光源

120‧‧‧影像擷取單元

130‧‧‧影像處理模組

E1、E2‧‧‧端點

A‧‧‧不連續的區域

Cs‧‧‧完整輪廓線

f _x (y )‧‧‧灰階值

Ar‧‧‧被照射區域

Cn‧‧‧質心曲線

CoG (x )‧‧‧質心位置

第1A圖為三角測距法的示意圖。

第1B圖為光線照射在標準塊規上的影像。

第2A及2B圖繪示利用三角測距法量測物體的座標位置的一實施例。

第3A及3B圖繪示片斷線段資訊之補償方法。

第4A及4B圖繪示根據第一位置在第二方向上的亮度值的變異程度，計算出光線的離焦情形的一實施例。

第5A及5B圖繪示根據離焦權重計算質心位置的一實施例。

第6A及6B圖繪示擬合質心位置而求得質心曲線的一實施例。

本發明之物體位置資訊的量測方法及裝置，可應用在視覺導引機器人(VGR)系統中，針對堆疊工件(例如水五金等)隨機取放(RBP)的距離量測，以準確地求得光線於堆疊工件上的座標位置。有關物體位置資訊的量測方法及裝置，請參照如下之說明。

請先參照第1A及1B圖的三角測距法，本量測方法先取得光線R(例如雷射結構光)照射在標準塊規10(已知高度為X公分)上的影像M，以求出光線R於塊規10上形成的一輪廓線Us與光線R於檢測平台30上形成的一基準線Bs之間的距離Y。如第1A圖所述，已知影像擷取單元120與發光源110之間的距離為S，已知影像擷取單元120與檢測平台30之間的距離為L，在已知塊規10的高度為X的情況下，則輪廓線Us與基準線Bs之間的距離Y可利用三角測距原理求值，以做為計算影像座標位置的參考值。

請參照第2A及2B圖，其繪示利用三角測距法量測 物體20的座標位置的一實施例。在本實施例中，當光線R照射在物體20上形成的輪廓線Us，因為物體20表面曲率變化大，而發生離焦並有線段粗細不同的現象，因此不易正確判斷影像中輪廓線Us的座標位置，而使輪廓線Us與基準線Bs之間的距離量測的誤差變大。

本發明為了解決上述光線離焦的問題，提出下列實施例並進行詳細說明，實施例僅用以作為範例說明，並非用以限縮本發明欲保護之範圍。

請參照第2A圖，物體位置資訊的量測裝置包括一發光源110、一影像擷取單元120以及一影像處理模組130。發光源110例如是雷射光源或發光二極體。發光源110以一光線R掃描一檢測平台30上的物體20，以得到一對應物體20表面特徵之輪廓線Us以及光線R投射在檢測平台30上所形成的一基準線Bs。影像擷取單元120用以擷取光線投射在物體20上的一反射影像M。影像處理模組130用以接收反射影像M的畫素資料，並計算基準線Bs及輪廓線Us上各畫素位置的亮度資訊。

在第2A圖中，當光線R(例如是線性結構光)水平掃描物體20後，物體20被掃描的區域會形成一條輪廓線Us，可為一直線或一曲線，以呈現物體20被掃描區域的表面特徵或具體形狀。由於雷射光具有單一對焦點的特性，因此當物體20表面的高度不同時，會造成雷射光在物體20上的尺寸(線寬)產生變化，進而造成被掃描區域上的輪廓線Us有粗細不同，如第2B圖所示。

在一實施例中，第一方向與第二方向互相垂直，例 如X軸方向為第一方向，Y軸方向為第二方向。請參照第2B圖，輪廓線在第一方向上的不同位置對應具有一質心位置CoG(x)，如第6A圖所示。其中，影像處理模組130計算在第一方向上的第一位置對應的質心位置的方法包括：(1)根據第一位置在一第二方向，所有超過一亮度門檻值亮度值總和，以及所有亮度值的總和計算一離焦誤差，其中第二方向垂直於第一方向；(2)根據離焦誤差，計算第一位置的一離焦權重；以及(3)根據離焦權重，計算質心位置。接著，重複上述步驟(1)至(3)，在第一方向上的不同位置計算對應之質心位置。之後，根據此等質心位置，計算輪廓線的位置資訊，如第6B圖所示。以下針對各個步驟的細部內容進行說明。

請參照第3A及3B圖，其繪示片斷線段資訊之補償方法。在一實施例中，在影像處理模組130計算離焦誤差之前，當反射影像M中被掃描區域的輪廓線Us為一不完整的線段時，針對不完整線段之端點E1、E2的灰階資訊，更可進行一鄰近遮罩補點的演算，以對此線段中不連續的區域A進行影像補償，以得到一完整的輪廓線Cs，如第3B圖所示。

在第3A圖中，影像處理模組130針對不連續的區域A進行一鄰近遮罩補點的演算，其運算式可表示成A●B=(A⊕B)ΘB 。遮罩補點主要是利用OR邏輯運算，當空間中存在兩個集合A和B，若A被B膨脹時，可表示如A⊕B ，其中的B為結構元素(structuring element)，整個式子是表示將B這集合不斷的位移Z單位元，只要B集合和A集合有重疊至少一個元素，這樣所形成的新集合即為A被B所膨脹的集合A⊕B 。而 膨脹運算的目的，就是希望將物體的邊緣結構往外擴張，使目標物輪廓較為平滑。完成OR運算之後再進行XOR邏輯運算，可表示如(A⊕B)ΘB ，目的是希望將物體的邊緣結構往內收縮，使多餘的部分被刪除。

在本實施例中，選定好不連續的區域A之後，設定一預定畫素尺寸的濾波遮罩，例如3X3畫素尺寸的濾波遮罩，再針對不連續的區域A進行上述遮罩補點的運算，強化線段之完整度，以建立一完整之物體模型。

接著，請參照第4A及4B圖，其繪示根據第一位置在第二方向上的亮度值的變異程度，計算出光線的離焦情形的一實施例。在本實施例中，亮度值例如為灰階值，被照射區域Ar上若有離焦的情形，其尺寸(線寬)會變大，且被照射區域Ar的灰階值f _x (y )會呈現不均勻的分佈，而非呈現典型的鐘型分佈(如虛線所示)，且被照射區域Ar的灰階值會小於聚焦時的灰階值，如第4B圖所示。為了得知被照射區域Ar因光線R離焦而使其亮度值發生變異的程度，影像處理模組130先進行一離焦誤差的演算，以得知輪廓線Us在第一方向上的不同位置的一離焦權重，並根據離焦權重計算光線未離焦時的正確座標位置。離焦誤差以△ε (x )表示，x 代表在影像中某一垂直線段V的水平位置座標，當離焦越嚴重的時候，垂直線段V的最亮點會變少且集中在線段的中間，然而線段的寬度會變大，因此△ε (x )的比值(最亮點的所有灰階值加總除以線段的所有灰階值加總)就會變小。當△ε (x )越小則代表離焦情形越嚴重。

離焦誤差的計算例如是第一位置在第二方向，所有 超過一亮度門檻值之亮度值的總和，與所有亮度值的總和之比值(所有超過一亮度門檻值之亮度值的總和/所有亮度值的總和)。在一實施例中，亮度門檻值例如為最亮點的亮度值，離焦誤差△ε (x ) 的演算法如下。離焦誤差，其中y為在 第二方向上各畫素的垂直位置，代表在第二方向上位置y 為最亮點的所有灰階值的總和，而為在第二方向上位置y的 所有灰階值f _x (y )的總和。

M (x )=max(f _x (y ))表示M (x )為最亮點灰階值，例如 255。，灰階值f _x (y )等於最亮點灰階值M(x) 時，L _x (y )=1，而當f _x (y )不等於最亮點灰階值M(x)時，L _x (y )=0。

因此，當在x位置上最亮點的畫素數量越多時，表示亮度值發生變異的程度越小，光線越聚焦；而當在x位置上最亮點的畫素數量越少時，表示亮度值發生變異的程度越大，光線越離焦。因此，由上述的運算式，求出在第一方向上不同位置的離焦誤差△ε (x )，當△ε (x )越小，表示離焦情形越嚴重。

接著，影像處理模組130根據上述的離焦誤差△ε (x )，求得輪廓線Us在第一方向上的不同位置的一離焦權重，並以離焦權重做為計算座標位置的參數。其中，離焦權重與離焦誤差的數值趨勢為相反，當離焦誤差越小時，離焦權重越大，而當離焦誤差越大時，離焦權重d (x )越小，離焦權重與離焦誤差的 關係例如為，其中α 可為大於1之任意 數。在一實施例中，離焦權重的運算式為：d (x )=100%．exp[-△ε (x )² ]，當△ε (x )越小時，離焦權重d (x )越大，而當△ε (x )越大時，離焦權重d (x )越小。也就是說，在x位置上的離焦情形越嚴重時，求得的離焦權重d (x )會越大。d (x )的值介於0~1之間，1代表離焦很嚴重，0代表沒有離焦情形。

接著，請參照第5A及5B圖，其繪示根據離焦權重計算質心位置的一實施例。第一位置所對應之質心位置的計算，例如是利用第一位置之離焦權重、以及第一位置在第二方向上各點的灰階值進行正規化運算而求得。在一實施例中，由上述的離焦權重，影像處理模組130可進一步根據f _x (y ) ^{d (x )} 函數計算在第一方向上的不同位置的質心位置，其中d (x )越高離焦越嚴重，因此提高離焦權重，讓計算質心位置越不容易受到光線離焦之影響；而d (x )越低表示離焦不嚴重，因此計算質心位置越容易受到光線離焦的影響。如第5B圖所示，受到光線離焦的影響，質心位置不能以傳統的質心法求得，而是根據f _x (y ) ^{d (x )} 函數計算輪廓線Us在第一方向上的不同位置的質心位置CoG (x )，才能得到正確的座標位置。

請參照第6A及6B圖，透過計算出整張影像M中在第一方向上的不同位置對應之質心位置之後，影像處理模組130再利用非線性迴歸法擬合質心位置CoG (x )而求得一質心曲線Cn，以得到光線未離焦時完整輪廓線Cs之所有正確座標位置， 如第6B圖所示。

上述經由擬合質心曲線Cn，以得到完整輪廓線Cs之位置資訊之後，影像處理模組130更利用三角測距法(參見第1圖)，計算完整輪廓線Cs相對於基準線Bs的位置資訊的一差值，以得知物體20之表面相對於檢測平台30之一高度資訊。因此，本實施例可提高三角測距法的精確度。

上述的影像處理的各個步驟中，包括進行一鄰近遮罩補點的演算、計算輪廓線之各垂直線段的長度及超過一亮度門檻值之點的數量、計算離焦誤差及離焦權重、計算輪廓線上各垂直線段的質心位置CoG (x )、擬合各質心位置而求得一質心曲線、以及計算輪廓線相對於基準線的一差值等等。上述步驟可由單一影像處理模組130來完成或由多個影像處理單元所組成的影像處理模組130各別完成。本實施例之影像處理模組130可以是微處理器或以電腦操作之軟體來實現。

由上述可知，本實施例利用雷射單一聚焦點的特性，計算出光線在不同工件高度時的離焦誤差及離焦權重，並進一步求得光線未離焦時在各種堆疊工件上的正確座標位置，以達到高精度的三維物體位置資訊量測之目的。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

R‧‧‧光線

20‧‧‧物體

30‧‧‧檢測平台

110‧‧‧發光源

120‧‧‧影像擷取單元

130‧‧‧影像處理模組

Claims (24)

1. 一種物體位置資訊的量測方法，該量測方法包括：以一光線掃描一檢測平台上的物體，以得到一對應物體表面特徵之輪廓線；以及接收具有該輪廓線的一反射影像，並在一第一方向上的第一位置計算對應的質心位置，包括：根據該第一位置在一第二方向，所有超過一亮度門檻值亮度值總和，以及所有亮度值的總和計算一離焦誤差，其中該第二方向垂直於該第一方向；根據該離焦誤差，計算該第一位置的一離焦權重；以及根據該離焦權重，計算一質心位置；重複在第一方向上的不同位置計算對應之質心位置；以及根據該等質心位置，計算該輪廓線的位置資訊。
2. 如申請專利範圍第1項所述之量測方法，其中該第一方向與該第二方向垂直，且該第一方向為該反射影像的X軸方向，該第二方向為該反射影像的Y軸方向。
3. 如申請專利範圍第1項所述之量測方法，其中該亮度門檻值為最亮點的亮度值。
4. 如申請專利範圍第1項所述之量測方法，其中該亮度值為灰階值。
5. 如申請專利範圍第1項所述之量測方法，更包括利用三角測距法，計算該輪廓線相對於該光線投射在檢測平台上所形成的一基準線的一差值，以得知該物體之表面相對於該檢測平台之一高度資訊。
6. 如申請專利範圍第1項所述之量測方法，其中計算該離焦誤差之前，當該輪廓線為一不完整的線段時，更包括進行一鄰近遮罩補點的演算，以對該線段中不連續的區域進行影像補償，以得到一完整的輪廓線。
7. 如申請專利範圍第1項所述之量測方法，其中計算該離焦誤差更包括計算該輪廓線在該第二方向上的長度及最亮點的數 量，該離焦誤差， 其中代表在該第二方向上位置y為最亮點的所有灰階值的 總和，代表在該第二方向上位置y的所有灰階值的總和，M (x )=max(f _x (y ))表示M (x )為最亮點灰階值，，表示灰階值為最亮點灰階值時定義為1，灰 階值不是最亮點灰階值時定義為0。
8. 如申請專利範圍第7項所述之量測方法，其中該輪廓線在 該第一方向上的不同位置的該離焦權重,d (x )介於0~1之間。
9. 如申請專利範圍第8項所述之量測方法，更包括根據f _x (y ) ^{d (x )} 函數計算該輪廓線在該第一方向上的不同位置的質心位置CoG (x )，表示為,。
10. 如申請專利範圍第9項所述之量測方法，其中得到該輪廓線在該第一方向上的不同位置的質心位置之後，更包括利用非 線性迴歸法擬合各質心位置而求得一質心曲線。
11. 如申請專利範圍第1項所述之量測方法，其中該離焦權重與離焦誤差的數值趨勢為相反。
12. 如申請專利範圍第1項所述之量測方法，其中根據該離焦權重，計算該質心位置之步驟，更包括：利用該第一位置之該離焦權重、以及該第一位置在第二方向上各點的亮度值進行正規化運算以求得該質心位置。
13. 一種物體位置資訊的量測裝置，該量測裝置包括：一發光源，以一光線掃描一檢測平台上的物體，以得到一對應物體表面特徵之輪廓線；一影像擷取單元，用以擷取具有該輪廓線一反射影像；以及一影像處理模組，接收該反射影像，並在一第一方向上的第一位置計算對應的質心位置，其中該影像處理模組根據該第一位置在一第二方向，所有超過一亮度門檻值亮度值總和，以及所有亮度值的總和計算一離焦誤差，其中該第二方向垂直於該第一方向，該影像處理模組根據該離焦誤差，計算第一位置的一離焦權重，並根據該離焦權重，計算質心位置，該影像處理模組重複在該第一方向上的不同位置計算對應之質心位置，並根據該等質心位置，計算該輪廓線的位置資訊。
14. 如申請專利範圍第13項所述之量測裝置，其中該第一方向與該第二方向垂直，且該第一方向為該反射影像的X軸方向，該第二方向為該反射影像的Y軸方向。
15. 如申請專利範圍第13項所述之量測裝置，其中該亮度門檻值為最亮點的亮度值。
16. 如申請專利範圍第13項所述之量測裝置，其中該亮度值為灰階值。
17. 如申請專利範圍第13項所述之量測裝置，其中該影像處理模組利用三角測距法，計算該輪廓線相對於該光線投射在檢測平台上所形成的一基準線的一差值，以得知該物體之表面相對於該檢測平台之一高度資訊。
18. 如申請專利範圍第13項所述之量測裝置，其中當該輪廓線為一不完整的線段時，該影像處理模組進行一鄰近遮罩補點的演算，以對該線段中不連續的區域進行影像補償，以得到一完整的輪廓線。
19. 如申請專利範圍第18項所述之量測裝置，其中該影像處理模組計算該輪廓線在該第二方向上的長度及最亮點的數量，該 離焦誤差， 其中代表在該第二方向上位置y最亮點的所有灰階值的總 和，代表在該第二方向上位置y的所有灰階值的總和，M (x )=max(f _x (y ))表示M (x )為最亮點灰階值，，表示灰階值為最亮點灰階值時L _x (y )=1，灰階 值不是最亮點灰階值的話L _x (y )=0。
20. 如申請專利範圍第19項所述之量測裝置，其中該輪廓線 在該第一方向上的不同位置的該離焦權重,d (x )介於0~1之間。
21. 如申請專利範圍第20項所述之量測裝置，其中該影像處理模組根據f _x (y ) ^{d (x )} 函數計算該輪廓線在該第一方向上的不同位置的質心位置CoG (x )，表示為,。
22. 如申請專利範圍第21項所述之量測裝置，其中該影像處理模組計算該輪廓線在該第一方向上的不同位置的質心位置，並利用非線性迴歸法擬合各質心位置而求得一質心曲線。
23. 如申請專利範圍第13項所述之量測裝置，其中該離焦權重與離焦誤差的數值趨勢為相反。
24. 如申請專利範圍第13項所述之量測裝置，其中該影像處理模組更根據該第一位置之該離焦權重、以及該第一位置在第二方向上各點的亮度值進行正規化運算以求得該質心位置。