TWI577493B - 校正方法與應用此方法的自動化設備 - Google Patents

Description

校正方法與應用此方法的自動化設備

本揭露係關於一種校正方法與應用此方法的自動化設備，特別關於一種應用三維影像技術的校正方法與應用此方法的自動化設備。

現今的自動生產線一靠許多的自動化設備來對待加工物件進行加工。雖然可以節省許多的人力，然而自動化設備有其缺陷。具體而言，自動化設備係依據設定好的參數，例如描述物件的加工位置的座標，來對物件進行相應的加工，例如鑽孔或是螺絲鎖固。然而自動化設備與物件的相對位置不會永遠不變，有很多的原因會導致這個相對位置的變異，從而使得對物件的加工出現錯誤。

以往有使用校正板來修正這個位置變異的方法，然而加工板僅僅為一個平面，也僅能修正自動化設備在平面上的轉動或移動，一但待加工的物件不僅僅是一個平面物件，則加工板的使用就無法完全的校正前述的變異。

有鑑於以上的問題，本揭露提出一種校正方法與 應用此方法的自動化設備。藉由建立關於物件的標準三維特徵模型與當前三維特徵模型，並比較兩者的差異，以得到當前物件的位置與標準的物件的位置的誤差，從而修正此一誤差。

依據本揭露所提出的一種校正方法，適於一種自動化設備，此方法包含下列流程。建立關於物件的第一三維特徵模型。擷取物件的三維影像與物件的二維影像。依據三維影像建立物件的第二三維特徵模型。比較第一三維特徵模型與第二三維特徵模型，以得到關於第二三維特徵模型的誤差參數。並依據誤差參數與二維影像，修正自動化設備的加工參數。

應用前述校正方法的自動化設備，包含影像擷取裝置、儲存裝置、控制裝置與加工裝置。其中影像擷取裝置用以擷取物件的三維影像與二維影像。儲存裝置用以儲存關於物件的第一三維特徵模型。控制裝置包含模型化模組與校正模組，其中模型化模組電性連接至影像擷取裝置，用以依據三維影像建立物件的第二三維特徵模型。而校正模組電性連接模型化模組與儲存裝置，用以比較第一三維特徵模型與第二三維特徵模型，以得到關於第二三維特徵模型的誤差參數，並依據誤差參數修正自動化設備的加工參數。加工裝置電性連接至控制裝置的校正模組，用以依據加工參數對物件加工。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本揭露之精神與原理，並且提供本揭露之專利申請範圍更進一步之解釋。

1000、1000’、1000”‧‧‧自動化設備

1100‧‧‧第一影像擷取裝置

1200‧‧‧第二影像擷取裝置

1200’、1250‧‧‧紋理投影裝置

1300‧‧‧儲存裝置

1400‧‧‧控制裝置

1410‧‧‧模型化模組

1420‧‧‧校正模組

1500‧‧‧加工裝置

2000‧‧‧物件

L1~L2‧‧‧光斑

P1~P3‧‧‧點

第1圖係依據本揭露一實施例的自動化設備裝置構造示意圖。

第2圖係依據本揭露一實施例的自動化設備裝置功能方塊圖。

第3圖係依據本揭露一實施例的自動化設備裝置功能方塊圖。

第4圖係依據本揭露一實施例中紋理投射式三維影像擷取裝置所擷取影像示意圖。

第5A圖係依據本揭露另一實施例的自動化設備裝置構造示意圖。

第5B圖係對應於第5A圖的自動化設備裝置功能方塊圖。

第6圖係依據本揭露一實施例的校正方法流程圖。

以下在實施方式中詳細敘述本揭露之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本揭露之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本揭露 相關之目的及優點。以下之實施例係進一步詳細說明本揭露之觀點，但非以任何觀點限制本揭露之範疇。

依據本揭露的一個實施例所揭示的自動化設備，請參照第1圖與第2圖，其中第1圖係依據本揭露一實施例的自動化設備裝置構造示意圖，而第2圖係依據本揭露一實施例的自動化設備裝置功能方塊圖。於本揭露一個實施例中，如第1圖與第2圖所示，自動化設備1000包含第一影像擷取裝置1100、第二影像擷取裝置1200、儲存裝置1300、控制裝置1400與加工裝置1500。控制裝置1400分別電性連接至第一影像擷取裝置1100、第二影像擷取裝置1200、儲存裝置1300與加工裝置1500。

第一影像擷取裝置1100用以擷取物件2000的第一影像。第二影像擷取裝置1200用以擷取物件2000的第二影像。且第一影像擷取裝置1100與第二影像擷取裝置1200之間的位置關係固定不變。並如第1圖所示，第一影像擷取裝置1100與第二影像擷取裝置1200分別對物件2000擷取第一影像與第二影像。其中，第一影像與第二影像均為二維影像。此處所指涉的物件2000，係指一個要用自動化設備1000加工的待加工物件，舉凡大型的機車、汽車或是小型的3C產品組件結構，或是其他可以被自動化生產的產品，均可以是本揭露所指涉的物件。

儲存裝置1300用以儲存關於物件2000的第一三 維特徵模型與前述位置關係。在自動化設備的調校階段時，使用者可以藉由第一影像擷取裝置1100與第二影像擷取裝置1200擷取得到關於物件2000的兩張不同視角的二維影像，從而得到關於物件2000的三維影像，並依據此三維影像建立起關於物件2000的第一三維特徵模型，也就是標準三維特徵模型。更明確來說，由於以兩個影像擷取裝置從不同的視角擷取二維影像，從而得到的三維影像。由於三維影像可以內建有影像中每個點在立體空間中的座標，因此三維影像可以被利用來取得物件2000上每一個特徵點在立體空間中的座標。從而第一三維特徵模型中包含了物件2000的每個特徵點的立體空間位置的座標資料，並且第一三維特徵模型被儲存於儲存裝置1300中。並且，第一影像擷取裝置1100與第二影像擷取裝置1200的位置關係也可以被儲存在儲存裝置1300。

控制裝置1400包含模型化模組1410與校正模組1420。其中模型化模組1410電性連接至第一影像擷取裝置1100、第二影像擷取裝置1200與儲存裝置1300，用以依據第一影像擷取裝置1100與第二影像擷取裝置1200的位置關係、第一影像與第二影像得到物件2000的三維影像，並依據所得到的三維影像建立關於物件2000的第二三維特徵模型。具體來說，於自動化設備1000正式運作時，對於每一個待加工的物件2000，模型化模組1410可以用前述建立第一三維特徵模型的方式同樣的建立當前的物件2000的第二三維特徵模 型。因此，如果當自動化設備1000與物件2000之間的相對關係有改變，例如自動化設備1000的位置移動了，影像擷取裝置的視角改變了，或是物件2000本身稍微轉動了，則所建立的第二三維特徵模型就會不同於第一三維特徵模型。也就是說，第二三維特徵模型中的多個特徵點的立體空間位置的座標會不同於所對應的第一三維特徵模型中的特徵點的立體空間位置座標。

而校正模組1420電性連接模型化模組1410與儲存裝置1300，用以比較第一三維特徵模型與第二三維特徵模型，以得到第二三維特徵模型的誤差參數，並依據誤差參數修正自動化設備的加工參數。如前述，當物件2000與自動化設備1000之間的相對關係改變時，關於物件2000的標準的第一三維特徵模型與當前的第二三維特徵模型會不同，從而可以算出第二三維特徵模型中的多個特徵點的空間位置座標與第一三維特徵模型中對應的特徵點的空間座標的座標差異。由於物件2000與自動化設備1000之間相對關係的變化，大致而言為物件2000或自動化設備1000在空間中的平移、物件2000於輸送帶上的擺設位置的旋轉及/或自動化設備1000本身的視角轉動。因此可以用前述的座標差異計算出一個平移矩陣與一個旋轉矩陣，使得第二三維特徵模型經過平移矩陣與旋轉矩陣運算後，會與第一三維特徵模型重疊。則這個平移矩陣與旋轉矩陣就可以用來修正自動化設備的加工 參數。換句話說，於前述實施例中的第一影像擷取裝置1100與第二影像擷取裝置1200構成了一個雙眼式三維影像擷取裝置。

然而，於另一個實施例中，請參照第3圖，其係依據本揭露一實施例的自動化設備裝置功能方塊圖。如第3圖所示，於自動化設備1000’中，前述第二影像擷取裝置1200可以用一個紋理投射裝置1200’代替。也就是說紋理投射裝置1200’將預設光斑投射至物件2000，而第一影像擷取裝置1100對被投射了預設光斑的物件2000擷取影像。請參照第4圖，其係係依據本揭露一實施例中紋理投射式三維影像擷取裝置所擷取影像示意圖。如第4圖所示的例子是以直線的光斑作為預設光斑，從車輛的右前方投射光影到車上，並從車輛的正前方擷取影像，則由於投射於車輛的預設光斑會因為車輛的表面而變型，因此可以由帶有光斑的影像中車輛表面的預設光斑的紋路與儲存於儲存裝置1300中的預設光斑的紋路，計算得到關於車輛的三維影像。舉例來說，第4圖中的第一光斑L1與第二光斑L2預設為兩條平行的暗紋，因此可以依據第4圖的影像，由於車輛在點P1處由於兩條光斑之間的間距較小，在點P2處兩條光斑之間的距離稍大，而在點P3處兩條光斑之間的距離最達，從而判斷點P1距離第一影像擷取裝置1100最近，而點P3距離第一影像擷取裝置1100最遠，並且可以由點P2與點P3處的光斑的斜率，判斷出點P2所在 的車輛引擎蓋的斜率與點P3所在的車窗的斜率。從而可以建立出車輛正面的三維影像。

此外，當紋理投射裝置1200’並沒有對物件2000投射預設光斑時，第一影像擷取裝置1100可以擷取到物件2000的二維影像。具體來說，於此實施例中，第一影像擷取裝置1100與紋理投射裝置1200’構成一個紋理投射式三維影像擷取裝置。而其餘部份，亦即控制裝置1400利用所擷取的三維影像及/或二維影像來產生第二三維特徵模型、比較第一三維特徵模型與第二三維特徵模型來得到誤差參數、以及依據誤差參數來修正加工參數的作動大致上如同前述實施例所描述，於此不再贅述。

於另一個實施例中，請參照第5A圖與第5B圖，其中第5A圖係依據本揭露另一實施例的自動化設備裝置構造示意圖，而第5B圖係對應於第5A圖的自動化設備裝置功能方塊圖。相較於前述的實施例，本實施例中的自動化設備1000”包含了兩個影像擷取裝置1100、1200與一個紋理投射裝置1250。也就是說本實施例可以用雙眼式三維影像，也可以用紋理投射式三維影像。此外，本實施例中的紋理投射裝置1250可以投影光斑於物件2000而分別以第一影像擷取裝置1100與第二影像擷取裝置1200擷取關於物件2000的影像，因此可以得到關於物件2000的更精確的三維影像。再者，本實施例中的紋理投射裝置1250也可以只投射一條校準線於 物件2000，而第一影像擷取裝置1100與第二影像擷取裝置1200擷取到影像後，可以藉著校準線來作為參考線條，更精確的建立關於物件2000的三維影像。

而後加工裝置1500依據加工參數對物件加工。於一個實施例中，第一影像擷取裝置1100與第二影像擷取裝置1200固定連接於加工裝置1500，換句話說，只要調整加工裝置1500的位置與視角，使得由第一影像擷取裝置1100與第二影像擷取裝置1200所擷取的影像建立的第二三維特徵模型可以與第一三維特徵模型相等，則表示當前自動化設備1000的加工裝置1500與物件2000的相對位置與自動化設備1000在調校時，加工裝置1500與物件2000的相對位置相同。因此控制裝置1400中的校正模組1420依據前述的平移矩陣與旋轉矩陣，控制加工裝置1500移動與轉動，則調整後的加工裝置1500所連接的第一影像擷取裝置1100與第二影像擷取裝置1200所擷取的影像建立的三維特徵模型應該會與第一三維特徵模型相同。

於另一實施例中，於建立關於物件2000的第一三維特徵模型時，可以一併取得關於物件2000的加工影像。加工影像也就是第一影像擷取裝置1100於調校時於預設位置取得的物件2000的二維影像。而當建立第二三維特徵模型實，由於已經一併取得物件2000對應的二維影像。因此實際加工時取得的二維影像經由前述矩陣運算後當能匹配物件 2000的加工影像。

於再一實施例中，前述控制裝置1400係即時地修正加工參數，也就是說，對於每一個物件2000，控制裝置1400會立刻比較其第一三維特徵模型與第二三維特徵模型，以得到關於物件2000的第二三維特徵模型的誤差參數。並且以誤差參數即時計算出當前物件2000對應的加工參數。如此，可以對於每一個自動化生產線上的待加工物件2000都優化對應的加工參數。

而於某些實施例中，控制裝置1400並非即時地修正加工參數，而是依據過去數筆資料來計算自動化設備1000本身位置與角度上的偏移，從而建立起對於下一個待加工物件的加工參數。這樣的方式對於待加工物件本身被固定於流水生產線上的特定位置的加工環境而言，既可以減輕控制裝置1400本身的計算負擔，也可以兼顧對應於物件2000的加工參數的優化。

於另一實施例中，用前述的座標差異計算出的平移矩陣與旋轉矩陣，會使得第一三維特徵模型經過平移矩陣與旋轉矩陣運算後，與第二三維特徵模型重疊。於此實施例中，自動化設備1000與其上的第一影像擷取裝置1100及第二影像擷取裝置1200在空間中的位置是固定不變的，並且第一影像擷取裝置1100與第二影像擷取裝置1200並非連接於加工裝置1500。而加工裝置1500係依據第一三維特徵模型被 設定了對物件2000加工的空間位置。因此可以用前述平移矩陣與旋轉矩陣來修正加工裝置1500被設定的對物件2000加工的空間位置。

於另一實施例中，於建立關於物件2000的第一三維特徵模型時，可以一併取得關於物件2000的加工影像。加工影像也就是第一影像擷取裝置1100於調校時於預設位置取得的物件2000的二維影像。而當建立第二三維特徵模型實，由於已經一併取得物件2000對應的二維影像。因此物件2000的加工影像經由前述實施例的矩陣運算後當能匹配實際加工時取得的二維影像。

也就是說，依據本揭露前述第一個實施例所提出的適於自動化設備的一種校正方法可以一併參照第2圖與第6圖，其中第6圖係依據本揭露一實施例的校正方法流程圖。如流程S100所述，預先建立關於物件2000的第一三維特徵模型並將之儲存於儲存裝置1300。如流程S200所述，建立自動化設備1000的第一影像擷取裝置1100與第二影像擷取裝置1200的位置關係並將之儲存於儲存裝置1300。如流程S300所述，以第一影像擷取裝置1100擷取物件2000的第一影像，並以第二影像擷取裝置1200擷取物件2000的第二影像。如流程S400所述，模型化模組1410依據位置關係、第一影像與第二影像建立物件的第二三維特徵模型。如流程S500所述，校正模組1420比較第一三維特徵模型與第二三維特徵模 型，以得到第二三維特徵模型的誤差參數。並如流程S600所述，校正模組1420依據誤差參數修正自動化設備的加工參數。

綜上所述，本揭露提出一種校正方法與應用此方法的自動化設備。於本揭露一實施例中，藉由建立關於物件的標準三維特徵模型與當前三維特徵模型，並比較兩者的差異，以得到當前物件的位置與標準的物件的位置的誤差，從而修正此一誤差。因此，本揭露所提出的方法及應用此方法的自動化設備，可以在現今的自動化生產流程中，自行修正自動化設備及/或待加工物件的位置誤差，從而提高加工的精確度。

雖然本揭露以前述之實施例揭露如上，然其並非用以限定本揭露。在不脫離本揭露之精神和範圍內，所為之更動與潤飾，均屬本揭露之專利保護範圍。關於本揭露所界定之保護範圍請參考所附之申請專利範圍。

Claims (14)

1. 一種校正方法，適於一種自動化設備，包含：建立關於一物件的一第一三維特徵模型，擷取該物件的一三維影像；依據該三維影像建立該物件的一第二三維特徵模型；比較該第一三維特徵模型與該第二三維特徵模型，以得到關於該第二三維特徵模型的至少一誤差參數；以及依據該至少一誤差參數修正該自動化設備的一加工參數。
2. 如請求項1所述的方法，其中該第一三維特徵模型包含有多個第一特徵點的資料，每一該第一特徵點的資料包含該第一特徵點的一第一空間位置，該第二三維特徵模型包含有多個第二特徵點的資料，每一該第二特徵點的資料包含該第二特徵點的一第二空間位置，該些第一特徵點與該些第二特徵點一一對應。
3. 如請求項2所述的方法，其中於修正該加工參數的步驟中包含：依據該些第一空間位置與該些第二空間位置，得到一座標轉換矩陣；以及以該座標轉換矩陣修正該加工參數。
4. 如請求項2所述的方法，其中該座標轉換矩陣係用以將該些第一空間位置轉換為該些第二空間位置。
5. 如請求項4所述的方法，其中該加工參數包含關於該物件的多個加工空間位置，並且在以該座標轉換矩陣修正該加工參數的步驟中，係以該座標轉換矩陣轉換該些加工空間位置以得到多個被轉換的加工空間位置。
6. 如請求項2所述的方法，其中該座標轉換矩陣係用以將該些第二空間位置轉換為該些第一空間位置。
7. 如請求項6所述的方法，其中在以該座標轉換矩陣修正該加工參數的步驟中，係依據該座標轉換矩陣調整該第一影像擷取裝置的位置與該第二影像擷取裝置的位置。
8. 如請求項1所述的方法，更包含：對該物件擷取對應於該第一三維特徵模型的一加工影像；以及對該物件擷取對應於該第二三維特徵模型的一二維影像；其中於依據該至少一誤差參數修正該自動化設備的該加工參數的步驟中，更依據該加工影像與該二維影像修正該加工參數。
9. 一種自動化設備，包含：一影像擷取裝置，用以擷取一物件的一三維影像；一儲存裝置，用以儲存關於該物件的一第一三維特 徵模型；一控制裝置，包含：一模型化模組，電性連接至該影像擷取裝置，用以依據該三維影像建立該物件的一第二三維特徵模型；以及一校正模組，電性連接該模型化模組與該儲存裝置，用以比較該第一三維特徵模型與該第二三維特徵模型，以得到關於該第二三維特徵模型的至少一誤差參數，並依據該至少一誤差參數修正該自動化設備的一加工參數；以及一加工裝置，電性連接至該控制裝置的該校正模組，用以依據該加工參數對該物件加工。
10. 如請求項9所述的自動化設備，其中該第一三維特徵模型包含有多個第一特徵點的資料，每一該第一特徵點的資料包含該第一特徵點的一第一空間位置，該第二三維特徵模型包含有多個第二特徵點的資料，每一該第二特徵點的資料包含該第二特徵點的一第二空間位置，該些第一特徵點與該些第二特徵點一一對應。
11. 如請求項10所述的自動化設備，其中該校正模組依據該些第一空間位置與該些第二空間位置，得到一座標轉換矩陣，並以該座標轉換矩陣修正該加工參數。
12. 如請求項10所述的自動化設備，其中該座標轉換矩陣係 用以將該些第一空間位置轉換為該些第二空間位置，該加工參數包含關於該物件的多個加工空間位置，並且該校正模組係以該座標轉換矩陣轉換該些加工空間位置以得到多個被轉換的加工空間位置。
13. 如請求項10所述的自動化設備，其中該座標轉換矩陣係用以將該些第二空間位置轉換為該些第一空間位置，該加工參數至少包含該加工裝置與該物件的一相對位置，並且該校正模組依據該座標轉換矩陣調整該加工裝置的位置以修正該加工參數。
14. 如請求項9所述的自動化設備，其中該影像擷取裝置係選自由一雙眼式三維影像擷取裝置與一紋理投射式三維影像擷取裝置所組成的群組其中之一。