TW201818294A - 機器人視覺定位的驗證方法 - Google Patents

Abstract

一種機器人視覺定位的驗證方法，在機器人校正視覺定位後，補償設定的機器人驗證姿態，以補償姿態擷取工作環境中形狀特徵影像，與基準特徵影像比較影像差異值，在影像差異值大於預設差異閥值時，重新進行視覺定位，以確保視覺定位的正確。

Description

機器人視覺定位的驗證方法

本發明有關一種機器人，尤其關於工業機器人利用視覺系統擷取影像，定位作業位置，再行驗證定位的方法。

機器人具有靈活移動、精確定位及連續性作業的特性，已成為產品生產線上製造組裝的最佳利器。而彈性化機器人的作業，讓機器人快速切換生產線，有效率的生產各種產品，已成為提升機器人生產效率的重要課題。

先前技術的機器人將周邊治具設置成相對的固定關係，使機器人與工件、工作台面維持在一定的相對關係，以利機器人取放處理工件。但此種固定關係的方法，包含機器人在內的整個作業單位固定化，需要依賴大量的精準機械治具，以及機械結合始能形成相對的固定關係。一旦生產的工件及處理程序改變，作業單位中所有的機械治具、機械結合、相對固定關係及作業點位都必須精準重新教導設立，而且機器人固定於作業單位中，難以再移作他用，無法彈性調度機器人，缺乏使用彈性。

因此，另有先前技術增加機器人的使用彈性，例如本國公告TW385269專利案，將機器人載於可移動的台車上，在生產線上各作業單位間移動切換工作。為解決台車每次移動到每一作業單位的定位，因工作台 面、地板及台車等水平度三者不一的狀況，造成機器人與工作台面3維空間的不確定關係。先前技術利用在工作台面設置定位標記，搭配機器人的視覺系統，讓機器人在開始工作前，自動完成機器人座標系統與工作台面之3維空間的定位。因此機器人所有在該工作台面的教導的作業點位，將隨定位結果，重新建立原有相對的固定關係，以遂行預設的自動化作業。

然而，前述先前技術利用視覺系統進行空間定位之技術，常因視覺系統本身的誤差、工作環境及光影等的影響，使其定位精度造成偏差，難以完全避免視覺系統辨識誤判狀況。而在視覺系統發生辨識誤判時，將產生錯誤的定位結果，因而影響所有教導點位的自動化作業，以致常造成撞機、工件加工精度不足或損毀工件的困擾。因此，如何確保機器人的視覺定位的正確，是亟待解決的問題。

本發明的目的提供一種機器人視覺定位的驗證方法，在視覺定位後，藉由補償設定機器人驗證姿態擷取工作環境中形狀特徵的影像，與教導的基準特徵影像比較差異，以驗證視覺定位的正確性。

本發明的另一目的提供一種機器人視覺定位的驗證方法，利用擷取特徵影像與基準特徵影像的差異，預設影像差異閥值，在影像差異大於差異閥值時，重新進行視覺定位，以確保視覺定位的正確。

為了達到前述發明的目的，本發明機器人視覺定位的驗證方法，在教導機器人建立及記錄視覺定位基準後，機器人移動進入設定位置，自動控制移動至視覺定位基準記錄的基準姿態，對定位標記擷取定位標記影像，影像處理及比較擷取的定位標記影像與視覺定位基準記錄的基準定 位標記影像的差異，並利用影像差異進行補償校正機器人的定位，對視覺定位基準記錄的驗證姿態進行相同的補償，形成補償姿態，機器人自動控制移動至補償姿態，對形狀特徵擷取特徵影像，影像處理及比較擷取的特徵影像與視覺定位基準記錄的基準特徵影像中形狀特徵的影像差異值，檢查影像差異值不小於預設差異閥值，則重新開始視覺定位驗證。檢查影像差異值小於預設差異閥值，則完成視覺定位驗證作業。

在教導機器人建立及記錄視覺定位基準時，移動機器人進入設定位置，牽引機器人至第一點位，以基準姿態擷取定位標記影像，作為基準定位標記影像，記錄基準定位標記影像及機器人的基準姿態，牽引機器人至第二點位，以驗證姿態擷取工作環境中任一形狀特徵的影像，作為基準特徵影像，記錄基準特徵影像及機器人的驗證姿態，完成建立視覺定位基準。

本發明利用影像差異進行校正機器人定位時，由機器人基準姿態擷取的定位標記影像與記錄的基準定位標記影像，進行兩影像中定位標記的特徵比對，計算位移量及旋轉角度的差異量。根據差異量伺服移動機器人，搜尋比對擷取定位標記的影像，使擷取的定位標記影像與基準定位標記影像相同或其差異量小於預設閥值時，記錄機器人的校正姿態，計算校正姿態與基準姿態的座標的偏移，補償機器人的座標偏移，以完成機器人的校正定位。

本發明的設定位置設在作業單位中機器人的作業位置，定位標記設置在作業單位中的工作台，其中定位標記與作業單位中的工作環境保持相對固定的空間位置關係，形狀特徵為工作環境中任一可識別的特殊 形象。重新開始視覺定位驗證時，計數重新校正定位的次數，一旦超出預設次數限值，即啟動警報。

1‧‧‧作業單位

2‧‧‧機器人

3‧‧‧控制器

4‧‧‧工作台

5‧‧‧工作環境

6‧‧‧固定端

7‧‧‧基座

8‧‧‧定位標記

9‧‧‧活動端

10‧‧‧視覺系統

11‧‧‧定位標記影像

12‧‧‧基準定位標記影像

13‧‧‧特徵影像

14‧‧‧基準特徵影像

圖1 為本發明教導機器人建立視覺定位基準的示意圖。

圖2 為本發明機器人視覺定位的驗證的示意圖。

圖3 為本發明比較基準定位標記影像差異的示意圖。

圖4 為本發明機器人調整姿態搜尋基準定位標記影像的示意圖。

圖5 為本發明機器人以校正姿態擷取特徵影像的示意圖。

圖6 為本發明比較基準特徵影像差異的示意圖。

圖7 為本發明機器人建立視覺定位基準的方法的流程圖。

圖8 為本發明機器人視覺定位的驗證方法的流程圖。

有關本發明為達成上述目的，所採用之技術手段及其功效，茲舉較佳實施例，並配合圖式加以說明如下。

如圖1所示，為本發明教導機器人建立視覺定位基準的示意圖。本發明的作業單位1，主要包含機器人2、控制器3、工作台4及工作環境5。其中機器人2的固定端6固定在基座7，形成機器人座標系統R，而基座7可為台車等移動體，以乘載機器人2進行移動至各作業單位1，接近或離開作業單位1的工作台4，工作台4上設置定位標記8，定位標記8並與工作台4及週邊的工作環境5保持相對固定的空間位置關係，而工作環境5中具有多個形狀特徵F，形狀特徵F可為例如物體尖角或記號等可識別的特殊形象。

機器人2的活動端9設置視覺系統10，機器人2連接至控制器3，由控制器3根據編程控制機器人2移動，使活動端9承載視覺系統10擷取工作台4或工作環境5特徵影像，並將擷取影像時的機器人2姿態及特徵影像記錄在控制器3中。控制器3藉由機器人2擷取影像的姿態，根據各軸節的伺服馬達的轉動關係，可認知及記錄活動端9在機器人座標系統R的座標。因視覺系統10固定在機器人2的活動端9上，由視覺系統10與活動端9相對固定的關係，亦可獲得視覺系統10的座標。控制器3再對儲存的特徵影像進行影像處理，由視覺系統10的聚焦狀況，判別影像中的特徵與視覺系統10的空間關係，以定位特徵的座標。

本發明教導機器人2建立視覺定位基準時，首先使機器人2進入作業單位1中的設定位置，該設定位置為機器人2的作業位置，由使用者牽引機器人2的活動端9移動至第一點位P1，利用控制器3操作視覺系統10，對工作台4台面上的定位標記8擷取影像，作為基準定位標記影像12(參圖3)。再由控制器3記錄基準定位標記影像12及擷取定位標記8影像時的機器人2基準姿態A。機器人2由基準姿態A，根據各軸節的伺服馬達的轉動關係，可計算活動端9在第一點位P1的座標，基準定位標記影像12則提供定位標記8與活動端9的相對空間關係，進一步可獲得與定位標記8保持固定位置關係的工作台4及工作環境5的相對位置關係，而使機器人2在作業單位1中明確定位。

接著再由使用者牽引機器人2的活動端9移動至第二點位P2，利用控制器3操作視覺系統10，對工作環境5的任一形狀特徵F擷取影像，作為基準特徵影像14(參圖6)。再由控制器3記錄基準特徵影像及擷取形 狀特徵F影像時的機器人2驗證姿態B。同理機器人2由驗證姿態B，根據各軸節的伺服馬達的轉動關係，可計算活動端9在第二點位P2的座標，基準特徵影像14則提供形狀特徵F與活動端9的相對空間關係。因形狀特徵F在工作環境5的位置固定，相對與定位標記8維持相對固定空間關係。因此在正確視覺定位請況下，只要利用定位標記8使機器人2在作業單位1中定位，機器人2就能以相同的驗證姿態B擷取相同的基準特徵影像14。

請同時參考圖2至圖6，圖2為本發明機器人視覺定位的驗證的示意圖，圖3為本發明比較基準定位標記影像差異的示意圖，圖4為本發明機器人調整姿態搜尋基準定位標記影像的示意圖，圖5為本發明機器人以校正姿態擷取特徵影像的示意圖，圖6為本發明比較基準特徵影像差異的示意圖。圖2中，本發明在建立視覺定位基準後，當機器人2移動後再進人作業單位1的設定位置時，首先需校正機器人2的定位，機器人2根據建立基準時記錄的資訊，自動控制移動形成基準姿態A，並控制視覺系統10擷取定位標記影像11(參圖3)，經影像處理比較定位標記影像11與基準定位標記影像12(參圖3)的差異，利用影像差異進行校正機器人2定位。

圖3中，本發明利用影像差異進行校正機器人2定位時。由機器人2以基準姿態A擷取的定位標記影像11，與記錄的基準定位標記影像12比較差異，再進行兩影像中定位標記8特徵比對，計算出位移量及旋轉角度的差異量。接著在圖4中，根據差異量伺服移動機器人2，並不斷擷取定位標記8影像進行搜尋比對，使擷取的定位標記影像11與基準定位標記影像12相同或其差異量小於預設閥值時，記錄機器人2的校正姿態A’。此時擷取的定位標記影像11與基準定位標記影像12相同，表示機器人2的活動端9與定 位標記8保持在建立視覺定位基準時的相對位置關係。再根據校正姿態A’，由機器人2各軸節的伺服馬達的轉動關係，可獲得活動端9校正後在機器人2座標系統R的座標，計算校正姿態A’與基準姿態A的活動端9座標的偏移，補償機器人2的座標偏移，就可獲得機器人2在作業單位1的重新定位，以完成機器人2的校正定位。前述僅是舉例說明，機器人2的校正定位方法有多種，本發明包含且不限於前述舉例。

本發明在完成機器人2的校正定位後，因偏移的定位標記8的座標已經過補償，對與定位標記8具有固定空間關係的形狀特徵F的座標也會偏移，因此需先對建立基準時的驗證姿態B進行相同的偏移補償，形成補償姿態B’。圖5中，當本發明進行驗證時，機器人2先根據建立基準時記錄的資訊，對驗證姿態B進行相同的偏移補償為補償姿態B’，機器人2再自動控制移動至補償姿態B’，並控制視覺系統10擷取形狀特徵F的特徵影像13，圖6中，經影像處理比較特徵影像13中形狀特徵F’與基準特徵影像14中形狀特徵F的影像差異值e。例如影像差異值e的X軸：3畫素(pixel),Y：6畫素(pixel)，角度：0.5度，將畫素換算為實際距離如6mm,12mm等。與預設的差異閥值E比較，如果影像差異值e小於差異閥值E，表示定位的誤差經驗證尚在可接受的範圍，機器人2完成定位可繼續進行作業。一旦影像差異值e大於差異閥值E，就表示定位的誤差過大無法繼續進行作業，機器人2需要重新校正定位。而對於一再重新校正定位的機器人2，應進一步設定重新校正定位的次數限值，計數重新校正定位的次數，一旦超出次數限值，即啟動警報通知維修，才能避免碰撞損毀。

如圖7所示，為本發明機器人建立視覺定位基準方法的流 程。根據前述實施例的說明，本發明建立視覺定位基準的方法的流程詳細步驟說明如下：首先在步驟S1，移動機器人進入作業單位的設定位置，開始對機器人建立視覺定位基準；步驟S2，牽引機器人至第一點位，以基準姿態擷取工作台的定位標記影像，作為基準定位標記影像；步驟S3，記錄基準定位標記影像及機器人的基準姿態；步驟S4，牽引機器人至第二點位，以驗證姿態擷取工作環境中任一形狀特徵的影像，作為基準特徵影像，接著至步驟S5，記錄基準特徵影像及機器人的驗證姿態；步驟S6，結束建立視覺定位基準。

如圖8所示，為本發明機器人視覺定位的驗證方法的流程。根據前述實施例的說明，本發明在教導機器人建立及記錄視覺定位基準後，對於移動進入作業單位設定的位置的機器人，需要機器人進行視覺定位及定位驗證，本發明機器人視覺定位的驗證方法的流程詳細步驟說明如下：首先在步驟T1，機器人移動進入作業單位設定的位置，開始進行視覺定位驗證；步驟T2，機器人自動控制移動至視覺定位基準記錄的基準姿態，對工作台的定位標記，擷取定位標記影像；步驟T3，影像處理且比較擷取的定位標記影像與視覺定位基準記錄的基準定位標記影像的差異，利用影像差異進行補償校正機器人的定位；至步驟T4，對建立基準記錄的驗證姿態進行相同的補償，形成補償姿態；接著至步驟T5，機器人自動控制移動至補償姿態，對工作環境中的形狀特徵，擷取特徵影像；步驟T6，影像處理比較擷取的特徵影像與基準特徵影像中形狀特徵的影像差異值；步驟T7，檢查影像差異值是否小於預設差異閥值？如果影像差異值不小於預設差異閥值，則至步驟T8，回至步驟T1，重新開始進行視覺定位驗證，如果影 像差異值小於預設差異閥值，則至步驟T9，完成視覺定位驗證，結束作業。

因此，本發明機器人視覺定位的驗證方法，就可在機器人校正視覺定位後，藉由補償設定的機器人驗證姿態，擷取工作環境中形狀特徵影像，與教導的基準特徵影像比較差異，驗證視覺定位的正確性，並利用擷取特徵影像與基準特徵影像的影像差異值，與預設的影像差異閥值，在影像差異值大於差異閥值時，重新進行視覺定位，以達到確保視覺定位的正確的目的。

以上所述者，僅為用以方便說明本發明之較佳實施例，本發明之範圍不限於該等較佳實施例，凡依本發明所做的任何變更，於不脫離本發明之精神下，皆屬本發明申請專利之範圍。

Claims (10)

1. 一種機器人視覺定位的驗證方法，在教導機器人建立及記錄視覺定位基準後，其步驟包含：機器人進入設定位置；機器人自動控制移動至視覺定位基準記錄的基準姿態，對定位標記，擷取定位標記影像；影像處理及比較擷取的定位標記影像與視覺定位基準記錄的基準定位標記影像的差異，並利用影像差異進行補償校正機器人的定位；對視覺定位基準記錄的驗證姿態進行相同的補償，形成補償姿態；機器人自動控制移動至補償姿態，對形狀特徵擷取特徵影像；影像處理及比較擷取的特徵影像與視覺定位基準記錄的基準特徵影像中形狀特徵的影像差異值；檢查影像差異值不小於預設差異閥值，則重新開始視覺定位驗證。
2. 如申請專利範圍第1項所述之機器人視覺定位的驗證方法，其中教導機器人建立及記錄視覺定位基準的步驟包含：移動機器人進入設定位置；牽引機器人至第一點位，以基準姿態擷取定位標記影像，作為基準定位標記影像；記錄基準定位標記影像及機器人的基準姿態；牽引機器人至第二點位，以驗證姿態擷取工作環境中任一形狀特徵的影像，作為基準特徵影像；記錄基準特徵影像及機器人的驗證姿態； 結束建立視覺定位基準。
3. 如申請專利範圍第2項所述之機器人視覺定位的驗證方法，其中該設定位置設在作業單位中機器人的作業位置。
4. 如申請專利範圍第3項所述之機器人視覺定位的驗證方法，其中該定位標記設置在作業單位中的工作台。
5. 如申請專利範圍第4項所述之機器人視覺定位的驗證方法，其中該定位標記與作業單位中的工作環境保持相對固定的空間位置關係。
6. 如申請專利範圍第5項所述之機器人視覺定位的驗證方法，其中該形狀特徵為工作環境中任一可識別的特殊形象。
7. 如申請專利範圍第1項所述之機器人視覺定位的驗證方法，其中利用影像差異進行校正機器人定位時，由機器人基準姿態擷取的定位標記影像與記錄的基準定位標記影像，進行兩影像中定位標記的特徵比對，計算位移量及旋轉角度的差異量。
8. 如申請專利範圍第7項所述之機器人視覺定位的驗證方法，其中根據差異量伺服移動機器人，搜尋比對擷取定位標記的影像，使擷取的定位標記影像與基準定位標記影像相同或其差異量小於預設閥值時，記錄機器人的校正姿態，計算校正姿態與基準姿態的座標的偏移，補償機器人的座標偏移，以完成機器人的校正定位。
9. 如申請專利範圍第1項所述之機器人視覺定位的驗證方法，其中檢查影像差異值小於預設差異閥值，則完成視覺定位驗證作業。
10. 如申請專利範圍第1項所述之機器人視覺定位的驗證方法，其中重新開始視覺定位驗證時，計數重新校正定位的次數，一旦超出預設次數限值，即 啟動警報。