TWI610245B - 機器人視覺座標的編程方法 - Google Patents

Abstract

一種機器人視覺座標的編程方法，牽引機器人至作業點位，設定作業點位的座標及拍攝作業為新增點位，拍攝教導影像，並建立視覺座標系統，在建立的視覺座標系統設定接續的新增點位。機器人作業時，在拍攝的作業點位，伺服機器人拍攝影像與教導影像比較，搜尋相同的教導影像，確認視覺座標系統維持在教導時相同對應位置關係，以精確控制機器人。

Description

機器人視覺座標的編程方法

本發明有關一種機器人，尤其關於工業機器人利用拍攝影像，建立視覺座標系統，編程機器人作業點位的方法。

機器人具有靈活移動、精確定位及連續性作業的特性，已成為產品生產線上製造組裝的最佳利器。而簡化機器人作業的編程，讓機器人快速加入生產線，已成為提升機器人生產效率的重要課題。

如圖10所示，先前技術機器人1編程的座標系統，通常包含機器人座標系統(Robot Base)R、世界座標系統(Global Base)G、工具座標系統(Tool Base)T、工件座標系統(Workpiece Base)W等。其中工件座標系統W尤其重要，因機器人1在編程時，可選擇將階段性移動的點位P，記錄在工件2的工件座標系統W。當工件座標系統W的原點位置及三維方位角合起來的6個自由度，相對於機器人座標系統R發生移動改變時，機器人1只要重新取得工件座標系統W相對於機器人座標系統R之變化值，即可讓記錄於工件座標系統W點位P確定相對於機器人座標系統R的位置，以精確控制機器人1至點位P。而點位P座標因記錄於工件座標系統W，不隨機器人座標系統R移動而改變，在人機介面上的顯示並無變化，因此易於設定點位進行機 器人1作業編程。

此外，機器人1的末端或外部常整合視覺裝置3，機器人1藉著視覺裝置3的拍攝影像，並計算影像特徵D於影像平面的座標，與工作環境中已知環境特徵D之座標進行比對，而產生影像特徵D座標偏移值，如X軸：3畫素(pixel),Y：6畫素(pixel),角度：0.5度，再利用前述偏移值，透過影像處理，將像素換算為實際距離如6mm,12mm等，而在編程設定點位時，由使用者補償前述偏移值，使機器人1動作隨影像校正，以提高控制精確度。

然而，前述編程的方式，設定點位需隨拍攝影像一一補償偏移值，不僅使設定點位變得複雜困難，且在多次視覺裝置3拍攝影像進行補償偏移值後，例如點位隨拍攝影像K偏移至L處再隨拍攝影像L偏移至M處等複雜操作時，點位的編程及記錄更為複雜難懂，讓機器人1的編程變得十分困難，設定的點位亦難以管理，無法輕易重複使用需精密計算的點位，導致編程效率降低。因此，如何使具備影像系統的機器人更容易直覺編程，是亟待解決的問題。

本發明的目的提供一種機器人視覺座標的編程方法，藉由機器人視覺裝置在點位拍攝的教導影像，建立視覺座標系統，並在視覺座標系統編程點位，以簡化機器人作業的編程。

本發明的另一目的提供一種機器人視覺座標的編程方法，在編程後，伺服機器人搜尋相同教導影像的影像，確認視覺座標系統，快速移動點位，以提高機器人作業的效率。

本發明再一目的在提供一種機器人視覺座標的編程方法，利用人機介面提供點位編程時選擇儲存的座標系統，並在流程方塊中標示點位的座標系統，及由點位管理頁面登錄點位座標，以加強點位的管理。

為了達到前述發明的目的，本發明機器人視覺座標的編程方法，首先牽引機器人至作業點位，選擇作業點位記錄的座標系統，設定作業點位為新增點位，並設定新增點位的座標及作業，檢查新增點位的作業為拍攝作業時，在新增點位拍攝教導影像，並建立視覺座標系統，檢查未完成編程，則在建立的視覺座標系統設定接續的新增點位，如果已完成編程，則結束編程。而檢查新增點位的作業不為拍攝作業時，則直接檢查是否完成編程。

本發明機器人視覺座標的編程方法，在完成編程後，以設定的座標系統移動機器人至作業點位，檢查作業點位為拍攝作業，伺服機器人拍攝影像與教導影像比較，計算影像的位移量及旋轉角度差異量，搜尋相同的教導影像，檢查拍攝影像與教導影像的差異量小於預設值，確認視覺座標系統維持在教導時相同對應位置關係，以利控制機器人移動點位進行作業。

本發明在檢查差異量不小於預設值檢查，則繼續搜尋相同的教導影像。另在確認視覺座標系統後，記錄拍攝姿態建立新視覺座標系統，以更新視覺座標系統。更新視覺座標系統後，檢查未完成作業，則繼續移動點位，如果已完成作業，則結束作業。而在檢查作業點位不為拍攝作業時，則執行作業點位設定的作業，然後檢查是否完成作業。本發明機器人視覺座標的編程方法，在設定新增點位座標及作業後，機器人的人機介面 的編程畫面，在新增點位的流程方塊下標顯現記錄視覺座標系統的標記。

10‧‧‧編程系統

11‧‧‧機器人

12‧‧‧視覺裝置

13‧‧‧控制器

14‧‧‧人機介面

15‧‧‧儲存裝置

16‧‧‧固定端

17‧‧‧活動端

18‧‧‧作業流程

20‧‧‧工件

21‧‧‧影像

22‧‧‧新增點位鍵

23，28，29，32，35‧‧‧流程方塊

24‧‧‧點位記錄位置

25‧‧‧機器人座標系統項目

26‧‧‧工件座標系統項目

27‧‧‧點位記載畫面

30‧‧‧第一視覺座標系統項目

31，34‧‧‧標記

33‧‧‧第二視覺座標系統項目

36‧‧‧物體

40‧‧‧點位管理畫面

41‧‧‧選擇記錄座標系統

42‧‧‧原座標系統

43‧‧‧新座標系統

圖1 為本發明機器人視覺座標的編程系統圖。

圖2 為本發明機器人在作業中建立視覺座標系統的示意圖。

圖3 為本發明機器人視覺座標系統的示意圖。

圖4 為本發明機器人移動點位的示意圖。

圖5 為本發明人機介面編程的畫面圖。

圖6 為本發明點位記載的畫面圖。

圖7 為本發明點位管理的畫面圖。

圖8 為本發明機器人視覺座標的編程方法的流程圖。

圖9 為本發明機器人視覺座標的作業方法的流程圖。

圖10 為先前技術機器人編程的座標系統圖。

有關本發明為達成上述目的，所採用之技術手段及其功效，茲舉較佳實施例，並配合圖式加以說明如下。

請同時參考圖1、圖2及圖3所示，圖1為本發明機器人視覺座標的編程系統，圖2為本發明機器人在作業中建立視覺座標系統的示意圖，圖3為本發明機器人視覺座標系統的示意圖。圖1中，本發明的編程系統10，主要包含機器人11、視覺裝置12、控制器13、人機介面14及儲存裝置15。其中機器人11的固定端16形成機器人座標系統R，而機器人11的活動端17設置視覺裝置12，機器人11連接至控制器13。使用者利用連接至控制器13的 人機介面14編程機器人11的作業流程18，輸入控制器13的儲存裝置15，由控制器13根據編程控制機器人11移動。並利用活動端17承載的視覺裝置12，擷取工件20的影像21，將拍攝姿態及影像21存在控制器13中的儲存裝置15。控制器13再對儲存裝置15儲存的影像21進行影像處理。因視覺裝置12固定在機器人11的活動端17上，控制器13藉由拍攝姿態根據各軸節的伺服馬達的轉動關係，可認知及記錄活動端17在機器人座標系統R的座標，以及視覺裝置12於各個拍攝姿態下視覺座標系統(Vision Base)V相對於機器人座標系統R的關係。

本發明舉例以伺服式視覺方法偵測工件20在機器人11的視覺座標系統V的相對位置。在編程教導機器人11作業時，牽引機器人11以拍攝姿態A利用視覺裝置12拍攝工件20的教導影像A，根據視覺裝置12所在位置，建立視覺座標系統V，使視覺座標系統V之原點與教導影像A平面座標系統之原點重合，視覺座標系統V的XYZ軸與影像A平面座標系統之XYZ軸重合，亦即利用此時視覺裝置12V相對於機器人座標系統R之6維相對關係，建立視覺座標系統V。並將建立的視覺座標系統V儲存於機器人11儲存裝置15中。因根據機器人11活動端17上的視覺裝置12攝影機建立視覺座標系統的方法有許多種，本發明包含且不限於前述舉例說明。接著再牽引機器人11至處理工件20的處理點位P，利用建立的視覺座標系統V記錄處理點位P的座標，雖然處理點位P的座標及相對工件20的位置相對固定，工件20也與機器人11的活動端17具有相對的關係，但工件20的距離未知，因此在視覺座標系統V的位置仍不明確。

圖2中，為本發明機器人在作業中建立視覺座標系統的示意 圖。本發明機器人11在作業時，由於工件20的輸送或機器人11的移位，造成工件20與機器人11產生相對的位移，無法維持教導時的視覺座標系統V。機器人11先以相同的拍攝姿態A拍攝工件20得到影像A’，影像A’與教導影像A會產生方位的差異，利用教導影像A與實際作業攝得的影像A’，進行影像平面上之特徵比對，計算出位移量及旋轉角度差異量。接著伺服移動機器人11，並不斷拍攝工件20影像進行搜尋，使攝得的影像與教導影像A相同或其差異性小於預設閥值，以完成視覺伺服，並記錄機器人11完成視覺伺服的姿態B。

圖3中，完成視覺伺服時，攝得的影像與教導影像相同時，表示機器人11的活動端17、處理點位P與工件20保持在教導時的相對位置關係。再根據完成視覺伺服的姿態B，建立新視覺座標系統V’，因新視覺座標系統V’相當於姿態B機器人11的視覺裝置12在機器人座標系統R之6維座標R1’，加上教導時的視覺座標系統V，並利用新視覺座標系統V’更新儲存的視覺座標系統V相對於機器人座標系統R的描述值。讓工件20與視覺座標系統V維持在相同對應位置關係，而僅是機器人11的活動端17的座標相對於機器人座標系統R座標的改變。因此完成更新後，不須定位工件20的座標，機器人11的活動端17就可快速移動至設定在視覺座標系統V的處理點位P處理工件20。

請同時參考圖4至圖6，圖4為本發明機器人移動點位的示意，圖5為本發明人機介面編程的畫面圖，圖6為本發明點位記載的畫面圖。圖4中舉例說明機器人11從第一點位P1，遠處利用視覺裝置12拍攝工件20的影像，判斷工件20的大概位置，再移動至接近工件20的第二點位P2，近距 離拍攝放置於工件20上某位置之物體36影像，因此時該物體36在視覺裝置12之影像平面上所佔像素較大，可較精確的決定物體36的方位，接著移動至最適當第三點位P3夾取工件20的物體36，然後退回至較遠的第四點位P4，將物體36放置於工件20上之另一位置的編程及作業流程。

圖5中，本發明利用人機介面14針對前述作業流程進行編程時，首先編程起始點位，牽引機器人11至起始點位P0，在人機介面14接著下拉點位記錄位置24，選擇點位設定的座標系統。點位記錄位置24出現的座標系統項目，通常包含機器人座標系統項目25及部分在教導測試保留有用的座標系統項目，如剛開始編程時，僅有機器人座標系統項目25及工件座標系統項目26可供選擇，選擇機器人座標系統項目25，在人機介面14畫面按壓新增點位鍵22，人機介面14的畫面出現流程方塊23，機器人11自動輸入起始點位P0的機器人座標系統的座標。按壓流程方塊23，出現點位記載的畫面27(參圖5)，檢查設定起始點位P0的座標及作業，儲存流程方塊23為起始方塊。

回至圖4畫面編程第一點位P1，牽引機器人11至遠距離的第一點位P1，下拉點位記錄位置24，選擇機器人座標系統項目25，再按壓人機介面14的新增點位鍵22，畫面出現流程方塊28，機器人11自動輸入機器人座標系統R的第一點位P1座標，按壓人機介面14的流程方塊28，出現點位記載的畫面27(參圖5)，檢查設定並儲存流程方塊28為第一拍攝方塊，機器人11在第一點位P1拍攝遠距離的工件20第一教導影像，以第一教導影像建立第一視覺座標系統V1，並儲存於機器人11儲存裝置中。

再回至圖4畫面編程第二點位P2，牽引機器人11至近距離的 第二點位P2，下拉點位記錄位置24，選擇剛建立的第一視覺座標系統V1項目30，按壓人機介面14的新增點位鍵22，畫面出現流程方塊29，機器人11自動輸入第一視覺座標系統V1的第二點位P2座標，按壓人機介面14的流程方塊29，出現點位記載的畫面27(參圖5)，檢查設定並儲存流程方塊29為第二拍攝方塊，因流程方塊29以第一視覺座標系統V1座標記錄，流程方塊29的下標將出現第一視覺座標系統V1的標記31，以與未標記的機器人座標系統R形成區別，提醒使用者。接著機器人11在第二點位P2拍攝近距離的工件20第二教導影像，以第二教導影像建立第二視覺座標系統V2，並儲存於機器人11儲存裝置中。

回至圖4畫面繼續編程第三點位P3，利用近距離拍攝的工件20上某物體36之第二教導影像，考量較佳的夾取位置，牽引機器人11至夾取點位的第三點位P3夾取物體36，下拉點位記錄位置24，選擇建立的第二視覺座標系統V2項目33，按壓人機介面14的新增點位鍵22，畫面出現流程方塊32，機器人11自動輸入第二視覺座標系統V2的第三點位P3座標，按壓人機介面14的流程方塊32，出現點位記載的畫面27(參圖5)，檢查設定並儲存流程方塊32為夾取作業的第三點位P3，流程方塊32的下標將出現第二視覺座標系統V2的標記34。

然後回至圖4畫面編程第四點位P4，牽引夾取物體36的機器人11至放置點位的第四點位P4，下拉點位記錄位置24，選擇建立的第一視覺座標系統V1項目30，按壓人機介面14的新增點位鍵22，畫面出現流程方塊35，機器人11自動輸入第一視覺座標系統V1的第四點位P4的座標，按壓人機介面14的流程方塊35，出現點位記載的畫面27(參圖5)，檢查設定並儲 存流程方塊35為放置作業的第四點位P4，流程方塊35的下標將出現第一視覺座標系統V1的標記31，完成機器人11夾放的編程。

本發明編程後進行實際作業時，機器人11以機器人座標系統由起始點位P0開始移動至第一點位P1，根據第一拍攝點位的設定，在第一點位P1進行遠距離工件20的拍攝，拍攝影像與第一教導影像比較，計算出位移量及旋轉角度差異量，伺服機器人11搜尋與第一教導影像相同的拍攝影像，建立新第一視覺座標系統V1’，確認機器人11與工件20在第一點位P1的相對位置關係，再移動至第二點位P2。根據第二點位P2第二拍攝點位的設定，在第二點位P2進行近距離的拍攝，拍攝影像與第二教導影像比較，計算出位移量及旋轉角度差異量，伺服機器人11搜尋與第二教導影像相同的拍攝影像，建立新第二視覺座標系統V2’，確認機器人11與工件20上之物體36在第二點位P2的相對位置關係，接著移動至第三點位P3。根據第三點位P3夾取作業的設定，夾取物體36，然後根據新第一視覺座標系統V1’，移動至第四點位P4，根據第四點位P4放置作業的設定，放置物體36於工件20上與當初教導時相同之放置位置，以完成當作業開始時工件20已與教導時與機器人相對關係發生變化後之取放作業。

由前述在各影像的視覺座標系統，不需要過度複雜的計算，直接編程的點位，執行時，雖然點位為各視覺座標系統的座標，但各視覺座標系統建立時，編程系統已記錄各視覺座標系統校正後相對於機器人座標系統的資料，只要將點位視覺座標系統的座標轉換為機器人座標系統的座標。就可控制機器人執行第一點位至第四點位，取放工件的作業流程。

如圖7所示，為本發明的點位管理畫面圖。本發明的點位管 理畫面40，記錄各點位選擇記錄的座標系統41，更包括可於點位儲存管理介面上進行點位座標系轉錄的方法，當使用者選擇重新於其它座標系統記錄此點時，機器人控制器將維持該點位記錄的原座標系統42之記載描述，並依使用者所選定的新座標系統43計算並記錄該點位在新座標系上的座標值，因此可讓使用者辛苦計算的點位得以續存保留，避免因記錄於錯誤的座標系統中遭到刪除或修改，而需要重新計算點位。

如圖8所示，為本發明機器人視覺座標的編程方法的流程。根據前述實施例的說明，本發明機器人視覺座標的編程方法的流程詳細步驟說明如下：首先在步驟S1，開始對機器人進行編程；步驟S2，牽引機器人至作業點位；步驟S3，選擇作業點位記錄的座標系統；步驟S4，設定作業點位為新增點位，並設定新增點位的座標及作業，接著至步驟S5，檢查新增點位是否為拍攝作業？如果為拍攝作業，則至步驟S6，在新增點位拍攝教導影像，再至步驟S7，在拍攝的新增點位建立視覺座標系統；至步驟S8，檢查是否完成編程？如果未完成編程，則回至步驟S2提供選擇建立的視覺座標系統繼續建立新增點位，如果已完成編程，則至步驟S9，結束編程；另在步驟S5，如果檢查新增點位的作業不為拍攝作業，則直接至步驟S8檢查是否完成編程。

如圖9所示，為本發明機器人在編程後作業方法的流程。根據前述實施例的說明，本發明機器人在編程後作業方法的流程詳細步驟說明如下：首先在步驟T1，機器人開始進行編程後作業；步驟T2，以設定的座標系統移動機器人至作業點位；步驟T3，檢查作業點位是否為拍攝作業？如果為拍攝作業，則至步驟T4，伺服機器人拍攝影像與教導影像比較，計 算影像的位移量及旋轉角度差異量，搜尋相同的教導影像，接著至步驟T5，檢查拍攝影像與教導影像的差異量小於預設值？如果差異量不小於預設值，則回至步驟T4繼續搜尋相同的教導影像，如果差異量小於預設值，則至步驟T6，確認視覺座標系統維持在教導時相同對應位置關係，以利控制機器人移位，記錄拍攝姿態建立新視覺座標系統，以更新視覺座標系統；至步驟T7，檢查是否完成作業？如果未完成作業，則回至步驟T2繼續移動點位，如果已完成作業，則至步驟T8，結束作業；另在步驟T3，檢查作業點位不為拍攝作業，則直接至步驟T9，執行作業點位設定的作業，至步驟T7檢查是否完成作業？

因此，因此本發明的機器人視覺座標的編程方法，就可藉由機器人視覺裝置拍攝教導影像，利用教導影像建立視覺座標系統，並直接在視覺座標系統編程點位，達到簡化機器人編程的目的。並在編程後，伺服機器人拍攝及搜尋相同教導影像的影像，確認視覺座標系統，快速移動點位，達到提高機器人作業的效率的目的。此外，本發明的機器人視覺座標的編程方法，可選擇已建立的影像的視覺座標系統間切換編程點位，方便重複利用各視覺座標系統的影像或點位，減少拍攝及影像處理時間，更可提高編程效率的目的。而且本發明機器人視覺座標的編程方法，利用人機介面提供點位編程時，選擇儲存的座標系統，並在流程方塊中標示點位的座標系統，並由點位管理頁面登錄點位座標，加強點位的管理，方便編程參考。

以上所述者，僅為用以方便說明本發明之較佳實施例，本發明之範圍不限於該等較佳實施例，凡依本發明所做的任何變更，於不脫離 本發明之精神下，皆屬本發明申請專利之範圍。

11‧‧‧機器人

17‧‧‧活動端

20‧‧‧工件

21‧‧‧影像

Claims (9)

1. 一種機器人視覺座標的編程方法，其步驟包含：牽引機器人至作業點位；選擇作業點位記錄的座標系統；設定作業點位為新增點位，並設定該新增點位的座標及作業；檢查該新增點位的作業為拍攝作業；在該新增點位利用視覺裝置拍攝教導影像，並根據該視覺裝置所在位置建立視覺座標系統；在建立的視覺座標系統設定接續的新增點位進行編程；執行編程時，以該記錄的座標系統移動機器人至作業點位；檢查作業點位的作業為拍攝作業；伺服機器人拍攝影像與教導影像比較，計算拍攝影像與教導影像的位移量及旋轉角度差異量，搜尋相同的教導影像；控制機器人移動點位進行作業。
2. 如申請專利範圍第1項所述之機器人視覺座標的編程方法，其中在建立視覺座標系統後，檢查未完成編程，則繼續建立新增點位，如果已完成編程，則結束編程。
3. 如申請專利範圍第2項所述之機器人視覺座標的編程方法，其中檢查新增點位的作業不為拍攝作業，則直接檢查是否完成編程。
4. 如申請專利範圍第3項所述之機器人視覺座標的編程方法，其中搜尋相同的教導影像時，檢查拍攝影像與教導影像的差異量小於預設值； 確認視覺座標系統維持在教導時相同對應位置關係，以利控制機器人移動點位進行作業。
5. 如申請專利範圍第4項所述之機器人視覺座標的編程方法，其中檢查差異量不小於預設值檢查，則繼續搜尋相同的教導影像。
6. 如申請專利範圍第4項所述之機器人視覺座標的編程方法，其中確認視覺座標系統後，記錄拍攝姿態建立新視覺座標系統，以更新視覺座標系統。
7. 如申請專利範圍第6項所述之機器人視覺座標的編程方法，其中更新視覺座標系統後，檢查未完成作業，則繼續移動點位，如果已完成作業，則結束作業。
8. 如申請專利範圍第7項所述之機器人視覺座標的編程方法，其中檢查作業點位的作業不為拍攝作業時，則執行作業點位設定的作業，然後檢查是否完成作業。
9. 如申請專利範圍第1項所述之機器人視覺座標的編程方法，其中設定新增點位座標及作業後，機器人的人機介面的編程畫面，在新增點位的流程方塊下標顯現記錄視覺座標系統的標記。