TW201403277A - 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式 - Google Patents

機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式 Download PDF

Info

Publication number
TW201403277A
TW201403277A TW102124403A TW102124403A TW201403277A TW 201403277 A TW201403277 A TW 201403277A TW 102124403 A TW102124403 A TW 102124403A TW 102124403 A TW102124403 A TW 102124403A TW 201403277 A TW201403277 A TW 201403277A
Authority
TW
Taiwan
Prior art keywords
movable portion
coordinate system
robot
orientation
camera
Prior art date
Application number
TW102124403A
Other languages
English (en)
Inventor
Shigeyuki Matsumoto
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of TW201403277A publication Critical patent/TW201403277A/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37205—Compare measured, vision data with computer model, cad data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world

Abstract

本發明之機器人系統包括：相機，其拍攝可動部而製作相機圖像；記憶部，其記憶可動部之形狀模型；匹配處理部，其根據相機圖像與形狀模型之匹配而檢測可動部於相機座標系統中之位置及朝向；控制資訊取得部，其取得由控制可動部之運動之動作控制部所識別的可動部於機器人座標系統中之位置及朝向之資訊；及座標校正部，其基於相機座標系統中之可動部位置及朝向、以及機器人座標系統中之可動部之位置及朝向，而進行相機座標系統與機器人座標系統之關聯。

Description

機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式
本發明係關於一種機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式。
於下述專利文獻1中，揭示有如下意旨：使機器人手握持高精度地形成為工件形狀之測量件，並根據拍攝握持於機器人手中之測量件而得之圖像進行機器人本體與相機之座標對準。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開平10-340112號公報
然而，上述專利文獻1之技術中，於進行機器人本體與相機之座標對準(校準)時，必需使機器人握持測量件之動作，從而於校準時耗費與該動作相應之時間。又，由於使用被稱為測量件之特別治具，故而另需製作其之成本。
因此，本發明之目的在於以低成本更迅速地進行校準。
用以解決上述問題之第一態樣例如係一種機器人系統，其包 括：可動部，其可變更位置及朝向；相機，其拍攝上述可動部而製作相機圖像；記憶部，其記憶上述可動部之形狀模型；匹配處理部，其根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；控制資訊取得部，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；及座標系統校正部，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，而進行上述相機座標系統與上述機器人座標系統之關聯。
藉此，能以低成本更迅速地執行校準。
又，於上述機器人系統中，上述匹配處理部亦可根據三維之上述形狀模型生成上述可動部之二維圖像，並使用所生成之二維圖像，檢測上述相機圖像內之上述可動部之位置及朝向。
藉此，可根據三維之可動部之形狀模型確實地檢測上述相機圖像內之上述可動部之位置及朝向。又，即便不設置複數台相機，亦能以來自1台相機之圖像執行校準。
又，於上述機器人系統中，上述形狀模型亦可為上述可動部之CAD(computer aided design，電腦輔助設計)資料。藉此，能以高精度檢測上述可動部之位置及朝向。又，由於可流用機器人系統之設計階段中已製作之資料，故而可節省製作校準用之形狀模型之資料所耗費之成本。
又，於上述機器人系統中，上述可動部亦可為臂、臂之連桿、或末端效應器(end effector)。藉此，可確實地執行校準。
又，於上述機器人系統中，亦可為上述記憶部存儲複數個不同之可動部之形狀模型；上述匹配處理部使用複數個上述可動部之形狀模型中之至少任一者，檢測該可動部於相機座標系統中之位置及朝向；上述座標系統校正部對於藉由上述匹配處理部而檢測出相機座標 系統中之位置及朝向的可動部，進行上述相機座標系統與上述機器人座標系統之關聯。
藉此，只要存在可自設置有相機之位置進行拍攝之可動部，則即便於其他可動部位於無法自相機進行拍攝之位置之情形時，亦可執行校準。
又，於上述機器人系統中，亦可為於各個上述可動部之表面附有不同之識別資訊，且上述匹配處理部於上述相機圖像中檢測識別資訊，並使用與檢測出之識別資訊相對應之可動部之形狀模型，檢測該可動部於相機座標系統中之位置及朝向。
藉此，可於複數個形狀模型中鎖定成為匹配對象之可動部之形狀模型，故而可更迅速地完成校準。
又，於上述機器人系統中，上述記憶部較佳為存儲機器人系統內之可動部中的動作時之移位較大之可動部之形狀模型。藉此，可提高校準之精度。
用以解決上述問題之第二態樣例如係一種機器人，其包括：可動部，其可變更位置及朝向；圖像取得部，其取得拍攝上述可動部而得之相機圖像；記憶部，其記憶上述可動部之形狀模型；匹配處理部，其根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；動作控制部，其控制上述可動部之運動；控制資訊取得部，其取得上述動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；及座標系統校正部，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數(calibration parameter)；且上述動作控制部基於所生成之上述校準參數而控制上述可動部之運動。
用以解決上述問題之第三態樣例如係一種控制機器人之機器人 控制裝置，其包括：圖像取得部，其取得拍攝可變更位置及朝向之機器人之可動部而得之相機圖像；控制資訊取得部，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；匹配處理部，其取得上述可動部之形狀模型，並根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；座標系統校正部，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數；及輸出部，其將上述校準參數輸出至上述動作控制部。
用以解決上述問題之第四態樣例如係一種機器人之控制方法，其執行以下步驟：圖像取得步驟，其取得拍攝可變更位置及朝向之機器人之可動部而得之相機圖像；控制資訊取得步驟，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；匹配處理步驟，其取得上述可動部之形狀模型，並根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；座標系統校正步驟，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數；及輸出步驟，其將上述校準參數輸出至上述動作控制部。
用以解決上述問題之第五態樣例如係一種控制機器人之機器人控制程式，其使電腦實現以下功能：圖像取得功能，其取得拍攝可變更位置及朝向之機器人之可動部而得之相機圖像；控制資訊取得功能，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；匹配處理功能，其取得 上述可動部之形狀模型，並根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；座標系統校正功能，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數；及輸出功能，其將上述校準參數輸出至上述動作控制部。
10‧‧‧機器人系統
11‧‧‧機器人本體
12‧‧‧臂
13‧‧‧末端效應器
14‧‧‧相機
15‧‧‧機器人控制裝置
16‧‧‧作業台
20‧‧‧可動部
21‧‧‧動作控制部
22‧‧‧記憶部
30‧‧‧形狀模型
31‧‧‧二維圖像
32‧‧‧二維圖像
33‧‧‧二維圖像
40‧‧‧相機圖像
50‧‧‧電腦
51‧‧‧CPU
52‧‧‧RAM
53‧‧‧ROM
54‧‧‧HDD
55‧‧‧通信介面
56‧‧‧輸入輸出介面
57‧‧‧媒體介面
58‧‧‧記憶媒體
120‧‧‧接頭
121‧‧‧連桿
150‧‧‧控制資訊取得部
151‧‧‧座標校正部
152‧‧‧匹配處理部
153‧‧‧圖像取得部
154‧‧‧輸出部
圖1係表示本發明之一實施形態中之機器人系統10之外觀之一例的圖。
圖2係表示機器人系統10之功能構成之一例之方塊圖。
圖3係表示存儲於記憶部22內之形狀模型30之一例之圖。
圖4係表示藉由相機14而製作之相機圖像40之一例之圖。
圖5係表示根據形狀模型30而製作之二維圖像31之一例之圖。
圖6係用以說明匹配處理之概念圖。
圖7係表示機器人控制裝置15之動作之一例之流程圖。
圖8係表示匹配處理(步驟S200)之一例之流程圖。
圖9係表示實現機器人控制裝置15之功能之電腦50之一例的圖。
以下，一面參照圖式一面對本發明之實施形態進行說明。
圖1表示本發明之一實施形態中之機器人系統10之外觀之一例。機器人系統10包括機器人本體11、相機14及機器人控制裝置15。
於本實施形態中，在機器人本體11上安裝有2條臂12，且於各條臂12之前端安裝有機械手等末端效應器13。各條臂12包含複數個接頭120及複數根連桿121。
各個接頭120旋動自如地(惟於特定之可動範圍內可旋動)連結機器人本體11與連桿121、或連桿121彼此、連桿121與末端效應器13。 各個接頭120例如為旋轉接頭，以可使連桿121間之角度產生變化、或者使連桿121進行軸旋轉之方式進行設置。
機器人本體11可藉由使各個接頭120連動並進行驅動而使末端效應器13自如地(惟於特定之可動範圍內)移動，並且亦可朝向任意方向。於圖1所示之例中，各個條臂12成為具有6個接頭120之6軸臂。
又，機器人本體11於自機器人控制裝置15要求控制資訊之情形時，對於預先規定之一末端效應器13，將機器人本體11所識別之機器人座標系統中之末端效應器13之位置及朝向的資訊發送至機器人控制裝置15。再者，末端效應器13之位置及朝向於與機器人之其他部位之相對位置關係中亦可稱為姿勢，末端效應器13之位置及朝向之變化亦可稱為末端效應器13之姿勢之變化。
此時，於末端效應器13為如機械手般形狀會變化者之情形時，機器人本體11以成為預先規定之形狀(例如打開之狀態)之方式控制末端效應器13，並將此時之末端效應器13之位置及朝向之資訊發送至機器人控制裝置15。
相機14拍攝末端效應器13而製作相機圖像，並將所製作之相機圖像發送至機器人控制裝置15。再者，使用者以使預先規定之一末端效應器13映現於由相機14拍攝之相機圖像中之方式調整相機14之朝向。
機器人控制裝置15於校準時自機器人本體11取得末端效應器13之位置及朝向之資訊，且自相機14取得此時之相機圖像。繼而，機器人控制裝置15特定投影至相機圖像之相機座標系統中之末端效應器13之位置及朝向。
繼而，機器人控制裝置15基於機器人本體11所識別的機器人座標系統中之末端效應器13之位置及朝向之資訊、以及相機座標系統中之末端效應器13之位置及朝向之資訊，進行兩座標系統之關聯，並將表 示建立關聯之資訊作為校準參數輸出至機器人本體11。
於校準結束後之實際動作中，機器人本體11取得由相機14拍攝之相機圖像，並於該圖像內識別預先規定之目標點。繼而，機器人本體11對識別出之目標點使用自機器人控制裝置15接收之校準參數，而算出成為預先規定之末端效應器13之位置及朝向的臂12之控制量。繼而，機器人本體11按照算出之控制量控制臂12，藉此執行特定之作業。
圖2係表示機器人系統10之功能構成之一例之方塊圖。於圖2中，所謂可動部20係可變更位置及朝向之機器人之部位，且功能性地表示臂12、或連桿121、末端效應器13等。又，動作控制部21係表示機器人本體11內之功能者。
於記憶部22中，例如存儲有如圖3所示之可動部20之三維形狀模型30之資料。本實施形態中，於記憶部22中存儲有末端效應器13之形狀模型30。
又，於本實施形態中，形狀模型30例如為三維之CAD資料。由於末端效應器13之CAD資料為設計機器人系統10時已製作之資料，故而無需重新製作以用於校準。因此，可削減進行校準時之成本或時間。
再者，為了進行本實施形態中之校準，形狀模型30只要為包含三維外觀形狀及其尺寸之資訊的資料即可，若將此種資料用作形狀模型30，則未必需要使用包含內部形狀等資訊之CAD資料。
又，於記憶部22中預先存儲有相機14之焦距等相機參數之資訊。於本實施形態中，記憶部22係設置於機器人控制裝置15之外部，經由通信纜線而連接於機器人控制裝置15。
機器人控制裝置15包含控制資訊取得部150、座標校正部151、匹配處理部152、圖像取得部153及輸出部154。
控制資訊取得部150自動作控制部21取得動作控制部21所識別的機器人座標系統中之末端效應器13之位置及朝向之資訊並發送至座標校正部151。
圖像取得部153自相機14取得相機圖像並發送至匹配處理部152。於自相機14接收之相機圖像40中，例如，如圖4所示般顯示有末端效應器13。
匹配處理部152於自圖像取得部153接收到相機圖像之情形時，自記憶部22取得末端效應器13之形狀模型30之資料及相機參數。
繼而，例如，如圖5所示，匹配處理部152製作自各個方向觀察三維形狀模型30之情形時之二維圖像31。再者，圖5所示之二維圖像31僅為一例，實際上，亦可製作自除此以外之方向觀察形狀模型30之情形時之二維圖像。
繼而，匹配處理部152將所製作之各個二維圖像31例如像圖6所示般一面於相機圖像40上改變朝向或大小，一面於相機圖像40上進行掃描，並檢索與相機圖像40之相似度達到特定值以上之二維圖像31之朝向及大小。
再者，於組裝成機器人之狀態下，無法自相機14觀察到各個零件與其他零件之連接部分之情形較多。因此，匹配處理部152於二維圖像31中，將連接部分等無法自相機14觀察到之部分自相似度之算出對象中排除。
於發現成為特定值以上之相似度之二維圖像31之朝向及大小之情形時，匹配處理部152基於該二維圖像31於相機圖像40上之大小及朝向，而算出相機座標系統中之末端效應器13之位置及朝向，並將算出之位置及朝向之資訊發送至座標校正部151。
此處，相機14至末端效應器13之距離與相機圖像40上之末端效應器13之大小、及相機14之焦距成比例。由於匹配處理部152預先已 知末端效應器13之三維形狀模型30之尺寸及相機14之焦距，故而可於相機座標系統中算出相機14至末端效應器13之距離。
又，於本實施形態中，由於記憶部22中所存儲之形狀模型為末端效應器13之三維CAD資料，故而匹配處理部152可使用該CAD資料而於相機座標系統中以高精度算出相機14至末端效應器13之距離。
座標校正部151基於自控制資訊取得部150接收之機器人座標系統中之末端效應器13之位置及朝向的資訊、以及自匹配處理部152接收之相機座標系統中之末端效應器13之位置及朝向的資訊，使相機座標系統與機器人座標系統建立關聯。繼而，座標校正部151將包含表示建立關聯之資訊之校準參數發送至輸出部154。
例如，座標校正部151於相機座標系統及機器人座標系統之各者中，使用末端效應器13上對應之特定個數之點的座標而求出相機座標系統與機器人座標系統之旋轉矩陣及平移向量，藉此使相機座標系統與機器人座標系統建立關聯。繼而，座標校正部151將包含所求出之旋轉矩陣及平移向量之資訊的校準參數發送至輸出部154。
輸出部154將自座標校正部151接收之校準參數輸出至動作控制部21。
圖7表示說明機器人控制裝置15之動作之一例之流程圖。例如，於設置機器人系統10後，機器人控制裝置15自使用者受理校準之指示，藉此，機器人系統10開始本流程圖所示之動作。
首先，圖像取得部153對相機14指示末端效應器13之拍攝。相機14拍攝末端效應器13而製作相機圖像，並將所製作之相機圖像發送至機器人控制裝置15(步驟S100)。圖像取得部153自相機14接收相機圖像並將其發送至匹配處理部152。
其次，匹配處理部152執行圖8所示之匹配處理(步驟S200)。圖8係表示匹配處理(步驟S200)之一例之流程圖。
匹配處理部152自記憶部22取得末端效應器13之形狀模型之資料及相機參數(步驟S201)。繼而，匹配處理部152將自相機14觀察之情形時之末端效應器13之形狀模型之朝向設定為初始值(步驟S202)。
其次，匹配處理部152於所設定之朝向中製作可自相機14觀察到之末端效應器13之二維圖像(步驟S203)。繼而，匹配處理部152於所製作之二維圖像中，將自圖像取得部153接收到之相機圖像上之大小設定為初始值(步驟S204)。
繼之，匹配處理部152將所設定之大小之二維圖像一面改變其在相機圖像上之位置或朝向，一面於相機圖像上進行掃描，並算出末端效應器13之二維圖像與相機圖像之相似度(步驟S205)。繼而，匹配處理部152判定是否存在相似度為特定值以上之位置及朝向(步驟S206)。
此處，匹配處理部152較佳為例如起初以就位置上每隔數像素、就朝向上每隔數度之方式粗略地改變位置及朝向而算出相似度，於不存在特定值以上之相似度之位置及朝向之情形時，對於相似度最高之位置及朝向之組合，以1像素及1度之單位細微地改變位置及朝向而算出相似度。
於存在相似度為特定值以上之位置及朝向之情形時(步驟S206：是(Yes))，匹配處理部152基於此時之二維圖像及其大小、以及此時之位置及朝向，而特定相機座標系統中之末端效應器13之位置及朝向(步驟S211)。繼而，匹配處理部152將所特定之位置及朝向之資訊發送至座標校正部151，結束本流程圖所示之匹配處理(步驟S200)。
於不存在相似度為特定值以上之位置及朝向之情形時(步驟S206：否(No))，匹配處理部152判定是否已對所有大小之圖案進行判定(步驟S207)。於未對所有大小之圖案進行判定之情形時(步驟S207：否)，匹配處理部152變更二維圖像之大小(步驟S208)，並再次 執行步驟S205所示之處理。
此處，匹配處理部152例如起初對大小之差較大之若干個不同大小之圖案粗略地改變大小而執行步驟S205及步驟S206。繼而，於無法檢測到特定值以上之相似度之位置及朝向之組合的情形時，匹配處理部152較佳為於檢測到最高相似度之大小附近，對大小之差較小之若干個不同大小之圖案細微地改變大小並執行步驟S205及步驟S206。
於已對所有大小之圖案進行判定之情形時(步驟S207：是)，匹配處理部152判定是否已對所有朝向之圖案進行判定(步驟S209)。於未對所有朝向之圖案進行判定之情形時(步驟S209：否)，匹配處理部152變更自相機14觀察之情形時之末端效應器13之形狀模型之朝向(步驟S210)，並再次執行步驟S203所示之處理。
此處，匹配處理部152例如起初對角度之差較大之若干個不同角度之圖案粗略地改變角度而執行步驟S205~步驟S208。繼而，於無法對於所有圖案之大小檢測到特定值以上之相似度之位置及朝向的組合之情形時，匹配處理部152較佳為於檢測到最高相似度之角度附近，對角度之差較小之若干個不同角度之圖案細微地改變形狀模型之角度並執行步驟S203~步驟S208。
於已對所有朝向之圖案進行判定之情形時(步驟S209：是)，匹配處理部152將無法特定末端效應器13之位置及朝向之意旨通知給座標校正部151，並結束本流程圖所示之匹配處理(步驟S200)。
返回至圖7繼續進行說明。座標校正部151判定於步驟S200中是否可特定相機座標系統中之末端效應器13之位置及朝向(步驟S101)。於無法特定末端效應器13之位置及朝向之情形時(步驟S101：否)，座標校正部151經由顯示裝置等向使用者報錯，從而機器人控制裝置15結束本流程圖所示之動作。
另一方面，於可特定末端效應器13之位置及朝向之情形時(步驟 S101：是)，控制資訊取得部150自動作控制部21取得動作控制部21所識別之機器人座標系統中之末端效應器13之位置及朝向的資訊並發送至座標校正部151(步驟S102)。
其次，座標校正部151基於自控制資訊取得部150接收之機器人座標系統中之末端效應器13之位置及朝向的資訊、以及自匹配處理部152接收之相機座標系統中之末端效應器13之位置及朝向的資訊，使相機座標系統與機器人座標系統建立關聯。
繼而，座標校正部151將包含表示建立關聯之資訊之校準參數發送至輸出部154。輸出部154將自座標校正部151接收之校準參數輸出至動作控制部21(步驟S103)，從而機器人控制裝置15結束本流程圖所示之動作。
圖9係表示實現機器人控制裝置15之功能之電腦50之硬體構成之一例的圖。
電腦50包括CPU(Central Processing Unit，中央處理單元)51、RAM(Random Access Memory，隨機存取記憶體)52、ROM(Read Only Memory，唯讀記憶體)53、HDD(Hard Disk Drive，硬碟驅動器)54、通信介面(I/F)55、輸入輸出介面(I/F)56及媒體介面(I/F)57。
CPU51基於ROM53或HDD54中所存儲之程式進行動作，而進行各部之控制。ROM53存儲啟動電腦50時由CPU51所執行之啟動程式、或依存於電腦50之硬體之程式等。
HDD54存儲由CPU51所執行之程式及由該程式所使用之資料等。通信介面55經由通信線路自其他機器接收資料而發送至CPU51，並將CPU51所生成之資料經由通信線路發送至其他機器。
CPU51經由輸入輸出介面56自鍵盤或滑鼠等輸入輸出裝置取得資料。又，CPU51將生成之資料經由輸入輸出介面56而輸出至顯示裝置或印刷裝置等輸入輸出裝置。
媒體介面57讀取記憶媒體58中所存儲之程式或資料，並經由RAM52而提供給CPU51。CPU51將該程式或資料經由媒體介面57而自記憶媒體58載入至RAM52上，並執行載入之程式。記憶媒體58為例如DVD(Digital Versatile Disc，數位影音光碟)、PD(Phase change rewritable Disk，相變可重寫光碟)等光學記錄媒體、MO(Magneto-Optical disk，磁光碟)等磁光記錄媒體、磁帶媒體、磁性記錄媒體、或半導體記憶體等。
電腦50之CPU51藉由執行載入至RAM52上之程式，而實現控制資訊取得部150、座標校正部151、匹配處理部152、圖像取得部153及輸出部154之各功能。
電腦50之CPU51係自記憶媒體58讀取並執行該等程式，但作為另一例，電腦50之CPU51亦可經由通信線路自其他裝置取得該等程式。
以上，對本發明之實施形態進行了說明。
由上述說明可知，根據本實施形態之機器人系統10，能以低成本更迅速地執行校準。
再者，本發明並不限定於上述實施形態，而包含各種變化例。
例如，於上述實施形態中，機器人控制裝置15係基於末端效應器13之位置及朝向而進行校準，但本發明並不限定於此，只要為機器人中可動之部分，則亦可基於臂內之連桿或接頭、臂整體等之位置及朝向而進行校準。於此情形時，於記憶部22內存儲連桿或接頭、臂整體等之形狀模型。
然而，設為校準對象之可動部較佳為移位較大之部位。例如，與臂相比，較佳為基於安裝在臂之前端之末端效應器之位置及朝向進行校準，若為臂內之連桿或接頭，則與靠近機器人本體之連桿或接頭相比，較佳為基於靠近末端效應器之連桿或接頭之位置及朝向進行校準。藉此，可提高校準之精度。
又，於基於臂整體之位置及朝向進行校準之情形時，由於藉由接頭處之旋轉角使臂整體上形狀發生變化，故而於進行校準時，較佳為將所有接頭之角度設定為預先規定之角度(例如0度)等而使臂整體之形狀為預先規定之形狀後進行校準。藉此，可使臂整體上使用一個形狀模型，從而可防止校準所耗費之時間因形狀模型之選擇而延長。
又，於上述實施形態中，匹配處理部152係將根據記憶部22內之末端效應器13之形狀模型而製作之二維圖像於由相機14所拍攝之相機圖像上整體地掃描而算出相似度，但本發明並不限定於此。
例如，亦可對實體機之末端效應器13之表面賦予標記等識別資訊，匹配處理部152藉由圖像識別於由相機14所拍攝之相機圖像內檢測該識別資訊，並於相機圖像內優先掃描所檢測出之識別資訊之附近而算出相似度。藉此，可更迅速地特定相機座標系統中之可動部之位置及朝向。
再者，識別資訊亦可被賦予至可動部之形狀模型之表面。於該情形時，只要基於相機圖像上之識別資訊之外觀，特定形成此種外觀之方向，並根據形狀模型製作自所特定之方向觀察之二維圖像，則可更迅速地特定相機座標系統中之可動部之位置及朝向。
又，於上述實施形態中，僅基於作為可動部之末端效應器之位置及朝向進行校準，但本發明並不限定於此，亦可於記憶部22內預先存儲若干個不同之複數個可動部(例如，除末端效應器以外，不同之連桿、不同之接頭等)之形狀模型，並使用其中之於相機圖像內可特定位置及朝向之形狀模型而進行校準。
藉此，若存在可自設置有相機14之位置進行拍攝之可動部，則即便於其他可動部位於無法自相機14進行拍攝之位置之情形時，亦可進行校準。因此，於進行校準時，無需使機器人做出特定之姿勢，而可更迅速地開始校準。又，於實際作業中，亦可使用顯現於相機14之 部位而隨時執行校準。
又，於此情形時，亦可使各個形狀模型與不同之識別資訊建立關聯，且於對應之實體機之可動部之表面亦預先賦予識別資訊，匹配處理部152藉由圖像識別於由相機14所拍攝之相機圖像內檢測識別資訊，並使用與可檢測到之識別資訊相對應之形狀模型而特定相機圖像上之可動部之位置及方向。藉此，即便於存在複數個形狀模型之情形時，亦可迅速地進行校準。
又，於圖1中，亦可將具有可動部20、動作控制部21及機器人控制裝置15之功能之裝置、或進而包含記憶部22之裝置構成為機器人。又，亦可於機器人控制裝置內包含動作控制部21。
以上，使用實施形態對本發明進行了說明，但本發明之技術範圍並不限定於上述實施形態所記載之範圍。對業者而言可明白能夠對上述實施形態添加各種變更或改良。又，由申請專利範圍之記載可知，添加有此種變更或改良之形態亦可包含於本發明之技術範圍內。
10‧‧‧機器人系統
11‧‧‧機器人本體
12‧‧‧臂
13‧‧‧末端效應器
14‧‧‧相機
15‧‧‧機器人控制裝置
16‧‧‧作業台
120‧‧‧接頭
121‧‧‧連桿

Claims (10)

  1. 一種機器人系統，其特徵在於包括：可動部，其可變更位置及朝向；相機，其拍攝上述可動部而製作相機圖像；記憶部，其記憶上述可動部之形狀模型；匹配處理部，其根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；控制資訊取得部，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；及座標系統校正部，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，而進行上述相機座標系統與上述機器人座標系統之關聯。
  2. 如請求項1之機器人系統，其中上述匹配處理部根據三維之上述形狀模型生成上述可動部之二維圖像，並使用所生成之二維圖像，檢測上述相機圖像內之上述可動部之位置及朝向。
  3. 如請求項1之機器人系統，其中上述形狀模型為上述可動部之三維CAD(computer aided design，電腦輔助設計)資料。
  4. 如請求項1之機器人系統，其中上述可動部為臂、臂之連桿、或末端效應器。
  5. 如請求項1之機器人系統，其中上述記憶部存儲複數個不同之可動部之形狀模型； 上述匹配處理部使用複數個上述可動部之形狀模型中之至少任一者，檢測該可動部於相機座標系統中之位置及朝向；上述座標系統校正部對於藉由上述匹配處理部而檢測出相機座標系統中之位置及朝向的可動部，進行上述相機座標系統與上述機器人座標系統之關聯。
  6. 如請求項5之機器人系統，其中於各個上述可動部之表面附有不同之識別資訊；上述匹配處理部於上述相機圖像中檢測識別資訊，並使用與檢測出之識別資訊相對應之可動部之形狀模型，檢測該可動部於相機座標系統中之位置及朝向。
  7. 一種機器人，其特徵在於包括：可動部，其可變更位置及朝向；圖像取得部，其取得拍攝上述可動部而得之相機圖像；記憶部，其記憶上述可動部之形狀模型；匹配處理部，其根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；動作控制部，其控制上述可動部之運動；控制資訊取得部，其取得上述動作控制部所識別之上述可動部於機器人座標系統中之位置及朝向之資訊；及座標系統校正部，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數；且上述動作控制部基於所生成之上述校準參數而控制上述可動部之運動。
  8. 一種機器人控制裝置，其係控制機器人者，且其特徵在於包 括：圖像取得部，其取得拍攝可變更位置及朝向之機器人之可動部而得之相機圖像；控制資訊取得部，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；匹配處理部，其取得上述可動部之形狀模型，並根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；座標系統校正部，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數；及輸出部，其將上述校準參數輸出至上述動作控制部。
  9. 一種機器人控制方法，其特徵在於執行以下步驟：圖像取得步驟，其取得拍攝可變更位置及朝向之機器人之可動部而得之相機圖像；控制資訊取得步驟，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；匹配處理步驟，其取得上述可動部之形狀模型，並根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；座標系統校正步驟，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之 關聯而生成校準參數；及輸出步驟，其將上述校準參數輸出至上述動作控制部。
  10. 一種機器人控制程式，其係控制機器人者，其特徵在於：使電腦實現以下功能：圖像取得功能，其取得拍攝可變更位置及朝向之機器人之可動部而得之相機圖像；控制資訊取得功能，其取得由控制上述可動部之運動之動作控制部所識別的上述可動部於機器人座標系統中之位置及朝向之資訊；匹配處理功能，其取得上述可動部之形狀模型，並根據上述相機圖像與上述形狀模型之匹配，檢測上述可動部於相機座標系統中之位置及朝向；座標系統校正功能，其基於上述相機座標系統中之上述可動部之位置及朝向、以及上述機器人座標系統中之上述可動部之位置及朝向，進行上述相機座標系統與上述機器人座標系統之關聯而生成校準參數；及輸出功能，其將上述校準參數輸出至上述動作控制部。
TW102124403A 2012-07-11 2013-07-08 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式 TW201403277A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012155252A JP5949242B2 (ja) 2012-07-11 2012-07-11 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム

Publications (1)

Publication Number Publication Date
TW201403277A true TW201403277A (zh) 2014-01-16

Family

ID=48790214

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102124403A TW201403277A (zh) 2012-07-11 2013-07-08 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式

Country Status (6)

Country Link
US (1) US20140018957A1 (zh)
EP (1) EP2684651A3 (zh)
JP (1) JP5949242B2 (zh)
KR (1) KR20140008262A (zh)
CN (1) CN103538061A (zh)
TW (1) TW201403277A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI696529B (zh) * 2018-11-30 2020-06-21 財團法人金屬工業研究發展中心 自動定位方法以及自動控制裝置

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015089575A (ja) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 ロボット、制御装置、ロボットシステム及び制御方法
JP5815761B2 (ja) 2014-01-23 2015-11-17 ファナック株式会社 視覚センサのデータ作成システム及び検出シミュレーションシステム
EP3157715B1 (en) 2014-06-23 2019-06-05 ABB Schweiz AG Method for calibrating a robot and a robot system
JP6372198B2 (ja) * 2014-07-01 2018-08-15 セイコーエプソン株式会社 ロボットシステム及び処理装置
JP6415190B2 (ja) 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
CN104476549B (zh) * 2014-11-20 2016-04-27 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
CN104647377B (zh) * 2014-12-30 2016-08-24 杭州新松机器人自动化有限公司 一种基于认知系统的工业机器人及其控制方法
EP3277468A4 (en) 2015-04-02 2019-10-16 ABB Schweiz AG METHOD FOR COMMISSIONING AN INDUSTRIAL ROBOT, INDUSTRIAL ROBOT SYSTEM AND CONTROL SYSTEM USING THE SAME
US9964941B2 (en) * 2015-05-06 2018-05-08 Aleader Vision Technology Co., Ltd. Method, device and system for improving system accuracy of X-Y motion platform
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
JP6174654B2 (ja) * 2015-10-15 2017-08-02 ファナック株式会社 センサの位置と向きを算出する機能を備えたロボットシステム
US10363667B2 (en) * 2015-11-30 2019-07-30 Autodesk, Inc. Optical measurement of object location in three dimensions
US11230011B2 (en) * 2016-02-02 2022-01-25 Abb Schweiz Ag Robot system calibration
CN106003023A (zh) * 2016-05-25 2016-10-12 珠海格力智能装备有限公司 机器人运动控制系统和方法
US10105847B1 (en) * 2016-06-08 2018-10-23 X Development Llc Detecting and responding to geometric changes to robots
GB2551769B (en) * 2016-06-30 2020-02-19 Rolls Royce Plc Methods, apparatus, computer programs and non-transitory computer readable storage mediums for controlling a robot within a volume
US10661442B2 (en) * 2017-02-03 2020-05-26 Abb Schweiz Ag Calibration article for a 3D vision robotic system
JP6877191B2 (ja) * 2017-03-03 2021-05-26 株式会社キーエンス 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
JP6426781B2 (ja) 2017-03-08 2018-11-21 ファナック株式会社 機械システム
WO2018199947A1 (en) * 2017-04-26 2018-11-01 Hewlett-Packard Development Company, L.P. Robotic structure calibrations
DE102017207069A1 (de) 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung
DE102017207063A1 (de) * 2017-04-27 2018-10-31 Robert Bosch Gmbh Steuereinrichtung für eine Prüfvorrichtung, Prüfanordnung mit der Steuereinrichtung, Verfahren zur Ansteuerung der Prüfanordnung und Computerprogramm
WO2018215047A1 (en) * 2017-05-22 2018-11-29 Abb Schweiz Ag Robot-conveyor calibration method, robot system and control system
US10853539B2 (en) * 2017-05-26 2020-12-01 Autodesk, Inc. Robotic assembly of a mesh surface
JP6633584B2 (ja) * 2017-10-02 2020-01-22 ファナック株式会社 ロボットシステム
US11504853B2 (en) * 2017-11-16 2022-11-22 General Electric Company Robotic system architecture and control processes
DE102018101162B4 (de) * 2018-01-19 2023-09-21 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
JP7017469B2 (ja) * 2018-05-16 2022-02-08 株式会社安川電機 操作用デバイス、制御システム、制御方法及びプログラム
JP2020013242A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 ロボット制御システム、ロボット装置およびプログラム
JP2020066066A (ja) * 2018-10-22 2020-04-30 セイコーエプソン株式会社 ロボットシステム、ロボットの校正治具、ロボットの校正方法
JP6829236B2 (ja) * 2018-11-15 2021-02-10 ファナック株式会社 ロボット制御装置及びロボットシステム
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN111890371B (zh) * 2019-03-29 2021-05-04 牧今科技 验证和更新机器人控制用校准信息的方法和控制系统
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN112677146A (zh) * 2019-10-18 2021-04-20 牧今科技 验证和更新机器人控制用校准信息的方法和控制系统
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP7264763B2 (ja) * 2019-08-07 2023-04-25 株式会社日立製作所 キャリブレーション装置
CN111136654A (zh) * 2019-12-03 2020-05-12 秒针信息技术有限公司 送餐机器人位置提示方法和系统及送餐机器人
US11182178B1 (en) 2020-02-21 2021-11-23 Automation Anywhere, Inc. Detection of user interface controls via invariance guided sub-control learning
JP7323057B2 (ja) * 2020-03-31 2023-08-08 日本電気株式会社 制御装置、制御方法、および、制御プログラム
CN112077841B (zh) * 2020-08-10 2022-02-11 北京大学 一种提升机器人手臂操纵精度的多关节联动方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63104105A (ja) * 1986-10-22 1988-05-09 Aisin Seiki Co Ltd ロボツト視覚座標系の換算方法
JPH06134691A (ja) * 1992-10-23 1994-05-17 Hitachi Ltd 位置検出方法およびこれを用いたフレキシブル生産システム
JP3402021B2 (ja) * 1995-11-07 2003-04-28 株式会社明電舎 ロボット装置の相対位置姿勢検出方法
JP3999308B2 (ja) 1997-06-06 2007-10-31 松下電器産業株式会社 ロボットによる装着方法
JP3415427B2 (ja) * 1998-02-25 2003-06-09 富士通株式会社 ロボットシミュレーションにおけるキャリブレーション装置
JP3985677B2 (ja) * 2002-12-25 2007-10-03 株式会社安川電機 水平多関節ロボットの干渉チェック装置および方法
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JP3946711B2 (ja) * 2004-06-02 2007-07-18 ファナック株式会社 ロボットシステム
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
DE102006049956A1 (de) * 2006-10-19 2008-04-24 Abb Ag System und Verfahren zur automatisierten Ver- und/oder Bearbeitung von Werkstücken
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
JP5449112B2 (ja) * 2010-11-18 2014-03-19 株式会社神戸製鋼所 溶接状況監視方法及び溶接状況監視装置
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI696529B (zh) * 2018-11-30 2020-06-21 財團法人金屬工業研究發展中心 自動定位方法以及自動控制裝置
US11267129B2 (en) 2018-11-30 2022-03-08 Metal Industries Research & Development Centre Automatic positioning method and automatic control device

Also Published As

Publication number Publication date
CN103538061A (zh) 2014-01-29
US20140018957A1 (en) 2014-01-16
KR20140008262A (ko) 2014-01-21
EP2684651A2 (en) 2014-01-15
EP2684651A3 (en) 2015-05-06
JP2014014912A (ja) 2014-01-30
JP5949242B2 (ja) 2016-07-06

Similar Documents

Publication Publication Date Title
TW201403277A (zh) 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP5928114B2 (ja) ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
CN107428009B (zh) 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP5670416B2 (ja) ロボットシステム表示装置
CN108453701A (zh) 控制机器人的方法、示教机器人的方法和机器人系统
KR101964332B1 (ko) 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6703812B2 (ja) ３次元物体検査装置
JP6129058B2 (ja) 教示点補正装置および教示点補正方法
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6973233B2 (ja) 画像処理システム、画像処理装置および画像処理プログラム
JP6410411B2 (ja) パターンマッチング装置及びパターンマッチング方法
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP7414850B2 (ja) ロボットシステム
JP7249221B2 (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
JP6841297B2 (ja) ビジュアルサーボシステム