TW202218836A - 機器人控制裝置及機器人系統 - Google Patents

機器人控制裝置及機器人系統 Download PDF

Info

Publication number
TW202218836A
TW202218836A TW110139494A TW110139494A TW202218836A TW 202218836 A TW202218836 A TW 202218836A TW 110139494 A TW110139494 A TW 110139494A TW 110139494 A TW110139494 A TW 110139494A TW 202218836 A TW202218836 A TW 202218836A
Authority
TW
Taiwan
Prior art keywords
robot
image
coordinate system
aforementioned
control device
Prior art date
Application number
TW110139494A
Other languages
English (en)
Inventor
羽根幹人
Original Assignee
日商發那科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商發那科股份有限公司 filed Critical 日商發那科股份有限公司
Publication of TW202218836A publication Critical patent/TW202218836A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40032—Peg and hole insertion, mating and joining, remote center compliance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40099—Graphical user interface for robotics, visual robot user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

提供一種可以將用於控制機器人的動作之控制中心的設定作業設為容易的作業之機器人控制裝置(20)。一種機器人控制裝置(20)，控制搭載有端接器之機械手臂，前述機器人控制裝置具備：圖像處理部(22)，使用用於進行機械手臂的圖像檢測之特徵提取模型、及機械手臂的位置以及擺姿資訊，來從拍到機械手臂的至少一部分之圖像中，將和已在圖像上指定之指定位置對應之3維空間內的位置檢測為相對於機械手臂之相對位置；及座標系統決定部(23)，將用於控制機械手臂的動作之控制中心，設定在已在3維空間內檢測出之位置。

Description

機器人控制裝置及機器人系統
本發明是有關於一種機器人控制裝置及機器人系統。
在建構使臂前端部搭載有作為端接器(end effector)之工具的機械手臂(robot manipulator)執行預定的作業之機器人系統的情況下，必須設定工具座標系統等之用於控制機械手臂的動作之座標系統(參照例如專利文獻1)。
在設定工具座標系統的情況下，使用者必須進行以下操作：以工具的控制中心(一般為工具前端點)和基準位置一致的方式，來讓機械手臂從幾個方向做出擺姿。這種操作有時被稱為修正(touch up)。例如，專利文獻2針對依據修正之座標系統的設定作記載。 先前技術文獻 專利文獻
專利文獻1：日本專利特開2015-62991號公報 專利文獻2：日本專利特開平3-251378號公報
發明概要 發明欲解決之課題
如上述的修正是高度需要時間之作業，特別是對還未熟悉之初學者來說，會成為容易引發失誤之作業。所期望的是可以將用於控制機器人的動作之控制中心的設定作業設為容易的作業之機器人控制裝置及機器人系統。 用以解決課題之手段
本揭示之一態樣是一種機器人控制裝置，控制搭載有端接器之機械手臂，前述機器人控制裝置具備： 圖像處理部，使用用於進行前述機械手臂的圖像檢測之特徵提取模型、及前述機械手臂的位置以及擺姿資訊，來從拍到前述機械手臂的至少一部分之圖像中，將和已在前述圖像上指定之指定位置對應之3維空間內的位置檢測為相對於前述機械手臂之相對位置；及 座標系統決定部，將用於控制前述機械手臂的動作之控制中心，設定在已在前述3維空間內檢測出之前述位置。
本揭示的其他態樣是一種機器人系統，具備： 機械手臂，搭載有端接器； 機器人控制裝置，控制前述機械手臂； 教示操作裝置，為和前述機器人控制裝置連接之裝置，且具備有拍攝裝置； 記憶部，記憶用於進行前述機械手臂的圖像檢測之特徵提取模型； 圖像處理部，使用前述特徵提取模型、及前述機械手臂的位置以及擺姿資訊，從藉由前述拍攝裝置所拍攝並且拍到前述機械手臂的至少一部分之圖像中，將和已在前述圖像上指定之指定位置對應之3維空間內的位置檢測為相對於前述機械手臂之相對位置；及 座標系統決定部，將用於控制前述機械手臂的動作之控制中心，設定在已在前述3維空間內檢測出之前述位置。 發明效果
根據上述構成，可以讓用於控制機器人的動作之控制中心的設定容易化。
從附加圖式所示之本發明的典型的實施形態之詳細說明，本發明的這些目的、特徵以及優點，還有其他目的、特徵及優點理應會變得更加明確。
用以實施發明之形態
其次，參照圖式來說明本揭示之實施形態。在參照之圖式中，對同樣的構成部分或功能部分附加有同樣的參照符號。為了容易理解，這些圖式已適當變更比例。又，圖式所示之形態是用於實施本發明的一個例子，本發明並非限定於圖示之形態的發明。
圖1是顯示一實施形態之機器人系統100的機器構成的圖。如圖1所示，機器人系統100具備搭載有作為端接器之手部5的機械手臂10(以下，記載為機器人10)、控制機器人10之機器人控制裝置20、及和機器人控制裝置20連接之教示操作裝置30。教示操作裝置30與機器人控制裝置20之連接可藉由有線通訊來進行，亦可藉由無線通訊來進行。
在本實施形態中雖然機器人10設為6軸的垂直多關節型機器人，但是亦可使用其他類型的機器人。手部5已安裝於機器人10的臂前端的凸緣面。
機器人控制裝置20依照來自教示操作裝置30之操作輸入、或依照已保存在機器人控制裝置20內之動作程式來控制機器人10的動作。再者，機器人控制裝置20亦可具有作為一般的電腦的構成，前述一般的電腦具有CPU、ROM、RAM、記憶裝置、操作部、顯示部、輸入輸出介面、網路介面等。
教示操作裝置30具有進行對機器人10之教示操作、或與教示相關之各種設定之功能等。在圖1中，雖然作為教示操作裝置30而使用的是平板型終端，但可以使用教示操作盤、智慧型手機之其他的各種可攜型的終端，來作為教示操作裝置30。再者，教示操作裝置30亦可具有作為一般的電腦的構成，前述一般的電腦具有CPU、ROM、RAM、記憶裝置、操作部、顯示部、輸入輸出介面、網路介面等。
本實施形態之教示操作裝置30更具備作為拍攝裝置之相機34(參照圖2)。如在以下所詳細地說明，本實施形態之機器人控制裝置20會提供以下功能：使用已藉教示操作裝置30的相機34攝影包含機器人10的一部分(例如工具前端部)之圖像，來設定作為機器人10的動作的控制之對象的控制中心或座標系統(工具座標系統、力控制座標系統等)。
圖2是顯示機器人控制裝置20以及教示操作裝置30之功能構成的方塊圖。如圖2所示，機器人控制裝置20具備有動作控制部21、圖像處理部22以及座標系統決定部23。又，機器人控制裝置20在記憶部內記憶有特徵提取模型24。動作控制部21會執行機器人10的動作控制。更具體而言，動作控制部21會解讀動作命令來計算對機器人10的各軸馬達之位置指令，並因應於位置指令來執行各軸馬達的伺服控制，藉此執行機器人10的控制中心(例如工具前端點)的位置控制。動作控制部21亦可更具有進行手部5之開閉動作的控制之功能。圖像處理部22會使用用於進行機器人10的圖像檢測之特徵提取模型24、機器人10的位置以及擺姿資訊，從拍到機器人10的至少一部分之圖像中，將和已在圖像上指定之指定位置對應之3維空間內的位置檢測為相對於機器人10之相對位置。座標系統決定部23將用於控制機器人10的動作之控制中心，設定在已在3維空間內檢測出之位置。
機器人10亦可為了執行力控制而進一步搭載有力感測器3。在圖2中，顯示有在機器人10搭載力感測器3之情況的構成例，前述力感測器3會檢測施加於臂前端之外力。例如，如圖10所示，力感測器3配置於手部5與凸緣11之間。在機器人10為搭載力感測器3之構成之情況下，動作控制部21會更具備力控制部25，前述力控制部25會執行使用了力感測器3之力控制。
教示操作裝置30具有：管理教示輸入操作或各種設定功能之控制的控制部31、顯示和教示輸入操作或各種設定功能相關之操作畫面的顯示部32、及用於進行各種輸入操作的操作部33。顯示部32具有例如液晶顯示器來作為顯示裝置。作為一例，操作部33亦可由使用了觸控面板之軟體鍵來構成。教示操作裝置30更具有相機34來作為拍攝裝置。相機亦可為例如拍攝2維圖像之二維相機，亦可為藉由例如立體(stereo)法來取得對象物的3維位置之3維相機。藉由相機34所攝影到之圖像會顯示於顯示部32。如後述，使用者可以藉由在使用教示操作裝置30的相機34來對機器人10進行攝影而得到之圖像上，指定控制中心的位置，而進行用於控制機器人10的動作之控制中心及座標系統的設定。教示操作裝置30是動作成：在來自機器人控制裝置20的圖像處理部22的控制之下，使拍攝圖像顯示於顯示部32上之後，透過操作部33來受理如上述之指定操作。
其次，說明設定控制中心以及座標系統的功能(以下，記載為控制中心以及座標系統設定處理)，前述控制中心是使用者在以教示操作裝置30的相機34所拍攝到的圖像上指定控制中心而設定。圖3是顯示控制中心以及座標系統設定處理之流程的流程圖。再者，控制中心以及座標系統設定處理主要是在機器人控制裝置20的CPU之控制之下執行，教示操作裝置30可作為用於讓使用者進行各種操作輸入的操作終端來使用。
首先，使用者從不同的方向拍攝2張可照到機器人10的一部分(或檢測標記)之圖像(步驟S1)。將所拍攝到的2張圖像稱為相機圖像M1、相機圖像M2。相機圖像M1是如例如圖4所示之圖像。在圖4之相機圖像M1的例子中，已拍到貼附有3個檢測標記C1-C3之機器人臂前端部、凸緣11以及手部5。再者，相機圖像M2則是從其他的角度拍到相機圖像M1的攝影對象物之圖像。
對作為攝影對象的臂前端部之相機圖像M1、相機圖像M2的攝影方向是如例如圖5所示之方向。使用者在相機圖像M1、相機圖像M2各自中，指定欲作為用於進行機器人10的動作的控制之控制中心的位置(步驟S2)。作為使用者在圖像上指定位置之操作，可能會有在觸控面板上點擊之操作、或操作其他的指向裝置(pointing device)來指定之例子。在此，如圖5所示，使用者指定手部5的複數個把持爪的中心位置，來作為欲設為控制中心之位置。在此情況下，使用者會在相機圖像M1、M2的各個圖像中指定手部5的把持爪的中心位置。圖像處理部22會透過教示操作裝置30來受理這樣的指定操作。將使用者在相機圖像M1、M2上作為手部5的複數個把持爪的前端的中心而指定出之位置，分別設為指定位置P1、指定位置P2。
接著，圖像處理部22會藉由使用用於提取機器人10的圖像上的特徵之特徵提取模型24(檢測標記、或機器人10的3D模型)，而藉由圖像處理來檢測3維空間內的指定位置和機器人10的相對位置(步驟S3)。在此，如圖4所示，針對在機器人10的臂前端部具有檢測標記C1-C3的情況之例子來記載。在此情況下，可使用有關於檢測標記C1-C3的圖像的特徵以及配置之資訊，來作為特徵提取模型24。3個檢測標記C1-C3的外觀、或可看到的檢測標記會依據觀看機器人10的角度而不同。圖像處理部22藉由對相機圖像M1、M2各自進行圖像處理，而檢測出3個檢測標記C1-C3，並且解析3個檢測標記C1-C3的外觀，藉此特定出相機圖像M1、M2的每一個圖像從凸緣11來觀看是從哪個方向被拍攝。此外，由於各圖像上存在複數個檢測標記C1-C3，且複數個檢測標記C1-C3之間的間隔已從特徵提取模型24得知，因此圖像處理部22可以得知圖像的比例尺(scale)(亦即，圖像上的大小與實際的尺寸之對應)。
藉由上述圖像處理，圖像處理部22針對相機圖像M1、M2各自掌握到相對於凸緣11之拍攝方向為圖5所示之方向。再者，此時，圖像處理部22也會利用機器人10現在的位置/擺姿資訊。在此，可從1張相機圖像得知的是，圖像上的指定位置在3維空間內存在於軸線上。在圖5中，可將藉由對相機圖像M1進行圖像處理所特定出之在3維空間內和指定位置P1對應之位置有可能存在之軸線表示為軸線L1，且可將藉由對相機圖像M2進行圖像處理所特定出之在3維空間內和指定位置P2對應之位置有可能存在之軸線表示為軸線L2。亦即，指定位置P1在3維空間內位於軸線L1上，指定位置P2在3維空間內位於軸線L2上。在此情況下，軸線L1與軸線L2之交點101是使用者所指定之控制中心在3維空間內的位置。圖像處理部22會特定出此交點101的位置。藉由以上，可求出和圖像上的指定位置對應之3維空間內的位置(以機器人10為基準之相對位置)(步驟S3)。
如圖6所示，對於機器人10，會事先設定有在凸緣面的中心位置具有原點之凸緣座標系統111。在步驟S4中，座標系統決定部23是藉由使已知之凸緣座標系統111的原點平行移動(使其平移)到在步驟S3中所特定出之控制中心(交點101)，來設定工具座標系統112。
其次，針對使用機器人10之3D模型來作為特徵提取模型24，並藉由型樣匹配來求出圖像上的指定位置和機器人10的相對位置之做法進行說明。在此情況下，也是和使用檢測標記之情況同樣，讓使用者從不同的方向拍攝2張包含機器人10的一部分之圖像(步驟S1)。在此，拍攝之圖像的一個為包含如圖7所示之臂前端側的2個連桿以及手部5之相機圖像M3。在這個情況下，另一個圖像會是如從其他角度拍攝了圖7中的拍攝對象物之圖像。
使用者會在各個圖像上指定欲設為控制中心之位置(步驟S2)。其次，圖像處理部22會求出各個圖像中的指定位置和機器人10的相對位置(步驟S3)。具體地說明。在所拍攝到的圖像為如圖7所示之圖像的情況下，圖像處理部22會使用機器人10的3D模型當中臂前端部的模型(以下，記為機器人模型)來進行圖像檢測。例如，圖像處理部22亦可藉由使用臂前端部的平坦部、凸部、凹部的形狀或配置之資訊，並適用臉部認證的技術，來特定出照進圖像之臂前端部的擺姿，並依據機器人10的現在的位置/擺姿資訊來特定出圖像的攝影方向。或者，圖像處理部22亦可從圖像中藉由邊緣檢測法來提取輪廓，在和機器人模型的輪廓(臂前端部的輪廓)之間執行型樣匹配，而特定出照進圖像之臂前端部的擺姿，並根據機器人10的現在的位置/擺姿資訊來特定出圖像的攝影方向。
並且，作為從2張圖像所求出之攝影方向的軸線之交點，而特定出指定位置在3維空間內之位置(亦即，求出指定位置和機器人10的相對位置)(步驟S3)。其次，座標系統決定部23藉由將凸緣座標系統平行移動至所特定出之控制中心(交點)來設定工具座標系統(步驟S4)。
根據以上所述的控制中心以及座標系統設定處理，使用者只要進行以教示操作裝置30的相機34來對機器人10攝影之操作，並進行指定欲在圖像上設為控制中心的位置之操作，即可以完成控制中心以及座標系統的設定。亦即，可以讓控制中心以及座標系統的設定操作容易化。關於相機34，並不需要進行校正(calibration)等複雜的作業。
再者，也可以拍攝3張以上的圖像，並藉由和上述同樣的手法來從3張以上的圖像所得到之攝影方向的軸線之交點求出控制中心。
以上，雖然是從2張以上的圖像來特定出控制中心的情況的例子，但也可從1張圖像來特定出控制中心。針對使用者從所拍攝到的1張圖像來特定出控制中心在3維空間內的位置(相對於機器人10之相對位置)的例子來說明。以如下的順序進行。 (A1)使用者在從正側面(沿著凸緣座標系統的Y軸方向)拍攝機器人10的臂前端部的限制之下進行拍攝。 (A2)在像這樣的限制之下所拍攝到的圖像上，使用者指定欲設為控制中心之位置。再者，在此情況下，可拍攝如圖6所示地平行於凸緣座標系統111的XZ平面之圖像。 (A3)圖像處理部22從已拍進圖像之檢測標記的間隔來辨識圖像的比例尺，並以圖像內的凸緣中心(凸緣座標系統的原點)為基準，來將圖像上的指定位置辨識為X、Z座標位置。 (A4)藉此，將和圖像上的指定位置對應之3維空間上的位置特定為凸緣座標系統的X、Z座標位置。 或者，作為從1張圖像特定出控制中心的手法，亦可採用如下的手法。在此情況下，是以在凸緣座標系統的中心軸線上(亦即，Z軸上)設定控制對象的座標系統之作法作為前提。使用者拍攝包含凸緣11之圖像。拍攝圖像之方向雖然宜為如上述順序(A1)地從正側面拍攝之方向，但是亦可不特別限制拍攝方向。圖像處理部22會在包含機器人10的凸緣11的部分之圖像上，受理將凸緣座標系統在Z軸方向上位移(shift)之操作(例如，觸摸及滑動操作)。在此情況下，圖像處理部22亦可在圖像上重疊顯示表示凸緣座標系統之圖像。圖像處理部22會特定出依據使用者操作之凸緣座標系統的Z軸上的位移量。
座標系統決定部23將凸緣座標系統平行移動到像這樣特定出之控制中心的位置，且設定工具座標系統。
即使在像這樣使用1張圖像的情況下，使用者仍然可以僅藉由進行在圖像上指定欲設為控制中心之位置的操作，而完成控制中心以及座標系統的設定。關於相機34，並不需要進行校正(calibration)等複雜的作業。
在以上，說明了使用者在攝影圖像上指定欲設為控制中心之位置的情況的例子。攝影圖像上之控制中心位置的指定亦可在機器人控制裝置20(圖像處理部22)側自動地進行。例如，亦可採用以下之手法：(1)將攝影圖像上之預定的位置(例如中心位置)設為指定位置；(2)在教示操作裝置30搭載檢測相機34在3維空間內的位置之感測器(加速度感測器、陀螺儀感測器等)，並將設定圖5之軸線L1、L2時的起點(指定位置P1、P2)，設為藉由感測器所檢測出之位置(此時，教示操作裝置30會將攝影圖像與該圖像被攝影到時的相機34的位置資訊提供至機器人控制裝置20)。
其次，作為如上述地進行設定控制中心的作業之情況下的具體例，針對圓柱嵌合來說明。如圖8所示，圓柱嵌合是將以手部5把持之圓柱狀的工件W1插入形成於工件W2的孔之作業。在此是設想以下情況：在已將工件W1插入孔的情況下，在工件W1的外表面與孔的內表面之間有充分的間隙，而毋須進行依據力控制所控制之插入。在此情況下，使用者會設定工具座標系統，前述工具座標系統是將控制中心設定在工件W1的前端面的中心，並將此控制中心設為原點。機器人控制裝置20將機器人10控制成：工具座標系統的原點(控制中心)沿著孔的中心軸線移動並使工件W1移動至到達孔底為止。
在手部5把持之圓柱狀的工件之長度有不同種類的情況下，使用者會對各個長度的工件設定控制中心(工具座標系統)。在圖9中顯示有對長度各自不同的3個種類的工件W11、W12、W13分別設定了控制中心201、202、203之狀況。可對各個控制中心201-203的每一個設定以鉛直下方為Z軸方向之工具座標系統(參照圖12之力控制座標系統113來作為參考)。
其次，關於一邊執行力控制一邊進行之作業，針對在圖像上指定關於力控制之參數來進行設定之例子作說明。在已將嵌合工件插入孔的狀態下，嵌合工件外表面與孔的內表面之間隙較狹窄的情況下(例如，間隙為數十微米的情況下)，是以嵌合工件和孔的內表面經常接觸之狀態來插入。在此情況下，會進行以下之插入作業：一邊觀看施加於嵌合工件之力一邊修正機器人10的擺姿並且將嵌合工件插入。在此情況下，如圖10所示，設為在手部5與凸緣11之間配置力感測器3之構成。力感測器3是例如將3軸(XYZ)的荷重與繞著各軸的力矩作為檢測值來輸出之6軸力感測器。力感測器3在嵌合作業時會檢測施加於嵌合工件W21之力以及力矩。機器人控制裝置20(動作控制部21以及力控制部25)會藉由觀看力感測器3的輸出來進行機器人10的位置/擺姿之控制，以使關於設定在嵌合工件W21的前端面的中心之控制中心的力矩成為零。在進行力控制的情況下，力控制部25會將如上述地設定之控制中心作為力控制的控制點(進行力矩的計算等之基準點)來使用。座標系統決定部32會將凸緣座標系統平行移動到此控制點並設定為力控制座標系統(參照圖12之力控制座標系統113)。
圖像處理部22亦可構成為透過圖像來受理壓附方向的設定以作為有關於力控制之參數。針對透過圖像來設定作為力控制參數之壓附方向的例子，參照圖11、圖12來說明2例。
如圖11所示，在圖像M4中顯示有機器人10的臂前端側、力感測器3、手部5、嵌合工件W21、工件W22、以及由使用者所設定之控制中心204。在像這樣的圖像M4中，圖像處理部22為了協助由使用者所進行之力控制的壓附方向的設定，而將例如沿著Z軸方向(鉛直下方)之箭頭71作為圖像來顯示。在箭頭71與所期望的壓附方向一致的情況下，使用者可以例如點擊而選擇箭頭71的圖像。圖像處理部22會受理由使用者所進行之這樣的選擇操作。圖像處理部22亦可將X、Y、Z方向的3個箭頭的圖像顯示於圖像M4上，而讓使用者選擇期望的壓附方向。
如圖12所示，在圖像M5中顯示有機器人10的臂前端側、力感測器3、手部5、嵌合工件W21、工件W22、以及由使用者所設定之控制中心204。圖像處理部22在像這樣的圖像M5上，會受理使用者以觸碰滑移操作來指定壓附方向、或是以徒手方式在圖像上將壓附方向描繪成箭頭(在圖12中為箭頭72)之操作。並且，圖像處理部22會將已設定於嵌合工件W21的前端之力控制座標系統113的各軸當中，和觸碰滑移操作的方向或已描繪為圖像之箭頭72的方向最接近之軸的方向選擇為壓附方向。在圖12的例子的情況下，是將Z軸方向選擇為壓附方向。
力控制部25會如以上所記載地針對被特定出之壓附方向來執行力控制。
接著，作為力控制的參數指定之其他例，參照圖13來說明可執行力控制之深度方向(在此為Z軸方向)的範圍之設定例。圖13是說明圖像處理部22在圖像上進行可執行力控制之深度方向的範圍(工具之行進方向的範圍)的設定來作為有關於力控制的參數之例子。在圖13所示之圖像M6中顯示有機器人10的臂前端側、力感測器3、手部5、嵌合工件W21、工件W22、以及由使用者所設定之控制中心204。圖像處理部22在像這樣的圖像M6上，會受理以下操作：藉由使用者例如以徒手方式描繪矩形的框之圖像(在圖13中為矩形框73)，而設定可進行依據力控制所控制之動作的深度方向(Z軸方向)的範圍。機器人控制裝置20的力控制部25會在控制中心(控制點)204在Z軸方向上位於矩形框73的範圍內之情況適用力控制。再者，此矩形框的指定也可以表現為可執行力控制的區域之指定。
其次，說明針對如圖14所示之複數個夾頭手部成為一體之手部設定工具座標系統的情況之例子。圖14所示之手部150具備有複數個夾頭手部151-153。夾頭手部151、152、153會各自把持工件W31、W32、W33。藉由上述之手法，而針對工件W31-W33的每一個設定有控制中心211、212、213。以如下之順序來設定工具座標系統。在此，是使用可檢測對象物的3維位置之3D相機來作為相機34。
(B1)圖像處理部22從包含手部150之圖像，針對工件W31、W32、W33的每一個來檢測出作為工件前端面之平面。作為藉由圖像處理來檢測出平面之手法，可以使用例如藉由3維霍夫(Hough)轉換所進行之平面檢測法。藉此即可分別檢測出工件W31、W32、W33的前端面W31a、W32a、W33a。 (B2)其次，座標系統決定部23求出相對於凸緣座標系統的Z方向之各前端面W31a、W32a、W33a的法線方向之旋轉矩陣。然後，座標系統決定部23對於凸緣座標系統，將其原點平行移動至控制中心211、212、213的每一個，並且進行乘以針對各個前端面所求出之旋轉矩陣的操作，藉此針對各個控制中心211、212、213來設定工具座標系統。
再者，在拍到手部150之圖像中攝影方向或比例尺為已知之狀況下，座標系統決定部23亦可將工具座標系統的原點設定為藉由上述(B1)所檢測出之工件前端面上的點(例如中心)，並且以該工件前端面的法線方向與工具座標系統的Z軸方向一致的方式來自動地設定工具座標系統。
如以上所說明，根據本實施形態，可以讓用於控制機器人的動作之控制中心的設定容易化。
以上，雖然使用典型的實施形態來說明了本發明，但理應可以理解的是，只要是所屬技術領域中的通常知識者，都可以在不脫離本發明的範圍的情形下，對上述之各實施形態進行變更以及各種其他的變更、省略、追加。
在上述實施形態中，圖2的方塊圖所示之機器人系統內的功能的分配僅為一例，且可以進行各種變形。例如，將圖像處理部22的功能配置於教示操作裝置30側之構成例也是可能的。
圖2所示之機器人控制裝置20的功能方塊圖中的各個功能方塊，亦可藉由機器人控制裝置20的CPU執行已保存於記憶裝置之各種軟體來實現；或者，亦可藉由以ASIC(特殊應用積體電路，Application Specific Integrated Circuit)等之硬體作為主體之構成來實現。
執行上述之實施形態中的控制中心以及座標系統設定處理的程式，可以記錄於電腦可讀取之各種記錄媒體(例如ROM、EEPROM、快閃記憶體等的半導體記憶體、磁性記錄媒體、CD-ROM、DVD-ROM等之光碟)。
3:力感測器 5,150:手部 10:機械手臂(機器人) 11:凸緣 20:機器人控制裝置 21:動作控制部 22:圖像處理部 23:座標系統決定部 24:特徵提取模型 25:力控制部 30:教示操作裝置 31:控制部 32:顯示部 33:操作部 34:相機 71,72:箭頭 73:矩形框 100:機器人系統 101:交點 111: 凸緣座標系統 112:工具座標系統 113:力控制座標系統 151,152,153:夾頭手部 201,202,203,204,211,212,213:控制中心 C1,C2,C3:檢測標記 L1,L2:軸線 M1~M3:相機圖像 M4~M6:圖像 P1,P2:指定位置 W1,W2,W11,W12,W13,W22,W23,W31,W32,W33:工件 W21:嵌合工件 W31a,W32a,W33a:前端面 S1~S4:步驟
圖1是顯示一實施形態之機器人系統的機器構成的圖。 圖2是顯示機器人控制裝置及教示操作裝置之功能構成的方塊圖。 圖3是顯示控制中心以及座標系統設定處理之流程的流程圖。 圖4是顯示包含檢測標記之拍攝圖像的例子的圖。 圖5是用於說明相對於臂前端部之2個攝影圖像的攝影方向的例子的圖。 圖6是用於說明將凸緣座標系統平行移動並設定工具座標系統之狀態的圖。 圖7是顯示使用於型樣匹配等之攝影圖像的例子的圖。 圖8是顯示以機械手臂進行圓柱嵌合之狀態的圖。 圖9是顯示對不同長度之嵌合工件分別設定控制中心之狀態的圖。 圖10是顯示在凸緣與手部之間配置有力感測器之狀態的圖。 圖11是顯示力控制之壓附方向的設定操作之第1例的圖。 圖12是顯示力控制之壓附方向的設定操作之第2例的圖。 圖13是顯示指定可進行依據力控制所控制之動作的區域之操作的圖。 圖14是用於說明以下情況的圖：針對複數個夾頭手部成為一體之手部來設定工具座標系統。
3:力感測器
5:手部
10:機械手臂
20:機器人控制裝置
21:動作控制部
22:圖像處理部
23:座標系統決定部
24:特徵提取模型
25:力控制部
30:教示操作裝置
31:控制部
32:顯示部
33:操作部
34:相機

Claims (12)

  1. 一種機器人控制裝置，控制搭載有端接器之機械手臂，前述機器人控制裝置具備： 圖像處理部，使用用於進行前述機械手臂的圖像檢測之特徵提取模型、及前述機械手臂的位置以及擺姿資訊，來從拍到前述機械手臂的至少一部分之圖像中，將和已在前述圖像上指定之指定位置對應之3維空間內的位置檢測為相對於前述機械手臂之相對位置；及 座標系統決定部，將用於控制前述機械手臂的動作之控制中心，設定在已在前述3維空間內被檢測出之前述位置。
  2. 如請求項1之機器人控制裝置，其中前述圖像處理部使用拍到前述機械手臂的至少一部分並且從不同的方向拍攝了前述機械手臂的至少一部分之2張以上的圖像，來檢測和已在該2張以上的圖像的每一張圖像上指定之指定位置對應之前述3維空間內的位置。
  3. 如請求項1或2之機器人控制裝置，其中前述圖像處理部會受理在前述圖像上依據使用者操作之前述指定位置的指定。
  4. 如請求項1或2之機器人控制裝置，其中前述圖像處理部會自動地將前述指定位置設定在前述圖像內的預定的位置。
  5. 如請求項1至4中任一項之機器人控制裝置，其更具備用於執行力控制之力控制部， 前述力控制部將前述控制中心設定為進行前述力控制之控制點。
  6. 如請求項5之機器人控制裝置，其中前述圖像處理部會受理在前述圖像上指定前述力控制的壓附方向之操作。
  7. 如請求項5或6之機器人控制裝置，其中前述圖像處理部會受理在前述圖像上指定可執行前述力控制的區域之操作。
  8. 如請求項1至7中任一項之機器人控制裝置，其中前述座標系統決定部會設定以前述控制中心作為原點之座標系統。
  9. 如請求項8之機器人控制裝置，其中在前述圖像中拍到作為前述端接器之手部所把持之工件， 前述圖像處理部從前述圖像檢測出前述工件的前端的平面， 前述座標系統決定部以使前述平面的法線方向與前述座標系統的預定的軸一致的方式來將前述平面上的點設為原點而設定前述座標系統。
  10. 一種機器人系統，具備： 機械手臂，搭載有端接器； 機器人控制裝置，控制前述機械手臂； 教示操作裝置，為和前述機器人控制裝置連接之裝置，且具備有拍攝裝置； 記憶部，記憶用於進行前述機械手臂的圖像檢測之特徵提取模型； 圖像處理部，使用前述特徵提取模型、及前述機械手臂的位置以及擺姿資訊，從藉由前述拍攝裝置所拍攝並且拍到前述機械手臂的至少一部分之圖像中，將和已在前述圖像上指定之指定位置對應之3維空間內的位置檢測為相對於前述機械手臂之相對位置；及 座標系統決定部，將用於控制前述機械手臂的動作之控制中心，設定在已在前述3維空間內檢測出之前述位置。
  11. 如請求項10之機器人系統，其在前述機械手臂搭載有力感測器， 前述機器人系統更具備依據前述力感測器的檢測值來執行力控制之力控制部， 前述力控制部將前述控制中心設定為進行前述力控制之控制點。
  12. 如請求項10或11之機器人系統，其中前述座標系統決定部會設定以前述控制中心作為原點之座標系統。
TW110139494A 2020-11-02 2021-10-25 機器人控制裝置及機器人系統 TW202218836A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020183920 2020-11-02
JP2020-183920 2020-11-02

Publications (1)

Publication Number Publication Date
TW202218836A true TW202218836A (zh) 2022-05-16

Family

ID=81382643

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110139494A TW202218836A (zh) 2020-11-02 2021-10-25 機器人控制裝置及機器人系統

Country Status (6)

Country Link
US (1) US20230321823A1 (zh)
JP (1) JPWO2022092168A1 (zh)
CN (1) CN116419827A (zh)
DE (1) DE112021004632T5 (zh)
TW (1) TW202218836A (zh)
WO (1) WO2022092168A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022213568B3 (de) 2022-12-13 2024-02-29 Kuka Deutschland Gmbh Kalibrieren einer Steuerung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03251378A (ja) 1990-02-28 1991-11-08 Fanuc Ltd ロボットのキャリブレーション方式
JP3940998B2 (ja) * 2002-06-06 2007-07-04 株式会社安川電機 ロボット装置
JP3708097B2 (ja) * 2003-10-08 2005-10-19 ファナック株式会社 ロボットの手動送り装置
JP6489776B2 (ja) 2013-08-28 2019-03-27 キヤノン株式会社 座標系校正方法、ロボットシステム、プログラム及び記録媒体
JP6787966B2 (ja) * 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置
JP7172466B2 (ja) * 2018-11-08 2022-11-16 株式会社Ihi ツールセンターポイントの設定方法及び設定装置

Also Published As

Publication number Publication date
JPWO2022092168A1 (zh) 2022-05-05
DE112021004632T5 (de) 2023-06-29
US20230321823A1 (en) 2023-10-12
WO2022092168A1 (ja) 2022-05-05
CN116419827A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
JP3946711B2 (ja) ロボットシステム
JP5471355B2 (ja) ３次元視覚センサ
US8964001B2 (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
CN111482959A (zh) 机器人运动视觉系统的自动手眼标定系统与方法
US8565515B2 (en) Three-dimensional recognition result displaying method and three-dimensional visual sensor
US20190202058A1 (en) Method of programming an industrial robot
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US10427298B2 (en) Robot system displaying information for teaching robot
JP2020075354A (ja) 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
JP2004351570A (ja) ロボットシステム
JP2018167334A (ja) 教示装置および教示方法
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
JP2015112654A (ja) 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP2018051634A (ja) ロボット制御装置、ロボット、ロボットシステムおよび姿勢特定装置
TW202102347A (zh) 視覺導引機器手臂校正方法
CN115803155A (zh) 编程装置
TW202218836A (zh) 機器人控制裝置及機器人系統
JP7323993B2 (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
CN108000499B (zh) 机器人视觉坐标的编程方法
JP2011083883A (ja) ロボット装置
WO2022176928A1 (ja) 教示装置
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
CN115397634A (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序