JPWO2018043524A1 - Robot system, robot system control apparatus, and robot system control method - Google Patents
Robot system, robot system control apparatus, and robot system control method Download PDFInfo
- Publication number
- JPWO2018043524A1 JPWO2018043524A1 JP2018537323A JP2018537323A JPWO2018043524A1 JP WO2018043524 A1 JPWO2018043524 A1 JP WO2018043524A1 JP 2018537323 A JP2018537323 A JP 2018537323A JP 2018537323 A JP2018537323 A JP 2018537323A JP WO2018043524 A1 JPWO2018043524 A1 JP WO2018043524A1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- robot
- sign
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 239000003550 marker Substances 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 description 44
- 238000003860 storage Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
実施が容易で、レンズ歪等の影響を受けない多関節ロボットシステム・制御装置・制御方法を提供する。ロボットシステム(10)は、多関節ロボット(20)と、前記ロボットの作業空間を撮像する1台以上のカメラ(30、31)と、制御装置(40)とを有する。そして、制御装置は、キャリブレーション時において、ロボットの姿勢パラメータを取得し、カメラから画像を取得し、画像中にロボットに固定された標識(50)を認識して標識の位置情報を算出し、標識の位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、制御装置は、作業時において、カメラから画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、対象物の位置情報から、参照表を参照して、ハンド(24)を対象物まで移動させるための姿勢パラメータを取得し、取得した姿勢パラメータをロボットに送信する。。An articulated robot system, controller and control method that are easy to implement and are not affected by lens distortion and the like. The robot system (10) has an articulated robot (20), one or more cameras (30, 31) for imaging the work space of the robot, and a control device (40). Then, at the time of calibration, the control device obtains posture parameters of the robot, obtains an image from the camera, recognizes a sign (50) fixed to the robot in the image, and calculates position information of the sign Create and store a reference table that associates the position information of the sign with the posture parameter of the robot. Then, at the time of work, the control device acquires an image from the camera, recognizes an object in the image, calculates the position information of the object, and refers to the reference table based on the position information of the object to obtain a hand. The posture parameter for moving (24) to the object is acquired, and the acquired posture parameter is transmitted to the robot. .
Description
本発明は、多関節ロボットのハンドを目標となる対象物まで移動させるためのロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。 The present invention relates to a robot system for moving an articulated robot's hand to a target object. The present invention also relates to a control device and control method of the robot system.
多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。 A system has been studied in which the robot itself recognizes the surrounding environment and performs work based on information obtained from a visual sensor such as a camera using an articulated robot. For example, it is an operation such as recognizing a bulk-stacked object with a camera, moving a hand at the tip of a robot arm to the work object and grasping it.
一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系−世界座標系間、およびロボット座標系−世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。 In a general robot system, in order to move the robot's hand to a target object, after obtaining position information of the object with a camera or the like, the position information is converted from the camera coordinate system to the robot coordinate system. Tell the robot. Here, in the conversion from the camera coordinate system to the robot coordinate system, it is necessary to obtain in advance the relative positional relationship between the camera and the robot. Therefore, a conversion matrix for performing coordinate conversion between the camera coordinate system and the world coordinate system and between the robot coordinate system and the world coordinate system is obtained by calibration. Thus, the position coordinates of the object in the camera coordinate system can be converted to position coordinates in the robot coordinate system via the world coordinate system.
しかし、カメラ座標系−世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ(画素サイズ)、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。 However, to determine the transformation matrix between the camera coordinate system and the world coordinate system, it is necessary to use the camera's focal length, image center, image size (pixel size), internal parameters such as distortion aberration coefficient, and external parameters that represent the camera's position and orientation. You need to know the parameters. For this purpose, for example, a plane pattern such as a checker board and the position of a camera are to be determined using a high-precision three-dimensional measuring device, which requires extremely time-consuming and expensive work.
ロボット座標系−世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。 Even when determining the coordinate conversion between the robot coordinate system and the world coordinate system, it is also extremely laborious to measure the posture parameter by manually moving the hand to the teaching point whose position coordinate in the world coordinate system is accurately known. And expensive work was required.
これに対して、特許文献1には、ロボットアーム装置の先端部に把持させた指し棒の先端が長方形を描くようにロボットアーム装置を動作させ、長方形の各頂点の位置をステレオ画像計測し、そのデータを基に座標変換データを計算して、長方形を基準とする中間座標系を介してロボットアーム装置とステレオ計測装置との相対位置姿勢関係を求める方法が記載されている。特許文献1によれば、設計データでなく、実際にロボットシステムにより計測したデータを用いるので、システム製作時に生じる加工・取り付けによる誤差の影響を受けず、ロボットアーム装置とステレオ画像計測装置の正確な相対位置姿勢関係を求めることができ、また、キャリブレーション作業に要する時間を短縮できるとされている。 On the other hand, in
しかし、特許文献1に記載された方法では、長方形の4頂点の計測に基づいて変換行列を算出するので、レンズの歪曲収差等を正確には再現できない。仮に歪曲収差がない場合でも、カメラ座標系−中間座標系間、および中間座標系−ロボット座標系間の座標変換に変換行列を用いるので、不規則なレンズ歪などによる誤差があると、それを完全には排除できない。 However, in the method described in
本発明は、上記を考慮してなされたものであり、設置したカメラやロボットの位置計測が不要で、かつ、レンズ歪等の影響を受けずに、カメラ画像に基づいて多関節ロボットのハンドを目標位置まで移動可能なロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。 The present invention has been made in consideration of the above, and it is not necessary to measure the position of the installed camera or robot, and is not influenced by lens distortion or the like, and the hand of the articulated robot is obtained based on the camera image. An object of the present invention is to provide a robot system movable to a target position, a robot system controller, and a robot system control method.
上記目的のために、本発明では、カメラの画像から得られる位置情報と、多関節ロボットの姿勢パラメータとを直接関連付けた参照表を利用して、ロボットを制御する。 For the above purpose, in the present invention, the robot is controlled using a reference table in which positional information obtained from an image of a camera is directly associated with posture parameters of the articulated robot.
具体的には、本発明のロボットシステムは、多関節ロボットと、前記ロボットの作業空間を撮像する1台以上のカメラと、制御装置とを有する。そして、前記制御装置は、キャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、前記制御装置は、作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。 Specifically, the robot system of the present invention has an articulated robot, one or more cameras for imaging the work space of the robot, and a control device. Then, at the time of calibration, the control device acquires posture parameters of the robot, acquires an image from the camera, recognizes a sign fixed to the robot in the image, and detects position information of the sign. A reference table is created which is calculated and associated with the position information of the sign and the posture parameter of the robot, and is stored. Then, at the time of work, the control device acquires an image from the camera, recognizes an object in the image, calculates position information of the object, and obtains the reference table from the position information of the object. To acquire the posture parameter for moving the hand to the object, and transmitting the acquired posture parameter to the robot.
ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。また、ロボットに固定された標識とは、ハンドが保持する標識などの、ロボットのハンドまたはアームとの位置関係が固定された標識をいう。 Here, the posture parameter of the robot refers to a parameter related to the posture of the robot and at least the position of the hand can be determined. Further, the sign fixed to the robot means a sign such as a mark held by the hand, whose positional relationship with the hand or arm of the robot is fixed.
好ましくは、前記ロボットシステムは第1カメラおよび第2カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と前記第2カメラによる画像中の画素位置との組である。 Preferably, the robot system has a first camera and a second camera, and the positional information of the marker and the positional information of the object indicate the pixels in the image by the first camera of the marker or the object, respectively. It is a set of the position and the pixel position in the image by the second camera.
あるいは、前記ロボットシステムは第1カメラおよび第2カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。 Alternatively, the robot system has a first camera and a second camera, and the positional information of the marker and the positional information of the object indicate the pixel position in the image of the marker or the object by the first camera, respectively. And a set of distance information calculated based on the principle of triangulation from the image by the first camera and the image by the second camera.
あるいは、前記ロボットシステムは第1カメラおよび第2カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。 Alternatively, the robot system has a first camera and a second camera, and the position information of the marker and the position information of the object are respectively an image of the marker or the object by the first camera and the second It may be three-dimensional position coordinates in the camera coordinate system calculated based on the principle of triangulation from the image by the camera.
あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有しており、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。 Alternatively, the robot system further includes a mirror which is located within the angle of view of the camera and in which the work space is reflected when viewed from the camera; The position information of the object may be a set of the pixel position of the direct image in the image by the camera and the pixel position of the reflection image by the mirror of the marker or the object, respectively.
あるいは、前記カメラが距離画像カメラであって、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。 Alternatively, the camera is a distance image camera, and the position information of the marker and the position information of the object are respectively the pixel position of the marker or the object in the distance image by the distance image camera and the distance information It may be a set of
あるいは、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組であってもよい。 Alternatively, the position information of the sign and the position information of the object may be respectively the pixel position in the image of the sign or the object by the camera and the area in the image when the sign is at the position. It may be a pair.
上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。 In any of the above robot systems, preferably, the posture parameter is a set of joint variables of the robot.
あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標であってもよい。 Alternatively, in any of the above robot systems, the posture parameter may be three-dimensional position coordinates of the marker or the robot coordinate system of the object.
本発明のロボットシステム制御装置は、多関節ロボットのキャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記ロボットの作業空間を撮像する1台以上のカメラから該ロボットのハンドに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。 The robot system control apparatus according to the present invention acquires a posture parameter of the robot at the time of calibration of the articulated robot, and a sign fixed to the hand of the robot from one or more cameras for imaging the work space of the robot Acquire an image in which the image is captured, recognize the sign in the image, calculate position information of the sign, and create and store a reference table in which the position information of the sign and the posture parameter of the robot are associated .
好ましくは、本発明のロボットシステム制御装置は、前記ロボットの作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。 Preferably, the robot system control apparatus according to the present invention acquires an image from the camera during work of the robot, recognizes an object in the image, and calculates position information of the object, the object The position parameter for moving the hand to the object is acquired from the position information of the position table, and the acquired position parameter is transmitted to the robot.
本発明の他のロボットシステム制御装置は、多関節ロボットの姿勢パラメータを該ロボットに送信および/または該ロボットから受信する第1通信部と、前記ロボットに固定された標識が写った画像をカメラから受信する第2通信部と、前記画像から前記標識を認識して該標識の位置情報を算出し、該ハンドの位置情報と前記姿勢パラメータとを関連付けた参照表を作成する演算部と、前記参照表を記憶する記憶部とを有する。 Another robot system control apparatus according to the present invention includes a first communication unit that transmits and / or receives posture parameters of an articulated robot to the robot, and an image showing a marker fixed on the robot from a camera A second communication unit to receive, an operation unit that recognizes the sign from the image, calculates position information of the sign, and creates a reference table in which position information of the hand is associated with the posture parameter; And a storage unit for storing a table.
好ましくは、本発明の他のロボットシステム制御装置は、前記第2通信部が対象物が写った画像を前記カメラから受信し、前記演算部が前記画像から前記対象物を認識して、該対象物の位置情報を算出し、前記参照表を参照して、前記対象物の位置情報から前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、前記第1通信部が前記姿勢パラメータを前記ロボットに送信する。 Preferably, in another robot system control apparatus according to the present invention, the second communication unit receives an image in which an object is photographed from the camera, and the operation unit recognizes the object from the image, and the object is received. The position information of the object is calculated, and the posture parameter for moving the hand of the robot to the object is acquired from the position information of the object with reference to the reference table, and the first communication unit Posture parameters are sent to the robot.
本発明のロボットシステム制御方法は、キャリブレーション工程と作業工程とを有する。キャリブレーション工程では、標識が固定された多関節ロボットを動作させて前記標識を移動させながら、前記ロボットの作業空間を1台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録する。作業工程では、対象物が存在する作業空間を前記カメラで撮像し、前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを該ロボットに送信する。 The robot system control method of the present invention has a calibration process and a work process. In the calibration step, while operating the articulated robot on which the marker is fixed to move the marker, the working space of the robot is imaged by one or more cameras, and the marker is displayed in the image captured by the camera. The position information of the mark is calculated, the position information of the mark is associated with the posture parameter of the robot at the time of imaging, and sequentially registered in the reference table. In the work process, the camera captures an image of a work space in which an object is present, recognizes the object in an image captured by the camera, calculates position information of the object, and calculates position information of the object The posture parameter for moving the hand of the robot to the object is acquired with reference to the reference table, and the acquired posture parameter is transmitted to the robot.
本発明のロボットシステム、ロボットシステム制御装置、またはロボットシステム制御方法によれば、実際のカメラおよびロボットを用いて、カメラによる位置情報とロボットの姿勢パラメータを直接関連付けた参照表を作成し、その参照表に基づいてロボットを動作させる。参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを目標位置まで移動させることができる。また、世界座標など他の座標系を介しないので、カメラの内部・外部パラメータや、ロボットの設置位置・向き等を計測する必要がなく、キャリブレーション作業の省力化を図ることができる。 According to the robot system, robot system control apparatus, or robot system control method of the present invention, using an actual camera and robot, a reference table is created in which positional information by the camera is directly associated with posture parameters of the robot, and reference is made Operate the robot based on the table. Since the reference table is created by using an actual camera and robot, the hand can be moved to the target position without being affected by errors in system manufacture or irregular lens distortion. In addition, since other coordinate systems such as world coordinates are not used, it is not necessary to measure the internal and external parameters of the camera, the installation position and orientation of the robot, etc., and the labor of calibration can be saved.
本発明の第1実施形態を図1〜図9に基づいて説明する。 A first embodiment of the present invention will be described based on FIGS. 1 to 9.
図1において、本実施形態のロボットシステム10は、多関節ロボット20と、ロボットの作業空間を撮像する第1カメラ30および第2カメラ31と、ロボットシステム制御装置40を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。 In FIG. 1, a
ロボット20は作業場に固定される。ロボット20は、ロボットを作業場に固定するためのベース25と、複数のリンク22が関節23で接続されたアーム21と、アームの先端に接続されたハンド24と、駆動部26を有する。ロボットの各関節はサーボモータ等のアクチュエータ(図示せず)と、その関節の関節変数を検知するセンサー(図示せず)を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度(リンク間角度)や直動関節のリンク間距離のことをいう。ハンド24は手先、エンドエフェクタとも呼ばれる。図1はキャリブレーション時の様子を示しており、ロボットはハンドに標識50を把持している。 The
ロボット20の駆動部26は、アームおよびハンドを駆動する。最も単純な構成の駆動部は、サーボアンプ等の駆動装置からなり、外部から受信する関節変数に基づいて各関節のアクチュエータを駆動する。あるいは、駆動部は、各種の演算処理を行うCPUやプログラム等を格納するメモリをさらに有していて、ロボット座標系におけるハンドの三次元位置座標を外部から受信して、関節変数を算出可能であってもよい。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース25を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。 The
ロボット20は、ベース25が作業場に固定され、キャリブレーション時および作業時を通して移動することがない。したがって、ハンド24の位置は、関節変数の組み合わせや三次元位置座標によって表すことができる。例えば、アーム21の自由度が3である場合、アームの3つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム21の自由度が3でハンド24の自由度が3である場合、アームおよびハンドの6つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。 The
ロボットの形式は特に限定されず、図1に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。 The type of robot is not particularly limited, and in addition to the serial link type vertical articulated robot illustrated in FIG. 1, various articulated robots such as horizontal articulated type and parallel link type can be used.
第1カメラ30および第2カメラ31は作業場に固定される。2台のカメラは、ロボット20の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド24が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。2台のカメラ30、31は二次元画像を撮像可能なカメラである。 The
図2を参照して、制御装置40は、第1通信部41と、第2通信部42と、演算部43と、記憶部44と第3通信部45とを有する。 Referring to FIG. 2,
第1通信部41はロボット20の駆動部26と信号線で接続され、ロボットとの通信を行う。第1通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド24を目標位置まで移動させるよう指示する。また、第1通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第2通信部42は第1カメラ30および第2カメラ31と信号線で接続され、カメラとの通信を行う。第2通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。 The
演算部43は、第2通信部42がカメラ30、31から受信した画像を処理する。演算部は、キャリブレーション時には、標識50を画像中に認識してその位置情報を算出し、当該位置情報と第1通信部41がロボットに送信した姿勢パラメータまたは第1通信部がロボットから受信した姿勢パラメータとを関連付けた参照表を作成する。より正確には、演算部は、標識の位置情報とロボットの姿勢パラメータとを関連付けた1つのレコードを作成して、既存の参照表に追加登録する。演算部は、作業時には、対象物を画像中に認識してその位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。 The
記憶部44は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第3通信部45は入力装置46および出力装置47と信号線で接続され、操作者との通信を行う。第3通信部は、入力装置46から操作者からの指示を受信し、出力装置47に操作者にロボットシステムの状況等を送信する。 The
制御装置40は、必ずしも物理的に1台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部26と一体に形成されていてもよい。 The
次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図1および図2に示した符号である。 Next, a robot system control method of this embodiment will be described. The reference numerals of the respective parts are the ones shown in FIG. 1 and FIG.
図3において、本実施形態のロボットシステム制御方法は、作業場へのロボットおよびカメラの設置、キャリブレーション工程、ロボットを用いた作業工程からなる。 In FIG. 3, the robot system control method of the present embodiment includes installation of a robot and a camera on a work place, a calibration process, and a work process using the robot.
まず、作業場にロボット20、第1カメラ30および第2カメラ31を設置する。このとき、2台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。2台のカメラの光軸がなす角は、好ましくは30〜150度、より好ましくは60〜120度、特に好ましくは70〜110度である。2台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、2台のカメラの向きが異なるほど、標識の一部が死角となるオクルージョンが発生する可能性が高まる。2台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、標識の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。 First, the
図4にキャリブレーション工程のフローを示す。キャリブレーション工程では、カメラから得られる位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成する。 FIG. 4 shows the flow of the calibration process. In the calibration step, a reference table is created in which positional information obtained from the camera is associated with posture parameters of the robot.
まず、ハンド24に標識50を固定する。標識をハンドに固定することには、標識をハンドで把持すること、標識を吸着その他の方法によってハンドで保持すること、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。標識の数は複数であってもよい。標識をハンドで把持する場合、標識としては、対象物自体または対象物に似た形状の物体、球状の物体、指し棒などを用いることができる。なお、標識はロボットの可動部分であるアームに固定してもよい。 First, the
標識は、好ましくは、標識の位置がハンドの把持位置に一致するように固定される。参照表に登録される標識位置と作業時のハンド移動の目標位置が一致するからである。図1では、球形の標識50がハンドで把持されることによって固定されており、標識の位置がハンドの把持位置に一致している。本実施形態では、以下、標識位置とハンドの把持位置が一致しているとして説明を続ける。 The marker is preferably fixed so that the position of the marker corresponds to the gripping position of the hand. This is because the marker position registered in the reference table matches the target position of the hand movement at the time of operation. In FIG. 1, the
次いで、制御装置40の第1通信部41からの指示によりロボットを動作させて、作業空間内でハンド24および標識50を移動させる。このとき、標識の移動経路や停止位置を予め正確に決定しておく必要はなく、作業空間内をおおよそ一巡するように決定しておけばよい。標識を移動させる範囲は、操作者が入力装置46から入力して制御装置に伝えることができる。その際、移動経路上の点に対応する関節変数を操作者が直接入力してもよいし、移動経路上の点の三次元位置座標を操作者が入力して、演算部43またはロボットの駆動部26が関節変数を計算してもよい。 Next, the robot is operated according to an instruction from the
次いで、標識を上記範囲内で移動させながら、標識が停止した状態および/または動いている状態で参照表を作成する。 Then, while moving the label within the above range, a lookup table is created with the label stopped and / or in motion.
標識の停止時に参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第1通信部41からロボット20に送信した姿勢パラメータでもよいし、第1通信部がロボットから受信した姿勢パラメータでもよい。例えば、標識が制御装置から指示した位置で停止したときは、制御装置40は第1通信部41からロボットに送信した姿勢パラメータを既に知っているので、この姿勢パラメータを参照表に登録してもよい。また、例えば、第1通信部からロボットに停止位置の三次元位置座標を送信した場合でも、標識停止時に第1通信部がロボットから関節変数を受信して、この関節変数を参照表に登録してもよい。 For example, the method of creating a lookup table at the stop of the label is as follows. The posture parameter registered in the reference table may be a posture parameter transmitted from the
姿勢パラメータの取得と並行して、第2通信部42がカメラ30、31に撮像指示を送信し、標識が停止したときの画像をカメラ30、31から受信する。図6に、制御装置40がカメラ30、31から受信した画像を示す。2枚の画像には標識50が記録されている。制御装置の演算部43はカメラから受信した画像を処理して、画像中に標識を認識する。標識を認識する方法には、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、標識の、2つの画像中の画素位置の組(u1i,v1 i,u2i,v2i)を、標識の位置情報として算出する。In parallel with the acquisition of the posture parameter, the
標識が動いている状態で参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第1通信部41がロボットから受信する。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、第1通信部41および第2通信部42からロボットおよびカメラ30、31に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、1つの同期信号に基づいて、第1通信部41および第2通信部42がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置40内の同期信号生成部(図示せず)が生成してもよいし、第1または第2通信部のいずれかが生成してもよい。また、カメラ30、31が撮像時刻付の画像を生成可能なときは、第2通信部が2台のカメラから時々刻々と画像を受信して、第1通信部がロボットから取得した姿勢パラメータと同時刻の画像を選択することができる。演算部43は標識50を画像中に認識して、その位置情報を算出する。 The method of creating a reference table in the state in which the sign is moving is, for example, as follows. The
以上のようにして、一つの標識位置に対して、カメラによる位置情報と、当該位置に対応するロボットの姿勢パラメータが得られる。制御装置の演算部43は、位置情報と姿勢パラメータを関連付けて1つのレコードを作成し、記憶部44に記憶された参照表に追加登録する。 As described above, position information by the camera and posture parameters of the robot corresponding to the position can be obtained for one marker position. The
標識50を作業空間内で巡回させて、標識が予定された終了位置に達すると、キャリブレーションを終了する。なお、好ましくは、キャリブレーション終了時に参照表のレコードを、位置情報をキーとしてソートしておく。作業時の検索を効率化するためである。 The
図7に参照表の例を示す。この参照表の各レコードは、位置情報として第1カメラ画像中の画素位置としての座標(u1i,v1i)と第2カメラ画像中の画素位置としての座標(u2i,v2i)、および姿勢パラメータとして6自由度のロボットにおける6つの関節角度(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)からなる。FIG. 7 shows an example of the reference table. Each record of this reference table includes coordinates (u 1i , v 1i ) as pixel positions in the first camera image as position information, coordinates (u 2i , v 2i ) as pixel positions in the second camera image, and The posture parameters include six joint angles (θ 1i , θ 2i , θ 3i , θ 4i , θ 5i , θ 6i ) in a robot having six degrees of freedom.
図5に作業工程におけるハンド移動のフローを示す。作業工程では、カメラ画像から算出した位置情報に基づいて、ロボットのハンドを作業対象物まで移動させる。 FIG. 5 shows a flow of hand movement in the work process. In the work process, the hand of the robot is moved to the work object based on the position information calculated from the camera image.
まず、制御装置40が第2通信部42からカメラ30、31に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物が存在する。第2通信部がカメラから画像を受信する。演算部43は2つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法は、標識を認識する方法と同様に行うことができる。演算部は、ハンド移動の目標となる対象物の位置情報として、各カメラ座標系における対象物の位置座標を算出する。 First, the
演算部43は対象物の位置情報から記憶部44に記憶されている参照表を検索する。参照表に対象物の位置情報を含むレコードが見つかれば、演算部は、当該位置情報に対応する姿勢パラメータを取得する。参照表に対象物の位置情報を含むレコードが見つからない場合は、演算部は対象物の位置情報に対応する姿勢パラメータを推定して取得してもよい。例えば、位置情報が近い複数点のレコードにおける姿勢パラメータ間を補間することにより、姿勢パラメータが推定できる。第1通信部41がロボットに姿勢パラメータを送信して、ハンドを対象物まで移動させるよう指示する。 The
姿勢パラメータが推定されたものである場合、ロボットがその姿勢パラメータに従って動作したのち、ハンドの位置を微調整してもよい。ハンド位置を微調整するには、国際公開第2013/176212号に記載された方法など、公知の方法を用いることができる。 If the posture parameter is estimated, the position of the hand may be finely adjusted after the robot operates according to the posture parameter. For fine adjustment of the hand position, known methods such as the method described in WO 2013/176212 can be used.
また、ハンド位置の微調整を行った場合は、その結果を参照表にフィードバックしておくのが好ましい。具体的には、ハンドが微調整を経て対象物に到達した後に、制御装置の第1通信部41がロボットに姿勢パラメータ要求を送信して、ロボットから姿勢パラメータを受信し、演算部43が対象物の位置情報と姿勢パラメータとを関連付けて、記憶部44の参照表に追加登録してもよい。 Also, when the hand position is finely adjusted, it is preferable to feed back the result to the reference table. Specifically, after the hand reaches the object after fine adjustment, the
ここで、参照表について、さらに詳細に説明する。 Here, the reference table will be described in more detail.
参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。 In the reference table, for a point in the work space of the robot, position information obtained from a camera image of the point and a posture parameter of the robot corresponding to the point are registered in association with each other.
参照表に登録する位置情報は、図7に示したような2つ画素座標の組には限定されない。位置情報は、例えば図8に示すように、第1カメラによる画像中の画素位置(u1i,v1i)と、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出された距離情報(di)との組であってもよい。あるいは、位置情報は、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第1カメラと第2カメラの中心間距離(基線長)と画像中のエピポーラ線を知る必要があるが、例えば第1カメラと第2カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。The position information registered in the reference table is not limited to the set of two pixel coordinates as shown in FIG. For example, as shown in FIG. 8, the position information is calculated based on the pixel position (u 1i , v 1i ) in the image by the first camera, the image by the first camera and the image by the second camera based on the principle of triangulation. It may be a set with the calculated distance information (d i ). Alternatively, the position information may be three-dimensional position coordinates in the camera coordinate system calculated based on the triangulation principle from the image by the first camera and the image by the second camera. In these cases, it is necessary to know the center-to-center distance (baseline length) of the first camera and the second camera and the epipolar line in the image, for example, a commercially available stereo camera etc. in which the first camera and the second camera are integrated. In the case of using the camera, geometrical parameters of such a camera are adjusted in advance, and an internal calibration operation is unnecessary.
参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図7に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度(リンク間角度)、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。 An example of a posture parameter registered in the reference table is a joint variable of a robot. The joint variables are not limited to the set of joint angles as shown in FIG. When using a joint variable as the posture parameter, a joint angle (angle between links) in the rotary joint and a distance between the links in the linear motion joint are combined as joint variables, and the joint variables according to the types of joints constituting the robot are combined.
関節変数を参照表に登録する場合は、図1のように、キャリブレーション時の標識の位置とハンドの把持位置が一致していることが好ましい。標識の位置情報と、その標識を実際に把持した状態での関節変数を関連付けて、参照表に登録できるからである。この場合、作業時に、対象物の位置情報から参照表を検索して得られる関節変数をロボットに指示すれば、対象物を把持するための目標位置にハンドを移動できる。さらに、重力によるアームの撓み等がある場合でも、参照表に登録された位置情報と関節変数には撓み等の影響がすでに織り込まれており、作業時に特段の考慮は不要である。 When joint variables are registered in the reference table, as shown in FIG. 1, it is preferable that the position of the marker at the time of calibration and the grip position of the hand coincide. This is because the position information of the mark and the joint variable in a state in which the mark is actually gripped can be associated and registered in the reference table. In this case, the hand can be moved to a target position for grasping the object by pointing the robot to a joint variable obtained by searching the reference table from the position information of the object at work. Furthermore, even if there is a deflection of the arm due to gravity, the positional information and joint variables registered in the reference table have already incorporated effects of the deflection and so on, and no special consideration is necessary at the time of operation.
これに対して、キャリブレーション時の標識の位置とハンドの把持位置が一致していない場合、例えば標識をハンドの側面等の把持位置と異なる部分に固定した場合は、標識の位置情報を求めたときの関節変数をそのまま参照表に登録することができない。その関節変数はその標識の位置に対応していないからである。言い換えると、標識の位置情報を求めたときの関節変数をロボットに指示しても、ハンドはその標識の位置にある対象物を把持できない。この場合は、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することができる。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。 On the other hand, when the position of the marker at the time of calibration and the grip position of the hand do not match, for example, when the marker is fixed to a part different from the grip position such as the side of the hand, the position information of the marker is obtained Joint variables can not be registered in the reference table as they are. The joint variable does not correspond to the position of the marker. In other words, even if the robot is instructed to perform joint variables when position information of the marker is obtained, the hand can not grip the object at the position of the marker. In this case, the three-dimensional position coordinates of the sign are once obtained from the joint variables when the position information of the sign is obtained, converted to the joint variable corresponding to the sign position based on the design data of the robot, and registered in the reference table. be able to. At this time, joint variables can be determined in consideration of geometric constraints and the like for avoiding obstacles in the work place.
参照表に登録する姿勢パラメータの他の例は、標識のロボット座標系における三次元位置座標である。ロボット座標系は、キャリブレーションと作業工程を通して変動しない座標系であればよい。好適には、ロボットのベース25を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図9に、ロボット座標系における標識位置の直交座標(Rxi,Ryi,Rzi)を姿勢パラメータとする参照表を示す。姿勢パラメータを標識の三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。Another example of posture parameters to be registered in the reference table is the three-dimensional position coordinates of the marker in the robot coordinate system. The robot coordinate system may be any coordinate system that does not change throughout calibration and work processes. Preferably, a coordinate system based on the
標識の三次元位置座標は、標識位置がハンドの把持位置と一致していても一致していなくても、標識がロボットに固定されている限り、そのときの関節変数から算出することができる。標識の三次元位置座標は、例えば、制御装置の第1通信部がロボットから受信した関節変数と標識の固定位置情報とを基に演算部が算出できる。標識の固定位置情報は、例えば、標識を固定したアームのローカル座標系で表した標識の相対座標であればよい。作業時には、対象物の位置情報から参照表を検索して、当該位置の三次元位置座標を取得し、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。 The three-dimensional position coordinates of the marker can be calculated from joint variables at that time as long as the marker is fixed to the robot, regardless of whether the marker position matches or does not match the grip position of the hand. The computing unit can calculate the three-dimensional position coordinates of the marker, for example, based on the joint variable received by the first communication unit of the control device from the robot and the fixed position information of the marker. The fixed position information of the marker may be, for example, relative coordinates of the marker represented in the local coordinate system of the arm on which the marker is fixed. At the time of work, the reference table is searched from the position information of the object to obtain the three-dimensional position coordinates of the position, and the operation unit of the control device or the drive unit of the robot having the operation function takes the hand at the three-dimensional coordinate position. It is possible to calculate joint variables for moving.
参照表には、作業空間内のできるだけ多くの点が登録されていることが好ましい。作業工程において参照表に対象物を含むレコードを発見する確率が上がり、時間短縮になるからである。例えば、作業空間の大きさが1m立方で、カメラ画像の作業空間内の空間解像度が1mmの場合、109個のレコードで、作業空間に含まれる1mm間隔の格子点を網羅することができる。参照表に登録する点の密度は、画像の空間解像度と同じピッチの立方格子の格子点の密度の、好ましくは512分の1以上、さらに好ましくは64分の1以上であり、特に好ましくは8分の1以上である。参照表に登録する点は、最も好ましくは、画像の空間解像度と同じピッチの立方格子の格子点をすべて含む。Preferably, as many points as possible in the work space are registered in the reference table. This is because the probability of finding a record including an object in the reference table in the work process is increased and time is shortened. For example, if the size of the work space is 1
また、参照表に登録する点の分布は、作業空間のうちハンドの移動頻度が高い領域は密に、低い領域は疎にしてもよい。これにより、キャリブレーション工程の所要時間を短縮しながら、作業工程において参照表に対象物の位置情報を発見する確率を過度に低下させないからである。 Further, the distribution of points registered in the reference table may be dense in an area where the movement frequency of the hand is high in the work space, and sparse in an area where the movement frequency of the hand is low. Thereby, while shortening the time required for the calibration process, the probability of finding the position information of the object in the reference table in the work process is not excessively reduced.
また、参照表に登録する点の分布は、カメラレンズの画角が広いことなどにより画像上の作業空間が歪む場合には、歪の大きい領域は密に、そうでない領域は疎にしてもよい。具体的には、参照表に登録する点は、参照表にない点の姿勢パラメータを推定する際に、近接する2点から直線補間できる程度に高密度に登録されていることが好ましい。画像上の作業空間が歪んでいても、簡易な計算で姿勢パラメータを推定できるからである。 Also, in the distribution of points registered in the reference table, if the working space on the image is distorted due to a wide angle of view of the camera lens, etc., regions with large distortion may be dense and regions other than this may be sparse. . Specifically, it is preferable that the points registered in the reference table be registered at a high density such that linear interpolation can be performed from two adjacent points when estimating the posture parameters of points not in the reference table. This is because even if the work space on the image is distorted, the posture parameter can be estimated by simple calculation.
本実施形態では、実際のカメラおよびロボットを用いてキャリブレーションを行うので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、世界座標など他の座標系を介することがなく、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、キャリブレーション作業の省力化を図ることができるし、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。 In this embodiment, since calibration is performed using an actual camera and robot, it is not affected by an error due to processing, mounting, etc. at the time of system manufacture. In addition, since it is not necessary to measure the internal and external parameters of the camera and the installation position / orientation of the robot without passing through other coordinate systems such as world coordinates, it is possible to save on calibration work. There is a high degree of freedom in selecting and installing devices. For example, a camera with a large angle of view can be used to cover a wider range.
本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えばレンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。 In the present embodiment, since the hand is moved using the reference table, it is possible to reliably reach the point where the hand has visited once even after the second time. In addition, even if there are irregular error factors such as lens distortion, they are not affected. For example, when performing coordinate conversion using a transformation matrix etc. for lens distortion, even if distortion coefficients etc. are used, it is only possible to correct for modeled barrel distortion, pincushion distortion etc. Distortion effects can not be completely eliminated. By using the reference table, a camera with a cheaper lens system can be adopted.
次に、本発明の第2実施形態を図10〜図12に基づいて説明する。本実施形態は、鏡を利用し、1台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。 Next, a second embodiment of the present invention will be described based on FIGS. In the present embodiment, a mirror is used, and a single camera captures a direct image of the work space of the robot and a reflection image of the mirror.
図10において、本実施形態のロボットシステム11は、多関節ロボット20と、鏡38と、ロボットの作業空間の直接像および鏡による反射像を撮像する1台のカメラ32と、制御装置40とを有する。 In FIG. 10, a
ロボット20は第1実施形態と同じである。カメラ32は、第1実施形態の第1カメラ30または第2カメラ31と同じものを用いることができる。カメラ32および鏡38は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。図10はキャリブレーション時の様子を示しており、ロボットはハンド24に標識50を把持している。 The
制御装置40の構成は図2と同じであるが、ただし、演算部の機能が異なる。図11に示すように、キャリブレーション時に第2通信部42がカメラ32から受信する画像には、標識50の直接像と鏡38による反射像が写り込んでいる。演算部43は、1枚の画像を処理して、キャリブレーション時には標識50を、作業時には対象物の直接像および反射像を画像中に認識して、標識または対象物の位置情報を算出する。その他は第1実施形態と同様である。 The configuration of the
図12に参照表の例を示す。この参照表の各レコードには、標識の直接像の画像中の画素位置としての座標(udi,vdi)、反射像の画像中の画素位置としての座標(um i,vmi)、6自由度のロボットにおける姿勢パラメータとしての6つの関節変数(θ 1i,θ2i,θ3i,θ4i,θ5i,θ6i)が含まれている。 FIG. 12 shows an example of the reference table. In each record of this reference table, coordinates (udi, Vdi), Coordinates as pixel position in the image of the reflection image (um i, Vmi), 6 joint variables (θ 1i, Θ2i, Θ3i, Θ4i, Θ5i, Θ6i)It is included.
次に、本発明の第3実施形態を図13および図14に基づいて説明する。本実施形態は、1台のTOFカメラで、ロボットの作業空間を撮像する。 Next, a third embodiment of the present invention will be described based on FIG. 13 and FIG. In this embodiment, the working space of the robot is imaged by one TOF camera.
図13において、本実施形態のロボットシステム12は、多関節ロボット20と、ロボットの作業空間を撮像する1台のTOFカメラ33と、制御装置40とを有する。図13はキャリブレーション時の様子を示しており、ロボットはハンド24に標識50を把持している。 In FIG. 13, a
ロボット20は第1実施形態と同じである。TOFカメラ33は、光飛行時間(Time Of Flight:TOF)方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。 The
制御装置40の構成は図2と同じであるが、ただし、演算部の機能が異なる。演算部43は、第2通信部42がTOFカメラ33から受信した二次元画像および距離画像を処理して、キャリブレーション時には標識50を、作業時には対象物を画像中に認識して、標識または対象物の位置情報を取得する。その他は第1実施形態と同様である。 The configuration of the
図14に参照表の例を示す。この参照表の各レコードは、標識の二次元画像および距離画像中の座標(Cxi,Cyi,Cdi)、6自由度のロボットにおける姿勢パラメータとしての6つの関節変数(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)を含む。FIG. 14 shows an example of the reference table. Each record of this reference table is the coordinates (Cx i , Cy i , C d i ) in the two-dimensional image of the marker and the distance image, and six joint variables (θ 1i , θ 2i ) as posture parameters in a robot with six degrees of freedom , Θ 3i , θ 4i , θ 5i , θ 6i ).
次に、本発明の第4実施形態を図15〜図17に基づいて説明する。本実施形態は、1台のカメラで、ロボットの作業空間を撮像し、画像中の標識の座標と、カメラから標識までの距離によって変化する特徴量との組を位置情報とする。具体的には、画像中の標識の面積を特徴量とする。 Next, a fourth embodiment of the present invention will be described based on FIGS. In the present embodiment, the working space of the robot is imaged by one camera, and a set of coordinates of the marker in the image and a feature that changes according to the distance from the camera to the marker is used as position information. Specifically, the area of the sign in the image is used as the feature amount.
図15において、本実施形態のロボットシステム13は、多関節ロボット20と、ロボットの作業空間を撮像する1台のカメラ34と、制御装置40とを有する。ロボット20は第1実施形態と同じである。カメラ34は、第1実施形態の第1カメラ30または第2カメラ31と同じものを用いることができる。 In FIG. 15, a
制御装置40の構成は図2と同じであるが、ただし、演算部の機能が異なる。演算部43はキャリブレーション時には、カメラ34から第2通信部で受信した1枚の画像(図16)を処理して、キャリブレーション時には標識50を画像中に認識して、画像中の標識の面積(Smi)を算出する。また、少なくとも1つの位置で、画像中の対象物の面積(Swi)と標識の面積(Smi)との比を別途算出しておく。演算部43は作業時には、対象物を画像中に認識して、画像中の対象物の面積(Swi)を算出し、さらに標識50の面積(Smi)に換算する。そして演算部は、対象物の画像中の画素位置と、当該位置に標識があったと仮定したときの画像中の標識の面積との組を対象物の位置情報として、参照表を検索する。The configuration of the
図17に参照表の例を示す。この参照表の各レコードは、画像中の画素位置としての座標(ui,vi)、画像中の標識の面積(Smi)、6自由度のロボットにおける姿勢パラメータとしての6つの関節変数(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)からなる。FIG. 17 shows an example of the reference table. Each record in this reference table has coordinates (u i , v i ) as pixel positions in the image, an area (S mi ) of the marker in the image, and six joint variables as posture parameters in the robot with six degrees of freedom ( θ 1i , θ 2i , θ 3i , θ 4i , θ 5i , θ 6i ).
次に、本発明の第5実施形態を図18に基づいて説明する。本実施形態では、2台の多関節ロボットと6台のカメラを用いる。本実施形態は、第1実施形態のロボットシステムを複数組み合わせたものと考えることができる。 Next, a fifth embodiment of the present invention will be described based on FIG. In this embodiment, two articulated robots and six cameras are used. The present embodiment can be considered as a combination of a plurality of robot systems of the first embodiment.
図18に示すロボットシステム14では、1台の制御装置40に、2台の多関節ロボット60、61と6台のカメラ70〜75が接続されている。カメラ70およびカメラ71は画角の広いレンズを備え、ロボット60およびロボット61の両方の作業空間を撮像可能である。カメラ72およびカメラ73は画角の狭いレンズを備え、一方のロボット60の作業空間を高い空間解像度で撮像可能である。カメラ74およびカメラ75は画角の狭いレンズを備え、他方のロボット61の作業空間を高い空間解像度で撮像可能である。 In the
制御装置40は、次の組み合わせからなるレコードで構成された4つの参照表を作成、記憶する。
・参照表A:カメラ70、71による位置情報−ロボット60の姿勢パラメータ
・参照表B:カメラ70、71による位置情報−ロボット61の姿勢パラメータ
・参照表C:カメラ72、73による位置情報−ロボット60の姿勢パラメータ
・参照表D:カメラ74、75による位置情報−ロボット61の姿勢パラメータThe
Reference table A: Position information by
これにより、ロボット60のハンド移動は、大まかな移動は参照表Aを利用して、精密な位置制御が必要な領域では参照表Cを利用して行うことができる。同様に、ロボット61のハンド移動は、大まかな移動は参照表Bを利用して、精密な位置制御が必要な領域では参照表Dを利用して行うことができる。 As a result, the hand movement of the
本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。 The present invention is not limited to the embodiments described above, and various modifications are possible within the scope of the technical idea thereof.
例えば、上記第5実施形態は第1実施形態のロボットシステムを複数組み合わせたが、これには限られず、第1〜第4実施形態を自由に組み合わせることができる。 For example, although the fifth embodiment combines a plurality of robot systems according to the first embodiment, the present invention is not limited to this, and the first to fourth embodiments can be freely combined.
10〜14 ロボットシステム
20 多関節ロボット
21 アーム
22 リンク
23 関節
24 ハンド
25 ベース
26 駆動部
30 第1カメラ
31 第2カメラ
32、34 カメラ
33 TOFカメラ
38 鏡
40 ロボットシステム制御装置(制御装置)
41 第1通信部(ロボットとのインターフェイス)
42 第2通信部(カメラとのインターフェイス)
43 演算部
44 記憶部
45 第3通信部(入出力装置とのインターフェイス)
46 入力装置
47 出力装置
50 標識
60、61 多関節ロボット
70〜75 カメラ10 to 14
41 1st communication unit (interface with robot)
42 Second communication unit (interface with camera)
43
46
Claims (28)
前記ロボットの作業空間を撮像する1台以上のカメラと、
制御装置とを有し、
前記制御装置は、キャリブレーション時において、
前記ロボットの姿勢パラメータを取得し、
前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、
前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶し、
前記制御装置は、作業時において、
前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、
前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
取得した前記姿勢パラメータを前記ロボットに送信する、
ロボットシステム。With articulated robots,
One or more cameras for imaging the work space of the robot;
And a control device,
At the time of calibration, the control device
Get the robot's attitude parameter,
Obtaining an image from the camera, recognizing a sign fixed to the robot in the image, and calculating position information of the sign;
Creating and storing a reference table in which the position information of the sign and the posture parameter of the robot are associated;
At the time of work, the control device
Obtaining an image from the camera, recognizing an object in the image, and calculating position information of the object;
The posture parameter for moving the hand of the robot to the object is acquired from the position information of the object with reference to the reference table,
Transmitting the acquired posture parameter to the robot;
Robot system.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と前記第2カメラによる画像中の画素位置との組である、
請求項1に記載のロボットシステム。The robot system has a first camera and a second camera,
The position information of the sign and the position information of the object are a set of the position of the sign or the object of the pixel in the image by the first camera and the position of the pixel in the image by the second camera, respectively.
The robot system according to claim 1.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
請求項1に記載のロボットシステム。The robot system has a first camera and a second camera,
The position information of the sign and the position information of the object are respectively based on the pixel position of the sign or the object in the image of the first camera, the image of the first camera, and the image of the second camera. It is a pair with distance information calculated based on the principle of surveying,
The robot system according to claim 1.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
請求項1に記載のロボットシステム。The robot system has a first camera and a second camera,
A camera coordinate system in which position information of the sign and position information of the object are calculated based on an image of the sign or the object by the first camera and an image of the second camera based on the principle of triangulation. Three-dimensional position coordinates in
The robot system according to claim 1.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
請求項1に記載のロボットシステム。The robot system further comprises a mirror within the angle of view of the camera and positioned such that the work space is visible when viewed from the camera;
The position information of the sign and the position information of the object are respectively a set of the position of the sign or the object of the direct image in the image by the camera and the position of the reflection image by the mirror.
The robot system according to claim 1.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
請求項1に記載のロボットシステム。The camera is a distance image camera,
The position information of the sign and the position information of the object are a set of pixel positions and distance information of the sign or the object in the distance image by the distance image camera, respectively.
The robot system according to claim 1.
請求項1に記載のロボットシステム。The position information of the sign and the position information of the object are respectively a set of the position of the sign or the pixel position in the image of the object by the camera and the area in the image when the sign is at the position. is there,
The robot system according to claim 1.
請求項1〜7のいずれか一項に記載のロボットシステム。The posture parameter is a set of joint variables of the robot,
The robot system according to any one of claims 1 to 7.
請求項1〜7のいずれか一項に記載のロボットシステム。The posture parameter is three-dimensional position coordinates of the marker or the robot coordinate system of the object,
The robot system according to any one of claims 1 to 7.
前記ロボットの姿勢パラメータを取得し、
前記ロボットの作業空間を撮像する1台以上のカメラから該ロボットに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、
前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する、
ロボットシステム制御装置。At the time of calibration of the articulated robot,
Get the robot's attitude parameter,
An image with a sign fixed to the robot is acquired from one or more cameras for imaging the work space of the robot, the sign is recognized in the image, and position information of the sign is calculated;
Create and store a reference table that associates the position information of the sign with the posture parameter of the robot.
Robot system controller.
前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、
前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
取得した前記姿勢パラメータを前記ロボットに送信する、
請求項10に記載のロボットシステム制御装置。At the time of work of the robot
Obtaining an image from the camera, recognizing an object in the image, and calculating position information of the object;
The posture parameter for moving the hand of the robot to the object is acquired from the position information of the object with reference to the reference table,
Transmitting the acquired posture parameter to the robot;
The robot system control device according to claim 10.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と第2カメラによる画像中の画素位置との組である、
請求項11に記載のロボットシステム制御装置。The robot system controller acquires an image from the first camera and the second camera,
The position information of the sign and the position information of the object are respectively a set of the position of the sign or the object of the pixel in the image by the first camera and the position of the pixel in the image by the second camera.
The robot system control device according to claim 11.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
請求項11に記載のロボットシステム制御装置。The robot system controller acquires an image from the first camera and the second camera,
The position information of the sign and the position information of the object are respectively the pixel position of the sign or the object in the image by the first camera, and the image by the first camera and the image by the second camera. A pair with distance information calculated based on
The robot system control device according to claim 11.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
請求項11に記載のロボットシステム制御装置。The robot system controller acquires an image from the first camera and the second camera,
A third order in a camera coordinate system in which position information of the sign and position information of the object are calculated based on an image by the first camera and an image by the second camera of the sign or the object respectively based on the principle of triangulation The original position coordinates,
The robot system control device according to claim 11.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
請求項11に記載のロボットシステム制御装置。The camera captures a direct image of the work space and a reflected image from a mirror into a single image;
The position information of the sign and the position information of the object are respectively a set of the position of the sign or the object of the direct image in the image by the camera and the position of the reflection image by the mirror.
The robot system control device according to claim 11.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる画像中の画素位置と距離情報との組である、
請求項11に記載のロボットシステム制御装置。The camera is a distance image camera,
The position information of the sign and the position information of the object are a set of the pixel position of the sign or the object in the image by the distance image camera and the distance information, respectively.
The robot system control device according to claim 11.
請求項11に記載のロボットシステム制御装置。The position information of the sign and the position information of the object are respectively a set of the position of the sign or the pixel position in the image of the object by the camera and the area in the image when the sign is at the position. is there,
The robot system control device according to claim 11.
請求項11〜17のいずれか一項に記載のロボットシステム制御装置。The posture parameter is a set of joint variables of the robot,
The robot system control device according to any one of claims 11 to 17.
請求項11〜17のいずれか一項に記載のロボットシステム制御装置。The posture parameter is three-dimensional position coordinates of the marker or the robot coordinate system of the object,
The robot system control device according to any one of claims 11 to 17.
前記ロボットの作業空間を1台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録するキャリブレーション工程と、
対象物が存在する作業空間を前記カメラで撮像し、
前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
取得した前記姿勢パラメータを該ロボットに送信する作業工程と、
を有するロボットシステム制御方法。While operating the articulated robot on which the sign is fixed and moving the sign,
The working space of the robot is imaged by one or more cameras, the marker is recognized in an image photographed by the camera, position information of the marker is calculated, and position information of the marker and the robot at the time of the imaging Calibration step of sequentially registering in the reference table in association with the posture parameters of
The camera captures an image of a work space in which an object exists,
The object is recognized in the image captured by the camera, position information of the object is calculated, and from the position information of the object, the hand of the robot is referred to the object with reference to the reference table. Obtain the posture parameter for moving
A work process of transmitting the acquired posture parameter to the robot;
A robot system control method comprising:
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と第2カメラによる画像中の画素位置との組である、
請求項20に記載のロボットシステム制御方法。The one or more cameras are a first camera and a second camera,
The position information of the sign and the position information of the object are respectively a set of the position of the sign or the object of the pixel in the image by the first camera and the position of the pixel in the image by the second camera.
A robot system control method according to claim 20.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
請求項20に記載のロボットシステム制御方法。The one or more cameras are a first camera and a second camera,
The position information of the sign and the position information of the object are respectively the pixel position of the sign or the object in the image by the first camera, and the image by the first camera and the image by the second camera. A pair with distance information calculated based on
A robot system control method according to claim 20.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
請求項20に記載のロボットシステム制御方法。The one or more cameras are a first camera and a second camera,
A third order in a camera coordinate system in which position information of the sign and position information of the object are calculated based on an image by the first camera and an image by the second camera of the sign or the object respectively based on the principle of triangulation The original position coordinates,
A robot system control method according to claim 20.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
請求項20に記載のロボットシステム制御方法。The camera captures the work space and a mirror arranged to reflect the work space in one image.
The position information of the sign and the position information of the object are respectively a set of the position of the sign or the object of the direct image in the image by the camera and the position of the reflection image by the mirror.
A robot system control method according to claim 20.
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
請求項20に記載のロボットシステム制御方法。The camera is a distance image camera,
The position information of the sign and the position information of the object are a set of pixel positions and distance information of the sign or the object in the distance image by the distance image camera, respectively.
A robot system control method according to claim 20.
請求項20に記載のロボットシステム制御方法。The position information of the sign and the position information of the object are respectively a set of the position of the sign or the pixel position in the image of the object by the camera and the area in the image when the sign is at the position. is there,
A robot system control method according to claim 20.
請求項20〜26のいずれか一項に記載のロボットシステム制御方法。The posture parameter is a set of joint variables of the robot,
The robot system control method according to any one of claims 20 to 26.
請求項20〜26のいずれか一項に記載のロボットシステム制御方法。The posture parameter is three-dimensional position coordinates of the marker or the robot coordinate system of the object,
The robot system control method according to any one of claims 20 to 26.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016172015 | 2016-09-02 | ||
JP2016172015 | 2016-09-02 | ||
PCT/JP2017/031055 WO2018043524A1 (en) | 2016-09-02 | 2017-08-30 | Robot system, robot system control device, and robot system control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018043524A1 true JPWO2018043524A1 (en) | 2019-06-24 |
JP6855491B2 JP6855491B2 (en) | 2021-04-07 |
Family
ID=61301786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018537323A Active JP6855491B2 (en) | 2016-09-02 | 2017-08-30 | Robot system, robot system control device, and robot system control method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6855491B2 (en) |
WO (1) | WO2018043524A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI711910B (en) * | 2018-03-19 | 2020-12-01 | 達明機器人股份有限公司 | Method for calibrating eye-to-hand camera of robot arm |
JP7070127B2 (en) * | 2018-06-15 | 2022-05-18 | オムロン株式会社 | Robot control system |
JP7172466B2 (en) * | 2018-11-08 | 2022-11-16 | 株式会社Ihi | Tool center point setting method and setting device |
JP7269864B2 (en) * | 2019-10-21 | 2023-05-09 | 株式会社アマダ | Work photographed image processing device and work photographed image processing method |
JP7323057B2 (en) * | 2020-03-31 | 2023-08-08 | 日本電気株式会社 | Control device, control method, and control program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0780790A (en) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | Three-dimensional object grasping system |
JPH09128549A (en) * | 1995-11-07 | 1997-05-16 | Meidensha Corp | Relative position attitude detecting method for robot system |
JP2012223871A (en) * | 2011-04-21 | 2012-11-15 | Kawasaki Heavy Ind Ltd | Origin correction method and system of robot joint |
JP2012254518A (en) * | 2011-05-16 | 2012-12-27 | Seiko Epson Corp | Robot control system, robot system and program |
JP2015182144A (en) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | Robot system and calibration method of robot system |
-
2017
- 2017-08-30 JP JP2018537323A patent/JP6855491B2/en active Active
- 2017-08-30 WO PCT/JP2017/031055 patent/WO2018043524A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0780790A (en) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | Three-dimensional object grasping system |
JPH09128549A (en) * | 1995-11-07 | 1997-05-16 | Meidensha Corp | Relative position attitude detecting method for robot system |
JP2012223871A (en) * | 2011-04-21 | 2012-11-15 | Kawasaki Heavy Ind Ltd | Origin correction method and system of robot joint |
JP2012254518A (en) * | 2011-05-16 | 2012-12-27 | Seiko Epson Corp | Robot control system, robot system and program |
JP2015182144A (en) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | Robot system and calibration method of robot system |
Also Published As
Publication number | Publication date |
---|---|
WO2018043524A1 (en) | 2018-03-08 |
JP6855491B2 (en) | 2021-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6855492B2 (en) | Robot system, robot system control device, and robot system control method | |
US11049280B2 (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
JP6855491B2 (en) | Robot system, robot system control device, and robot system control method | |
JP4021413B2 (en) | Measuring device | |
CN111127568B (en) | Camera pose calibration method based on spatial point location information | |
JP6180087B2 (en) | Information processing apparatus and information processing method | |
JP6000579B2 (en) | Information processing apparatus and information processing method | |
JP6324025B2 (en) | Information processing apparatus and information processing method | |
KR20140008262A (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
CN110728715A (en) | Camera angle self-adaptive adjusting method of intelligent inspection robot | |
JP2005515910A (en) | Method and apparatus for single camera 3D vision guide robotics | |
JP2004508954A (en) | Positioning device and system | |
JP2014169990A (en) | Position/posture measuring apparatus and method | |
JP2017077614A (en) | Teaching point correction method, program, recording medium, robot device, photographing point generation method, and photographing point generation device | |
JP6885856B2 (en) | Robot system and calibration method | |
JP2016170050A (en) | Position attitude measurement device, position attitude measurement method and computer program | |
US12115652B2 (en) | Referencing pose manipulation system for marker based tracking of position measurement system | |
JP2015106287A (en) | Calibration device and method | |
JP7216775B2 (en) | ROBOT ARM COORDINATE SYSTEM CALIBRATION DEVICE AND CALIBRATION METHOD | |
TW202212081A (en) | Calibration apparatus and calibration method for coordinate system of robotic arm | |
KR101972432B1 (en) | A laser-vision sensor and calibration method thereof | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
US12036663B2 (en) | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system | |
WO2023013740A1 (en) | Robot control device, robot control system, and robot control method | |
US20230249341A1 (en) | Robot teaching method and robot working method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6855491 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |