JP7384653B2 - Control device for robot equipment that controls the position of the robot - Google Patents
Control device for robot equipment that controls the position of the robot Download PDFInfo
- Publication number
- JP7384653B2 JP7384653B2 JP2019219104A JP2019219104A JP7384653B2 JP 7384653 B2 JP7384653 B2 JP 7384653B2 JP 2019219104 A JP2019219104 A JP 2019219104A JP 2019219104 A JP2019219104 A JP 2019219104A JP 7384653 B2 JP7384653 B2 JP 7384653B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- amount
- workpiece
- image
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 20
- 230000036544 posture Effects 0.000 description 65
- 238000012545 processing Methods 0.000 description 30
- 238000012937 correction Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 210000000078 claw Anatomy 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000032258 transport Effects 0.000 description 5
- 238000003466 welding Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、ロボットの位置を制御するロボット装置の制御装置に関する。 The present invention relates to a control device for a robot device that controls the position of a robot.
ロボットを備えるロボット装置では、作業に応じた作業ツールをロボットに取り付けることにより所望の作業を行うことができる。例えば、作業ツールとしてワークを把持するハンドをロボットに取り付けることにより、ロボット装置は、ワークを所望の位置まで搬送することができる。 2. Description of the Related Art In a robot device equipped with a robot, a desired work can be performed by attaching a work tool corresponding to the work to the robot. For example, by attaching a hand that grips a work as a work tool to a robot, the robot device can transport the work to a desired position.
ロボット装置にてワークを搬送するときに、ワークの位置および姿勢を制御することによりロボット装置が把持しているワークを他のワークに取り付けたり、他のワークの内部に配置したりすることができる。このような作業を行う場合には、他のワークに対してロボット装置が把持しているワークの厳密な位置合わせを行うことが好ましい。例えば、１つのワークを他のワークに嵌合する作業を行う場合に、1つのワークの位置および姿勢が他のワークの位置および姿勢からずれると作業が失敗する場合がある。 When a workpiece is transported by a robot device, by controlling the position and posture of the workpiece, the workpiece held by the robot device can be attached to or placed inside another workpiece. . When performing such work, it is preferable to precisely align the workpiece held by the robot device with respect to other workpieces. For example, when performing work to fit one workpiece to another workpiece, the work may fail if the position and orientation of one workpiece deviates from the position and orientation of the other workpiece.
従来の技術においては、１つのワークを他のワークに取り付ける作業を行う場合に、カメラにて撮像した画像を用いてロボットの位置の制御を行うことが知られている。例えば、１つのワークまたは他のワークのゴール画像を予め準備しておくことができる。ロボット装置にてワークを搬送する時にカメラにてワークを撮像する。そして、ワークの画像をゴール画像と比較することにより、ロボットの位置を調整する制御が知られている（例えば、特開２０１３－１８０３８０号公報、および特開２０１５－２１４０２２号公報を参照）。 2. Description of the Related Art In conventional technology, it is known to control the position of a robot using an image captured by a camera when attaching one workpiece to another workpiece. For example, a goal image of one work or another work can be prepared in advance. A camera takes an image of the workpiece when the robot device transports the workpiece. Control that adjusts the position of a robot by comparing an image of a workpiece with a goal image is known (see, for example, Japanese Patent Laid-Open Nos. 2013-180380 and 2015-214022).
また、ロボット座標系に対して視覚センサ座標系を予め較正して、視覚センサ座標系におけるワークの位置に基づいてワークの３次元の位置を算出する制御が知られている。または、画像における特徴部位の位置および大きさに関するヤコビアン行列を予め生成することができる。カメラにて撮像した画像における特徴部位の位置、目標データにおける特徴部位の位置、およびヤコビアン行列に基づいてロボットの位置を修正する制御が知られている（例えば、特開２０１７－１７０５９９号公報を参照）。 Furthermore, control is known in which the visual sensor coordinate system is calibrated in advance with respect to the robot coordinate system, and the three-dimensional position of the workpiece is calculated based on the position of the workpiece in the visual sensor coordinate system. Alternatively, a Jacobian matrix regarding the position and size of a feature part in an image can be generated in advance. Control that corrects the position of a robot based on the position of a characteristic part in an image captured by a camera, the position of a characteristic part in target data, and a Jacobian matrix is known (for example, see Japanese Patent Application Laid-Open No. 2017-170599). ).
ロボットの位置を調整するためにヤコビアン行列を用いる方法では、画像の特徴部位における特徴量の差にヤコビアン行列を乗じることにより、ロボットの移動量を算出することができる。しかしながら、ヤコビアン行列を算出するときの測定誤差などにより、ヤコビアン行列が精度良く算出できない場合がある。また、ヤコビアン行列は、ロボットの位置を微小量にて移動したときの視覚センサ座標系での位置のずれに基づいて算出される。このために、特徴部位の近傍ではロボットを精度よく駆動できるが、特徴部位から離れると精度が低下する。例えば、ロボットを大きな移動量にて移動させると精度が悪いという問題がある。この結果、ロボットの位置を精度よく制御することができない場合がある。 In a method that uses a Jacobian matrix to adjust the position of the robot, the amount of movement of the robot can be calculated by multiplying the difference in feature amounts between feature parts of images by the Jacobian matrix. However, due to measurement errors when calculating the Jacobian matrix, the Jacobian matrix may not be calculated with high accuracy. Furthermore, the Jacobian matrix is calculated based on the positional shift in the visual sensor coordinate system when the robot's position is moved by a minute amount. For this reason, the robot can be driven with high accuracy near the characteristic part, but the accuracy decreases when moving away from the characteristic part. For example, there is a problem that accuracy is poor when a robot is moved by a large amount of movement. As a result, the position of the robot may not be controlled accurately.
視覚センサ座標系を較正する方法では、２次元カメラの画像に基づいて、特徴部位の３次元の位置を検出することができる。しかしながら、この方法では、ロボット座標系に対して、視覚センサ座標系の位置の較正を予め行う必要が有る。 In the method of calibrating the visual sensor coordinate system, the three-dimensional position of a feature can be detected based on a two-dimensional camera image. However, with this method, it is necessary to calibrate the position of the visual sensor coordinate system in advance with respect to the robot coordinate system.
本開示の一態様は、視覚センサにて撮像された第１の部材および第２の部材の画像に基づいて、第１の部材の位置を検出するための第１の特徴部位の位置に関する第１の特徴量と、第２の部材の位置を検出するための第２の特徴部位の位置に関する第２の特徴量とを検出する特徴量検出部と、第１の特徴量と第２の特徴量とに基づいて相対位置量を算出する算出部と、第１の部材に対して第２の部材が目標の位置に配置されているときの第１の特徴部位および第２の特徴部位の画像を含む基準画像における相対位置量を取得し、前記視覚センサにて撮像した画像における相対位置量と基準画像における相対位置量とに基づいて、第１の部材に対して第２の部材が目標の位置に配置されるようにロボットを動作させる移動指令を生成する指令生成部と、を備える制御装置である。 One aspect of the present disclosure provides a first method for detecting the position of a first characteristic region based on images of the first member and the second member captured by a visual sensor. a feature amount detection unit that detects a feature amount and a second feature amount related to the position of a second feature part for detecting the position of the second member; and a first feature amount and a second feature amount. a calculation unit that calculates a relative position amount based on the image of the first characteristic part and the second characteristic part when the second member is arranged at the target position with respect to the first member; The target position of the second member relative to the first member is obtained based on the relative position amount in the image captured by the visual sensor and the relative position amount in the reference image. This control device includes a command generation unit that generates a movement command to operate the robot so that the robot is placed in the robot.
本開示によれば、簡易な方法にてロボットの位置を精度よく制御するロボット装置の制御装置を提供することができる。 According to the present disclosure, it is possible to provide a control device for a robot device that accurately controls the position of a robot using a simple method.
図１から図２０を参照して、実施の形態におけるロボット装置の制御装置について説明する。本実施の形態では、製品を組み立てる作業を行うロボット装置およびケースの内部にワークを配置するロボット装置を例に取り上げて説明する。 A control device for a robot device according to an embodiment will be described with reference to FIGS. 1 to 20. In this embodiment, a robot device that assembles a product and a robot device that places a workpiece inside a case will be described as examples.
図１は、本実施の形態における第１のロボット装置の概略図である。第１のロボット装置５は、作業ツール（エンドエフェクタ）としてのハンド２と、ハンド２を移動するロボット１とを備える。第１のロボット装置５は、第１の部材としての第１のワーク８１に第２の部材としての第２のワーク９１を取り付ける作業を行う。
FIG. 1 is a schematic diagram of a first robot device in this embodiment. The
ロボット１は、複数の関節部を含む多関節ロボットである。ロボット１は、ベース部１４と、ベース部１４に支持された旋回ベース１３とを含む。ベース部１４は、設置面に固定されている。旋回ベース１３は、ベース部１４に対して回転するように形成されている。ロボット１は、上部アーム１１および下部アーム１２を含む。下部アーム１２は、関節部を介して旋回ベース１３に回動可能に支持されている。上部アーム１１は、関節部を介して回動可能に下部アーム１２に支持されている。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。
The
ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、関節部を介して回動可能に上部アーム１１に支持されている。リスト１５は、回転可能に形成されているフランジ１６を含む。ハンド２は、フランジ１６に固定されている。本実施の形態のロボット１は、６個の駆動軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。
The
ハンド２は、ワーク９１を把持したり解放したりする作業ツールである。ハンド２は、複数の爪部３を有する。ハンド２は爪部３が開いたり閉じたりするように形成されている。爪部３がワーク９１を挟むことによりワーク９１を把持する。第１のロボット装置５のハンド２は、爪部３を有するが、この形態に限られない。ハンドは、ワークを把持できるように形成されている任意の構成を採用することができる。例えば、吸着または磁力によりワークを把持するハンドが採用されても構わない。
The
本実施の形態におけるロボット装置５は、ロボット１に対して第１のワーク８１を搬送する搬送機としてのコンベヤ７５を含む。搬送機は、ロボット１の周りに配置される。コンベヤ７５は、ワーク８１を予め定められた位置まで搬送するように形成されている。コンベヤ７５は、予め定められた移動速度にてワーク８１を搬送するように形成されている。
本実施の形態の第１のロボット装置５では、コンベヤ７５がワーク８１の搬送を継続しながらロボット１がワーク９１をワーク８１に取り付ける。すなわち、ワーク９１が取り付けられる作業を行う期間中に、ワーク８１はコンベヤ７５により移動している。ロボット１は、ワーク８１を追従するように位置および姿勢を変化させながらワーク９１をワーク８１に取り付ける。
In the
図２に、第１のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図を示す。図１および図２を参照して、第２のワーク９１は、本体部の表面から突出する把持部９４を有する。爪部３が把持部９４を掴むことにより、第２のワーク９１はハンド２に把持される。
FIG. 2 shows an enlarged perspective view of the first work, the second work, and the hand in the first robot device. Referring to FIGS. 1 and 2, the
第１のワーク８１は、本体部の表面から突出する突出部８２，８３を有する。突出部８２および突出部８３は違いに離れて配置されている。また、ワーク８１は、突出部８２および突出部８３が鉛直方向に並ぶように、コンベヤ７５に支持されている。それぞれの突出部８２，８３の上面には、穴部８２ａ，８３ａが形成されている。第２のワーク９１は、本体部の表面から突出する突出部９２，９３を有する。それぞれの突出部９２，９３には、ピン９２ａ，９３ａが固定されている。ピン９２ａおよびピン９３ａは、互いに直線状に並ぶように配置されている。第１のロボット装置５が実施する第１の制御では、ピン９２ａを穴部８２ａに挿入すると共に、ピン９３ａを穴部８３ａに挿入する作業を実施する。
The
本実施の形態の第１の制御では、穴部８２ａ，８３ａに対してピン９２ａ，９３ａの位置を合わせる制御を行う。第１の制御を実施する前には、ワーク８１に対するワーク９１の姿勢は調整されている。すなわち、ワーク９１のピン９２ａおよびピン９３ａが、鉛直方向に延びる直線上に配置されるように、ロボット１の姿勢が調整されている。このために、第１の制御では、穴部８２ａの真上にピン９２ａを配置する制御を実施することにより、穴部８２ａ，８３ａに対するピン９２ａ，９３ａの位置を合わせることができる。本実施の形態の第１の制御を実施した後には、矢印１０３に示す鉛直方向の下側にワーク９１を移動することにより、ピン９２ａ，９３ａが穴部８２ａ，８３ａに挿入されて、ワーク９１がワーク８１に取り付けられる。
In the first control of this embodiment, control is performed to align the positions of the
ロボット装置５は、第１のワーク８１および第２のワーク９１の画像を撮像する視覚センサとしてのカメラ２５を備える。本実施の形態におけるカメラ２５は、２次元カメラである。カメラ２５は、支持部材１７を介してハンド２に支持されている。ロボット装置５におけるカメラ２５は、ハンド２と共に位置および姿勢が変化する。
The
カメラ２５は、第２のワーク９１が第１のワーク８１に接近した時の画像を撮像する。カメラ２５は、第２のワーク９１が第１のワーク８１に嵌合する部分の近傍を撮像するように配置されている。また、カメラ２５は、第１のワーク８１の位置を検出するための第１の特徴部位および第２のワーク９１の位置を検出するための第２の特徴部位を撮像することができる様に配置されている。ロボット装置５において、カメラ２５は、ワーク８１およびワーク９１の上方からワーク８１，９１を撮像するように配置されている。
The
ロボット装置５には、基準座標系５１が設定されている。図１に示す例では、ロボット１のベース部１４に、基準座標系５１の原点が配置されている。基準座標系５１はワールド座標系とも称される。基準座標系５１は、原点の位置が固定され、更に、座標軸の向きが固定されている座標系である。ロボット１の位置および姿勢が変化しても基準座標系５１の位置および向きは変化しない。基準座標系５１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。
A reference coordinate
ロボット１の位置および姿勢は、基準座標系５１にて表すことができる。例えば、ロボット１の位置は、ハンド２の先端に配置された工具先端点の位置にて表すことができる。また、工具先端点にハンド２と共に移動するツール座標系を設定することができる。ロボット１の姿勢は、基準座標系５１に対するツール座標系の向きにて表すことができる。
The position and orientation of the
図３に、本実施の形態におけるロボット装置のブロック図を示す。図１から図３を参照して、ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動するロボット駆動モーター２２を含む。ロボット駆動モーター２２が駆動することにより、それぞれの構成部材の向きが変化する。
FIG. 3 shows a block diagram of the robot device in this embodiment. Referring to FIGS. 1 to 3,
ハンド２は、ハンド２を駆動するハンド駆動装置を備える。ハンド駆動装置は、ハンド２の爪部３を駆動するハンド駆動モーター２１を含む。ハンド駆動モーター２１が駆動することによりハンド２の爪部３が開いたり閉じたりする。なお、爪部は、空気圧により作動するように形成されていても構わない。この場合には、ハンド駆動装置は、空気ポンプおよびシリンダなどの空気圧にて爪部を駆動する装置を含むことができる。
The
ロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４を含む。ロボット制御装置４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット制御装置４には、ロボット１、ハンド２、およびコンベヤ７５の制御を行うために予め作成された動作プログラム４１が入力される。ロボット１およびハンド２は、動作プログラム４１に基づいてワーク９１を搬送する。コンベヤ７５は、動作プログラム４１に基づいてワーク８１を搬送する。
The control device of the
ロボット制御装置４の演算処理装置は、予め定められた情報を記憶する記憶部４２を含む。記憶部４２は、ロボット１、ハンド２、およびコンベヤ７５の制御に関する情報を記憶する。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。動作プログラム４１は、記憶部４２に記憶される。ロボット制御装置４は、ロボット装置５に関する任意の情報を表示する表示器４６を含む。表示器４６は、例えば、液晶表示パネルを含む。
The arithmetic processing unit of the
演算処理装置は、ロボット１およびハンド２の動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。動作制御部４３は、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。
The arithmetic processing unit includes a
動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４５に送出する。ロボット駆動部４５は、ロボット駆動モーター２２を駆動する電気回路を含む。ロボット駆動部４５は、動作指令に基づいてロボット駆動モーター２２に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいてハンド２を駆動する動作指令をハンド駆動部４４に送出する。ハンド駆動部４４は、ハンド駆動モーター２１を駆動する電気回路を含む。ハンド駆動部４４は、動作指令に基づいてハンド駆動モーター２１に電気を供給する。更に、本実施の形態のロボット制御装置４には、カメラ２５が接続されている。動作制御部４３は、動作プログラム４１に基づいて、カメラ２５に画像を撮像する指令を送出する。
The
ロボット制御装置４の演算処理装置は、カメラ２５にて撮像された画像を処理する画像処理部３１を含む。画像処理部３１は、それぞれのワーク８１，９１において、予め定められた特徴的な部分である特徴部位の特徴量を検出する特徴量検出部３２を有する。画像処理部３１は、第１のワーク８１の特徴量と第２のワーク９１の特徴量との差を相対量として算出する算出部３３を有する。画像処理部３１は、算出部３３によって算出された相対量に基づいて、ロボットを動作させる移動指令を生成する指令生成部３４を有する。
The arithmetic processing unit of the
画像処理部３１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、特徴量検出部３２、算出部３３、および指令生成部３４のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。
The
ロボット装置５は、ロボット装置５の運転状態を検出する状態検出器を備える。本実施の形態の状態検出器は、ロボット１の位置および姿勢を検出する位置検出器２３を含む。位置検出器２３は、アーム等の構成部材の駆動軸に対応するロボット駆動モーター２２に取り付けられている。例えば、位置検出器２３は、ロボット駆動モーター２２が駆動するときの回転角を検出する。位置検出器２３の出力に基づいて、ロボット１の位置および姿勢が検出される。
The
ロボット装置５の制御装置は、コンベヤ７５の動作を制御するコンベヤ制御装置７６を備える。コンベヤ制御装置７６は、ＣＰＵおよびＲＡＭ等を含む演算処理装置（コンピュータ）を含む。コンベヤ制御装置７６は、ロボット制御装置４と互いに通信することができるように形成されている。動作制御部４３は、動作プログラム４１に基づいて、コンベヤ７５を駆動する動作指令をコンベヤ制御装置７６に送出する。コンベヤ制御装置７６は、ロボット制御装置４からの動作指令を受信して、コンベヤ７５を駆動する。
The control device of the
本実施の形態のロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４と、コンベヤ７５を制御するコンベヤ制御装置７６とを備えるが、この形態に限られない。ロボット装置５は、１つの制御装置にて、ロボット１、ハンド２、およびコンベヤ７５を制御するように形成されていても構わない。
The control device for the
更に、本実施の形態のロボット装置５の制御装置では、ロボット制御装置４が画像を処理する機能を有する画像処理部３１を含むが、この形態に限られない。ロボット装置の制御装置は、画像処理部３１を有する画像処理装置（コンピュータ）を備えていても構わない。画像処理装置は、プロセッサとしてのＣＰＵを有する演算処理装置にて構成することができる。画像処理装置のプロセッサは、動作プログラムに基づいて、特徴量検出部、算出部、および指令生成部として機能する。画像処理装置は、ロボット制御装置と互いに通信することができるように形成される。
Further, in the control device for the
図４に、本実施の形態における第１の制御の第１のフローチャートを示す。図１、図２および図４を参照して、第１の制御では、１個のカメラ２５にて撮像された画像を用いて、コンベヤ７５にて搬送されるワーク８１に対してワーク９１の位置合わせを行う。前述の通りに、第１の制御の前には、ワーク８１の姿勢に対するワーク９１の姿勢は予め調整されている。すなわち、カメラ２５にて画像を撮像するときのロボット１の姿勢は調整されている。ここでの制御では、穴部８２ａに対してピン９２ａの位置を合わせる制御を行う。
FIG. 4 shows a first flowchart of the first control in this embodiment. 1, 2, and 4, in the first control, the position of the
本実施の形態では、ロボット装置５にて実際に作業を行う前に、基準画像における相対位置量を算出する。そして、予め算出された基準画像の相対位置量を用いて、ロボット装置５にて作業を行う。第１のフローチャートには、基準画像における相対位置量を算出する制御が示されている。
In this embodiment, before the
ステップ１１１においては、第１の制御を行うための基準画像を生成する。図５に、本実施の形態の第１の制御を行うための基準画像を示す。基準画像６１は、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されている時にカメラ２５にて撮像された画像に相当する。本実施の形態では、基準画像６１は、ワーク８１の穴部８２ａ，８３ａの真上に、ワーク９１のピン９２ａ，９３ａが配置された時にカメラ２５によって撮像された画像である。基準画像６１は、作業者が予め準備して、記憶部４２に記憶させておくことができる。
In
本実施の形態では、第１のワーク８１の位置を検出するための第１の特徴部位が予め定められている。第１の制御では、突出部８２の上面が第１の特徴部位に定められている。また、第２のワーク９１の位置を検出するための第２の特徴部位が予め定められている。第１の制御では、突出部９２の上面が第２の特徴部位に定められている。特徴部位は、画像を解析した時に形状が検出できる部分である。特徴部位は、ワークの一部分、ワークの表面に形成された模様、ワークの表面に記載された線または図などを採用することができる。また、特徴部位は、第１のワーク８１に対して第２のワーク９１が接触する部分の近傍に設定されることが好ましい。
In this embodiment, a first characteristic part for detecting the position of the
本実施の形態では、第１のワーク８１には、第１の特徴部位としての突出部８２の上面に、設定点Ｐ１が設定されている。設定点Ｐ１は、突出部８２の角に設定されている。設定点Ｐ１の位置は、ワーク８１の位置に相当する。第２のワーク９１には、第２の特徴部位としての突出部９２の上面に、設定点Ｐ２が配置されている。設定点Ｐ２は、突出部９２の角に設定されている。設定点Ｐ２は、ワーク９１の位置に相当する。設定点Ｐ１，Ｐ２は、カメラ２５にて撮像するときに画像に含まれる領域に設定されている。
In this embodiment, the
図３、図４、および図５を参照して、ステップ１１２において、画像処理部３１の特徴量検出部３２は、基準画像６１の第１の特徴部位および第２の特徴部位を検出する。特徴部位の検出方法としては、それぞれのワーク８１，９１の基準となるベース画像を予め準備しておくことができる。ベース画像とカメラ２５にて撮像した画像とを用いてテンプレートマッチング等の方法により、カメラ２５にて撮像した画像における特徴部位を検出することができる。ここでの例は、突出部８２の上面および突出部９２の上面を検出することができる。
Referring to FIGS. 3, 4, and 5, in
ステップ１１３において、特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。本実施の形態においては、カメラ２５にて撮像された画像にスクリーン座標系５２が設定されている。スクリーン座標系５２は、画像における任意の点を原点に設定したときの座標系である。スクリーン座標系５２は、互いに直交するｕ軸およびｖ軸を有する。スクリーン座標系５２は、カメラ２５の視覚センサ座標系に対応する。
In
本実施の形態の位置に関する特徴量は、画像におけるスクリーン座標系５２のｕ軸の座標値およびｖ軸の座標値である。特徴量検出部３２は、基準画像６１において検出された特徴部位に基づいて、特徴部位に設定された設定点Ｐ１，Ｐ２の位置を検出することができる。特徴量検出部３２は、第１の特徴量として、設定点Ｐ１のスクリーン座標系５２の座標値（u1b，v1b）を検出する。また、特徴量検出部３２は、第２の特徴量として、設定点Ｐ２のスクリーン座標系５２の座標値（u2b，v2b）を検出する。
The feature amount related to the position in this embodiment is the u-axis coordinate value and the v-axis coordinate value of the screen coordinate
次に、ステップ１１４において、画像処理部３１の算出部３３は、基準画像における第１の特徴量および第２の特徴量に関する相対量を算出する。算出部３３は、ロボット１の位置の制御を行うために、相対量として相対位置量を算出する。相対位置量は、第１の特徴量と第２の特徴量との差である。例えば、算出部３３は、相対位置量として、第１の特徴量の座標値と第２の特徴量の座標値との差（u1b-u2b，v1b-v2b）を算出する。算出部３３にて算出された基準画像６１における相対位置量は、基準相対位置量として記憶部４２に記憶される。
Next, in
このように、画像処理部３１は、基準画像６１における相対位置量を算出することができる。なお、本実施の形態では、基準画像６１における相対位置量は、予め算出されて記憶部４２に記憶されているが、この形態に限られない。基準画像６１における相対位置量は、第１の制御を実施する度に算出されても構わない。
In this way, the
また、基準画像６１は、実際にカメラ２５にて撮像した画像を用いなくても構わない。例えば、それぞれのワーク８１，９１の３次元データをＣＡＤ（Computer Aided Design）装置等により生成することができる。ワーク８１に対してワーク９１が目標の位置に配置されているときの３次元データを生成することができる。この３次元データをカメラの向きに対応する方向に沿って１つの平面に投影することにより、基準画像６１を生成しても構わない。
Further, the
次に、ロボット制御装置４は、第１の特徴部位および第２の特徴部位がカメラ２５の撮像範囲２５ａの内部に配置される様に、第１のワーク８１の穴部８２ａに第２のワーク９１のピン９２ａを近づける制御を実施する。この制御は、任意の制御にて実施することができる。例えば、ロボット制御装置４は、所定のセンサにてコンベヤ７５におけるワーク８１の位置を検出する。ロボット制御装置４は、コンベヤ７５の移動速度に基づいてワーク８１の位置を検出する。ロボット制御装置４は、ワーク９１がワーク８１に近づくように、ロボット１の位置および姿勢を制御することができる。
Next, the
図６に、本実施の形態における第１の制御の第２のフローチャートを示す。図３および図６を参照して、ロボット制御装置４がワーク９１をワーク８１に近づける制御を実施した後に、ステップ１１５において、動作制御部４３は、カメラ２５にてワーク８１，９１を撮像する。
FIG. 6 shows a second flowchart of the first control in this embodiment. Referring to FIGS. 3 and 6, after
図７に、第１のワークに対する第２のワークの位置を調整するためにカメラにて撮像した画像を示す。画像６２には、第１の特徴部位である突出部８２の上面の画像と第２の特徴部位である突出部９２の上面の画像とが含まれている。画像６２では、第１のワーク８１に対して第２のワーク９１は、矢印１０１に示すようにスクリーン座標系５２のｕ軸の正側にずれている。
FIG. 7 shows an image taken by a camera to adjust the position of the second workpiece relative to the first workpiece. The
図８に、第１のワークに対する第２のワークの位置を調整するためにカメラにて撮像した他の画像を示す。画像６３では、第２のワーク９１は、矢印１０２に示すように、第１のワーク８１に対してスクリーン座標系５２のｕ軸の負側の方向にずれている。図７および図８を参照して、第１の制御では、このような第２のワーク９１のずれを修正する制御を実施する。ここでは、図７および図８のうち、図７を例に取り上げて説明する。
FIG. 8 shows another image taken by the camera to adjust the position of the second workpiece relative to the first workpiece. In the
図３、図６、および図７を参照して、ステップ１１６からステップ１１８では、基準画像６１に対する制御と同様の制御を実施する。画像処理部３１は、カメラ２５にて撮像した画像６２における第１の特徴量および第２の特徴量を検出し、第１の特徴量および第２の特徴量を用いて相対位置量を算出する。
Referring to FIGS. 3, 6, and 7, in
ステップ１１６においては、特徴量検出部３２は、カメラ２５にて撮像した画像６２の第１の特徴部位および第２の特徴部位を検出する。ここでは、第１の特徴部位としてワーク８１の突出部８２の上面を検出し、第２の特徴部位としてワーク９１の突出部９２の上面を検出する。
In
ステップ１１７において、特徴量検出部３２は、カメラ２５にて撮像した画像６２における第１の特徴量および第２の特徴量を検出する。特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量として、設定点Ｐ１のスクリーン座標系５２の座標値（u1m，v1m）を検出する。また、特徴量検出部３２は、第２の特徴部位の位置に関する第２の特徴量として、設定点Ｐ２のスクリーン座標系５２の座標値（u2m，v2m）を算出する。
In
ステップ１１８において、算出部３３は、第１の特徴量と第２の特徴量との差を相対位置量として算出する。カメラ２５にて撮像した画像６２における相対位置量は、第１の特徴量の座標値と第２の特徴量の座標値との差（u1m-u2m，v1m-v2m）になる。
In
なお、第２のワーク９１がハンド２の予め定められた位置にて把持されている場合には、第２のワーク９１に関する第２の特徴量は一定になる。このために、第２の特徴量を予め測定して、記憶部４２に記憶しておいても構わない。すなわち、設定点Ｐ２の座標値を予め記憶部４２に記憶しておいても構わない。一方で、ハンド２が第２のワーク９１を把持するときに、所望の位置からずれる場合がある。このために、本実施の形態では、実際に撮像した画像６２に基づいて、ベース画像とのテンプレートマッチングの方法により、第２の特徴量も検出している。
Note that when the
次に、画像処理部３１の指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量と、基準画像６１における相対位置量とに基づいて、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されるように、ロボット１の移動指令を生成する。本実施の形態の指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量が、基準画像６１における相対位置量に近づくように、ロボット１を動作させる移動指令を生成する。
Next, the
ステップ１１９において、指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量と基準画像６１における相対位置量との差である相対位置量の差を算出する。本実施の形態では、指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量から基準画像６１における相対位置量を減算した相対位置量の差を算出する。相対位置量の差は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u2m）-（u1b-u2b）, （v1m-v2m）-（v1b-v2b）］にて表すことができる。このように、本実施の形態では、ｕ軸に関する相対位置量の差と、ｖ軸に関する相対位置量の差とを算出する。
In
次に、ステップ１２０において、指令生成部３４は、相対位置量の差が予め定められた判定範囲内か否かを判定する。判定範囲は、予め定められて記憶部４２に記憶されている。例えば、ｕ軸に関する値の判定範囲と、ｖ軸に関する値の判定範囲とを予め設定することができる。第２のワーク９１が第１のワーク８１に対して目標の位置に近づくほど、相対位置量の差は零に近づく。ｕ軸に関する値が判定範囲内であり、かつ、ｖ軸に対応する値が判定範囲内である場合に、相対位置量の差が判定範囲内であると判定することができる。すなわち、指令生成部３４は、ワーク８１に対するワーク９１の位置合わせが完了していると判定することができる。
Next, in
一方で、ｕ軸に関する値およびｖ軸に関する値のうち、少なくとも一方が判定範囲を逸脱する場合に、指令生成部３４は、相対位置量の差は判定範囲を逸脱していると判定することができる。すなわち、指令生成部３４は、ワーク８１に対してワーク９１が所望の位置に到達していないと判定することができる。
On the other hand, if at least one of the values related to the u-axis and the value related to the v-axis deviates from the determination range, the
ステップ１２０において、相対位置量の差が判定範囲内である場合には、この制御を終了する。ステップ１２０において、相対位置量の差が判定範囲を逸脱する場合には、制御は、ステップ１２１に移行する。
In
ステップ１２１において、指令生成部３４は、相対位置量の差に基づいて、ロボット１の駆動方法を設定する。指令生成部３４は、基準座標系５１におけるロボット１の位置の移動方向および移動量を設定する。本実施の形態では、相対位置量の差に対するロボットの位置の移動方向が予め定められている。スクリーン座標系５２のｕ軸の正の値または負の値に対してロボット１の位置の移動方向が、基準座標系５１にて定められている。例えば、ｕ軸に関する相対位置量の差が正の値である場合に、基準座標系５１のＸ軸、Ｙ軸、およびＺ軸の座標値を用いて（１，１，０）の移動方向が予め定められている。また、ｖ軸に関する相対位置の差が正の値である場合に、基準座標系５１のＸ軸、Ｙ軸、およびＺ軸の座標値を用いて（０，０，１）の移動方向が予め定められている。
In
更に、相対位置量の差に対するロボット１の位置の移動量の算出方法が予め定められている。例えば、ｕ軸に対応する方向におけるロボット１の位置の移動量は、ｕ軸に関する値（（u1m-u2m）-（u1b-u2b））に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボット１の位置の移動量は、ｖ軸に関する値（（v1m-v2m）-（v1b-v2b））に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系５２の各軸に対応する方向において、ロボット１の位置の移動量を算出することができる。
Furthermore, a method for calculating the amount of movement of the position of the
本実施の形態では、ｕ軸に関する相対位置量の差に基づいて基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出している。また、ｖ軸に関する相対位置量の差に基づいて、基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出している。このために、基準座標系５１において、一つの軸に対して２つの移動量（ｕ軸に関する移動量およびｖ軸に関する移動量）が算出される場合がある。この場合には、２つの移動量が算出される軸の方向にはロボット１の位置を移動しなくても構わない。または、それぞれの移動量に係数を乗じて最終的な移動量を算出しても構わない。または、いずれか一方の移動量を採用しても構わない。
In this embodiment, the amount of movement in the X-axis direction, the amount of movement in the Y-axis direction, and the amount of movement in the Z-axis direction in the reference coordinate
次に、ステップ１２２において、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する。指令生成部３４は、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する移動指令を生成する。指令生成部３４は、移動指令を動作制御部４３に送出する。動作制御部４３は、移動指令に基づいてロボットの位置を変更する。
Next, in
次に、制御は、ステップ１１５に移行する。第１の制御では、相対位置量の差が判定範囲内になるまで、ステップ１１５からステップ１２２を繰り返す制御を実施する。第１の制御では、１回の制御にてワークの位置合わせが完了しなくても、ステップ１１５からステップ１２２を繰り返すことにより、徐々にワークの位置を所望の位置に近づけることができる。
Control then passes to step 115. In the first control, steps 115 to 122 are repeated until the difference in relative position amounts falls within the determination range. In the first control, even if the positioning of the workpiece is not completed in one control, by repeating
本実施の形態の制御では、基準座標系に対する視覚センサ座標系のキャリブレーションを行う必要がない。または、ワークの位置合わせを行うために、予めヤコビアン行列を求める必要は無い。このために、簡易な方法にてワークの位置合わせを行うことができる。 In the control of this embodiment, there is no need to calibrate the visual sensor coordinate system with respect to the reference coordinate system. Alternatively, in order to align the workpiece, it is not necessary to obtain the Jacobian matrix in advance. For this reason, it is possible to align the workpieces using a simple method.
本実施の形態の第１の制御では、コンベヤ７５が第１のワーク８１を搬送している期間中に、第２のワーク９１の位置合わせを実施している。特徴量検出部３２による第１の特徴量および第２の特徴量を検出する制御、算出部３３による相対位置量を算出する制御、および指令生成部３４による移動指令を算出する制御を繰り返している。この制御により、コンベヤ７５にて移動するワーク８１の位置に対してワーク９１を把持するロボット１の位置を追従する制御を実施することができる。
In the first control of the present embodiment, the
なお、本実施の形態におけるカメラ２５は支持部材１７を介してハンド２に支持されている。ハンド２は第２のワーク９１を把持している。このために、第１のワーク８１に対して第２のワーク９１の位置合わせを行っている期間中に、カメラ２５に対するワーク９１の相対的な位置および姿勢は一定である。図５、図７、および図８を参照して、第１のワーク８１に対する第２のワーク９１の相対的な位置が変化しても、カメラ２５にて撮像される画像６２，６３におけるワーク９１および突出部９２の位置は一定になる。この結果、カメラ２５にて撮像した画像における第２の特徴部位の設定点Ｐ２の位置は一定になる。
Note that the
図６を参照して、前述の制御においては、カメラ２５にて第１のワーク８１および第２のワーク９１を撮像するたびに、第２のワーク９１における第２の特徴部位を検出し、第２の特徴量を検出している。一方で、第２の特徴量である設定点Ｐ２の座標値は一定であるために、記憶部４２は、カメラ２５にて１回目に撮像された画像から取得された第２の特徴量を記憶しておくことができる。ステップ１１５からステップ１１７において、カメラ２５にて２回目以降に撮像した画像については、特徴量検出部３２は、記憶部４２から第２の特徴量を取得することができる。特徴量検出部３２は、第１の特徴部位の検出および第１の特徴量の検出を実施すれば良い。この制御を実施することにより、カメラにて２回目以降に撮像された画像から相対位置量を算出する制御を簡略化することができる。２回目以降のカメラにて撮像された画像の処理の時間が短くなる。
Referring to FIG. 6, in the above-described control, each time the
ところで、本実施の形態においては、コンベヤ７５による第１のワーク８１の移動方向および移動速度が予め定められている。ロボット制御装置４は、コンベヤ７５によるワーク８１の移動に合わせてロボット１の位置を変更するフィードフォワード制御を実施することができる。本実施の形態では、一定の移動速度にてワーク８１が移動する。
By the way, in this embodiment, the moving direction and moving speed of the
指令生成部３４は、コンベヤ７５にて移動する第１のワーク８１の位置に対してロボット１の位置が追従するロボット１の位置の移動方向および移動速度を算出する。例えば、指令生成部３４は、ロボット１のツール先端点がワーク８１の移動方向に移動するように移動方向を算出する。指令生成部３４は、ロボット１のツール先端点がワーク８１の移動方向と同じ方向に、ワーク８１と同一の移動速度にて移動する移動量を算出することができる。そして、指令生成部３４は、コンベヤ７５の搬送に基づくロボット１の位置の移動方向および移動量の制御に加えて、前述の相対位置量の差に基づいて算出される移動方向および移動量の制御を実施することができる。
The
この制御を行うことにより、コンベヤ７５による第１のワーク８１の移動に関するロボット１の位置および姿勢の変更は、フィードフォワード制御にて実施することができる。相対位置量の差に基づく制御では、第１のワーク８１に対する第２のワーク９１の相対的な位置のずれを修正すれば良いために、短時間で第１のワーク８１に対する第２のワーク９１の位置合わせを行うことができる。
By performing this control, changes in the position and posture of the
図９に、本実施の形態における第２のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第１のロボット装置５においては、１つのカメラ２５によりロボット１の位置を調整しているが、この形態に限られない。ロボット装置は、２個以上のカメラを用いてロボット１の位置を調整することができる。
FIG. 9 shows an enlarged perspective view of the hand, first workpiece, and second workpiece of the second robot device in this embodiment. In the
第２のロボット装置８では、ハンド２に支持部材１８が固定されている。支持部材１８は、上側に延びる部分１８ａと、下側に延びる部分１８ｂと有する。上側に延びる部分１８ａには、第１のロボット装置５と同様に、第１の視覚センサとしてカメラ２５が固定されている。カメラ２５は、撮像範囲２５ａにて画像を撮像する。下側に延びる部分１８ｂには、第２の視覚センサとしてのカメラ２６が固定されている。カメラ２６は、第１のワーク８１および第２のワーク９１を撮像する。特に、カメラ２６は、第２のワーク９１が第１のワーク８１に接近した時の画像を撮像する。カメラ２６は、第１のワーク８１の突出部８３と、第２のワーク９１の突出部９３とを撮像できる位置に配置されている。下側に延びる部分１８ｂは、ワーク８１，９１の側方から突出部８３，９３を撮像できるようにカメラ２６を支持している。カメラ２６は、撮像範囲２６ａにて画像を撮像する。本実施の形態のカメラ２６は、２次元カメラである。
In the
２台のカメラ２５，２６は、光軸が互いに異なる方向に延びるように配置されている。本実施の形態では、カメラ２６の光軸がカメラ２５の光軸に対してほぼ直交する方向に延びるようにカメラ２６が配置されている。第２のロボット装置８では、２台のカメラ２５，２６にて撮像した画像に基づいて、第２の制御を実施する。第２の制御では、カメラ２５，２６にて撮像した画像を用いて、ワーク８１に対するワーク９１の位置を調整する。
The two
第２の制御では、第１の制御によりカメラ２５の画像に基づいて移動指令を生成する。また、第１の制御と同様の方法により、カメラ２６の画像に基づいて移動指令を生成する。本実施の形態では、カメラ２６にて撮像された画像にて第１のワーク８１の位置を検出するための第３の特徴部位と、第２のワーク９１の位置を検出するための第４の特徴部位とが予め定められている。
In the second control, a movement command is generated based on the image of the
第３の特徴部位は、第１の特徴部位と異なる部分である。第３の特徴部位としては、例えば、第１のワーク８１の突出部８３の側面を設定することができる。第３の特徴部位には第１のワーク８１の位置を定めるための第３の設定点Ｐ３を設定することができる。第４の特徴部位は、第２の特徴部位と異なる部分である。第４の特徴部位としては、例えば、第２のワーク９１の突出部９３の側面を設定することができる。第４の特徴部位には第２のワーク９１の位置を定めるための第４の設定点Ｐ４を設定することができる。
The third characteristic part is a different part from the first characteristic part. As the third characteristic part, for example, the side surface of the
特徴量検出部３２は、カメラ２６にて撮像された画像において、第３の特徴部位の位置に関する第３の特徴量と、第４の特徴部位の位置に関する第４の特徴量を検出する。カメラ２６にて撮像された画像において、設定点Ｐ３のスクリーン座標系５２の座標値が第３の特徴量になる。また、設定点Ｐ４のスクリーン座標系５２の座標値が第４の特徴量になる。算出部３３は、第３の特徴量と第４の特徴量との差を相対位置量として算出する。
The feature
また、第１のワーク８１に対して目標の位置に第２のワーク９１が配置されているときのカメラ２６に関する基準画像は予め作成されている。また、基準画像における第３の特徴量と第４の特徴量との差である相対位置量は定められている。基準画像における相対位置量は、予め算出することができる。
Further, a reference image regarding the
指令生成部３４は、カメラ２６にて撮像した画像における相対位置量と、第３の特徴部位および第４の特徴部位の画像を含む基準画像における相対位置量とに基づいて、相対位置量の差を算出する。そして、指令生成部３４は、相対位置量の差に基づいて、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されるようにロボット１を動作させる移動指令を生成する。指令生成部３４は、第２のカメラ２６にて撮像した画像における相対位置量が基準画像における相対位置量に近づくように、ロボット１を動作させる移動指令を生成する。
The
指令生成部３４は、カメラ２５の画像から生成された移動指令と、カメラ２６の画像から生成された移動指令とに基づいて、動作制御部４３に送出する最終的な移動指令を生成することができる。例えば、指令生成部３４は、カメラ２５の画像に基づく移動指令およびカメラ２６の画像に基づく移動指令のうち、一方の移動指令にてロボット１を駆動した後に、他方の移動指令にてロボット１を駆動することができる。
The
または、カメラ２５の画像に基づく移動指令と、カメラ２６の画像に基づく移動指令とを合成しても構わない。例えば、カメラ２５の画像のｕ軸に対応するロボット１の位置の移動方向と、カメラ２６の画像のｕ軸に対応するロボット１の位置の移動方向とが一致する場合には、ロボット１の移動量の平均値を算出しても構わない。このようなロボット１の位置を調整する制御は、カメラ２５の画像に基づく相対位置量の差が判定範囲内になり、更に、カメラ２６の画像に基づく相対位置量の差が判定範囲内になるまで、繰り返して実施することができる。
Alternatively, the movement command based on the image of the
第２のロボット装置８では、それぞれのカメラ２５，２６が互いに異なる特徴部位を撮像して位置の制御を行っている。このために、１台のカメラを用いて位置の調整を行う制御よりも精度よくワーク９１の位置の調整を行うことができる。また、ステレオ計測等を行うことなく複数のカメラの画像に基づいてワークの位置の調整を行うことができる。更に、３次元カメラを用いなくても、複数の２次元カメラを用いることによりワークの位置の調整を行うことができる。
In the
なお、第１のカメラ２５にて撮像される画像における設定点Ｐ２の位置および第２のカメラ２６の画像における設定点Ｐ４の位置は変化しない。このために、第１の制御と同様に始めに検出した第２の特徴量および第４の特徴量を記憶部４２に記憶することができる。そして、２回目以降の制御では、記憶部４２に記憶した第２の特徴量および第４の特徴量を取得して、それぞれの画像における相対位置量を算出しても構わない。
Note that the position of the set point P2 in the image taken by the
ところで、第２のロボット装置８においては、複数のカメラ２５，２６が配置されている。このようなロボット装置８の制御装置では、ワーク９１の位置の調整を行う他に、ワーク９１の姿勢の修正することができる。次に、ワーク９１の姿勢の修正について説明する。
By the way, in the
図１０に、本実施の形態における第２のロボット装置におけるハンド、第１のワーク、および第２のワークの他の拡大斜視図を示す。第１の制御および第２の制御では、第１のワーク８１に対する第２のワーク９１の相対的な姿勢は、第２のワーク９１の位置を調整する制御を実施する前に調整されている。一方で、第１のワーク８１に対する第２のワーク９１の姿勢がずれている場合がある。
FIG. 10 shows another enlarged perspective view of the hand, the first workpiece, and the second workpiece in the second robot device in this embodiment. In the first control and the second control, the relative posture of the
ワーク９１が目標の姿勢になった時には、ピン９２ａとピン９３ａとが並ぶ方向が、穴部８２ａと穴部８３ａとが並ぶ方向と平行になる。図１０に示す例では、ワーク９１の姿勢は、目標の姿勢から矢印１０６に示すように僅かに回転している。ワーク９１は、基準座標系５１のＸ軸の周りに、Ｙ軸からＺ軸に向かう方向に僅かに回転している。ワーク９１は、フランジ１６の回転軸の周りに目標の姿勢から僅かに回転している。この結果、ワーク９１の突出部９２は、ワーク８１の突出部８２に対して、矢印１０７に示すように、Ｙ軸の負側の方向に位置がずれている。また、ワーク９１の突出部９３は、ワーク８１の突出部８３に対して、矢印１０８に示すように、Ｙ軸の正側の方向に位置がずれている。
When the
本実施の形態における複数のカメラ２５，２６は、第２のワーク９１において、互いに離れて配置された部分を撮像するように形成されている。第１のカメラ２５は、第２のワーク９１の予め定められた方向における一方の側に配置された部分としての突出部９２を撮像するように配置されている。また、第２のカメラ２６は、第２のワーク９１の予め定められた方向における他方の側に配置された部分としての突出部９３を撮像するように配置されている。ここでの予め定められた方向とは、ピン９２ａとピン９３ａとが並ぶ方向に相当する。
The plurality of
図１１に、第１のワークに対する第２のワークの姿勢がずれている時に、第１のカメラにて撮像した画像を示す。図１０、図１１、および基準画像である図５を参照して、画像６６におけるワーク８１に対するワーク９１の相対的な位置は、基準画像６１におけるワーク８１に対するワーク９１の相対的な位置と異なる。ワーク９１の突出部９２は、ワーク８１の突出部８２に対して、矢印１０７に示す向きにずれている。また、突出部９２に固定されたピン９２ａの延びる方向と突出部８２に形成された穴部８２ａの延びる方向とは平行にならずに、互いに異なる向きに向いている。
FIG. 11 shows an image captured by the first camera when the posture of the second workpiece is deviated from the first workpiece. 10, FIG. 11, and FIG. 5, which is a reference image, the relative position of
図１２に、第１のワークに対する第２のワークの姿勢が目標の姿勢である時に、第２のカメラにて撮像された画像を示す。画像６７では、突出部９３に固定されたピン９３ａの延びる方向と、突出部８３に形成された穴部８３ａの延びる方向とが平行になっている。このために、ワーク８１に対するワーク９１の位置合わせを実施することにより、ピン９３ａを、穴部８３ａの内部に挿入することができる。
FIG. 12 shows an image captured by the second camera when the posture of the second workpiece relative to the first workpiece is the target posture. In the
図１３に、第１のワークに対する第２のワークの姿勢がずれている時に、第２のカメラにて撮像した画像を示す。画像６８では、ワーク８１に対して矢印１０８に示すようにワーク９１が僅かに回転している。図１０、図１２、および図１３を参照して、画像６８における突出部８３に対する突出部９３の相対的な位置は、矢印１０８に示すようにずれている。また、ピン９３ａの延びる方向は、穴部８３ａの延びる方向とは平行にならない。このために、ピン９３ａの先端が穴部８３ａの先端の真上に配置されても、ピン９３ａを穴部８３ａの内部に挿入することはできない。本実施の形態の第３の制御では、第１のワーク８１に対する第２のワーク９１の相対的な姿勢を修正する制御を実施する。
FIG. 13 shows an image captured by the second camera when the posture of the second workpiece is deviated from the first workpiece. In the
図１４に、本実施の形態の第２のロボット装置における第３の制御のフローチャートを示す。第３の制御においては、第２の制御に加えてワーク９１の姿勢を修正する制御を実施する。
FIG. 14 shows a flowchart of the third control in the second robot device of this embodiment. In the third control, in addition to the second control, control for correcting the posture of the
ステップ１３１からステップ１３８は、前述の第２の制御と同様である。ステップ１３１において、第１のカメラ２５および第２のカメラ２６は、画像を撮像する。ステップ１３２において、特徴量検出部３２は、第１のカメラ２５にて撮像した画像における第１の特徴部位および第２の特徴部位を検出する。ステップ１３３において、特徴量検出部３２は、第２のカメラ２６にて撮像した画像における第３の特徴部位および第４の特徴部位を検出する。
ステップ１３４においては、特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量、第２の特徴部位の位置に関する第２の特徴量、第３の特徴部位の位置に関する第３の特徴量、および第４の特徴部位の位置に関する第４の特徴量を検出する。図１１を参照して、特徴量検出部３２は、第１のカメラ２５にて撮像された画像６６において、第１の特徴量として設定点Ｐ１のスクリーン座標系５２の座標値を検出する。また、特徴量検出部３２は、第２の特徴量として、設定点Ｐ２のスクリーン座標系５２の座標値を検出する。図１３を参照して、特徴量検出部３２は、画像６８において、第３の特徴量として設定点Ｐ３のスクリーン座標系５２の座標値を検出する。特徴量検出部３２は、第４の特徴量として、設定点Ｐ４のスクリーン座標系５２の座標値を検出する。
In
図１４を参照して、ステップ１３５において、画像処理部３１の算出部３３は、第１の特徴量および第２の特徴量に基づいて相対位置量を算出する。ステップ１３６において、算出部３３は、第３の特徴量および第４の特徴量に基づいて相対位置量を算出する。算出部３３は、それぞれのカメラ２５，２６にて撮像された画像６６，６８における相対位置量を算出する。
Referring to FIG. 14, in
次に、ステップ１３７において、画像処理部３１の指令生成部３４は、それぞれのカメラ２５，２６にて撮像された画像６６，６８について、画像６６，６８における相対位置量と基準画像における相対位置量との差である相対位置量の差を算出する。ステップ１３８において、指令生成部３４は、それぞれの画像６６，６８について、相対位置量の差に基づいて、ロボット１の移動指令を生成する。相対位置量の差は、スクリーン座標系５２におけるｕ軸およびｖ軸に関する値として算出される。指令生成部３４は、相対位置量の差に基づいて、ロボット１の移動指令を生成する。
Next, in
指令生成部３４は、カメラ２５にて撮像した画像６６に基づいて、ロボット１の位置の移動方向および移動量を基準座標系５１にて算出する。また、指令生成部３４は、カメラ２６にて撮像された画像６８に基づいて、ロボット１の位置の移動方向および移動量を基準座標系５１にて算出する。すなわち、指令生成部３４は、基準座標系５１の座標軸の方向に沿った移動量を、それぞれの基準座標系５１の座標軸ごとに算出する。
The
次に、ステップ１３９において、指令生成部３４は、第１のカメラ２５の画像から生成された移動指令と、第２のカメラ２６の画像から生成された移動指令とに基づいて、第１のワーク８１に対する第２のワーク９１の姿勢が、予め定められた判定範囲内であるか否かを判定する。
Next, in
本実施の形態においては、指令生成部３４は、基準座標系５１の予め定められた座標軸におけるロボット１の位置の移動方向を取得する。図１０を参照して、ここでの例では基準座標系５１の座標軸のうちＹ軸が予め選定されている。指令生成部３４は、第１のカメラ２５の画像６６から生成された移動指令のうちＹ軸の移動指令と、第２のカメラ２６の画像６８から生成された移動指令のうちＹ軸の移動指令とを取得する。
In the present embodiment, the
指令生成部３４は、２台のカメラ２５，２６にて撮像された画像６６，６８から取得されたＹ軸の移動方向が同じ方向である場合に、第１のワーク８１に対する第２のワーク９１の姿勢が、予め定められた判定範囲内であると判定する。一方で、指令生成部３４は、Ｙ軸の移動方向が互いに異なる場合に、第１のワーク８１に対する第２のワーク９１の姿勢が判定範囲を逸脱していると判定する。
The
図１０から図１３に示す例においては、第１のカメラ２５にて撮像された画像に基づく移動指令では、ロボット１が矢印１０７と反対側に移動する指令が生成される。また、第２のカメラ２６にて撮像された画像に基づく移動指令では、ロボット１が矢印１０８と反対側に移動する指令が生成される。このため、ステップ１３９においては、指令生成部３４は、２つカメラにて撮像された画像に基づくＹ軸の移動方向は、互いに異なると判定する。この場合に、制御は、ステップ１４０に移行する。
In the example shown in FIGS. 10 to 13, the movement command based on the image captured by the
なお、本実施の形態においては、基準座標系の予め定められた座標軸において、ロボットの位置を移動すべき方向が同じ方向である場合に判定範囲内であると判定しているが、この形態に限られない。予め定められた座標軸における移動方向が互いに異なる場合であっても、移動量が微小であれば判定範囲内であると判定しても構わない。 Note that in this embodiment, the robot is determined to be within the determination range if the directions in which the robot should move are in the same direction on the predetermined coordinate axes of the reference coordinate system. Not limited. Even if the directions of movement in the predetermined coordinate axes are different from each other, it may be determined that the amount of movement is within the determination range as long as the amount of movement is minute.
ステップ１４０において、指令生成部３４は、ロボット１の姿勢の修正方法を設定する。指令生成部３４は、第１のワーク８１に対して第２のワーク９１が傾いている方向と反対側にワーク９１を回転させる移動指令を生成する。図１０を参照して、本実施の形態では基準座標系５１のＸ軸の周りにＺ軸からＹ軸に向かう方向にワーク９１を回転させる制御を実施する。ワーク９１の回転量である姿勢修正量θは、予め定めておくことができる。
In
ステップ１４１において、指令生成部３４は、ロボット１の姿勢の修正方法に基づく移動指令を、動作制御部４３に送出する。動作制御部４３は、指令生成部３４から受信した移動指令に基づいてロボットの姿勢を修正する。
In
次に、ステップ１４２において、画像処理部３１は、スクリーン座標系５２の座標軸に対する基準座標系５１のロボット１の位置の移動方向を補正する。相対位置量の差はスクリーン座標系５２のｕ軸およびｖ軸に関する値にて算出される。スクリーン座標系５２のｕ軸およびｖ軸に対応する基準座標系５１におけるロボット１の位置の移動方向は、予め定められている。ロボット１の姿勢を修正すると、それぞれのカメラ２５，２６にて撮像される画像のｕ軸およびｖ軸に対応する基準座標系５１における移動方向も変化する。すなわち、基準座標系のＸ軸、Ｙ軸およびＺ軸の座標値にて表されるロボット１の位置の移動方向が変化する。
Next, in
画像処理部３１は、ロボット１の姿勢の修正量に基づいて、スクリーン座標系５２の座標軸に対応するロボット１の位置の移動方向を修正する。例えば、ロボット１の姿勢の修正量に基づいて算出される変換行列を、ロボット１の位置の移動方向を示す基準座標系５１のＸ軸、Ｙ軸、およびＺ軸の座標値に乗じることにより、ロボット１の位置の移動方向を修正することができる。
The
ステップ１４２の後に、制御は、ステップ１３１に戻る。そして、ステップ１３１からステップ１３９における制御を繰り返す。ステップ１３９において、基準座標系５１の予め定められた座標軸における移動方向が互いに異なる場合には、再びステップ１４０，１４１，１４２の制御を実施する。
After
ステップ１４０において、ロボット１の姿勢の修正方法を設定する。前回の姿勢修正量θにてロボット１の姿勢を修正することにより、第１のワーク８１に対して第２のワーク９１の姿勢がずれる方向が逆になる場合ある。この場合には、前回の姿勢の修正と反対方向にロボット１の姿勢を修正する。更に、前回の修正量よりも減らした修正量を採用する。例えば、前回の修正量の半分の修正量（－θ／２）にて姿勢を変更する制御を実施する。一方で、前回の姿勢修正量θにてロボット１の姿勢を修正しても、第１のワーク８１に対して第２のワーク９１の姿勢がずれる方向が前回の制御における方向と同一の場合がある。この場合に、前回と同じ方向および同じ姿勢修正量θにて姿勢を修正する。この後に、再びステップ１３１からステップ１３９の制御を繰り返すことができる。
In
このように、前回の制御における姿勢の修正により、姿勢がずれる方向が逆転した場合には、ロボットの姿勢を反対方向に修正するとともに修正量を減らす制御を実施することができる。この制御により、第１のワーク８１に対する第２のワーク９１の姿勢のずれを徐々に修正することができる。第１のカメラ２５および第２のカメラ２６にて撮像した画像において、第１のワーク８１に対する第２のワーク９１のずれる方向が同じになるまでロボット１の姿勢を修正することができる。
In this way, if the direction of the posture shift is reversed due to the posture correction in the previous control, control can be performed to correct the robot's posture in the opposite direction and reduce the amount of correction. Through this control, the deviation in the posture of the
なお、ステップ１３９において、第１のワークに対する第２のワークの姿勢が判定範囲を逸脱する場合には、任意の制御を実施することができる。例えば、ロボット装置を停止しても構わない。また、ステップ１４０において、指令生成部３４は、任意の制御にてロボット１の姿勢の修正方法を設定することができる。例えば、２台のカメラ２５，２６にて撮像された画像から算出されたＹ軸方向の移動量に基づいて、ワーク８１の姿勢修正量を算出しても構わない。
Note that in
ステップ１３９において、第１のカメラ２５にて撮像された画像に基づく移動方向と第２のカメラ２６にて撮像された画像に基づく移動方向とが同じである場合には、制御はステップ１４３に移行する。
In
ステップ１４３からステップ１４５においては、第２の制御と同様に、ロボット１の位置の判定および修正を行う。ステップ１４３においては、第１のカメラ２５にて撮像された画像に基づく相対位置量の差と、第２のカメラ２６にて撮像された画像に基づく相対位置量の差とが予め定められた判定範囲内であるか否かを判定する。ステップ１４３において、少なくとも一方の相対位置量の差が判定範囲を逸脱する場合には、制御は、ステップ１４４に移行する。
In
ステップ１４４において、指令生成部３４は、それぞれの画像に基づく移動指令に基づいて、最終的なロボットの移動指令を生成する。そして、ステップ１４５において、動作制御部４３は、最終的なロボットの移動指令に基づいてロボット１を駆動する。この後に、制御はステップ１３１に移行する。
In
ステップ１４３において、２つの画像における相対位置量の差が判定範囲内である場合には、第１のワーク８１に対する第２のワーク９１の位置および姿勢が、目標の位置および目標の姿勢であると判定することができる。そして、この制御を終了することができる。
In
上記以外の第２のロボット装置８の構成、作用、および効果は、第１のロボット装置５と同様であるので、ここでは説明を繰り返さない。
The configuration, operation, and effects of the
図１５に、本実施の形態における第３のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第３のロボット装置９では、ハンド２に支持部材１９が固定されている。支持部材１９は、上側に延びる部分１９ａと、下側に延びる部分１９ｂと有する。上側に延びる部分１９ａは、第２のロボット装置８と同様に、第１の視覚センサとしてカメラ２５が固定されている。下側に延びる部分１９ｂには、第２の視覚センサとしてのカメラ２６が固定されている。
FIG. 15 shows an enlarged perspective view of the hand, first workpiece, and second workpiece of the third robot device in this embodiment. In the
第３のロボット装置９のカメラ２６の向きは、第２のロボット装置８のカメラ２６の向きと異なる。支持部材１９の下側に延びる部分１９ｂは、カメラ２６の撮像範囲２６ａがカメラ２５の撮像範囲２５ａと重なるように、カメラ２６を支持している。第３のロボット装置９のカメラ２６は、カメラ２５が撮像する部分と同一の部分を撮像するように配置されている。カメラ２６は、ワーク８１の突出部８２と、ワーク９１の突出部９２とを撮像できるように配置されている。
The direction of the
第３のロボット装置９においては、ワーク８１に対してワーク９１の位置を合わせるために、第４の制御を実施する。第４の制御では、第２のロボット装置８の第２の制御と同様に、第３の特徴部位および第４の特徴部位を設定して、複数のカメラ２５，２６の画像に基づいて、ロボット１の位置の調整を行う。本実施の形態では、突出部８２の側面が第３の特徴部位に設定されている。また、突出部９２の側面が第４の特徴部位に設定されている。第３のロボット装置９においては、第３の特徴部位は、第１の特徴部位と同じであっても異なっていても構わない。また、第４の特徴部位は、第２の特徴部位と同じであっても異なっていても構わない。
In the
その他の第３のロボット装置９の構成、作用、および効果は、第２のロボット装置８と同様であるので、ここでは説明を繰り返さない。
The other configurations, operations, and effects of the
第２のロボット装置８の制御装置および第３のロボット装置９の制御装置は、２台のカメラを備えるが、この形態に限られない。ロボット装置の制御装置は、３台以上のカメラを備えていても構わない。制御装置は、それぞれのカメラにて互いに異なる特徴部位を撮像し、それぞれのカメラにて撮像した画像に基づいてワークの位置および姿勢の制御を実施しても構わない。
Although the control device of the
図１６に、本実施の形態における第４のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第４のロボット装置１０は、第１のカメラ２５および第２のカメラ２６に加えて第３のカメラ２８を備える。第４のロボット装置１０は、ハンド２に支持された支持部材２０を有する。支持部材２０は、カメラ２５を支持し、上側に延びる部分２０ａと、カメラ２６を支持し、下側に延びる部分２０ｂとを有する。また、支持部材２０は、カメラ２８を支持し、側方の延びる部分２０ｃを有する。カメラ２８は、撮像範囲２８ａを有する。カメラ２８は、カメラ２５の光軸の方向およびカメラ２６の光軸の方向とは異なる方向に、光軸が延びるように配置されている。
FIG. 16 shows an enlarged perspective view of the hand, first workpiece, and second workpiece of the fourth robot device in this embodiment. The
第４のロボット装置１０においては、ワーク８１に対してワーク９１の位置および姿勢を合わせるための第５の制御を実施する。第５の制御では、カメラ２８にて撮像される画像を処理するために、第１のワーク８１に第５の特徴部位が設定されている。また、第２のワーク９１に第６の特徴部位が設定されている。例えば、ワーク８１の突出部８３の側面が第５の特徴部位に設定され、ワーク９１の突出部９３の側面が第６の特徴部位に設定されている。
In the
カメラ２８にて撮像された画像についても、前述の第１の制御と同様の制御を実施することができる。カメラ２８は、第５の特徴部位および第６の特徴部位を撮像可能な位置に配置されている。第５の特徴部位および第６の特徴部位には、特徴部位の位置を定めるための第５の設定点および第６の設定点が設定されている。特徴量検出部３２は、スクリーン座標系５２における設定点の位置に基づいて第５の特徴部位に対応する第５の特徴量および第６の特徴部位に対応する第６の特徴量を検出することができる。カメラ２８に関する基準画像は予め作成されている。そして、基準画像における第５の特徴量および第６の特徴量は予め算出することができる。また、基準画像における相対位置量は予め算出することができる。
The same control as the above-described first control can also be performed on the image captured by the
第５の制御においては、前述の第３の制御と同様の制御を実施することができる。第５の制御においては、３台のカメラにて、第１のワーク８１に対する第２のワーク９１の位置および姿勢を調整する。ワーク８１に対するワーク９１の位置を調整する制御では、３台のカメラ２５，２６，２８にて取得される画像に基づいて第１のワーク８１に対する第２のワーク９１の位置のずれを検出することができる。このために、２台のカメラにて位置の調整を行う場合よりも精度よく位置の調整を行うことができる。
In the fifth control, control similar to the third control described above can be implemented. In the fifth control, the position and orientation of the
また、ワーク８１に対するワーク９１の姿勢を修正する制御では、カメラ２５にて撮像される画像およびカメラ２８にて撮像される画像に基づいて、基準座標系５１のＹ軸の周りにずれているワーク９１の姿勢を修正することができる。この様に、カメラの台数を増やすことにより、姿勢のずれを修正する方向を増やすことができる。
In addition, in the control for correcting the posture of the
その他の第４のロボット装置の構成、作用、および効果は、第１のロボット装置５、第２のロボット装置８、および第３のロボット装置９と同様であるので、ここでは説明を繰り返さない。
The other configurations, operations, and effects of the fourth robot device are the same as those of the
前述の第１のロボット装置５、第２のロボット装置８、第３のロボット装置９、および第４のロボット装置１０においては、カメラ２５，２６，２８がハンド２に固定されて、ハンド２と共に移動するが、この形態に限られない。カメラは、設置面等に固定されていても構わない。すなわち、ロボット１の位置および姿勢が変化してもカメラの位置および姿勢は変化しないようにカメラが固定されていても構わない。
In the
図１７に、本実施の形態における第５のロボット装置の概略図を示す。第５のロボット装置６は、第１の部材としてのケース８７の内部に、第２の部材としてのワーク９７を配置する作業を実施する。ケース８７は、第１のワークに相当し、ワーク９７は、第２のワークに相当する。第５のロボット装置６は、ロボット１に取り付けられたハンド７を有する。ハンド７は吸着によりワーク９７を把持するように形成されている。第５のロボット装置６は、ケース８７を搬送する搬送機としてのコンベヤ７５を備える。
FIG. 17 shows a schematic diagram of the fifth robot device in this embodiment. The
第５のロボット装置６は、設置面に架台７１を介して固定された視覚センサとしてのカメラ２７を有する。カメラ２７は、ロボット１が位置および姿勢が変化しても不動である。カメラ２７は、ロボット１がワーク９７の位置の調整を行っている期間中に、ワーク９７およびケース８７を撮像できるように、コンベヤ７５から十分に離れた位置に配置されている。
The
図１８に、第５のロボット装置にてワークをケースに収容しているときの側面図を示す。ケース８７は、矢印１０５に示すように、コンベヤ７５にて搬送されている。ケース８７は、ワーク９７の形状に対応して形成された複数の壁部８７ａを有する。第５のロボット装置６は、壁部８７ａに囲まれる領域にワーク９７を収容する。図１８に示す例では、壁部８７ａにて囲まれる領域に対してワーク９７の位置が合っている。このために、矢印１０４に示すように、ワーク９７を下降することにより、ワーク９７をケース８７に収容することができる。
FIG. 18 shows a side view of the fifth robot device when the workpiece is accommodated in the case.
図１９に、第５のロボット装置にてワークをケースに収容しているときの他の側面図を示す。図１９に示す例では、壁部８７ａに囲まれる領域に対してワーク９７の位置がずれている。第５のロボット装置６では、第６の制御を実施する。第６の制御では、壁部８７ａにて囲まれる領域の真上にワーク９７が配置されるようにロボット１の位置を調整する。ケース８７に対するワーク９７の姿勢は、予め調整されている。第６の制御においては、第１の制御と同様の制御により、ケース８７の位置に対するワーク９７の位置のずれを修正する。図１８に示すようにケース８７に対するワーク９７の位置が合っている状態に対応する基準画像は、予め作成されている。
FIG. 19 shows another side view of the fifth robot device when the workpiece is housed in the case. In the example shown in FIG. 19, the position of the
図２０に、カメラにて撮像された画像を示す。図２０の画像では、壁部８７ａに囲まれる領域に対してワーク９７の位置がずれている。第６の制御では、例えば、壁部８７ａの側面を第１の特徴部位に設定することができる。壁部８７ａの側面の角に第１の設定点Ｐ１を設定することができる。また、ワーク９７の側面を第２の特徴部位に設定することができる。ワーク９７の側面の角に、第２の設定点Ｐ２を設定することができる。
FIG. 20 shows an image captured by the camera. In the image of FIG. 20, the position of the
図３および図２０を参照して、特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。算出部３３は、第１の特徴量と第２の特徴量とに基づいて相対位置量を算出する。指令生成部３４は、カメラ２７にて撮像した画像６５における相対位置量と、基準画像における相対位置量とに基づいて、ロボット１を動作させる移動指令を生成することができる。
Referring to FIG. 3 and FIG. 20, feature
カメラが固定されているロボット装置においても、第１の制御と同様の制御により、ロボットの位置の制御を実施することができる。また、設置面等に固定されている複数のカメラを用いて、第２の制御、第３の制御、または第４の制御と同様の制御を実施することができる。 Even in a robot device in which a camera is fixed, the position of the robot can be controlled by the same control as the first control. Furthermore, control similar to the second control, third control, or fourth control can be performed using a plurality of cameras fixed to an installation surface or the like.
その他の第５のロボット装置６の構成、作用および効果については、第１のロボット装置５、第２のロボット装置８、第３のロボット装置９、および第４のロボット装置１０と同様であるので、ここでは説明を繰り返さない。
The other configurations, functions, and effects of the
上記の実施の形態における視覚センサは、２次元カメラであるが、この形態に限られない。視覚センサは、画像に含まれる部材の３次元の位置が検出可能な３次元カメラであっても構わない。視覚センサとして３次元カメラを用いることにより、ベース画像を準備しなくても基準座標系における第１の部材の位置および第２の部材の位置を検出することができる。 Although the visual sensor in the above embodiment is a two-dimensional camera, it is not limited to this form. The visual sensor may be a three-dimensional camera that can detect the three-dimensional position of a member included in an image. By using a three-dimensional camera as a visual sensor, the position of the first member and the position of the second member in the reference coordinate system can be detected without preparing a base image.
上記の実施の形態では、製品を組み立てる作業を行うロボット装置およびケースにワークを挿入するロボット装置を取り上げているが、この形態に限られない。任意の作業を行うロボット装置に本実施の形態の制御装置を適用することができる。例えば、ワークをケースから取り出すロボット装置、スポット溶接を行うロボット装置、または接着剤を塗布するロボット装置などに本実施の形態の制御装置を適用することができる。 In the embodiments described above, a robot device that assembles a product and a robot device that inserts a workpiece into a case are used, but the present invention is not limited to this embodiment. The control device of this embodiment can be applied to a robot device that performs any work. For example, the control device of this embodiment can be applied to a robot device that takes out a workpiece from a case, a robot device that performs spot welding, a robot device that applies adhesive, and the like.
上記の実施の形態の第１の部材および第２の部材は、ワークまたはケースであるが、この形態に限られない。第１の部材は、ロボット装置が作業を行う任意の部材を採用することができる。また、第２の部材はロボットが駆動することにより移動する任意の部材を採用することができる。特に、第２の部材は、ロボットに取り付けられる作業ツールであっても構わない。例えば、スポット溶接を行うロボット装置では、ロボットに作業ツールとしてスポット溶接ガンが取り付けられる。この場合に、第２の部材は、スポット溶接ガンである。スポット溶接ガンにおいて、カメラにて撮像された画像にて検出が可能な部分を第２の特徴部位または第４の特徴部位に設定することができる。 Although the first member and the second member in the above embodiment are a workpiece or a case, they are not limited to this form. The first member can be any member that is operated by the robot device. Furthermore, the second member may be any member that moves when driven by a robot. In particular, the second member may be a working tool attached to the robot. For example, in a robot device that performs spot welding, a spot welding gun is attached to the robot as a work tool. In this case, the second member is a spot welding gun. In the spot welding gun, a portion that can be detected in an image captured by a camera can be set as a second characteristic region or a fourth characteristic region.
上記の実施の形態では、特徴部位は、ワークまたはケースの表面に設定しているが、この形態に限られない。特徴部位は、ロボットの構成部材、ハンドの構成部材、または、搬送機の構成部材に設定されていても構わない。例えば、第１の制御から第４の制御において、ハンドに対するワークの把持のずれが無い場合がある。または、ハンドに対するワークの把持のずれに対応してロボットの位置が調整されている場合がある。これらの場合には、カメラの撮像範囲にハンドが配置される場合に、第２の特徴部位、第４の特徴部位、および第６の特徴部位をハンドに設定しても構わない。 In the embodiments described above, the characteristic parts are set on the surface of the work or the case, but the present invention is not limited to this form. The characteristic part may be set in a component of the robot, a component of the hand, or a component of the transport machine. For example, in the first control to the fourth control, there may be no deviation in gripping the workpiece with respect to the hand. Alternatively, the position of the robot may be adjusted in response to a deviation in gripping the workpiece with respect to the hand. In these cases, when the hand is placed in the imaging range of the camera, the second characteristic part, the fourth characteristic part, and the sixth characteristic part may be set on the hand.
上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。 In each of the above-mentioned controls, the order of steps can be changed as appropriate as long as the function and operation are not changed.
上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。 The above embodiments can be combined as appropriate. In each of the above-mentioned figures, the same or equivalent parts are given the same reference numerals. Note that the above-described embodiments are illustrative and do not limit the invention. Furthermore, the embodiments include modifications of the embodiments shown in the claims.
１ ロボット
２，７ ハンド
４ ロボット制御装置
５，６，８，９，１０ ロボット装置
２５，２６，２７，２８ カメラ
３１ 画像処理部
３２ 特徴量検出部
３３ 算出部
３４ 指令生成部
４３ 動作制御部
６１ 基準画像
６２，６３，６５，６６，６７，６８ 画像
７５ コンベヤ
８１ ワーク
８２，８３ 突出部
８７ ケース
８７ａ 壁部
９１ ワーク
９２，９３ 突出部
９７ ワーク
1
Claims (6)
第１の特徴量と第２の特徴量とに基づいて相対位置量を算出する算出部と、
第１の部材に対して第２の部材が目標の位置に配置されているときの第１の特徴部位および第２の特徴部位の画像を含む基準画像における相対位置量を取得し、前記視覚センサにて撮像した画像における相対位置量と基準画像における相対位置量とに基づいて、第１の部材に対して第２の部材が目標の位置に配置されるようにロボットを動作させる移動指令を生成する指令生成部と、を備える制御装置。 a first feature amount related to the position of the first feature part for detecting the position of the first member based on images of the first member and the second member captured by the visual sensor; a second feature amount related to the position of the second feature part for detecting the position of the member ;
a calculation unit that calculates a relative position amount based on the first feature amount and the second feature amount;
A relative position amount in a reference image including images of the first characteristic region and the second characteristic region when the second member is arranged at a target position with respect to the first member is acquired, and the visual sensor Generate a movement command to operate the robot so that the second member is placed at the target position with respect to the first member, based on the relative position amount in the image captured by and the relative position amount in the reference image. A control device comprising: a command generation unit for generating a command ;
相対位置量の差に対するロボットの位置の移動方向が予め定められており、
相対位置量の差に対するロボットの位置の移動量の算出方法が予め定められており、
前記指令生成部は、相対位置量の差に基づいてロボットの位置の移動方向および移動量を設定し、ロボットの位置の移動方向および移動量に基づいて移動指令を生成する、請求項１に記載の制御装置。 The command generation unit calculates a difference in relative position amount, which is a difference between a relative position amount in the image captured by the visual sensor and a relative position amount in the reference image,
The direction of movement of the robot's position relative to the difference in relative position amount is determined in advance,
A method for calculating the amount of movement of the robot's position with respect to the difference in relative position amount is predetermined,
2. The command generation unit sets a moving direction and a moving amount of the robot's position based on a difference in relative position amounts, and generates a moving command based on the moving direction and moving amount of the robot's position. control device.
前記搬送機が第１の部材を搬送している期間中に、前記特徴量検出部による第１の特徴量および第２の特徴量を検出する制御、前記算出部による相対位置量を算出する制御、および前記指令生成部による移動指令を生成する制御を繰り返して実施する、請求項１または２に記載の制御装置。 A robot device that adjusts the relative position of a second member with respect to a first member by a robot includes a conveyor that conveys the first member,
Control of detecting a first feature amount and a second feature amount by the feature amount detection unit, and calculation of a relative position amount by the calculation unit, during a period when the conveyance machine is transporting the first member. The control device according to claim 1 or 2, wherein the control and the control of generating the movement command by the command generation unit are repeatedly executed.
前記指令生成部は、前記搬送機にて移動する第１の部材の位置に対してロボットの位置が追従するロボットの位置の移動方向および移動量に基づいて移動指令を生成する、請求項３に記載の制御装置。 The moving direction and moving speed of the first member by the conveyor are predetermined,
4. The command generation unit generates a movement command based on a movement direction and movement amount of a robot position that the robot position follows with respect to a position of the first member moved by the carrier. Control device as described.
前記視覚センサは第１の視覚センサを構成し、
前記特徴量検出部は、第２の視覚センサにて撮像された第１の部材および第２の部材の画像に基づいて、第１の部材の位置を検出するための第３の特徴部位の位置に関する第３の特徴量と、第２の部材の位置を検出するための第４の特徴部位の位置に関する第４の特徴量とを検出し、
前記算出部は、第３の特徴量と第４の特徴量との差を相対位置量として算出し、
前記指令生成部は、
第１の部材に対して第２の部材が目標の位置に配置されているときの第３の特徴部位および第４の特徴部位の画像を含む基準画像における相対位置量を取得し、
前記第２の視覚センサにて撮像した画像における相対位置量と、第３の特徴部位および第４の特徴部位の画像を含む基準画像における相対位置量とに基づいて、第１の部材に対して第２の部材が目標の位置に配置されるようにロボットを動作させる移動指令を生成し、前記第１の視覚センサの画像から生成された移動指令と、前記第２の視覚センサの画像から生成された移動指令とに基づいて、前記動作制御部に送出する移動指令を生成する、請求項１から４のいずれか一項に記載の制御装置。 Equipped with an operation control unit that sends commands to drive the robot to the robot,
the visual sensor constitutes a first visual sensor ;
The feature quantity detection unit detects the position of a third characteristic part for detecting the position of the first member based on the images of the first member and the second member captured by the second visual sensor. detecting a third feature amount related to the position of the second member and a fourth feature amount related to the position of the fourth feature part for detecting the position of the second member ,
The calculation unit calculates the difference between the third feature amount and the fourth feature amount as a relative position amount,
The command generation unit includes:
Obtaining a relative position amount in a reference image including images of a third characteristic part and a fourth characteristic part when the second member is arranged at a target position with respect to the first member,
with respect to the first member based on the relative position amount in the image captured by the second visual sensor and the relative position amount in the reference image including images of the third characteristic region and the fourth characteristic region. Generate a movement command to operate the robot so that the second member is placed at the target position, and generate from the movement command generated from the image of the first visual sensor and the image of the second visual sensor. The control device according to any one of claims 1 to 4, wherein the control device generates a movement command to be sent to the operation control unit based on the movement command issued.
前記第２の視覚センサは、第２の部材の予め定められた方向における他方の側に配置された部分を撮像するように配置されており、
前記第１の視覚センサの画像から生成された移動指令と、前記第２の視覚センサの画像から生成された移動指令とに基づいて、第１の部材に対する第２の部材の姿勢が予め定められた判定範囲内であるか否かを判定する、請求項５に記載の制御装置。 The first visual sensor is arranged to image a portion of the second member arranged on one side in a predetermined direction,
The second visual sensor is arranged to image a portion of the second member arranged on the other side in a predetermined direction,
The posture of the second member relative to the first member is determined in advance based on a movement command generated from an image of the first visual sensor and a movement command generated from an image of the second visual sensor. 6. The control device according to claim 5, wherein the control device determines whether or not it is within a determined determination range.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/923,485 US11679508B2 (en) | 2019-08-01 | 2020-07-08 | Robot device controller for controlling position of robot |
| DE102020119704.7A DE102020119704A1 (en) | 2019-08-01 | 2020-07-27 | CONTROL DEVICE OF A ROBOTIC DEVICE CONTROLLING THE POSITION OF A ROBOT |
| CN202010745050.8A CN112297004A (en) | 2019-08-01 | 2020-07-29 | Control device for robot device for controlling position of robot |
| US18/138,927 US20230256615A1 (en) | 2019-08-01 | 2023-04-25 | Robot device controller for controlling position of robot |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019142418 | 2019-08-01 | ||
| JP2019142418 | 2019-08-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021024075A JP2021024075A (en) | 2021-02-22 |
| JP7384653B2 true JP7384653B2 (en) | 2023-11-21 |
Family
ID=74662748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019219104A Active JP7384653B2 (en) | 2019-08-01 | 2019-12-03 | Control device for robot equipment that controls the position of the robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7384653B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024006326A (en) * | 2022-07-01 | 2024-01-17 | 三菱重工航空エンジン株式会社 | Robot, robot control device, robot control method, and program |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018167334A (en) | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | Teaching device and teaching method |
-
2019
- 2019-12-03 JP JP2019219104A patent/JP7384653B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018167334A (en) | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | Teaching device and teaching method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021024075A (en) | 2021-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108453701B (en) | Method for controlling robot, method for teaching robot, and robot system | |
| US20230256615A1 (en) | Robot device controller for controlling position of robot | |
| US9517563B2 (en) | Robot system using visual feedback | |
| US9050728B2 (en) | Apparatus and method for measuring tool center point position of robot | |
| JP7306937B2 (en) | A control device for a robot device that adjusts the position of a member supported by a robot | |
| JP3946711B2 (en) | Robot system | |
| CN113001535B (en) | Automatic correction system and method for robot workpiece coordinate system | |
| EP3542969B1 (en) | Working-position correcting method and working robot | |
| JP4289619B2 (en) | Tool position correction method for articulated robots | |
| JP2015136770A (en) | Data creation system of visual sensor, and detection simulation system | |
| US7957834B2 (en) | Method for calculating rotation center point and axis of rotation, method for generating program, method for moving manipulator and positioning device, and robotic system | |
| KR20080088165A (en) | Robot calibration method | |
| JP7384653B2 (en) | Control device for robot equipment that controls the position of the robot | |
| JP6912529B2 (en) | How to correct the visual guidance robot arm | |
| WO2022075303A1 (en) | Robot system | |
| JPH09222913A (en) | Teaching position correcting device for robot | |
| CN113905859B (en) | Robot control system and robot control method | |
| JP2021049606A (en) | Controller for controlling robot of robot device | |
| CN112549052B (en) | Control device for robot device for adjusting position of robot-supported component | |
| WO2023013739A1 (en) | Robot control device, robot control system, and robot control method | |
| WO2023135764A1 (en) | Robot device provided with three-dimensional sensor and method for controlling robot device | |
| CN117584115A (en) | Control method and robot system | |
| JP2017074637A (en) | Tool center point estimation method and tool center point estimation device | |
| JPH06206186A (en) | Calibration of handling precision of horizontal articulated type robot equipped with visual sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7384653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |