JP5787646B2

JP5787646B2 - Robot system and component manufacturing method

Info

Publication number: JP5787646B2
Application number: JP2011149693A
Authority: JP
Inventors: 真路上野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-07-06
Filing date: 2011-07-06
Publication date: 2015-09-30
Anticipated expiration: 2031-07-06
Also published as: JP2013013987A

Description

本発明は、力覚センサを用いて、組み付け部材を被組み付け部材に組み付けるときの組み付け反力を検知し、ロボットアームの各関節の動作を制御するロボットシステム、及び部品の製造方法に関するものである。 The present invention relates to a robot system that detects an assembly reaction force when an assembly member is assembled to an assembly member using a force sensor , and controls the operation of each joint of a robot arm , and a component manufacturing method. .

従来、ロボットシステムは、例えば産業用ロボットの手首部に設けられた力覚センサを備え、組立作業に生じるハンドの変位を検出し、その検出値に応じてロボットの動作を修正しながら組立作業を行うものが知られている（特許文献１参照）。この際、組み付け部材と被組み付け部材との間に相対的な位置誤差がある場合、組み付け部材が被組み付け部材に当接することにより、ロボットアームに対するハンドの相対的な変位が検出される。そして、あらかじめ定められた相対変位量の許容値の範囲内で挿入作業を行なうことで、組み付け部材や被組み付け部材、ハンドなどの破損を防止し、良好な状態で組み付けを行うことを実現するものである。 Conventionally, a robot system includes, for example, a force sensor provided at the wrist of an industrial robot, detects the displacement of the hand generated during the assembly work, and performs the assembly work while correcting the operation of the robot according to the detected value. What is performed is known (see Patent Document 1). At this time, when there is a relative positional error between the assembled member and the assembled member, the relative displacement of the hand with respect to the robot arm is detected by the assembled member coming into contact with the assembled member. And, by performing the insertion work within the range of the allowable value of the predetermined relative displacement, it is possible to prevent damage to the assembled member, the assembled member, the hand, etc., and to perform the assembly in a good state It is.

ところが、ハンドにおいては、決められた位置で組み付け部材を把持する必要があり、ハンドにおける把持位置がずれると、ハンドに作用する力の作用点が変化し、ハンドの変位が変化してしまう。これにより力覚センサにより検出されるモーメントの値も変化してしまい、精確な組み付け作業ができなくなる。このため、ワークを把持するハンドの一対のフィンガの形状を把持する部品の特徴に合わせ製作することで、組み付け部材の把持位置を規定するという方法が一般的である。 However, in the hand, it is necessary to grip the assembly member at a predetermined position. When the gripping position in the hand is shifted, the point of action of the force acting on the hand changes, and the displacement of the hand changes. As a result, the value of the moment detected by the force sensor also changes, and accurate assembly work cannot be performed. For this reason, it is common to define the gripping position of the assembly member by making the shape of the pair of fingers of the hand gripping the workpiece according to the characteristics of the gripping component.

特開昭６１−２４１０８３号公報JP-A-61-241083

しかしながら、ワークを把持するハンドの形状をワークの特徴に合わせ製作することでワークの把持位置を規定する方法では、作業工程又はワークごとに専用のハンドが必要になるためコストがかかるという問題がある。また、この方法では１つのロボットシステムで複数の作業工程を行おうとすると、把持するワークが変わるたびにハンドを交換するといった段取り変えが必要となる。逆に、ハンドの交換といった段取り変えを行わないようにすると、他の作業工程を同じハンドで行うことが困難であるため、複数のロボットシステムで作業を細かく分けなければならず、コストが増加すると共に、広いスペースが必要になる。 However, the method of defining the gripping position of the workpiece by manufacturing the shape of the hand that grips the workpiece according to the characteristics of the workpiece has a problem that a cost is required because a dedicated hand is required for each work process or workpiece. . Further, in this method, when a plurality of work steps are performed by one robot system, it is necessary to change the setup such that the hand is changed whenever the work to be gripped changes. On the other hand, if you do not change the setup such as changing hands, it is difficult to perform other work steps with the same hand, so the work must be subdivided by multiple robot systems, increasing costs. In addition, a large space is required.

そこで、本発明は、ハンドの交換を行わずに精密な組み付け作業が可能となるロボットシステム、及び部品の製造方法を提供することを目的とするものである。 SUMMARY OF THE INVENTION An object of the present invention is to provide a robot system and a component manufacturing method that enable precise assembly work without replacing hands.

本発明は、ロボットアームと、前記ロボットアームの先端に手首部を介して設けられ、組み付け部材を把持するハンドと、前記ハンドに作用する反力に基づき、前記ロボットアームの動作を制御する制御手段と、を備えたロボットシステムにおいて、前記手首部に設けられ、前記ハンドの変位によって基準点に生じるモーメントを検出する力覚センサと、カメラと、を備え、前記制御手段は、前記ハンドが把持している前記組み付け部材を撮像した画像データを前記カメラから取得し、前記画像データから前記ハンドが把持している前記組み付け部材の把持位置を割り出して、前記力覚センサの基準点と前記把持位置との距離を求め、前記基準点と前記把持位置との距離及び前記力覚センサにより検出されたモーメントから、前記ハンドに作用する反力を求めることを特徴とする。 The present invention provides a robot arm, a hand provided at the tip of the robot arm via a wrist, and grips an assembly member, and control means for controlling the operation of the robot arm based on a reaction force acting on the hand A force sensor provided at the wrist for detecting a moment generated at a reference point due to displacement of the hand, and a camera, and the control means is gripped by the hand. Image data obtained by imaging the assembly member is acquired from the camera, a gripping position of the assembly member gripped by the hand is determined from the image data, and a reference point of the force sensor and the gripping position are determined. The distance between the reference point and the gripping position and the moment detected by the force sensor are calculated on the hand. And obtaining a reaction force.

本発明によれば、カメラの撮像により得られた画像データを用いて力覚センサにおける基準点とハンドにおける組み付け部材の把持位置との距離を求めているので、組み付け作業の際にハンドに作用する反力を精確に求めることができる。これにより、精密な組み付け作業が可能となる。 According to the present invention, since the distance between the reference point of the force sensor and the gripping position of the assembly member in the hand is obtained using image data obtained by imaging with the camera, it acts on the hand during the assembly operation. The reaction force can be accurately determined. Thereby, a precise assembly work becomes possible.

本発明の第１実施形態に係るロボットシステムの概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the robot system which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るロボットシステムのブロック図である。1 is a block diagram of a robot system according to a first embodiment of the present invention. 本発明の第１実施形態に係るロボットシステムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the robot system which concerns on 1st Embodiment of this invention. ハンドにより組み付け部材が把持されている状態を示す図であり、（ａ）は組み付け部材が直線状の場合、（ｂ）は組み付け部材が曲線状の場合を示している。It is a figure which shows the state in which the assembly member is hold | gripped by the hand, (a) shows the case where an assembly member is linear, (b) has shown the case where an assembly member is curvilinear. 力覚センサの基準点、ハンドの測定点及び組み付け部材の把持位置の関係を説明するための図である。It is a figure for demonstrating the relationship between the reference point of a force sensor, the measurement point of a hand, and the holding position of an assembly member. 本発明の第２実施形態に係るロボットシステムのブロック図である。It is a block diagram of the robot system concerning a 2nd embodiment of the present invention. 本発明の第３実施形態に係るロボットシステムのブロック図である。It is a block diagram of the robot system concerning a 3rd embodiment of the present invention.

以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.

［第１実施形態］
図１は、本発明の第１実施形態に係るロボットシステムの概略構成を示す説明図である。図１に示すように、ロボットシステム１００は、床面に固定された複数のリンク２０１ａ〜２０１ｆが連結されてなる多関節のロボットアーム２０１を備えている。本第１実施形態では、ロボットアーム２０１は、６軸垂直多関節ロボットアームを例として説明するが、６軸垂直多関節ロボットアームに限定するものではない。 [First Embodiment]
FIG. 1 is an explanatory diagram showing a schematic configuration of the robot system according to the first embodiment of the present invention. As shown in FIG. 1, the robot system 100 includes an articulated robot arm 201 formed by connecting a plurality of links 201a to 201f fixed to a floor surface. In the first embodiment, the robot arm 201 is described as an example of a 6-axis vertical articulated robot arm, but is not limited to a 6-axis vertical articulated robot arm.

また、ロボットシステム１００は、ロボットアーム２０１の先端リンク２０１ｆに手首部２０２を介して設けられ、組み付け部材Ｗ１を把持するハンド２０３を備えている。このハンド２０３に把持された組み付け部材Ｗ１は、床面に支持された被組み付け部材Ｗ２に組み付けるものである。 The robot system 100 further includes a hand 203 that is provided on the tip link 201f of the robot arm 201 via the wrist 202 and holds the assembly member W1. The assembly member W1 held by the hand 203 is assembled to the assembly member W2 supported on the floor surface.

ハンド２０３は、先細りの板状物であり、互いに近接又は離間する一対のフィンガ２０３ａ，２０３ｂを有し、一対のフィンガ２０３ａ，２０３ｂが互いに近接することにより組み付け部材Ｗ１を把持するように構成されている。なお、本実施形態では、ハンド２０３が一対のフィンガ２０３ａ，２０３ｂを有する場合について説明するが、これに限定するものではなく、ハンド２０３は対象となる組み付け部材Ｗ１を把持することができるのであれば構造及び形状は任意である。 The hand 203 is a tapered plate-like object, has a pair of fingers 203a and 203b that are close to or away from each other, and is configured to grip the assembly member W1 when the pair of fingers 203a and 203b are close to each other. Yes. In the present embodiment, the case where the hand 203 has a pair of fingers 203a and 203b will be described. However, the present invention is not limited to this, and the hand 203 can hold the target assembly member W1. The structure and shape are arbitrary.

ロボットシステム１００は、手首部２０２に設けられ、基準点Ｏを原点とするＸ軸、Ｙ軸、Ｚ軸の直交座標系において、ハンド２０３の変位によって基準点Ｏに生じるＸ軸及びＹ軸まわりのそれぞれのモーメントＭｘ，Ｍｙを検出する力覚センサ２０４を備えている。力覚センサ２０４におけるＺ軸は、基準点（回転中心位置）Ｏを通る、ロボットアーム２０１の先端リンク２０１ｆの軸線に平行に延びる座標軸である。Ｘ軸は、基準点Ｏを通り、Ｚ軸に直交する座標軸である。Ｙ軸は、基準点Ｏを通り、Ｘ軸及びＺ軸に直交する座標軸である。 The robot system 100 is provided on the wrist 202 and has an X-axis, Y-axis, and Z-axis orthogonal coordinate system with the reference point O as the origin, and the X and Y axes generated at the reference point O due to the displacement of the hand 203. A force sensor 204 for detecting the moments Mx and My is provided. The Z axis in the force sensor 204 is a coordinate axis that passes through the reference point (rotation center position) O and extends in parallel with the axis of the tip link 201 f of the robot arm 201. The X axis is a coordinate axis that passes through the reference point O and is orthogonal to the Z axis. The Y axis is a coordinate axis that passes through the reference point O and is orthogonal to the X axis and the Z axis.

力覚センサ２０４は、基準点Ｏに生じる、Ｘ軸およびＹ軸のそれぞれのモーメントＭｘ，Ｍｙを検出するものであればよく、本第１実施形態では、３軸の力覚センサである。つまり、力覚センサ２０４は、Ｘ軸、Ｙ軸、Ｚ軸の３次元直交座標系におけるＺ軸の並進方向の力Ｆｚ、Ｘ軸まわりのモーメントＭｘ、及びＹ軸まわりのモーメントＭｙを検出するものである。なお、ハンド２０３及び力覚センサ２０４は、ハンド２０３と力覚センサ２０４が直列に構成されたものでも、ハンド２０３と力覚センサ２０４を一体で製作した力覚センサ一体型のハンドでも良い。また、３軸の力覚センサに限らず、例えば６軸の力覚センサを用いてもよい。 The force sensor 204 only needs to detect the X-axis and Y-axis moments Mx and My generated at the reference point O. In the first embodiment, the force sensor 204 is a 3-axis force sensor. That is, the force sensor 204 detects the force Fz in the translation direction of the Z axis, the moment Mx around the X axis, and the moment My around the Y axis in the three-dimensional orthogonal coordinate system of the X axis, the Y axis, and the Z axis. It is. The hand 203 and the force sensor 204 may be configured such that the hand 203 and the force sensor 204 are configured in series, or a force sensor integrated hand in which the hand 203 and the force sensor 204 are integrally manufactured. Further, not limited to a triaxial force sensor, for example, a six axis force sensor may be used.

また、ロボットシステム１００は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子を有するカメラ２０５と、カメラ２０５に接続された画像処理装置２０６と、を備えている。また、ロボットシステム１００は、力覚センサ２０４及び画像処理装置２０６に接続された検出力演算装置２０７と、画像処理装置２０６及び検出力演算装置２０７に接続されたロボット制御装置２０８と、を備えている。これら画像処理装置２０６、検出力演算装置２０７及びロボット制御装置２０８で制御手段としての制御システム２００が構成されている。各装置２０６，２０７，２０８は、不図示のＣＰＵ（コンピュータ）、記憶装置（例えば、ＲＯＭ、ＨＤＤ、書き換え可能な不揮発性メモリ等）を備えたコンピュータシステムであり、それぞれの記憶装置に記憶されたプログラムに基づいて動作する。 The robot system 100 includes a camera 205 having an image sensor such as a CCD image sensor or a CMOS image sensor, and an image processing device 206 connected to the camera 205. The robot system 100 also includes a detection force calculation device 207 connected to the force sensor 204 and the image processing device 206, and a robot control device 208 connected to the image processing device 206 and the detection force calculation device 207. Yes. The image processing device 206, the detection force calculation device 207, and the robot control device 208 constitute a control system 200 as a control means. Each of the devices 206, 207, and 208 is a computer system that includes a CPU (computer) (not shown) and a storage device (eg, ROM, HDD, rewritable nonvolatile memory, etc.), and is stored in each storage device. Operates based on the program.

カメラ２０５は、ハンド２０３及びハンド２０３により把持している組み付け部材Ｗ１を撮像するものであり、本第１実施形態では、ロボットアーム２０１の先端リンク２０１ｆに固定されている。なお、カメラ２０５の固定位置はこれに限定するものではなく、例えばハンド２０３や不図示の架台に取り付けられていてもよい。 The camera 205 images the hand 203 and the assembly member W1 held by the hand 203, and is fixed to the tip link 201f of the robot arm 201 in the first embodiment. The fixing position of the camera 205 is not limited to this, and may be attached to the hand 203 or a gantry (not shown), for example.

カメラ２０５により撮像された画像データＰは画像処理装置２０６を介し位置情報としてロボット制御装置２０８へ送られる。また、ロボットアーム２０１を動作させ、ハンド２０３で把持している組み付け部材Ｗ１を被組み付け部材Ｗ２に接触させた際に、力覚センサ２０４により検出されたモーメントＭｘ，Ｍｙの情報は検出力演算装置２０７を介してロボット制御装置２０８へ送られる。ロボット制御装置２０８は、それらの情報を基にロボットアーム２０１を制御し組立作業を行う。 Image data P captured by the camera 205 is sent to the robot control device 208 as position information via the image processing device 206. Further, when the robot arm 201 is operated and the assembly member W1 gripped by the hand 203 is brought into contact with the assembly member W2, information on the moments Mx and My detected by the force sensor 204 is detected by a detection force calculation device. It is sent to the robot controller 208 via 207. The robot controller 208 controls the robot arm 201 based on the information and performs assembly work.

この作業系では様々な作業を行うが、その中に組み付け部材Ｗ１を被組み付け部材Ｗ２に組み付ける（挿入する）工程がある。この工程では正確に組み付け部材Ｗ１を被組み付け部材Ｗ２に挿入しなければならす、組み付け部材Ｗ１を被組み付け部材Ｗ２に組み立てるときの組み付け反力を力覚センサ２０４を用いて検知し、組み付け力を制御しながら組立を行う必要がある。正確な力覚センサ２０４による力検出が必要になる。 In this work system, various operations are performed, and there is a step of assembling (inserting) the assembly member W1 into the assembly member W2. In this process, the assembly member W1 must be accurately inserted into the assembly member W2, and the assembly reaction force when the assembly member W1 is assembled to the assembly member W2 is detected using the force sensor 204 to control the assembly force. However, it is necessary to assemble it. An accurate force detection by the force sensor 204 is required.

本実施形態では、検出力演算装置２０７は、力覚センサ２０４により検出された各モーメントＭｘ，Ｍｙの値を基に、組み付け部材Ｗ１を被組み付け部材Ｗ２に組み付ける際にハンド２０３に作用する反力Ｆｘ，Ｆｙを求める。ロボット制御部であるロボット制御装置２０８は、検出力演算装置２０７から反力Ｆｘ，Ｆｙの情報及びロボットアーム２０１の各関節角度θの情報を取得し、各関節の駆動部に各関節角度指令θ^＊を出力する。 In the present embodiment, the detection force calculation device 207 reacts on the hand 203 when assembling the assembly member W1 to the assembly member W2 based on the values of the moments Mx and My detected by the force sensor 204. Find Fx, Fy. The robot control device 208, which is a robot control unit, acquires information on the reaction forces Fx and Fy and information on each joint angle θ of the robot arm 201 from the detection force calculation device 207, and sends each joint angle command θ to each joint drive unit. ^{* Is} output.

図２は、ロボットシステム１００のブロック図である。画像処理装置２０６は、特徴点位置計算部１０２として機能する。また、検出力演算装置２０７は、位置姿勢計算部１０４、把持位置計算部１０６、距離計算部１０８及び反力計算部１１６として機能する。距離計算部１０８は、第１の計算部１１０、測定データ記憶部１１２及び第２の計算部１１４を有してなる。 FIG. 2 is a block diagram of the robot system 100. The image processing device 206 functions as the feature point position calculation unit 102. The detection force calculation device 207 functions as the position / orientation calculation unit 104, the gripping position calculation unit 106, the distance calculation unit 108, and the reaction force calculation unit 116. The distance calculation unit 108 includes a first calculation unit 110, a measurement data storage unit 112, and a second calculation unit 114.

以下、図２に示す各部の動作について、図３のフローチャートを参照しながら詳細に説明する。まず、ロボット制御部であるロボット制御装置２０８は、ロボットアーム２０１を動作させ、ハンド２０３を、組み付け部材Ｗ１を把持する位置へ移動させ、ハンド２０３に組み付け部材Ｗ１を把持させる（Ｓ１）。 Hereinafter, the operation of each unit shown in FIG. 2 will be described in detail with reference to the flowchart of FIG. First, the robot control device 208, which is a robot controller, operates the robot arm 201 to move the hand 203 to a position where the assembly member W1 is gripped, and causes the hand 203 to grip the assembly member W1 (S1).

次に、カメラ２０５は、ハンド２０３に把持された組み付け部材Ｗ１を撮像すると同時に、ロボットアーム２０１、ハンド２０３及び力覚センサ２０４のいずれかの、基準点Ｏに対する距離が既知である測定点を撮像する（Ｓ２）。本実施形態では、図４に示すように、ハンド２０３に測定点である測定マーカｈが設けられている場合について説明する。この撮像動作では、ロボット制御装置２０８の制御により、撮像画像において基準点Ｏ、測定マーカｈ及び後述する把持位置Ｊが一直線上に配置されるようにロボットアーム２０１の姿勢を調整する。つまり、測定マーカｈは、撮像画像において基準点Ｏと把持位置Ｊとを結ぶ直線上に位置するように、ハンド２０３に設けられている。カメラ２０５による組み付け部材Ｗ１及び測定マーカｈの撮像動作により得られた画像データＰは、画像処理装置２０６に送られる。 Next, the camera 205 images the assembly member W1 gripped by the hand 203, and at the same time, images a measurement point whose distance from the reference point O is one of the robot arm 201, the hand 203, and the force sensor 204. (S2). In the present embodiment, as shown in FIG. 4, a case where a measurement marker h that is a measurement point is provided on the hand 203 will be described. In this imaging operation, the posture of the robot arm 201 is adjusted by the control of the robot controller 208 so that the reference point O, the measurement marker h, and a gripping position J described later are arranged in a straight line in the captured image. That is, the measurement marker h is provided on the hand 203 so as to be positioned on a straight line connecting the reference point O and the gripping position J in the captured image. Image data P obtained by the imaging operation of the assembly member W1 and the measurement marker h by the camera 205 is sent to the image processing device 206.

次に、特徴点位置計算部１０２は、カメラ２０５の撮像により取得した画像データＰから、ハンド２０３に把持された組み付け部材Ｗ１の複数の特徴点ｋの位置Ｋを計算する（Ｓ３）。これら特徴点ｋは、組み付け部材Ｗ１の位置姿勢を導出するのに必要な点として抽出されるものである。例えば図４（ａ）に示すように、組み付け部材Ｗ１が直線状の柱部材である場合には、特徴点ｋ−１，ｋ−２が抽出され、その位置（座標）Ｋ−１，Ｋ−２が計算される。また、例えば図４（ｂ）に示すように、組み付け部材Ｗ１が曲線状の柱部材である場合には、特徴点ｋ−３〜ｋ−６が抽出され、その位置（座標）Ｋ−３〜Ｋ−６が計算される。 Next, the feature point position calculation unit 102 calculates the positions K of the plurality of feature points k of the assembly member W1 held by the hand 203 from the image data P acquired by the imaging of the camera 205 (S3). These feature points k are extracted as points necessary for deriving the position and orientation of the assembly member W1. For example, as shown in FIG. 4A, when the assembly member W1 is a linear column member, feature points k-1, k-2 are extracted and their positions (coordinates) K-1, K- are extracted. 2 is calculated. For example, as shown in FIG. 4B, when the assembly member W1 is a curved column member, feature points k-3 to k-6 are extracted and their positions (coordinates) K-3 to 3 are extracted. K-6 is calculated.

本実施形態では、測定マーカｈも同時に撮像されており、特徴点位置計算部１０２は、ある３次元座標空間（例えばカメラ座標系の空間）を定義し、この３次元座標空間での各特徴点ｋの位置（座標）Ｋと、測定マーカｈの位置（座標）Ｈと、を計算する。そして、画像処理装置２０６は、複数の特徴点ｋの位置（座標）Ｋの情報及び測定マーカｈの位置（座標）Ｈの情報を検出力演算装置２０７へ送る。 In this embodiment, the measurement marker h is also imaged at the same time, and the feature point position calculation unit 102 defines a certain three-dimensional coordinate space (for example, a camera coordinate system space), and each feature point in this three-dimensional coordinate space. The position (coordinate) K of k and the position (coordinate) H of the measurement marker h are calculated. Then, the image processing device 206 sends the information on the position (coordinates) K of the plurality of feature points k and the information on the position (coordinates) H of the measurement marker h to the power calculation device 207.

位置姿勢計算部１０４は、特徴点位置計算部１０２により計算された各特徴点ｋの位置（座標）Ｋの情報から組み付け部材Ｗ１の位置姿勢Ｃを計算する（Ｓ４）。本実施形態では、位置姿勢計算部１０４は、ステップＳ３において定義された３次元座標空間での組み付け部材Ｗ１の位置姿勢Ｃを計算する。 The position / orientation calculation unit 104 calculates the position / orientation C of the assembly member W1 from the information on the position (coordinates) K of each feature point k calculated by the feature point position calculation unit 102 (S4). In the present embodiment, the position / orientation calculation unit 104 calculates the position / orientation C of the assembly member W1 in the three-dimensional coordinate space defined in step S3.

例えば、図４（ａ）に示す直線形状の組み付け部材Ｗ１の場合は、組み付け部材Ｗ１の位置姿勢Ｃとして、複数の特徴点ｋ−１，ｋ−２の座標Ｋ−１，Ｋ−２を結ぶ直線が求められる。また、図４（ｂ）に示す曲線形状の組み付け部材Ｗ１の場合は、組み付け部材Ｗ１の位置姿勢Ｃとして、複数の特徴点ｋ−３〜ｋ−６の座標Ｋ−３〜Ｋ−６を結ぶ近似曲線が求められる。これら直線又は近似曲線により、組み付け部材Ｗ１の形状、位置、姿勢が推定される。 For example, in the case of the linear assembly member W1 shown in FIG. 4A, the coordinates K-1 and K-2 of a plurality of feature points k-1 and k-2 are connected as the position and orientation C of the assembly member W1. A straight line is required. In the case of the curved assembly member W1 shown in FIG. 4B, the coordinates K-3 to K-6 of a plurality of feature points k-3 to k-6 are connected as the position and orientation C of the assembly member W1. An approximate curve is determined. From these straight lines or approximate curves, the shape, position, and orientation of the assembly member W1 are estimated.

次に、把持位置計算部１０６は、位置姿勢計算部１０４により計算された位置姿勢Ｃの情報を用いて把持位置Ｊを計算する（Ｓ５）。本実施形態では、把持位置Ｊは、ステップＳ３で定義された３次元座標空間での位置（座標）として求められる。以上のステップＳ３〜Ｓ５の計算処理により、ハンド２０３が把持している組み付け部材Ｗ１の把持位置Ｊが割り出される。 Next, the gripping position calculation unit 106 calculates the gripping position J using the information on the position and orientation C calculated by the position and orientation calculation unit 104 (S5). In the present embodiment, the grip position J is obtained as a position (coordinates) in the three-dimensional coordinate space defined in step S3. The gripping position J of the assembly member W1 gripped by the hand 203 is determined by the calculation processing in steps S3 to S5 described above.

次に、距離計算部１０８は、把持位置計算部１０６により計算された把持位置Ｊの情報を用いて基準点Ｏと把持位置Ｊとの距離Ｌを計算する（Ｓ６）。 Next, the distance calculation unit 108 calculates the distance L between the reference point O and the gripping position J using the information on the gripping position J calculated by the gripping position calculation unit 106 (S6).

本実施形態における距離計算部１０８の動作について、図５を参照しながら、具体的に説明する。まず、距離計算部１０８の第１の計算部１１０は、３次元座標空間における把持位置Ｊの情報及び測定マーカｈの位置Ｈの情報から、測定マーカｈの位置Ｈと把持位置Ｊとの距離Ｌ’を計算する。ここで、測定データ記憶部１１２には、予め計測した力覚センサ２０４の基準点Ｏと、測定マーカｈの位置Ｈとの距離Ｌ_０が記憶されている。第２の計算部１１４は、第１の計算部１１０により計算された距離Ｌ’の値、及び記憶部１１２に記憶された基準点Ｏに対する測定マーカｈの位置Ｈの距離Ｌ_０の値から、基準点Ｏと把持位置Ｊとの距離Ｌを計算する。例えば、第２の計算部１１４は、Ｌ＝Ｌ_０＋Ｌ’を計算する。なお、距離Ｌの値は、この式に基づいて算出される場合に限らず、基準点Ｏに対する測定マーカｈの位置Ｈ及び把持位置Ｊに応じて求められる。 The operation of the distance calculation unit 108 in the present embodiment will be specifically described with reference to FIG. First, the first calculation unit 110 of the distance calculation unit 108 determines the distance L between the position H of the measurement marker h and the grip position J from the information of the grip position J and the information of the position H of the measurement marker h in the three-dimensional coordinate space. 'Calculate. Here, the measurement data storage unit 112 stores a distance L ₀ between the reference point O of the force sensor 204 measured in advance and the position H of the measurement marker h. The second calculation unit 114 calculates the value of the distance L ′ calculated by the first calculation unit 110 and the value of the distance L ₀ of the position H of the measurement marker h with respect to the reference point O stored in the storage unit 112. A distance L between the reference point O and the gripping position J is calculated. For example, the second calculation unit 114 calculates L = L ₀ + L ′. Note that the value of the distance L is not limited to the case where it is calculated based on this equation, but is determined according to the position H and the gripping position J of the measurement marker h with respect to the reference point O.

次に、反力計算部１１６は、力覚センサ２０４により検出されたモーメントＭｘ，Ｍｙの値を、基準点Ｏとハンド２０３における組み付け部材Ｗ１の把持位置Ｊとの距離Ｌの値で除算することで、ハンド２０３に作用する反力Ｆｘ，Ｆｙを計算する（Ｓ７）。具体的には、反力計算部１１６は、Ｆｘ＝Ｍｙ／Ｌ，Ｆｙ＝Ｍｘ／Ｌを計算する。そして、検出力演算装置２０７はその計算結果Ｆｘ，Ｆｙをロボット制御装置２０８に出力する。 Next, the reaction force calculation unit 116 divides the values of the moments Mx and My detected by the force sensor 204 by the value of the distance L between the reference point O and the gripping position J of the assembly member W1 in the hand 203. The reaction forces Fx and Fy acting on the hand 203 are calculated (S7). Specifically, the reaction force calculation unit 116 calculates Fx = My / L and Fy = Mx / L. Then, the detection power calculation device 207 outputs the calculation results Fx and Fy to the robot control device 208.

ロボット制御装置２０８は、ロボットアーム２０１を動作させ、組み付け部材Ｗ１を被組み付け部材Ｗ２に組み付ける作業を行わせるが、その作業中に、ハンド２０３に作用する反力Ｆｘ，Ｆｙに基づきロボットアーム２０１の動作を制御するものである。つまり、ロボット制御装置２０８は、入力したＦｘ，Ｆｙの情報を用いて演算した関節角度指令θ^＊をロボットアーム２０１に出力する。 The robot control device 208 operates the robot arm 201 to perform the operation of assembling the assembly member W1 to the assembly member W2. During the operation, the robot control device 208 performs the operation of the robot arm 201 based on the reaction forces Fx and Fy acting on the hand 203. It controls the operation. That is, the robot control device 208 outputs a joint angle command θ ^* calculated using the input information of Fx and Fy to the robot arm 201.

以上、本第１実施形態によれば、カメラ２０５の撮像により得られた画像データＰを用いて力覚センサ２０４における基準点Ｏとハンド２０３における組み付け部材Ｗ１の把持位置Ｊとの距離Ｌを算出している。そして、反力計算部１１６では、反力Ｆｘ，Ｆｙを求めるに当たって、距離Ｌの値として、一定値ではなく算出した値を用いているので、組み付け作業の際にハンド２０３に作用する反力Ｆｘ，Ｆｙを精確に求めることができる。これにより、専用のハンドに交換することなく、精密な組み付け作業が可能となる。 As described above, according to the first embodiment, the distance L between the reference point O in the force sensor 204 and the gripping position J of the assembly member W1 in the hand 203 is calculated using the image data P obtained by imaging with the camera 205. doing. The reaction force calculation unit 116 uses a calculated value instead of a constant value as the value of the distance L in determining the reaction forces Fx and Fy. Therefore, the reaction force Fx acting on the hand 203 during the assembling work. , Fy can be obtained accurately. As a result, it is possible to perform a precise assembling work without exchanging with a dedicated hand.

また、力覚センサ２０４として３軸力覚センサを使用しても把持位置Ｊのズレに力覚センサ２０４の検出力への影響を少なくなり、小型で安価、高剛性、かつ検出精度の高い力覚センサ２０４を備えた、精密な組立作業が可能なロボットシステムを実現できる。 Further, even if a triaxial force sensor is used as the force sensor 204, the displacement of the gripping position J has less influence on the detection force of the force sensor 204, and the force is small, inexpensive, highly rigid, and has high detection accuracy. A robot system including the sense sensor 204 and capable of precise assembly work can be realized.

また、把持位置Ｊのズレによる力覚センサ２０４の検出力への影響が少ないため、組み付け部材Ｗ１がバラ積になっているビンピッキングのような把持状態が不安定になるピッキング方法でも力覚センサ２０４の検出力を安定させることができる。これにより、把持状態が不安定になる作業においても精密な組立作業が可能なロボットシステムを実現することが可能になる。 Further, since the influence of the displacement of the gripping position J on the detection force of the force sensor 204 is small, the force sensor is also used in a picking method in which the gripping state becomes unstable such as bin picking in which the assembly members W1 are stacked. The detection power of 204 can be stabilized. This makes it possible to realize a robot system capable of precise assembly work even in work where the gripping state becomes unstable.

［第２実施形態］
次に、本発明の第２実施形態に係るロボットシステムについて説明する。図６は、本発明の第２実施形態に係るロボットシステムのブロック図である。なお、上記第１実施形態と同様の構成については、同一符号を付し、その説明は省略する。上記第１実施形態では、特徴点位置計算部１０２において、ある３次元座標空間（例えばカメラ座標系の空間）を定義し、この３次元座標空間での各特徴点ｋの位置（座標）Ｋと、測定マーカｈの位置（座標）Ｈと、を計算するようにした。 [Second Embodiment]
Next, a robot system according to a second embodiment of the invention will be described. FIG. 6 is a block diagram of a robot system according to the second embodiment of the present invention. In addition, about the structure similar to the said 1st Embodiment, the same code | symbol is attached | subjected and the description is abbreviate | omitted. In the first embodiment, the feature point position calculation unit 102 defines a certain three-dimensional coordinate space (for example, a space in the camera coordinate system), and the position (coordinate) K of each feature point k in the three-dimensional coordinate space and The position (coordinates) H of the measurement marker h is calculated.

これに対し、本第２実施形態では、特徴点位置計算部１０２Ａは、測定点である測定マーカｈの位置Ｈを基準（基準点）とした３次元座標空間における各特徴点ｋの位置Ｋを計算する。つまり、測定マーカｈが基準点であるので、その位置Ｈの座標を計算する必要がない。 On the other hand, in the second embodiment, the feature point position calculation unit 102A determines the position K of each feature point k in the three-dimensional coordinate space using the position H of the measurement marker h that is a measurement point as a reference (reference point). calculate. That is, since the measurement marker h is a reference point, it is not necessary to calculate the coordinates of the position H.

したがって、位置姿勢計算部１０４Ａでは、測定マーカｈの位置Ｈを基準（基準点）とした３次元座標空間での組み付け部材Ｗ１の位置姿勢Ｃを計算し、把持位置計算部１０６Ａでは、その３次元座標空間での把持位置Ｊを計算する。 Therefore, the position / orientation calculation unit 104A calculates the position / orientation C of the assembly member W1 in the three-dimensional coordinate space with the position H of the measurement marker h as a reference (reference point), and the gripping position calculation unit 106A calculates the three-dimensional The gripping position J in the coordinate space is calculated.

そして、距離計算部１０８Ａの第１の計算部１１０Ａは、その３次元座標空間における把持位置Ｊの情報から、測定マーカｈの位置Ｈと把持位置Ｊとの距離Ｌ’を計算する。つまり、測定マーカｈの位置Ｈは３次元座標空間での基準点であるので、その位置Ｈの情報がなくても、距離Ｌ’を計算することができる。 Then, the first calculation unit 110A of the distance calculation unit 108A calculates a distance L ′ between the position H of the measurement marker h and the gripping position J from the information on the gripping position J in the three-dimensional coordinate space. That is, since the position H of the measurement marker h is a reference point in the three-dimensional coordinate space, the distance L ′ can be calculated without information on the position H.

次に、距離計算部１０８Ａの第２の計算部１１４は、第１の計算部１１０Ａにより計算された距離Ｌ’の値、及び既知である基準点Ｏと測定マーカｈとの距離Ｌ_０の値から、基準点Ｏと把持位置Ｊとの距離Ｌを計算する。 Next, the second calculation unit 114 of the distance calculation unit 108A calculates the value of the distance L ′ calculated by the first calculation unit 110A and the value of the known distance L ₀ between the reference point O and the measurement marker h. From this, the distance L between the reference point O and the gripping position J is calculated.

以上、本第２実施形態では、上記第１実施形態と同様、反力計算部１１６において算出した距離Ｌの値を用いて反力Ｆｘ，Ｆｙを精確に求めことができる。これにより、専用のハンドに交換することなく、精密な組み付け作業が可能となる。 As described above, in the second embodiment, the reaction forces Fx and Fy can be accurately obtained using the value of the distance L calculated by the reaction force calculation unit 116, as in the first embodiment. As a result, it is possible to perform a precise assembling work without exchanging with a dedicated hand.

［第３実施形態］
次に、本発明の第３実施形態に係るロボットシステムについて説明する。図７は、本発明の第３実施形態に係るロボットシステムのブロック図である。なお、上記第１、第２実施形態と同様の構成については、同一符号を付し、その説明は省略する。 [Third Embodiment]
Next, a robot system according to a third embodiment of the invention will be described. FIG. 7 is a block diagram of a robot system according to the third embodiment of the present invention. In addition, about the structure similar to the said 1st, 2nd embodiment, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

上記第１、第２実施形態では、ハンド２０３に測定マーカｈを設けた場合について説明したが、本第３実施形態では、測定マーカｈは、力覚センサ２０４の基準点Ｏと一致する位置に設けられている。 In the first and second embodiments, the case where the measurement marker h is provided on the hand 203 has been described. However, in the third embodiment, the measurement marker h is located at a position that coincides with the reference point O of the force sensor 204. Is provided.

カメラ２０５は、ハンド２０３に把持された組み付け部材Ｗ１を撮像すると同時に、力覚センサ２０４の基準点Ｏに設けられた測定マーカｈを撮像する。 The camera 205 images the assembly member W1 held by the hand 203 and simultaneously images the measurement marker h provided at the reference point O of the force sensor 204.

特徴点位置計算部１０２Ａは、測定マーカｈの位置Ｈ、即ち基準点Ｏを基準とする３次元座標空間における各特徴点ｋの位置Ｋを計算する。 The feature point position calculation unit 102A calculates the position H of the measurement marker h, that is, the position K of each feature point k in the three-dimensional coordinate space with reference to the reference point O.

そして、距離計算部１０８Ｂは、その３次元座標空間における把持位置Ｊの情報から、測定マーカｈの位置Ｈと把持位置Ｊとの距離Ｌ’を、基準点Ｏと把持位置Ｊとの距離Ｌとして計算する。つまり、上記第１、第２実施形態において、Ｌ_０＝０とした場合と同じ算出結果が得られる。これにより、上記第１、第２実施形態における第２の計算部１１４の計算を省略することが可能となる。また、本第３実施形態においても、上記第１実施形態と同様に、反力Ｆｘ，Ｆｙを精確に求めことができる。これによって、専用のハンドに交換することなく、精密な組み付け作業が可能となる。 Then, the distance calculation unit 108B sets the distance L ′ between the position H of the measurement marker h and the gripping position J as the distance L between the reference point O and the gripping position J from the information on the gripping position J in the three-dimensional coordinate space. calculate. That is, in the first and second embodiments, the same calculation result as that obtained when L ₀ = 0 is obtained. Thereby, the calculation of the second calculation unit 114 in the first and second embodiments can be omitted. Also in the third embodiment, the reaction forces Fx and Fy can be accurately obtained as in the first embodiment. As a result, it is possible to perform a precise assembling work without exchanging with a dedicated hand.

なお、上記実施の形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。上記第１、第２実施形態では、カメラ２０５をロボットアーム２０１の先端リンク２０１ｆに固定した場合について説明したが、カメラ２０５をハンド２０３に固定してもよい。この場合、カメラ２０５に対するハンド２０３の位置姿勢は変化しないため、測定マーカｈは省略できる。つまり、カメラは組み付け部材を撮像すればよい。そして、特徴点位置計算部では、カメラ２０５のカメラ座標系で組み付け部材Ｗ１の各特徴点ｋの位置Ｋを求めればよく、把持位置計算部においても、カメラ座標系での把持位置Ｊが計算されることとなる。そして、カメラ座標系での力覚センサ２０４の基準点の位置を予め測定して記憶部に記憶させておけば、距離計算部は、この基準点に対する把持位置Ｊの距離Ｌを直接求めることができる。 Although the present invention has been described based on the above embodiment, the present invention is not limited to this. In the first and second embodiments, the case where the camera 205 is fixed to the tip link 201f of the robot arm 201 has been described. However, the camera 205 may be fixed to the hand 203. In this case, since the position and orientation of the hand 203 with respect to the camera 205 does not change, the measurement marker h can be omitted. That is, the camera may image the assembly member. Then, the feature point position calculation unit only needs to obtain the position K of each feature point k of the assembly member W1 in the camera coordinate system of the camera 205, and the grip position calculation unit also calculates the grip position J in the camera coordinate system. The Rukoto. If the position of the reference point of the force sensor 204 in the camera coordinate system is measured in advance and stored in the storage unit, the distance calculation unit can directly determine the distance L of the gripping position J with respect to this reference point. it can.

また、上記第１、第２実施形態では、測定点として測定マーカｈを別途設けた場合について説明したが、これに限定するものではなく、突起などの既存の形状を測定点としてもよい。 In the first and second embodiments, the case where the measurement marker h is separately provided as the measurement point has been described. However, the present invention is not limited to this, and an existing shape such as a protrusion may be used as the measurement point.

また、組み付け作業を行う場合には、組み付け部材Ｗ１と被組み付け部材Ｗ２の穴の位置をカメラで撮像し、組み付け部材Ｗ１と嵌合先の相対位置を検出し、ロボットアーム２０１の位置補正を行う方法が一般的である。この方法をとる際、カメラ２０５において、ステップＳ１で被組み付け部材Ｗ２の穴も同時に撮像してもよい。これにより、アーム位置補正用の画像と力覚センサ出力補正用の画像とを同時に撮影でき、タクトの短縮を図ることも可能である。 Further, when performing assembly work, the positions of the holes of the assembly member W1 and the assembly target member W2 are imaged with a camera, the relative positions of the assembly member W1 and the fitting destination are detected, and the position of the robot arm 201 is corrected. The method is common. When taking this method, the camera 205 may simultaneously image the hole of the assembly member W2 in step S1. As a result, the arm position correcting image and the force sensor output correcting image can be taken at the same time, and the tact time can be shortened.

また、上記第１〜第３実施形態では、制御手段としての制御システム２００が、３つのコンピュータシステム（装置２０６，２０７，２０８）により構成されている場合について説明したが、これに限定するものではない。コンピュータシステムの数は、３つに限らず、１つのコンピュータシステムで制御システムが構成されていてもよい。この場合、１つのコンピュータシステムが上述した各部として機能する。また、制御システムが、２つのコンピュータシステム又は４つ以上のコンピュータシステムで構成されていてもよい。この場合、上述した各部は、これらコンピュータシステムで分担して機能する。 In the first to third embodiments, the case where the control system 200 as the control unit is configured by three computer systems (devices 206, 207, and 208) has been described. However, the present invention is not limited to this. Absent. The number of computer systems is not limited to three, and the control system may be configured by one computer system. In this case, one computer system functions as each unit described above. Further, the control system may be configured by two computer systems or four or more computer systems. In this case, the above-described units function by being shared by these computer systems.

また、上記第１〜第３実施形態では、ロボットアーム２０１が複数のリンクが連結された多関節の場合について説明したが、これに限定するものではなく、ロボットアームがスカラーロボットやワンリンクのロボットであってもよい。 In the first to third embodiments, the case where the robot arm 201 is a multi-joint in which a plurality of links are connected has been described. However, the present invention is not limited to this, and the robot arm is a scalar robot or a one-link robot. It may be.

２００…制御システム（制御手段）、２０１…ロボットアーム、２０３…ハンド、２０４…力覚センサ、２０５…カメラ、Ｗ１…組み付け部材 DESCRIPTION OF SYMBOLS 200 ... Control system (control means), 201 ... Robot arm, 203 ... Hand, 204 ... Force sensor, 205 ... Camera, W1 ... Assembly member

Claims

A robot arm, a hand provided at the tip of the robot arm via a wrist, and gripping an assembly member; and a control means for controlling the operation of the robot arm based on a reaction force acting on the hand. In the robot system
A force sensor provided at the wrist for detecting a moment generated at a reference point due to displacement of the hand;
And a camera,
The control means acquires image data obtained by imaging the assembly member held by the hand from the camera, calculates a holding position of the assembly member held by the hand from the image data, and calculates the force. A distance between a reference point of a sense sensor and the grip position is obtained, and a reaction force acting on the hand is obtained from a distance between the reference point and the grip position and a moment detected by the force sensor. Robot system to do.

The control means obtains positions of a plurality of feature points of the assembly member from the image data, calculates a position and orientation of the assembly member, and calculates the gripping position from the position and orientation of the assembly member. The robot system according to claim 1.

A measurement point with a known distance from the reference point is provided on any of the robot arm, the hand, and the force sensor,
The camera images the measurement point simultaneously with imaging the assembly member held by the hand,
The control means obtains a distance between the measurement point and the gripping position from the image data, and based on the distance between the reference point and the measurement point and the distance between the measurement point and the gripping position, The robot system according to claim 1 or 2, wherein a distance between a point and the gripping position is obtained.

The force sensor is provided with a measurement point at a position corresponding to the reference point,
The camera images the measurement point simultaneously with imaging the assembly member held by the hand,
The said control means calculates | requires the distance of the said reference point and the said holding | grip position by calculating | requiring the distance of the said measurement point and the said holding | grip position from the said image data. Robot system.

A method for manufacturing a part, wherein the assembly member is assembled to the assembly member using the robot system according to any one of claims 1 to 4.