JP5381147B2 - Work transfer system - Google Patents
Work transfer system Download PDFInfo
- Publication number
- JP5381147B2 JP5381147B2 JP2009033795A JP2009033795A JP5381147B2 JP 5381147 B2 JP5381147 B2 JP 5381147B2 JP 2009033795 A JP2009033795 A JP 2009033795A JP 2009033795 A JP2009033795 A JP 2009033795A JP 5381147 B2 JP5381147 B2 JP 5381147B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- manipulator
- work
- marker
- reference marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、マニピュレータに保持されたワークを画像処理用カメラにて撮像した画像からワークの保持位置および姿勢を計測し、その計測結果を用いてマニピュレータの動作軌道を補正するワーク搬送システムに関するものである。 The present invention relates to a workpiece conveyance system that measures a holding position and posture of a workpiece from an image obtained by imaging the workpiece held by a manipulator with an image processing camera, and corrects an operation trajectory of the manipulator using the measurement result. is there.
ロボットアームなどのマニピュレータを用いて部品を搬送し組立する従来技術として、マニピュレータによりワークを保持し、画像処理用カメラを用いて保持ワークの画像を撮影し、画像処理により保持ワークの位置や姿勢などを計測し、計測結果に基づきマニピュレータの位置や姿勢を制御し、保持ワークを所定の姿勢で所定の位置に搬送し組立する技術が知られている。 As a conventional technology for transporting and assembling parts using a manipulator such as a robot arm, the work is held by the manipulator, the image of the held work is taken using an image processing camera, and the position and orientation of the held work are obtained by image processing. A technique is known in which the position and posture of the manipulator are controlled based on the measurement result, and the holding work is conveyed to a predetermined position in a predetermined posture and assembled.
特許文献１には、マニピュレータで搬送しているワークの位置や姿勢を正確に求める技術が記載されている。具体的には、マニピュレータの保持部にマーカなどの基準部材を取り付け、ワークの位置や姿勢を計測する際に、対象ワークとマニピュレータに結合されたマーカとを同じ画像処理用カメラで撮像し、その撮像した画像からマーカに基づきマニピュレータに対するワークの相対位置および姿勢を計測することで、マニピュレータに対するワークの位置および姿勢を正確に求めている。図１１は、特許文献１に記載した技術により画像処理用カメラで撮像された画像データである。 Patent Document 1 describes a technique for accurately obtaining the position and posture of a workpiece being conveyed by a manipulator. Specifically, a reference member such as a marker is attached to the holding part of the manipulator, and when measuring the position and orientation of the workpiece, the target workpiece and the marker coupled to the manipulator are imaged with the same image processing camera, By measuring the relative position and posture of the work with respect to the manipulator based on the marker from the captured image, the position and posture of the work with respect to the manipulator are accurately obtained. FIG. 11 shows image data captured by an image processing camera using the technique described in Patent Document 1.
しかし、特許文献１に代表される従来技術においては、搬送用マニピュレータに取り付けるマーカは１種類である。これは、電子回路部品の装着やプリント基板の実装装置を対象としているため、基本的に対象とした電子部品の色や材質などが極端に異なることがなく、１種類のマーカでほとんどの電子部品に対応が可能だからである。
しかし、ロボット等を用いた産業製品の組立作業においては、搬送対象としたワークの色や材質が全く異なる。例えば、光沢の金属端子と真っ黒のモールドの部品による色や光沢の違いがある。
However, in the prior art represented by Patent Document 1, there is one kind of marker attached to the transfer manipulator. This is intended for electronic circuit component mounting and printed circuit board mounting devices, so the colors and materials of the target electronic components are basically not significantly different, and most types of electronic components can be achieved with a single marker. It is because it is possible to cope with.
However, in the assembly work of industrial products using a robot or the like, the color and material of the work to be transferred are completely different. For example, there is a difference in color and gloss due to glossy metal terminals and black mold parts.
１種類のマーカを用い部品の位置や姿勢を画像処理にて計測するに際し、部品とマーカとの色の関係によっては画像処理にて部品とマーカの抽出精度が悪化し、計測の精度が低下するという問題があった。
本発明は、上記課題を解決するためになされたもので、色や材質等が異なる多種多様なワークの保持状態を高精度に計測し、ワークを所定の姿勢で所定の位置に搬送することができる高精度なワーク搬送システムを提供することにある。
When measuring the position and orientation of a component by image processing using one type of marker, the accuracy of extraction of the component and the marker deteriorates by image processing depending on the color relationship between the component and the marker, and the measurement accuracy decreases. There was a problem.
The present invention has been made to solve the above-described problems, and can measure the holding state of a wide variety of workpieces of different colors, materials, etc. with high accuracy, and transport the workpiece to a predetermined position in a predetermined posture. An object of the present invention is to provide a high-accuracy workpiece transfer system.
上記課題を解決するために、請求項１に記載のワーク搬送システムによれば、ワークを保持して搬送するマニピュレータ、ワークを撮像する撮像装置、基準マーカに基づいてワークの位置および姿勢を計測するワーク計測装置、前記マニピュレータを制御するマニピュレータ制御装置、を備えるワーク搬送システムであって、前記マニピュレータは、ワーク保持手段、複数の基準マーカ、を備え、前記マニピュレータ制御装置は、複数の基準マーカから保持ワークに対応する対応基準マーカを決定する対応基準マーカ決定部、マニピュレータに保持されたワークと前記対応基準マーカとに対応するマニピュレータの動作軌道を生成する軌道生成部、前記ワーク計測装置から取得したワークの位置および姿勢に基づきマニピュレータの動作軌道の補正量を演算する補正演算部、前記動作軌道および前記補正量に基づきマニピュレータを制御するマニピュレータ制御部を備え、前記ワーク計測装置は、マニピュレータに保持されたワークと前記対応基準マーカとを前記撮像装置で撮像したワーク保持画像を取得するワーク保持画像取得部、前記ワーク保持画像から対応基準マーカに基づき保持ワークの位置および姿勢を画像処理により求めるワーク保持位置姿勢演算部、を備えることを特徴とする。 In order to solve the above-described problem, according to the workpiece transfer system according to claim 1, the position and orientation of the workpiece are measured based on a manipulator that holds and transfers the workpiece, an imaging device that images the workpiece, and a reference marker. A workpiece transfer system including a workpiece measurement device and a manipulator control device that controls the manipulator, wherein the manipulator includes a workpiece holding means and a plurality of reference markers, and the manipulator control device holds a plurality of reference markers. Corresponding reference marker determining unit that determines a corresponding reference marker corresponding to a workpiece, a trajectory generating unit that generates an operation trajectory of a manipulator corresponding to the workpiece held by the manipulator and the corresponding reference marker, and a workpiece acquired from the workpiece measuring device Motion trajectory of the manipulator based on the position and posture A correction calculation unit that calculates a correction amount, a manipulator control unit that controls a manipulator based on the motion trajectory and the correction amount, and the workpiece measurement device includes a workpiece held by a manipulator and the corresponding reference marker as the imaging device. A workpiece holding image acquisition unit that acquires a workpiece holding image captured in step (a), and a workpiece holding position / orientation calculation unit that obtains the position and orientation of the holding workpiece from the workpiece holding image based on a corresponding reference marker by image processing. .
また、請求項２に記載のワーク搬送システムによれば、請求項１に記載のワーク搬送システムにおいて、前記マニピュレータは、各基準マーカの色および／または材質が異なる複数の基準マーカを備えることを特徴とする。
また、請求項３に記載のワーク搬送システムによれば、請求項１または２に記載のワーク搬送システムにおいて、前記マニピュレータは、複数の基準マーカを有するマーカ集合体を備えていることを特徴とする。
Further, according to the workpiece transfer system according to claim 2, in the workpiece transfer system according to claim 1, the manipulator includes a plurality of reference markers having different colors and / or materials of the reference markers. And
Moreover, according to the workpiece conveyance system of Claim 3, in the workpiece conveyance system of Claim 1 or 2, the said manipulator is provided with the marker aggregate | assembly which has a some reference | standard marker. .
本発明によれば、色や材質等が異なるワークのマニピュレータにおける保持位置および姿勢を計測する際に、基準マーカの付け替え等の作業をすることなく、マニピュレータに対するワークの高精度な位置や姿勢の計測が可能となり、さらに高精度な搬送を実現する。 According to the present invention, when measuring the holding position and posture of a manipulator of a workpiece of different color, material, etc., measurement of the position and posture of the workpiece with respect to the manipulator without performing work such as changing the reference marker. This makes it possible to achieve highly accurate conveyance.
本発明に係る第１の実施形態について図に基づいて説明する。
図１は、本発明に係る第１の実施形態におけるワーク保持位置姿勢計測システムを有するワーク搬送システムの概略ブロック図である。図１において、１はワーク、１０はマニピュレータ、３０は撮像装置、５０はワーク計測装置、９０はマニピュレータ制御装置である。なお、ワーク搬送システムは、図１のようにワーク計測装置５０およびマニピュレータ制御装置９０が独立した装置として必要なデータのみを各装置間で授受する記載としているが、マニピュレータ制御装置９０にワーク計測装置５０の有する機能を組み込んで一つの装置としても良い。
A first embodiment according to the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram of a workpiece transfer system having a workpiece holding position / orientation measurement system according to a first embodiment of the present invention. In FIG. 1, 1 is a workpiece, 10 is a manipulator, 30 is an imaging device, 50 is a workpiece measuring device, and 90 is a manipulator control device. The work transfer system is described in such a manner that the work measuring device 50 and the manipulator control device 90 exchange only data necessary as independent devices as shown in FIG. 1, but the work measuring device is transferred to the manipulator control device 90. It is good also as one apparatus incorporating the function which 50 has.
図１においてマニピュレータ１０は水平多関節ロボットとして記載しているが、垂直多関節ロボット、ＸＹステージ等のようなワークを保持して搬送可能な位置決め装置であれば良い。以下、マニピュレータ１０は水平多関節ロボットを用い説明する。
マニピュレータ１０は、ロボットの第１関節軸１１、ロボットの第２関節軸１２、ロボットの第１アーム１３、ロボットの第２アーム１４、ロボットアーム先端の上下回転軸１５、ワークを保持するワーク保持手段１６、多種類の基準マーカを有する基準マーカ集合体２１、を有する。
In FIG. 1, the manipulator 10 is described as a horizontal articulated robot. However, any manipulator 10 may be used as long as it can hold and transport a workpiece such as a vertical articulated robot or an XY stage. Hereinafter, the manipulator 10 will be described using a horizontal articulated robot.
The manipulator 10 includes a first joint axis 11 of the robot, a second joint axis 12 of the robot, a first arm 13 of the robot, a second arm 14 of the robot, a vertical rotation axis 15 at the tip of the robot arm, and a work holding means for holding the work. 16, a reference marker assembly 21 having a plurality of types of reference markers.
ロボットの第１関節軸１１、ロボットの第２関節軸１２、ロボットアーム先端の上下回転軸１５には通常サーボモータが用いられ、サーボモータが備えるエンコーダからのモータの位置信号をマニピュレータ制御装置９０に取り込み、後述するマニピュレータ軌道生成部９４からの指令等に基づきマニピュレータ制御部９６がマニピュレータ１０の位置や姿勢を制御する。 A servo motor is normally used for the first joint axis 11 of the robot, the second joint axis 12 of the robot, and the vertical rotation axis 15 at the tip of the robot arm. The position signal of the motor from the encoder provided in the servo motor is sent to the manipulator control device 90. The manipulator control unit 96 controls the position and orientation of the manipulator 10 based on a command received from a manipulator trajectory generation unit 94 described later.
ワーク保持手段１６は、形状、材質等が異なる複数種類のワークを保持可能である。例えばワークを吸着保持する吸着ノズルや、ワークを所定の力で把持するグリッパ等を用いることができる。
基準マーカ集合体２１は、色、材質等が異なる複数種類の基準マーカを有している。図２は、例として色および材質が異なる複数の基準マーカを有する基準マーカ集合体２１を示したものである。図２に示した基準マーカ集合体２１はリング形状を有しており、一の対象ワークと同じ色および材質である緑色マーカ２１１、他の一の対象ワークと同じ色および材質である白色マーカ２１２、他の一の対象ワークと同じ色および材質である青色マーカ２１３、他の一の対象ワークと同じ色および材質である赤色マーカ２１４、がリング形状の同心円上に９０度間隔に均等に配置されている。このように実際の対象ワークに一対一で同じ色および同じ材質のマーカを用意することが良いが、対象ワークの材質や色をある程度グルーピングして、対象ワークのグループ数分のマーカを用意しても良い。なお、基準マーカ集合体２１は図２に示した形状、色、材質、大きさ、マーカ種類に限らず、ワーク保持位置姿勢計測システムで対象とするワークに合わせて自由に組み合わせることができる。
The workpiece holding means 16 can hold a plurality of types of workpieces having different shapes, materials, and the like. For example, a suction nozzle that sucks and holds the workpiece, a gripper that grips the workpiece with a predetermined force, or the like can be used.
The reference marker assembly 21 has a plurality of types of reference markers having different colors, materials, and the like. FIG. 2 shows a reference marker assembly 21 having a plurality of reference markers of different colors and materials as an example. 2 has a ring shape, a green marker 211 having the same color and material as one target workpiece, and a white marker 212 having the same color and material as another target workpiece. The blue marker 213 having the same color and material as that of the other target workpiece and the red marker 214 having the same color and material as those of the other target workpiece are equally arranged at intervals of 90 degrees on the ring-shaped concentric circles. ing. In this way, it is good to prepare markers of the same color and the same material for the actual target workpiece, but group the materials and colors of the target workpiece to some extent and prepare markers for the number of target workpiece groups. Also good. The reference marker aggregate 21 is not limited to the shape, color, material, size, and marker type shown in FIG. 2, and can be freely combined according to the target workpiece in the workpiece holding position and orientation measurement system.
撮像装置３０は、部品認識カメラと図示しない照明手段とにより構成されている。カメラは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどにより構成される。この撮像装置３０は信号コードを介してワーク計測装置５０に接続され、この信号コードを介して、そのワーク計測装置５０から制御信号等の供給を受けて撮影した画像データ（ ワーク保持画像データ）を ワーク保持画像取得部５３に対して送信する。 The imaging device 30 includes a component recognition camera and an illumination unit (not shown). The camera is configured by, for example, a CCD (Charge Coupled Device) camera. The imaging device 30 is connected to the workpiece measuring device 50 via a signal code, and image data (work holding image data) taken by receiving a control signal or the like from the workpiece measuring device 50 via the signal code. It transmits to the work holding image acquisition unit 53.
次に、図３のワーク搬送システムの動作フローチャートを用い、第１の実施形態におけるワーク搬送システムの動作を実施例に則して説明しつつ、マニピュレータ１０、撮像装置３０、ワーク計測装置５０、マニピュレータ制御装置９０からなるワーク搬送システムが有する各部について説明する。
マニピュレータ制御装置９０のワーク選択部９２は、ワークの搬送順序を管理し、搬送作業をおこなうワークを決定している。
Next, the operation of the work transfer system according to the first embodiment will be described in accordance with an example using the operation flowchart of the work transfer system in FIG. 3, and the manipulator 10, the imaging device 30, the work measurement device 50, and the manipulator Each unit included in the work transfer system including the control device 90 will be described.
The work selection unit 92 of the manipulator control device 90 manages the work transfer order and determines a work to be transferred.
例えば、マニピュレータ制御装置９０の搬送情報記憶部９１に搬送順序とそれに対応する各種情報を記憶しておく。図４は搬送情報記憶部９１に記憶された情報の具体例を示したものである。搬送順番、ワーク番号、マーカ情報および軌道情報が対応付けられて記憶されている。ここでマーカ情報とは、マーカ番号、マーカ位置、マーカ色等の以降の処理で用いるマーカに関する情報のことである。さらに、軌道情報とは、ロボット座標系における軌道上の点の座標、その点におけるマニピュレータの姿勢、軌道上の次の点への軌道補間方法（円弧補間、直線補間など）等の軌道生成に必要となる情報である。なお、本例に記載されていない軌道情報（姿勢、保管方法等）は、図示しない別の記憶部に記憶されている。また図４において、ワーク供給位置とはマニピュレータがワークを受け取る位置、撮像位置とは撮像装置３０にてワーク保持画像を撮像する時のマニピュレータ位置、搬送位置とはワークの搬送先の位置をいう。 For example, the conveyance order and various information corresponding thereto are stored in the conveyance information storage unit 91 of the manipulator control device 90. FIG. 4 shows a specific example of information stored in the transport information storage unit 91. The conveyance order, work number, marker information, and trajectory information are stored in association with each other. Here, the marker information is information regarding markers used in subsequent processing such as marker number, marker position, marker color, and the like. Furthermore, the trajectory information is necessary for trajectory generation, such as the coordinates of a point on the trajectory in the robot coordinate system, the attitude of the manipulator at that point, and the trajectory interpolation method (arc interpolation, linear interpolation, etc.) to the next point on the trajectory Information. Note that trajectory information (posture, storage method, etc.) not described in this example is stored in another storage unit (not shown). In FIG. 4, the workpiece supply position is a position where the manipulator receives the workpiece, the imaging position is the manipulator position when the imaging device 30 captures the workpiece holding image, and the conveyance position is the position of the workpiece conveyance destination.
図示しない入出力装置によって、ワーク組立開始信号がマニピュレータ制御装置９０に入力されると（Ｓ１１）、現在の組立順番を示す変数ｉに１が入力される（Ｓ１２）。マニピュレータ制御装置９０のワーク選択部９２は変数ｉの値を現在のワーク搬送順番とし、ｉの値に対応する搬送順番のワーク番号を搬送情報記憶部９１から抽出して記憶する（Ｓ１３）。なお、１つのワークの組立作業が完了すると、変数ｉの値に１を加え、ワーク組立順番を新たな順番に変更している（Ｓ２５）。 When a workpiece assembly start signal is input to the manipulator control device 90 by an input / output device (not shown) (S11), 1 is input to a variable i indicating the current assembly order (S12). The work selection unit 92 of the manipulator control device 90 sets the value of the variable i as the current work transfer order, extracts the work number of the transfer order corresponding to the value of i from the transfer information storage unit 91, and stores it (S13). When the assembly work of one work is completed, 1 is added to the value of the variable i, and the work assembly order is changed to a new order (S25).
マニピュレータ制御装置９０の対応基準マーカ決定部９３は、マニピュレータ１０に保持されたワークに対応する対応基準マーカを決定する。ここで、対応基準マーカとは、撮像装置３０にてワークと共に撮像される基準マーカであって、保持されたワークの位置および姿勢の計測する際の基準位置および基準姿勢となる基準マーカである。
例えば、マニピュレータ制御装置９０の搬送情報記憶部９１に、図４に示す具体例のように、ワーク番号と対応する対応基準マーカを予め記憶しておく。対応基準マーカ決定部９３は、記憶部に記憶されているワーク番号に基づいて搬送情報記憶部９１から対応基準マーカのマーカ情報を取得する（Ｓ１４）。
The corresponding reference marker determining unit 93 of the manipulator control device 90 determines a corresponding reference marker corresponding to the work held by the manipulator 10. Here, the corresponding reference marker is a reference marker that is imaged together with the workpiece by the imaging device 30, and is a reference marker that becomes a reference position and a reference posture when measuring the position and posture of the held workpiece.
For example, a corresponding reference marker corresponding to the work number is stored in advance in the transport information storage unit 91 of the manipulator control device 90 as in the specific example shown in FIG. The corresponding reference marker determination unit 93 acquires marker information of the corresponding reference marker from the transport information storage unit 91 based on the work number stored in the storage unit (S14).
なお、搬送情報記憶部９１にワーク情報としてワークの色を予めさらに記憶し、対応基準マーカ決定部９３が、ワーク情報とマーカ情報とに基づいてワークに対応する対応基準マーカを決定しても良い。決定方法の例としては、ワークの色に近い色を有する基準マーカを決定する関係を予め定めておき、その定めに応じて対応基準マーカを決定しても良い。このようにしておけば、ユーザーによる対応基準マーカの決定の手間をなくすことができる。 In addition, the color of a workpiece | work is further memorize | stored previously as workpiece | work information in the conveyance information storage part 91, and the corresponding | compatible reference marker determination part 93 may determine the corresponding | compatible reference marker corresponding to a workpiece | work based on workpiece | work information and marker information. . As an example of the determination method, a relationship for determining a reference marker having a color close to the color of the workpiece may be determined in advance, and the corresponding reference marker may be determined according to the determination. In this way, it is possible to eliminate the trouble of the user determining the corresponding reference marker.
マニピュレータ制御装置９０のマニピュレータ軌道生成部９４は、ワーク選択部９２にて選択されたワークおよび対応基準マーカ決定部９３にて決定した対応基準マーカに基づいて、搬送作業を行うマニピュレータ軌道を生成する。ここで、マニピュレータ軌道とは、マニピュレータ１０が図示しないワーク供給位置にてワーク１を保持し、撮像装置３０にてワーク保持画像を撮影し、図示しないワーク搬送位置に保持しているワーク１を搬送する一連の動作におけるマニピュレータの軌道および姿勢のことである。 The manipulator trajectory generation unit 94 of the manipulator control device 90 generates a manipulator trajectory that performs a transport operation based on the workpiece selected by the workpiece selection unit 92 and the corresponding reference marker determined by the corresponding reference marker determination unit 93. Here, the manipulator track means that the manipulator 10 holds the workpiece 1 at a workpiece supply position (not shown), takes a workpiece holding image with the imaging device 30, and transfers the workpiece 1 held at a workpiece transfer position (not shown). It is the trajectory and posture of the manipulator in a series of operations.
例えば、搬送情報記憶部９１に、図４に示す具体例のように、ワーク番号と対応基準マーカに対応するマニピュレータ軌道を生成するために必要な軌道情報を予め記憶しておく。マニピュレータ軌道生成部９４は、ワーク選択部９２よりワーク番号を受け取り、そのワーク番号を用いて搬送情報記憶部９１からワーク番号および対応基準マーカに対応する軌道情報を取得して記憶する。取得した軌道情報を用い、ワークの搬送作業を行うためのマニピュレータ軌道を生成する（Ｓ１５）。 For example, trajectory information necessary for generating a manipulator trajectory corresponding to the work number and the corresponding reference marker is stored in advance in the transport information storage unit 91 as in the specific example shown in FIG. The manipulator trajectory generation unit 94 receives the work number from the work selection unit 92, and acquires and stores the trajectory information corresponding to the work number and the corresponding reference marker from the transport information storage unit 91 using the work number. Using the acquired track information, a manipulator track for carrying the workpiece is generated (S15).
図５は、搬送順番が「３」で、マーカ番号が「３」のマーカが対応基準マーカとして選択されたときに生成されるマニピュレータ軌道の具体例である。図６は、搬送順番が「４」で、マーカ番号が「４」のマーカが対応基準マーカとして選択されたときに生成されるマニピュレータ軌道の具体例である。このように、マニピュレータ軌道生成部９４では、選択されたワークと対応基準マーカとが撮像装置３０にて一画像内に収まるようにマニピュレータ軌道を生成する。 FIG. 5 is a specific example of the manipulator trajectory generated when the transport order is “3” and the marker number “3” is selected as the corresponding reference marker. FIG. 6 is a specific example of the manipulator trajectory generated when the transport order is “4” and the marker number “4” is selected as the corresponding reference marker. As described above, the manipulator trajectory generation unit 94 generates a manipulator trajectory so that the selected workpiece and the corresponding reference marker are within one image by the imaging device 30.
ワーク計測装置５０は、マニピュレータ制御装置９０のワーク選択部９２からマニピュレータに保持されるワークの情報を、対応基準マーカ決定部９３から対応基準マーカのマーカ情報を、取得する（Ｓ１６）。
例えば、ワーク計測装置５０のワーク情報記憶部５１に、ワーク番号とワークに関する各種情報とを予め関連付けて記憶しておく。図７はワーク情報記憶部５２の具体例を示したものである。ワーク番号、画像処理内容および撮像位置が関連付けて記憶されている。ワーク計測装置５０は、マニピュレータ制御装置９０から搬送対象であるワークのワーク番号を取得し、図示しないメモリ等の記憶部に記憶する。これにより、ワーク計測装置５０は、ワーク番号をキーとして対応するワークに関する情報を取得することができる。なお、マーク情報をワーク番号と共にマニピュレータ制御装置９０から取得するようにしても良い。
The workpiece measuring device 50 acquires the information on the workpiece held in the manipulator from the workpiece selection unit 92 of the manipulator control device 90, and the marker information of the corresponding reference marker from the corresponding reference marker determination unit 93 (S16).
For example, the work number and various pieces of information related to the work are stored in advance in the work information storage unit 51 of the work measuring device 50. FIG. 7 shows a specific example of the work information storage unit 52. The work number, the image processing content, and the imaging position are stored in association with each other. The workpiece measuring device 50 acquires the workpiece number of the workpiece to be conveyed from the manipulator control device 90 and stores it in a storage unit such as a memory (not shown). Thereby, the workpiece | work measuring device 50 can acquire the information regarding the corresponding workpiece | work using a workpiece | work number as a key. The mark information may be acquired from the manipulator control device 90 together with the work number.
ワーク計測装置５０の画像処理内容決定部５２は、撮像装置３０にて撮像されたワーク保持画像を用いて、対応基準マーカに基づきマニピュレータの保持されたワークの位置および姿勢を計測する画像処理における画像処理の内容を決定する（Ｓ１７）。これは、複数種類の基準マーカに対応するために、ワークと基準マーカとを抽出するフィルタ処理の抽出カラーの設定や、エッジ抽出処理における近接画素値の勾配値範囲等を変更する必要があるためである。なお、ワークや基準マーカが変更されても画像処理において変更を要しない部分もあり、全ての画像処理の内容を設定する必要はない。さらに、ワークの位置および姿勢を計測することが可能であれば適用する画像処理は後述する具体例に限定されるものではなく、周知の各種の画像処理技術を組み合わせて適用できる。 The image processing content determination unit 52 of the workpiece measuring device 50 uses the workpiece holding image captured by the imaging device 30 to measure the position and orientation of the workpiece held by the manipulator based on the corresponding reference marker. The content of the process is determined (S17). This is because it is necessary to change the extraction color setting of the filter process for extracting the workpiece and the reference marker, the gradient value range of the adjacent pixel value in the edge extraction process, etc. in order to correspond to a plurality of types of reference markers. It is. Note that even if the workpiece or the reference marker is changed, there is a portion that does not need to be changed in image processing, and it is not necessary to set the contents of all image processing. Furthermore, the image processing to be applied as long as the position and orientation of the workpiece can be measured is not limited to a specific example described later, and various known image processing techniques can be applied in combination.
例えば、ワーク計測装置５０には、公知の画像処理（エッジ抽出処理、フィルタ処理、エッジによる相対位置姿勢把握処理、エッジおよび重心による相対位置姿勢把握処理等）が予め利用可能に準備されている。さらに、ワーク計測装置５０は、先の利用可能に準備されている画像処理から基本的な処理として、フィルタ処理によりワークと対応基準マーカとの抽出画像を生成し、抽出画像からエッジ抽出処理によりワークと対応基準マーカのエッジ画像を生成し、エッジ画像からエッジによる位置姿勢把握処理によりワークの位置姿勢を把握するように決定されているとする。係る場合には、画像処理内容決定部５２で決定される画像処理の内容は、フィルタ処理における抽出カラー値の範囲、エッジ抽出処理におけるエッジ認識条件（近接画素値の勾配値範囲等）等の、画像処理におけるパラメータとなる。 For example, the workpiece measuring apparatus 50 is prepared in advance so as to be able to use known image processing (such as edge extraction processing, filter processing, relative position and orientation grasp processing using edges, and relative position and orientation grasp processing using edges and the center of gravity). Furthermore, the workpiece measuring device 50 generates an extraction image of the workpiece and the corresponding reference marker by the filter processing as a basic processing from the image processing that is prepared to be usable in advance, and performs the workpiece extraction by the edge extraction processing from the extracted image. And an edge image of the corresponding reference marker is generated, and it is determined that the position and orientation of the workpiece is determined from the edge image by the position and orientation determination processing using the edge. In such a case, the content of the image processing determined by the image processing content determination unit 52 includes an extraction color value range in the filter processing, an edge recognition condition in the edge extraction processing (such as a gradient value range of adjacent pixel values), and the like. It becomes a parameter in image processing.
具体的な処理としては、ワーク情報記憶部５１にワーク番号とワーク番号に対応する画像処理内容である抽出カラー、エッジ認識条件、を図７の具体例のように予め記憶しておく。画像処理内容決定部５１は、記憶部に記憶されているワーク番号に基づいてワーク情報記憶部５２から画像処理内容を抽出して決定する（Ｓ１７）。
なお、ワークの色および対応基準マーカの色に基づいて予め定められた関係式を用い、抽出カラー条件の設定値やエッジ認識条件の設定値を決定できる場合には、マニピュレータ制御装置９０から取得するワーク情報およびマーカ情報に基づいてワーク計測装置５０にて演算により抽出カラー条件の設定値やエッジ認識条件の設定値を決定しても良い。さらに、上記の画像処理技術と異なる画像処理技術を適用する場合には、適用する画像処理技術に必要な設定値を決定することとなる。
Specifically, the work information storage unit 51 stores in advance the work number and the extracted color and edge recognition conditions, which are image processing contents corresponding to the work number, as in the specific example of FIG. The image processing content determination unit 51 extracts and determines the image processing content from the work information storage unit 52 based on the work number stored in the storage unit (S17).
In addition, when the setting value of the extraction color condition and the setting value of the edge recognition condition can be determined using a relational expression determined in advance based on the color of the workpiece and the color of the corresponding reference marker, the value is acquired from the manipulator control device 90. The set value of the extraction color condition and the set value of the edge recognition condition may be determined by calculation in the work measuring device 50 based on the work information and the marker information. Furthermore, when an image processing technique different from the above-described image processing technique is applied, setting values necessary for the image processing technique to be applied are determined.
ワーク計測装置５０のワーク保持画像取得部５３は、ワークと対応基準マーカとが撮像装置３０の撮影領域に存在するときに撮像信号を撮像装置３０に出力し、撮像装置３０からのワークと対応基準マーカとの画像（ワーク保持画像）を取得して記憶部に記憶する。
例えば、ワーク情報記憶部５１にワーク番号とワーク番号に対応する撮像信号を出力する撮像位置を、図７の具体例のように予め記憶しておく。ワーク保持画像取得部５３は、ワーク情報記憶部５１からワーク番号に対応する撮像位置を取得し、記憶部に記憶する（Ｓ１８）。さらに、ワーク保持画像取得部５３は、マニピュレータ制御装置９０からマニピュレータ１０の現在位置を受け取り、マニピュレータ１０が記憶部に記憶された撮像位置を基準とした所定範囲に入ったか否かを確認する。撮像位置を基準とした所定範囲に入ったことを確認した場合には、撮像装置３０に対して撮像信号を出力し、撮像装置３０から送信された画像をワーク保持画像として記憶部に記憶する（Ｓ１９）。
The workpiece holding image acquisition unit 53 of the workpiece measuring device 50 outputs an imaging signal to the imaging device 30 when the workpiece and the corresponding reference marker exist in the imaging area of the imaging device 30, and the workpiece and the correspondence reference from the imaging device 30. An image (work holding image) with the marker is acquired and stored in the storage unit.
For example, a work number and an imaging position for outputting an imaging signal corresponding to the work number are stored in advance in the work information storage unit 51 as in the specific example of FIG. The workpiece holding image acquisition unit 53 acquires the imaging position corresponding to the workpiece number from the workpiece information storage unit 51 and stores it in the storage unit (S18). Furthermore, the workpiece holding image acquisition unit 53 receives the current position of the manipulator 10 from the manipulator control device 90, and checks whether the manipulator 10 has entered a predetermined range based on the imaging position stored in the storage unit. When it is confirmed that the image has entered the predetermined range based on the imaging position, an imaging signal is output to the imaging device 30 and the image transmitted from the imaging device 30 is stored in the storage unit as a work holding image ( S19).
なお、撮像信号をワーク検出センサの出力信号を利用するものとし、ワーク検出センサをワークと対応基準マーカとが撮像できる適切な位置に取り付けるようにしてもよい。かかる場合には、ワーク情報記憶部５１には撮像位置を予め記憶する必要がなく、さらに、撮像位置を記憶する上記ステップＳ１８を省略することができる。
ワーク計測装置５０のワーク保持位置姿勢演算部５４は、ワーク保持画像取得部５３で記憶部に記憶された画像を、画像処理内容決定部５２で決定した処理内容に基づいて処理を行い、ワークと基準マーカとの相対位置および相対姿勢を求める。
Note that the output signal of the workpiece detection sensor may be used as the imaging signal, and the workpiece detection sensor may be attached at an appropriate position where the workpiece and the corresponding reference marker can be imaged. In such a case, it is not necessary to previously store the imaging position in the work information storage unit 51, and the step S18 for storing the imaging position can be omitted.
The workpiece holding position / orientation calculation unit 54 of the workpiece measuring device 50 processes the image stored in the storage unit by the workpiece holding image acquisition unit 53 based on the processing content determined by the image processing content determination unit 52, and The relative position and relative posture with respect to the reference marker are obtained.
例えば、ワークが図７に示すワーク番号が「１６」のものであるとする。ワーク保持位置姿勢演算部５４は、記憶部に記憶されているワーク保持画像をフィルタ処理により青色のみを抽出した抽出画像を生成する。図８はフィルタ処理の前後における画像の具体例を示したものである。図８（ａ）はフィルタ処理前の画像、図８（ｂ）はフィルタ処理後の画像、を示したものである。次に、抽出画像からエッジ抽出処理により勾配値２００以上のエッジを抽出したエッジ画像を生成する。図９はエッジ処理の前後における画像の具体例を示したものである。図９（ａ）はエッジ処理前の画像、図９（ｂ）はエッジ処理後の画像、を示したものである。このように、ワーク保持画像からワークとマーカを抽出した抽出画像を生成する（Ｓ２０）。なお、以下の処理にてワークの位置および姿勢を計測することが可能であれば適用する画像処理は上記の具体例に限定されるものではなく、周知の各種の画像処理技術を組み合わせて適用できる。 For example, it is assumed that the work number shown in FIG. 7 is the work number “16”. The workpiece holding position / orientation calculation unit 54 generates an extracted image obtained by extracting only blue from the workpiece holding image stored in the storage unit by filtering. FIG. 8 shows a specific example of the image before and after the filter processing. FIG. 8A shows an image before the filtering process, and FIG. 8B shows an image after the filtering process. Next, an edge image in which an edge having a gradient value of 200 or more is extracted from the extracted image by edge extraction processing is generated. FIG. 9 shows a specific example of images before and after edge processing. FIG. 9A shows an image before edge processing, and FIG. 9B shows an image after edge processing. In this manner, an extracted image obtained by extracting the workpiece and the marker from the workpiece holding image is generated (S20). Note that the image processing to be applied is not limited to the above specific example as long as the position and orientation of the workpiece can be measured by the following processing, and can be applied in combination with various known image processing techniques. .
次に、抽出画像（上記例ではエッジ画像）から対応基準マーカとワークとの相対位置および相対姿勢を求める（Ｓ２１）。図１０は対応基準マーカとワークとの相対位置と相対姿勢の演算結果を示した図である。なお、以降の説明において、相対位置および相対姿勢は（ｘ座標値、ｙ座標値、回転角度）で表すこととする。よって、図１０の場合には（４ｍｍ，１２ｍｍ，３０度）と表すことができる。 Next, a relative position and a relative posture between the corresponding reference marker and the workpiece are obtained from the extracted image (edge image in the above example) (S21). FIG. 10 is a diagram showing the calculation result of the relative position and relative posture between the corresponding reference marker and the workpiece. In the following description, the relative position and the relative attitude are represented by (x coordinate value, y coordinate value, rotation angle). Therefore, in the case of FIG. 10, it can be expressed as (4 mm, 12 mm, 30 degrees).
マニピュレータ制御装置９０における補正演算部９５は、ワーク計測装置５０のワーク保持位置姿勢演算部５４で求められたワークの対応基準マーカに対する相対位置および相対姿勢と、基準ワーク位置姿勢における対応基準マーカに対する相対位置および相対姿勢の差を求め、その差をマニピュレータに指示すべき補正量として記憶部に記憶する（Ｓ２２）。ここで、基準ワーク位置姿勢とは、マニピュレータ軌道生成部９４にて生成するマニピュレータ軌道における、保持ワークの対応基準マーカに対する相対位置と相対姿勢のことである。つまり、基準ワーク位置姿勢でワークがマニピュレータに保持されている場合には、マニピュレータの軌道を補正することなくワークを所定位置へ搬送が可能となる。 The correction calculation unit 95 in the manipulator control device 90 includes a relative position and a relative posture of the workpiece with respect to the corresponding reference marker obtained by the workpiece holding position and posture calculation unit 54 of the workpiece measuring device 50, and a relative to the corresponding reference marker in the reference workpiece position and posture. The difference between the position and the relative posture is obtained, and the difference is stored in the storage unit as a correction amount to be instructed to the manipulator (S22). Here, the reference workpiece position and orientation refers to the relative position and relative orientation of the holding workpiece with respect to the corresponding reference marker in the manipulator track generated by the manipulator track generation unit 94. That is, when the work is held by the manipulator at the reference work position and orientation, the work can be transported to a predetermined position without correcting the manipulator trajectory.
例えば、基準ワーク位置姿勢における位置および姿勢が（５ｍｍ，１０ｍｍ，０度）の時、測定したワーク保持位置および姿勢が図１０のように（４ｍｍ、１２ｍｍ、３０度）であった場合、補正量は基準ワーク位置姿勢から測定した保持ワークの位置および姿勢を引いた（＋１ｍｍ、−２ｍｍ、−３０度）と演算する。その演算した補正量（＋１ｍｍ、−２ｍｍ、３０度）を記憶部に記憶する（Ｓ２２）。 For example, when the position and orientation at the reference workpiece position and orientation are (5 mm, 10 mm, 0 degrees), and the measured workpiece holding position and orientation are (4 mm, 12 mm, 30 degrees) as shown in FIG. Is calculated by subtracting the measured position and orientation of the holding workpiece from the reference workpiece position and orientation (+1 mm, −2 mm, −30 degrees). The calculated correction amount (+1 mm, −2 mm, 30 degrees) is stored in the storage unit (S22).
マニピュレータ制御部９６は、マニピュレータ軌道生成部９４から出力されたマニピュレータ軌道に対し補正演算部９５から出力された補正量に基づいてマニピュレータの軌道を修正し（Ｓ２３）、図示しない搬送位置にワークを搬送する（Ｓ２４）。
次に、変数ｉに１を加え（Ｓ２５）、変数ｉに基づき全てのワーク組立が完了したか否かを判断する（Ｓ２６）。例えば、変数ｉが組立部品数より大きくなったら、全てのワーク組立が完了したと判断する。全てのワークの組立が完了していない場合にはＳ１３に戻り、全てのワークの組立が完了している場合には、ワーク搬送組立を終了する。
The manipulator control unit 96 corrects the manipulator trajectory based on the correction amount output from the correction calculation unit 95 with respect to the manipulator trajectory output from the manipulator trajectory generation unit 94 (S23), and transports the workpiece to a transport position (not shown). (S24).
Next, 1 is added to the variable i (S25), and it is determined based on the variable i whether or not all the workpieces have been assembled (S26). For example, when the variable i becomes larger than the number of assembly parts, it is determined that all workpiece assembly has been completed. When the assembly of all the workpieces is not completed, the process returns to S13, and when the assembly of all the workpieces is completed, the workpiece transfer assembly is finished.
なお、上記第１の実施形態においては、搬送情報記憶部９１とワーク情報記憶部５１とを別に準備しているが、搬送情報記憶部９１にワーク情報記憶部５１に記憶されている情報も記憶し、ワーク計測装置５０で必要な情報をマニピュレータ制御装置９０から引き渡すようにしても良い In the first embodiment, the conveyance information storage unit 91 and the work information storage unit 51 are separately prepared. However, the information stored in the work information storage unit 51 is also stored in the conveyance information storage unit 91. However, information necessary for the workpiece measuring device 50 may be delivered from the manipulator control device 90.
１ ワーク
１０ マニピュレータ
３０ 撮像装置
５０ ワーク計測装置
９０ マニピュレータ制御装置
1 Work 10 Manipulator 30 Imaging Device 50 Work Measurement Device 90 Manipulator Control Device
Claims (3)
前記マニピュレータは、ワーク保持手段、複数の基準マーカ、を備え、
前記マニピュレータ制御装置は、複数の基準マーカから保持ワークに対応する対応基準マーカを決定する対応基準マーカ決定部、マニピュレータに保持されたワークと前記対応基準マーカとが前記撮像装置の撮像位置を通過するように前記マニピュレータの動作軌道を生成する軌道生成部、前記ワーク計測装置から取得したワークの位置および姿勢に基づきマニピュレータの動作軌道の補正量を演算する補正演算部、前記動作軌道および前記補正量に基づきマニピュレータを制御するマニピュレータ制御部を備え、
前記ワーク計測装置は、マニピュレータに保持されたワークと前記対応基準マーカとを前記撮像装置で撮像したワーク保持画像を取得するワーク保持画像取得部、前記ワーク保持画像から対応基準マーカに基づき保持ワークの位置および姿勢を画像処理により求めるワーク保持位置姿勢演算部、を備えること、
を特徴とするワーク搬送システム。 Work transport comprising a manipulator that holds and transports a workpiece, an imaging device that images the workpiece and a reference marker, a workpiece measurement device that measures the position and orientation of the workpiece based on the reference marker, and a manipulator control device that controls the manipulator A system,
The manipulator includes a work holding means and a plurality of reference markers,
The manipulator control device determines a corresponding reference marker corresponding to a held workpiece from a plurality of reference markers, and the workpiece held by the manipulator and the corresponding reference marker pass through an imaging position of the imaging device. A trajectory generator for generating an operating trajectory of the manipulator, a correction calculating unit for calculating a correction amount of the operating trajectory of the manipulator based on the position and orientation of the work acquired from the workpiece measuring device, the operating trajectory and the correction amount A manipulator control unit for controlling the manipulator based on
The workpiece measuring device includes a workpiece holding image acquisition unit that acquires a workpiece holding image obtained by imaging the workpiece held by a manipulator and the corresponding reference marker by the imaging device, and the workpiece holding image based on the corresponding reference marker from the workpiece holding image. A work holding position / posture calculation unit for obtaining a position and a posture by image processing;
A workpiece transfer system characterized by
前記マニピュレータは、各基準マーカの色および／または材質が異なる複数の基準マーカを備えること、を特徴とするワーク搬送システム。 In the work conveyance system according to claim 1,
The manipulator includes a plurality of reference markers in which the color and / or material of each reference marker is different.
前記マニピュレータは、複数の基準マーカを有するマーカ集合体を備えていること、を特徴とするワーク搬送システム。 In the work conveyance system according to claim 1 or 2,
The said manipulator is provided with the marker aggregate | assembly which has a some reference | standard marker, The workpiece conveyance system characterized by the above-mentioned.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009033795A JP5381147B2 (en) | 2009-02-17 | 2009-02-17 | Work transfer system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009033795A JP5381147B2 (en) | 2009-02-17 | 2009-02-17 | Work transfer system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010188454A JP2010188454A (en) | 2010-09-02 |
| JP5381147B2 true JP5381147B2 (en) | 2014-01-08 |
Family
ID=42815074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009033795A Expired - Fee Related JP5381147B2 (en) | 2009-02-17 | 2009-02-17 | Work transfer system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5381147B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6915288B2 (en) * | 2017-02-08 | 2021-08-04 | オムロン株式会社 | Image processing system, image processing device, circuit reconstruction method in FPGA (Field Programmable Gate Array), and circuit reconstruction program in FPGA |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0222899A (en) * | 1988-07-12 | 1990-01-25 | Tdk Corp | Device for recognizing position of component |
| US5216804A (en) * | 1991-05-21 | 1993-06-08 | U.S. Philips Corp. | Method and device for placing a component on a printed circuit board |
| JP3432243B2 (en) * | 1993-06-25 | 2003-08-04 | 松下電器産業株式会社 | Data generation method |
| JP3445681B2 (en) * | 1995-03-16 | 2003-09-08 | ジューキ株式会社 | Chip mounter |
| JP4521540B2 (en) * | 2004-06-11 | 2010-08-11 | 学校法人東京電機大学 | Flying robot |
-
2009
- 2009-02-17 JP JP2009033795A patent/JP5381147B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010188454A (en) | 2010-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4174342B2 (en) | Work transfer device | |
| JP5815761B2 (en) | Visual sensor data creation system and detection simulation system | |
| JP6661028B2 (en) | Work position correction method | |
| JP6812095B2 (en) | Control methods, programs, recording media, robotic devices, and manufacturing methods for articles | |
| JP4265088B2 (en) | Robot apparatus and control method thereof | |
| JP2010112859A (en) | Robot system, robot control device, and method for controlling robot | |
| JPH0435885A (en) | Calibration method for visual sensor | |
| JP2008296330A (en) | Robot simulation device | |
| JP5488806B2 (en) | Tray transfer apparatus and method | |
| JP2005149299A (en) | Teaching position correction apparatus | |
| JP2004090183A (en) | Article position and orientation detecting device and article taking-out device | |
| JP4794011B2 (en) | Image processing apparatus and robot control system | |
| CN109952178B (en) | Working robot and working position correction method | |
| JP2006224291A (en) | Robot system | |
| US20100017032A1 (en) | Device for controlling a robot | |
| JP2007533963A (en) | Non-contact optical measuring method and measuring apparatus for 3D position of object | |
| JP2007533963A5 (en) | ||
| JP5223683B2 (en) | Work holding position and orientation measurement system and work transfer system | |
| JP5381147B2 (en) | Work transfer system | |
| JP6912529B2 (en) | How to correct the visual guidance robot arm | |
| JP5098846B2 (en) | Robot system | |
| CN112669383B (en) | Tracking method and camera calibration method of assembly line tracking system | |
| WO2020157875A1 (en) | Work coordinate generation device | |
| TWI806761B (en) | Mark detection device and robot teaching system | |
| JP2019200677A (en) | Processing system control device, processing system and processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130916 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |