JP6923429B2 - Work method for work - Google Patents
Work method for work Download PDFInfo
- Publication number
- JP6923429B2 JP6923429B2 JP2017241728A JP2017241728A JP6923429B2 JP 6923429 B2 JP6923429 B2 JP 6923429B2 JP 2017241728 A JP2017241728 A JP 2017241728A JP 2017241728 A JP2017241728 A JP 2017241728A JP 6923429 B2 JP6923429 B2 JP 6923429B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- calibration
- image
- track
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Seal Device For Vehicle (AREA)
Description
本発明はワークに対する作業方法に係る。特に、本発明は、ワーク上に作業を行うための作業軌道を生成し、この作業軌道に沿って作業を行う方法に関する。 The present invention relates to a working method for a work. In particular, the present invention relates to a method of generating a work track for performing work on a work and performing work along this work track.
従来、例えば自動車の製造工場等にあっては、ワークに対して所定の作業を自動で行うために、このワーク上に作業を行う作業軌道を予め適正に生成しておくことが望まれる。例えば、ウインドガラス上にロボット等によって接着剤を塗布する場合、テーブル上にウインドガラスを置き、カメラによってウインドガラスを撮像することで接着剤を塗布する軌道を予め適正に生成しておくことが望まれる。 Conventionally, for example, in an automobile manufacturing factory or the like, in order to automatically perform a predetermined work on a work, it is desired to appropriately generate a work track on the work in advance. For example, when applying an adhesive on a window glass by a robot or the like, it is desirable to place the window glass on a table and take an image of the window glass with a camera to appropriately generate an orbit for applying the adhesive in advance. Is done.
特許文献1には、カメラによって物体検出を行うに際し、カメラパラメータの影響による誤差が大きくなってしまうことに鑑み、カメラが撮像する直線マーカの画像からカメラ内部パラメータを求める校正手段を備えさせた構成が開示されている。
しかしながら、ワーク上に作業軌道を生成するにあたっては、カメラによる画像認識系の誤差(レンズゆがみやカメラ設置位置のズレ等)だけでなく、装置の機械的な誤差(組み付け誤差等)も考慮する必要があり、これら誤差に対して個別にキャリブレーションを行っても作業軌道の十分な精度を得ることは難しかった。 However, when generating a work trajectory on the work, it is necessary to consider not only the error of the image recognition system by the camera (lens distortion, deviation of the camera installation position, etc.) but also the mechanical error of the device (assembly error, etc.). Therefore, it was difficult to obtain sufficient accuracy of the work track even if the calibration was performed individually for these errors.
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、十分な精度が得られたワーク上の作業軌道に沿って作業を行うことができるワークに対する作業方法を提供することにある。 The present invention has been made in view of the above points, and an object of the present invention is to provide a work method for a work capable of performing work along a work trajectory on the work on which sufficient accuracy has been obtained. There is.
前記の目的を達成するための本発明に係るワークに対する作業方法は、カメラと、該カメラと相対移動可能なテーブルと、該テーブルと相対移動可能な打点装置および作業部と、前記テーブル上に載置される校正ワークおよび本ワークと、前記テーブルを移動させる移動部と、該移動部による前記テーブルの移動を制御する制御部と、実空間座標値および画像上座標値を記憶する記憶部と、複数種類の前記本ワークそれぞれに適合した作業位置の軌道情報を記憶している軌道情報記憶装置と、予め複数種類の前記本ワークの画像を記憶しているワーク判別装置と、仮作業軌道生成部と、を備え、前記テーブル上に載置された前記校正ワークを前記テーブルと共に移動させながら前記打点装置によって前記校正ワーク上に校正用打点を打点する打点工程と、各々の前記校正用打点の実空間座標値と、前記カメラで撮像した各々の前記校正用打点の画像上座標値と、を前記記憶部に記憶する校正情報取得工程と、前記校正ワークに替えて前記テーブル上に前記本ワークを載置する交換工程と、 前記ワーク判別装置が、前記カメラで撮像された前記テーブル上の前記本ワークの実画像のデータを受信し、この実画像から、前記記憶している複数種類の前記本ワークのうち前記テーブル上に載置された本ワークの種類を判別する工程と、
前記仮作業軌道生成部が、前記判別された本ワークの種類に適合した軌道情報を軌道情報記憶装置から抽出し、その軌道情報に従って前記本ワークに対する仮作業軌道を画像上で生成する仮作業軌道生成工程と、前記仮作業軌道の近傍の前記記憶部に記憶された前記画像上座標値と、該画像上座標値に対応する前記記憶部に記憶された前記実空間座標値と、から実際の作業位置である実空間座標値を算出する実空間座標値算出工程と、前記実空間座標値である実際の作業位置に対して前記作業部が作業し、前記仮作業軌道の終端に到達するまで、前記作業位置の算出と前記作業部の作業とを繰り返す、または、前記仮作業軌道の終端に到達するまで、前記作業位置の算出を行った後、前記作業位置に対して前記作業部が作業する作業工程と、を有することを特徴とする。
A working method for a work according to the present invention for achieving the above object is to mount a camera, a table that can move relative to the camera, a dot device that can move relative to the table, and a working unit on the table. A calibration work to be placed, a main work, a moving unit for moving the table, a control unit for controlling the movement of the table by the moving unit, and a storage unit for storing real space coordinate values and image coordinate values. A trajectory information storage device that stores trajectory information of work positions suitable for each of the plurality of types of the work, a work discrimination device that stores images of the plurality of types of the work in advance, and a temporary work trajectory generator. The proofreading work placed on the table is moved together with the table, and the proofreading point is struck on the proofreading work by the scoring device. A calibration information acquisition step of storing the spatial coordinate values and the coordinate values on the image of each of the calibration dots captured by the camera in the storage unit, and the present work on the table instead of the calibration work. The exchange step of placing the work and the work discriminating device receive the data of the actual image of the work on the table captured by the camera, and from the actual image, the plurality of types of the book stored are stored. A process of determining the type of the work placed on the table among the works, and a step of determining the type of the work.
The temporary work track generator extracts track information suitable for the discriminated type of the work from the track information storage device , and generates a temporary work track for the work according to the trajectory information on the image. The actual operation is performed from the generation step, the coordinate values on the image stored in the storage unit near the temporary work trajectory, and the real space coordinate values stored in the storage unit corresponding to the coordinate values on the image. Until the work unit works on the actual work position, which is the real space coordinate value, and reaches the end of the temporary work track, and the real space coordinate value calculation process, which calculates the real space coordinate value which is the work position. After repeating the calculation of the work position and the work of the work unit or calculating the work position until the end of the temporary work track is reached, the work unit works on the work position. It is characterized by having a work process to be performed.
この特定事項により、カメラの光学的な誤差と、カメラとテーブルとの相対位置に起因する誤差と、移動部の機械的な誤差とに基づいて各座標系を取得することになり、これら誤差を一括して低減した校正を行うことができる。また、座標全体を一度に校正するのではなく、仮作業軌道の近傍の点のみを逐次校正するようにしているため、カメラレンズの局所的なゆがみを排除でき、校正の確実性を向上できる。 Due to this specific matter, each coordinate system is acquired based on the optical error of the camera, the error due to the relative position between the camera and the table, and the mechanical error of the moving part. It is possible to perform reduced calibration at once. Further, since the entire coordinates are not calibrated at once but only the points near the temporary work trajectory are sequentially calibrated, the local distortion of the camera lens can be eliminated and the reliability of calibration can be improved.
本発明では、予め設定された本ワークに対する仮作業軌道の近傍の画像上座標値と、該画像上座標値に対応する実空間座標値とから算出した実空間座標値である実際の作業位置に対して作業部が作業を行うようにしている。このため、カメラの光学的な誤差、カメラとテーブルとの相対位置に起因する誤差、移動部の機械的な誤差を一括して低減した校正を行うことができる。また、カメラレンズの局所的なゆがみを排除でき、校正の確実性を向上できる。 In the present invention, the actual work position, which is the real space coordinate value calculated from the coordinate value on the image in the vicinity of the temporary work trajectory for the work and the real space coordinate value corresponding to the coordinate value on the image, is set to the actual work position. On the other hand, the work department is trying to do the work. Therefore, calibration can be performed by collectively reducing the optical error of the camera, the error due to the relative position between the camera and the table, and the mechanical error of the moving portion. In addition, local distortion of the camera lens can be eliminated, and the certainty of calibration can be improved.
以下、本発明の実施の形態を図面に基づいて説明する。本実施形態は、車両に適用されるウインドガラスに対して接着剤を塗布するための方法として本発明を適用した場合について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present embodiment describes a case where the present invention is applied as a method for applying an adhesive to a wind glass applied to a vehicle.
−接着剤塗布装置の概略構成−
図1は、本実施形態に係る接着剤塗布装置1の概略構成を示す図である。また、図2は、接着剤塗布装置1に備えられた軌道生成システム2の構成を示すブロック図である。
-Outline configuration of adhesive coating device-
FIG. 1 is a diagram showing a schematic configuration of an
これらの図に示すように、接着剤塗布装置1は、軌道生成システム2および作業部3を備えている。また、軌道生成システム2は、軌道生成装置系4および画像認識系5を備えている。
As shown in these figures, the
軌道生成装置系4は、テーブル41、移動機構(移動部)42、制御装置(制御部)43、および、打点装置44を含んで構成されている。画像認識系5は、カメラ51、画像校正装置(記憶部)52、軌道情報記憶装置53、ワーク判別装置54、目標軌道生成装置(仮作業軌道生成部)55、および、軌道生成装置用指令変換装置56を含んで構成されている。以下、それぞれについて説明する。
The trajectory generating device system 4 includes a table 41, a moving mechanism (moving unit) 42, a control device (control unit) 43, and a
テーブル41は、後述するワーク(校正ワークとしてのマーカ用平板W1(図3を参照)および本ワークとしてのウインドガラスW2(図1を参照)のうちの一方)が載置され、このワークW1,W2を吸着等の手段によって把持する。 On the table 41, a work to be described later (one of a marker flat plate W1 as a calibration work (see FIG. 3) and a window glass W2 as the main work (see FIG. 1)) is placed, and the work W1, W2 is gripped by means such as adsorption.
移動機構42は、前記テーブル41を鉛直軸周りに回転させたり水平方向にスライド移動させたりするものであり、図示しない移動用モータ等を動力源として前記テーブル41の移動を行うようになっている。つまり、テーブル41は、この移動機構42によってカメラ51と相対移動可能となっている。なお、テーブル41を水平方向にスライド移動させる機構としてはラックアンドピニオン機構41aが適用されている。テーブル41を移動させる構成および移動させる方向は前述のものには限定されず、任意に設定可能である。また、この移動機構42は、前記作業部3を構成している接着剤塗布ノズル31を上下移動させたり回転させたりするようにもなっている。なお、接着剤塗布ノズル31の上下移動や回転は手動で行われるようになっていてもよい。
The
制御装置43は、前記軌道生成装置用指令変換装置56からの指令信号を受け、この指令信号に従って前記移動機構42に移動制御信号を出力し、これによりテーブル41や接着剤塗布ノズル31の移動を制御する。また、この制御装置43は、打点装置44の移動も制御する。
The
打点装置44は、テーブル41に把持されたマーカ用平板W1に対してマーカを打点するものである。このマーカ用平板W1に対するマーカ(打点)は、カメラ51と接着剤塗布装置1との間のキャリブレーションのために行われる。この打点装置44は、前記移動機構42によって移動されてマーカを打点する位置を調整する。つまり、この打点装置44は、テーブル41と相対移動可能となっている。
The doting
図3は、この打点装置44の概略構成を示す図である。この図3に示すように、打点装置44は、テーブル41の上方に配設されており、マーカ用平板W1上にマーカを描くためのマーカペン44aと、該マーカペン44aを保持した状態で昇降移動(上下移動)可能な昇降機構44bとを有している。この昇降機構44bの構成としては、モータやエア等を動力源とした周知の機構が適用されている。なお、この打点装置44は、マーカペン44aが取り付けられた状態にあってはマーカ用平板W1に対してマーカを打点する装置となるが、このマーカペン44aが取り外され接着剤塗布ノズル31が備えられた状態では、前記作業部3を構成することになる。このように本実施形態では、昇降機構44bとしての機能部分と作業部3としての機能部分とが一部兼用されている。
FIG. 3 is a diagram showing a schematic configuration of the
カメラ51は、テーブル41の上方に配設されており、該テーブル41に把持されたマーカ用平板W1やウインドガラスW2を上方から撮像する。
The
画像校正装置52は、前記カメラ51によって撮像された画像(カメラ画像)と、前記マーカ用平板W1上に描かれたマーカとの対応位置関係をキャリブレーション情報として取得・記憶する。つまり、この画像校正装置52は、実際のマーカの位置を表す実空間座標値およびカメラ画像におけるマーカの位置を表す画像上座標値を記憶する。また、この画像校正装置52としては、前記カメラ51を複数台用意して繊細な画像を得て処理するようになっていてもよい。
The
軌道情報記憶装置53は、テーブル41にウインドガラスW2が把持された状態での該ウインドガラスW2の位置および姿勢に対するティーチングやCAD等の目標となる軌道情報を記憶している。
The orbit
ワーク判別装置54は、接着剤塗布装置1において接着剤が塗布される複数種類のワーク(ウインドガラスW2)の画像を記憶していると共に、カメラ51からの画像データを受信し、前記カメラ51で撮像されたウインドガラスW2の実画像から、テーブル41に把持されているウインドガラスW2の種類を判別する。
The
目標軌道生成装置55は、前記ワーク判別装置54からのワーク種別情報を受信し、ウインドガラスW2の種類に対し、前記軌道情報記憶装置53からの軌道情報を適合させて(軌道情報記憶装置53に記憶されている軌道情報からウインドガラスW2に適合する軌道情報を抽出し)、目標となる軌道をカメラ画像上に生成する。この生成された軌道の情報が仮の目標軌道情報となる。
The target
軌道生成装置用指令変換装置56は、前記目標軌道生成装置55からの仮の目標軌道情報を受信し、その情報を、前記画像校正装置52に記憶されているキャリブレーション情報をもとに前記制御装置43への指令信号に変換し、この指令信号を制御装置43に送信する。
The
−軌道生成動作、接着剤塗布動作−
次に、前記軌道生成システム2による軌道生成動作、および、作業部3による接着剤塗布動作について図4のフローチャートに沿って説明する。
-Orbit generation operation, adhesive application operation-
Next, the track generation operation by the
前記軌道生成動作としては、校正動作、ウインドガラス判別動作、目標軌道生成動作が順に行われる。 As the trajectory generation operation, a calibration operation, a window glass discrimination operation, and a target trajectory generation operation are performed in order.
(校正動作)
先ず、校正動作について説明する。
(Calibration operation)
First, the calibration operation will be described.
この校正動作では、図3に示すようにテーブル41上にマーカ用平板W1を載置し、該マーカ用平板W1をテーブル41上に把持する。このマーカ用平板W1としては、ウインドガラスW2と同程度の高さ寸法および大きさであることが好ましい。 In this calibration operation, as shown in FIG. 3, the marker flat plate W1 is placed on the table 41, and the marker flat plate W1 is gripped on the table 41. The marker flat plate W1 preferably has the same height dimension and size as the window glass W2.
次に、打点装置44の昇降機構44bにマーカペン44aを取り付け、昇降機構44bの昇降動作によってマーカペン44aがマーカ用平板W1上にマーカを打点する(描く)ようにする。
Next, the
そして、マーカ用平板W1上に任意の間隔でマーカペン44aによるマーカの打点を行う(ステップST1;本発明でいう「テーブル上に載置された校正ワークをテーブルと共に移動させながら打点装置によって校正ワーク上に校正用打点を打点する打点工程」)。この打点はキャリブレーション用のものであり、本実施形態では、前記制御装置43からの移動制御信号に従うテーブル41の移動および打点装置44の作動により、全自動でマーカの打点を行うようになっている。
Then, the
次に、前記マーカの打点が行われたマーカ用平板W1をカメラ51で撮像し(ステップST2)、マーカ用平板W1上の各打点を特徴点として抽出する。図5は、マーカ用平板W1上に各打点が付された状態を示す平面図である。この特徴点を抽出する手法としては、一般的な画像処理が利用可能である。この場合、どの特徴点が軌道生成装置系4によって描かれた打点であるのかが対応できないので、マーカ用平板W1上の中心点O1および開始点O2を指定しておく。 Next, the marker flat plate W1 on which the marker is hit is imaged by the camera 51 (step ST2), and each hit point on the marker flat plate W1 is extracted as a feature point. FIG. 5 is a plan view showing a state in which each hitting point is attached on the marker flat plate W1. As a method for extracting this feature point, general image processing can be used. In this case, since it is not possible to determine which feature point is the hitting point drawn by the trajectory generator system 4, the center point O1 and the start point O2 on the marker flat plate W1 are specified.
そして、これら中心点O1および開始点O2の座標をもとに、前記マーカ(打点)の座標を所定の順序で規定の範囲をマスクしながら特徴点として検索し、カメラ51で撮像された画像(カメラ画像)の座標と対応付けて記憶していく(ステップST3)。この特徴点を検索していく順序としては、図5に破線の矢印で示すように、マーカ用平板W1上の中心点O1に近い側の打点であって、該中心点O1から等距離にある複数の打点に対し、前記開始点O2を起点として所定の回転方向(時計回り方向または反時計回り方向)に沿って検索してカメラ画像の座標と対応付けていき、その後、順次、マーカ用平板W1上の中心点O1から遠い位置にある打点に対して同様の検索を行ってカメラ画像の座標と対応付けていく。 Then, based on the coordinates of the center point O1 and the start point O2, the coordinates of the marker (striking point) are searched as feature points in a predetermined order while masking a predetermined range, and the image captured by the camera 51 ( It is stored in association with the coordinates of the camera image) (step ST3). As shown by the broken arrow in FIG. 5, the order of searching for these feature points is the hitting points on the marker flat plate W1 on the side close to the center point O1 and at the same distance from the center point O1. A plurality of hit points are searched along a predetermined rotation direction (clockwise direction or counterclockwise direction) starting from the start point O2 and associated with the coordinates of the camera image, and then sequentially, a flat plate for a marker. A similar search is performed on a hit point located far from the center point O1 on W1 and associated with the coordinates of the camera image.
以上の動作により、軌道生成装置系4によって描かれた打点の座標データ[xi,yi]群と、カメラ画像のピクセル座標データ[Xi,Yi]群との直接的な対応表がキャリブレーション情報として画像校正装置52に記憶されることになる(本発明でいう「各々の校正用打点の実空間座標値と、カメラで撮像した各々の校正用打点の画像上座標値とを記憶部に記憶する校正情報取得工程」)。 By the above operation, the direct correspondence table between the coordinate data [xi, yi] group of the hitting point drawn by the trajectory generator system 4 and the pixel coordinate data [Xi, Yi] group of the camera image becomes the calibration information. It will be stored in the image calibration device 52 (“the real space coordinate value of each calibration dot and the coordinate value on the image of each calibration dot captured by the camera” in the present invention is stored in the storage unit. Calibration information acquisition process ").
以上が校正動作である。 The above is the calibration operation.
この校正動作の終了後は、テーブル41上からマーカ用平板W1が取り外され、また、昇降機構44bからマーカペン44aが取り外される。
After the calibration operation is completed, the marker flat plate W1 is removed from the table 41, and the
(ウインドガラス判別動作)
次に、ウインドガラス判別動作について説明する。
(Wind glass discrimination operation)
Next, the window glass discrimination operation will be described.
このウインドガラス判別動作では、図1に示すようにテーブル41上にウインドガラスW2を載置し、該ウインドガラスW2をテーブル41上に把持する(ステップST4;本発明でいう「校正ワークに替えてテーブル上に本ワークを載置する交換工程」)。 In this window glass discrimination operation, as shown in FIG. 1, the window glass W2 is placed on the table 41, and the window glass W2 is gripped on the table 41 (step ST4; instead of the “calibration work” referred to in the present invention. Replacement process for placing this work on the table ").
その後、このテーブル41上に把持されたウインドガラスW2をカメラ51によって撮像して画像データを取得した後(ステップST5)、予め記憶されている複数種類のウインドガラスW2のうち、何れのウインドガラスW2に適合するか(ウインドガラスW2の種類)を判別する(ステップST6)。そして、テーブル41上におけるウインドガラスW2の位置および姿勢をカメラ画像に基づいて算出する。このウインドガラスW2の判別手法およびウインドガラスW2の位置や姿勢の算出は、任意のパターンマッチング手法が利用可能である。
After that, the window glass W2 gripped on the table 41 is imaged by the
そして、ワーク判別装置54に記憶されている各種の軌道情報のうち前記判別されたウインドガラスW2の種類に適合した軌道情報を抽出し、その軌道情報に従って接着剤を塗布する仮の目標軌道をカメラ画像のピクセル座標上に生成する(ステップST7;本発明でいう「仮作業軌道生成部が、予め設定された本ワークに対する仮作業軌道を画像上で生成する仮作業軌道生成工程」)。
Then, from the various trajectory information stored in the
以上がウインドガラス判別動作である。 The above is the window glass discrimination operation.
(目標軌道生成動作)
次に、目標軌道生成動作について説明する。
(Target orbit generation operation)
Next, the target trajectory generation operation will be described.
この目標軌道生成動作では、前記カメラ画像のピクセル座標上の指令点に対して、前記校正動作で得られたキャリブレーション情報から近接点を抽出する(ステップST8)。例えば、指令点を取り囲む4点を近接点として見つける。この近接点としては3点以上であればよい。 In this target trajectory generation operation, a proximity point is extracted from the calibration information obtained in the calibration operation with respect to the command point on the pixel coordinates of the camera image (step ST8). For example, find four points surrounding the command point as proximity points. The proximity points may be three or more points.
図6は、マーカ用平板W1上におけるピクセル座標の近接点を示す図5相当図である。この図6では領域A1内に指令点が存在する場合の近接点がa1,b1,c1,d1の4点であることを表している。また、領域A2内に指令点が存在する場合の近接点がa2,b2,c2,d2の4点であることを表している。 FIG. 6 is a diagram corresponding to FIG. 5 showing the proximity points of the pixel coordinates on the marker flat plate W1. In FIG. 6, when the command point exists in the area A1, the proximity points are four points a1, b1, c1, and d1. Further, it indicates that the proximity points when the command points exist in the area A2 are four points a2, b2, c2, and d2.
そして、前記近接点の数をnとし、前述したように軌道生成装置系4によって描かれた打点の座標データを[xi,yi]、カメラ画像のピクセル座標データを[Xi,Yi]として(i=1〜n)、以下の式(1)〜式(3)によって射影変換行列Hを求める(ステップST9)。 Then, the number of the proximity points is n, the coordinate data of the hit points drawn by the trajectory generator system 4 as described above is [xi, yi], and the pixel coordinate data of the camera image is [Xi, Yi] (i). = 1 to n), the projective transformation matrix H is obtained by the following equations (1) to (3) (step ST9).
前記式(1)は、軌道生成装置系4によって描かれた打点の座標値から作られた行列であり、前記式(2)は、カメラ画像のピクセル座標値から作られた行列である。 The equation (1) is a matrix created from the coordinate values of the hit points drawn by the trajectory generator system 4, and the equation (2) is a matrix created from the pixel coordinate values of the camera image.
このようにして求めた射影変換行列Hを用い、以下の式(4)により、指令点のピクセル座標データ[X,Y]から軌道生成装置系4の座標データ[x,y]を算出する(ステップST10;本発明でいう「仮作業軌道の近傍の記憶部に記憶された画像上座標値と、該画像上座標値に対応する記憶部に記憶された実空間座標値と、から実際の作業位置である実空間座標値を算出する実空間座標値算出工程)。この座標データ[x,y]が最終的な目標軌道を決める座標(軌道生成座標データ)となる。 Using the projection conversion matrix H obtained in this way, the coordinate data [x, y] of the trajectory generator system 4 is calculated from the pixel coordinate data [X, Y] of the command point by the following equation (4) ( Step ST10; The actual work is performed from the "coordinate values on the image stored in the storage unit near the temporary work trajectory and the real space coordinate values stored in the storage unit corresponding to the coordinate values on the image" in the present invention. Real space coordinate value calculation process for calculating the real space coordinate value which is the position). This coordinate data [x, y] becomes the coordinates (orbit generation coordinate data) for determining the final target trajectory.
このようにして算出された座標データ[x,y]が前記接着剤塗布ノズル31の通過位置、つまり接着剤塗布軌道として設定されて、接着剤塗布ノズル31からウインドガラスW2に向けて接着剤を塗布していく接着剤塗布作業が行われる(ステップST11)。つまり、前記演算式を利用した各近接点に対する重み付けを行って、この各近接点に囲まれた領域の中の座標(目標軌道上の座標)を決定し、この領域内での軌道(目標軌道)に対して接着剤塗布作業が行われることになる。
The coordinate data [x, y] calculated in this way is set as the passing position of the
このような動作が、前記接着剤塗布ノズル31が接着剤塗布軌道の終点に達するまで(ステップST12でYES判定されるまで)繰り返される。つまり、接着剤塗布ノズル31が接着剤塗布軌道の終点に達しておらず、ステップST12でNO判定された場合にはステップST8に戻り、カメラ画像のピクセル座標上の新たな指令点に対して、前記校正動作で得られたキャリブレーション情報から近接点を抽出する。例えば、図6を用いて前述したように、異なる領域での指令点に対して近接点が抽出されて、新たに射影変換行列Hが算出され、この射影変換行列Hを用いて軌道生成装置系4の座標データ[x,y]が算出され、それに従って接着剤塗布作業が行われることになる(本発明でいう「実空間座標値である実際の作業位置に対して作業部が作業し、仮作業軌道の終端に到達するまで、作業位置の算出と作業部の作業とを繰り返す作業工程」)。
Such an operation is repeated until the
そして、接着剤塗布ノズル31が接着剤塗布軌道の終点に達し、ステップST12でYES判定された場合にはステップST13に移り、次のワーク(ウインドガラスW2)が存在しているか否かを判定する。そして、次のウインドガラスW2が存在しており、ステップST13でYES判定された場合には、ステップST4に戻り、次のウインドガラスW2をテーブル41上に載置し、該ウインドガラスW2をテーブル41上に把持して、前述したステップST5〜ステップST12の動作を繰り返す。
Then, when the
そして、次のウインドガラスW2が存在しなくなると、ステップST13でNO判定され、本ルーチンを終了する。 Then, when the next window glass W2 does not exist, NO is determined in step ST13, and this routine ends.
以上説明したように、本実施形態では、カメラ51の光学的な誤差と、カメラ51とテーブル41と(マーカ用平板W1およびウインドガラスW2)の相対位置に起因する誤差と、移動機構42の機械的な誤差とに基づいて各座標系を取得することになり、これら誤差を一括して低減した校正を行うことができる。また、座標全体を一度に校正するのではなく、仮の目標軌道(仮作業軌道)の近傍の点のみを逐次校正するようにしているため、カメラレンズの局所的なゆがみを排除でき、校正の確実性を向上することができる。
As described above, in the present embodiment, the optical error of the
(変形例)
次に、変形例について説明する。前記実施形態では、実空間座標値である実際の作業位置に対して作業部が作業し、仮作業軌道の終端に到達するまで、前記作業位置の算出と作業部の作業とを繰り返すようにしていた。本変形例では、前記仮作業軌道の終端に到達するまで、前記作業位置の算出を行った後、前記作業位置に対して前記作業部が作業するようにしている。
(Modification example)
Next, a modified example will be described. In the above embodiment, the work unit works with respect to the actual work position which is the actual space coordinate value, and the calculation of the work position and the work of the work unit are repeated until the end of the temporary work track is reached. rice field. In this modification, the work unit is made to work with respect to the work position after the work position is calculated until the end of the temporary work track is reached.
具体的な制御手順としては、図4で示したフローチャートにおいて、未だ接着剤塗布作業を行うことなく、ステップST10で算出した軌道生成座標データを記憶していき、ステップST12とステップST13との間で、前記記憶した軌道生成座標データによる接着剤塗布作業を行うようにしたものである。 As a specific control procedure, in the flowchart shown in FIG. 4, the trajectory generation coordinate data calculated in step ST10 is stored without performing the adhesive application work yet, and between steps ST12 and ST13. , The adhesive application work is performed based on the stored trajectory generation coordinate data.
−他の実施形態−
なお、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。
-Other embodiments-
The present invention is not limited to the above-described embodiment, and all modifications and applications included in the claims and the range equivalent to the claims can be applied.
例えば、前記実施形態では、ウインドガラスW2に対して接着剤を塗布するための方法として本発明を適用した場合について説明した。本発明はこれに限らず、その他のワークに対して作業軌道を生成し、この作業軌道に沿って作業を行う方法にも適用することが可能である。 For example, in the above-described embodiment, the case where the present invention is applied as a method for applying an adhesive to the window glass W2 has been described. The present invention is not limited to this, and can be applied to a method of generating a work track for other workpieces and performing work along the work track.
本発明は、ウインドガラスに対して接着剤を塗布するための作業軌道を生成し、この作業軌道に沿って接着剤を塗布する方法に適用可能である。 The present invention is applicable to a method of generating a working track for applying an adhesive to window glass and applying the adhesive along the working track.
1 接着剤塗布装置
2 軌道生成システム
3 作業部
31 接着剤塗布ノズル
4 軌道生成装置系
41 テーブル
42 移動機構(移動部)
43 制御装置(制御部)
44 打点装置
5 画像認識系
51 カメラ
52 画像校正装置(記憶部)
53 軌道情報記憶装置
54 ワーク判別装置
55 目標軌道生成装置(仮作業軌道生成部)
56 軌道生成装置用指令変換装置
W1 マーカ用平板(校正ワーク)
W2 ウインドガラス(本ワーク)
1
43 Control device (control unit)
44 Doting device 5
53 Track
56 Command converter for orbit generator W1 Flat plate for marker (calibration work)
W2 wind glass (this work)
Claims (1)
前記テーブル上に載置された前記校正ワークを前記テーブルと共に移動させながら前記打点装置によって前記校正ワーク上に校正用打点を打点する打点工程と、
各々の前記校正用打点の実空間座標値と、前記カメラで撮像した各々の前記校正用打点の画像上座標値と、を前記記憶部に記憶する校正情報取得工程と、
前記校正ワークに替えて前記テーブル上に前記本ワークを載置する交換工程と、
前記ワーク判別装置が、前記カメラで撮像された前記テーブル上の前記本ワークの実画像のデータを受信し、この実画像から、前記記憶している複数種類の前記本ワークのうち前記テーブル上に載置された本ワークの種類を判別する工程と、
前記仮作業軌道生成部が、前記判別された本ワークの種類に適合した軌道情報を軌道情報記憶装置から抽出し、その軌道情報に従って前記本ワークに対する仮作業軌道を画像上で生成する仮作業軌道生成工程と、
前記仮作業軌道の近傍の前記記憶部に記憶された前記画像上座標値と、該画像上座標値に対応する前記記憶部に記憶された前記実空間座標値と、から実際の作業位置である実空間座標値を算出する実空間座標値算出工程と、
前記実空間座標値である実際の作業位置に対して前記作業部が作業し、前記仮作業軌道の終端に到達するまで、前記作業位置の算出と前記作業部の作業とを繰り返す、または、前記仮作業軌道の終端に到達するまで、前記作業位置の算出を行った後、前記作業位置に対して前記作業部が作業する作業工程と、を有することを特徴とするワークに対する作業方法。 A camera, a table that can move relative to the camera, a dot device and a working unit that can move relative to the table, a calibration work and this work that are placed on the table, and a moving unit that moves the table. , A control unit that controls the movement of the table by the moving unit, a storage unit that stores the real space coordinate value and the coordinate value on the image, and a storage unit that stores the trajectory information of the work position suitable for each of the plurality of types of the present work. A work trajectory information storage device, a work discrimination device that stores a plurality of types of images of the present work in advance, and a temporary work track generation unit are provided.
A doting step of spotting a calibration dot on the calibration work by the doting device while moving the calibration work placed on the table together with the table.
A calibration information acquisition step of storing the real-space coordinate values of each of the calibration dots and the coordinate values on the image of each of the calibration dots captured by the camera in the storage unit.
A replacement process in which the work is placed on the table in place of the calibration work, and
The work discriminating device receives the data of the actual image of the work on the table captured by the camera, and from the actual image, the work is placed on the table among the plurality of types of the memorized works. The process of determining the type of the mounted work and
The temporary work track generator extracts track information suitable for the discriminated type of the work from the track information storage device , and generates a temporary work track for the work according to the track information on the image. Generation process and
It is an actual work position from the coordinate values on the image stored in the storage unit near the temporary work trajectory and the real space coordinate values stored in the storage unit corresponding to the coordinate values on the image. The real space coordinate value calculation process for calculating the real space coordinate value, and
The calculation of the work position and the work of the work unit are repeated or the work of the work unit is repeated until the work unit works on the actual work position which is the real space coordinate value and reaches the end of the temporary work track. A work method for a work, which comprises a work process in which the work unit works on the work position after calculating the work position until the end of the temporary work track is reached.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241728A JP6923429B2 (en) | 2017-12-18 | 2017-12-18 | Work method for work |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241728A JP6923429B2 (en) | 2017-12-18 | 2017-12-18 | Work method for work |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019107730A JP2019107730A (en) | 2019-07-04 |
JP6923429B2 true JP6923429B2 (en) | 2021-08-18 |
Family
ID=67178618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017241728A Active JP6923429B2 (en) | 2017-12-18 | 2017-12-18 | Work method for work |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6923429B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110763138B (en) * | 2019-11-07 | 2021-07-23 | 苏州精濑光电有限公司 | Method and device for automatically calibrating machine parameters according to substrate size |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60193016A (en) * | 1984-03-14 | 1985-10-01 | Toyota Motor Corp | Robot device |
JP2004243215A (en) * | 2003-02-13 | 2004-09-02 | Suzuki Motor Corp | Robot teaching method for sealer applicator and sealer applicator |
JP4982903B2 (en) * | 2008-09-11 | 2012-07-25 | コグネックス・コーポレイション | Control system, control method and program |
JP6415190B2 (en) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ROBOT DEVICE, ROBOT CONTROL PROGRAM, RECORDING MEDIUM, AND ROBOT DEVICE CONTROL METHOD |
-
2017
- 2017-12-18 JP JP2017241728A patent/JP6923429B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019107730A (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111331592B (en) | Mechanical arm tool center point correcting device and method and mechanical arm system | |
JP6505729B2 (en) | Automatic calibration method for robot system using vision sensor | |
CN110785248B (en) | Head system calibration of a power radiation source of an additive manufacturing device | |
CN111775146A (en) | Visual alignment method under industrial mechanical arm multi-station operation | |
JP2018126835A (en) | Teaching method of robot, robot system, program, and recording medium | |
WO2018043525A1 (en) | Robot system, robot system control device, and robot system control method | |
CN114519738A (en) | Hand-eye calibration error correction method based on ICP algorithm | |
CN107727485B (en) | Method and apparatus for hardness testing | |
CN110298888B (en) | Camera calibration method based on single-axis high-precision displacement platform | |
JP2015174191A (en) | Robot system, calibration method of robot system and position correction method of robot system | |
JP6869159B2 (en) | Robot system | |
JP6900290B2 (en) | Robot system | |
US20200262080A1 (en) | Comprehensive model-based method for gantry robot calibration via a dual camera vision system | |
JP6885856B2 (en) | Robot system and calibration method | |
JP6855491B2 (en) | Robot system, robot system control device, and robot system control method | |
JP6923429B2 (en) | Work method for work | |
KR101972432B1 (en) | A laser-vision sensor and calibration method thereof | |
CN114523471B (en) | Error detection method based on association identification and robot system | |
CN115446847A (en) | System and method for improving 3D eye-hand coordination accuracy of a robotic system | |
JP3987267B2 (en) | Charged particle beam equipment | |
US20210065356A1 (en) | Apparatus and method for heat exchanger inspection | |
CN113781558A (en) | Robot vision locating method with decoupled posture and position | |
CN111459176B (en) | Automatic charging positioning control method, calibration method and vehicle attitude calculation method for vehicle | |
CN115397634A (en) | Device for acquiring position of visual sensor in robot control coordinate system, robot system, method, and computer program | |
CN118139729A (en) | Calibration method for automatically calibrating a camera of a medical robot and surgical assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210729 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6923429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |