JP3562096B2

JP3562096B2 - Position detection method

Info

Publication number: JP3562096B2
Application number: JP02989996A
Authority: JP
Inventors: 茂生岡水; 美昭木村; 俊治坂本
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1996-01-23
Filing date: 1996-01-23
Publication date: 2004-09-08
Anticipated expiration: 2016-01-23
Also published as: JPH09196622A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば車両用ドアやその他の部品をロボットを用いて組付けもしくは取外しするような場合に用いられる画像処理による物体の位置検出方法に関する。
【０００２】
【従来の技術】
従来、被測定物の位置を画像処理により検出する方法（位置検出方法）としては、例えば、特開平２−２４３９１４号公報に記載の方法がある。
すなわち、図１２に示す如く被測定物９１を固定搭載するマスタテーブル９２と、このマスタテーブル９２に対して位置固定された視覚手段としてのＣＣＤカメラ９３と、このＣＣＤカメラ９３によって撮像されたデータを演算する画像処理装置９４とを備え、マスタテーブル９２上の基準点９５に対する測定点９６のマスタ位置データを画像処理装置９４内のメモリに格納し、この状態で被測定物９１をマスタテーブル９２上の所定位置にセットし、ＣＣＤカメラ９３により被測定物９１の測定点９６とマスタテーブル９２の基準点９５との位置関係を画像処理装置９４により演算する。
【０００３】
この際、測定点９６のマスタ位置データ（Ｘ_０，Ｙ_０）と、実際に測定された測定点（Ｘ_１，Ｙ_１）とのそれぞれの基準点を画像処理装置９４内の演算部で一致させ、これらマスタ基準位置および実測位置との誤差ΔＸ＝Ｘ_１−Ｘ_０，ΔＹ＝Ｙ_１−Ｙ_０を演算し、これにより測定点の位置座標を算出して、位置を検出および補正する所謂座標位置検出方法である。
【０００４】
しかし、この従来方法にあっては１回のみの読込みにより補正を実行するうえ、ＣＣＤカメラ９３に関する角度情報の読込みを行なわない関係上、誤差が±２．５ｍｍ程度と大きく、例えば±０．５ｍｍ程度の高精度の補正が要求される位置検出には使用不可となる問題点があった。
【０００５】
一般に画像処理および視覚手段としてのＣＣＤカメラは被測定物に近付けば近づく程、解像精度が向上するが、ＣＣＤカメラからの位置補正信号に対してロボットを駆動する場合、Ｘ軸成分、Ｙ軸成分に加えて角度成分を考慮する必要があり、かつロボット側にはロボット駆動時に重力が作用するうえ、ロボットの製作誤差もあり、さらにはロボット側での計算能力にも限界がある関係上、動作ずれが発生して、充分な高精度が確保できず、指令位置と異なる位置、角度に動作してしまう問題点があった。
【０００６】
【発明が解決しようとする課題】
この発明の請求項１記載の発明は、視覚手段の画像認識により物体の２点の位置と、これら２点を結ぶ線の基準線に対する角度とを求め（１次計測）た後に、視覚手段を、求められた位置および角度が基準位置および基準角度となるように移動させ、この移動位置で２点の位置と角度とを再検出（２次計測）し、さらに上記視覚手段の物体との距離を変化させて２点の位置と角度とを再度検出（３次計測）することにより、位置および角度を補正する方法と成すことで、１次乃至３次の合計３回の検出によりロボット制御精度および解像精度に左右されることなく補正精度の大幅な向上を図ることができる位置検出方法の提供を目的とする。
【０００７】
この発明の請求項２記載の発明は、上記請求項１記載の発明の目的と併せて、視覚手段の物体との距離変化を、該視覚手段の物体への接近に設定することで、この視覚手段による解像度（解像精度）の向上を図ることができる位置検出方法の提供を目的とする。
【０００８】
この発明の請求項３記載の発明は、上記請求項２記載の発明の目的と併せて、ロボットに視覚手段を装着することで、ロボット側が本来有する制御系および位置検出機能を有効利用して上述の視覚手段を駆動することができる位置検出方法の提供を目的とする。
【０００９】
この発明の請求項４記載の発明は、上記請求項３記載の発明の目的と併せて、位置および角度の補正はロボット系の制御誤差を補正することで、この制御誤差の補正によりロボットアームを適切な位置、角度に高精度にコントロールすることができる位置検出方法の提供を目的とする。
【００１０】
【課題を解決するための手段】
この発明の請求項１記載の発明は、画像処理による物体の位置検出方法であって、視覚手段の画像認識により物体の２点の位置と、これら２点を結ぶ線の基準線に対する角度とを求め（１次計測）、次に上記視覚手段を、求めた位置および角度が基準位置および基準角度となるように移動させ、この移動位置で２点の位置と角度とを再検出し（２次計測）、次に上記視覚手段の物体との距離を変化させて２点の位置と角度とを再度検出（３次計測）することにより位置および角度を補正する位置検出方法であることを特徴とする。
【００１１】
この発明の請求項２記載の発明は、上記請求項１記載の発明の構成と併せて、上記視覚手段の物体との距離変化は、該視覚手段を物体に接近させる位置検出方法であることを特徴とする。
【００１２】
この発明の請求項３記載の発明は、上記請求項２記載の発明の構成と併せて、ロボットに上記視覚手段が装着された位置検出方法であることを特徴とする。
【００１３】
この発明の請求項４記載の発明は、上記請求項３記載の発明の構成と併せて、上記位置および角度の補正はロボット系の制御誤差を補正する位置検出方法であることを特徴とする。
【００１４】
【発明の作用及び効果】
この発明の請求項１記載の発明によれば、図１乃至図７にクレーム対応図で示すように、画像処理による物体１の位置検出方法において、視覚手段２の画像認識により物体１の２点ａ，ｂ（図２に示す画像上のポイント参照）の位置と、これら２点ａ，ｂ（ロボットのティーチングポイントにより予め定められた２点のこと）を結ぶ線ｃの基準線ｄ（詳しくは視覚手段がもっているＹ軸基準線）に対する角度θとを求め（１次計測）、次に上述の視覚手段２を図１に仮想線αで示すように、求めた位置ａ＝（ｘ．ｙ）および角度θが基準位置（０，０）および基準角度０度となるように移動させ、この移動位置（図１の仮想線α参照）で２点ｅ，ｆ（図３、図５に示す画像上のポイント参照）の位置と角度とを再検出（２次計測）する。
【００１５】
この時、１次計測が正しい時には図３に示すようにｅ＝（０，０）、θ_２＝０となり、１次計測が正しくない時には図５、図７に示すようにｅ＝（ｘ_２，ｙ_２）、θ＝θ_２（但しθ_２≠０）となる。
次に上述の視覚手段２の物体１との距離を図１に仮想線βで示すように近づく方向もしくは遠ざかる方向（図示せず）に変化させて２点ｇ，ｈの位置と角度とを再度検出（３次計測）する。
【００１６】
この３次計測の際、先の１次計測が正しい時には図４に示すようにｇ＝（０，０）、θ_３＝０となり、１次計測が正しくない時には図６、図７に示すようにｇ＝（ｘ_３，ｙ_３）、θ＝θ_３（但しθ_３≠０）となる。
さらに上述の２次計測、３次計測の位置データおよび角度データとしての（ｘ_２，ｙ_２）、θ_２、（ｘ_３，ｙ_３）、θ_３に基づいて位置および角度の補正を実行する。
【００１７】
このように上述の１次計測、２次計測、３次計測の合計３回の検出により、その検出データに基づいた補正（Ｘ軸上の位置、Ｙ軸上の位置、軸ずれ、角度ずれの補正）を実行するので、ロボット制御精度および解像精度に左右されることなく、補正精度の大幅な向上を図ることができる効果がある。
【００１８】
この発明の請求項２記載の発明によれば、上記請求項１記載の発明の効果と併せて、上述の視覚手段の物体との距離変化は、該視覚手段を物体に対して接近させるので、視覚手段による解像度（解像精度）の向上を図ることができる効果がある。
【００１９】
この発明の請求項３記載の発明によれば、上記請求項２記載の発明の効果と併せて、ロボットに視覚手段を装着したので、ロボット側が本来有する制御系および位置検出機能を有効利用して上述の視覚手段を駆動することができる効果がある。
【００２０】
この発明の請求項４記載の発明によれば、上記請求項３記載の発明の効果と併せて、上述の位置および角度の補正はロボット系の制御誤差を補正するので、このロボット系の制御誤差の補正によりロボットアームを適切な位置、角度を高精度にコントロールすることができる効果がある。
【００２１】
【実施例】
この発明の一実施例を以下図面に基づいて詳述する。
図８は本発明の位置検出方法に用いる位置検出装置を示し、この位置検出装置１１はロボット架台１２に搭載された６軸タイプのロボット１３と、このロボット１３のロボットアーム１４先端に締結部１５を介して取付けられたロボットハンド１６、このロボットハンド１６に備えられた複数のナットランナ１７とを有し、ナットランナ１７配設部にはブラケット（図示せず）を介して視覚手段としてのＣＣＤカメラ２を取付け、このＣＣＤカメラ２の画像認識により物体１（被測定物体）の２点の位置ａ，ｂ（図２参照）と、これら２点ａ，ｂを結ぶ線ｃの基準線ｄに対する角度θ（図２参照）とを求めるように構成している。
【００２２】
このように構成した位置検出装置１１を用いての位置検出方法について以下に詳述する。なお、以下の説明においては前述の１次計測、２次計測、３次計測（但し次の各計測については発明の作用及び効果の項で既述した内容と同一）後における補正値の計算方法（ロボットでの計算に置換して）示す。
【００２３】
図９において、ｐ１は１次計測時の指令位置、ｐ２は２次計測時の指令位置、ｐ３は３次計測時の指令位置（対象位置）をそれぞれ示し、ｒ１は１次計測時の取込位置、ｒ２は２次計測時の取込位置ｒ３は３次計測時の取込位置をそれぞれ示す。
ここに上記各指令位置ｐ１，ｐ２，ｐ３の成分は次の［数１］により表すことができる。
【００２４】
【数１】

【００２５】
上述の［数１］においてｘ，ｙ，ｚは三次元のロボットベース座標のＸ軸、Ｙ軸、Ｚ軸を示し、「０１」「０２」「０３」は各指令位置ｐ１，ｐ２，ｐ３に対応する指令値を示し、ｔｘ，ｔｙ，ｔｚは各軸まわりの角度を示し、特にｔｙが請求項で示した角度θを意味する。
また上記各取込位置ｒ１，ｒ２，ｒ３の成分は次の［数２］により表すことができる。
【００２６】
【数２】

【００２７】
上述の［数２］において、ｘ，ｙ，ｚは［数１］と同様に三次元のロボットベース座標のＸ軸、Ｙ軸、Ｚ軸を示し、ｔｘ，ｔｙ，ｔｚも同様に各軸まわりの角度を示し、「１」「２」「３」は各位置ｒ１，ｒ２，ｒ３に対応する実行値を示し、特にｔｙが請求項で示した角度θを意味する。
上述の各指令値ｐ１，ｐ２，ｐ３に対するロボット１３の動作ずれベクトルは次に［数３］で示すようになる。
【００２８】
【図３】

【００２９】
最終的な動作補正値は、上述のずれの逆ベクトルとなり、本来、マイナス動作ずれ３となるはずであるが、ロボット１３はその補正指令値で動作させても重力や製作誤差等の要因により再びずれが発生する。そこで、得られた２つの動作ずれベクトル（精度の良い動作ずれ２，動作ずれ３）の相加平均ベクトル（２つずれ２，３の中央値）を求め、この値を近似的に補正値とする。この補正ベクトルは次の［数４］で示すことができる。
【００３０】
【数４】

【００３１】
ここで図１０のずれ補正２に相当するｒ２ｐ２のベクトルを成分で表わすと次の［数５］の如くなる。
【００３２】
【数５】

【００３３】
また図１０のずれ補正３に相当するｒ３ｐ３のベクトルを成分で表わすと次の［数６］の如くなる。
【００３４】
【数６】

【００３５】
なお上述の［数５］［数６］において「ｐ」「ｒ」の前に付した「０」はロボットベース座標の原点としての零を示す。而して先の［数４］に［数５］［数６］を代入してベクトル式を整理することで補正ベクトルを求めると次に［数７］で示すようになる。
【００３６】
【数７】

【００３７】
したがって、図１１に示す最終的なロボット１３への指令値（ｄｅｓｔ）はｏｒ３のベクトルに対して上述の補正ベクトルかを加算した値となるので、次の［数８］で表わすことができる。
【００３８】
【数８】

【００３９】
すなわち、補正をしなかった場合には座標原点０からｒ３の方向に向って動くか、上述の補正により座標原点０から対象位置としてのｐ３の方向に向って動かすことができる。
【００４０】
以上要するに本発明の位置検出方法によれば、視覚手段（ＣＣＤカメラ２参照）の画像認識により物体１の２点の位置と、これら２点を結ぶ線の基準線に対する角度（数２中のｔｙ１参照）とを求め（１次計測）、次の視覚手段（ＣＣＤカメラ２参照）を、求めた位置および角度が基準位置および基準角度となるように移動して、この移動位置で２点の位置と角度（数２中のｔｙ２参照）とを再検出（２次計測）する。
【００４１】
次に上述の視覚手段（ＣＣＤカメラ２参照）の物体１との距離を変化させて２点の位置と角度（数２中のｔｙ３参照）とを再度検出（３次計測）する。
さらに上述の２次計測、３次計測の位置データおよび角度データに基づいて位置および角度の補正（数７で示す補正ベクトル、数８で示す最終指令値ｄｅｓｔのベクトル参照）を実行する。
【００４２】
このように従来の１次計測のみの方法に加えて２次計測、３次計測を追加実行し、合計３回の検出により、その検出データに基づいた補正（Ｘ軸上の位置、Ｙ軸上の位置、軸ずれ、角度ずれの補正）を実行するので、ロボット制御精度およびＣＣＤカメラ２の解像精度に左右されることなく、補正精度の大幅な向上を図ることができる効果がある。
【００４３】
また上述の視覚手段（ＣＣＤカメラ２参照）の物体１との距離変化は、この視覚手段を物体１に対して接近させるので、視覚手段による解像度（解像精度）の向上を図ることができる効果がある。
【００４４】
さらに、ロボット１３に視覚手段（ＣＣＤカメラ２参照）を装着したので、ロボット１３側が本来有する制御系および位置検出機能を有効利用して上述の視覚手段を駆動することができる効果がある。
加えて、上述の位置および角度の補正はロボット系の制御誤差を補正するので、このロボット系の制御誤差の補正によりボットアーム１４（実施例ではその先端のナットランナ１７も含む）を適切な位置、角度に高精度にコントロールすることができる効果がある。
【００４５】
この発明の構成と、上述の実施例との対応において、
この発明の視覚手段は、実施例のＣＣＤカメラ２に対応し、
以下同様に、
ロボットは、６軸タイプのロボット１３に対応するも、
この発明は、上述の実施例の構成のみに限定されるものではない。
【図面の簡単な説明】
【図１】本発明の位置検出方法を示すクレーム対応図。
【図２】１次計測を示すクレーム対応図。
【図３】１次計測が正しい場合の２次計測を示すクレーム対応図。
【図４】１次計測が正しい場合の３次計測を示すクレーム対応図。
【図５】１次計測が正しくない場合の２次計測を示すクレーム対応図。
【図６】１次計測が正しくない場合の３次計測を示すクレーム対応図。
【図７】１次計測が正しくない場合の説明図。
【図８】本発明の位置検出方法に用いる位置検出装置の説明図。
【図９】動作ずれを示す説明図。
【図１０】ずれ補正を示す説明図。
【図１１】最終指令値を示す説明図。
【図１２】従来の位置検出方法を示す説明図。
【符号の説明】
１…物体
２…ＣＣＤカメラ
１３…ロボット
ａ，ｂ…２点
ｃ…２点を結ぶ線
ｄ…基準線
ｅ，ｆ…２点
ｇ，ｈ…２点
θ，θ_２，θ_３…角度[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for detecting a position of an object by image processing used when assembling or removing a vehicle door or other parts using a robot, for example.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a method of detecting the position of an object to be measured by image processing (position detection method), for example, there is a method described in JP-A-2-243914.
That is, as shown in FIG. 12, a master table 92 on which an object to be measured 91 is fixed, a CCD camera 93 as visual means fixed to the master table 92, and data captured by the CCD camera 93 are stored. An image processing device 94 for calculating, and storing the master position data of the measurement point 96 with respect to the reference point 95 on the master table 92 in a memory in the image processing device 94; , And the positional relationship between the measurement point 96 of the DUT 91 and the reference point 95 of the master table 92 is calculated by the image processing device 94 by the CCD camera 93.
[0003]
At this time, the reference points of the master position data (X ₀ , Y ₀ ) of the measurement point 96 and the actually measured measurement points (X ₁ , Y ₁ ) are matched by the arithmetic unit in the image processing device 94. The errors ΔX = X ₁ −X ₀ and ΔY = Y ₁ −Y ₀ between the master reference position and the actually measured position are calculated, thereby calculating the position coordinates of the measurement point, and detecting and correcting the position. This is a coordinate position detection method.
[0004]
However, in this conventional method, the correction is performed by reading only once, and the error is as large as about ± 2.5 mm, for example, ± 0.5 mm because the angle information relating to the CCD camera 93 is not read. There is a problem that it cannot be used for position detection that requires a highly accurate correction.
[0005]
In general, the resolution of a CCD camera as an image processing and visual means is improved as the object is closer to the object to be measured. However, when a robot is driven in response to a position correction signal from the CCD camera, an X-axis component, a Y-axis It is necessary to consider the angle component in addition to the component, and because the gravity acts on the robot side when driving the robot, there is also a manufacturing error of the robot, and the calculation ability on the robot side is also limited, There is a problem in that an operation shift occurs, sufficient high accuracy cannot be secured, and the camera is operated at a position and angle different from the command position.
[0006]
[Problems to be solved by the invention]
According to a first aspect of the present invention, after the positions of two points of an object and the angle of a line connecting these two points with respect to a reference line are determined (primary measurement) by image recognition of the visual means, the visual means is used. Is moved so that the obtained position and angle become the reference position and reference angle, and the position and angle of the two points are re-detected (secondary measurement) at the moved position, and the distance between the visual means and the object is further determined. The position and angle of the two points are detected again by changing the position (the third measurement) to correct the position and the angle. Thus, the robot control accuracy is obtained by detecting the primary to tertiary three times in total. It is another object of the present invention to provide a position detection method capable of greatly improving correction accuracy without being affected by resolution accuracy.
[0007]
According to a second aspect of the present invention, in addition to the object of the first aspect of the present invention, by setting a change in the distance between the visual means and the object to be closer to the object by the visual means, the visual means can be visually recognized. It is an object of the present invention to provide a position detection method capable of improving resolution (resolution accuracy) by means.
[0008]
According to a third aspect of the present invention, in addition to the object of the second aspect of the present invention, by mounting visual means on the robot, the control system and the position detecting function inherent in the robot side are effectively used to make the above described. It is an object of the present invention to provide a position detecting method capable of driving the visual means.
[0009]
According to a fourth aspect of the present invention, in addition to the object of the third aspect, the position and angle are corrected by correcting a control error of the robot system, and the robot arm is corrected by correcting the control error. It is an object of the present invention to provide a position detection method capable of controlling an appropriate position and angle with high accuracy.
[0010]
[Means for Solving the Problems]
The invention according to claim 1 of the present invention is a method for detecting the position of an object by image processing, wherein the position of two points of the object and the angle of a line connecting these two points with respect to a reference line are recognized by image recognition of a visual means. Is obtained (primary measurement), and then the visual means is moved so that the obtained position and angle become the reference position and reference angle, and the position and angle of the two points are re-detected at this movement position (secondary measurement). Measurement), and a position detection method for correcting the position and angle by detecting the position and angle of the two points again by changing the distance between the visual means and the object (tertiary measurement). I do.
[0011]
According to a second aspect of the present invention, in addition to the configuration of the first aspect, the change in the distance between the visual means and the object is a position detecting method for bringing the visual means closer to the object. Features.
[0012]
According to a third aspect of the present invention, in addition to the configuration of the second aspect of the present invention, there is provided a position detecting method in which the visual means is mounted on a robot.
[0013]
According to a fourth aspect of the present invention, in addition to the configuration of the third aspect, the correction of the position and the angle is a position detection method for correcting a control error of a robot system.
[0014]
Function and effect of the present invention
According to the first aspect of the present invention, as shown in the claim correspondence diagrams in FIGS. 1 to 7, in the position detection method of the object 1 by image processing, two points of the object 1 are recognized by the image recognition of the visual means 2. A reference line d of a line c connecting the positions of a and b (see the points on the image shown in FIG. 2) and these two points a and b (two points predetermined by the teaching points of the robot) The angle θ with respect to the Y-axis reference line of the visual means is determined (primary measurement), and the visual means 2 described above is then determined by the position a = (xy) as shown by the virtual line α in FIG. ) And the angle θ become the reference position (0, 0) and the reference angle 0 °, and two points e and f (see FIGS. 3 and 5) at this movement position (see the virtual line α in FIG. 1). The position and angle of (refer to a point on the image) are detected again (secondary measurement).
[0015]
At this time, when the primary measurement is correct, e = (0, 0) and θ ₂ = 0 as shown in FIG. 3, and when the primary measurement is incorrect, e = (x ₂ ) as shown in FIGS. 5 and 7. , Y ₂ ), θ = θ ₂ (where θ ₂ ≠ 0).
Next, the distance between the visual means 2 and the object 1 is changed in a direction approaching or away from the object 1 (not shown) as indicated by a virtual line β in FIG. Detect (tertiary measurement).
[0016]
In this tertiary measurement, when the previous primary measurement is correct, g = (0, 0) and θ ₃ = 0 as shown in FIG. 4, and when the primary measurement is incorrect, as shown in FIGS. G = (x ₃ , y ₃ ) and θ = θ ₃ (where θ ₃ ≠ 0).
Further, the position and angle are corrected based on (x ₂ , y ₂ ), θ ₂ , (x ₃ , y ₃ ), and θ ₃ as the position data and the angle data of the above-described secondary measurement and tertiary measurement. .
[0017]
As described above, the detection based on the detection data (the position on the X-axis, the position on the Y-axis, the axis shift, and the angle shift) is performed by the above-described three times of the primary measurement, the secondary measurement, and the third measurement. (Correction) is performed, so that there is an effect that the correction accuracy can be significantly improved without being affected by the robot control accuracy and the resolution accuracy.
[0018]
According to the second aspect of the present invention, in addition to the effect of the first aspect, the change in the distance between the visual means and the object causes the visual means to approach the object. There is an effect that resolution (resolution accuracy) can be improved by visual means.
[0019]
According to the invention of claim 3 of the present invention, in addition to the effect of the invention of claim 2, the visual means is mounted on the robot, so that the control system and the position detection function inherent in the robot are effectively utilized. There is an effect that the above-mentioned visual means can be driven.
[0020]
According to the fourth aspect of the present invention, in addition to the effect of the third aspect, the above-described position and angle correction corrects a control error of the robot system. Has the effect that the robot arm can be controlled at an appropriate position and angle with high accuracy.
[0021]
【Example】
An embodiment of the present invention will be described below in detail with reference to the drawings.
FIG. 8 shows a position detecting device used in the position detecting method of the present invention. The position detecting device 11 includes a six-axis type robot 13 mounted on a robot base 12 and a fastening portion 15 at the tip of a robot arm 14 of the robot 13. And a plurality of nut runners 17 provided on the robot hand 16, and a CCD camera 2 as a visual means is provided at a portion where the nut runner 17 is provided via a bracket (not shown). Is attached, and two points a and b (see FIG. 2) of the object 1 (measured object) are recognized by the image recognition of the CCD camera 2 and an angle θ of a line c connecting the two points a and b with respect to a reference line d. (See FIG. 2).
[0022]
A position detecting method using the position detecting device 11 configured as described above will be described in detail below. In the following description, the method of calculating the correction value after the above-described primary measurement, secondary measurement, and tertiary measurement (however, the following measurements are the same as those described in the section of the operation and effect of the invention) (Replaced by robotic calculations).
[0023]
In FIG. 9, p1 indicates a command position at the time of primary measurement, p2 indicates a command position at the time of secondary measurement, p3 indicates a command position (target position) at the time of tertiary measurement, and r1 indicates an acquisition position at the time of primary measurement. The position, r2, indicates a capture position at the time of secondary measurement, and r3 indicates a capture position at the time of tertiary measurement.
Here, the components of the command positions p1, p2, and p3 can be represented by the following [Equation 1].
[0024]
(Equation 1)

[0025]
In the above [Equation 1], x, y, and z indicate the X-axis, Y-axis, and Z-axis of the three-dimensional robot base coordinates, and “01”, “02”, and “03” indicate the command positions p1, p2, and p3. The corresponding command values are shown, and tx, ty, and tz indicate angles around each axis, and particularly, ty means the angle θ shown in the claims.
In addition, the components of the above-described capturing positions r1, r2, and r3 can be represented by the following [Equation 2].
[0026]
(Equation 2)

[0027]
In the above [Equation 2], x, y, and z indicate the X-axis, Y-axis, and Z-axis of the three-dimensional robot base coordinates similarly to [Equation 1], and tx, ty, and tz are similarly around each axis. And "1", "2", and "3" indicate execution values corresponding to the respective positions r1, r2, and r3, and particularly, ty means the angle θ shown in the claims.
The motion deviation vector of the robot 13 with respect to each of the above command values p1, p2, and p3 is as shown in [Equation 3].
[0028]
FIG. 3

[0029]
The final motion correction value is the inverse vector of the above-described deviation, and should be minus operation deviation 3 originally. However, even if the robot 13 is operated with the correction command value, the robot 13 may again operate due to gravity and manufacturing errors. Misalignment occurs. Then, an arithmetic mean vector (median value of two shifts 2 and 3) of the obtained two shifts of motion (accurate shifts 2 and 3) is obtained, and this value is approximated as a correction value. I do. This correction vector can be represented by the following [Equation 4].
[0030]
(Equation 4)

[0031]
Here, when the vector of r2p2 corresponding to the shift correction 2 in FIG. 10 is represented by a component, the following [Equation 5] is obtained.
[0032]
(Equation 5)

[0033]
When the vector of r3p3 corresponding to the shift correction 3 in FIG. 10 is represented by a component, the following [Equation 6] is obtained.
[0034]
(Equation 6)

[0035]
In the above [Equation 5] and [Equation 6], "0" added before "p" and "r" indicates zero as the origin of the robot base coordinates. Then, by substituting [Equation 5] and [Equation 6] into [Equation 4] above and rearranging the vector equation, a correction vector is obtained, which is then shown by [Equation 7].
[0036]
(Equation 7)

[0037]
Therefore, the final command value (dest) to the robot 13 shown in FIG. 11 is a value obtained by adding the above-described correction vector to the or3 vector, and can be expressed by the following [Equation 8].
[0038]
(Equation 8)

[0039]
In other words, when no correction is made, it is possible to move from the coordinate origin 0 to the direction of r3, or to move from the coordinate origin 0 to the direction of p3 as the target position by the above-described correction.
[0040]
In short, according to the position detection method of the present invention, the position of two points of the object 1 and the angle (ty1 in equation 2) of a line connecting these two points with respect to a reference line by image recognition of the visual means (see the CCD camera 2). (Primary measurement), and the next visual means (see CCD camera 2) is moved so that the calculated position and angle become the reference position and reference angle, and the two positions are determined at this movement position. And the angle (see ty2 in Equation 2) are detected again (secondary measurement).
[0041]
Next, the position and angle of two points (see ty3 in Equation 2) are detected again (third measurement) by changing the distance from the visual means (see the CCD camera 2) to the object 1.
Further, the position and angle are corrected based on the position data and the angle data of the above-described secondary measurement and tertiary measurement (refer to the correction vector shown in Expression 7 and the vector of the final command value dest shown in Expression 8).
[0042]
In this way, in addition to the conventional method of only primary measurement, secondary measurement and tertiary measurement are additionally executed, and correction based on the detected data (position on the X-axis, (Correction of position, axis shift, and angle shift) is performed, and there is an effect that the correction accuracy can be greatly improved without being affected by the robot control accuracy and the resolution accuracy of the CCD camera 2.
[0043]
Further, the change in the distance between the visual means (see the CCD camera 2) and the object 1 causes the visual means to approach the object 1, so that the resolution (resolution accuracy) of the visual means can be improved. There is.
[0044]
Further, since the visual means (see the CCD camera 2) is attached to the robot 13, there is an effect that the above-mentioned visual means can be driven by effectively utilizing the control system and the position detecting function inherent in the robot 13 side.
In addition, since the above-described correction of the position and the angle corrects the control error of the robot system, the correction of the control error of the robot system causes the bot arm 14 (including the nut runner 17 at the tip in the embodiment) to have an appropriate position, There is an effect that the angle can be controlled with high precision.
[0045]
In correspondence between the configuration of the present invention and the above-described embodiment,
The visual means of the present invention corresponds to the CCD camera 2 of the embodiment,
Similarly,
The robot corresponds to the 6-axis type robot 13,
The present invention is not limited only to the configuration of the above embodiment.
[Brief description of the drawings]
FIG. 1 is a claim correspondence diagram showing a position detection method of the present invention.
FIG. 2 is a claim correspondence diagram showing primary measurement.
FIG. 3 is a claim correspondence diagram showing secondary measurement when primary measurement is correct.
FIG. 4 is a claim correspondence diagram showing tertiary measurement when primary measurement is correct.
FIG. 5 is a claim correspondence diagram illustrating secondary measurement when primary measurement is incorrect.
FIG. 6 is a claim correspondence diagram showing tertiary measurement when primary measurement is incorrect.
FIG. 7 is an explanatory diagram when primary measurement is incorrect.
FIG. 8 is an explanatory diagram of a position detecting device used in the position detecting method of the present invention.
FIG. 9 is an explanatory diagram showing an operation shift.
FIG. 10 is an explanatory diagram showing shift correction.
FIG. 11 is an explanatory diagram showing a final command value.
FIG. 12 is an explanatory diagram showing a conventional position detection method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Object 2 ... CCD camera 13 ... Robot a, b ... Two points c ... Line d connecting two points ... Reference line e, f ... Two points g, h ... Two points [theta], [theta] ₂ , [theta] ₃ ... Angle

Claims

An object position detection method using image processing,
The position of two points of the object and the angle of a line connecting these two points with respect to a reference line are obtained by image recognition of the visual means,
Next, the visual means is moved so that the obtained position and angle become the reference position and reference angle, and the position and angle of the two points are re-detected at this movement position,
Next, a position detecting method for correcting the position and the angle by changing the distance to the object of the visual means and detecting the position and the angle of the two points again.

2. The position detecting method according to claim 1, wherein the change in the distance between the visual means and the object causes the visual means to approach the object.

3. The position detecting method according to claim 2, wherein said visual means is mounted on a robot.

4. The position detecting method according to claim 3, wherein the correction of the position and the angle corrects a control error of a robot system.