JPH06259536A - Three-dimensional correcting method for image pickup position and posture and three-dimensional position correcting method for robot - Google Patents
Three-dimensional correcting method for image pickup position and posture and three-dimensional position correcting method for robotInfo
- Publication number
- JPH06259536A JPH06259536A JP31204891A JP31204891A JPH06259536A JP H06259536 A JPH06259536 A JP H06259536A JP 31204891 A JP31204891 A JP 31204891A JP 31204891 A JP31204891 A JP 31204891A JP H06259536 A JPH06259536 A JP H06259536A
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- dimensional
- camera
- image
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Closed-Circuit Television Systems (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、撮像位置、姿勢の三次
元補正方法およびロボットの三次元位置補正方法に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional position correction method for an imaging position and a posture and a three-dimensional position correction method for a robot.
【０００２】[0002]
【従来の技術】視覚を利用したロボット制御システム、
例えば、作業ロボットを搭載した無人搬送車等において
は、対象物体をＣＣＤカメラ等のカメラで撮像し、その
画像を処理して当該対象物体の位置や姿勢を計測・認識
し、作業ロボットがこの位置情報や姿勢情報に基づい
て、プログラムされている動作を実行する。2. Description of the Related Art A robot control system utilizing vision,
For example, in an automated guided vehicle equipped with a work robot, a target object is imaged by a camera such as a CCD camera, the image is processed to measure and recognize the position and orientation of the target object, and the work robot detects the position. Perform programmed actions based on information and attitude information.
【０００３】この種の無人搬送車は、作業ステーション
に停止し、搬送してきた部品を作業台の作業対象上に移
載したり、所定の作業が施された作業対象を他のステー
ションへ搬送したりするが、上記作業ステーションにお
ける停止位置にずれが生じやすく、また、このずれも常
に同じとは限らないので、作業台上に付したマークをカ
メラで読み取らせて上記ずれに対する補正を行なうよう
にしている。This type of automatic guided vehicle stops at a work station, transfers the transported parts onto a work target on a work table, or transfers a work target on which a predetermined work has been performed to another station. However, since the stop position in the work station is likely to be displaced and this displacement is not always the same, the mark on the workbench should be read by the camera to correct the displacement. ing.
【０００４】図４は、この位置補正を行なう無人搬送車
の１例を示したものである。同図において、１Ａはプレ
イバック方式の無人搬送車１の台車であって、作業ロボ
ット２を搭載しており、多軸アーム３の先端部にカメラ
４とハンド５とを備えている。６は移載されるワークで
あって、作業台７の枠７ａに置かれており、この作業台
７の表面の隅部に点８ａと８ｂからなるマーク８が描か
れている。FIG. 4 shows an example of an automatic guided vehicle for performing this position correction. In FIG. 1, reference numeral 1A is a trolley of a playback type automatic guided vehicle 1 on which a work robot 2 is mounted, and a camera 4 and a hand 5 are provided at the tip of a multi-axis arm 3. A work 6 to be transferred is placed on the frame 7a of the work table 7, and marks 8 composed of points 8a and 8b are drawn on the corners of the surface of the work table 7.
【０００５】この構成においては、作業台７の近くに停
車した無人搬送車１は、カメラ４でマーク８を読み取
り、読み取ったマーク８の座標を予め教示しておいたマ
ーク８の教示座標と比較し、両者のずれを用いて、作業
ロボットが実行する作業プログラムの教示点を補正す
る。In this structure, the automatic guided vehicle 1 parked near the workbench 7 reads the mark 8 with the camera 4 and compares the coordinates of the read mark 8 with the taught coordinates of the mark 8 previously taught. Then, the teaching point of the work program executed by the work robot is corrected using the deviation between the two.
【０００６】しかし、このロボット位置補正方法は二次
元的補正は可能であるが、三次元的補正は難しいという
欠点がある。However, this robot position correction method has a drawback in that it is difficult to make a three-dimensional correction although it can make a two-dimensional correction.
【０００７】ロボット位置の三次元的補正については、
特願平２−７６５９８号で開示されている。この方法を
図５および図６を参照して簡単に説明する。この方法で
は、 （Ａ）先ず、カメラ４を鉛直向きにしてマーク８を撮像
させ、その画像データからマーク８ａ、８ｂの中心点の
水平座標を演算して教示する。Regarding the three-dimensional correction of the robot position,
It is disclosed in Japanese Patent Application No. 2-76598. This method will be briefly described with reference to FIGS. In this method, (A) First, the camera 4 is vertically oriented to capture an image of the mark 8, and the horizontal coordinates of the center points of the marks 8a and 8b are calculated from the image data to teach.
【０００８】（Ｂ）次いで、カメラ４を上記鉛直向きに
対し所定角度θだけ傾斜させてマーク８ａ、８ｂを撮像
させ、その画像データから両マークの中心点の水平座標
を演算し、記憶する。(B) Next, the camera 4 is tilted by a predetermined angle θ with respect to the vertical direction to capture the images of the marks 8a and 8b, and the horizontal coordinates of the center points of both marks are calculated from the image data and stored.
【０００９】Ｃ）プレイバック時、上記（Ａ）と同様に
してマーク８ａ、８ｂの中心点の水平座標を求め、教示
水平座標と比較して座標のずれがある場合には上記作業
プログラムの水平座標をずれ分だけ補正する。C) At the time of playback, the horizontal coordinates of the center points of the marks 8a and 8b are obtained in the same manner as in (A) above. Correct the coordinates by the amount of deviation.
【００１０】（Ｄ）次いで、上記（Ｂ）と同様に、カメ
ラ４を所定角度θだけ傾斜させてマーク８ａ、８ｂを撮
像させ、その画像データから両マークの中心点の水平座
標を求め、上記記憶している水平座標と比較し、水平座
標上でのずれ量を求める。作業ロボットが教示時の停止
姿勢に対してΔｈだけずれているとすると、上のずれ量
は水平方向のずれ分と高さ方向のずれ分とを含んでいる
から、高さ方向のずれ分δだけを抽出して下式を演算
し、 Δｈ＝δ／ｓｉｎθ このΔｈを用いて、教示した作業プログラムの垂直座標
を補正する。(D) Next, as in (B) above, the camera 4 is tilted by a predetermined angle θ to image the marks 8a and 8b, and the horizontal coordinates of the center points of both marks are obtained from the image data, The amount of deviation on the horizontal coordinate is calculated by comparing with the stored horizontal coordinate. If the work robot is deviated by Δh with respect to the stopped posture at the time of teaching, the above deviation amount includes the deviation amount in the horizontal direction and the deviation amount in the height direction. Then, the following formula is calculated, and Δh = δ / sin θ This Δh is used to correct the vertical coordinates of the taught work program.
【００１１】[0011]
【発明が解決しようとする課題】このロボット位置補正
方法によれば、水平方向のずれと高さ方向のずれは補正
することができるが、マークが水平面上にあることを必
須条件とするので、マークが任意の平面にあるような場
合には用いることができない。According to this robot position correcting method, the horizontal shift and the height shift can be corrected, but it is essential that the mark is on a horizontal plane. It cannot be used when the mark is in an arbitrary plane.
【００１２】その上、補正に際して、その都度、カメラ
を所定角度θだけ傾斜させなくてはならず、その機構お
よび制御手段等の余分な構成が必要になるという問題が
ある。In addition, the camera must be tilted by a predetermined angle .theta. For each correction, and there is a problem that extra structure such as the mechanism and control means is required.
【００１３】本発明はこの問題を解消するためになされ
たもので、位置補正データを得るためにカメラを傾斜さ
せたりすることなく、また、マークを任意の平面に設け
ても三次元位置補正が可能である撮像姿勢の三次元補正
方法およびロボットの三次元位置補正方法を提供するこ
とを目的とする。The present invention has been made to solve this problem. Three-dimensional position correction can be performed without tilting the camera to obtain position correction data and even if a mark is provided on an arbitrary plane. An object of the present invention is to provide a possible three-dimensional correction method of an imaging posture and a three-dimensional position correction method of a robot.
【００１４】[0014]
【課題を解決するための手段】本発明は上記目的を達成
するため、請求項１の発明は、教示時、格子状に二次元
配列された複数のマークをカメラで撮像して画像メモリ
に格納し、当該マークの二次元画像座標を求め、上記マ
ークの三次元カメラ座標系上の座標を、三次元世界座標
と上記二次元画像座標とを関係ずける関係式を用いて上
記マークの二次元画像座標より推定して教示時三次元カ
メラ座標とし、今回のプレイバック撮像時に三次元カメ
ラ座標系上の座標を同様の方法で上記画像メモリに格納
された上記マークの二次元画像より推定してプレイバッ
ク時の三次元カメラ座標とし、当該プレイバック時の三
次元カメラ座標を上記教示時三次元カメラ座標と比較し
て、両三次元カメラ座標のずれ量を演算し、当該ずれ量
をカメラ撮像位置、姿勢の三次元補正データとする構成
とした。In order to achieve the above object, the present invention according to claim 1 is such that, at the time of teaching, a plurality of marks which are two-dimensionally arranged in a lattice are picked up by a camera and stored in an image memory. Then, the two-dimensional image coordinates of the mark are obtained, and the coordinates of the mark on the three-dimensional camera coordinate system are calculated using the relational expression that relates the three-dimensional world coordinates and the two-dimensional image coordinates. It is estimated from the image coordinates to be the three-dimensional camera coordinates at the time of teaching, and the coordinates on the three-dimensional camera coordinate system at the time of this playback imaging are estimated from the two-dimensional image of the mark stored in the image memory by the same method. The 3D camera coordinates at the time of playback are set, the 3D camera coordinates at the time of playback are compared with the 3D camera coordinates at the time of teaching, the shift amount of both 3D camera coordinates is calculated, and the shift amount is captured by the camera. position It was configured to form a three-dimensional correction data of attitude.
【００１５】請求項２の発明は、アームに視覚センサを
取着したプレイバック方式作業ロボットの作業ステーシ
ョンへの進入停止時、作業プログラムの開始に先立っ
て、上記作業ステーションの所定箇所表面に設けたマー
クをカメラで撮像して画像処理装置により上記マークの
画像座標を求め、この画像座標と教示座標とのずれを演
算し、教示した作業プログラムの座標を上記ずれで補正
して作業プログラムを実行するものにおいて、上記マー
クは格子状に二次元配列した複数のマークであり、上記
教示座標は、三次元世界座標と上記画像メモリ上の二次
元画像座標とを関係ずける関係式を用いて上記マークの
二次元画像座標より推定した三次元カメラ座標上のマー
ク座標であり、この教示三次元座標と比較される上記マ
ークの画像座標は上記関係式を用いて同様の方法で推定
された三次元カメラ座標上のマーク座標である構成とし
た。According to a second aspect of the present invention, when the playback type work robot having a visual sensor attached to the arm is stopped from entering the work station, the work robot is provided on a predetermined surface of the work station before starting the work program. The mark is picked up by the camera, the image coordinates of the mark are obtained by the image processing device, the deviation between the image coordinates and the teaching coordinates is calculated, and the coordinates of the taught work program are corrected by the deviation to execute the work program. Wherein the marks are a plurality of marks arranged two-dimensionally in a lattice, and the teaching coordinates are the marks using a relational expression relating the three-dimensional world coordinates and the two-dimensional image coordinates on the image memory. Is the mark coordinate on the 3D camera coordinate estimated from the 2D image coordinate of, and the image coordinate of the mark to be compared with this teaching 3D coordinate is It has a configuration which is marked coordinates on the three-dimensional camera coordinate estimated in a similar manner using a relational expression.
【００１６】請求項３では、各マークは、発光体からな
る構成とした。In the third aspect of the present invention, each mark is composed of a light emitting body.
【００１７】[0017]
【作用】請求項１の発明では、発明では、格子状に二次
元配列した複数のマークを用いて、このマークの三次元
カメラ座標を教示し、その後の撮像時のカメラの現在座
標の教示座標に対するずれを求める場合に、この現在座
標を、当該撮像により得たマークの二次元画像座標か
ら、予め求めているマークの三次元世界座標−二次元画
像座標関係式を用いて推定するので、演算処理だけで、
撮像時の撮像姿勢を三次元補正することができる。According to the first aspect of the present invention, a plurality of marks arranged two-dimensionally in a lattice are used to teach the three-dimensional camera coordinates of the marks, and the teaching coordinates of the current coordinates of the camera at the time of subsequent image pickup. When calculating the deviation with respect to, the present coordinates are estimated from the two-dimensional image coordinates of the mark obtained by the imaging using the three-dimensional world coordinate-two-dimensional image coordinate relational expression of the mark, which is calculated in advance. Just by processing
It is possible to three-dimensionally correct the image capturing attitude during image capturing.
【００１８】請求項２の発明では、上記カメラの現在座
標の教示座標に対するずれ量で、ロボットの作業プログ
ラムの座標を三次元補正する。According to the second aspect of the invention, the coordinates of the robot work program are three-dimensionally corrected by the amount of deviation of the current coordinates of the camera from the teaching coordinates.
【００１９】[0019]
【実施例】以下、本発明の１実施例を図面を参照して説
明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.
【００２０】図１において、１０はカメラであるテレビ
カメラ、２０は世界座標軸ＸW 、ＹW 、ＺW のまわりに
テレビカメラ１０を回動可能な角度調整機構、３０はテ
レビカメラ１０を垂直方向に昇降可能な垂直移動機構、
４０はデータ処理装置、４１はＣＰＵ、４２は画像メモ
リ、４３、４４はデータメモリ、４５はプログラムメモ
リ、１００は水平テーブル４１に載置固定されたチャー
トである。In FIG. 1, 10 is a television camera which is a camera, 20 is an angle adjusting mechanism capable of rotating the television camera 10 around world coordinate axes X W , Y W and Z W , and 30 is a vertical direction of the television camera 10. Vertical movement mechanism that can be moved up and down,
Reference numeral 40 is a data processing device, 41 is a CPU, 42 is an image memory, 43 and 44 are data memories, 45 is a program memory, and 100 is a chart mounted and fixed on the horizontal table 41.
【００２１】チャート１００には、複数個の円形状のマ
ークＱが等間隔（ｌｃ）格子点配列に描かれている。On the chart 100, a plurality of circular marks Q are drawn in a lattice point array at equal intervals (lc).
【００２２】本発明の基本的技術思想を図２について説
明する。The basic technical idea of the present invention will be described with reference to FIG.
【００２３】図２は、３次元空間にあるチャート１００
のマークＱがテレビカメラ１０のレンズ１１を介して撮
像面２００に結像する様子を示したもので、点ｑが実像
であり、点ｑの座標は（ｕijh 、ｖijh ）で表わしてあ
る。ｌx 、ｌy は基準点Ｑの水平、垂直方向の長さ、
ｉ、ｊはマークＱの水平、垂直方向のラベルである。FIG. 2 is a chart 100 in a three-dimensional space.
Mark Q is formed on the image pickup surface 200 through the lens 11 of the television camera 10, the point q is a real image, and the coordinates of the point q are represented by (u ijh , v ijh ). . l x and l y are horizontal and vertical lengths of the reference point Q,
i and j are horizontal and vertical labels of the mark Q.
【００２４】なお、カメラ１０内部のパラメータ（内部
パラメータという）と外部パラメータを下記に示してお
く。The parameters inside the camera 10 (referred to as internal parameters) and the external parameters are shown below.
【００２５】 Ａ）内部パラメータ ｃu 、ｃv （ピクセル） 主点 ｆ（ｍｍ） 像距離 κ3 ３次元画像歪曲係数 κ5 ５次元画像歪曲係数 ｄｘ 撮像面上の１画素の幅 ｄｙ 撮像面上の１画素の高さ（既知） Ｂ）外部パラメータ ｔx0、ｔy0、ｔz0 世界座標原点ＯW の３次元カメラ座標（ｈ＝０） φ、θ、ψ（ｒａｄ） カメラ座標軸ＸC 、ＹC 、ＺC まわりのチャート １００の回転角 次に、本発明の三次元補正において用いる関係式につい
て説明する。A) Internal parameters c u , c v (pixels) principal point f (mm) image distance κ 3 three-dimensional image distortion coefficient κ 5 five-dimensional image distortion coefficient dx width of one pixel on imaging surface dy on imaging surface Height of one pixel (known) B) External parameters t x0 , t y0 , t z0 Three-dimensional camera coordinates (h = 0) φ, θ, ψ (rad) camera coordinate axes X C , Y of world coordinate origin O W Rotation Angle of Chart 100 around C and Z C Next, the relational expression used in the three-dimensional correction of the present invention will be described.
【００２６】（１）マークＱの三次元世界座標ｘ
W * （ｘW 、ｙW 、ｚw ） 但し、このｘW * はベクトル（→）である。(1) Three-dimensional world coordinate x of the mark Q
W * (x W, y W , z w) However, this x W * is a vector (→).
【００２７】チャート１００の各マークＱの３次元世界
座標（ｘW 、ｙW 、ｚW ）は下記のように表現できる。The three-dimensional world coordinates (x W , y W , z W ) of each mark Q on the chart 100 can be expressed as follows.
【００２８】[0028]
【数１】 [Equation 1]
【００２９】但し、ｘCUt 、ｙCUT はそれぞれｘ方向、
ｙ方向におけるマークの個数 （２）三次元世界座標ｘW * （ｘW 、ｙW 、ｚW ）から
三次元カメラ座標ｘC *（ｘC 、ｙC 、ｚC ）への変
換、但し、ｘC * はベクトル（→）である。However, x CUt and y CUT are respectively in the x direction,
Number of marks in the y direction (2) Conversion from three-dimensional world coordinates x W * (x W , y W , z W ) to three-dimensional camera coordinates x C * (x C , y C , z C ), x C * is a vector (→).
【００３０】三次元カメラ座標の座標ｘC は三次元世界
座標の座標ｘW から回転角による回転行列Ｒと平行移動
ベクトルｔを用いて、次式により関係付けられる。The coordinate x C of the three-dimensional camera coordinate is related by the following equation from the coordinate x W of the three-dimensional world coordinate using the rotation matrix R by the rotation angle and the translation vector t.
【００３１】 ｘC * ＝ｔ* ＋ＲｘW * ・・・・・・（２） 但し、ｔ* はベクトル（→）である。X C * = t * + Rx W * ... (2) However, t * is a vector (→).
【００３２】三次元カメラ座標と三次元世界座標間の関
係は外部パラメータ（ｔx0、ｔy0、ｔz0、φ、θ、ψ）
を用い、数式（４）、（５）により与えられる。The relationship between the three-dimensional camera coordinates and the three-dimensional world coordinates is an external parameter (t x0 , t y0 , t z0 , φ, θ, ψ).
Is given by Equations (4) and (5).
【００３３】[0033]
【数２】 [Equation 2]
【００３４】[0034]
【数３】 [Equation 3]
【００３５】[0035]
【数４】 [Equation 4]
【００３６】（３）三次元カメラ座標から二次元画像座
標への変換式である非線形回帰方程式の導出、但し、ｕ
a * はベクトル（→）である。(3) Derivation of a non-linear regression equation which is a conversion formula from three-dimensional camera coordinates to two-dimensional image coordinates, where u
a * is a vector (→).
【００３７】マークＱの像の二次元画像座標ｕa * （ｕ
ijh 、ｖijh ）と三次元カメラ座標ｘC * との間には、
下記（６）式の関係がある。Two-dimensional image coordinates u a * (u
ijh , v ijh ) and the three-dimensional camera coordinate x C * ,
There is a relationship of the following formula (6).
【００３８】[0038]
【数５】 [Equation 5]
【００３９】（４）次に、テレビカメラ１００の撮像姿
勢の三次元的補正について説明する│ （ａ）チャート１００を基準姿勢にし、テレビカメラ１
０を教示姿勢にして│チャート１００を当該テレビカメ
ラ１０で撮像する。(4) Next, three-dimensional correction of the image pickup posture of the television camera 100 will be described. | (A) The chart 100 is set to the reference posture, and the television camera 1
The chart 100 is imaged by the television camera 10 with 0 as the teaching posture.
【００４０】（ｂ）撮像したマークＱの２次元画像座標
ｕa * は、上記（６）式の左辺の値ｕa * （ｕijh 、ｖ
ijh ）であるので、上記（６）式に、Ｇａｕｓｓ−Ｎｅ
ｗｔｏｎ法による最小二乗法を適用し、（６）式の左辺
の値が（ｕijh 、ｖijh ）になるように、（６）式の右
辺が含む未知のパラメータ（ｔx0、ｔy0、ｔz0、φ、
θ、ψ）の近似解を求め、反復改良して、マークＱの三
次元カメラ座標と三次元世界座標間の（ｔx0、ｔy0、ｔ
z0、φ、θ、ψ）を教示時パラメータ値とする。(B) The two-dimensional image coordinate u a * of the imaged mark Q is the value u a * (u ijh , v) of the left side of the above equation (6).
ijh ), Gauss-Ne is added to the above equation (6).
Applying the least squares method by the Wton method, unknown parameters (t x0 , t y0 , t included in the right side of the equation (6) are set so that the values on the left side of the equation (6) are (u ijh , v ijh ). z0 , φ,
θ, ψ) is obtained and iteratively improved to obtain (t x0 , t y0 , t between the three-dimensional camera coordinates of the mark Q and the three-dimensional world coordinates.
z0 , φ, θ, ψ) are the teaching parameter values.
【００４１】（ｃ）テレビカメラ１０を移動させたのち
上記教示姿勢に近い姿勢に戻して、チャート１００を撮
像したときのマークＱの二次元画像座標がｕ'a * （ｕ
ijh '、vijh ' ）であるとする。[0041] (c) back to position closer to the teachings posture after moving the television camera 10, the two-dimensional image coordinates of the mark Q when capturing a chart 100 u 'a * (u
ijh ' , v ijh ' ).
【００４２】（ｄ）この度撮像したマークＱの二次元画
像座標ｕa * すなわち現在座標は、上記（６）式の左辺
の値ｕa * （ｕijh 、ｖijh ）であるので、（６）式の
左辺の値がｕ'a * （ｕijh ' 、ｖijh ' ）になるよう
に、上記（６）式に、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法によ
る最小二乗法を適用し、（６）式の右辺が含む未知のパ
ラメータ（ｔx0、ｔy0、ｔz0、θ、φ、ψ）の近似解を
求め、反復改良して、マークＱの三次元カメラ座標と三
次元世界座標間の（ｔx0、ｔy0、ｔz0、φ、θ、ψ）を
プレイバック時のパラメータ値とする。(D) Since the two-dimensional image coordinate u a * of the imaged mark Q, that is, the current coordinate is the value u a * (u ijh , v ijh ) on the left side of the above equation (6), (6) wherein the value of the left side is u 'a * (u ijh' , v ijh ') of the composed way, the equation (6), applying the least squares method according to the Gauss-Newton method, the right-hand side of (6) An approximate solution of the unknown parameters (t x0 , t y0 , t z0 , θ, φ, ψ) including is found and iteratively improved to obtain (t x0 , t between the three-dimensional camera coordinates of the mark Q and the three-dimensional world coordinates. Let y0 , t z0 , φ, θ, ψ) be the parameter values during playback.
【００４３】（ｅ）上記教示時パラメータ値とこのプレ
イバック時パラメータ値との三次元ずれ量ΔｘC を演算
する。(E) A three-dimensional shift amount Δx C between the teaching parameter value and the playback parameter value is calculated.
【００４４】これにより、テレビカメラ１０のこの度の
撮像姿勢が上記教示時の撮像位置、姿勢に対して、Δｘ
C だけ、３次元的にずれていることになり、このずれ分
を補正すれば、テレビカメラ１０の姿勢を教示姿勢に戻
すことができる。As a result, the image pickup posture of the television camera 10 at this time is Δx with respect to the image pickup position and posture at the time of teaching.
This is three-dimensionally shifted by C , and the posture of the television camera 10 can be returned to the taught posture by correcting this shift.
【００４５】（５）ロボットの三次元位置補正 従って、前記したロボットの位置補正の場合には、前記
マーク８に代えて、図３に示すような格子状に二次元配
列した複数のマークを使用し、上記ずれ量ΔｘC を演算
して当該ずれ量ΔｘC 分だけ作業プログラムを補正する
ようにすれば、演算だけで三次元補正を行なうことがで
きる。(5) Three-dimensional position correction of robot Therefore, in the case of the above-mentioned position correction of the robot, a plurality of marks arranged two-dimensionally in a lattice as shown in FIG. However, if the deviation amount Δx C is calculated and the work program is corrected by the deviation amount Δx C , the three-dimensional correction can be performed only by the calculation.
【００４６】上記三次元カメラ座標の推定および三次元
ずれ量の演算等は、コンピュータを用いて行なう。A computer is used to estimate the three-dimensional camera coordinates and calculate the three-dimensional shift amount.
【００４７】なお、マークＱとして、ＬＥＤなどの発光
体を用いれば、ノイズを低減することができる。If a light emitting body such as an LED is used as the mark Q, noise can be reduced.
【００４８】[0048]
【発明の効果】本発明は以上説明した通り、格子状に二
次元配列したマークを用い、このマークの三次元カメラ
座標を教示し、プレイバック時のカメラの座標の教示座
標に対するずれを求める場合に、プレイバック時の撮像
により得たマークの二次元画像座標から、予め求めてい
るマークの三次元世界座標−二次元画像座標関係式を用
いて推定するので、演算処理だけで、教示時の撮像位
置、姿勢と撮像時の撮像位置、姿勢とのずれを求めるこ
とができ、従来のように位置補正データを得るために、
その都度カメラを傾斜させたりしなくても済む利点があ
り、マークは任意の平面に設けても上記効果を得ること
ができる。As described above, according to the present invention, when the marks arranged two-dimensionally in a lattice are used to teach the three-dimensional camera coordinates of the marks and the deviation of the camera coordinates at the time of playback from the taught coordinates is obtained. In addition, since it is estimated from the two-dimensional image coordinates of the mark obtained by imaging at the time of playback using the previously obtained three-dimensional world coordinate of the mark-two-dimensional image coordinate relational expression, only the arithmetic processing can In order to obtain the deviation between the image pickup position and posture and the image pickup position and posture at the time of image pickup, and to obtain the position correction data as in the conventional case,
There is an advantage that the camera does not have to be tilted each time, and the above effect can be obtained even if the mark is provided on an arbitrary plane.
【図１】本発明の実施例を示す斜視図である。FIG. 1 is a perspective view showing an embodiment of the present invention.
【図２】上記実施例における座標系等を説明するための
図である。FIG. 2 is a diagram for explaining a coordinate system and the like in the above embodiment.
【図３】本発明の他の実施例を示す図である。FIG. 3 is a diagram showing another embodiment of the present invention.
【図４】従来のロボット位置補正方法を説明するための
図である。FIG. 4 is a diagram for explaining a conventional robot position correction method.
【図５】従来の他のロボット位置補正方法を説明するた
めの図である。FIG. 5 is a diagram for explaining another conventional robot position correction method.
【図６】上記従来の他のロボット位置補正方法を説明す
るための図である。FIG. 6 is a diagram for explaining another conventional robot position correction method.
１ 無人搬送車 １Ａ 台車 ２ 作業ロボット ３ アーム ５ ハンド ６ ワーク ７ 作業台 １０ テレビカメラ ２０ 角度調整機構 ３０ 垂直移動機構 ４０ データ処理装置 ４２ 画像メモリ １００ チャート ２００ 撮像面 Ｑ マーク ｑ マークの像 1 unmanned guided vehicle 1A trolley 2 work robot 3 arm 5 hand 6 work 7 workbench 10 TV camera 20 angle adjustment mechanism 30 vertical movement mechanism 40 data processor 42 image memory 100 chart 200 image plane Q mark image of q mark
───────────────────────────────────────────────────── フロントページの続き (72)発明者 馬場 真一 愛知県豊橋市三弥町字元屋敷150番地 神 鋼電機株式会社豊橋製作所内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Shinichi Baba 150 Motoyashiki, Miyaya-cho, Toyohashi-shi, Aichi Shinko Electric Co., Ltd. Toyohashi Works
Claims (3)
のマークをカメラで撮像して画像メモリに格納し、当該
マークの二次元画像座標を求め、上記マークの三次元カ
メラ座標系上の座標を、三次元世界座標と上記二次元画
像座標とを関係ずける関係式を用いて上記マークの二次
元画像座標より推定して教示時三次元カメラ座標とし、
今回のプレイバック撮像時に三次元カメラ座標系上の座
標を同様の方法で上記画像メモリに格納された上記マー
クの二次元画像より推定してプレイバック時の三次元カ
メラ座標とし、当該プレイバック時の三次元カメラ座標
を上記教示時三次元カメラ座標と比較して、両三次元カ
メラ座標のずれ量を演算し、当該ずれ量をカメラ撮像位
置、姿勢の三次元補正データとすることを特徴とする撮
像位置、姿勢の三次元補正方法。1. At the time of teaching, a plurality of marks two-dimensionally arranged in a grid pattern are imaged by a camera and stored in an image memory, two-dimensional image coordinates of the mark are obtained, and the marks are three-dimensionally on a camera coordinate system. The coordinates of the three-dimensional world coordinates and the two-dimensional image coordinates by using a relational expression that relates the two-dimensional image coordinates to estimate from the two-dimensional image coordinates of the mark to the teaching three-dimensional camera coordinates,
When the playback image is captured this time, the coordinates on the 3D camera coordinate system are estimated from the 2D image of the mark stored in the image memory in the same manner as the 3D camera coordinate at the time of playback, And comparing the three-dimensional camera coordinates of the three-dimensional camera coordinates with the three-dimensional camera coordinates at the time of teaching, and calculating the deviation amount of both the three-dimensional camera coordinates, and using the deviation amount as the three-dimensional correction data of the camera imaging position and posture. Method for three-dimensional correction of image pickup position and posture.
ック方式作業ロボットの作業ステーションへの進入停止
時、作業プログラムの開始に先立って、上記作業ステー
ションの所定箇所表面に設けたマークをカメラで撮像し
て画像処理装置により上記マークの画像座標を求め、こ
の画像座標と教示座標とのずれを演算し、教示した作業
プログラムの座標を上記ずれで補正して作業プログラム
を実行するものにおいて、 上記マークは格子状に二次元配列した複数のマークであ
り、上記教示座標は、三次元世界座標と上記画像メモリ
上の二次元画像座標とを関係ずける関係式を用いて上記
マークの二次元画像座標より推定した三次元カメラ座標
上のマーク座標であり、この教示三次元座標と比較され
る上記マークの画像座標は上記関係式を用いて同様の方
法で推定された三次元カメラ座標上のマーク座標である
ことを特徴とするロボットの三次元位置補正方法。2. When a playback type work robot having a visual sensor attached to an arm is stopped from entering the work station, an image of a mark provided on the surface of a predetermined portion of the work station is imaged by a camera before starting the work program. The image processing apparatus obtains the image coordinates of the mark, calculates the deviation between the image coordinates and the teaching coordinates, and corrects the coordinates of the taught work program by the deviation to execute the work program. Is a plurality of marks arranged two-dimensionally in a lattice, and the teaching coordinates are two-dimensional image coordinates of the marks using a relational expression relating the three-dimensional world coordinates and the two-dimensional image coordinates on the image memory. The image coordinates of the mark, which is the mark coordinates on the three-dimensional camera coordinates estimated by the above and is compared with the teaching three-dimensional coordinates, are calculated by using the above relational expression. Three-dimensional position correction method for a robot, which is a mark coordinates in a three-dimensional camera coordinate estimated in like manner.
とする請求項２記載のロボットの三次元位置補正方法。3. The three-dimensional position correcting method for a robot according to claim 2, wherein each mark is made of a light emitting body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31204891A JPH06259536A (en) | 1991-11-27 | 1991-11-27 | Three-dimensional correcting method for image pickup position and posture and three-dimensional position correcting method for robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31204891A JPH06259536A (en) | 1991-11-27 | 1991-11-27 | Three-dimensional correcting method for image pickup position and posture and three-dimensional position correcting method for robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06259536A true JPH06259536A (en) | 1994-09-16 |
Family
ID=18024596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31204891A Pending JPH06259536A (en) | 1991-11-27 | 1991-11-27 | Three-dimensional correcting method for image pickup position and posture and three-dimensional position correcting method for robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06259536A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07266268A (en) * | 1994-03-24 | 1995-10-17 | Murata Mach Ltd | Hand positioning device of mobile robot |
| JPH0993570A (en) * | 1995-09-21 | 1997-04-04 | Fuji Facom Corp | Positioning controller for monitor camera and reader for indicator |
| US6621921B1 (en) | 1995-12-19 | 2003-09-16 | Canon Kabushiki Kaisha | Image processing apparatus |
| US6671574B1 (en) | 2002-08-30 | 2003-12-30 | Fujitsu Limited | Position detecting apparatus and library apparatus |
| JP2010223909A (en) * | 2009-03-25 | 2010-10-07 | Fuji Xerox Co Ltd | Position/attitude recognizing method, part holding method, part arranging method, part assembling method, position/attitude recognizing apparatus, part holding apparatus, part arranging apparatus and part assembling apparatus |
| CN102313515A (en) * | 2010-07-08 | 2012-01-11 | 国立清华大学 | Three-dimensional digital image correlation (3D-DIC) correcting method |
| US10573021B2 (en) | 2016-09-28 | 2020-02-25 | Honda Motor Co., Ltd. | Position and attitude estimation method and position and attitude estimation system |
| CN111612889A (en) * | 2020-05-15 | 2020-09-01 | 深圳国信泰富科技有限公司 | Robot action recognition method and action recognition system |
| CN115533908A (en) * | 2022-10-11 | 2022-12-30 | 江苏高倍智能装备有限公司 | Alignment control method and system for multi-manipulator matched workpiece lifting |
-
1991
- 1991-11-27 JP JP31204891A patent/JPH06259536A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07266268A (en) * | 1994-03-24 | 1995-10-17 | Murata Mach Ltd | Hand positioning device of mobile robot |
| JPH0993570A (en) * | 1995-09-21 | 1997-04-04 | Fuji Facom Corp | Positioning controller for monitor camera and reader for indicator |
| US6621921B1 (en) | 1995-12-19 | 2003-09-16 | Canon Kabushiki Kaisha | Image processing apparatus |
| US6671574B1 (en) | 2002-08-30 | 2003-12-30 | Fujitsu Limited | Position detecting apparatus and library apparatus |
| JP2010223909A (en) * | 2009-03-25 | 2010-10-07 | Fuji Xerox Co Ltd | Position/attitude recognizing method, part holding method, part arranging method, part assembling method, position/attitude recognizing apparatus, part holding apparatus, part arranging apparatus and part assembling apparatus |
| CN102313515A (en) * | 2010-07-08 | 2012-01-11 | 国立清华大学 | Three-dimensional digital image correlation (3D-DIC) correcting method |
| US10573021B2 (en) | 2016-09-28 | 2020-02-25 | Honda Motor Co., Ltd. | Position and attitude estimation method and position and attitude estimation system |
| CN111612889A (en) * | 2020-05-15 | 2020-09-01 | 深圳国信泰富科技有限公司 | Robot action recognition method and action recognition system |
| CN111612889B (en) * | 2020-05-15 | 2023-05-05 | 深圳国信泰富科技有限公司 | Robot action recognition method and action recognition system |
| CN115533908A (en) * | 2022-10-11 | 2022-12-30 | 江苏高倍智能装备有限公司 | Alignment control method and system for multi-manipulator matched workpiece lifting |
| CN115533908B (en) * | 2022-10-11 | 2023-10-03 | 江苏高倍智能装备有限公司 | Alignment control method and system for multi-manipulator matched workpiece lifting |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10628966B1 (en) | Method and system for performing automatic camera calibration for robot control | |
| US11046530B2 (en) | Article transfer apparatus, robot system, and article transfer method | |
| US9679385B2 (en) | Three-dimensional measurement apparatus and robot system | |
| CN110555878B (en) | Method and device for determining object space position form, storage medium and robot | |
| US6816755B2 (en) | Method and apparatus for single camera 3D vision guided robotics | |
| US8649593B2 (en) | Image processing apparatus, image processing method, and program | |
| CN111615443A (en) | Information processing apparatus, information processing method, and information processing system | |
| JPH06227711A (en) | Method and device for arranging article | |
| US20130314533A1 (en) | Data deriving apparatus | |
| CN112658643B (en) | Connector assembly method | |
| JPH06259536A (en) | Three-dimensional correcting method for image pickup position and posture and three-dimensional position correcting method for robot | |
| CN112109072B (en) | Accurate 6D pose measurement and grabbing method for large sparse feature tray | |
| So et al. | Calibration of a dual-laser triangulation system for assembly line completeness inspection | |
| US20240003675A1 (en) | Measurement system, measurement device, measurement method, and measurement program | |
| JP6161704B2 (en) | Imaging apparatus, vehicle, and image correction method | |
| CN111105467A (en) | Image calibration method and device and electronic equipment | |
| JP2013082041A (en) | Robot | |
| JP6807450B2 (en) | Articulated robot parallelism determination method and articulated robot tilt adjustment device | |
| JP7311407B2 (en) | Posture estimation device and posture estimation method | |
| CN111260538B (en) | Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera | |
| CN112170124B (en) | Visual positioning method and device for vehicle body and vehicle frame | |
| CN114972025A (en) | Image fast splicing method based on YUV color space | |
| JP6965422B2 (en) | Camera parallelism judgment method | |
| Motai et al. | SmartView: hand-eye robotic calibration for active viewpoint generation and object grasping | |
| JP2005205519A (en) | Robot hand device |