JP3611457B2 - Ring-shaped object gripping method and alignment apparatus therefor - Google Patents

Ring-shaped object gripping method and alignment apparatus therefor Download PDF

Info

Publication number
JP3611457B2
JP3611457B2 JP25187898A JP25187898A JP3611457B2 JP 3611457 B2 JP3611457 B2 JP 3611457B2 JP 25187898 A JP25187898 A JP 25187898A JP 25187898 A JP25187898 A JP 25187898A JP 3611457 B2 JP3611457 B2 JP 3611457B2
Authority
JP
Japan
Prior art keywords
ring
shaped object
gripping
camera
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25187898A
Other languages
Japanese (ja)
Other versions
JP2000065533A (en
Inventor
聡 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uchiyama Manufacturing Corp
Original Assignee
Uchiyama Manufacturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uchiyama Manufacturing Corp filed Critical Uchiyama Manufacturing Corp
Priority to JP25187898A priority Critical patent/JP3611457B2/en
Publication of JP2000065533A publication Critical patent/JP2000065533A/en
Application granted granted Critical
Publication of JP3611457B2 publication Critical patent/JP3611457B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、柔軟性を有する弾性体例からなるリング状弾性物の把持整列用装置とその把持方法に関する。
【0002】
【従来の技術】
従来、柔軟性のあるリング状対象物、例えば合成ゴムからなるシーリングなどの取付作業や検査をする際には、対象物の重なりやもつれなどを解く作業が必要になってくる。
これらの作業を自動化して行くことは多くの柔軟な対象物の取扱手法の開発と共に、システムの自動化にとって有効な手法となる。
【0003】
【発明が解決しようとする課題】
しかしながら、このような柔軟性に富み形状が不確定なリング状対象物の載置状態を認知するシステムは未だ確立されていない。
その形状の確定した対象物においては、予めティーチングされた良品の画像とのパターンマッチングを行ない、その対象物の形状認知を行なっていたものであり、不確定な形状の対象物においては全く採用することができないシステムとなっている。
本発明では、帯状対象物を含むリング状対象物をロボット及び画像処理を用いて、例えば図6に示す事例の如き原形状をなす対象物を整列するための装置と手法を提案するものである。
【0004】
【課題を解決しようとする手段】
本発明は、柔軟性に富み形状が不確定なリング状対象物の状態を認識して把持せしめる把持方法であって、前記リング状対象物全体をカメラによって取り込み、該画像を2値化し、ラベリングを行い、該カメラの画像よりラベルの面積と数と分布から変形状態を認識せしめリング状対象物の把持位置を決定し、その位置での高さを他のカメラによって検出せしめて把持高さを決定して把持せしめることを特徴としている。
【0005】
また、柔軟性に富み形状が不確定なリング状対象物の状態を認識して整列する整列装置であって、前記リング状対象物全体をカメラによって取り込み、該画像を2値化し、ラベリングを行い、該カメラの画像よりラベルの面積と数と分布から変形状態を認識せしめリング状対象物の把持位置を決定し、その位置での高さを他のカメラによって検出せしめ把持高さを決定して把持し一定方向へ整列せしめることを特徴としている。
【0006】
【発明の実施の形態】
本発明を実施する前提条件を以下に図示しながら説明する。
図1に示す装置は画像処理装置であり、1台の6軸多関節ロボット及び3台のカメラによって構成されている。
カメラC1はリング状対象物の上方に配置してあり、該リング状対象物の全体を取り込むことができる。
カメラC2、C3はロボットハンド1に取り付けられており、斜めからリング状対象物を部分的に取り込むことができる。
【0007】
【実施例】
測定方法
まず、カメラC1の画像よりラベルの面積と分布から重なりの状態を認識し、ロボットハンド1の挿入可能な把持位置を決定する。その位置での高さをロボットハンド1に取り付けた2台のカメラC2、C3によって検出し、把持高さを決定する。ここでリング状対象物を持ち上げることで重なりを解消する。
重なりパターンの認知
リング状対象物をカメラC1によって取り込み、該画像を2値化し、ラベリングを行なう。
画素数がTU以上のラベルLU1 の数をNU、フェレ径の左上の座標を(FSXi、FSYi)、フェレ径の右下の座標を(FEXi、FEYi)、(i=1,2,3,…、NU)とする。
NU=1のとき、リング状対象物は重なり合っていないので、次工程であるリング状対象物の整列を行なう。
NU≧2のとき、リング状対象物が重なり合っているので、この重なりを解消する必要が生じる。
ラベルLU1 の中で面積が最大のLUMAXとする。
ロボットハンド1の挿入位置を決定するために、重なりのパターン分けを行なう。
【0008】
パターン1
ラベルLUmaxがそれ以外のラベルLU1 によって周りを囲まれていない時を図2で示すようなパターン1とし、数1の条件を満たす場合である。
【0009】
【数1】
【0010】
パターン2
パターン1以外のとき、ラベルLUmaxがそれ以外のラベルLU1 によって周りを囲まれているときを図3で示すようなパターン2とし、数2の条件を満たす場合である。
【0011】
【数2】
【0012】
リング状対象物の把持位置の決定法
パターン1の場合
ロボットハンド1の挿入可能な位置を検出するため以下の処理を行なう。ラベルLUmaxに対して輪郭線追跡処理を行なう。
輪郭線上の各点の座標を(DXk、DYk)、(k=1,2,3,…、NC)とする。リング状対象物の重心(GX、GY)から最も遠い輪郭線上の点(DXmax、DYmax )を3により算出する。
【0013】
【数3】
【0014】
ロボットハンド1と取り込んだ画像との大きさを対応させたとき、前記ロボットハンド1の中心から開き幅をPA画素、ロボットハンド1の縦・横の大きさをPB画素、PC画素とする。点(DXmax、DYmax )における輪郭線の法線を求める。法線の内方向、PA画素の地点から、縦PB画素、横PC画素の四角形の内部における対象物の有無を調べる。
もし、中心より左側で対象物を確認したら、輪郭線上を右に1画素移動して、その地点での法線を求め探索する。
同様に法線の外方向に対しても探索する。
内側と外側、両方において対象物が検出されなかった輪郭線上の点を把持位置とする。法線方向を把持方向とする。(図4参照)
【0015】
パターン2の場合
ラベルLUmax及びリング状対象物の外周に対して輪郭線追跡を行なう。
それぞれ座標を(DIXm、DIYm)、(DOXn 、DOYn)、 全画素数をNI、NOとし、2点の最も近づく点(DOXmin、DOYmin )を4より算出し、この点を把持位置とする。
【0016】
【数4】
【0017】
点(DOXmin、DOYmin)における輪郭線の法線を求め、これを把持方向とする。
【0018】
把持位置の高さの算出
カメラC2、C3を用いて決定された把持位置でのリング状対象物の高さを算出し、リング状対象物が重なっても上に重なっている部分だけを把持できるよう把持高さを決定する。図5に示すようにカメラC2の画像がリング状対象物を真上から見たときよりもD2だけずれてみえるとき、リング状対象物の高さをH、幅をWとすると、5のようになる。
【0019】
【数5】
H=CH・D2/(CW+D2)
カメラC2から見たリング状対象物の右端及び左端の座標をR2、L2とし、同様にカメラC3から見たものをR3、L3とするとD2は6のように表わせる。
【0020】
【数6】
D2=R3−R2
6を5に代入すると7となる。
【0021】
【数7】
H=CH・(R3−R2)/(CW+R3−R2)
【0022】
把持及び重なりの解消
算出された把持位置及び把持高さにおいて、ロボットハンド1でリング状対象物を把持し、リング状対象物が作業台から離れるまで上方へ持ち上げ、図6で示すように該リング状対象物の重なりを解消し原形状に戻すことが可能となる。
この状態からリング状対象物を降ろす際、再び重なり合わないように斜め下方平面へ降ろして整列せしめる。
【0023】
このリング状対象物を正確に整列せしめるのに、把持位置を正確に指定してリング状対象物の特徴部を決定する方法が可能であり、この方法では、特徴部情報の抽出、特徴部のデータベース化、特徴部のマッチングなどを行なって把持位置を決定し整列を行なう。
【0024】
【発明の効果】
本発明では、柔軟性を有するリング状対象物の確実な把持をなさしめることができる。
ラベルの面積及び配置を利用しリング状対象物の重なりの状態を認識できる。
それぞれの状態におけるリング状対象物の高さを認識することで、リング状対象物が重なった状態でも最上部のみを把持することができ重なりを解消して整列せしめることができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置を示す略図である。
【図2】パターン1の平面図である。
【図3】パターン2の平面図である。
【図4】パターン1の把持位置を示す平面図である。
【図5】高さの算出をなす位置関係を示す説明図である。
【図6】リング状対象物の原形状(すなわち整列済の形状)を示す平面図である。
【符号の説明】
1 ロボットハンド
C1 カメラ
C2 カメラ
C3 カメラ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for gripping and aligning a ring-shaped elastic material made of an example of a flexible elastic body and a gripping method thereof.
[0002]
[Prior art]
Conventionally, when attaching or inspecting a flexible ring-shaped object, such as a sealing made of synthetic rubber, it is necessary to work to uncover overlapping or tangled objects.
Automating these operations is an effective technique for system automation as well as the development of many flexible object handling techniques.
[0003]
[Problems to be solved by the invention]
However, a system for recognizing the placement state of such a ring-shaped object with a flexible and uncertain shape has not been established yet.
The object whose shape has been determined is subjected to pattern matching with a good image that has been taught in advance, and the shape of the object is recognized. It is a system that can not.
The present invention proposes an apparatus and method for aligning an object having an original shape such as the case shown in FIG. 6 by using a robot and image processing for a ring-shaped object including a belt-like object. .
[0004]
[Means to solve the problem]
The present invention is a gripping method for recognizing and gripping a state of a ring-shaped object having a flexible and uncertain shape , capturing the entire ring-shaped object with a camera, binarizing the image , performs labeling and allowed recognizing deformed state from the number and area of the label from the image and the distribution of the camera to determine the gripping position of the ring-like object, the gripping height and allowed detect the height at that location by another camera It is characterized in that it is determined and gripped.
[0005]
An alignment apparatus for recognizing and aligning the state of a ring-shaped object having a high flexibility and an indefinite shape, wherein the entire ring-shaped object is captured by a camera , the image is binarized , and labeling is performed. performed, and allowed to recognize the deformation from the number and area of the label from the image and the distribution of the camera to determine the gripping position of the ring-like object, determines the gripping height allowed detect the height at that location by another camera It is characterized by being gripped and aligned in a certain direction.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
The preconditions for carrying out the present invention will be described below with reference to the drawings.
The apparatus shown in FIG. 1 is an image processing apparatus, and is composed of one 6-axis articulated robot and three cameras.
The camera C1 is disposed above the ring-shaped object and can capture the entire ring-shaped object.
The cameras C2 and C3 are attached to the robot hand 1 and can partially capture a ring-shaped object from an oblique direction.
[0007]
【Example】
Measurement Method First, the overlapping state is recognized from the area and distribution of the label from the image of the camera C1, and the gripping position where the robot hand 1 can be inserted is determined. The height at that position is detected by the two cameras C2 and C3 attached to the robot hand 1, and the gripping height is determined. Here, the overlap is resolved by lifting the ring-shaped object.
A recognition ring-like object having an overlapping pattern is captured by the camera C1, the image is binarized, and labeling is performed.
The number of labels LU1 with the number of pixels equal to or greater than TU is NU, the upper left coordinates of the ferret diameter are (FSXi, FSYi), the lower right coordinates of the ferret diameter are (FEXi, FEYi), (i = 1, 2, 3,... , NU).
When NU = 1, since the ring-shaped objects do not overlap, the ring-shaped objects, which are the next process, are aligned.
When NU ≧ 2, since the ring-shaped objects are overlapped, it is necessary to eliminate this overlap.
The label LU1 has the largest area LUMAX.
In order to determine the insertion position of the robot hand 1, overlapping patterns are divided.
[0008]
Pattern 1
When the label LUmax is not enclosed around the other label LU1 and pattern 1 as shown in FIG. 2, the case number 1 satisfy.
[0009]
[Expression 1]
[0010]
Pattern 2
When other than the pattern 1, a pattern 2 shown in FIG. 3 when surrounded around label LUmax is the other labels LU1, the case number 2 conditions are satisfied.
[0011]
[Expression 2]
[0012]
In the case of the method 1 for determining the gripping position of the ring-shaped object, the following processing is performed to detect the position where the robot hand 1 can be inserted. Contour line tracking processing is performed on the label LUmax.
The coordinates of each point on the contour line are (DXk, DYk), (k = 1, 2, 3,..., NC). Ring subject center of gravity (GX, GY) farthest contour of the point from (DXmax, DYmax) is calculated by the number 3.
[0013]
[Equation 3]
[0014]
When the sizes of the robot hand 1 and the captured image correspond to each other, the opening width from the center of the robot hand 1 is PA pixels, and the vertical and horizontal sizes of the robot hand 1 are PB pixels and PC pixels. The normal of the contour line at the point (DXmax, DYmax) is obtained. The presence / absence of an object within the rectangle of the vertical PB pixel and the horizontal PC pixel is examined from the normal direction and the point of the PA pixel.
If the object is confirmed on the left side from the center, the normal line at that point is searched for by moving one pixel to the right on the contour line.
Similarly, search is also performed in the direction outside the normal.
A point on the contour line where the object is not detected on both the inside and the outside is defined as a gripping position. The normal direction is the gripping direction. (See Figure 4)
[0015]
In the case of pattern 2, contour line tracking is performed on the label LUmax and the outer periphery of the ring-shaped object.
Each coordinate (DIXm, DIYm), (DOXn , DOYn), the total number of pixels and NI, NO, and closest point of two points (DOXmin, DOYmin) was calculated from the number 4, and the grip position of this point.
[0016]
[Expression 4]
[0017]
The normal line of the contour line at the point (DOXmin, DOYmin) is obtained, and this is taken as the gripping direction.
[0018]
Calculation of the height of the gripping position The height of the ring-shaped object at the gripping position determined using the cameras C2 and C3 is calculated, and only the overlapping part can be gripped even if the ring-shaped objects overlap. Determine the gripping height. As shown in FIG. 5, when the image of the camera C2 appears to be shifted by D2 than when the ring-shaped object is viewed from directly above, if the height of the ring-shaped object is H and the width is W, Equation 5 It becomes like this.
[0019]
[Equation 5]
H = CH · D2 / (CW + D2)
The right end and left end coordinates of the ring-like object as viewed from the camera C2 R2, and L2, similarly expressed as the ones viewed from the camera C3 R3, L3 to the D2 number 6.
[0020]
[Formula 6]
D2 = R3-R2
The number 7 and substituting the number 6 to number 5.
[0021]
[Expression 7]
H = CH. (R3-R2) / (CW + R3-R2)
[0022]
At the gripping position and gripping height calculated for gripping and overlapping, the robot hand 1 grips the ring-shaped object and lifts it upward until the ring-shaped object is separated from the workbench. As shown in FIG. It is possible to cancel the overlap of the object and return to the original shape.
When the ring-shaped object is lowered from this state, it is lowered and aligned in a diagonally lower plane so as not to overlap again.
[0023]
In order to accurately align the ring-shaped objects, it is possible to determine a feature portion of the ring-shaped object by accurately specifying a gripping position. A gripping position is determined and aligned by creating a database and matching feature portions.
[0024]
【The invention's effect】
In the present invention, it is possible to reliably hold a ring-shaped object having flexibility.
The overlapping state of the ring-shaped objects can be recognized using the area and arrangement of the labels.
By recognizing the height of the ring-shaped object in each state, only the uppermost part can be gripped even when the ring-shaped objects are overlapped, and the overlap can be eliminated and aligned.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing an image processing apparatus of the present invention.
FIG. 2 is a plan view of a pattern 1;
FIG. 3 is a plan view of a pattern 2;
FIG. 4 is a plan view showing a gripping position of a pattern 1;
FIG. 5 is an explanatory diagram showing a positional relationship for calculating a height.
FIG. 6 is a plan view showing an original shape (that is, an aligned shape) of a ring-shaped object.
[Explanation of symbols]
1 Robot Hand C1 Camera C2 Camera C3 Camera

Claims (2)

柔軟性に富み形状が不確定なリング状対象物の状態を認識し
て把持せしめる把持方法において、
前記リング状対象物全体をカメラによって取り込み、該画像を2値化し、ラベリングを行い、該カメラの画像よりラベルの面積と数と分布から変形状態を認識せしめリング状対象物の把持位置を決定し、その位置での高さを他のカメラによって検出せしめて把持高さを決定して把持せしめることを特徴とした
リング状対象物の把持方法。
In a gripping method for recognizing and gripping the state of a ring-shaped object with a flexible and uncertain shape,
The uptake by the ring-shaped object across the camera, the image is binarized, performs labeling, the gripping position of the ring-shaped object made to recognize the deformation from the number and area of the label from the image and the distribution of the camera A method of gripping a ring-shaped object, characterized in that the ring-shaped object is determined and determined by detecting the height at the position by another camera and determining the grip height .
柔軟性に富み形状が不確定なリング状対象物の状態を認識して把持し整列する整列装置において、
前記リング状対象物全体をカメラによって取り込み、該画像を2値化し、ラベリングを行い、該カメラの画像よりラベルの面積と数と分布から変形状態を認識せしめリング状対象物の把持位置を決定し、その位置での高さを他のカメラによって検出せしめ把持高さを決定して把持し一定方向へ整列せしめることを特徴としたリング状対象物の整列装置。
In an alignment device that recognizes the state of a ring-shaped object that is flexible and has an indeterminate shape, and grips and aligns it,
The uptake by the ring-shaped object across the camera, the image is binarized, performs labeling, the gripping position of the ring-shaped object made to recognize the deformation from the number and area of the label from the image and the distribution of the camera An apparatus for aligning a ring-shaped object, characterized in that the height at that position is detected by another camera, the gripping height is determined , gripped and aligned in a certain direction.
JP25187898A 1998-08-20 1998-08-20 Ring-shaped object gripping method and alignment apparatus therefor Expired - Fee Related JP3611457B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25187898A JP3611457B2 (en) 1998-08-20 1998-08-20 Ring-shaped object gripping method and alignment apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25187898A JP3611457B2 (en) 1998-08-20 1998-08-20 Ring-shaped object gripping method and alignment apparatus therefor

Publications (2)

Publication Number Publication Date
JP2000065533A JP2000065533A (en) 2000-03-03
JP3611457B2 true JP3611457B2 (en) 2005-01-19

Family

ID=17229290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25187898A Expired - Fee Related JP3611457B2 (en) 1998-08-20 1998-08-20 Ring-shaped object gripping method and alignment apparatus therefor

Country Status (1)

Country Link
JP (1) JP3611457B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015131375A (en) * 2014-01-15 2015-07-23 セイコーエプソン株式会社 Robot, robot system, robot control device, and robot control method
CN108453743B (en) * 2018-05-14 2020-06-19 清华大学深圳研究生院 Mechanical arm grabbing method

Also Published As

Publication number Publication date
JP2000065533A (en) 2000-03-03

Similar Documents

Publication Publication Date Title
KR920004956B1 (en) Drawing figure recognition apparatus
US11780101B2 (en) Automated package registration systems, devices, and methods
CN109955222B (en) Article transfer device, robot system, and article transfer method
US6845296B2 (en) Object taking out apparatus
CN109186457B (en) Binocular part identification method and device and production line using device
JP5289087B2 (en) Work picking device
TW200821156A (en) Screen printing equipment, and method for image recognition and alignment
JPH03228591A (en) Work holding device, work and storing case thereof
CN110108712A (en) Multifunctional visual sense defect detecting system
WO2023070954A1 (en) Container truck guidance and single/double-container identification method and apparatus based on machine vision
JP3611457B2 (en) Ring-shaped object gripping method and alignment apparatus therefor
CN114332622A (en) Label detection method based on machine vision
CN116000942B (en) Semiconductor manufacturing system based on multi-axis cooperative robot
JP3651026B2 (en) Method for teaching robot for stocker
JP3684799B2 (en) Device for detecting displacement amount of stop position of moving object
US11826919B2 (en) Work coordinate generation device
CN115753765A (en) Method for identifying position and posture of cheese
JPH0953915A (en) Method for recognizing overlapping state
WO2004052596A1 (en) Method and arrangement to avoid collision between a robot and its surroundings while picking details including a sensorsystem
JP4566686B2 (en) Method and apparatus for determining shape of object
JPS61173391A (en) Method for setting the field of view for image sensor
JP2562047B2 (en) Position and orientation recognition method of target object
Abdallah et al. Automatic inspection of aeronautical mechanical assemblies using 2D and 3D computer vision
JP3870526B2 (en) Device for detecting displacement amount of stop position of moving body
JPH073990U (en) Mobile robot

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees