JPH05127723A - High-speed picking device for stacked component - Google Patents
High-speed picking device for stacked componentInfo
- Publication number
- JPH05127723A JPH05127723A JP3313975A JP31397591A JPH05127723A JP H05127723 A JPH05127723 A JP H05127723A JP 3313975 A JP3313975 A JP 3313975A JP 31397591 A JP31397591 A JP 31397591A JP H05127723 A JPH05127723 A JP H05127723A
- Authority
- JP
- Japan
- Prior art keywords
- collation
- specific
- limit value
- work
- specific point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ロボットによりトレー
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-speed picking device capable of gripping a stack of parts stored in a tray by a robot one by one.
【０００２】[0002]
【従来技術】従来、複数の部品の中から部品を一つずつ
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。2. Description of the Related Art Conventionally, as a means for picking one of a plurality of parts one by one, grayscale image data is generated from a video signal captured by an image input camera, and a ridgeline of differentiated edge image data is traced. Then, the contour line is extracted to obtain a line segment image. A method is known in which pattern matching is performed between this line segment image and a matching model corresponding to the shape of the gripped component, and the component located at the top is recognized and picked up.
【０００３】[0003]
【発明が解決しようとする課題】ところで、一般的な工
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。By the way, parts and the like in general industrial products are usually supplied in a pile in a tray or the like. Then, these parts overlap each other and exist in a state in which each part has a sharp inclination. It is extremely rare that the parts located at the top of the pile match the collation model when there is no inclination, and it is almost impossible to recognize and pick one part from the pile parts. There was a problem.
【０００４】本発明は、上記の課題を解決するために成
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識することであ
る。The present invention has been made to solve the above problems, and an object of the present invention is to select a specific portion consisting of a simple shape of a part that can be gripped by a robot hand from a pile of parts. Is to recognize at high speed.
【０００５】[0005]
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、図９にその概念を示したように、２次
元画像から山積み部品の輪郭線を求め、その輪郭線から
輪郭線を構成する複数の構成線分を抽出し、その構成線
分から前記部品を認識してロボットのハンドにより把持
させる高速ピッキング装置において、前記２次元画像に
おいて前記部品の把持可能な単純形状から成る特定部位
を認識するための該特定部位に対応したモデルであっ
て、前記特定部位が基準姿勢をとるときの形状を特定す
るデータにより予め設定される照合モデルを記憶する照
合モデル記憶手段と、前記ハンドによる前記特定部位の
把持可能な範囲を表す該特定部位の前記基準姿勢に対す
る傾斜の許容限界角度に基づいて予め設定され、前記特
定部位と前記照合モデルとの許容される不一致の範囲を
示した照合限界値を記憶する照合限界値記憶手段と、前
記２次元画像の中から前記照合モデルに対して、前記照
合限界値により規定される不一致の範囲内で認識された
１つの部分を前記特定部位として検出する特定部位検出
手段と、検出された前記特定部位の位置を決定する位置
決定手段と、前記位置に前記ハンドを位置決めして前記
特定部位をピックアップさせる指令手段とを備えたこと
を特徴とする。The constitution of the invention for solving the above-mentioned problems is, as the concept is shown in FIG. 9, obtaining a contour line of a piled-up component from a two-dimensional image, and calculating the contour line from the contour line. In a high-speed picking device that extracts a plurality of constituent line segments that make up the object, recognizes the part from the constituent line segments, and grips the part with a robot hand, a specific part of the two-dimensional image that has a simple shape that can be gripped by the part A model corresponding to the specific part for recognizing, and a matching model storing means for storing a matching model preset by data specifying a shape when the specific part assumes a reference posture; It is preset based on an allowable limit angle of inclination of the specific portion with respect to the reference posture, which represents a grippable range of the specific portion. Matching limit value storage means for storing a matching limit value indicating a range of allowable mismatch with the matching model, and a range of mismatch defined by the matching limit value with respect to the matching model from the two-dimensional image. Specific part detecting means for detecting one part recognized inside as the specific part, position determining means for determining the position of the detected specific part, and positioning the hand at the position to identify the specific part. And a commanding means for picking up.
【０００６】[0006]
【作用】照合モデル記憶手段には２次元画像において部
品の把持可能な単純形状から成る特定部位を認識するた
めのその特定部位に対応したモデルであって、上記特定
部位が基準姿勢をとるときの形状を特定するデータによ
り予め設定された照合モデルが記憶されている。又、照
合限界値記憶手段にはロボットのハンドによる上記特定
部位の上記基準姿勢に対する傾斜の許容限界角度に基づ
いて予め設定され、特定部位と上記照合モデルとの許容
される不一致の範囲を示した照合限界値が記憶されてい
る。又、特定部位検出手段により上記２次元画像の中か
ら上記照合モデルに対して、上記照合限界値により規定
される不一致の範囲内で認識された１つの部分が上記特
定部位として検出される。そして、位置決定手段により
検出された上記特定部位の位置が決定される。更に、指
令手段により上記位置決定手段にて決定された位置に上
記ハンドを位置決めして上記特定部位をピックアップさ
せる指令がロボット側に出力される。In the collation model storage means, a model corresponding to the specific part for recognizing the simple shape of the part that can be grasped in the two-dimensional image is provided. A collation model preset by the data specifying the shape is stored. Further, the matching limit value storage means is preset based on the allowable limit angle of inclination of the specific part with respect to the reference posture by the hand of the robot, and shows the range of allowable mismatch between the specific part and the matching model. The matching limit value is stored. Further, the specific part detecting means detects, as the specific part, one portion recognized from the two-dimensional image within the non-coincidence range defined by the matching limit value with respect to the matching model. Then, the position of the specific portion detected by the position determining means is determined. Further, a command for positioning the hand at the position determined by the position determining device by the commanding device and picking up the specific portion is output to the robot side.
【０００７】[0007]
【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０と物体認識装置２０とフィンガが先端に配設され
山積み部品の中から一つの部品（以下、ワークともい
う）Ｗを把持するためのハンド４０を有するピッキング
用ロボット３０とから成る。そして、作業台の上には山
積み状態でワークＷが収容されたトレーＴが載置されて
いる。EXAMPLES The present invention will be described below based on specific examples. FIG. 1 is an overall configuration diagram showing a high-speed picking device for piled parts according to the present invention, and FIG. 2 is a block diagram showing the configuration of the main part of the device of the same embodiment.
The high-speed picking device 100 mainly has an image input camera 10, an object recognition device 20, and a hand 40 for holding one part (hereinafter, also referred to as a work) W from among piled parts with a finger arranged at the tip. A picking robot 30. A tray T accommodating the works W in a pile is placed on the workbench.
【０００８】図２において、トレーＴ内には山積み状態
でワークＷが収容されており、そのトレーＴの上部から
ワークＷを撮像する画像入力用カメラ１０が設けられて
いる。又、トレーＴの中央上部からワークＷを一様に照
明する照明装置Ｌが設けられている。物体認識装置２０
は、照合、判定等のデータ処理を行う中央処理装置２１
と、画像入力用カメラ１０により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エッジ画像を求めるなど
のデータ処理を行う画像処理装置２２と、照合モデルに
関するデータや検出物体に関するデータを記憶する記憶
装置２３と、照明制御回路２４とで構成されている。更
に、画像処理装置２２は、画像入力用カメラ１０の出力
する映像信号をサンプリングして、濃淡レベルをディジ
タル化した濃淡画像データを生成する画像入力装置２２
１と、その濃淡画像データから微分演算により明度勾配
を求め、物体画像のエッジを表すエッジ画像データを生
成するエッジ検出装置２２２と、そのエッジ画像データ
から輪郭線を追跡し、その輪郭線を構成する構成線分を
抽出し、その構成線分の位置に関するデータを生成する
線分抽出装置２２３とで構成されている。又、記憶装置
２３はＲＡＭ等で構成されており、ワークＷの特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定される照合モデルを記憶し、照合モデル記憶手段
を達成する照合モデルメモリ領域２３１と、特定部位と
照合モデルとの許容される不一致の範囲を示した照合限
界値を記憶し、照合限界値記憶手段を達成する照合限界
値メモリ領域２３２と、トレーＴ内の山積みの多数のワ
ークＷに対応する線分画像が照合された結果を記憶する
認識結果メモリ領域２３３などから成る。In FIG. 2, the trays T accommodate the workpieces W in a piled state, and an image input camera 10 for picking up images of the workpieces W from the upper portion of the tray T is provided. Further, an illuminating device L for uniformly illuminating the work W from the upper center of the tray T is provided. Object recognition device 20
Is a central processing unit 21 that performs data processing such as collation and determination.
Data for processing the video signal obtained by the image input camera 10 to detect the contour line of the detected object, extracting the constituent line segments forming the contour line, and obtaining the composite edge image. An image processing device 22 that performs processing, a storage device 23 that stores data regarding a matching model and data regarding a detected object, and an illumination control circuit 24. Further, the image processing device 22 samples the video signal output from the image input camera 10 and generates the grayscale image data in which the grayscale level is digitized to generate the grayscale image data.
1 and an edge detection device 222 that obtains edge image data representing an edge of an object image by calculating a lightness gradient from the grayscale image data by differential operation, and a contour line is traced from the edge image data, and the contour line is configured. And a line segment extraction device 223 that generates data regarding the position of the component line segment. Further, the storage device 23 is composed of a RAM or the like, stores a collation model preset by data for specifying the shape when the specific part of the work W takes the reference posture, and achieves the collation model storage means. A model memory area 231, a matching limit value memory area 232 for storing a matching limit value indicating a range of allowable mismatch between a specific part and a matching model, and achieving a matching limit value storage means, and a stack in the tray T. The recognition result memory area 233 and the like which store the result of matching the line segment images corresponding to a large number of workpieces W.
【０００９】次に、画像入力用カメラ１０により山積み
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から特定部位として、例え
ば、円を照合モデル“円”により照合選定させる場合に
ついて、物体認識装置２０の処理手順を示した図３のフ
ローチャートに基づいて本装置の作用を説明する。照明
制御回路２４により照明装置Ｌが点燈され、画像入力用
カメラ１０で得られた映像信号が画像入力装置２２１に
入力される。そして、画像入力装置２２１では、映像信
号をサンプリングしてディジタル信号に変換して濃淡画
像が生成される。その濃淡画像データはエッジ検出装置
２２２に入力し、微分されてエッジ画像が生成される。
そのエッジ画像データは線分抽出装置２２３に入力し、
稜線を追跡することで物体の輪郭線が抽出される。更
に、その輪郭線は折線や円などで近似され線分画像が得
られる。そして、ステップ１００において、中央処理装
置１は画像処理装置２２にて得られた線分画像を入力す
る。次にステップ１０２に移行して、入力された線分画
像から一続きの線分群を中央処理装置１内の記憶領域Ａ
に格納する。次にステップ１０４に移行して、記憶領域
Ａが空か、即ち、照合の対象である一続きの線分群がス
テップ１０２で格納された記憶領域Ａ内に残存するか否
かが判定される。最初の実行サイクルでは、一続きの線
分群の抽出が成功した限りにおいて、当然、記憶領域Ａ
は空ではないので、ステップ１０６に移行する。ステッ
プ１０６では、記憶領域Ａ内の一続きの線分群における
ｎ組の２線分を選択し、それらの垂直２等分線の交点Ｇ
i(i=1,2,…,n) を算出する。図４は、真円又は楕円にお
ける中心の算出方法を示している。図４(a) に示したよ
うに、一続きの線分群が真円に近ければ、ｎ組の２線分
（ｌ1とｌ2,ｌ3とｌ4,ｌ5とｌ6,…)の垂直２等分線の交
点の座標は略一致しＧ0 となる。ところが、図４(b) に
示したように、一続きの線分群が楕円であれば、ｎ組の
２線分（ｌ1とｌ2,ｌ3とｌ4,ｌ5とｌ6,…)の垂直２等分
線の交点の座標は一致せずＧ1,Ｇ2,Ｇ3,…,Ｇnとなる。
次にステップ１０８に移行して、ステップ１０６で求め
られた交点Ｇi(i=1,2,…,n) における任意の２点間の距
離の最大値が全て照合モデルの第１の照合限界値である
所定の許容範囲ρ1 内にあるか否かが判定される。即
ち、一続きの線分群は本来、円であるか否かが判定され
る。つまり、上記許容範囲ρ1 は、図４(b) では、ハッ
チングが施された破線円内にて示された部分であり、ワ
ークＷの特定部位である円穴部分が傾いて楕円となった
場合の照合モデルに対応して照合可能な照合限界値を示
している。ステップ１０８で、交点Ｇi(i=1,2,…,n) が
全て所定の許容範囲ρ1 内にあればステップ１１０に移
行し、交点Ｇi(i=1,2,…,n) の平均（Ｇ1,Ｇ2,…,Ｇn）
／ｎを演算して中心座標Ｇm とする。次にステップ１１
２に移行して、ステップ１１０で求められた中心座標Ｇ
m とステップ１０６にて選択された各線分との距離の平
均を演算し半径ｒm とする。次にステップ１１４に移行
して、記憶装置２３の照合モデルメモリ領域２３１に記
憶された照合モデルの円の半径ｒ0 に対する偏差｜ｒm
−ｒ0｜が所定の許容範囲ρ2 内にあるか否かが判定さ
れる。ここで、図５にピッキング可否を決めるワーク姿
勢が示されている。つまり、図５(b) のワーク傾き角度
がθ2 であるワークＷではピッキング用ロボット３０の
ハンド４０ではピッキングできなくて、図５(a) のワー
ク傾き角度がθ1 内であるワークＷはピッキング可能で
あることを示している。このワーク傾き角度θ1 をワー
クＷの特定部位に対する許容限界値とする。ワークＷの
特定部位である円穴部分の把持可能な傾きの許容限界値
θ1 に基づいた照合モデルの第２の照合限界値が許容範
囲ρ2である。上記許容限界値θ1 は、ピッキング成功
確率が 100％であるワーク傾き角度θに安全係数を見込
んでやや小さい角度としたものである。ここで、図６に
示したように、ワーク傾き角度θに対するワークの特定
部位のピッキング成功確率は実験的に求められる。図か
ら分かるようにワーク傾き角度θが大きくなり約50°ま
でワーク認識個数は増えるが、ワーク傾き角度θが約35
°を越えるとピッキング成功確率が 100％から徐々に下
降することになる。即ち、従来、ピッキング対象域がほ
ぼ真円と認識されるワーク傾き角度θが約10°以下の僅
かの領域であったものが、本発明では、楕円を円として
認識することにより約35°近辺まで拡大されることにな
る。ステップ１１４で、｜ｒm−ｒ0｜＜ρ2 であれば、
ステップ１１６に移行し、照合成功としてステップ１１
０で求めた中心座標Ｇm をピッキング用ロボット３０側
へ送信し、本プログラムを終了する。尚、上述のステッ
プ１０８及びステップ１１４で判定がNOであるとステッ
プ１１８に移行し、当該線分データを記憶領域Ａから消
去した後、ステップ１０４に戻り、以下同様の処理が実
行される。又、ステップ１０４で、一続きの線分群がな
くなり記憶領域Ａが空となると、本プログラムを終了す
る。ここで、特定部位検出手段はステップ１０６，１０
８にて、位置決定手段はステップ１１０〜１１４にて、
指令手段はステップ１１６にてそれぞれ達成される。Next, after inputting video signals of a large number of workpieces W in the piled state by the image input camera 10 and extracting constituent line segments, a circle, for example, as a matching model, is selected as a specific portion from the various constituent line segment groups. The operation of the present device will be described based on the flowchart of FIG. 3 showing the processing procedure of the object recognition device 20 in the case of performing collation selection by "circle". The illumination control circuit 24 turns on the illumination device L, and the video signal obtained by the image input camera 10 is input to the image input device 221. Then, in the image input device 221, the video signal is sampled and converted into a digital signal to generate a grayscale image. The grayscale image data is input to the edge detection device 222 and differentiated to generate an edge image.
The edge image data is input to the line segment extraction device 223,
The contour line of the object is extracted by tracing the edge line. Further, the contour line is approximated by a polygonal line or a circle to obtain a line segment image. Then, in step 100, the central processing unit 1 inputs the line segment image obtained by the image processing unit 22. Next, the process proceeds to step 102, and a series of line segment groups from the input line segment image is stored in the storage area A in the central processing unit 1.
To store. Next, in step 104, it is determined whether or not the storage area A is empty, that is, whether or not the series of line segments that are the target of matching remain in the storage area A stored in step 102. In the first execution cycle, of course, as long as a series of line segment groups has been successfully extracted, the storage area A
Is not empty, the process proceeds to step 106. In step 106, n sets of two line segments in a series of line segment groups in the storage area A are selected, and the intersection G of their vertical bisectors is selected.
Calculate i (i = 1,2, ..., n). FIG. 4 shows a method of calculating the center of a perfect circle or an ellipse. As shown in Fig. 4 (a), if a series of line segments is close to a perfect circle, n sets of two line segments (l 1 and l 2, l 3 and l 4, l 5 and l 6, ...) The coordinates of the intersection point of the perpendicular bisectors of the above are substantially coincident with each other and become G 0 . However, as shown in FIG. 4B, if the series of line segments is an ellipse, n sets of two line segments (l 1 and l 2, l 3 and l 4, l 5 and l 6, ... The coordinates of the intersection of the vertical bisectors of) do not match and become G 1, G 2, G 3, ... , G n .
Next, in step 108, the maximum value of the distance between any two points at the intersection point G i (i = 1,2, ..., n) obtained in step 106 is the first matching limit of the matching model. It is determined whether or not it is within a predetermined allowable range ρ 1 which is a value. That is, it is determined whether or not the continuous line segment group is originally a circle. That is, the allowable range ρ 1 is a portion shown in a hatched circle in FIG. 4B, and a circular hole portion which is a specific portion of the work W is inclined to be an ellipse. The collation limit value that can be collated corresponding to the collation model in each case is shown. At step 108, if all the intersections G i (i = 1,2, ..., n) are within the predetermined allowable range ρ 1 , the process proceeds to step 110 and the intersections G i (i = 1,2, ..., n). Average of (G 1, G 2, … , G n )
/ N is calculated to be the central coordinate G m . Next step 11
2, the central coordinate G obtained in step 110
The average of the distances between m and each line segment selected in step 106 is calculated to obtain the radius r m . Next, the routine proceeds to step 114, where the deviation | r m from the radius r 0 of the circle of the matching model stored in the matching model memory area 231 of the storage device 23.
It is determined whether -r 0 | is within the predetermined allowable range ρ 2 . Here, FIG. 5 shows a work posture that determines picking availability. That is, the work W having the work tilt angle of θ 2 in FIG. 5B cannot be picked by the hand 40 of the picking robot 30, and the work W having the work tilt angle within θ 1 of FIG. It indicates that picking is possible. This work inclination angle θ 1 is an allowable limit value for a specific part of the work W. The second matching limit value of the matching model based on the allowable limit value θ 1 of the tilt that can be gripped by the circular hole portion that is the specific portion of the work W is the allowable range ρ 2 . The allowable limit value θ 1 is set to a slightly smaller angle in consideration of the safety factor for the workpiece tilt angle θ at which the picking success probability is 100%. Here, as shown in FIG. 6, the picking success probability of a specific portion of the work with respect to the work inclination angle θ is experimentally obtained. As can be seen from the figure, the workpiece inclination angle θ increases and the number of workpieces recognized increases up to about 50 °, but the workpiece inclination angle θ is about 35 °.
If it exceeds °, the picking success rate will gradually decrease from 100%. That is, in the past, the picking target area was a small area in which the workpiece inclination angle θ was recognized as a substantially perfect circle and was about 10 ° or less, but in the present invention, by recognizing an ellipse as a circle, it is around 35 °. Will be expanded to. In step 114, if | r m −r 0 | <ρ 2 ,
The process proceeds to step 116 and step 11
The central coordinate G m obtained by 0 is transmitted to the picking robot 30 side, and this program ends. If the determinations at steps 108 and 114 are NO, the process proceeds to step 118, the line segment data is erased from the storage area A, the process returns to step 104, and the same processing is executed. Further, in step 104, when there is no continuous line segment group and the storage area A becomes empty, this program ends. Here, the specific part detecting means is configured as steps 106,
In step 8, the position determining means in steps 110 to 114,
The command means are each accomplished in step 116.
【００１０】上述のプログラムが実行されることによ
り、部品の特定部位に対応して最初に認識された中心座
標Ｇm に基づいたワークＷがピッキング用ロボット３０
のハンド４０によりピッキングされることになる。この
他のピッキング方法として、画像入力用カメラ１０によ
り入力された２次元画像全体から認識された部品の複数
の特定部位のうち、ピッキングするのに適した最も傾き
の少ない姿勢状態にある特定部位に対応した中心座標Ｇ
m を見つけてロボット側へ送信することも考えられる。
この場合には、特定部位の認識に多少時間がかかって
も、ピッキング成功確率がより高くなるという効果が期
待できる。By executing the above-mentioned program, the picking robot 30 picks up the workpiece W based on the center coordinates G m initially recognized corresponding to the specific part of the part.
Will be picked by the hand 40. As another picking method, among a plurality of specific parts of a component recognized from the entire two-dimensional image input by the image input camera 10, a specific part in a posture state with the smallest inclination suitable for picking is selected. Corresponding center coordinates G
It is also possible to find m and send it to the robot side.
In this case, the effect that the picking success probability becomes higher can be expected even if it takes some time to recognize the specific portion.
【００１１】図７は、真円認識又は楕円認識におけるそ
れぞれのサイクルタイムの確認結果を示している。尚、
図７(a) は真円認識による毎回の所要タイム(秒)を示
し、図７(b) は楕円認識による毎回の所要タイム(秒)を
示している。本発明の山積み部品の高速ピッキング装置
では、楕円も“円”として認識する楕円認識であるた
め、ピッキングの繰り返し所要タイムを従来の真円認識
による2.7秒〜9.0秒(平均 4.8秒)から2.2秒〜3.8秒(平
均 3.0秒)に短縮することが可能である。又、図から分
かるように、ピッキングの繰り返しにおける所要タイム
のバラツキが極めて少なくなるという効果も有する。FIG. 7 shows the confirmation results of the respective cycle times in the perfect circle recognition or the ellipse recognition. still,
FIG. 7 (a) shows the required time (seconds) for each round recognition, and FIG. 7 (b) shows the required time (seconds) for the ellipse recognition. In the high-speed picking device for piled parts of the present invention, since the ellipse is recognized to recognize an ellipse as a “circle”, the time required for repeating picking is 2.7 seconds to 9.0 seconds (average 4.8 seconds) to 2.2 seconds by the conventional perfect circle recognition. It can be reduced to ~ 3.8 seconds (3.0 seconds on average). Further, as can be seen from the figure, there is an effect that variations in required time in repeated picking are extremely reduced.
【００１２】図８に山積み部品からの高速ピッキングの
基本ステップと多形状部品への対応法を示した。前述の
実施例においては、図中の製品形状が“円”群である穴
付部品のピッキングについて述べたが、この他、平行部
付部品やピン付部品についても、それら単純形状部位を
特定部位として限定認識させることにより、同様の作動
及び効果を得ることができる。又、本発明は山積み部品
を対象としているが、平面上に単独に１個だけ置かれた
部品や数個散在した状態で置かれた部品、更に、仕切り
の付いたトレー内に分離された状態で置かれた部品に対
しても同様に適用可能なことは明白である。FIG. 8 shows basic steps of high-speed picking from piled parts and a method of dealing with multi-shaped parts. In the above-described embodiment, the picking of the part with holes whose product shape is a “circle” group in the figure has been described. However, with respect to parts with parallel parts and parts with pins, the simple shape parts are specified as specific parts. By performing the limited recognition as, it is possible to obtain the same operation and effect. Further, although the present invention is directed to a piled-up component, only one component placed on a plane alone, a few components placed in a scattered state, and a state where they are separated in a tray with partitions. It is obvious that the same can be applied to the parts placed at.
【００１３】[0013]
【発明の効果】本発明は、以上説明したように構成さ
れ、部品の把持可能な単純形状から成る特定部位が基準
姿勢をとるときの形状を特定するデータにより予め設定
された照合モデルと、ロボットのハンドによる特定部位
の把持可能な範囲を表すその特定部位の基準姿勢に対す
る傾斜の許容限界角度に基づいて予め設定され、特定部
位と照合モデルとの許容される不一致の範囲を示した照
合限界値とが記憶され、２次元画像の中から照合モデル
に対して、照合限界値により規定される不一致の範囲内
で認識された１つの部分が特定部位として検出され、そ
の検出された特定部位の位置が決定され、その位置にハ
ンドを位置決めして特定部位をピックアップさせる指令
がロボット側に送信される。従って、部品の特定部位が
把持可能な傾き角度内に存在する限りその特定部位は照
合され認識される。そして、認識され決定された特定部
位の位置にロボットのハンドが位置決めされ部品がピッ
クアップされる。このように、部品の特定部位に対応し
た照合モデルによる照合では、その照合に要する時間が
極めて少なくて済むことになる。又、部品が傾いていて
も把持可能な傾斜の許容限界角度内であれば、部品の特
定部位は照合限界値内にあるため確実に認識され、ロボ
ットのハンドにより把持される確率が大幅に向上する。The present invention is configured as described above, and has a collation model preset with data for specifying the shape when a specific portion of a simple shape of a part that can be gripped takes a reference posture, and a robot. Matching limit value that is set in advance based on the allowable limit angle of inclination of the specific part with respect to the reference posture, which represents the range in which the specific part can be gripped by the hand, and indicates the range of allowable mismatch between the specific part and the matching model. Is stored in the two-dimensional image, one part recognized within the range of non-coincidence defined by the matching limit value with respect to the matching model is detected as the specific portion, and the position of the detected specific portion is detected. Is determined, and a command to position the hand at that position and pick up a specific part is transmitted to the robot side. Therefore, as long as the specific part of the component exists within the tilt angle at which it can be gripped, the specific part is collated and recognized. Then, the robot hand is positioned at the position of the recognized and determined specific portion, and the component is picked up. As described above, in the collation using the collation model corresponding to the specific part of the component, the time required for the collation is extremely short. In addition, even if the part is tilted, if it is within the allowable tilt angle for gripping, the specific part of the part is surely recognized because it is within the collation limit value, and the probability of being gripped by the robot hand is greatly improved. To do.
【図１】本発明の具体的な一実施例に係る山積み部品の
高速ピッキング装置を示した全体構成図である。FIG. 1 is an overall configuration diagram showing a high-speed picking device for piled parts according to a specific embodiment of the present invention.
【図２】同実施例装置の主要部の構成を示したブロック
ダイヤグラムである。FIG. 2 is a block diagram showing a configuration of a main part of the apparatus of the embodiment.
【図３】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。FIG. 3 is a flowchart showing a processing procedure of a central processing unit used in the apparatus of the embodiment.
【図４】同実施例に係る真円又は楕円における中心の算
出方法を示した説明図である。FIG. 4 is an explanatory diagram showing a method of calculating the center of a perfect circle or an ellipse according to the embodiment.
【図５】同実施例に係るピッキング可否を決めるワーク
姿勢を示した説明図である。FIG. 5 is an explanatory diagram showing a work posture that determines picking propriety according to the embodiment.
【図６】同実施例に係るワーク傾き角度に対する認識個
数とチャック成功確率を示した説明図である。FIG. 6 is an explanatory diagram showing a recognized number and a chuck success probability with respect to a work tilt angle according to the embodiment.
【図７】真円認識又は楕円認識におけるサイクルタイム
のそれぞれの確認結果を示した説明図である。FIG. 7 is an explanatory diagram showing respective confirmation results of cycle times in perfect circle recognition or ellipse recognition.
【図８】山積み部品からの高速ピッキングの基本ステッ
プと多形状部品への対応法を示した説明図である。FIG. 8 is an explanatory diagram showing a basic step of high-speed picking from a piled component and a method of dealing with a multi-shaped component.
【図９】本発明の概念を示したブロックダイヤグラムで
ある。FIG. 9 is a block diagram showing the concept of the present invention.
【符号の説明】 １０−画像入力用カメラ ２０−物体認識装置 ２
１−中央処理装置 ２２−画像処理装置 ２３−記憶装置 ２４−照明
制御回路 ３０−ピッキング用ロボット ４０−（ロボットの）
ハンド Ｔ−トレー Ｗ−ワーク（部品） １００−高速ピッキング装置 ステップ１０６，１０８−特定部位検出手段 ステップ１１０〜１１４−位置決定手段 ステップ１１６−指令手段[Explanation of Codes] 10-camera for image input 20-object recognition device 2
1-Central Processing Unit 22-Image Processing Device 23-Memory Device 24-Lighting Control Circuit 30-Picking Robot 40- (Robot)
Hand T-Tray W-Work (part) 100-High-speed picking device Steps 106 and 108-Specific part detecting means Steps 110 to 114-Position determining means Step 116-Command means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原田 浩史 愛知県刈谷市昭和町１丁目１番地 日本電 装株式会社内 ----------------------------------------------------------------------------------------------------------------------------------------- ─── Continuation of the front page (72) Inventor Hiroshi Harada 1-1-1, Showa-cho, Kariya city, Aichi prefecture Nihon Denso Co., Ltd.
Claims (1)
め、その輪郭線から輪郭線を構成する複数の構成線分を
抽出し、その構成線分から前記部品を認識してロボット
のハンドにより把持させる高速ピッキング装置におい
て、 前記２次元画像において前記部品の把持可能な単純形状
から成る特定部位を認識するための該特定部位に対応し
たモデルであって、前記特定部位が基準姿勢をとるとき
の形状を特定するデータにより予め設定される照合モデ
ルを記憶する照合モデル記憶手段と、 前記ハンドによる前記特定部位の把持可能な範囲を表す
該特定部位の前記基準姿勢に対する傾斜の許容限界角度
に基づいて予め設定され、前記特定部位と前記照合モデ
ルとの許容される不一致の範囲を示した照合限界値を記
憶する照合限界値記憶手段と、 前記２次元画像の中から前記照合モデルに対して、前記
照合限界値により規定される不一致の範囲内で認識され
た１つの部分を前記特定部位として検出する特定部位検
出手段と、 検出された前記特定部位の位置を決定する位置決定手段
と、 前記位置に前記ハンドを位置決めして前記特定部位をピ
ックアップさせる指令手段とを備えたことを特徴とする
山積み部品の高速ピッキング装置。1. A contour line of a piled-up component is obtained from a two-dimensional image, a plurality of constituent line segments constituting the contour line are extracted from the contour line, the component is recognized from the constituent line segment, and grasped by a robot hand. In the high-speed picking device, a model corresponding to the specific part for recognizing the specific part of the simple shape of the part that can be gripped in the two-dimensional image, and the shape when the specific part takes a reference posture Collation model storage means for storing a collation model preset by the data for specifying, and based on an allowable limit angle of inclination of the specific portion with respect to the reference posture, which represents a grippable range of the specific portion by the hand, in advance. Collation limit value storage means for storing a collation limit value that is set and indicates a range of allowable mismatch between the specific portion and the collation model; Specific part detecting means for detecting, as the specific part, one part recognized within the non-coincidence range defined by the matching limit value from the two-dimensional image with respect to the matching model, and the detected part. A high-speed picking device for piled parts, comprising: position determining means for determining the position of a specific portion; and command means for positioning the hand at the position to pick up the specific portion.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3313975A JP2555823B2 (en) | 1991-10-30 | 1991-10-30 | High-speed picking device for piled parts |
| GB9222280A GB2261069B (en) | 1991-10-30 | 1992-10-23 | High speed picking system for stacked parts |
| US07/968,065 US5446835A (en) | 1991-10-30 | 1992-10-29 | High-speed picking system for stacked parts |
| DE4236813A DE4236813C2 (en) | 1991-10-30 | 1992-10-30 | High-speed gripping system for superimposed objects or parts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3313975A JP2555823B2 (en) | 1991-10-30 | 1991-10-30 | High-speed picking device for piled parts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05127723A true JPH05127723A (en) | 1993-05-25 |
| JP2555823B2 JP2555823B2 (en) | 1996-11-20 |
Family
ID=18047736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3313975A Expired - Fee Related JP2555823B2 (en) | 1991-10-30 | 1991-10-30 | High-speed picking device for piled parts |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2555823B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010120141A (en) * | 2008-11-21 | 2010-06-03 | Ihi Corp | Picking device for workpieces loaded in bulk and method for controlling the same |
| JP2013117795A (en) * | 2011-12-01 | 2013-06-13 | Canon Inc | Image processor and image processing method |
| JP2014240110A (en) * | 2013-06-12 | 2014-12-25 | 三菱電機株式会社 | Bin picking performance evaluation device and bin picking performance evaluation method |
| US20220405506A1 (en) * | 2021-06-22 | 2022-12-22 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5835926B2 (en) | 2011-04-11 | 2015-12-24 | キヤノン株式会社 | Information processing apparatus, information processing apparatus control method, and program |
| KR102081139B1 (en) * | 2014-03-12 | 2020-02-25 | 한국전자통신연구원 | Object peaking system, object detecting device and method thereof |
-
1991
- 1991-10-30 JP JP3313975A patent/JP2555823B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010120141A (en) * | 2008-11-21 | 2010-06-03 | Ihi Corp | Picking device for workpieces loaded in bulk and method for controlling the same |
| JP2013117795A (en) * | 2011-12-01 | 2013-06-13 | Canon Inc | Image processor and image processing method |
| JP2014240110A (en) * | 2013-06-12 | 2014-12-25 | 三菱電機株式会社 | Bin picking performance evaluation device and bin picking performance evaluation method |
| US20220405506A1 (en) * | 2021-06-22 | 2022-12-22 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2555823B2 (en) | 1996-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2555822B2 (en) | High-speed picking device for piled parts | |
| US7283661B2 (en) | Image processing apparatus | |
| US6845296B2 (en) | Object taking out apparatus | |
| US4920572A (en) | Object recognition system for a robot | |
| US20080253612A1 (en) | Method and an Arrangement for Locating and Picking Up Objects From a Carrier | |
| JP2016181183A (en) | Information processing apparatus, information processing method, and program | |
| JP2555824B2 (en) | High-speed picking device for piled parts | |
| JP3225740B2 (en) | High-speed picking device for piled parts | |
| CN112464410B (en) | Method and device for determining workpiece grabbing sequence, computer equipment and medium | |
| JP2679490B2 (en) | High-speed picking device for piled parts | |
| CN112802093A (en) | Object grabbing method and device | |
| JP2555823B2 (en) | High-speed picking device for piled parts | |
| JP2000263482A (en) | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP2017170567A (en) | Workpiece recognition method and random picking method | |
| JP2861014B2 (en) | Object recognition device | |
| JP6041710B2 (en) | Image recognition method | |
| JPH08315152A (en) | Image recognition device | |
| JPH10118975A (en) | Handling position recognizing method and recognizing device | |
| Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping | |
| JPH0953915A (en) | Method for recognizing overlapping state | |
| JPH03202290A (en) | Take-up device for articles loaded in bulk | |
| CN114092428A (en) | Image data processing method, image data processing device, electronic equipment and storage medium | |
| CN114022342A (en) | Acquisition method and device for acquisition point information, electronic equipment and storage medium | |
| CN114022341A (en) | Acquisition method and device for acquisition point information, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |