JPH05127722A - High-speed picking device for stacked component - Google Patents
High-speed picking device for stacked componentInfo
- Publication number
- JPH05127722A JPH05127722A JP3313974A JP31397491A JPH05127722A JP H05127722 A JPH05127722 A JP H05127722A JP 3313974 A JP3313974 A JP 3313974A JP 31397491 A JP31397491 A JP 31397491A JP H05127722 A JPH05127722 A JP H05127722A
- Authority
- JP
- Japan
- Prior art keywords
- specific
- parts
- hands
- collation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ロボットによりトレー
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-speed picking device capable of gripping a stack of parts stored in a tray by a robot one by one.
【０００２】[0002]
【従来技術】従来、複数の部品の中から部品を一つずつ
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。2. Description of the Related Art Conventionally, as a means for picking one of a plurality of parts one by one, grayscale image data is generated from a video signal captured by an image input camera, and a ridgeline of differentiated edge image data is traced. Then, the contour line is extracted to obtain a line segment image. A method is known in which pattern matching is performed between this line segment image and a matching model corresponding to the shape of the gripped component, and the component located at the top is recognized and picked up.
【０００３】[0003]
【発明が解決しようとする課題】ところで、一般的な工
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。By the way, parts and the like in general industrial products are usually supplied in a pile in a tray or the like. Then, these parts overlap each other and exist in a state in which each part has a sharp inclination. It is extremely rare that the parts located at the top of the pile match the collation model when there is no inclination, and it is almost impossible to recognize and pick one part from the pile parts. There was a problem.
【０００４】本発明は、上記の課題を解決するために成
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識することであ
る。The present invention has been made to solve the above problems, and an object of the present invention is to select a specific portion consisting of a simple shape of a part that can be gripped by a robot hand from a pile of parts. Is to recognize at high speed.
【０００５】[0005]
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、図６にその概念を示したように、２次
元画像から山積み部品の輪郭線を求め、その輪郭線から
輪郭線を構成する複数の構成線分を抽出し、その構成線
分から前記部品を認識してロボットのハンドにより把持
させる高速ピッキング装置において、前記２次元画像に
おいて前記部品の把持可能な単純形状から成る複数の特
定部位を認識するための該複数の特定部位に対応した複
数のモデルであって、前記複数の特定部位がそれぞれ基
準姿勢をとるときの形状を特定するデータにより予め設
定される複数の照合モデルを記憶する照合モデル記憶手
段と、前記複数の特定部位に対応して該複数の特定部位
をそれぞれ把持し得る複数のハンドの情報を記憶したハ
ンド情報記憶手段と、前記２次元画像の中から前記複数
の照合モデルとの照合により認識された１つの部分を前
記複数の特定部位のうちの１つとして検出する特定部位
検出手段と、検出された前記特定部位の位置を決定する
位置決定手段と、決定された前記位置の前記特定部位に
対応する前記複数のハンドのうちの１つを選択すると共
に位置決めして前記特定部位をピックアップさせる指令
手段とを備えたことを特徴とする。The constitution of the invention for solving the above-mentioned problems is, as the concept is shown in FIG. 6, obtaining a contour line of a piled-up component from a two-dimensional image, and calculating the contour line from the contour line. In a high-speed picking device that extracts a plurality of constituent line segments that make up the component, recognizes the component from the component line segment, and grips the component with a robot hand, A plurality of models corresponding to the plurality of specific parts for recognizing the specific part, wherein a plurality of matching models preset by data specifying a shape when each of the plurality of specific parts has a reference posture is selected. Collation model storage means for storing, and hand information storage means for storing information of a plurality of hands capable of gripping the plurality of specific parts corresponding to the plurality of specific parts. , A specific part detection unit that detects one part recognized from the two-dimensional image by matching with the plurality of matching models as one of the plurality of specific parts, and a specific part of the detected specific parts. Position determining means for determining a position, and command means for selecting and positioning one of the plurality of hands corresponding to the specific portion at the determined position to pick up the specific portion Is characterized by.
【０００６】[0006]
【作用】照合モデル記憶手段には２次元画像において部
品の把持可能な単純形状から成る複数の特定部位を認識
するためのそれら特定部位に対応した複数のモデルであ
って、上記複数の特定部位がそれぞれ基準姿勢をとると
きの形状を特定するデータにより予め設定された複数の
照合モデルが記憶されている。又、ハンド情報記憶手段
には上記複数の特定部位に対応してそれら複数の特定部
位をそれぞれ把持し得る複数のハンドの情報が記憶され
ている。特定部位検出手段により上記２次元画像の中か
ら上記複数の照合モデルとの照合により認識された１つ
の部分が上記複数の特定部位のうちの１つとして検出さ
れる。そして、位置決定手段により検出された上記特定
部位の位置が決定される。この後、指令手段により上記
位置決定手段にて決定された位置に上記ハンド情報記憶
手段に記憶された複数のハンドの情報のうちの１つから
ハンドを選択し位置決めして上記特定部位をピックアッ
プさせる指令がロボット側に出力される。In the collation model storage means, a plurality of models corresponding to the specific parts for recognizing a plurality of specific parts that can be grasped by the component in the two-dimensional image are provided. A plurality of collation models preset by data for specifying the shape when the reference posture is taken are stored. Further, the hand information storage means stores information of a plurality of hands capable of gripping each of the plurality of specific parts corresponding to the plurality of specific parts. The specific portion detecting means detects one portion recognized by the collation with the plurality of collation models from the two-dimensional image as one of the plurality of specific portions. Then, the position of the specific portion detected by the position determining means is determined. Thereafter, the hand is selected from one of the information of the plurality of hands stored in the hand information storage means at the position determined by the position determination means by the command means, positioned, and the specific portion is picked up. The command is output to the robot side.
【０００７】[0007]
【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０と物体認識装置２０とフィンガが先端に配設され
山積み部品の中から一つの部品（以下、ワークともい
う）Ｗを把持するためのハンド４０を有するピッキング
用ロボット３０と交換用ハンド４１，４２，４３とから
成る。尚、各ハンドはワークＷの特定部位に対応し適宜
ピッキング用ロボット３０に装着される。例えば、図の
ピッキング用ロボット３０に装着されたハンド４０はワ
ークＷの単純形状から成る特定部位として丸穴の内径な
ど、交換用ハンド４１はワークＷの外形など、交換用ハ
ンド４２はワークＷの穴に挿入して裏側からの引っ掛け
など、又、交換用ハンド４３はワークＷの平面部に吸着
などによりそれぞれワークＷを把持可能である。そし
て、作業台の上には山積み状態でワークＷが収容された
トレーＴが載置されている。EXAMPLES The present invention will be described below based on specific examples. FIG. 1 is an overall configuration diagram showing a high-speed picking device for piled parts according to the present invention, and FIG. 2 is a block diagram showing the configuration of the main part of the device of the same embodiment.
The high-speed picking device 100 mainly has an image input camera 10, an object recognition device 20, and a hand 40 for holding one part (hereinafter, also referred to as a work) W from among piled parts with a finger arranged at the tip. It comprises a picking robot 30 and replacement hands 41, 42, 43. It should be noted that each hand corresponds to a specific part of the work W and is appropriately attached to the picking robot 30. For example, the hand 40 attached to the picking robot 30 shown in the drawing is the inner diameter of a round hole as a specific portion having a simple shape of the work W, the replacement hand 41 is the outer shape of the work W, and the replacement hand 42 is the work W. The work W can be gripped by being inserted into the hole and hooked from the back side, or by the replacement hand 43 being attracted to the flat surface of the work W. A tray T accommodating the works W in a pile is placed on the workbench.
【０００８】図２において、トレーＴ内には山積み状態
でワークＷが収容されており、そのトレーＴの上部から
ワークＷを撮像する画像入力用カメラ１０が設けられて
いる。又、トレーＴの中央上部からワークＷを一様に照
明する照明装置Ｌが設けられている。物体認識装置２０
は、照合、判定等のデータ処理を行う中央処理装置２１
と、画像入力用カメラ１０により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エッジ画像を求めるなど
のデータ処理を行う画像処理装置２２と、照合モデルに
関するデータや検出物体に関するデータを記憶する記憶
装置２３と、照明制御回路２４とで構成されている。更
に、画像処理装置２２は、画像入力用カメラ１０の出力
する映像信号をサンプリングして、濃淡レベルをディジ
タル化した濃淡画像データを生成する画像入力装置２２
１と、その濃淡画像データから微分演算により明度勾配
を求め、物体画像のエッジを表すエッジ画像データを生
成するエッジ検出装置２２２と、そのエッジ画像データ
から輪郭線を追跡し、その輪郭線を構成する構成線分を
抽出し、その構成線分の位置に関するデータを生成する
線分抽出装置２２３とで構成されている。又、記憶装置
２３はＲＡＭ等で構成されており、ワークＷの複数の特
定部位が基準姿勢をとるときの形状を特定するデータに
より予め設定される複数の照合モデルを記憶し、照合モ
デル記憶手段を達成する照合モデルメモリ領域２３１
と、複数の特定部位をそれぞれ把持し得る複数のハンド
の情報を記憶し、ハンド情報記憶手段を達成するハンド
情報メモリ領域２３２と、トレーＴ内の山積みの多数の
ワークＷに対応する線分画像が照合された結果を記憶す
る認識結果メモリ領域２３３などから成る。In FIG. 2, the trays T accommodate the workpieces W in a piled state, and an image input camera 10 for picking up images of the workpieces W from the upper portion of the tray T is provided. Further, an illuminating device L for uniformly illuminating the work W from the upper center of the tray T is provided. Object recognition device 20
Is a central processing unit 21 that performs data processing such as collation and determination.
Data for processing the video signal obtained by the image input camera 10 to detect the contour line of the detected object, extracting the constituent line segments forming the contour line, and obtaining the composite edge image. An image processing device 22 that performs processing, a storage device 23 that stores data regarding a matching model and data regarding a detected object, and an illumination control circuit 24. Further, the image processing device 22 samples the video signal output from the image input camera 10 and generates the grayscale image data in which the grayscale level is digitized to generate the grayscale image data.
1 and an edge detection device 222 that obtains edge image data representing an edge of an object image by calculating a lightness gradient from the grayscale image data by differential operation, and a contour line is traced from the edge image data, and the contour line is configured. And a line segment extraction device 223 that generates data regarding the position of the component line segment. Further, the storage device 23 is composed of a RAM or the like, and stores a plurality of collation models preset by data for identifying the shapes when the plurality of specific parts of the work W assume the reference posture, and the collation model storage means. Model memory area 231 that achieves
And a line segment image corresponding to a large number of piled works W in the tray T, and a hand information memory area 232 that stores information of a plurality of hands capable of gripping a plurality of specific parts, respectively, and achieves a hand information storage unit. Is composed of a recognition result memory area 233 for storing the result of collation.
【０００９】次に、画像入力用カメラ１０により山積み
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から複数の特定部位とし
て、例えば、図４の状態１のハッチングされた平行なピ
ン部の稜線を照合モデル“平行で長さの等しい線分”と
した照合モデル(1) 、図４の状態２のハッチングされた
平行なピン部の稜線を照合モデル“平行で長さの異なる
線分”とした照合モデル(2) 、又、図４の状態３のハッ
チングされた丸穴を照合モデル“円”とした照合モデル
(3) によりそれぞれ照合選定させる場合について、物体
認識装置２０の処理手順を示した図３のフローチャート
に基づいて本装置の作用を説明する。照明制御回路２４
により照明装置Ｌが点燈され、画像入力用カメラ１０で
得られた映像信号が画像入力装置２２１に入力される。
そして、画像入力装置２２１では、映像信号をサンプリ
ングしてディジタル信号に変換して濃淡画像が生成され
る。その濃淡画像データはエッジ検出装置２２２に入力
し、微分されてエッジ画像が生成される。そのエッジ画
像データは線分抽出装置２２３に入力し、稜線を追跡す
ることで物体の輪郭線が抽出される。更に、その輪郭線
は折線や円などで近似され線分画像が得られる。そし
て、ステップ１００において、中央処理装置１は画像処
理装置２２にて得られた線分画像を入力する。次にステ
ップ１０２に移行して、入力された線分画像から一続き
の線分群が抽出され、ワークＷの特定部位“平行（距離
ｍ1)で長さ（ｌ1)の等しい線分”に対応する照合モデル
(1) により探索される。尚、複数の照合モデルに対する
探索の順序は、例えば、図４に示されたトレー内におけ
る各状態の存在比率の高いものからとされる。又、予め
各状態におけるピッキング成功確率が分かっていれば、
そのピッキング成功確率の高い状態に対応した照合モデ
ルから順に探索するようにしても良い。次にステップ１
０４に移行して、ステップ１０２の照合モデル(1) の探
索によって該当ワークが見つかったか否かが判定され
る。ステップ１０４で該当ワークがあると、ステップ１
０６に移行し、照合モデル(1) にて探索されたワークＷ
の特定部位の位置（方向を有する中心座標位置）及びそ
の特定部位を把持可能なハンド（ハンド番号）などの情
報をピッキング用ロボット３０側へ送信する。ここで、
ステップ１０４で該当ワークがないと、ステップ１０８
に移行し、入力された線分画像から一続きの線分群が抽
出され、ワークＷの特定部位“平行（距離ｍ2)で長さ
（ｌ2,ｌ3)の異なる線分”に対応する照合モデル(2) に
より探索される。次にステップ１１０に移行して、ステ
ップ１０８の照合モデル(2) の探索によって該当ワーク
が見つかったか否かが判定される。ステップ１１０で該
当ワークがあると、ステップ１１２に移行し、照合モデ
ル(2) にて探索されたワークＷの特定部位の位置（方向
を有する中心座標位置）及びその特定部位を把持可能な
ハンド（ハンド番号）などの情報をピッキング用ロボッ
ト３０側へ送信する。ここで、ステップ１１０で該当ワ
ークがないと、ステップ１１４に移行し、入力された線
分画像から一続きの線分群が抽出され、ワークＷの特定
部位“円（φｃ）”に対応する照合モデル(3) により探
索される。尚、上述のステップ１０２，１０８，１１４
における照合モデル(1),(2),(3)はワークＷの特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定されるのであるが、ワークＷが傾斜した場合にも
把持可能となる許容限界角度などにより照合の一致範囲
が拡大されて探索される。次にステップ１１６に移行し
て、ステップ１１４の照合モデル(3) の探索によって該
当ワークが見つかったか否かが判定される。ステップ１
１６で該当ワークがあると、ステップ１１８に移行し、
照合モデル(3) にて探索されたワークＷの特定部位の位
置（中心座標位置）及びその特定部位を把持可能なハン
ド（ハンド番号）などの情報をピッキング用ロボット３
０側へ送信する。ここで、ステップ１１６でも該当ワー
クがないと、ステップ１２０に移行し、次回の画像入力
時には山積みされたワークＷの状態を変え、照合モデル
にて探索される確率を増すために図示しない加振装置に
トレーＴの加振指令が出力される。次にステップ１２２
に移行し、加振回数Ｃがカウントされる。この加振回数
は、プログラムの最初に０とされ、全ての照合モデルに
ついて各１回の探索が不成功に終わる毎にカウントアッ
プされる。そして、ステップ１２４で、加振回数Ｃ≧３
であるか否かが判定される。即ち、３回加振しても状態
が変わらず全ての照合モデルについて各３回の探索が不
成功であれば、トレーＴ内にワークＷがなくなっている
か或いはトレーＴ内のワークＷが存在する状態が余程悪
く、これ以上ワーク探索を続けることは不適当であると
して、本プログラムを終了する。ここで、特定部位検出
手段はステップ１０２，１０８，１１４にて、位置決定
手段はステップ１０４，１１０，１１６にて指令手段は
ステップ１０６，１１２，１１８にてそれぞれ達成され
る。Next, after inputting video signals of a large number of works W in a piled state by the image input camera 10 and extracting the constituent line segments, a plurality of specific parts, for example, as shown in FIG. The matching model (1) in which the ridge lines of the hatched parallel pin portions in the state 1 of FIG. 4 are used as the collation model “parallel and equal length line segments”, and the ridge lines of the hatched parallel pin portions in the state 2 of FIG. Collation model (2) which is a collation model "parallel and lines with different lengths", and a collation model which is the circle model with hatched circular holes in state 3 in Fig. 4
The operation of the present apparatus will be described based on the flowchart of FIG. Lighting control circuit 24
The illuminating device L is turned on, and the video signal obtained by the image input camera 10 is input to the image input device 221.
Then, in the image input device 221, the video signal is sampled and converted into a digital signal to generate a grayscale image. The grayscale image data is input to the edge detection device 222 and differentiated to generate an edge image. The edge image data is input to the line segment extraction device 223, and the contour line of the object is extracted by tracing the ridge line. Further, the contour line is approximated by a polygonal line or a circle to obtain a line segment image. Then, in step 100, the central processing unit 1 inputs the line segment image obtained by the image processing unit 22. Next, the process proceeds to step 102, and a series of line segment groups is extracted from the input line segment image, and becomes a specific portion of the work W "line segment having parallel (distance m 1 ) and equal length (l 1 )". Corresponding matching model
Searched by (1). The search order for the plurality of collation models is, for example, from the one in which the existence ratio of each state in the tray shown in FIG. 4 is high. If the probability of successful picking in each state is known in advance,
You may make it search sequentially from the collation model corresponding to the state with the high picking success probability. Next step 1
Moving to 04, it is determined whether or not the corresponding work is found by the search of the matching model (1) in step 102. If there is a corresponding work in step 104, step 1
Work W searched for in collation model (1) after moving to 06
The information such as the position (center coordinate position having a direction) of the specific part and the hand (hand number) capable of gripping the specific part is transmitted to the picking robot 30 side. here,
If there is no corresponding work in step 104, step 108
Then, a series of line segment groups is extracted from the input line segment image and corresponds to a specific portion of the work W "parallel (distance m 2 ) and different length (l 2, l 3 ) line segments". It is searched by the matching model (2). Next, the routine proceeds to step 110, where it is judged whether or not the corresponding work is found by the search of the collation model (2) at step 108. If there is a corresponding work in step 110, the process proceeds to step 112, and the position (center coordinate position having a direction) of the specific portion of the work W searched by the collation model (2) and the hand () capable of gripping the specific portion. Information such as a hand number) is transmitted to the picking robot 30 side. Here, if there is no corresponding work in step 110, the process proceeds to step 114, a series of line segment groups is extracted from the input line segment image, and the matching model corresponding to the specific portion “circle (φc)” of the work W is extracted. It is searched by (3). Incidentally, the above steps 102, 108, 114.
The collation models (1), (2), and (3) in (3) are set in advance by the data that specify the shape when the specific part of the work W takes the reference posture. The matching range of matching is expanded and searched according to the allowable allowable angle and the like. Next, the routine proceeds to step 116, where it is judged whether or not the corresponding work is found by the search of the matching model (3) at step 114. Step 1
If there is a corresponding work in 16, the process proceeds to step 118,
The picking robot 3 obtains information such as a position (center coordinate position) of a specific portion of the work W searched by the collation model (3) and a hand (hand number) capable of gripping the specific portion.
Send to 0 side. Here, if there is no corresponding work also in step 116, the process proceeds to step 120, the state of the work W piled up is changed at the next image input, and a vibrating device (not shown) is added to increase the probability of searching by the matching model. A vibration command for the tray T is output to. Next in step 122
Then, the vibration frequency C is counted. The number of times of vibration is set to 0 at the beginning of the program, and is counted up each time one search is unsuccessful for all matching models. Then, in step 124, the number of vibrations C ≧ 3
Is determined. That is, if the state does not change even after being vibrated three times and the search is unsuccessful three times for all matching models, there is no work W in the tray T or there is a work W in the tray T. The condition is so bad that it is inappropriate to continue the work search anymore, and this program is terminated. Here, the specific part detecting means is achieved in steps 102, 108 and 114, the position determining means is achieved in steps 104, 110 and 116, and the commanding means is achieved in steps 106, 112 and 118, respectively.
【００１０】上述のプログラムが実行されることによ
り、部品の複数の特定部位に対応した複数の照合モデル
の何れかにて認識された部品はピッキング用ロボット３
０のハンド４０或いは交換用ハンド４１，４２，４３の
何れかによりピッキングされることになる。このよう
に、部品の複数の特定部位に対応した複数のハンドによ
るピッキングではピッキング用ロボット３０による部品
のピッキング成功確率を大幅に向上できるという効果が
ある。前述の実施例においては、特定部位を探索する照
合モデルとピッキングするためのロボットのハンドが１
対１に対応しているように説明されているが、認識する
特定部位が異なってもそれらを同一のハンドにてピッキ
ングできる場合には、複数のハンドを必ずしも用意する
必要はない。この例としては、幅が異なった平行な特定
部位などがある。又、前述の実施例においては、部品の
複数の特定部位として円や平行な部分を選定した場合を
述べたが、この他、長穴、直線、円弧、コーナ部などを
特定部位として選定することもできる。更に、外形形状
ではない刻印又は印刷マークなどを特定部位として選定
することもできる。この場合には、特定部位の認識によ
りその位置から確定される外形形状の部位を把持位置と
して選定すれば良い。By executing the above-described program, the part recognized by any of the plurality of collation models corresponding to the plurality of specific parts of the part is picked by the picking robot 3
It is picked by either the 0 hand 40 or the replacement hands 41, 42, 43. As described above, the picking success probability of the component by the picking robot 30 can be significantly improved in the picking by the plurality of hands corresponding to the plurality of specific parts of the component. In the above-described embodiment, the robot hand for picking the collation model for searching a specific part is one.
Although it is described that they correspond to one-to-one correspondence, it is not necessary to prepare a plurality of hands if they can be picked by the same hand even if the specific parts to be recognized are different. An example of this is a parallel specific portion having a different width. Further, in the above-described embodiment, the case where circles or parallel portions are selected as a plurality of specific portions of the part has been described, but in addition to this, a long hole, a straight line, an arc, a corner portion or the like may be selected as a specific portion. You can also Further, it is also possible to select a marking or a printing mark that is not the outer shape as the specific portion. In this case, a part having an outer shape determined by the recognition of the specific part may be selected as the grip position.
【００１１】図５に山積み部品からの高速ピッキングの
基本ステップと多形状部品への対応法を示した。前述の
実施例においては、一つの部品に把持可能な幾つかの特
定部位がある場合を想定したピッキングについて述べた
が、トレー内に異種の部品が混在収容されているような
場合にも本装置は適用可能である。この場合には、各部
品の特定部位をそれぞれ限定認識させることにより、そ
れぞれの特定部位に適したハンドにより部品を確実に把
持させることができる。又、本発明は山積み部品を対象
としているが、平面上に単独に１個だけ置かれた部品や
数個散在した状態で置かれた部品、更に、仕切りの付い
たトレー内に分離された状態で置かれた部品に対しても
同様に適用可能なことは明白である。FIG. 5 shows the basic steps of high-speed picking from piled parts and a method of dealing with polymorphic parts. In the above-mentioned embodiment, picking was described assuming that there are several specific parts that can be held in one part, but the present device is also used when different kinds of parts are accommodated in a tray. Is applicable. In this case, the specific parts of the respective parts are limitedly recognized, so that the parts can be reliably gripped by the hands suitable for the respective specific parts. Further, although the present invention is directed to a piled-up component, only one component placed on a plane alone, a few components placed in a scattered state, and a state where they are separated in a tray with partitions. It is obvious that the same can be applied to the parts placed at.
【００１２】[0012]
【発明の効果】本発明は、以上説明したように構成さ
れ、部品の把持可能な単純形状から成る複数の特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定された複数の照合モデルと、複数の特定部位に対
応してそれら複数の特定部位をそれぞれ把持し得る複数
のロボットのハンドの情報とが記憶され、２次元画像の
中から複数の照合モデルとの照合により認識された１つ
の部分が上記複数の特定部位のうちの１つとして検出さ
れ、その検出された特定部位の位置が決定され、その位
置に複数のハンドのうちの１つを選択し位置決めして特
定部位をピックアップさせる指令がロボット側に送信さ
れる。従って、部品の複数の特定部位のうち一つでも照
合され認識される限りその特定部位を把持するのに適し
たロボットのハンドが選択され、認識され決定された特
定部位の位置にそのハンドが位置決めされ部品がピック
アップされる。このように、部品の複数の特定部位に対
応した複数の照合モデルによる照合では、それら特定部
位の認識される確率が増えることになる。そして、認識
された部品の特定部位に対応した位置及びハンドの選択
などのピッキング情報がロボット側に指示されるので、
ロボットのハンドにより部品が把持されるピッキング成
功確率を大幅に向上することができる。The present invention is configured as described above, and a plurality of collations set in advance by data for specifying the shape when a plurality of specific parts of a simple shape that can be held by a component assume a reference posture. The model and the information of the hands of the plurality of robots capable of respectively gripping the plurality of specific parts corresponding to the plurality of specific parts are stored and recognized by the matching with the plurality of matching models from the two-dimensional image. One part is detected as one of the plurality of specific parts, the position of the detected specific part is determined, and one of the plurality of hands is selected and positioned at that position to identify the specific part. A command to pick up is sent to the robot side. Therefore, as long as at least one of a plurality of specific parts of a part is collated and recognized, a robot hand suitable for gripping the specific part is selected, and the hand is positioned at the position of the recognized and determined specific part. The parts are picked up. As described above, in the collation by the plural collation models corresponding to the plural specific parts of the component, the probability that the specific parts are recognized increases. Then, since the picking information such as the position corresponding to the specific part of the recognized part and the selection of the hand is instructed to the robot side,
The probability of successful picking in which a part is gripped by the robot hand can be significantly improved.
【図１】本発明の具体的な一実施例に係る山積み部品の
高速ピッキング装置を示した全体構成図である。FIG. 1 is an overall configuration diagram showing a high-speed picking device for piled parts according to a specific embodiment of the present invention.
【図２】同実施例装置の主要部の構成を示したブロック
ダイヤグラムである。FIG. 2 is a block diagram showing a configuration of a main part of the apparatus of the embodiment.
【図３】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。FIG. 3 is a flowchart showing a processing procedure of a central processing unit used in the apparatus of the embodiment.
【図４】同実施例に係るワークが山積みでトレー内に収
容されている状態を示した説明図である。FIG. 4 is an explanatory diagram showing a state in which works according to the embodiment are stacked and accommodated in a tray.
【図５】山積み部品からの高速ピッキングの基本ステッ
プと多形状部品への対応法を示した説明図である。FIG. 5 is an explanatory diagram showing a basic step of high-speed picking from a piled-up component and a method of dealing with a multi-shaped component.
【図６】本発明の概念を示したブロックダイヤグラムで
ある。FIG. 6 is a block diagram showing the concept of the present invention.
１０−画像入力用カメラ ２０−物体認識装置 ２
１−中央処理装置 ２２−画像処理装置 ２３−記憶装置 ２４−照明
制御回路 ３０−ピッキング用ロボット ４０−（ロボットの）
ハンド ４１，４２，４３−交換用ハンド Ｔ−トレー Ｗ
−ワーク（部品） １００−高速ピッキング装置 ステップ１０２，１０８，１１４−特定部位検出手段 ステップ１０４，１１０，１１６−位置決定手段 ステップ１０６，１１２，１１８−指令手段10-camera for image input 20-object recognition device 2
1-Central Processing Unit 22-Image Processing Device 23-Memory Device 24-Lighting Control Circuit 30-Picking Robot 40- (Robot)
Hand 41, 42, 43-Replacement Hand T-Tray W
-Work (part) 100-High-speed picking device Steps 102, 108, 114-Specific part detecting means Steps 104, 110, 116-Position determining means Steps 106, 112, 118-Command means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原田 浩史 愛知県刈谷市昭和町１丁目１番地 日本電 装株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Hiroshi Harada 1-1-1, Showa-cho, Kariya city, Aichi Prefecture Nihondenso Co., Ltd.
Claims (1)
め、その輪郭線から輪郭線を構成する複数の構成線分を
抽出し、その構成線分から前記部品を認識してロボット
のハンドにより把持させる高速ピッキング装置におい
て、 前記２次元画像において前記部品の把持可能な単純形状
から成る複数の特定部位を認識するための該複数の特定
部位に対応した複数のモデルであって、前記複数の特定
部位がそれぞれ基準姿勢をとるときの形状を特定するデ
ータにより予め設定される複数の照合モデルを記憶する
照合モデル記憶手段と、 前記複数の特定部位に対応して該複数の特定部位をそれ
ぞれ把持し得る複数のハンドの情報を記憶したハンド情
報記憶手段と、 前記２次元画像の中から前記複数の照合モデルとの照合
により認識された１つの部分を前記複数の特定部位のう
ちの１つとして検出する特定部位検出手段と、検出され
た前記特定部位の位置を決定する位置決定手段と、 決定された前記位置の前記特定部位に対応する前記複数
のハンドのうちの１つを選択すると共に位置決めして前
記特定部位をピックアップさせる指令手段とを備えたこ
とを特徴とする山積み部品の高速ピッキング装置。1. A contour line of a piled-up component is obtained from a two-dimensional image, a plurality of constituent line segments constituting the contour line are extracted from the contour line, the component is recognized from the constituent line segment, and grasped by a robot hand. In the high-speed picking device, a plurality of models corresponding to the plurality of specific parts for recognizing a plurality of specific parts having a simple shape that can hold the part in the two-dimensional image, Collation model storage means for storing a plurality of collation models preset by data for specifying the shape when each takes a reference posture, and the plurality of specific portions can be gripped respectively corresponding to the plurality of specific portions. A hand information storage unit that stores information of a plurality of hands, and one portion recognized by the matching with the plurality of matching models from the two-dimensional image. A specific part detecting means for detecting as one of the plurality of specific parts, a position determining part for determining a position of the detected specific part; and a plurality of the plurality of parts corresponding to the specific part at the determined position. A high-speed picking device for stacking parts, comprising: commanding means for selecting and positioning one of the hands to pick up the specific portion.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3313974A JP2555822B2 (en) | 1991-10-30 | 1991-10-30 | High-speed picking device for piled parts |
| GB9222280A GB2261069B (en) | 1991-10-30 | 1992-10-23 | High speed picking system for stacked parts |
| US07/968,065 US5446835A (en) | 1991-10-30 | 1992-10-29 | High-speed picking system for stacked parts |
| DE4236813A DE4236813C2 (en) | 1991-10-30 | 1992-10-30 | High-speed gripping system for superimposed objects or parts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3313974A JP2555822B2 (en) | 1991-10-30 | 1991-10-30 | High-speed picking device for piled parts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05127722A true JPH05127722A (en) | 1993-05-25 |
| JP2555822B2 JP2555822B2 (en) | 1996-11-20 |
Family
ID=18047725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3313974A Expired - Fee Related JP2555822B2 (en) | 1991-10-30 | 1991-10-30 | High-speed picking device for piled parts |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2555822B2 (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07299782A (en) * | 1994-04-26 | 1995-11-14 | Kawasaki Heavy Ind Ltd | Method and device for image preparation for depalletizing |
| US7177459B1 (en) | 1999-04-08 | 2007-02-13 | Fanuc Ltd | Robot system having image processing function |
| JP2007219765A (en) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | Image processor, method therefor, and imaging processing program |
| JP2010184308A (en) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | Workpiece taking-out device |
| EP2524776A2 (en) | 2011-05-17 | 2012-11-21 | Kabushiki Kaisha Yaskawa Denki | Robot system |
| JP2015051040A (en) * | 2013-09-05 | 2015-03-19 | パナソニックヘルスケア株式会社 | Drug sorting device and sorting tray for drug sorting device |
| JP2015100866A (en) * | 2013-11-22 | 2015-06-04 | 三菱電機株式会社 | Robot simulation device, program, recording medium and method |
| JP2015104796A (en) * | 2013-12-02 | 2015-06-08 | トヨタ自動車株式会社 | Gripping method, transportation method and robot |
| CN105415370A (en) * | 2014-09-16 | 2016-03-23 | 发那科株式会社 | Article Pickup Apparatus For Picking Up Randomly Piled Articles |
| JP2016144841A (en) * | 2015-02-06 | 2016-08-12 | ファナック株式会社 | Transportation robot system equipped with three-dimensional sensor |
| JPWO2017051446A1 (en) * | 2015-09-22 | 2018-07-05 | 株式会社Ｆｕｊｉ | Parts supply system |
| JP2018535320A (en) * | 2015-10-30 | 2018-11-29 | シューラット テクノロジーズ, インク.Seurat Technologies Inc. | Additional manufacturing system and method |
| JP2020129694A (en) * | 2020-05-15 | 2020-08-27 | 株式会社Ｆｕｊｉ | Picking apparatus for scattered parts, and method for exchanging part holder |
| JP2020170871A (en) * | 2018-11-07 | 2020-10-15 | 株式会社Ｆｕｊｉ | Component holding device |
| JP2021062457A (en) * | 2019-10-16 | 2021-04-22 | トヨタ紡織株式会社 | Picking device |
| CN113021346A (en) * | 2021-03-23 | 2021-06-25 | 江南造船(集团)有限责任公司 | Control method for automatic welding and polishing of ship crane, computer storage medium and terminal |
| JP2022550502A (en) * | 2020-11-05 | 2022-12-02 | 株式会社Mujin | ROBOT TOOL AND METHOD OF OPERATION THEREOF |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5489000B2 (en) | 2010-08-31 | 2014-05-14 | 株式会社安川電機 | Working device and component picking system |
-
1991
- 1991-10-30 JP JP3313974A patent/JP2555822B2/en not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07299782A (en) * | 1994-04-26 | 1995-11-14 | Kawasaki Heavy Ind Ltd | Method and device for image preparation for depalletizing |
| US7177459B1 (en) | 1999-04-08 | 2007-02-13 | Fanuc Ltd | Robot system having image processing function |
| JP2007219765A (en) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | Image processor, method therefor, and imaging processing program |
| JP2010184308A (en) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | Workpiece taking-out device |
| EP2524776A2 (en) | 2011-05-17 | 2012-11-21 | Kabushiki Kaisha Yaskawa Denki | Robot system |
| US8825212B2 (en) | 2011-05-17 | 2014-09-02 | Kabushiki Kaisha Yaskawa Denki | Robot system |
| JP2015051040A (en) * | 2013-09-05 | 2015-03-19 | パナソニックヘルスケア株式会社 | Drug sorting device and sorting tray for drug sorting device |
| JP2015100866A (en) * | 2013-11-22 | 2015-06-04 | 三菱電機株式会社 | Robot simulation device, program, recording medium and method |
| JP2015104796A (en) * | 2013-12-02 | 2015-06-08 | トヨタ自動車株式会社 | Gripping method, transportation method and robot |
| JP2016059983A (en) * | 2014-09-16 | 2016-04-25 | ファナック株式会社 | Article take-out device for taking out article in bulk |
| CN105415370A (en) * | 2014-09-16 | 2016-03-23 | 发那科株式会社 | Article Pickup Apparatus For Picking Up Randomly Piled Articles |
| US9694499B2 (en) | 2014-09-16 | 2017-07-04 | Fanuc Corporation | Article pickup apparatus for picking up randomly piled articles |
| JP2016144841A (en) * | 2015-02-06 | 2016-08-12 | ファナック株式会社 | Transportation robot system equipped with three-dimensional sensor |
| JPWO2017051446A1 (en) * | 2015-09-22 | 2018-07-05 | 株式会社Ｆｕｊｉ | Parts supply system |
| JP2018535320A (en) * | 2015-10-30 | 2018-11-29 | シューラット テクノロジーズ, インク.Seurat Technologies Inc. | Additional manufacturing system and method |
| US11666971B1 (en) | 2015-10-30 | 2023-06-06 | Seurat Technologies, Inc. | Additive manufacturing system and method |
| JP2020170871A (en) * | 2018-11-07 | 2020-10-15 | 株式会社Ｆｕｊｉ | Component holding device |
| JP2021062457A (en) * | 2019-10-16 | 2021-04-22 | トヨタ紡織株式会社 | Picking device |
| JP2020129694A (en) * | 2020-05-15 | 2020-08-27 | 株式会社Ｆｕｊｉ | Picking apparatus for scattered parts, and method for exchanging part holder |
| JP2022550502A (en) * | 2020-11-05 | 2022-12-02 | 株式会社Mujin | ROBOT TOOL AND METHOD OF OPERATION THEREOF |
| CN113021346A (en) * | 2021-03-23 | 2021-06-25 | 江南造船(集团)有限责任公司 | Control method for automatic welding and polishing of ship crane, computer storage medium and terminal |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2555822B2 (en) | 1996-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2555822B2 (en) | High-speed picking device for piled parts | |
| US7283661B2 (en) | Image processing apparatus | |
| US10124489B2 (en) | Locating, separating, and picking boxes with a sensor-guided robot | |
| EP1945416B1 (en) | A method and an arrangement for locating and picking up objects from a carrier | |
| JP2555824B2 (en) | High-speed picking device for piled parts | |
| JP3225740B2 (en) | High-speed picking device for piled parts | |
| JPH0788791A (en) | Robot device and its peripheral device | |
| WO2020022302A1 (en) | Grasping device | |
| JP2679490B2 (en) | High-speed picking device for piled parts | |
| KR20190113140A (en) | Auto picking system and method for automatically picking using the same | |
| JP2555823B2 (en) | High-speed picking device for piled parts | |
| JP2002200588A (en) | Device and method for detecting holding position of component holdable by robot | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP2000263482A (en) | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot | |
| JP2017170567A (en) | Workpiece recognition method and random picking method | |
| JPH02189691A (en) | Device for recognizing object | |
| JPH08315152A (en) | Image recognition device | |
| JP6041710B2 (en) | Image recognition method | |
| JP6644846B1 (en) | Work position and orientation recognition device and picking system | |
| CN212724028U (en) | Vision robot grasping system | |
| JPH10118975A (en) | Handling position recognizing method and recognizing device | |
| Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping | |
| WO2022239477A1 (en) | Information processing device, system, method, and program | |
| JP3375242B2 (en) | Robot object recognition method and apparatus | |
| CN116197885B (en) | Image data filtering method, device, equipment and medium based on press-fit detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |