JPH0797059A - Object takeout device - Google Patents
Object takeout deviceInfo
- Publication number
- JPH0797059A JPH0797059A JP24178093A JP24178093A JPH0797059A JP H0797059 A JPH0797059 A JP H0797059A JP 24178093 A JP24178093 A JP 24178093A JP 24178093 A JP24178093 A JP 24178093A JP H0797059 A JPH0797059 A JP H0797059A
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- camera
- information
- pallet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は物体取出装置に係り、特
に、物体の三次元位置を認識し、該物体を把持するため
の把持手段を三次元的に制御する物体取出装置に関する
ものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object take-out device, and more particularly to an object take-out device for recognizing a three-dimensional position of an object and three-dimensionally controlling a holding means for holding the object. .
【０００２】[0002]
【従来の技術】 積み重ね状態に載置された物体を撮像
して認識し、この認識データに基づいて物体を取り出す
物体取出装置として、例えば実開昭６１−２０５７８１
号公報に掲載されたものが従来より知られている。2. Description of the Related Art As an object extracting device for picking up and recognizing objects placed in a stacked state and extracting the objects based on the recognition data, for example, Shoukai 61-205781.
The ones disclosed in Japanese Patent Publication have been conventionally known.
【０００３】上記公報掲載の従来装置は、パレット内に
積み重ね状態に載置された物体を、パレット上方に設置
されたカメラのみで撮像して該物体を二次元的に認識
し、この二次元的に認識されたデータに基づいてロボッ
トが把持動作を行ない物体で取り出すように成ってい
る。In the conventional device disclosed in the above publication, the objects stacked in the pallet are imaged only by a camera installed above the pallet, and the objects are recognized two-dimensionally. Based on the data recognized by the robot, the robot performs a gripping action and picks up the object.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら上記従来
装置は、既述のとおりパレット内に積み重ね状態に載置
された物体を、パレット上方に設置されたカメラの撮像
画像のみから二次元的にのみ認識し、物体の高さ情報を
認識していないので、最上部に載置されている物体を認
識できない。However, as described above, the above-mentioned conventional apparatus recognizes the objects placed in a stacked state in the pallet only two-dimensionally only from the image captured by the camera installed above the pallet. However, since the height information of the object is not recognized, the object placed on the top cannot be recognized.
【０００５】このため、ロボットが必ず最上部に載置さ
れている物体にアプローチして該物体を把持するとは限
らず、最上部に載置されていない物体にアプローチして
しまう場合がある。そして、この場合にはロボットが物
体を把持することができず、この結果、ロボットが物体
の取り出しに失敗してしまうといった問題があった。本
発明は以上の点に鑑みなされたものであり、物体の高さ
情報と該物体の水平面内での位置情報とに基づいて把持
手段を三次元的に制御し、把持手段を必ず最上部に載置
されている物体にアプローチさせて該物体を把持手段に
確実に把持させることによって、物体の取出失敗を防止
することができる物体取出装置を提供することを目的と
する。For this reason, the robot does not always approach the object placed on the uppermost portion to grip the object, but may approach the object not placed on the uppermost portion. In this case, there is a problem that the robot cannot grasp the object, and as a result, the robot fails to take out the object. The present invention has been made in view of the above points, and three-dimensionally controls the gripping means based on the height information of the object and the position information of the object in the horizontal plane, and the gripping means is always at the top. An object of the present invention is to provide an object take-out device capable of preventing a pick-up failure of an object by allowing the holding means to surely hold the placed object so as to approach it.
【０００６】[0006]
【課題を解決するための手段】図１は本発明の原理構成
図である。FIG. 1 is a block diagram showing the principle of the present invention.
【０００７】同図に示すように、本発明は、積み重ね状
態に載置された物体Ｍ１を水平方向から撮像する第１の
撮像手段Ｍ２と、前記物体Ｍ１を鉛直方向上方から撮像
する第２の撮像手段Ｍ３と、前記物体Ｍ１を把持する把
持手段Ｍ４と、前記第１の撮像手段Ｍ２による撮像画像
に基づいた前記物体Ｍ１の高さ情報と前記第２の撮像手
段Ｍ３による撮像画像に基づいた前記物体Ｍ１の水平面
内での位置情報とを認識し、該高さ情報及び該位置情報
に基づいて前記把持手段Ｍ４を三次元的に制御する制御
手段Ｍ５と、を備えていることを特徴とするものであ
る。As shown in the figure, the present invention is a first image pickup means M2 for picking up images of the objects M1 placed in a stacked state from the horizontal direction, and a second image pickup means M2 for picking up the objects M1 from above in the vertical direction. An image pickup means M3, a gripping means M4 for holding the object M1, a height information of the object M1 based on an image picked up by the first image pickup means M2, and an image picked up by the second image pickup means M3. A control means M5 for recognizing the position information of the object M1 in a horizontal plane and controlling the gripping means M4 three-dimensionally based on the height information and the position information. To do.
【０００８】[0008]
【作用】積み重ね状態に載置された物体は、第１の撮像
手段によって水平方向から撮像されると共に、第２の撮
像手段によって該物体の鉛直方向上方から撮像される。
そして、物体を把持するための把持手段は、第１の撮像
手段による撮像画像に基づいた物体の高さ情報と第２の
撮像手段による撮像画像に基づいた該物体の水平面内で
の位置情報とを認識し、該高さ情報及び該位置情報に基
づいて制御手段によって三次元的に制御される。The objects placed in the stacked state are imaged from the horizontal direction by the first image pickup means and from the vertical direction above the objects by the second image pickup means.
The gripping means for gripping the object has height information of the object based on the image captured by the first image capturing means and position information of the object in the horizontal plane based on the image captured by the second image capturing means. Is recognized and is three-dimensionally controlled by the control means based on the height information and the position information.
【０００９】従って、物体の高さ情報及び位置情報に基
づいて、把持手段が必ず最上部に載置されている物体に
アプローチするように三次元的に制御され、該物体を確
実に把持することができるので、物体の取出失敗を防止
することができる。Therefore, based on the height information and the position information of the object, the gripping means is three-dimensionally controlled so as to always approach the object placed on the uppermost part, and the object is securely gripped. Therefore, it is possible to prevent the failure of taking out the object.
【００１０】[0010]
【実施例】以下、本発明の実施例について図面に基づい
て説明する。図２は、本発明の一実施例である物体取出
装置の構成を示す図である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 is a diagram showing a configuration of an object extracting device which is an embodiment of the present invention.
【００１１】図２に示すように、パレット１からワーク
２を取り出す本実施例に係る物体取出装置は、第１のカ
メラ３、第２のカメラ４、画像処理装置５、制御ユニッ
ト６、及びロボット７を備えている。As shown in FIG. 2, the object extracting device according to the present embodiment for extracting the work 2 from the pallet 1 includes a first camera 3, a second camera 4, an image processing device 5, a control unit 6, and a robot. Equipped with 7.
【００１２】前記パレット１はワーク２を載置するため
のものであり、底板１と該底板１１の四隅に垂設された
棒状部材１２ａ〜１２ｄより成っており、この棒状部材
１２ａ〜１２ｄによって、載置されているワーク２の転
落等が防止されるように成っている。The pallet 1 is for mounting a work 2, and is composed of a bottom plate 1 and rod-shaped members 12a to 12d vertically provided at the four corners of the bottom plate 11, by which the rod-shaped members 12a to 12d are provided. It is configured so that the work 2 placed thereon is prevented from falling down.
【００１３】尚、本実施例では説明の便宜上、図１に示
すように底板１１の長辺方向をｘ軸方向、短辺方向をｙ
軸方向とすると共に、ｘｙ平面と直交する方向をｚ軸方
向とする。In the present embodiment, for convenience of explanation, as shown in FIG. 1, the long side direction of the bottom plate 11 is the x-axis direction and the short side direction is the y direction.
Along with the axial direction, the direction orthogonal to the xy plane is the z-axis direction.
【００１４】前記ワーク２は、本実施例では図３及び図
４に示すように、クランクシャフト粗材であり、このク
ランクシャフト粗材であるワーク２の一端側（図３中、
左端側）には大端円部２１が形成されている。In the present embodiment, the work 2 is a crankshaft rough material as shown in FIGS. 3 and 4, and one end side of the work 2 which is the crankshaft rough material (in FIG. 3,
A large end circular portion 21 is formed on the left end side.
【００１５】そして、ワーク２は、図１に示すように該
ワーク２の長手軸方向がｙ軸方向と略平行となると共
に、大端円部２１が形成されている一端側が同一側（本
実施例では棒状部材１２ａ及び１２ｂによって形成され
る図示しない仮想鉛直面側）に位置するように、パレッ
ト１に複数積み重ね状態に載置される。As shown in FIG. 1, the work 2 has a longitudinal axis direction substantially parallel to the y-axis direction, and one end side on which the large end circular portion 21 is formed is on the same side (the present embodiment). In the example, a plurality of stacked members are placed on the pallet 1 so as to be positioned on a virtual vertical surface (not shown) formed by the rod-shaped members 12a and 12b.
【００１６】前記第１のカメラ３は、パレット１に載置
されたワーク２を水平方向（本実施例では図１に示すｙ
軸方向）から撮像するものであり、この第１のカメラ３
はパレット２の棒状部材１２ａ及び１２ｂによって形成
される前記図示しない仮想鉛直面と対向するように配設
されている。The first camera 3 moves the work 2 placed on the pallet 1 in the horizontal direction (y in FIG. 1 in this embodiment).
The image is taken from the axial direction), and the first camera 3
Is arranged so as to face the virtual vertical plane (not shown) formed by the rod-shaped members 12a and 12b of the pallet 2.
【００１７】そして、第１のカメラ３は、パレット１に
載置されたワーク２をｙ軸方向から撮像し、ｙ軸方向か
ら見たワーク２の載置状態を表わす撮像画像に対応した
画像信号ＳＰ１を前記画像処理装置５に出力するように
成っている。尚、図５は画像信号ＳＰ１が表わす撮像画
像の一例を示すものである。Then, the first camera 3 images the work 2 placed on the pallet 1 in the y-axis direction, and an image signal corresponding to a picked-up image representing the placement state of the work 2 viewed from the y-axis direction. SP1 is output to the image processing device 5. Note that FIG. 5 shows an example of a captured image represented by the image signal SP1.
【００１８】前記第２のカメラ４は、パレット１に載置
されたワーク２を鉛直方向（本実施例では図１に示すｚ
軸方向）上方から撮像するものであり、この第２のカメ
ラ４はパレット１の真上に底板１１と対向するように配
設されている。The second camera 4 mounts the work 2 placed on the pallet 1 in the vertical direction (in this embodiment, z shown in FIG. 1).
The image is taken from above (in the axial direction), and the second camera 4 is arranged directly above the pallet 1 so as to face the bottom plate 11.
【００１９】そして、第２のカメラ４は、パレット１に
載置されたワーク２をｚ軸方向上方から撮像し、ｚ軸方
向上方から見たワーク２の載置状態を表わす撮像画像に
対応した画像信号ＳＰ２を前記画像処理装置５に出力す
るように成っている。尚、図６は、画像信号ＳＰ２が表
わす撮像画像の一例を示すものである。The second camera 4 picks up an image of the work 2 placed on the pallet 1 from above in the z-axis direction, and corresponds to a picked-up image showing the placed state of the work 2 seen from above in the z-axis direction. The image signal SP2 is output to the image processing device 5. Note that FIG. 6 shows an example of a captured image represented by the image signal SP2.
【００２０】前記画像処理装置５は、前記第１のカメラ
３からの画像信号ＳＰ１に基づいて、第１のカメラ３に
よって撮像されたワーク２の大端円部２１を抽出し、こ
の抽出したデータに対応した信号を前記制御ユニット６
に出力するように成っている。The image processing apparatus 5 extracts the large end circle portion 21 of the work 2 imaged by the first camera 3 based on the image signal SP1 from the first camera 3 and the extracted data. The signal corresponding to the control unit 6
It is designed to output to.
【００２１】また、画像処理装置５には、予め定義され
たワーク２のモデル情報、具体的には図３に示すような
ワーク２の長さ情報ｌｍ（ピクセル）及び幅情報Ｗｍ
（ピクセル）の他、ワーク２の高さ情報ｚｍ（ｍｍ）及
び明度情報（Ｂ1 Ｂ2 ，…，Ｂｗｍ）が記憶されてい
る。そして、画像処理装置５は前記第１のカメラ３によ
って撮像されたワーク２の大端円部２１のｚ座標値の最
大値ｚ1 を認識し、この最大値ｚ1 と高さ情報ｚｍとか
ら第２のカメラ４によって撮像されたワーク２の撮像画
像のスケールを変更するように成っている。即ち、縮尺
ｋ＝ｚｍ／ｚ1 を求め、この縮尺ｋに基づいて前記第２
のカメラ４によって撮像されたワーク２の長さ及び幅
を、夫々ｋｌｍ及びｋｗｍにスケール変更し、これら変
更後の情報に対応した信号を制御ユニット６に出力する
ように成っている。更に、画像処理装置５は前記明るさ
情報を前記Ｗｍ（ピクセル）分の明度情報（Ｂ1 ，
Ｂ2 ，…，Ｂｗｍ）に夫々ｋ2 を乗算して変更し、この
変更後の明度情報に対応した信号を制御ユニット６に出
力するように成っている。Further, the image processing device 5 has pre-defined model information of the work 2, specifically, length information lm (pixels) and width information Wm of the work 2 as shown in FIG.
In addition to (pixels), height information zm (mm) of work 2 and brightness information (B 1 B 2 , ..., Bwm) are stored. Then, the image processing device 5 recognizes the maximum value z 1 of the z coordinate values of the large end circle portion 21 of the work 2 imaged by the first camera 3, and from this maximum value z 1 and the height information zm. The scale of the captured image of the work 2 captured by the second camera 4 is changed. That is, the scale k = zm / z 1 is obtained, and the second scale is calculated based on the scale k.
The length and width of the work 2 imaged by the camera 4 are scaled to klm and kwm, respectively, and a signal corresponding to the changed information is output to the control unit 6. Further, the image processing device 5 uses the brightness information (B 1 ,
(B 2 , ..., Bwm) are multiplied by k 2 to be changed, and a signal corresponding to the changed lightness information is output to the control unit 6.
【００２２】尚、上記ワーク２の長さ及び幅のスケール
変更処理、明度変更処理は、画像処理装置５に予め記憶
されているプログラムによって行われるように成ってい
る。前記制御ユニット６は、画像処理装置５から出力さ
れた大端円部２１の抽出データに対応した信号に基づい
て、ｚ座標値が最も大きい大端円部２１に対応したワー
ク２を特定し、該ワーク２の大端円部２１のｘ座標値及
びｚ座標値を記憶するように成っている。尚、以下の説
明の便宜上、記憶された大端円部２１のｘ座標値及びｚ
座標値を夫々ｘ1 及びｚ1 とする。The scale change process and the brightness change process of the length and width of the work 2 are performed by a program stored in the image processing apparatus 5 in advance. The control unit 6 specifies the work 2 corresponding to the large-end circle portion 21 having the largest z-coordinate value based on the signal corresponding to the extracted data of the large-end circle portion 21 output from the image processing device 5, The x-coordinate value and the z-coordinate value of the large end circle portion 21 of the work 2 are stored. For convenience of the following description, the stored x-coordinate value and z of the large-end circle portion 21 are stored.
The coordinate values are x 1 and z 1 , respectively.
【００２３】また、制御ユニット６は、画像処理装置５
によって上記変更処理後に該画像処理装置５から出力さ
れた信号に基づいて、大端円部２１のｘ座標値が最もｘ
1 に近いワーク２を特定し、該ワーク２の大端円部２１
のｘ座標値及びｙ座標値を取り出すように成っている。
そして、これら取り出されたｘ座標値及びｙ座標値を夫
々ｘ2 及びｙ2 とすると、制御ユニット６は、これらｘ
2 ，ｙ2 及び前記ｚ1に対応した信号を前記ロボット７
に出力するように成っている。Further, the control unit 6 includes the image processing device 5
On the basis of the signal output from the image processing device 5 after the change processing, the x coordinate value of the large end circle portion 21 is the most x.
The work 2 close to 1 is specified, and the large end circular portion 21 of the work 2 is specified.
The x-coordinate value and the y-coordinate value of are extracted.
Then, assuming that the extracted x coordinate value and y coordinate value are x 2 and y 2 , respectively, the control unit 6 determines
2 , the signals corresponding to y 2 and z 1 are sent to the robot 7
It is designed to output to.
【００２４】前記ロボット７は、パレット１に積み重ね
状態に載置されたワーク２を１つずつ取り出して図示し
ないワーク搬送コンベア等に移載するためのものであ
り、このロボット７は多関節アーム部７１と該多関節ア
ーム部７１の先端に取り付けられた把持部７２等より成
っている。The robot 7 is for taking out the works 2 placed on the pallet 1 in a stacked state one by one and transferring them to a work transfer conveyor or the like (not shown). 71 and a grip portion 72 attached to the tip of the multi-joint arm portion 71.
【００２５】また、ロボット７は、前記制御ユニット６
から出力されたｘ2 ，ｙ2 、及びｘ 1 に対応した信号に
基づいて多関節アーム部７１の動作によって該ｘ2 ，ｙ
2 及びｚ1 に対応した位置に載置されているワーク２
（即ち、最上部に載置されているワーク２）まで把持部
７２を移動して、該ワーク２を把持部７２によって把持
し、その後該ワーク２をパレット１から取り出して図示
しないワーク搬送コンベア等に移載するように成ってい
る。Further, the robot 7 includes the control unit 6
Output from x2, Y2, And x 1To the signal corresponding to
Based on the operation of the articulated arm section 71, the x2, Y
2And z1Work 2 placed at the position corresponding to
The gripping part up to (that is, the work 2 placed on the top)
72 is moved and the work 2 is gripped by the gripping part 72.
Then, the work 2 is taken out from the pallet 1 and illustrated.
Not designed to be transferred to a work transfer conveyor, etc.
It
【００２６】次に、上述実施例の作用について図７を参
照しながら説明する。尚、図７は、上述実施例の作用説
明用のフローチャートである。Next, the operation of the above embodiment will be described with reference to FIG. 7. FIG. 7 is a flow chart for explaining the operation of the above embodiment.
【００２７】先ず、パレット１に積み重ね状態に載置さ
れたワーク２を第１のカメラ３によって撮像することに
よって、ｙ軸方向から見たワーク２の載置状態を表わす
撮像画像に対応した画像信号ＳＰ１が第１のカメラ３か
ら出力される（ステップ１００）。First, by picking up an image of the works 2 placed on the pallet 1 in a stacked state by the first camera 3, an image signal corresponding to a picked-up image representing the placement state of the works 2 viewed from the y-axis direction. SP1 is output from the first camera 3 (step 100).
【００２８】次いで、画像処理装置５によって、画像信
号ＳＰ１に基づいて第１のカメラ３によって撮像された
ワーク２の大端円部２１が抽出される（ステップ１１
０）。そして、上記ステップ１１０の処理で大端円部２
１が抽出されたときは、制御ユニット６によって、画像
処理装置５から出力された大端円部２１の抽出データに
対応した信号に基づいてｚ座標値が最も大きい大端円部
２１に対応したワーク２が特定されると共に、該ワーク
２の大端円部２１のｘ座標値及びｚ座標値（ｘ 1 ，
ｚ1 ）が該制御ユニット６に記憶される（ステップ１２
０，１３０）。Next, the image processing device 5 causes the image signal to be transmitted.
Imaged by the first camera 3 based on the issue SP1
The large end circular portion 21 of the work 2 is extracted (step 11).
0). Then, in the processing of step 110, the large end circle portion 2
When 1 is extracted, the control unit 6 causes the image
The extracted data of the large end circle 21 output from the processor 5
Large end circle with the largest z coordinate value based on the corresponding signal
The work 2 corresponding to 21 is specified and the work 2 is identified.
X coordinate value and z coordinate value (x 1，
z1Is stored in the control unit 6 (step 12).
0,130).
【００２９】次いで、パレット１に積み重ね状態に載置
されたワーク２を第２のカメラ４によって撮像すること
によって、ｚ軸方向上方から見たワーク１の載置状態を
表わす撮像画像に対応した画像信号ＳＰ２が第２のカメ
ラ４から出力される（ステップ１４０）。Next, the images of the works 2 stacked on the pallet 1 are picked up by the second camera 4, and an image corresponding to the picked-up image showing the placement state of the works 1 viewed from above in the z-axis direction is obtained. The signal SP2 is output from the second camera 4 (step 140).
【００３０】そして、画像処理装置５によって画像信号
ＳＰ２に基づいて、第２のカメラ４によって撮像された
ワーク２が抽出されると共に、スケール変更処理及び明
度変更処理が行なわれ、これら変更処理後の情報に対応
した信号が制御ユニット６に出力される。（ステップ１
５０）。Then, the image processing apparatus 5 extracts the work 2 imaged by the second camera 4 based on the image signal SP2, and also performs the scale changing process and the brightness changing process. A signal corresponding to the information is output to the control unit 6. (Step 1
50).
【００３１】次いで、制御ユニット６によって、画像処
理装置５から出力された信号に基づいて、大端円部２１
のｘ座標値が最もｘ1 に近いワーク２が特定されると共
に、該ワーク２の大端円部２１のｘ座標値及びｙ座標値
（ｘ2 ，ｙ2 ）が取り出され、これらｘ2 ，ｙ2 ，及び
ｚ1 に対応した信号がロボット７に出力される（ステッ
プ１６０）。Then, based on the signal output from the image processing device 5 by the control unit 6, the large end circular portion 21
The work 2 whose x-coordinate value is closest to x 1 is specified, and the x-coordinate value and the y-coordinate value (x 2 , y 2 ) of the large end circle portion 21 of the work 2 are extracted, and these x 2 , Signals corresponding to y 2 and z 1 are output to the robot 7 (step 160).
【００３２】そして、ロボット７は、制御ユニット６か
ら出力されたｘ2 ，ｙ2 ，ワーク傾きデータθ，及びｚ
1 に対応した信号に基づいて把持動作を行なう（ステッ
プ１７０）。具体的にはロボット２は、多関節アーム部
７１の動作によってｘ2 ，ｙ 2 ，及びｚ1 に対応した位
置に載置されているワーク２（即ち、最上部に載置され
ているワーク２）まで把持部７１を移動して、該ワーク
２を把持部７２によって把持し、その後該ワーク２をパ
レット１から取り出して図示しないワーク搬送コンベア
等に移載する。Then, whether the robot 7 is the control unit 6 or not
Output from x2, Y2, Work inclination data θ, and z
1The gripping operation is performed based on the signal corresponding to
170). Specifically, the robot 2 has an articulated arm section.
X by the action of 712, Y 2, And z1Corresponding to
Work 2 placed on the table (ie, placed on top
The gripping part 71 to the work 2)
2 is grasped by the grasping portion 72, and then the work 2 is grasped.
Work conveyor (not shown)
Etc.
【００３３】次いで、パレット１に載置されていたワー
ク２がロボット７によって全数把持されたか否か、即ち
パレット１から全数取り出されたか否かを判定し、全数
把持されているときは、パレット１からのワーク２の取
り出し処理を終了する。Next, it is judged whether or not all the works 2 placed on the pallet 1 have been gripped by the robot 7, that is, whether or not all the works 2 have been taken out from the pallet 1. The process of taking out the workpiece 2 from is ended.
【００３４】尚、ステップ１１０の処理で大端円部２１
が抽出されなかったときは、ワーク２の取り出し処理を
終了し（ステップ１２０）、ステップ１８０でワーク２
が未だ全数把持されていないときには、処理はループ
し、ステップ１００〜１７０の処理が繰り返して行なわ
れる。Incidentally, in the processing of step 110, the large end circular portion 21
If the work 2 is not extracted, the process of taking out the work 2 is terminated (step 120), and the work 2 is extracted in step 180.
However, when all of them have not been gripped, the process loops and the processes of steps 100 to 170 are repeated.
【００３５】尚、本実施例において、ワーク２は前記し
た物体に相当し、第１のカメラ３及び第２のカメラ４は
夫々前記した第１の撮像手段及び第２の撮像手段に相当
するものであり、ロボット７は前記した把持手段に相当
し、画像処理装置５及び制御ユニット６は前記した制御
手段に相当するものである。In this embodiment, the work 2 corresponds to the above-mentioned object, and the first camera 3 and the second camera 4 correspond to the above-mentioned first image pickup means and second image pickup means, respectively. The robot 7 corresponds to the gripping means described above, and the image processing device 5 and the control unit 6 correspond to the control means described above.
【００３６】以上のような実施例によれば、第１のカメ
ラ３による撮像画像に基づいてワーク２の高さ情報（ｚ
座標値）と第２のカメラ４による撮像画像に基づいてワ
ーク２の水平面（ｘｙ平面）内での位置情報（ｘ座標
値，ｙ座標値）及び傾きθとを認識し、即ちワーク２の
三次元位置を認識し、これら高さ情報及び位置情報に基
づいてロボット７を制御ユニット６によって必ず最上部
に載置されているワーク２にアプローチさせ、該ワーク
２をロボット７に確実に把持させることができるので、
ワーク２の取出失敗を防止することができる。According to the above embodiment, the height information (z) of the work 2 is obtained based on the image picked up by the first camera 3.
The coordinate information) and the position information (x coordinate value, y coordinate value) in the horizontal plane (xy plane) of the work 2 and the inclination θ are recognized based on the image captured by the second camera 4, that is, the third order of the work 2 is recognized. Recognizing the original position, based on the height information and the position information, the control unit 6 causes the robot 7 to approach the work 2 always placed on the top, and the robot 7 surely grips the work 2. Because you can
Failure to take out the work 2 can be prevented.
【００３７】また、第１のカメラ３による撮像画像に基
づいたワーク２の高さ情報及び第２のカメラ４による撮
像画像に基づいたワーク２の位置情報は、夫々二次元座
標処理されており、これら二次元座標処理されている高
さ情報及び位置情報を共通軸座標値をもとに結合してワ
ーク２の三次元位置を認識しているので、ワーク２の三
次元位置を極めて簡単な処理で認識することができる。The height information of the work 2 based on the image picked up by the first camera 3 and the position information of the work 2 based on the image picked up by the second camera 4 are two-dimensionally coordinate processed, respectively. Since the height information and the position information that have been subjected to the two-dimensional coordinate processing are combined based on the common axis coordinate values to recognize the three-dimensional position of the work 2, the three-dimensional position of the work 2 can be processed very easily. Can be recognized at.
【００３８】更に、ワーク２の位置情報のみならず、高
さ情報をも認識しているので、ワーク２近傍までのロボ
ット７の把持部７２のアプローチ速度を高速化でき、こ
の結果ワーク２の取出時間を短縮することができる。Further, since not only the position information of the work 2 but also the height information is recognized, the approach speed of the gripping portion 72 of the robot 7 up to the vicinity of the work 2 can be increased, and as a result, the work 2 can be taken out. The time can be shortened.
【００３９】また、大端円部２１のｘ座標値が最もｘ1
に近いワーク２を特定するときには、このｘ1 が既知で
あるため、第２のカメラ４による撮像画像をその付近の
み拡大すれば足りるので、１ワーク当りの占有する画素
数が増大し、この結果画像認識能力を大幅に増大させる
ことができる。Further, the x coordinate value of the large end circle portion 21 is the most x 1.
Since x 1 is known when the work 2 close to is specified, it suffices to magnify the image picked up by the second camera 4 only in its vicinity, and the number of pixels occupied per work increases, resulting in The image recognition ability can be greatly increased.
【００４０】更に、パレット１に積み重ね状態に載置さ
れたワーク２を取り出していくと、第２のカメラ４から
ワーク２までの距離が変化するため、従来は上段・中段
・下段の３種類のモデルを用意し、これらモデルをワー
ク２の取出本数によって切り替えて使用していたので、
必ずしもワーク２の高さとモデルの大きさとが一致しな
いといった不具合があったが、上述実施例によれば、１
種類のモデルを用意し、このモデルの情報と縮尺ｋとか
ら連続的にモデルの大きさを変化させることができるの
で、ワーク２の高さとモデルの大きさとを必ず一致させ
ることができる。Further, when the work pieces 2 stacked on the pallet 1 are taken out, the distance from the second camera 4 to the work piece 2 changes, so that conventionally there are three kinds of upper, middle and lower stages. Since models were prepared and these models were used by switching according to the number of workpieces to be taken out,
Although there is a problem that the height of the work 2 and the size of the model do not always match, according to the above-described embodiment, 1
Since models of different types are prepared and the model size can be continuously changed based on the model information and the scale k, the height of the work 2 and the model size can be matched.
【００４１】[0041]
【発明の効果】本発明によれば、物体の高さ情報及び水
平面内での位置情報を認識し、即ち物体の三次元位置を
認識し、これら情報に基づいて把持手段を三次元的に制
御しているので、必ず最上部に載置されている物体から
取り出すことができ、従って物体の取出失敗を防止する
ことができる。According to the present invention, the height information of the object and the position information in the horizontal plane are recognized, that is, the three-dimensional position of the object is recognized, and the gripping means is three-dimensionally controlled based on these information. Therefore, it is always possible to take out from the object placed on the uppermost part, and therefore failure to take out the object can be prevented.
【図１】本発明の原理構成図である。FIG. 1 is a principle configuration diagram of the present invention.
【図２】本発明の一実施例である物体取出装置の構成を
示す図である。FIG. 2 is a diagram showing a configuration of an object extraction device that is an embodiment of the present invention.
【図３】ワークの平面図である。FIG. 3 is a plan view of a work.
【図４】図３のIV-IV 矢視図である。FIG. 4 is a view taken along the line IV-IV in FIG.
【図５】第１のカメラから出力される画像信号が表わす
撮像画像の一例を示す図である。FIG. 5 is a diagram showing an example of a captured image represented by an image signal output from the first camera.
【図６】第２のカメラから出力される画像信号が表わす
撮像画像の一例を示す図である。FIG. 6 is a diagram showing an example of a captured image represented by an image signal output from a second camera.
【図７】本実施例の作用説明用のフローチャートであ
る。FIG. 7 is a flowchart for explaining the operation of the present embodiment.
１ パレット ２ ワーク ３ 第１のカメラ ４ 第２のカメラ ５ 画像処理装置 ６ 制御ユニット ７ ロボット １１ 底板 １２ａ，１２ｂ，１２ｃ，１２ｄ 棒状部材 ２１ 大端円部 ７１ 多関節アーム部 ７２ 把持部 ＳＰ１，ＳＰ２ 画像信号 1 Pallet 2 Work 3 First Camera 4 Second Camera 5 Image Processing Device 6 Control Unit 7 Robot 11 Bottom Plate 12a, 12b, 12c, 12d Rod-shaped Member 21 Large End Circle 71 Articulated Arm Part 72 Grip Part SP1, SP2 Image signal
Claims (1)
向から撮像する第１の撮像手段と、 前記物体を鉛直方向上方から撮像する第２の撮像手段
と、 前記物体を把持する把持手段と、 前記第１の撮像手段による撮像画像に基づいた前記物体
の高さ情報と前記第２の撮像手段による撮像画像に基づ
いた前記物体の水平面内での位置情報とを認識し、該高
さ情報及び該位置情報に基づいて前記把持手段を三次元
的に制御する制御手段と、 を備えていることを特徴とする物体取出装置。1. A first image pickup means for picking up images of objects stacked in a stacked state from a horizontal direction, a second image pickup means for picking up an image of the objects from above in a vertical direction, and a holding means for holding the objects. Recognizing height information of the object based on the image captured by the first image capturing means and position information of the object in a horizontal plane based on the image captured by the second image capturing means, and determining the height information And a control means for three-dimensionally controlling the gripping means based on the position information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24178093A JPH0797059A (en) | 1993-09-28 | 1993-09-28 | Object takeout device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24178093A JPH0797059A (en) | 1993-09-28 | 1993-09-28 | Object takeout device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0797059A true JPH0797059A (en) | 1995-04-11 |
Family
ID=17079415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24178093A Pending JPH0797059A (en) | 1993-09-28 | 1993-09-28 | Object takeout device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0797059A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08324798A (en) * | 1995-06-06 | 1996-12-10 | Mitsubishi Heavy Ind Ltd | Monitoring method of container yard |
| JP2001163446A (en) * | 1999-12-10 | 2001-06-19 | Murata Mach Ltd | Pickup device |
| JP2003266348A (en) * | 2002-03-18 | 2003-09-24 | Sony Corp | Robot device and control method therefor |
| JP2006124182A (en) * | 2005-12-26 | 2006-05-18 | Mitsubishi Heavy Ind Ltd | Container yard monitoring method |
| JP2014018881A (en) * | 2012-07-13 | 2014-02-03 | Seiko Epson Corp | Robot system, robot control device, robot, robot control method and robot control program |
| JP2016192089A (en) * | 2015-03-31 | 2016-11-10 | 日本電気株式会社 | Merchandise registration device, program, control method, and fare adjustment system |
-
1993
- 1993-09-28 JP JP24178093A patent/JPH0797059A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08324798A (en) * | 1995-06-06 | 1996-12-10 | Mitsubishi Heavy Ind Ltd | Monitoring method of container yard |
| JP2001163446A (en) * | 1999-12-10 | 2001-06-19 | Murata Mach Ltd | Pickup device |
| JP2003266348A (en) * | 2002-03-18 | 2003-09-24 | Sony Corp | Robot device and control method therefor |
| JP2006124182A (en) * | 2005-12-26 | 2006-05-18 | Mitsubishi Heavy Ind Ltd | Container yard monitoring method |
| JP2014018881A (en) * | 2012-07-13 | 2014-02-03 | Seiko Epson Corp | Robot system, robot control device, robot, robot control method and robot control program |
| JP2016192089A (en) * | 2015-03-31 | 2016-11-10 | 日本電気株式会社 | Merchandise registration device, program, control method, and fare adjustment system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3383593B1 (en) | Teaching an industrial robot to pick parts | |
| JP5304469B2 (en) | Bin picking system | |
| EP3222393B1 (en) | Automated guidance system and method for a coordinated movement machine | |
| JPH11300670A (en) | Article picking-up device | |
| JP2004050390A (en) | Work taking out device | |
| JP7163506B2 (en) | Work robots and work systems | |
| JP5879704B2 (en) | Robot control apparatus, article take-out system, program, and robot control method | |
| CN113858188A (en) | Industrial robot gripping method and apparatus, computer storage medium, and industrial robot | |
| JPH09239682A (en) | Work feeding method and device | |
| CN114670189B (en) | Storage medium, and method and system for generating control program of robot | |
| CN114193440B (en) | Robot automatic grabbing system and method based on 3D vision | |
| CN113538459A (en) | Multi-mode grabbing obstacle avoidance detection optimization method based on drop point area detection | |
| JP3516067B2 (en) | Image creation method and image creation device for depalletizing | |
| CN114074331A (en) | Disordered grabbing method based on vision and robot | |
| JPH0797059A (en) | Object takeout device | |
| JP2000263482A (en) | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot | |
| JP2017170567A (en) | Workpiece recognition method and random picking method | |
| JP5606424B2 (en) | Component extraction method and component extraction system | |
| JPH03202290A (en) | Take-up device for articles loaded in bulk | |
| CN113799097A (en) | Clamping device and clamping method for plate-shaped workpiece | |
| TWI768954B (en) | Control method for object retrieval equipment, three-dimensional point cloud data processing method, automatic object retrieval system and control system | |
| CN116197888B (en) | Method and device for determining position of article, electronic equipment and storage medium | |
| CN116175541B (en) | Grabbing control method, grabbing control device, electronic equipment and storage medium | |
| US20230120598A1 (en) | Robot program generation method from human demonstration | |
| JP2024080766A (en) | Work picking method |