JP5458807B2 - Object gripping region extraction device and robot system using object gripping region extraction device - Google Patents
Object gripping region extraction device and robot system using object gripping region extraction device Download PDFInfo
- Publication number
- JP5458807B2 JP5458807B2 JP2009250916A JP2009250916A JP5458807B2 JP 5458807 B2 JP5458807 B2 JP 5458807B2 JP 2009250916 A JP2009250916 A JP 2009250916A JP 2009250916 A JP2009250916 A JP 2009250916A JP 5458807 B2 JP5458807 B2 JP 5458807B2
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- region
- area
- dimensional information
- grippable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
Description
本発明は、位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持可能領域を抽出する対象物把持領域抽出装置、およびその対象物把持領域抽出装置を用いたロボットシステムに関する。 The present invention relates to a target gripping region extraction device that extracts a grippable region including a target that can be gripped by a gripping mechanism of a robot from three-dimensional information of a target stacking unit on which a target whose posture is unknown is placed, The present invention also relates to a robot system using the object gripping region extraction apparatus.
生産ラインや検査ラインなどにおいて、山積みになったワークをロボットによりピッキングするシステムにおいて、ワークがどのような姿勢で置かれているかを認識し、ピッキングを行うシステムが知られている。 2. Description of the Related Art A system for picking a workpiece by recognizing in what posture the workpiece is placed in a system for picking a pile of workpieces with a robot in a production line or an inspection line is known.
例えば特許文献１には、同一形状で複数の部品が三次元的に異なる任意の位置及び姿勢にて乱雑に山積みされた部品群から個々の部品の位置姿勢を求める位置姿勢認識装置が開示されている。また、位置姿勢認識装置と、位置姿勢認識装置から供給される部品の三次元的な位置姿勢情報に応じて部品群から目的の部品を１つずつ取り出す（ピッキングする）ロボットとを備えるピッキングシステムが開示されている。 For example, Patent Document 1 discloses a position / orientation recognition apparatus that obtains the position / orientation of each component from a group of components that are randomly stacked in an arbitrary position and orientation that are three-dimensionally different in the same shape. Yes. Further, a picking system including a position / orientation recognition device and a robot that picks up (picks) target components one by one from a component group according to three-dimensional position / orientation information of the components supplied from the position / orientation recognition device. It is disclosed.
特許文献１に記載の位置姿勢認識装置によれば、奥行き計測部、直線状明領域抽出部、及び三次元位置姿勢演算部を備えたことで、部品群の撮像画像から、他と交差することなく単独で延在する直線状の明領域を抽出でき、さらに、抽出した単独の直線状明領域に奥行き情報を付加することで部品の三次元位置姿勢情報を得ることができる。さらに、特許文献１に記載のピッキングシステムによれば、同一形状の部品が三次元的に異なる任意の位置及び姿勢で配置された部品群に対してもピッキングが可能となる。 According to the position / orientation recognition apparatus described in Patent Literature 1, the depth measurement unit, the linear bright region extraction unit, and the three-dimensional position / orientation calculation unit are provided, so that they intersect with the other from the captured image of the component group. In addition, it is possible to extract a linear bright region that extends independently, and to add depth information to the extracted single linear bright region, thereby obtaining three-dimensional position and orientation information of the part. Furthermore, according to the picking system described in Patent Document 1, it is possible to pick a part group in which parts having the same shape are arranged at arbitrary positions and postures that are three-dimensionally different.
従来は、特許文献１に記載のように、山積みされた部品群からロボットにて部品を一つずつ取り出す（ピッキングする）には、まず個々のワークの位置および姿勢を認識していた。しかし、個々のワークの位置・姿勢を認識するためには、多くの処理時間を必要とするという問題がある。 Conventionally, as described in Patent Document 1, in order to pick up (pick) one part at a time from a piled up part group by a robot, first, the position and posture of each workpiece are recognized. However, there is a problem that much processing time is required to recognize the position and posture of each workpiece.
また、山積みされたワークから１つのワークをピッキングするに際し、把持機構を把持対象ワークに接近させる動作の途中で山積みされたワークが崩れるとピッキングするワークの位置・姿勢が変わってしまう。そのため、位置・姿勢が認識された複数のワークからピッキングするワークを選択する際には、ピッキングする際にロボットの把持機構が他のワークに接触しない事を確認することも必要となるため、さらに処理時間が長くなるという問題もある。 Further, when picking one workpiece from a piled workpiece, if the piled workpiece collapses during the operation of bringing the gripping mechanism closer to the workpiece to be grasped, the position / posture of the workpiece to be picked changes. Therefore, when selecting a workpiece to be picked from a plurality of workpieces whose positions and orientations have been recognized, it is necessary to confirm that the robot's gripping mechanism does not contact other workpieces when picking. There is also a problem that the processing time becomes long.
本発明は、上記のような問題点を解決するためになされたもので、位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持可能領域を抽出する対象物把持領域抽出装置、およびその対象物把持領域抽出装置を用いたロボットシステムを提供することにある。 The present invention has been made in order to solve the above-described problems. An object that can be grasped by the robot's grasping mechanism based on the three-dimensional information of the object accumulation unit on which the object whose position and orientation are unknown is placed. An object of the present invention is to provide an object gripping area extraction device for extracting a grippable area including an object, and a robot system using the object gripping area extraction device.
上記課題を解決するため、本発明に係る対象物把持領域抽出装置は、複数の対象物が任意の位置および姿勢で置かれた対象物集積部から、把持機構を備えたロボットを用いて、対象物を取り出すロボットシステムにおける対象物把持領域抽出装置であって、前記対象物集積部の三次元の計測データを取得する計測装置、前記計測データから前記対象物集積部の三次元情報を生成する三次元情報生成部、前記対象物を把持する際に必要となる領域であって、前記把持機構により定まる把持機構領域と、前記把持機構に把持される前記対象物の把持部分により定まる把持部分領域と、からなる把持領域を予め記憶する把持領域記憶部、前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する把持可能領域抽出部、により構成されていることを特徴とする。 In order to solve the above problems, an object gripping region extraction apparatus according to the present invention uses a robot equipped with a gripping mechanism from a target stacking unit in which a plurality of target objects are placed at arbitrary positions and postures. An object grasping region extracting apparatus in a robot system for taking out an object, comprising: a measuring apparatus that acquires three-dimensional measurement data of the object accumulating unit; a tertiary that generates three-dimensional information of the object accumulating unit from the measurement data An original information generation unit, which is an area necessary for gripping the object, a gripping mechanism area determined by the gripping mechanism, and a gripping part area determined by a gripping part of the object gripped by the gripping mechanism A gripping area storage unit for preliminarily storing a gripping area, and an area having the same size as the gripping area selected from the three-dimensional information, and having the same size as the gripping part area The region is an object exists in the entire region where no object exists in the gripping mechanism region and the region is equal in magnitude, characterized in that it is configured grippable region extracting unit that extracts, by a gripping area.
また、本発明に係るロボットシステムは、対象物を把持する把持機構、前記把持機構を備えるロボット、前記ロボットを制御するロボット制御装置、前記対象物把持領域抽出装置、からなるロボットシステムであって、前記ロボット制御装置は、前記対象物把持領域抽出装置から抽出された１以上の前記把持可能領域に関する情報を受け取る把持可能領域受信部と、予め定められた条件を具備する把持可能領域を１つ選択する把持領域選択部と、該選択した把持可能領域にある対象物を前記ロボットの前記把持機構によって把持し、所定の動作をするようにロボットを制御するロボット動作制御部と、から構成されていることを特徴とする。 The robot system according to the present invention is a robot system including a gripping mechanism for gripping an object, a robot including the gripping mechanism, a robot control device for controlling the robot, and the object gripping region extraction device. The robot control device selects a grippable region receiving unit that receives information on one or more grippable regions extracted from the object gripping region extraction device, and one grippable region having a predetermined condition And a robot motion control unit that controls the robot to grip a target in the selected grippable region by the gripping mechanism of the robot and perform a predetermined motion. It is characterized by that.
位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、個々の対象物の位置・姿勢を特定することなく、ピッキングする際に把持機構が他の対象物に干渉しない把持可能な対象物を含む把持可能領域を抽出することができるため、把持する対象物を短時間で決定する事ができる。 Gripping mechanism that does not interfere with other objects when picking without specifying the position / orientation of each object from the 3D information of the object stacking unit where objects with unknown position and orientation are placed Since it is possible to extract a grippable area including a possible target, it is possible to determine a target to be gripped in a short time.
本発明に係るロボットシステムの実施形態について、図を参照しつつ説明する。
図１は、本発明に係るロボットシステムの実施形態の概略構成図である。
図１において、１０１はワーク（対象物）、１１０はワーク１０１が集積される集積トレーである。ワーク１０１は、集積トレー１１０上の任意の位置に任意の姿勢で集積されている。なお、集積トレー１１０上にワーク１０１が山積み状態であっても、積み重ならないように置かれていても良い。
An embodiment of a robot system according to the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram of an embodiment of a robot system according to the present invention.
In FIG. 1, reference numeral 101 denotes a work (object), and 110 denotes an accumulation tray on which the work 101 is accumulated. The workpiece 101 is stacked at an arbitrary position on the stacking tray 110 in an arbitrary posture. Even if the workpieces 101 are piled up on the stacking tray 110, they may be placed so as not to be stacked.
２０１はロボット、２１０はロボット２０１のアーム先端に取り付けられたワーク１０１を把持する把持機構、２２０はロボット２０１および把持機構２１０を制御するロボット制御装置である。ここで、ロボット２０１は各種ロボット（垂直多関節ロボット、水平多関節ロボット、直交ロボット等）を用いることができる。 Reference numeral 201 denotes a robot, 210 denotes a gripping mechanism that grips the workpiece 101 attached to the arm tip of the robot 201, and 220 denotes a robot control device that controls the robot 201 and the gripping mechanism 210. Here, various robots (vertical articulated robot, horizontal articulated robot, orthogonal robot, etc.) can be used as the robot 201.
３０１は集積トレー１１０上の三次元計測を行う三次元計測装置、３１０は三次元計測装置３０１で取得した計測データから、把持機構２１０にてワーク１０１を把持可能な領域を抽出する対象物把持領域抽出装置である。ここで、三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等を用いることができる。また、対象物把持領域抽出装置３１０は、三次元計測装置３０１から計測データを取得し、取得したデータを処理し、処理した結果等のデータをロボット制御装置２２０と伝達可能な通信手段を備えたコンピュータ等である。 Reference numeral 301 denotes a three-dimensional measuring device that performs three-dimensional measurement on the stacking tray 110, and 310 denotes a target gripping region that extracts a region where the workpiece 101 can be gripped by the gripping mechanism 210 from measurement data acquired by the three-dimensional measuring device 301. It is an extraction device. Here, the three-dimensional measurement apparatus 301 is a three-dimensional measurement apparatus that can acquire three-dimensional measurement data without contact, and a stereo camera, a three-dimensional scanner, or the like can be used. The object gripping region extraction device 310 includes communication means that acquires measurement data from the three-dimensional measurement device 301, processes the acquired data, and transmits data such as the processing result to the robot control device 220. A computer or the like.
４０１はロボット２０１にピッキングされたワーク１０１を載置して外部へ搬出する搬出コンベアである。
さらに、ロボット制御装置２２０と対象物把持領域抽出装置３１０とは、互いに情報伝達可能な通信手段を備え、その通信手段によって接続されている。
Reference numeral 401 denotes a carry-out conveyor on which the workpiece 101 picked by the robot 201 is placed and carried outside.
Furthermore, the robot control device 220 and the object gripping area extraction device 310 include communication means capable of transmitting information to each other, and are connected by the communication means.
図２は、対象物把持領域抽出装置の概略ブロック図である。
図２において、３２０は三次元計測装置３０１にて集積トレー１１０上の三次元の計測データを取得し、取得した計測データから後述する把持可能領域抽出部３３０の処理に適した三次元情報を生成する三次元情報生成部である。
FIG. 2 is a schematic block diagram of the object gripping area extracting apparatus.
In FIG. 2, 320 acquires three-dimensional measurement data on the stacking tray 110 by the three-dimensional measurement device 301, and generates three-dimensional information suitable for processing by the grippable area extraction unit 330 described later from the acquired measurement data. A three-dimensional information generation unit.
ここで、三次元情報とは、三次元座標系の座標軸の１つの方向が予め定められたアプローチ方向と等しい三次元座標系による座標情報である。さらに、アプローチ方向とは、ロボット２０１の集積トレー１１０上のワーク１０１を把持する動作において、把持機構２１０を把持する対象ワーク１０１まで移動させる際の把持機構２１０の移動方向である。 Here, the three-dimensional information is coordinate information by a three-dimensional coordinate system in which one direction of the coordinate axes of the three-dimensional coordinate system is equal to a predetermined approach direction. Further, the approach direction is a moving direction of the gripping mechanism 210 when the robot 201 moves the gripping mechanism 210 to the target work 101 in the operation of gripping the work 101 on the stacking tray 110.
３３０は、三次元情報からワーク１０１を把持可能な把持可能領域を抽出する把持可能領域抽出部である。
３４０は、各種処理に必要な情報を予め記憶、または、一時的に記憶しておく記憶部である。
A grippable area extraction unit 330 extracts a grippable area where the workpiece 101 can be gripped from the three-dimensional information.
Reference numeral 340 denotes a storage unit that stores information necessary for various processes in advance or temporarily.
なお、記憶部３４０には、予め把持領域が記憶されている。ここで、把持領域とは、ワーク１０１を把持する際に必要となる領域であって、把持機構２１０により定まる把持機構領域と、把持機構２１０に把持される前記ワーク１０１の把持部分により定まる把持部分領域と、から構成されている。把持領域は、把持可能領域抽出部３４０にて把持可能な把持可能領域を抽出するのに用いられる。 The storage unit 340 stores a grip area in advance. Here, the gripping area is an area required when gripping the workpiece 101, and is a gripping mechanism area determined by the gripping mechanism 210 and a gripping part determined by the gripping portion of the workpiece 101 gripped by the gripping mechanism 210. Area. The gripping area is used to extract a grippable area that can be gripped by the grippable area extraction unit 340.
把持部分領域は、アプローチ方向から三次元計測装置３０１にて認識されるワーク１０１の把持部分の表面形状により定まる。これは、三次元計測装置３０１が、計測領域の表面形状を計測することはできるが、内部形状は計測できないからである。例えば、三次元計測装置３０１がステレオカメラである場合について検討すれば、上記内容は容易に理解できる。ここで、ワーク１０１が底を有する円筒形状であり、アプローチ方向が円筒軸方向である場合について説明する。ワーク１０１の把持部分が円筒底側である場合、表面形状から把持部分の立体形状は円柱形状として把持領域を定める。ワーク１０１の把持部分が円筒開口側である場合、表面形状から把持部分の立体形状は円筒形状として把持部分領域を定める。 The gripping portion region is determined by the surface shape of the gripping portion of the workpiece 101 recognized by the three-dimensional measuring device 301 from the approach direction. This is because the three-dimensional measurement apparatus 301 can measure the surface shape of the measurement region, but cannot measure the internal shape. For example, if the case where the three-dimensional measuring apparatus 301 is a stereo camera is considered, the above contents can be easily understood. Here, a case where the workpiece 101 has a cylindrical shape having a bottom and the approach direction is the cylindrical axis direction will be described. When the gripping portion of the workpiece 101 is on the bottom side of the cylinder, the gripping region is defined as a three-dimensional shape of the gripping portion from the surface shape as a columnar shape. When the gripping portion of the workpiece 101 is on the cylindrical opening side, the gripping portion region is defined as a three-dimensional shape of the gripping portion from the surface shape as a cylindrical shape.
把持機構領域は、ワーク１０１を把持機構２１０にて把持する際に把持機構２１０が干渉しないために必要な領域から定まる。ここで干渉する可能性がある物は、把持するワーク１０１を除く他のワーク１０１、集積トレー１１０等である。また、把持機構領域には、ワーク１０１を把持する前後の把持機構の形状により定まる可動領域も含まれる。これは、ワーク１０１を把持機構２１０で把持する前後で、把持機構２１０の形状が変形するため、可動領域に干渉する物がない事確認しないと把持動作ができないからである。さらに、把持機構領域には、ワーク１０１を把持機構２１０で把持した際にできるワーク１０１と把持機構２１０との隙間も含まれる。これは、ワーク１０１が円柱形状で把持機構２１０がコの字形状である場合、ワーク１０１と把持機構２１０との間に隙間ができるが、この隙間に何らかの物があるとワーク１０１を把持できない可能性があるからである。 The gripping mechanism region is determined from a region necessary for preventing the gripping mechanism 210 from interfering when the workpiece 101 is gripped by the gripping mechanism 210. Here, the objects that may interfere with each other are the workpiece 101 other than the workpiece 101 to be gripped, the stacking tray 110, and the like. Further, the gripping mechanism area includes a movable area determined by the shape of the gripping mechanism before and after gripping the workpiece 101. This is because the shape of the gripping mechanism 210 is deformed before and after the workpiece 101 is gripped by the gripping mechanism 210, so that the gripping operation cannot be performed unless it is confirmed that there is no object that interferes with the movable region. Further, the gripping mechanism region includes a gap between the workpiece 101 and the gripping mechanism 210 that is formed when the workpiece 101 is gripped by the gripping mechanism 210. This is because when the workpiece 101 is cylindrical and the gripping mechanism 210 is U-shaped, there is a gap between the workpiece 101 and the gripping mechanism 210, but if there is something in this gap, the workpiece 101 may not be gripped. Because there is sex.
把持可能領域抽出部３３０では、前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、把持部分領域と大きさが等しい領域全体に物体が存在するが把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する。 In the grippable area extraction unit 330, an object exists in the entire area having the same size as the gripping area selected from the three-dimensional information and the same size as the gripping part area. A region where no object is present in the equal region is extracted as a grippable region.
次に、図３を用いて、本発明に係るロボットシステムの実施形態におけるピッキング動作について説明する。
ステップＳ１００にて、集積トレー１１０にワーク１０１を供給する。
Next, the picking operation in the embodiment of the robot system according to the present invention will be described with reference to FIG.
In step S100, the workpiece 101 is supplied to the stacking tray 110.
なお、ワーク１０１の供給方法は所定の位置にワーク１０１が供給可能であれば、適宜自由に選択する事ができる。例えば、集積トレー１１０内のワーク１０１が少なくなったことを検知してパーツフィーダ等でワーク１０１を自動供給するようにして良い。また、集積トレー１１０内にワーク１０１が無くなった場合には、ワーク１０１が山積みされた集積トレー１１０と空の集積トレー１１０とをトレーチェンジャーによって交換することでワーク１０１をロボットシステムに供給しても良い。 In addition, if the workpiece | work 101 can be supplied to the predetermined position, the supply method of the workpiece | work 101 can be selected freely suitably. For example, the work 101 may be automatically supplied by a parts feeder or the like by detecting that the work 101 in the stacking tray 110 has decreased. Further, when the work 101 is no longer in the stacking tray 110, the work 101 can be supplied to the robot system by exchanging the stacking tray 110 on which the works 101 are stacked and the empty stacking tray 110 with a tray changer. good.
ステップＳ２００では、三次元計測装置３０１にて、集積トレー１１０上の三次元の計測データを取得し、取得した計測データからアプローチ方向が座標系の座標軸の方向と等しい三次元情報を生成する。 In step S200, the three-dimensional measuring device 301 acquires three-dimensional measurement data on the stacking tray 110, and generates three-dimensional information in which the approach direction is equal to the direction of the coordinate axis of the coordinate system from the acquired measurement data.
ステップＳ３００では、三次元情報のうち選択された把持領域と大きさの等しい領域が、抽出条件を具備する場合に把持可能領域として抽出する。ここで、抽出条件は、「三次元情報のうち選択された把持領域と大きさの等しい領域において、把持部分領域と大きさが等しい領域全体に物体が存在するが把持機構領域と大きさが等しい領域には物体が存在しないこと」である。把持可能領域の抽出については、後述する把持可能領域抽出装置の説明にて、詳細に説明する。 In step S300, an area having the same size as the selected gripping area in the three-dimensional information is extracted as a grippable area when the extraction condition is satisfied. Here, the extraction condition is, “In the region having the same size as the selected gripping region in the three-dimensional information, the object exists in the entire region having the same size as the gripping portion region, but the size is the same as the gripping mechanism region. There is no object in the area. Extraction of the grippable area will be described in detail in the description of the grippable area extraction device described later.
ステップ４００では、三次元情報から把持可能領域が抽出できたかを確認する。
把持可能領域が存在した場合には、ステップ５００に進み、把持可能領域の情報をロボット制御装置２２０に伝達する。ロボット制御装置２２０は複数の把持可能領域がある場合には、複数の把持可能領域から１つの把持可能領域を選択する。さらにロボット制御装置２２０はロボット２０１および把持機構２１０を制御し、選択された把持可能領域にあるワーク１０１を把持し、搬出コンベア４０１に移動させる。ワーク１０１の搬出コンベア４０１への移動が完了すると、再びステップＳ２００から処理を開始する。なお、把持可能領域を１つ選択する際には、予め定められた条件を具備する把持可能領域を選択することとなる。例えば、「アプローチ方向の座標値が最も大きい把持可能領域を選択する」ことを選択の条件とすることができる。
In step 400, it is confirmed whether a grippable area has been extracted from the three-dimensional information.
If there is a grippable area, the process proceeds to step 500 and information on the grippable area is transmitted to the robot controller 220. When there are a plurality of grippable areas, the robot controller 220 selects one grippable area from the plurality of grippable areas. Furthermore, the robot controller 220 controls the robot 201 and the gripping mechanism 210 to grip the workpiece 101 in the selected grippable area and move it to the carry-out conveyor 401. When the movement of the workpiece 101 to the carry-out conveyor 401 is completed, the process starts again from step S200. When one grippable area is selected, a grippable area having a predetermined condition is selected. For example, “selecting the grippable area having the largest coordinate value in the approach direction” can be set as the selection condition.
ステップ４００にて把持可能領域が存在しない場合には、ステップＳ６００に進み、集積トレー１１０にワーク１０１があるかを確認する。
集積トレー１１０にワーク１０１がない場合には、再びステップＳ１００に戻り、集積トレー１１０にワーク１０１を供給して処理を開始する。
If there is no grippable area in step 400, the process proceeds to step S600, and it is confirmed whether or not the work 101 is on the stacking tray 110.
When there is no work 101 in the stacking tray 110, the process returns to step S100 again, and the work 101 is supplied to the stacking tray 110 to start processing.
集積トレー１１０にワーク１０１が存在する場合には、ステップＳ７００に進み、集積トレー上のワークの状態を変更する。次に、ステップＳ２００に戻り、再び三次元情報を生成して処理を開始する。 When the work 101 exists on the stacking tray 110, the process proceeds to step S700, and the state of the work on the stacking tray is changed. Next, the process returns to step S200, and three-dimensional information is generated again to start processing.
ここで、ワークの状態を変更する方法として、集積トレー１１０の下部に振動装置を設けておき、振動により山積みにされたワーク１０１を崩す方法を採用することができる。また、ロボット２０１にて山積みにされたワーク１０１を崩す方法を採用することもできる。 Here, as a method of changing the state of the workpiece, a method of breaking a workpiece 101 piled up by vibration by providing a vibration device below the stacking tray 110 can be employed. Also, a method of breaking the workpieces 101 piled up by the robot 201 can be adopted.
なお、図１では集積トレー１１０を用いているが、ワーク１０１が三次元計測装置３０１の計測可能範囲に供給されれば、他の供給方法を用いる事ができる。例えば、コンベアによる供給や、専用箱による供給でも良い。 Although the stacking tray 110 is used in FIG. 1, other supply methods can be used as long as the workpiece 101 is supplied to the measurable range of the three-dimensional measurement apparatus 301. For example, supply by a conveyor or supply by a dedicated box may be used.
また、ロボット制御装置２２０は、一般に販売されているロボットコントローラでも、汎用コンピュータにモータ制御ボードを搭載した形態でも良い。
さらに、図１では搬出コンベア４０１を用いているが、ワーク１０１が所定の状態で置く事ができれば良く、コンベアに限定されない。例えば、ワーク１個ごとに区切られた専用箱を用い、その区切られた空間にワーク１０１を入れるようにしても良い。また、別の部品が供給され、その部品にワーク１０１を組み付けて次の工程に移動させるようにしても良い。
The robot controller 220 may be a generally sold robot controller or a general-purpose computer equipped with a motor control board.
Furthermore, although the carry-out conveyor 401 is used in FIG. 1, it is only necessary that the workpiece 101 can be placed in a predetermined state, and is not limited to the conveyor. For example, a dedicated box partitioned for each workpiece may be used, and the workpiece 101 may be placed in the partitioned space. Alternatively, another part may be supplied, and the workpiece 101 may be assembled to the part and moved to the next process.
次に、図を参照しつつ対象物把持領域抽出装置の第１の実施形態について詳細に説明する。
まず、図４は本発明に係る対象物把持領域抽出装置の第１の実施形態のブロック図である。
Next, the first embodiment of the object gripping area extracting apparatus will be described in detail with reference to the drawings.
First, FIG. 4 is a block diagram of the first embodiment of the object gripping area extracting apparatus according to the present invention.
図４において、３０１は三次元計測装置、３２０ａは三次元情報生成部、３３０ａは把持可能領域抽出部、３４０は記憶部である。
三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等である。
In FIG. 4, reference numeral 301 denotes a three-dimensional measuring device, 320a denotes a three-dimensional information generation unit, 330a denotes a grippable area extraction unit, and 340 denotes a storage unit.
The three-dimensional measurement apparatus 301 is a three-dimensional measurement apparatus that can acquire three-dimensional measurement data without contact, and is a stereo camera, a three-dimensional scanner, or the like.
記憶部３４０には、三次元計測装置３０１で計測した三次元の計測データにおける各座標軸の方向と、アプローチ方向とが記憶されている。ここで、アプローチ方向とは、ロボット２０１の集積トレー１１０上のワーク１０１を把持する動作において、把持機構２１０を把持する対象ワーク１０１まで移動させる際の把持機構２１０の移動方向である。 The storage unit 340 stores the direction of each coordinate axis and the approach direction in the three-dimensional measurement data measured by the three-dimensional measurement apparatus 301. Here, the approach direction is the moving direction of the gripping mechanism 210 when the robot 201 moves the gripping mechanism 210 to the target work 101 in the operation of gripping the work 101 on the stacking tray 110.
三次元情報生成部３２０ａは、三次元計測装置３０１にて取得した計測データから、アプローチ方向を座標軸の１つの方向とする三次元情報を生成する。なお、生成された三次元情報は、記憶部３４０に記憶される。 The three-dimensional information generation unit 320a generates three-dimensional information having the approach direction as one direction of the coordinate axes from the measurement data acquired by the three-dimensional measurement apparatus 301. The generated three-dimensional information is stored in the storage unit 340.
三次元計測装置３０１で計測した三次元の計測データの座標系を計測座標系とし、アプローチ方向をＺ軸方向とした座標系をアプローチ座標系とする。三次元情報生成部３２０ａは、周知の幾何変換式を用い、計測座標系の計測データをアプローチ座標系の座標値に変換する。計測座標系からアプローチ座標系への変換は、周知の各種幾何変換（アフィン変換、クォータニオン変換等）によって可能であり、任意にその幾何変換の方法は選択できる。 The coordinate system of the three-dimensional measurement data measured by the three-dimensional measurement apparatus 301 is defined as a measurement coordinate system, and the coordinate system having the approach direction as the Z-axis direction is defined as an approach coordinate system. The three-dimensional information generation unit 320a converts measurement data in the measurement coordinate system into coordinate values in the approach coordinate system using a known geometric conversion formula. The transformation from the measurement coordinate system to the approach coordinate system can be performed by various known geometric transformations (affine transformation, quaternion transformation, etc.), and the geometric transformation method can be arbitrarily selected.
ここで第１の実施形態における生成された三次元情報について、より具体的に説明する。第１の実施形態における三次元情報では、アプローチ座標系の座標値から、ＸＹ平面の各点ごとのＺ軸の最大値からなる情報を三次元情報として生成する。図５は、第１の実施形態における三次元情報を表した図である。図５の三次元情報では、分解能がＸＹ平面全体で３２×３２、図１に示す棒のような直方体のワーク１０１は、ＸＹ平面で２×１０、Ｚ軸座標値で５の大きさとなる。なお、三次元計測装置３０１の計測によっても、計測方向における物体の背後に物体が存在するか否かは判断できないため、計測方向における物体の背後については物体が存在するものとして三次元情報を生成する。なお、図５において横軸がＸ軸の座標値、縦軸がＹ軸の座標値、四角に囲まれた値がＺ軸の座標値である。各点の座標値を（Ｘ，Ｙ，Ｚ）にて表すと、（４，６，５）、（５，１４，１０）、（１８，１６，８）等となる。つまり、（９，３，５），（９，４，５），（９，５，５），（９，６，５），（９，７，５），（１０，３，５），（１０，４，５），（１０，５，５），（１０，６，５），（１０，７，５）の領域や、（６，１７，５），（７，１７，５），（８，１７，５），（９，１７，５），（１０，１７，５），（６，１８，５），（７，１８，５），（８，１８，５），（９，１８，５），（１０，１８，５）の領域は、ワーク１０１が存在する領域となる。 Here, the three-dimensional information generated in the first embodiment will be described more specifically. In the three-dimensional information in the first embodiment, information including the maximum value of the Z axis for each point on the XY plane is generated as three-dimensional information from the coordinate values of the approach coordinate system. FIG. 5 is a diagram showing the three-dimensional information in the first embodiment. In the three-dimensional information in FIG. 5, the resolution is 32 × 32 in the entire XY plane, and the rectangular parallelepiped work 101 such as a rod shown in FIG. 1 has a size of 2 × 10 in the XY plane and 5 in the Z-axis coordinate value. Note that it is impossible to determine whether or not an object is present behind the object in the measurement direction even by measurement by the three-dimensional measurement apparatus 301. Therefore, three-dimensional information is generated assuming that an object exists behind the object in the measurement direction. To do. In FIG. 5, the horizontal axis is the X-axis coordinate value, the vertical axis is the Y-axis coordinate value, and the value surrounded by a square is the Z-axis coordinate value. When the coordinate value of each point is represented by (X, Y, Z), it becomes (4, 6, 5), (5, 14, 10), (18, 16, 8), etc. That is, (9, 3, 5), (9, 4, 5), (9, 5, 5), (9, 6, 5), (9, 7, 5), (10, 3, 5), (10, 4, 5), (10, 5, 5), (10, 6, 5), (10, 7, 5), (6, 17, 5), (7, 17, 5) , (8, 17, 5), (9, 17, 5), (10, 17, 5), (6, 18, 5), (7, 18, 5), (8, 18, 5), ( The areas 9, 18, 5) and (10, 18, 5) are areas where the workpiece 101 exists.
記憶部３４０は、把持領域記憶部３４１をさらに備える。把持領域記憶部３４１には、予め把持領域が記憶されている。ここで、把持領域とは、ワーク１０１を把持する際に必要となる領域であって、把持機構２１０により定まる把持機構領域と、把持機構２１０に把持される前記ワーク１０１の把持部分により定まる把持部分領域と、から構成されている。把持領域は、把持可能領域抽出部３３０ａにて把持可能な把持可能領域を抽出するのに用いられる。 The storage unit 340 further includes a gripping area storage unit 341. The gripping area storage unit 341 stores a gripping area in advance. Here, the gripping area is an area required when gripping the workpiece 101, and is a gripping mechanism area determined by the gripping mechanism 210 and a gripping part determined by the gripping portion of the workpiece 101 gripped by the gripping mechanism 210. Area. The gripping area is used to extract a grippable area that can be gripped by the grippable area extraction unit 330a.
把持領域について具体例を用いて説明する。例えば、図５の三次元情報において、ワーク１０１はＸＹ平面上で２×１０のサイズとなり、Ｚ軸の座標値が５と計測される。ここでワーク１０１の両端の何れか一方を挟むように把持するとき、ワーク１０１の把持部分領域は、図５に示す三次元情報ではＸ軸方向に２、Ｙ軸方向に２となり、把持機構２１０の形状や可動領域等により必要となる把持機構領域は、ワーク１０１の端部の周辺にＸ軸方向に２、Ｙ軸方向に２のスペースにＺ軸座標値でワーク１０１のＺ軸方向の大きさである５以上のスペースが必要となる。 The gripping area will be described using a specific example. For example, in the three-dimensional information in FIG. 5, the workpiece 101 has a size of 2 × 10 on the XY plane, and the coordinate value of the Z axis is measured as 5. Here, when gripping the workpiece 101 so as to sandwich either end of the workpiece 101, the gripping portion area of the workpiece 101 is 2 in the X-axis direction and 2 in the Y-axis direction in the three-dimensional information shown in FIG. The gripping mechanism area required by the shape and movable area of the workpiece 101 is large in the Z-axis direction of the workpiece 101 in the Z-axis coordinate value in a space of 2 in the X-axis direction and 2 in the Y-axis direction around the end of the workpiece 101. That is, 5 or more spaces are required.
この場合の三次元情報におけるワーク１０１の上側を把持する把持領域記憶部３４１に記憶された把持領域は図６のように表される。図６において、把持領域は、Ｘ座標がｉ−２〜ｉ＋３、Ｙ座標がｊ−２〜ｊ＋１の領域である。把持部分領域は、Ｘ座標がｉ〜ｉ＋１、Ｙ座標がｊ〜ｊ＋１の領域である。把持機構領域は、把持領域から把持部分領域を除いた領域となる。 The gripping area stored in the gripping area storage unit 341 that grips the upper side of the workpiece 101 in the three-dimensional information in this case is represented as shown in FIG. In FIG. 6, the gripping region is a region where the X coordinate is i−2 to i + 3 and the Y coordinate is j−2 to j + 1. The gripping partial region is a region where the X coordinate is i to i + 1 and the Y coordinate is j to j + 1. The gripping mechanism area is an area obtained by removing the gripping part area from the gripping area.
なお、把持領域は、ワーク１０１および把持機構２１０の形状、大きさ、可動範囲、把ワークを把持したときのワーク１０１と把持機構２１０との位置関係が予め定まっており、把持機構で把持されるワーク１０１の把持部分も予め定まっている。そのため、把持領域は、三次元情報生成部３２０で生成される三次元情報に対応して予め定め、ユーザーが記憶部に記憶させておくことが可能である。 Note that the gripping area has a predetermined shape and size, movable range, and positional relationship between the workpiece 101 and the gripping mechanism 210 when the gripping workpiece is gripped, and is gripped by the gripping mechanism. The grip portion of the workpiece 101 is also determined in advance. Therefore, the gripping area can be determined in advance corresponding to the three-dimensional information generated by the three-dimensional information generation unit 320 and stored in the storage unit by the user.
図６のように把持領域を設定した場合、把持領域の２４ブロックのＺ軸方向の値を用いて、ワーク端部の周辺部（２画素相当）がワークサイズ（高さ）以上の高低差（周辺が低い）がある部分を把持可能領域として抽出できる。 When the gripping area is set as shown in FIG. 6, the height difference of the peripheral part (corresponding to two pixels) of the work edge is equal to or larger than the work size (height) using the values in the Z-axis direction of 24 blocks of the gripping area A portion having a low periphery can be extracted as a grippable region.
把持可能領域抽出部３３０ａは、記憶部３４０に記憶された三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさが等しい領域を選択する。選択された領域について、相対関係演算部３３１にて把持部分領域と把持機構領域のアプローチ方向における座標値の差分値を求め、その差分値から把持部分領域と把持機構領域の相対関係を求める。そして、その相対関係が所定の要件を具備する場合には、選択された領域を把持可能領域として抽出する。 The grippable area extraction unit 330 a selects an area having the same size as the gripping area stored in the gripping area storage unit 341 from the three-dimensional information stored in the storage unit 340. For the selected area, a relative value calculation unit 331 obtains a difference value between coordinate values in the approach direction of the gripping part area and the gripping mechanism area, and obtains a relative relation between the gripping part area and the gripping mechanism area from the difference value. Then, if the relative relationship has a predetermined requirement, the selected area is extracted as a grippable area.
ここで、把持可能領域抽出部３３０ａは、把持部分領域と把持機構領域の相対関係が所定の要件を具備するか否かを判断するため、ワーク１０１の位置・姿勢を別途認識することなく、ワーク１０１を把持するための把持機構２１０の移動領域を特定することができるため、処理時間が短くなる。 Here, the grippable area extraction unit 330a determines whether or not the relative relationship between the gripping part area and the gripping mechanism area has a predetermined requirement. Since the moving area of the gripping mechanism 210 for gripping 101 can be specified, the processing time is shortened.
把持可能領域抽出部３３０ａの処理内容について、具体例を用いて説明する。相対関係演算部３３１の演算内容は、次のようになる。
まず、図６に例示した把持領域において、把持部分領域と把持機構領域の相対関係は、把持部分領域におけるＸ座標，Ｙ座標で定まる基準位置と、把持機構領域におけるＸ座標，Ｙ座標で定まる所定の比較位置との、Ｚ軸座標値の差分値として求める。次に、求めた差分値がワークのＺ軸方向の大きさである５以上であるか否かを確認する。
The processing content of the grippable area extraction unit 330a will be described using a specific example. The calculation contents of the relative relationship calculation unit 331 are as follows.
First, in the gripping area illustrated in FIG. 6, the relative relationship between the gripping part area and the gripping mechanism area is a reference position determined by the X and Y coordinates in the gripping part area and a predetermined position determined by the X and Y coordinates in the gripping mechanism area. Is obtained as a difference value of the Z-axis coordinate value from the comparison position. Next, it is confirmed whether or not the obtained difference value is 5 or more which is the size of the workpiece in the Z-axis direction.
例えば、三次元情報から選択された把持領域に等しい領域において、把持部分領域の基準位置（ｉ，ｊ）は、隣接する８箇所の比較位置(i-2,j-2)，(i-2,j-1)，(i-2,j)，(i-1,j-2)，(i-1,j-1)，(i-1,j)，(i,j-2)，(i,j-1)との差分値を求める。また、基準位置（i,j+1）は、隣接する２箇所の比較位置(i-1,j+1)，(i-1,j+1)との差分値を求める。 For example, in an area equal to the gripping area selected from the three-dimensional information, the reference position (i, j) of the gripping partial area is the eight comparison positions (i-2, j-2), (i-2) adjacent to each other. , j-1), (i-2, j), (i-1, j-2), (i-1, j-1), (i-1, j), (i, j-2), The difference value from (i, j-1) is obtained. The reference position (i, j + 1) is obtained as a difference value between two adjacent comparison positions (i-1, j + 1) and (i-1, j + 1).
ここで、p（ｎ）は求める相対関係、z（ｘ，ｙ）は座標（ｘ，ｙ）のときのＺ軸の座標値、if（不等式，True else False）は不等式を具備すればTrueとなりそれ以外はFalseとなるものと定義すると、相対関係演算部３３１の演算内容の具体例は、次の２０の式からなる式（１）を演算することとなる。 Here, p (n) is the relative relationship to be obtained, z (x, y) is the coordinate value of the Z axis at the coordinate (x, y), and if (inequality, True else False) is True if it has an inequality. If it is defined that other than that is False, a specific example of the calculation contents of the relative relationship calculation unit 331 is to calculate Expression (1) including the following 20 expressions.
p(1)=if(z(i,j) - z(i-2,j-2) >= 5 , 0 else 1)
p(2)=if(z(i,j) - z(i-2,j-1) >= 5 , 0 else 1)
p(3)=if(z(i,j) - z(i-2,j) >= 5 , 0 else 1)
p(4)=if(z(i,j+1) - z(i-1,j+1) >= 5 , 0 else 1)
p(5)=if(z(i,j) - z(i-1,j-2) >= 5 , 0 else 1)
p(6)=if(z(i,j) - z(i-1,j-1) >= 5 , 0 else 1)
p(7)=if(z(i,j) - z(i-1,j) >= 5 , 0 else 1)
p(8)=if(z(i,j+1) - z(i-1,j+1) >= 5 , 0 else 1)
p(9)=if(z(i,j) - z(i,j-2) >= 5 , 0 else 1)
p(10)=if(z(i,j) - z(i,j-1) >= 5 , 0 else 1)
p(11)=if(z(i+1,j) - z(i+1,j-2) >= 5 , 0 else 1)
p(12)=if(z(i+1,j) - z(i+1,j-1) >= 5 , 0 else 1)
p(13)=if(z(i+1,j) - z(i+2,j-2) >= 5 , 0 else 1)
p(14)=if(z(i+1,j) - z(i+2,j-1) >= 5 , 0 else 1)
p(15)=if(z(i+1,j) - z(i+2,j) >= 5 , 0 else 1)
p(16)=if(z(i+1,j+1) - z(i+2,j+1) >= 5 , 0 else 1)
p(17)=if(z(i+1,j) - z(i+3,j-2) >= 5 , 0 else 1)
p(18)=if(z(i+1,j) - z(i+3,j-1) >= 5 , 0 else 1)
p(19)=if(z(i+1,j) - z(i+3,j) >= 5 , 0 else 1)
p(20)=if(z(i+1,j+1) - z(i+3,j+1) >= 5 , 0 else 1) ・・・（１）
なお、式（１）は具体例の一つであり、これに限定されるものではない。予めワーク１０１を把持機構２１０で把持する際に定まる条件を、ユーザが任意に設定することができる。
p (1) = if (z (i, j)-z (i-2, j-2)> = 5, 0 else 1)
p (2) = if (z (i, j)-z (i-2, j-1)> = 5, 0 else 1)
p (3) = if (z (i, j)-z (i-2, j)> = 5, 0 else 1)
p (4) = if (z (i, j + 1)-z (i-1, j + 1)> = 5, 0 else 1)
p (5) = if (z (i, j)-z (i-1, j-2)> = 5, 0 else 1)
p (6) = if (z (i, j)-z (i-1, j-1)> = 5, 0 else 1)
p (7) = if (z (i, j)-z (i-1, j)> = 5, 0 else 1)
p (8) = if (z (i, j + 1)-z (i-1, j + 1)> = 5, 0 else 1)
p (9) = if (z (i, j)-z (i, j-2)> = 5, 0 else 1)
p (10) = if (z (i, j)-z (i, j-1)> = 5, 0 else 1)
p (11) = if (z (i + 1, j)-z (i + 1, j-2)> = 5, 0 else 1)
p (12) = if (z (i + 1, j)-z (i + 1, j-1)> = 5, 0 else 1)
p (13) = if (z (i + 1, j)-z (i + 2, j-2)> = 5, 0 else 1)
p (14) = if (z (i + 1, j)-z (i + 2, j-1)> = 5, 0 else 1)
p (15) = if (z (i + 1, j)-z (i + 2, j)> = 5, 0 else 1)
p (16) = if (z (i + 1, j + 1)-z (i + 2, j + 1)> = 5, 0 else 1)
p (17) = if (z (i + 1, j)-z (i + 3, j-2)> = 5, 0 else 1)
p (18) = if (z (i + 1, j)-z (i + 3, j-1)> = 5, 0 else 1)
p (19) = if (z (i + 1, j)-z (i + 3, j)> = 5, 0 else 1)
p (20) = if (z (i + 1, j + 1)-z (i + 3, j + 1)> = 5, 0 else 1) (1)
In addition, Formula (1) is one of the specific examples, and is not limited to this. The user can arbitrarily set conditions that are determined when the workpiece 101 is gripped by the gripping mechanism 210 in advance.
さらに、把持可能領域抽出部３３０ａは、相対関係演算部３３１で演算した相対関係ｐ（ｎ）から、選択された領域が把持可能領域の条件を具備するか判断し、具備する場合には把持可能領域として抽出する。 Further, the grippable area extraction unit 330a determines whether or not the selected area satisfies the grippable area condition from the relative relationship p (n) calculated by the relative relationship calculation unit 331. Extract as a region.
具体例として、前記の式（１）にて相対関係が求められている場合には、評価関数Ｐ（ｘ，ｙ）を次の式（２）とし、式（２）を演算してその結果が０である場合に把持可能領域であると判断し、それ以外（１〜２０）の値である場合には、把持可能領域ではないと判断する。ここで、Ｐ（ｘ，ｙ）のｘ，ｙは、三次元情報における座標値であって、前記の選択された領域の把持部分領域の予め定めた位置である。 As a specific example, when the relative relationship is obtained in the above equation (1), the evaluation function P (x, y) is set as the following equation (2), the equation (2) is calculated, and the result When the value is 0, it is determined that the region is a grippable region, and when the value is other than (1-20), it is determined that the region is not a grippable region. Here, x and y of P (x, y) are coordinate values in the three-dimensional information, and are predetermined positions of the gripping portion area of the selected area.
次に、対象物把持領域抽出装置の第１の実施形態における動作について説明する。なお、対象物把持領域抽出装置における動作は図３に示したロボットシステムのフローチャートのステップＳ２００の「ワーク供給部の三次元情報生成」とステップＳ３００の「把持可能領域の抽出」に該当する。 Next, the operation in the first embodiment of the object gripping area extracting device will be described. Note that the operation of the object gripping region extraction apparatus corresponds to “three-dimensional information generation of the workpiece supply unit” in step S200 and “extraction of grippable region” in step S300 of the flowchart of the robot system shown in FIG.
まず、図８は、ステップＳ２００の「ワーク供給部の三次元情報生成」の詳細フローチャートである。
ステップＳ２１１にて、三次元計測装置３０１にて集積トレー１１０上の三次元の計測データを取得する。次に、ステップＳ２１２にて、周知の幾何変換式を用いて計測座標系の計測データをアプローチ座標系の座標値に変換し、三次元情報を生成する。図５の三次元情報は、第１の実施形態における三次元情報の一例である。
First, FIG. 8 is a detailed flowchart of “three-dimensional information generation of the workpiece supply unit” in step S200.
In step S211, the three-dimensional measurement device 301 acquires three-dimensional measurement data on the stacking tray 110. Next, in step S212, measurement data in the measurement coordinate system is converted into coordinate values in the approach coordinate system using a known geometric transformation formula, and three-dimensional information is generated. The three-dimensional information in FIG. 5 is an example of the three-dimensional information in the first embodiment.
図９は、ステップＳ３００の「把持可能領域の抽出」の詳細フローチャートである。
ステップＳ３２１にて、三次元情報から三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。例えば、図６に示した把持領域を用いる場合には、図５に示す三次元情報において、Ｘ座標が７〜１２、Ｙ座標が１〜４の領域を選択する。
FIG. 9 is a detailed flowchart of “extraction of grippable area” in step S300.
In step S321, a region having the same size as the grip region stored in the grip region storage unit 341 is selected from the three-dimensional information based on the three-dimensional information. For example, when the gripping area shown in FIG. 6 is used, an area having an X coordinate of 7 to 12 and a Y coordinate of 1 to 4 is selected in the three-dimensional information shown in FIG.
ステップＳ３２２において、ステップＳ３２１にて選択された領域について、把持部分領域と把持機構領域のアプローチ方向における座標値の差分値を求め、その差分値から把持部分領域と把持機構領域の相対関係を求める。例えば、図６に示した把持領域を用いる場合には、図５に示す三次元情報において、前記式（１）を計算することとなる。選択された領域のＸ座標が７〜１２、Ｙ座標が１〜４の領域である場合、式（１）のｉ＝9，ｊ＝３となり、式（３）のように計算される。 In step S322, for the region selected in step S321, a difference value between coordinate values in the approach direction between the gripping portion region and the gripping mechanism region is obtained, and a relative relationship between the gripping portion region and the gripping mechanism region is obtained from the difference value. For example, when the gripping area shown in FIG. 6 is used, the expression (1) is calculated in the three-dimensional information shown in FIG. When the selected area is an area where the X coordinate is 7 to 12 and the Y coordinate is 1 to 4, i = 9 and j = 3 in Expression (1), and calculation is performed as shown in Expression (3).
p(1)=if(5 - 0 >= 5 , 0 else 1) = 0
p(2)=if(5 - 0 >= 5 , 0 else 1) = 0
p(3)=if(5 - 0 >= 5 , 0 else 1) = 0
p(4)=if(5 - 0 >= 5 , 0 else 1) = 0
p(5)=if(5 - 0 >= 5 , 0 else 1) = 0
p(6)=if(5 - 0 >= 5 , 0 else 1) = 0
p(7)=if(5 - 0 >= 5 , 0 else 1) = 0
p(8)=if(5 - 0 >= 5 , 0 else 1) = 0
p(9)=if(5 - 0 >= 5 , 0 else 1) = 0
p(10)=if(5 - 0 >= 5 , 0 else 1) = 0
p(11)=if(5 - 0 >= 5 , 0 else 1) = 0
p(12)=if(5 - 0 >= 5 , 0 else 1) = 0
p(13)=if(5 - 0 >= 5 , 0 else 1) = 0
p(14)=if(5 - 0 >= 5 , 0 else 1) = 0
p(15)=if(5 - 0 >= 5 , 0 else 1) = 0
p(16)=if(5 - 0 >= 5 , 0 else 1) = 0
p(17)=if(5 - 0 >= 5 , 0 else 1) = 0
p(18)=if(5 - 0 >= 5 , 0 else 1) = 0
p(19)=if(5 - 0 >= 5 , 0 else 1) = 0
p(20)=if(5 - 0 >= 5 , 0 else 1) = 0 ・・・（３）
ステップＳ３２３にて、選択された領域が把持可能領域の条件を具備するか判断する。そして、条件を具備する場合にはステップＳ３２４にて把持可能領域として抽出する。条件を具備しない場合には、ステップＳ３２５に進む。
p (1) = if (5-0> = 5, 0 else 1) = 0
p (2) = if (5-0> = 5, 0 else 1) = 0
p (3) = if (5-0> = 5, 0 else 1) = 0
p (4) = if (5-0> = 5, 0 else 1) = 0
p (5) = if (5-0> = 5, 0 else 1) = 0
p (6) = if (5-0> = 5, 0 else 1) = 0
p (7) = if (5-0> = 5, 0 else 1) = 0
p (8) = if (5-0> = 5, 0 else 1) = 0
p (9) = if (5-0> = 5, 0 else 1) = 0
p (10) = if (5-0> = 5, 0 else 1) = 0
p (11) = if (5-0> = 5, 0 else 1) = 0
p (12) = if (5-0> = 5, 0 else 1) = 0
p (13) = if (5-0> = 5, 0 else 1) = 0
p (14) = if (5-0> = 5, 0 else 1) = 0
p (15) = if (5-0> = 5, 0 else 1) = 0
p (16) = if (5-0> = 5, 0 else 1) = 0
p (17) = if (5-0> = 5, 0 else 1) = 0
p (18) = if (5-0> = 5, 0 else 1) = 0
p (19) = if (5-0> = 5, 0 else 1) = 0
p (20) = if (5-0> = 5, 0 else 1) = 0 (3)
In step S323, it is determined whether or not the selected area satisfies a grippable area condition. If the condition is satisfied, it is extracted as a grippable area in step S324. If the condition is not satisfied, the process proceeds to step S325.
例えば、式（２）の評価関数Ｐ（ｘ，ｙ）を求め、Ｐ（ｘ，ｙ）が０であるか否かを確認し、０である場合には把持可能領域として抽出する。式（３）の計算結果を得た場合には、式（２）の評価関数はＰ（９，３）＝０となり、Ｘ座標が７〜１２、Ｙ座標が１〜４の領域は把持可能領域として抽出される事となる。 For example, the evaluation function P (x, y) of Expression (2) is obtained, and it is confirmed whether P (x, y) is 0. If it is 0, it is extracted as a grippable area. When the calculation result of Expression (3) is obtained, the evaluation function of Expression (2) is P (9,3) = 0, and the region where the X coordinate is 7 to 12 and the Y coordinate is 1 to 4 can be grasped. It will be extracted as a region.
ステップＳ３２５では、三次元情報の全領域が選択されたか否かを確認する。全領域が選択されていない場合には、ステップＳ３２１に戻り新たな領域を選択し、以降の処理を繰り返す。全領域が選択された場合には、ステップＳ３２６に進み把持可能領域の抽出を終了する。 In step S325, it is confirmed whether or not the entire area of the three-dimensional information has been selected. If the entire area has not been selected, the process returns to step S321 to select a new area, and the subsequent processing is repeated. If the entire area has been selected, the process proceeds to step S326 and the extraction of the grippable area is terminated.
なお、対象物把持領域抽出装置の第１の実施形態において、把持領域は図６に示した上側を把持する場合に限定されることはなく、図１０に示す右側を把持する場合の領域としても良い。この場合には、相対関係演算部３３１の演算内容の具体例は、次の式（４）を演算することとなる。 In the first embodiment of the object gripping area extracting device, the gripping area is not limited to gripping the upper side shown in FIG. 6, and may be an area when gripping the right side shown in FIG. 10. good. In this case, a specific example of the calculation contents of the relative relationship calculation unit 331 is to calculate the following equation (4).
p(1)=if(z(i-1,j) - z(i-1,j-2) >= 5 , 0 else 1)
p(2)=if(z(i-1,j) - z(i-1,j-1) >= 5 , 0 else 1)
p(3)=if(z(i,j) - z(i,j-2) >= 5 , 0 else 1)
p(4)=if(z(i,j) - z(i,j-1) >= 5 , 0 else 1)
p(5)=if(z(i,j) - z(i+1,j-2) >= 5 , 0 else 1)
p(6)=if(z(i,j) - z(i+1,j-1) >= 5 , 0 else 1)
p(7)=if(z(i,j) - z(i+1,j) >= 5 , 0 else 1)
p(8)=if(z(i,j) - z(i+2,j-2) >= 5 , 0 else 1)
p(9)=if(z(i,j) - z(i+2,j-1) >= 5 , 0 else 1)
p(10)=if(z(i,j) - z(i+2,j) >= 5 , 0 else 1)
p(11)=if(z(i-1,j+1) - z(i-1,j+2) >= 5 , 0 else 1)
p(12)=if(z(i-1,j+1) - z(i-1,j+3) >= 5 , 0 else 1)
p(13)=if(z(i,j+1) - z(i,j+2) >= 5 , 0 else 1)
p(14)=if(z(i,j+1) - z(i,j+3) >= 5 , 0 else 1)
p(15)=if(z(i,j+1) - z(i+1,j+1) >= 5 , 0 else 1)
p(16)=if(z(i,j+1) - z(i+1,j+2) >= 5 , 0 else 1)
p(17)=if(z(i,j+1) - z(i+1,j+3) >= 5 , 0 else 1)
p(18)=if(z(i,j+1) - z(i+2,j+1) >= 5 , 0 else 1)
p(19)=if(z(i,j+1) - z(i+2,j+2) >= 5 , 0 else 1)
p(20)=if(z(i,j+1) - z(i+2,j+3) >= 5 , 0 else 1) ・・・（４）
ここで、図５に示した三次元情報から、図１０に示した把持領域を用いて、把持可能領域を抽出した例を図１１に示す。なお、図１１において、グレーで塗りつぶした部分が把持可能領域として抽出した領域であり、各座標の数字は評価関数P(x,y)の値である。このようにして、本例においては２つの把持可能領域を抽出している。
p (1) = if (z (i-1, j)-z (i-1, j-2)> = 5, 0 else 1)
p (2) = if (z (i-1, j)-z (i-1, j-1)> = 5, 0 else 1)
p (3) = if (z (i, j)-z (i, j-2)> = 5, 0 else 1)
p (4) = if (z (i, j)-z (i, j-1)> = 5, 0 else 1)
p (5) = if (z (i, j)-z (i + 1, j-2)> = 5, 0 else 1)
p (6) = if (z (i, j)-z (i + 1, j-1)> = 5, 0 else 1)
p (7) = if (z (i, j)-z (i + 1, j)> = 5, 0 else 1)
p (8) = if (z (i, j)-z (i + 2, j-2)> = 5, 0 else 1)
p (9) = if (z (i, j)-z (i + 2, j-1)> = 5, 0 else 1)
p (10) = if (z (i, j)-z (i + 2, j)> = 5, 0 else 1)
p (11) = if (z (i-1, j + 1)-z (i-1, j + 2)> = 5, 0 else 1)
p (12) = if (z (i-1, j + 1)-z (i-1, j + 3)> = 5, 0 else 1)
p (13) = if (z (i, j + 1)-z (i, j + 2)> = 5, 0 else 1)
p (14) = if (z (i, j + 1)-z (i, j + 3)> = 5, 0 else 1)
p (15) = if (z (i, j + 1)-z (i + 1, j + 1)> = 5, 0 else 1)
p (16) = if (z (i, j + 1)-z (i + 1, j + 2)> = 5, 0 else 1)
p (17) = if (z (i, j + 1)-z (i + 1, j + 3)> = 5, 0 else 1)
p (18) = if (z (i, j + 1)-z (i + 2, j + 1)> = 5, 0 else 1)
p (19) = if (z (i, j + 1)-z (i + 2, j + 2)> = 5, 0 else 1)
p (20) = if (z (i, j + 1)-z (i + 2, j + 3)> = 5, 0 else 1) (4)
Here, FIG. 11 shows an example in which a grippable area is extracted from the three-dimensional information shown in FIG. 5 using the gripping area shown in FIG. In FIG. 11, the grayed out portion is the region extracted as the grippable region, and the numbers at each coordinate are the values of the evaluation function P (x, y). In this way, two grippable areas are extracted in this example.
上記のように必要に応じて、下部を掴む場合や左側を掴む場合も、把持領域を把持領域記憶部３４１に記憶し、把持領域に合わせた相対関係の演算式を相対関係演算部３３１に設定することで、任意の把持領域を用いて把持可能領域を抽出することが可能である。勿論、複数の把持領域を把持領域記憶部３４１に記憶し、各把持領域に対応した複数の相対関係の演算式を相対関係演算部３３１に設定しておくこともできる。さらに、把持領域記憶部３４１に記憶する把持領域は１つとして、三次元情報を幾何変換により任意の角度に回転変換し、回転変換後の三次元情報を用いることで、任意の角度での把持可能領域の抽出も可能である。 As described above, when grasping the lower part or grasping the left side as necessary, the grasping area is stored in the grasping area storage unit 341 and the relative expression according to the grasping area is set in the relative relation calculating unit 331. By doing so, it is possible to extract a grippable area using an arbitrary gripping area. Of course, a plurality of gripping areas can be stored in the gripping area storage unit 341, and a plurality of arithmetic expressions for relative relations corresponding to the respective gripping areas can be set in the relative relation calculation unit 331. Further, assuming that there is one gripping area stored in the gripping area storage unit 341, the three-dimensional information is rotationally converted to an arbitrary angle by geometric transformation, and the three-dimensional information after the rotational transformation is used, thereby gripping at an arbitrary angle. Possible areas can also be extracted.
次に、図を参照しつつ対象物把持領域抽出装置の第２の実施形態について詳細に説明する。なお、対象物把持領域抽出装置の第１の実施形態と共通する部分については、説明を省略する。さらに、説明を簡単にするため、集積トレー１１０上のワーク１０１の状態が、第１の実施形態と第２の実施形態で同じであるものとして説明する。 Next, a second embodiment of the object gripping area extracting device will be described in detail with reference to the drawings. In addition, description is abbreviate | omitted about the part which is common in 1st Embodiment of the target object gripping area extraction apparatus. Furthermore, in order to simplify the description, it is assumed that the state of the workpiece 101 on the stacking tray 110 is the same in the first embodiment and the second embodiment.
まず、図１２は本発明に係る対象物把持領域抽出装置の第２の実施形態のブロック図である。
図１２において、３０１は三次元計測装置、３２０ｂは三次元情報生成部、３３０ｂは把持可能領域抽出部、３４０は記憶部である。
First, FIG. 12 is a block diagram of a second embodiment of the object gripping area extracting apparatus according to the present invention.
In FIG. 12, reference numeral 301 denotes a three-dimensional measuring apparatus, 320b denotes a three-dimensional information generation unit, 330b denotes a grippable area extraction unit, and 340 denotes a storage unit.
三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等である。
記憶部３４０には、三次元計測装置３０１で計測した三次元の計測データにおける各座標軸の方向と、アプローチ方向とが記憶されている。
The three-dimensional measurement apparatus 301 is a three-dimensional measurement apparatus that can acquire three-dimensional measurement data without contact, and is a stereo camera, a three-dimensional scanner, or the like.
The storage unit 340 stores the direction of each coordinate axis and the approach direction in the three-dimensional measurement data measured by the three-dimensional measurement apparatus 301.
三次元情報生成部３２０ｂは、三次元計測装置３０１にて取得した計測データから、アプローチ方向を座標軸の１つ方向とする三次元情報を生成する。なお、生成された三次元情報は、記憶部３４０に記憶される。 The three-dimensional information generation unit 320b generates three-dimensional information having the approach direction as one direction of the coordinate axes from the measurement data acquired by the three-dimensional measurement apparatus 301. The generated three-dimensional information is stored in the storage unit 340.
ここで第２の実施形態における生成された三次元情報について、より具体的に説明する。第２の実施形態における三次元情報では、アプローチ座標系のＸ，Ｙ，Ｚで定まる座標値ごとに物体が存在するか否かの情報を三次元情報として生成する。三次元情報の具体例としては、分解能がＸＹＺ空間全体で３２×３２×３２である場合、図１に示す棒のような直方体のワーク１０１が２×１０×５の領域となるものとし、１ブロックごとに物体の存否フラグを有する。物体の存否フラグは、物体が存在する場合に１、物体が存在しない場合に０となる。係る場合、ＸをＸ座標値、ＹをＹ座標値、ＺをＺ座標値、Ｆを物体の存否フラグとすると、三次元情報は（Ｘ，Ｙ，Ｚ，Ｆ）のように表現できる。図５に示した第１の実施形態における三次元情報を、第２の実施形態における三次元情報として表現すると、（１，１，１，０），（１，１，２，０），（１，１，３，０）・・・（１，１，３２，０）・・・（４，６，１，１），（４，６，２，１）・・・（４，６，５，１），（４，６，６，０）・・・（４，６，３２，０）・・・（４，１４，１，１），（４，１４，２，１）・・・（４，１４，１１，１），（４，１４，１２，０）・・・（４，１４，３２，０）・・・となる。なお、三次元計測装置３０１の計測によっても、計測方向における物体の背後に物体が存在するか否かは判断できないため、計測方向における物体の背後については物体が存在するものとして三次元情報を生成する。例えば、Ｘ座標が４〜１３、Ｙ座標が１４〜１５の領域にあるワーク１０１の一端が、Ｘ座標が４〜５、Ｙ座標が６〜１５の領域にあるワーク１０１に積み重なっているものとする。この場合には、Ｘ座標が６〜１２、Ｙ座標が１４〜１５の領域においてワーク１０１の下部（Ｚ軸方向）の領域には物体が存在しない。しかし、第２の実施形態における三次元情報では、物体が存在するものとし、（７，１４，１，１）・・・（７，１４，９，１），（７，１４，１０，０）・・・（７，１４，３２，０）として三次元情報を生成する。 Here, the three-dimensional information generated in the second embodiment will be described more specifically. In the three-dimensional information in the second embodiment, information on whether or not an object exists is generated as three-dimensional information for each coordinate value determined by X, Y, and Z in the approach coordinate system. As a specific example of the three-dimensional information, when the resolution is 32 × 32 × 32 in the entire XYZ space, a rectangular parallelepiped work 101 such as a rod shown in FIG. 1 is a 2 × 10 × 5 region. Each block has an object presence / absence flag. The presence / absence flag of the object is 1 when the object exists, and is 0 when the object does not exist. In this case, if X is an X coordinate value, Y is a Y coordinate value, Z is a Z coordinate value, and F is an object presence / absence flag, the three-dimensional information can be expressed as (X, Y, Z, F). When the three-dimensional information in the first embodiment shown in FIG. 5 is expressed as the three-dimensional information in the second embodiment, (1, 1, 1, 0), (1, 1, 2, 0), ( 1,1,3,0) (1,1,32,0) (4,6,1,1), (4,6,2,1) (4,6,1) 5, 1), (4, 6, 6, 0) ... (4, 6, 32, 0) ... (4, 14, 1, 1), (4, 14, 2, 1) ... (4, 14, 11, 1), (4, 14, 12, 0) ... (4, 14, 32, 0) ... Note that it is impossible to determine whether or not an object is present behind the object in the measurement direction even by measurement by the three-dimensional measurement apparatus 301. Therefore, three-dimensional information is generated assuming that an object exists behind the object in the measurement direction. To do. For example, one end of the work 101 in the region where the X coordinate is 4 to 13 and the Y coordinate is 14 to 15 is stacked on the work 101 in the region where the X coordinate is 4 to 5 and the Y coordinate is 6 to 15. To do. In this case, no object exists in the area below the workpiece 101 (in the Z-axis direction) in the area where the X coordinate is 6 to 12 and the Y coordinate is 14 to 15. However, in the three-dimensional information in the second embodiment, it is assumed that an object exists, and (7, 14, 1, 1) (7, 14, 9, 1), (7, 14, 10, 0). )... (7, 14, 32, 0) to generate three-dimensional information.
記憶部３４０は、把持領域記憶部３４１をさらに備える。把持領域記憶部３４１には、予め把持領域が記憶されている。
第２の実施形態において把持領域について具体例を用いて説明する。例えば、前記の三次元情報において、ワーク１０１は２×１０×５のスペース、ワーク１０１の両端の何れか一方を挟むように把持するとき、ワーク１０１の把持部分は２×２×５のスペース、把持機構２１０の動作スペースや端を掴むためのワーク１０１の端部の周辺にワーク把持部分を含めて６×４×５のスペース、が必要であるとする。
The storage unit 340 further includes a gripping area storage unit 341. The gripping area storage unit 341 stores a gripping area in advance.
A gripping area in the second embodiment will be described using a specific example. For example, in the above three-dimensional information, the workpiece 101 is 2 × 10 × 5 space, and when the workpiece 101 is gripped so as to sandwich either end of the workpiece 101, the grip portion of the workpiece 101 is 2 × 2 × 5 space, Assume that a 6 × 4 × 5 space including the work gripping portion is required around the operation space of the gripping mechanism 210 and the end of the work 101 for gripping the end.
この場合の三次元情報におけるワーク１０１の上側を把持する把持領域記憶部３４１に記憶された把持領域は図１３のように表される。図１３の把持領域において、実線で描かれているブロックが把持部分領域、点線で描かれているブロックが把持機構領域である。 The gripping area stored in the gripping area storage unit 341 that grips the upper side of the workpiece 101 in the three-dimensional information in this case is represented as shown in FIG. In the gripping area of FIG. 13, the block drawn with a solid line is the gripping part area, and the block drawn with a dotted line is the gripping mechanism area.
把持可能領域抽出部３３０ｂは、記憶部３４０に記憶された三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。選択された領域について、物体位置特定部３３２にて物体の位置を特定する。そして、その特定された物体の位置に基づいて、把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない場合には、選択された領域を把持可能領域として抽出する。 The grippable area extraction unit 330b selects an area having the same size as the gripping area stored in the gripping area storage unit 341 from the three-dimensional information stored in the storage unit 340. For the selected area, the object position specifying unit 332 specifies the position of the object. Then, based on the position of the identified object, if the object exists in the entire area having the same size as the gripping part area, but there is no object in the area having the same size as the gripping mechanism area, the selection is performed. The extracted area is extracted as a grippable area.
ここで、把持可能領域抽出部３３０ｂは、把持領域の物体の位置が所定の要件を具備するか否かを判断するため、ワーク１０１の位置・姿勢を別途認識することなく、ワーク１０１を把持するための把持機構２１０の移動領域を特定することができるため、処理時間が短くなる。 Here, the grippable area extraction unit 330b grips the workpiece 101 without separately recognizing the position / posture of the workpiece 101 in order to determine whether or not the position of the object in the gripping area has a predetermined requirement. For this reason, it is possible to specify the moving area of the gripping mechanism 210 for the purpose, and thus the processing time is shortened.
把持可能領域抽出部３３０ｂの処理内容について、具体例を用いて説明する。物体位置特定部３３２の演算内容は、次のようになる。
まず、図１３に例示した把持領域において、把持部分領域における物体の存否と、把持機構領域の物体の存否を求める。物体の存否は、把持領域のブロックごとに物体が存在するか否かを三次元情報の存否フラグＦによって確認する。次に、把持部分領域のブロック全部に物体が存在すること、および、把持機構領域のブロックに物体が存在しないこと、を確認する。つまり、把持部分領域においては三次元情報における物体の存否フラグＦが１であること、把持機構領域においては三次元情報における物体の存否フラグＦが０であること、をブロックごとに確認する。
さらに、把持可能領域抽出部３３０ｂは、物体位置特定部３３２での特定結果から、選択された領域であって前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない場合に、把持可能領域として抽出する。なお、抽出した把持可能領域は記憶部３４０に記憶される。
The processing content of the grippable area extraction unit 330b will be described using a specific example. The calculation contents of the object position specifying unit 332 are as follows.
First, in the gripping area illustrated in FIG. 13, the presence / absence of an object in the gripping part area and the presence / absence of an object in the gripping mechanism area are obtained. The presence / absence of the object is confirmed by the presence / absence flag F of the three-dimensional information as to whether or not the object exists for each block in the gripping area. Next, it is confirmed that an object exists in all the blocks in the gripping part area and that no object exists in the block in the gripping mechanism area. That is, it is confirmed for each block that the presence / absence flag F of the object in the three-dimensional information is 1 in the gripping portion area and that the presence / absence flag F of the object in the three-dimensional information is 0 in the gripping mechanism area.
Further, the grippable region extraction unit 330b determines that the object exists in the entire region that is the selected region and is equal in size to the gripping portion region based on the specification result in the object position specifying unit 332. When there is no object in a region of equal size, it is extracted as a grippable region. The extracted grippable area is stored in the storage unit 340.
次に、対象物把持領域抽出装置の第２の実施形態における動作について説明する。なお、対象物把持領域抽出装置における動作は図３に示したロボットシステムのフローチャートのステップＳ２００の「ワーク供給部の三次元情報生成」とステップＳ３００の「把持可能領域の抽出」に該当する。 Next, an operation in the second embodiment of the object gripping area extracting device will be described. Note that the operation of the object gripping region extraction apparatus corresponds to “three-dimensional information generation of the workpiece supply unit” in step S200 and “extraction of grippable region” in step S300 of the flowchart of the robot system shown in FIG.
ステップＳ２００の「ワーク供給部の三次元情報生成」において、詳細フローチャートは、対象物把持領域抽出装置の第１の実施形態の説明に用いた図１０と同じである。
ステップＳ２１１にて、三次元計測器３０１にて集積トレー１１０上の三次元の計測データを取得する。次に、ステップＳ２１２にて、周知の幾何変換式を用い、計測座標系の計測データをアプローチ座標系の座標値に変換し、三次元情報を生成する。
In the “three-dimensional information generation of the workpiece supply unit” in step S200, the detailed flowchart is the same as FIG. 10 used for the description of the first embodiment of the object gripping region extraction apparatus.
In step S211, the three-dimensional measuring device 301 acquires three-dimensional measurement data on the stacking tray 110. Next, in step S212, measurement data in the measurement coordinate system is converted into coordinate values in the approach coordinate system using a known geometric transformation formula, and three-dimensional information is generated.
図１４は、ステップＳ３００の「把持可能領域の抽出」の詳細フローチャートである。
ステップＳ３１１にて、三次元情報から三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。例えば、図１３に示した把持領域を用いる場合には、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域を選択する。
FIG. 14 is a detailed flowchart of “extraction of grippable area” in step S300.
In step S311, a region having the same size as the grip region stored in the grip region storage unit 341 is selected from the three-dimensional information based on the three-dimensional information. For example, when the gripping area shown in FIG. 13 is used, an area where the X coordinate of the three-dimensional information is 7 to 12, the Y coordinate is 1 to 4, and the Z coordinate is 1 to 5 is selected.
ステップＳ３１２において、ステップＳ３１１にて選択された領域について、把持部分領域と把持機構領域のブロックごとに物体の存否を確認し、把持部分領域と把持機構領域における物体の分布状態を求める。例えば、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域が選択されている場合には、把持部分領域の全体に物体が存在し、把持機構領域には物体が存在しないこととなる。 In step S312, the presence or absence of an object is confirmed for each block of the gripping portion region and the gripping mechanism region in the region selected in step S311 and the distribution state of the objects in the gripping portion region and the gripping mechanism region is obtained. For example, when the region having the X coordinate of 7 to 12, the Y coordinate of 1 to 4, and the Z coordinate of 1 to 5 in the three-dimensional information is selected, the object exists in the entire gripping portion region, and the gripping mechanism There is no object in the area.
ステップＳ３１３にて、選択された領域が把持可能領域の抽出条件を具備するか判断する。そして、条件を具備する場合にはステップＳ３１４にて把持可能領域として抽出する。条件を具備しない場合には、ステップＳ３１５に進む。 In step S313, it is determined whether the selected area has a graspable area extraction condition. If the condition is satisfied, it is extracted as a grippable area in step S314. If the condition is not satisfied, the process proceeds to step S315.
例えば、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域が選択されている場合には、把持部分領域の全体に物体が存在し、把持機構領域には物体が存在しないため、当該領域は把持可能領域として抽出される事となる。 For example, when the region having the X coordinate of 7 to 12, the Y coordinate of 1 to 4, and the Z coordinate of 1 to 5 in the three-dimensional information is selected, the object exists in the entire gripping portion region, and the gripping mechanism Since no object exists in the area, the area is extracted as a grippable area.
ステップＳ３１５では、三次元情報の全領域が選択されたか否かを確認する。全領域が選択されていない場合には、ステップＳ３１１に戻り新たな領域を選択し、以降の処理を繰り返す。全領域が選択された場合には、ステップＳ３１６に進み把持可能領域の抽出を終了する。 In step S315, it is confirmed whether or not the entire area of the three-dimensional information has been selected. If the entire area has not been selected, the process returns to step S311 to select a new area, and the subsequent processing is repeated. If the entire area has been selected, the process proceeds to step S316, and the extraction of the grippable area is terminated.
なお、対象物把持領域抽出装置の第２の実施形態において、三次元情報から把持領域を用いた把持可能領域の抽出には、周知のパターンマッチング技術を用いることもできる。また、把持領域の形状は図１３に示した例に限定されることはなく、把持部分領域および把持機構領域は任意に各領域の形状を設定する事が可能である。勿論、複数の把持領域を把持領域記憶部３４１に記憶し、把持領域ごとに物体位置特定部３３２にて処理することもできる。さらに、把持領域記憶部３４１に記憶する把持領域は１つとして、三次元情報を幾何変換により任意の角度に回転変換し、回転変換後の三次元情報を用いることで、任意の角度での把持可能領域の抽出も可能である。 In the second embodiment of the object gripping area extracting apparatus, a known pattern matching technique can be used for extracting the grippable area using the gripping area from the three-dimensional information. Further, the shape of the gripping area is not limited to the example shown in FIG. 13, and the shape of each area can be arbitrarily set for the gripping part area and the gripping mechanism area. Of course, a plurality of gripping areas can be stored in the gripping area storage unit 341 and processed by the object position specifying unit 332 for each gripping area. Further, assuming that there is one gripping area stored in the gripping area storage unit 341, the three-dimensional information is rotationally converted to an arbitrary angle by geometric transformation, and the three-dimensional information after the rotational transformation is used, thereby gripping at an arbitrary angle. Possible areas can also be extracted.
対象物把持領域抽出装置の第１および第２の実施形態において、図１５に示すように、三次元計測装置３０１による三次元の計測データは、複数の方向から計測した複数の計測データとすることができる。例えばステレオビジョンを用いて１方向から計測した場合、ステレオビジョンに撮像された物についての三次元の計測データは取得できるが、他の物の影となって撮像されていない物については三次元の計測データは取得できない。よって、計測データを取得できない空間については、把持機構との干渉によるワーク１０１等の破損を避けるため、その空間には物体があるものとして取り扱うのが通常である。しかし、本来は把持可能領域であるが、上記のように計測できない領域には物体があるものとして取り扱うことで、把持可能領域ではないと判断され、正確に把持可能領域を抽出することができない場合もある。つまり、集積トレー１１０上の空間の三次元の計測データは、可能な限り正確に取得することで、より正確に把持可能領域を抽出できる。 In the first and second embodiments of the object gripping region extraction device, as shown in FIG. 15, the three-dimensional measurement data by the three-dimensional measurement device 301 is a plurality of measurement data measured from a plurality of directions. Can do. For example, when measuring from one direction using stereo vision, three-dimensional measurement data can be obtained for an object imaged in stereo vision, but three-dimensional data can be obtained for objects that are not imaged as shadows of other objects. Measurement data cannot be acquired. Therefore, a space where measurement data cannot be acquired is usually handled as if there is an object in the space in order to avoid damage to the workpiece 101 and the like due to interference with the gripping mechanism. However, it is originally a grippable area, but it is determined that it is not a grippable area by handling an object that cannot be measured as described above, and the grippable area cannot be accurately extracted. There is also. That is, by acquiring the three-dimensional measurement data of the space on the stacking tray 110 as accurately as possible, the grippable region can be extracted more accurately.
複数の方向から計測した計測データは、共通する部分を基準として同一空間にマッピングし、マッピングされた計測データを用いてアプローチ座標系の三次元情報を生成する。このように複数の計測データを用いることで、物体があるものとして取り扱う領域が減り、複数のアプローチ座標系の三次元情報を正確に生成することができる。 Measurement data measured from a plurality of directions is mapped to the same space with a common portion as a reference, and three-dimensional information of the approach coordinate system is generated using the mapped measurement data. By using a plurality of measurement data in this way, the area handled as an object is reduced, and three-dimensional information of a plurality of approach coordinate systems can be accurately generated.
なお、複数の計測データを取得するに際し、複数の三次元計測装置３０１を用いても良いし、１つの三次元計測装置３０１を移動させてもよい。勿論、複数の三次元計測装置３０１を用い、さらにその複数の三次元計測装置３０１を移動させても良い。 When acquiring a plurality of measurement data, a plurality of three-dimensional measurement devices 301 may be used, or one three-dimensional measurement device 301 may be moved. Of course, a plurality of three-dimensional measuring devices 301 may be used, and the plurality of three-dimensional measuring devices 301 may be moved.
さらに、アプローチ方向は１方向に限らず、任意の方向を複数設定する事も可能である。係る場合には、アプローチ方向ごとに把持可能領域を抽出することが可能となる。
また、上記いずれの実施形態においても、把持部分が凸部であることを前提に記載されているが、把持部分が凹部であっても良い。把持部分がワークの凹部である場合には、把持機構領域が把持部分領域に囲まれるように設定された把持領域とすることもできる。
Furthermore, the approach direction is not limited to one direction, and a plurality of arbitrary directions can be set. In such a case, it is possible to extract a grippable area for each approach direction.
In any of the above-described embodiments, the grip portion is described as a convex portion, but the grip portion may be a concave portion. When the gripping portion is a concave portion of the workpiece, the gripping region may be set so that the gripping mechanism region is surrounded by the gripping portion region.
さらに、集積トレーに置かれるワークは１種類でなくても良い。複数種類のワークについてワークごとに把持領域を記憶しておけば、集積トレーにおかれた複数種類のワークから、１種類のワークの把持可能領域を抽出することもできる。 Furthermore, the work placed on the stacking tray need not be one type. If a gripping area is stored for each workpiece for a plurality of types of workpieces, a grippable region for one type of workpiece can be extracted from a plurality of types of workpieces placed on the stacking tray.
上記の対象物把持領域抽出装置では、三次元情報からワーク１０１ごとの位置・姿勢を把握することなく、ワーク１０１が含まれる把持可能領域を抽出するため、把持可能領域を決定する処理時間を短くすることできる。また比較的単純な処理で把持部の検出が可能となるため、演算コストの軽減も可能である。さらに、ワークが部分的にしか見えていなくてもワークの把持部分が見えていれば、把持可能領域として抽出可能である。また、対象となるワークが複雑な形状をしており、位置姿勢の計測や認識が困難な場合でも、ワークの把持部分が比較的単純形状であれば、把持可能領域を抽出することが可能となり、自動化の適用範囲の拡大、効率向上に効果がある。さらに、ロボットシステムでは、上記の対象物把持領域抽出装置を用いているため、短時間でピッキング動作に移ることができ、ピッキング対象のワークを決定するまでのロボット停止時間が短くなり、ロボットの作業効率を上げることができる。また、アプローチ方向を座標軸の一方向とする三次元情報に基づいて把持可能領域を抽出するため、ロボットにて集積トレー上のワークを把持する移動途中で把持機構と他のワークが干渉することがない。 In the above object gripping area extraction device, the graspable area including the workpiece 101 is extracted from the three-dimensional information without grasping the position / orientation of each workpiece 101, so that the processing time for determining the graspable area is shortened. Can do. In addition, since the grip portion can be detected by a relatively simple process, the calculation cost can be reduced. Furthermore, even if the workpiece is only partially visible, it can be extracted as a grippable region if the workpiece gripping portion is visible. In addition, even if the target workpiece has a complicated shape and it is difficult to measure and recognize the position and orientation, if the workpiece gripping part is relatively simple, it is possible to extract the grippable area. It is effective in expanding the scope of automation and improving efficiency. Furthermore, the robot system uses the above-described object gripping region extraction device, so that the robot can move to the picking operation in a short time, and the robot stop time until the workpiece to be picked is determined is shortened. Efficiency can be increased. In addition, since the grippable area is extracted based on the three-dimensional information with the approach direction as one direction of the coordinate axis, the gripping mechanism may interfere with another work during the movement of gripping the work on the stacking tray by the robot. Absent.
１０１ ワーク
１１０ 集積トレー
２０１ ロボット
２１０ 把持機構
２２０ ロボット制御装置
３０１ 三次元計測装置
３１０ 対象物把持領域抽出装置
４０１ 搬出コンベア
101 Work 110 Stacking tray 201 Robot 210 Grasping mechanism 220 Robot controller 301 Three-dimensional measuring device 310 Object gripping area extracting device 401 Unloading conveyor
Claims (13)
前記対象物集積部の三次元の計測データを取得する計測装置、
前記計測データから前記対象物集積部の三次元情報を生成する三次元情報生成部、
前記対象物を把持する際に必要となる領域であって、前記把持機構により定まる把持機構領域と、前記把持機構に把持される前記対象物の把持部分により定まる把持部分領域と、からなる把持領域を予め記憶する把持領域記憶部、
前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する把持可能領域抽出部、
により構成された対象物把持領域抽出装置。 An object gripping area extraction device in a robot system that takes out a target from a target stacking unit in which a plurality of targets are placed at arbitrary positions and postures using a robot having a gripping mechanism,
A measuring device for acquiring three-dimensional measurement data of the object stacking unit;
A three-dimensional information generation unit that generates three-dimensional information of the object accumulation unit from the measurement data;
A gripping region that is required when gripping the object, and includes a gripping mechanism region that is determined by the gripping mechanism and a gripping portion region that is determined by a gripping portion of the target object that is gripped by the gripping mechanism. A gripping area storage unit for storing in advance,
In the region having the same size as the gripping region selected from the three-dimensional information, the object is present in the entire region having the same size as the gripping portion region, but the size is equal to the gripping mechanism region. A grippable region extraction unit that extracts a region where no object exists as a grippable region;
An object gripping region extraction device configured by:
前記把持可能領域抽出部は、前記複数の把持領域ごとに把持可能領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の対象物把持領域抽出装置。 The gripping area storage unit stores a plurality of the gripping areas,
The object gripping area extracting device according to claim 1, wherein the grippable area extracting unit extracts a grippable area for each of the plurality of gripping areas.
前記ロボット制御装置は、
前記対象物把持領域抽出装置から抽出された１以上の前記把持可能領域に関する情報を受け取る把持可能領域受信部と、
予め定められた条件を具備する把持可能領域を１つ選択する把持領域選択部と、
該選択した把持可能領域にある対象物を前記ロボットの前記把持機構によって把持し、所定の動作をするようにロボットを制御するロボット動作制御部と、
から構成されていることを特徴とするロボットシステム。 A robot system comprising a gripping mechanism for gripping an object, a robot including the gripping mechanism, a robot control device for controlling the robot, and the object gripping region extraction device according to any one of claims 1 to 11.
The robot controller is
A grippable area receiving unit that receives information on one or more grippable areas extracted from the object gripping area extraction device;
A gripping area selection unit that selects one grippable area having a predetermined condition;
A robot operation control unit that controls the robot to grip a target in the selected grippable region by the gripping mechanism of the robot and perform a predetermined motion;
A robot system characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009250916A JP5458807B2 (en) | 2009-10-30 | 2009-10-30 | Object gripping region extraction device and robot system using object gripping region extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009250916A JP5458807B2 (en) | 2009-10-30 | 2009-10-30 | Object gripping region extraction device and robot system using object gripping region extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011093058A JP2011093058A (en) | 2011-05-12 |
| JP5458807B2 true JP5458807B2 (en) | 2014-04-02 |
Family
ID=44110550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009250916A Expired - Fee Related JP5458807B2 (en) | 2009-10-30 | 2009-10-30 | Object gripping region extraction device and robot system using object gripping region extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5458807B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101634463B1 (en) * | 2011-06-29 | 2016-06-28 | 미쓰비시덴키 가부시키가이샤 | Component supply apparatus |
| JP5788460B2 (en) | 2013-11-05 | 2015-09-30 | ファナック株式会社 | Apparatus and method for picking up loosely stacked articles by robot |
| JP5905549B1 (en) | 2014-09-16 | 2016-04-20 | ファナック株式会社 | Article picking device for picking up bulk goods |
| JP2018176334A (en) | 2017-04-10 | 2018-11-15 | キヤノン株式会社 | Information processing device, measurement device, system, interference determination method and article manufacturing method |
| JP7000213B2 (en) * | 2018-03-19 | 2022-01-19 | 株式会社東芝 | Retention device, transport system, controller, and retention method |
| WO2021014563A1 (en) * | 2019-07-23 | 2021-01-28 | 株式会社Ｆｕｊｉ | Component supply device and automatic assembly system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02260008A (en) * | 1989-03-31 | 1990-10-22 | Toshiba Corp | Method and device for dividing searching space |
| JPH09277184A (en) * | 1996-04-15 | 1997-10-28 | Ricoh Co Ltd | Image processing |
| JP2004160567A (en) * | 2002-11-11 | 2004-06-10 | Fanuc Ltd | Article taking-out device |
| JP4959520B2 (en) * | 2007-11-26 | 2012-06-27 | 三菱電機株式会社 | Position and orientation recognition apparatus and method, and component picking system |
-
2009
- 2009-10-30 JP JP2009250916A patent/JP5458807B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011093058A (en) | 2011-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102650492B1 (en) | A robotic system with automated package registration mechanism and methods of operating the same | |
| EP3550470B1 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
| JP4938115B2 (en) | Work take-out device and work take-out method | |
| JP5788460B2 (en) | Apparatus and method for picking up loosely stacked articles by robot | |
| JP6529302B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP6117901B1 (en) | Position / orientation measuring apparatus for a plurality of articles and a robot system including the position / orientation measuring apparatus | |
| JP4226623B2 (en) | Work picking device | |
| JP5458807B2 (en) | Object gripping region extraction device and robot system using object gripping region extraction device | |
| US9469035B2 (en) | Component supply apparatus | |
| US20180290307A1 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
| JP6088563B2 (en) | Work picking robot system having position and orientation conversion operation function, and work picking method | |
| JP3834297B2 (en) | Image processing device | |
| JP5088278B2 (en) | Object detection method, object detection apparatus, and robot system | |
| JP6703812B2 (en) | 3D object inspection device | |
| JP2010012567A (en) | Article picking device | |
| JP2014161965A (en) | Article takeout device | |
| CN113386122B (en) | Method and device for optimizing measurement parameters and computer-readable storage medium | |
| CN111745640A (en) | Object detection method, object detection device, and robot system | |
| US20180215044A1 (en) | Image processing device, robot control device, and robot | |
| CN102179804A (en) | 3H-type charge coupled device (CCD) visual industrial robot | |
| JP7454132B2 (en) | Robot system control device, robot system control method, computer control program, and robot system | |
| JP6666764B2 (en) | Work recognition method and random picking method | |
| CN114074331A (en) | Disordered grabbing method based on vision and robot | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| CN112338922A (en) | Five-axis mechanical arm grabbing and placing method and related device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131230 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |