JP5936108B2 - Object extraction apparatus and method - Google Patents
Object extraction apparatus and method Download PDFInfo
- Publication number
- JP5936108B2 JP5936108B2 JP2011266364A JP2011266364A JP5936108B2 JP 5936108 B2 JP5936108 B2 JP 5936108B2 JP 2011266364 A JP2011266364 A JP 2011266364A JP 2011266364 A JP2011266364 A JP 2011266364A JP 5936108 B2 JP5936108 B2 JP 5936108B2
- Authority
- JP
- Japan
- Prior art keywords
- order
- objects
- determination
- degree
- gripping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
本発明は、設置スペースに置かれている複数の対象物を１つずつ順に把持して取り出す対象物取り出し装置と方法に関する。 The present invention relates to an object taking-out apparatus and method for grasping and taking out a plurality of objects placed in an installation space one by one in order.
従来において、例えばバラ積みされている複数の対象物を、ロボットハンドにより、１つずつ順に把持して取り出すことが行われている。この場合、複数の対象物の位置や姿勢を、レーザ距離計やカメラなどを用いて認識し、認識した対象物を把持して取り出している。 2. Description of the Related Art Conventionally, for example, a plurality of objects stacked in bulk are grasped and taken out one by one by a robot hand. In this case, the positions and postures of a plurality of objects are recognized using a laser distance meter or a camera, and the recognized objects are grasped and taken out.
このような技術は、例えば、下記の特許文献１に記載されている。特許文献１では、次のように、対象物を認識して把持している。まず、対象物における複数の代表的な部分形状と、これらにそれぞれ適した把持位置と、これらの把持位置の優先順位とを予め求めておく。次に、バラ積みされた複数の対象物の画像データを取得する。この画像データに基づいて、エッジを検出することにより、各対象物の形状を部分的に認識する。認識した形状に基づいて、外部に露出している複数の代表的な部分形状を選択する。選択した代表的な部分形状を把持する順序を、予め求めておいた優先順位に基づいて定める。 Such a technique is described in Patent Document 1 below, for example. In Patent Document 1, an object is recognized and held as follows. First, a plurality of representative partial shapes of the object, gripping positions suitable for them, and priorities of these gripping positions are obtained in advance. Next, image data of a plurality of stacked objects is acquired. The shape of each object is partially recognized by detecting an edge based on this image data. A plurality of representative partial shapes exposed to the outside are selected based on the recognized shape. The order of gripping the selected representative partial shape is determined based on the priorities obtained in advance.
しかし、特許文献１では、対象物を把持して取り出す場合に、この対象物が、これに隣接する他の対象物に干渉するかどうかを考慮していない。従って、対象物を把持して取り出す時に、この対象物が、これに隣接する対象物に干渉する可能性がある。そのため、このような干渉の可能性を小さくすることが望まれる。 However, Patent Document 1 does not consider whether or not the object interferes with another object adjacent to the object when the object is grasped and taken out. Therefore, when the object is gripped and taken out, the object may interfere with an object adjacent to the object. Therefore, it is desirable to reduce the possibility of such interference.
そこで、本発明の目的は、対象物を把持して取り出す時に、この対象物が隣接する対象物に干渉する可能性を小さくできる対象物取り出し装置と方法を提供することにある。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an object extraction apparatus and method that can reduce the possibility that the object will interfere with an adjacent object when the object is gripped and extracted.
上述した目的を達成するため、本発明によると、設置スペースに置かれている複数の対象物を順に把持して取り出す対象物取り出し装置であって、
対象物を把持するロボットハンドと、
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、
定められた取り出し順序に従って、設置スペースから、対象物を把持して取り出すようにロボットハンドを制御する制御装置と、を備え、
把持順決定装置は、
（Ａ）位置が認識された複数の対象物を順に選択し、
（Ｂ）選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第１の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行い、
（Ｃ）この判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定める、ことを特徴とする対象物取り出し装置が提供される。
In order to achieve the above-described object, according to the present invention, an object take-out device that sequentially holds and takes out a plurality of objects placed in an installation space,
A robot hand that holds an object;
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A grasping order determining device for determining the order of taking out a plurality of objects whose positions are recognized;
A control device for controlling the robot hand so as to grasp and take out the object from the installation space in accordance with a predetermined take-out order;
The gripping order determination device is
(A) Select a plurality of objects whose positions are recognized in order,
(B) Perform interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(C) There is provided an object extraction device characterized in that an object for which this determination is denied is not included in the extraction order, and a plurality of objects are extracted in the order in which the determination is affirmed. .
本発明の好ましい実施形態によると、把持順決定装置は、前記（Ａ）において、位置が認識された複数の対象物を、上方に位置するものから順に選択する。 According to a preferred embodiment of the present invention, the gripping order determining device selects a plurality of objects whose positions are recognized in the order (A) in order from the one located above.
また、本発明の好ましい実施形態によると、前記認識装置は、前記複数の対象物の位置と姿勢を認識し、
対象物において複数の把持位置が設定されており、当該複数の把持位置にはそれぞれ優先度が設定されており、
予め定めた基準値より高い優先度の把持位置が把持可能な姿勢を対象物がとっている状態においては、この対象物の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっており、
前記基準値より低い優先度の把持位置が把持可能な姿勢を対象物がとっている状態においては、この対象物の下側部分が、水平方向または斜め上方に突出する部分を有するようになっており、
把持順決定装置は、干渉度判定において、
選択された対象物において把持可能な把持位置の優先度が、この対象物に隣接する他の対象物において把持可能な把持位置の優先度以上であるかを判定し、
この判定が肯定された場合には、第１の度合いが第２の度合い以下であると判定する。
According to a preferred embodiment of the present invention, the recognition device recognizes positions and postures of the plurality of objects,
A plurality of gripping positions are set on the object, and a priority is set for each of the plurality of gripping positions,
In a state where the object is in a posture in which a grip position with a priority higher than a predetermined reference value can be gripped, the lower part of the object does not have a part protruding in the horizontal direction, and It does not have a part that projects diagonally upward,
In a state where the target object is in a posture in which a grip position with a lower priority than the reference value can be gripped, the lower part of the target object has a part protruding in the horizontal direction or obliquely upward. And
The gripping order determination device determines the degree of interference,
Determining whether the priority of the gripping position that can be gripped by the selected object is equal to or higher than the priority of the gripping position that can be gripped by another object adjacent to the target object;
If this determination is positive, it is determined that the first degree is less than or equal to the second degree.
本発明の好ましい実施形態によると、把持順決定装置は、
選択された各対象物について、障害物判定を行い、
障害物判定では、対象物を把持して取り出すときに、当該対象物が障害物に衝突するかを判定し、
衝突すると判定された対象物について、干渉度判定を行わず、かつ、当該対象物を取り出し順序に組み入れない。
According to a preferred embodiment of the present invention, the gripping order determination device comprises:
For each selected object, perform obstacle determination,
In the obstacle determination, when the object is grasped and taken out, it is determined whether the object collides with the obstacle,
The object determined to collide is not subjected to the interference degree determination, and the object is not included in the extraction order.
また、上述した目的を達成するため、本発明によると、設置スペースに置かれている複数の対象物を、ロボットハンドにより順に把持して取り出す対象物取り出し方法であって、
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、を用意し、
（ａ）認識装置により、複数の対象物の位置を認識し、
（ｂ）把持順決定装置により、位置が認識された複数の対象物を順に選択し、
（ｃ）把持順決定装置により、選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第１の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行い、
（ｄ）把持順決定装置により、この判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定め、
（ｅ）定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す、ことを特徴とする対象物取り出し方法が提供される。
Further, in order to achieve the above-described object, according to the present invention, there is provided a method for taking out a plurality of objects placed in an installation space by sequentially grasping and taking out the objects by a robot hand,
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A gripping order determining device for determining the order of taking out a plurality of objects whose positions are recognized, and
(A) Recognizing the position of a plurality of objects by a recognition device;
(B) A plurality of objects whose positions are recognized are sequentially selected by the grasping order determination device,
(C) The gripping order determination device performs interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(D) By the grasping order determination device, the objects for which this determination is denied are not included in the extraction order, and the plurality of objects are extracted in the order in which the determination is affirmed,
(E) There is provided an object extraction method characterized in that an object is grasped and extracted by a robot hand in accordance with a predetermined extraction order.
本発明の好ましい実施形態によると、
（ｆ）前記（ｅ）の後に、前記（ａ）を新たに行うことにより、設置スペースに残っている複数の対象物の位置を新たに認識し、
（ｇ）次に、把持順決定装置により、新たに位置が認識された当該複数の対象物に対して、前記（ｂ）（ｃ）（ｄ）を新たに行うことにより、当該複数の対象物の取り出し順序を新たに定め、
（ｈ）次いで、新たに定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す。
According to a preferred embodiment of the present invention,
(F) After the step (e), the position of a plurality of objects remaining in the installation space is newly recognized by newly performing the step (a).
(G) Next, by performing the above (b), (c) and (d) on the plurality of objects whose positions are newly recognized by the gripping order determination device, the plurality of objects A new order for taking out
(H) Next, the object is grasped and taken out by the robot hand in accordance with the newly determined take-out order.
前記（ｅ）の後であって前記（ｆ）の前に、前記（ｄ）において取り出し順序に組み入れなかった対象物がある場合には、ロボットハンドにより、この対象物を把持して取り出してよい。 If there is an object that is not included in the extraction order in (d) after (e) and before (f), the object may be grasped and extracted by the robot hand. .
上述した本発明によると、次のように取り出し順序が定められる。まず、複数の対象物を順に選択する。次に、選択された順に複数の対象物について干渉度判定を行う。干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第１の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行う。この判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定める。 According to the present invention described above, the take-out order is determined as follows. First, a plurality of objects are selected in order. Next, the degree of interference is determined for a plurality of objects in the selected order. In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. The degree that the other object interferes with the selected object is set as the second degree, and it is determined whether the first degree is equal to or less than the second degree. The objects for which this determination is denied are not included in the extraction order, but the order for extracting a plurality of objects is determined in the order in which the determination is affirmed.
このように、干渉度判定が否定された対象物は取り出し順序に組み入れないので、対象物を実際に把持して取り出す時に、対象物が隣接する他の対象物に干渉する可能性が小さくなる。 Thus, since the object whose interference degree determination is denied is not included in the extraction order, the possibility that the object interferes with other adjacent objects when the object is actually grasped and extracted is reduced.
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 A preferred embodiment of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図１は、本発明の実施形態による対象物取り出し装置１０の構成を示す。対象物取り出し装置１０は、ロボットハンド３と、認識装置５と、把持順決定装置７と、制御装置９とを備える。 FIG. 1 shows a configuration of an object take-out device 10 according to an embodiment of the present invention. The object take-out device 10 includes a robot hand 3, a recognition device 5, a gripping order determination device 7, and a control device 9.
ロボットハンド３は、設置スペースＳに置かれた対象物１ａ〜１ｈを上方から把持するように動作する。図１の例では、ロボットハンド３は、互いに対して回転可能に連結された複数のリンク１１ａ〜１１ｄにより構成されている。複数のリンク１１ａ〜１１ｄのうち最先端にある第１のリンク１１ａに把持部４が固定されている。第１のリンク１１ａは、第１の関節１３ａを介して第２のリンク１１ｂに連結されているとともに、第１の関節１３ａの回転軸Ｃ１回りに第２のリンク１１ｂに対して回転可能である。第２のリンク１１ｂは、第２の関節１３ｂを介して第３のリンク１１ｃに連結されているとともに、第２の関節１３ｂの回転軸Ｃ２回りに第３のリンク１１ｃに対して回転可能である。第３のリンク１１ｃは、第３の関節１３ｃを介して第４のリンク１１ｄに連結されているとともに、第３の関節１３ｃの回転軸Ｃ３回りに第４のリンク１１ｄに対して回転可能である。第４のリンク１１ｄは、自身の中心軸である回転軸Ｃ４回りに回転可能に設置台１５に支持されている。 The robot hand 3 operates to grip the objects 1a to 1h placed in the installation space S from above. In the example of FIG. 1, the robot hand 3 includes a plurality of links 11a to 11d that are rotatably connected to each other. The grip portion 4 is fixed to the first link 11a at the forefront of the plurality of links 11a to 11d. The first link 11a is connected to the second link 11b via the first joint 13a, and is rotatable with respect to the second link 11b around the rotation axis C1 of the first joint 13a. . The second link 11b is connected to the third link 11c via the second joint 13b and is rotatable with respect to the third link 11c around the rotation axis C2 of the second joint 13b. . The third link 11c is connected to the fourth link 11d via the third joint 13c, and is rotatable with respect to the fourth link 11d around the rotation axis C3 of the third joint 13c. . The fourth link 11d is supported by the installation base 15 so as to be rotatable around the rotation axis C4 that is the central axis of the fourth link 11d.
この構成で、第１〜第４のリンク１１ａ〜１１ｄが、それぞれ、図示しない複数の駆動装置（例えば、サーボモータ）により対応する回転軸Ｃ１〜Ｃ４回りに回転駆動される。これらの回転駆動が制御装置９によって制御されることにより、ロボットハンド３は動作する。 With this configuration, the first to fourth links 11a to 11d are driven to rotate around the corresponding rotation axes C1 to C4 by a plurality of drive devices (for example, servo motors) (not shown). The robot hand 3 operates by controlling the rotational drive by the control device 9.
認識装置５は、複数の対象物の位置を上方から認識する。本実施形態では、複数の対象物は、同じ寸法と形状を有する。以下において、複数の対象物を、互いに区別するときには、これらの対象物にそれぞれ符号１ａ〜１ｈを付し、互いに区別しないときには、これらの対象物に符号１を付す。図１の例では、認識装置５は、レーザ距離計を有する。レーザ距離計は、レーザ射出点から、下方を向く各計測方向にレーザを発することにより、各計測方向において、レーザ射出点から、計測範囲内に存在する物体上の各被計測点までの距離を計測する。認識装置５は、各計測方向について計測した距離に基づいて、レーザ距離計による計測範囲に存在する物体の位置と形状を認識する。認識装置５は、このように認識した形状と、その記憶部に記憶されている対象物１の３次元的な形状とを比べることにより、各対象物１の位置と姿勢を認識する。 The recognition device 5 recognizes the positions of a plurality of objects from above. In the present embodiment, the plurality of objects have the same size and shape. Hereinafter, when a plurality of objects are distinguished from each other, the objects are denoted by reference numerals 1a to 1h, respectively, and when not distinguished from each other, these objects are denoted by reference numeral 1. In the example of FIG. 1, the recognition device 5 includes a laser distance meter. The laser distance meter emits laser in each measurement direction facing downward from the laser emission point, and in each measurement direction, the distance from the laser emission point to each measured point on the object existing in the measurement range is calculated. measure. The recognition device 5 recognizes the position and shape of an object existing in the measurement range by the laser rangefinder based on the distance measured in each measurement direction. The recognition device 5 recognizes the position and orientation of each object 1 by comparing the shape recognized in this way with the three-dimensional shape of the object 1 stored in the storage unit.
把持順決定装置７は、位置が認識された（以下、単に認識されたともいう）複数の対象物１の取り出し順序を定める。把持順決定装置７は、認識された複数の対象物１を、上方に位置するものから順に選択し、選択された順に複数の対象物１について干渉度判定を行う。干渉度判定では、把持順決定装置７は、次のように判定を行う。すなわち、選択された対象物１を取り出す場合に、当該選択された対象物１が、これに水平方向に隣接する他の対象物１に干渉する度合いを第１の度合いとし、当該他の対象物１を取り出す場合に、当該他の対象物１が、当該選択された対象物１に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行う。把持順決定装置７は、この判定が否定された対象物１については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物１の順位が上位になるように取り出し順序を定める。 The grasping order determination device 7 determines the order of taking out the plurality of objects 1 whose positions have been recognized (hereinafter also simply recognized). The grasping order determination device 7 selects the recognized plurality of objects 1 in order from the one located above, and performs the interference degree determination for the plurality of objects 1 in the selected order. In the interference degree determination, the gripping order determination device 7 performs the determination as follows. That is, when the selected object 1 is taken out, the degree to which the selected object 1 interferes with another object 1 that is adjacent to the selected object 1 in the horizontal direction is set as the first degree, and the other object When 1 is taken out, the degree to which the other object 1 interferes with the selected object 1 is set as the second degree, and it is determined whether the first degree is equal to or less than the second degree. The gripping order determination device 7 does not incorporate the object 1 for which this determination is denied into the extraction order, but determines the extraction order so that the ranking of the plurality of objects 1 is higher in the order in which the determination is affirmed.
以下、干渉度判定に関して、上述の「水平方向に隣接する」を、単に「隣接する」という。
２つの対象物１が「隣接する」とは、両者のうち一方を上方に取り出したら他方に干渉する可能性があることを意味する。例えば、２つの対象物１が「隣接する」とは、水平方向において、両者の中心の間隔が、設定距離より小さいこと意味してよい。ここで、設定距離は、対象物１の寸法と形状に応じて適切に定められてよい。
なお、選択された対象物１（選択対象物という）が、これに隣接する対象物１（隣接対象物という）に干渉する場合とは、ロボットハンド３により選択対象物を把持して取り出す時に、選択対象物が、隣接対象物との接触点から隣接対象物に力を作用させることを意味する。例えば、選択対象物が、隣接対象物を動かしてしまうことを意味する。
Hereinafter, regarding the interference degree determination, the above-mentioned “adjacent in the horizontal direction” is simply referred to as “adjacent”.
The phrase “the two objects 1 are“ adjacent ”” means that if one of the two objects is taken upward, it may interfere with the other. For example, “adjacent” of the two objects 1 may mean that the distance between the centers of the two objects 1 is smaller than the set distance in the horizontal direction. Here, the set distance may be appropriately determined according to the size and shape of the object 1.
Note that the case where the selected object 1 (referred to as the selection object) interferes with the object 1 adjacent thereto (referred to as the adjacent object) means that when the selected object is grasped by the robot hand 3 and taken out, This means that the selected object applies a force to the adjacent object from the contact point with the adjacent object. For example, it means that the selected object moves the adjacent object.
制御装置９は、定められた取り出し順序に従って複数の対象物１を順に把持して取り出すようにロボットハンド３を制御する。 The control device 9 controls the robot hand 3 so that the plurality of objects 1 are sequentially grasped and taken out in accordance with a predetermined taking-out order.
図２と図３に基づいて、本発明の実施形態による対象物取り出し方法を説明する。図２は、本発明の実施形態による対象物取り出し方法を示すフローチャートである。図３（Ａ）は、図１の部分拡大図である。図３（Ｂ）は、後述のステップＳ６を行った直後の状態を示し、図３（Ｃ）は、後述のステップＳ７を行った直後の状態を示す。なお、本発明の実施形態による対象物取り出し方法は、上述した対象物取り出し装置１０により行われる。 Based on FIG. 2 and FIG. 3, the method for taking out the object according to the embodiment of the present invention will be described. FIG. 2 is a flowchart illustrating a method for taking out an object according to an embodiment of the present invention. FIG. 3A is a partially enlarged view of FIG. FIG. 3B shows a state immediately after performing step S6 described later, and FIG. 3C shows a state immediately after performing step S7 described later. In addition, the target object taking-out method by embodiment of this invention is performed by the target object taking-out apparatus 10 mentioned above.
ステップＳ１において、認識装置５により、設置スペースＳに集って置かれている複数の対象物１の３次元的な位置と姿勢を認識する。図３（Ａ）の例では、対象物１ａ，１ｂ，１ｃ，１ｄの３次元的な位置と姿勢を認識する。なお、対象物１ｅ，１ｆ，１ｇ，１ｈは、対象物１ａ，１ｂ，１ｃ，１ｄに隠れているため、認識装置５により認識されない。 In step S <b> 1, the recognition device 5 recognizes the three-dimensional positions and postures of the plurality of objects 1 placed in the installation space S. In the example of FIG. 3A, the three-dimensional positions and postures of the objects 1a, 1b, 1c, and 1d are recognized. The objects 1e, 1f, 1g, and 1h are hidden by the objects 1a, 1b, 1c, and 1d and are not recognized by the recognition device 5.
ステップＳ２において、把持順決定装置７により、ステップＳ１で認識された複数の対象物１を、上方に位置するものから順に選択する。図３（Ａ）の例では、把持順決定装置７により、下記の表１に示すテーブルデータを作成し、表１のデータに基づいて、複数の対象物１ａ，１ｂ，１ｃ，１ｄを、上方に位置するものから順に選択する。すなわち、表１には、複数の対象物１ａ，１ｂ，１ｃ，１ｄの高さの順位が記録されており、この高さの順位に従って、複数の対象物１ａ，１ｂ，１ｃ，１ｄを、上方に位置するものから順に選択する。この高さの順位は、ステップＳ１において認識した各対象物１ａ，１ｂ，１ｃ，１ｄの３次元的位置に基づいて定められる。図３（Ａ）の例では、表１において、対象物１ａ、対象物１ｃ、対象物１ｂ、対象物１ｄの順に、高さの順位が定められる。なお、２つ以上の対象物１の高さが同じ場合には、これらの対象物１の間で、任意に高さの順位を定める。図３（Ａ）の例では、対象物１ｂ、１ｄは、同じ高さにあるので、ここでは、対象物１ｂ、対象物１ｄの順に順位を定めている。なお、高さの順位は、各対象物１における最上点の高さを比べることにより定められてよい。 In step S2, the plurality of objects 1 recognized in step S1 are selected in order from the one positioned above by the gripping order determination device 7. In the example of FIG. 3A, the table data shown in Table 1 below is created by the gripping order determination device 7, and a plurality of objects 1a, 1b, 1c, 1d are moved upward based on the data in Table 1. Select in order from the one located at. That is, in Table 1, the order of heights of the plurality of objects 1a, 1b, 1c, and 1d is recorded, and the objects 1a, 1b, 1c, and 1d are moved upward according to the order of the heights. Select in order from the one located at. The rank of the height is determined based on the three-dimensional position of each object 1a, 1b, 1c, 1d recognized in step S1. In the example of FIG. 3A, in Table 1, the order of height is determined in the order of the object 1a, the object 1c, the object 1b, and the object 1d. When two or more objects 1 have the same height, the height order is arbitrarily determined between these objects 1. In the example of FIG. 3A, since the objects 1b and 1d are at the same height, the order is determined in the order of the object 1b and the object 1d. Note that the height order may be determined by comparing the heights of the top points of the objects 1.
ステップＳ３において、把持順決定装置７により、障害物判定を行う。この障害物判定では、選択された各対象物１について、当該対象物１を、ロボットハンド３により取り出した場合に、当該対象物１が、他の対象物１以外の障害物８に衝突するかを判定する。例えば、対象物１の真上に障害物８が存在する場合には、当該対象物１が障害物８に衝突すると判定する。図３（Ａ）の場合には、対象物１ａ〜１ｄのうち、対象物１ａは、障害物８に衝突すると判定され、対象物１ｂ〜１ｄは、障害物８に衝突しないと判定される。従って、表１において、障害物判定の列において、対象物１ａについては、衝突する旨の記号（×印）が記入され、対象物１ｂ〜１ｄについては、衝突しない旨の記号（○印）が記入される。すなわち、表１のデータは、次の表２のようになる。なお、認識装置５により、障害物８の位置が認識され、これにより、把持順決定装置７は、認識された障害物８と選択された対象物１との位置関係に基づいて障害物判定を行う。 In step S <b> 3, the obstacle determination is performed by the gripping order determination device 7. In this obstacle determination, for each selected object 1, whether the object 1 collides with an obstacle 8 other than the other object 1 when the object 1 is taken out by the robot hand 3. Determine. For example, when the obstacle 8 exists directly above the object 1, it is determined that the object 1 collides with the obstacle 8. In the case of FIG. 3A, among the objects 1a to 1d, the object 1a is determined to collide with the obstacle 8, and the objects 1b to 1d are determined not to collide with the obstacle 8. Therefore, in Table 1, in the obstacle determination column, the object 1a is filled with a symbol (X mark) indicating that it collides, and the objects 1b to 1d are marked with a symbol (○ mark) indicating that there is no collision. Filled in. That is, the data in Table 1 is as shown in Table 2 below. Note that the position of the obstacle 8 is recognized by the recognition device 5, whereby the gripping order determination device 7 performs obstacle determination based on the positional relationship between the recognized obstacle 8 and the selected object 1. Do.
ステップＳ４において、把持順決定装置７により、ステップＳ２で選択された順に複数の対象物１について干渉度判定を行う。ただし、ステップＳ３で、障害物８に干渉すると判定された対象物１については、ステップＳ４の干渉度判定を行わない。すなわち、ステップＳ３で、障害物８に衝突すると判定されなかった対象物１について、ステップＳ２で選択された順にステップＳ４を行う。
ステップＳ４の干渉度判定では、選択された対象物１を取り出す場合に、当該選択された対象物１が、これに隣接する他の対象物１に干渉する度合いを第１の度合いとし、当該他の対象物１を取り出す場合に、当該他の対象物１が、当該選択された対象物１に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行う。ここで、隣接する他の対象物１は、ステップＳ１で位置と形状が認識された対象物１に含まれるものである。
In step S <b> 4, the gripping order determination device 7 determines the interference level for the plurality of objects 1 in the order selected in step S <b> 2. However, for the object 1 determined to interfere with the obstacle 8 in step S3, the interference degree determination in step S4 is not performed. That is, step S4 is performed in the order selected in step S2 for the object 1 that has not been determined to collide with the obstacle 8 in step S3.
In the interference degree determination in step S4, when the selected object 1 is taken out, the degree to which the selected object 1 interferes with another object 1 adjacent to the selected object 1 is set as the first degree. When the target 1 is taken out, the degree of interference of the other target 1 with the selected target 1 is set as the second degree, and it is determined whether the first degree is equal to or less than the second degree. I do. Here, other adjacent objects 1 are included in the object 1 whose position and shape are recognized in step S1.
ステップＳ４を詳しく説明する。 Step S4 will be described in detail.
ステップＳ４では、把持位置の優先度を用いる。対象物１において複数の（２つまたは３つ以上の）把持位置が設定されており、当該複数の把持位置にはそれぞれ優先度が設定されている。 In step S4, the priority of the grip position is used. A plurality of (two or three or more) gripping positions are set in the object 1, and a priority is set for each of the plurality of gripping positions.
優先度の値は、次のように設定される。
予め定められた基準値より高い優先度の把持位置が把持可能な姿勢を対象物１がとっている状態においては、この対象物１の下側部分が、水平方向に突出する部分を有さず、かつ、（水平方向に対して）斜め上方に突出する部分を有さないようになっている。
一方、前記基準値より低い優先度の把持位置が把持可能な姿勢を対象物１がとっている状態においては、この対象物１の下側部分が、水平方向または（水平方向に対して）斜め上方に突出する部分を有するようになっている。
The priority value is set as follows.
In a state where the target object 1 is in a posture in which a grip position with a priority higher than a predetermined reference value can be gripped, the lower portion of the target object 1 does not have a portion protruding in the horizontal direction. And it does not have a part which protrudes diagonally upwards (relative to the horizontal direction).
On the other hand, in a state in which the target object 1 is in a posture in which a grip position with a priority lower than the reference value can be gripped, the lower part of the target object 1 is horizontally or obliquely (relative to the horizontal direction). It has a portion protruding upward.
優先度が高い把持位置を把持して対象物１を上方に取り出した場合ほど、当該対象物１が、これに隣接する他の対象物１に干渉する可能性が低くなる。
ステップＳ４の干渉度判定において、選択された対象物１において把持可能な把持位置の優先度が、この対象物１に隣接する他の対象物１において把持可能な把持位置の優先度以上である場合には、干渉度判定は、肯定の判定となる。すなわち、上述した第１の度合いが第２の度合い以下であると判定する。
As the object 1 is picked up by grasping a grip position having a higher priority, the possibility that the object 1 interferes with another object 1 adjacent to the object 1 becomes lower.
When the priority of the gripping position that can be gripped by the selected target object 1 is equal to or higher than the priority of the gripping position that can be gripped by another target object 1 adjacent to the target object 1 in the interference degree determination in step S4. In other words, the interference degree determination is an affirmative determination. That is, it determines with the 1st degree mentioned above being below a 2nd degree.
図４に基づいて、複数の把持位置の例を説明する。図４（Ａ）は、対象物１を側方から見た図であり、図４（Ｂ）は、図４（Ａ）のＢ−Ｂ線矢視図である。図４の例では、対象物１には、２つの把持位置Ｐ１、Ｐ２が設定されている。図４において、対象物１は、その軸Ｘ方向一方側に、軸Ｘ方向と直交する方向に突出しているフランジ部１７を有する。ロボットハンド３の把持部４は、対象物１の穴１８に挿入される２つの爪１９、２１（図１や図５を参照）を有する。２つの爪１９、２１は、穴１８に挿入された状態で、互いに離れる方向に駆動されて、穴１８を区画する内周面２３へ互いに反対方向に押し付けられる。これにより、把持部４の２つの爪１９、２１は、対象物１を把持する。把持位置Ｐ１は、図５（Ａ）のように、フランジ部１７側から穴１８に爪１９、２１を挿入して対象物１を把持する時に、対象物１が把持される位置（内周面２３の位置）である。把持位置Ｐ２は、図５（Ｂ）のように、フランジ部１７と反対側から穴１８に爪１９、２１を挿入して対象物１を把持する時に、対象物１が把持される位置（内周面２３の位置）である。 An example of a plurality of gripping positions will be described based on FIG. 4A is a view of the object 1 as viewed from the side, and FIG. 4B is a view taken along line BB in FIG. 4A. In the example of FIG. 4, two gripping positions P <b> 1 and P <b> 2 are set for the object 1. In FIG. 4, the object 1 has a flange portion 17 projecting in a direction orthogonal to the axis X direction on one side in the axis X direction. The grip part 4 of the robot hand 3 has two claws 19 and 21 (see FIG. 1 and FIG. 5) inserted into the hole 18 of the object 1. The two claws 19, 21 are driven in directions away from each other while being inserted into the hole 18, and are pressed against the inner peripheral surface 23 defining the hole 18 in opposite directions. Thereby, the two claws 19 and 21 of the grip portion 4 grip the object 1. As shown in FIG. 5A, the gripping position P1 is a position (inner peripheral surface) where the object 1 is gripped when the claws 19 and 21 are inserted into the holes 18 from the flange portion 17 side to grip the object 1. 23 position). As shown in FIG. 5 (B), the gripping position P2 is a position (internal) where the object 1 is gripped when the claws 19 and 21 are inserted into the holes 18 from the opposite side of the flange portion 17 to grip the object 1. The position of the peripheral surface 23).
把持位置Ｐ１が把持可能な姿勢を対象物１がとっている図５（Ａ）の状態においては、対象物１の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっている。一方、把持位置Ｐ２が把持可能な姿勢を対象物１がとっている図５（Ｂ）の状態においては、対象物１の下側部分が、水平方向に突出したフランジ部１７を有するようになっている。図５（Ａ）の状態の対象物１に上方から近づいて、把持位置Ｐ１で対象物１を把持し、この対象物１を上方へ取り出す場合と、図５（Ｂ）の状態の対象物１に上方から近づいて、把持位置Ｐ２で対象物１を把持し、この対象物１を上方へ取り出す場合とでは、前者の場合（把持位置Ｐ１で対象物１を把持する場合）のほうが、対象物１のフランジ部１７が他の対象物１に干渉する可能性が小さい。例えば、図３（Ａ）の状態で、対象物１ｂの把持位置Ｐ１を爪１９、２１で把持して、この対象物１ｂを取り出す場合には、フランジ部１７が他の対象物に干渉する可能性が小さい。フランジ部１７が上方側に位置するからである。これに対し、図３（Ａ）の状態で、対象物１ｃの把持位置Ｐ２を爪１９、２１で把持して、この対象物１ｂを取り出す場合には、対象物１ｂのフランジ部１７が他の対象物１ｂ、１ｄに干渉する可能性が高い。フランジ部１７が下方側にあるからである。そこで、図３（Ａ）の例では、把持位置Ｐ１の優先度は、把持位置Ｐ２の優先度よりも高く設定されている。なお、図４の符号Ｘは、対象物１に固定された仮想の基準直線（軸）Ｘを示す。 In the state of FIG. 5A in which the object 1 is in a posture in which the gripping position P1 can be gripped, the lower part of the object 1 does not have a part protruding in the horizontal direction and is obliquely upward There are no protruding parts. On the other hand, in the state of FIG. 5 (B) where the object 1 is in a posture in which the gripping position P2 can be gripped, the lower portion of the object 1 has a flange portion 17 protruding in the horizontal direction. ing. When the object 1 in the state of FIG. 5A is approached from above, the object 1 is grasped at the grasping position P1, and the object 1 is taken out upward, and the object 1 in the state of FIG. In the case where the object 1 is gripped at the gripping position P2 and is taken out upward, the former case (when the object 1 is gripped at the gripping position P1) is closer to the object. The possibility that one flange portion 17 interferes with another object 1 is small. For example, in the state shown in FIG. 3A, when the gripping position P1 of the object 1b is gripped by the claws 19 and 21 and the object 1b is taken out, the flange portion 17 may interfere with other objects. The nature is small. This is because the flange portion 17 is located on the upper side. On the other hand, when the gripping position P2 of the target object 1c is gripped by the claws 19 and 21 and the target object 1b is taken out in the state of FIG. There is a high possibility of interference with the objects 1b and 1d. This is because the flange portion 17 is on the lower side. Therefore, in the example of FIG. 3A, the priority of the gripping position P1 is set higher than the priority of the gripping position P2. 4 indicates a virtual reference straight line (axis) X fixed to the object 1.
干渉度判定では、上述のように、選択された対象物１において把持可能な把持位置の優先度が、この対象物１に隣接する他の対象物１において把持可能な把持位置の優先度以上であるかを判定する。この判定は、表２の高さの順位に従って行われる。すなわち、対象物１ａ、対象物１ｃ、対象物１ｂ、対象物１ｄの順に行われる。ただし、対象物１ａは、ステップＳ２で、障害物８に干渉すると判定されているので、対象物１ａについては、ステップＳ４の干渉度判定を行わない。 In the interference degree determination, as described above, the priority of the gripping position that can be gripped by the selected object 1 is equal to or higher than the priority of the gripping position that can be gripped by another object 1 adjacent to the target object 1. Determine if there is. This determination is made in accordance with the height ranking in Table 2. That is, it is performed in the order of the object 1a, the object 1c, the object 1b, and the object 1d. However, since it is determined that the object 1a interferes with the obstacle 8 in step S2, the interference degree determination in step S4 is not performed for the object 1a.
まず、対象物１ｃについて、この対象物１ｃに隣接する対象物１ｂ、１ｄと干渉度判定をする。この場合、図３（Ａ）では、選択された対象物１ｃにおいて把持可能な把持位置Ｐ２の優先度は、この対象物１ｃに隣接する他の対象物１ｂ、１ｄにおいて把持可能な把持位置Ｐ１の優先度より低い。この場合には、対象物１ｃは、対象物１ｂ、１ｄに干渉する可能性が相対的に大きいと判定する。すなわち、選択された対象物１ｃを取り出す場合に、当該選択された対象物１ｃが、これに隣接する他の対象物１ｂ、１ｄに干渉する度合いを第１の度合いとし、当該他の対象物１ｂ、１ｄを取り出す場合に、当該他の対象物１ｂ、１ｄが、当該選択された対象物１ｃに干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下ではないと否定の判定をする。従って、対象物１ｃを取り出す時に、これが対象物１ｂ、１ｄに干渉する可能性があるとして、次の表３に示すように、「隣接対象物との干渉度判定」の行において、これらの対象物１ｂ、１ｄを示す記号１ｂ、１ｄが記入される。 First, the degree of interference of the object 1c with the objects 1b and 1d adjacent to the object 1c is determined. In this case, in FIG. 3A, the priority of the gripping position P2 that can be gripped by the selected object 1c is the priority of the gripping position P1 that can be gripped by the other objects 1b and 1d adjacent to the target 1c. Lower than priority. In this case, it is determined that the object 1c is relatively likely to interfere with the objects 1b and 1d. That is, when the selected object 1c is taken out, the degree to which the selected object 1c interferes with the other objects 1b and 1d adjacent thereto is set as the first degree, and the other object 1b is selected. 1d is taken out, the degree of interference of the other objects 1b and 1d with the selected object 1c is the second degree, and it is negative if the first degree is not less than the second degree. Make a decision. Therefore, when the object 1c is taken out, there is a possibility that it may interfere with the objects 1b and 1d. As shown in the following Table 3, in the row of “determination of interference with adjacent objects”, these objects Symbols 1b and 1d indicating the objects 1b and 1d are entered.
対象物１ｂについて、この対象物１ｂに隣接する対象物１ａ、１ｃと干渉度判定をする。この場合、図３（Ａ）では、選択された対象物１ｂにおいて把持可能な把持位置Ｐ１の優先度は、この対象物１ｂに隣接する他の対象物１ａ、１ｃにおいてそれぞれ把持可能な把持位置Ｐ１、Ｐ２の優先度以上である。この場合には、対象物１ｂは、対象物１ａ、１ｃに干渉する可能性が小さいと判定する。すなわち、選択された対象物１ｂを取り出す場合に、当該選択された対象物１ｂが、これに隣接する他の対象物１ａ、１ｃに干渉する度合いを第１の度合いとし、当該他の対象物１ａ、１ｃを取り出す場合に、当該他の対象物１ａ、１ｃが、当該選択された対象物１ｂに干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であると肯定の判定する。従って、表３に示すように、「隣接対象物との干渉度判定」の行において、対象物１ｂについて、その旨を示す記号（○印）が記入される。 The degree of interference with the objects 1a and 1c adjacent to the object 1b is determined for the object 1b. In this case, in FIG. 3A, the priority of the gripping position P1 that can be gripped by the selected target object 1b is the gripping position P1 that can be gripped by the other target objects 1a and 1c adjacent to the target object 1b. , P2 or higher. In this case, it is determined that the object 1b is less likely to interfere with the objects 1a and 1c. That is, when the selected object 1b is taken out, the degree to which the selected object 1b interferes with the other objects 1a and 1c adjacent thereto is set as the first degree, and the other object 1a is selected. When taking out 1c, the degree to which the other objects 1a and 1c interfere with the selected object 1b is set as the second degree, and it is affirmed that the first degree is equal to or less than the second degree. judge. Therefore, as shown in Table 3, in the row of “determination of interference with adjacent object”, a symbol (◯ mark) indicating that is entered for the object 1b.
対象物１ｄについて、この対象物１ｄに隣接する対象物１ｃと干渉度判定をする。この場合、図３（Ａ）では、選択された対象物１ｄにおいて把持可能な把持位置Ｐ１の優先度は、この対象物１ｄに隣接する他の対象物１ｃにおいて把持可能な把持位置Ｐ２の優先度より高い。この場合には、対象物１ｄは、対象物１ｃに干渉する可能性が相対的に小さいと判定する。すなわち、選択された対象物１ｄを取り出す場合に、当該選択された対象物１ｄが、これに隣接する他の対象物１ｃに干渉する度合いを第１の度合いとし、当該他の対象物１ｃを取り出す場合に、当該他の対象物１ｃが、当該選択された対象物１ｄに干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であると肯定の判定する。従って、表３に示すように、「隣接対象物との干渉度判定」の行において、対象物１ｄについて、その旨を示す記号（○印）が記入される。 For the object 1d, the degree of interference with the object 1c adjacent to the object 1d is determined. In this case, in FIG. 3A, the priority of the gripping position P1 that can be gripped by the selected object 1d is the priority of the gripping position P2 that can be gripped by another object 1c adjacent to the target 1d. taller than. In this case, it is determined that the object 1d has a relatively low possibility of interfering with the object 1c. That is, when the selected object 1d is taken out, the degree to which the selected object 1d interferes with another object 1c adjacent thereto is set as the first degree, and the other object 1c is taken out. In this case, the degree of interference of the other object 1c with the selected object 1d is set as the second degree, and it is determined that the first degree is equal to or less than the second degree. Therefore, as shown in Table 3, in the row of “determination of interference with adjacent object”, a symbol (◯ mark) indicating that is entered for the object 1d.
なお、干渉度判定の対象となっている対象物１に隣接する他の対象物１が、今回、ステップＳ１で認識されていない場合には、この対象物１が当該他の対象物に干渉する可能性が小さいとする。すなわち、干渉度判定の対象となっているこの対象物１について、肯定の判定をする。 In addition, when the other target object 1 adjacent to the target object 1 which is the target of the interference degree determination is not recognized at step S1 this time, the target object 1 interferes with the other target object. The possibility is small. That is, an affirmative determination is made for the object 1 that is the target of the interference degree determination.
ステップＳ５において、把持順決定装置７により、ステップＳ４の結果に基づいて取り出し順序を定め、これを出力する。すなわち、ステップＳ５において、ステップＳ４の判定が否定された対象物１については取り出し順序に組み入れずに、ステップＳ４の判定が肯定された順に複数の対象物１を組み入れた取り出し順序を示す把持順指令を、把持順決定装置７から制御装置９に出力する。表３の例では、この取り出し順序は、対象物１ｂ、対象物１ｄの順である。 In step S5, the gripping order determination device 7 determines the extraction order based on the result of step S4, and outputs this. In other words, in step S5, the object 1 for which the determination in step S4 is negative is not included in the extraction order, but the gripping order command indicating the extraction order in which a plurality of objects 1 are incorporated in the order in which the determination in step S4 is affirmed. Is output from the gripping order determination device 7 to the control device 9. In the example of Table 3, the extraction order is the order of the object 1b and the object 1d.
ステップＳ６において、ステップＳ５で定められた取り出し順序に従って、複数の対象物１を把持して取り出す。すなわち、ステップＳ６において、制御装置９は、把持順指令が示す取り出し順序に従って、設置スペースＳの対象物１を１つずつ順に把持して取り出し、取り出した対象物１を別の場所へ置く。これにより、取り出された対象物１ｂ、１ｄについて、次の表４のように、「取り出しフラグ」を「０」から「１」に変更する。また、ステップＳ６で対象物１ｂ、１ｄを取り出した直後では、図３（Ａ）から図３（Ｂ）の状態になっている。 In step S6, the plurality of objects 1 are grasped and taken out according to the take-out order determined in step S5. That is, in step S6, the control device 9 grips and takes out the objects 1 in the installation space S one by one in accordance with the take-out order indicated by the gripping order command, and places the taken-out objects 1 in another place. As a result, “takeout flag” is changed from “0” to “1” for the taken objects 1b and 1d as shown in Table 4 below. Further, immediately after the objects 1b and 1d are taken out in step S6, the state is changed from FIG. 3 (A) to FIG. 3 (B).
ステップＳ７において、把持順決定装置７により、ステップＳ５において取り出し順序に組み入れなかった対象物１があるかどうかを判断する。取り出し順序に組み入れなかった対象物１は、ステップＳ４の判定が否定されたことにより、ステップＳ５において取り出し順序に組み入れなかった対象物１である。ステップＳ７において、取り出し順序に組み入れなかった対象物１がないと判断された場合には、そのまま、ステップＳ１へ戻る。一方、ステップＳ７において、取り出し順序に組み入れなかった対象物１があると判断される場合には、この対象物１を、以下のように、ロボットハンド３が、設置スペースＳから把持して取り出す。 In step S7, the gripping order determination device 7 determines whether there is an object 1 that has not been incorporated in the extraction order in step S5. The object 1 that has not been incorporated into the take-out order is the object 1 that has not been incorporated into the take-out order in Step S5 due to the negative determination in Step S4. If it is determined in step S7 that there is no object 1 that has not been incorporated in the extraction order, the process directly returns to step S1. On the other hand, when it is determined in step S7 that there is an object 1 that has not been incorporated in the removal order, the robot hand 3 grips and removes the object 1 from the installation space S as follows.
すなわち、ステップＳ５において取り出し順序に組み入れなかった対象物１を取り出す旨の指令が、把持順決定装置７から制御装置９に出力される。制御装置９は、この指令に従って、該当する対象物１を、ロボットハンド３が、設置スペースＳから把持して取り出すようにロボットハンド３を制御する。 That is, a command to take out the object 1 that has not been incorporated in the take-out order in step S5 is output from the gripping order determining device 7 to the control device 9. In accordance with this command, the control device 9 controls the robot hand 3 so that the robot object 3 grips and takes out the target object 1 from the installation space S.
ステップＳ７において、ステップＳ５において取り出し順序に組み入れなかった対象物１が複数ある場合には、ロボットハンド３は、ステップＳ１で認識された位置が高い順に、これらの対象物１を、設置スペースＳから把持して取り出すのがよい。その旨の指令が、把持順決定装置７から制御装置９に出力され、これにより、制御装置９は、認識された位置が高い順に複数の対象物１を把持して取り出すようにロボットハンド３を制御する。 In step S7, when there are a plurality of objects 1 that are not incorporated in the extraction order in step S5, the robot hand 3 moves these objects 1 from the installation space S in descending order of the positions recognized in step S1. It is good to grasp and take out. A command to that effect is output from the gripping order determination device 7 to the control device 9, whereby the control device 9 moves the robot hand 3 so as to grip and take out the plurality of objects 1 in order of the recognized positions. Control.
ステップＳ７は、図３（Ｂ）の例では次のように行われる。 Step S7 is performed as follows in the example of FIG.
表４において、高さの順位に従って、１番目のものから順に、取り出すべき対象物かどうかを判断する表検索を行い、取り出すべきと判断された対象物を取り出す。詳しくは、次の通りである。
最初に、 表４において、高さの順位が１番目の対象物１ａは、「障害物判定」が「×」になっているので、把持順決定装置７は、対象物１ａを取り出さないと判断する。
次に、高さの順位が２番目の対象物１ｃは、「隣接対象物との干渉度判定」の行において、対象物１ｂ、１ｄを示す記号１ｂ、１ｄが記入されているので、把持順決定装置７は、表４において、対象物１ｂ、１ｄの「取り出しフラグ」を参照する。対象物１ｂ、１ｄの「取り出しフラグ」は、いずれも１になっている。従って、把持順決定装置７は、対象物１ｃを、取り出すべきであると判断する。すなわち、把持順決定装置７は、対象物１ｃを取り出す旨の指令を制御装置９に出力する。制御装置９は、ロボットハンド３に対象物１ｃを取り出させ、これにより、図３（Ｂ）から図３（Ｃ）の状態になる。次いで、把持順決定装置７は、対象物１ｃの「取り出しフラグ」を０から１に変える。その結果、表４は、下記の表５に更新される。
次に、表５において、高さの順位が３番目の対象物１ｂは、「取り出しフラグ」が１になっているので、把持順決定装置７は、対象物１ｂを無視する。
次に、表５において、高さの順位が４番目の対象物１ｄは、「取り出しフラグ」が１になっているので、把持順決定装置７は、対象物１ｂを無視する。
In Table 4, according to the order of height, a table search is performed in order from the first to determine whether the object is to be extracted, and the objects determined to be extracted are extracted. Details are as follows.
First, in Table 4, since the object 1a having the first height ranking has an “obstacle determination” of “x”, the gripping order determination device 7 determines that the object 1a is not taken out. To do.
Next, since the object 1c with the second highest rank is filled with the symbols 1b and 1d indicating the objects 1b and 1d in the row of “determination of interference with adjacent objects”, the grasping order In Table 4, the determining device 7 refers to the “takeout flag” of the objects 1b and 1d. The “takeout flags” of the objects 1b and 1d are all 1. Accordingly, the gripping order determination device 7 determines that the object 1c should be taken out. In other words, the gripping order determination device 7 outputs a command for taking out the object 1 c to the control device 9. The control device 9 causes the robot hand 3 to take out the object 1c, whereby the state is changed from FIG. 3 (B) to FIG. 3 (C). Next, the gripping order determination device 7 changes the “takeout flag” of the object 1 c from 0 to 1. As a result, Table 4 is updated to Table 5 below.
Next, in Table 5, since the “extraction flag” is “1” for the object 1b with the third highest rank, the grasping order determination device 7 ignores the object 1b.
Next, in Table 5, since the “extraction flag” is “1” for the object 1d having the fourth height, the gripping order determination device 7 ignores the object 1b.
その後、再び、表５において、高さの順位に従って、１番目のものから順に、取り出すべき対象物かどうかを判断をする表検索を行い、取り出すべきと判断された対象物を取り出す。詳しくは、次の通りである。
最初に、表５において、高さの順位が１番目の対象物１ａは、「障害物判定」が「×」になっているので、把持順決定装置７は、対象物１ａを取り出さないと判断する。
次に、 表５において、高さの順位が２番目の対象物１ｃは、「取り出しフラグ」が１になっているので、把持順決定装置７は、対象物１ｃを無視する。
次に、表５において、高さの順位が３番目の対象物１ｂは、「取り出しフラグ」が１になっているので、把持順決定装置７は、対象物１ｂを無視する。
次に、表５において、高さの順位が４番目の対象物１ｄは、「取り出しフラグ」が１になっているので、把持順決定装置７は、対象物１ｂを無視する。
今回の表検索では、取り出すべき対象物１が１つも無かったので、ステップＳ１で認識された対象物１の中で、取り出せるものは無いとして、ステップＳ７を終えて、ステップＳ１へ戻る。
After that, again in Table 5, according to the order of height, in order from the first one, a table search is performed to determine whether or not the object is to be taken out, and the objects that are judged to be taken out are taken out. Details are as follows.
First, in Table 5, since the object 1a having the first height ranking has an “obstacle determination” of “x”, the gripping order determination device 7 determines that the object 1a is not taken out. To do.
Next, in Table 5, since the “takeout flag” is “1” for the object 1c with the second highest rank, the grasping order determination device 7 ignores the object 1c.
Next, in Table 5, since the “extraction flag” is “1” for the object 1b with the third highest rank, the grasping order determination device 7 ignores the object 1b.
Next, in Table 5, since the “extraction flag” is “1” for the object 1d having the fourth height, the gripping order determination device 7 ignores the object 1b.
In this table search, there is no target 1 to be extracted. Therefore, it is determined that there is no target 1 recognized in step S1, and step S7 is finished and the process returns to step S1.
このように、ステップＳ６とステップＳ７で複数の対象物１を取り出すので、１回のステップＳ１における認識で、より多くの対象物１を取り出すことができる。しかも、ステップＳ４〜Ｓ７により、干渉する度合いの小さい対象物１が先に取り出されるので、対象物１を取り出す時に、この対象物１が隣接する対象物１に干渉する可能性が小さくなる。 Thus, since the some target object 1 is taken out by step S6 and step S7, more target objects 1 can be taken out by recognition in one step S1. In addition, since the object 1 having a small degree of interference is extracted first in steps S4 to S7, the possibility that the object 1 interferes with the adjacent object 1 is reduced when the object 1 is extracted.
ステップ７の後に、新たに、上述と同様にステップＳ１〜Ｓ７を行う。図３（Ｃ）の場合には、次のように、ステップＳ１〜Ｓ７を新たに行う。 Steps S1 to S7 are newly performed after step 7 in the same manner as described above. In the case of FIG. 3C, steps S1 to S7 are newly performed as follows.
ステップＳ１において、認識装置５により、設置スペースＳに残っている対象物１ｆ、１ｇ，１ｈの３次元的な位置と姿勢を認識する。 In step S1, the recognition device 5 recognizes the three-dimensional positions and postures of the objects 1f, 1g, and 1h remaining in the installation space S.
ステップＳ２において、ステップＳ１で認識された複数の対象物１ｆ，１ｇ，１ｈを、上方に位置するものから順に選択する。図３（Ｃ）では、複数の対象物１ｆ，１ｇ，１ｈは、高さが同じであるので、これらの高さの順位は任意に定められてよい。ここでは、複数の対象物１ｆ，１ｇ，１ｈの順に高さの順位を定める。従って、把持順決定装置７により、表５のデータは次の表６のように更新される。更新された表６においては、新たに認識された対象物１ｆ，１ｇ，１ｈについての行が、追加されている。 In step S2, a plurality of objects 1f, 1g, and 1h recognized in step S1 are selected in order from the one located above. In FIG. 3C, the plurality of objects 1f, 1g, and 1h have the same height, and therefore the order of the heights may be arbitrarily determined. Here, the height order is determined in the order of the plurality of objects 1f, 1g, and 1h. Accordingly, the data in Table 5 is updated as shown in Table 6 below by the gripping order determination device 7. In the updated table 6, rows for newly recognized objects 1f, 1g, and 1h are added.
ステップＳ３において、障害物判定を行う。図３（Ｃ）の例では、複数の対象物１ｆ，１ｇ，１ｈの真上には、障害物８が存在しないので、複数の対象物１ｆ，１ｇ，１ｈは、障害物８に干渉しないと判定される。従って、表６における「障害物判定」の列において、対象物１ｆ，１ｇ，１ｈについて、衝突しない旨の記号（○印）が記入される。これにより、表６のデータは、次の表７のようになる。 In step S3, obstacle determination is performed. In the example of FIG. 3C, since the obstacle 8 does not exist immediately above the plurality of objects 1f, 1g, 1h, the objects 1f, 1g, 1h must interfere with the obstacle 8. Determined. Therefore, in the column of “obstacle determination” in Table 6, a symbol (◯ mark) indicating that the objects 1f, 1g, and 1h do not collide is entered. As a result, the data in Table 6 is as shown in Table 7 below.
ステップＳ４において、ステップＳ２で選択された順に複数の対象物１について干渉度判定を行う。
干渉度判定では、選択された対象物１において把持可能な把持位置の優先度が、この対象物１に隣接する他の対象物１において把持可能な把持位置の優先度以上であるかを判定する。この判定は、表７の高さの順位に従って行われる。すなわち、対象物１ｆ，１ｇ，１ｈの順に行われる。より詳しくは、ステップＳ２で障害物８に干渉すると判定されておらず、表７において、「取り出しフラグ」が「０」になっている複数の対象物１ｆ，１ｇ，１ｈについて、ステップＳ４を行う。
In step S4, the degree of interference is determined for a plurality of objects 1 in the order selected in step S2.
In the interference degree determination, it is determined whether the priority of the gripping position that can be gripped by the selected object 1 is equal to or higher than the priority of the gripping position that can be gripped by another object 1 adjacent to the target object 1. . This determination is performed in accordance with the height ranking in Table 7. That is, it is performed in the order of the objects 1f, 1g, and 1h. More specifically, step S4 is performed for a plurality of objects 1f, 1g, and 1h that are not determined to interfere with the obstacle 8 in step S2 and whose “takeout flag” is “0” in Table 7. .
対象物１ｆ，１ｇ，１ｈの干渉度判定は、上述と同様に行われる。その結果は、次のようになる。
対象物１ｆについては、これを取り出す時に、これが隣接する対象物１ｇに干渉する可能性があるとする（すなわち、否定の判定をする）。従って、対象物１ｆについて、下記の表８のように、「隣接対象物との干渉度判定」の行において、対象物１ｇを示す記号が記入される。
対象物１ｇについては、これが隣接する対象物１ｆ、１ｈに干渉する可能性が低いとする（すなわち、肯定の判定をする）。従って、対象物１ｇについては、表８のように、「隣接対象物との干渉度判定」の行において、その旨を示す記号（○印）が記入される。
対象物１ｈについては、これを取り出す時に、これが隣接する対象物１ｇに干渉する可能性があるとする（すなわち、否定の判定をする）。従って、対象物１ｈについて、表８のように、「隣接対象物との干渉度判定」の行において、対象物１ｇを示す記号が記入される。
The interference degree determination of the objects 1f, 1g, and 1h is performed in the same manner as described above. The result is as follows.
It is assumed that the object 1f may interfere with the adjacent object 1g when it is taken out (that is, a negative determination is made). Therefore, for the object 1f, as shown in Table 8 below, a symbol indicating the object 1g is entered in the “determination of interference with adjacent object” row.
It is assumed that the object 1g is unlikely to interfere with the adjacent objects 1f and 1h (that is, a positive determination is made). Therefore, for the object 1g, as shown in Table 8, a symbol (◯ mark) indicating that is entered in the row of “determination of interference with adjacent object”.
It is assumed that the object 1h may interfere with the adjacent object 1g when it is taken out (that is, a negative determination is made). Therefore, for the object 1h, as shown in Table 8, a symbol indicating the object 1g is entered in the “determination of interference with adjacent object” row.
ステップＳ５において、ステップＳ４の結果に基づいて取り出し順序を定め、これを出力する。すなわち、ステップＳ５において、ステップＳ４の判定が否定された対象物１ｆ，１ｈについては取り出し順序に組み入れずに、ステップＳ４の判定が肯定された順に対象物１を組み入れた取り出し順序を示す把持順指令を制御装置９に出力する。図３（Ｃ）の例では、この取り出し順序に組み入れられたものは、対象物１ｇだけである。 In step S5, the extraction order is determined based on the result of step S4, and this is output. In other words, in step S5, the objects 1f and 1h for which the determination in step S4 is negative are not included in the extraction order, but the grasping order command indicating the extraction order in which the objects 1 are incorporated in the order in which the determination in step S4 is affirmed. Is output to the control device 9. In the example of FIG. 3C, only the object 1g is incorporated in this take-out order.
ステップＳ６において、ステップＳ５で定められた取り出し順序に従って、ロボットハンド３により複数の対象物１を把持して取り出す。図３（Ｃ）の例では、対象物１ｇを、設置スペースＳから、ロボットハンド３により把持して取り出す。これにより、取り出された対象物１ｇについて、下記表９のように、「取り出しフラグ」を「０」から「１」に変更する。 In step S6, a plurality of objects 1 are grasped and taken out by the robot hand 3 in accordance with the taking-out order determined in step S5. In the example of FIG. 3C, the object 1g is grasped and taken out from the installation space S by the robot hand 3. As a result, the “takeout flag” is changed from “0” to “1” as shown in Table 9 below for the taken out object 1g.
次いで、ステップＳ７において、ステップＳ５において取り出し順序に組み入れなかった対象物１ｆ，１ｈを、順に、ロボットハンド３により、設置スペースＳから把持して取り出す。なお、この後、取り出していない対象物１ａ，１ｅが残る。これらの対象物１ａ，１ｅは、ロボットハンド３により取り出せない対象物１となる。すなわち、対象物１ａは、障害物８のために取り出すことができず、対象物１ｅは、対象物１ａの真下にあるので、その位置が認識されないことにより取り出すことができない。 Next, in step S7, the objects 1f and 1h that have not been incorporated in the extraction order in step S5 are sequentially grasped and extracted from the installation space S by the robot hand 3. After this, the objects 1a and 1e that have not been taken out remain. These objects 1 a and 1 e are objects 1 that cannot be taken out by the robot hand 3. That is, the object 1a cannot be taken out due to the obstacle 8, and the object 1e cannot be taken out because its position is not recognized because it is directly under the object 1a.
上述した本発明の実施形態によると、以下の効果が得られる。 According to the embodiment of the present invention described above, the following effects can be obtained.
ステップＳ４の干渉度判定において判定が否定された対象物１は取り出し順序に組み入れないので、対象物１を実際に把持して取り出す時に、対象物１が隣接する他の対象物１に干渉する可能性が小さくなる。 Since the object 1 whose determination is negative in the interference degree determination in step S4 is not included in the extraction order, the object 1 may interfere with other adjacent objects 1 when the object 1 is actually gripped and extracted. The sex becomes smaller.
また、上方に位置する対象物１から干渉度判定を行う。上方に位置する対象物１ほど、干渉度判定が否定される可能性が小さくなる。例えば、図３（Ａ）において、対象物１ｂ，１ｄが存在しない場合には、最初に、対象物１ｃに対して干渉度判定が行われる。この対象物１ｃに隣接する対象物１は存在しないので、対象物１ｃの干渉度判定は肯定される。
このように、干渉度判定が否定される可能性を小さくできるので、干渉度判定が肯定された対象物１を取り出し順序に効率よく組み入れることができる。
Further, the degree of interference is determined from the object 1 located above. The higher the target object 1 is, the lower the possibility that the interference degree determination is denied. For example, in FIG. 3A, when the objects 1b and 1d do not exist, the interference degree determination is first performed on the object 1c. Since there is no target object 1 adjacent to the target object 1c, the determination of the interference level of the target object 1c is affirmed.
Thus, since possibility that an interference degree determination is denied can be made small, the target object 1 by which the interference degree determination was affirmed can be efficiently integrated in the extraction order.
よって、対象物１を把持して取り出す時に、この対象物１が隣接する対象物１に干渉する可能性を小さくし、かつ、対象物１の取り出し順序を効率よく定めることができる。 Therefore, when the object 1 is grasped and taken out, the possibility that the object 1 interferes with the adjacent object 1 can be reduced, and the order in which the object 1 is taken out can be determined efficiently.
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、次の変更例１〜７のいずれかを単独で採用してもよいし、変更例１〜７を任意に組み合わせて採用してもよい。この場合、以下で説明しない点は、上述と同様である。 The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the scope of the present invention. For example, any one of the following modification examples 1 to 7 may be employed alone, or modification examples 1 to 7 may be arbitrarily combined and employed. In this case, the points not described below are the same as described above.
（変更例１）
ステップＳ２において、把持順決定装置７は、ステップＳ１で位置が認識された複数の対象物１を、上述とは異なる方法で順に選択してもよい。
例えば、把持順決定装置７は、ステップＳ１で位置が認識された複数の対象物１を、これらの対象物１の当該位置がそれぞれ記憶されている複数のメモリ要素の配列順序に従って選択してもよい。なお、複数のメモリ要素は、把持順決定装置７の記憶部を構成する。
代わりに、把持順決定装置７は、ステップＳ１でその位置が認識された順に、複数の対象物１を選択してもよい。
(Modification 1)
In step S <b> 2, the gripping order determination device 7 may sequentially select a plurality of objects 1 whose positions are recognized in step S <b> 1 by a method different from the above.
For example, the gripping order determination device 7 may select the plurality of objects 1 whose positions are recognized in step S1 according to the arrangement order of the plurality of memory elements in which the positions of these objects 1 are stored. Good. Note that the plurality of memory elements constitute a storage unit of the gripping order determination device 7.
Instead, the gripping order determination device 7 may select a plurality of objects 1 in the order in which the positions are recognized in step S1.
（変更例２）
上述では、取り出し順序に組み入れた複数の対象物１を把持して取り出した後に、新たに、ステップＳ１で、対象物１を認識していた。この代わりに、上述のステップＳ６において、ステップＳ５で定められた取り出し順序において１番目の対象物１を把持して取り出したら、ステップＳ７を省略してステップＳ１へ戻ってもよい。すなわち、ステップＳ６において、取り出し順序において２番目以降の対象物１を把持して取り出すことなく、ステップＳ１へ戻る。この時、取り出し順序において１番目の対象物１についてのみ、「取り出しフラグ」を「０」から「１」に変更する。これにより、取り出し順序において１番目の対象物１の下にある対象物１を、次のステップＳ１で認識できる。
(Modification 2)
In the above description, the object 1 is newly recognized in step S1 after the plurality of objects 1 incorporated in the taking-out order are grasped and taken out. Instead, in step S6 described above, when the first object 1 is grasped and taken out in the take-out order determined in step S5, step S7 may be omitted and the process may return to step S1. That is, in step S6, the process returns to step S1 without grasping and taking out the second and subsequent objects 1 in the take-out order. At this time, only the first object 1 in the extraction order is changed from “0” to “1”. Thereby, the target object 1 under the first target object 1 in the extraction order can be recognized in the next step S1.
このような処理により、取り出しにくい対象物１が優先して取り出されるようになる。これにより、以降において、対象物１をより円滑に取り出せる可能性が高くなる。 By such processing, the object 1 that is difficult to take out is preferentially taken out. Thereby, after that, possibility that the target object 1 can be taken out more smoothly will increase.
（変更例３）
障害物８が存在しない場合には、ステップＳ３の障害物判定を省略してよい。
(Modification 3)
When the obstacle 8 does not exist, the obstacle determination in step S3 may be omitted.
（変更例４）
対象物１は、図６に示す形状を有するものであってもよい。図６（Ｂ）は、図６（Ａ）のＢ−Ｂ線矢視図である。図６に示す対象物１は、中央部２５と、中央部２５に結合され中央部２５の両側に位置する側部２７とを有する。また、図６の対象物１を把持する把持部４は、対象物１を吸引することにより、対象物１を吸着して把持する吸引装置である（図７を参照）。
(Modification 4)
The object 1 may have a shape shown in FIG. FIG. 6B is a view taken along line BB in FIG. The object 1 shown in FIG. 6 includes a central portion 25 and side portions 27 that are coupled to the central portion 25 and are located on both sides of the central portion 25. 6 is a suction device that sucks and holds the object 1 by sucking the object 1 (see FIG. 7).
この対象物１には、例えば、図６に示すように、把持位置Ｐ１〜Ｐ６が設定されている。把持位置Ｐ１，Ｐ２，Ｐ３には、基準値よりも高い優先度が設定されており、把持位置Ｐ４，Ｐ５，Ｐ６には、前記基準値よりも低い優先度が設定されている。すなわち、基準値よりも高い優先度の把持位置Ｐ１，Ｐ２またはＰ３が把持可能な姿勢（例えば、図７の対象物１ａの姿勢）を対象物１がとっている状態においては、この対象物１の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっている。一方、基準値より低い優先度の把持位置Ｐ４，Ｐ５またはＰ６が把持可能な姿勢（例えば、図７の対象物１ｂの姿勢）を対象物１がとっている状態においては、この対象物１の下側部分が、水平方向または斜め上方に突出する部分を有するようになっている。
なお、この例では、把持位置Ｐ１〜Ｐ６のうち、優先度は、把持位置Ｐ１が最も高く、把持位置Ｐ２、Ｐ３がその次に高く、把持位置Ｐ４、Ｐ５がその次に高く、把持位置Ｐ６が最も低い。なお、把持位置Ｐ２，Ｐ３の優先度は同じ値であり、把持位置Ｐ４，Ｐ５の優先度は同じ値であってよい。
For example, as illustrated in FIG. 6, gripping positions P <b> 1 to P <b> 6 are set for the object 1. A higher priority than the reference value is set for the gripping positions P1, P2, and P3, and a lower priority than the reference value is set for the gripping positions P4, P5, and P6. That is, in a state where the target object 1 is in a posture in which the grip position P1, P2 or P3 having a higher priority than the reference value can be gripped (for example, the posture of the target object 1a in FIG. 7), the target object 1 The lower side portion does not have a portion protruding in the horizontal direction and does not have a portion protruding obliquely upward. On the other hand, in a state where the target object 1 is in a posture in which the grip position P4, P5 or P6 having a lower priority than the reference value can be gripped (for example, the posture of the target object 1b in FIG. 7), The lower portion has a portion protruding in the horizontal direction or obliquely upward.
In this example, among the gripping positions P1 to P6, the gripping position P1 has the highest priority, the gripping positions P2 and P3 are the second highest, the gripping positions P4 and P5 are the second highest, and the gripping position P6. Is the lowest. The priorities of the gripping positions P2 and P3 may be the same value, and the priorities of the gripping positions P4 and P5 may be the same value.
上述のステップＳ１において位置と姿勢が認識された対象物１において、図６のように、把持可能な複数の把持位置がある場合には、これらの把持位置の優先度のうち最も高い優先度が、ステップＳ４の干渉度判定において、比較される。すなわち、干渉度判定において、ステップＳ２で選択された対象物１において把持可能な１つまたは複数の把持位置の優先度のうち最も高い優先度が、この対象物１に隣接する他の対象物１において把持可能な１つまたは複数の把持位置の優先度のうち最も高い優先度以上であるかを判定する。
また、ステップＳ６，Ｓ７において、ロボットハンド３は、対象物１における把持可能な複数の把持位置のうち、最も高い優先度の把持位置で対象物１を把持することにより、対象物１を取り出す。
If the object 1 whose position and orientation are recognized in step S1 described above has a plurality of gripping positions that can be gripped as shown in FIG. 6, the highest priority among the priorities of these gripping positions is given. In the determination of the degree of interference in step S4, comparison is made. That is, in the interference determination, the other priority object 1 adjacent to the target object 1 has the highest priority among the priority levels of one or more gripping positions that can be gripped by the target object 1 selected in step S2. It is determined whether or not the priority of one or a plurality of gripping positions that can be gripped is higher than the highest priority.
In steps S <b> 6 and S <b> 7, the robot hand 3 takes out the target 1 by gripping the target 1 at the highest priority gripping position among a plurality of gripping positions that can be gripped by the target 1.
（変更例５）
上述のステップＳ２の後であってステップＳ４の前において、ステップＳ２の障害物判定に加えて、または、この障害物判定の代わりに、把持順決定装置７は、次の姿勢判定、高さ判定および一致度判定の１つまたは複数を行ってもよい。
(Modification 5)
After the above-described step S2 and before step S4, in addition to or instead of the obstacle determination in step S2, the gripping order determination device 7 performs the next posture determination and height determination. One or more of the degree of coincidence determination may be performed.
姿勢判定では、ステップＳ２で選択された各対象物１について、ステップＳ１で認識された対象物１の姿勢が、把持可能な姿勢範囲内にあるかを判定する。この姿勢判定において、その姿勢が把持可能な姿勢範囲内にないと判定された対象物１については、ステップＳ４の干渉度判定を行わない。すなわち、姿勢判定で、その姿勢が把持可能な姿勢範囲内にあると判定された対象物１について、ステップＳ２で選択された順にステップＳ４を行う。 In the posture determination, for each target object 1 selected in step S2, it is determined whether the posture of the target object 1 recognized in step S1 is within a grippable posture range. In this posture determination, the interference degree determination in step S4 is not performed for the target object 1 that is determined not to be within the gripping posture range. That is, step S4 is performed in the order selected in step S2 for the target object 1 determined by the posture determination to be within the gripping posture range.
このような姿勢判定は、図４に示す対象物１の場合には、例えば図８（Ａ）または図８（Ｂ）のように、鉛直方向Ｄｚに対する対象物１の基準直線（軸）Ｘの傾き角度θが、上限角度（例えば４５度）以下である場合には、対象物１の姿勢は把持可能な範囲内にあると判定し、そうでない場合には、対象物１の姿勢は把持可能な範囲内にないと判定する。図８（Ａ）と図８（Ｂ）で例示されている対象物１は、図４に示す対象物１と同じものである。なお、傾き角度θは、０度より大きく９０度より小さい角度として定義される。 In the case of the object 1 shown in FIG. 4, such posture determination is performed on the reference straight line (axis) X of the object 1 with respect to the vertical direction Dz, for example, as shown in FIG. 8A or 8B. When the tilt angle θ is equal to or smaller than the upper limit angle (for example, 45 degrees), it is determined that the posture of the target object 1 is within the grippable range. Otherwise, the posture of the target object 1 can be gripped. It is determined that it is not within the proper range. The object 1 illustrated in FIGS. 8A and 8B is the same as the object 1 shown in FIG. The tilt angle θ is defined as an angle that is greater than 0 degree and less than 90 degrees.
図４に示す対象物１の場合には、基準直線Ｘは、次のように定義されてよい。対象物１の基準直線Ｘが鉛直方向Ｄｚを向いている場合に、把持部４の爪１９、２１を、鉛直方向Ｄｚに上方から対象物１の穴１８に挿入することにより、鉛直方向Ｄｚに関して、対象物１の把持位置Ｐ１またはＰ２に把持部４の爪１９、２１を位置決めできる。この位置決めにより、把持部４が対象物１に当たって対象物１を動かすことはない。次いで、爪１９、２１を水平方向に開くことにより、把持部４の爪１９、２１により対象物１を把持できる。 In the case of the object 1 shown in FIG. 4, the reference straight line X may be defined as follows. When the reference straight line X of the object 1 is oriented in the vertical direction Dz, the claws 19 and 21 of the grip portion 4 are inserted into the hole 18 of the object 1 from above in the vertical direction Dz, so that the vertical direction Dz is related. The claws 19 and 21 of the grip portion 4 can be positioned at the grip position P1 or P2 of the object 1. By this positioning, the grip portion 4 does not hit the object 1 and move the object 1. Next, the object 1 can be gripped by the claws 19 and 21 of the grip portion 4 by opening the claws 19 and 21 in the horizontal direction.
高さ判定では、ステップＳ２で選択された各対象物１について、ステップＳ１で認識された対象物１の高さ（位置）が、制限高さより高いかを判定する。この高さ判定において、その高さが、制限高さより高くないと判定された対象物１については、ステップＳ４の干渉度判定を行わない。すなわち、高さ判定で、対象物１の高さが制限高さより高いと判定された対象物１について、ステップＳ２で選択された順にステップＳ４を行う。 In the height determination, for each target object 1 selected in step S2, it is determined whether the height (position) of the target object 1 recognized in step S1 is higher than the limit height. In this height determination, the interference degree determination in step S4 is not performed for the object 1 whose height is determined not to be higher than the limit height. That is, step S4 is performed in the order selected in step S2 for the object 1 that is determined to be higher than the limit height in the height determination.
このような高さ判定において、対象物１の高さが制限高さより高いと判定された対象物１が１つもない場合には、制限高さを、設定量だけ低くして、高さ判定を再び行う。このように、ステップＳ２の後であってステップＳ４の前において、ステップＳ２で選択された対象物１のうち、１つ以上（好ましくは、２つ以上）の対象物１の高さが制限高さより高いと判定されるまで、高さ判定と、制限高さを設定量だけ低くすることとを、順に繰り返す。 In such a height determination, when there is no target 1 determined that the height of the target 1 is higher than the limit height, the limit height is lowered by a set amount, and the height determination is performed. Do it again. Thus, after step S2 and before step S4, the height of one or more (preferably two or more) objects 1 among the objects 1 selected in step S2 is the restricted height. Until it is determined that the height is higher than the predetermined height, the height determination and lowering the limit height by the set amount are repeated in order.
一致度判定では、ステップＳ２で選択された各対象物１について、ステップＳ１で認識された対象物１の３次元的な形状とモデル形状との一致度が、しきい値以上であるかを判定する。モデル形状は、予め作成されたデータであり、対象物１の３次元形状を表す。 In the degree of coincidence determination, for each object 1 selected in step S2, it is determined whether the degree of coincidence between the three-dimensional shape of the object 1 recognized in step S1 and the model shape is greater than or equal to a threshold value. To do. The model shape is data created in advance and represents the three-dimensional shape of the object 1.
この一致度判定において、ステップＳ１で認識された対象物１の３次元的な形状とモデル形状との一致度が、しきい値より高くないと判定された対象物１については、ステップＳ４の干渉度判定を行わない。すなわち、一致度判定で、その３次元的な形状とモデル形状との一致度がしきい値より高いと判定された対象物１について、ステップＳ２で選択された順にステップＳ４を行う。なお、一致度の値が高いほど、認識された対象物１の３次元的な形状とモデル形状とは、より高く一致している。 In this coincidence determination, for the object 1 determined that the coincidence between the three-dimensional shape of the object 1 recognized in step S1 and the model shape is not higher than the threshold value, the interference in step S4 is performed. Do not perform degree judgment. That is, step S4 is performed in the order selected in step S2 for the target object 1 that has been determined in the matching degree determination that the matching degree between the three-dimensional shape and the model shape is higher than the threshold value. Note that the higher the matching value, the higher the three-dimensional shape of the recognized object 1 matches the model shape.
一致度は、次のように求められてよい。仮想的な３次元空間において、認識された対象物１の３次元的な形状と、モデル形状とを、互いに対して回転および併進させることにより、両者を最も一致させる。この状態における両者が一致している度合いを一致度とする。 The degree of coincidence may be obtained as follows. In the virtual three-dimensional space, the three-dimensional shape of the recognized object 1 and the model shape are rotated and translated with respect to each other, so that they are most matched. The degree of coincidence in this state is defined as the degree of coincidence.
（変更例６）
上述のステップＳ４において、選択された対象物１において把持可能な把持位置の優先度が、この対象物１に隣接する他の対象物１において把持可能な把持位置の優先度と同じである場合には、次のようにしてもよい。すなわち、当該選択された対象物１の基準直線Ｘと鉛直方向とのなす角度が、当該他の対象物１の基準直線Ｘと鉛直方向とのなす角度より大きい場合には、把持順決定装置７は、ステップＳ５において、当該選択された対象物１を取り出し順序に組み入れないようにする。
(Modification 6)
In the above-described step S4, when the priority of the gripping position that can be gripped by the selected object 1 is the same as the priority of the gripping position that can be gripped by another object 1 adjacent to the target object 1. May be as follows. That is, when the angle formed by the reference straight line X of the selected object 1 and the vertical direction is larger than the angle formed by the reference straight line X of the other object 1 and the vertical direction, the gripping order determining device 7 In step S5, the selected object 1 is not included in the extraction order.
ここでの基準直線Ｘは、次のように定義される。すなわち、その基準直線Ｘが鉛直方向を向いている姿勢で、対象物１が水平面に置かれた場合に、対象物１は、この姿勢のままで、水平面によってのみ支持される。 The reference straight line X here is defined as follows. That is, when the target 1 is placed on a horizontal plane in a posture in which the reference straight line X faces the vertical direction, the target 1 is supported only by the horizontal plane in this posture.
（変更例７）
上述のステップＳ７を省略してもよい。この場合、ステップＳ６を終えたら、ステップＳ１へ戻り、ステップＳ１〜Ｓ６を再び行う。
(Modification 7)
Step S7 described above may be omitted. In this case, after step S6 is completed, the process returns to step S1 and steps S1 to S6 are performed again.
１，１ａ〜１ｈ 対象物、３ ロボットハンド、４ 把持部、５ 認識装置、７ 把持順決定装置、８ 障害物、９ 制御装置、１０ 対象物取り出し装置、１１ａ〜１１ｄ リンク、１３ａ〜１３ｃ 関節、１５ 設置台、１７ フランジ部、１８ 対象物の穴、１９，２１ 爪 、２３ 内周面、２５ 中央部、２７ 側部、Ｓ 設置スペース 1, 1a-1h Object, 3 Robot hand, 4 Gripping part, 5 Recognition device, 7 Grasping order determination device, 8 Obstacle, 9 Control device, 10 Object take-out device, 11a-11d Link, 13a-13c Joint, 15 installation base, 17 flange part, 18 object hole, 19, 21 claw, 23 inner peripheral surface, 25 center part, 27 side part, S installation space
Claims (7)
対象物を把持するロボットハンドと、
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、
定められた取り出し順序に従って、設置スペースから、対象物を把持して取り出すようにロボットハンドを制御する制御装置と、を備え、
把持順決定装置は、
（Ａ）位置が認識された複数の対象物を順に選択し、
（Ｂ）選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第１の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行い、
（Ｃ）この判定の結果を否定にする前記他の対象物が存在する場合には、前記判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定める、対象物取り出し装置。 An object take-out device that sequentially holds and takes out a plurality of objects placed in an installation space,
A robot hand that holds an object;
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A grasping order determining device for determining the order of taking out a plurality of objects whose positions are recognized;
A control device for controlling the robot hand so as to grasp and take out the object from the installation space in accordance with a predetermined take-out order;
The gripping order determination device is
(A) Select a plurality of objects whose positions are recognized in order,
(B) Perform interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(C) If there is the other object that negates the result of this determination, the objects for which the determination is denied are not included in the order of extraction, and a plurality of objects are determined in the order in which the determination is affirmed. defining the extraction order of the objects, object extraction device.
前記認識装置は、前記複数の対象物の位置と姿勢を認識し、
対象物において複数の把持位置が設定されており、当該複数の把持位置にはそれぞれ優先度が予め設定されており、
予め定めた基準値より高い優先度の把持位置が把持可能な第１の姿勢を対象物がとっている第１の状態においては、この対象物の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっており、
前記基準値より低い優先度の把持位置が把持可能な第２の姿勢を対象物がとっている第２の状態においては、この対象物の下側部分が、水平方向または斜め上方に突出する部分を有するようになっており、
前記第１の状態では、前記基準値より低い優先度の前記把持位置は把持可能ではなく、前記第２の状態では、前記基準値より高い優先度の前記把持位置は把持可能ではなく、
把持順決定装置は、干渉度判定において、
選択された対象物において把持可能な１つまたは複数の把持位置の優先度のうち最も高い優先度が、この対象物に隣接する他の対象物において把持可能な１つまたは複数の把持位置の優先度のうち最も高い優先度以上であるかを判定し、
この判定が肯定された場合には、第１の度合いが第２の度合い以下であると判定する、請求項１または２に記載の対象物取り出し装置。 The robot hand grips an object and takes it out upward,
The recognition device recognizes positions and postures of the plurality of objects;
A plurality of gripping positions are set on the object, and priorities are set in advance for the plurality of gripping positions,
In a first state in which the object is in a first posture in which a grip position with a higher priority than a predetermined reference value can be gripped, the lower part of the object is a part protruding in the horizontal direction. It has no part that protrudes diagonally upward,
In the second state in which the object is in the second posture in which the grip position with a lower priority than the reference value can be gripped, the lower part of the object protrudes horizontally or obliquely upward And have
In the first state, the grip position with a priority lower than the reference value is not grippable, and in the second state, the grip position with a priority higher than the reference value is not grippable,
The gripping order determination device determines the degree of interference,
Of the one or more gripping positions that can be gripped by the selected object, the highest priority is the priority of the one or more gripping positions that can be gripped by another object adjacent to the object. To determine if it ’s higher than the highest priority ,
If this determination is affirmative, determining that the first degree is less than or equal to the second degree, the object extraction device according to claim 1 or 2.
選択された各対象物について、障害物判定を行い、
障害物判定では、対象物を把持して取り出すときに、当該対象物が障害物に衝突するかを判定し、
衝突すると判定された対象物について、干渉度判定を行わず、かつ、当該対象物を取り出し順序に組み入れない、請求項１、２または３に記載の対象物取り出し装置。 The gripping order determination device is
For each selected object, perform obstacle determination,
In the obstacle determination, when the object is grasped and taken out, it is determined whether the object collides with the obstacle,
For the determined object and collides, without interference determination, and not incorporated in order take-out the object, the object extraction device according to claim 1, 2 or 3.
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、を用意し、
（ａ）認識装置により、複数の対象物の位置を認識し、
（ｂ）把持順決定装置により、位置が認識された複数の対象物を順に選択し、
（ｃ）把持順決定装置により、選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第１の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第２の度合いとし、第１の度合いが第２の度合い以下であるかの判定を行い、
（ｄ）この判定の結果を否定にする前記他の対象物が存在する場合には、把持順決定装置により、前記判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定め、
（ｅ）定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す、対象物取り出し方法。 A method of taking out a plurality of objects placed in an installation space by sequentially grasping them with a robot hand,
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A gripping order determining device for determining the order of taking out a plurality of objects whose positions are recognized, and
(A) Recognizing the position of a plurality of objects by a recognition device;
(B) A plurality of objects whose positions are recognized are sequentially selected by the grasping order determination device,
(C) The gripping order determination device performs interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(D) if the other object to be a negative result of the determination exists, the gripping order determination device, without incorporating the sequence extraction for object the determination is negative, the determination is affirmative Determine the order of picking up multiple objects in the order
(E) A method for taking out an object in which the object is grasped and taken out by a robot hand in accordance with a predetermined taking-out order.
（ｇ）次に、把持順決定装置により、新たに位置が認識された当該複数の対象物に対して、前記（ｂ）（ｃ）（ｄ）を新たに行うことにより、当該複数の対象物の取り出し順序を新たに定め、
（ｈ）次いで、新たに定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す、請求項５に記載の対象物取り出し方法。 (F) After the step (e), the position of a plurality of objects remaining in the installation space is newly recognized by newly performing the step (a).
(G) Next, by performing the above (b), (c) and (d) on the plurality of objects whose positions are newly recognized by the gripping order determination device, the plurality of objects A new order for taking out
(H) Then, according extraction order defined newly, taken by gripping the object by the robot hand, the object extraction method according to claim 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011266364A JP5936108B2 (en) | 2011-12-06 | 2011-12-06 | Object extraction apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011266364A JP5936108B2 (en) | 2011-12-06 | 2011-12-06 | Object extraction apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013119121A JP2013119121A (en) | 2013-06-17 |
| JP5936108B2 true JP5936108B2 (en) | 2016-06-15 |
Family
ID=48772035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011266364A Active JP5936108B2 (en) | 2011-12-06 | 2011-12-06 | Object extraction apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5936108B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6036662B2 (en) * | 2013-11-22 | 2016-11-30 | 三菱電機株式会社 | Robot simulation apparatus, program, recording medium and method |
| JP6552221B2 (en) * | 2015-03-02 | 2019-07-31 | キヤノン株式会社 | Information processing apparatus, information processing method |
| JP6570036B2 (en) * | 2016-04-21 | 2019-09-04 | スズデン株式会社 | Robot hand for picking up bulk goods and system for automatically picking up bulk goods |
| JP6546883B2 (en) * | 2016-06-27 | 2019-07-17 | 株式会社関ヶ原製作所 | Suspended item holding device |
| JP6773588B2 (en) | 2017-03-10 | 2020-10-21 | 株式会社東芝 | Transport device |
| JP7154815B2 (en) * | 2018-04-27 | 2022-10-18 | キヤノン株式会社 | Information processing device, control method, robot system, computer program, and storage medium |
| WO2021044751A1 (en) * | 2019-09-02 | 2021-03-11 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
| WO2023248353A1 (en) * | 2022-06-21 | 2023-12-28 | ファナック株式会社 | Device for acquiring position data pertaining to workpiece, control device, robot system, method, and computer program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3805302B2 (en) * | 2002-12-13 | 2006-08-02 | ファナック株式会社 | Work take-out device |
| JP4655309B2 (en) * | 2005-11-09 | 2011-03-23 | 株式会社Ｉｈｉ | Picking order determination method, apparatus and program thereof, and picking system |
| JP4940715B2 (en) * | 2006-03-15 | 2012-05-30 | 日産自動車株式会社 | Picking system |
| JP5265296B2 (en) * | 2008-10-10 | 2013-08-14 | 本田技研工業株式会社 | Work removal method |
| JP5289087B2 (en) * | 2009-02-10 | 2013-09-11 | ファナック株式会社 | Work picking device |
-
2011
- 2011-12-06 JP JP2011266364A patent/JP5936108B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013119121A (en) | 2013-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5936108B2 (en) | Object extraction apparatus and method | |
| JP6487495B2 (en) | Work removal system | |
| Morrison et al. | Cartman: The low-cost cartesian manipulator that won the amazon robotics challenge | |
| JP6704154B2 (en) | Automated package registration system, device, and method | |
| CN112589791B (en) | Robotic system with wall-based packaging mechanism and method of operation thereof | |
| JP4940715B2 (en) | Picking system | |
| JP7015031B2 (en) | A method and calculation system for object detection or robot interaction planning based on the image information generated by the camera. | |
| WO2018092860A1 (en) | Interference avoidance device | |
| EP2345515B1 (en) | Method for picking up work pieces | |
| CN105082133B (en) | Sorting plant and picking method | |
| EP1905548B1 (en) | Workpiece picking apparatus | |
| JP2015089589A (en) | Method and apparatus for extracting bulked article by using robot | |
| JP2014161965A (en) | Article takeout device | |
| CN1699033A (en) | Object picking system | |
| WO2012066819A1 (en) | Work pick-up apparatus | |
| JP6529302B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| KR20170012455A (en) | Real-time determination of object metrics for trajectory planning | |
| JP5458274B2 (en) | Gripping position calculation device and gripping position calculation method | |
| KR20140037943A (en) | Component supply apparatus | |
| JP2012024903A (en) | Workpiece removing device and workpiece removing method | |
| JP2014054715A (en) | Article retrieving apparatus that determines retaining position/posture of robot based on selecting conditions | |
| JP6697204B1 (en) | Robot system control method, non-transitory computer-readable recording medium, and robot system control device | |
| JP7481427B2 (en) | Removal system and method | |
| JP2012187666A (en) | Robot control device, article pick-out system, program, and robot control method | |
| JP6948033B1 (en) | Method and calculation system for performing grip area detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150916 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160428 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5936108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |