WO2023243051A1 - ワーク取り出しシステム - Google Patents

ワーク取り出しシステム Download PDF

Info

Publication number
WO2023243051A1
WO2023243051A1 PCT/JP2022/024173 JP2022024173W WO2023243051A1 WO 2023243051 A1 WO2023243051 A1 WO 2023243051A1 JP 2022024173 W JP2022024173 W JP 2022024173W WO 2023243051 A1 WO2023243051 A1 WO 2023243051A1
Authority
WO
WIPO (PCT)
Prior art keywords
workpiece
model
gripping
hand
orientation
Prior art date
Application number
PCT/JP2022/024173
Other languages
English (en)
French (fr)
Inventor
岳 山▲崎▼
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/024173 priority Critical patent/WO2023243051A1/ja
Publication of WO2023243051A1 publication Critical patent/WO2023243051A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a workpiece retrieval system.
  • Robot systems are widely used that retrieve the workpiece with a robot hand by acquiring surface shape information of the object such as distance images and point cloud data, and identifying the position and orientation of the workpiece through matching processing. It may be necessary to take out one workpiece at a time from among a plurality of workpieces that are randomly arranged one on top of the other, starting from the workpiece placed at the top. In such a case, the posture of the workpiece may be tilted not only in the plane direction but also in the vertical direction. Therefore, simply approaching the robot hand from directly above may not be able to properly hold the workpiece.
  • a workpiece retrieval system includes a three-dimensional measuring instrument that measures the shape of a workpiece, a robot that has a hand that grips the workpiece, and a robot that uses the robot to take out the workpiece based on the measurement results of the three-dimensional measuring instrument.
  • a control device that controls the robot to take out the robot, and the control device includes a storage unit that stores a work model that models the three-dimensional shape of the work and a hand model that models the three-dimensional shape of the hand.
  • a matching unit that identifies the position and orientation of the workpiece through a matching process between the measurement results of the three-dimensional measuring instrument and the workpiece model; and a model that arranges the workpiece model in a virtual space at the position and orientation specified by the matching unit. a position/orientation of the hand when the hand grips the workpiece based on the relationship between the hand model placed in the virtual space and the workpiece model; and a grip determination unit that determines a grip position/orientation.
  • the workpiece can be reliably taken out.
  • FIG. 1 is a schematic diagram showing the configuration of a workpiece retrieval system according to a first embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram illustrating a simplified example of a measurement result of a three-dimensional measuring instrument of the workpiece retrieval system of FIG. 1.
  • FIG. FIG. 2 is a perspective view illustrating a workpiece model stored in a storage unit of the workpiece retrieval system of FIG. 1;
  • FIG. 2 is a perspective view illustrating a hand model stored in a storage unit of the workpiece retrieval system of FIG. 1;
  • FIG. 2 is a schematic diagram illustrating confirmation of the gripping position and orientation in the gripping determination unit of the workpiece retrieval system of FIG. 1;
  • FIG. 6 is a schematic diagram illustrating confirmation of a gripping position and orientation different from that shown in FIG. 5 in the gripping determination unit of the workpiece retrieval system of FIG. 1;
  • FIG. 1 is a schematic diagram showing the configuration of a workpiece retrieval system 1 according to a first embodiment of the present disclosure.
  • the workpiece retrieval system 1 takes out one or more randomly arranged workpieces W that may overlap each other one by one, and arranges the taken out workpieces W at a predetermined position in a predetermined posture.
  • the workpiece retrieval system 1 includes a robot 20 having a three-dimensional measuring instrument 10 that measures the shape of the workpiece W, a hand 21 that grips the workpiece W, and a robot 20 that picks up the workpiece W based on the measurement results of the three-dimensional measuring instrument 10. and a control device 30 that controls the robot 20 to take out the robot.
  • the three-dimensional measuring device 10 measures the distance to the measurement target for each two-dimensional position, and outputs measurement results representing the shape of the surface of the measurement target facing the three-dimensional measuring device 10, such as a distance image, point cloud data, etc. do.
  • FIG. 2 shows point cloud data of the workpiece W, which is an example of the measurement results output from the three-dimensional measuring instrument 10.
  • the three-dimensional measuring instrument 10 includes two two-dimensional cameras that take two-dimensional images of a measurement target, and a projector that projects an image including grid-like reference points onto the measurement target. It is possible to use a stereo camera that calculates the distance from the three-dimensional measuring device 10 to each reference point based on the positional shift of the reference point caused by the parallax of images captured by two two-dimensional cameras.
  • the three-dimensional measuring instrument 10 may be a device capable of performing other three-dimensional measurements, such as a three-dimensional laser scanner.
  • the three-dimensional measuring instrument 10 may be fixed, for example, above the area where the workpiece W is placed so that it can measure the entire area where the workpiece W is placed. Furthermore, the three-dimensional measuring instrument 10 may be held by the robot 20 and positioned at a position where the robot 20 can measure the shape of the workpiece W each time.
  • the robot 20 has a hand 21 at its tip that grips the workpiece W, and determines the position and orientation of the hand 21, that is, the coordinate position of the reference point of the hand 21 and the orientation of the hand 21.
  • the robot 20 can be a vertically articulated robot as illustrated in FIG. 1, but is not limited thereto, and may be, for example, a Cartesian coordinate robot, a SCARA robot, a parallel link robot, or the like.
  • the hand 21 can be configured to have a pair of gripping fingers 22 that grip the workpiece W.
  • the gripping fingers 22 may have a shape that matches the shape of the workpiece W, such as a concave portion 23 in the illustrated example, in a region where the gripping fingers 22 contact the workpiece W.
  • the control device 30 may be realized by one or more computer devices having, for example, a memory, a processor, an input/output interface, etc., and executing an appropriate control program.
  • the control device 30 includes a storage unit 31 , a matching unit 32 , an extraction target determination unit 33 , a model placement unit 34 , an obstacle information generation unit 35 , a grip determination unit 36 , and a release determination unit 37 . Note that each component of the control device 30 has its function categorized, and does not have to be clearly distinguishable in terms of physical structure and program structure.
  • the storage unit 31 stores a work model Mw that models the three-dimensional shape of the work W and a hand model Mh that models the three-dimensional shape of the hand 21.
  • FIG. 3 shows the work model Mw
  • FIG. 4 shows the hand model Mh.
  • the storage unit 31 stores a grippable area Ag that is set as a grippable area by the hand 21 in the workpiece model Mw.
  • the workpiece model Mw includes a disc-shaped flange part P1, a truncated conical intermediate part P2 connected to one surface of the flange part P1, and a cylindrical part extending from the tip of the intermediate part P2. It has a shaft portion P3.
  • This work model Mw can grip the flange portion P1 in the thickness direction or the shaft portion P3 in the radial direction. Therefore, the main surface of the flange portion P1 and the outer circumferential surface of the shaft portion P3, which are hatched in FIG. 3, can be used as the grippable area Ag. Furthermore, the storage unit 31 may further store an obstacle model that models the three-dimensional shape of an obstacle such as a container in which the workpiece W is accommodated. Furthermore, the storage unit 31 may store a preferred gripping position/posture that is set as a preferential relative position/posture of the hand model Mh with respect to the workpiece model Mw.
  • the matching unit 32 specifies the position and orientation of the workpiece W by matching the measurement results of the three-dimensional measuring instrument 10 and the workpiece model Mw stored in the storage unit 31.
  • the matching unit 32 also specifies the position and orientation of the obstacle through a matching process between the measurement results of the three-dimensional measuring instrument 10 and the obstacle model.
  • a well-known method can be adopted as the matching process by the matching unit 32.
  • the matching unit 32 extracts a plurality of feature points from the measurement results of the three-dimensional measuring instrument 10, and determines if the degree of coincidence between the positional relationship of the feature points and the positional relationship of the feature points of the workpiece model Wm is equal to or higher than a predetermined value. It may be configured to determine that the workpiece W exists in certain cases.
  • the retrieval target determination unit 33 determines one workpiece W to be retrieved by the robot 20 from among the workpieces W whose positions and orientations have been specified by the matching unit 32. It is preferable that the extraction target determination unit 33 confirms the workpiece model Mw placed in the virtual space by a model placement unit 34 (described later), and selects a workpiece W that is less likely to interfere with other workpieces W as the extraction target. For example, the extraction target determination unit 33 may select a workpiece model Mw whose upper side is not in contact with another workpiece model Mw as an extraction target.
  • the extraction target determination section 33 selects the object located at the uppermost side or the object closest to the preset reference coordinates as the extraction object based on the coordinate position of the workpiece W specified by the matching section 32. It may be configured to do so.
  • the model placement unit 34 places the work model Mw in the virtual space at the position and orientation specified by the matching unit 32.
  • the matching unit 32 also specifies the position and orientation of the obstacle, it is preferable that the model placement unit 34 also arranges the obstacle model in the virtual space at the position and orientation specified by the matching unit 32.
  • the coordinate system of the virtual space in which the model placement unit 34 places the work model Mw and the obstacle model is preferably the coordinate system used to control the robot 20. Therefore, the model placement unit 34 It is preferable to perform coordinate transformation from the coordinate system of robot 10 to the coordinate system of robot 20.
  • the obstacle information generation unit 35 excludes information corresponding to the workpiece model Mw placed by the model placement unit 34 or the graspable area Ag to be taken out from the measurement results of the three-dimensional measuring instrument 10, for example, removes information corresponding to the graspable area Ag of the point cloud data. Generate obstacle information excluding points.
  • the obstacle information can be used as information on obstacles that should be avoided from interfering with the hand 21 when an object that cannot be detected by the matching unit 32, such as a foreign object that has not been modeled, is included. do.
  • the grip determining unit 36 further places the hand model Mh in the virtual space where the workpiece model Mw is placed.
  • the gripping determination unit 36 opens and closes the gripping fingers of the hand model Mh, and determines the gripping position/posture that is the position/posture of the hand 21 when the hand 21 grips the workpiece W based on the relationship between the hand model Mh and the workpiece model Mw. Determine.
  • the workpiece W can be properly gripped even when the gripping fingers 22 are inserted into the opposite side of the workpiece W from the three-dimensional measuring instrument 10, which cannot be confirmed by the measurement results of the three-dimensional measuring instrument 10 such as point cloud data. You can check whether it is possible or not.
  • the grip determination unit 36 determines the possibility of gripping in the priority gripping position and orientation, and if it is determined that gripping is not possible, the gripping determination unit 36 determines that gripping is possible in a position and orientation modified from the priority gripping position and orientation based on a predetermined rule.
  • the gripping position/posture may be determined by determining the gender. In this way, by searching for a gripping position/orientation using the priority gripping position/orientation as a starting point, the calculation load can be suppressed.
  • the gripping determination unit 36 determines the gripping position and orientation so that the hand model Mh does not interfere with the workpiece model Mw of the workpiece W other than the object to be taken out.
  • the gripping determination unit 36 determines the gripping position and orientation so that the hand model Mh does not interfere with the workpiece model Mw of the workpiece W other than the object to be taken out.
  • the grip determining unit 36 determines the gripping position/posture based on the size of the contact area between the workpiece model Mw and the hand model Mh, and for example, sets the position/posture where the contact area is equal to or larger than a threshold value as the gripping position/posture.
  • the contact area is defined as, for example, an area in which the distance to the hand model Mh on the surface of the workpiece model Mw is less than or equal to a predetermined threshold when the gripping fingers 22 of the hand model Mh are initially brought into contact with the workpiece model Mw with a small interval. It can be calculated as area.
  • the workpiece can be easily adjusted without performing complicated preparation work such as teaching multiple relative positions and orientations of the hand 21 with respect to the workpiece W in advance. It is possible to determine a gripping position and orientation that allows appropriate gripping regardless of the orientation of W.
  • the gripping determination unit 36 may determine the gripping position/posture based on the relationship between the grippable area Ag of the workpiece model Mw and the hand model Mh. In other words, the grip determination unit 36 does not need to check the relationship between the hand model Mh and the area other than the grippable area Ag of the workpiece model Mw. Thereby, the calculation load can be reduced, and the threshold value of the contact area for determining the gripping position and orientation can be set to stricter conditions.
  • the grip determining unit 36 does not ignore areas other than the grippable area Ag of the workpiece model Mw, but determines the gripping position and orientation so that the hand model Mh does not interfere with areas other than the grippable area Ag of the workpiece model Mw. It is desirable to decide.
  • the grip determination unit 36 determines the grip position and orientation so that the hand model Mh does not interfere with the shape indicated by the obstacle information generated by the obstacle information generation unit 35. Thereby, the workpiece W can be taken out while avoiding foreign objects that are not modeled.
  • the release determination unit 37 determines the release position and orientation that is the position and orientation of the hand 21 when releasing the taken-out workpiece W. As a result, the workpiece W can be released in a fixed position and orientation, so the workpiece retrieval system 1 can be used as a workpiece W supplying device or an assembly device.
  • the workpiece retrieval system 1 identifies the position and orientation of the workpiece W by matching the measurement results of the three-dimensional measuring instrument 10 and the workpiece model Mw, arranges the workpiece model Mw and hand model Mh in virtual space, and aligns the workpiece W and hand.
  • the gripping position and orientation are determined taking into consideration shapes that do not appear in the measurement results of the three-dimensional measuring instrument 10, so that the workpiece can be reliably taken out.
  • the workpiece retrieval system 1 determines the mutual positions and angles of the workpiece model Mw and the hand model Mh by simulation, it is necessary to teach in advance which position and what relative angle of the workpiece W should be gripped by the hand 21. There is no.
  • the obstacle information generation section may be omitted.
  • the release determining section may be omitted.
  • the extraction target determination unit may be configured to specify a workpiece to be extracted according to user input, and may be omitted if there is always only one workpiece.

Abstract

確実にワークを取り出すことができる本開示の一態様に係るワーク取り出しシステムは、ワークの形状を測定する３次元計測器と、ワークを把持するハンドを有するロボットと、３次元計測器の測定結果に基づいて、ロボットによりワークを取り出すようロボットを制御する制御装置と、を備え、制御装置は、ワークの三次元形状をモデル化したワークモデルおよびハンドの三次元形状をモデル化したハンドモデルを記憶する記憶部と、３次元計測器の測定結果とワークモデルとのマッチング処理によりワークの位置姿勢を特定するマッチング部と、ワークモデルを仮想空間にマッチング部が特定した位置姿勢で配置するモデル配置部と、ハンドモデルを仮想空間に配置し、仮想空間に配置したハンドモデルとワークモデルとの関係に基づいて、ハンドによりワークを把持する際のハンドの位置姿勢である把持位置姿勢を決定する、把持決定部と、を有する。

Description

ワーク取り出しシステム
　本発明は、ワーク取り出しシステムに関する。
　距離画像、点群データ等の被写体の表面形状情報を取得し、マッチング処理によりワークの位置および姿勢を特定することで、ロボットハンドによるワークの取り出しを行うロボットシステムが広く利用されている。ランダムに重なりあって配置される複数のワークの中から、上側に配置されているものから順番に１ずつワークを取り出すことが必要となる場合もある。このような場合、ワークの姿勢が平面方向だけでなく、上下方向にも傾斜し得る。したがって、ロボットハンドを真上からアプローチするだけでは、適切にワークを保持することができない可能性がある。
　このような場合に、センサでワークを３次元計測したワーク計測データと、ハンド形状データとに基づいて、ハンドでワークを把持する最適な位置姿勢を決定する技術が提案されている（例えば、特許文献１参照）。
国際公開ＷＯ２０１２／０６６８１９号
　ワークを３次元計測する場合、一般的には、特定の位置に配置されるセンサから視認可能な面の形状だけしか情報が得られない。このため、ハンドをセンサと異なる方向からアプローチさせる場合、ハンドがワーク計測データに現れていない形状に対して適切でない場合があり得る。また、ワーク上のどの位置を把持しているかを感知せずに取り出しを行うため、後工程でワーク方向をそろえる要求がある場合、取り出し後に把持状態を何等かの方法で計測する必要がある。このため、確実にワークを取り出すことができる技術が望まれる。
　本開示の一態様に係るワーク取り出しシステムは、ワークの形状を測定する３次元計測器と、ワークを把持するハンドを有するロボットと、３次元計測器の測定結果に基づいて、前記ロボットにより前記ワークを取り出すよう前記ロボットを制御する制御装置と、を備え、前記制御装置は、前記ワークの三次元形状をモデル化したワークモデルおよび前記ハンドの三次元形状をモデル化したハンドモデルを記憶する記憶部と、前記３次元計測器の測定結果と前記ワークモデルとのマッチング処理により前記ワークの位置姿勢を特定するマッチング部と、前記ワークモデルを仮想空間に前記マッチング部が特定した位置姿勢で配置するモデル配置部と、前記ハンドモデルを前記仮想空間に配置し、前記仮想空間に配置した前記ハンドモデルと前記ワークモデルとの関係に基づいて、前記ハンドにより前記ワークを把持する際の前記ハンドの位置姿勢である把持位置姿勢を決定する、把持決定部と、を有する。
　本開示によれば、確実にワークを取り出すことができる。
本開示の第１実施形態に係るワーク取り出しシステムの構成を示す模式図である。 図１のワーク取り出しシステムの３次元計測器の測定結果を簡略化して例示する模式図である。 図１のワーク取り出しシステムの記憶部が記憶するワークモデルを例示する斜視図である。 図１のワーク取り出しシステムの記憶部が記憶するハンドモデルを例示する斜視図である。 図１のワーク取り出しシステムの把持決定部における把持位置姿勢の確認を説明する模式図である。 図１のワーク取り出しシステムの把持決定部における図５とは異なる把持位置姿勢の確認を説明する模式図である。
　以下、本開示の実施形態について、図面を参照しながら説明する。図１は、本開示の第１実施形態に係るワーク取り出しシステム１の構成を示す模式図である。ワーク取り出しシステム１は、ランダムに配置され、互いに重なり合い得る１以上のワークＷを１つずつ取り出し、取り出したワークＷを所定の位置に所定の姿勢で配置する。
　ワーク取り出しシステム１は、ワークＷの形状を測定する３次元計測器１０と、ワークＷを把持するハンド２１を有するロボット２０と、３次元計測器１０の測定結果に基づいて、ロボット２０によりワークＷを取り出すようロボット２０を制御する制御装置３０と、を備える。
　３次元計測器１０は、２次元位置毎に測定対象までの距離を測定し、測定対象の３次元計測器１０に対向する表面の形状を表す測定結果、例えば距離画像、点群データ等を出力する。図２に、３次元計測器１０から出力される測定結果の一例であるワークＷの点群データを示す。
　３次元計測器１０としては、具体例として、測定対象の２次元画像を撮影する２つの２次元カメラと、測定対象にグリッド状の基準点を含む画像を投影するプロジェクタと、を有し、２つの２次元カメラの撮影画像の視差によって生じる基準点の位置ずれに基づいて、３次元計測器１０から各基準点のまでの距離を算出するステレオカメラを用いることができる。また、３次元計測器１０は、３次元レーザスキャナ等の他の３次元測定を行い得る装置であってもよい。
　３次元計測器１０は、ワークＷが配置される領域全体を測定できるよう、例えばワークＷが配置される領域の上方に固定され得る。また、３次元計測器１０は、ロボット２０に保持され、ワークＷの形状を測定する際に、その都度ロボット２０によって測定可能な位置に位置決めされてもよい。
　ロボット２０は、先端にワークＷを把持するハンド２１を有し、ハンド２１の位置姿勢、つまりハンド２１の基準点の座標位置およびハンド２１の向きを定める。ロボット２０は、図１に例示するように垂直多関節型ロボットとすることができるが、これに限定されず、例えば直交座標型ロボット、スカラ型ロボット、パラレルリンク型ロボット等であってもよい。
　ハンド２１は、ワークＷを把持する一対の把持指２２を有する構成とすることができる。把持指２２は、ワークＷに当接する領域にワークＷの形状に適合する形状、例えば図示する例における凹部２３等を有してもよい。
　制御装置３０は、例えばメモリ、プロセッサ、入出力インターフェイス等を有し、適切な制御プログラムを実行する１または複数のコンピュータ装置によって実現され得る。制御装置３０は、記憶部３１と、マッチング部３２と、取出対象決定部３３と、モデル配置部３４と、障害物情報生成部３５と、把持決定部３６と、解放決定部３７と、を有する。なお、制御装置３０の各構成要素は、その機能を類別したものであって、物理的構造およびプログラム構造において明確に区分できなくてもよい。
　記憶部３１は、ワークＷの三次元形状をモデル化したワークモデルＭｗおよびハンド２１の三次元形状をモデル化したハンドモデルＭｈを記憶する。図３にワークモデルＭｗを、図４にハンドモデルＭｈをそれぞれ示す。また、記憶部３１は、ワークモデルＭｗにおいてハンド２１より把持可能な領域として設定される把持可能領域Ａｇを記憶することが好ましい。図３において、ワークモデルＭｗは、円板状のフランジ部Ｐ１と、フランジ部Ｐ１の一方の面に連接される円錐台形状の中間部Ｐ２と、中間部Ｐ２の先端から延出する円柱状の軸部Ｐ３と、を有する。このワークモデルＭｗは、フランジ部Ｐ１を厚み方向に把持するか、軸部Ｐ３を径方向に把持することが可能である。このため、図３においてハッチングを付したフランジ部Ｐ１の主面および軸部Ｐ３の外周面が把持可能領域Ａｇとされ得る。また、記憶部３１は、ワークＷが収容される容器等の障害物の三次元形状をモデル化した障害物モデルをさらに記憶してもよい。また、記憶部３１は、ワークモデルＭｗに対するハンドモデルＭｈの優先すべき相対的な位置姿勢として設定される優先把持位置姿勢を記憶してもよい。
　マッチング部３２は、３次元計測器１０の測定結果と記憶部３１に記憶されるワークモデルＭｗとのマッチング処理によりワークＷの位置姿勢を特定する。また、記憶部３１に障害物モデルが記憶されている場合、マッチング部３２は、３次元計測器１０の測定結果と障害物モデルとのマッチング処理により障害物の位置姿勢も特定することが好ましい。マッチング部３２によるマッチング処理としては、周知の方法を採用することができる。具体例として、マッチング部３２は、３次元計測器１０の測定結果から複数の特徴点を抽出し、特徴点の位置関係とワークモデルＷｍの特徴点の位置関係との一致度が所定値以上である場合に、ワークＷが存在すると判定するよう構成され得る。
　取出対象決定部３３は、マッチング部３２が位置姿勢を特定したワークＷの中から、ロボット２０によって取り出すべき取出対象とされる１つのワークＷを決定する。取出対象決定部３３は、後述するモデル配置部３４が仮想空間に配置したワークモデルＭｗを確認して、他のワークＷとの干渉のおそれが小さいワークＷを取出対象とすることが好ましい。例として、取出対象決定部３３は、上側に他のワークモデルＭｗが当接していないワークモデルＭｗを取出対象としてもよい。また、簡易的には、取出対象決定部３３は、マッチング部３２が特定したワークＷの座標位置に基づいて、最も上側に位置するもの、または予め設定される基準座標に最も近いものを取出対象とするよう構成されてもよい。
　モデル配置部３４は、ワークモデルＭｗを仮想空間にマッチング部３２が特定した位置姿勢で配置する。マッチング部３２が障害物の位置姿勢も特定する場合、モデル配置部３４は、障害物モデルも仮想空間にマッチング部３２が特定した位置姿勢で配置することが好ましい。モデル配置部３４がワークモデルＭｗおよび障害物モデルを配置する仮想空間の座標系は、ロボット２０の制御に用いられる座標系であることが好ましい、このため、モデル配置部３４は、３次元計測器１０の座標系からロボット２０の座標系への座標変換を行うことが好ましい。
　障害物情報生成部３５は、３次元計測器１０の測定結果から、モデル配置部３４が配置したワークモデルＭｗまたは取出対象の把持可能領域Ａｇに対応する情報を除外、例えば点群データの対応する点を除外した障害物情報を生成する。障害物情報は、マッチング部３２が検出できない物体、例えばモデル化されていない異物等が混入している場合に、そのような物体をハンド２１との干渉を避けるべき障害物の情報として利用可能にする。
　把持決定部３６は、図４および図５に模式的に示すように、ワークモデルＭｗが配置された仮想空間にさらにハンドモデルＭｈを配置する。把持決定部３６は、ハンドモデルＭｈの把持指を開閉し、ハンドモデルＭｈとワークモデルＭｗとの関係に基づいて、ハンド２１によりワークＷを把持する際のハンド２１の位置姿勢である把持位置姿勢を決定する。これにより、例えば点群データ等の３次元計測器１０の測定結果では確認できないワークＷの３次元計測器１０と反対側に把持指２２を挿入するような姿勢についても、ワークＷを適切の把持できるか否かを確認できる。
　把持決定部３６は、優先把持位置姿勢での把持可能性を判定したのち、把持が不可能と判定した場合には、優先把持位置姿勢から所定の規則に基づいて修正した位置姿勢での把持可能性を判定することにより、把持位置姿勢を決定してもよい。このように、優先把持位置姿勢を起点として把持位置姿勢を探索することによって、演算負荷を抑制することができる。
　把持決定部３６は、ハンドモデルＭｈが取り出し対象以外のワークＷのワークモデルＭｗと干渉しないよう把持位置姿勢を決定することが好ましい。取り出し対象以外のワークモデルＭｗと干渉しないようにすることで、実際にハンド２１によりワークＷを取り出す際に、取り出し対象以外のワークＷをハンド２１が動かすことにより取り出し対象のワークＷの位置姿勢が変化し、ハンド２１でワークＷを適切に把持できなくなることを防止できる。
　具体的には、把持決定部３６は、ワークモデルＭｗとハンドモデルＭｈとの接触面積の大きさに基づいて把持位置姿勢を決定、例えば接触面積が閾値以上となる位置姿勢を把持位置姿勢とするよう、構成され得る。接触面積は、例えばハンドモデルＭｈの把持指２２の間隔を小さくしてワークモデルＭｗに最初に当接した状態でワークモデルＭｗの表面のハンドモデルＭｈまでの距離が所定の閾値以下である領域の面積として算出され得る。このように、ワークモデルＭｗとハンドモデルＭｈとの接触面積を指標とすることによって、予めワークＷに対してハンド２１の相対位置姿勢を複数教示するような煩雑な準備作業を行うことなく、ワークＷの姿勢によらず適切な把持が可能な把持位置姿勢を決定することができる。
　また、記憶部３１が把持可能領域Ａｇを記憶する場合、把持決定部３６は、ワークモデルＭｗの把持可能領域ＡｇとハンドモデルＭｈとの関係に基づいて把持位置姿勢を決定してもよい。つまり、把持決定部３６は、ワークモデルＭｗの把持可能領域Ａｇ以外の領域とハンドモデルＭｈとの関係は確認しなくてもよい。これにより、演算負荷を低減することができ、把持位置姿勢を決定する接触面積の閾値等をより厳しい条件とすることもできる。この場合、把持決定部３６は、ワークモデルＭｗの把持可能領域Ａｇ以外の領域を無視するのではなく、ハンドモデルＭｈがワークモデルＭｗの把持可能領域Ａｇ以外の領域と干渉しないよう把持位置姿勢を決定することが望ましい。
　さらに、把持決定部３６は、障害物情報生成部３５が生成した障害物情報が示す形状とハンドモデルＭｈが干渉しないよう把持位置姿勢を決定することが好ましい。これにより、モデル化されていない異物を避けてワークＷを取り出すことできる。
　解放決定部３７は、把持決定部３６が決定した把持位置姿勢に基づいて、取り出したワークＷを解放する際のハンド２１の位置姿勢である開放位置姿勢を決定する。これにより、ワークＷを一定の位置姿勢で開放することができるので、ワーク取り出しシステム１は、ワークＷの供給装置または組み立て装置として使用され得る。
　ワーク取り出しシステム１は、３次元計測器１０の測定結果とワークモデルＭｗとのマッチング処理によりワークＷの位置姿勢を特定し、仮想空間にワークモデルＭｗとハンドモデルＭｈを配置してワークＷとハンド２１の関係をシミュレートすることによって、３次元計測器１０の測定結果には現われない形状も考慮して把持位置姿勢を決定するため、確実にワークを取り出すことができる。また、ワーク取り出しシステム１は、ワークモデルＭｗとハンドモデルＭｈの相互の位置および角度をシミュレーションにより定めるため、ハンド２１によりワークＷのどの位置をどのような相対角度で把持するかを予め教示する必要がない。
　以上、本開示の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる好適な効果を列挙したに過ぎず、本発明による効果は、前述した実施形態に記載されたものに限定されるものではない。
　例として、本発明に係るワーク取り出しシステムにおいて、障害物情報生成部は省略されてもよい。また、開放時のワークの姿勢が任意である場合、解放決定部は省略されてもよい。また、取出対象決定部は、ユーザの入力に従って取り出し対象のワークを特定するよう構成されてもよく、常にワークが１つだけである場合には省略されてもよい。
　１　ワーク取り出しシステム
　１０　３次元計測器
　２１　ハンド
　２０　ロボット
　２２　把持指
　２３　凹部
　３０　制御装置
　３１　記憶部
　３２　マッチング部
　３３　取出対象決定部
　３４　モデル配置部
　３５　障害物情報生成部
　３６　把持決定部
　３７　解放決定部
　Ａｇ　把持可能領域
　Ｍｗ　ワークモデル
　Ｍｈ　ハンドモデル
　Ｗ　ワーク

Claims (8)

  1. 　ワークの形状を測定する３次元計測器と、
    　ワークを把持するハンドを有するロボットと、
    　３次元計測器の測定結果に基づいて、前記ロボットにより前記ワークを取り出すよう前記ロボットを制御する制御装置と、
    を備え、
    　前記制御装置は、
    　前記ワークの三次元形状をモデル化したワークモデルおよび前記ハンドの三次元形状をモデル化したハンドモデルを記憶する記憶部と、
    　前記３次元計測器の測定結果と前記ワークモデルとのマッチング処理により前記ワークの位置姿勢を特定するマッチング部と、
    　前記ワークモデルを仮想空間に前記マッチング部が特定した位置姿勢で配置するモデル配置部と、
    　前記ハンドモデルを前記仮想空間に配置し、前記仮想空間に配置した前記ハンドモデルと前記ワークモデルとの関係に基づいて、前記ハンドにより前記ワークを把持する際の前記ハンドの位置姿勢である把持位置姿勢を決定する、把持決定部と、
    を有する、ワーク取り出しシステム。
  2. 　前記記憶部は、前記ワークモデルにおいて把持可能な把持可能領域を記憶し、
    　前記把持決定部は、前記ワークモデルの前記把持可能領域と前記ハンドモデルとの関係に基づいて前記把持位置姿勢を決定する、請求項１に記載のワーク取り出しシステム。
  3. 　前記記憶部は、前記ワークモデルに対する前記ハンドモデルの優先すべき相対的な位置姿勢として設定される優先把持位置姿勢を記憶し、
    　前記把持決定部は、前記優先把持位置姿勢での把持可能性を判定したのち、把持が不可能と判定した場合には、優先把持位置姿勢から所定の規則に基づいて修正した位置姿勢での把持可能性を判定する、請求項１に記載のワーク取り出しシステム。
  4. 　前記制御装置は、前記３次元計測器の測定結果から、前記把持可能領域に対応する情報を除外した障害物情報を生成する、障害物情報生成部をさらに有し、
    　前記把持決定部は、前記ハンドモデルが前記障害物情報が示す形状と干渉しないよう前記把持位置姿勢を決定する、請求項２に記載のワーク取り出しシステム。
  5. 　前記モデル配置部は、取り出し対象の前記ワークの前記ワークモデルと前記取り出し対象以外の前記ワークの前記ワークモデルとを前記仮想空間に配置し、
    　前記把持決定部は、前記ハンドモデルが前記取り出し対象以外の前記ワークの前記ワークモデルと干渉しないよう前記把持位置姿勢を決定する、請求項１から４のいずれかに記載のワーク取り出しシステム。
  6. 　前記制御装置は、前記３次元計測器の測定結果から、前記モデル配置部が配置した前記ワークモデルに対応する情報を除外した障害物情報を生成する、障害物情報生成部をさらに有し、
    　前記把持決定部は、前記ハンドモデルが前記障害物情報が示す形状と干渉しないよう前記把持位置姿勢を決定する、請求項１に記載のワーク取り出しシステム。
  7. 　前記制御装置は、前記把持決定部が決定した前記把持位置姿勢に基づいて、取り出した前記ワークを解放する際の前記ハンドの位置姿勢である開放位置姿勢を決定する解放決定部をさらに有する、請求項１から５のいずれかに記載のワーク取り出しシステム。
  8. 　前記把持決定部は、前記ワークモデルと前記ハンドモデルとの接触面積の大きさに基づいて前記把持位置姿勢を決定する、請求項１から７のいずれかに記載のワーク取り出しシステム。
PCT/JP2022/024173 2022-06-16 2022-06-16 ワーク取り出しシステム WO2023243051A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024173 WO2023243051A1 (ja) 2022-06-16 2022-06-16 ワーク取り出しシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024173 WO2023243051A1 (ja) 2022-06-16 2022-06-16 ワーク取り出しシステム

Publications (1)

Publication Number Publication Date
WO2023243051A1 true WO2023243051A1 (ja) 2023-12-21

Family

ID=89192648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024173 WO2023243051A1 (ja) 2022-06-16 2022-06-16 ワーク取り出しシステム

Country Status (1)

Country Link
WO (1) WO2023243051A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015009314A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2019185239A (ja) * 2018-04-05 2019-10-24 オムロン株式会社 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法
JP2019188516A (ja) * 2018-04-24 2019-10-31 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021091056A (ja) * 2019-12-12 2021-06-17 株式会社キーエンス 測定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015009314A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2019185239A (ja) * 2018-04-05 2019-10-24 オムロン株式会社 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法
JP2019188516A (ja) * 2018-04-24 2019-10-31 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021091056A (ja) * 2019-12-12 2021-06-17 株式会社キーエンス 測定装置

Similar Documents

Publication Publication Date Title
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US8965581B2 (en) Robot apparatus, assembling method, and recording medium
EP4155675A1 (en) Robot motion planning method, path planning method, grabbing method and devices thereof
JP6529302B2 (ja) 情報処理装置、情報処理方法、プログラム
JP5977544B2 (ja) 情報処理装置、情報処理方法
KR101453234B1 (ko) 워크 취출 장치
JP3768174B2 (ja) ワーク取出し装置
US20150127162A1 (en) Apparatus and method for picking up article randomly piled using robot
JP2018176334A5 (ja)
JP2009523623A (ja) ワーク自動把持の方法と装置
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP6042291B2 (ja) ロボット、ロボット制御方法、及びロボット制御プログラム
JP7376268B2 (ja) 三次元データ生成装置及びロボット制御システム
JP6357785B2 (ja) ロボット、ロボットシステム、制御装置および制御方法
JP2015199155A (ja) 情報処理装置および情報処理方法、プログラム
JP2014161965A (ja) 物品取り出し装置
JP6598814B2 (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7233858B2 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP2020163502A (ja) 物体検出方法、物体検出装置およびロボットシステム
JP2008168372A (ja) ロボット装置及び形状認識方法
JP2022160363A (ja) ロボットシステム、制御方法、画像処理装置、画像処理方法、物品の製造方法、プログラム、及び記録媒体
JP2006026875A (ja) ロボットハンドの把持制御装置
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP2011093058A (ja) 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946868

Country of ref document: EP

Kind code of ref document: A1