JPWO2021124445A1 - 情報処理装置、ワーク認識装置およびワーク取り出し装置 - Google Patents
情報処理装置、ワーク認識装置およびワーク取り出し装置 Download PDFInfo
- Publication number
- JPWO2021124445A1 JPWO2021124445A1 JP2020521394A JP2020521394A JPWO2021124445A1 JP WO2021124445 A1 JPWO2021124445 A1 JP WO2021124445A1 JP 2020521394 A JP2020521394 A JP 2020521394A JP 2020521394 A JP2020521394 A JP 2020521394A JP WO2021124445 A1 JPWO2021124445 A1 JP WO2021124445A1
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- posture
- work
- grip
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39514—Stability of grasped objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Abstract
Description
図1は、本発明の実施の形態1にかかるワーク取り出し装置の構成を示す図である。実施の形態1にかかるワーク取り出し装置1は、箱8の中にばら積みされた複数のワーク7を1つずつ取り出す。各ワーク7は、ハンド6による把持の対象である。実施の形態1において、ワーク7は、形状に個体差がある製品あるいは生産物である。ワーク7の例は、ピースごとに仕分けることが可能な食品である。実施の形態1において、ユーザとは、ワーク取り出し装置1を含むシステムの構築または運用を請け負う事業者、あるいはワーク取り出し装置1を使用する生産技術者とする。
Claims (11)
- 把持機構による把持の対象であるワークの計測データに基づいて、把持の際に前記把持機構に取らせる位置および姿勢である把持位置姿勢の候補を検出する候補検出部と、
前記候補である把持位置姿勢を取って前記把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、
前記把持機構に取らせる把持位置姿勢を前記評価値に基づいて決定する位置姿勢決定部と、
ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する把持評価学習部と、を備え、
前記評価値算出部は、前記候補である把持位置姿勢の情報と前記計測データとを前記把持評価モデルへ入力することによって前記評価値を算出することを特徴とする情報処理装置。 - 前記把持評価モデルは、把持されるワークの周囲にある物体と前記把持機構との干渉の発生状態を評価するための干渉モデルと、ワークが把持された場合に前記把持機構にワークが保持される状態を評価するための保持モデルとを含み、
前記評価値算出部は、前記干渉モデルによる評価結果と前記保持モデルによる評価結果とを基に前記評価値を算出することを特徴とする請求項1に記載の情報処理装置。 - 前記把持評価モデルは、前記干渉の発生状態についての評価と前記把持機構にワークが保持される状態についての評価との重み付けを表す重み情報を含み、
前記評価値算出部は、前記干渉モデルによる評価結果と前記保持モデルによる評価結果とを前記重み情報に従って重み付けして前記評価値を算出することを特徴とする請求項2に記載の情報処理装置。 - 前記把持評価学習部は、前記重み情報を学習することを特徴とする請求項3に記載の情報処理装置。
- ワークごとの把持位置姿勢の情報と評価値とを含む把持情報を設定する把持情報設定部と、
前記把持情報と前記計測データを含むシーン情報とを関連付けた前記データセットを生成するデータセット生成部と、を備えることを特徴とする請求項1から4のいずれか1つに記載の情報処理装置。 - ワークが取り出される環境を模擬した仮想空間におけるシーンを生成するための情報を設定するシーン設定部と、
シーンについて設定された情報に基づいて前記シーン情報を生成するシーン情報生成部と、を備えることを特徴とする請求項5に記載の情報処理装置。 - 前記シーン情報生成部によって生成される前記シーン情報のデータ品質を、ワークを含む実際のシーンを観測することによって取得されるシーン情報のデータ品質に近づけさせるためのデータ変換を行うデータ変換部を備えることを特徴とする請求項6に記載の情報処理装置。
- 前記把持機構による把持の成否を表す情報と、把持位置姿勢の情報と、算出された前記評価値とを含む実績データを取得する実績取得部と、
前記位置姿勢決定部において決定される把持位置姿勢の信頼性を前記実績データに基づいて評価するための信頼性評価モデルを学習する信頼性学習部と、を備え、
前記位置姿勢決定部は、前記信頼性評価モデルに基づいて把持位置姿勢を選択することを特徴とする請求項1から7のいずれか1つに記載の情報処理装置。 - 把持機構による把持の対象であるワークを含むシーンを観測し、ワークの計測データを出力するセンサと、
前記計測データに基づいて、把持の際に前記把持機構に取らせる位置および姿勢である把持位置姿勢の候補を検出する候補検出部と、
前記候補である把持位置姿勢を取って前記把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、
前記把持機構に取らせる把持位置姿勢を前記評価値に基づいて決定する位置姿勢決定部と、
ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する把持評価学習部と、を備え、
前記評価値算出部は、前記候補である把持位置姿勢の情報と前記計測データとを前記把持評価モデルへ入力することによって前記評価値を算出することを特徴とするワーク認識装置。 - 把持機構を有するロボットと、
前記ロボットを制御するコントローラと、
前記把持機構による把持の対象であるワークを含むシーンを観測し、ワークの計測データを出力するセンサと、
把持の際に前記把持機構に取らせる位置および姿勢である把持位置姿勢についての把持の安定性を評価する把持評価モデルへ前記計測データが入力されることによって、前記把持機構に取らせる把持位置姿勢を決定し、決定された把持位置姿勢の情報を前記コントローラへ出力する計算機と、を備えることを特徴とするワーク取り出し装置。 - 前記計算機は、
前記計測データに基づいて、前記把持機構に取らせる把持位置姿勢の候補を検出する候補検出部と、
前記候補である把持位置姿勢を取って前記把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、
前記把持機構の制御にて適用される把持位置姿勢を前記評価値に基づいて決定し、決定された把持位置姿勢の情報を前記コントローラへ出力する位置姿勢決定部と、
ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて前記把持評価モデルを学習する把持評価学習部と、を備え、
前記評価値算出部は、前記候補である把持位置姿勢の情報と前記計測データとを前記把持評価モデルへ入力することによって前記評価値を算出することを特徴とする請求項10に記載のワーク取り出し装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/049393 WO2021124445A1 (ja) | 2019-12-17 | 2019-12-17 | 情報処理装置、ワーク認識装置およびワーク取り出し装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6758540B1 JP6758540B1 (ja) | 2020-09-23 |
JPWO2021124445A1 true JPWO2021124445A1 (ja) | 2021-12-23 |
Family
ID=72517872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521394A Active JP6758540B1 (ja) | 2019-12-17 | 2019-12-17 | 情報処理装置、ワーク認識装置およびワーク取り出し装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6758540B1 (ja) |
CN (1) | CN114845844B (ja) |
DE (1) | DE112019007852B4 (ja) |
WO (1) | WO2021124445A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6908907B1 (ja) * | 2021-01-12 | 2021-07-28 | 株式会社エクサウィザーズ | 情報処理装置、情報処理方法、およびプログラム |
JP2022179118A (ja) * | 2021-05-21 | 2022-12-02 | 株式会社Preferred Networks | 把持推定装置、モデル生成方法、モデル学習装置、及びグリッパ |
DE102022207847A1 (de) | 2022-07-29 | 2024-02-01 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5458274B2 (ja) | 2009-02-09 | 2014-04-02 | 本田技研工業株式会社 | 把持位置計算装置及び把持位置計算方法 |
WO2012066819A1 (ja) | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
DE112012002677B4 (de) * | 2011-06-29 | 2018-12-06 | Mitsubishi Electric Corp. | Zuführvorrichtung für Bauelemente |
GB201309156D0 (en) * | 2013-05-21 | 2013-07-03 | Univ Birmingham | Grasp modelling |
JP6057862B2 (ja) * | 2013-08-29 | 2017-01-11 | 三菱電機株式会社 | 部品供給装置および部品供給装置のプログラム生成方法 |
JP5788460B2 (ja) | 2013-11-05 | 2015-09-30 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
US9889564B2 (en) * | 2015-07-08 | 2018-02-13 | Empire Technology Development Llc | Stable grasp point selection for robotic grippers with machine vision and ultrasound beam forming |
JP6700726B2 (ja) * | 2015-11-06 | 2020-05-27 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法、ロボット制御システムおよびコンピュータプログラム |
JP6902208B2 (ja) | 2017-11-14 | 2021-07-14 | オムロン株式会社 | 把持方法、把持システム及びプログラム |
JP6676030B2 (ja) * | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
JP6662836B2 (ja) | 2017-11-24 | 2020-03-11 | ファナック株式会社 | 収容領域又は治具にワークを配置するワーク配置システム |
JP6912415B2 (ja) | 2018-04-10 | 2021-08-04 | ファナック株式会社 | ハンド制御装置およびハンド制御システム |
CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
-
2019
- 2019-12-17 JP JP2020521394A patent/JP6758540B1/ja active Active
- 2019-12-17 WO PCT/JP2019/049393 patent/WO2021124445A1/ja active Application Filing
- 2019-12-17 DE DE112019007852.6T patent/DE112019007852B4/de active Active
- 2019-12-17 CN CN201980102883.8A patent/CN114845844B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
DE112019007852B4 (de) | 2023-06-22 |
JP6758540B1 (ja) | 2020-09-23 |
CN114845844B (zh) | 2023-05-30 |
WO2021124445A1 (ja) | 2021-06-24 |
DE112019007852T5 (de) | 2022-07-28 |
CN114845844A (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6758540B1 (ja) | 情報処理装置、ワーク認識装置およびワーク取り出し装置 | |
CN111684474B (zh) | 运算装置、运算方法及记录介质 | |
JP6937995B2 (ja) | 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法 | |
CN108568804B (zh) | 机器人系统、测量数据处理装置及测量数据处理方法 | |
US10899011B2 (en) | Method and system for selecting a preferred robotic grasp of an object-of-interest using pairwise ranking | |
Brook et al. | Collaborative grasp planning with multiple object representations | |
US10964057B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US10286557B2 (en) | Workpiece position/posture calculation system and handling system | |
CN108602191B (zh) | 动作信息生成装置、动作信息生成方法以及记录介质 | |
CN111439594B (zh) | 基于3d视觉引导的拆垛方法和系统 | |
JP2019058960A (ja) | ロボットシステム及びワーク取り出し方法 | |
RU2700246C1 (ru) | Способ и система захвата объекта с помощью роботизированного устройства | |
CN110378325B (zh) | 一种机器人抓取过程中的目标位姿识别方法 | |
JP5561384B2 (ja) | 認識プログラム評価装置および認識プログラム評価方法 | |
CN106461383A (zh) | 机器人臂/传感器/工作区系统的自动现场配准和校准 | |
US20210252714A1 (en) | Control device, control method, and non-transitory computer-readable storage medium | |
JP2017055913A (ja) | 動作フォーム判定装置、判定方法、判定プログラム、判定システム | |
WO2021177239A1 (ja) | 取り出しシステム及び方法 | |
JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
JP6456557B1 (ja) | 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム | |
CN116276973A (zh) | 基于深度学习的视觉感知抓取训练方法 | |
CN115918377A (zh) | 树果自动采摘机的控制方法、控制装置及树果自动采摘机 | |
Jørgensen et al. | Robust optimization of robotic pick and place operations for deformable objects through simulation | |
US20210326754A1 (en) | Storage medium, learning method, and information processing apparatus | |
US20230154162A1 (en) | Method For Generating Training Data Used To Learn Machine Learning Model, System, And Non-Transitory Computer-Readable Storage Medium Storing Computer Program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200414 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200414 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200414 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6758540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |