JP6676030B2 - 把持システム、学習装置、把持方法、及び、モデルの製造方法 - Google Patents
把持システム、学習装置、把持方法、及び、モデルの製造方法 Download PDFInfo
- Publication number
- JP6676030B2 JP6676030B2 JP2017223053A JP2017223053A JP6676030B2 JP 6676030 B2 JP6676030 B2 JP 6676030B2 JP 2017223053 A JP2017223053 A JP 2017223053A JP 2017223053 A JP2017223053 A JP 2017223053A JP 6676030 B2 JP6676030 B2 JP 6676030B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- hand
- unit
- model
- operation command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 66
- 238000004519 manufacturing process Methods 0.000 title claims description 9
- 238000010276 construction Methods 0.000 claims description 92
- 238000000605 extraction Methods 0.000 claims description 67
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000010801 machine learning Methods 0.000 claims description 38
- 239000000284 extract Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 description 33
- 238000013528 artificial neural network Methods 0.000 description 26
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 210000000078 claw Anatomy 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000012636 effector Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39289—Adaptive ann controller
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39543—Recognize object and plan hand shapes in grasping movements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40532—Ann for vision processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Description
を備える。
図1は、把持システム1の全体構成の一例を示す模式図である。図1に示される把持システム1は、把持対象であるワークWを把持する動作をロボット2に実行させることにより、加工、組立等の様々な作業を自動化するシステムである。把持システム1は、ロボット2の把持動作に関する学習を行うとともに、学習結果に基づいてロボット2に把持動作を実行させる。
図2は、動作指令装置6のハードウェア構成を例示するブロック図である。図2に示されるように、動作指令装置6は回路60を有し、回路60は、一つ又は複数のプロセッサ61と、記憶部62と、通信ポート65と、入出力ポート66とを有する。記憶部62は、メモリ63及びストレージ64を含む。ストレージ64は、動作指令装置6の機能部を構成するためのプログラムを記録している。ストレージ64は、コンピュータ読み取り可能であればどのようなストレージであってもよい。具体例として、ハードディスク、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等が挙げられる。メモリ63は、ストレージ64からロードしたプログラム及びプロセッサ61の演算結果等を一時的に記憶する。プロセッサ61は、メモリ63と協働してプログラムを実行することで、各機能部を構成する。
図3は、学習装置7のハードウェア構成を例示するブロック図である。図3に示されるように、学習装置7は回路70を有し、回路70は、一つ又は複数のプロセッサ71と、記憶部72と、通信ポート75と、入出力ポート76とを有する。記憶部72は、メモリ73及びストレージ74を含む。ストレージ74は、学習装置7の機能部を構成するためのプログラムを記録している。ストレージ74は、コンピュータ読み取り可能であればどのようなストレージであってもよい。具体例として、ハードディスク、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等が挙げられる。メモリ73は、ストレージ74からロードしたプログラム及びプロセッサ71の演算結果等を一時的に記憶する。プロセッサ71は、メモリ73と協働してプログラムを実行することで、各機能部を構成する。
図4は、動作指令装置6の機能的な構成の一例を示すブロック図である。図4に示されるように、動作指令装置6は、演算部600及びモデル取得部610を有する。
図8は、学習装置7の機能的な構成の一例を示すブロック図である。図8に示されるように、学習装置7は、取得部720及び構築部700を有する。
把持方法の一例として、動作指令装置6が実行する把持手順を説明する。図9は、把持手順のフローチャートの一例である。
学習方法の一例として、学習装置7が実行する位置モデル学習手順(モデルの製造方法の一例)を説明する。図10は、位置モデル学習手順のフローチャートの一例である。
学習方法の一例として、学習装置7が実行する把持確率モデル学習手順(モデルの製造方法の一例)を説明する。図11は、把持確率モデル学習手順のフローチャートの一例である。
学習方法の一例として、学習装置7が実行する抽出モデル、指令モデル、把持確率モデルの学習手順(モデルの製造方法の一例)を説明する。図12は、抽出モデル、指令モデル、把持確率モデルの学習手順のフローチャートの一例である。
以上に説明したように、把持システム1は、ワークWを把持するハンド3と、ハンド3を支持し、ハンド3の位置及び姿勢の少なくとも一方を変更するロボット2と、ハンド3の位置及び姿勢の少なくとも一方と連動する視点から画像情報を取得する画像センサ4と、画像センサ4により取得された画像情報と、ハンド3の位置及び姿勢の少なくとも一方を表すハンド位置情報とに基づいてロボット2の動作指令を特定する過程における少なくとも一部であるモデルを、収集データに基づいて機械学習により構築する構築部700と、画像情報と、ハンド位置情報と、モデルとに基づいて、ロボット2の動作指令を演算する演算部600と、演算部600により演算されたロボット2の動作指令に基づいて、ロボット2を動作させるロボットコントローラ5と、を備える。
Claims (17)
- ワークを把持するハンドと、
前記ハンドを支持し、前記ハンドの位置及び姿勢の少なくとも一方を変更するロボットと、
前記ハンドの位置及び姿勢の少なくとも一方と連動する視点から画像情報を取得する画像センサと、
前記画像センサにより取得された前記画像情報と、前記ハンドの位置及び姿勢の少なくとも一方を表すハンド位置情報との入力を受けて前記ロボットの動作指令を出力するモデルを、収集データに基づいて機械学習により構築する構築部と、
前記画像情報と、前記ハンド位置情報と、前記モデルとに基づいて、前記ロボットの動作指令を演算する演算部と、
前記演算部により演算された前記ロボットの動作指令に基づいて、前記ロボットを動作させるロボット制御部と、
を備える把持システム。 - 前記演算部は、
前記画像情報と、前記画像情報に含まれる前記ワークの位置情報とに基づいて、前記ワークに対応する特徴量を抽出する抽出部と、
前記抽出部により抽出された前記特徴量と、前記ハンド位置情報とに基づいて、前記ロボットの動作指令を出力する出力部と、
を有する、請求項1に記載の把持システム。 - 前記抽出部は、前記視点の相異なる複数の前記画像情報と、前記複数の画像情報それぞれに含まれる同一の前記ワークの前記位置情報とに基づいて、前記ワークに対応する特徴量を抽出する、請求項2に記載の把持システム。
- 前記構築部は、
前記画像情報と前記位置情報との入力を受けて、前記特徴量を出力する抽出モデルを、前記収集データに基づいて機械学習により構築する抽出モデル構築部と、
前記特徴量と前記ハンド位置情報との入力を受けて、前記動作指令を出力する指令モデルを、前記収集データに基づいて機械学習により構築する指令モデル構築部と、
を有し、
前記抽出部は、前記抽出モデルを用いて前記特徴量を抽出し、
前記出力部は、前記指令モデルを用いて前記動作指令を出力する、請求項2〜3の何れか一項に記載の把持システム。 - 前記ハンドは、グリッパであり、
前記指令モデル構築部は、前記特徴量及び前記ハンド位置情報に加えて前記グリッパの開閉度の入力を受けて、前記動作指令に加えて、前記グリッパの目標開閉度を出力する前記指令モデルを構築し、
前記出力部は、前記指令モデルを用いて、前記特徴量と前記ハンド位置情報と前記開閉度とに基づいて前記動作指令と前記目標開閉度を出力し、
前記ロボット制御部は、前記目標開閉度に応じて前記グリッパを動作させる、請求項4に記載の把持システム。 - 前記画像センサは、前記ハンドの先端が前記画像情報に含まれるように配置される、請求項2〜5の何れか一項に記載の把持システム。
- 前記演算部は、
前記ロボットの動作指令と、前記ワークに対応する特徴量とに基づいて、前記ハンドで把持できる確率を表す把持確率を算出する算出部を更に有し、
前記ロボット制御部は、前記算出部により算出された前記把持確率に基づいて、前記ロボットを動作させる、請求項2〜6の何れか一項に記載の把持システム。 - 前記構築部は、前記収集データに基づいて機械学習により、前記ロボットの動作指令と、前記ワークに対応する特徴量との入力を受けて、前記把持確率を出力する把持確率モデルを構築する把持確率モデル構築部を更に有し、
前記算出部は、前記把持確率モデルを用いて前記把持確率を算出する、請求項7に記載の把持システム。 - 前記ロボット制御部は、
前記把持確率が予め定められた閾値以上である場合、前記ロボットに把持動作をさせ、
前記把持確率が前記閾値未満である場合、前記抽出部による前記ワークに対応する特徴量の抽出と、前記出力部による前記ロボットの動作指令の出力とを再度実行させる、請求項7又は8に記載の把持システム。 - 前記演算部は、
前記画像センサにより取得された前記画像情報に基づいて、複数のワークの位置情報と、前記複数のワークそれぞれの把持期待度とを生成する位置生成部と、
前記把持期待度に基づいて、把持対象とする1のワークを決定する決定部と、
を更に有し、
前記抽出部は、前記画像情報と前記1のワークの位置情報とに基づいて、当該1のワークに対応する特徴量を抽出する、請求項2〜9の何れか一項に記載の把持システム。 - 前記構築部は、前記収集データに基づいて機械学習により、前記画像情報の入力を受けて、前記複数のワークの位置情報と、前記複数のワークそれぞれの把持期待値とを出力する位置モデルを構築する位置モデル構築部を更に有し、
前記位置生成部は、前記位置モデルを用いて前記位置情報と前記把持期待値とを生成する、請求項10に記載の把持システム。 - 少なくとも前記ロボットと前記ハンドと前記演算部と前記ロボット制御部とを1セットとして備え、
前記構築部は、前記収集データとして、前記1セットとは異なるセットの動作履歴を収集したデータに基づいて、前記モデルを機械学習により構築し、
前記1セットの前記演算部は、前記モデルに基づいて、前記1セットの前記ロボットの動作指令を演算する、請求項1〜11の何れか一項に記載の把持システム。 - ワークを把持するハンドと、
前記ハンドを支持し、前記ハンドの位置及び姿勢の少なくとも一方を変更するロボットと、
前記ハンドの位置及び姿勢の少なくとも一方と連動する視点から画像情報を取得する画像センサと、
収集データに基づいて機械学習により構築された、前記画像情報と、前記ハンドの位置及び姿勢の少なくとも一方を表すハンド位置情報との入力を受けて前記ロボットの動作指令を出力するモデルとに基づいて、前記ロボットの動作指令を演算する演算部と、
前記演算部により演算された前記ロボットの動作指令に基づいて、前記ロボットを動作させるロボット制御部と、
を備える把持システム。 - ワークを把持するハンドの位置及び姿勢の少なくとも一方と連動する視点から撮像された画像情報と、前記ハンドの位置及び姿勢の少なくとも一方を表すハンド位置情報とを取得する取得部と、
前記画像情報と前記ハンド位置情報との入力を受けてロボットの動作指令を出力するモデルを、前記取得部により取得された前記画像情報及び前記ハンド位置情報を含む収集データに基づいて機械学習により構築する構築部と、
を備える学習装置。 - ワークを把持するハンドの位置及び姿勢の少なくとも一方と連動する視点から画像情報を取得することと、
前記画像情報と、前記ハンドの位置及び姿勢の少なくとも一方を表すハンド位置情報との入力を受けてロボットの動作指令を出力するモデルを、収集データに基づいて機械学習により構築することと、
前記画像情報と、前記ハンド位置情報と、前記モデルとに基づいて、前記ロボットの動作指令を演算することと、
演算された前記ロボットの動作指令に基づいて、前記ロボットを動作させることと、
を含む、把持方法。 - ワークを把持するハンドの位置及び姿勢の少なくとも一方と連動する視点から画像情報を取得することと、
収集データに基づいて機械学習により構築された、前記画像情報と、前記ハンドの位置及び姿勢の少なくとも一方を表すハンド位置情報との入力を受けてロボットの動作指令を出力するモデルに基づいて、前記ロボットの動作指令を演算することと、
演算された前記ロボットの動作指令に基づいて、前記ロボットを動作させることと、
を含む、把持方法。 - ワークを把持するハンドの位置及び姿勢の少なくとも一方と連動する視点から撮像された画像情報と、前記ハンドの位置及び姿勢の少なくとも一方を表すハンド位置情報とを取得することと、
前記画像情報と前記ハンド位置情報との入力を受けてロボットの動作指令を出力するモデルを、前記画像情報及び前記ハンド位置情報とを含む収集データに基づいて機械学習により構築することと、
を含む、モデルの製造方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223053A JP6676030B2 (ja) | 2017-11-20 | 2017-11-20 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
CN201811364672.5A CN109807882B (zh) | 2017-11-20 | 2018-11-16 | 把持系统、学习装置和把持方法 |
US16/195,556 US11338435B2 (en) | 2017-11-20 | 2018-11-19 | Gripping system with machine learning |
EP18207129.0A EP3486041A3 (en) | 2017-11-20 | 2018-11-20 | Gripping system, learning device, and gripping method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223053A JP6676030B2 (ja) | 2017-11-20 | 2017-11-20 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019093461A JP2019093461A (ja) | 2019-06-20 |
JP6676030B2 true JP6676030B2 (ja) | 2020-04-08 |
Family
ID=64402015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017223053A Active JP6676030B2 (ja) | 2017-11-20 | 2017-11-20 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11338435B2 (ja) |
EP (1) | EP3486041A3 (ja) |
JP (1) | JP6676030B2 (ja) |
CN (1) | CN109807882B (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6453922B2 (ja) * | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
JP6680750B2 (ja) | 2017-11-22 | 2020-04-15 | ファナック株式会社 | 制御装置及び機械学習装置 |
WO2019241680A1 (en) * | 2018-06-15 | 2019-12-19 | Google Llc | Deep reinforcement learning for robotic manipulation |
US10500735B1 (en) | 2018-07-13 | 2019-12-10 | Dexterity, Inc. | Robotic toolset and gripper |
JP7205752B2 (ja) * | 2018-11-09 | 2023-01-17 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
JP7135750B2 (ja) * | 2018-11-12 | 2022-09-13 | 富士通株式会社 | 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置 |
TWI722344B (zh) * | 2018-12-05 | 2021-03-21 | 財團法人工業技術研究院 | 加工參數自動產生系統 |
JP7044047B2 (ja) * | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | ロボット |
JP7204513B2 (ja) * | 2019-02-13 | 2023-01-16 | 株式会社東芝 | 制御装置及びプログラム |
JP7229115B2 (ja) * | 2019-07-09 | 2023-02-27 | 株式会社日立製作所 | ロボット制御装置及びロボット |
CN113993670A (zh) * | 2019-07-12 | 2022-01-28 | 松下知识产权经营株式会社 | 手的控制系统以及手的控制方法 |
JP6897723B2 (ja) * | 2019-07-19 | 2021-07-07 | Jfeスチール株式会社 | 学習モデル生成方法、学習モデル生成装置、高炉の溶銑温度制御方法、高炉の溶銑温度制御ガイダンス方法、及び溶銑の製造方法 |
CN114630734B (zh) * | 2019-09-30 | 2024-07-26 | 西门子股份公司 | 具有专用硬件加速的支持机器学习的视觉伺服 |
JP7395968B2 (ja) * | 2019-11-06 | 2023-12-12 | 日本電気株式会社 | 制御装置、制御システム、制御方法およびコンピュータプログラム |
JP6758540B1 (ja) * | 2019-12-17 | 2020-09-23 | 三菱電機株式会社 | 情報処理装置、ワーク認識装置およびワーク取り出し装置 |
EP3904973A1 (en) * | 2020-04-30 | 2021-11-03 | Robert Bosch GmbH | Device and method for controlling a robot |
US12063745B2 (en) | 2020-05-05 | 2024-08-13 | Integrated Dynamics Engineering Gmbh | Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine |
JP7217727B2 (ja) * | 2020-07-21 | 2023-02-03 | 株式会社エクサウィザーズ | 制御装置、把持システム、方法、およびプログラム |
DE102020212076B4 (de) * | 2020-09-25 | 2024-08-14 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Steuern eines physikalischen Systems |
IT202000029585A1 (it) * | 2020-12-03 | 2022-06-03 | Hiro Robotics S R L | Metodo per l’individuazione e successiva rimozione di viti da un dispositivo elettronico per la visualizzazione di immagini, testo e video |
US11772272B2 (en) * | 2021-03-16 | 2023-10-03 | Google Llc | System(s) and method(s) of using imitation learning in training and refining robotic control policies |
WO2022212919A1 (en) * | 2021-04-01 | 2022-10-06 | Giant.Ai, Inc. | System for presenting robotic data flows for application development |
JP2022162857A (ja) * | 2021-04-13 | 2022-10-25 | 株式会社デンソーウェーブ | 機械学習装置及びロボットシステム |
WO2022239878A1 (ko) * | 2021-05-10 | 2022-11-17 | 코가플렉스 주식회사 | 로봇의 파지 방법 및 로봇의 파지를 위한 학습 방법 |
KR102559105B1 (ko) * | 2021-10-20 | 2023-07-26 | 한국과학기술원 | 로봇 손 시스템 및 로봇 손 제어 방법 |
DE102022204724A1 (de) | 2022-05-13 | 2023-11-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Steuern einer Robotervorrichtung |
JP2024085261A (ja) * | 2022-12-14 | 2024-06-26 | 三菱重工業株式会社 | 組立システム、制御方法、およびプログラム |
WO2024181702A1 (ko) * | 2023-02-27 | 2024-09-06 | 삼성전자주식회사 | 그립 대상 객체를 파지하기 위한 그리퍼를 포함하는 전자 장치 및 그 제어 방법 |
CN117067204A (zh) | 2023-08-18 | 2023-11-17 | 浙江恒逸石化有限公司 | 控制方法、装置、设备以及存储介质 |
CN117817666B (zh) * | 2024-01-25 | 2024-07-12 | 深圳市桃子自动化科技有限公司 | 一种基于人工智能的工业机器人智能夹持控制系统 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2261069B (en) * | 1991-10-30 | 1995-11-01 | Nippon Denso Co | High speed picking system for stacked parts |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JPH07160881A (ja) * | 1993-12-07 | 1995-06-23 | Fujitsu Ltd | 環境認識装置 |
JPH0830327A (ja) * | 1994-07-18 | 1996-02-02 | Fujitsu Ltd | 能動的環境認識システム |
CN101396829A (zh) * | 2007-09-29 | 2009-04-01 | 株式会社Ihi | 机器人装置的控制方法以及机器人装置 |
JP5196156B2 (ja) | 2008-09-16 | 2013-05-15 | 株式会社Ihi | バラ積みピッキング装置におけるワークピッキング方法 |
JP5451219B2 (ja) * | 2009-07-06 | 2014-03-26 | キヤノン株式会社 | 部品組付け方法 |
US9008841B2 (en) * | 2009-08-27 | 2015-04-14 | Abb Research Ltd. | Robotic picking of parts from a parts holding bin |
US8941726B2 (en) * | 2009-12-10 | 2015-01-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting moving objects from images using foreground extraction |
JP5685027B2 (ja) * | 2010-09-07 | 2015-03-18 | キヤノン株式会社 | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム |
CN102126221B (zh) * | 2010-12-23 | 2012-03-28 | 中国科学院自动化研究所 | 一种基于图像信息的机械手抓取物体的方法 |
JP5715505B2 (ja) | 2011-06-15 | 2015-05-07 | 川上産業株式会社 | 空間仕切りパネル |
JP5787642B2 (ja) * | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | 対象物保持装置、対象物保持装置の制御方法、およびプログラム |
KR101634463B1 (ko) * | 2011-06-29 | 2016-06-28 | 미쓰비시덴키 가부시키가이샤 | 부품 공급 장치 |
WO2013023130A1 (en) * | 2011-08-11 | 2013-02-14 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate an orientation between a robot gripper and a camera |
CN103732363A (zh) * | 2011-08-19 | 2014-04-16 | 株式会社安川电机 | 机器人系统、机器人控制装置、机器人手部及机器人控制方法 |
JP5623358B2 (ja) * | 2011-09-06 | 2014-11-12 | 三菱電機株式会社 | ワーク取り出し装置 |
JP5911299B2 (ja) * | 2011-12-27 | 2016-04-27 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
JP5642759B2 (ja) * | 2012-10-31 | 2014-12-17 | ファナック株式会社 | 物品取出装置及び物品取出方法 |
US9095978B2 (en) * | 2012-12-07 | 2015-08-04 | GM Global Technology Operations LLC | Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data |
JP5754454B2 (ja) * | 2013-03-18 | 2015-07-29 | 株式会社安川電機 | ロボットピッキングシステム及び被加工物の製造方法 |
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP6429450B2 (ja) | 2013-10-31 | 2018-11-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6364856B2 (ja) * | 2014-03-25 | 2018-08-01 | セイコーエプソン株式会社 | ロボット |
US9205558B1 (en) * | 2014-07-16 | 2015-12-08 | Google Inc. | Multiple suction cup control |
JP5905549B1 (ja) * | 2014-09-16 | 2016-04-20 | ファナック株式会社 | バラ積みされた物品を取出す物品取出装置 |
US9561587B2 (en) * | 2014-12-16 | 2017-02-07 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
JP6486114B2 (ja) * | 2015-01-16 | 2019-03-20 | 株式会社東芝 | 荷役装置 |
US9639781B2 (en) * | 2015-04-10 | 2017-05-02 | Cognex Corporation | Systems and methods for classification and alignment of highly similar or self-similar patterns |
DE102016015936B4 (de) | 2015-07-31 | 2024-08-29 | Fanuc Corporation | Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsysem zum Lernen eines Werkstückaufnahmevorgangs |
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
US9616568B1 (en) * | 2015-08-25 | 2017-04-11 | X Development Llc | Generating a grasp affordance for an object based on a thermal image of the object that is captured following human manipulation of the object |
ES2929729T3 (es) | 2015-11-13 | 2022-12-01 | Berkshire Grey Operating Company Inc | Sistemas de clasificación para proporcionar clasificación de una variedad de objetos |
EP3405910B1 (en) * | 2016-03-03 | 2020-11-25 | Google LLC | Deep machine learning methods and apparatus for robotic grasping |
US9914213B2 (en) * | 2016-03-03 | 2018-03-13 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
US9990685B2 (en) * | 2016-03-21 | 2018-06-05 | Recognition Robotics, Inc. | Automated guidance system and method for a coordinated movement machine |
JP2017177294A (ja) * | 2016-03-31 | 2017-10-05 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム |
JP6724499B2 (ja) * | 2016-04-05 | 2020-07-15 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
DE112017002114T5 (de) * | 2016-04-22 | 2019-01-03 | Mitsubishi Electric Corporation | Objekt-Handhabungsgerät und Objekthandhabungsverfahren |
CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
JP6665040B2 (ja) * | 2016-06-20 | 2020-03-13 | 三菱重工業株式会社 | ロボット制御システム及びロボット制御方法 |
WO2018017616A1 (en) * | 2016-07-18 | 2018-01-25 | Lael Odhner | Assessing robotic grasping |
US10596700B2 (en) * | 2016-09-16 | 2020-03-24 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
JP6514171B2 (ja) * | 2016-09-27 | 2019-05-15 | ファナック株式会社 | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 |
JP6741537B2 (ja) * | 2016-09-28 | 2020-08-19 | 川崎重工業株式会社 | ロボット、ロボットの制御装置、及び、ロボットの位置教示方法 |
CN106874914B (zh) * | 2017-01-12 | 2019-05-14 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
US11279023B2 (en) * | 2017-02-28 | 2022-03-22 | Siemens Industry Software Inc. | System and method for determining grasping positions for two-handed grasps of industrial objects |
JP6707485B2 (ja) * | 2017-03-22 | 2020-06-10 | 株式会社東芝 | 物体ハンドリング装置およびその較正方法 |
CN107139179B (zh) * | 2017-05-26 | 2020-05-29 | 西安电子科技大学 | 一种智能服务机器人及工作方法 |
US11106967B2 (en) * | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
US10562181B2 (en) * | 2017-07-03 | 2020-02-18 | X Development Llc | Determining and utilizing corrections to robot actions |
CN111052890B (zh) * | 2017-09-15 | 2021-07-09 | 株式会社富士 | 元件供给系统 |
-
2017
- 2017-11-20 JP JP2017223053A patent/JP6676030B2/ja active Active
-
2018
- 2018-11-16 CN CN201811364672.5A patent/CN109807882B/zh active Active
- 2018-11-19 US US16/195,556 patent/US11338435B2/en active Active
- 2018-11-20 EP EP18207129.0A patent/EP3486041A3/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN109807882A (zh) | 2019-05-28 |
JP2019093461A (ja) | 2019-06-20 |
EP3486041A3 (en) | 2019-09-25 |
US11338435B2 (en) | 2022-05-24 |
US20190152054A1 (en) | 2019-05-23 |
CN109807882B (zh) | 2022-09-16 |
EP3486041A2 (en) | 2019-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6676030B2 (ja) | 把持システム、学習装置、把持方法、及び、モデルの製造方法 | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
Hu et al. | 3-D deformable object manipulation using deep neural networks | |
JP7100426B2 (ja) | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 | |
JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP6458912B1 (ja) | 位置制御装置及び位置制御方法 | |
JP2018202550A (ja) | 機械学習装置、機械学習方法、および機械学習プログラム | |
WO2011065035A1 (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
US10807234B2 (en) | Component supply device and machine learning device | |
JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
US10864630B2 (en) | Control device and machine learning device | |
JP7458741B2 (ja) | ロボット制御装置及びその制御方法及びプログラム | |
JP6811465B2 (ja) | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム | |
JP7275759B2 (ja) | 物体検出方法、物体検出装置およびロボットシステム | |
CN110216671A (zh) | 一种基于计算机仿真的机械抓手训练方法及系统 | |
Ottenhaus et al. | Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning | |
CN114463244A (zh) | 一种视觉机器人抓取系统及其控制方法 | |
JPH0780790A (ja) | 三次元物体把持システム | |
Song et al. | Learning optimal grasping posture of multi-fingered dexterous hands for unknown objects | |
WO2019239562A1 (ja) | 機械学習装置及びこれを備えたロボットシステム | |
CN113561172B (zh) | 一种基于双目视觉采集的灵巧手控制方法及装置 | |
CN114986518B (zh) | 用于汽车拆解生产线的智能控制方法及系统 | |
CN117182908B (zh) | 基于强化学习的感驱一体软体机器人自主变形系统及方法 | |
JP7247571B2 (ja) | 制御装置、及び学習装置 | |
Szymko et al. | Calibrationless Bimanual Deformable Linear Object Manipulation with Recursive Least Squares Filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20181001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6676030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |