JP7344977B2 - 機械学習データ生成装置、機械学習装置、機械学習データ生成方法及びコンピュータプログラム - Google Patents
機械学習データ生成装置、機械学習装置、機械学習データ生成方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7344977B2 JP7344977B2 JP2021553585A JP2021553585A JP7344977B2 JP 7344977 B2 JP7344977 B2 JP 7344977B2 JP 2021553585 A JP2021553585 A JP 2021553585A JP 2021553585 A JP2021553585 A JP 2021553585A JP 7344977 B2 JP7344977 B2 JP 7344977B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- machine learning
- learning data
- robot
- data generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25255—Neural network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40515—Integration of simulation and planning
Description
Claims (10)
- 仮想空間において、ロボットのピックアップ作業の対象となる複数の対象物の仮想モデルである仮想対象物モデルをばら積みの状態で配置する仮想モデル生成部と、
複数の前記対象物に対するセンサによるセンシングの結果として得るセンサ入力を仮想的に生成したものである、仮想センサ入力を、ばら積みの状態で配置された複数の前記仮想対象物モデルに基づいて生成する仮想センサ入力生成部と、
前記対象物に対して与えられた前記ロボットの動作の目標値範囲及び、ばら積み状態で配置された複数の前記仮想対象物モデルの一又は複数に基づいて、前記ロボットに対する動作指令を仮想的に生成したものである、仮想動作指令の目標値範囲を生成する仮想動作指令生成部と、
前記仮想空間において、前記仮想動作指令による前記ロボットのピックアップ作業の成否を評価する仮想動作成否評価部と、
前記仮想センサ入力を問題データとし、前記仮想動作指令の目標値範囲に前記ロボットのピックアップ作業の成否を加味して得る解答データと対にすることにより、機械学習データを生成する機械学習データ生成部と、
を有する機械学習データ生成装置。 - 前記対象物は、突出部を有する機械部品である、
請求項1に記載の機械学習データ生成装置。 - 前記動作の目標値範囲には、前記ロボットのエンドエフェクタが成功裏に前記対象物をピックアップできる位置範囲が含まれる、
請求項1に記載の機械学習データ生成装置。 - 前記動作の目標値範囲には、前記ロボットのエンドエフェクタが成功裏に前記対象物をピックアップできる角度範囲が含まれる、
請求項1に記載の機械学習データ生成装置。 - 前記動作の目標値範囲を、ユーザが前記仮想対象物モデルに対する相対的な範囲として指定する、
請求項1に記載の機械学習データ生成装置。 - 前記仮想動作成否評価部は、前記仮想空間において、前記仮想動作指令の目標値範囲内の目標値により示された位置及び姿勢の前記ロボットのエンドエフェクタと、ばら積み状態で配置された複数の前記仮想対象物モデルとの干渉の有無を評価する、
請求項1に記載の機械学習データ生成装置。 - 前記機械学習データ生成部は、ばら積み状態で配置された複数の前記仮想対象物モデルそれぞれについて生成された前記仮想動作指令の目標値範囲から、前記干渉によって前記ロボットのピックアップ作業が実行不能である部分を削除することによって前記解答データを得る、
請求項6に記載の機械学習データ生成装置。 - 前記機械学習データ生成部は、さらに、ばら積み状態で配置された複数の前記仮想対象物モデルそれぞれについて得られた、前記仮想動作指令の目標値範囲から、前記ロボットのピックアップ作業が実行不能である部分を削除することによって得られた範囲の和集合として前記解答データを得る、
請求項7に記載の機会学習データ生成装置。 - 仮想空間において、ロボットのピックアップ作業の対象となる複数の対象物の仮想モデルである仮想対象物モデルをばら積みの状態で配置し、
複数の前記対象物に対するセンサによるセンシングの結果として得るセンサ入力を仮想的に生成したものである、仮想センサ入力を、ばら積みの状態で配置された複数の前記仮想対象物モデルに基づいて生成し、
前記対象物に対して与えられた前記ロボットの動作の目標値範囲及び、ばら積み状態で配置された複数の前記仮想対象物モデルの一又は複数に基づいて、前記ロボットに対する動作指令を仮想的に生成したものである、仮想動作指令の目標値範囲を生成し、
前記仮想空間において、前記仮想動作指令による前記ロボットのピックアップ作業の成否を評価し、
前記仮想センサ入力を問題データとし、前記仮想動作指令の目標値範囲に前記ロボットのピックアップ作業の成否を加味して得る解答データと対にすることにより、機械学習データを生成する、
機械学習データ生成方法。 - コンピュータを、
仮想空間において、ロボットのピックアップ作業の対象となる複数の対象物の仮想モデルである仮想対象物モデルをばら積みの状態で配置する仮想モデル生成部と、
複数の前記対象物に対するセンサによるセンシングの結果として得るセンサ入力を仮想的に生成したものである、仮想センサ入力を、ばら積みの状態で配置された複数の前記仮想対象物モデルに基づいて生成する仮想センサ入力生成部と、
前記対象物に対して与えられた前記ロボットの動作の目標値範囲及び、ばら積み状態で配置された複数の前記仮想対象物モデルの一又は複数に基づいて、前記ロボットに対する動作指令を仮想的に生成したものである、仮想動作指令の目標値範囲を生成する仮想動作指令生成部と、
前記仮想空間において、前記仮想動作指令による前記ロボットのピックアップ作業の成否を評価する仮想動作成否評価部と、
前記仮想センサ入力を問題データとし、前記仮想動作指令の目標値範囲に前記ロボットのピックアップ作業の成否を加味して得る解答データと対にすることにより、機械学習データを生成する機械学習データ生成部と、
を有する機械学習データ生成装置として動作させるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/042216 WO2021084587A1 (ja) | 2019-10-28 | 2019-10-28 | 機械学習データ生成装置、機械学習装置、作業システム、コンピュータプログラム、機械学習データ生成方法及び作業機械の製造方法 |
JPPCT/JP2019/042216 | 2019-10-28 | ||
PCT/JP2020/040002 WO2021085345A1 (ja) | 2019-10-28 | 2020-10-23 | 機械学習データ生成装置、機械学習装置、作業システム、コンピュータプログラム、機械学習データ生成方法及び作業機械の製造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021085345A1 JPWO2021085345A1 (ja) | 2021-05-06 |
JP7344977B2 true JP7344977B2 (ja) | 2023-09-14 |
Family
ID=75714503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021553585A Active JP7344977B2 (ja) | 2019-10-28 | 2020-10-23 | 機械学習データ生成装置、機械学習装置、機械学習データ生成方法及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220234196A1 (ja) |
EP (1) | EP4052869A4 (ja) |
JP (1) | JP7344977B2 (ja) |
CN (1) | CN114599488A (ja) |
WO (2) | WO2021084587A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210390335A1 (en) * | 2020-06-11 | 2021-12-16 | Chevron U.S.A. Inc. | Generation of labeled synthetic data for target detection |
US11651554B2 (en) * | 2021-07-30 | 2023-05-16 | The Boeing Company | Systems and methods for synthetic image generation |
US11900534B2 (en) * | 2021-07-30 | 2024-02-13 | The Boeing Company | Systems and methods for synthetic image generation |
WO2023075351A1 (ko) * | 2021-10-25 | 2023-05-04 | (주)바질컴퍼니 | 산업용 로봇의 인공지능 학습 방법 |
JP7349586B1 (ja) * | 2022-03-08 | 2023-09-22 | 株式会社安川電機 | ロボット制御システム、ロボット制御方法、およびロボット制御プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017102755A (ja) | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
JP2017185577A (ja) | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
WO2019172101A1 (ja) | 2018-03-06 | 2019-09-12 | オムロン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043261B2 (en) * | 2016-01-11 | 2018-08-07 | Kla-Tencor Corp. | Generating simulated output for a specimen |
JP2018144155A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US11273553B2 (en) * | 2017-06-05 | 2022-03-15 | Autodesk, Inc. | Adapting simulation data to real-world conditions encountered by physical processes |
US10875125B2 (en) * | 2017-06-20 | 2020-12-29 | Lincoln Global, Inc. | Machine learning for weldment classification and correlation |
CN111344120B (zh) * | 2017-11-14 | 2023-04-07 | 三菱电机株式会社 | 机器人的动作调整装置、动作控制系统及机器人系统 |
KR101988504B1 (ko) * | 2019-02-28 | 2019-10-01 | 아이덴티파이 주식회사 | 딥러닝에 의해 생성된 가상환경을 이용한 강화학습 방법 |
CN110222353A (zh) * | 2019-03-12 | 2019-09-10 | 上海大学 | 一种基于数字孪生与机器学习技术的智能车间生产加工系统及方法 |
-
2019
- 2019-10-28 WO PCT/JP2019/042216 patent/WO2021084587A1/ja active Application Filing
-
2020
- 2020-10-23 WO PCT/JP2020/040002 patent/WO2021085345A1/ja unknown
- 2020-10-23 EP EP20883351.7A patent/EP4052869A4/en active Pending
- 2020-10-23 JP JP2021553585A patent/JP7344977B2/ja active Active
- 2020-10-23 CN CN202080075227.6A patent/CN114599488A/zh active Pending
-
2022
- 2022-04-15 US US17/721,372 patent/US20220234196A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017102755A (ja) | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
JP2017185577A (ja) | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
WO2019172101A1 (ja) | 2018-03-06 | 2019-09-12 | オムロン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021084587A1 (ja) | 2021-05-06 |
EP4052869A1 (en) | 2022-09-07 |
JPWO2021085345A1 (ja) | 2021-05-06 |
US20220234196A1 (en) | 2022-07-28 |
WO2021085345A1 (ja) | 2021-05-06 |
CN114599488A (zh) | 2022-06-07 |
EP4052869A4 (en) | 2022-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7344977B2 (ja) | 機械学習データ生成装置、機械学習装置、機械学習データ生成方法及びコンピュータプログラム | |
US9811074B1 (en) | Optimization of robot control programs in physics-based simulated environment | |
US9671777B1 (en) | Training robots to execute actions in physics-based virtual environment | |
JP6586532B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
JP7338034B2 (ja) | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 | |
JP6879464B2 (ja) | 干渉判定方法、干渉判定システム及びコンピュータプログラム | |
JP4153528B2 (ja) | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 | |
CN104484522B (zh) | 一种基于现实场景的机器人模拟演练系统的构建方法 | |
Kolev et al. | Physically consistent state estimation and system identification for contacts | |
CN107263464A (zh) | 机器学习装置、机械系统、制造系统以及机器学习方法 | |
CN109483534B (zh) | 一种物体抓取方法、装置和系统 | |
JP2008544341A (ja) | 3dシミュレーションを生成するためのシステム及び方法 | |
US11823048B1 (en) | Generating simulated training examples for training of machine learning model used for robot control | |
Sutanto et al. | Learning latent space dynamics for tactile servoing | |
Arnay et al. | Teaching kinematics with interactive schematics and 3D models | |
De Barrie et al. | A deep learning method for vision based force prediction of a soft fin ray gripper using simulation data | |
US20220339787A1 (en) | Carrying out an application using at least one robot | |
Fang et al. | Robot programming using augmented reality | |
JP7264253B2 (ja) | 情報処理装置、制御方法及びプログラム | |
Kim et al. | Digital twin for autonomous collaborative robot by using synthetic data and reinforcement learning | |
US20220143836A1 (en) | Computer-readable recording medium storing operation control program, operation control method, and operation control apparatus | |
JP7249221B2 (ja) | センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法 | |
Heidari et al. | Virtual reality synthesis of robotic systems for human upper-limb and hand tasks | |
Rastegarpanah et al. | Tracking linear deformable objects using slicing method | |
RU2813444C1 (ru) | Система взаимодействия человек-робот на основе смешанной реальности |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |