JP7460366B2 - 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 - Google Patents
訓練データ選別装置、ロボットシステム及び訓練データ選別方法 Download PDFInfo
- Publication number
- JP7460366B2 JP7460366B2 JP2019238564A JP2019238564A JP7460366B2 JP 7460366 B2 JP7460366 B2 JP 7460366B2 JP 2019238564 A JP2019238564 A JP 2019238564A JP 2019238564 A JP2019238564 A JP 2019238564A JP 7460366 B2 JP7460366 B2 JP 7460366B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- evaluation
- training data
- evaluated
- collected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims description 165
- 238000010187 selection method Methods 0.000 title claims description 7
- 238000011157 data evaluation Methods 0.000 claims description 106
- 238000011156 evaluation Methods 0.000 claims description 60
- 238000010801 machine learning Methods 0.000 claims description 46
- 238000013480 data collection Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 239000012636 effector Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39314—Ann for identification, ann for convergence, ann for tracking control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40032—Peg and hole insertion, mating and joining, remote center compliance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40515—Integration of simulation and planning
Description
2 訓練データ選別装置
20 データ評価モデル
21 データ評価部
22 記憶部
23 提示装置(評価提示部)
24 入力装置(指示受付部)
25 訓練データ選別部
Claims (12)
- 機械学習により学習モデルを構築するための訓練データを、データ収集装置により収集された収集データから選別する訓練データ選別装置であって、
前記収集データの少なくとも一部に対して機械学習することで、又は前記収集データとは異なるデータに対して機械学習することで、構築されたデータ評価モデルと、
前記データ評価モデルを用いて、入力された前記収集データを評価するデータ評価部と、
前記データ評価部により評価された収集データである評価済データを記憶する記憶部と、
前記記憶部により記憶された前記評価済データから、前記学習モデルを構築するための訓練データを、前記データ評価部の評価結果が提示された作業者の指示により、又は、当該評価結果に基づいて自動的に選別する訓練データ選別部と、
を備え、
前記収集データは、制御対象機械に搭載された少なくとも何れかのセンサで得られた検出値に基づく計測値の時系列情報を含み、
前記データ評価部は、前記データ評価モデルを用いて、前記検出値の時系列情報のうち一部の時間に相当する時系列情報である部分時系列情報毎に、前記収集データを評価することを特徴とする訓練データ選別装置。 - 請求項1に記載の訓練データ選別装置であって、
前記データ評価部の前記評価結果を作業者に提示する評価提示部と、
前記評価済データを前記訓練データとして選別するか否かに関する作業者の指示を受け付ける指示受付部と、
を備え、
前記訓練データ選別部は、前記指示受付部に入力された指示に基づいて、前記学習モデルを構築するための訓練データを選別することを特徴とする訓練データ選別装置。 - 請求項1に記載の訓練データ選別装置であって、
前記データ評価モデルは、前記部分時系列情報が入力された場合に、作業者の操作を細分化したものである複数の基準操作のそれぞれに対応する評価値を出力するように構築され、
前記データ評価部は、前記部分時系列情報が入力された場合に前記データ評価モデルが複数の前記基準操作のそれぞれに関して出力した前記評価値のうち最も良い評価値が閾値よりも良い場合は、最も良い前記評価値の前記基準操作に当該部分時系列情報が対応していると評価したことを示す対応情報を前記収集データに付与して、前記評価済データとして前記記憶部に記憶させることを特徴とする訓練データ選別装置。 - 請求項3に記載の訓練データ選別装置であって、
前記評価済データは、前記評価結果としての前記対応情報が付された形で、前記評価済データの作業者による選別のために提示され、又は、前記評価済データの自動的な選別のために用いられることを特徴とする訓練データ選別装置。 - 請求項4に記載の訓練データ選別装置であって、
前記評価済データは、前記評価結果としての前記対応情報が付与されている前記部分時系列情報の範囲毎に区別できるように、前記評価済データの作業者による選別のために提示されることを特徴とする訓練データ選別装置。 - 請求項5に記載の訓練データ選別装置であって、
前記評価済データは、前記データ評価モデルが複数の前記基準操作のそれぞれに関して出力した前記評価値のうち最も良い評価値が閾値よりも良くない前記範囲も併せて、前記評価済データの作業者による選別のために提示されることを特徴とする訓練データ選別装置。 - 請求項6に記載の訓練データ選別装置であって、
前記データ評価モデルが複数の前記基準操作のそれぞれに関して出力した前記評価値のうち最も良い評価値が閾値よりも良くない範囲を、作業者が指定して、前記複数の基準操作に含まれない操作を示す対応情報を付与することが可能に構成されていることを特徴とする訓練データ選別装置。 - 請求項5から7までの何れか一項に記載の訓練データ選別装置であって、
前記評価済データは、センサによる検出値又はそれに基づく情報をグラフにより表した形で、前記評価済データの作業者による選別のために視覚的に提示されることを特徴とする訓練データ選別装置。 - 請求項5から8までの何れか一項に記載の訓練データ選別装置であって、
前記訓練データ選別部は、前記評価済データのうち、前記評価結果としての前記対応情報が付与されている前記部分時系列情報の範囲毎に、訓練データを選別可能であることを特徴とする訓練データ選別装置。 - 請求項1から9までの何れか一項に記載の訓練データ選別装置により選別された訓練データを用いて機械学習により構築された学習モデルと、
前記学習モデルの出力に基づいて作業を行うロボットと、
を備えることを特徴とするロボットシステム。 - 機械学習により学習モデルを構築するための訓練データを、データ収集装置により収集された収集データから選別する訓練データ選別方法であって、
前記収集データの少なくとも一部に対して機械学習することで、又は前記収集データとは異なるデータに対して機械学習することで、構築されたデータ評価モデルを用いて、入力された前記収集データを評価するデータ評価工程と、
前記データ評価工程で評価された収集データである評価済データを記憶する記憶工程と、
前記記憶工程で記憶された前記評価済データから、前記学習モデルを構築するための訓練データを、前記データ評価工程における評価結果が提示された作業者の指示により、又は当該評価結果に基づいて自動的に選別する訓練データ選別工程と、
を含む処理を行い、
前記収集データは、制御対象機械に搭載された少なくとも何れかのセンサで得られた検出値に基づく計測値の時系列情報を含み、
前記データ評価工程では、前記データ評価モデルを用いて、前記検出値の時系列情報のうち一部の時間に相当する時系列情報である部分時系列情報毎に、前記収集データを評価することを特徴とする訓練データ選別方法。 - 請求項11に記載の訓練データ選別方法であって、
前記データ評価工程では、前記訓練データ選別工程で選別された訓練データを機械学習させることにより構築された学習モデルによる操作を収集したデータを、評価することが可能であることを特徴とする訓練データ選別方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019238564A JP7460366B2 (ja) | 2019-12-27 | 2019-12-27 | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 |
PCT/JP2020/048038 WO2021132281A1 (ja) | 2019-12-27 | 2020-12-22 | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 |
US17/789,227 US20230045162A1 (en) | 2019-12-27 | 2020-12-22 | Training data screening device, robot system, and training data screening method |
EP20904310.8A EP4082726A4 (en) | 2019-12-27 | 2020-12-22 | LEARNING DATA SELECTION DEVICE, ROBOT SYSTEM AND LEARNING DATA SELECTION METHOD |
CN202080090021.0A CN115087521A (zh) | 2019-12-27 | 2020-12-22 | 训练数据排序装置、机器人系统以及训练数据排序方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019238564A JP7460366B2 (ja) | 2019-12-27 | 2019-12-27 | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021107970A JP2021107970A (ja) | 2021-07-29 |
JP7460366B2 true JP7460366B2 (ja) | 2024-04-02 |
Family
ID=76575946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019238564A Active JP7460366B2 (ja) | 2019-12-27 | 2019-12-27 | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230045162A1 (ja) |
EP (1) | EP4082726A4 (ja) |
JP (1) | JP7460366B2 (ja) |
CN (1) | CN115087521A (ja) |
WO (1) | WO2021132281A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021149842A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社日立製作所 | 機械学習システム及び機械学習方法 |
JP2023038132A (ja) * | 2021-09-06 | 2023-03-16 | 川崎重工業株式会社 | 学習済モデルの構築方法 |
US20230104775A1 (en) | 2021-10-04 | 2023-04-06 | Hitachi, Ltd. | Human robot collaboration for flexible and adaptive robot learning |
WO2024034338A1 (ja) * | 2022-08-08 | 2024-02-15 | Ntn株式会社 | 情報処理装置 |
JP2024035683A (ja) * | 2022-09-02 | 2024-03-14 | 横河電機株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013030984A1 (ja) | 2011-08-31 | 2013-03-07 | 株式会社日立エンジニアリング・アンド・サービス | 設備状態監視方法およびその装置 |
JP2019079157A (ja) | 2017-10-23 | 2019-05-23 | 株式会社日立製作所 | 制御システム及び方式 |
JP2019143387A (ja) | 2018-02-21 | 2019-08-29 | 清水建設株式会社 | 操作推定装置、及び操作推定方法 |
JP2019202404A (ja) | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | ロボットシステム及びロボット制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6401858B2 (ja) * | 2015-05-28 | 2018-10-10 | 株式会社日立製作所 | ロボット操作装置およびプログラム |
JP6886869B2 (ja) * | 2017-06-09 | 2021-06-16 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
US10913154B2 (en) * | 2018-01-02 | 2021-02-09 | General Electric Company | Systems and method for robotic learning of industrial tasks based on human demonstration |
-
2019
- 2019-12-27 JP JP2019238564A patent/JP7460366B2/ja active Active
-
2020
- 2020-12-22 CN CN202080090021.0A patent/CN115087521A/zh active Pending
- 2020-12-22 EP EP20904310.8A patent/EP4082726A4/en active Pending
- 2020-12-22 WO PCT/JP2020/048038 patent/WO2021132281A1/ja unknown
- 2020-12-22 US US17/789,227 patent/US20230045162A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013030984A1 (ja) | 2011-08-31 | 2013-03-07 | 株式会社日立エンジニアリング・アンド・サービス | 設備状態監視方法およびその装置 |
JP2019079157A (ja) | 2017-10-23 | 2019-05-23 | 株式会社日立製作所 | 制御システム及び方式 |
JP2019143387A (ja) | 2018-02-21 | 2019-08-29 | 清水建設株式会社 | 操作推定装置、及び操作推定方法 |
JP2019202404A (ja) | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | ロボットシステム及びロボット制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021132281A1 (ja) | 2021-07-01 |
EP4082726A4 (en) | 2024-02-14 |
US20230045162A1 (en) | 2023-02-09 |
EP4082726A1 (en) | 2022-11-02 |
CN115087521A (zh) | 2022-09-20 |
JP2021107970A (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7460366B2 (ja) | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 | |
TWI707280B (zh) | 動作預測系統以及動作預測方法 | |
US10706331B2 (en) | Task execution system, task execution method, training apparatus, and training method | |
JP7391023B2 (ja) | 人間による実演に基づく、ロボットによる産業タスクの学習のためのシステム及び方法 | |
CN104858876B (zh) | 机器人任务的可视调试 | |
KR101255948B1 (ko) | 산업용 로봇 시스템 | |
JP6857332B2 (ja) | 演算装置、演算方法、及びそのプログラム | |
CN108602191B (zh) | 动作信息生成装置、动作信息生成方法以及记录介质 | |
US11762679B2 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
Westerberg et al. | Virtual environment-based teleoperation of forestry machines: Designing future interaction methods | |
CN113412178B (zh) | 机器人控制装置、机器人系统以及机器人控制方法 | |
CN113412177A (zh) | 机器人控制装置、机器人系统以及机器人控制方法 | |
Pedersen et al. | Gesture-based extraction of robot skill parameters for intuitive robot programming | |
Abad et al. | Fuzzy logic-controlled 6-DOF robotic arm color-based sorter with machine vision feedback | |
JP7452657B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2020082314A (ja) | 学習装置、ロボット制御装置、及びロボット制御システム | |
Marín et al. | A predictive interface based on virtual and augmented reality for task specification in a Web telerobotic system | |
WO2023033179A1 (ja) | 学習済モデルの構築方法 | |
RU2813444C1 (ru) | Система взаимодействия человек-робот на основе смешанной реальности | |
WO2024062632A1 (ja) | 制御装置、制約条件選択装置、データ生成装置、制御方法、制約条件選択方法、データ生成方法及び記憶媒体 | |
WO2023162164A1 (ja) | 教示支援装置、作業システム、教示支援方法および教示支援プログラム | |
Gorjup | On Human to Robot Skill Transfer for Robust Grasping and Dexterous Manipulation | |
JP2023072601A (ja) | ロボット制御装置、ロボットシステム及びロボット制御方法 | |
Schaude et al. | Integration of Sensorsimulation for Telerobotic and Telepresence | |
Kristanto | Development ofControl System for Virtual Manufacturing System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7460366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |