JP7247552B2 - 学習装置、ロボット制御装置、及びロボット制御システム - Google Patents
学習装置、ロボット制御装置、及びロボット制御システム Download PDFInfo
- Publication number
- JP7247552B2 JP7247552B2 JP2018224020A JP2018224020A JP7247552B2 JP 7247552 B2 JP7247552 B2 JP 7247552B2 JP 2018224020 A JP2018224020 A JP 2018224020A JP 2018224020 A JP2018224020 A JP 2018224020A JP 7247552 B2 JP7247552 B2 JP 7247552B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- robot
- robot arm
- learning
- reward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
- Numerical Control (AREA)
Description
10 ロボット
11 ロボットアーム
12 関節
15 先端部
16 アーム駆動部
17 回転角検出部
20 ロボット制御装置
41 グリッパー
211 制御部
212 状態観測部
213 学習部
213A 報酬計算部
213B 関数更新部
215 行動計画部
218 設定受付部
Claims (7)
- 複数の関節を有し、三次元空間を自在に移動可能なロボットアームと、
前記複数の関節それぞれに設けられた、前記関節を駆動する関節駆動部と、
前記ロボットアームの位置を含む、当該ロボットアームの状態を検出する状態検出部と、
温度センサー又は湿度センサーと、を備えるロボットの行動を学習する学習装置であって、
前記状態検出部による検出結果に基づいて、前記ロボットアームの状態を観測する状態観測部と、
予め設定された目標到達位置へ到達するまでの前記ロボットアームの行動過程において、前記状態観測部により観測される、ある時刻における前記ロボットアームの状態と、当該状態からの前記ロボットアームの行動と、当該行動後の前記ロボットアームの状態とを関連付けて、前記ロボットアームの行動を学習する学習部と、
記憶部と、を備え、
前記学習部は、
前記ロボットアームの動いた軌跡、及び前記関節駆動部の駆動に応じて報酬を計算する報酬計算部と、
前記報酬計算部により計算された前記報酬に基づいて、前記ロボットアームのある状態からある行動を選択する価値を示す行動価値関数を更新する関数更新部と、を備え、
前記学習部は、前記学習装置が前記温度センサーを備える場合には、前記ロボットの電源をオフする時に前記温度センサーが計測した第1温度を保持しておき、前記ロボットの電源をオンした時に前記温度センサーが計測した第2温度と前記第1温度との差が、予め定められた第1閾値以上である場合には、再学習を行ない、前記第2温度毎に、前記第2温度に応じた前記行動価値関数を前記記憶部に保存させ、
前記学習部は、前記学習装置が前記湿度センサーを備える場合には、前記ロボットの電源をオフする時に前記湿度センサーが計測した第1湿度を保持しておき、前記ロボットの電源をオンした時に前記湿度センサーが計測した第2湿度と前記第1湿度との差が、予め定められた第2閾値以上である場合には、再学習を行ない、前記第2湿度毎に、前記第2湿度に応じた前記行動価値関数を前記記憶部に保存させる学習装置。 - 前記状態観測部は、前記状態検出部による検出結果に基づいて、前記ロボットアームの先端部の位置を観測し、
前記報酬計算部は、前記ロボットアームの前記先端部と前記目標到達位置との距離が短くなるにつれて、前記報酬を高くして前記計算を行う請求項1に記載の学習装置。 - 前記状態検出部は、前記関節駆動部それぞれのトルクを検出し、
前記状態観測部は、前記状態検出部による検出結果に基づいて、前記関節駆動部それぞれのトルクを観測し、
前記報酬計算部は、前記関節駆動部それぞれのトルクの総和が大きくなるにつれて、前記報酬を小さくして前記計算を行う請求項1又は請求項2に記載の学習装置。 - 前記報酬計算部は、前記関節駆動部の駆動時間が長くなるにつれて、前記報酬を小さくして前記計算を行う請求項1又は請求項2に記載の学習装置。
- 前記ロボットアームの動いた軌跡及び前記関節駆動部の駆動それぞれに対する前記報酬の重みのユーザー設定を受け付ける設定受付部を更に備え、
前記報酬計算部は、前記設定受付部が受け付けたユーザー設定の重みに従って、前記報酬を計算する請求項1乃至請求項4のいずれかに記載の学習装置。 - 請求項1乃至請求項5のいずれかに記載の学習装置と、
前記学習装置による学習結果に基づいて、前記ロボットアームに行わせる行動を選択する意思決定部と、
前記意思決定部による意思決定に基づいて、前記ロボットアームの行動を制御する指示部と、を備え、
前記意思決定部は、前記第2温度又は前記第2湿度に応じた前記行動価値関数を前記記憶部から読み出して、前記指示部が前記ロボットアームに行わせる行動を選択する、ロボット制御装置。 - 請求項6に記載のロボット制御装置と、
前記ロボットと、を備えるロボット制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224020A JP7247552B2 (ja) | 2018-11-29 | 2018-11-29 | 学習装置、ロボット制御装置、及びロボット制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224020A JP7247552B2 (ja) | 2018-11-29 | 2018-11-29 | 学習装置、ロボット制御装置、及びロボット制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020082314A JP2020082314A (ja) | 2020-06-04 |
JP7247552B2 true JP7247552B2 (ja) | 2023-03-29 |
Family
ID=70905484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018224020A Active JP7247552B2 (ja) | 2018-11-29 | 2018-11-29 | 学習装置、ロボット制御装置、及びロボット制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7247552B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112476424A (zh) * | 2020-11-13 | 2021-03-12 | 腾讯科技(深圳)有限公司 | 机器人控制方法、装置、设备及计算机存储介质 |
CN113326872A (zh) * | 2021-05-19 | 2021-08-31 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
CN113684885B (zh) * | 2021-08-19 | 2022-09-02 | 上海三一重机股份有限公司 | 作业机械控制方法、装置及作业机械 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016120549A (ja) | 2014-12-24 | 2016-07-07 | キヤノン株式会社 | ロボット制御方法及びロボット制御装置 |
JP2018043338A (ja) | 2016-09-16 | 2018-03-22 | ファナック株式会社 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
JP2018051664A (ja) | 2016-09-27 | 2018-04-05 | ファナック株式会社 | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 |
JP2018097810A (ja) | 2016-12-16 | 2018-06-21 | ファナック株式会社 | ロボットおよびレーザスキャナの動作を学習する機械学習装置,ロボットシステムおよび機械学習方法 |
WO2018143003A1 (ja) | 2017-01-31 | 2018-08-09 | 株式会社安川電機 | ロボットパス生成装置及びロボットシステム |
JP2018126798A (ja) | 2017-02-06 | 2018-08-16 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115511A (ja) * | 1997-06-20 | 1999-01-22 | Fanuc Ltd | ロボットの衝突検知方式 |
-
2018
- 2018-11-29 JP JP2018224020A patent/JP7247552B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016120549A (ja) | 2014-12-24 | 2016-07-07 | キヤノン株式会社 | ロボット制御方法及びロボット制御装置 |
JP2018043338A (ja) | 2016-09-16 | 2018-03-22 | ファナック株式会社 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
JP2018051664A (ja) | 2016-09-27 | 2018-04-05 | ファナック株式会社 | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 |
JP2018097810A (ja) | 2016-12-16 | 2018-06-21 | ファナック株式会社 | ロボットおよびレーザスキャナの動作を学習する機械学習装置,ロボットシステムおよび機械学習方法 |
WO2018143003A1 (ja) | 2017-01-31 | 2018-08-09 | 株式会社安川電機 | ロボットパス生成装置及びロボットシステム |
JP2018126798A (ja) | 2017-02-06 | 2018-08-16 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2020082314A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7247552B2 (ja) | 学習装置、ロボット制御装置、及びロボット制御システム | |
CN109002012B (zh) | 控制装置以及机器学习装置 | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
US11701772B2 (en) | Operation prediction system and operation prediction method | |
US10082771B2 (en) | Machine learning method and machine learning apparatus learning operating command to electric motor and machine tool including machine learning apparatus | |
CN104858876B (zh) | 机器人任务的可视调试 | |
US20170249561A1 (en) | Robot learning via human-demonstration of tasks with force and position objectives | |
CN108214485B (zh) | 机器人控制装置、以及机器人控制方法 | |
CN111433691B (zh) | 控制系统、工厂系统、学习系统、估计用模型的生成方法和致动器的状态估计方法 | |
JPWO2017033358A1 (ja) | 複数のロボットシステム間の情報共有システム及び情報共有方法 | |
JP6811465B2 (ja) | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム | |
WO2019032814A1 (en) | SYSTEM AND METHOD FOR DIRECT TEACHING TO A ROBOT | |
JP6811688B2 (ja) | 複数動作ユニット統合装置、およびその制御方法、並びに自律学習型ロボット装置 | |
US11285602B2 (en) | Adjustment support device | |
EP4082726A1 (en) | Training data selection device, robot system, and training data selection method | |
US11059180B2 (en) | Control device and machine learning device | |
CN112638596A (zh) | 自主学习型机器人装置以及自主学习型机器人装置的动作生成方法 | |
CN114449970B (zh) | 使用器具推断装置、方法以及手术辅助机器人 | |
US20220032451A1 (en) | Method for learning robot task and robot system using the same | |
CN109421049A (zh) | 机器人系统 | |
JP6490132B2 (ja) | ロボットの制御装置、機械学習装置及び機械学習方法 | |
CN113329850A (zh) | 机器人控制系统和机器人控制方法 | |
US20230241770A1 (en) | Control device, control method and storage medium | |
JP7159525B2 (ja) | ロボット制御装置、学習装置、及びロボット制御システム | |
JP6940425B2 (ja) | 制御装置及び機械学習装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7247552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |