JP7398373B2 - 制御装置、システム、制御方法、及びプログラム - Google Patents

制御装置、システム、制御方法、及びプログラム Download PDF

Info

Publication number
JP7398373B2
JP7398373B2 JP2020529025A JP2020529025A JP7398373B2 JP 7398373 B2 JP7398373 B2 JP 7398373B2 JP 2020529025 A JP2020529025 A JP 2020529025A JP 2020529025 A JP2020529025 A JP 2020529025A JP 7398373 B2 JP7398373 B2 JP 7398373B2
Authority
JP
Japan
Prior art keywords
policy
control
information
environment
information regarding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020529025A
Other languages
English (en)
Other versions
JPWO2020009139A1 (ja
JPWO2020009139A5 (ja
Inventor
城志 高橋
慎平 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Publication of JPWO2020009139A1 publication Critical patent/JPWO2020009139A1/ja
Publication of JPWO2020009139A5 publication Critical patent/JPWO2020009139A5/ja
Application granted granted Critical
Publication of JP7398373B2 publication Critical patent/JP7398373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39298—Trajectory learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40515—Integration of simulation and planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Manipulator (AREA)

Description

本発明は、制御装置、システム、制御方法、及びプログラムに関する。
近年、様々な機械学習の手法を用いて、アクチュエータ等の駆動部を有するロボットに対して所定のタスク（例えば、二足歩行や物体の把持等）を実現する動作を学習させることが行われている。
しかしながら、深層強化学習では多くの試行回数が必要とされる。教師あり学習を事前に行うことで、深層強化学習の試行回数を削減することができるものの、実環境のみでは現実的な試行回数で学習させることは困難である。これに対して、シミュレーション環境での学習結果を実環境に適用可能とする手法として、Sim to realと呼ばれる手法が知られている。
しかしながら、例えば、シミュレーション環境と実環境との差異が大きい場合には、シミュレーション環境での学習結果を実環境に適用することが困難な場合があった。例えば、物体の把持動作や二足歩行動作等のタスクをロボットに学習させる場合、実環境では、アクチュエータ等の駆動部で摩擦が発生したり、駆動部の動作遅れが発生したりする。このため、シミュレーション環境での学習結果を実環境に適用することが困難な場合がある。
本発明の実施の形態は、上記の点に鑑みてなされたもので、シミュレーション環境での学習結果の実環境への適用を容易に行うことを目的とする。
上記目的を達成するため、本発明の実施の形態は、第１のモデルが出力した、シミュレーション環境における仮想ロボットによる動作の行動計画に基づいて、前記動作を実現可能な実環境における実環境のロボットの制御値を出力する第２のモデルを強化学習により訓練する手順、をコンピュータが実行することを特徴とする。
シミュレーション環境での学習結果を実環境に容易に適用することができる。
本発明の実施の形態における学習システムの全体構成の一例を示す図である。 本発明の実施の形態におけるロボットの一例を模式的に示す図である。 本発明の実施の形態におけるロボットの一例を模式的に示す図である。 本発明の実施の形態における学習装置のハードウェア構成の一例を示す図である。 本発明の実施の形態における学習装置の機能構成の一例を示す図である。 本発明の実施の形態における学習処理の一例を示すフローチャートである。 シミュレーション環境での学習処理の一例を示すフローチャートである。 実環境での学習処理の一例を示すフローチャートである。 実環境での学習結果をシミュレーション環境に反映する処理の一例を示すフローチャートである。
以下、本実施の形態について、図面を参照しながら詳細に説明する。以降では、シミュレーション環境での学習結果を実環境に適用することで、ロボットの効率的な学習を行うことが可能な学習システム１について説明する。
＜全体構成＞
まず、本実施の形態の一例における学習システム１の全体構成について、図１を参照しながら説明する。図１は、本実施の形態の一例における学習システム１の全体構成の一例を示す図である。
図１に示すように、本実施の形態の一例における学習システム１には、学習装置１０と、制御装置２０と、ロボット３０と、センサ４０とが含まれる。
学習装置１０は、深層強化学習により、所定のタスク（例えば、二足歩行や物体の把持等）を実現する動作をロボット３０に学習させるためのコンピュータ又はコンピュータシステムである。学習装置１０は、シミュレーション環境でのロボット３０（以下、仮想装置又は仮想ロボットともいう）の深層強化学習と、実環境でのロボット３０（実環境での装置）の深層強化学習とを行うことで、タスクを実現する動作をロボット３０に学習させる。
このとき、例えば、学習装置１０は、シミュレーション環境ではロボット３０がタスクを実現するための動作（いわゆるプランニング）を学習させて、実環境では当該動作を実現するために必要な駆動部（例えばアクチュエータ等）の制御値を学習させる。ここで、制御値は、例えば、当該動作を実現するために必要な駆動部の電流値等である。本実施形態では、一例として、制御値は、駆動部の電流値であるものとして説明するが、これに限られない。
本実施の形態における学習装置１０は、シミュレーション環境でのロボット３０の学習と、実環境でのロボット３０の学習とをCurriculum learningを用いて行うと共に、これらの学習を所定の順序で繰り返し行う。
ここで、所定の順序としては、以下の（１）及び（２）を満たす任意の順序を採用することができる。
（１）シミュレーション環境での学習の次に、同一複雑度のタスク又は複雑度を上げたタスクのシミュレーション環境での学習又は実環境での学習を行う。
（２）実環境での学習の次に、シミュレーション環境で学習済の複雑度のタスクについて実環境での学習を行うか、又は複雑度を上げたタスクのシミュレーション環境での学習を行う。
具体的には、例えば、ロボット３０に学習させたいタスクをV1，V2として、これらのタスクV1，V2の複雑度をV1＜V2とする。この場合、以下の（Ａ）、（Ｂ）、（Ｃ）に例示する順序は、全て上記の所定の順序を満たす。
（Ａ）タスクV1のシミュレーション環境での学習、タスクV1の実環境での学習、タスクV2のシミュレーション環境での学習、タスクV2の実環境での学習の順にロボット３０の学習を行う。
（Ｂ）タスクV1のシミュレーション環境での学習、タスクV2のシミュレーション環境、タスクV1の実環境での学習、タスクV2の実環境での学習の順にロボット３０の学習を行う。
（Ｃ）タスクV1のシミュレーション環境での学習、タスクV1のシミュレーション環境での学習、タスクV2のシミュレーション環境での学習、タスクV1の実環境での学習、タスクV1の実環境での学習、タスクV2の実環境での学習の順にロボット３０の学習を行う。
なお、タスクの複雑度は、ロボット３０が実現したい動作の複雑さを表す。例えば、ロボット３０が二足歩行ロボットである場合、タスク「ゆっくり歩く」と、タスク「早く歩く」と、タスク「走る」とでは、タスク「ゆっくり歩く」、タスク「早く歩く」、タスク「走る」の順にタスクの複雑度が高くなる場合がある。なお、タスクの複雑度は、種々の方法で定められることができる。例えば、第１のタスクと第２のタスクとでロボット３０の動作の成功率が異なる場合、成功率が低いタスクを複雑度が高いものとみなすことができる。また、例えば、ロボット３０の動作の実現にあたり考慮するべき事項の数が多いほど、ロボット３０の制御に必要な計算量が多いほど、タスクの複雑度が高いとみなすことができる。
制御装置２０は、ロボット３０の動作を制御するコンピュータ又はコンピュータシステムである。制御装置２０は、ロボット３０の動作を制御するための指示を、当該ロボット３０の駆動部（例えばアクチュエータ等）に送信する。これにより、ロボット３０の動作が制御される。
ロボット３０は、アクチュエータ等の駆動部を有する装置又は機器である。ロボット３０としては、例えば、図２Ａ）に示す二足歩行ロボット、図２Ｂに示すロボットアーム等が挙げられる。図２Ａに示す二足歩行ロボット及び図２Ｂに示すロボットアームには、アクチュエータ等の駆動部が含まれている。このような駆動部は、例えば、関節に相当する部分等に設けられている。
センサ４０は、例えば、カメラ装置や各種計測装置等である。センサ４０は、例えば、カメラ装置で撮影された画像や、計測装置で計測された駆動部の状態等を取得する。
なお、図１に示す学習システム１の構成は一例であって、他の構成であっても良い。例えば、本実施の形態における学習システム１では、学習装置１０と制御装置２０とが一体の装置で構成されていても良い。また、本実施の形態における学習システム１には、複数のロボット３０が含まれていても良い。また、学習装置１０と制御装置２０とは、それぞれ２つ以上用いられてもよい。
＜ハードウェア構成＞
次に、本実施の形態の一例における学習装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施の形態の一例における学習装置１０のハードウェア構成の一例を示す図である。
図３に示すように、本実施の形態の一例における学習装置１０は、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ＲＡＭ（Random Access Memory）１５と、ＲＯＭ（Read Only Memory）１６と、プロセッサ１７と、補助記憶装置１８とを有する。これら各ハードウェアは、それぞれがバス１９により相互に接続されている。
入力装置１１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置１２は、例えばディスプレイ等であり、学習装置１０の各種の処理結果を表示する。なお、学習装置１０は、入力装置１１及び表示装置１２のうちの少なくとも一方を有していなくても良い。
外部Ｉ／Ｆ１３は、外部装置とのインタフェースである。外部装置には、記録媒体１３ａ等がある。学習装置１０は、外部Ｉ／Ｆ１３を介して、記録媒体１３ａ等の読み取りや書き込み等を行うことができる。記録媒体１３ａには、学習装置１０が有する各機能部を実現する１以上のプログラム等が記録されていても良い。
記録媒体１３ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
通信Ｉ／Ｆ１４は、学習装置１０を通信ネットワークに接続するためのインタフェースである。学習装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ１４を介して、所定のサーバ装置等から取得（ダウンロード）されても良い。
ＲＡＭ１５は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ１６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ１６には、例えば、ＯＳ（Operating System）に関する設定や通信ネットワークに関する設定等が格納されている。
プロセッサ１７は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ１６や補助記憶装置１８等からプログラムやデータをＲＡＭ１５上に読み出して処理を実行する演算装置である。なお、学習装置１０は、プロセッサ１７として、ＣＰＵとＧＰＵとの両方を有していても良いし、ＣＰＵ又はＧＰＵのいずれか一方のみを有していても良い。
補助記憶装置１８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置１８には、例えば、ＯＳ、各種アプリケーションソフトウェア、学習装置１０が有する各機能部を実現する１以上のプログラム等がある。
本実施の形態における学習装置１０は、図３に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。なお、図３に示す例では、本実施の形態における学習装置１０が１台の装置（コンピュータ）で実現されている場合について説明したが、これに限られない。本実施の形態における学習装置１０は、複数台の装置（コンピュータ）で実現されていても良い。
＜機能構成＞
次に、本実施の形態の一例における学習装置１０の機能構成について、図４を参照しながら説明する。図４は、本実施の形態の一例における学習装置１０の機能構成の一例を示す図である。
図４に示すように、本実施の形態の一例における学習装置１０は、シミュレーション学習部１０１と、実機学習部１０２と、複雑化部１０３と、利得判定部１０４とを有する。これら各機能部は、学習装置１０にインストールされた１以上のプログラムがプロセッサ１７に実行させる処理により実現される。
シミュレーション学習部１０１は、深層強化学習により、シミュレーション環境で所定のタスクを実現するためのロボット３０（正確には、ロボット３０のシミュレーションした仮想ロボット）の動作を学習する。ここで、本実施の形態におけるシミュレーション学習部１０１には、環境情報取得部１１１と、行動決定部１１２と、行動実行部１１３と、方策更新部１１４と、出力部１１５とが含まれる。
環境情報取得部１１１は、シミュレーション環境での環境情報st,sを取得する。ここで、環境情報st,sは、シミュレーション環境の時刻tにおける観測値である。この観測値は、シミュレーション環境におけるセンサ４０（正確には、仮想的なカメラ）により観測される情報（例えば、シミュレーション環境における把持対象物を撮影した画像や歩行経路を撮影した画像、ロボット３０の駆動部の計測値等）である。なお、これに限られず、環境情報取得部１１１は、例えば、過去数時刻分の環境情報（具体的には、例えば、予め設定された自然数Nに対して、時刻t-Nから時刻tまでの環境情報st-N,s,・・・,st,s）を取得してもよい。
行動決定部１１２は、シミュレーション環境における方策πsimを用いて、行動at,sを決定する。ここで、行動at,sは、シミュレーション環境の時刻tにおける駆動部の出力値である。駆動部の出力値とは、例えば、駆動部のトルク値である。本実施形態では、一例として、駆動部の出力値は、トルク値であるものとして説明するが、これに限られない。なお、行動at,sは、環境情報取得部１１１により取得された環境情報を方策πsimに入力することで決定される。
行動実行部１１３は、行動決定部１１２が決定した行動at,sを実行する。すなわち、行動実行部１１３は、シミュレーション環境におけるロボット３０の駆動部を、行動at,sが示すトルク値で駆動させる。これにより、シミュレーション環境でロボット３０が動作する。ロボット３０が行動at,sを実行することで、環境がst+1,sに遷移すると共に、報酬rt+1,sが得られる。ここで、報酬rt,sは、シミュレーション環境の時刻tにおける報酬であり、例えば、ユーザ等により予め定義される。
方策更新部１１４は、シミュレーション環境における方策πsimを更新する。すなわち、方策更新部１１４は、例えば、報酬rt,sの割引現在価値の総和として求まる利得Rsが最大となるように（より正確には、利得Rsの期待値が最大となるように）方策πsimを更新する。
出力部１１５は、方策更新部１１４により更新された方策πsimと、利得Rsとを出力する。
実機学習部１０２は、深層強化学習により、実環境で所定の動作（すなわち、シミュレーション環境で学習した所定のタスクを実現するためのロボット３０の動作）を実現するために制御値を学習する。本実施の形態においては、制御値として、必要な駆動部の電流値を学習する。ここで、本実施の形態における実機学習部１０２には、環境情報取得部１２１と、行動決定部１２２と、制御値計算部１２３と、ロボット制御部１２４と、方策更新部１２５と、出力部１２６とが含まれる。
環境情報取得部１２１は、実環境での環境情報st,rを取得する。ここで、環境情報st,rは、実環境の時刻tにおける観測値である。この観測値は、実環境におけるセンサ４０により観測される情報（例えば、実環境における把持対象物を撮影した画像や歩行経路を撮影した画像、ロボット３０の駆動部の計測値等）である。なお、これに限られず、環境情報取得部１２１は、例えば、過去数時刻分の環境情報（具体的には、例えば、予め設定された自然数Nに対して、時刻t-Nから時刻tまでの環境情報st-N,r,・・・,st,r）を取得してもよい。
行動決定部１２２は、シミュレーション環境における方策πsimを用いて、行動at,sを決定する。なお、行動at,sは、環境情報取得部１２１により取得された環境情報を方策πsimに入力することで決定される。
制御値計算部１２３は、行動決定部１２２により決定された行動at,sを実現するための制御値at,rを方策πrealとして計算する。例えば、制御値計算部１２３は、行動at,sが示すトルク値τtを実現する電流値at,rを方策πrealとして計算する。なお、方策πrealは、ニューラルネットワークで表される行動価値関数の期待値が環境情報st,rにおいて最大となる行動at,rである。
ロボット制御部１２４は、制御値計算部１２３により計算された制御値at,r（すなわち、方策πrealとして計算された制御値at,r）でロボット３０の動作を制御する。これにより、実環境でロボット３０が動作する。ロボット３０が行動at,sを実行することで（すなわち、電流値at,rによりロボット３０を制御して、当該ロボット３０が行動at,sを実行することで）、環境がst+1,rに遷移すると共に、報酬rt+1,rが得られる。ここで、報酬rt,rは、実環境の時刻tにおける報酬であり、例えば、ユーザ等により予め定義される。
方策更新部１２５は、実環境における方策πrealを更新する。すなわち、方策更新部１２５は、例えば、報酬rt,rの割引現在価値の総和として求まる利得Rrが最大となるように（より正確には、利得Rrの期待値が最大となるように）方策πrealを更新する。
出力部１２６は、方策更新部１２５により更新された方策πrealと、利得Rrとを出力する。
複雑化部１０３は、ロボット３０に動作を学習させるタスクを複雑化する（すなわち、タスクの複雑度を高くする。）。利得判定部１０４は、利得が所定の閾値を超えているか否かを判定する。
＜学習処理＞
以降では、本実施の形態における学習システム１による学習処理について、図５を参照しながら説明する。図５は、本実施の形態における学習処理の一例を示すフローチャートである。
シミュレーション学習部１０１は、深層強化学習により、シミュレーション環境と仮想ロボット３０とを用いて所定のタスクを実現するためのロボット３０の動作を学習する（ステップＳ１０１）。これにより、方策πsimと利得Rsとが出力される。このとき、例えば、タスクの複雑度が所定の複雑度以下である場合は、教師あり学習でロボット３０の動作を学習しても良い。
なお、上記の方策πsim及び利得Rsは、或るタスクVに関する方策πsim及び利得Rsであるため、より正確には、方策πsim,V及び利得Rs,Vと表される。ただし、以降では、特に断らない限り、単に、方策πsim及び利得Rsと表す。なお、シミュレーション環境での学習処理の詳細については後述する。
次に、利得判定部１０４は、利得Rsが所定の閾値Aを超えているか否かを判定する（ステップＳ１０２）。なお、これは、シミュレーション環境での学習が十分に行われたか否かを判定することを意味する。
ステップＳ１０２で利得Rsが所定の閾値Aを超えていないと判定された場合、複雑化部１０３は、タスクを複雑化する（ステップＳ１０３）。これにより、複雑化されたタスクに関して、上記のステップＳ１０１のシミュレーション環境での学習が行われる。
ただし、上記のステップＳ１０３で複雑化部１０３は、タスクを複雑化しなくても良い。この場合、同一の複雑度のタスクに関して、上記のステップＳ１０１のシミュレーション環境での学習が行われる。
一方で、ステップＳ１０２で利得Rsが所定の閾値Aを超えていると判定された場合、実機学習部１０２は、深層強化学習により、実環境で実環境のロボット３０が所定の動作（すなわち、シミュレーション環境で学習された所定のタスクを実現するためのロボット３０の動作）を実現するために必要な駆動部の電流値を学習する（ステップＳ１０４）。これにより、方策πrealと利得Rrとが出力される。
なお、上記の方策πreal及び利得Rrも、上記のステップＳ１０１と同様に、より正確には、方策πreal,V及び利得Rr,Vと表される。ただし、以降では、特に断らない限り、単に、方策πreal及び利得Rrと表す。なお、実環境での学習処理の詳細については後述する。
次に、利得判定部１０４は、利得Rrが所定の閾値Bを超えているか否かを判定する（ステップＳ１０５）。なお、これは、実環境での学習が十分に行われたか否かを判定することを意味する。
ステップＳ１０５で利得Rrが所定の閾値Bを超えていないと判定された場合、複雑化部１０３は、タスクを複雑化する（ステップＳ１０６）。これにより、複雑化されたタスクに関して、上記のステップＳ１０４の実環境での学習が行われる。
ただし、上記のステップＳ１０６において、複雑化部１０３は、タスクを複雑化しなくても良い。この場合、同一の複雑度のタスクに関して、上記のステップＳ１０４の実環境での学習が行われる。
一方で、ステップＳ１０５で利得Rrが所定の閾値Bを超えていると判定された場合、利得判定部１０４は、利得Rsが所定の閾値A´を超えていて、かつ、利得Rrが所定の閾値B´を超えているか否かを判定する（ステップＳ１０７）。なお、閾値A´としては、例えば、閾値A以上の値が設定される。同様に、閾値B´としては、例えば、閾値B以上の値が設定される。
ステップＳ１０７で利得Rsが所定の閾値A´を超えていて、かつ、利得Rrが所定の閾値B´を超えていると判定された場合、学習装置１０は、学習処理を終了する。これにより、実環境のロボット３０の各タスクの動作が学習される。
一方で、ステップＳ１０７で利得Rsが所定の閾値A´を超えていて、かつ、利得Rrが所定の閾値B´を超えていると判定されなかった場合、シミュレーション学習部１０１は、実環境での学習結果（すなわち、上記のステップＳ１０４で出力された方策πreal）をシミュレーション環境に反映する（ステップＳ１０８）。なお、実環境での学習結果をシミュレーション環境に反映する処理の詳細については後述する。
ただし、上記のステップＳ１０８は行われなくても良い。この場合、上記のステップＳ１０８が行われずに、後述するステップＳ１０９が行われる。
次に、複雑化部１０３は、タスクを複雑化する（ステップＳ１０９）。これにより、複雑化されたタスクに関して、上記のステップＳ１０１のシミュレーション環境での学習が行われる。
ここで、上記のステップＳ１０１の処理（シミュレーション環境での学習処理）の詳細について、図６を参照しながら説明する。図６は、シミュレーション環境での学習処理の一例を示すフローチャートである。なお、図６のステップＳ２０１～ステップＳ２０２は、例えばシミュレーション環境の学習時間をｔ＝１，・・・，Ｔ１とした場合に、シミュレーション時刻ｔ毎に繰り返し実行される。また、上述したように、タスクの複雑度が所定の複雑度以下である場合、教師あり学習により学習処理を行っても良い。このときの教師データ（すなわち、正解となる行動at,s）は、ユーザにより与えられれば良い。
環境情報取得部１１１は、シミュレーション環境での環境情報st,sを取得する（ステップＳ２０１）。
次に、行動決定部１１２は、シミュレーション環境における方策πsimを用いて、タスクを実現するための行動at,sを決定する（ステップＳ２０２）。
次に、行動実行部１１３は、行動決定部１１２が決定した行動at,sを実行する（ステップＳ２０３）。すなわち、行動実行部１１３は、シミュレーション環境における仮想ロボット３０の駆動部を、行動at,sが示すトルク値で駆動させるシミュレーションを行う。仮想ロボット３０が行動at,sを実行することで、環境がst+1,sに遷移すると共に、報酬rt+1,sが得られる。
方策更新部１１４は、シミュレーション環境における方策πsimを更新する（ステップＳ２０４）。すなわち、方策更新部１１４は、例えば、報酬rt,sの割引現在価値の総和として求まる利得Rsが最大となるように方策πsimを更新する。
出力部１１５は、方策更新部１１４により更新された方策πsimと、利得Rsとを出力する（ステップＳ２０５）。これにより、或る所定のタスクにおける方策πsim及び利得Rsが出力される。
ここで、以降では、上記のステップＳ１０４の処理（実環境での学習処理）の詳細について、図７を参照しながら説明する。図７は、実環境での学習処理の一例を示すフローチャートである。なお、図７のステップＳ３０１～ステップＳ３０４は、例えば実環境の学習時間をｔ＝１，・・・，Ｔ２とした場合に、実時刻ｔ毎に繰り返し実行される。
環境情報取得部１２１は、実環境での環境情報st,rを取得する（ステップＳ３０１）。
次に、行動決定部１２２は、シミュレーション環境における方策πsimを用いて、行動at,sを決定する（ステップＳ３０２）。
制御値計算部１２３は、行動決定部１２２により決定された行動at,sを実現するための制御値at,rを方策πrealとして計算する（ステップＳ３０３）。
ここで、行動at,sが示すトルク値をτt、電流値をC:=at,r、αを任意の係数として、制御値計算部１２３は、例えば、τt＝αC＋πrealとして方策πrealを計算する。又は、制御値計算部１２３は、例えば、τt＝πrealとして方策πrealを計算しても良い。
次に、ロボット制御部１２４は、制御値計算部１２３により計算された制御値at,r（すなわち、方策πrealとして計算された制御値at,r）でロボット３０の動作を制御する（ステップＳ３０４）。これにより、実環境でロボット３０が動作して、環境がst+1,rに遷移すると共に、報酬rt+1,rが得られる。
方策更新部１２５は、実環境における方策πrealを更新する（ステップＳ３０５）。すなわち、方策更新部１２５は、例えば、報酬rt,rの割引現在価値の総和として求まる利得Rrが最大となるように方策πrealを更新する。
出力部１２６は、方策更新部１２５により更新された方策πrealと、利得Rrとを出力する（ステップＳ３０６）。これにより、或る所定のタスクにおける方策πreal及び利得Rrが出力される。
ここで、以降では、上記のステップＳ１０８の処理（実環境での学習結果をシミュレーション環境に反映する処理）の詳細について、図８を参照しながら説明する。図８は、実環境での学習結果をシミュレーション環境に反映する処理の一例を示すフローチャートである。
まず、方策更新部１１４は、実環境での学習結果である方策πrealを取得する（ステップＳ４０１）。
次に、方策更新部１１４は、方策πrealを用いて、方策πsimを更新する（ステップＳ４０２）。なお、方策更新部１１４は、方策πrealだけでなく、例えば、方策πrealを学習する過程で取得されたデータ（例えば、各時刻ｔにおける実環境での環境情報st,r等）も用いて方策πsimを更新してもよい。
これにより、実環境での学習結果がシミュレーション環境に反映される。なお、方策πsimは、同一のタスクに関する方策πrealを用いる（すなわち、実環境と同様に、シミュレーション環境においても同一タスクに関する方策πsimを用いて制御値（つまり、行動at,s）を決定し、この制御値により仮想ロボット３０を駆動させる。）。
＜まとめ＞
以上のように、本実施の形態における学習システム１では、シミュレーション環境での学習と、実環境での学習とを、Curriculum learningによりタスクの複雑度を高くしながら、所定の順序で繰り返し行う。このとき、シミュレーション環境ではロボット３０がタスクを実現するための動作（いわゆるプランニング）を学習させて、実環境では当該動作を実現するために必要な駆動部（例えばアクチュエータ等）の制御値を学習させる。すなわち、本実施の形態における学習システム１では、シミュレーション環境での方策πsimに用いられる行動価値関数と、環境での方策πrealに用いられる行動価値関数とでそれぞれ異なるニューラルネットワークを用いる。また、本実施の形態における学習システム１では、実環境での学習結果をシミュレーション環境に反映する。
これにより、本実施の形態における学習システム１では、実環境とシミュレーション環境との差異が大きい場合（例えば、アクチュエータ等の駆動部で摩擦が発生したり、ロボット３０と実環境との接触が発生したりする場合等）や実環境で駆動部の動作遅れが発生するような場合であっても、シミュレーション環境での学習結果を実環境に適用しやすくできる。
したがって、本実施の形態における学習システム１では、ロボット３０が所定のタスクを実現するための動作を学習する時間を大幅に削減することができる。また、本実施の形態における学習システム１では、実環境での学習で、所定の動作を行うための駆動部の制御値を学習するため、例えばアクチュエータ等のモデリングが不要となる。
なお、本実施の形態では、ロボット３０として、二足歩行ロボットやロボットアームを例示したが、これに限られない。本実施の形態は、駆動部を有する種々のロボットが所定のタスクを実現するための動作学習に適用することができる。このようなロボットの具体例としては、パーソナルロボット、災害救助ロボット、工業用ロボット等が挙げられる。
本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
本願は、日本国に２０１８年７月４日に出願された基礎出願２０１８－１２７８０３号に基づくものであり、その全内容はここに参照をもって援用される。
１ 学習システム
１０ 学習装置
２０ 制御装置
３０ ロボット
４０ センサ
１０１ シミュレーション学習部
１０２ 実機学習部
１０３ 複雑化部
１０４ 利得判定部
１１１ 環境情報取得部
１１２ 行動決定部
１１３ 行動実行部
１１４ 方策更新部
１１５ 出力部
１２１ 環境情報取得部
１２２ 行動決定部
１２３ 制御値計算部
１２４ ロボット制御部
１２５ 方策更新部
１２６ 出力部

Claims (29)

  1. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    実環境における環境情報を取得することと、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
    前記第２の情報に基づいて、前記制御対象を制御することと、
    を実行し、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つの制御結果に基づいて更新されたものであり、
    前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
    制御装置。
  2. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    実環境における環境情報を取得することと、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
    前記第２の情報に基づいて、前記制御対象を制御することと、
    を実行し、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサは、更に、
    前記シミュレーション環境における環境情報を取得することと、
    前記シミュレーション環境における環境情報及び前記第１の方策に基づいて、前記仮想の制御対象の制御に関する第３の情報を取得することと、
    前記第３の情報に基づいて、前記仮想の制御対象を制御することと、
    前記仮想の制御対象の制御結果に基づいて、前記第１の方策を更新することと、
    を実行する、
    制御装置。
  3. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    実環境における環境情報を取得することと、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
    前記第２の情報に基づいて、前記制御対象を制御することと、
    前記制御対象の制御結果に基づいて、前記第２の方策を更新することと、
    を実行し、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサは、
    前記第１の方策を更新した後、前記第２の方策を更新することと、
    前記第２の方策を更新した後、前記第１の方策を更新することと、
    を実行する、
    制御装置。
  4. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    実環境における環境情報を取得することと、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
    前記第２の情報に基づいて、前記制御対象を制御することと、
    前記制御対象の制御結果に基づいて、前記第２の方策を更新することと、
    を実行し、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサは、
    第１のタスクを用いて前記第２の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第２の方策を更新すること、
    を実行する、
    制御装置。
  5. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    実環境における環境情報を取得することと、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
    前記第２の情報に基づいて、前記制御対象を制御することと、
    前記制御対象の制御結果に基づいて、前記第２の方策を更新することと、
    を実行し、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサは、
    第１のタスクを用いて前記第１の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第１の方策を更新すること、
    を実行する、
    制御装置。
  6. 前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つを用いて更新されたものである、
    請求項２乃至請求項５のいずれか１項に記載の制御装置。
  7. 前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
    請求項２乃至請求項６のいずれか１項に記載の制御装置。
  8. 前記第１の情報は、前記制御対象の行動に関する情報であり、
    前記第２の情報は、前記制御対象が前記行動を実現するための制御値に関する情報である、
    請求項１乃至請求項７のいずれか１項に記載の制御装置。
  9. 前記行動に関する情報は、前記制御対象の駆動部のトルク値に関する情報である、
    請求項８に記載の制御装置。
  10. 前記制御値に関する情報は、前記制御対象の駆動部の電流値に関する情報である、
    請求項８又は請求項９に記載の制御装置。
  11. 前記行動は、少なくとも二足歩行及び物体の把持のいずれかを実現するためのものである、
    請求項８乃至請求項１０のいずれか１項に記載の制御装置。
  12. 前記第１の方策及び前記第２の方策は、深層強化学習を用いて更新されたものである、
    請求項１乃至請求項１１のいずれか１項に記載の制御装置。
  13. 前記環境情報は、少なくとも、前記実環境における画像及び前記制御対象の駆動部の計測値のいずれか１つに関する情報を含む、
    請求項１乃至請求項１２のいずれか１項に記載の制御装置。
  14. 請求項１乃至請求項１３のいずれか１項に記載の制御装置と、
    前記環境情報を取得するためのセンサと、
    前記制御対象と、
    を備えるシステム。
  15. 少なくとも１つのプロセッサが、
    実環境における環境情報を取得し、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
    前記第２の情報に基づいて、前記制御対象を制御する、
    制御方法であって、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つの制御結果に基づいて更新されたものであり、
    前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
    制御方法。
  16. 少なくとも１つのプロセッサが、
    実環境における環境情報を取得し、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
    前記第２の情報に基づいて、前記制御対象を制御する、
    制御方法であって、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサが、更に、
    前記シミュレーション環境における環境情報を取得し、
    前記シミュレーション環境における環境情報及び前記第１の方策に基づいて、前記仮想の制御対象の制御に関する第３の情報を取得し、
    前記第３の情報に基づいて、前記仮想の制御対象を制御し、
    前記仮想の制御対象の制御結果に基づいて、前記第１の方策を更新する、
    制御方法。
  17. 少なくとも１つのプロセッサが、
    実環境における環境情報を取得し、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
    前記第２の情報に基づいて、前記制御対象を制御し、
    前記制御対象の制御結果に基づいて、前記第２の方策を更新する、
    制御方法であって、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサが、
    前記第１の方策を更新した後、前記第２の方策を更新し、
    前記第２の方策を更新した後、前記第１の方策を更新する、
    制御方法。
  18. 少なくとも１つのプロセッサが、
    実環境における環境情報を取得し、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
    前記第２の情報に基づいて、前記制御対象を制御し、
    前記制御対象の制御結果に基づいて、前記第２の方策を更新する、
    制御方法であって、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサが、
    第１のタスクを用いて前記第２の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第２の方策を更新する、
    制御方法。
  19. 少なくとも１つのプロセッサが、
    実環境における環境情報を取得し、
    前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
    前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
    前記第２の情報に基づいて、前記制御対象を制御し、
    前記制御対象の制御結果に基づいて、前記第２の方策を更新する、
    制御方法であって、
    前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
    前記少なくとも１つのプロセッサが、
    第１のタスクを用いて前記第１の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第１の方策を更新する、
    制御方法。
  20. 前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つを用いて更新されたものである、
    請求項１６乃至請求項１９のいずれか１項に記載の制御方法。
  21. 前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
    請求項１６乃至請求項２０のいずれか１項に記載の制御方法。
  22. 前記第１の情報は、前記制御対象の行動に関する情報であり、
    前記第２の情報は、前記制御対象が前記行動を実現するための制御値に関する情報である、
    請求項１５乃至請求項２１のいずれか１項に記載の制御方法。
  23. 前記行動に関する情報は、前記制御対象の駆動部のトルク値に関する情報である、
    請求項２２に記載の制御方法。
  24. 前記制御値に関する情報は、前記制御対象の駆動部の電流値に関する情報である、
    請求項２２又は請求項２３に記載の制御方法。
  25. 前記行動は、少なくとも二足歩行及び物体の把持のいずれかを実現するためのものである、
    請求項２２乃至請求項２４のいずれか１項に記載の制御方法。
  26. 前記第１のタスク及び前記第２のタスクは二足歩行であって、前記第２のタスクの歩行速度は前記第１のタスクの歩行速度より速い、
    請求項１８又は請求項１９に記載の制御方法。
  27. 前記第１の方策及び前記第２の方策は、深層強化学習を用いて更新される、
    請求項１５乃至請求項２６のいずれか１項に記載の制御方法。
  28. 前記第２の方策を用いて、前記第１の方策を更新する、
    請求項１５乃至請求項２７のいずれか１項に記載の制御方法。
  29. 請求項１５乃至請求項２８のいずれか１項に記載の制御方法を、前記少なくとも１つのプロセッサに実行させるプログラム。
JP2020529025A 2018-07-04 2019-07-03 制御装置、システム、制御方法、及びプログラム Active JP7398373B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018127803 2018-07-04
JP2018127803 2018-07-04
PCT/JP2019/026414 WO2020009139A1 (ja) 2018-07-04 2019-07-03 学習方法、学習装置、学習システム及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2020009139A1 JPWO2020009139A1 (ja) 2021-07-08
JPWO2020009139A5 JPWO2020009139A5 (ja) 2022-07-12
JP7398373B2 true JP7398373B2 (ja) 2023-12-14

Family

ID=69059532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529025A Active JP7398373B2 (ja) 2018-07-04 2019-07-03 制御装置、システム、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210107144A1 (ja)
JP (1) JP7398373B2 (ja)
WO (1) WO2020009139A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580795B (zh) * 2019-09-29 2024-09-06 华为技术有限公司 一种神经网络的获取方法以及相关设备
TWI757999B (zh) * 2020-12-04 2022-03-11 國立陽明交通大學 即時避障系統、即時避障方法及具有即時避障功能的無人載具
CN112363402B (zh) * 2020-12-21 2021-05-14 杭州未名信科科技有限公司 基于模型相关强化学习的足式机器人的步态训练方法、装置、电子设备及介质
JP7538756B2 (ja) * 2021-03-18 2024-08-22 株式会社東芝 データ生成装置、データ生成方法、制御装置、制御方法及びプログラム
KR102346900B1 (ko) * 2021-08-05 2022-01-04 주식회사 애자일소다 픽 앤 플레이스 시스템을 위한 심층 강화학습 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178492A (ja) 2002-11-29 2004-06-24 Mitsubishi Heavy Ind Ltd 強化学習法を用いたプラントシミュレーション方法
JP2004322224A (ja) 2003-04-21 2004-11-18 Yaskawa Electric Corp ロボット制御装置
JP2014211667A (ja) 2013-04-17 2014-11-13 日本電信電話株式会社 ロボット協調搬送計画装置、方法及びプログラム
CN106228314A (zh) 2016-08-11 2016-12-14 电子科技大学 基于深度增强学习的工作流调度方法
JP2017030137A (ja) 2015-07-31 2017-02-09 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP2017030135A (ja) 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2017185577A (ja) 2016-04-04 2017-10-12 ファナック株式会社 シミュレーション結果を利用して学習を行う機械学習装置，機械システム，製造システムおよび機械学習方法
JP2017211913A (ja) 2016-05-27 2017-11-30 日本電信電話株式会社 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム
US20180165602A1 (en) 2016-12-14 2018-06-14 Microsoft Technology Licensing, Llc Scalability of reinforcement learning by separation of concerns

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554370B2 (en) * 2009-05-15 2013-10-08 Honda Motor Co., Ltd Machine learning approach for predicting humanoid robot fall
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
WO2017197018A2 (en) * 2016-05-10 2017-11-16 Trustees Of Tufts College Systems and methods enabling online one-shot learning and generalization by intelligent systems of task-relevant features and transfer to a cohort of intelligent systems
CN115338859A (zh) * 2016-09-15 2022-11-15 谷歌有限责任公司 机器人操纵的深度强化学习
WO2018071392A1 (en) * 2016-10-10 2018-04-19 Deepmind Technologies Limited Neural networks for selecting actions to be performed by a robotic agent
EP3595850A1 (en) * 2017-04-17 2020-01-22 Siemens Aktiengesellschaft Mixed reality assisted spatial programming of robotic systems
US10935982B2 (en) * 2017-10-04 2021-03-02 Huawei Technologies Co., Ltd. Method of selection of an action for an object using a neural network
US11688160B2 (en) * 2018-01-17 2023-06-27 Huawei Technologies Co., Ltd. Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations
US11709462B2 (en) * 2018-02-12 2023-07-25 Adobe Inc. Safe and efficient training of a control agent
KR102619004B1 (ko) * 2018-12-14 2023-12-29 삼성전자 주식회사 로봇 장치 및 로봇의 작업 기술을 학습하는 방법
US11768504B2 (en) * 2020-06-10 2023-09-26 AI Incorporated Light weight and real time slam for robots
US20220143821A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface stiffness

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178492A (ja) 2002-11-29 2004-06-24 Mitsubishi Heavy Ind Ltd 強化学習法を用いたプラントシミュレーション方法
JP2004322224A (ja) 2003-04-21 2004-11-18 Yaskawa Electric Corp ロボット制御装置
JP2014211667A (ja) 2013-04-17 2014-11-13 日本電信電話株式会社 ロボット協調搬送計画装置、方法及びプログラム
JP2017030137A (ja) 2015-07-31 2017-02-09 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP2017030135A (ja) 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2017064910A (ja) 2015-07-31 2017-04-06 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2017185577A (ja) 2016-04-04 2017-10-12 ファナック株式会社 シミュレーション結果を利用して学習を行う機械学習装置，機械システム，製造システムおよび機械学習方法
JP2017211913A (ja) 2016-05-27 2017-11-30 日本電信電話株式会社 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム
CN106228314A (zh) 2016-08-11 2016-12-14 电子科技大学 基于深度增强学习的工作流调度方法
US20180165602A1 (en) 2016-12-14 2018-06-14 Microsoft Technology Licensing, Llc Scalability of reinforcement learning by separation of concerns

Also Published As

Publication number Publication date
JPWO2020009139A1 (ja) 2021-07-08
US20210107144A1 (en) 2021-04-15
WO2020009139A1 (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP7398373B2 (ja) 制御装置、システム、制御方法、及びプログラム
US11429854B2 (en) Method and device for a computerized mechanical device
US11886997B2 (en) Training action selection neural networks using apprenticeship
Fu et al. One-shot learning of manipulation skills with online dynamics adaptation and neural network priors
US11458630B2 (en) Mitigating reality gap through simulating compliant control and/or compliant contact in robotic simulator
CN110355751B (zh) 控制装置和机器学习装置
US8725294B2 (en) Controlling the interactive behavior of a robot
Tan et al. Simulation-based design of dynamic controllers for humanoid balancing
US20210158162A1 (en) Training reinforcement learning agents to learn farsighted behaviors by predicting in latent space
Colomé et al. A friction-model-based framework for reinforcement learning of robotic tasks in non-rigid environments
JP5225720B2 (ja) ロボットのモーションの発生及び制御のための装置ならびに方法
US20200104685A1 (en) Learning motor primitives and training a machine learning system using a linear-feedback-stabilized policy
US11759947B2 (en) Method for controlling a robot device and robot device controller
TWI802820B (zh) 機器人控制裝置、方法和儲存媒體
Sievers et al. Learning purely tactile in-hand manipulation with a torque-controlled hand
US11790042B1 (en) Mitigating reality gap through modification of simulated state data of robotic simulator
CN111783250B (zh) 柔性机器人末端抵达控制方法、电子设备和存储介质
CN110799308B (zh) 利用耐噪声结构化探索确定对于机器人的控制策略
US11631028B2 (en) Method of updating policy for controlling action of robot and electronic device performing the method
US10556336B1 (en) Determining robot inertial properties
Sutanto et al. Learning sensor feedback models from demonstrations via phase-modulated neural networks
JPWO2020009139A5 (ja) 制御装置、システム、制御方法、方策更新方法、及び生成方法
JP7336856B2 (ja) 情報処理装置、方法及びプログラム
Singh et al. Mc-Mujoco: simulating articulated robots with FSM controllers in MuJoCo
WO2021186500A1 (ja) 学習装置、学習方法、及び、記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7398373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150