JP7336856B2 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
JP7336856B2
JP7336856B2 JP2019037752A JP2019037752A JP7336856B2 JP 7336856 B2 JP7336856 B2 JP 7336856B2 JP 2019037752 A JP2019037752 A JP 2019037752A JP 2019037752 A JP2019037752 A JP 2019037752A JP 7336856 B2 JP7336856 B2 JP 7336856B2
Authority
JP
Japan
Prior art keywords
simulation
information processing
state
processing apparatus
virtual world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019037752A
Other languages
English (en)
Other versions
JP2020140641A5 (ja
JP2020140641A (ja
Inventor
健太郎 今城
叡一 松元
大輔 岡野原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Priority to JP2019037752A priority Critical patent/JP7336856B2/ja
Priority to PCT/JP2020/003419 priority patent/WO2020179299A1/ja
Publication of JP2020140641A publication Critical patent/JP2020140641A/ja
Priority to US17/446,347 priority patent/US20210387343A1/en
Publication of JP2020140641A5 publication Critical patent/JP2020140641A5/ja
Application granted granted Critical
Publication of JP7336856B2 publication Critical patent/JP7336856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、情報処理装置、方法及びプログラムに関する。
従来より、現実世界を再現した仮想的なモデルを用いてシミュレーションを行うシミュレーション装置として、物理シミュレータが知られている。一般に、物理シミュレータは、順方向への計算を実行するように構成されている。
特開２００２－９１５７０号公報 特開２０１４－１３０４９５号公報
しかしながら、上記のようなシミュレーション装置では、高精度なシミュレーションを実現することが難しい。
本開示の一態様による情報処理装置は、例えば、以下のような構成を有する。即ち、
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
現実世界の観測結果に基づく情報と、物体に関する環境変数と、に基づいて、仮想世界の状態についてシミュレーションを実行し、
前記シミュレーションの結果と変化後の前記仮想世界の状態との間の誤差を計算し、前記誤差に基づいて前記環境変数を更新し、
変化後の前記仮想世界の状態は、変化後の前記現実世界の観測結果に基づいて生成される。
シミュレーションシステムの全体構成の一例を示す図である。 シミュレーション装置のハードウェア構成の一例を示す図である。 ロボットの機能構成の一例を示す図である。 シミュレーション装置の機能構成の一例を示す図である。 環境変数決定処理の流れを示すフローチャートである。 環境変数決定処理に関わるシミュレーション装置の各部の動作を説明するための図である。 差異低減変数決定処理の流れを示すフローチャートである。 差異低減変数決定処理に関わるシミュレーション装置の各部の動作を説明するための図である。 ロボット制御変数決定処理の流れを示すフローチャートである。 ロボット制御変数決定処理に関わるシミュレーション装置の各部の動作を説明するための図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜シミュレーションシステムの全体構成＞
はじめに、第１の実施形態に係る情報処理装置を含むシミュレーションシステム全体の構成について説明する。図１は、シミュレーションシステムの全体構成の一例を示す図である。
図１に示すように、本実施形態のシミュレーションシステム１００は、ロボット１１０と、情報処理装置の一例であるシミュレーション装置１２０とを有する。ロボット１１０とシミュレーション装置１２０とは、通信可能に接続される。
ロボット１１０は、センサ装置１１１と、駆動装置１１２と、制御装置１１３とを含む。センサ装置１１１は、現実世界を観測する装置であり、例えば、カメラ、センサ等を含む。なお、現実世界とは、シミュレーション装置１２０がシミュレーションを行う対象を指す。また、現実世界は、例えば、観測する対象が室内の場合にあっては、室内の内壁や室内に置かれた物体等（家具、家電製品、他のロボット等）のうちの少なくともいずれかを含む。駆動装置１１２は、現実世界に作用する要素であり、例えば、アームやエンドエフェクタ等のロボット１１０の各パーツを動作させるアクチュエータ、モータ等を含む。
制御装置１１３には、観測及び制御プログラムがインストールされており、当該プログラムが実行されることで、制御装置１１３は、観測及び制御部１１４として機能する。
観測及び制御部１１４は、センサ装置１１１からの出力に基づいて現実世界を観測し、現実世界の観測結果に基づいて仮想世界の状態（シミュレーション装置１２０で処理可能な形式のデータ）を生成する。観測及び制御部１１４は、生成した仮想世界の状態を、シミュレーション装置１２０に送信する。
また、観測及び制御部１１４は、生成した仮想世界の状態をシミュレーション装置１２０に送信したことに応じて、シミュレーション装置１２０からロボット制御方法を受信し、駆動装置１１２を制御する。ロボット制御方法には、例えば、駆動装置１１２の種類に応じた制御項目（角度、位置、速度等）と、対応する制御量（角度値、座標、速度値等）が含まれる。
シミュレーション装置１２０には、シミュレーションプログラムがインストールされており、当該プログラムが実行されることで、シミュレーション装置１２０は、シミュレーション部１２１として機能する。
シミュレーション部１２１は、現実世界を再現するための微分可能な物理シミュレータを有する。また、シミュレーション部１２１は、微分可能な物理シミュレータを用いてシミュレーションを実行した場合のシミュレーション結果を修正する、"現実化のためのＮＮ（Neural Network・ニューラルネットワーク）"のモデルを有する。更に、シミュレーション部１２１は、仮想世界の状態を受信した際、ロボット制御方法を出力する、"行動のためのＮＮ"のモデルを有する。
具体的には、シミュレーション部１２１は、微分可能な物理シミュレータがシミュレーションを行うことでシミュレーション結果を出力する。また、シミュレーション部１２１において、シミュレーション結果を、現実化のためのＮＮが修正する。また、シミュレーション部１２１は、修正後のシミュレーション結果が、観測及び制御部１１４から受信した仮想世界の状態に一致するように、微分可能な物理シミュレータの入力変数、及び／又は、現実化のためのＮＮの入力変数を更新する。これにより、シミュレーション部１２１では、高精度なシミュレーションを実現することができる。
また、シミュレーション部１２１は、行動のためのＮＮにより出力されたロボット制御方法に基づいてロボット１１０を制御した場合の報酬に基づいて、例えば、報酬が最大となるように、行動のためのＮＮの入力変数を更新する。これにより、シミュレーション部１２１では、仮想世界の状態を受信した際、最適なロボット制御方法を出力することができる。
なお、ＮＮ（現実化のためのＮＮ、行動のためのＮＮ）は微分可能に処理を行うため、出力結果について誤差逆伝播を行うことで、入力変数を更新することができる。
＜シミュレーション装置のハードウェア構成＞
次に、シミュレーション装置１２０のハードウェア構成について説明する。図２は、シミュレーション装置のハードウェア構成の一例を示す図である。
図２に示すように、本実施形態のシミュレーション装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。また、シミュレーション装置１２０は、ＧＰＵ（Graphics Processing Unit）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０４などのプロセッサ（処理回路、Processing Circuit、Processing Circuitry）と、ＲＯＭ２０２、ＲＡＭ２０３などのメモリは、いわゆるコンピュータを形成する。
更に、シミュレーション装置１２０は、補助記憶装置２０５、操作装置２０６、表示装置２０７、Ｉ／Ｆ（Interface）装置２０８、ドライブ装置２０９を有する。なお、シミュレーション装置１２０の各ハードウェアは、バス２１０を介して相互に接続される。
ＣＰＵ２０１は、補助記憶装置２０５にインストールされた各種プログラム（例えば、シミュレーションプログラム等）を実行する演算デバイスである。
ＲＯＭ２０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０２は、補助記憶装置２０５にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０５にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。
ＧＰＵ２０４は、画像処理用の演算デバイスであり、ＣＰＵ２０１によりシミュレーションプログラムが実行される際に、各種画像データについて、並列処理による高速演算を行う。なお、ＧＰＵ２０４は、内部メモリ（ＧＰＵメモリ）を搭載しており、各種画像データについて並列処理を行う際に必要な情報を一時的に保持する。
補助記憶装置２０５は、各種プログラムや、各種プログラムがＣＰＵ２０１によって実行される際に用いられる各種データ等を格納する。
操作装置２０６は、シミュレーション装置１２０の管理者がシミュレーション装置１２０に対して各種指示を入力する際に用いる入力デバイスである。表示装置２０７は、シミュレーション装置１２０の内部状態を表示する表示デバイスである。Ｉ／Ｆ装置２０８は、他の装置（本実施形態では、ロボット１１０）と接続し、通信を行うための接続デバイスである。
ドライブ装置２０９は記録媒体２２０をセットするためのデバイスである。ここでいう記録媒体２２０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２２０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０５にインストールされる各種プログラムは、例えば、配布された記録媒体２２０がドライブ装置２０９にセットされ、該記録媒体２２０に記録された各種プログラムがドライブ装置２０９により読み出されることでインストールされる。あるいは、補助記憶装置２０５にインストールされる各種プログラムは、不図示のネットワークを介してダウンロードされることで、インストールされてもよい。
＜ロボットの機能構成＞
次に、本実施形態のロボット１１０の機能構成について説明する。図３は、ロボットの機能構成の一例を示す図である。図３に示すように、センサ装置１１１は、例えば、カメラ３０１とセンサ３０２とを有する。
カメラ３０１は、現実世界を撮影することで、各時間（図３の例では、時間ｔｎ－２～ｔｎ＋１）のフレーム画像を生成し、動画像データとして制御装置１１３に通知する。また、センサ３０２は、現実世界を計測することで、各時間（図３の例では、時間ｔｎ－２～ｔｎ＋１）のセンサデータを生成し、制御装置１１３に通知する。
駆動装置１１２は、アクチュエータ３２１とモータ３２２とを有する。アクチュエータ３２１及びモータ３２２は、例えば、制御装置１１３による制御のもとで、ロボット１１０の各パーツを動作させることで現実世界に作用し、現実世界を変化させる。
制御装置１１３の観測及び制御部１１４は、現実環境観測部３１１と、ロボット制御部３１２とを有する。現実環境観測部３１１は、センサ装置１１１より動画像データ及びセンサデータを取得し、各時間（図３の例では、時間ｔｎ－２～ｔｎ＋１）の現実世界を定量化する。一例として、ロボット１１０が物体をつかんで所定の位置に移動させるタスクを実行する場合について説明する。この場合、現実環境観測部３１１は、例えば、ロボット１１０が物体をつかんでいる状態を撮影した動画像データを取得し、各フレーム画像における物体の位置、角度、物体をつかんでいるロボット１１０のエンドエフェクタの位置、角度等を算出する。これにより、現実環境観測部３１１は、例えば、ロボット１１０が物体を正しくつかむことができたか否かを定量的に把握することができる。
また、現実環境観測部３１１は、例えば、ロボット１１０が物体をつかんでいる状態においてセンサ３０２により検出された、ロボット１１０のアームの位置、角度等を取得し、正規化する。これにより、現実環境観測部３１１は、例えば、ロボット１１０が物体をつかむためにどのような動作を行ったかを定量的に把握することができる。
このように、現実世界を定量化することで、現実環境観測部３１１は、仮想世界の各時間の状態を示すデータを生成する。このデータは後に利用されるシミュレーション装置１２０で処理可能な形式のデータであることが好ましい。なお、本実施形態において、仮想世界の各時間の状態は、例えば、状態（ｔｎ－２）～状態（ｔｎ＋１）と表現する。また、以下では、"状態を示すデータ"を、単に、"状態"と記載する。現実環境観測部３１１は、仮想世界の各時間の状態を、シミュレーション装置１２０に送信する。
なお、現実環境観測部３１１は、カメラ３０１で撮影された動画像データや、センサ３０２で計測されたセンサデータそのものを、仮想世界の各時間の状態として、シミュレーション装置１２０に送信するように構成してもよい。
ロボット制御部３１２は、シミュレーション装置１２０よりロボット制御方法を受信し、駆動装置１１２を制御する。上述したとおり、ロボット制御方法には、例えば、制御項目として、角度、速度、位置等が含まれる。ロボット制御部３１２は当該ロボット制御方法に応じた制御量に基づき、アクチュエータ３２１及びモータ３２２等を制御する。
＜シミュレーション装置の機能構成＞
次に、シミュレーション装置の機能構成について説明する。図４は、シミュレーション装置の機能構成の一例を示す図である。図４に示すように、本実施形態のシミュレーション部１２１は、例えば、仮想世界記憶部４１０、ロボット制御処理計算部４２０、報酬算出部４３０、微分可能物理シミュレーション計算部４４０、差異低減処理計算部４５０、差分部４６０を有する。
仮想世界記憶部４１０は、現実環境観測部３１１より送信された、仮想世界の各時間の状態を取得し、記憶する。
ロボット制御処理計算部４２０は、行動のためのＮＮのモデルを有する。ロボット制御処理計算部４２０は、例えば、処理対象の時間（例えば、時間ｔｎ）における仮想世界の状態（状態（ｔｎ））と、環境変数（現実世界における物体の特性等を表す物理量（重さ、大きさ等））とを入力とし、ロボット制御方法を出力する。なお、本実施形態において、ロボット制御処理計算部４２０に入力される環境変数は、後述する微分可能物理シミュレーション計算部４４０に入力される環境変数と同じである。
なお、ロボット制御処理計算部４２０は第２の訓練部として機能してもよい。具体的には、ロボット制御処理計算部４２０は、ロボット制御方法を出力したことに応じて、仮想世界の状態が変化した場合の、変化後の状態（例えば、状態（ｔｎ＋１））の報酬に基づいて、例えば、報酬が最大となるように、誤差逆伝播を行う。これにより、ロボット制御処理計算部４２０は、ロボット制御変数（行動のためのＮＮの入力変数の１つ）を更新する。このようにして、ロボット制御処理計算部４２０が訓練され、訓練済みの第２の訓練部が生成される。
報酬算出部４３０は算出部の一例であり、変化後の仮想世界の状態に基づいて報酬を算出する。報酬算出部４３０により算出される報酬は、ロボット制御処理計算部４２０により出力されたロボット制御方法によるロボット１１０の制御の良し悪しを数値化したものである。
微分可能物理シミュレーション計算部４４０は、各計算が微分可能な物理シミュレータであり（言い換えると、物理シミュレータを、微分可能なフレームワークにおいて構築したものであり）、実行部として機能する。
具体的には、例えば、微分可能物理シミュレーション計算部４４０は、ロボット制御方法をロボット制御処理計算部４２０より取得する。また、微分可能物理シミュレーション計算部４４０は、例えば、処理対象の時間（例えば、時間ｔｎ）における仮想世界の状態（状態（ｔｎ））と、取得したロボット制御方法と、環境変数とを入力とし、シミュレーションを実行する。更に、微分可能物理シミュレーション計算部４４０は、例えば、処理対象の次の時間（例えば、時間ｔｎ＋１）における仮想世界の状態（状態（ｔｎ＋１））を、シミュレーション結果として出力する。
なお、微分可能物理シミュレーション計算部４４０は更新部としても機能してもよい。具体的には、例えば、微分可能物理シミュレーション計算部４４０は、仮想世界のそれぞれの時間における状態と、それぞれの時間における状態に基づいて出力されたロボット制御方法とを入力とすることで得られるシミュレーション結果について、誤差逆伝播を行う。これにより、微分可能物理シミュレーション計算部４４０は、入力変数の１つである環境変数を更新する。
このとき、微分可能物理シミュレーション計算部４４０では、シミュレーション結果が、観測及び制御部１１４から受信した、変化後の仮想世界の状態に一致するように、環境変数を更新する。なお、微分可能物理シミュレーション計算部４４０に入力される環境変数が更新されると、ロボット制御処理計算部４２０に入力される環境変数もそれに対応して更新されることが好ましい。例えば、微分可能物理シミュレーション計算部４４０に入力される環境変数と同じ値に更新されることが好ましい。これにより、ロボット制御処理計算部４２０では、最新の環境変数に基づいて、ロボット制御方法を出力することができる。
差異低減処理計算部４５０は、現実化のためのＮＮのモデルを有する。差異低減処理計算部４５０は、微分可能物理シミュレーション計算部４４０のシミュレーション結果を入力とし、修正後のシミュレーション結果を出力する。
また、差異低減処理計算部４５０は第１の訓練部として機能することができる。具体的には、差異低減処理計算部４５０は、様々なシミュレーション結果を入力とすることで得られる修正後のシミュレーション結果について、誤差逆伝播を行うことで、現実化のためのＮＮの入力変数の１つである差異低減変数を更新することができる。このようにして、差異低減処理計算部４５０が訓練され、訓練済みの第１の訓練部が生成される。
つまり、差異低減処理計算部４５０は、シミュレーション結果が、観測及び制御部１１４から受信した、変化後の仮想世界の状態に一致するように差異低減変数を更新することで、シミュレーション結果を現実世界に近似させる、好ましくは一致させる役割を果たす。
これは、微分可能物理シミュレーション計算部４４０において、現実世界の物体の特性を、環境変数として予め完全に規定しておくことは困難であり、通常、シミュレーション結果は、変化後の仮想世界の状態と一致しないからである。換言すると、差異低減処理計算部４５０は、環境変数として規定されていないこと、例えば物体の未知の特性等に起因するシミュレーション結果の誤差を低減させる役割を果たす。
差分部４６０は、修正後のシミュレーション結果と、観測及び制御部１１４から受信した、変化後の仮想世界の状態（状態（ｔｎ＋１））とを対比し、対比の結果が、所定の条件を満たすか否かを判定する。なお、修正後のシミュレーション結果は、例えば、観測及び制御部１１４から受信した、変化後の仮想世界の状態と対比可能な形式に変換されたうえで、差分部４６０にて対比されることができる。
例えば、変化後の仮想世界の状態（状態（ｔｎ＋１）として、仮想世界記憶部４１０に、動画像データのフレーム画像が記憶されていたとする。この場合、差分部４６０は、例えば、修正後のシミュレーション結果を、画像の形式に変換したうえで対比する。
また、変化後の仮想世界の状態（状態（ｔｎ＋１）として、仮想世界記憶部４１０に、正規化されたロボット１１０のアームの位置、角度が記憶されていたとする。この場合、差分部４６０は、例えば、修正後のシミュレーション結果を、正規化した位置、角度の形式に変換したうえで対比する。
なお、上述した環境変数の更新及び差異低減変数の更新は、差分部４６０による対比の結果が所定の条件を満たす（例えば、差分がゼロ、あるいは所定の閾値以下）と判定されるまで行われる。
＜シミュレーションシステムにおける処理の流れ＞
次に、シミュレーションシステム１００における処理の流れについて説明する。上記説明から明らかなように、シミュレーションシステム１００において実行される処理は、以下の３つの処理（３種類の入力変数を更新し、決定する処理）に大別することができる。
・環境変数を更新し、決定する環境変数決定処理
・差異低減変数を更新し、決定する差異低減変数決定処理
・ロボット制御変数を更新し、決定するロボット制御変数決定処理
以下、これらの処理について、対応する各部の動作（図４で示した機能構成の各部のうち、これらの処理に関わる各部の動作）を参照しながら説明する。
（１）環境変数決定処理
はじめに、環境変数決定処理について、図５及び図６を用いて説明する。図５は、環境変数決定処理の流れの一例を示すフローチャートである。また、図６は、環境変数決定処理に関わるシミュレーション装置の各部の動作の一例を説明するための図である。以下、図６を参照しながら、図５のフローチャートについて説明する。なお、環境変数決定処理を行うにあたり、ロボット制御処理計算部４２０のロボット制御変数、及び、差異低減処理計算部４５０の差異低減変数は、所定の値に固定されているものとする。また、以下では、具体例として、ロボット１１０が物体をつかんで所定の位置に移動させるタスクを実行するケースを挙げ、当該ケースに沿って説明する。
ステップＳ５０１において、ロボット制御処理計算部４２０及び微分可能物理シミュレーション計算部４４０は、環境変数（初期値）を取得する（図６の矢印６０１、６０２参照）。
ステップＳ５０２において、センサ装置１１１は現実世界を撮影または計測する。例えば、センサ装置１１１は、ロボット１１０が物体をつかんだ状態を撮影または計測する。
ステップＳ５０３において、観測及び制御部１１４は、仮想世界の状態を算出し、シミュレーション装置１２０に送信する（図６の矢印６０３参照）。これにより、図６に示すように、仮想世界記憶部４１０には、処理対象の時間（ここでは、時間ｔｎとする）と対応付けて、仮想世界の状態（状態（ｔｎ））が記憶される。
ステップＳ５０４において、ロボット制御処理計算部４２０は、処理対象の時間（時間ｔｎ）における仮想世界の状態（状態（ｔｎ））と、環境変数（ここでは、初期値）とを入力とし（図６の矢印６０１、６０４参照）、ロボット制御方法を出力する。なお、ロボット制御処理計算部４２０は、ロボット制御方法を、ロボット１１０の制御装置１１３及び微分可能物理シミュレーション計算部４４０に出力する（図６の矢印６０６、６０７参照）。ここでは、ロボット制御処理計算部４２０は、例えば、ロボット１１０が、つかんだ物体を持ち上げるためのロボット制御方法を出力する。
ステップＳ５１１において、ロボット１１０の制御装置１１３は、ロボット制御方法に基づいて駆動装置１１２を制御する。これにより、ロボット１１０は、つかんだ物体を持ち上げる。このとき、ロボット１１０が物体をつかむ力が、物体の重さに対して小さく、ロボット１１０が物体を持ち上げた際に、物体がずれたとする。
ステップＳ５１２において、センサ装置１１１は、駆動装置１１２が制御されることで変化した現実世界を撮影または計測する。具体的には、ロボット１１０によって、物体がずれて持ち上げられた状態を撮影または計測する。
ステップＳ５１３において、観測及び制御部１１４は、例えば、変化後の現実世界を撮影または計測したことに応じて変化後の仮想世界の状態を算出し、シミュレーション装置１２０に送信する（図６の矢印６０８参照）。これにより、仮想世界記憶部４１０には、仮想世界の時間ｔｎ＋１における状態である、状態（ｔｎ＋１）が記憶される。
一方、ステップＳ５２１において、微分可能物理シミュレーション計算部４４０には、処理対象の時間（時間ｔｎ）における仮想世界の状態（状態（ｔｎ））と、ロボット制御方法と、環境変数（ここでは、初期値）とが入力される。（図６の矢印６０２、６０５、６０７参照）。具体的には、微分可能物理シミュレーション計算部４４０には、ロボット１１０が、つかんだ物体を持ち上げるためのロボット制御方法が入力される。また、微分可能物理シミュレーション計算部４４０には、環境変数として、例えば、物体の重さ（ここでは、初期値）が入力される。
これにより、微分可能物理シミュレーション計算部４４０は、シミュレーション結果を出力する（図６の矢印６０９参照）。
ステップＳ５２２において、差異低減処理計算部４５０は、微分可能物理シミュレーション計算部４４０のシミュレーション結果を入力とし、修正後のシミュレーション結果を出力する（図６の矢印６１０参照）。ここでは、差異低減処理計算部４５０が、修正後のシミュレーション結果として、例えば、ロボット１１０が、つかんだ物体をずれることなく持ち上げた状態を出力したとする。
ステップＳ５３１において、差分部４６０は、修正後のシミュレーション結果と、変化後の仮想世界の状態（状態（ｔｎ＋１））とを対比する（図６の矢印６１０、６１１参照）。
ステップＳ５３２において、差分部４６０は、対比の結果が、更新終了の第１の条件を満たすか否かを判定する。ステップＳ５３２において、更新終了の第１の条件を満たさないと判定した場合には（ステップＳ５３２においてＮｏの場合には）、ステップＳ５３３に進む。
上述したとおり、ステップＳ５１２では、ロボット１１０によって、物体がずれて持ち上げられた状態が撮影または計測されており、ステップＳ５１３において、当該状態が、変化後の仮想世界の状態（状態（ｔｎ＋１））として記憶されている。一方で、ステップＳ５２２では、修正後のシミュレーション結果として、ロボット１１０が、つかんだ物体をずれることなく持ち上げた状態が出力されている。このため、差分部４６０では、更新終了の第１の条件を満たさないと判定する。
ステップＳ５３３において、差異低減処理計算部４５０及び微分可能物理シミュレーション計算部４４０は、対比の結果に応じて誤差逆伝播を行い、環境変数を更新する（図６の矢印６１２参照）。具体的には、微分可能物理シミュレーション計算部４４０は、環境変数として、物体の重さを更新する。なお、ここでは、差異低減処理計算部４５０が誤差逆伝播を行う際、差異低減変数は更新されないものとする。また、微分可能物理シミュレーション計算部４４０のモデルパラメータ自体も更新されないものとする。
ステップＳ５３３において微分可能物理シミュレーション計算部４４０により、環境変数が更新されると、ステップＳ５０２に戻る。
一方、ステップＳ５３２において、更新終了の第１の条件を満たすと判定した場合には（ステップＳ５３２においてＹｅｓの場合には）、ステップＳ５３４に進み、現在の環境変数を、現実世界の環境を表す物理量として決定し、環境変数決定処理を終了する。
（２）差異低減変数決定処理
次に、差異低減変数決定処理について、図７及び図８を用いて説明する。図７は、差異低減変数決定処理の流れの一例を示すフローチャートである。また、図８は、差異低減変数決定処理に関わるシミュレーション装置の各部の動作の一例を説明するための図である。以下、図８を参照しながら、図７のフローチャートについて説明する。なお、差異低減変数決定処理を行うにあたり、ロボット制御処理計算部４２０のロボット制御変数は、所定の値に固定されているものとする。また、環境変数は、図５の環境変数決定処理により決定された環境変数が用いられるものとする。
ステップＳ７０１において、ロボット制御処理計算部４２０及び微分可能物理シミュレーション計算部４４０は、決定された環境変数を取得する（図８の矢印８０１、８０２参照）。具体的には、ロボット制御処理計算部４２０及び微分可能物理シミュレーション計算部４４０は、決定された環境変数として、決定された物体の重さを取得する。
ステップＳ５０２からステップＳ５３１は、図５のステップＳ５０２からステップＳ５３１と同様であるため、ここでは、説明を省略する。
ただし、ステップＳ５０４において、ロボット制御処理計算部４２０は、決定された物体の重さに基づいて、つかんだ物体を持ち上げるためのロボット制御方法を出力する。これにより、ロボット１１０によって物体が持ち上げられた際のずれ量が、物体の重さが決定される前と比較して、小さくなる。つまり、ステップＳ５１２では、ロボット１１０によって、物体がややずれて持ち上げられた状態が撮影または計測され、ステップＳ５１３では、当該状態が変化後の仮想世界の状態として記憶される。
一方で、ステップＳ５２２において、差異低減処理計算部４５０は、修正後のシミュレーション結果として、例えば、ロボット１１０が、つかんだ物体をずれることなく持ち上げた状態を出力する。
ステップＳ７０２において、差分部４６０は、対比の結果が、更新終了の第２の条件を満たすか否かを判定する。ステップＳ７０２において、更新終了の第２の条件を満たさないと判定した場合には（ステップＳ７０２においてＮｏの場合には）、ステップＳ７０３に進む。
上述したとおり、ステップＳ５１３では、物体がややずれて持ち上げられた状態が、変化後の仮想世界の状態として記憶される。一方、ステップＳ５２２では、修正後のシミュレーション結果として、ロボット１１０が、つかんだ物体をずれることなく持ち上げた状態が出力される。このため、差分部４６０では、更新終了の第２の条件を満たさないと判定する。このように、更新終了の第２の条件を満たさないのは、環境変数として規定されていない物体の未知の特性（ここでは、物体表面の摩擦係数）が、シミュレーション結果に反映されていないためである。
ステップＳ７０３において、差異低減処理計算部４５０は、対比の結果に応じて誤差逆伝播を行い、差異低減変数を更新する（図８の矢印８０３参照）。これにより、差異低減処理計算部４５０では、シミュレーション結果の誤差（環境変数として規定されていない、物体表面の摩擦係数に起因する誤差）を修正する。
一方、ステップＳ７０２において、更新終了の第２の条件を満たすと判定した場合には（ステップＳ７０２においてＹｅｓの場合には）、ステップＳ７０４に進む。
ステップＳ７０４において、差異低減処理計算部４５０は、現在の差異低減変数を、差異低減処理計算部４５０の差異低減変数として決定し、差異低減変数決定処理を終了する。
（３）ロボット制御変数決定処理
次に、ロボット制御変数決定処理について、図９及び図１０を用いて説明する。図９は、ロボット制御変数決定処理の流れを示すフローチャートである。また、図１０は、ロボット制御変数決定処理に関わるシミュレーション装置の各部の動作を説明するための図である。以下、図１０を参照しながら、図９のフローチャートについて説明する。なお、ロボット制御変数決定処理を行うにあたり、環境変数は、図５の環境変数決定処理により決定された環境変数が用いられるものとする。また、差異低減変数は、図７の差異低減変数決定処理により決定された差異低減変数が用いられるものとする。なお、ロボット制御変数決定処理を開始するにあたり、仮想世界記憶部４１０には、予め初期状態が記憶されているものとする。
ステップＳ９０１において、ロボット制御処理計算部４２０及び微分可能物理シミュレーション計算部４４０は、決定された環境変数を取得する（図１０の矢印８０１、８０２参照）。
ステップＳ９０２において、ロボット制御処理計算部４２０には、処理対象の時間（例えば、時間ｔｎ）における仮想世界の状態（状態（ｔｎ））と、環境変数とが入力される（図１０の矢印８０１、１００１参照）。これにより、ロボット制御処理計算部４２０は、ロボット制御方法を、微分可能物理シミュレーション計算部４４０に出力する（図１０の矢印１００３参照）。
ステップＳ９０３において、微分可能物理シミュレーション計算部４４０には、処理対象の時間（時間ｔｎ）における仮想世界の状態（状態（ｔｎ））と、ロボット制御方法と、環境変数とが入力される（図１０の矢印８０２、１００２、１００３参照）。これにより、微分可能物理シミュレーション計算部４４０は、シミュレーション結果を出力する（図１０の矢印１００４参照）。
ステップＳ９０４において、差異低減処理計算部４５０は、微分可能物理シミュレーション計算部４４０のシミュレーション結果を入力とし、修正後のシミュレーション結果を出力する（図１０の矢印１００５参照）。なお、修正後のシミュレーション結果（例えば、時間ｔｎ＋１における仮想世界の状態（状態（ｔｎ＋１）））は、仮想世界記憶部４１０に記憶されるとともに、報酬算出部４３０に入力される。
ステップＳ９０５において、報酬算出部４３０は、修正後のシミュレーション結果に基づいて、報酬を算出する。具体的には、修正後のシミュレーション結果として、ロボット１１０が、つかんだ物体をずれることなく持ち上げた状態を出力した場合に、点数が上がるように規定したパラメータを、報酬として算出する。また、ずれることなく持ち上げた物体から、所定の位置までの距離が近いほど、点数が上がるように規定したパラメータを、報酬として算出する。
ステップＳ９０６において、報酬算出部４３０は、算出した報酬が所定の条件を満たすか否か（算出した報酬が最大か否か）を判定する。ステップＳ９０６において算出した報酬が所定の条件を満たさない場合には（ステップＳ９０６においてＮｏの場合には）、ステップＳ９０７に進む。
ステップＳ９０７において、差異低減処理計算部４５０、微分可能物理シミュレーション計算部４４０及びロボット制御処理計算部４２０は、算出された報酬に基づいて誤差逆伝播を行い、ロボット制御変数を更新する（図１０の矢印１００６参照）。具体的には、算出された報酬が最大となるように誤差逆伝播を行い、ロボット制御変数を更新する。その後、ロボット制御処理計算部４２０は、ステップＳ９０２に戻る。
一方、ステップＳ９０６において算出した報酬が所定の条件を満たす場合には（ステップＳ９０７においてＹｅｓの場合には）、ステップＳ９０８に進む。
ステップＳ９０８において、ロボット制御処理計算部４２０は、現在のロボット制御変数を、ロボット制御処理計算部４２０のロボット制御変数として決定し、ロボット制御処理決定処理を終了する。
このように、シミュレーション部１２１によれば、実際にロボット１１０を動作させることなく、ロボット制御変数決定処理を実行することができる。
また、ロボット制御変数決定処理を実行し、ロボット制御変数を最適化することで、ロボット制御処理計算部４２０では、以降、変化後の仮想世界の状態を受信するごとに、最適なロボット制御方法をロボット１１０に送信することができる。
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る情報処理装置の一例であるシミュレーション装置１２０は、
・現実世界の観測結果に基づいて算出された仮想世界の状態を取得する。
・現実世界に作用するロボットを制御する際のロボット制御方法を取得する。
・所定の環境変数のもとで、仮想世界の状態とロボット制御方法とを入力とし、変化後の仮想世界の状態について、微分可能なシミュレーションを実行することでシミュレーション結果を出力する。
・出力されたシミュレーション結果が、当該ロボット制御方法のもとでロボットを制御し現実世界が変化することで観測結果から算出された、変化後の仮想世界の状態に近づくように環境変数を更新する。
これにより、シミュレーション装置１２０によれば、現実世界における物体の特性を環境変数として再現することが可能となり、物理シミュレータ（微分可能物理シミュレーション計算部４４０）を、より現実世界に近づけることが可能となる。この結果、高精度なシミュレーションを実現することができる。
また、第１の実施形態に係る情報処理装置の一例であるシミュレーション装置１２０は、
・更新した環境変数のもとで、仮想世界の状態とロボット制御方法とを入力とし、微分可能なシミュレーションを実行することでシミュレーション結果を出力する。
・出力されたシミュレーション結果を修正し、修正後のシミュレーション結果を出力する。
・出力された修正後のシミュレーション結果が、当該ロボット制御方法のもとでロボットを制御し現実世界が変化することで観測結果から算出された、変化後の仮想世界の状態に近づくように、差異低減変数を更新する。つまり、出力されたシミュレーション結果と、修正後のシミュレーション結果との対応関係を訓練する。
これにより、シミュレーション装置１２０によれば、物理シミュレータ（微分可能物理シミュレーション計算部４４０）より出力されるシミュレーション結果を修正し、修正後のシミュレーション結果を、より現実世界に近づけることが可能となる。この結果、より高精度なシミュレーションを実現することができる。
更に、第１の実施形態に係る情報処理装置の一例であるシミュレーション装置１２０は、
・更新した環境変数のもとで、仮想世界の状態を入力とし、ロボット制御方法を出力する。
・更新した環境変数のもとで、仮想世界の状態と、出力されたロボット制御方法とを入力とし、微分可能なシミュレーションを実行することで、シミュレーション結果を出力する。また、出力されたシミュレーション結果を、更新された差異低減変数のもとで修正したうえで、報酬を算出する。
・算出された報酬に基づいて、仮想世界の状態とロボット制御方法との対応関係を訓練する。
これにより、シミュレーション装置１２０によれば、ロボットを実際に動作させることなく、仮想世界の状態とロボット制御方法との対応関係を訓練し、ロボット制御変数を最適化することができる。また、仮想世界の状態に基づいて最適なロボット制御方法を出力することができる。
［第２の実施形態］
上記第１の実施形態では、シミュレーションシステム１００が、環境変数決定処理、差異低減変数決定処理、ロボット制御変数決定処理の順序で、各処理を実行する場合について説明した。しかしながら、シミュレーションシステム１００が各処理を実行する際の実行順序はこれに限定されない。例えば、環境変数決定処理、差異低減変数決定処理、ロボット制御変数決定処理の順序で、各処理を実行した後に、再度、環境変数決定処理や、差異低減変数決定処理を実行してもよい。
また、上記第１の実施形態では、現実環境観測部３１１をロボット１１０の制御装置１１３内に配するものとして説明した。しかしながら、現実環境観測部３１１は、シミュレーション装置１２０のシミュレーション部１２１内に配されてもよい。
また、上記第１の実施形態において、シミュレーション装置１２０は、１台のコンピュータで実現されるものとして説明したが、シミュレーション装置１２０は、１または複数台のコンピュータで実現されてもよい。また、複数台のコンピュータで実現される場合にあっては、当該複数台のコンピュータは、複数箇所に離れて設置されていてもよい。
また、上記第１の実施形態において、シミュレーション装置１２０は、汎用のコンピュータに各種プログラムを実行させることでシミュレーション部１２１を実現するものとして説明したが、シミュレーション部１２１の実現方法はこれに限定されない。
例えば、プロセッサ、メモリなどを実装しているＩＣ（Integrated Circuit）などの専用の電子回路（すなわちハードウェア）により実現されてもよい。このとき、複数の構成要素が一つの電子回路で実現されてもよいし、一つの構成要素が複数の電子回路で実現されてもよいし、構成要素と電子回路が一対一で実現されてもよい。
［その他の実施形態］
上記第１及び第２の実施形態では、ロボット１１０が物体をつかんで所定の位置に移動させるタスクを実行する例について説明したが、ロボット１１０が実行するタスクはこれに限定されない。例えば、物体を移動させること、掃除機のように物体を吸引すること、あるいは、ロボット１１０自体が移動すること、等のタスクを実行してもよい。
上記第１及び第２の実施形態では、ロボット制御処理計算部４２０より出力されたロボット制御方法に基づいて、ロボット１１０を動作させることで、現実世界を変化させる場合について説明した。
しかしながら、上記シミュレーション装置１２０は、ロボット１１０を動作させることなく、現実世界が変化するような場合に対しても、適用することができる。ただし、このような場合に対して適用する際には、ロボット制御処理計算部４２０及び報酬算出部４３０は不要となる。つまり、シミュレーション部１２１は、仮想世界記憶部４１０、微分可能物理シミュレーション計算部４４０、差異低減処理計算部４５０により構成されてもよい。
ここで、ロボット１１０を動作させることなく、現実世界が変化する場合とは、例えば、微分可能物理シミュレーション計算部４４０を用いて、気象シミュレーションを行う場合等が挙げられる。具体的には、現在の気象の状態を入力とすることで得られるシミュレーション結果が、次の気象の状態に基づいて、好ましくは一致するように、差異低減処理計算部４５０を訓練させることで、高精度なシミュレーションを実現することが可能になる。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。例えば、情報処理装置内にその他のモデルが含まれてもよい。また、例えば、取得、入力、出力等として、その他の情報を含んでもよい。また、例えば、取得、入力、出力等される情報は、その情報を処理して得られた情報であってもよく、例えば、ベクトルや中間表現等であってもよい。
１００ ：シミュレーションシステム
１１０ ：ロボット
１１１ ：センサ装置
１１２ ：駆動装置
１１３ ：制御装置
１１４ ：観測及び制御部
１２０ ：シミュレーション装置
１２１ ：シミュレーション部
３１１ ：現実環境観測部
３１２ ：ロボット制御部
４１０ ：仮想世界記憶部
４２０ ：ロボット制御処理計算部
４３０ ：報酬算出部
４４０ ：微分可能物理シミュレーション計算部
４５０ ：差異低減処理計算部
４６０ ：差分部

Claims (21)

  1. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    現実世界の観測結果に基づく情報と、物体に関する環境変数と、に基づいて、仮想世界の状態についてシミュレーションを実行し、
    前記シミュレーションの結果と変化後の前記仮想世界の状態との間の誤差を計算し、前記誤差に基づいて前記環境変数を更新し、
    変化後の前記仮想世界の状態は、変化後の前記現実世界の観測結果に基づいて生成される、
    情報処理装置。
  2. 前記少なくとも１つのプロセッサは、前記誤差を用いた誤差逆伝播を行うことで、前記環境変数を更新する、
    請求項１に記載の情報処理装置。
  3. 前記少なくとも１つのプロセッサは、前記シミュレーションの出力を第１のニューラルネットワークに入力することで、前記シミュレーションの結果を生成する、
    請求項１または２に記載の情報処理装置。
  4. 前記少なくとも１つのプロセッサは、シミュレーションの結果が、変化後の前記仮想世界の状態に近づくように、前記第１のニューラルネットワークを訓練する、
    請求項３に記載の情報処理装置。
  5. 前記少なくとも１つのプロセッサは、前記現実世界の観測結果に基づく情報と、前記環境変数と、前記現実世界における制御方法に関する情報と、に基づいて、前記シミュレーションを実行する、
    請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 前記少なくとも１つのプロセッサは、前記現実世界の観測結果に基づく情報と、前記環境変数とを第２のニューラルネットワークに入力して、前記現実世界における制御方法に関する情報を生成する、
    請求項５に記載の情報処理装置。
  7. 前記少なくとも１つのプロセッサは、シミュレーションの結果に基づいて、前記第２のニューラルネットワークを訓練する、
    請求項６に記載の情報処理装置。
  8. 前記少なくとも１つのプロセッサは、前記シミュレーションの結果に基づいて報酬を算出し、前記報酬に基づいて前記第２のニューラルネットワークを訓練する、
    請求項７に記載の情報処理装置。
  9. 前記現実世界における制御方法は、駆動装置を用いた制御方法である、
    請求項５乃至８のいずれか１項に記載の情報処理装置。
  10. 前記現実世界における制御方法は、前記物体に対する制御方法である、
    請求項５乃至９のいずれか１項に記載の情報処理装置。
  11. 前記環境変数は、前記物体の物理量に関する情報を含む、
    請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. 前記環境変数は、前記物体の特性に関する情報を含む、
    請求項１乃至１０のいずれか１項に記載の情報処理装置。
  13. 前記現実世界の観測結果に基づく情報は、前記仮想世界の状態を含む、
    請求項１乃至１２のいずれか１項に記載の情報処理装置。
  14. 前記シミュレーションは微分可能なシミュレーションである、
    請求項１乃至１３のいずれか１項に記載の情報処理装置。
  15. 前記シミュレーションは、気象シミュレーションである、
    請求項１乃至４のいずれか１項、又は、請求項１１乃至１４のうち請求項５に従属しないいずれか１項に記載の情報処理装置。
  16. 複数台のコンピュータで構成される、
    請求項１乃至１５のいずれか１項に記載の情報処理装置。
  17. 請求項４、又は、請求項５乃至１６のうち請求項４に従属するいずれか１項に記載の情報処理装置が、前記第１のニューラルネットワークを生成する方法。
  18. 請求項７、又は、請求項８乃至１４、１６のうち請求項７に従属するいずれか１項に記載の情報処理装置が、前記第２のニューラルネットワークを生成する方法。
  19. 請求項１乃至１６のいずれか１項に記載の情報処理装置が、前記環境変数を生成する方法。
  20. 少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備える情報処理装置において、前記少なくとも１つのプロセッサが、
    現実世界の観測結果に基づく情報と、物体に関する環境変数と、に基づいて、仮想世界の状態についてシミュレーションを実行し、
    前記シミュレーションの結果と変化後の前記仮想世界の状態との間の誤差を計算し、前記誤差に基づいて前記環境変数を更新する、方法であって、
    変化後の前記仮想世界の状態は、変化後の前記現実世界の観測結果に基づいて生成される、
    方法。
  21. 少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備える情報処理装置において、前記少なくとも１つのプロセッサに、
    現実世界の観測結果に基づく情報と、物体に関する環境変数と、に基づいて、仮想世界の状態についてシミュレーションを実行させ、
    前記シミュレーションの結果と変化後の前記仮想世界の状態との間の誤差を計算させ、前記誤差に基づいて前記環境変数を更新させる、プログラムであって、
    変化後の前記仮想世界の状態は、変化後の前記現実世界の観測結果に基づいて生成される、
    プログラム。
JP2019037752A 2019-03-01 2019-03-01 情報処理装置、方法及びプログラム Active JP7336856B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019037752A JP7336856B2 (ja) 2019-03-01 2019-03-01 情報処理装置、方法及びプログラム
PCT/JP2020/003419 WO2020179299A1 (ja) 2019-03-01 2020-01-30 情報処理装置及び情報処理方法
US17/446,347 US20210387343A1 (en) 2019-03-01 2021-08-30 Information processing device and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019037752A JP7336856B2 (ja) 2019-03-01 2019-03-01 情報処理装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2020140641A JP2020140641A (ja) 2020-09-03
JP2020140641A5 JP2020140641A5 (ja) 2022-03-03
JP7336856B2 true JP7336856B2 (ja) 2023-09-01

Family

ID=72265025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019037752A Active JP7336856B2 (ja) 2019-03-01 2019-03-01 情報処理装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20210387343A1 (ja)
JP (1) JP7336856B2 (ja)
WO (1) WO2020179299A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3587046A1 (de) * 2018-06-28 2020-01-01 Siemens Aktiengesellschaft Verfahren und vorrichtung zum rechnergestützten ermitteln von regelparametern für eine günstige handlung eines technischen systems
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning
US11921492B2 (en) 2021-03-30 2024-03-05 Mitsubishi Electric Research Laboratories, Inc. Transfer between tasks in different domains

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030135A (ja) 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
WO2017201220A1 (en) 2016-05-20 2017-11-23 Google Llc Reinforcement learning using pseudo-counts
JP2018097680A (ja) 2016-12-14 2018-06-21 ファナック株式会社 制御システム及び機械学習装置
JP2018126796A (ja) 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2018144155A (ja) 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303825B2 (en) * 2015-12-28 2019-05-28 Dassault Systemes Simulia Corp. Convergence estimation of non-linear PDE and linear solvers
JP2018151876A (ja) * 2017-03-13 2018-09-27 株式会社日立製作所 機械学習に使用される経験を格納する経験データベースを更新する方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030135A (ja) 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
WO2017201220A1 (en) 2016-05-20 2017-11-23 Google Llc Reinforcement learning using pseudo-counts
JP2018097680A (ja) 2016-12-14 2018-06-21 ファナック株式会社 制御システム及び機械学習装置
JP2018126796A (ja) 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2018144155A (ja) 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Also Published As

Publication number Publication date
US20210387343A1 (en) 2021-12-16
WO2020179299A1 (ja) 2020-09-10
JP2020140641A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP7336856B2 (ja) 情報処理装置、方法及びプログラム
US20230330848A1 (en) Reinforcement and imitation learning for a task
US11235461B2 (en) Controller and machine learning device
US10864630B2 (en) Control device and machine learning device
JP5330138B2 (ja) 強化学習システム
US11458630B2 (en) Mitigating reality gap through simulating compliant control and/or compliant contact in robotic simulator
TWI802820B (zh) 機器人控制裝置、方法和儲存媒體
US20210107144A1 (en) Learning method, learning apparatus, and learning system
US10967505B1 (en) Determining robot inertial properties
US11790042B1 (en) Mitigating reality gap through modification of simulated state data of robotic simulator
WO2020017266A1 (ja) シミュレーション装置、シミュレーションプログラムおよびシミュレーション方法
WO2022044191A1 (ja) 調整システム、調整方法および調整プログラム
US11707840B1 (en) Mitigating reality gap through optimization of simulated hardware parameter(s) of simulated robot
US10549422B2 (en) Robot controller, machine learning device and machine learning method
CN113910244A (zh) 用于神经外科的基于力矩前馈的机械臂拖动混合控制方法
CN110147891B (zh) 应用于强化学习训练过程的方法、装置及电子设备
US20240054393A1 (en) Learning Device, Learning Method, Recording Medium Storing Learning Program, Control Program, Control Device, Control Method, and Recording Medium Storing Control Program
WO2020235061A1 (ja) 動作規則決定装置、動作規則決定方法および記録媒体
US20220297298A1 (en) Data generation device, data generation method, control device, control method, and computer program product
KR102719462B1 (ko) 다관절 로봇의 구동을 위한 기구학 모델링 방법, 장치 및 컴퓨터 프로그램
US20240202537A1 (en) Learning method, learning device, control method, control device, and storage medium
JP2024134040A (ja) 学習方法、学習装置、プログラム、および、学習済みモデルの生成方法
KR20230134890A (ko) 다관절 로봇의 구동을 위한 기구학 모델링 방법, 장치 및 컴퓨터 프로그램
KR20240079918A (ko) 프로세서, 이를 포함하는 컴퓨터 장치, 및 이의 구동 방법
JP2021128510A (ja) 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7336856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150