JP7458741B2 - ロボット制御装置及びその制御方法及びプログラム - Google Patents

ロボット制御装置及びその制御方法及びプログラム Download PDF

Info

Publication number
JP7458741B2
JP7458741B2 JP2019192132A JP2019192132A JP7458741B2 JP 7458741 B2 JP7458741 B2 JP 7458741B2 JP 2019192132 A JP2019192132 A JP 2019192132A JP 2019192132 A JP2019192132 A JP 2019192132A JP 7458741 B2 JP7458741 B2 JP 7458741B2
Authority
JP
Japan
Prior art keywords
robot
imaging device
neural network
gripper
movable arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019192132A
Other languages
English (en)
Other versions
JP2021065955A (ja
JP2021065955A5 (ja
Inventor
悠基 和田
茂 鳥井原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019192132A priority Critical patent/JP7458741B2/ja
Priority to EP20201505.3A priority patent/EP3812107A1/en
Priority to TW109135505A priority patent/TWI802820B/zh
Priority to KR1020200134887A priority patent/KR20210047258A/ko
Priority to US17/074,338 priority patent/US20210114209A1/en
Priority to CN202011132122.8A priority patent/CN112757284B/zh
Publication of JP2021065955A publication Critical patent/JP2021065955A/ja
Publication of JP2021065955A5 publication Critical patent/JP2021065955A5/ja
Application granted granted Critical
Publication of JP7458741B2 publication Critical patent/JP7458741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33056—Reinforcement learning, agent acts, receives reward, emotion, action selective
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40604—Two camera, global vision camera, end effector neighbourhood vision camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Fuzzy Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Numerical Control (AREA)

Description

本発明は、ロボットアームの制御技術に関するものである。
ＦＡ(Factory Automation)の分野で、ロボットアームを用いた工場の作業自動化が注目されている。ロボットアームを活用したタスクの一例として、ピック＆プレイスがある。ピック＆プレイスを実現するには、ティーチングと呼ばれる、ロボットアームを制御するためのプログラム作成が必要となる。ティーチングは、主に、２Ｄまたは３Ｄカメラでワーク撮影、Computer Visionによる位置、形状推定、ロボットアームが特定の位置、姿勢になるよう制御、という流れなる(特許文献１)。その中でも、特に位置、形状推定は試行錯誤が必要となり工数を要する。しかし、実際の工場の現場では、様々な形状のワークが存在するため、ワークごとにティーチングを行う必要があり、またバラ積みなど、タスクが複雑になるとティーチングが更に困難となる。近年、ＡＩブームの到来により、ロボットアーム制御にＡＩを用いた技術がある(非特許文献１)。
特開２０１７－１２４４５０
しかしながら、特許文献１では、３Ｄモデルのマッチングにより位置姿勢推定を行っているが、高精度なワークの位置姿勢情報を取得するには、比較的高価な３Ｄカメラを用いる必要がある。
この課題を解決するため、例えば本発明のロボット制御装置は以下の構成を備える。すなわち、
対象物を把持するためのグリッパを備えた可動アームを有するロボットを、前記可動アームが初期状態から移動し、前記グリッパで前記対象物を把持するように制御するロボット制御装置であって、
第一撮像装置と、前記第一撮像装置とは異なる第二撮像装置とを含む複数の撮像装置により撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の撮像画像を結合することにより得られた２次元画像である結合画像をニューラルネットワークへの入力として用い、その結果としての前記ニューラルネットワークからの出力に基づき前記ロボットのための制御命令を特定する特定手段と
を有し、
前記第一撮像装置は、前記対象物及び前記可動アームの少なくとも一部を視野に含むように前記可動アームとは独立した位置に配置され、
前記第二撮像装置は、前記グリッパによる前記対象物の把持状態を観察するために、常に前記グリッパを含むように前記グリッパの周辺の画像を撮像するように前記可動アームに取り付けられている。
本発明によれば、２Ｄの映像入力から、ロボット制御を実行できるニューラルネットワークを備えることで、直感的でかつ、シンプルな構成でロボットに所定の作業を行わせることができる。
実施形態のニューラルネットワークの学習を行う制御装置のブロック図。 実際のロボット、撮像装置、及びそれらを制御する制御装置のブロック図。 シミュレータ上または実際のロボットの構成を示す模式図。 撮像装置で撮影される画像の例を示す図。 実施形態におけるロボットが行う強化学習の流れを示す概略図。 実施形態に係る報酬発生条件と得られる報酬の例を示す図。 実施形態に係る学習モデル構築時の動作を示すフローチャート。 実施形態に係るニューラルネットワークのモデルの概略図。 実施形態に係るニューラルネットワークのモデルの概略図。 実施形態に係る学習済みモデルに基づくロボット制御のフローチャート。 実施形態に係るヒートマップを作成する方法を示す模式図。 実施形態に係るステップごとのヒートマップの例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下に説明する２つの実施形態は、基本的な構成や、機械学習を行う点において共通するが、学習する環境がそれぞれ異なる。そこで、まずこれら２つの実施形態の概略について説明する。
第１の実施形態では、ニューラルネットワークの学習をコンピュータのシミュレータ上で行い、学習済みモデルを実際のロボットに適用して、ロボット制御を行うロボット制御システムを説明する。シミュレータは実際のロボットより高速に動作させることができるため、学習を早く収束させることができる。
第２の実施形態では、ニューラルネットワークの学習を実際のロボット上で行うロボット制御システムを説明する。第１の実施形態のシミュレータの利用は学習を高速化できるメリットがある一方で、シミュレータで学習した学習済みモデルを実際のロボットに適用する際にシミュレータと実際のロボットの差異を埋める工夫が必要となる。学習を実際のロボット上で行うことにより、学習時と推論時の環境の差異をなくすことができる。
以上が２つの実施形態の概略である。次に、各実施形態それぞれの詳細について説明をする。なお、各実施形態において共通する部分については重複する説明を省略する。
［第１の実施形態］
本第１の実施形態では、ロボットアームが初期状態から移動し、ワークを把持するまでのピッキング作業の学習モデル構築と利用の流れを説明する。把持した後の動作は特に問わないが、例えば他の場所への移動、整列、検品等が考えられる。把持した後の動作は、以後説明するニューラルネットワークを用いた構成で実現しても構わないし、モーションプラニングで移動、整列を行ってもよい。
図１はニューラルネットワークの学習を行う制御装置のブロック図である。制御装置１０はＰＣやサーバー等が考えられる。参照符号３０は記憶装置で、アプリケーションソフトウェアやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置等である。制御部２０は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、学習に伴う演算量が多いため、例えば、ＧＰＵ（Graphics Processing Units）を搭載してもよい。シミュレータ３１は物理シミュレータで、物理現象をコンピュータ上で再現することが可能であり、記憶装置３０にアプリケーションソフトウェアとしてインストールされている。シミュレーション精度が高いほど、多くの演算量が必要とされ、速度に影響する。すなわち、シミュレーション精度をある程度落とすことで、シミュレータ上のロボットを高速に動かすことが可能となる。シミュレータ３１の映像はレンダリングしてディスプレイに表示してもよいし、メモリ上に展開するだけでもよい。例えば、クラウドサーバー上に複数の仮想マシンを生成し、シミュレータ映像の描画なしに学習を進めることも可能である。ニューラルネットワーク４０は記憶装置３０に記憶されており、学習済みモデルの場合はファイルとして保存される。推論時や学習時はCPUまたはGPUのメモリ上に展開して使用する。シミュレータ３１には仮想的なロボットアーム３２、第一撮像装置３３、第二撮像装置３４、ワーク３５が存在する。
図２は物理的なロボット及び撮像装置と、それらを制御する制御装置のブロック図である。制御装置１０、制御部２０、記憶装置３０、ニューラルネットワーク４０は図１と同じ構成である。図２は、制御装置１０が、ＵＳＢ(Universal Serial Bus)やＬＡＮ(Local Area Network)等のインタフェースを介して、物理的なロボットアーム５０、第一撮像装置６０、第二撮像装置７０と接続されている様を示している。
図３はシミュレータ上、又は、物理的なロボットの構成を示す模式図である。シミュレータ上のロボット構成図と見た場合、図示のロボットアーム１００、第一撮像装置１１０、第二撮像装置１２０は、図１のロボットアーム３２、第一撮像装置３３、第２撮像装置３４に対応するものと理解されたい。
また、図３を物理的なロボット構成図と見た場合、ロボットアーム１００、第一撮像装置１１０、第二撮像装置１２０は、図２のロボットアーム５０、第一撮像装置６０、第２撮像装置７０に対応すると理解されたい。
また、実際のロボット１００は、多関節構造とサーボモーターによって動作するロボットで、アームを備える。また、このロボットアームには対象物を把持するためのグリッパー１０１が装着される。なお、ロボットアーム１００やグリッパー１０１の具体的な構成については、当業者によく知られているので、ここでは詳細な説明を省略する。
また、第一撮像装置１１０、第二撮像装置１２０は二次元のＲＧＢの各成分で構成されるカラー画像が取得できるカメラであるが、ＲＧＢ以外の距離情報なども含まれていてもよい。ワーク１３０はロボットアーム１００の把持の対象物で、シミュレータ上では位置座標を取得することができ、かつ配置位置も任意に指定することが可能である。
図４は第一撮像装置１１０、第二撮像装置１２０で撮影される画像の例である。画像２００は第一撮像装置１１０で撮影される画像の例である。この画像２００を得るため、第一撮像装置１１０は、ワーク１３０全体とロボットアーム１００の一部または全体が画角に入り、且つ、ロボットアーム１００の動きには影響されないように、ロボットアーム１００の可動部の動きとは独立した位置に設置される。画像２１０は、常時、グリッパー１０１の一部がワーク１３０を把持する状態を観察するために用いられる。このため、第二撮像装置２１０は、ロボットアーム１００の所定位置（もしくは所定部位）に設置される。ここで第二撮像装置２１０をロボットアーム１００の可動部に設置すれば、ロボットアーム１００の移動に伴い第二撮像装置２１０も移動することになる。なお、上記で説明したロボットアーム１００、第一撮像装置１０、第２撮像装置１２０、ワーク１３０はシミュレータ上で実物に近い構成で再現することが可能である。なお、ロボットのミドルウェアのオープンソースＲＯＳ(Robot Operating System, http://wiki.ros.org/)、 物理シミュレータのオープンソースＧａｚｅｂｏ(http://gazebosim.org/)等を用いることで、比較的容易にシミュレータ上のロボットと現実のロボットを実質的に同じ制御プログラムで動作させることができる。
図５は本実施形態でロボットが学習を行う際のアルゴリズムである、強化学習の流れを示した概略図である。強化学習は、環境３００内でエージェント３１０が現在の状態３２０を観測し、とるべき行動を決定する問題を扱う機械学習の一種である。エージェント３１０は、行動を選択することで環境から報酬３３０を得る。強化学習は一連の行動を通じて報酬が最も多く得られるような方策３５０を学習する。本実施形態ではニューラルネットワーク３４０を用いて強化学習を行うので、深層強化学習とも呼ばれる。ここで、環境３００とはロボットアームが設置されている実際の工場内または、シミュレータである。エージェント３１０は、シミュレータ上または物理的なロボットアームである。状態３２０は第一撮像装置１１０、第二撮像装置１２０で撮影される画像である。例えば図４に示した画像２００、画像２１０である。報酬３３０は条件を満たした時に発生する。
図６は、上記の報酬の発生条件と、得られる報酬との関係を示すテーブル４００を示している。なお、グリッパー１０１の座標位置は実際のロボットでも順運動学によって求めることができる。ワーク座標はシミュレータ上では取得可能である。画像２００、２１０は必要に応じてリサイズ、前処理を行い、ニューラルネットワーク３４０への入力とする。方策３５０として、例えば、グリッパー付き６軸ロボットの場合、各軸を正方向または負方向に１度回転、グリッパーの開閉の計１４の離散的な行動を定義する。ニューラルネットワーク３４０の出力である方策３５０は、この１４個の行動の選択肢の中からどの行動を選択すべきかの確率である。その確率をもとにエージェントは行動を決定する。
図７は学習モデル構築時の動作を示すフローチャートである。
Ｓ１０にて、制御部２０は時刻Ｔを“０”で初期化する。次いで、Ｓ１１にて、制御部２０は、状態の初期化を行い、エピソードを開始する。エピソードとは、強化学習における、タスクの始まりから終わりでの一連の流れの単位である。本実施形態では、エピソード開始時はロボット、ワークの位置が初期状態になっていて、エピソード終了条件を満たした場合にエピソードを終了する。エピソード終了条件はエージェントがタスクに成功、またはエラーが発生した場合等である。エラーは、例えばロボットアームが自身や床に衝突してしまう等である。具体的な状態初期化は、ロボットアーム１００を所定位置に移動、ワーク１３０を所定位置に配置、獲得報酬の累計を“０”にすることである。その際、ロボットアーム１００は固定位置に戻しても構わないが、ワーク１３０はアームが届く範囲内でランダムに配置することで、ニューラルネットワークは入力画像内のワークの位置を考慮し行動選択できるように学習を行うことができる。Ｓ１２にて、制御部２０は、ステップ数ｔを“０”で初期化する。
Ｓ１３にて、制御部２０は、第一撮像装置１１０、第二撮像装置１２０による撮影を行わせ、撮像画像を受信する。Ｓ１４にて、制御部２０は、それら撮像画像をニューラルネットワーク３４０へ入力する。入力の際、制御部２０は、各撮像画像を、例えば８４×８４画素サイズ等の縮小画像へとリサイズを行う。Ｓ１５にて、制御部２０は、ニューラルネットワーク３４０が出力する制御命令に従い、ロボットアーム１００を動作させる。ニューラルネットワークの出力である、ロボットの制御命令は、ソフトマックス関数の出力であり、どの軸を動かすべきかという確率で表現される。その確率に従い、ロボットを動作させる。
Ｓ１６にて、制御部２０は、報酬付与条件(図６のテーブル４００参照)を満たしているか判定する。満たしていると判定した場合、制御部２０は処理をＳ１７に処理を進める。このＳ１７にて、制御部２０は報酬を付与する（報酬を更新する）。報酬は図６のテーブル４００に従い、点数を付与する。例えば、テーブル４００のＮｏ．１～５の項目をそれぞれ達成した場合は、最終的に合計“＋５”の報酬を獲得できる。Ｓ１８にて、制御部２０は時刻Ｔ、ステップ数ｔそれぞれをインクリメントする。
Ｓ１９にて、制御部２０は、時刻Ｔが予め設定した閾値Ｔｈ＿ａ以上となったか否かを判定する。時刻Ｔが閾値Ｔｈ＿ａ以上となった場合、制御部２０はニューラルネットワークの重みを学習済みモデルとして保存する。ここでＳ１９の閾値Ｔｈ＿ａは、１０の８乗などの大きな値を指定する。ここでは、学習がいつ収束するかわからないため、閾値に大きな値を指定して学習ループを回すためである。ただし、学習が収束したことを判断して学習を終了することも可能である。
一方、Ｓ１８の判定結果が、時刻Ｔが閾値Ｔｈ_ａより小さいことを示す場合、制御部２０は処理をＳ２１に進める。このＳ２１にて、制御部２０はステップ数ｔが閾値Ｔｈ＿ｂ以上であるか否かを判定する。ステップ数ｔが閾値Ｔｈ＿ｂ以上である場合、制御部２０は処理をＳ２２に進める。このＳ２２にて、制御部２０は、複数ステップ分をバッチとして学習を行う。ステップ数tの閾値Ｔｈ＿ｂはバッチ学習を行う単位で、例えば“２０”を指定する。この後、制御部２０は処理をＳ１２に戻す。
また、Ｓ２１の判定結果が、ステップ数ｔが閾値Ｔｈ＿ｂより小さいことを示す場合、制御部２０は処理をＳ２３に進める。このＳ２３にて、制御部２０は、エピソード終了時条件を満たしているか否かを判定する。制御部２０は、エピソード終了時条件を満たしていないと判定した場合は、処理をＳ１３に戻す。また、エピソード条件を満たしていると判定した場合、制御部２０は処理をＳ２４に進める。このＳ２４にて、制御部２０は、ニューラルネットワークの学習を行う。この時の学習のバッチサイズはステップ数ｔである。ニューラルネットワークの学習は、バックプロパゲーション（誤差逆伝搬法とも呼ばれる。）という手法により各パーセプトロンの出力の誤差を小さくするように重み付け値を調整する。学習の詳細は既知のため省略する。
ここで、ニューラルネットの構成について、図８を用いて概略を説明する。本実施形態では、ニューラルネットワークのモデルとして、非特許文献３で提案されているＵＮＲＥＡＬ(Unsupervised Reinforcement and Auxiliary Learning)のモデル、または改変したものを利用する。詳細は非特許文献３に記載されているため、概略のみ説明する。ＵＮＲＥＡＬは非特許文献２で提案されているＡ３Ｃ(Asynchronous Advantage Actor-Critic)と呼ばれるモデルを拡張したニューラルネットワークである。Ａ３Ｃは以下で構成されている。
参照符号４０１と４０２は畳み込み層と呼ばれる画像特徴量を抽出する層で、入力された画像データ４１０に対して所定のパラメータのフィルタをかける。このフィルタにおける所定のパラメータは、ニューラルネットワークの重みに相当している。参照符号４０３は、全結合層で、畳み込み層を通して特徴部分が取り出されたデータを一つのノードに結合する。参照符号４０４は長期短期記憶ニューラルネットワークと呼ばれる再帰型ニューラルネットワークの一種で、時系列データのタイムステップ間の長期的な依存関係を学習し保持する。参照符号４０５は全結合層で、その出力を、ソフトマックス関数を用いて確率に変換し方策とする。方策はある状態の時のいずれかの行動をとる確率である。参照符号４０６は全結合層で、出力は状態価値関数であり、その状態を起点に得られる報酬の予測値ある。以上がA3Cの構成で、ＵＮＲＥＡＬはＡ３Ｃに加え、３つの補助タスクで構成されている。参照符号４２０はリプレイバッファで、最新の数ステップ分の画像、報酬、行動を保持する。３つの補助タスクの入力はリプレイバッファ４２０から取得する画像である。
補助タスクの一つ目はreward prediction４０７で、報酬を獲得した過去の情報から即時報酬を推定する。一般的に強化学習はエージェントが報酬を得られた経験からした学習を行うことができず、タスクの成功時にしか報酬が得られない、いわゆる疎な報酬問題を抱える。例えば、本実施形態でも、ロボットアーム１００を初期状態から１ステップ動作させても報酬は得られない。そのような環境下でreward predictionのタスクを用いることで、恣意的に報酬が発生するイベントをリプレイバッファから取り出し発生させる。補助タスクの２つ目はvalue function replayで全結合層４０６の出力と同じ働きで、入力画像がリプレイバッファからとなる。そして、３つ目は、pixel control４０８で入力画像が大きく変化するよう動作するような行動を学習する。出力は行動価値関数であり、行動をとった後の画素の変化量を推定する。
図８の入力画像４１０は、第一撮像装置１１０、第二撮像装置１２０による撮影した２つの画像の結合画像であり、入力層である１つの畳み込み層４０１へ入力することを示している。
図９は、第一撮像装置１１０、第二撮像装置１２０それぞれが撮像して得た画像が、入力画像５１０、５２０として畳み込み層５０１、５０３へそれぞれ入力される例を示している。そして、畳み込み層５０２、５０４の出力を全結合層５０５で結合する。全結合層５０５の入出力サイズは、全結合層４０３の２倍となる。reward predictionの出力用の全結合層５０６の入力サイズは４０７の全結合層の２倍として、畳み込み層５０２、５０４の出力を結合したものを入力とする。pixel control５０７は、入力画像５２０の変化量を推定するタスクとする。これはpixel controlが入力画像の画素値が大きくなるように行動を選択する特性をもち、第二撮像装置の映像の画角にワークが入った方がタスク成功に近づくので、入力画像５２０の画素の変化がタスク成功に関係すると考えられるためである。なお、図８、図９どちらのニューラルネットワークでもタスクを学習できるようになる。また、モデルは一例であり、画像を入力とし、ロボットの制御命令を出力するモデルであれば他の構成でも構わない。
以上のようにして、入力データの特徴を学習し、入力からロボットアームの制御命令を推定するための学習モデルを帰納的に獲得する。
本第１の実施形態は、シミュレータ上で学習したニューラルネットワークの学習済みモデルを実際のロボットに適用するものである。
図１０は学習済みモデルをロードして、実機ロボットを制御するフローチャートである。
Ｓ１００にて、制御部２０は、図７のＳ２０で保存した学習済みモデルをロードする。Ｓ１０１にて、制御部２０は、物理的な第一撮像装置６０、第二撮像装置７０で撮影する。Ｓ１０２にて、制御部２０は、撮影で得た撮像画像をニューラルネットワーク３４０に入力する。そして、Ｓ１０３にて、制御部１０３は、ニューラルネットワーク３４０が出力したロボット制御命令に従い、物理的なロボットアーム５０を動作させる。Ｓ１０４にて、制御部２０は、終了条件を満たしているか否かを判定する。否であると判定した場合、制御部２０は処理をＳ１０１に戻す。終了条件の例としては、ピッキングを行う対象のワークが配置されているベルトコンベア上や箱の中にワークが存在するか否かをコンピュータビジョン等の認識技術で確認し、それが一つも存在しない場合である。ただし、終了条件はこれ以外であっても構わない。
本第２の実施形態では、シミュレータで学習したモデルをそのまま実機に適用したが、シミュレータ上の映像と現実世界の映像の見え方は、光の当たり方や、物体の質感など、完全に同じになるとは限らない。よって、Ｓ１０２でニューラルネットワーク３４０に、現実世界の画像を入力しても、期待している制御命令が出力されない可能性がある。非特許文献５のDomain Randomizationと呼ばれる手法では、シミュレータで学習するときに、背景、ワークのテクスチャ、光源の位置、明るさ、色、カメラの位置、ノイズ等のパラメータを様々なバリエーションを振ることで、現実世界の映像にも適応できるロバストで一般化されたニューラルネットワークを構築することができる。本第１の実施形態の場合に、例えばエピソード毎にこれらのパラメータをランダムに変更し環境の見え方を変えることで、シミュレータと現実世界の映像の見え方のギャップを小さくするニューラルネットワークのモデルを構築できる。
以上説明した動作により、ニューラルネットワークに二次元の撮像装置の映像のみを入力するだけで、ロボット制御の制御をすることが可能となる。
ここで、ニューラルネットワークの畳み込み層が画像内のどこに注目しているかを示す、Grad-CAM（非特許文献４)と呼ばれる手法を用いることで、ニューラルネットワークが画像内のどこに着目して判断を下したかを可視化することができる。ディープラーニングは、一般的にニューラルネットワークの内部がブラックボックスとなっていて、解析が容易ではない。また、タスクが成功／失敗した際も、なぜ成功／失敗しているかがわかりにくい。そのため、ニューラルネットワークの着目点（もしくは着目領域）を可視化することは非常に重要である。一般的に、畳み込み層は空間情報を保持し、全結合層で失われる。そして畳み込み層の後段に行くにしたがって、より抽象化された情報を保持しているため、Grad-CAMでは畳み込み層の最終層の情報を利用し、ヒートマップを作成する。詳細は非特許文献４で述べているので、省略するが、本実施形態で使用したニューラルネットワークにGrad-CAMを適用する方法を簡単に説明する。
図１１はヒートマップを作成する方法を示した図である。図８のニューラルネットワークをもとにヒートマップを生成する場合、ニューラルネットワークから方策の出力後、実際に採用した行動を１、それ以外が０となるone hot vectorを作成し、バックプロパゲーションを行う。畳み込み層６１０までバックプロパゲーションを実施し、勾配６４０を算出する。入力画像６００に対しての畳み込み層６１０の出力が特徴量マップ６３０であり、これと勾配６４０の組み合わせの数の積を演算し、足し合わせ、活性化関数６５０を通すことで、ヒートマップ６６０が生成される。図１２はステップごとのヒートマップの例を示した図である。点線の丸はヒートマップが着目している領域を表している。入力画像７００に対してのヒートマップ７１０を見ると、ステップの初期では、第一撮像装置１１０の映像の中の、アーム先端とワークに着目している。ステップの後半になり、第二撮像装置１２０の画角内にワークが入ると、第二撮像装置１２０の映像のワークに着目していることがわかる。このことから、アームがワークに近づくまでは、第一撮像装置１１０の映像から主に行動を選択し、ワークに近いてから把持するまでは第二撮像装置１２０の映像から行動を選択していることがわかり、ロボットアームが意図した行動をとっていると言える。
［第２の実施形態］
次に第２の実施形態を説明する。なお、第２の実施形態と第１の実施形態は、基本的な構成及び動作について共通するので、これらの点についての重複する説明は省略する。第２の実施形態では、ニューラルネットワークの学習も実機を利用する。したがって、シミュレータで学習する際に必要となるDomain Randomizationは不要となる。また報酬に関して、シミュレータではワークとエンドエフェクターの距離が簡単に求まるが、現実では、エンドエフェクターの絶対位置は運動学から求められるものの、ワークの位置は機械的に求められないので、手動で配置して、位置を入力する等の作業が必要となる。これは第１の実施形態において、実機でファインチューニングを行う際も同様である。
以上説明した動作により、ニューラルネットワークに二次元の撮像装置の映像のみを入力するだけで、ロボット制御の制御をすることが可能となる。
（その他の実施例）
上記実施形態では、ロボットアームが移動してワークを把持する動作を行う、いわゆるピッキング作業について説明したが、他の作業にも応用可能である。例えば、ロボットアームの先端に異なる作業装置を取り付けることで、例えば溶接、計測、検査、手術などに適用することも可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０…制御装置、２０…制御部、３０…記憶装置、４０…ニューラルネットワーク、３１…シミュレータ、３２、５０…ロボットアーム、３３、６０…第一撮像装置、３４、７０…第二撮像装置、３４…ワーク

Claims (8)

  1. 対象物を把持するためのグリッパを備えた可動アームを有するロボットを、前記可動アームが初期状態から移動し、前記グリッパで前記対象物を把持するように制御するロボット制御装置であって、
    第一撮像装置と、前記第一撮像装置とは異なる第二撮像装置とを含む複数の撮像装置により撮像された複数の画像を取得する取得手段と、
    前記取得手段により取得された複数の撮像画像を結合することにより得られた２次元画像である結合画像をニューラルネットワークへの入力として用い、その結果としての前記ニューラルネットワークからの出力に基づき前記ロボットのための制御命令を特定する特定手段と
    を有し、
    前記第一撮像装置は、前記対象物及び前記可動アームの少なくとも一部を視野に含むように前記可動アームとは独立した位置に配置され、
    前記第二撮像装置は、前記グリッパによる前記対象物の把持状態を観察するために、常に前記グリッパを含むように前記グリッパの周辺の画像を撮像するように前記可動アームに取り付けられていることを特徴とするロボット制御装置。
  2. 前記第一撮像装置は、前記ロボットの可動部とは独立した位置に配置され、前記対象物及び前記ロボットの全体を撮像することを特徴とする請求項１に記載のロボット制御装置。
  3. 前記ニューラルネットワークで得られたロボット制御命令に従って前記ロボットを制御する制御手段をさらに有することを特徴とする請求項１または請求項２に記載のロボット制御装置。
  4. 前記ニューラルネットワークは、強化学習によって重みが更新されることを特徴とする請求項１乃至３のいずれか１項に記載のロボット制御装置。
  5. 前記ニューラルネットワークの入力層は、前記第一撮像装置、第二撮像装置のそれぞれの映像を結合して得た１つの前記結合画像から画像特徴量を抽出する１つの層で構成されることを特徴とする請求項１乃至４のいずれか１項に記載のロボット制御装置。
  6. 前記ニューラルネットワークは画像特徴量を抽出する層を含んでおり、前記ニューラルネットワークが画像内の着目領域を可視化する手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載のロボット制御装置。
  7. 対象物を把持するためのグリッパを備えた可動アームを有するロボットを、前記可動アームが初期状態から移動し、前記グリッパで前記対象物を把持するように制御するロボット制御装置の制御方法であって、
    第一撮像装置と、前記第一撮像装置とは異なる第二撮像装置とを含む複数の撮像装置により撮像された複数の画像を取得する取得工程と、
    前記取得工程により取得された複数の撮像画像を結合することにより得られた２次元画像である結合画像をニューラルネットワークへの入力として用い、その結果としての前記ニューラルネットワークからの出力に基づき前記ロボットのための制御命令を特定する特定工程と
    を有し、
    前記第一撮像装置は、前記対象物及び前記可動アームの少なくとも一部を視野に含むように前記可動アームとは独立した位置に配置され、
    前記第二撮像装置は、前記グリッパによる前記対象物の把持状態を観察するために、常に前記グリッパを含むように前記グリッパの周辺の画像を撮像するように前記可動アームに取り付けられていることを特徴とするロボット制御装置の制御方法。
  8. コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の方法の各工程を実行させるためのプログラム。
JP2019192132A 2019-10-21 2019-10-21 ロボット制御装置及びその制御方法及びプログラム Active JP7458741B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019192132A JP7458741B2 (ja) 2019-10-21 2019-10-21 ロボット制御装置及びその制御方法及びプログラム
EP20201505.3A EP3812107A1 (en) 2019-10-21 2020-10-13 Robot control device, and method and program for controlling the same
TW109135505A TWI802820B (zh) 2019-10-21 2020-10-14 機器人控制裝置、方法和儲存媒體
US17/074,338 US20210114209A1 (en) 2019-10-21 2020-10-19 Robot control device, and method and non-transitory computer-readable storage medium for controlling the same
KR1020200134887A KR20210047258A (ko) 2019-10-21 2020-10-19 로보트 제어장치, 및 그 제어 방법 및 프로그램
CN202011132122.8A CN112757284B (zh) 2019-10-21 2020-10-21 机器人控制装置、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019192132A JP7458741B2 (ja) 2019-10-21 2019-10-21 ロボット制御装置及びその制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2021065955A JP2021065955A (ja) 2021-04-30
JP2021065955A5 JP2021065955A5 (ja) 2022-10-21
JP7458741B2 true JP7458741B2 (ja) 2024-04-01

Family

ID=72852445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019192132A Active JP7458741B2 (ja) 2019-10-21 2019-10-21 ロボット制御装置及びその制御方法及びプログラム

Country Status (6)

Country Link
US (1) US20210114209A1 (ja)
EP (1) EP3812107A1 (ja)
JP (1) JP7458741B2 (ja)
KR (1) KR20210047258A (ja)
CN (1) CN112757284B (ja)
TW (1) TWI802820B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790408B (zh) * 2019-11-19 2023-01-21 財團法人工業技術研究院 抓取裝置及抓取方法
CN114929436B (zh) * 2020-01-22 2024-09-20 Abb瑞士股份有限公司 用于控制机器人的系统和方法、电子设备和计算机可读介质
US20230004786A1 (en) * 2021-06-30 2023-01-05 Micron Technology, Inc. Artificial neural networks on a deep learning accelerator
KR102366333B1 (ko) * 2021-07-08 2022-02-25 주식회사 제타뱅크 로봇용 인공지능 플랫폼 제공 방법
CN113326666B (zh) * 2021-07-15 2022-05-03 浙江大学 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
US20230107460A1 (en) * 2021-10-05 2023-04-06 Deepmind Technologies Limited Compositional generalization for reinforcement learning
DE102022202145A1 (de) * 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Roboter und Verfahren zum Steuern eines Roboters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118582A (ja) 2013-12-19 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JP2018043338A (ja) 2016-09-16 2018-03-22 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置，ロボットシステムおよび機械学習方法
JP2019508273A (ja) 2016-03-03 2019-03-28 グーグル エルエルシー ロボットの把持のための深層機械学習方法および装置
WO2019163985A1 (ja) 2018-02-23 2019-08-29 日本電信電話株式会社 特徴表現装置、特徴表現方法、およびプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4167940B2 (ja) * 2003-05-29 2008-10-22 ファナック株式会社 ロボットシステム
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
JP2011000703A (ja) * 2009-05-19 2011-01-06 Canon Inc カメラ付きマニピュレータ
JP6294248B2 (ja) * 2015-01-28 2018-03-14 ファナック株式会社 ロボットを用いたキサゲ加工装置及びキサゲ加工方法
DE102016015936B8 (de) * 2015-07-31 2024-10-24 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP2017124450A (ja) 2016-01-12 2017-07-20 株式会社ソフトサービス ピックアップ装置
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP7022076B2 (ja) * 2016-12-19 2022-02-17 株式会社安川電機 産業機器用の画像認識プロセッサ及びコントローラ
JP6822929B2 (ja) * 2017-09-19 2021-01-27 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
JP6922733B2 (ja) * 2017-12-29 2021-08-18 富士通株式会社 ロボット、自己診断プログラム、及び自己診断方法
JP6693981B2 (ja) * 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
CN108550162B (zh) * 2018-03-27 2020-02-07 清华大学 一种基于深度强化学习的物体检测方法
US20190368865A1 (en) * 2018-05-30 2019-12-05 Carbon Robotics, Inc. Method for deriving varied-resolution 3d information from 2d images
US11833681B2 (en) * 2018-08-24 2023-12-05 Nvidia Corporation Robotic control system
WO2020068849A1 (en) * 2018-09-25 2020-04-02 Visual Robotics Systems Inc. Spatially-aware camera and method thereof
US11839983B2 (en) * 2018-11-27 2023-12-12 Ocado Innovation Limited Systems and methods for robotic grasp verification
JP6915605B2 (ja) * 2018-11-29 2021-08-04 オムロン株式会社 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム
JP7372513B2 (ja) * 2018-12-05 2023-11-01 ミツミ電機株式会社 撮像デバイス、撮像システム、および産業用ロボット
US11312012B2 (en) * 2019-01-01 2022-04-26 Giant Ai, Inc. Software compensated robotics
US11911914B2 (en) * 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US11030766B2 (en) * 2019-03-25 2021-06-08 Dishcraft Robotics, Inc. Automated manipulation of transparent vessels
US20210023715A1 (en) * 2019-07-24 2021-01-28 Abb Schweiz Ag Incorporating Vision System and In-Hand Object Location System for Object Manipulation and Training

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118582A (ja) 2013-12-19 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JP2019508273A (ja) 2016-03-03 2019-03-28 グーグル エルエルシー ロボットの把持のための深層機械学習方法および装置
JP2018043338A (ja) 2016-09-16 2018-03-22 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置，ロボットシステムおよび機械学習方法
WO2019163985A1 (ja) 2018-02-23 2019-08-29 日本電信電話株式会社 特徴表現装置、特徴表現方法、およびプログラム

Also Published As

Publication number Publication date
EP3812107A1 (en) 2021-04-28
CN112757284B (zh) 2024-03-22
TW202118608A (zh) 2021-05-16
JP2021065955A (ja) 2021-04-30
TWI802820B (zh) 2023-05-21
CN112757284A (zh) 2021-05-07
US20210114209A1 (en) 2021-04-22
KR20210047258A (ko) 2021-04-29

Similar Documents

Publication Publication Date Title
JP7458741B2 (ja) ロボット制御装置及びその制御方法及びプログラム
Sadeghi et al. Sim2real viewpoint invariant visual servoing by recurrent control
US12053886B2 (en) Device control using policy training based on task embeddings
US11717959B2 (en) Machine learning methods and apparatus for semantic robotic grasping
CN110769985A (zh) 使用循环神经网络的机器人末端执行器的视点不变的视觉伺服
WO2020190272A1 (en) Creation of digital twin of the interaction among parts of the physical system
CN109397285B (zh) 一种装配方法、装配装置及装配设备
JP2018202550A (ja) 機械学習装置、機械学習方法、および機械学習プログラム
Zhang et al. Sim2real learning of obstacle avoidance for robotic manipulators in uncertain environments
CN108229678B (zh) 网络训练方法、操作控制方法、装置、存储介质和设备
US11679496B2 (en) Robot controller that controls robot, learned model, method of controlling robot, and storage medium
Inoue et al. Transfer learning from synthetic to real images using variational autoencoders for robotic applications
EP4021687A1 (en) Mitigating reality gap through training a simulation-to-real model using a vision-based robot task model
Gutzeit et al. The besman learning platform for automated robot skill learning
Liu et al. Sim-and-real reinforcement learning for manipulation: A consensus-based approach
JP7473005B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及び、プログラム
CN117769724A (zh) 使用深度学习的对象检测和分类的合成数据集创建
JP7531733B2 (ja) 異なるドメイン内のタスク間の転送
Sui et al. Transfer of robot perception module with adversarial learning
Gomes et al. Deep Reinforcement learning applied to a robotic pick-and-place application
EP4238714A1 (en) Device and method for controlling a robot
JP7441335B2 (ja) 動作生成装置、ロボットシステム、動作生成方法及び動作生成プログラム
WO2023100282A1 (ja) データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム
EP3542971A2 (en) Generating learned knowledge from an executable domain model
Gruosso et al. A Validation Approach for Deep Reinforcement Learning of a Robotic Arm in a 3D Simulated Environment

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R151 Written notification of patent or utility model registration

Ref document number: 7458741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151