JP7282703B2 - ロボットシステムおよびプログラム - Google Patents

ロボットシステムおよびプログラム Download PDF

Info

Publication number
JP7282703B2
JP7282703B2 JP2020020644A JP2020020644A JP7282703B2 JP 7282703 B2 JP7282703 B2 JP 7282703B2 JP 2020020644 A JP2020020644 A JP 2020020644A JP 2020020644 A JP2020020644 A JP 2020020644A JP 7282703 B2 JP7282703 B2 JP 7282703B2
Authority
JP
Japan
Prior art keywords
finger
robot
motion information
gripping
fingers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020020644A
Other languages
English (en)
Other versions
JP2021126706A (ja
Inventor
淳 菅原
秀一 中本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020020644A priority Critical patent/JP7282703B2/ja
Priority to US17/005,361 priority patent/US11820023B2/en
Publication of JP2021126706A publication Critical patent/JP2021126706A/ja
Application granted granted Critical
Publication of JP7282703B2 publication Critical patent/JP7282703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39486—Fingered hand, multifingered hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled

Description

本発明の実施形態は、ロボットシステムおよびプログラムに関する。
工場および物流センターなどで、部品および商品などの把持対象物を、ロボットが段ボール箱および棚などの中から取り出す場合がある。把持対象物がある程度大きく、平面を有する構造であれば、ロボットハンドに設けられた吸盤により把持対象物を吸着することにより取り出すことができる。また、把持対象物がボルトなどのような円筒物体であり、バラ積み状態であれば、ロボットハンドの２つの指を用いて把持対象物を挟むことにより把持することができる。
特開２０１４－２０５２０９号公報 国際公開第２０１９／１０７４５４号
Andy Zeng et al., "Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement Learning", in arXiv: 1803.09956 30 Sep 2018． Rouhollah Rahmatizadeh et al., "Vision-Based Multi-Task Manipulation for Inexpensive Robots Using End-To-End Learning from Demonstration", in arXiv:1707.02920 22 Apr 2018．
しかしながら、従来技術では、把持対象物を適切に把持できない状況が生じる場合があった。例えば、把持対象物の平面部分が小さく、かつ、複数の把持対象物が隙間なく置かれている場合、または、複数の把持対象物が倒れて重なっているような場合には、次に把持の対象とする把持対象物のみを吸盤により吸着することができない。また、このような場合には、ロボットハンドの２つの指を複数の把持対象物の間の隙間に入れて把持することもできない。
実施形態のロボットシステムは、対象物を把持するための複数の指を備えるロボットと、ロボットの動作を制御する制御装置と、を備える。制御装置は、画像取得部と、制御部と、を備える。画像取得部は、撮像装置により撮像された第１対象物および第２対象物の画像を取得する。制御部は、画像に基づいて、第１対象物と第２対象物との間に隙間を開ける方向に第１対象物を指により移動させ、隙間に指を挿入して第１対象物を把持するようにロボットの動作を制御する。
第１の実施形態にかかるロボットシステムのブロック図。 ロボットの構成例を示す図。 モータの構成例を示す図。 伸縮機構の動作を説明するための図。 伸縮機構の動作を説明するための図。 指および伸縮機構の動作を説明するための図。 指および伸縮機構の動作を説明するための図。 第１の実施形態における学習処理のフローチャート。 第１の実施形態における制御処理のフローチャート。 第３指が設けられていない場合の把持動作の例を示す図。 第３指が設けられている場合の把持動作の例を示す図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 把持対象物を把持して他の容器に移す動作を説明する図。 ロボットの動作情報を求めるためのモデルの構成例を示す図。 ＶＡＥおよびＬＳＴＭの構成例を示す図。 関節角の分布の例を示す図。 ガウス分布の重ね合わせで表現された分布の例を示す図。 ＭＤＮへの入力と出力との対応の例を示す図。 第２の実施形態のロボットのハンドの構成例を示す図。 第２の実施形態のロボットのハンドの構成例を示す図。 第２の実施形態のロボットのハンドの構成例を示す図。 第３の実施形態のロボットのハンドの構成例を示す図。 第１から第３の実施形態にかかる制御装置のハードウェア構成図。
以下に添付図面を参照して、この発明にかかるロボットシステムの好適な実施形態を詳細に説明する。
（第１の実施形態）
第１の実施形態にかかるロボットシステムは、把持対象物を把持するための指（第１指、第２指）の他に設けられる指（第３指）を用いて、第１指および第２指により把持可能な位置に把持対象物を移動（傾斜、並進（スライド）、および、回転など）させる。
例えば把持対象物と他の物体との間に隙間がない場合は、第３指により把持対象物を移動させて他の物体との間に隙間を生じさせ、隙間に第１指または第２指を挿入することにより、把持対象物を把持可能とする。また、複数の把持対象物が倒れて重なっているような場合（複数の把持対象物が将棋倒しとなっている場合など）は、第３指により把持対象物を起こすように移動させる。また、本実施形態のロボットシステムは、ロボットの動作シーケンスを求めるためのモデル（ニューラルネットワークなど）を、上記のような動作を可能とするように学習させる機能を有する。
このような構成により、ロボットによる把持が困難となり人手による把持が必要となるような状況の発生を回避可能となる。この結果、例えば工場および物流センターなどでの把持対象物の把持作業（ピッキング作業）の自動化が大きく前進する。
また本実施形態では、第３指を独立に動作させるアクチュエータ（モータ等）は備える必要がなく、例えば、第１指および第２指と共通のアクチュエータにより第３指を移動させることができる。従って、より簡易な構成で上記のような動作を実現可能となる。
なお本実施形態では、２つの指（第１指、第２指）を用いて挟むこと（挟持）により把持対象物を把持する。把持は、例えば把持対象物を吸盤により吸着することを含む。吸盤を用いる例は第２の実施形態で説明する。
図１は、第１の実施形態にかかるロボットシステムの全体構成の一例を示すブロック図である。図１に示すように、ロボットシステムは、制御装置１００と、２つのロボット２００Ｍ、２００Ｓと、カメラ３００と、を備えている。
各装置（制御装置１００、ロボット２００Ｍ、２００Ｓ、および、カメラ３００）は、例えばＬＡＮ（ローカルエリアネットワーク）およびインターネットなどのネットワークにより接続される。ネットワークは、有線であっても無線であってもよい。ネットワークの代わりに、または、ネットワークとともに、専用線により各装置が接続されてもよい。
ロボット２００Ｍおよびロボット２００Ｓは、それぞれマスタおよびスレイブとして動作するロボットであり、同様の構成を備える。ロボット２００Ｍ、２００Ｓを区別する必要がない場合は、単にロボット２００という場合がある。
カメラ３００は、ロボット２００（図１ではロボット２００Ｓ）が把持対象物４００を把持する動作を撮像するための撮像装置の一例である。カメラ３００は、ロボット２００に搭載されていてもよい。
制御装置１００は、ロボット２００の動作を制御する装置である。例えばユーザがロボット２００Ｍを操作すると、制御装置１００は、ロボット２００Ｍと同じ動作となるようにロボット２００Ｓを制御する。ロボット２００Ｍ、２００Ｓは、例えば模倣学習によりロボットの動作を学習させるために利用することができる。模倣学習では、例えばユーザの操作に応じたロボット２００Ｍの動作を模倣するように、ロボット２００Ｓの動作が学習される。模倣学習のときにはロボット２００Ｍ、２００Ｓの両方が必要となるが、例えば学習結果を用いて動作させる場合（学習後）は、動作させる少なくとも１つのロボット２００（図１ではロボット２００Ｓ）が備えられればよい。
制御装置１００は、記憶部１２１と、画像取得部１０１と、動作情報取得部１０２と、制御部１０３と、学習部１０４と、を備えている。
記憶部１２１は、制御装置１００内の各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、画像取得部１０１により取得された画像、動作情報取得部１０２により取得された動作情報、および、学習対象となるニューラルネットワークを示す情報（重みなどのニューラルネットワークのパラメータなど）を記憶する。記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
画像取得部１０１は、カメラ３００により撮像された画像を取得する。例えば画像取得部１０１は、ロボット２００が把持対象物４００を把持する動作を撮像した時系列画像を取得する。取得された画像は、例えば記憶部１２１に逐次記憶される。
動作情報取得部１０２は、ロボット２００の動作状態を示す動作情報を取得する。動作情報は、例えばロボット２００が備えるアームの関節角などを含む。図１に示すように、学習時には、動作情報取得部１０２は、マスタであるロボット２００Ｍの動作情報を取得する。学習結果を用いた動作時（学習後）には、動作情報取得部１０２は、動作させているロボット２００の動作情報を取得する。
制御部１０３は、ロボット２００の動作を制御する。例えば学習時には、制御部１０３は、動作情報取得部１０２により取得されたロボット２００Ｍの動作情報を参照し、この動作情報が示す動作状態となるようにロボット２００Ｓを動作させる。学習結果を用いた動作時（学習後）には、制御部１０３は、学習されたニューラルネットワークを用いて求められる動作情報が示す動作情報となるようにロボット２００を動作させる。
学習部１０４は、ニューラルネットワークを学習する。ニューラルネットワークは、把持対象物の画像に基づく入力情報を入力してロボット２００の動作情報を出力するモデルの一例である。画像に基づく入力情報は、カメラ３００により撮像された画像自体であってもよいし、撮像された画像を圧縮した画像情報（画像の特徴を示す情報など）であってもよい。例えば学習部１０４は、画像取得部１０１により取得された画像をニューラルネットワークに入力し、ニューラルネットワークの出力する動作情報と、動作情報取得部１０２により取得されたロボット２００Ｍの動作情報（正解データに相当）との誤差が小さくなるように、ニューラルネットワークのパラメータ（重みなど）を学習する。ニューラルネットワークの構成例、学習方法の例については後述する。
上記各部（画像取得部１０１、動作情報取得部１０２、制御部１０３、および、学習部１０４）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
上記各部は、相互に異なる装置に備えられてもよい。例えば学習に必要な機能（学習部１０４など）と、その他の機能とが、相互に異なる２つの装置に分散して備えられてもよい。
次に、ロボット２００の構成例について説明する。図２は、ロボット２００の構成例を示す図である。図２のロボット２００は、５個の関節を備える多関節ロボットの例である。関節数は５に限られるものではない。
ロボット２００は、筐体２０１と、いずれかの関節を介して互いに可動に連結された複数のアーム２１１～２１４と、支持部材２０２と、複数の指２２１、２２２、２２３と、を備えている。指２２１は、ベース部２２１ａと、伸縮機構２２１ｂと、端部２２１ｃと、を含む。指２２２は、ベース部２２２ａと、伸縮機構２２２ｂと、端部２２２ｃと、を含む。矢印２３１～２３５は、５個の関節の動作方向を示す。５個の関節の関節角は、動作情報の一例であり、例えば動作情報取得部１０２により取得されて記憶部１２１に記憶される。
図１の「関節角０１～０５」は、このようにして記憶される動作情報としての５個の関節の関節角を示している。なお図１に示すように、動作情報は、対応する時刻に撮像された画像と関連づけて記憶されてもよい。
複数のアーム２１１～２１４は、直列に連結されている。アーム２１４の先端には、支持部材２０２と、複数の指２２１、２２２、２２３と、が備えられる。支持部材２０２は、指２２１、２２２、２２３を支持する。指２２１、２２２、２２３は、それぞれ第１指、第２指、および、第３指に相当する。
伸縮機構２２１ｂ、２２２ｂは、支持部材２０２に対して伸びる方向（伸長）および縮む方向（縮退）に端部２２１ｃ、２２２ｃを伸縮させる。伸縮機構２２１ｂ、２２２ｂは、指２２１および指２２２を支持部材２０２に対して相対的に移動させる移動部材に相当する。支持部材２０２、および、指２２１、２２２、２２３は、アーム２１４の先端に備えられるハンドを構成すると解釈することができる。
アーム２１１～２１４およびハンド（支持部材２０２、指２２１、２２２、２２３）は、可動部材の一例である。各可動部材の位置および姿勢は、各可動部材を駆動するアクチュエータ（駆動部）の作動によって、変化したり維持されたりしうる。アクチュエータは、例えば、モータであるがこれに限定されない。例えばアクチュエータは、モータ付きポンプ、ソレノイド、ソレノイド付き電磁弁、および、ピストンシリンダ等であってもよい。アクチュエータの駆動を制御する駆動制御部（サーボアンプ）は、例えばロボット２００に備えられる。
ハンドは、アーム２１１～２１４の可動範囲内で位置および姿勢を変化させることができる。学習時には、例えばユーザがマスタとなるロボット２００Ｍのハンド先端を持って各アームを動かせば、その動作がスレイブとなるロボット２００Ｓに伝達される。
指２２１および指２２２の間隔を変化させるモータ（駆動部）は、例えば１つのモータにより構成することができる。図３は、このモータの構成例を示す図である。図３に示すように、指２２１および指２２２の間隔を変化させるモータが回転軸３０１回りに回転すると、ギアを介して指２２１および指２２２の間隔が変化する。
次に、第１指および第２指である指２２１、２２２を伸縮させるための伸縮機構２２１ｂ、２２２ｂについて説明する。図４および図５は、伸縮機構２２１ｂ、２２２ｂの動作を説明するための図である。なお説明の便宜のため、図４および図５では指２２３の記載を省略している。
図４は、指２２１および２２２の間隔が広い状態（指を開いた状態）での伸縮機構２２１ｂ、２２２ｂの動作例を示す。伸縮機構２２１ｂ、２２２ｂは、自身および端部２２１ｃ、２２２ｃにかかる重力によって支持部材２０２から離れる方向に指２２１、２２２を伸長させる。端部２２１ｃ、２２２ｃが把持対象物４００に接触し、さらにハンドが把持対象物の方向に移動されると、把持対象物４００からの力によって、伸縮機構２２１ｂ、２２２ｂは、支持部材２０２に近づく方向に指２２１、２２２を縮退させる。
図５は、指２２１および２２２の間隔が狭い状態（指を閉じた状態）での伸縮機構２２１ｂ、２２２ｂの動作例を示す。伸縮機構２２１ｂ、２２２ｂの動作手順は図４と同様である。
このように、本実施形態では、受動機構であり重力により伸びる伸縮機構２２１ｂ、２２２ｂにより指２２１、２２２を伸縮する。従って、指２２１、２２２を伸縮させるためのアクチュエータを備える必要はない。なお、ばねなどの弾性部材により指２２１、２２２を伸ばすように伸縮機構２２１ｂ、２２２ｂを構成してもよい。
次に第３指である指２２３の動作について説明する。図６および図７は、指２２３および伸縮機構２２１ｂ、２２２ｂの動作を説明するための図である。指２２３は、主に把持対象物４００を傾けたり、横方向に移動（並進）させたりするために用いられる。
図６は、指２２１および２２２の間隔が広い状態での指２２３および伸縮機構２２１ｂ、２２２ｂの動作例を示す。図６に示すように、端部２２１ｃおよび２２２ｃの先端は、伸長したときに指２２３の先端より外側の方向に位置し、縮退したときに指２２３の先端より内側の方向に位置する。外側（内側）の方向とは、例えば支持部材２０２を基準として指２２１、２２２の伸長方向に観察したときに、支持部材２０２から離れる方向（支持部材２０２に近づく方向）を表す。
端部２２１ｃ、２２２ｃが把持対象物４００に接触し、さらにハンドが把持対象物の方向に移動されると、伸縮機構２２１ｂ、２２２ｂによって支持部材２０２に近づく方向に指２２１、２２２が縮退される。指２２３が把持対象物４００に接触すると、指２２１、２２２の縮退は停止する。指２２３は伸縮機構などに接続されていないため、伸縮されない。指２２３が把持対象物４００に接触した状態でハンドの位置および姿勢を変化させることで、把持対象物４００を移動（傾斜、並進、および、回転など）させることが可能となる。
図７は、指２２１および２２２の間隔が狭い状態での指２２３および伸縮機構２２１ｂ、２２２ｂの動作例を示す。指２２３および伸縮機構２２１ｂ、２２２ｂの動作手順は図６と同様である。
指２２３を用いた把持対象物４００の把持は、例えば以下のように実行される。まず、制御部１０３は、指２２１、２２２を閉じた状態（指２２１、２２２の間隔が初期値の状態）で、指２２３が把持対象物４００に接触するようにロボット２００を動作させる。その後、必要に応じて、制御部１０３は、把持対象物４００が指２２１、２２２により把持可能な位置および姿勢となるように、指２２３の位置を変化させて把持対象物４００を移動させる。その後、制御部１０３は、指２２１、２２２の間隔を徐々に広げるように（間隔が初期値より大きい値となるように）動作させる。指２２１、２２２の間隔が把持対象物４００の幅（把持対象物４００を把持可能な値）より広くなると、指２２１、２２２は重力により伸長し、把持対象物４００を把持可能な位置に移動する。この後、制御部１０３は、指２２１、２２２の間隔を狭くするように動作させることで、指２２１、２２２により把持対象物４００を把持する。なお、把持対象物４００の把持動作の具体例については後述する。
次に、このように構成された第１の実施形態にかかる制御装置１００による学習処理について説明する。図８は、第１の実施形態における学習処理の一例を示すフローチャートである。
学習処理が開始されると、画像取得部１０１は、カメラ３００により撮像された把持対象物４００およびロボット２００Ｓのハンドなどの画像を取得する（ステップＳ１０１）。また動作情報取得部１０２は、ユーザの操作に応じて動作するマスタであるロボット２００Ｍから動作情報を取得する（ステップＳ１０２）。学習部１０４は、取得された画像および動作情報を用いてニューラルネットワークを学習する（ステップＳ１０３）。例えば学習部１０４は、取得された画像をニューラルネットワークに入力し、ニューラルネットワークの出力する動作情報と、取得されたロボット２００Ｍの動作情報との誤差が小さくなるように、ニューラルネットワークのパラメータ（重みなど）を学習する。
学習処理は、把持対象物４００の個数、複数の把持対象物４００の位置および姿勢、および、把持対象物４００の相対的な位置関係などの条件を変更して繰り返し実行される。多数の条件で学習処理を実行すれば、多様な条件のもとで把持対象物を適切に把持可能な動作情報を出力するようにニューラルネットワークを学習できる。
例えば学習部１０４は、把持対象物４００（第１対象物）と他の対象物（第２対象物）との間に隙間がないような状態で、把持対象物４００と他の対象物との間に隙間を開ける方向に把持対象物４００を指２２３により移動させ、開けられた隙間に指２２１または指２２２を挿入して把持対象物４００を把持するようにロボット２００Ｍを動作させたときの動作情報を用いてニューラルネットワークを学習する。このように学習されたニューラルネットワークを用いれば、同じような状態であっても、指２２１または２２２を挿入可能となるように隙間を開けて把持対象物４００を適切に把持するようにロボット２００を制御可能となる。すなわち、把持対象物をより適切に把持することが可能となる。
次に、このように構成された第１の実施形態にかかる制御装置１００によるロボット２００の制御処理について説明する。制御処理は、学習されたニューラルネットワークを用いてロボット２００の動作を制御する処理である。図９は、第１の実施形態における制御処理の一例を示すフローチャートである。
画像取得部１０１は、カメラ３００により撮像された把持対象物４００およびロボット２００Ｓのハンドなどの画像を取得する（ステップＳ２０１）。制御部１０３は、取得された画像をニューラルネットワークに入力し、ニューラルネットワークから出力される動作情報を取得する（ステップＳ２０２）。制御部１０３は、出力された動作情報が示す動作状態となるようにロボット２００の動作を制御する（ステップＳ２０３）。
上記のように、多様な条件で学習したニューラルネットワークを用いれば、多様な条件（状態）のもとで把持対象物をより適切に把持するようにロボット２００を制御可能となる。例えば制御部１０３は、把持対象物４００（第１対象物）と他の対象物（第２対象物）との間に隙間がないような状態であっても、把持対象物４００と他の対象物との間に隙間を開ける方向に把持対象物４００を指２２３により移動させ、開けられた隙間に指２２１または指２２２を挿入して把持対象物４００を把持するようにロボット２００を動作させることが可能となる。
以下、把持対象物４００の把持動作の具体例についてさらに説明する。図１０は、指２２３（第３指）が設けられていない構成を用いる場合の把持動作の例を示す図である。このような構成では、把持対象物４００が障害物１００１（他の対象物など）に接触していると、障害物１００１との間に隙間が存在しないため、端部２２１ｃ、２２２ｃを挿入することができない。すなわち、指２２１、２２２により把持対象物４００を把持することができない。なお障害物１００１は、他の対象物に限られず、把持対象物４００を収容している容器などであってもよい。
図１１は、本実施形態のように指２２３（第３指）が設けられている構成を用いる場合の把持動作の例を示す図である。このような構成では、例えば指２２３を用いて把持対象物４００を傾けることにより、障害物１００１と把持対象物４００との間に隙間を開けることができる。この隙間に端部２２１ｃまたは２２２ｃを挿入し、把持対象物４００を把持することが可能となる。
図１２～図２１を用いて、把持対象物４００を把持して他の容器に移す動作の具体例を説明する。以下では、学習済みのニューラルネットワークを用いて制御部１０３がロボット２００を動作させる例として説明する。これらの例は、学習時にマスタのロボット２００Ｍをユーザが動作させる手順を示す例と解釈することもできる。
まず、図１２に示すように、制御部１０３は、指２２１、２２２を閉じた状態で、把持対象物４００の上面に指２２３を近づけるように動作させる。このとき、端部２２１ｃ、２２２ｃは、重力で下に下がった状態であり、先端の位置は指２２３より把持対象物４００に近い状態である。
図１３は、端部２２１ｃ、２２２ｃが把持対象物４００の上面に接触した状態を示す。図１４は、指２２３も把持対象物４００の上面に接触した状態を示す。この後、図１５に示すように、制御部１０３は、指２２３を把持対象物４００に作用させ、把持対象物４００を傾斜させる。図１６に示すように、制御部１０３は、指２２１、２２２の間隔を広げる。
指２２１、２２２の間隔が把持対象物４００の幅より大きくなると、図１７に示すように、指２２１、２２２が重力の作用で伸長する。この後、図１８に示すように、制御部１０３は、指２２１、２２２を閉じて把持対象物４００を把持させる。
図１９に示すように、制御部１０３は、把持対象物４００を把持した状態で、把持対象物４００を上昇に持ち上げる。図２０に示すように、制御部１０３は、把持対象物４００を容器の外部に移動させる。図２１に示すように、制御部１０３は、把持対象物４００を他の容器２１０１内に置く。このようにして、隙間なく置かれた把持対象物４００であっても把持することが可能となる。
次に、図２２～図２５を用いて、把持対象物４００を把持して他の容器に移す動作の他の具体例を説明する。図２２～図２５は、倒れた把持対象物４００を把持する手順の例を示す。
図２２に示すように、把持対象物４００が倒れている場合は、そのままの状態では把持対象物４００を把持することが困難である。そこで、制御部１０３は、指２２１、２２２を閉じて指２２３に接触させた状態とし、指２２３の位置を変化させることにより、把持対象物４００を起こす。図２３～図２５は、把持対象物４００が起こされて立った状態に変化する様子を示す。この後、把持対象物４００を他の容器（図２１の容器２１０１など）に移動させる手順は、図１２～図２１で説明した手順と同じである。
次に、ロボット２００の動作情報を求めるためのモデルについて説明する。図２６は、ロボット２００の動作情報を求めるためのモデルの構成例を示す図である。
上述のように本実施形態のロボットシステムは、マスタ－スレイブの構成になっている。ユーザがマスタのロボット２００Ｍを操作すると、操作されたロボット２００Ｍと同じようにスレイブのロボット２００Ｓを動作させることができる。カメラ３００は、ロボット２００Ｓ（アーム、ハンド）の動作、および、把持対象物４００を撮像して画像を出力する。撮像された画像は、画像撮像時のロボット２００の各関節の関節角と対応づけて記憶部１２１に記憶される。
画像はそのままモデルの入力として用いられてもよいが、圧縮された画像がモデルの入力として用いられてもよい。例えばＶＡＥ（Variational Auto Encoder）などの技術を用いて、１２８×１２８画素数の画像が２５６次元の画像情報に圧縮される。この場合、画像情報は、２５６次元空間の１点で表される。ロボット２００および把持対象物４００が動くということは、この２５６次元空間内で１点が連続的に動くことを意味する。２５６次元空間内での点の動きは、把持対象物４００の動きおよびハンドの動きを表現していると解釈することができる。
一方、ロボット２００の関節数が５個の場合、ロボット２００の姿勢（動作情報）は、５次元空間の１点で表される。ロボット２００が動くということは、この５次元空間内で１点が連続的に動くことを意味する。
画像から動作情報を求めるモデルは、２５６次元空間の１点と５次元空間の１点を対応させる写像関数に相当する。図２６では、画像情報ｘを関節角τ（動作情報の一例）に変換する写像ｆの例が示されている。
ロボット２００が動いている場合、２５６次元空間の１点と５次元空間の１点の動きは、同期した時系列データである。このような時系列データ（複数の画像の時系列データ、複数の動作情報の時系列データ）を対応づける写像関数は、例えばニューラルネットワークにより実現できる。このようなニューラルネットワークとしては、例えばＬＳＴＭ（Long Short Term Memory）を用いることができる。
図２７は、ＶＡＥおよびＬＳＴＭの構成例を示す図である。ＶＡＥにはカメラ３００で撮像された画像２７０１（例えば１２８×１２８画素の画像）が入力される。ＶＡＥは、ＶＡＥの出力と画像２７０１との誤差が小さくなるように学習される。ＶＡＥによる処理の過程で、圧縮された画像情報（潜在変数ｚ）が生成される。ＶＡＥもニューラルネットであり、学習のためには多数の画像が必要である。従って、マスタ－スレイブ構成で把持動作を複数回繰り返し実行させ、多数の画像と多数の関節角（動作情報）のデータを作り、これらのデータをニューラルネットに入力することにより、学習が実行される。
ＶＡＥは、内部にデータの平均（μ）と分散（σ）を形成する機能があり、多数のデータを用いて写像関数を形成することができる。この機能を用いると２５６次元空間の１点の動きを滑らかにつなぐことができ、潜在変数ｚを求めることができる。
ＬＳＴＭは、このようにして求められる潜在変数ｚを、圧縮された画像情報として入力する。なお、圧縮された画像情報（潜在変数ｚ）を求める方法は、ＶＡＥに限られるものではない。また、上記のように、圧縮しない画像（例えば画像２７０１自体）をＬＳＴＭに入力するように構成してもよい。
なお、カメラ３００とは別に備えられるセンサなどによる検知結果（触覚情報、Tactile information）が得られる場合には、触覚情報もＬＳＴＭへの入力として用いてもよい。例えば、潜在変数ｚと触覚情報とを連結したデータが、ＬＳＴＭに入力されてもよい。なお、触覚情報が得られない場合は、圧縮された画像情報（潜在変数ｚ）のみがＬＳＴＭに入力されてもよい。
ＬＳＴＭの出力は、例えばロボット２００の各関節の関節角を示す値である。ＬＳＴＭについても、把持動作を多数行ったときのデータが用いられる。図２７のモデルの例では、ＬＳＴＭにＭＤＮ（Mixed Density Network）が接続される。ＭＤＮは、ＬＳＴＭから出力された多数の関節角のデータの分布を統計的に処理して出力する。このように、本実施形態のモデルは、入力情報に対する予測値（関節角などの動作情報）の分布を示す情報を出力する機能を含む。
図２８～図３０は、ＭＤＮによる処理を説明するための図である。図２８は、関節角の分布の例を示す図である。丸は、ある時刻での、ある１つの関節の関節角の値に相当する。図２８内の曲線は、多数の値の変化を近似した線を示す。ＭＤＮでは、関節角の分布をより適切に表現することが可能となる。
すなわちＭＤＮでは、関節角の分布が、以下の（１）式および（２）式のようにガウス分布の重ね合わせで表現される。なお、ｃはロボット２００の関節数を表す。
Figure 0007282703000001
Figure 0007282703000002
図２９は、ガウス分布の重ね合わせで表現された分布の例を示す図である。ガウス分布の形状は、各分布のピーク位置に対応するμ1、μ2、μ3、・・・、μｍ、各分布の高さに対応するα1、α2、α3、・・・、αｍ、および、各分布の広がりに対応するσ1、σ2、σ3、・・・、σｍで決定される。なお図２９では、分布の個数であるｍが３である場合の分布の例が示されている。
図３０は、ＭＤＮへの入力と出力との対応の例を示す図である。ｘは、ＭＤＮへの入力（ＬＳＴＭからの出力）である。α、μ、σは、ＭＤＮからの出力であり、図２９で説明したα、μ、σに相当する。なお図３０は、ある１つの関節の関節角に対応する出力、すなわち、１次元の関節角の情報の例を示している。例えば５個の関節が用いられる場合は、図３０に示すような出力が、５個分（５次元の関節角の情報に相当）出力される。
ＭＤＮを用いることにより、教示された複数の関節角のデータを滑らかに繋げて処理可能となる。これにより、学習時に教示されていない関節角にも対応可能となり、ロボット２００の動きのロバスト性を向上させることができる。
このように、第１の実施形態にかかるロボットシステムでは、把持対象物を把持するための指の他に設けられる指を用いて把持対象物を把持可能な位置に移動させることができる。これにより、把持対象物を適切に把持できない状況が生じることを抑制することができる。
（第２の実施形態）
第２の実施形態では、把持対象物を吸着することができる吸盤を備えるロボットシステムの例を説明する。
図３１は、本実施形態のロボットシステムが備えるロボットのハンドの構成例を示す図である。図３１に示すように本実施形態では、第３指に相当する指２２３－２は、先端に吸盤２２６－２を備える。他の構成は第１の実施形態と同様であるため同一の符号を付し説明を省略する。
吸盤２２６－２を備えることにより、把持対象物４００の上面をより確実に把持することが可能となる。従って、例えば吸盤を備えない第１の実施形態の指２２３では把持対象物４００を並進させることができない状況でも、把持対象物４００を並進させることが可能となる。
指２２１、２２２、２２３－２の長さは、例えば図３１より短くしてもよい。図３２は、図３１と比較して長さが短い指２２１、２２２、２２３－２を備える構成の例である。
また、指２２１、２２２のうち一方を備えないように構成してもよい。図３３は、指２２２を備えない構成の例である。このような構成であっても、例えば吸盤２２６－２および指２２１により把持対象物４００を安定して把持することができる。
（第３の実施形態）
第３の実施形態では、カメラ３００とは異なるセンサを備えるロボットシステムの例を説明する。
図３４は、本実施形態のロボットシステムが備えるロボットのハンドの構成例を示す図である。図３４に示すように本実施形態では、変位センサ２４１－３、２４２－３と、タッチセンサ２５１－３、２５２－３、２５３－３と、がさらに備えられる。
変位センサ２４１－３、２４２－３は、それぞれ端部２２１ｃ－３、２２２ｃ－３の変位量(移動量)を検知するセンサである。タッチセンサ２５１－３、２５２－３、２５３－３は、それぞれ端部２２１ｃ－３、端部２２２ｃ－３、指２２３－３の先端に備えられ、自身または対応する指に対する物体等の接触を検知するセンサである。
これらセンサで計測（検知）されたデータは、動作情報の一部として使用することができる。例えば、各センサで検知されたデータは、図２７に示した触覚情報として用いることができる。これにより、把持対象物４００とハンドとの接触状況も学習に取りこみ、よりロバストな動作を実現することができる。
なお、各センサ（変位センサ２４１－３、２４２－３、タッチセンサ２５１－３、２５２－３、２５３－３）はすべて備える必要はなく、一部のみを備えてもよい。例えば、変位センサ２４１－３、２４２－３、および、タッチセンサ２５１－３、２５２－３、２５３－３のうち一方のみが備えられてもよい。また備えられるセンサのうち一部のセンサの検知情報のみを動作情報として使用してもよい。
以上説明したとおり、第１から第３の実施形態によれば、把持対象物を適切に把持できない状況が生じる可能性を低減することができる。
次に、第１から第３の実施形態にかかる制御装置のハードウェア構成について図３５を用いて説明する。図３５は、第１から第３の実施形態にかかる制御装置のハードウェア構成例を示す説明図である。
第１から第３の実施形態にかかる制御装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
第１から第３の実施形態にかかる制御装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
第１から第３の実施形態にかかる制御装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、第１から第３の実施形態にかかる制御装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１から第３の実施形態にかかる制御装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第１から第３の実施形態にかかる制御装置で実行されるプログラムは、コンピュータを上述した制御装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００ 制御装置
１０１ 画像取得部
１０２ 動作情報取得部
１０３ 制御部
１０４ 学習部
１２１ 記憶部
２００Ｍ、２００Ｓ ロボット
２１１、２１２、２１３、２１４ アーム
２２１、２２２、２２３ 指
３００ カメラ
４００ 把持対象物

Claims (10)

  1. 対象物を把持するための複数の指を備えるロボットと、前記ロボットの動作を制御する制御装置と、を備えるロボットシステムであって、
    前記制御装置は、
    撮像装置により撮像された第１対象物および第２対象物の画像を取得する画像取得部と、
    前記画像に基づいて、前記第１対象物と前記第２対象物との間に隙間を開ける方向に前記第１対象物を前記指により移動させ、前記隙間に前記指を挿入して前記第１対象物を把持するように前記ロボットの動作を制御する制御部と、を備え、
    前記ロボットは、
    第１伸縮機構を有する第１指、第２伸縮機構を有する第２指、および、伸縮機構を有さない第３指と、
    前記第１指と前記第２指との間隔を変化させる駆動部と、を備え、
    前記制御部は、
    前記第１対象物に接触させた前記第３指の位置を変化させることにより前記第１対象物を移動させ、前記隙間に前記第１指を挿入し、前記第１指および前記第２指により前記第１対象物を把持するように前記駆動部を制御する、
    ロボットシステム。
  2. 前記制御部は、
    前記第１指と前記第２指との間隔が初期値であるときに前記第３指が前記第１対象物に接触するまで前記ロボットの位置を変化させ、
    前記第３指が前記第１対象物に接触した状態で前記第３指の位置を変化させることにより前記第１対象物を移動させ、
    前記第１対象物を移動させた後に、前記第１指と前記第２指との間隔が前記初期値より大きい値であって、前記第１対象物を把持可能な値となるように前記駆動部を制御し、
    前記第１指と前記第２指とが前記第１対象物を把持可能な位置に移動した後に、前記第１指および前記第２指により前記第１対象物を把持するように前記駆動部を制御する、
    請求項１に記載のロボットシステム。
  3. 前記ロボットは、前記第３指の先端に吸盤を備える、
    請求項１に記載のロボットシステム。
  4. 前記制御装置は、
    前記ロボットの動作状態を示す動作情報を取得する動作情報取得部と、
    前記画像取得部により取得された前記画像と、前記第１対象物と前記第２対象物との間に隙間を開ける方向に前記第１対象物を前記指により移動させ、前記隙間に前記指を挿入して前記第１対象物を把持するように前記ロボットを動作させたときに前記動作情報取得部により取得された前記動作情報と、を用いて、対象物の画像に基づく入力情報を入力して前記動作情報を出力するモデルを学習する学習部と、をさらに備える、
    請求項１に記載のロボットシステム。
  5. 前記モデルは、前記入力情報に対する予測値の分布を示す情報を出力する機能を含む、
    請求項４に記載のロボットシステム。
  6. 前記ロボットは、
    複数の前記指の少なくとも一部に対する物体の接触を検知するセンサをさらに備え、
    前記動作情報取得部は、前記センサにより検知された情報を含む前記動作情報を取得する、
    請求項４に記載のロボットシステム。
  7. 前記ロボットは、第１指、第２指、および、第３指を備え、
    前記センサは、前記第１指に対する物体の接触を検知するセンサ、前記第２指に対する物体の接触を検知するセンサ、および、前記第３指に対する物体の接触を検知するセンサのうち少なくとも１つである、
    請求項６に記載のロボットシステム。
  8. 前記ロボットは、
    第１指、第２指、および、第３指と、
    前記第１指、前記第２指、および、前記第３指を支持する支持部材と、
    前記第１指および前記第２指を前記支持部材に対して相対的に移動させる移動部材と、
    前記移動部材による前記第１指および前記第２指の移動量を検知するセンサと、を備え、
    前記動作情報取得部は、前記センサにより検知された情報を含む前記動作情報を取得する、
    請求項４に記載のロボットシステム。
  9. 前記第１伸縮機構は、前記第１伸縮機構にかかる重力によって前記第１指を伸長させ、
    前記第２伸縮機構は、前記第２伸縮機構にかかる重力によって前記第２指を伸長させる、
    請求項１に記載のロボットシステム。
  10. 対象物を把持するための複数の指を備えるロボットの動作を制御する制御装置が備えるコンピュータに、
    撮像装置により撮像された第１対象物および第２対象物の画像を取得する画像取得ステップと、
    前記画像に基づいて、前記第１対象物と前記第２対象物との間に隙間を開ける方向に前記第１対象物を前記指により移動させ、前記隙間に前記指を挿入して前記第１対象物を把持するように前記ロボットの動作を制御する制御ステップと、を実行させ、
    前記ロボットは、
    第１伸縮機構を有する第１指、第２伸縮機構を有する第２指、および、伸縮機構を有さない第３指と、
    前記第１指と前記第２指との間隔を変化させる駆動部と、を備え、
    前記制御ステップは、
    前記第１対象物に接触させた前記第３指の位置を変化させることにより前記第１対象物を移動させ、前記隙間に前記第１指を挿入し、前記第１指および前記第２指により前記第１対象物を把持するように前記駆動部を制御する、
    プログラム。
JP2020020644A 2020-02-10 2020-02-10 ロボットシステムおよびプログラム Active JP7282703B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020020644A JP7282703B2 (ja) 2020-02-10 2020-02-10 ロボットシステムおよびプログラム
US17/005,361 US11820023B2 (en) 2020-02-10 2020-08-28 Robot system and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020020644A JP7282703B2 (ja) 2020-02-10 2020-02-10 ロボットシステムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2021126706A JP2021126706A (ja) 2021-09-02
JP7282703B2 true JP7282703B2 (ja) 2023-05-29

Family

ID=77177388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020020644A Active JP7282703B2 (ja) 2020-02-10 2020-02-10 ロボットシステムおよびプログラム

Country Status (2)

Country Link
US (1) US11820023B2 (ja)
JP (1) JP7282703B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333121B2 (ja) 2021-08-02 2023-08-24 株式会社Rainbow 幹細胞を非凍結で保存または輸送するための方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280812A1 (en) 2006-05-17 2007-12-06 Axium Inc. Tool and method for mixed palletizing/depalletizing
JP2014205209A (ja) 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
WO2018212203A1 (ja) 2017-05-15 2018-11-22 Thk株式会社 把持システム
WO2019107454A1 (ja) 2017-11-28 2019-06-06 川崎重工業株式会社 技能伝承機械装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMO20020050A1 (it) * 2002-02-28 2003-08-28 Ferrari & Cigarini Srl Dispositivo per la depalletizzazione di pacchi di piastrelle
JP6707485B2 (ja) 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
JP7155479B2 (ja) * 2017-05-15 2022-10-19 Thk株式会社 ハンド機構、把持システム、および把持プログラム
JP7145702B2 (ja) * 2018-09-07 2022-10-03 株式会社日立物流 ロボットシステム及びその制御方法
US11628561B2 (en) * 2019-08-19 2023-04-18 The Hong Kong University Of Science And Technology System and methods for robotic precision placement and insertion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280812A1 (en) 2006-05-17 2007-12-06 Axium Inc. Tool and method for mixed palletizing/depalletizing
JP2014205209A (ja) 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
WO2018212203A1 (ja) 2017-05-15 2018-11-22 Thk株式会社 把持システム
WO2019107454A1 (ja) 2017-11-28 2019-06-06 川崎重工業株式会社 技能伝承機械装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rouhollah Rahmatizadeh et al.，Vision-Based Multi-Task Manipulation for Inexpensive Robots Using End-To-End Learning from Demonstration，2018 IEEE Inrwenational Conference on Robotics and Automation，米国，2018年05月21日，pp.3758-3765

Also Published As

Publication number Publication date
JP2021126706A (ja) 2021-09-02
US20210245365A1 (en) 2021-08-12
US11820023B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
EP3869464B1 (en) Learning apparatus and learning method
US10350768B2 (en) Control device, robot, and robot system
US20180276501A1 (en) Information processing apparatus, information processing method, and storage medium
US10532461B2 (en) Robot and robot system
JP6693098B2 (ja) ロボット、及びロボットシステム
US11440197B2 (en) Robot system and imaging method
JP2017177294A (ja) ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
JP5899951B2 (ja) ロボット装置および位置姿勢検出方法
JP2019181622A (ja) ハンド制御装置およびハンド制御システム
JP7186349B2 (ja) エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7282703B2 (ja) ロボットシステムおよびプログラム
Namiki et al. Origami folding by multifingered hands with motion primitives
US20180215044A1 (en) Image processing device, robot control device, and robot
EP4192658A1 (en) Fine-grained industrial robotic assemblies
JP6455869B2 (ja) ロボット、ロボットシステム、制御装置、及び制御方法
JP2015157343A (ja) ロボット、ロボットシステム、制御装置、および制御方法
US9613180B1 (en) Robotic control device and method for manipulating a hand-held tool
Stückler et al. Perception of deformable objects and compliant manipulation for service robots
JP6123364B2 (ja) ロボット制御システム、ロボット、プログラム及びロボット制御方法
JP7201858B2 (ja) 判定方法
JP7286524B2 (ja) ピッキングロボット、ピッキング方法及びプログラム
US20230278227A1 (en) Device and method for training a machine learning model to derive a movement vector for a robot from image data
JP2018001321A (ja) ロボット、ロボット制御装置、及びロボットシステム
Rutgeerts et al. A demonstration tool with Kalman Filter data processing for robot programming by human demonstration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230517

R151 Written notification of patent or utility model registration

Ref document number: 7282703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151