JP5361756B2 - 模倣学習のためのタスク固有の表現の自動選択を備えたロボット - Google Patents
模倣学習のためのタスク固有の表現の自動選択を備えたロボット Download PDFInfo
- Publication number
- JP5361756B2 JP5361756B2 JP2010025636A JP2010025636A JP5361756B2 JP 5361756 B2 JP5361756 B2 JP 5361756B2 JP 2010025636 A JP2010025636 A JP 2010025636A JP 2010025636 A JP2010025636 A JP 2010025636A JP 5361756 B2 JP5361756 B2 JP 5361756B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- task
- task space
- movement
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36442—Automatically teaching, teach by showing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Description
−ロボットの環境におけるエンティティの動きを観察すること、
−感覚(sensorial)データストリームを用いて該観察した動きを記録し、該記録した動きを、異なるタスク空間表現(task space representation)で表現すること、および、
−上記の模倣学習のために該タスク空間表現の一部を選択して、模倣されるべき該動きの再現を行うこと。
次のようなものとなり得る:
−ロボットのエンドエフェクタの絶対位置、
−ロボットのエンドエフェクタの、握られる対象物に対する相対位置、および、
−ロボットのエンドエフェクタの向き。
−試行間の変動、
−不快性(discomfort)、
−ジョイント(関節)のトルク、
−注意信号(attention signal)。
−いくつかのタスク実演にわたって試行間の変動が低ければ、高い重要性のタスク空間を割り当てる、変動ベースの計測。後述する参考文献[2]において、該変動を重要な計測値として用いる基本的なアイデアが、良好に評価されている。この点に関し、該参考文献[2]の開示をここで参照により取り入れる。
−教師の挙動についての情報を包含するインタラクティブな(双方向な)キュー。重要性は、該教師による明示的な注意の生成を介して定義される。後述する参考文献[3]では、親―幼児間の研究分野での実験が、重要性を定義するためのそのような注意のメカニズムを示している。この点に関し、該参考文献[3]の開示をここで参照により取り入れる。
−人間の実演者の不快性(discomfort)および努力性(effort)を解析するのに用いられる
人間モデルの運動ないし動的なシミュレーション。人間が経験した快適でない姿勢は、該タスクにとって重要となりうる。後述する従来の参考文献[4]は、模倣についてのタスク重要性を定義する目的で、人間の姿勢を分析することに代えて、該人間の姿勢を予測するために同様のコスト関数を使用している。この点に関し、該参考文献[4]の開示を参照により取り入れる。
この例では、ロボットは、対象物(たとえば、ボール)をバスケットに入れることを学習する。このため、人間の教師が、ロボットに対し、ボールとバスケットについての開始位置が異なる複数の状況で該タスクを実行する方法について、一組の実演をして見せる。“タスク空間プール”における可能なタスク空間は、次の通りである:
−ボールの絶対位置、
−バスケットの絶対位置、
−ボールのバスケットに対する相対位置、
−そのシーン(場面)において他の対象物が存在しうるので、付加的なタスク空間(たとえば、ボールの、他の認識された対象物に対する位置)。
この例は、身体の異なるパーツの、タスクに関係した動きを決定するため、人間モデルの運動シミュレーションを使用することについて説明する。人間型ロボットは、片方または両方のアーム(腕)でジェスチャを再現することを学習する。したがって、この例での主要な問題は、どのアームが、学習する該ジェスチャに必要とされるか、である。前述した例のように、統計的評価のみを用いることは、この問題に答えるのに十分ではない。なぜならば、該動きが1つのアームで実行されるならば、他のアームは、静止したままであるからである。これは、複数の実演動作にわたり試行間の変動が低いこととなる。しかしながら、必要とされないアームの静止は、該表現の一部とはならない。他方、アームを静止した状態に保持することは、必ずしも、これが重要でないことを意味するものではない。
[1]M. Toussaint, M. Gienger およびC.Goerickによる”Optimization of sequential attractor-based movement for compact behavior generation”, 7th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2007), 2007
[2]M. Muhligによる”Task learning of bimanual object handling”, diploma thesis, 2008
[3]Y. Nagai およびK. J. Rohlfingによる、”Parental Action Modification Highlighting the Goal versus the Means”, in Proceedings of IEEE 7th International Conference on Development and Learning (ICDL’08), August 2008.
[4]K. Abdel-Malek, J. Yang, Z. Mi, V. Patel およびK. Nebelによる”Human Upper Body Motion Prediction”, Applied Simulation and Modelling, 2004.
−エフェクタ(effector):制御されているロボットのパーツ(部分)。これは、たとえば、手または頭であることができる。
−タスク・ベクトル(task vector): 制御される変数からなるベクトル。人間型ロボットの場合、これは、たとえば手の位置、または頭の注視方向であることができる。
−自由度(degrees of freedom):自由度は、システムが動くことを許容される最小の一組の座標である。これらは、制御可能であることもできるし(ロボットの駆動されるジョイントのように)、または制御されないようにすることもできる。
−配置空間(Configuration space):自由度によってカバーされる空間
−ジョイント空間(Joint space):この用語はロボット工学において用いられることが多く、上記の配置空間を意味する。
−タスク空間(task space):タスク・ベクトルによって記述される空間。たとえば、ロボットの手の位置がx、y、z方向において制御されれば、該タスク空間は、3つの次元を持ち、これらの座標によってカバーされる。
Claims (11)
- ロボットの動きの模倣学習のため、ロボットのコンピューティング・デバイスにより実行される方法であって、
該ロボットの環境におけるエンティティの動きを観察するステップと、
感覚データストリームを用いて該観察した動きを記録し、該記録した動きを、異なる複数のタスク空間表現で表現するステップと、
前記模倣学習のため、予め定められた又は感覚データストリームから得られる情報に基づいて決定された選択基準に基づいて、前記複数のタスク空間表現のサブセットを選択し、当該選択されたタスク空間表現のサブセットにより表現された前記動きに従って、模倣されるべき前記動きを再現するステップと、
を含み、
前記選択されたタスク空間表現のサブセットは、前記動きを再現するための、1つのタスク空間表現または一連の異なるタスク空間表現で構成される、
方法。 - 前記選択基準は、前記ロボットが前記感覚データストリームから抽出するキューにより与えられる、
請求項1に記載の方法。 - 前記キューは、前記動きの複数回にわたる実演の試行間の変動であって、前記選択基準は、前記観察における当該実演の試行間の変動が最も低いタスク空間表現を選択するものである、
請求項2に記載の方法。 - 前記キューは、タスクに関連した或る物体を強調する教師の強調動作であって、前記選択基準は、前記教師の強調動作により強調された前記タスクに関連した物体に関するタスク空間表現を選択するものである、
請求項2または3に記載の方法。 - 前記キューは、前記動きの実演を行う人間である教師の動作についての、人間モデルを用いた運動学的または動的なシミュレーションから算出される評価値である、
請求項2から4のいずれかに記載の方法。 - 前記評価値は、前記教師である人間の、関節に働くトルクの推定値で表わされる努力性についての評価値、及び、自然姿勢からの姿勢変位の増加と共に増大する、不快性についての評価値である、
請求項5に記載の方法。 - 前記異なる複数のタスク空間表現による前記動きの表現について、所定の制約条件の下に当該動きを効率的に再現するための最適化が実行される、
請求項1から6のいずれかに記載の方法。 - 前記選択されたタスク空間表現のサブセットを構成する前記一連の異なるタスク空間表現は、前記動きを再現する際に、当該再現された動きの経過に伴って順番に用いられる、
請求項1から7のいずれかに記載の方法。 - ロボットのコンピューティング・デバイス上で実行するときに請求項1から8のいずれ
かに記載の方法を実行する、コンピュータプログラム。 - 請求項1から8のいずれかに記載の方法を実行するよう設計されたコンピューティング・ユニットを有するロボット。
- 前記ロボットは、模倣学習によって作業工程のシーケンスを学習する産業用ロボットである、
請求項10に記載のロボット。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09153866A EP2224303B1 (en) | 2009-02-27 | 2009-02-27 | Robot with automatic selection of task-specific representations for imitation learning |
EP09153866.0 | 2009-02-27 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010201611A JP2010201611A (ja) | 2010-09-16 |
JP2010201611A5 JP2010201611A5 (ja) | 2013-02-28 |
JP5361756B2 true JP5361756B2 (ja) | 2013-12-04 |
Family
ID=41401902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010025636A Expired - Fee Related JP5361756B2 (ja) | 2009-02-27 | 2010-02-08 | 模倣学習のためのタスク固有の表現の自動選択を備えたロボット |
Country Status (4)
Country | Link |
---|---|
US (1) | US8571714B2 (ja) |
EP (1) | EP2224303B1 (ja) |
JP (1) | JP5361756B2 (ja) |
DE (1) | DE602009000644D1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CH700243A1 (de) | 2009-01-12 | 2010-07-15 | Ferag Ag | Computergesteuertes fördersystem und förderverfahren. |
US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
JP5481358B2 (ja) * | 2010-11-29 | 2014-04-23 | 本田技研工業株式会社 | 位置情報制御システム、位置情報制御装置、位置情報制御方法、及び位置情報制御プログラム |
US9566710B2 (en) | 2011-06-02 | 2017-02-14 | Brain Corporation | Apparatus and methods for operating robotic devices using selective state space training |
JP2013022705A (ja) * | 2011-07-25 | 2013-02-04 | Sony Corp | ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム |
US8862523B2 (en) * | 2011-10-28 | 2014-10-14 | Microsoft Corporation | Relational learning for system imitation |
US9753453B2 (en) | 2012-07-09 | 2017-09-05 | Deep Learning Robotics Ltd. | Natural machine interface system |
DE102012020314B4 (de) | 2012-10-16 | 2015-03-19 | Dietmar Gude | Verfahren und Vorrichtung zur Unterstützung der Nachahmung von Verhalten |
US9056396B1 (en) | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
US9764468B2 (en) | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
US9242372B2 (en) | 2013-05-31 | 2016-01-26 | Brain Corporation | Adaptive robotic interface apparatus and methods |
US9792546B2 (en) | 2013-06-14 | 2017-10-17 | Brain Corporation | Hierarchical robotic controller apparatus and methods |
US9384443B2 (en) | 2013-06-14 | 2016-07-05 | Brain Corporation | Robotic training apparatus and methods |
US9314924B1 (en) | 2013-06-14 | 2016-04-19 | Brain Corporation | Predictive robotic controller apparatus and methods |
US9436909B2 (en) | 2013-06-19 | 2016-09-06 | Brain Corporation | Increased dynamic range artificial neuron network apparatus and methods |
US20150032258A1 (en) * | 2013-07-29 | 2015-01-29 | Brain Corporation | Apparatus and methods for controlling of robotic devices |
US9296101B2 (en) | 2013-09-27 | 2016-03-29 | Brain Corporation | Robotic control arbitration apparatus and methods |
US9579789B2 (en) | 2013-09-27 | 2017-02-28 | Brain Corporation | Apparatus and methods for training of robotic control arbitration |
US9597797B2 (en) | 2013-11-01 | 2017-03-21 | Brain Corporation | Apparatus and methods for haptic training of robots |
US9463571B2 (en) | 2013-11-01 | 2016-10-11 | Brian Corporation | Apparatus and methods for online training of robots |
US9248569B2 (en) | 2013-11-22 | 2016-02-02 | Brain Corporation | Discrepancy detection apparatus and methods for machine learning |
JP6005299B2 (ja) * | 2013-11-28 | 2016-10-12 | 三菱電機株式会社 | ロボットシステムおよびロボットシステムの制御方法 |
JP5850958B2 (ja) * | 2014-01-24 | 2016-02-03 | ファナック株式会社 | ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置 |
US9358685B2 (en) | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
US9346167B2 (en) | 2014-04-29 | 2016-05-24 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
US9881349B1 (en) | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
DE102015001741A1 (de) * | 2015-02-11 | 2016-08-11 | Kuka Roboter Gmbh | Verfahren und System zum Betreiben einer mehrachsigen Maschine, insbesondere eines Roboters |
US9717387B1 (en) | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
CN105739444A (zh) * | 2016-04-06 | 2016-07-06 | 济南大学 | 机械手多参数控制脑机接口 |
TWI805545B (zh) * | 2016-04-12 | 2023-06-21 | 丹麥商環球機器人公司 | 用於藉由示範來程式化機器人之方法和電腦程式產品 |
WO2019060632A1 (en) * | 2017-09-20 | 2019-03-28 | Google Llc | OPTIMIZING POLICY CONTROL DEVICES FOR ROBOTIC AGENTS USING IMAGE INTEGRATIONS |
US11780084B2 (en) | 2018-01-16 | 2023-10-10 | Sony Interactive Entertainment Inc. | Robotic device, control method for robotic device, and program |
JP6961723B2 (ja) | 2018-01-16 | 2021-11-05 | 株式会社ソニー・インタラクティブエンタテインメント | 移動体および移動体制御方法 |
JP6948409B2 (ja) | 2018-01-16 | 2021-10-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
US20220226994A1 (en) * | 2020-07-20 | 2022-07-21 | Georgia Tech Research Corporation | Heterogeneous graph attention networks for scalable multi-robot scheduling |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6347261B1 (en) * | 1999-08-04 | 2002-02-12 | Yamaha Hatsudoki Kabushiki Kaisha | User-machine interface system for enhanced interaction |
US20040006566A1 (en) * | 2000-11-07 | 2004-01-08 | Matt Taylor | System and method for augmenting knowledge commerce |
SE526119C2 (sv) * | 2003-11-24 | 2005-07-05 | Abb Research Ltd | Metod och system för programmering av en industrirobot |
JP4463120B2 (ja) * | 2005-01-17 | 2010-05-12 | 独立行政法人理化学研究所 | 身まねロボットシステムとその身まね動作制御方法 |
JP2006293442A (ja) * | 2005-04-05 | 2006-10-26 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US8924021B2 (en) * | 2006-04-27 | 2014-12-30 | Honda Motor Co., Ltd. | Control of robots from human motion descriptors |
EP1972416B1 (en) * | 2007-03-23 | 2018-04-25 | Honda Research Institute Europe GmbH | Robots with occlusion avoidance functionality |
JP4844453B2 (ja) * | 2007-04-09 | 2011-12-28 | 株式会社デンソーウェーブ | ロボットの教示装置及び教示方法 |
US7986118B2 (en) * | 2007-04-23 | 2011-07-26 | Honda Motor Co., Ltd. | Open-loop torque control on joint position-controlled robots |
WO2009059323A1 (en) * | 2007-11-01 | 2009-05-07 | Rimrock Automation, Inc. Dba Wolf Robotics | A method and system for finding a tool center point for a robot using an external camera |
JP5252393B2 (ja) * | 2008-05-13 | 2013-07-31 | 独立行政法人情報通信研究機構 | 動作学習装置 |
-
2009
- 2009-02-27 DE DE602009000644T patent/DE602009000644D1/de active Active
- 2009-02-27 EP EP09153866A patent/EP2224303B1/en not_active Expired - Fee Related
-
2010
- 2010-02-08 JP JP2010025636A patent/JP5361756B2/ja not_active Expired - Fee Related
- 2010-02-22 US US12/709,814 patent/US8571714B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2224303A1 (en) | 2010-09-01 |
EP2224303B1 (en) | 2011-01-19 |
US8571714B2 (en) | 2013-10-29 |
JP2010201611A (ja) | 2010-09-16 |
DE602009000644D1 (de) | 2011-03-03 |
US20100222924A1 (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5361756B2 (ja) | 模倣学習のためのタスク固有の表現の自動選択を備えたロボット | |
Wang et al. | Swingbot: Learning physical features from in-hand tactile exploration for dynamic swing-up manipulation | |
US9387589B2 (en) | Visual debugging of robotic tasks | |
Ikemoto et al. | Physical human-robot interaction: Mutual learning and adaptation | |
Winfield et al. | On embodied memetic evolution and the emergence of behavioural traditions in robots | |
Rozo et al. | Robot learning from demonstration of force-based tasks with multiple solution trajectories | |
US20220161424A1 (en) | Device and method for controlling a robotic device | |
US20220105625A1 (en) | Device and method for controlling a robotic device | |
Chen et al. | Smile like you mean it: Driving animatronic robotic face with learned models | |
Jankowski et al. | From key positions to optimal basis functions for probabilistic adaptive control | |
Mielke et al. | Human-robot co-manipulation of extended objects: Data-driven models and control from analysis of human-human dyads | |
Mitrevski et al. | “Lucy, take the noodle box!”: domestic object manipulation using movement primitives and whole body motion | |
Ly et al. | Intent-aware predictive haptic guidance and its application to shared control teleoperation | |
Vanc et al. | Communicating human intent to a robotic companion by multi-type gesture sentences | |
Bottega et al. | Virtual reality platform to develop and test applications on human-robot social interaction | |
Yamane | Kinematic redundancy resolution for humanoid robots by human motion database | |
Jaensch et al. | Virtual commissioning simulation as reinforcement learning environment for robot cable handling | |
WO2022211403A1 (en) | Hybrid robotic motion planning system using machine learning and parametric trajectories | |
Liu et al. | Robotic manipulation skill acquisition via demonstration policy learning | |
Sylari et al. | Hand gesture-based on-line programming of industrial robot manipulators | |
Marín et al. | A predictive interface based on virtual and augmented reality for task specification in a Web telerobotic system | |
Skoglund | Programming by demonstration of robot manipulators | |
Zhu | Robot Learning Assembly Tasks from Human Demonstrations | |
Barai et al. | Review on design and development of intelligent robotic arm | |
Prats et al. | A control architecture for compliant execution of manipulation tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20130115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130903 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5361756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |