JP6549815B2 - 移動ロボットの挙動を編集及び制御するためのシステムと方法 - Google Patents

移動ロボットの挙動を編集及び制御するためのシステムと方法 Download PDF

Info

Publication number
JP6549815B2
JP6549815B2 JP2012512332A JP2012512332A JP6549815B2 JP 6549815 B2 JP6549815 B2 JP 6549815B2 JP 2012512332 A JP2012512332 A JP 2012512332A JP 2012512332 A JP2012512332 A JP 2012512332A JP 6549815 B2 JP6549815 B2 JP 6549815B2
Authority
JP
Japan
Prior art keywords
behavior
robot
control box
action
main frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012512332A
Other languages
English (en)
Other versions
JP2012528015A (ja
Inventor
メゾニエール、ブルノ
モンソー、ジェロム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of JP2012528015A publication Critical patent/JP2012528015A/ja
Application granted granted Critical
Publication of JP6549815B2 publication Critical patent/JP6549815B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40392Programming, visual robot programming language

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Description

本発明はロボット・プログラミング・システムの分野に関する。より具体的に、それは関節肢の周りで動くまたはそれらを使用するロボット、特に人間又は動物の形態のロボットの挙動と動作を編集及び制御することに適用される。ロボットは、一定の人間の外見の特質:頭部、胴体、両腕、両手、両脚、両足等を持った瞬間から人型ロボットとみなされる。しかしながら人型ロボットは程度の差こそあれ精巧にされ得る。その四肢には多かれ少なかれ関節があり得る。それは自分のバランスを静的、又は動的に制御し、そして2本の脚で、場合によっては三次元で歩行し得る。それは周囲状況(「聞く」、「見る」、「触る」、「感じる」等)からの信号を拾い上げ、程度の差はあれども洗練された挙動に従って反応し、そして会話或いは身振りで他のロボット又は人間と互いに交流し得る。これらの能力を最高に引き出すために、そうした挙動のための命令を有するロボットのコンピュータ制御ユニットを提供するニーズが残っている。幾つかのロボットは、それらの使用特性に対応する挙動を実行するために必要な命令を自律的なやり方で探索する。しかしながら、ユーザーが新たな挙動及び動作をつくり出すために介入する必要性が残っている。必要な命令をプログラミングする第一の方法は、それらを所定の時間シーケンスで動作させることである。このプログラミング論理は、ロボットの挙動が時間と共に予測可能であるという利点を与える。一連の挙動は予測可能な時に生じる開始点と終了点を有する。例えば、米国特許第6,718,231号明細書により開示されている、ロボットの挙動を編集し、時間的にプログラミングするための方法を確認されたい。しかしながら、この論理はロボットとその周囲状況との相互作用が、共に不可避(経路上で障害物に遭遇する)であり、そして望ましい(周囲状況又はそのユーザーの要求に対するロボットの反応)という事実においてその限界に遭遇し、これらの事象はプログラミングされた挙動のシーケンスの進展を妨げる。これは、自動機械の理論に端を発する、事象型の別のプログラミング論理が、産業ロボットに対してと同様に人型ロボットに対して使用されている理由である。このプログラミング論理においては、リンクが複数の挙動を結合し、連鎖状の第二の事象は第一の事象の出力に依存している。この論理は周囲状況との相互作用の制御を可能にする。例えば、米国特許第6,470,235号明細書により開示されている、ロボットの編集方法、及び事象に関するプログラミングの方法を確認されたい。しかしながら、この論理は、期待される事象が起きるまで、事前にプログラミングされた挙動のシーケンスを妨げる欠点を示す。単純化された例は、この困難さの理解を容易にするであろう。ユーザーはロボットが最初の位置から、決まった瞬間にそれが到達しなければならない第二の位置に行くことを欲する。この経路において、それは周囲状況との相互作用(それが遭遇する別のロボットに挨拶する、物を集める、等)に依存する行動を行なう必要があり得る。時間に拘束されない、純粋に事象に関係するプログラミングは、この問題を解決出来ない。
2つの事象プログラミング論理と時間プログラミング論理を並置する方法が、特開2002−120174号公報により開示されている。前記方法においては、しかしながらプログラマーは2つのプログラム・ブロックを両立させるために、その2つのうちの1つに介入しなければならない。従ってこの方法はプログラマーの介入無しに、2つの事象プログラミング論理と時間プログラミング論理を両立させることにある問題を解決しない。
本発明は、各々の事象に対するプログラマーの介入無しに、時間及び事象に関するプログラミング論理を組み合わせるロボットの挙動の、編集及びプログラミング用のシステムと方法を提供することにより、この問題を解決する。
このために、本発明は挙動型の行動のグループ、及び動作型の行動のグループに属し、かつ少なくとも1つの行動の主要フレームに属する移動ロボットの少なくとも1つの行動をユーザーが編集及び制御出来るようにする方法を開示し、方法において、前記行動の主要フレームが、前の事象のグループと後に続く事象のグループとから選ばれる少なくとも1つの事象と結ばれ、そしてタイムラインによって定義された時間的制約に従って進行する。
有利なことに、前記行動の主要フレームは少なくとも1つの行動層に属する。
有利なことに、前記行動層は制御ボックスに属する。
有利なことに、前記行動の主要フレームは挙動型であり、そして基本的な挙動へと分解され、各々は少なくとも1つの制御ボックスによって定義され、前記制御ボックスは少なくとも1つの流れ図の中で相互接続されている。
有利なことに、少なくとも2つの挙動の主要フレームが同じタイムラインに従って進行し、各々は、第二の挙動の主要フレームの少なくとも1つの制御ボックスに接続された、第一の挙動の主要フレームの少なくとも1つの制御ボックスを含む。
有利なことに、少なくとも1つの制御ボックスは少なくとも1つの第二制御ボックスを備える。
有利なことに、前記第二の制御ボックスは、ユーザーがより高いレベルの制御ボックスの動作パラメータを設定出来るようにする。
有利なことに、制御ボックスは、ロボットによって直接的に翻訳され得るスクリプトを含み、前記プログラムはユーザーによって直接変更可能である。
有利なことに、前記制御ボックスは少なくとも1つの入力と少なくとも1つの出力を備える。
有利なことに、少なくとも1つの第一制御ボックスの少なくとも1つの出力は、事象を表わす信号を伝達するコネクターにより、少なくとも1つの第二制御ボックスの少なくとも1つの入力に結ばれている。
有利なことに、移動ロボットは頭部と4本までの肢部とを備える。
有利なことに、行動は少なくとも頭部と4本までの肢部とを含むグループから選ばれた、ロボットの少なくとも1つの部分の動作であり、少なくとも1つのモーターの回転により定義される。
有利なことに、少なくとも1つのモーターの少なくとも1つの回転は、動き出すべきロボットの部分を表わす動作画面(80)上に位置するカーソル上の、ユーザーの行動によって定義される。
本発明はまた、移動ロボットの行動を編集し制御する方法を実行するためのコンピュータ・プログラムと、前記プログラムを含む編集及び制御システムと、編集及び制御システムから命令を受けることができるロボットとを開示する。
本発明はまた、予めプログラミングされた挙動と動作制御ボックスの双方を使用できるようにする、ロボットにより実行されるべき、ユーザーにとって使いやすい命令の編集を可能にする利点を提供する。そのボックスは複雑な挙動を基本的な挙動へと分解可能にする、階層構造に編成される。基本的な挙動は、ロボットにより直接的に翻訳され得る、スクリプト言語においてプログラミングされることができる。スクリプトは共通のデータ構造を用いる複数のモジュールに編成され、それゆえ互いに独立している。ユーザーは階層的挙動ツリーの全レベルにおいて介入できる。ユーザーはまたツリーの分枝の挙動と、ツリーの別の分枝に属する他の挙動との間で、相互作用を作り出すことができる。ユーザーはまた、与えられた挙動を決定するであろう、ロボットの基本的な動作のレベルで介入できる。さらに、本システムは多くの開発環境(とりわけPython、URBIのような言語、Windows XP、Mac OS、UNIX等)に適合する。
本発明は以下に示す多数の例示的実施形態の記述、及びその添付図からより良く理解され、その様々な特徴と利点が現われるであろう。
本発明の1つの実施形態における、ロボットの挙動を編集しプログラミングするための、機能構成図である。 本発明の1つの実施形態における、ロボットの挙動を編集しプログラミングするための、システムの主要画面の視図である。 本発明の1つの実施形態における、ロボットの挙動層と動作層をユーザーが編集出来るようにする画面の視図である。 本発明の1つの実施形態における、ロボットにより実行されるべき挙動の主要フレームを編集し、プログラミングするために接続された、挙動制御ボックスを示す画面の視図である。 本発明の1つの実施形態における、ロボットの挙動を編集しプログラミングするための、システムの制御ボックス構造の機能的流れ図である。 本発明の1つの実施形態における、ロボットにより実行されるべき挙動の主要フレームを編集し、プログラミングするために接続された、挙動制御ボックス間の様々なタイプの接続を示す視図である。 本発明の1つの実施形態における、仮想ロボットのモーターのグラフィック表示上における直接的行動による、プログラミングの一例を示す視図である。 本発明の1つの実施形態における、与えられた時間内に実行不可能な、ロボットの動作の一例を説明している画面の視図である。 本発明の1つの実施形態における、与えられた時間内に実行不可能な、ロボットの動作の一例を説明している画面の視図である。 本発明の1つの実施形態における、ロボットの挙動の編集と制御の複雑な例を説明する画面の視図である。 本発明の1つの実施形態における、ロボットの挙動の編集と制御の複雑な例を説明する画面の視図である。 本発明の1つの実施形態における、ロボットの挙動の編集と制御の複雑な例を説明する画面の視図である。 本発明の1つの実施形態における、フレームの時間軸又はタイムラインと同期したロボットの挙動のシーケンスを編集し、制御する一例を説明する画面の視図である。 本発明の1つの実施形態における、フレームの時間軸又はタイムラインと同期したロボットの挙動のシーケンスを編集し、制御する一例を説明する画面の視図である。 本発明の1つの実施形態における、フレームの時間軸又はタイムラインと同期したロボットの挙動のシーケンスを編集し、制御する一例を説明する画面の視図である。 本発明の1つの実施形態における、ロボットの挙動実行の直接プログラミングを可能にする、スクリプトの一例を示す。
図1は本発明の1つの実施形態における、ロボットの挙動を編集しプログラミングするための、機能構成図である。
本発明の方法及びシステムにより制御されるロボットは、頭部、胴体、及び四肢を有する人型ロボットであり得る。各々の部分は関節を有し、各関節は1つ以上のモーターにより制御される。本発明は、仮想のロボットにおいてシミュレートされ、有線又は無線リンクにより本システムに接続された、真のロボットにおいて実行される挙動を作り出すことにより、本システムのユーザーがそのようなロボットを制御出来るようにする。
それは(例えば直進、nステップによる右又は左への歩行、片手を頭上に上げる「挨拶」の動作、スピーチ等のような)実行されるべき挙動と、(所与の角度の頭部、脚の一部の)動作とを、この目的のためにプログラミングされたコンピュータの画面上で視認し、シミュレートし、そして生じさせることを含む。
本図は、それらの時間次元を伴う事象により開始される命令の構成を例証する。事象により開始される命令は、「ボックス」又は「制御ボックス」10によって、本発明の意味論において表わされる。ボックスは、下記の1つ以上の要素を含み得る、ツリー構造のプログラミング構成であり、それらは:
―「タイムライン」又はフレームの時間軸20;
―「ダイヤグラム」又は流れ図70
―スクリプト90
と定義される。
複数の制御ボックスは、後で本明細書中において詳細に記述されるように、大抵の場合1つのボックスから他のボックスへと事象の情報を送信する接続によって、通常は互いに接続される。全てのボックスは、ロボットの挙動/動作のシナリオを初期化する「ルート・ボックス」に直接或いは間接的に接続される。
フレームの時間軸20は、前記フレームの時間軸がその中に挿入されているボックスにおいて定義されるように、ロボットの挙動及び動作が従う必要のある、時間的制約を表わす。これ以後、明細書及び特許請求の範囲において、プログラミングの世界では同じ意味を伝えるために広く受入れられている、タイムラインという用語が用いられるであろう。従ってタイムラインはボックスの複数の挙動と動作との同期を生み出す。それは、1秒当りのフレーム数(FPS)として定義される、スクロール速度と関連するフレームへと細分される。各タイムラインのFPSは、ユーザーによってパラメータ化され得る。初期設定によりFPSは所与の値、例えば15FPSに設定され得る。
タイムラインは:
―挙動層又はタイムラインを通過することなく、実際により高いレベルのボックスにまた直接結び付けられ得るボックスの集合である、1つ以上のダイヤグラム又は「流れ図」70を含み得る、各々が1つ以上の挙動の主要フレーム50を備える、1つ以上の挙動層30と、
―1つ以上の動作画面80を含み得る、各々が1つ以上の動作の主要フレーム60を備える、1つ以上の動作層40と
を含み得る。
挙動層は、ロボットの挙動又は挙動の主要フレームの集合を定義する。多数の挙動層が同一のボックス内で定義され得る。それらは次に、ボックスのタイムラインにより同期されるやり方で動作するように、プログラミングされるであろう。
挙動層は1つ以上の挙動の主要フレームを含み得る。挙動の主要フレームは歩行(“walk”[歩く])、会話(“say”[言う])、音楽を演奏する(“music”[音楽])等のような、ロボットの挙動を定義する。明細書内において後で詳細に述べられるように、一定の数の挙動がユーザーにより単純な「ドラッグ及びドロップ」操作でライブラリーから直接挿入されるために、本発明のシステムにおいて前もってプログラミングされる。各挙動の主要フレームは、それがタイムライン内へ挿入される時、フレームの開始である起動させる事象によって定義される。挙動の主要フレームの終了は、別の挙動の主要フレームがその後に挿入される限り、或いは終了の事象が定義された場合である限り、定義される。
動作層は、ロボットの関節におけるモーターの動作を一緒にグループ化する、1つ以上の連続的な動作の主要フレームによってプログラミングされた、ロボットの動作の集合を定義する。実行されるべきこれらの動作は、動作画面上の行動によりプログラミングされ得る、前記モーターの到達角度位置によって定義され、前記行動は明細書内において後で詳細に記述されている。同一ボックスの全ての動作の主要フレームは、ボックスのタイムラインにより同期化される。動作の主要フレームは到着フレームにより定義される。出発フレームは、前の動作の主要フレームの終わりのフレーム、又はボックスの開始事象のフレームである。
「行動の主要フレーム」という一般的な呼び方は、挙動の主要フレームと動作の主要フレームの両方を意味するために用いられる。
それらが同じタイムラインに結び付けられるならば、多数の行動(挙動又は動作)の主要フレームを並行して実行することが可能である。
流れ図は、以下で詳細に記述されるように、相互接続されたボックスの集合である。各々のボックスは、それに新たな挙動層又は動作層が結び付けられる、他のタイムラインを含み得る。
スクリプトは、ロボットにより直接実行され得るプログラムである。スクリプトを備えるボックスは、他のどのような要素も含まない。
図2は、本発明の1つの実施形態における、ロボットの挙動を編集しプログラミングするための、本システムの主要画面の視図である。
右側部分2.1は、命令の実行シミュレーションを作り出すことが出来るであろう、制御されるべきロボットの仮想画像を含む。ロボットはあらゆるタイプであり得るが、しかし本発明は頭部、胴体、及び四肢を有する人型ロボット又は動物の形をしたロボットの場合に、とりわけ有利であろう。
左側部分2.2は、コンピュータに格納された挙動のライブラリーへのアクセスを与える。これらの挙動は、歩行、ダンス、会話、目又は他のLEDの点灯等のような、しばしば用いられる基本的挙動を定義するために用いられ得る、再使用可能な要素である。
中央部分2.3は、明細書内において後で詳細に示されるように、流れ図の形態においてそれらを挙動のシーケンスに編集し、集めるために、ライブラリー2.2から取得された挙動を組み合わせるのに用いられる。
図3は、本発明の1つの実施形態における、ロボットの挙動層と動作層をユーザーが編集出来るようにする画面の視図である。
部分3.1(挙動層)及び3.2(動作層)において見られるように、多数の層は挙動型と動作型とに定義されることができ、そして各層内には多くの主要フレームが作られ得る。
挙動型の層は、明細書内においてこの後に記述されるであろう。
動作型の層の主要フレーム作成は、明細書内において後で説明される。動作の主要フレームを編集するための様式がここで説明される。シーケンスを動作層内又は1つの動作層から別の動作層へコピー、又は移動できる。この第二の場合、同一のモーターに与えられる相容れない複数の命令のために、その動作が実行出来ないことがあり得る。
例えば線形又は指数型の補間を生成することにより、動作シーケンス同士間の遷移を円滑にすることが可能である。動作がそれら自体で対称にされた、対称要素に適用可能なシーケンスにおいて、上肢又は下肢に対して定義されたシーケンスを複製することもまた可能である。
図の部分3.3に見られるように、動作型の層において、X軸が挙動層及び動作層のタイムラインであり、Y軸が正又は負であり得る各モーターの回転角度である、軸のシステムにおけるロボットの各部分のモーターの傾向を見ることもまた可能である。本発明の1つの例示的実施形態において、ロボットは多数のモーターを含み得る。その動作は、X軸上及び/又はY軸上でモーターの停止点を動かすことにより、変更され得る。幾つかのモーターの動作は互いに適合せず、実行出来ない。
図4は、本発明の1つの実施形態における、ロボットにより実行されるべき挙動のシーケンスを編集し、プログラミングするために接続された、挙動制御ボックスを示す画面の視図である。
挙動制御ボックスは、本発明によるロボットを編集し、制御するためのシステムの基礎的構成要素である。挙動制御ボックスは、1つ以上の行動を定義し、1つ以上の入力と1つ以上の出力を有する。図4の例において、入力は図2の画面2.3の左上端部における“Start of behavior sequence X”(「挙動シーケンスXの開始」)事象である。このポイントは第一の“Movement”(「動作」)ボックスの左側に位置する入力の1つに弧で接続されている。前記ボックスの出力は、第二の“Hello”(「挨拶」)ボックスの入力の1つに接続されている。この第二のボックスの出力は、画面の右上端部にある“End of behavior sequence X”(「挙動シーケンスXの終了」)事象に接続されている。2つのボックスは、図2のライブラリー2.2から対応する要素をコピー(ドラッグ及びドロップ操作)により、画面内に作られている。その接続はマウスを用いて入力点/出力点をつなぐことにより、画像を用いて作られている。
図1に対するコメントに示すように、本発明の1つの実施形態において、ボックスは:
―使われる言語がURBITMのようなロボット制御専用の言語であり得る、コンピュータ言語での一連の命令を含むスクリプト・ボックスと、
―例えば歩行距離のような、別のボックスにより使用されるパラメータを、ユーザーが定義できるボックスを例えば含む、多数のボックスを備えた流れ図のボックスと、
―1つ以上の動作層及び/又は1つ以上の挙動層を伴うタイムラインを含むボックスとの3タイプであり得る。
図5は、本発明の1つの実施形態における、ロボットの挙動を編集しプログラミングするための、システムのボックス構造の機能的流れ図である。
本図の流れ図は、ボックスにより提供される様々な可能性:一方で挙動の主要フレームを伴い、他方で挙動から成る別の流れ図を伴うスクリプト、流れ図、タイムラインを要約する。
図6は、本発明の1つの実施形態における、ロボットにより実行されるべき挙動の主要フレームを編集し、プログラミングするために接続された、挙動ボックス間の様々なタイプのリンクを示す視図である。
そこには多数の可能な下記入力が存在する:
―OnStart:ボックスの実行を起動する開始の入力;
―OnStop:それが作動するときにボックスの実行を停止させ、しかしながら実行中の遮断がロボットを不安定な位置(例えば“Walk”[歩行]ボックスの場合)に置くであろう、行動の最後のみにその停止が起きる、×で表わされる入力;
―OnStopped:ボックスの実行が終了するとき作動する出力であって、この出力は別のボックスの入力に接続されることができ、この入力に接続された前のボックスの挙動が完全に実行されたときに、これらの入力が作動するであろう;
―OnLoad:ボックス構造内に隠された入力であって、これは多重レベル・ボックスが開かれる時に現われ、それは多重レベル・ボックスがメモリ内へ完全にローディングされるときに作動し、前記ローディングはより高レベルのボックスの作動の際にのみ生じる;
―ALMemoryに接続される入力:この入力はALMemory内で計算される値が変わる度に作動する;
○メモリALMemoryはロボット内部のデータベースであり、それは短期メモリであり、(短期の履歴、すなわち少数の前の変数値を持つ可能性と共に)所与の変数の最終値がその中に挿入され、そしてメモリは1つ以上の変数の変化により影響されるモジュールを通知する任務を果たし得るそれは例えば20msごとに更新される、全てのセンサーからの情報:モーターの角度の値、電流、温度、等を含むロボットにおける実行の間、このメモリは4000を超える変数を含み得るロボットにおいて動作している、又はそれに接続されている全てのモジュールは、公表される値を挿入するため、或いはそれらにとって興味深い変数に登録し、それらの変化に反応する(例:電池のレベルが一定のしきい値未満のとき、ロボットがその充電器を探すように、電池の値に反応する)ために、ALMemoryと通信できる;
―事象の入力:この入力が作動するとき、ボックス内で実行中の挙動が変更される;
○1つの説明に役立つ例として、その出力の1つを通常の割合:n秒ごとに刺激する、“Timer”(タイマー)ボックスの場合を取り上げよう。“event input”タイプ(事象入力型)の入力は“Number”タイプ(番号型)のパラメータを待ち、この入力においてそれが信号を受ける場合、ボックスのペースを変更し、従って「3」の値の信号がその入力に到着すると、その出力は僅か3秒ごとに刺激されるであろう;
―定時出力:この出力はボックスにおける挙動の実行中の、何時でも作動することができる;
○1つの説明に役立つ例として、顔の検出ボックスの場合を取り上げよう。このボックスは“Number”タイプ(番号型)の定時出力を有し、ボックスが実行されるとき、それはロボットがその視界内で、前の瞬間と比較して異なる顔の数を識別する都度、この出力を刺激する。もし誰も居らず、そしてロボットが1つの顔を見た場合、それは情報「1」でその出力を刺激する。2番目の顔が到着した場合、それは情報「2」を送信し、そして2つの顔が少し後に消えた場合、それは「0」を送信する。“face(s) identified”(識別された顔)の事象は、識別された顔の数を用いて、こうして回復される。
ボックス及び事象は、図6に表わされるようにリンクによって相互接続される。リンクは或る事象の信号を入力と出力との間で伝達する。事象の信号には多くのタイプ:
―他の情報を伴わない作動信号と、
―1つ以上の数量(例えば、複数のステップ又は距離)を運ぶ信号と、
―1つ以上の文字列(例えば、ロボットの会話合成モジュールを通される必要がある文字情報)を運ぶ信号と、
―各々が以前のタイプの1つである複数の信号を含み得る、複合信号と
が存在し得る。
有利なことに、これらのリンクは様々なテクスチャを有する色又は線により、様々な方法で画像を用いて表わされる。
幾つかのボックスは一定の定義されたタイプの入力のみを受け入れ、他のタイプの入力を受け入れない。
異なる挙動の主要フレームに属するが、同一のタイムライン上に交点を有する2つのボックス同士の間に接続を確立することが可能である。このため、本発明のシステムのユーザーはタイムライン上で或る瞬間を選び、前記瞬間に動作している全ての挙動の主要フレームを編集することができる。従って、第一の主要フレームがタイムライン内へとローディングされ、第二の主要フレームがそのボックス及びその接続と共に現われる場合、ユーザーはボックス及びそれらの間の接続を移動させ、又は変更することができ、それゆえロボットにより実行されるであろう挙動を動的に変更可能である。
図7は本発明の1つの実施形態における、仮想ロボットのモーターのグラフィック表示上における直接的行動による、プログラミングの一例を示す視図である。
図7はロボットの左腕を表わす。この例において、腕は2台のモーター及びまた2自由度を有する手−腕関節により作動する、2つの直角な自由度を伴う腕−肩関節を持つ。関節の4台のモーターの回転角度は、各モーターに対応するカーソルをドラッグするためのマウスを用いることにより、直接制御され得る。角度の値は各モーターに対して表示される。本発明の標準的な実施形態において、仮想ロボットの関節のモーターによる命令の性能は、およそ1秒を必要とし得る。動作がこの時間内に行なわれない場合、これは特に動作の実行に反する障害があるため、その動作は実行されないことを意味し得る。
状態指示器は、制御された動作が記録されかどうかを示す。状態指示器が「記録されない」位置にある場合、これは特に、タイムラインに依存する動作層へ入力を促されたモーターが、同じタイムラインに依存する別の動作層へは入力を促され得ないため、動作が実行出来ないことを意味し得る。
図3に示される各モーターのタイムライン/角度を、個々に又は与えられた部分に関して見ることが可能である。
既に示されたように、この制御モードにおいて片方の手足用にプログラミングされた動作を、対称な手足に移転させることもまた可能である。この場合、モーターの動作は対称化される。
この画面において、本発明の編集及びプログラミングのシステムに接続された物理的ロボットが、本システムにより制御され、仮想ロボットが物理的ロボットに統御される、マスター−スレーブ・モードをプログラミングすることができる。
図8a及び8bは、本発明の1つの実施形態における、命令されたようには実行不可能なロボットの動作の一例、及びそれを実行可能にするための動作調整の一例をそれぞれ説明している、2つの画面の視図である。
図8aにおいて、命令された動作を表わす線が、通常つながるべき次の動作シーケンスの(小さい四角形で具象化されている)位置につながらない事が見られる。出発位置と到着位置との間には、僅か5つの動作シーケンス段階が存在する。モーターに設定された(モーターに応じて、例えば4〜8rpsの間で変化し得る)速度制限、フレームのスクロール速度(この場合30FPS:フレーム/秒)、及びモーターによりカバーされるべき角度振幅(図の例において−52°〜+37°)を考慮すると、その命令は実行され得ない。
図8bにおいて、実行不可能な動作の主要フレームがそこに位置するフレームが到達すると直ちに、モーターは次の命令の実行へと移されているのを見ることが出来る。
不可能である条件は、見られるように、ユーザーによって選ばれるFPSの数とモーターの制限速度に依存しており、後者のパラメータは僅かな変動しか受け入れず、それはモーター特性に依存することが注目される。
図9a、9b、9cは、本発明の1つの実施形態における、ロボットの挙動の編集と制御の複雑な例を説明する画面の視図である。
図9aは、第一の挙動シーケンス(behavior_layer1におけるkeyframe 1)が、第一の“Dance”(ダンス)ボックスのボックス編集窓内への追加によって、挙動型の層における作成により生成される場合を例証し、前記第一のシーケンスはmotion_layer1におけるタイムラインと同期している。第二の“FaceLeds”ボックス(面のLED)は第一のシーケンスkeyframe 1におけるボックス編集窓内に追加されている。
図9b及び9cは、図9aの2つの変形であり、
―図9bにおいて、他の複数のLEDがFaceLedから置き換えられ、その全てがボックスの入力に結ばれており、それは対応する挙動(複数のLEDのスイッチオン)が並行して実行されるであろうことを意味する。
―図9cにおいて、他の複数のLEDがFaceLedの前に順々に(直列に)加えられ、それはそれらのスイッチオンがFaceLEDのスイッチオン以前に連続して行なわれることを意味する。
図10a、10b、及び10cは、本発明の1つの実施形態における、タイムラインと同期したロボットの挙動のシーケンスを編集し、制御する一例を説明する画面の視図である。
図10aは、タイムラインのフレーム・インデックスによりパラメータ化された“GotoAndStop”ボックス(図の例においては100)を示す。このボックスが作動するとき、その実行はボックスのパラメータによって指定されたステップにジャンプし、現在の挙動の実行は止められる。
図10bに示すように、関係する挙動層における時間の推移を止める代わりに、それが規定のステップに基づいて時間を推移させ得るという点において、“GotoAndStop”挙動ボックスから区別される、“GotoAndPlay”挙動ボックスもまた存在する。例証されている場合において、“GotoAndPlay”と“GotoAndStop”の2つのボックスは、ロボットの左足と右足の衝撃センサーをそれぞれ備える、“Bumper”ボックスの出力に接続されている(1つの実施形態においては、ロボットは各々の足に2つの衝撃センサーを有する)。
図10cは、その中に2つの“left”センサー(左足のセンサー)と“right”センサー(右足のセンサー)が例証されている、Bumpersボックスの内部の視図を示す。
図10bに戻ると、
―左足の少なくとも1つのセンサーが作動する(障害物上での左足の衝撃がセンサーにより検出される)場合、現在の挙動(図の例においてはダンス)は停止されるが、その中に歩行の挙動が挿入されている挙動層のタイムラインは引き続き推移し、
―右足の少なくとも1つのセンサーが作動する(障害物上での右足の衝撃がセンサーにより検出される)場合、現在の挙動(図の例においては歩行)は停止され、その中に歩行の挙動が挿入されている挙動層のタイムラインは休止となる。
図11は、本発明の1つの実施形態における、ロボットの挙動実行の直接プログラミングを可能にする、スクリプトの一例を示す。
本図の例は、ロボットの左耳の複数のLED(LEarLeds)をスイッチオンさせるためのスクリプトである。スクリプトは、翻訳された言語であるPython言語でここに書かれたモジュールである。スクリプト・ボックスの作成は3つのステップ:
―ボックスの具体化ステップと、
―それに結合される他のボックスから呼び出され得る、モジュールとしてのボックスを登録するステップと、
―ボックスの初期化ステップと
で行なわれる。
ユーザーは最初の2ステップにおいては介入しない。ユーザーは3番目を制御する。それは従来スクリプト言語によるため、各モジュールは1つ以上のクラスにおいて使われ得る方法で作られる。属性(又は変数)は1つ以上のモジュールに対して定義される。スクリプトはユーザーによって全体的又は部分的に変更できる。本システムのモジュールは直接アクセス可能である。幾つかのモジュールは、ロボットの基礎的な機能(そのメモリに対するALMemory、動作機能に対するALMotion、LEDに対するALLeds等)を管理する。ALMotionモジュールは、ロボットを動かすためのインターフェースを(プログラミング・インターフェースの意味において)提供する。それは「1m前進歩行」のような非常に高レベルの方法、又は「動作を円滑にするために補間を用いて、‘HeadPitch’(頭部の移動角度)関節を1.5秒間のうちに30°動かす」という、より低いレベルの方法を含む。ALLedsモジュールはロボットの全てのLEDへのアクセスを与える。それは従って各LED又はLEDの1つのグループの光強度、(LEDが色を変えられるとき)色を(例えば左目の全LEDを一度に)調整できる。また、(例えば両耳のLEDのような)1つのグループのLEDを回転可能にする、より高いレベルの方法も存在する。
本発明の移動ロボットの動作を編集し、制御するための本システムは、従来のOS[オペレーティング・システム](Windows、Mac、UNIX)を有する市場標準のパソコンにインストールされ得る。使用されるスクリプト言語が、コンピュータにインストールされなければならない。本システムが物理的ロボットを直接制御するために用いられる場合、WiFiタイプ無線リンク又は有線リンクであるリンクが必要となる。これらのリンクは又、ローカル或いは遠隔ネットワークを通じて、他のユーザー達と交換される挙動スクリプトを検索するために使われる。編集及び制御システムの仮想ロボットは、本システムから受けた命令を翻訳及び実行可能であるべき、本システムによって制御される物理的ロボットの画像である。
本発明による同一の編集及び制御システムは、多数のロボットを制御することができる。これらのロボットの幾つかは、様々な物理的外見−人型ロボット、動物等−及び更に異なる構造(異なる自由度の数、動作のみを実行する単純なロボット、及び動作と挙動を実行できる他のロボット)さえも有し得る。本発明のシステムにより制御され得るロボットは、しかしながら本発明による編集及び制御システムのボックスのスクリプトを実行するのに適した、必要な通信インターフェース及びソフトウェア・モジュールを持たなければならない。
上述の例は本発明の実施形態の例証として与えられている。それらは以下の特許請求の範囲により定義される本発明の範囲を何ら制限しない。

Claims (13)

  1. 動型の行動おび動作型の行動のグループからなる移動ロボットの複数の行動を制御するためのプログラムを編集するための、コンピュータ上でユーザによって行われる方法であって、前記複数の行動が少なくとも1つの行動の主要フレーム(50、60)に属し、前記方法は、
    前記少なくとも1つの行動の主要フレームに対し前の事象および後に続く事象のグループから選ばれた少なくとも1つの事象に、前記少なくとも1つの行動の主要フレームを接続するステップであって、前記少なくとも1つの主要フレームが制御ボックス(10)に属するステップと、
    前記少なくとも1つの行動の主要フレームに適用可能な制御ボックスのタイムライン(20)を定義し、前記タイムラインが、前記タイムライン挿入される制御ボックスにおいて定義されるロボットの行動に課せられる時間的制約を表し、制御ボックスの行動を同期するステップとを備え
    前記方法が、単位時間あたりのフレーム数によって定義されるタイムラインの進行の速度のパラメータを考慮するステップであって、前記パラメータがユーザによって定義されるか、所与の値に設定されるステップをさらに備えることを特徴とする方法。
  2. 前記行動の主要フレームが、少なくとも1つの行動層に属し、前記行動層が制御ボックスに属することを特徴とする、請求項1に記載の編集方法。
  3. 前記行動の主要フレームが、挙動ものであり、基本的な挙動へと分解され、各々が少なくとも1つの制御ボックスによって定義され、前記制御ボックスが前記基本的な挙動を定義し、少なくとも1つの流れ図で相互接続されることを特徴とする、請求項1または2に記載の編集方法。
  4. 少なくとも2つの挙動の主要フレームが、同期したタイムラインにしたがって進行し各々が第2の挙動の主要フレームの少なくとも1つの制御ボックスに接続された第1の挙動の主要フレームの少なくとも1つの制御ボックスを備えることを特徴とする、請求項3に記載の編集方法。
  5. 制御ボックスの少なくとも1つが、少なくとも1つの第2の制御ボックスを備えることを特徴とする、請求項3に記載の編集方法。
  6. 制御ボックスの少なくとも1つが、ロボットによって直接的に翻訳されうるスクリプト(90)を含み、前記スクリプトがユーザによって直接変更可能である、制御ボックスを備える、請求項3に記載の編集方法。
  7. 少なくとも1つの第1の制御ボックスの少なくとも1つの出力が、事象を表す信号を伝達するコネクターにより、少なくとも1つの第2の制御ボックスの少なくとも1つの入力に接続される、請求項6に記載の編集方法。
  8. 動ロボットが、頭部と4本までの肢部とを備える、請求項1から7のいずれかに記載の編集方法。
  9. 移動ロボットの前記複数の行動の1つが、少なくとも前記頭部と4本までの支部とを含むグループから選ばれたロボットの少なくとも1つの部分の動作であり、少なくとも1つのモーターの回転により定義される、請求項8に記載の編集方法。
  10. 少なくとも1つのモーターの少なくとも1つの回転が、動作画面(80)上の前記少なくとも1つのモーターに対応するカーソル上ユーザの操作によって定義される、請求項9に記載の編集方法。
  11. プログラムがコンピュータ上で実行されるとき、請求項1から10のいずれかに記載の方法をユーザが行うことを可能にするように構成されたプログラムコード命令を含む、コンピュータ・プログラムであって、前記プログラムが、挙動型の行動および動作型の行動のグループからなる移動ロボットの複数の行動について訳またはコンパイルされうる言語でユーザが編集できるように適合されている、コンピュータ・プログラム。
  12. プログラムコード命令を含み、前記プログラムコード命令が、移動ロボットの複数の行動をシミュレートするために少なくとも1つのコンピュータによって、または、前記移動ロボットの複数の行動を制御するため移動ロボットによって実行されうるものであり、前記行動が、挙動型の行動おび動作型の行動のグループからなり前記行動が、少なくとも1つの行動の主要フレーム(50、60)に属し、前記コンピュータ・プログラムが、請求項11によるコンピュータ・プログラムによって生成されるコンピュータ・プログラム。
  13. 請求項12によるコンピュータ・プログラムを実行するように構成された移動ロボット。
JP2012512332A 2009-05-26 2010-05-25 移動ロボットの挙動を編集及び制御するためのシステムと方法 Expired - Fee Related JP6549815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0953434 2009-05-26
FR0953434A FR2946160B1 (fr) 2009-05-26 2009-05-26 Systeme et procede pour editer et commander des comportements d'un robot mobile.
PCT/EP2010/057111 WO2010136427A1 (fr) 2009-05-26 2010-05-25 Systeme et procede pour editer et commander des comportements d'un robot mobile

Publications (2)

Publication Number Publication Date
JP2012528015A JP2012528015A (ja) 2012-11-12
JP6549815B2 true JP6549815B2 (ja) 2019-07-24

Family

ID=41284197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012512332A Expired - Fee Related JP6549815B2 (ja) 2009-05-26 2010-05-25 移動ロボットの挙動を編集及び制御するためのシステムと方法

Country Status (8)

Country Link
US (1) US9333651B2 (ja)
EP (1) EP2435216B8 (ja)
JP (1) JP6549815B2 (ja)
CN (1) CN102448678B (ja)
DK (1) DK2435216T3 (ja)
ES (1) ES2628195T3 (ja)
FR (1) FR2946160B1 (ja)
WO (1) WO2010136427A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2962048A1 (fr) 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
FR2963132A1 (fr) 2010-07-23 2012-01-27 Aldebaran Robotics Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface
FR2969026B1 (fr) 2010-12-17 2013-02-01 Aldebaran Robotics Robot humanoide dote d'un gestionnaire de ses ressources physiques et virtuelles, procedes d'utilisation et de programmation
US8843235B2 (en) * 2012-01-13 2014-09-23 Toyota Motor Engineering & Manufacturing North America, Inc. Robots, computer program products, and methods for trajectory plan optimization
FR2991222B1 (fr) * 2012-06-01 2015-02-27 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
JP5716769B2 (ja) * 2013-02-21 2015-05-13 株式会社安川電機 ロボットシミュレータ、ロボット教示装置およびロボット教示方法
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20170206064A1 (en) * 2013-03-15 2017-07-20 JIBO, Inc. Persistent companion device configuration and deployment platform
KR101323148B1 (ko) 2013-04-19 2013-10-30 한성대학교 산학협력단 Ucr 융합 컨텐츠 에디터 장치
JP2015016531A (ja) * 2013-07-12 2015-01-29 株式会社ダイヘン 操作装置
JP6144845B2 (ja) * 2014-02-05 2017-06-07 アーベーベー シュヴァイツ アクツィエンゲゼルシャフト ショーを協調的に演じている複数のロボットの動きを定義するためのシステム及び方法
US9841749B2 (en) 2014-04-01 2017-12-12 Bot & Dolly, Llc Runtime controller for robotic manufacturing system
EP2927771B1 (en) * 2014-04-03 2024-01-31 Dronisos Flying drone trajectory synchronization
ES2746754T3 (es) 2014-04-17 2020-03-06 Softbank Robotics Europe Robot humanoide con ruedas omnidireccionales basado en un controlador de posición y velocidad lineal predictivo
EP2933068B1 (en) 2014-04-17 2021-08-18 Aldebaran Robotics Omnidirectional wheeled humanoid robot based on a linear predictive position and velocity controller
EP2933065A1 (en) 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability
WO2016011159A1 (en) * 2014-07-15 2016-01-21 JIBO, Inc. Apparatus and methods for providing a persistent companion device
CN104858852B (zh) * 2015-05-05 2016-08-17 上海交通大学 类人机器人实时模仿人体上肢动作的优化与约束方法
US9707680B1 (en) 2015-05-28 2017-07-18 X Development Llc Suggesting, selecting, and applying task-level movement parameters to implementation of robot motion primitives
WO2016206643A1 (zh) * 2015-06-26 2016-12-29 北京贝虎机器人技术有限公司 机器人交互行为的控制方法、装置及机器人
KR102306624B1 (ko) * 2016-03-31 2021-09-28 엔티티 디스럽션 유에스 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US11645444B2 (en) * 2016-05-10 2023-05-09 Trustees Of Tufts College Systems and methods enabling online one-shot learning and generalization by intelligent systems of task-relevant features and transfer to a cohort of intelligent systems
CN106647354A (zh) * 2016-10-31 2017-05-10 遨博(北京)智能科技有限公司 一种控制方法、装置及系统
IL250605B (en) * 2017-02-14 2021-02-28 Brillianetor Ltd System and method for operating an artificial social network
WO2018188001A1 (zh) * 2017-04-12 2018-10-18 曾华均 无人机的飞行动作编辑及编队控制系统和控制方法
JP6549654B2 (ja) * 2017-08-03 2019-07-24 ファナック株式会社 ロボットシステムのシミュレーション装置およびシミュレーション方法
WO2019097793A1 (ja) * 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置及び情報処理方法、コンピュータ・プログラム、並びにプログラム製造方法
CN108268255A (zh) * 2018-02-11 2018-07-10 遨博(北京)智能科技有限公司 用于编程机器人的方法和装置
CN110297697B (zh) * 2018-03-21 2022-02-18 北京猎户星空科技有限公司 机器人动作序列生成方法和装置
CN109408042A (zh) * 2018-10-10 2019-03-01 高新兴科技集团股份有限公司 机器人可视化脚本配置方法、装置及计算机存储介质
KR102685532B1 (ko) * 2019-02-21 2024-07-17 삼성전자주식회사 멀티 태스크 관리 방법 및 이를 위한 전자 장치
JP7251224B2 (ja) * 2019-03-11 2023-04-04 セイコーエプソン株式会社 制御装置およびロボットシステム
JP6717401B1 (ja) * 2019-04-01 2020-07-01 株式会社安川電機 プログラミング支援装置、ロボットシステム及びプログラミング支援方法
CN110053046B (zh) * 2019-04-09 2022-05-03 江门市蚂蚁机器人有限公司 基于自定义事件的机器人控制方法及其系统
CN110253569B (zh) * 2019-05-22 2021-07-20 深圳镁伽科技有限公司 用于控制机器人运动的运动控制部件、系统以及方法
US11883963B2 (en) * 2019-06-03 2024-01-30 Cushybots Corporation Robotic platform for interactive play using a telepresence robot surrogate
US11694432B2 (en) 2019-07-23 2023-07-04 Toyota Research Institute, Inc. System and method for augmenting a visual output from a robotic device
JP2021041511A (ja) * 2019-09-13 2021-03-18 株式会社デンソーウェーブ ロボットハンドの動作教示装置
CN111113414B (zh) * 2019-12-19 2022-08-30 长安大学 一种基于屏幕标识的机器人三维空间尺度提示方法及系统
CN111390906B (zh) * 2020-03-20 2021-11-19 深圳市安泽智能机器人有限公司 一种机器人系统、机器人及存储介质
CN111791232B (zh) * 2020-06-03 2021-02-05 中南民族大学 一种基于时间硬同步的机器人底盘控制系统及方法
WO2021260898A1 (ja) * 2020-06-25 2021-12-30 株式会社日立ハイテク ロボット教示装置及び作業教示方法
CN112621759B (zh) * 2020-12-28 2021-12-24 燕山大学 基于事件触发机制的遥操作系统分数阶滑模同步控制方法
CN113386112A (zh) * 2021-07-29 2021-09-14 厦门凤凰创壹软件有限公司 一种可控制多种品牌三维虚拟工业机器人的示教器
CN117251152A (zh) * 2022-12-12 2023-12-19 北京小米机器人技术有限公司 机器人图形化编程方法和装置、移动终端、存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69030318T2 (de) * 1989-10-17 1997-10-16 Perkin Elmer Corp Robotische schnittstelle
JP3026276B2 (ja) * 1992-05-22 2000-03-27 本田技研工業株式会社 脚式移動ロボットの非常停止制御装置
NL1000679C2 (nl) * 1995-06-28 1996-12-31 Arie Van Wieringen Video Film Bewegingseditor/samensteleenheid.
JP2001353678A (ja) * 2000-06-12 2001-12-25 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP4765155B2 (ja) * 2000-09-28 2011-09-07 ソニー株式会社 オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP4670136B2 (ja) * 2000-10-11 2011-04-13 ソニー株式会社 オーサリング・システム及びオーサリング方法、並びに記憶媒体
US7137103B2 (en) * 2001-03-08 2006-11-14 International Business Machines Corporation Coverage analysis of message flows
JP3614824B2 (ja) * 2002-03-18 2005-01-26 ソニー株式会社 脚式移動ロボットのための動作編集装置及び動作編集方法
EP1669172B1 (en) * 2003-08-12 2013-10-02 Advanced Telecommunications Research Institute International Communication robot control system
US20070150102A1 (en) * 2005-12-09 2007-06-28 Joong Ki Park Method of supporting robot application programming and programming tool for the same
JP2008254074A (ja) * 2007-03-30 2008-10-23 Sega Corp ロボットのモーション編集装置及びそのプログラム
JP5181541B2 (ja) * 2007-06-15 2013-04-10 富士通株式会社 ロボットシステム、エディタ端末、およびエディタプログラム
FR2918477A1 (fr) * 2007-07-04 2009-01-09 Aldebaran Robotics Soc Par Act Procede d'edition de mouvements d'un robot
US8753164B2 (en) * 2007-10-11 2014-06-17 Lego A/S Toy construction system
US8458667B2 (en) * 2008-01-30 2013-06-04 National Instruments Corporation Debugging a statechart for a real time target

Also Published As

Publication number Publication date
WO2010136427A1 (fr) 2010-12-02
FR2946160B1 (fr) 2014-05-09
CN102448678A (zh) 2012-05-09
ES2628195T3 (es) 2017-08-02
EP2435216B1 (fr) 2017-03-29
US9333651B2 (en) 2016-05-10
JP2012528015A (ja) 2012-11-12
US20120136481A1 (en) 2012-05-31
EP2435216A1 (fr) 2012-04-04
CN102448678B (zh) 2016-08-03
DK2435216T3 (en) 2017-07-03
EP2435216B8 (fr) 2017-08-30
FR2946160A1 (fr) 2010-12-03

Similar Documents

Publication Publication Date Title
JP6549815B2 (ja) 移動ロボットの挙動を編集及び制御するためのシステムと方法
Gadre et al. End-user robot programming using mixed reality
JP4670136B2 (ja) オーサリング・システム及びオーサリング方法、並びに記憶媒体
US6718231B2 (en) Authoring system and authoring method, and storage medium
Biggs et al. A survey of robot programming systems
Pot et al. Choregraphe: a graphical tool for humanoid robot programming
JP5944096B2 (ja) インターアクティブロボット制御システム及び使用方法
US20020038168A1 (en) Authoring system and method, and storage medium used therewith
KR101106002B1 (ko) 객체에서의 행동을 생성하는 장치 및 방법
JP2005125460A (ja) ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム
KR20030007841A (ko) 각식 이동 로봇 및 그 운동교시 방법, 및 기억매체
Dragule et al. Languages for specifying missions of robotic applications
Hormaza et al. On-line training and monitoring of robot tasks through virtual reality
JP2023511617A (ja) 製造又は産業環境における協調ロボットとの相互作用のために仮想/拡張現実を使用するためのシステム及び方法
CN115816459A (zh) 机器人控制方法、装置、计算机设备、存储介质和产品
Gray et al. Expressive, interactive robots: Tools, techniques, and insights based on collaborations
Llobera et al. A tool to design interactive characters based on embodied cognition
Aghel Manesh et al. How People Prompt Generative AI to Create Interactive VR Scenes
Bruderlin et al. Hierarchical agent interface for animation
Thalmann et al. Virtual and real humans interacting in the virtual world
Young et al. Style by Demonstration: Using Broomsticks and Tangibles to Show Robots How to Follow People
Gao Research on Key Technology of Interactive Animation Design Combined with Artificial Intelligence Technology
Di Gironimo et al. Human Robot Interaction in Virtual Reality.
Zhang et al. A Framework of Robot-Programming by Demonstration System
Zhou et al. Virtual reality simulation of humanoid robots

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140731

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140904

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170530

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170804

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180709

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190628

R150 Certificate of patent or registration of utility model

Ref document number: 6549815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees