JP5836565B2 - モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法 - Google Patents

モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法 Download PDF

Info

Publication number
JP5836565B2
JP5836565B2 JP2010068909A JP2010068909A JP5836565B2 JP 5836565 B2 JP5836565 B2 JP 5836565B2 JP 2010068909 A JP2010068909 A JP 2010068909A JP 2010068909 A JP2010068909 A JP 2010068909A JP 5836565 B2 JP5836565 B2 JP 5836565B2
Authority
JP
Japan
Prior art keywords
joint
balance
artificial agent
mechanical artificial
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010068909A
Other languages
English (en)
Other versions
JP2010221395A (ja
JP2010221395A5 (ja
Inventor
ケー ホッドギンズ ジェシカ
ケー ホッドギンズ ジェシカ
カツ ヤマネ
カツ ヤマネ
Original Assignee
ディズニー エンタープライゼス インコーポレイテッド
ディズニー エンタープライゼス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディズニー エンタープライゼス インコーポレイテッド, ディズニー エンタープライゼス インコーポレイテッド filed Critical ディズニー エンタープライゼス インコーポレイテッド
Publication of JP2010221395A publication Critical patent/JP2010221395A/ja
Publication of JP2010221395A5 publication Critical patent/JP2010221395A5/ja
Application granted granted Critical
Publication of JP5836565B2 publication Critical patent/JP5836565B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00Automatic controllers
    • G05B11/01Automatic controllers electric
    • G05B11/32Automatic controllers electric with inputs from more than one sensing element; with outputs to more than one correcting element
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D57/00Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/032Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Description

本願は、2009年3月24日に出願された「Simultaneous Tracking and Balancing of Humanoid Robot for Imitating Human Motion」という名称の米国特許出願番号第61/162,838号の優先権を主張するものであり、その全内容は参照することによりここに組み込まれる。
特に自然な動作(例えば人間のような動作)を実行するようにロボットをプログラミングすることは難しい作業である。動作は、動力学的制約及び運動学的制約の両方又はいずれかの下で例えばエネルギー消費を最小にするために通常手作業で又は多くの数値最適化技術によりプログラムされている。モーションキャプチャデータは潜在的に良好な出発点であるが、モーションキャプチャデータの従来の使用法はここで熟慮されるようにロボットを追跡しバランスさせるには不十分である。
本発明の実施例は、仮想的又は機械的な人工エージェント(ここでは「ロボット」、例えばヒューマノイド(人型)ロボットという)のための制御フレームワークを提供するシステム、方法、装置及びコンピュータを広く含む。この制御フレームワークは、動作を追跡しバランスを維持するために基準動作データ(例えばモーションキャプチャデータ又はアニメーションデータ)とすべての関節を同時に用いている。本発明の一実施例によるコンピュータはバランスコントローラとトラッキングコントローラの2つの主要なコンポーネントを含む。本発明の一実施例では、バランスコントローラは、ロボットの現在状態に基づいてバランスを維持するための所望の入力を得られるために簡易人型モデルに対して設計されたレギュレータを用いる。簡易モデルは、例えば最適制御を用いてレギュレータを体系的に設計できるように選択される。一例として、倒立振子モデルに対して設計された線形二次レギュレータを用いることができる。所望の入力は典型的にはいくつかの代表的な関節の圧力中心及び/又はトルクである。本発明の一実施例では、このときトラッキングコントローラは、全身動力学を考慮して、モーションキャプチャデータを追跡するために所望の入力からの差のみならず所望の関節加速度からの誤差を最小にする関節トルクを計算する。
要するに、本発明の一つの態様は、複数の関節を介して結合された複数の可動部分と、前記複数の可動部分の動作を制御するように構成されたコントローラとを備え、前記コントローラはバランス制御信号を供給するように構成されたバランスコントローラと、バランス制御信号に基づいてバランスを維持しながら入力基準動作を追跡するように設定された動作命令を生成するように構成されたトラッキングコントローラとを備え、前記複数の関節の各々が前記動作命令を使用でき、基準動作の追跡とバランスの維持をもたらす、機械的人工エージェントを提供する。
本発明の別の態様は、基準動作に対応する入力データを受信するステップと、複数の関節を介して結合された複数の可動部分を有する機械的人工エージェントのトラッキングコントローラにバランス制御信号を供給するステップと、前記バランス制御信号に基づいてバランスを維持しながら入力基準動作を追跡するように設定された動作命令を含むトラッキング制御信号を前記トラッキングコントローラによって供給するステップとを備え、前記複数の関節の各々が前記動作命令を使用でき、基準動作の追跡とバランスの維持をもたらす、方法を提供する。
本発明の他の態様は、一つ以上のプロセッサと、複数の関節を介して結合された複数の可動部分を有する機械的人工エージェントの動作を制御するように構成されたコンピュータ読み取り可能なプログラムコードを有するプログラム記憶装置とを備え、前記コンピュータ読み取り可能なプログラムコードは、前記一つ以上のプロセッサにより実行可能であって、バランス制御信号を供給するように設定されたコンピュータ読み取り可能なコードと、バランス制御信号に基づいてバランスを維持しながら入力基準動作を追跡するように設定された動作命令を生成するように構成されたコンピュータ読み取り可能なプログラムコードとを備え、前記複数の関節の各々が前記動作命令を使用でき、基準動作の追跡とバランスの維持をもたらす、装置を提供する。
本発明の更に他の態様は、複数の関節を介して結合された複数の可動部分を有する機械的人工エージェントの動作を制御するように構成されたコンピュータ読み取り可能なプログラムコードを有するプログラム記憶装置を備え、前記コンピュータ読み取り可能なプログラムコードは、一つ以上のプロセッサにより実行可能であって、バランス制御信号を供給するように設定されたコンピュータ読み取り可能なコードと、バランス制御信号に基づいてバランスを維持しながら入力基準動作を追跡するように設定された動作命令を生成するように構成されたコンピュータ読み取り可能なプログラムコードとを備え、前記複数の関節の各々が前記動作命令を使用でき、基準動作の追跡とバランスの維持をもたらす、コンピュータプログラムプロダクトを提供する。
本発明の他の特徴及び更なる特徴及び利点と一緒に、本発明の模範的な実施例のよりよい理解のために、添付図面と関連して記載する以下の説明を参照されたい。本発明の範囲は添付の請求項に特定されている。
本発明の一実施例によるモーションコントローラを示す。 本発明の一実施例によるバランスコントローラを示す。 本発明の一実施例によるバランスコントローラのための倒立振子モデルを示す。 本発明の一実施例によるトラッキングコントローラを示す。 COM制御のみによる簡単なバランス制御中(破線)及び本発明の一実施例にコントローラによるバランス制御中(実践)の前面方向の重心(COG)を示す。 本発明の一実施例によるコントローラによる簡単なバランス制御中の前面方向の圧力中心(COP)を示す。 本発明の一実施例によるCOM制御のみによる簡単なバランス制御中の前面方向のCOP位置を示す。 本発明の一実施例によるトラッキング及びバランス制御を示す。 本発明の一実施例によるモーションコントローラを示す。 図10(a-c)は足持ち上げの例を示し、(a)COMオフセットなしは転倒すること、(b)満足な足持ち上げは適量のCOMオフセットを必要とすること、(c)大きすぎるオフセットも足持ち上げ後に転倒することを示す。 本発明の一実施例による胴体位置及び向きの平行移動、回転及びスケーリングと関連するパラメータを示す。 本発明の一実施例による修正位置を得る態様を示す。 本発明の一実施例による右足持ち上げに対するCOM及びCOP軌道を示す。 本発明の一実施例によるコンピュータシステムを示す。
本発明の実施例のコンポーネントは、図面に一般的に記載され示されるように、記載の実施例に加えて、様々な異なる構成に配置し設計することができることは容易に理解されよう。従って、図面に示される本発明の実施例の以下の詳細な説明は請求の範囲で請求される本発明の範囲を限定する意図はなく、本発明の模範的な実施例を例示しているにすぎない。
本明細書を通して、「一実施例」又は「ある実施例」(又は同類の表現)への言及は、実施例と関連して記載する特定の特徴、構造又は特性が本発明の少なくとも一つの実施例に含まれることを意味する。従って、明細書中の種々の箇所における「一実施例」、「ある実施例」(又は同類の表現は必ずしもすべて同じ実施例に関連するとは限らない。
更に、記載する特徴、構造又は特性は一つ以上の実施例において任意に適切に組み合わせることができる。以下の説明において、本発明の実施例の全体理解を与えるために多くの特定の詳細な記述が与えられる。しかし、当業者は、本発明の種々の実施例は一つ以上の詳細な記述がなくても、他の方法、コンポーネント、材料などを用いて実施することができることが認識されよう。更に、本発明の特徴が不明瞭になるのを避けるために周知の構造、材料又は動作の図示や詳細な説明は省略されている。
本発明の図示の実施例は図面を参照することにより最もよく理解されよう。以下の説明は例示であって、本発明のいくつかの模範的な実施例を示しているだけである。
図面に関しては、図のフローチャート及び/又はブロック図は、本発明の種々の実施例によるシステム、方法及びコンピュータプログラムプロダクトの可能な実施のアーキテクチャ、機能及び動作を示す。この点で、フローチャート又はブロック図内の各ブロックはモジュール、セグメント又は指定の論理機能を実行する一つ以上の実行可能な命令を含むコードの一部分とすることができる。また、いくつかの代替実施例においては、ブロックに示す機能は図に示される順序と異なる順序で起こり得る点に注意されたい。例えば、順に示される2つのブロックは実際にはほぼ同時に実行されることもあり、またこれらのブロックは関連する機能に応じて逆の順序で実行されることもある。また、ブロック図及び/又はフローチャートの各ブロック及びブロック図及び/又はフローチャートのブロックの組み合わせは、指定の機能又は動作を実行する専用ハードウェアシステム又は専用ハードウェアとコンピュータ命令の組み合わせで実現できる点に注意されたい。
本明細書に与えられる説明はヒューマノイドロボット及びヒューマンモーションキャプチャに重点を置くが、特許請求する本発明はこれに限定されない点に注意されたい。本発明の実施例は他のタイプの仮想又は機械的人工エージェント、ロボット及び/又は入力データ源に等しく適用可能である。
本発明者は、特に自然な人間の動作を実行するようにロボットをプログラミングすることは難しい作業であることを認識した。ヒューマノイドロボットは、動力学的制約及び運動学的制約の何れかの下で例えばエネルギー消費を最小にするために通常手作業で又は多くの最適化技術によりプログラムされている。モーションキャプチャデータは潜在的に良好な出発点であるが、運動学及び動力学パラメータの差のためにキャプチャデータを人型ロボットにマップすることは困難である。実際上、ヒューマンモーションキャプチャデータを他のヒューマノイドモデルにマッピングする殆どの作業は全身動力学が通常考慮されないグラフィックス分野で行われている。
現在のヒューマノイドロボットの成功例の殆どは、最初にフットプリントに基づいて圧力中心(COP、ゼロモーメントとしても知られている)軌道を決定し、倒立振子のような簡易動力学モデルを用いて物理的に整合した重心(COG)軌道を生成し、次に計画されたCOGの軌道及びフットプリントを満足する関節角度を得るために逆運動学(インバースキネマティクス)を計算することによってプログラムされる。ある研究もバランシングのために倒立振子を用いている。これらのフレームワークは、基準動作が物理的に整合することが保証されるために成功しているが、一般にモーションキャプチャデータを追跡することはできない。それは、計画された軌道の上に基準関節軌道を付加することは物理的整合性を壊す可能性があるためである。
ヒューマンモーションキャプチャデータをヒューマノイドロボットに供給することは最近の研究の成長分野であるが、これらのアプローチの殆どはフローティングベースを備えるリアルハードウェアを首尾よく制御してない。殆どの研究はヒューマン動作をヒューマノイドロボットに僅かな自由度でマッピングし、ヒューマン動作をヒューマノイド動作の合成のために種々の動作に分類することに集中している。従来の研究は、キャプチャした上半身の動作を関節角度及び速度限界などの運動学的制約を考慮してヒューマノイドロボットに適応させていた。モーションキャプチャデータシーケンスをフリーフローティングヒューマノイドの全身動力学的制約を満足するように変化させることがロボット工学及びグラフィック工学において取り組まれているが、これらの努力はプランニングに集中しており、妨害下におけるバランス回復の問題に取り組んでいない。
実際には、ヒューマンモーションキャプチャデータに基づいてヒューマノイドハードウェアを制御することに成功した研究はほとんどない。一つの従来の研究は、ヒューマン動作データを種々のタスクに手作業でセグメント化し、各タスクのためのコントローラを構成することによってロボットダンス動作を実現している。別の従来の研究は、逆運動学計算中に基準関節軌道を尊重しながらCOG軌道を倒立振子モデルに基づいて最適化することによって物理的に整合した動作を生成する方法を提案している。しかし、両アプローチともコントローラを設計するため又はキャプチャデータを前処理するために手作業を必要とする。
ある研究は全身シミュレーション及びハードウェアの二重サポート中に上半身のオンライントラッキングを実現している。しかし、この研究は下半身をバランシング専用に使用するため、脚動作のトラッキングがバランシングタスクと競合し、脚動作を完全には追跡できない。
ここで説明は図面に戻り、本発明の実施例を選択する。本発明の種々の実施例の以下の説明は本発明のいくつかの態様を強調するために提示され、本発明の範囲は添付の特許請求の範囲で特定される。
本発明の一つ以上の実施例は、すべての関節を同時に使用して対象のモーションキャプチャデータを追跡するヒューマノイドロボット用の制御フレームワークを提供する。本発明の実施例は関節角度の軌道を追跡することに重点的に取り組むが、いくつかのタスクはエンドエフェクタの軌道のような他の量を追跡することを要求し得る。本発明の一つの実施例によれば、コントローラは二重サポートにて働くが、バランシングタスクは上半身の関節も含むすべての関節に分散される。更に、コントローラはモーションキャプチャデータのセグメント化又は集中的な前処理を必要とせず、リアルタイムアプリケーションに適用可能である。更に、本発明の別の実施例によれば、足踏みやもっと複雑な動作が可能である。
本発明の一実施例によれば、コントローラはバランスコントローラとトラッキングコントローラの2つのコンポーネントを備える。バランスコントローラは、ロバストなバランスコントローラの設計が容易にできる簡易モデルを用いることによって全身をバランスした状態に維持するように試みる。代表的な非限定例は線形二次レギュレータ(LQR)を備える倒立振子であり、ここに提示される非限定模範実施例に使用される。バランスコントローラは簡易モデルをバランスした状態に維持するために所望の入力を与える。このような入力の例は圧力中心(COP)及び代表的な関節のトルクを含む。
本発明のいくつかの実施例によれば、トラッキングコントローラは、バランスコントローラにより与えられる所望の入力を尊重しながら、関節がモーションキャプチャデータにより指定される基準軌道を辿るようにする。関節軌道トラッキングは、関節角度及び速度に基づいて所望の関節加速度及びフィードフォワード関節加速度を命令することによって可能になる。次にトラッキングコントローラは、所望の入力及び関節加速度からの誤差を含む二次コスト関数を用いて最適化問題を解く。
本明細書において、関節速度及びトルク限界を考慮に入れる全身動力学的シミュレーションによってコントローラのバランシス及び追跡能力が証明される。基本的なバランス能力を示した後に、非限定的な代表的使用例が与えられる。この使用例では本発明の一実施例によるコントローラが同じストーリーを話している2人の対象のモーションキャプチャクリップを追跡するのに適用される。本明細書に示されるように、得られるロボット動作は各対象の元のスタイルを明確に保つ。本発明の実施例のロバスト性もシミュレーションモデルの慣性パラメータを乱すことによって証明される。その後、足踏み及びもっと複雑な動作の追加も記載される。
コントローラ
図1は本発明の一実施例によるコントローラ100の概略図を示す。2つの主なコンポーネントはバランスコントローラ101とトラッキングコントローラ102である。バランスコントローラ101は、簡易動力学的モデルに対して設計されたコントローラ、例えば線形倒立振子モデルに対するLQRを用いて全身をバランスした状態に維持しなければならない。バランスコントローラ101の出力は簡易モデルへの所望の入力、例えば圧力中心及び/又は代表的な関節のトルクである。トラッキングコントローラ102はすべての関節を所望の軌道に追従させなければならない。トラッキングコントローラ102は関節トラッキングと簡易モデルへの所望の入力の両方を尊重する最適化問題を解き、ロボット103へ命令すべき関節トルクを得る。
モーションキャプチャデータ処理
この説明のために、典型的には直交座標空間内の一組のマーカー軌道を含む基準動作データ(例えばモーションクリップ104)を得るために市販の光学モーションキャプチャシステムを用いるものと仮定する。マーカーデータは通常のモーションキャプチャパイプライン内でラベル付けされ、クリーニングされる。次にデータは特定のロボット(103)のサイズに合うようにスケーリングされ、関節動作範囲を考慮して逆運動学アルゴリズムによりロボット103のための関節角度データに変換される。関節限界及び対象とロボット103との運動学の差のために、関節角度データは通常、接触点におけるフットスケーティングのような問題を有する。
前処理のために、ここでは、本例は最初のフレームにおいて両足が床の上に平らに着いているものと仮定する。正しい足位置及び向きは、生のマーカーデータを用いて得られる足位置及び向きを床上に投影することによって推定される。(足踏み及び他の複雑な動作を含む実施例が以下に記載される)。次に、クリーニングされた関節角度を得るとともに元の関節角度からの差を保持するために新しい足位置に対する逆運動学が計算される。制御中の各フレームにおいて、クリーニングされた関節角度を得るためにこの差が元のデータに付加される。この補正はきわめて簡単であるが、本発明のこの模範的な実施例によるコントローラが更なるクリーンアップを必要としないようにできる。
記号の説明と基本方程式
バランスコントローラ
図2は本発明の一実施例によるバランスコントローラ201の構造を示す。バランスコントローラ201は2つの主なコンポーネント、即ちバランスを維持するために簡易モデルへの入力を計算するように構成されたレギュレータ201aと、測定に基づいて現在の状態を推定するように構成されたオブザーバ201bとからなる。簡易モデルは(例えばヒューマノイドロボットの)動力学を表す限り、任意のものを用いてバランスコントローラ201を設計することができる。代表的な例は線形倒立振子であり、レギュレータ201aはこのモデルに対してポール配置又は最適制御により容易に設計することができる。
基準状態及び測定された入力に基づく簡易モデルの現在状態の推定に関するいくらかの詳細を与えるために、非限定例を以下に示す。簡易モデルは線形であり、状態−空間微分方程式:
で表される。ここで、xは簡易モデルの状態、uは入力、yは出力である。また、バランスのための状態帰還コントローラは次のように設計されているものとする。
u=K(xref−x) (8)
ここで、Kは一定の利得行列であり、xrefは代表的には基準動作から計算される基準状態である。
方程式(11)は簡易モデルの現在状態を基準状態及び測定出力に基づいて推定する方法を記述している。推定状態及び方程式(10)により計算される簡易モデルへの入力をトラッキングコントローラ102への入力として使用することができる。
倒立振子例
ここでは、簡易モデルとして線形倒立振子を用いるバランスコントローラ(例えば図2に示すバランスコントローラ201)の一例が提示される。図3を参照すると、2つのアクティブ線形関節(それらの位置及びアクチュエータ力は(x,y)及び(fx,fy)で表されている)と、2つの不作動関節(それらの関節角度はθ1及びθ2である)と、質点mが示されている。線形関節の位置及び質点の位置は全身モデルのCOP及びCOMにそれぞれ対応する。線形化後に、この倒立振子は関節(x,θ1)及び(y,θ2)を有する2つの独立の平面振子として取り扱うことができる。従って、説明用の例として(x,θ1)を有する振子を用いる。
質点のx座標がθ1の代わりに出力として使用される点に注意されたい。fxは倒立振子への実際の入力であるが、全身モデルには対応する入力はない。代わりに、全身モデルのCOPはどこにあるべきかを示すxが所望の入力として使用される。所望の入力の他の可能な例は、簡易モデルが2重倒立振子のようにアクティブ回転関節を含む場合には、代表的な関節のトルクを含む。
次に、レギュレータが倒立振子に対して設計される。ここではLQRを使用し、以下の
コスト関数が最小化されるように状態帰還利得Kを決定する。
ここで、Q≧0及びR>0は対称加重行列である。加重行列は妨害に対する応答を観測することによって容易に決定できる。例えば、加重は、可能な最大外部力が供給されたときに所望のCOPが接触域から出ないように決定することができる。
トラッキングコントローラ
図4は本発明の一実施例によるトラッキングコントローラ402の構造を示す。トラキングコントローラ402は2つの局部コントローラ402a,402bと、関節トルク最適化モジュール402cとからなる。
最適化器
最適化の未知量は関節トルクtJ及び接触力fcである。最適化すべきコスト関数は
=Z+Z+Z+Z+Z (17)
であり、5つの項の各々は以下の段落で詳細に説明される。
項Zは簡易モデルへの所望の入力からの誤差に対処するものである。簡易モデルから全身モデルへのマッピングは任意の形でできるため、ここではこのようなマッピングの2つの例、即ち圧力中心(COP)及び代表的関節のトルクのマッピングを考察する。この場合、コスト関数Zはこれらの量と関連する誤差の和になる。即ち、
=ecop+et (18)
項Zは所望の関節加速度からの誤差を示し、
である。
項Zは所望の接触リンク加速度からの誤差を示し、
である。

最適化問題は解析解:
y=−A−1b (29)
を有する。
接触力及びハードウェア限界の考察
今まで、任意の接触力が得られると仮定してきた。しかし、実際には、x及びy軸の周囲の摩擦及びモーメントは制限を有する。実際のハードウェアも関節角度、速度及びトルクに制限を有する。これらの制限を実行するために不等式制約を付加することができるが、最適化問題を解くには単に方程式(29)を用いる場合よりかなり長い時間がかかることになる。
これらの制限は、本発明の実施例によれば、制約を付加する代わりに最適化のパラメータを調整することによって、従って解(29)を変更することなく、処理される。制限が必ずしも満たされるわけではない場合には、バランスコントローラは近似値と正確な解との差を補償できることが期待される。
接触力制限に対しては、摩擦及びモーメントに対応するWの要素に対して大きな値が設定される。関節トルク限界に対処するために、方程式(26)で用いられている基準関節トルクを利用する。関節トルクのどれかがサンプリング時に限界値を超える場合には、対応する基準トルクが次のサンプリング時に限界値に設定され、加重を増大する。それゆえ、トルクが限界値で飽和されても、過剰トルクは比較的小さく、従って僅かな影響となることが予想される。
シミュレーション結果
本発明の所定の実施例を評価するために、鋼体接触モデルを備えた動力学シミュレータをシミュレーションに使用し、その精度をいくつかのシミュレーション設定に対して証明した。シミュレーションのためにヒューマノイドロボットを使用した。ロボットは全部で34の関節(手及び眼のパン/チルトは除く)を有し、これらの関節(首及び手首のDOFは固定)のうちの25の関節を本発明の種々の実施例の性能の非限定例としてここに記載する評価のために使用した。
関節運動学及び慣性パラメータはCADモデルから導出した。関節速度限界に対する設計仕様に加えて、実験的に検証した関節動作範囲及び関節トルク限界情報を使用した。関節動作範囲制約は逆運動学計算中に実行したが、関節動作範囲はシミュレーションに考慮されてない(関節は基準軌道を十分良好に追跡するものと仮定した)。関節速度が限界値に近づくと、速度を下げるために強い減衰トルクが付加された。最適化された関節トルクが限界値を超えると、シミュレータが関節加速度を計算する前にこのトルクは最大値にリセットされた。
LQRコスト関数(15)に対する加重は、
Q=diag{1.0×107 1.0×108 1.0×102 1.0×103}
R=1.0
であり、これらはCOPが大きな衝撃に対して接触域から出ないように選択された。オブザーバ利得は、推定状態が閉ループの極に比較して十分に速く収斂されるように選択した。関節及び接触リンク追跡のための帰還利得は、他に言及しない限り、k=4.0及びk=4.0とした。コスト関数に対して選択されたすべての加重は、W及びWを除いて、すべての対角要素が1とした。Wの対角要素はデフォルトにより0に設定され、関節トルクが限界値を超えたとき、対応する値が1に変化した。Wの対角要素は垂直力及び他の力に対してそれぞれ1.0×10-9及び1×10-7に設定した。
倒立振子モデルによる簡単なバランシング
ここでは最初に固定の姿勢を基準として用いてバランスコントローラ201の基本機能を実証する。ロボットは、初期姿勢を維持しようとしながら首関節にt=1〜1.1秒の間250Nの力を受けた。参照用に、僅かに異なるバージョンのコントローラ100、即ちバランスコントローラが同じ帰還/フィードフォワードコントローラ(16)及び同じ利得でCOM位置を元の位置へ戻すための所望のCOM加速度を計算する簡単なCOM位置コントローラと置き換えられたコントローラを使用した。この場合、最適化器402cは所望のCOP位置の変わりに所望のCOM加速度に対応する。2つのコントローラは同じ関節及び接触リンク追跡コントローラを共有する。
図5は2つのコントローラから得られるロボットの順方向のCOM位置を示す。本発明の一実施例によるコントローラはロボットを首尾よく元の姿勢に戻した。他方、COMコントローラバージョンは本発明によるコントローラよりかなり早くCOMを停止させたが、ロボットは最終的に後ろに倒れた。その理由は、COMコントローラバージョンはCOM動作を止めることができるが、そのアクションは上半身の前方への急速動作を犠牲にし、上半身の回復動作の補償を得ることができないことにある。この誤差は関節及びCOM帰還利得を調整することによって修正できる可能性がある。
提案のコントローラ及びCOMコントローラバージョンによるCOP位置がそれぞれ図6及び図7に示されている(重要部分を強調するために図5に比較して異なる時間スケール(2秒)を使用している)。図6において、所望のCOP及び最適化COPは殆ど同一であり、実際のCOPも極めて近似している。図7にも、所望のCOP位置、最適化COP位置及び実際のCOP位置が示されている。ここで、所望のCOPを考慮しなければ、実際のCOPもCOMに負の加速度を与えるために前方に動くが、動作は結局全システムを平衡させるために多大な制御を使用しなければならなくなるほど速くなる。
モーションキャプチャ基準の追跡
本発明の特定の実施例のロボット動作追跡性能を評価するために、関節追跡能力が重要であるストーリーテリング動作を使用した。CMUモーションキャプチャデータライブラリから保育テーマ「私は小さなティーポット」を演ずる2人のアクタのモーションキャプチャクリップを入力としてランダムに選択した。コントローラは元の(対象の)動作(図示せず)の姿勢を保存するロボット動作を再現することができた。
妨害の例:質量パラメータの誤差
本発明の一実施例によるシミュレーションモデルの慣性パラメータを、(ワイヤなどの小部分及び油圧ロボットにおけるシリンダや管内の油の有意の質量を一般に無視する)CADモデルを用いることによるモデル化誤差をエミュレートするために動揺させた。各リンクの質量及び慣性はシミュレーションモデルにおいて5〜15%のランダム比だけ増大させた。制御のための基準モデルは同じままにした。推定接触力は常に実際の力より小さいため、ロボットは元の利得(k=4.0,k=4.0)で立ち続けることはできない。しかし、図11に示すように、利得を増大させてk=16.0,k=8.0を維持することによって類似の動作を首尾よく発生させることができた。
従って、本発明の実施例はフローティングベースのヒューマノイドロボットがバランスの維持とモーションキャプチャデータの追跡を同時にできるようにする新しいフレームワークを提供する。コントローラ100はロボット103の簡易動力学モデルに対して設計されたバランスコントローラ101と個々の関節に対するトラッキングコントローラ102を組み合わせてなる。最適化器402cは、バランス及びトラッキング用の両コントローラ101及びコントローラ102の出力を尊重してロボット103が基準関節軌道をトラッキングしながらバランスを維持できるような関節トルクを得る。
評価/シミュレーションと関連して説明したように、バランスコントローラ101は種々のタイプの外乱、例えば簡易動力学及び全身動力学間の差、慣性パラメータ誤差、バランスコントローラ101に未知の関節動作及び外部力に対処できる。一般に、倒立振子モデル及び簡単なCOM帰還制御は質的に同等のCOP位置を生じる。しかし、最適な帰還利得を決定することは難しく、誤った利得選択が不所望の挙動を生じる。従って、状態帰還コントローラを倒立振子モデルに対して設計することができる。
更に、モーションキャプチャデータは対象とヒューマノイドモデルとの間の不可避の不一致のために誤りを生じやすく、動作の間中所望の接触状態が満足されるようにするために前処理が通常必要とされる点に注意すべきである。対照的に、本発明の実施例によるコントローラ100は(小さな帰還利得により関節を足の微小なミスアリメントに調整できるために)殆ど前処理を必要としない。更に、前処理はリアルタイムで実行するのに十分に簡単である。
ロボットに対する足踏みを有する動作データのコントロール−アウェアマッピング
説明をロボットに対する足踏み動作を含むモーションキャプチャデータ(例えばヒューマンモーションキャプチャデータ)のコントロール−アウェアマッピングが与えられる本発明の実施例に戻す。本発明の実施例は、現在の状態及びコントローラの挙動を考慮して、足踏み動作を含むモーションキャプチャデータをモデルにマップする。動作が追跡されるとともに所望の接触状態が達成されるように関節角度、体幹部及び重心(COG)軌道を修正するマッピングプロセスが説明される。
第1のステップは、関節角度及び体幹部軌道をロボット運動学及び実際の接触足位置に適応するように修正する。第2のステップは予測圧力中心(COP)を用いてバランスコントローラがロボットのバランスを首尾よく維持できるか決定し、できない場合にCOM軌道を修正する。ヒューマノイドモーション合成のための既存のアプローチと異なり、提案のマッピング方法はロボットコントローラと蜜に関連している。このアプローチは、ここで検討されているように、例えば体系化されてない接触状態変化を含む太極拳の動作シーケンスと関連する非限定例を用いてシミュレーションにより検証されている。
現在のロボット状態及び接触状態ならびにロボットコントローラの挙動を考慮するオンラインモーションマッピング技術が以下で検討される。もっと詳しく言うと、同時のバランス及びトラッキング制御に一般に関連する上記の説明は、バランスコントローラが圧力中心(COP)をモーションの間中接触凸包内に維持しながらバランスをうまく維持できるように関節角度、体幹部及び重心(COG)軌道を調整する機能の付加によって補足される。提案の方法は体系化されてない接触状態変化を有する動作を全身動力学シミュレーションによってうまく実現することができる。
本発明の実施例は、モーション合成とロボット制御が別々に処理されるヒューマノイド制御における既存の研究と相違する。本発明の実施例によるコントローラフレームワークにおいては、モーション合成と制御コンポーネントが、現在状態と基礎コントローラを承知したマッピングプロセスによって蜜に関連している。
図8に示されるように、本発明の一実施例による追跡及びバランス制御は、本質的に、基準入力を受信し、前処理(マッピング)を適用し、その後バランス及びトラッキングコントローラを使用し、基準入力を追跡できるようにロボット関節に適切なトルクを供給する。例えば、モーションキャプチャシステムからの基準動作データが810で受信され、前処理される。受信動作データを前処理するために、運動学的マッピング820及び動力学的マッピング830が以下に更に論じるように適用される。その後、前処理された基準動作データが、所定の帰還入力(例えば、現在の接触位置)と一緒に、バランス制御840及び追跡制御850のために使用され、これによりロボットはバランスを維持しながら基準動作データを適切に追跡するようにその関節を動かすことができる。
図9を参照すると、足踏み動作に対してコントロール−アウェアマッピングを提供する本発明の実施例は、上述したコントローラ100(バランスコントローラ101及びトラッキングコントローラ102を備える)に類似のコントローラ900を用いる。コントロール−アウェアマッピングを用いる実施例により導入される主な差異は、ロボット903で類似の動作を実現するために基準動作(モーションクリップ)904にいくつかのタイプの調整を実行する前処理コンポーネント905の追加にある。
図10(a)-(c)は足踏み動作に対して制御アウェアマッピングを用いる本発明の実施例の動作例を示す。ロボット1003(a)-(c)は、図10(a)に示す初期姿勢から出発して一方の足を上げようとしているものと仮定する。脚関節角度を変化させただけでは、COMは足の中心に位置したままであるがCOPは支持脚の下に移動するため、図10(a)に示すようにロボット1003(a)は転倒する。
足を首尾よく上げるためには、図10(b)に示すように、ロボット1003(b)は最初にCOPを動かすことによってCOMを支持脚の方へ移動させなければならない。しかし、図10(c)に示すようにCOMオフセットが大きすぎてバランスコントローラにより処理できない場合には、ロボット1003cはバランスを維持することはできない。この例は2つの重要な観察、即ち(1)マッピングプロセスは接触状態の変化に対する準備を該変化が実際に起こる前に開始させる必要があること及び(2)マッピングプロセスは適切な調整量を決定するためにコントローラ900の能力を知っている必要があることを暗示している。
図9は本発明の一実施例によるコントローラを示す。図1に示すコントローラ100は無修正のモーションシーケンスを基準として取った。図9に示すコントローラフレームワークにおいては、モーションクリップ904を最初に2つのマッピングコンポーネント905(a-b)によって、ロボット903がCOM及びCOP位置の現在測定値を用いてバランスコントローラ901でバランスを維持できるように処理することができる。動力学的マッピングコンポーネント905bは、バランスコントローラ901の挙動を予測するためにバランスコントローラ901のコピーも有する。
前処理(マッピング)コンポーネント905は運動学的コンポーネント905a及び動力学的コンポーネント905bを含む。運動学的マッピングコンポーネント905aは現在の接触位置を用いて、元の関節角度及び体幹部の軌道を、接触域とロボット903との間の運動学的関係が基準動作(所望のフォーム、例えばモーションクリップ904)に似るように修正する。動力学的マッピングコンポーネント905bは、簡易ロボットモデルにより予測される将来のCOP位置が接地凸包から出る場合に、バランスコントローラ901に与えられる規準COMの軌道を修正する。
ここでは元の基準動作904について以下のように仮定する。即ち、(1) 初期フレームでは(基準)対象の両足が床に平らに接触している。他のフレームでは任意の接触状態が許される。(2)対象は足を介して水平な床と物理的相互作用を行うのみである。(3)フレーム毎に少なくとも片足が床と接触する。(4)フレーム毎に接触するリンクの組が既知である。接触は初期フレームを除いて平らにする必要はなく、使用する接触状態情報(つま先又はかかと接触など)も詳述する必要がない。
バランス及びトラッキングコントローラ
足踏み動作と関連する本発明の実施例に使用されるバランスコントローラ901及びトラッキングコントローラ902を以上に十分に検討したが、(例えば足踏み動作と同様に)可動台を考慮するためにこれらを簡単に再検討し、明らかにする。
バランスコントローラ901は入力として基準COMを取り、簡易ロボットモデルに対して設計された最適コントローラを用いて(所望の)COPの位置を決定する。ここでは、最適コントローラは図3に示されるような可動台を有する3次元、2関節の倒立振子に対して設計されているものと仮定する。このモデルでは、全ロボット本体がロボット903のCOMに位置する質点により表され、可動台の位置がCOPを表す。
トラッキングコントローラ902は次にCOP、関節加速度及び足加速度誤差を含むコスト関数を最適化する関節トルクを得るために最適化問題を解く。
運動学的マッピング
運動学的マッピングは、本発明の一実施例によれば、以下に説明するように、マッピングモジュール905aを用いて達成される。運動学的マッピングの本質的要素は(上述した)関節角度マッピング及び以下に更に説明する体幹部軌道マッピングを含む。
モーションキャプチャデータの基準体幹部位置及び向きを基準接触位置及び実際の接触位置の差を考慮するようにグローバルに変換する調整が行われる。足は制御誤差のために基準位置に着地できないかもしれない。このような場合に、同じ基準位置を体幹部に対して用いると、接触域に対するその位置の差のために転倒することになる。
変換は接触が確立されるときにのみ更新される点に注意されたい。足が接触状態でまだ動く可能性があるときに変換が更新された場合、トラッキングコントローラ902は接触位置を変換の更新と同じ方向に動かすため、正帰還が与えられる。それゆえ、変換は、接触状態の各リンクの垂直接触力が基準動作における接触状態の変化後に大きなしきい値を超えるときにのみ更新するのが好ましい。
動力学的マッピング
本発明の一実施例は、バランスコントローラ901が与えられた接触域でロボット903をバランスした状態に維持できるように基準動作のCOM軌道を修正する。このマッピングプロセスは、現在のロボット状態と元の基準COM軌道とに基づいて将来のCOP位置を予測する。COPが接触凸包から出る場合には、COPが接触凸包内にとどまるように新しいCOM軌道を計算し、次のCOM位置をバランスコントローラ901に基準COMとして送る。
一般に図12を参照して、修正されたCOP位置を得る方法が以下に説明される。方程式(11)と同じ最適コントローラに基づいて、バランスコントローラ901の離散化状態方程式モデル:
k+1=Axk+Buk (35)
が得られる。ここで、xkは状態であり、ukはサンプリング時刻kにおける入力である。バランスコントローラ201(11)と異なり、ここでは実測値は使用されないためコントローラモデル(35)はオブザーバを含まない。従って、ukは基準動作のCOM軌道を含むのみである。COP位置が出力として選択され、その結果出力方程式は:
k=Cxk (36)
と規定される。
第1項はCOPを選択された点yrefにできるだけ近づけようとするが、第2項は元のCOM軌道からの偏差にペナルティーを課す。yref及びWの選択は次の段落で検討する。
原理上、yrefは接触凸包内の任意の点とすることができる。しかし、実際にはyrefを決定するために2つの課題が考えられる。第1に、得られるCOPがyrefに正確にならないかもしれないため、境界からの安全マージンを維持する方がよい。また、COM軌道の変化は最小にすべきであるとともに、元の基準動作をできるだけ維持すべきである。両課題を考慮するために、最初に、接触凸包境界上の最近点を予測されたCOP,bから得る。接触凸包の中心も計算する。次に、yrefを、
ref=hb+(1−h)c
により得る。ここで、h=hmax(N−n)/Nであり、hmaxはユーザ指定の定数である。b及びc間のこの補間により、yrefはnが大きくなるにつれてcに近づき、これはCOMを短期間で変化させることがより困難になるという観察に基づく。
WはCOM軌道が元の軌道からどのぐらい外れてもよいかを表す。最終フレームで元のCOM位置へ戻すのが望ましいため、前期フレームに小さい値を与え、後期フレームに大きな値を与えるのが合理的である。本発明の一実施例によれば、Wのi番対角成分はwiにより計算される(ここでwはユーザ指定の定数である)。
シミュレーション結果
本発明の一実施例によるコントローラ900の有効性は鋼体接触モデル及びフォワード動力学プロセスに基づくシミュレータによって検証した。上述したヒューマノイドロボットのモデルを以下に記載するシミュレーションにも使用した。
バランスコントローラ101と関連して説明したものと同じ線形二次レギュレータを同じパラメータとともに使用した。トラッキングコントローラの帰還利得はkp=25及びkd=10とした。調整コンポーネントに対するパラメータはN=100、hmax=0.8及びW=0.001とした。制御システム(35)は5msのサンプリング時間で離散化した。これは、COM修正が必要とされるどうかを決定するために動力学的マッピングコンポーネントを0.5s後に調べることを意味する。離散化のためのサンプリング時間は必ずしも制御サイクルと同じにする必要はない。実際には、方程式(35)のために制御サイクルより大きいサンプリング時間を使用して動力学的マッピングための計算時間を短縮することができる。
動力学的マッピングの例
最初に、足踏み動作を実現するために動力学的マッピングが必要とされる簡単な例について説明する。基準動作は手作業で生成された簡単な動作であり、この基準動作は、右足がt=1.0〜2.0秒の期間中持ち上げられ、その間左足が床に平らに接触しているものである。図13の上のグラフは、簡単な右足持ち上げ例に対する基準COM(マッピングなし)、基準COM(マッピングあり)、実COM(マッピングなし)及び実COM(マッピングあり)の各軌道を示す。下のグラフは、実COP(マッピングなし)及び実COP(マッピングあり)の各軌道をロボットの側面に沿って示し、正軸が左側を指している。下のグラフの足領域は左足の接触域を示す。下のグラフは、COPは動力学的マッピングなしでは決して左足に到達しないため、ロボットは(マッピングなしでは)右足を持ち上げることはできない。他方、マッピングがターンオンされると、持ち上げ時間がCOP予測ウィンドウ内に入るt=0.5秒の時点で基準COPが修正され、動力学的マッピングコンポーネント905bはそのときCOPが左足の下にないことに気づく。COPは、新しい基準COMに応答して、最初右足の方へ移動し、これによりCOMが更に左足の方へ追いやられる。COPは最終的にはt=0.8秒のあたりで左足に到達するため、ロボットは右足を持ち上げることができる。
複雑な動作への応用
複雑な動作が本発明の実施例により適切に処理されたことを確認するために、CMUモーションキャプチャデータライブラリからの太極拳のモーションキャプチャシーケンスを使用し、非限定例として以下に記載した。マーカー位置データは、関節動作範囲の制約を有する逆運動学プロセスによって関節角度データに変換した。太極拳動作を一例として選択した。それは、太極拳動作は多くの体系化されてない接触状態変化、例えばつま先接触又はかかと接触への移行及び接触したままでの足の僅かな移動などを含むためである。シミュレーション動作は複雑な太極拳動作のモーションキャプチャデータを忠実に再現した。
従って、本発明の一実施例は足踏みなどの複雑な動作を含むヒューマンモーションキャプチャデータをヒューマノイドロボットにマッピングする方法も提供する。注目すべき特徴は、ロボットの異なる運動学及び動力学に正しく対処しうるのみならず、本発明の実施例は現在のロボット及び接触状態並びにバランスコントローラの能力に基づいて調整量を正しく決定することもできる。例えば、シミュレーションにおいて、提案の方法はヒューマノイドロボットに人間の太極拳動作を首尾よくシミュレートさせることができることが証明された。
当業者は、本発明の実施例は一以上のコンピュータシステムを用いて実現できることが容易に理解されよう。これに関連して、非限定的な模範的コンピュータシステムをここに記載する。
図14に示すように、本発明の態様はコンピュータシステム、例えばユーザワークステーション、パーソナルコンピュータ又は他のクライアントデバイスにおいて実行することができる。図14において、代表的なコンピュータシステムは、コンピュータシステムに一般に含まれる、プロセッサ、コントローラなどの処理素子1410及び関連するメモリデバイス1420を含むことができる。更に、コンピュータシステムは種々の被接続装置1430、例えば(ヒューマノイドロボットに組み込まれるオンボードコンピュータシステムとの関連では)ヒューマノイドロボットのような機械的人工エージェントのコンポーネント、例えばセンサ(エンコーダ、ポテンシオメータ、ロードセル、ジャイロ、加速度計など)、他のコンピュータシステムなどに接続することができる。
これに関連して、記載した本発明の種々の態様は、例えばメモリデバイス1420にアクセス可能の形で格納されたコンピュータプログラム命令(コンピュータプロセッサコードを含む)を実行する処理素子1410によって実行することができる。従って、ここに記載された所定のオペレーションはコンピュータ読み取り可能なプログラム記憶デバイス、例えばメモリデバイス1420に具体的に記憶されたコンピュータプログラム命令を実行することによって実行することができるため、コンピュータシステムは特定の方法で機能向けにすることができることが理解されよう。
更に、本発明の態様はコンピュータ読取可能なプログラムコードを有する一以上のコンピュータ読取可能な媒体に具体化されたコンピュータプログラムプロダクトの形を取ることができる。
一以上のコンピュータ読取可能な媒体の任意の組み合わせを使用することもできる。コンピュータ読取可能な媒体はコンピュータ読取可能な信号媒体又はコンピュータ読取可能な記憶媒体とすることができる。コンピュータ読取可能な記憶媒体は、例えば電子、磁気、光、電磁気、赤外又は半導体システム、装置又はデバイスもしくはそれらの任意の適切な組み合わせとすることができるが、これらに限定されない。コンピュータ読取可能な記憶媒体のもっと具体的な例(不完全な表)は次のもの:一以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能なプログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンピュータ光ディスクリードオンリメモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、またはそれらの任意の適切な組み合わせを含む。本明細書において、コンピュータ読取可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用される又は関連するプログラムを含む又は格納し得る任意の実現可能な媒体とすることができる。
コンピュータ読取可能な信号媒体は媒体内に具体化されたコンピュータ読取可能なコンピュータ読取可能なプログラムコードを例えばベースバンドで又は搬送波の一部として有する伝播データ信号を含むものとし得る。このような伝播信号は、電磁気、光又はそれらの任意の組み合わせを含む様々なタイプの何れかとすることができるが、これらに限定されない。コンピュータ読取可能な信号媒体は、命令実行システム、装置又はデバイスにより使用される又は関連するプログラムを伝達する、伝播する又は転送する、コンピュータ読取可能な記憶媒体でない任意のコンピュータ読取可能な媒体とすることもできる。コンピュータ読取可能な媒体に具体化されたプログラムコードは、無線、有線、光ファイバケーブル、RF等又はそれらの任意の適切な組み合わせを含む任意の適切な媒体を用いて伝送できるが、これらに限定されない。
本発明の態様のためのオペレーションを実行するコンピュータプログラムコードは、Jaba(登録商標)、C++などのオブジェクト指向プログラミング言語及び“C”プログラミング言語のような慣例のプロシージャプログラミング言語又は屡次のプログラミング言語を含む一以上のプログラミング言語の任意の組み合わせで書き込むことができる。プログラムコードはユーザのコンピュータ(デバイス)で完全に実行する、又はスタンドアロンソフトウェアパッケージとしてユーザのコンピュータで部分的に実行する、又はユーザのコンピュータで部分的に且つリモートコンピュータで部分的に実行する、又はリモートコンピュータで完全に実行することができる。後者のシナリオにおいては、リモートコンピュータはローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークでユーザのコンピュータに接続することができ、この接続は(例えば、インターネットサービスプロバイダを用いるインターネットを介して)外部コンピュータへと行うこともできる。
本発明の態様は、本発明の実施例による方法、装置(システム)及びコンピュータプログラムプロダクトのフローチャート及び/又はブロック図を参照してここに記載されている。フローチャート及び/又はブロック図の各ブロック又はフローチャート及び/又はブロック図のブロックの組み合わせはコンピュータプログラム命令で実行できる。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置に供給して、コンピュータのプロセッサ又は他のプログラマブルデータ処理装置を介して実行される命令がフローチャート及び/又はブロック図の各ブロック又はブロックの組み合わせに指定された機能/作業を実行する手段を生成するようなマシンを生成することができる。
これらのコンピュータプログラム命令は、コンピュータシステム、他のプログラマブルデータ処理装置又は他のデバイスを特定の方法で機能するように命令し得るコンピュータ読取可能な媒体に格納し、コンピュータ読取可能な媒体に格納された命令がフローチャート及び/又はブロック図の各ブロック又はブロックの組み合わせに指定された機能/作業を実行する命令を含む製品を生成するようにすることもできる。
コンピュータプログラム命令は、一連のオペレーションステップをコンピュータシステム、他のプログラマブルデータ処理装置又は他のデバイスで実行させてコンピュータ実行プロセスを生成するためにコンピュータシステム、他のプログラマブルデータ処理装置又は他のデバイスにロードして、コンピュータシステム、他のプログラマブルデータ処理装置又は他のデバイスで実行する命令がフローチャート及び/又はブロック図の各ブロック又はブロックの組み合わせに指定された機能/作業を実行するプロセスを提供するようにすることもできる。
本開示は例示及び説明のためであるが、完全又は限定を意図するものではない。多くの変更及び変形が当業者に明らかである。本発明の原理及び実用化のため及び当業者が意図する特定の用途に適した種々の変更を備える種々の実施例の開示を理解できるように、種々の実施例が選択され記載されている。
本発明の説明のための種々の実施例を添付図面を参照して記載したが、本発明はこれらの実施例に正確に限定されず、当業者によれば本発明の範囲又は精神から離れることなく種々の変形及び変更を加えることができる。

Claims (18)

  1. 機械的な人工エージェントであって、
    複数の関節を介して結合された複数の可動部と、
    前記複数の可動部の動作を制御するように構成されたコントローラと、を備え、前記コントローラは、
    簡易モデルの現在状態を、基準動作データから取得した基準状態情報と、前記簡易モデルから取得した測定出力とに基づいて推定し、推定状態と計算された簡易モデルへの入力を含むバランス制御信号を供給するように構成されたバランスコントローラであって、前記機械的な人工エージェントの動力学を表す簡易モデルに対して設計されたバランスコントローラと、
    前記バランス制御信号と、前記機械的な人工エージェントから取得した前記機械的な人工エージェントの現在関節位置及び速度と、前記基準動作データから取得した基準関節位置、速度及び加速度とに基づいて、バランスを維持しながら前記基準動作データが示す基準動作を追跡するように設定された、関節及び接触リンクの所望の加速度についての動作命令を生成するように構成されたトラッキングコントローラであって、前記機械的な人工エージェントの個々の関節に対するトラッキングコントローラとを備え、
    前記複数の関節の各々が前記動作命令を使用でき、前記基準動作の追跡及びバランスの維持をもたらし、
    前記動作命令は関節トルクを含み、前記関節の速度が限界値に近づくと前記速度を下げるために強い減衰トルクが付加され、
    前記バランスの維持は、少なくとも、前記簡易モデルへの所望の入力からの誤差に対処する項、前記関節の所望の加速度からの誤差に対処する項、前記接触リンクの所望の加速度からの誤差に対処する項、前記関節トルクからの減衰項及び接触力からの減衰項のうちの1つを含むコスト関数を最適化し、前記簡易モデルから全身モデルへのマッピングを行うことによって実現される、機械的な人工エージェント。
  2. 前記機械的な人工エージェントはヒューマノイドロボットである、請求項1記載の機械的な人工エージェント。
  3. 前記複数の可動部は1つ以上の可動下半身部分を有する本体部分を備え、前記バランス制御信号は前記身モデルと整合している、請求項2記載の機械的な人工エージェント。
  4. 前記基準動作データはモーションキャプチャシステムから得られる1つ以上のデータ入力を更に含む、請求項1記載の機械的な人工エージェント。
  5. 前記基準動作は1つ以上の足踏み動作を更に含む、請求項4記載の機械的な人工エージェント。
  6. 前記コントローラの前段には、前記基準動作に対応する入力データを前処理する運動学的マッピングモジュールと動力学的マッピングモジュールとを備える、請求項3記載の機械的な人工エージェント。
  7. 前記運動学的マッピングモジュールは、前記機械的な人工エージェントの1つ以上の現在接触位置を用いて、1つ以上の接触位置と前記機械的な人工エージェントの本体との間の運動学的関係が前記基準動作を追跡するように、1つ以上の体幹軌道及び1つ以上の関節軌道を修正するように構成されている、請求項6記載の機械的な人工エージェント。
  8. 前記動力学的マッピングモジュールは、前記基準動作を追跡しながら圧力中心を前記機械的な人工エージェントの接触凸包内に維持するように前記機械的な人工エージェントの基準重心を修正するように構成されている、請求項6記載の機械的な人工エージェント。
  9. 機械的な人工エージェントの動力学を表す簡易モデルに対して設計されたバランスコントローラによって、簡易モデルの現在状態を、基準動作データから取得した基準状態情報と、前記簡易モデルから取得した測定出力とに基づいて推定し、複数の関節で結合された複数の可動部を有する前記機械的な人工エージェントのトラッキングコントローラに、推定状態と計算された簡易モデルへの入力を含むバランス制御信号を供給するステップと、
    前記機械的な人工エージェントの個々の関節に対する前記トラッキングコントローラによって、前記バランス制御信号と、前記機械的な人工エージェントから取得した前記機械的な人工エージェントの現在関節位置及び速度と、前記基準動作データから取得した基準関節位置、速度及び加速度とに基づいて、バランスを維持しながら前記基準動作データが示す基準動作を追跡するように設定された、関節及び接触リンクの所望の加速度についての動作命令を含むトラッキング制御信号を供給するステップとを備え、
    前記複数の関節の各々が前記動作命令を使用でき、前記基準動作の追跡及びバランスの維持をもたらし、
    前記動作命令は関節トルクを含み、前記関節の速度が限界値に近づくと前記速度を下げるために強い減衰トルクが付加され、
    前記バランスの維持は、少なくとも、前記簡易モデルへの所望の入力からの誤差に対処する項、前記関節の所望の加速度からの誤差に対処する項、前記接触リンクの所望の加速度からの誤差に対処する項、前記関節トルクからの減衰項及び接触力からの減衰項のうちの1つを含むコスト関数を最適化し、前記簡易モデルから全身モデルへのマッピングを行うことによって実現される、方法。
  10. 前記機械的な人工エージェントはヒューマノイドロボットである、請求項9記載の方法。
  11. 前記複数の可動部は1つ以上の可動下半身部分を有する本体部分を備え、前記バランス制御信号は前記身モデルと整合している、請求項10記載の方法。
  12. 前記基準動作データはモーションキャプチャシステムから得られる1つ以上のデータ入力を更に含む、請求項9記載の方法。
  13. 前記基準動作は1つ以上の足踏み動作を更に含む、請求項12記載の方法。
  14. 運動学的マッピングモジュール及び動力学的マッピングモジュールを用いて前記基準動作に対応する入力データを前処理するステップを更に備える、請求項9記載の方法。
  15. 前記運動学的マッピングモジュールを用いて、1つ以上の接触位置と前記機械的な人工
    エージェントの本体との間の運動学的関係が前記基準動作を追跡するように1つ以上の体幹軌道及び1つ以上の関節軌道を修正するステップを更に備える、請求項14記載の方法。
  16. 前記動力学的マッピングモジュールを用いて、前記基準動作を追跡しながら圧力中心を前記機械的な人工エージェントの接触凸包内に維持するように前記機械的な人工エージェントの基準重心を修正するステップを更に備える、請求項14記載の方法。
  17. 1つ以上のプロセッサと、
    複数の関節で結合された複数の可動部を有する機械的な人工エージェントの動作を制御するように構成された、前記1つ以上のプロセッサにより実行可能なコンピュータ読み取り可能なプログラムコードを有するプログラム記憶装置とを備え、該プログラム記憶装置は、
    簡易モデルの現在状態を、基準動作データから取得した基準状態情報と、前記簡易モデルから取得した測定出力とに基づいて推定し、推定状態と計算された簡易モデルへの入力を含むバランス制御信号を供給するように設定されたコンピュータ読み取り可能なプログラムコードであって、前記機械的な人工エージェントの動力学を表す簡易モデルに対して設計されたコンピュータ読み取り可能なプログラムコードと、
    前記バランス制御信号と、前記機械的な人工エージェントから取得した前記機械的な人工エージェントの現在関節位置及び速度と、前記基準動作データから取得した基準関節位置、速度及び加速度とに基づいて、バランスを維持しながら前記基準動作データが示す基準動作を追跡するように設定された、関節及び接触リンクの所望の加速度についての動作命令を生成するように構成されたコンピュータ読み取り可能なプログラムコードであって、前記機械的な人工エージェントの個々の関節に対するコンピュータ読み取り可能なプログラムコードとを含み、
    前記複数の関節の各々が前記動作命令を使用でき、前記基準動作の追跡及びバランスの維持をもたらし、
    前記動作命令は関節トルクを含み、前記関節の速度が限界値に近づくと前記速度を下げるために強い減衰トルクが付加され、
    前記バランスの維持は、少なくとも、前記簡易モデルへの所望の入力からの誤差に対処する項、前記関節の所望の加速度からの誤差に対処する項、前記接触リンクの所望の加速度からの誤差に対処する項、前記関節トルクからの減衰項及び接触力からの減衰項のうちの1つを含むコスト関数を最適化し、前記簡易モデルから全身モデルへのマッピングを行うことによって実現される、装置。
  18. 複数の関節で結合された複数の可動部を有する機械的な人工エージェントの動作を制御するように構成された、1つ以上のプロセッサにより実行可能なコンピュータ読み取り可能なプログラムコードを有するプログラム記憶装置において、
    簡易モデルの現在状態を、基準動作データから取得した基準状態情報と、前記簡易モデルから取得した測定出力とに基づいて推定し、推定状態と計算された簡易モデルへの入力を含むバランス制御信号を供給するように設定されたコンピュータ読み取り可能なプログラムコードであって、前記機械的な人工エージェントの動力学を表す簡易モデルに対して設計されたコンピュータ読み取り可能なプログラムコードと、
    前記バランス制御信号と、前記機械的な人工エージェントから取得した前記機械的な人工エージェントの現在関節位置及び速度と、前記基準動作データから取得した基準関節位置、速度及び加速度とに基づいて、バランスを維持しながら前記基準動作データが示す基準動作を追跡するように設定された、関節及び接触リンクの所望の加速度についての動作命令を生成するように構成されたコンピュータ読み取り可能なプログラムコードであって、前記機械的な人工エージェントの個々の関節に対するコンピュータ読み取り可能なプログラムコードとを含み、
    前記複数の関節の各々が前記動作命令を使用でき、前記基準動作の追跡及びバランスの維持をもたらし、
    前記動作命令は関節トルクを含み、前記関節の速度が限界値に近づくと前記速度を下げるために強い減衰トルクが付加され、
    前記バランスの維持は、少なくとも、前記簡易モデルへの所望の入力からの誤差に対処する項、前記関節の所望の加速度からの誤差に対処する項、前記接触リンクの所望の加速度からの誤差に対処する項、前記関節トルクからの減衰項及び接触力からの減衰項のうちの1つを含むコスト関数を最適化し、前記簡易モデルから全身モデルへのマッピングを行うことによって実現される、プログラム記憶装置。
JP2010068909A 2009-03-24 2010-03-24 モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法 Active JP5836565B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16283809P 2009-03-24 2009-03-24
US61/162,838 2009-03-24

Publications (3)

Publication Number Publication Date
JP2010221395A JP2010221395A (ja) 2010-10-07
JP2010221395A5 JP2010221395A5 (ja) 2014-07-03
JP5836565B2 true JP5836565B2 (ja) 2015-12-24

Family

ID=42273835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010068909A Active JP5836565B2 (ja) 2009-03-24 2010-03-24 モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法

Country Status (3)

Country Link
US (2) US8781624B2 (ja)
EP (1) EP2233387A1 (ja)
JP (1) JP5836565B2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060578A (ko) * 2010-12-02 2012-06-12 삼성전자주식회사 보행 로봇 및 그 자세 제어 방법
FR2981173B1 (fr) * 2011-10-11 2013-11-29 Commissariat Energie Atomique Procede de controle d'un robot
US9573276B2 (en) * 2012-02-15 2017-02-21 Kenneth Dean Stephens, Jr. Space exploration with human proxy robots
US20160207194A1 (en) * 2013-09-03 2016-07-21 Anne J. BLOOD Stabilization system for robotic technology
US9579796B2 (en) * 2013-09-25 2017-02-28 Disney Enterprises, Inc. Automatic task-specific model reduction for humanoid robots
US9364951B1 (en) * 2013-10-14 2016-06-14 Hrl Laboratories, Llc System for controlling motion and constraint forces in a robotic system
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
WO2016025941A1 (en) * 2014-08-15 2016-02-18 University Of Central Florida Research Foundation, Inc. Control interface for robotic humanoid avatar system and related methods
US9057508B1 (en) 2014-10-22 2015-06-16 Codeshelf Modular hanging lasers to enable real-time control in a distribution center
JP5927270B2 (ja) * 2014-11-06 2016-06-01 ファナック株式会社 ロボットシミュレーション装置
JP6550605B2 (ja) * 2014-12-02 2019-07-31 Soinn株式会社 動作の転移装置、動作の転移方法及びプログラム
US9481086B2 (en) * 2015-02-18 2016-11-01 Disney Enterprises, Inc. Control method for floating-base robots including generating feasible motions using time warping
US9427868B1 (en) * 2015-02-24 2016-08-30 Disney Enterprises, Inc. Method for developing and controlling a robot to have movements matching an animation character
US9327397B1 (en) 2015-04-09 2016-05-03 Codeshelf Telepresence based inventory pick and place operations through robotic arms affixed to each row of a shelf
JP6892393B2 (ja) * 2015-04-22 2021-06-23 マサチューセッツ インスティテュート オブ テクノロジー 足接地位置追随装置、その動きを制御する方法、コンピュータ実行可能なプログラム、及びそれを格納したコンピュータ読取可能な非一時的な情報記録媒体
US9262741B1 (en) 2015-04-28 2016-02-16 Codeshelf Continuous barcode tape based inventory location tracking
TWI676357B (zh) * 2015-06-05 2019-11-01 美商蘭姆研究公司 配方組之執行同步系統與方法
US9613958B2 (en) * 2015-06-10 2017-04-04 International Business Machines Corporation Spacer chamfering gate stack scheme
US9676098B2 (en) 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
US10166680B2 (en) 2015-07-31 2019-01-01 Heinz Hemken Autonomous robot using data captured from a living subject
KR102640420B1 (ko) * 2016-12-22 2024-02-26 삼성전자주식회사 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
US10777006B2 (en) * 2017-10-23 2020-09-15 Sony Interactive Entertainment Inc. VR body tracking without external sensors
CN107643761B (zh) * 2017-10-30 2023-06-20 桂林电子科技大学 多级全向空间倒立摆机构及平衡方法
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11104001B2 (en) 2019-03-13 2021-08-31 Sony Interactive Entertainment Inc. Motion transfer of highly dimensional movements to lower dimensional robot movements
CN111640495A (zh) * 2020-05-29 2020-09-08 北京机械设备研究所 基于阻抗控制的变力跟踪控制方法及装置
CN111872941B (zh) * 2020-08-06 2021-09-07 深圳市优必选科技股份有限公司 平衡控制方法、装置、仿人机器人及可读存储介质
US11931898B2 (en) 2020-12-22 2024-03-19 Boston Dynamics, Inc. Arm and body coordination
WO2022141268A1 (zh) 2020-12-30 2022-07-07 深圳市优必选科技股份有限公司 一种仿人机器人控制方法、计算机设备及存储介质
CN112783043B (zh) * 2020-12-30 2022-04-15 深圳市优必选科技股份有限公司 一种仿人机器人控制方法、装置、计算机设备及存储介质
CN113806862B (zh) * 2021-09-07 2022-08-30 北京三快在线科技有限公司 无人车仿真方法、装置、存储介质及电子设备
CN116736748A (zh) * 2022-03-01 2023-09-12 腾讯科技(深圳)有限公司 构建机器人的控制器的方法和机器人
CN115356927A (zh) * 2022-08-17 2022-11-18 浙大宁波理工学院 机器人的三闭环鲁棒预测函数控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60126153T2 (de) * 2000-11-17 2007-10-18 Honda Giken Kogyo K.K. Gangmustererzeugungsvorrichtung für beweglichen roboter mit beinen
JP2002239963A (ja) * 2001-02-21 2002-08-28 Sony Corp ロボット装置、ロボット装置の動作制御方法、プログラム及び記録媒体
JP3790816B2 (ja) * 2002-02-12 2006-06-28 国立大学法人 東京大学 人型リンク系の運動生成方法
JP3614824B2 (ja) * 2002-03-18 2005-01-26 ソニー株式会社 脚式移動ロボットのための動作編集装置及び動作編集方法
JP4971977B2 (ja) * 2004-03-31 2012-07-11 本田技研工業株式会社 角運動量の変化率に基づいて脚式ロボットを制御する方法
JP4487782B2 (ja) * 2005-01-19 2010-06-23 トヨタ自動車株式会社 多関節ロボットに教示する動作データの作成装置と作成方法
US7313463B2 (en) * 2005-03-31 2007-12-25 Massachusetts Institute Of Technology Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics
JP5034235B2 (ja) * 2006-01-16 2012-09-26 ソニー株式会社 制御システム及び制御方法、並びにコンピュータ・プログラム
US8924021B2 (en) * 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
JPWO2007139135A1 (ja) * 2006-05-30 2009-10-08 独立行政法人科学技術振興機構 ロボット及び制御装置
US7798264B2 (en) * 2006-11-02 2010-09-21 Hutcheson Timothy L Reconfigurable balancing robot and method for dynamically transitioning between statically stable mode and dynamically balanced mode
US8170287B2 (en) * 2007-10-26 2012-05-01 Honda Motor Co., Ltd. Real-time self collision and obstacle avoidance
WO2009058693A1 (en) * 2007-11-01 2009-05-07 Honda Motors Co., Ltd. Real-time self collision and obstacle avoidance using weighting matrix
WO2009067458A1 (en) * 2007-11-21 2009-05-28 Honda Motor Co., Ltd. Learning capture points for humanoid push recovery

Also Published As

Publication number Publication date
US9389598B2 (en) 2016-07-12
JP2010221395A (ja) 2010-10-07
US20100250001A1 (en) 2010-09-30
US20140309781A1 (en) 2014-10-16
EP2233387A1 (en) 2010-09-29
US8781624B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP5836565B2 (ja) モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法
Yamane et al. Simultaneous tracking and balancing of humanoid robots for imitating human motion capture data
US9120227B2 (en) Human motion tracking control with strict contact force constraints for floating-base humanoid robots
US8442687B2 (en) Control system, control method, and computer program
US9334002B2 (en) Balance control apparatus of robot and control method thereof
Yamane et al. Controlling humanoid robots with human motion data: Experimental validation
Wu et al. Goal-directed stepping with momentum control
US20120316682A1 (en) Balance control apparatus of robot and control method thereof
Yamane et al. Control-aware mapping of human motion data with stepping for humanoid robots
US20120158183A1 (en) Walking robot and control method thereof
Zheng et al. A walking pattern generator for biped robots on uneven terrains
Otani et al. Generating assistive humanoid motions for co-manipulation tasks with a multi-robot quadratic program controller
Feng Online Hierarchical Optimization for Humanoid Control.
Gams et al. Real-time full body motion imitation on the COMAN humanoid robot
Kim et al. Continuous cyclic stepping on 3d point-foot biped robots via constant time to velocity reversal
Cisneros et al. Partial yaw moment compensation using an optimization-based multi-objective motion solver
Chen et al. Integrable whole-body orientation coordinates for legged robots
Abdolmaleki et al. Omnidirectional walking with a compliant inverted pendulum model
Meriçli et al. Improving biped walk stability using real-time corrective human feedback
Kim et al. Assessing whole-body operational space control in a point-foot series elastic biped: Balance on split terrain and undirected walking
Coelho et al. Development and implementation of a new approach for posture control of a hexapod robot to walk in irregular terrains
JP7221833B2 (ja) 非線形モデル予測制御装置
Li et al. Dynamic Locomotion of a Quadruped Robot with Active Spine via Model Predictive Control
Ramos et al. Dynamic whole body motion generation for the dance of a humanoid robot
Wyeth et al. Evolving a locus based gait for a humanoid robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141024

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151104

R150 Certificate of patent or registration of utility model

Ref document number: 5836565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250