JP4463120B2 - 身まねロボットシステムとその身まね動作制御方法 - Google Patents

Description

本発明は、人間の運動を身まねして動作する身まねロボットシステムとその身まね動作を制御する方法に関する。

人間の運動を見て真似ることを通常「見まね」と呼ぶ。しかし、本発明では、直接的に制御に用いることが困難な感覚情報（視覚、触覚、聴覚及びそれらを統合して認知した情報等）を含め、運動情報と感覚情報の両方をまねることを「身まね」と呼ぶ。

従来から、「見まね学習」をキーワードとして、人間の動きを観察しこれをロボットの構造に合わせた運動に変換し、ロボットに人間に似た運動を行わせる方法が提案されている（例えば非特許文献１、２）。しかし、従来の方法は例えば人間の関節角度を測るなど運動情報の観察のみに留まっており、感覚情報と運動情報の両方を計測し、それらを統合することによって新たに運動を生成する手段は存在しなかった。

一方、コンピュータグラフィクスにより立体的な仮想空間を体験させる技術として、ＣＡＶＥシステム（非特許文献３）に代表される没入型の立体映像表示技術が知られている。この技術では、ユーザが立体視用の特殊眼鏡を装着することによって、立体的な仮想空間を体現することができる。

ＣＡＶＥシステムでは、２．５〜３ｍ四方のスクリーンを用い、これをユーザを取り囲むように、前面、左右、床面に設置する。床面のスクリーンには上方から、それ以外のスクリーンには後方から、それぞれ立体用プロジェクタにより立体映像が投影される。ユーザの頭部には６自由度の位置センサが取り付けられ、ユーザの視点位置から見た立体映像がスクリーン上に表示される。ユーザは立体視可能な眼鏡を装着してＣＡＶＥの中に立つことで、広い視野の立体映像に囲まれ、没入感の高い感覚を得ることができる。

また、ＣＡＶＥシステムの発展形として開発されたＣＡＢＩＮ（５面スクリーン版ＣＡＶＥ）が非特許文献４の論文で発表されている。さらに、没入型画像提示装置として、特許文献１〜３が開示されている。

特許文献１の「没入型表示システム」は、周囲環境中の特徴及びオブジェクトに対するユーザの頭部の位置及び角度を判定することを可能にすることを目的とし、図１１に示すように、光学相関器５０を含む表示ユニットと、該光学相関器からのイメージ出力信号に基づいてイメージを表示する視覚的表示装置５２とを備えたものである。

特許文献２の「臨場感型仮想現実提供処理方法および装置」は、臨場感の高い仮想世界を体験者に提供することを目的とするものであり、立体視による仮想環境とフォースフィードバックを用いており、体験者の動きデータを計測し、視点を検出し、体験者のアバタの動きを決定して動き可能に表示させ、フォースフィードバック処理によって仮想物体の動きをもとに体験者が持つ操作インターフェースに力覚提示を行うものである。

特許文献３の「没入型表示装置および方法」は、図１２に示すように、コンピュータで生成された３次元仮想世界映像をユーザ６１を取り囲むように立体視可能なかたちで表示するものであり、視点位置検知部６２、合成情報表示部６３、３次元情報表示部６４、２次元情報生成部６５、３次元情報生成部６６、および情報合成部６７を有するものである。

さらに本発明に関連する「３次元動力学シミュレータ」は、仮想空間内の仮想対象物の運動を計算によって求めるソフトウェアライブラリであり、例えば非特許文献５に開示されている。

中西 淳、Ａ．Ｊ．Ｉｊｓｐｅｅｒｔ，Ｓ．Ｓｃｈａａｌ， ａｎｄ Ｇ．Ｃｈｅｎｇ，"運動学習プリミティブを用いたロボットの見まね学習"，日本ロボット学会誌、ｖｏｌ．２２， Ｎｏ．２，ｐｐ．１６５-１７０，２００４ Ｔ．Ｉｎａｍｕｒａ， Ｉ．Ｔｏｓｈｉｍａ， Ｈ．Ｔａｎｉｅ， ａｎｄ Ｙ．Ｎａｋａｍｕｒａ，"Ｅｍｂｏｄｉｅｄ Ｓｙｍｂｏｌ Ｅｍｅｒｇｅｎｃｅ Ｂａｓｅｄ ｏｎ Ｍｉｍｅｓｉｓ Ｔｈｅｏｒｙ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ， ｖｏｌ．２３， Ｎｏ．４， ｐｐ．３６３-３７７， ２００４ Ｃ．Ｃｒｕｚ-Ｎｅｉｒａ，Ｄ．Ｓａｎｄｉｎ，Ｔ．ＤｅＦａｎｔｉ "Ｓｕｒｒｏｕｎｄ-Ｓｃｒｅｅｎ Ｐｒｏｊｅｃｔｉｏｎ Ｂａｓｅｄ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：Ｔｈｅ Ｄｅｓｉｇｎ ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ＣＡＶＥ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＯＨ ９２， ｐｐ．１３５-１４２， １９９３ 廣瀬通孝，小木哲郎，石綿昌平，山田俊郎，「多面型全天周ディスプレイ（ＣＡＢＩＮ）の開発とその特性評価」，電子情報通信学会論文誌 Ｄ-II，Ｖｏｌ．Ｊ８１-Ｄ-II，Ｎｏ．５，ｐｐ．８８８-８９６，（１９９８） ３次元動力学シミュレータ、Ｃｒｉｔｉｃａｌ Ｍａｓｓ Ｌａｂｓ社のＶｏｒｔｅｘ、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｃｍ-ｌａｂｓ．ｃｏｍ／＞

特開２００２−９１６９６号公報、「没入型表示システム」 特開２００２−１２３８４０号公報、「臨場感型仮想現実提供処理方法および装置」 特開２００３−１４１５７３号公報、「没入型表示装置および方法」

近年、ロボットの知能化を目指した研究が盛んに行われており、工場などの規格化された生産現場だけではなく、街や家庭などの一般環境におけるロボットの活躍が期待されている。実際、次々と各種のヒューマノイドロボットが発表されており、歩く・走る・踊る・ジェスチャを行うなど様々な運動が実現されている。
これらのロボットは日常生活で活躍することが期待されているが、現状ではあらかじめ与えられた目標軌道に追従するように運動していることが多く、人間などの複雑な形状をした対象物と力学的な相互作用を行うのは非常に困難である。

一方、これまでロボットを制御するために様々な理論的なアプローチが行われており、シミュレーションでは理想的な環境を作り出すことができることから、その有効性が報告されている。
しかし、それらの制御方法を実世界に応用することを考えた場合、例えば摩擦モデル一つにしても未知なことが多いため、実環境でロボットを制御する場合にはモデル化誤差などの影響によって理論通りに動作しないことも多い。それ以外にも、形状が複雑なロボットの動力学演算を実時間で解くのは難しいなど実ロボットへ応用するためには数多くの問題を抱えている。

これらの問題を解決するアプローチの一つとして人間の運動を模倣することで、ロボットに巧みな運動を行わせることを目的とした研究が報告されており、運動学習プリミティブを用いることで見まね学習を行う研究（非特許文献１）やミメシス理論に基づいて様々な運動生成を行う研究（非特許文献２）など数多くの研究が行われている。
これらの研究の多くは人間とロボットの身体構造やダイナミクスの違いを考慮した運動生成方法を提案しているため、常に変化する対象物（人や物）と接触するような運動を生成することは難しいという問題点がある。すなわち変化する対象物（人や物）と接触するような運動を生成するためには、単に運動軌跡を模倣するだけではなく、運動中に得られる感覚情報（視覚、触覚、聴覚等）を運動に反映させて新たな運動軌跡を作成する必要がある。

本発明はかかる課題を解決するために創案されたものである。すなわち、本発明の目的は、単に運動情報を再現するだけではなく、人間の運動情報と感覚情報の両方を「身まね」することができ、変化する対象物（人や物）に対応してその運動を高い頻度で再現することができ、これにより変化する対象物と接するような仕事を行なわせることができる身まねロボットシステムとその身まね動作制御方法を提供することにある。

本発明によれば、教示対象のロボットからの感覚情報を用いて生成された３次元仮想世界映像を基に前記教示対象のロボットを操作し、対象物に所望の動作を行い、該動作中の前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を取得する教示ステップと、
教示ステップで得られた運動情報と感覚情報を基に、前記ロボットに所望の動作を身まねさせる身まねステップとからなり、
前記身まねステップにおいて、前記対象物の変化に対応して、身まね制御装置は前記対象物の位置が教示ステップで取得した感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと教示ステップにおける感覚情報の時系列データを比較し、教示ステップにおける現在の時刻に対応する教示ステップでの時刻を求め、求めた教示ステップでの時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とするロボットの身まね動作制御方法が提供される。

本発明の好ましい実施形態によれば、前記教示ステップにおいて、人の運動に追従して動く仮想被験者を仮想の前記ロボットとみなし、動力学シミュレーション環境下で仮想的に設置した力センサや触覚センサから得られる値と、視覚センサから得られる画像を感覚情報として取得する。

また、前記教示ステップにおいて、所望の動作が可能な実体のある前記ロボットとディスプレイ装置を用い、教示対象の前記ロボットからの感覚情報を用いて生成された３次元仮想世界映像に基づき、人が前記ロボットに動作を行わせ、該ロボットに取り付けた触覚センサ及びカメラから運動情報と共に感覚情報も同時に取得することが好ましい。

また、前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較して、教示ステップで取得した感覚情報と同じ感覚情報が得られるように身まね中の運動軌跡を変更する。

また、前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、評価値が一致するような時間を探索して身まね中の運動軌跡を時間的に伸縮させる。

また、前記身まねステップにおいて、類似度Ｃを用いて身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、得られた類似度Ｃが最も大きい教示ステップにおける時刻の運動軌跡を身まねで使用する、ことが好ましい。

また本発明によれば、対象物に対して所望の動作が外部からの入力信号に基づき作動可能な仮想的又は実体のあるロボットと、教示対象の前記ロボットからの感覚情報を用いて生成された３次元仮想世界映像を表示するディスプレイ装置と、前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を記憶する記憶装置を有する身まね制御装置と、を備え、
身まね制御装置により、前記対象物の変化に対応して、前記対象物の位置が記憶した前記感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと記憶した前記感覚情報の時系列データを比較し、現在の感覚情報における現在の時刻に対応する記憶した前記感覚情報の時刻を求め、記憶した前記感覚情報の時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とする身まねロボットシステムが提供される。

本発明の好ましい実施形態によれば、前記ロボットは、人の運動に追従して動く仮想被験者である仮想のロボットである。

また、前記ディスプレイ装置は、３次元仮想空間内に位置する実在する人の位置及び動作を検出する運動情報検出手段と、該人の位置及び動作を３次元仮想空間内に仮想被験者として提示する仮想被験者提示手段とからなる、ことが好ましい。

上述したように本発明では、人がロボットに没入する形でロボットを操作することで、ロボットの運動情報とその時に得られる感覚情報を取得し記録することができる。すなわち、人がロボットに没入して動作を与えることで、関節角度などの運動情報だけではなく視覚や触覚などの感覚情報をロボットに教示することができる。
また教示された感覚情報が得られるように、教示ステップで取得した運動軌跡を身まね中の感覚情報を使って空間的に変更しかつ時間的に伸縮させることで、これまで行うのが難しかった対象物と接するような動作を、対象物の変化に対応して、ロボットに真似させることができ、人間と接するホームロボットや介護・福祉機器などの機械システムの制御への応用が可能となる。

以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において共通部分には同一の符号を付し、重複した説明を省略する。

図１は本発明による身まねロボットシステムの全体構成図である。この図に示すように、本発明の身まねロボットシステムは、没入型ロボット１０、没入型ディスプレイ装置２０及び身まね制御装置３０を備える。

没入型ロボット１０は、被験者である人２の運動に追従して動く仮想被験者であり、対象物１（人や物）に対して所望の動作が、外部からの入力信号に基づき作動可能に構成されている。
没入型ディスプレイ装置２０は、３次元仮想空間内に位置する実在する被験者２の位置及び動作を検出する運動情報検出手段と、被験者２の位置及び動作を３次元仮想空間内に仮想被験者として提示する仮想被験者提示手段とからなり、没入型ロボット１０の動きを人が没入する形で表示する。

身まね制御装置３０は、記憶装置３２と単一又は複数のコンピュータ３４からなり、没入型ロボット１０の動作中の運動情報と感覚情報を記憶する。また身まね制御装置３０は、人（被験者）２の操作で受動的に取得した運動情報と感覚情報を基に、没入型ロボット１０に所望の動作を再現（身まね）させ、かつ同時に対象物１の変化に対応して、既に取得した運動軌跡を身まね中の感覚情報を使って空間的に変更しかつ時間的に伸縮させるようになっている。

複数のコンピュータ３４は互いにネットワークで連結されており、リアルタイムでデータを通信し、それらのデータを基にデータの更新及び演算を行うように構成されている。

また身まね制御装置３０は、仮想空間内の設計対象の運動を計算によって求めるシミュレーションソフト（３次元動力学シミュレータ）を記憶する。この３次元動力学シミュレータは、没入型ロボット１０を構成する構成部品のサイズ、形状、質量特性などのデータを基に物理法則に則った運動を計算する。この計算は、毎サンプリング周期ごとに行い、各部品の位置と姿勢をリアルタイムで出力する。

この計算では加速度を伴った運動（動力学）や、物体同士の衝突判定、物体間に働く幾何学的拘束（回転軸やスライダジョイントなど）を扱う。没入型ディスプレイ部内の被験者２からの入力もこの計算に加味される。演算部コンピュータは仮想空間内に対象物だけでなく仮想被験者１０も用意する。被験者２はこの仮想被験者１０を操作することで、仮想空間内の対象物１（例えば人形）と力学的に干渉することとなる。

没入型ディスプレイ装置２０は、コンピュータ３４で得られた仮想空間内の対象物１の運動を被験者２に視覚的に提示する部分である。視覚情報のほかに複数のスピーカを使った立体音場生成による聴覚情報の提示も可能である。没入型ディスプレイ装置２０は、被験者２に高い没入感を与え、同時に、被験者２の運動を計測し、それを身まね制御装置３０に入力する機能を備えている。

上述した没入型ディスプレイ装置２０は、例えば、ＣＡＶＥシステムである。
ＣＡＶＥシステムは、図１に示すように、人（被験者）２（眼鏡をかけた白い人物）を取り囲むスクリーン３に４方向から映像を投影し、人２に高い臨場感を持った映像を提示する画像表示システムである。投影される画像は１フレームごとに右目用と左目用の情報が交互に投影される画像であり、それに同期して液晶シャッター眼鏡４を通した視線が片方ずつ遮断されることで、投影されたＣＧは被験者２に立体的な映像として観測される。さらに、液晶シャッター眼鏡４の位置と姿勢は常に計測され、その情報に従って画像が更新されることで、被験者はあたかも自分が投影された仮想空間内に存在するかのように認識できる。

ＣＡＶＥ（スクリーン３で囲まれた３次元仮想空間）内の被験者２は、液晶シャッター眼鏡の他に磁気センサ５を身体に装備している。これらの磁気センサ５の位置や姿勢の情報も常時計測されており、システムのインターフェイスとして機能する。投影されるＣＧの運動は被験者２の運動による影響と物理法則（力学的法則）を考慮したものが、身まね制御装置３０でシミュレートされることで得られる。

以上のような没入型ディスプレイ装置２０によって、ＣＡＶＥ内の被験者２が仮想空間内の対象物１（人や物）に力学的作用を及ぼすことができる。

なお没入型ディスプレイ装置２０は、前述の２つの機能を備えていればＣＡＶＥシステムに限定されない。例えば、図２に示すように、視野角の広いヘッドマウントディスプレイ（ＨＭＤ）６に立体視映像を出力させ、ＨＭＤ６に搭載したジャイロセンサなどを用いることで被験者２の位置を検出し、同時にモーションキャプチャや装具による運動計測によって被験者の運動をモニターすれば、没入型ディスプレイ装置として用いることができる。

すなわち、図２に示すようにロボットに没入する形で没入型ロボットである実ロボット１０を操作するテレ・オペレーションシステムを用い、このシステムにおいて被験者２は視覚や力覚を知覚しながら実ロボット１０に教示動作を与えることができ、実ロボット１０を動かすことができる。実ロボットを動かす場合には、ダイナミクスの補償を行うことで運動を修正するのがよい。

上述したロボットシステムを用い、本発明の身まね動作制御方法は、教示ステップと身まねステップとからなる。教示ステップでは、没入型ロボット１０と没入型ディスプレイ装置２０を用い、人（被験者）２がロボットに没入する形でロボットを操作して対象物に対応して所望の動作を行わせ、この動作中の運動情報と感覚情報を身まね制御装置３０により取得する。身まねステップでは、教示ステップで得られた運動情報と感覚情報を基に、身まね制御装置３０により没入型ロボット１０に所望の動作を身まねさせる。

以下、教示ステップと身まねステップを更に詳しく説明する。
（教示ステップ）
教示ステップは、没入型ロボット１０への没入と運動・感覚情報のキャプチャリングからなる。
教示ステップにおいて、没入型ロボット１０に没入する形でロボットに運動情報と感覚情報を与える手段として、「シミュレータを用いる手段」と「実機を用いる手段」が適用できる。

「シミュレータを用いる手段」は、没入型ディスプレイ（例えば非特許文献３のＣＡＶＥシステム）の中で磁気センサ（例えばＡｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ社のＦｌｏｃｋ ｏｆ Ｂｉｒｄｓ）を用いて人２の各リンクの位置・姿勢を計測し運動情報を得る。また、人２の運動に追従して動く仮想被験者を没入型ロボット１０とみなし、動力学シミュレーションの環境下で仮想的に設置した力センサや触覚センサから得られる値や、さらには視覚センサから得られる画像などを感覚情報として利用する。

「実機を用いる手段」は、例えばＣｙｂｅｒＦｏｒｃｅ（Ｉｍｍｅｒｓｉｏｎ社）を用いて実機に没入した形で没入型ロボット１０に動作を与える。この時、ロボット自身に触覚センサやカメラを取り付けることで、運動情報と共に感覚情報も同時に得る。感覚情報と運動情報のモデルは、タスクに成功した１回の動作から得られたものを用いても良いし、複数回の動作の平均や分散を考慮して作り出しても良い。

（身まねステップ）
身まねステップは、感覚情報を用いた運動情報の調節による。
教示ステップで得られた感覚情報と運動情報のモデルを用い、最終的な運動軌跡（身まね動作）を、感覚情報を使って空間的に変更した運動軌跡を更に時間的に伸縮させることで作り出す。
空間的な運動情報の変更は、現在（身まね中）得られた感覚情報と教示ステップで得られた感覚情報を比較して、教示ステップで得られた感覚情報と同様の感覚情報が得られるように運動を変更する。教示ステップで得られた視覚情報が得られる位置に回り込むなどの動作が空間的な運動の変更に相当する。
時間的な運動軌跡の伸縮は、大きな時間ジャンプにペナルティを与えるような評価関数を用意し、現在（身まね中）得られた感覚情報と教示ステップで得られている感覚情報を比較評価し、評価値が類似するような時間を探索することで運動の時間伸縮を行う。
このように感覚情報を用いて運動情報を空間的かつ時間的に変更することでタスクに成功する運動軌跡を生成する。この生成を「身まね動作生成」と呼ぶ。

以下、本発明の具体例を説明する。
１．本発明では、対象物と相互作用を行うようなロボットを制御する手段として、感覚と運動を統合することによって最終的な模倣動作を生成する方法を提案する。この方法はＤＰマッチングを用いて感覚と運動のモデル化を行い、運動の途中で順次得られる感覚情報を用いて運動軌跡を時間的・空間的に変更しながら対象物と接するタスクの成功を目指す。
対応づけるべき二つの時系列をＡ＝ａ_１，ａ_２，・ ・ ・，ａ_ｉ，・ ・ ・，ａ_ＩとＢ＝ｂ_１，ｂ_２，・ ・ ・，ｂ_ｊ，・ ・ ・，ｂ_Ｊとするの時，ｄ（ｉ，ｊ）をａ_ｉとｂ_ｊの類似度とすると（例えばｄ（ｉ，ｊ）＝（ａ_ｉ-ｂ_ｊ）^２），時系列Ａ とＢ の類似度を数１の式を用いてｇ（Ｉ，Ｊ）／（Ｉ＋Ｊ）で求めるのがＤＰマッチングである。
ただし，ｉ＝１かｊ＝１の時はｇ（ｉ，ｊ）＝２ｄ（ｉ，ｊ）として，整合窓の範囲内でｉ，ｊを増加させてｉ＝Ｉ，ｊ＝Ｊとなるまで計算を繰り返す。

２．ロボットに行わせるタスク
現在、発明者等の研究チームでは介護福祉の現場で活躍するロボットの実現を視野にいれた研究を行っている。具体的なタスクとしてロボットの全身を用いて対象物（人や物）を抱きかかえるフルボディ・マニピュレーションの実現を目指しており、理論的な研究から解析的な研究、さらには必要なセンサの開発に向けた研究を行っている。
本研究では、具体的に「人間を抱き上げる」というタスクをロボットに実現させることを目標にしており、人間と同様に運動の途中で順次得られる視覚などの感覚情報を運動に反映することで最終的な模倣運動を生成する。
人間の場合は、幼い時の経験によって感覚と運動情報を獲得して行くものだと考えられる。ロボットに試行錯誤的に運動を行わせて感覚・運動情報を獲得させることも可能であるが、本研究では学習期間を短縮するために人間がロボットに感覚と運動情報を教示する。動作を教示する被験者はロボットに没入することで、感覚と運動情報を教示できることが望ましい。ここでは、没入型三次元動力学シミュレーション環境を用いて被験者は感覚と運動情報を教示する。

図３は、磁気センサを体の各所に取り付けた被験者とそれに対応する仮想被験者を示す図である。
これまでの研究では、被験者（図３（ａ））の動きを磁気センサで計測し、その動きに追従する仮想被験者（図３（ｂ））を介して仮想空間と被験者の力学的なインタラクションを実現していた。
このシミュレーション環境では、運動を行っている際の仮想被験者の視覚や力覚・トルク情報などをリアルタイムで計測できることから、従来のモーションキャプチャによる運動軌跡だけではなく、仮想被験者の視覚や触覚などの感覚情報を同時に取得することが可能である。
つまり、仮想被験者をロボットと見なすことで、被験者はロボット自身に没入する形でロボットに感覚と運動情報を教示することができる。

図４は、車輪型ロボットが抱えているダミー人形を被験者が抱き上げることで動作を教示している例を示す図である。この図で左側はロボットに感覚と運動を教示している被験者を示し、右側は教示動作の通りに動作しているロボットの動きを示す。ロボットは、車輪で移動するロボットであり、ダミー人形は、４７．５［ｋｇ］の重さの３リンクのダミー人形である。
以下、車輪型ロボットからダミー人形を抱き上げ、再び車輪型ロボットに返すまでの一連の動作を「抱き上げタスク」と呼ぶ。また本発明では人の運動に追従して動く仮想被験者をロボットと呼ぶ。

図５は、「抱き上げタスク」における被験者の手の運動軌跡を示す。
例えば、図４のように抱き上げタスクを行い、被験者の手の運動軌跡が図５のように得られたとする。この運動軌跡だけを模倣してロボット（仮想被験者）に全く同じ運動を行わせた場合、ダミー人形などの対象物（人や物）が教示時と全く同じ場合にはタスクに成功すると考えられる。
しかし、ダミー人形の位置や角度の初期値が異なる場合や、ダミー人形を抱えている車輪型ロボットが途中で動く場合にはタスクに成功するとは限らない。ダミー人形の位置や角度に依存することなくタスクに成功させるためには、単に運動軌跡を模倣するだけではなく、動作中に起こる対象物（人や物）の変化を感覚情報で知覚しながら、模倣運動を変更していく必要がある。
本発明の実施例では、対象物と相互作用が必要なタスクの例として、「抱き上げタスク」を取り上げ、ロボットで抱き上げタスクを実現させることを目標とする。

３．ＤＰによる運動のモデル化と運動生成
Ｉｎａｍｕｒａらによるミメシス理論に基づく見まね学習に関する一連の研究（非特許文献２）では、隠れマルコフモデル（ＨＭＭ）を用いて運動の生成を行っている。しかし、ＨＭＭは基本的にシンボル系列を扱う方法であるため運動の離散化の作業が必要になり、連続値を扱いたい場合には、連続ＨＭＭ（ｃｏｎｔｉｎｕｏｕｓ ＨＭＭ）を利用するなどの工夫が必要である。
本発明では連続値を扱うことができるＤＰマッチングを統計情報が扱えるように拡張することで同じ運動を行う複数のデータから一つの運動モデルを作成する。

〈３・１〉ＤＰによる運動のモデル化
１つの時系列運動を数２のベクトル列Ｏで表す。このうちベクトルｏはロボットの出力ベクトルを表し、例えば腕や足の目標関節角度や目標位置・目標姿勢などに相当する。これらの目標値は、被験者の運動を計測することによって取得することができるが、同じ抱き上げタスクをＮ回行ったとしてもそれらの時間は非線形に伸縮しており、得られる記号列がいつも同じ長さであるとは限らない。
そこで、得られたＮ回の時系列運動に対して時間の正規化を行う。まず、Ｎ個の中から１つの基準系列（長さをＴとする）を選択し、ＤＰマッチングにより残りのＮ−１個の時系列運動に対して時間軸の正規化を行い、すべての時系列運動の長さがＴになるように伸縮させる。次に、数２の（１）（２）式でそれらの平均と分散を求める。
そして、数２の平均と分散を抱き上げタスクの運動モデルとして保存する。

図６（ａ）は、図４の抱き上げタスクを複数回行い、その際に得られたｙ軸（鉛直上向き）の手の運動軌跡であり、（ｂ）はＤＰによって時間伸縮させた結果、（ｃ）、（ｄ）は伸縮後の平均値と分散値を示す。
ダミー人形を抱える瞬間や置く瞬間の６秒付近や１１秒付近の分散値は非常に小さくなっており、分散値の小さいところに抱き上げタスクのコツがあると考えられる。

〈３・２〉モデルからの運動生成
本発明では、運動モデルとして被験者の動きから計測した平均と分散を用いてロボットの運動を生成する。単位時間ごとに運動モデルと同じ正規分布を持つ正規乱数を発生させ、その値を目標値としてロボットを制御する。ただし、乱数による高周波成分を含むため、ローパスフィルタを適用することで高周波成分を除去する。
このように観測されたデータと同じ分布を持つ乱数を用いて運動を生成しているため、試行毎にロボットは微妙に異なる運動を行うことになり、一つのタスクを行う際には、いつも決まった目標値を与える従来のロボット制御方法に比べて、ロボットに生物らしい動きをさせることが可能でありながらも、分散値を反映させることでタスクのコツを考慮した運動が生成できる。

４． 感覚情報を反映した運動生成
対象物（人や物）と力学的なインタラクションを伴うようなタスクを行う場合、被験者は対象物を認識しながら運動を決定している。図４のような抱き上げタスクの場合は、ダミー人形やダミー人形を抱えている車輪型ロボットの位置や姿勢によって被験者は抱き上げの運動を変えている。しかし、前節の方法で生成した運動は、認識結果を反映したものになっていないため、被験者が教示動作を与えた時の対象物と状態が少しでも異なれば、同じ結果にならないことが予想される。
対象物が変化したとしてもタスクを成功させるためには、運動の過程で得られた感覚情報を反映して、出力を変更していく必要がある。本発明の方法では、運動途中に得られた感覚情報によって運動を調整する基準が明らかな場合と明らかではない場合に大別し、運動を調整する基準が明らかな感覚情報については出力ベクトルｏを空間的に変化させることで対応し、明らかでない感覚情報については出力を時間的に伸縮させることで対応する。

〈４・１〉空間的な運動の修正
現在得られた感覚情報と教示ステップで取得した感覚情報を比較して、教示ステップで得られたものと同様な感覚情報が得られるように、運動ベクトルｏを修正するのが「空間的な運動の修正」である。このような運動の修正を行うために、教示ステップで得られた感覚情報を時系列運動と同様に時間伸縮させて数３の入力情報として保存しておく。
ここでの入力情報としては、例えばダミー人形の位置・姿勢推定結果や、ロボットの腕にかかる力情報などロボット（仮想被験者）自身に付いているカメラや触覚センサから得られる感覚情報を処理して得られる認識結果等がある。
ここで考える問題は、時刻ｊにセンサ情報を処理することでｉ_ｊが得られた場合に、タスクを成功させるためには、教示動作の時刻ｔに得られた運動モデルＯ_ｔをどのように修正してｏ_ｊを生成するかを考えることである。
まず、次式を満たすＡｊ，Ｂｊを求めることで、教示動作中に得られた認識情報と現在得られている認識情報ｉ_ｊの関係を数３の（３）式で調べる。
次に、時刻ｔの動作を数３の（４）式を用いて変換することで最終的な出力動作とする。

このような処理を行うためには、入力情報の変化によって出力をどのように修正すればよいか（式（４）における関数ｆに相当する）が明示的に設計可能である必要がある。
空間的な運動の修正例として、視覚によって得られたダミー人形の位置・姿勢推定結果を用いてロボットとダミー人形の相対関係が教示動作が与えられた時と同じになるように運動を変化させることが挙げられる。

〈４・２〉時間的な運動の修正
教示ステップのある時刻ｔに得られた行動Ｏ_ｔを時刻ｊに得られた認識結果を基に調整する方法について述べたが、動作遅れなどによって、運動自身を時間伸縮させる必要があることもある。
こういった場合には、現在の時刻ｊに対応する教示動作の時刻ｔの付近で、得られた認識結果が類似する時刻を探索することで、時間伸縮に対応する。つまり、時刻ｊに対応するｔ'を数４の（５）式によって求めることで、動作の時間伸縮を行う。
これは（５）式の右辺を最大にするｋをｔ'におくという意味であり、数４のＣは、今得られている認識結果ｉ_ｊと教示動作中に得られたｉ_ｋの類似度を表し、類似するほど大きく最大値を１とする。本発明では数４の（６）式によって類似度Ｃを定義する。

また、式（５）はできるだけ時間を忠実に守り、大きな時間ジャンプを防止するために、時間軸の伸縮にペナルティを付けた評価になっている。上式によって教示ステップで得られた認識情報と現在得られている認識情報を比較して、教示動作中のどの時刻と類似した運動をすればよいかを時間軸の伸縮によって探索する。
時間的な運動の修正は現在得られた認識結果と教示動作中に得られた認識結果のマッチングを行うことで、時間軸の伸縮を行う操作であるため、認識結果をどのように運動に反映させれば良いかが分からないような感覚情報を扱うことも可能である。

〈４・３〉感覚情報を考慮した運動生成アルゴリズム
図７は本発明の方法による模倣動作生成のアルゴリズムを示す。時刻ｊに得られた感覚情報ｉ_ｊと類似する感覚情報が得られる教示動作中の時刻をモデルとして保存しているｉ を用いて式（５）によって探しだし、類似度の高い時刻の運動モデルＯｔ'とσｔ'に式（４） を適用して空間的に運動を変化させることで最終的な運動ｏ_ｊを出力する。

５． 実験
ロボットに抱き上げタスクを行わせることで本発明の方法の有効性を確認する。
〈５・１〉実験
被験者は車輪移動可能なロボットが抱える３リンクのダミー人形を抱き上げるタスクを２１回行い、その入力系列から運動モデルを作成した。運動の開始点と終了点の切り出しは手動で行った。また、時間に対する伸縮を行うための基準系列は、他のすべての系列とＤＰマッチングを行い、それらの総和が最も小さいものを用いた。運動モデルを記述するベクトルｏには、磁気センサから得られる情報として左右の前腕と胴部の位置・姿勢を並べたベクトルを採用した。
また、感覚情報ｉは、ダミー人形を抱えるまでは、ダミー人形の位置・姿勢とし、抱えた後は車輪移動するロボットの位置・姿勢とした。
ロボットの重心位置と姿勢は、仮想被験者から得られる図８のような視覚情報を画像処理することによって求める方法も考えられるが、その処理方法はＣＧの処理に特化したものとなり、実環境で役立つ処理であるとは言えない。そのため、ここではシミュレータによる動力学演算によって得られる値を用いることにした。

実験結果を図９に示す。図９（ａ）は、抱き上げタスクの教示例を表し、（ｂ）は認識情報を考慮せず運動モデルのみによって運動生成した例である。この実験では、車輪型ロボットを少し回転するように動かしているだけであるが、タスクには成功していない。
また、（ｃ）は認識結果によって運動を時間的に伸縮させることなく空間的にのみ修正した例であり、車輪ロボットに追従して運動を変化させているもののタスクには失敗している。（ｄ）では認識結果を用いて動作を時間的に伸縮させた後に空間的に修正しておりタスクに成功していることが分かる。

次に、ダミー人形を抱えている車輪型ロボットを移動させ、ロボットに抱き上げタスクを行わせることで提案方法の有効性を評価した。その結果を図１０に示す。この図において、（ａ）は調整なし、（ｂ）は空間の調整のみ、（ｃ）は空間と時間の調整を行った場合である。
図１０（ａ）（ｂ）（ｃ）において、それぞれ横軸は左の車輪にかけたトルクを表し、縦軸が右の車輪にかけたトルクを表す。従って、座標軸の原点から離れるほど、対象物（ダミー人形）の位置変化が大きいことを意味する。
また、図中の○△×はそれぞれ車輪型ロボットの車輪にトルクをかけた状態でタスクに成功したか失敗したかを表しており、○の記号は抱き上げタスクに成功したことを示し、△は抱き上げには成功したが車輪型ロボットに返すタスクに失敗したことを、×は抱き上げ自体に失敗したことを示している。

車輪にかけるトルクが小さい時には、車輪型ロボットはほとんど移動しないため、教示動作を与えた時と対象物が大きく変わらず、感覚情報による運動の変更なしでもロボットはタスクに成功しているが、車輪にかけるトルクが大きい場合には、タスクに成功していない。タスクの成功率を表１に示す。
この表中の「調整なし」は認識結果を考慮することなく運動を出力させた場合を表し、「空間の調整」は空間的な運動の修正のみを行って動作生成した場合を、「空間と時間の調整」は時間的な伸縮による修正をした後に空間的な修正をした場合を表す。
また、「成功」は図１０の○の回数を表し、「準成功」は△の回数、「失敗」は×の回数を表す。実験はそれぞれの条件において８１回ずつ行っており、空間的に動作を修正することでタスクの成功率は上昇しているが、時空間的に動作を修正することでさらに成功率が上がっていることを確認できる。

〈５・２〉考察
本発明で提案した感覚運動統合による模倣動作の生成方法について以下に考察する。
（１）感覚情報を利用した模倣運動の生成
本発明では、観測された人間の運動をＤＰマッチングを用いてモデル化し、そのモデルから運動を生成する方法を提案した。さらに、感覚によって得られた情報を基にして生成した運動を時間的・空間的に修正することで感覚と運動を結び付け、人間が教示動作を与えた対象物と異なる対象物においてもダミー人形を抱き上げるというタスクに成功できるロボット制御方法を提案した。また、没入型三次元動力学シミュレーション環境での実験によって本方法の有効性を確認した。
本発明の方法の基本的な考え方は、行動のモデル化を行う際にＤＰを用いるかＨＭＭを用いるかの違いはあるがＩｎａｍｕｒａらによるミメシスモデルに基づいた研究（非特許文献２）を感覚情報が扱えるように拡張しており、運動の認識、記憶、再生のメカニズムを実現する枠組を継承している。

（２）没入型三次元動力学シミュレーション環境での感覚運動計測
発明者等が提案してきた没入型三次元動力学シミュレーション環境は、人間と接するロボットの開発を目的としているため、被験者は仮想ロボットを介して仮想物体との力学的なインタラクションが可能である。このため、仮想被験者をロボットと見なすことで、被験者はロボットに没入する形で教示動作を与えることができる。また、力覚や触覚など市販のセンサでは得ることが難しいような情報も動力学演算によって算出でき、市販のアクチュエータでは実現できないような強力なトルクでロボットを制御することも可能であるため、現状で製作できるロボットのシミュレーションはもちろんのこと、将来開発される技術を見越したロボットのシミュレーションも可能である。

（３）ロボットの動きを修正するための感覚情報として、視覚によって得られると想定したダミー人形や車輪ロボットの位置・姿勢推定結果を用いた。しかし、実験で用いたシミュレータからは、視覚以外にも力覚やトルクなど様々な仮想センサを用いてセンシングすることが可能であり、今後これらの多種多様なセンサ群を統合することによって動作を生成することができる。

本発明では、感覚情報を用いて時空間に運動を修正することで感覚と運動を結び付け、対象物と接するロボットを制御する方法を提案した。この方法では、没入型三次元動力学シミュレーション環境を用いて人間の感覚・運動を計測し、ＤＰを用いてモデル化を行う。さらに、模倣動作を入力情報の認識結果によって時空間的に修正することで、測定した条件と異なる対象物の場合においてもタスクの実現が可能になると考えられ、実験によって提案方法の有効性を確認した。
なお本発明により、視覚情報だけではなく、力覚・触覚など様々な情報を処理することで、模倣動作を生成することや実ロボットに応用することができる。

なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。

本発明による身まねロボットシステムの全体構成図である。 実ロボットを用いたロボットシステムの全体写真である。 磁気センサを体の各所に取り付けた被験者とそれに対応する仮想被験者を示す図である。 抱き上げタスクの実行例を示す図である。 抱き上げタスクにおける被験者の手の運動軌跡を示す図である。 抱き上げタスクにおける手の運動軌跡、平均値及び分散値を示す図である。 本発明の方法による模倣動作生成のアルゴリズムを示す図である。 仮想被験者から得られる視覚情報の図である。 本発明の実施例を示す図である。 本発明の実施例の評価例を示す図である。 特許文献１の「没入型表示システム」の模式図である。 特許文献３の「没入型表示装置および方法」の模式図である。

符号の説明

１ 対象物（例えば人形）、２ 被験者（人）、
３ スクリーン、４ 液晶シャッター眼鏡、
５ 磁気センサ、６ ヘッドマウントディスプレイ（ＨＭＤ）、
１０ 没入型ロボット（実ロボット）、
２０ 没入型ディスプレイ装置、
３０ 身まね制御装置、
３２ 記憶装置、３４ コンピュータ

Claims (9)

1. 教示対象のロボットからの感覚情報を用いて生成された３次元仮想世界映像を基に前記教示対象のロボットを操作し、対象物に所望の動作を行い、該動作中の前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を取得する教示ステップと、
   教示ステップで得られた運動情報と感覚情報を基に、前記ロボットに所望の動作を身まねさせる身まねステップとからなり、
   前記身まねステップにおいて、前記対象物の変化に対応して、身まね制御装置は前記対象物の位置が教示ステップで取得した感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと教示ステップにおける感覚情報の時系列データを比較し、教示ステップにおける現在の時刻に対応する教示ステップでの時刻を求め、求めた教示ステップでの時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とするロボットの身まね動作制御方法。
2. 前記教示ステップにおいて、人の運動に追従して動く仮想被験者を仮想の前記ロボットとみなし、動力学シミュレーション環境下で仮想的に設置した力センサや触覚センサから得られる値と、視覚センサから得られる画像を感覚情報として取得する、ことを特徴とする請求項１に記載のロボットの身まね動作制御方法。
3. 前記教示ステップにおいて、所望の動作が可能な実体のある前記ロボットとディスプレイ装置を用い、教示対象の前記ロボットからの感覚情報を用いて生成された３次元仮想世界映像に基づき、人が前記ロボットに動作を行わせ、該ロボットに取り付けた触覚センサ及びカメラから運動情報と共に感覚情報も同時に取得することを特徴とする請求項１に記載のロボットの身まね動作制御方法。
4. 前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較して、教示ステップで取得した感覚情報と同じ感覚情報が得られるように身まね中の運動軌跡を変更する、ことを特徴とする請求項１に記載のロボットの身まね動作制御方法。
5. 前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、評価値が一致するような時間を探索して身まね中の運動軌跡を時間的に伸縮させる、ことを特徴とする請求項１に記載のロボットの身まね動作制御方法。
6. 前記身まねステップにおいて、類似度Ｃを用いて身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、得られた類似度Ｃが最も大きい教示ステップにおける時刻の運動軌跡を身まねで使用する、ことを特徴とする請求項１に記載のロボットの身まね動作制御方法。
7. 対象物に対して所望の動作が外部からの入力信号に基づき作動可能な仮想的又は実体のあるロボットと、教示対象の前記ロボットからの感覚情報を用いて生成された３次元仮想世界映像を表示するディスプレイ装置と、前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を記憶する記憶装置を有する身まね制御装置と、を備え、
   身まね制御装置により、前記対象物の変化に対応して、前記対象物の位置が記憶した前記感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと記憶した前記感覚情報の時系列データを比較し、現在の感覚情報における現在の時刻に対応する記憶した前記感覚情報の時刻を求め、記憶した前記感覚情報の時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とする身まねロボットシステム。
8. 前記ロボットは、人の運動に追従して動く仮想被験者である仮想のロボットである、ことを特徴とする請求項７に記載の身まねロボットシステム。
9. 前記ディスプレイ装置は、３次元仮想空間内に位置する実在する人の位置及び動作を検出する運動情報検出手段と、該人の位置及び動作を３次元仮想空間内に仮想被験者として提示する仮想被験者提示手段とからなる、ことを特徴とする請求項７に記載の身まねロボットシステム。

Images