JP5586015B2 - 逆運動学を用いた動作・姿勢生成方法及び装置 - Google Patents

Description

本発明は、ロボティックス分野における逆運動学の新しい基礎理論に係り、詳しくは、逆運動学を用いた動作・姿勢生成方法及び装置に関するものである。また、本発明はロボティックス以外にも、人体計測などのバイオメカニクスの分野や、ＣＧキャラクタの運動生成などのアニメーションの分野にも応用できるものである。

逆運動学はロボティクスにおける重要な基本計算の一つでありその用途は多岐にわたる。一般的な多リンク系の逆運動学は、あるリンク上に定義された特徴点の位置・リンク姿勢に対応した目標値を設定し、その目標値との残差を零または最小にする一般化座標を算出する。マニピュレータの運動制御では一つの把持部に対して目標値を設定すればよい。

一方、多自由度リンク系の顕著な例である人型ロボットは、単純な構成でも胴体・頭・両手先・両足先に対応した目標位置・姿勢を与える必要がある。人間の運動解析等で用いられる多リンク系で表されたヒューマンフィギュアはさらに自由度が増えるが、身体の特徴箇所にさらに多数の特徴点を配置して目標値を与えなくてはならない。このようにリンク系の自由度の増加に伴い、その自由度を決定するに十分に多量な特徴点が必要となり、さらにその特徴点の全てに対して目標値を設計しなくてはならないという問題が発生する。

ヒューマンフィギュアや人型ロボットの運動生成において、重心ヤコビ行列を用いて重心位置の逆運動学を解く戦略がしばしば採られる。重心という特徴点に対して目標位置を設定するという解釈もあるが、ここではリンク形状に定義される密度を持った無数の特徴点から求まる要約統計量としての重心に対して目標値を与えている。重心を利用する大きな利点の一つは、低次元化された倒立振子モデルの運動を人型ロボットの運動へ変換するなど、機構や自由度が異なるリンク系の運動を要約特徴量を経由して別のリンク系の運動へ射影することができる点である。しかし重心のみでは全身運動を生成できないので、結果的に頭部や四肢の位置・姿勢を与える必要があり、参照として与える特徴点とモデルとの対応付けが必要となる。

重心についてさらに考察する。力学的な重心とはそもそも一次モーメント特徴量であり、またカーテシアン座標におけるモーメントとは物体の形状を表す代表的な特徴量である。統計学ではモーメントは二次で分散、三次で歪度、四次で尖度を表す指標であり、これらの指標が示すように空間上では物体形状をより詳細に表すため、例えば画像の形状認識にもよく利用されている。先の重心を用いた人型の運動生成において、全慣性テンソルや角運動量といった物理量を併用する例もあり、これらは二次モーメントまで考慮していることになる。

ここで、多リンク系の形状を決める一般化座標の数は高々有限だが、次数の増加と共にモーメントの張る線形空間は増大していく。そこで、高次モーメント特徴量のみに基づき、物体形状そのものを入力として多リンク系の一般化座標を一意に決定することを考えた。

各々のリンクの位置・姿勢に参照値を与えて運動を生成する従来の逆運動計算では、自由度と共に運動生成が煩雑化する。
本発明は、多自由度リンク系において、各々のリンクとの対応付けを全く必要としない形状情報を入力として逆運動学計算を行う手法を提案する。

本発明は、多リンク系モデルの形状を決定する一般化座標を逆運動学により取得する動作・姿勢生成方法であって、
形状を表す特徴量を参照値とし、当該形状を表す特徴量は、幾何学的な形状を形成する複数の第１特徴点の位置情報から計算された第１の高次特徴量であり、
多リンク系モデル上には、当該モデルの特定のリンクと夫々関連付けられた複数の第２特徴点が定義されており、当該複数の第２特徴点の位置情報から第２の高次特徴量を計算し、
第２の高次特徴量と第１の高次特徴量との差を最小化するように、第２の高次特徴量、第２の高次特徴量の一般化座標に対するヤコビ行列、一般化座標を数値計算により更新することで、多リンク系モデルの一般化座標を取得する、
動作・姿勢生成方法、である。

本発明は、多リンク系モデルの形状を決定する一般化座標を逆運動学により取得する動作・姿勢生成装置であって、
幾何学的な形状を形成する複数の第１特徴点の位置情報から計算された第１の高次特徴量を参照値として入力する手段と、
多リンク系モデル上に、当該モデルの特定のリンクと夫々関連付けられて定義された複数の第２特徴点と、
前記複数の第２特徴点の位置情報から第２の高次特徴量を計算する手段と、
前記第２の高次特徴量の一般化座標に対するヤコビ行列を算出する手段と、
前記第１の高次特徴量と算出された一般化座標における第２の高次特徴量との差を算出する手段と、
前記差を最小化するように、第２の高次特徴量、第２の高次特徴量の一般化座標に対するヤコビ行列、一般化座標を数値計算により更新する手段と、
収束された一般化座標によって形状が決定された多リンク系モデルを表示する手段と、
を備えた動作・姿勢生成装置、である。

動作・姿勢生成装置は、１つあるいは複数のコンピュータ装置から構成することができ、当該コンピュータ装置は、各種計算を行う演算処理部、一般化座標の計算に必要な入力情報が入力される入力部、計算結果等を出力する出力部、多リンク系モデル等の姿勢や動作を表示する表示部、計算に必要なデータや計算結果等の各種データを格納する記憶部を備えている。
本発明はまた、動作・姿勢生成装置の各手段をコンピュータに実行させるためのコンピュータプログラムとして提供することができる。

本発明は、幾何学的な形状を形成する複数の第１の特徴点の集合ないし分布を与え、第１の特徴点の位置情報から形状を表す特徴量として、高次モーメント特徴量などの第１の高次特徴量を計算する。
一方、多リンク系モデル上には、当該モデルの特定のリンクと夫々関連付けられた複数の第２特徴点が定義されており、当該複数の第２特徴点の位置情報から第２の高次特徴量を計算する。多リンク系モデルの一般化座標は、第２の高次特徴量の一般化座標に対するヤコビ行列によって、第２の高次特徴量と関係付けられる。このヤコビ行列は、微分逆運動学において、多リンク系モデルの関節角速度と第２の高次特徴量の微小変化を関係付けるものである。
第２の高次特徴量を第１の高次特徴量に近づけていくことで、複数の第２の特徴点の位置は、複数の第１の特徴点によって形成された幾何学的な形状に近づいていくものと考えられ、ラべリングを行うことなく、多リンク系モデルの一般化座標を算出することができ、算出された一般化座標（関節角度）から多リンク系モデルの形状（位置・姿勢）が決まる。
本明細書においては、高次特徴量は１次特徴量を含むものとする。例えば、高次モーメント特徴量には、２次以上のモーメント特徴量のみを指すのではなく、１次モーメント特徴量（逆運動学に用いる）を含む。また、０次モーメント特徴量は、１次以降のモーメントの計算に用いられる。

前記第１の特徴点及び前記第２の特徴点は、位置情報（幾何学的な情報）に加えて、任意の情報量を持ち得る。具体的な態様では、特徴点が有する情報量には、例えば、力学的な質量、画像を利用した画素値、特定リンクに属するラベル・確率の少なくとも１つが含まれ、特徴点が持つ異なる情報（高次情報量）を組み合わせた逆運動学が可能である。
特徴点に物理量を持った重みを与えることで、特徴点に物理的な意味を持たせることができる。例えば、モーメント特徴量の場合、幾何学的な情報に加えて、画素情報（画像モーメント）、力学的な情報（慣性モーメント）、ラベルや統計情報（統計学でのモーメント）を考えることができる。

前記複数の第１特徴点は、入力画像（２次元画像、動画等）から抽出されるものである。逆運動学のための入力は、第１特徴点の位置情報を抽出して形状を表す特徴量を計算できるものであればどのような形で与えもよい。例えば、モーションキャプチャデータを入力として、マーカを第１特徴点として抽出したり、二次元画像を入力として、画素を特徴点として抽出してもよい。

前記複数の第１特徴点あるいは／および前記第２特徴点は、３次元空間だけでなく、２次元空間（２次元平面などの射影空間を含む）においても定義可能である。

本発明において、第１特徴点は、第１の高次特徴量を計算できるものであれば、限定されない。例えば、前記第１の特徴点は、マーカ、ポリゴンの頂点、画素のいずれかである。
光学式モーションキャプチャで取得した動画像が入力された場合には、抽出された複数の光学式マーカを幾何学的な形状を形成する特徴点をみなすことができる。
ポリゴンの場合には、ポリゴン頂点を幾何学的な形状を形成する特徴点をみなすことができる。
２次元画像が入力された場合には、画素一つを二次元平面での幾何学的な形状を形成する特徴点とみなすことができる。画像のサイズがＡ×Ｂならば、画像平面に特徴点がＡ×Ｂあることになる。画像が入力された場合には、必ずしも全ての画素を特徴点として用いる必要はない。例えば、画像から背景差分、領域抽出、低解像度化など画像処理を行って、画像をある程度加工した上で、新たに得られた画像の特徴点を用いてもよい。

１つの態様では、前記第１の第１の高次特徴量及び前記第２の高次特徴量は、高次モーメント特徴量である。
１つの態様では、前記第１の第１の高次特徴量及び前記第２の高次特徴量は、高次キュムラント特徴量である。
１つの態様では、前記第１の第１の高次特徴量及び前記第２の高次特徴量は、高次局所自己相関である。
高次モーメント特徴量、高次キュムラント特徴量、高次局所自己相関が幾何学的な形状を表す特徴量であること及びこれらの計算方法は当業者に知られている。
高次特徴量の一般化座標に対するヤコビ行列は、これらの特徴量について計算される。実施形態では、高次モーメント特徴量の一般化座標に対するヤコビ行列（高次モーメントヤコビ行列）を例にとって説明する。
また、本発明に係る形状を表す特徴量は、上述のものに限定されるものではなく、画像処理分野等で知られている他の特徴量を用いてもよい。

１つの態様では、前記第１の高次特徴量及び第２の高次特徴量の個数は多リンク系の一般化座標の個数以上である。多リンク系モデルの一般化座標を３次元座標として得るためには、この条件が必要となる。多リンク系モデルの一般化座標をある視点から見た２次元座標として得るような場合には、必ずしもこの条件を満たしていなくてもよい。

本発明は、特徴点集合を用いて容易に多リンク系モデルの姿勢・運動生成ができる。
高次特徴量（例えば、高次モーメント特徴量）を介して参照とする特徴点集合と多リンク系とを結びつけるため、特徴点が属するべきモデルをそもそも仮定しなくてよい。すなわち両者の特徴点間の一対一の対応付けは一切必要としないため、参照として与える特徴点の集合は多リンク系のモデルに依存せず自由に与えることができる。よって、多自由度リンク系の運動生成を従来と比較して容易に行うことができる。
三次元のポリゴンデータ、ラベルレスマーカや二次元の画像や動画を入力として、ヒューマノイドやヒューマンフィギュアの動作を生成・計測する技術として有用である。
本発明を用いることで、例えば簡単な形状を描いた画像（例えば、多リンク系であるロボットの全身のポーズを描いた画像）などを入力として、画像上のロボットにおいて各リンクとの対応付け（身体部位のラべリング）を一切行わずに、その全身形状を再現するような多リンク系（ロボット）の位置・姿勢を簡便に求めることができる。
また参照特徴点が持つ情報量は、幾何学的な点、質量、画像からの画素、特定リンクに属するラベル・確率など多種多様であり、これら複数の情報に基づいた逆運動学計算が可能である。

３５個のマーカを備えた３４ＤＯＦのヒューマンフィギュアの概略図である。 歩行動作における逆運動学により計算された３５個のマーカ位置の誤差ノルムの平均値を示す図である（Ａ：モーメント特徴量のみから逆運動学を解いた場合の誤差。Ｂ：目標マーカに身体部位のラベルを与えて通常の逆運動学を行ったときの誤差。Ｃ：３つのカメラ視点からみた３つの投影面上でのモーメント特徴量に対する逆運動学を行った時の誤差。Ｄ：２つのカメラ視点からみた２つの投影面上でのモーメント特徴量に対する逆運動学を行った時の誤差。Ｅ：１つのカメラ視点からみた１つの投影面上でのモーメント特徴量に対する逆運動学を行った時の誤差。）。 モーションキャプチャを用いて測定された３Ｄマーカの高次モーメント特徴量を用いて本発明の手法により計算した歩行動作のスナップショットである。 幾つかの２次元画像の高次モーメント特徴量を用いて本発明の手法により生成したヒューマンフィギュアのポーズを示す。上図は、入力２次元画像であり、下図は本発明に係る逆運動学の結果を示す。

本実施形態では、形状を特徴付ける高次モーメント特徴量とそのヤコビ行列を利用することで、多リンク系の一般化座標を算出する逆運動学手法を提案する。
高次モーメント特徴量に基づく逆運動学の性能を検証するため、形状を形作るラベルレスな三次元マーカ集合および二次元画像に対して逆運動学を解き、ヒューマンフィギュアの全身の動作生成例を示す。

［Ａ］高次モーメント特徴量に基づく逆運動学
［Ａ−１］高次モーメントとそのヤコビ行列
N_J自由度の多リンク系上に定義されたある情報量を持つ特徴点の集合を考える。N個の特徴点の位置ベクトルp₁,p₂ ・・・・・・p_N∈R³(慣性座標表記)のそれぞれについて重みw_i∈R(1≦i≦N)を定義する。

重みの与え方は特徴点が持つ情報の種類によって様々である。例えば、形状など幾何学的な情報であれば∀_iw_i＝1、力学情報であれば質点質量、画像情報であれば画素値、特徴点がリンクL_jに属するというラベルを貼るならば
またL_jに属するという確率で重み付けることも考えられる。

慣性座標上の個々の特徴点p_iを別の線形空間S上で観測することを考える。このときp_iはS上でs_i＝f(p_i)∈R³という点に変換される。座標変換fの具体例として、視点変換や投影変換などが挙げられる。本実施形態では、s_iの次元数を3に固定する。投影変換等で二次元平面に投影する場合は、以下の議論においてs_iの二要素のみを考えればよい。

ある情報量を持つ全N個の特徴点の、射影空間S上での重み付き平均位置(重心)μ∈R³は以下のように定義できる。
ただし、
は零次モーメント(総重み量)とした。
このとき、重心まわりの三変数Ｍ次モーメントμ_mx，my，mz∈Rは以下のように表せる。
ここで、
m_x≧0、m_y≧0、m_z≧0、Ｍ＞１、である。

ただし、
●μ_i,mx,my,mz∈Rは下記のような一つの特徴点iから求まる射影空間S上の高次モーメント、
●x_i,y_i,z_i∈Rは下記のようなS上の各軸に沿った重心からの距離、
●s_i,x, s_i,y, s_i,zはs_iの各要素、μ_x,μ_y,μ_zはμの各要素、ξはS上の各座標軸の添え字集合ξ∈{x,y,z}の要素とする。

多リンク系の一般化座標をq ∈R^Njと定義する。このとき、μ_mx，my，mzに対する一般化座標qに関する観測空間S上の高次モーメントヤコビ行列J_mx,my,mz∈R^1×Njは以下のように求まる。

ただし、
●J_i,mx,my,mz∈R^1×Njは、一つの特徴点iに対する一般化座標qに関する高次モーメントヤコビ行列、
●J_si,x,J_si,y,J_si,z∈R^1×Njは、S上における特徴点iの位置s_i,x,
s_i,y, s_i,zに対する一般化座標qに関するヤコビ行列、
●J_μ,x, J_μ,y, J_μ,z∈R^1×Njは、重心位置μ_x,μ_y,μ_zに対する一般化座標qに関する重心ヤコビ行列、
●J_pi∈R^3×Njは、慣性座標上の特徴点iの位置p_iに対する一般化座標qに関するヤコビ行列、
●ｆ_ξ(p)∈Rは、座標変換を表す写像f(p)におけるξ座標への変換写像とする。本実施形態では、特徴点が存在しうる領域近傍においてf_ξがC^∞級関数のものを扱う。

同次数の高次モーメントとそのヤコビ行列をまとめておく。
次数ｍ(＞１)の場合、N_m＝_m+2C₂個の高次モーメントとヤコビ行列を並べて、μ_m∈R^NmとJ_m∈R^Nmを定義する。
次数がｍ＝１の場合は、重心μおよびそのヤコビ行列
を選ぶ。すなわち、μ_m＝μ，J_m＝Jμ。

式(2)、式(5)から分かるように、個々の特徴点の高次モーメント特徴量とそのヤコビ行列は独立に計算できる。特徴点一個におけるμ_i,mx,my,mz，J_i,mx,my,mzは、例えば下記のように再帰的に計算できる。ただし、ｎ（ξ,ζ）（ξ,ζ∈｛x,y,z｝）
はξ＝ζのときに1を、それ以外のときに0を返す。

［Ａ−２］高次モーメントヤコビアンを利用した微分逆運動学
高次モーメント特徴量の目標値が与えられた場合、多リンク系上に定義されたN個の特徴点が表す高次モーメントが与えられた目標値を実現する一般化座標を求める。通常のリンク位置や姿勢に関する逆運動学と同様に、特別な機構や特徴点の配置を除いてこれらの解析解を得ることは困難であるため、微分線形関係を利用して数値的求解を行う。

高次モーメントヤコビ行列を利用した数値的解法を利用する場合、計算手順は通常の逆運動学手法と同様になる。高次モーメントの利用の有無に関わらず、多リンク系の冗長性や特異点などの問題は同様に存在しうるため、本実施形態では特異点低感度運動分解を利用する。特異点低感度運動分解については、例えば、Y. Nakamura and H. Hanafusa, “Inverse Kinematic Solutions with
Singularity Robustness for Robot Manipulator Control,” Journal of Dynamic
Systems, Measurement, and Control, Vol.108, pp.163-171, 1986.に記載されている。微分逆運動学を解く場合に利用するヤコビ行列が、ロボットがある特殊な姿勢(特異点)の近傍で、その逆行列の計算ができなくなることは当業者によく知られており、特異点低感度運動分解は、そのような姿勢でも逆行列の計算を安定して行う手法である。微分逆運動学計算の方法として幾つもの手法が知られており、本発明は特異点低感度運動分解を用いるものに限定されないことは当業者に理解される。

一般化座標qにおけるｍ次のモーメントμ_m(q)∈R^Nmのモーメント目標値
μ_m ^ref∈R^Nmからの残差e_m(q)∈R^Nmを以下のように定義する。
1≦ｍ≦Ｍまでの全Ｎ_μ（＝Σ_m=1 ^ＭＮ_m）個のモーメント残差e∈R^Nμを以下のようにまとめる。

適当な初期値q₀から出発して、式(14)のような評価関数を最小化する一般化座標を逐次的に求めてqの更新を行う。式(14)はkステップ目の更新における評価関数とし、kステップ目で得られる最適解をq_kとする。
ただし、
とし、λ_e∈Rは比例(減衰)定数、W_e∈R^Nμ×Nμ，W_q∈R^NJ×NJは重み行列で正定値対称行列とする。

また、
はステップkで求まる高次モーメントの残差とそのヤコビ行列とする。ヤコビ行列は高次モーメント特徴量の差から一般化座標の変化量を計算するために用いられる。
なお、J_μ,kの計算に利用する特徴点の位置に関するヤコビ行列J_x,i,J_y,i, J_z,iは、通常の微分逆運動学同様に基礎ヤコビ行列（基礎ヤコビ行列については、例えば、O. Khatib. A unified approach for motion and force control of
robotic manipulators: the operational space formulation. IEEE J. Robotics and
Automation, Vol. 3, No. 1, pp. 43.53, 1987.に記載されている）に置き換える。
q_k-1は前ステップで求まった解で定数値なので、以下のように更新を行えばよい。
ただし、J_μ,k-1 ^*は重み行列W_e,W_wの下での特異点低感度逆行列となり、以下のように定義できる。
式(15)(16)を用いて繰り返し更新を行うことで収束解q^＊を得る。

上記の定式化は同種の情報量をもつ特徴点のみに対して行ったが、前述したとおり重みw_iの持つ情報量は質量や画素値など多様であり、それぞれの微分線形式を連立すればこれらを容易に統合できる。例えばL種類の異なる情報量に基づいた高次モーメントμ_w1,・・・,μ_wLとそのヤコビ行列J_w1,・・・,J_wLは以下のように統合した形で微分逆運動学を解けばよい。
複数の情報を利用することは、初期値や機構によって局所最適解に陥る問題を回避する上で重要となってくる。

［Ｂ］動作生成例
［Ｂ−１］ラベルレスマーカを用いた逆運動学計算結果
提案する逆運動学手法を利用してヒューマンフィギュア（多リンク系モデル）の運動生成を行う。本実施形態では図１のような15個の剛体リンクから構成される計34自由度の等身大モデルを利用する。関節構成は、首、腰、両肩、両手首、両股関節、両足首を球面関節(3自由度)、両肘、両膝を回転関節(1自由度)とする。またヒューマンフィギュアの身体部位上に図１のように計35個の特徴点(マーカ)を配置する。

まずヒューマンフィギュアを用いて適当な歩行動作を生成し、歩行中の個々のマーカ軌道からモーメント特徴量を毎時刻(毎フレーム)計算して逆運動学を行い、元の歩行動作が誤差無く復元可能かを検証した。通常の逆運動学では空間上を運動するマーカと、身体上に配置したマーカとの対応付け(ラベリング )が必要だが、モーメント特徴量に対する逆運動学計算ではラベリングが不要であることを強調しておく。ここではマーカの運動軌道にノイズ等の誤差は加味しないため、数値誤差や特異点近傍での収束誤差しか発生しない。

ここでは、マーカを形状を形作る特徴点（ここでは、マーカが第１特徴点、第２特徴点を構成している）と見立てる。マーカが３５個ならば、三次元空間に特徴点を３５個配置する。マーカの三次元位置が(1)式のs_iという値となる。この場合、特徴点が有する情報は幾何学的な情報のみであり、特徴点に重み付けを行わずに、全ての特徴点に(1)式でw_i=1という値を与える。
ヒューマンフィギュアはベースリンクの6自由度も含めると計40自由度の一般化座標を持つ。高次モーメントの各要素は線形独立なので、次数が増加するごとにモーメントが張る空間の次元は増加する。一般化座標の自由度以上の次元を確保するため、5次のモーメントまで考慮して
個のモーメント特徴量を利用する。また、重みは
∀_iw_i＝1とした。式(15)(16)の各パラメータは、λ_e＝1，W_q＝10^-3とし、W_eは対角行列としてｍ次のモーメントに関する成分は目標マーカの分布から求まる標準偏差、すなわち二次モーメントμ_２における対角成分の平方根のm乗で規格化した。

歩行動作中の全フレームにおける、逆運動学計算の結果得られた身体部位上の35個のマーカとそれに対応する目標マーカとの誤差距離の平均値を図2に載せる。細実線Ａはモーメント特徴量のみから逆運動学を解いた場合の誤差を示し、太実線Ｂは目標マーカに身体部位のラベルを与えて通常の逆運動学を行ったときの誤差を表す。

図２からモーメント特徴量のみに対する逆運動学の収束誤差は初期フレームを除いて膝伸展時などの特異点近傍でも最大5[mm]程度、一方、通常の逆運動学による収束誤差は特異点近傍でも最大1[mm]程度となった。モーメント特徴量のみの逆運動学は、ラベルを与えた通常の逆運動学手法よりも精度・収束性能は落ちるが、マーカラベル無しでも歩行動作を復元できていることが分かる。

35個のマーカを取り付けた人間の歩行動作をモーションキャプチャで実際に計測して、モーメント特徴量のみに対する逆運動学から生成した動作の様子を図３に載せる。誤差を含む実計測データに対しても歩行動作が生成されていることが分かる。なお、ここでは計算ロバスト性を上げるため、λ_e＝0.2，W_q=10^-1と変更している。

一種類のモーメント特徴量で全身の動作を復元できるかを議論し、34自由度のモデルにおいて歩行運動が生成された。ただし、初期条件によっては、前後上下が反転したり、また四肢が近接すると入れ替わるなどの局所最適解に落ち入りやすい。また高い次数のモーメントほど数値誤差を大きく含みうるため、実用的には複数の種類のモーメント特徴量を組み合わせた逆運動学を解く事が望ましい。

［Ｂ−２］二次元画像を用いた逆運動学計算結果
透視変換によって投影された二次平面上でのモーメント特徴量に対して逆運動学を解き、ヒューマンフィギュアの運動生成を行う。まず前節で作成した歩行動作時のマーカの運動を、適当に設置した複数のカメラ視点で捉え、カメラ投影面上での運動データから逆運動学を行う。このシミュレーションでは全てのマーカが遮蔽物無しに見えていると設定した。また各種パラメータは前節と同様に設定した。

一つの視点に対して5次のモーメントまで考慮する場合、一つの二次元平面に対して計20(=6+5+4+3+2)個の特徴量が得られる。ヒューマンフィギュアは40自由度なので、最低二つの視点があれば過不足なく40次元の空間を張ることが可能だが、冗長性を持たせるため計三つのカメラ視点を設置する。前節で示した図２に、カメラ視点から見た投影面上での逆運動学を解いて得られた三次元マーカ位置の誤差ノルムの平均値も載せる。細破線Ｃは三つのカメラ視点からみた三つの投影面上でのモーメント特徴量に対する逆運動学結果となり、一点細鎖線Ｄ、太点線Ｅはそれぞれ二つの視点、一つの視点からの計算結果となる。図２から一つの視点では当然ながら三次元位置の収束は望めない。二つの視点の場合は誤差が平均1[cm]程度まで収束しており、歩行動作自体は生成されているが収束率が悪い。三つの視点の場合は二つの場合と比べて収束性が改善され、最大誤差は前小節で得られた三次元マーカでの逆運動学結果(細実線Ａ)とほぼ同等である。以上から複数の視点からみた二次元投影面上での逆運動学に対しても、モーメント特徴量のみを利用した逆運動学から全身の動作生成が可能であることが示された。

さらに、二次元画像を入力として、画像のモーメント特徴量に対するヒューマンフィギュアの逆運動学計算結果を示す。
画像の場合は、画素一つを二次元平面での特徴点（第１特徴点）と見立てる。例えば、画像のサイズが480x640ならば、画像平面に特徴点が480x640あることになる。各画素の画像上の位置が(1)式のs_iの値となる。
ここではヒューマンフィギュア上の特徴点として35個のマーカは利用せず、計14個の関節中心点（第２特徴点）を利用した。各種パラメータは前節のロバスト性を考慮した場合のパラメータを利用した。関節中心は図１上では関節部に存在する球体の中心に相当する。図４は6種類の文字や絵が描かれた画像(上段)をカメラ投影面に映して、画像のモーメント特徴量に対して逆運動学を解いて生成されたポーズ結果(下段)となる。なおモーメントの計算の際には画像を二値化して、黒または灰色の領域をw_i=1、それ以外をw_i=0としたシルエット情報を利用した。図４から、各関節中心(ヒューマンフィギュアの球体)がシルエット上に分布しており、文字や絵をヒューマンフィギュアが全身で形作っていることが分かる。提案手法は逆運動学で解く多リンク系モデルとは無関係に参照入力を与えることができ、二次元画像からも逆運動学を解き全身の動作生成が可能であることが示された。

本実施形態では、物体の形状を表す代表的な特徴量である高次モーメントとそのヤコビ行列を利用して、各リンクとの対応づけを一切行わずに任意の物体形状を参照として、その形状を形作ることができるモデル自由な逆運動学手法を提案した。
本手法は、人型システムなどの多自由度リンク系の運動生成において特に有用であり、マーカやポリゴン頂点など三次元特徴点の集合や二次元画像などを入力として、身体部位との関連付けを行わずに全身のポーズを生成できる。
本手法は、既存の逆運動学手法と連立可能なほか、力学的な質点、画像からの画素値、身体部位のラベル・確率など、多種の情報量に対してモーメントを計算して連立することで、多様な逆運動学を解く事が可能であり、汎用性・応用性が高い。また大域的な最適解を得る上でも、複数の情報を利用可能な点はきわめて重要である。
本実施形態ではモーメント特徴量に基づく逆運動学の性能を純粋に検証するため、一種類のモーメント特徴量のみからヒューマンフィギュアの動作生成を行った。
まず、モーションキャプチャシステムで実際に計測された複数の三次元マーカの集合に対して、身体部位へのラベルを全く与えずに歩行動作を生成できた。
複数のカメラ視点から見た二次元投影面上でのマーカの運動からも同様に三次元空間上で歩行動作が生成できる。力学的な重心や慣性テンソル(の線形変換)はモーメント特徴量の一種であることから、高次モーメントから四肢の動作が生成された結果は、人型システムの身体力学を考える上でも示唆に富んでいる。
また、文字や絵などの二次元画像に対する逆運動学計算からそれら絵図を形作るポーズが生成された。よって本手法は、単純な二次元画像からヒューマンフィギュアを容易にポージング可能なＣＧ作成技術として、また人間の動作映像などから運動を計測・生成するマーカレスモーションキャプチャの基礎技術としても期待できる。

本発明は、自由度の多い人型ロボットの制御における全身運動生成、簡単な画像を入力としてＣＧキャラクタのポーズを作成する技術、画像や動画を入力として人間の運動を計測するマーカレスモーションキャプチャ技術など、多様な分野での応用が期待できる。

Claims (17)

1. 多リンク系モデルの形状を決定する一般化座標を逆運動学により取得する動作・姿勢生成方法であって、
   形状を表す特徴量を参照値とし、当該形状を表す特徴量は、幾何学的な形状を形成する複数の第１特徴点の位置情報から計算された高次モーメント特徴量からなる第１の高次特徴量であり、
   多リンク系モデル上には、当該モデルの特定のリンクと夫々関連付けられた複数の第２特徴点が定義されており、当該複数の第２特徴点の位置情報から高次モーメント特徴量を計算して第２の高次特徴量とし、
   第２の高次特徴量と第１の高次特徴量との差を最小化するように、第２の高次特徴量、第２の高次特徴量の一般化座標に対するヤコビ行列、一般化座標を数値計算により更新することで、多リンク系モデルの一般化座標を取得する、
   動作・姿勢生成方法。
2. 前記第１の特徴点及び前記第２の特徴点は、位置情報に加えて、質量、画素、特定リンクに属するラベル・確率の少なくとも１つを有している、請求項１に記載の動作・姿勢生成方法。
3. 前記複数の第１特徴点は、入力画像から抽出されるものであり、
   入力画像から複数の第１特徴点を抽出するステップと、
   抽出された複数の第１特徴点の位置情報から第１の高次特徴量を計算するステップと、
   を備える、請求項１、２いずれかに記載の動作・姿勢生成方法。
4. 前記複数の第１特徴点あるいは／および前記第２特徴点は、３次元空間あるいは２次元空間で定義されている、請求項１乃至３いずれかに記載の動作・姿勢生成方法。
5. 前記第１の特徴点は、マーカ、ポリゴンの頂点、画素のいずれかである、請求項１乃至４いずれかに記載の動作・姿勢生成方法。
6. 前記第２の特徴点は、リンク上のマーカあるいは関節である、請求項１乃至５いずれかに記載の動作・姿勢生成方法。
7. 前記第１の高次特徴量及び前記第２の高次特徴量として、高次モーメント特徴量に代えて、高次キュムラント特徴量を用いる、請求項１乃至６いずれかに記載の動作・姿勢生成方法。
8. 前記第１の高次特徴量及び第２の高次特徴量の個数は多リンク系の一般化座標の個数以上である、請求項１乃至７いずれかに記載の動作・姿勢生成方法。
9. 多リンク系モデルの形状を決定する一般化座標を逆運動学により取得する動作・姿勢生成装置であって、
   幾何学的な形状を形成する複数の第１特徴点の位置情報から計算された高次モーメント特徴量を第１の高次特徴量として入力する手段と、
   多リンク系モデル上に、当該モデルの特定のリンクと夫々関連付けられて定義された複数の第２特徴点と、
   前記複数の第２特徴点の位置情報から高次モーメント特徴量を計算して第２の高次特徴量として取得する手段と、
   前記第２の高次特徴量の一般化座標に対するヤコビ行列を算出する手段と、
   前記第１の高次特徴量と算出された一般化座標における第２の高次特徴量との差を算出する手段と、
   前記差を最小化するように、第２の高次特徴量、第２の高次特徴量の一般化座標に対するヤコビ行列、一般化座標を数値計算により更新する手段と、
   収束された一般化座標によって形状が決定された多リンク系モデルを表示する手段と、
   を備えた動作・姿勢生成装置。
10. 前記第１の特徴点及び前記第２の特徴点は、位置情報に加えて、質量、画素、特定リンクに属するラベル・確率の少なくとも１つを有している、請求項９に記載の動作・姿勢生成装置。
11. 前記複数の第１特徴点は、入力画像から抽出されるものであり、
    入力画像から複数の第１特徴点を抽出する手段と、
    抽出された複数の第１特徴点の位置情報から第１の高次特徴量を計算する手段と、
    を備える、請求項９、１０いずれかに記載の動作・姿勢生成装置。
12. 前記複数の第１特徴点あるいは／および前記第２特徴点は、３次元空間あるいは２次元空間で定義されている、請求項９乃至１１いずれかに記載の動作・姿勢生成装置。
13. 前記第１の特徴点は、マーカ、ポリゴンの頂点、画素のいずれかである、請求項９乃至１２いずれかに記載の動作・姿勢生成装置。
14. 前記第２の特徴点は、リンク上のマーカあるいは関節である、請求項９乃至１３いずれかに記載の動作・姿勢生成装置。
15. 前記第１の高次特徴量及び前記第２の高次特徴量として、高次モーメント特徴量に代えて、高次キュムラント特徴量を用いる、請求項９乃至１４いずれかに記載の動作・姿勢生成装置。
16. 前記第１の高次特徴量及び第２の高次特徴量の個数は多リンク系の一般化座標の個数以上である、請求項９乃至１５いずれかに記載の動作・姿勢生成装置。
17. 請求項９乃至１６いずれかに記載された動作・姿勢生成装置の各手段をコンピュータに実行させるためのコンピュータプログラム。