JP4427684B2 - 動作測定方式 - Google Patents

Description

【０００１】
【発明が属する技術分野】
本発明は、動画像を使って身体に接することなく動作を測定する方式に関するものである。
【０００２】
【従来の技術】
身体の動作を測定するモーションキャプチャは、光学式、磁気式、機械式、画像式など様々な方式が提案されている。これらのうち、身体にあらかじめ機材を取り付けたり、マーカを貼り付けたりする方式は接触型と呼ばれている（例えば、公開特許公報「特開平10-074249号」、「特開平10-222668」、「特開2001-054507 」）。接触型では、被験者の動作が制限されたり、被験者が機材やマーカに気をとられたりして自然な動作を測定することが難しい。また、特殊なスタジオを必要とすることが多い。
【０００３】
これに対して、ビデオ映像のみの利用は非接触型と呼ばれ、ビデオカメラさえあれば被験者に負担をかけることなく自然な動作を測定することができる。非接触型では、身体の構造を表すモデルを使うことが一般的となっている。モデルを画面上で身体像に一致させたとき、モデルから身体の姿勢を知ることができる。モデルを画像ごとに一致させれば、動作が測定できる。しかし、画像ごとのモデルの当てはめには多くの計算量を必要とする。
【０００４】
これに対し、姿勢の変位分は連続する画像間の差分値を使って容易に推定できることが知られている。したがって、動画像の最初の画像でモデルを当てはめ、初期姿勢を得た後、これに姿勢の変位を逐次累積すれば任意の時刻の姿勢を求めることができる。
【０００５】
ところが、姿勢変位の推定誤差も累積され、測定した姿勢は実際の姿勢から時間とともに大きくずれてしまうという欠点がある。
【０００６】
【発明が解決しようとする課題】
解決しようとする課題は、累積による姿勢推定のずれの解消である。
【０００７】
【課題を解決するための手段】
画像間の姿勢の変位に適当な修正変位を加えることにより、変位の累積によって得られた姿勢を与えられた最終姿勢に一致させる。
【０００８】
【発明の実施の形態】
【０００９】
動画像の１コマをフレームと呼ぶ。各フレームは時刻順に番号が割り振られている。最初のフレームを0フレーム、最後のフレームをnフレームとする。
【００１０】
身体の構造を多関節モデルで表す。このモデルは、図１に示されるように身体を胴体や手足などの部位に分け、各部位を剛体とみなし、剛体がジョイントで結合されたリンク構造である。身体の姿勢や動きは各剛体物体の姿勢や運動で表される。したがって、姿勢の修正は部位ごとに行うことができる。
【００１１】
物体の姿勢及び運動を直交行列で表す。まず、物体の初期姿勢をR₀、最終姿勢をR_nとする。図２には物体の位置と姿勢が実線で描かれている。物体の運動、すなわち姿勢の変位をQ₁、Q₂、・・・、Q_nとする。これらは全て与えられているものとする。なお、添え字はフレーム番号である。
【００１２】
最終姿勢は、初期姿勢に姿勢の変位を累積することによって、 R₀Q₁Q₂・・・Q_nと計算することができる。推定された姿勢の変位に誤差が含まれると、累積された姿勢は次第に物体から離れてゆく。図２には累積により計算されたモデルの姿勢が点線で描かれている。
【００１３】
この累積された最終姿勢が与えられた最終姿勢R_nに等しくなるためには、修正変位X_iを姿勢の変位に加える。累積によって得られた新たな最終姿勢が、与えられた最終姿勢に等しくなるように修正変位X_iを決定すればよい。すなわち、
(1) R₀Q₁X₁Q₂X₂・・・Q_nX_n=R_n
をX_iについて解けばよい。
【００１４】
ところが、姿勢の修正には３つの自由度を持つ修正変位で十分であるが、各修正変位X_iは３自由度を持つため、方程式全体の自由度の総数は3nとなり冗長である。
【００１５】
そこで、各フレームでの修正変位を、修正量は微小であるとして、
と表す。ここでw_iは重み定数で、a、b、cは変数である。さらに、R₀ ^-1R_n=Rとすれば、修正変位の推定式(1)は、
(2) Q₁X₁Q₂X₂・・・Q_nX_n=R
となる。このとき、修正変位X_iは方程式(2)をa、b、cについて解くことにより得られる。ここで、w_iは、各フレームごとの修正変位を調節する定数である。w_iを全て等しくすれば、修正変位も全て等しくなる。
【００１６】
しかしながら、方程式(2)はa、b、cの高次方程式であるので解くのが難しい。そこで、左辺をX_iの1次式で近似し1次方程式を解く。まず、修正変位X_iを、X_i=I+w_iYと分解する。ただし、Iは単位行列であり、Yは
である。
【００１７】
このとき、式(2)の左辺は
(3) Q₁(I+w₁Y)Q₂(I+w₂Y)…Q_n(I+w_nY)=
Q₁Q₂…Q_n + w₁Q₁YQ₂…Q_n+…+ w_nQ₁Q₂…Q_nY + O(2)
となる。ただし、行列O(2)の要素は、Yの要素に関する２次以上の積項からなる多項式となる。X_iを微小な回転とすれば、Yの要素は微小量であるので、２次以上の積項は無視することができ、行列O(2)も無視することができる。したがって、Yに関する1次方程式
(4) Q₁Q₂…Q_n + w₁Q₁YQ₂…Q_n+…+ w_nQ₁Q₂…Q_nY =R
をa、b、cについて解けばよい。得られたYからX_iを得る。
【００１８】
解X_iを各変位Q_iにかけ姿勢の修正を行ったQ_iX_iを姿勢の新たな変位Q_iとみなし、再度、以上の手続きを繰り返す。この手続きを繰り返すことにより、累積によって得られた最終姿勢が与えられた最終姿勢に収束する。
【００１９】
ここで、位置の修正についても述べておく。位置の修正は姿勢の修正に比べて容易である。物体の初期位置をT₀、最終位置をT_nとし、それぞれ与えられたものとする。また、画像間の位置の変位s₁、s₂、…、s_nも与えられたものとする。
【００２０】
変位の累積により計算される最終位置は、T₀+s₁+s₂+…+s_nとなる。これをT_n'としたとき、ずれはT_n-T_n'である。このずれを比率、r₁、r₂、・・・、r_n、で按分し位置の変位に加えれば、累積した最終位置は与えられた最終位置に一致する。比率r_iが全て等しければ、修正量はずれをフレーム数で等分したことになる。図２の2、3、4、5、6のように他の部位に関節でつながっている部位は、位置の修正は必要ない。
【００２１】
【発明の効果】
初期姿勢に姿勢変位の累積によって得られた最終姿勢が、与えられた最終姿勢とずれている場合には、実施の形態で示した修正法により姿勢変位が修正され姿勢列が動作として得られる。この姿勢列の最終姿勢は与えられた最終姿勢と一致するが、途中の姿勢は必ずしも実際の姿勢と一致しているとは限らない。
【００２２】
そこで、姿勢列上で画像間の差分値から身体の姿勢の変位分を推定する。ずれた位置・姿勢を使って変位分を推定しているので、この推定された変位の累積によって得られた最終姿勢は、与えられた最終姿勢に一致するとは限らない。しかし、新しい姿勢列は正しい姿勢列に近づいているので、ずれは少なくなっているはずである。したがって、この新たな姿勢の変位に対して、実施の形態で示した修正法により再度修正を行う。この変位の修正と画像からの変位の測定をどのフレームでもモデルが身体像に一致するまで交互に繰り返す。その結果、正しく動作を推定することができる。なお、位置の修正も同様に行う。
【００２３】
初期姿勢と最終姿勢が与えられたとき、その間の動作を決定する問題はロボットの動作計画問題とみなすこともできる。しかし、動作計画によって得られた解は、一般に実際の身体の動作とは異なっている。本発明により得られた動作は、実際の身体の動作を忠実に再現できるのが特徴である。
【図面の簡単な説明】
【図１】身体の多関節モデル。
【図２】物体の位置・姿勢及び運動。
【符号の説明】
１ 胴体
２ 頭部
３ 上腕
４ 下腕
５ 上脚
６ 下脚
７ 物体とモデルの一致
８、９ 物体
10、11 モデル

Claims (1)

1. 身体の動作を動画像から測定する方式であって、最初の画像における身体の姿勢、最後の画像における身体の姿勢及び連続する画像間の動作を測定し、それぞれ初期姿勢(R₀)、最終姿勢(R_n)及び姿勢の変位(Q₁、Q₂、・・・、Q_n)を得、前記初期姿勢(R₀)に前記姿勢の変位(Q₁、Q₂、・・・、Q_n)及び修正変位(X₁、X₂、・・・、X_n)を累積した新たな最終姿勢(R₀Q₁X₁Q₂X₂・・・Q_nX_n)が前記最終姿勢(R_n)と一致するように前記修正変位(X₁、X₂、・・・、X_n)を求めて、前記姿勢の変位を修正することを特徴とする動作測定方式。