JP7072369B2 - 動作の類似度を求める方法、システム、端末及びプログラム - Google Patents

Description

本発明は、動作の類似度を求める方法、システム、端末及びプログラムに関する。

従来、運動対象の動作を記録するモーションキャプチャ技術が用いられている。

モーションキャプチャ技術では、人物等の運動対象の複数の部位にセンサを装着して、運動対象の時系列の位置情報又は回転情報を記録することが行われている。例えば、記録された運動対象の位置情報又は回転情報の時系列データに基づいて、運動対象をモデル化した３次元画像を生成して表示することが行われている。

また、モーションキャプチャ技術を用いて、ダンス、舞踊、スポーツ等の動作を習得することが提案されている。

例えば、特許文献１は、舞踏を習得する学習者の動作を記録した動作データと、舞踏の模範者の動作を記録した動作データとを用いて、時間軸上で分割されたパートごとに運動対象の各部位の軌跡の長さ同士を比較して、学習者の動作データを評価することを提案している。

特開２０１４－１３３０１５号公報

上述した学習者等の動作データ及び模範者の動作データを記録する時には、運動対象の複数の部位に装着されたセンサのキャリブレーションが行われる。

通常、学習者等は、複数のセンサが配置されたスーツを装着する。そして、スーツを装着した学習者等に配置された各センサの位置は、スーツの装着の仕方によって、本来各センサが配置されるべき所定の位置とは異なる場合がある。

キャリブレーションは、学習者等がＴポーズ等の所定の姿勢をした状態で、各センサが出力する回転情報を測定して、各センサの配置されている位置と、本来各センサが配置されるべき所定の位置とのずれを検出する処理である。例えば、各センサが同じ方向を向くように配置されるべきところが、そのように配置されていないことが検出される。

ここで、キャリブレーション時にとる学習者の姿勢と模範者の姿勢とは、同じとは限らない。例えば、両足の開く角度が異なっていたり、上体が前傾したりすることがある。

キャリブレーション処理によって、各センサの配置されている位置と、本来各センサが配置されるべき所定の位置とのずれは補正されるが、キャリブレーション時にとる学習者等の姿勢と所定の姿勢とが異なっている影響は、キャリブレーション処理によっては補正されないので、学習者等の動作データの全体に及ぶ。

そのため、学習者の舞踏動作と、模範者の舞踏動作とが仮に一致していても、キャリブレーション時にとる学習者等の姿勢と所定の姿勢と異なっていると、学習者の動作データは、模範者の動作データとは異なったデータであると評価されるおそれがある。

本明細書では、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる方法、システム及びプログラムを提供することを課題とする。

本明細書が開示する動作の類似度を求める方法によれば、第１の運動対象と第２の運動対象の動作の類似度を求める方法であって、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成することと、上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを作成することと、上記第２の時系列データ及び上記第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求めることと、上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めることと、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求めることと、を含むことを特徴とする。

また、本明細書が開示する動作の類似度を求めるシステムによれば、第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末と、上記端末と通信可能に接続された通信部と、上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを記憶する記憶部と、上記通信部を用いて上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、上記通信部を用いて上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記通信部を用いて上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めて、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求め、上記通信部を用いて上記動作の類似度を上記端末へ送信する、処理部と、を有するサーバと、を備えることを特徴とする。

また、本明細書が開示する動作の類似度を求める他のシステムによれば、第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、上記第１の運動対象に配置された複数のセンサから、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信する端末と、上記端末と通信可能に接続された通信部と、上記第２の運動対象に配置された複数のセンサにより作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを記憶する記憶部と、上記通信部を用いて上記端末から受信した上記第１の時系列データ及び上記第２の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、上記通信部を用いて上記端末から受信した上記第１の時系列データ及び上記第２の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記通信部を用いて上記端末から受信した上記第１の時系列データ及び上記第２の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めて、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求め、上記通信部を用いて上記動作の類似度を上記端末へ送信する、処理部と、を有するサーバと、を備えることを特徴とする。

また、本明細書が開示する動作の類似度を求める端末によれば、第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する処理部と、上記第２の時系列データを外部へ送信し、上記第２の時系列データ、及び、上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する上記第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度か、又は、上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度の内の少なくとも１つとの組み合わせに基づいて求められた上記動作の類似度を、外部から受信する通信部と、上記動作の類似度を表示する表示部と、を備えることを特徴とする。

また、本明細書が開示する動作の類似度を求める他の端末によれば、第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、上記第１の運動対象に配置された複数のセンサから、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信して、当該第１の時系列データを外部へ送信し、上記第１の時系列データ、及び、上記第２の運動対象に配置された複数のセンサにより作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、上記第１の時系列データ及び上記第２の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度か、又は、上記第１の時系列データ及び上記第２の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度の内の少なくとも１つとの組み合わせに基づいて求められた上記動作の類似度を、外部から受信する、通信部と、上記動作の類似度を表示する表示部と、を備えることを特徴とする。

更に、本明細書が開示する動作の類似度を求めるプログラムによれば、第１の運動対象と第２の運動対象の動作の類似度を求めることを、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末から、上記第２の時系列データを受信するサーバに実行させるプログラムであって、上記端末から受信した上記第２の時系列データ、及び上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求め、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求め、上記動作の類似度を上記端末へ送信することを、上記サーバに実行させることを特徴とする。

上述した本明細書が開示する動作の類似度を求める方法によれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる。

また、上述した本明細書が開示する動作の類似度を求めるシステムによれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる。

また、上述した本明細書が開示する動作の類似度を表示する端末によれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を表示することができる。

更に、上述した本明細書が開示する動作の類似度を求めるプログラムによれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる。

本明細書に開示するシステムの一実施形態を示す図である。 サーバを説明する図である。 （Ａ）は、サーバの処理部を説明する図であり、（Ｂ）は、サーバのメモリを説明する図である。 端末を説明する図である。 運動対象に装着されるセンサの配置を説明する図である。 各部位の回転情報の階層構造を説明する図である。 本明細書に開示するシステムの動作を説明するフローチャートである。 運動対象のキャリブレーション時の姿勢を説明する図である。 第１類似度を求める処理を説明するフローチャートである。 第２類似度を求める処理を説明するフローチャートである。 第３類似度を求める処理を説明するフローチャートである。 第４類似度を求める処理を説明するフローチャートである。 動作の類似度の経時変化を示す図である。 実施例１の動作の類似度を求めるのに使用された重みを説明する図である。 実施例及び比較例により求められた動作の類似度を説明する図である。 実施例２の動作の類似度を求めるのに使用された重みを説明する図である。 実施例３の動作の類似度を求めるのに使用された重みを説明する図である。 実施例４の動作の類似度を求めるのに使用された重みを説明する図である。 比較例の動作の類似度を求めるのに使用された重みを説明する図である。

以下、本明細書で開示するシステムの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図１は、本明細書に開示するシステムの一実施形態を示す図である。

本実施形態のシステム１は、端末２０と、ネットワークＮを介して端末２０と通信可能に接続されるサーバ１０を備える。

端末２０は、運動対象３０の動作のモーションデータを記録し、ネットワークＮを介して、モーションデータをサーバ１０へ送信する。サーバ１０は、端末２０から受信したモーションデータと、記憶している他のモーションデータとを比較して、両者の動作の類似度を求める。そして、サーバ１０は、ネットワークＮを介して、動作の類似度を端末２０へ送信する。

図２は、サーバを説明する図である。

サーバ１０は、処理部１１と、メモリ１２と、表示部１３と、入力インターフェース１４と、通信部１５を有する。

処理部１１は、一つまたは複数の中央演算回路と、レジスタと、キャッシュメモリと、インターフェース等の周辺回路とを有する。処理部１１は、メモリ１２に予め記憶されている所定のコンピュータプログラム１２ａに従い、サーバ１０の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するためにメモリ１２を利用する。

図３（Ａ）に示すように、上述した処理部１１は、類似度算出部１１ａ及び３次元画像生成部１１ｂを有する。

処理部１１が有する各部は、例えば、処理部１１上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、処理部１１が有するこれらの各部は、それぞれ、別個の回路として、サーバ１０に実装されてもよい。各部の動作については、後述する。

メモリ１２は、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、メモリ１２は、非一時的な記憶媒体１２ｃに記憶されたコンピュータプログラムを、読み出し可能なドライブ（図示せず）を有していてもよい。

図３（Ｂ）は、情報処理装置のメモリを説明する図である。

図３（Ｂ）に示すように、メモリ１２は、所定のコンピュータプログラム１２ａと、第１モーションデータ１２ｂを記憶する。

第１モーションデータ１２ｂは、端末２０から送信されたモーションデータと比較するために参照される運動対象の複数の部位の位置情報及び回転情報の時系列データである。

表示部１３は、処理部１１に制御されて、サーバ１０の動作に伴う各種の情報を画面上に表示可能である。表示部１３として、例えば、液晶ディスプレイを用いることができる。

入力インターフェース１４は、サーバ１０のユーザにより操作されて、操作を入力可能である。入力インターフェース１４として、例えばキーボード又はマウスを用いることができる。

通信部１５は、ネットワークＮを介して、端末２０との間で情報の送受信を行う。通信部１５は、信号の送受信を行う通信回路及び通信線を有する。なお、サーバ１０は、表示部及び入力インターフェースを有していなくてもよい。

図４は、端末を説明する図である。

端末２０は、処理部２１と、メモリ２２と、表示部２３と、入力インターフェース２４と、通信部２５を有する。

処理部２１は、一つまたは複数の中央演算回路と、レジスタと、キャッシュメモリと、インターフェース等の周辺回路とを有する。処理部２１は、メモリ２２に予め記憶されている所定のコンピュータプログラムに従い、端末２０の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するためにメモリ２２を利用する。

メモリ２２は、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、メモリ２２は、非一時的な記憶媒体２２ａに記憶されたコンピュータプログラムを、読み出し可能なドライブ（図示せず）を有していてもよい。

表示部２３は、処理部２１に制御されて、端末２０の動作に伴う各種の情報を画面上に表示可能である。表示部２３として、例えば、液晶ディスプレイを用いることができる。

入力インターフェース２４は、端末２０のユーザにより操作されて、操作を入力可能である。入力インターフェース２４として、例えばキーボード又はマウスを用いることができる。

通信部２５は、ネットワークＮを介して、サーバ１０との間で情報の送受信を行う。また、通信部２５は、運動対象３０に装着された複数のセンサとの間で情報の送受信を行う。通信部２５は、信号の送受信を行うアンテナ、通信回路及び通信線を有する。

端末２０は、人物等の運動対象３０に配置された複数のセンサから受信した時系列データに基づいて、運動対象３０が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有するモーションデータを作成する。このモーションデータは、運動対象３０の複数の部位の位置情報及び回転情報を有する時系列データである。

図５は、運動対象に装着されるセンサの配置を説明する図である。

本実施形態のシステム１では、運動対象３０の人物に対して１５個のセンサＳ１～Ｓ１５が配置される。通常、運動対象３０は、センサＳ１～Ｓ１５が装着されたスーツ（図示せず）を着用する。

センサＳ１は仙骨に配置され、センサＳ２は右上腿に配置され、センサＳ３は右下腿に配置され、センサＳ４は右足の甲に配置され、センサＳ５は左上腿に配置され、センサＳ６は左下腿に配置され、センサＳ７は左足の甲に配置される。また、センサＳ８は胸部に配置され、センサＳ９は左上腕に配置され、センサＳ１０は左前腕に配置され、センサＳ１１は左手の甲に配置され、センサＳ１２は右上腕に配置され、センサＳ１３は右前腕に配置され、センサＳ１４は右手の甲に配置され、センサＳ１５は、頭部に配置される。なお、図５に示す例は一例であり、運動対象に装着されるセンサの数及び配置はこれに限定されるものではない。

センサＳ１～Ｓ１５のそれぞれは、３軸方向の加速度と、３軸回りの角速度と、３軸方向の向きを検知する。センサＳ１～Ｓ１５のそれぞれは、所定の時間間隔で、加速度、角速度及び向きを端末２０へ送信する。所定の時間間隔として、例えば３３ミリ秒（３０Ｈｚ）とすることができる。

センサＳ１～Ｓ１５は、加速度、角速度及び向きを検知できるものであれば、特に制限されない。例えば、センサＳ１～Ｓ１５として、慣性式、磁気式又は機械式のものを用いることができる。なお、加速度、角速度及び向きのそれぞれを検知する検知要素は、一体であってもよいし、別体であってもよい。

まず、端末２０は、センサＳ１～Ｓ１５のそれぞれから受信した加速度、角速度及び向きを、時系列データとして記憶する。

端末２０は、センサＳ１～Ｓ１５から受信した時系列データに基づいて、位置情報及び部位の角度を示す回転情報を有する時系列データＡを生成する。端末２０は、センサＳ１～Ｓ１５から受信した時系列データに基づいて、部位の角度を示す回転情報を生成する所定のアルゴリズムとして、例えば、Ｍａｄｇｗｉｃｋアルゴリズム又はＭａｈｏｎｙアルゴリズムを用いることができる。なお、運動対象３０に配置された１５個のセンサのそれぞれが、各部位の位置情報及び回転情報を作成し、時系列データＡとして端末２０へ送信して、端末２０は、時系列データＡをセンサから受信するようにしてもよい。

Ａ（０）は時点０のデータであり、Ａ（１）は時点１のデータであり、Ａ（ｔ）時点ｔのデータである。

ここで、時点ｔのデータＡ（ｔ）は、下記式（２）で表される。

ｐ_１（ｔ）は、第１の運動対象の時点ｔにおける位置情報であり、ｑ_１（ｔ）は、第１の運動対象の時点ｔにおける回転情報である。システム１は、第１の運動対象と第２の運動対象の動作の類似度を求めるので、第１の運動対象の位置情報及び回転情報には添え字「１」を付け、第２の運動対象の位置情報及び回転情報には添え字「２」を付けて、運動対象を識別する。

時点ｔの位置情報ｐ_１（ｔ）は、下記式（３）で表される。

ｐ_１１（ｔ）は、第１の運動対象の部位１の時点ｔにおける位置情報であり、ｐ_１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける位置情報であり、ｐ_{１ｉｍａｘ}（ｔ）は、第１の運動対象の部位ｉｍａｘの時点ｔにおける位置情報である。システム１では、第１の運動対象の１５の部位の位置情報を検知するので、ｉｍａｘ＝１５である。端末２０は、運動対象の各部位の位置情報を、各部位の加速度を２回積分して求める。

ここで、第１の運動対象の部位ｉの時点ｔにおける位置情報ｐ_１ｉ（ｔ）は、下記式（４）で表される。

ｘ_１ｉ（ｔ）、ｙ_１ｉ（ｔ）、ｚ_１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける３次元直交座標系で示されるｘ、ｙ及びｚ座標である。この３次元直交座標系の原点は、キャリブレーションを行った時の第１の運動対象の仙骨の位置とすることができる。

また、時点ｔの回転情報ｑ_１（ｔ）は、下記式（５）で表される。

ｑ_１１（ｔ）は、第１の運動対象の部位１の時点ｔにおける回転情報であり、ｑ_１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける回転情報であり、ｑ_{１ｉｍａｘ}（ｔ）は、第１の運動対象の部位ｉｍａｘの時点ｔにおける回転情報である。ここで、ｉは１～１５の整数である。

ここで、第１の運動対象の部位ｉの時点ｔにおける回転情報ｑ_１ｉ（ｔ）は、下記式（６）に示すクォータニオンで表される。

ａ_１ｉ（ｔ）、ｂ_１ｉ（ｔ）、ｃ_１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける回転軸の向きを示す虚数部であり、ｊ、ｋ、ｌは虚数単位である。ｄ_１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける回転軸の回りの角度を示す実部である。

図６は、各部位の回転情報の階層構造を説明する図である。

運動対象の各部位の回転情報は、仙骨をルートとする階層構造で関係付けられている。回転情報の階層構造では、子の部位の回転情報は、親の部位に対して相対的な回転情報としてクォータニオンで表される。例えば、左上腿、右上腿、胸部の回転情報は、仙骨に対して相対的な回転情報としてクォータニオンで表される。図６には、部位の名称と共に、各部位の回転情報を検知するセンサを識別する符号を示す。

上述した位置情報及び回転情報の説明は、第２の運動対象の位置情報及び回転情報に対して適宜適用される。

次に、システム１の動作を図７に示すフローチャートを参照しながら以下に説明する。

まず、ステップＳ７０１において、端末２０は、第１の運動対象３０に対するキャリブレーション処理を行った後、第１の運動対象３０に配置された１５個のセンサから受信した時系列データに基づいて、第１の運動対象３０が有する１５の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する時系列データである第１モーションデータを作成する。そして、端末２０は、第１モーションデータを、ネットワークＮを介してサーバ１０へ送信する。サーバ１０は、受信した第１モーションデータ１２ｂをメモリ１２に記憶する。ここで、第１モーションデータ１２ｂは、ある人物がダンスをしている動作を記録したデータである。なお、第１の運動対象３０に配置された１５個のセンサのそれぞれが、各部位の位置情報及び回転情報を作成し、第１モーションデータとして端末２０へ送信して、端末２０は、第１モーションデータをセンサから受信するようにしてもよい。

図８は、第１の運動対象のキャリブレーション時の姿勢を説明する図である。

ここで、第１の運動対象３０は、図８の実線で示すように、Ｔポーズの姿勢をした状態で行われる。端末２０は、各センサＳ１～Ｓ１５が出力する回転情報を測定して、各センサの配置されている位置（又は向き）と、本来各センサが配置されるべき所定の位置とのずれを検出する。端末２０は、各センサＳ１～Ｓ１５が出力する回転情報に対して、このずれを補正して第１モーションデータを作成する。端末２０は、１５の部位の位置情報を、キャリブレーションを行った時の第１の運動対象の仙骨の位置を原点とする３次元直交座標系（以下、ワールド座標系ともいう）を用いて表して、第１モーションデータを作成する。また、端末２０は、標準体型を有する人物の１５の部位の位置情報及び回転情報として、第１モーションデータを生成する。

次に、ステップＳ７０３において、端末２０は、第２の運動対象３１に対するキャリブレーション処理を行った後、第２の運動対象３１に配置された１５個のセンサから受信した時系列データに基づいて、第２の運動対象３１が有する１５の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する時系列データである第２モーションデータを作成する。そして、端末２０は、第２モーションデータを、ネットワークＮを介してサーバ１０へ送信する。なお、第２の運動対象３１に配置された１５個のセンサのそれぞれが、各部位の位置情報及び回転情報を作成し、第２モーションデータとして端末２０へ送信して、端末２０は、第２モーションデータをセンサから受信するようにしてもよい。

図８は、第２の運動対象のキャリブレーション時の姿勢を説明する図である。

ここで、第２の運動対象３１は、図８の鎖線で示すように、Ｔポーズの姿勢をした状態で行われる。しかし、第２の運動対象３１は、キャリブレーション時の姿勢であるＴポーズに対して、両足の間隔が拡がっており、また、上体が前傾している。ここで、第２モーションデータは、第２の運動対象３１の人物が、第１の運動対象３０と同じダンスをしている動作を記録したデータである。第２の運動対象３１の人物は、第１の運動対象３０の人物と同じであってもよいし、異なっていてもよい。キャリブレーション時にとる第２の運動対象３１の姿勢が、Ｔポーズの姿勢と異なっている影響は、キャリブレーション処理によっては補正されないので、第２モーションデータの全体に及ぶことになる。

そして、サーバ１０の処理部１１の類似度算出部１１ａは、第１モーションデータ及び第２モーションデータのそれぞれに対して、動作の比較を開始するデータの始点及び終点をユーザから入力する。類似度算出部１１ａは、以下の動作の類似度を求める処理において、第１モーションデータ１２ｂの入力した始点ｔ１と終点ｔ２との間のデータと、第２モーションデータの入力した始点ｔ３と終点ｔ４との間のデータを比較する。ここで、始点ｔ１と始点ｔ３とは同じとは限らないが、始点と終点との間のデータの数は同じである。本明細書では、説明を分かり易くするために、第１モーションデータの始点ｔ１をｔ＝０と置き直し、且つ第２モーションデータの始点ｔ２もｔ＝０と置き直して、動作の比較を行う部分のデータだけを抽出して作り直した第１モーションデータ及び第２モーションデータを用いて以下の説明を行う。

次に、サーバ１０は、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第１類似度を求める。サーバ１０は、第１の運動対象３０が有する複数の部位の位置情報と第２の運動対象３１が有する複数の部位の位置情報とを比較して、位置の第１類似度を求めるか、及び／又は、第１の運動対象３０が有する複数の部位の回転情報と第２の運動対象３１が有する複数の部位の回転情報とを比較して、回転の第１類似度を求め得る。本実施形態では、サーバ１０は、位置の第１類似度及び回転の第１類似度を求める。以下、図９に示すフローチャートを参照しながら、サーバ１０が第１類似度を求める処理を説明する。

まず、ステップＳ９０１において、類似度算出部１１ａは、第１の運動対象３０及び第２の運動対象３１のそれぞれについて、第１モーションデータ及び第２モーションデータの位置情報及び回転情報を補正処理する。

具体的には、類似度算出部１１ａは、初期時点（ｔ＝０）における第１モーションデータの仙骨の位置を、ワールド座標系の原点に一致させるように、仙骨の位置情報を補正する。また、類似度算出部１１ａは、初期時点（ｔ＝０）における第１モーションデータの他の部位の位置情報に対して、仙骨の位置をワールド座標系の原点に移動させたのと同様の補正を行う。更に、類似度算出部１１ａは、初期時点以降の第１モーションデータの各部位の位置情報に対して同様の補正を行う。キャリブレーション時には、運動対象の仙骨の位置はワールド座標系の原点と一致しているが、動作の比較を開始する始点の時点における運動対象の仙骨の位置は、ワールド座標系の原点と一致しているとは限らないので、このような補正を行う。

また、類似度算出部１１ａは、初期時点（ｔ＝０）における第２モーションデータの仙骨の位置を、ワールド座標系の原点に一致させるように、仙骨の位置情報を補正する。また、類似度算出部１１ａは、初期時点（ｔ＝０）における第２モーションデータの他の部位の位置情報に対して、仙骨の位置をワールド座標系の原点に移動させたのと同様の補正を行う。更に、類似度算出部１１ａは、初期時点以降の第２モーションデータの各部位の位置情報に対して同様の補正を行う。

更に、類似度算出部１１ａは、初期時点（ｔ＝０）における第２モーションデータの仙骨の回転情報を、初期時点（ｔ＝０）における第１モーションデータの仙骨の回転情報と一致させるように補正する。また、類似度算出部１１ａは、初期時点以降の第２モーションデータの仙骨の回転情報に対して、同様の補正を行う。

次に、ステップＳ９０３において、類似度算出部１１ａは、所定の時間間隔毎に、第１の運動対象３０が有する１５の部位の位置と、第２の運動対象３１が有する１５の部位の位置との間の距離を求める。所定の時間間隔として、隣接する２つの時点の間隔、又は、隣接しない２つの時点の間隔を用いることができるが、本実施形態では、所定の時間間隔として、隣接する２つの時点の間隔を用いる。即ち、本実施形態では、類似度算出部１１ａは、時系列データの各時点において、第１の運動対象３０が有する１５の部位の位置と、第２の運動対象３１が有する１５の部位の位置との間の距離を求める。

具体的には、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位間の距離を、下記式（７）を用いて求める。

ここで、ｄｐ（ｐ_１ｉ（ｔ）、ｐ_２ｉ（ｔ））は、第１の運動対象３０の部位ｉの時点ｔにおける位置情報ｐ_１ｉ（ｔ）と、第２の運動対象３１の部位ｉの時点ｔにおける位置情報ｐ_２ｉ（ｔ）との間の変化量を示す距離を求める関数である。距離としては、例えば、ユークリッド距離、マンハッタン距離、シェビチェフ距離を用いることができる。また、ここで、ｉは１～１５の整数である。

次に、ステップＳ９０５において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位の位置の類似度を、下記式（８）を用いて求める。

ここで、ｆ_１は０よりも大きく且つ１未満の数である。本明細書では、ｆ_１として０．１を用いる。部位間の位置の類似度ｓｐ_ｉ（ｔ）は、類似度が高い程１に近い値を有し、類似度が低い程０に近い値を有する。

次に、ステップＳ９０７において、類似度算出部１１ａは、各時点において、位置の第１類似度を、下記式（９）を用いて求める。

ここで、ｗ_１ｐｉは、部位ｉの重みを表しており、下記式（１０）により規格化されている。また、ｉｍａｘは１５である。

次に、ステップＳ９０９において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位の回転（向き又は角度）の類似度を、下記式（１１）を用いて求める。

ここで、ｓｑ_ｉ（ｔ）は、第１の運動対象３０の部位ｉの時点ｔにおける回転情報を表すクォータニオンと、第２の運動対象３１の部位ｉの時点ｔにおける回転情報を表すクォータニオンとのコサイン類似度を示す。コサイン類似度は、向きが近い程１に近い値を有し、向きが離れている程０に近い値を有する。ここで、ｉは１～１５の整数である。なお、回転の類似度を求める方法は、コサイン類似度に限定されず、他の方法を用いてもよい。

次に、ステップＳ９１１において、類似度算出部１１ａは、各時点において、回転の第１類似度を、下記式（１２）を用いて求める。

ここで、ｗ_１ｑｉは、部位ｉの重みを表しており、下記式（１３）により規格化されている。また、ｉｍａｘは１５である。

以上が、類似度算出部１１ａが位置の第１類似度及び回転の第１類似度を求める処理の説明である。

次に、ステップＳ７０７において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第２類似度を求める。以下、図１０に示すフローチャートを参照しながら、類似度算出部１１ａが第２類似度を求める処理を説明する。

まず、ステップＳ１００１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、所定の時間間隔における第１の運動対象３０が有する１５の部位の回転情報の変化量と、第２の運動対象３１が有する１５の部位の回転情報の変化量を求める。所定の時間間隔として、隣接する２つの時点の間隔、又は、隣接しない２つの時点の間隔を用いることができるが、本実施形態では、所定の時間間隔として、隣接する２つの時点の間隔を用いる。即ち、本実施形態では、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、各時点間において、第１の運動対象３０が有する１５の部位の回転情報の変化量と、第２の運動対象３１が有する１５の部位の回転情報の変化量を求める。

具体的には、類似度算出部１１ａは、各時点間において、第１の運動対象３０の部位のそれぞれの回転情報の変化量を、下記式（１４）を用いて求める。

ここで、ｄｑ（ｑ_１ｉ（ｔ－１）、ｑ_１ｉ（ｔ））は、第１の運動対象３０の部位ｉの時点ｔ－１における回転情報を表すクォータニオンと、第１の運動対象３０の部位ｉの時点ｔにおける回転情報を表すクォータニオンとの差を求める関数である。ここで、ｉは１～１５の整数である。

同様に、類似度算出部１１ａは、各時点間において、第２の運動対象３１の部位のそれぞれの回転情報の変化量を、下記式（１５）を用いて求める。

ｄｑ_２ｉ（ｔ）は、第２の運動対象３１の部位ｉの時点ｔ－１における回転情報を表すクォータニオンと、第２の運動対象３１の部位ｉの時点ｔにおける回転情報を表すクォータニオンとの差を示す。ここで、ｉは１～１５の整数である。

次に、ステップＳ１００３において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位の回転（向き又は角度）の変化量の類似度を、下記式（１６）を用いて求める。

ここで、ｓｑ_ｉ（ｔ）は、第１の運動対象３０の部位ｉの時点ｔにおける回転情報を表すクォータニオンの変化量と、第２の運動対象３１の部位ｉの時点ｔにおける回転情報を表すクォータニオンの変化量とのコサイン類似度を示す。コサイン類似度は、向きの変化量が近い程１に近い値を有し、向きの変化量が離れている程０に近い値を有する。ここで、ｉは１～１５の整数である。なお、回転の類似度を求める方法は、コサイン類似度に限定されず、他の方法を用いてもよい。

次に、ステップＳ１００５において、類似度算出部１１ａは、各時点において、第２類似度を、下記式（１７）を用いて求める。

ここで、ｗ_２ｑｉは、部位ｉの重みを表しており、下記式（１８）により規格化されている。また、ｉｍａｘは１５である。

以上が、類似度算出部１１ａが第２類似度を求める処理の説明である。

次に、ステップＳ７０９において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第３類似度を求める。以下、図１１に示すフローチャートを参照しながら、類似度算出部１１ａが第３類似度を求める処理を説明する。

まず、ステップＳ１１０１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、所定の時間間隔における第１の運動対象３０の仙骨の位置情報の変化量と、第２の運動対象３１の仙骨の位置情報の変化量とを求める。所定の時間間隔として、隣接する２つの時点の間隔、又は、隣接しない２つの時点の間隔を用いることができるが、本実施形態では、所定の時間間隔として、隣接する２つの時点の間隔を用いる。なお、本実施形態では、第１の運動対象３０の仙骨と、第１の運動対象３０の仙骨との位置情報を比較しているが、他の部位同士の位置情報を比較してもよい。

具体的には、類似度算出部１１ａは、各時点間において、第１の運動対象３０の仙骨の位置情報の変化量を、下記式（１９）を用いて求める。

ここで、ｄｐ（ｐ_１１（ｔ）、ｐ_２１（ｔ））は、第１の運動対象３０の部位１（仙骨）の時点ｔ－１における位置情報と、第２の運動対象３１の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離を求める関数である。距離としては、例えば、ユークリッド距離、マンハッタン距離、シェビチェフ距離を用いることができる。

同様にして、類似度算出部１１ａは、各時点間において、第２の運動対象３１の仙骨の位置情報の変化量を、下記式（２０）を用いて求める。

ここで、ｄｐ_２１（ｔ）は、第２の運動対象３１の部位１（仙骨）の時点ｔ－１における位置情報と、第２の運動対象３１の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離である。

次に、ステップＳ１１０３において、類似度算出部１１ａは、各時点において、第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を、下記式（２１）を用いて求める。

ｄｄｐ_１（ｔ）は、時点ｔ－１と時点ｔとの間における第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を示す。

次に、ステップＳ１１０５において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の仙骨の位置の変化量の類似度である第３類似度を、下記式（２２）を用いて求める。

ここで、ｆ_３は０よりも大きく且つ１未満の数である。本明細書では、ｆ_３として０．１を用いる。部位間の位置の類似度Ｗ３（ｔ）は、類似度が高い程１に近い値を有し、類似度が低い程０に近い値を有する。

以上が、類似度算出部１１ａが第３類似度を求める処理の説明である。

次に、ステップＳ７１１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第４類似度を求める。以下、図１２に示すフローチャートを参照しながら、類似度算出部１１ａが第４類似度を求める処理を説明する。なお、サーバ１０は、第４類似度を求めずに、第１～第３類似度を用いて、動作の類似度を求めてもよい。

まず、ステップＳ１２０１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、所定の時間間隔における第１の運動対象３０の仙骨の位置情報の変化量と、第２の運動対象３１の仙骨の位置情報の変化量とを求める。本実施形態では、所定の時間間隔として、初期時点（ｔ＝０）と時点ｔとの間隔を用いる。なお、本実施形態では、第１の運動対象３０の仙骨と、第１の運動対象３０の仙骨との位置情報を比較しているが、他の部位同士の位置情報を比較してもよい。また、所定の時間間隔として、初期時点以外の時点、例えば、ｔ＝２又は３と、それ以降の時点との間隔を用いてもよい。

そして、類似度算出部１１ａは、各時点間において、第１の運動対象３０の仙骨の位置情報の変化量を、下記式（２３）を用いて求める。

ここで、ｄｐ（ｐ_１１（ｔ）、ｐ_２１（ｔ））は、第１の運動対象３０の部位１（仙骨）の時点０（初期時点）における位置情報と、第１の運動対象３０の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離を求める関数である。距離としては、例えば、ユークリッド距離、マンハッタン距離、シェビチェフ距離を用いることができる。

同様にして、類似度算出部１１ａは、各時点間において、第２の運動対象３１の仙骨の位置情報の変化量を、下記式（２４）を用いて求める。

ここで、ｄｐ_２１（ｔ）は、第２の運動対象３１の部位１（仙骨）の時点０（初期時点）における位置情報と、第２の運動対象３１の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離である。

次に、ステップＳ１２０３において、類似度算出部１１ａは、各時点において、第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を、下記式（２５）を用いて求める。

ここで、ｄｄｐ_１（ｔ）は、初期時点（ｔ＝０）と時点ｔとの間における第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を示す。

次に、ステップＳ１２０５において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の仙骨の位置の変化量の類似度である第４類似度を、下記式（２６）を用いて求める。

ここで、ｆ_４は０よりも大きく且つ１未満の数である。本明細書では、ｆ_４として０．１を用いる。部位間の位置の類似度Ｗ４（ｔ）は、類似度が高い程１に近い値を有し、類似度が低い程０に近い値を有する。

以上が、類似度算出部１１ａが第４類似度を求める処理の説明である。

次に、ステップＳ７１３において、類似度算出部１１ａは、各時点において、動作の類似度を下記式（２７）を用いて求める。

ここで、ｍ_ｊは、第１類似度～第４類似度の重みを表しており、下記式（２８）により規格化されている。また、ｊｍａｘは４である。

上述したように、本実施形態では、動作の類似度を、第１類似度Ｗ１と重みｍ_１との積と、第２類似度Ｗ２と重みｍ_２との積と、第３類似度Ｗ３と重みｍ_３との積と、第４類似度Ｗ４と重みｍ_４との積との和で求めているが、動作の類似度は、第１類似度と第２類似度及び第３類似度の内の少なくとも１つとの組み合わせに基づいて求めていればよい。

例えば、動作の類似度を、第１類似度と重みとの積と、第２類似度と重みとの積との和で求めてもよい。また、動作の類似度を、第１類似度と重みとの積と、第３類似度と重みとの積との和で求めてもよい。また、動作の類似度を、第１類似度と重みとの積と、第２類似度と重みとの積と、第３類似度と重みとの積との和で求めてもよい。また、動作の類似度を、第１類似度と重みとの積と、第３類似度と重みとの積と、第４類似度と重みとの積との和で求めてもよい。

そして、類似度算出部１１ａは、求めた動作の類似度の時系列データを、通信部１５を用いて、ネットワークＮを介して、端末２０へ送信する。

次に、ステップＳ７１５において、サーバ１０の処理部１１の３次元画像生成部１１ｂは、第１モーションデータ及び第２モーションデータに基づいて、所定の時点において、第１の運動対象３０及び第２の運動対象３１の３次元画像を生成する。所定の時点として、動作の類似度の時系列データにおいて局所的なピークを示している時点を用いることができる。そして、３次元画像生成部１１ｂは、生成した３次元画像を、通信部１５を用いて、ネットワークＮを介して、端末２０へ送信する。なお、端末２０が、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０及び第２の運動対象３１の３次元画像を生成するようにしてもよい。

次に、ステップＳ７１７において、端末２０の処理部２１は、サーバ１０から受信した動作の類似度の時系列データに基づいて、動作の類似度の経時変化を示すグラフを生成して、表示部２３に表示する。また、端末２０は、処理部２１は、サーバ１０から受信した第１の運動対象３０及び第２の運動対象３１の３次元画像（図示せず）を、動作の類似度の経時変化を示すグラフの所定の時点に表示する。なお、サーバ１０が、動作の類似度の経時変化を示すグラフ及び第１の運動対象３０及び第２の運動対象３１の３次元画像を表示するようにしてもよい。

図１３は、動作の類似度の経時変化を示す図である。

図１３には、複数の時点において、第１の運動対象３０及び第２の運動対象３１の３次元画像が、動作の類似度と共に示されるようにしてもよい。これにより、第１の運動対象３０及び第２の運動対象３１の動作の類似度が、数値と共に、３次元画像を用いて視覚化されるので、動作の類似度の比較がより分かり易くなる。

上述した本実施形態のシステムによれば、第１類似度と共に、第２類似度及び第３類似度の内の少なくとも１つとの組み合わせに基づいて、動作の類似度が求められるので、キャリブレーション時の影響を抑制して、２つの運動対象の動作の類似度を求めることができる。特に、本実施形態では、第１類似度と、第２類似度～第４類似度との組み合わせに基づいて動作の類似度が求められるので、キャリブレーション時の影響を十分に抑制して、２つの運動対象の動作の類似度が求められる。

次に、第１類似度だけを用いて２つの運動対象の動作の類似度を求めた場合と、第１類似度と共に、第２類似度及び第３類似度の内の少なくとも１つとの組み合わせに基づいて、２つの運動対象の動作の類似度を求める場合について、実施例及び比較例を用いて説明する。

以下、本明細書に開示するシステムについて、実施例を用いて更に説明する。ただし、本発明の範囲はかかる実施例に制限されるものではない。

（実施例１）
Ｘｓｅｎｓ社製のモーションキャプチャシステムＭＶＮ－ａｗｉｎｄａの慣性式センサを、第１の運動対象である人物の仙骨、右上腿、右下腿、右足の甲、左上腿、左下腿、左足の甲、胸部、左上腕、左前腕、左手の甲、右上腕、右前腕、右手の甲、頭部の１５部位に装着した。

そして、第１の運動対象である人物が両足の間を１０ｃｍ開いて直立した気をつけの姿勢で、第１の運動対象のキャリブレーションが行われた。そして、第１の運動対象はラジオ体操第１の動作を行って、第１モーションデータが取得された。

また、第２の運動対象である第１の運動対象と同一の人物に対して、同じ１５の部位に慣性式センサを装着した。

そして、第２の運動対象である人物が両足の間を３０ｃｍ開いて、３０度の角度で前傾した気をつけの姿勢で、第２の運動対象のキャリブレーションが行われた。そして、第２の運動対象は、第１の運動対象と同様にラジオ体操第１の動作を行って、第２モーションデータが取得された。

そして、第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第２類似度Ｗ２を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第３類似度Ｗ３を、各時点において、仙骨の類似度と重みの積として求めた。第１類似度Ｗ１～第３類似度Ｗ４を求める時の所定の時間間隔として、隣接する２つの時点の間隔を用いた。また、第４類似度を、各時点において、仙骨の類似度と重みの積として求めた。第４類似度を求める所定の時間間隔として、初期時点（ｔ＝０）と各時点ｔとの間隔を用いた。

そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第２類似度Ｗ２と、第３類似度と、第４類似度との和として求めて、実施例１とした。なお、実施例１では、動作の類似度を求める時に、第１類似度Ｗ１と重みとの和との積は求められていない。上述したように、第１類似度Ｗ１は、各部位の回転の類似度と部位の重みの積の和として求められている。このことは、第２類似度Ｗ２についても同様である。

実施例１の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みと、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを、図１４に示す。また、図１４には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第２類似度Ｗ２を求めるのに使用された各部位の重みの和と、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを比較して示す。

各部位の重みは、以下のように決定された。まず、第１の運動対象及び第１の運動対象がダンスを行う動作を人間が見て、各時点における２つの運動対象の類似度を０～１の間で５段階に官能評価した。そして、第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みと、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みをそれぞれ変化させて、各時点における動作の類似度を求めて、官能評価の結果と近くなるように、それぞれの重みを決定した。

図１５に示すように、実施例１では、動作の類似度は、各時点において０．６５～０．７７の範囲で変化していて、動作の類似度の平均値は０．７３であった。

（実施例２）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第２類似度Ｗ２を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第４類似度Ｗ４を、各時点において、仙骨の類似度と重みの積として求めた。

実施例２の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを、図１６に示す。また、図１６には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第２類似度Ｗ２を求めるのに使用された各部位の重みの和と、第４類似度Ｗ４を求めるのに使用された仙骨の重みを比較して示す。

そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第２類似度Ｗ２と、第４類似度との和として求めた。

図１５に示すように、実施例２では、動作の類似度は、各時点において０．６２～０．７５の範囲で変化していて、動作の類似度の平均値は０．６９であった。

（実施例３）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第２類似度Ｗ２を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。

実施例３の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みを、図１７に示す。また、図１７には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第２類似度Ｗ２を求めるのに使用された各部位の重みの和を比較して示す。

そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第２類似度Ｗ２との和として求めた。

図１５に示すように、実施例３では、動作の類似度は、各時点において０．５８～０．７４の範囲で変化していて、動作の類似度の平均値は０．６３であった。

（実施例４）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の位置の類似度と部位の重みの積として求めた。また、第３類似度Ｗ３を、各時点において、仙骨の類似度と重みの積として求めた。また、第４類似度Ｗ４を、各時点において、仙骨の類似度と重みの積として求めた。

実施例４の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを、図１８に示す。また、図１８には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを比較して示す。

そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第３類似度Ｗ３と、第４類似度Ｗ４の和として求めた。

図１５に示すように、実施例４では、動作の類似度は、各時点において０．３１～０．７２の範囲で変化していて、動作の類似度の平均値は０．５５であった。

（比較例）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めて、比較例の動作の類似度とした。

比較例の第１類似度Ｗ１を求めるのに使用された各部位の重みを、図１９に示す。

図１５に示すように、比較例では、動作の類似度は、各時点において０．４９～０．６９の範囲で変化していて、動作の類似度の平均値は０．５５であった。

第１モーションデータ及び第２モーションデータは、同一人物の同じ動作を記録したデータであるので、比較的高い類似度を有していることが期待される。しかし、第１モーションデータ及び第２モーションデータでは、キャリブレーション時の姿勢が異なるので、キャリブレーション時における運動対象の姿勢が異なっている影響は、キャリブレーション処理によっては補正されないため、動作データの全体に及ぶと考えられる。

そして、実施例１～３の動作の類似度の平均値は、比較例よりも高い値を示した。これにより、実施例１～３は、キャリブレーション時の影響を抑制して、２つの運動対象の動作の類似度をより正確に求めていると考えられる。比較例では、実施例１～３と比べて、キャリブレーション時における運動対象の姿勢が異なっている影響を受けるので、動作の類似度に対して十分な精度が得られないと考えられる。

実施例４は、実施例１～３と比べて、低い類似度を示した。この理由として、実施例４では、各部位の位置の類似度に基づいて、第１類似度Ｗ１を求めているのに対して、実施例１～３では、各部位の回転の類似度に基づいて、第１類似度Ｗ１を求めていることが考えられる。このことから、キャリブレーション時の影響を抑制して、２つの運動対象の動作の類似度を正確に求める観点からは、各部位の回転の類似度に基づいて、第１類似度Ｗ１を求めることが好ましいと考えられる。

本発明では、上述した実施形態の動作の類似度を求める方法、システム及びプログラムは、本発明の趣旨を逸脱しない限り適宜変更が可能である。

１ システム
１０ サーバ
１１ 処理部
１１ａ 類似度算出部
１１ｂ ３次元画像生成部
１２ メモリ
１２ａ コンピュータプログラム
１２ｂ 第１モーションデータ
１２ｃ 記憶媒体
１３ 表示部
１４ 入力インターフェース
１５ 通信部
２０ 端末
２１ 処理部
２２ メモリ
２３ 表示部
２４ 入力インターフェース
２５ 通信部
３０ 第１の運動対象
３１ 第２の運動対象
Ｓ１～Ｓ１５ センサ
Ｎ ネットワーク

Claims (10)

1. 第１の運動対象と第２の運動対象の動作の類似度を求める方法であって、
   前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成することと、
   前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを作成することと、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求めることと、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めることと、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めることと、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって第４の類似度を求めることと、
   前記第１の類似度と、前記第２の類似度と、前記第３の類似度と、前記第４の類似度との組み合わせに基づいて、前記動作の類似度を求めることと、
   を処理装置が実行することを特徴とする方法。
2. 前記第２の類似度を求めることは、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、前記第２の時間間隔における前記第１の運動対象が有する複数の部位のそれぞれの回転情報の変化量と前記第２の運動対象が有する複数の部位のそれぞれの回転情報の変化量とを比較する事によって、複数の部位のそれぞれについての部位類似度を求め、複数の部位のそれぞれの当該部位類似度と当該部位類似度に対する重みとの積の和を、前記第２の類似度として求めることを前記処理装置が実行する、請求項１に記載の方法。
3. 前記第２の時系列データでは、前記第１の運動対象が有する複数の部位の角度を示す回転情報が、クォータニオンを用いて表されており、
   前記第４の時系列データでは、前記第２の運動対象が有する複数の部位の角度を示す回転情報が、クォータニオンを用いて表されており、
   前記第２の類似度を求めることは、前記第２の時間間隔における前記第１の運動対象が有する複数の部位のそれぞれのクォータニオンの変化量と前記第２の運動対象が有する複数の部位のそれぞれのクォータニオンの変化量とのコサイン類似度を、複数の部位のそれぞれについての前記部位類似度として求めることを前記処理装置が実行する、請求項２に記載の方法。
4. 前記第３の類似度を求めることは、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、前記第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量を示す距離Ｄ１と前記第２の運動対象の第１の部位の位置情報の変化量を示す距離Ｄ２とを用いて、前記第３の類似度として１／（１＋ｆ×｜Ｄ１―Ｄ２｜）を求めることを前記処理装置が実行し、ここでｆはゼロよりも大きく且つ１未満の数である、請求項１又は２に記載の方法。
5. 前記動作の類似度を求めることは、
   前記第１の類似度と第１の重みとの積と、前記第２の類似度と第２の重みとの積との和を、前記動作の類似度として求めるか、又は、
   前記第１の類似度と第１の重みとの積と、前記第３の類似度と第３の重みとの積との和を、前記動作の類似度として求めるか、又は、
   前記第１の類似度と第１の重みとの積と、前記第２の類似度と第２の重みとの積と、前記第３の類似度と第３の重みとの積との和を、前記動作の類似度として求めるか、又は、
   前記第１の類似度と第１の重みとの積と、前記第２の類似度と第２の重みとの積と、前記第３の類似度と第３の重みとの積と、前記第４の類似度と第４の重みとの積との和を、前記動作の類似度として求めることを前記処理装置が実行する、請求項１～４の何れか一項に記載の方法。
6. 第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、
   前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末と、
   前記端末と通信可能に接続された通信部と、
   前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを記憶する記憶部と、
   前記通信部を用いて前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、
   前記通信部を用いて前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求め、
   前記通信部を用いて前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求め、
   前記第２の時系列データ及び前記第４の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって第４の類似度を求め
   前記第１の類似度と、前記第２の類似度と、前記第３の類似度と、前記第４の類似度との組み合わせに基づいて、前記動作の類似度を求め、前記通信部を用いて前記動作の類似度を前記端末へ送信する、処理部と、
   を有するサーバと、
   を備えることを特徴とするシステム。
7. 第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、
   前記第１の運動対象に配置された複数のセンサから、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信する端末と、
   前記端末と通信可能に接続された通信部と、
   前記第２の運動対象に配置された複数のセンサにより作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを記憶する記憶部と、
   前記通信部を用いて前記端末から受信した前記第１の時系列データ及び前記第２の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、
   前記通信部を用いて前記端末から受信した前記第１の時系列データ及び前記第２の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求め、
   前記通信部を用いて前記端末から受信した前記第１の時系列データ及び前記第２の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求め、
   前記第１の時系列データ及び前記第２の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって第４の類似度を求め、
   前記第１の類似度と、前記第２の類似度と、前記第３の類似度と、前記第４の類似度との組み合わせに基づいて、前記動作の類似度を求め、前記通信部を用いて前記動作の類似度を前記端末へ送信する、処理部と、
   を有するサーバと、
   を備えることを特徴とするシステム。
8. 第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、
   前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する処理部と、
   前記第２の時系列データを外部へ送信し、
   前記第２の時系列データ、及び、前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度と、前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度と、前記第２の時系列データ及び前記第４の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって求められた第４の類似度との組み合わせに基づいて求められた前記動作の類似度を、外部から受信する通信部と、
   前記動作の類似度を表示する表示部と、
   を備えることを特徴とする端末。
9. 第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、
   前記第１の運動対象に配置された複数のセンサから、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信して、当該第１の時系列データを外部へ送信し、
   前記第１の時系列データ、及び、前記第２の運動対象に配置された複数のセンサにより作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、前記第１の時系列データ及び前記第２の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度と、前記第１の時系列データ及び前記第２の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度と、前記第１の時系列データ及び前記第２の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって求められた第４の類似度との組み合わせに基づいて求められた前記動作の類似度を、外部から受信する、通信部と、
   前記動作の類似度を表示する表示部と、
   を備えることを特徴とする端末。
10. 第１の運動対象と第２の運動対象の動作の類似度を求めることを、前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末から、前記第２の時系列データを受信するサーバに実行させるプログラムであって、
    前記端末から受信した前記第２の時系列データ、及び前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、
    前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求め、
    前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求め、
    前記第２の時系列データ及び前記第４の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって第４の類似度を求め、
    前記第１の類似度と、前記第２の類似度と、前記第３の類似度と、前記第４の類似度との組み合わせに基づいて、前記動作の類似度を求め、前記動作の類似度を前記端末へ送信することを、前記サーバに実行させることを特徴とするプログラム。

Images