JP4590010B1 - 動作解析装置、および動作解析方法 - Google Patents

Abstract

【課題】模範者と被験者との間の、体格差、個人差、およびセンサ装着位置のズレなどの差異に起因した動作データの相違を解消する動作解析装置を提供する。
【解決手段】模範者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得手段２１と、取得された各規定動作データから模範者の規定動作データの模範者特徴量、および被験者の規定動作データの被験者特徴量を抽出する特徴量抽出手段２４と、各規定動作データの模範者特徴量と被験者特徴量との間の変換行列を算出する変換行列算出手段２５と、模範者の特定動作についての特定動作データを取得する特定動作データ取得手段２６と、模範者の特定動作データの模範者特徴量を、変換行列を用いて被験者用の模範特定動作情報を生成する生成手段２７と、被験者用の模範特定動作情報を提示する提示手段２８と、を有する動作解析装置。
【選択図】図１

Description

本発明は、動作解析装置、および動作解析方法に関する。

加速度センサやジャイロセンサなどの運動計測装置を人体に装着させて、人の動作を計測して解析する動作解析方法が一般的に知られている（たとえば、非特許文献１参照）。

Ling Bao, Stephen S. Intille, "Activity Recognition from User-Annotated Acceleration Data", In Second International Conference on Pervasive Computing, pp.1-17, 2004

人の動作を計測することにより、歩行や食事などの一般的な動作に加えて、たとえば、ダンスやチェロ演奏などの専門的な動作を定量化し、異なる２人の動作の相違（たとえば、模範者と初心者の動作の相違）をデータ上把握することができると考えられる。

しかしながら、模範者と初心者とが同じ動作をした場合であっても、性別・年齢などの体格差、利き手・利き足などの個人差、およびセンサ装着位置のズレなどの差異に起因して、両者の動作データは相違する。そのため、たとえば、ある動作における模範者の動作データを初心者に提示してアドバイスしたとしても、この提示された動作データが初心者にとって必ずしも最適な動作データであるとは限らない状況が生じる。

そこで、上記問題点を解決し、上記体格差などの差異に起因した動作データの相違を解消することができる新しい動作解析装置や動作解析方法を提供することが望まれる。

本開示の動作解析装置は、模範者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得手段と、前記取得された各規定動作データから、前記模範者の規定動作データの模範者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出する特徴量抽出手段と、前記模範者の規定動作データの模範者特徴量と前記被験者の規定動作データの被験者特徴量との間の変換行列を算出する変換行列算出手段と、前記模範者の特定動作についての特定動作データを取得する特定動作データ取得手段と、前記模範者の特定動作データから、前記変換行列を用いて前記被験者用の模範特定動作情報を生成する生成手段と、前記被験者用の模範特定動作情報を提示する提示手段と、を有する。

また、本開示の動作解析装置は、前記特定動作データ取得手段が、前記被験者の前記特定動作をした場合の特定動作データをさらに取得し、前記提示手段は、前記取得された被験者の特定動作データに基づく被験者特定動作情報と、前記前記被験者用の模範特定動作情報とを関連付けて提示することができる。

さらに、本開示の動作解析装置は、前記規定動作データ取得手段が、前記模範者および前記被験者の身体の少なくとも１つの部位に装着された運動計測装置を用いて計測された前記規定動作データを取得し、前記特徴量抽出手段は、前記部位ごとに前記模範者特徴量、および前記被験者特徴量を抽出し、前記変換行列算出手段は、前記部位ごとに、前記模範者の規定動作の模範者特徴量と前記被験者の規定動作の被験者特徴量との間の変換行列を算出することもできる。

さらに、本開示の動作解析装置は、前記模範者と前記被験者とのそれぞれの規定動作データを用いて、前記模範者と前記被験者との各規定動作データの対応する区間を抽出する対応区間抽出手段をさらに有し、前記変換行列算出手段は、前記抽出された対応する区間の情報に基づいて、前記模範者特徴量と前記被験者特徴量との間の変換行列を前記部位ごとに算出することもできる。

さらに、本開示の動作解析装置は、前記規定動作データ取得手段が、前記模範者および前記被験者の利き手および利き足の少なくともいずれかの部位に装着された運動計測装置を用いて計測された前記規定動作データを取得するものであって、前記部位に関して、前記模範者が右利きである一方で前記被験者が左利きである場合、または前記模範者が左利きである一方で前記被験者が右利きである場合に、該異なる部位における前記模範者の規定動作データと被験者の規定動作データとを対応させるようにデータ変換するデータ変換手段をさらに有することもできる。

さらに、本開示の動作解析装置は、前記模範者特徴量および前記被験者特徴量が、加速度成分および角速度成分を少なくとも含むこともできる。

本開示の動作解析方法は、模範者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得し、前記取得された各規定動作データから前記模範者の規定動作データの模範者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出し、前記模範者特徴量と前記被験者特徴量との間の変換行列を算出し、前記模範者の特定動作についての特定動作データを取得し、前記取得された模範者の特定動作データから前記変換行列を用いて前記被験者用の模範特定動作情報を生成し、前記被験者用の模範特定動作情報を提示する。

本実施形態の動作解析システム１の概略構成を示すブロック図である。 本実施形態の運動計測装置１０を被験者等に装着させた一例を示す図である。 本実施形態の動作解析装置２０のハードウェア構成を示す概略図である。 本実施形態の右手データを左手データに変換するための回転行列Ｒを説明するための図である。 本実施形態の模範者と被験者との特定動作データを提示内容の一例を示す図である。 本実施形態の動作解析装置２０の動作解析方法におけるフローチャートの一例を示す。

以下、本開示を実施するための好適な実施形態を、図面を参照しながら説明する。

図１は、本実施形態の動作解析システム１の概略構成を示すブロック図である。

動作解析システム１は、図１に示すとおり、運動計測装置１０ａ〜１０ｅと、動作解析装置２０とを含んで構成され、各運動計測装置１０ａ〜１０ｅと動作解析装置２０とは無線または有線で通信可能に接続され、データの送受信を行うことができる。なお、各運動計測装置１０ａ〜１０ｅと動作解析装置２０とは、無線または有線で通信可能に接続される場合に限られず、たとえば、ＵＳＢメモリなどのメディアを介してデータの受け渡しを行うこともできる。

運動計測装置１０ａ〜１０ｅは、熟練者などの模範者Ａと初心者などの被験者Ｂとの身体に装着される装置であって、加速度センサ１１と、ジャイロセンサ１２と、各センサで計測されたデータ（規定動作データ）を動作解析装置２０に送信する通信手段１３と、該通信手段１３および各センサ１１，１２を制御する制御手段１４を有する。複数の運動計測装置１０ａ〜１０ｅは、模範者および被験者の各部位、たとえば、図２に示すように、右手首（１０ａ）、左手首（１０ｂ）、腰（１０ｃ）、右足（１０ｄ）、左足（１０ｅ）に装着される。なお、図２では、運動計測装置を装着させる部位の数を５つとした場合を例示しているが、これに限られず、少なくとも身体の１つ以上の部位に運動計測装置を装着させることができる。

本実施形態の運動計測装置１０において、加速度センサ１１は、３次元の軸方向（ｘ軸方向、ｙ軸方向、ｚ軸方向）の加速度成分を計測する３軸加速度センサであり、また、ジャイロセンサ１２は、３次元の軸回り（ｘ軸回り、ｙ軸回り、ｚ軸回り）の角速度成分を計測する３軸ジャイロセンサである。

なお、運動計測装置１０ａ〜１０ｅの構成および機能や、該運動計測装置１０ａ〜１０ｅで用いられる加速度センサ１１およびジャイロセンサ１２の構成および機能は、一般的に知られている運動計測装置や、加速度センサおよびジャイロセンサのものと原則として共通とすることができるので、ここでの詳細な説明は省略する。また、加速度センサ１１は、上記のように、３軸加速度センサに限られず、１軸加速度センサまたは２軸加速度センサを用いることもできる。ジャイロセンサ１２の場合も同様である。

動作解析装置２０は、模範者Ａおよび被験者Ｂに装着された運動計測装置１０ａ〜１０ｅから動作データを取得し、該取得した動作データを変換等して被験者Ｂなどに提示する装置である。

動作解析装置２０は、ハードウェアとして、図３に示すように、たとえば、ＣＰＵ、ＣＰＵにバス結合されたＲＯＭ、ＲＡＭ、記憶部、入力部、表示部、および入出力インタフェースなど、通常のコンピュータ装置と同様のハードウェアを備える。これら動作解析装置２０は、物理的には、専用化したシステム、あるいは汎用の情報処理装置のいずれであってもよい。たとえば、一般的な構成の情報処理装置において、本発明の動作解析方法における各処理を規定したソフトウェアを起動することにより、動作解析装置２０を実現することもできる。

動作解析装置２０は、図１に示すように、規定動作データ取得手段２１、対応区間抽出手段２２、左右データ変換手段２３、特徴量抽出手段２４、変換行列算出手段２５、特定動作データ取得手段２６、生成手段２７、提示手段２８、およびデータベース２９を有する。これら各手段は、たとえば、主にＣＰＵがＲＯＭやＲＡＭに格納されるプログラムを実行し、各ハードウェアを制御することによって実現することができ、データベース２９は、ＲＡＭや記憶部を用いて実現することができる。

データベース２９は、後述するように、模範者に装着された運動計測装置１０ａ〜１０ｅごとに計測された規定動作データＡａ〜Ａｅに対して、行動の識別情報（行動ラベル）をラベリングしたものを記憶する。また、被験者の規定動作データＢａ〜Ｂｅも同様に記憶する。

規定動作データ取得手段２１は、模範者Ａと被験者Ｂとが規定動作をした場合のそれぞれの規定動作データを取得する。すなわち、規定動作データ取得手段２１は、模範者Ａの身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された、各運動計測装置１０ａ〜１０ｅごとの規定動作データＡａ〜Ａｅを受信して取得し、被験者Ｂの場合も同様に、各運動計測装置１０ａ〜１０ｅごとの規定動作データＢａ〜Ｂｅを受信して取得する。各規定動作データＡａ〜Ａｅ，Ｂａ〜Ｂｅはそれぞれ、３次元の軸方向の加速度成分と３次元の軸回りの角速度成分とを含む６次元ベクトルν＝（ｇ_ｘ，ｇ_ｙ，ｇ_ｚ，ａ_ｘ，ａ_ｙ，ａ_ｚ）の時系列データとして表現することができる。

ここで、規定動作とは、模範者Ａと被験者Ｂとが運動計測装置１０を装着させて行う予め規定された一連の姿勢・動作である。規定動作は、たとえば、「気をつけ」の姿勢から腕を真っ直ぐ前方に出して「前へならえ」の姿勢をし、次にそのまま腕を真っ直ぐ上方にもってきて「手先を天に向けた」姿勢をし、次に自分の身体の正面に平行に腕を下げて「両腕を横に広げた」姿勢をし、次にさらに自分の身体の正面に平行に腕を下げて「気をつけ」の姿勢をするといったいわゆる「深呼吸」の一連の姿勢・動作とすることができる。また、各姿勢では、一定時間、静止状態を保つように、たとえば、加速度センサで計測されたデータの場合、運動計測装置を装着した部位にかかる重力加速度成分が０、もしくは最大・最小値（±１Ｇ）の値を取るような姿勢を含むようにする。その結果、各姿勢における静止状態、および各姿勢から次の姿勢までの動作状態を一区間（検出区間）として分節化が可能となる。たとえば、上記の「深呼吸」の一連の姿勢・動作の例でいえば、「気をつけ」の姿勢、「気をつけ」の姿勢から「前へならえ」の姿勢までの動作、「前へならえ」の姿勢、「前へならえ」の姿勢から「手先を天に向けた」姿勢までの動作、「手先を天に向けた」姿勢、「手先を天に向けた」姿勢から「両腕を横に広げた」姿勢までの動作、「両腕を横に広げた」姿勢、「両腕を横に広げた」姿勢から「気をつけ」の姿勢までの動作、「気をつけ」の姿勢と、９個の規定姿勢・動作に分節化が可能となる。

なお、規定動作は、上記「深呼吸」の場合の他にも、上半身全体、下半身全体、または全身を用いる姿勢や動作を組み合わせて行う一連の規定姿勢・動作とすることができる。さらに、規定動作は、模範者Ａや被験者Ｂの利き手や利き足を用いた特徴的な規定姿勢・動作、たとえば、右手でボールを投げる、右手で包丁を使う、および左足でボールを蹴るなどの一連の規定姿勢・動作を含むことができる。

規定動作データ取得手段２１は、模範者Ａに装着された運動計測装置１０ａ〜１０ｅごとに計測され、上記規定動作を分節化した区間ごとの６次元ベクトルの時系列データからなる規定動作データＡａ〜Ａｅに対して、行動の識別情報（行動ラベル）をラベリングし、データベース２９に記憶する。

対応区間抽出手段２２は、模範者Ａと被験者Ｂとの各規定動作データＡａ〜Ａｅ，Ｂａ〜Ｂｅを用いて、ＤＰマッチングなどの２つの時系列データ間の類似度を検知する手法を用いて模範者Ａと被験者Ｂの各規定動作データの対応する区間を抽出する。すなわち、ＤＰマッチングを用いて、模範者Ａの規定動作データの上記分節化された区間・行動ラベルに対応する被験者の規定動作データの区間・行動ラベルを推定する。たとえば、模範者Ａと被験者Ｂとが右手首の部位に運動計測装置１０ａを装着して計測された規定動作データＡａと規定動作データＢａとの対応する区間を抽出する場合、模範者Ａの「気をつけ」の姿勢の一区間の規定動作データと、該区間に対応する被験者Ｂの「気をつけ」の姿勢の一区間の規定動作データとを抽出する。なお、ＤＰマッチングを用いる上記手法は、従来のＤＰマッチングと同様の手法を用いることができるので、ここでの詳細な説明は省略するが、ＤＰマッチングの距離尺度は、たとえば、生データ間のユークリッド距離を用いる。

左右データ変換手段（データ変換手段）２３は、模範者Ａの利き手および利き足の少なくともいずれかの部位が被験者Ｂの利き手および利き足の部位と異なる場合に、該当する模範者Ａの規定動作データと被験者Ｂの規定動作データとを対応させるようにデータ変換する。たとえば、模範者Ａと被験者Ｂとの利き手および利き足情報が予め動作解析装置２０に入力されるものとし、模範者Ａが右利きで、被験者Ｂが左利きの場合には、模範者Ａの右手首に装着された運動計測装置１０ａで計測された右手首の規定動作データ（右手データ）に対して、これを左手首の規定動作データ（左手データ）にデータ変換する。なお、利き手・利き足で無い他方の手・足も同様に変換することができる。この変換は、たとえば、図４に示すように、身体の対称性を利用して簡単な回転行列Ｒを用いて行うことができる。すなわち、図４のように計測時の座標系を設定している場合、右手首の動作を計測した規定動作データを、左手首の動作を計測した規定動作データとして鏡像に変換するには、加速度成分はｘ軸で計測した加速度データのみを反転するように数式（１）を用いて、角速度成分はｘ軸以外の要素が反転するように数式（２）を用いることができる。なお、回転行列Ｒは、計測時の座標系、具体的には、運動計測装置を各部位に付ける向きなどに合わせて設定することができる。

よって、図４に示す場合であれば、右手首の規定動作データ（右手データ）に対して、これを左手首の規定動作データ（左手データ）に変換する左右変換行列は、下記の数式（３）となる。

特徴量抽出手段２４は、規定動作データ取得手段２１で取得された模範者Ａの規定動作データＡａ〜Ａｅ、および被験者Ｂの規定動作データＢａ〜Ｂｅから、部位ごとに、模範者Ａの規定動作データの模範者特徴量、および被験者Ｂの規定動作データの被験者特徴量を抽出する。

ここで、特徴量の抽出方法について説明する。特徴量抽出手段２４は、各規定動作データ（加速度データおよび角速度データ）から模範者特徴量および被験者特徴量を抽出する際に、各規定動作データの検出区間ごとに、たとえば、時系列のデータに一定時間のスライディングウィンドウ（一定の時間窓）を適用し、そのウィンドウ毎にウィンドウ内の各データの平均特徴ベクトルと標準偏差ベクトルを求める。そして、各規定動作データの検出区間ごとに、その区間に含まれる各ウィンドウの平均特徴ベクトルおよび標準偏差ベクトルについての平均値を求め、平均ベクトルμ（６次元ベクトル）と偏差ベクトルσ（６次元ベクトル）、すなわち１２次元の特徴ベクトルを得る。平均ベクトルμおよび偏差ベクトルσを、規定動作を分割した検出区間ごとに抽出することにより、規定姿勢・動作の検出区間が全部でｎ個である場合、１つの運動計測装置１０ａで計測された規定動作データに対して１２ｎ次元の模範者特徴量（模範者特徴ベクトル）を抽出することができる。そして、模範者Ａの身体に装着された他の運動計測装置１０ｂ〜１０ｅから計測された規定動作データＡｂ〜Ａｅに対しても同様に模範者特徴量（模範者特徴ベクトル）を抽出する。さらに、被験者Ｂの身体に装着された運動計測装置１０ａ〜１０ｅから計測された規定動作データＢａ〜Ｂｅに対して被験者特徴量（被験者特徴ベクトル）を抽出する。なお、このような特徴量を抽出する手法は、上記非特許文献１などに記載の技術を利用することができる。

変換行列算出手段２５は、部位ごとに、模範者Ａの規定動作データの模範者特徴量と被験者Ｂの規定動作データの被験者特徴量との間の変換行列を算出する。

ここで、上記変換行列の算出方法について説明する。模範者Ａおよび被験者Ｂにおいて対応する部位ｐで計測された規定動作データＡ_ｐ，Ｂ_ｐから抽出した一検出区間における各特徴ベクトル（１２次元のベクトル）をそれぞれμ^A _p，μ^B _pとすると、これらの関係はアフィン変換として数式（４）で表現することができる。したがって、数式（４）より、一検出区間における模範者の特徴ベクトルから被検者の特徴ベクトルへアフィン変換する変換行列Ｔを算出することができる。本実施形態では、各区間について算出した変換行列Ｔの平均を求め、これを模範者の模範者特徴量から被検者の被験者特徴量へアフィン変換する変換行列Ｔ_pとして用いる。

特定動作データ取得手段２６は、模範者Ａの特定動作についての特定動作データを取得する。すなわち、規定動作データ取得手段２１は、模範者Ａの身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された各規定動作データＡａ〜Ａｅを受信して取得する。特定動作データ取得手段２６は、模範者Ａと共通の特定動作についての被験者の特定動作データＢａ〜Ｂｅも取得する。このように計測された特定動作データに対して、上述したように、特徴量抽出手段２４が、模範者Ａの特定動作データ、および被験者Ｂの規定動作データから、部位ごとに、模範者Ａの特定動作の模範者特徴量、および被験者Ｂの特定動作の被験者特徴量を抽出する。なお、模範者Ａ（被験者Ｂ）は、規定動作を計測する場合と特定動作を計測する場合とで運動計測装置の装着の位置のズレを防ぐために、規定動作を行って規定動作データを計測した後、各運動計測装置１０ａ〜１０ｅを装着したまま、特定動作を行って特定動作データを計測することができる。

生成手段２７は、模範者Ａの特定動作データから、変換行列Ｔ_pを用いて被験者用の模範特定動作情報を生成する。被験者用の模範特定動作情報は、具体的には、模範者Ａの特定動作データについて抽出された模範者特徴量を変換行列Ｔ_pを用いて変換し、該変換して生成された模範者特徴量のうち１以上の要素を抽出したものである。すなわち、生成手段２７は、模範者Ａの特定動作のある部位ｐの特定動作データにおける平均ベクトルの時系列：Ｖ^Ａ(ｔ)＝（ｇ_ｘ(ｔ)，ｇ_ｙ(ｔ)，ｇ_ｚ(ｔ)，ａ_ｘ(ｔ)，ａ_ｙ(ｔ)，ａ_ｇｚ(ｔ)）およびスライディングウィンドウでの時間窓をかけた規定動作データにおける偏差ベクトルの時系列：Ｓ^Ａ(ｔ)＝（σ_ｇｘ(ｔ)，σ_ｇｙ(ｔ)，σ_ｇｚ(ｔ)，σ_ａｘ(ｔ)，σ_ａｙ(ｔ)，σ_ａｚ(ｔ)）’を求め、ベクトルμ^Ａ(ｔ)＝（Ｖ^Ａ(ｔ)，Ｓ^Ａ(ｔ)）’として模範者特徴量を求める。該模範者特徴量に対して、上記変換行列Ｔ_pの擬似逆行列Ｔ_p ^＋を掛けて、μ^Ａ→Ｂ(ｔ)＝Ｔ_p ^＋μ^Ａ(ｔ)として模範者Ａの特定動作データの模範者特徴量を変換して、該変換された模範者特徴量のうち１以上の要素を被験者用の模範特定動作情報として抽出する。なお、擬似逆行列Ｔ_p ^＋は、Ｔ_pがＭ×Ｎの行列として、ｒａｎｋＴ_p＝Ｍの場合、Ｔ_p ^＋＝Ｔ_p’(Ｔ_pＴ_p’)^−１、ｒａｎｋＴ_p＝Ｎの場合、Ｔ_p ^＋＝ (Ｔ_pＴ_p’)^−１Ｔ_p’として一意に求まる。そのため、Ｔ_pが正則でなく逆行列を持たない場合にも演算が可能である。部位ｐ以外の各部位の動作データについても同様に模範者Ａの特定動作データの模範者特徴量から、変換行列Ｔ_pを用いて被験者用の模範特定動作情報をそれぞれ生成する。なお、変換された模範者特徴量は、μ^Ａ→Ｂ(ｔ)＝（Ｖ^Ａ→Ｂ(ｔ)，Ｓ^Ａ→Ｂ(ｔ)）’として得られる。

提示手段２８は、被験者Ｂの実際の特定動作データと、生成手段２７によって生成された被験者用の模範特定動作情報を提示する。提示手段２８は、たとえば、動作解析装置２０のディスプレイなどの表示部に、被験者用の模範特定動作情報、すなわち変換された模範者特徴量Ｖ^Ａ→Ｂ（ｔ）の１以上の要素（たとえば、ｘ軸、ｙ軸、ｚ軸の各軸の加速度成分）と、実際の被験者の特定動作データの被験者特徴量Ｖ^Ｂ（ｔ）の上記被験者用の模範特定動作情報に対応する要素（被験者特定動作情報）とを、図５に示すように表示する。図５において、左上に示す波形は模範者特定動作情報（被験者用の模範特定動作情報を変換行列Ｔ_pで変換する前の元の情報）、右上に示す波形は、模範者特定情報を被験者の体型に変換した被験者用の模範特定動作情報、および右下に示す波形は被験者特定動作情報を例示する。なお、各波形は、横軸が時間（ｔ）、縦軸が加速度（Ｇ）を表している。ここで、変換された模範者特徴量μ^Ａ→Ｂ(ｔ)＝（Ｖ^Ａ→Ｂ(ｔ)，Ｓ^Ａ→Ｂ(ｔ)）’のうち被験者等に向けて表示するのは、Ｖ^Ａ→Ｂ（ｔ）の１以上の要素とすることができる。なお、被験者等に向けて表示する際、Ｓ^Ａ→Ｂ(ｔ)をＶ^Ａ→Ｂ（ｔ）のブレ幅を示す情報として表示することもできる。

以下、図６に示すフローチャートを参照して、動作解析装置２０を用いて実施される本実施形態の動作解析方法を説明する。図６のフローでは、模範者Ａと被験者Ｂとの規定動作データを計測し、変換行列を算出する変換行列算出段階と、変換行列を算出した後、実際の模範者の特定動作データを被験者用の模範特定動作情報に変換し、該変換した特定動作データを提示する提示段階とを含む。また、本フローにおける規定動作として、上述の９つの規定姿勢・動作を含む「深呼吸」を例にとって説明する。なお、各図のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。

まず、変換行列算出段階として、動作解析装置２０は、模範者Ａと被験者Ｂとが規定動作をした場合のそれぞれの規定動作データを取得する（ステップＳ１００）。すなわち、動作解析装置２０は、模範者の身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された、各運動計測装置１０ａ〜１０ｅごとの規定動作データＡａ〜Ａｅを受信して取得し、被験者Ｂの場合も同様に、各運動計測装置１０ａ〜１０ｅごとの規定動作データＢａ〜Ｂｅを受信して取得する。また、動作解析装置２０は、模範者Ａに装着された運動計測装置１０ａ〜１０ｅごとに計測された規定動作データＡａ〜Ａｅに対して、行動の識別情報（行動ラベル）をラベリングし、データベース２９に記憶する。同様に、被験者の規定動作データＢａ〜Ｂｅについてもデータベース２９に記憶する。

次いで、動作解析装置２０は、模範者Ａと被験者Ｂとの各規定動作データＡａ〜Ａｅ，Ｂａ〜Ｂｅを用いて、ＤＰマッチングなどの２つの時系列データ間の類似度を検知する手法を用いて模範者Ａと被験者Ｂの規定動作データＡａ〜Ａｅ，Ｂａ〜Ｂｅの対応する区間を抽出する（ステップＳ１０１）。たとえば、模範者Ａと被験者Ｂとが右手首の部位に運動計測装置１０ａを装着して計測された規定動作データＡａと規定動作データＢａとの対応する区間を抽出する場合、模範者Ａの「気をつけ」の姿勢の一区間の規定動作データＡａと、該区間に対応する被験者Ｂの「気をつけ」の姿勢の一区間の規定動作データＢａとを抽出する。

次いで、動作解析装置２０は、模範者Ａと被験者Ｂとの利き手および利き足の少なくともいずれかが異なる場合、該当する模範者Ａの規定動作データと被験者Ｂの規定動作データとを対応させるようにデータ変換する（ステップＳ１０２）。たとえば、模範者Ａと被験者Ｂとの利き手および利き足情報が予め動作解析装置２０に入力されるものとし、模範者Ａが右利きで、被験者Ｂが左利きの場合には、模範者Ａの右手首に装着された運動計測装置１０ａで計測された右手首の規定動作データ（右手データ）に対して、これを左手首の規定動作データ（左手データ）にデータ変換する。

次いで、動作解析装置２０は、模範者Ａの規定動作データＡａ〜Ａｅ、および被験者Ｂの規定動作データＢａ〜Ｂｅから、部位ごとに、模範者Ａの規定動作の模範者特徴量、および被験者Ｂの規定動作の被験者特徴量を抽出する（ステップＳ１０３）。上述の抽出方法を用いて抽出した結果、部位ごとに、模範者特徴量、および被験者特徴量それぞれ１２×９次元のベクトルを得ることができる。

次いで、動作解析装置２０は、部位ごとに、模範者Ａの規定動作データの模範者特徴量と被験者Ｂの規定動作データの被験者特徴量との間の変換行列を算出する（ステップＳ１０４）。上述の変換行列の算出方法を用いて、模範者特徴量と被験者Ｂの規定動作データの被験者特徴量との間の変換行列Ｔ_pを求めることができる。

次に、提示段階として、まず、動作解析装置２０は、模範者Ａの特定動作についての特定動作データＡａ〜Ａｅを取得する（ステップＳ１０５）。すなわち、動作解析装置２０は、模範者Ａの身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された各規定動作データμ^Ａ(ｔ)を受信して取得する。同様に、模範者Ａと共通の特定動作についての被験者Ｂの特定動作データμ^Ｂ(ｔ)も取得する。

次いで、動作解析装置２０は、模範者Ａの特定動作データから、変換行列Ｔ_pを用いて被験者用の模範特定動作情報を生成する（ステップＳ１０６）。たとえば、μ^Ａ→Ｂ(ｔ)＝Ｔ_p ^＋μ^Ａ(ｔ)として模範者Ａの特定動作データの模範者特徴量μ^Ａ(ｔ)を変換行列Ｔ_pを用いてμ^Ａ→Ｂ(ｔ)に変換し、該変換して生成された模範者特徴量のうち１以上の要素を被験者用の模範特定動作情報として抽出する。

次いで、動作解析装置２０は、被験者Ｂの被験者特定動作情報と、生成手段２７によって変換された被験者用の模範特定動作情報を提示する（ステップＳ１０７）。たとえば、動作解析装置２０のディスプレイなどの表示部に、被験者用の模範特定動作情報、すなわち変換された模範者特徴量Ｖ^Ａ→Ｂ（ｔ）の１以上の要素と、実際の被験者の特定動作データの被験者特徴量Ｖ^Ｂ（ｔ）の上記被験者用の模範特定動作情報に対応する要素（被験者特定動作情報）とを、図５に示すように、表示する。

以上のように、本実施形態の動作解析装置および動作解析方法によれば、模範者と被験者との規定動作データを予め計測し、両データの変換行列を求めておき、特定動作のかかる変換行列を用いて模範者と被験者との特定動作データのうち一方を変換することで、性別・年齢などの体格差、利き手・利き足などの個人差、およびセンサ装着位置のズレなどの差異を解消して、両者間の特定動作データを対比させることができる。その結果、各身体の部位ごとの動作におけるタイミングや振れ幅、姿勢のずれを定量的に示すことができ、被験者に対して身体のどの部位をどのように動かせば良いかを的確にアドバイスすることができる。

また、本開示の動作解析装置および動作解析方法は、模範者や被験者のスキルが動作に現れるような場合に適用することができる。具体的には、模範者の特定動作データを抽出し、これを初心者に提示して教示するようなあらゆる用途、たとえば、車・飛行機・船舶等の運転や操縦スキル、スポーツ全般、楽器演奏、調理（包丁さばき、鍋操作など）、医療・看護・介護でのあらゆる手技など、動作の教育・習熟を必要とする分野や、熟練者（模範者）のスキル伝承を必要とする分野に適用可能である。すなわち、被験者が自分の動作と熟練者の動作との差分を比較しながら模範者の動きに近づけるような動作の学習に用いることができる。また、患者（被験者）に対して、健常者（模範者）の特定動作データを提示し、健常者の動作に近づけるようアドバイスすることで、リハビリテーションなどの用途に活用することもできる。
＜変形例＞
以上のように本発明の好適な実施形態について説明したが、本発明は、以上の実施形態に限定されるべきものではなく、特許請求の範囲に表現された思想および範囲を逸脱することなく、種々の変形、追加、および省略が当業者によって可能である。

たとえば、上記実施形態では、加速度センサおよびジャイロセンサの両方が組み込まれた運動計測装置を例にとって説明したが、本開示はこれに限られず、たとえば、加速度センサのみ、またはジャイロセンサのみを用いることもできる。

また、上記実施形態では、対応区間抽出手段２２を有し、対応する分節化された区間を特定する場合を例にとって説明したが、本開示はこれに限られず、対応区間抽出手段２２を省略することもできる。この場合、たとえば、予め模範者の規定動作データを計測し、該規定動作データの対応区間を定めておき、動作解析装置２０が、被験者に対応区間ごとの姿勢・動作を行うように促すように提示することで、模範者Ａと被験者Ｂの規定動作データの共通する区間を対応づけることができる。

さらに、上記実施形態では、模範者と被験者との利き手・利き足を考慮した例を説明したが、本開示はこれに限られず、特定動作データの種類に応じて、特定動作データが左右対称の動作など利き手・利き足の考慮を省略することもできる。

さらに、上記実施形態では、模範者と被験者との変換行列を１つの場合を例にとって説明したが、本開示はこれに限られず、たとえば、模範者と複数の被験者それぞれに応じた変換行列を算出し、データベース２９に記憶させておくことができる。

さらに、上記実施形態では、特定動作データを模範者と被験者共に計測する場合を例にとって説明したが、本開示はこれに限られず、たとえば、模範者の特定動作データのみを計測することもできる。この場合、被験者用の模範特定動作情報を提示することで、被験者に模範者との体格等の相違を考慮して、どのように動作すべきかを予め把握することができる。

さらに、上記実施形態では、模範者Ａの規定動作データから被検者Ｂの規定動作データへの変換行列を算出する場合を説明したが、たとえば、被験者Ｂの規定動作データから模範者Ａの規定動作データへの変換行列を算出することもできる。この場合、上記実施形態のような擬似逆行列変換は不要となる。

さらに、上記各実施形態では、動作解析装置２０において、それぞれの処理機能を有する各手段が備えられている構成を説明したが、本開示はこれに限られず、各手段の一部または全部が動作解析装置２０と通信可能に接続されたネットワークの他の装置に分散して配されていてもよい。

さらに、動作解析装置２０には、用途に応じた各手段がそれぞれ備えられているが、動作解析装置２０に備えられている各手段は、そのいくつかを一纏めにして構成されていてもよいし、一つの手段をさらに複数の手段に分割して構成されていてもよい。

１ 動作解析システム、
１０ａ〜１０ｅ 運動計測装置、
１１ 加速度センサ、
１２ ジャイロセンサ、
２０ 動作解析装置、
２１ 規定動作データ取得手段、
２２ 対応区間抽出手段、
２３ 左右データ変換手段、
２４ 特徴量抽出手段、
２５ 変換行列算出手段、
２６ 特定動作データ取得手段、
２７ 生成手段、
２８ 提示手段。

Claims (7)

1. 模範者の身体の少なくとも１つの部位、および該部位に対応する被験者の身体の少なくとも１つの部位に装着された運動計測装置を用いて、模範者と被験者とが予め規定された一連の姿勢および動作を含む規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得手段と、
   前記模範者と前記被験者とのそれぞれの規定動作データを用いて、前記模範者と前記被験者との各規定動作データの対応する区間を抽出する対応区間抽出手段と、
   前記取得された各規定動作データから、前記模範者の規定動作データの模範者特徴量および前記被験者の規定動作データの被験者特徴量を前記部位ごとに抽出する特徴量抽出手段と、
   前記抽出された対応する区間の情報に基づいて、前記模範者の規定動作データの模範者特徴量と前記被験者の規定動作データの被験者特徴量との間の変換行列を前記部位ごとに算出する変換行列算出手段と、
   前記模範者と前記被験者とが特定動作をした場合のそれぞれの特定動作データを取得する特定動作データ取得手段と、
   前記取得された模範者の特定動作データから、前記変換行列を用いて前記被験者用の模範特定動作情報を生成する生成手段と、
   前記取得された被験者の特定動作データに基づく被験者特定動作情報と、前記生成された被験者用の模範特定動作情報を関連付けて提示する提示手段と、を有し、
   前記規定動作データ取得手段は、前記模範者および前記被験者の利き手および利き足の少なくともいずれかの部位に装着された運動計測装置を用いて計測された前記規定動作データを取得し、
   前記部位に関して、前記模範者が右利きである一方で前記被験者が左利きである場合、または前記模範者が左利きである一方で前記被験者が右利きである場合に、該当する部位における前記模範者の規定動作データと被験者の規定動作データとを対応させるようにデータ変換するデータ変換手段をさらに有する動作解析装置。
2. 模範者と被験者とが予め規定された一連の姿勢および動作を含む規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得手段と、
   前記取得された各規定動作データから、前記模範者の規定動作データの模範者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出する特徴量抽出手段と、
   前記模範者の規定動作データの模範者特徴量と前記被験者の規定動作データの被験者特徴量との間の変換行列を算出する変換行列算出手段と、
   前記模範者が特定動作をした場合の特定動作データと、前記被験者が前記特定動作をした場合の特定動作データとを取得する特定動作データ取得手段と、
   前記模範者の特定動作データから、前記変換行列を用いて前記被験者用の模範特定動作情報を生成する生成手段と、
   前記被験者の特定動作データに基づく被験者特定動作情報と、前記被験者用の模範特定動作情報とを関連付けて提示する提示手段と、
   を有する動作解析装置。
3. 前記規定動作データ取得手段は、前記模範者および前記被験者の身体の少なくとも１つの部位に装着された運動計測装置を用いて計測された前記規定動作データを取得し、
   前記特徴量抽出手段は、前記部位ごとに前記模範者特徴量、および前記被験者特徴量を抽出し、
   前記変換行列算出手段は、前記部位ごとに、前記模範者特徴量と前記被験者特徴量との間の変換行列を算出する、請求項２に記載の動作解析装置。
4. 前記模範者と前記被験者とのそれぞれの規定動作データを用いて、前記模範者と前記被験者との各規定動作データの対応する区間を抽出する対応区間抽出手段をさらに有し、
   前記変換行列算出手段は、前記抽出された対応する区間の情報に基づいて、前記模範者特徴量と前記被験者特徴量との間の変換行列を算出する、請求項２に記載の動作解析装置。
5. 前記規定動作データ取得手段は、前記模範者および前記被験者の利き手および利き足の少なくともいずれかの部位に装着された運動計測装置を用いて計測された前記規定動作データを取得し、
   前記部位に関して、前記模範者が右利きである一方で前記被験者が左利きである場合、または前記模範者が左利きである一方で前記被験者が右利きである場合に、該当する部位における前記模範者の規定動作データと被験者の規定動作データとを対応させるようにデータ変換するデータ変換手段をさらに有する、請求項２に記載の動作解析装置。
6. 前記模範者特徴量および前記被験者特徴量は、加速度成分および角速度成分を少なくとも含む、請求項２に記載の動作解析装置。
7. データベースを備えるコンピュータ装置による動作解析方法であって、
   前記コンピュータ装置がプログラムを実行することにより実現される規定動作データ取得手段が、模範者と被験者とが予め規定された一連の姿勢および動作を含む規定動作をした場合のそれぞれの規定動作データを取得して前記データベースに記憶し、
   前記コンピュータ装置がプログラムを実行することにより実現される特徴量抽出手段が、前記データベースに記憶された各規定動作データから前記模範者の規定動作データの模範者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出し、
   前記コンピュータ装置がプログラムを実行することにより実現される変換行列算出手段が、前記模範者特徴量と前記被験者特徴量との間の変換行列を算出し、
   前記コンピュータ装置がプログラムを実行することにより実現される特定動作データ取得手段が、前記模範者が特定動作についての特定動作データと、前記被験者が前記特定動作をした場合の特定動作データとを取得して前記データベースに記憶し、
   前記コンピュータ装置がプログラムを実行することにより実現される生成手段が、前記データベースに記憶された模範者の特定動作データから、前記変換行列を用いて前記被験者用の模範特定動作情報を生成し、
   前記コンピュータ装置がプログラムを実行することにより実現される提示手段が、前記被験者の特定動作データに基づく被験者特定動作情報と、前記被験者用の模範特定動作情報とを関連付けて提示する、動作解析方法。

Images