JP6516109B2 - 動作表示システム及びプログラム - Google Patents

Description

本発明は、動作表示システム及びプログラムに関する。

従来、被験者（被計測者）に加速度センサを装着させて、加速度センサによって検出される加速度データに基づいて、被験者の動作を解析する技術が知られている（例えば、特許文献１参照）。例えば、特許文献１には、加速度センサから得られる加速度ベクトルデータを平面図に描画することが開示されている。

国際公開第２００７／０５２６３１号

しかしながら、上記従来技術では、加速度ベクトルデータからでは加速度センサが装着された部位の動きは分かるものの、その動きを行っているときの被計測者の姿勢が分からない。例えば、歩行時の姿勢と、装着された部位の動きとの対応がつかないので、被計測者の実際の動作が分かりにくい。

そこで、本発明は、被計測者の動作を視覚的に分かりやすくすることができる動作表示システムなどを提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る動作表示システムは、被計測者の所定の部位の加速度を検出する加速度センサと、前記被計測者の動作を撮影することで動画像を生成する撮影部と、前記被計測者に取り付けられ、前記部位の位置を前記動画像内で決定するための識別子部と、前記加速度センサによって検出された加速度に基づいて生成される前記部位の動作軌跡を、前記撮影部によって生成された動画像内の前記識別子部に基づいて決定される前記部位の位置に、前記動画像に同期させて重畳する重畳部と、前記重畳部によって前記動作軌跡が重畳された動画像を表示する表示部とを備える。

また、本発明の一態様は、コンピュータを上記動作表示システムとして機能させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明に係る動作表示システムなどによれば、被計測者の動作を視覚的に分かりやすくすることができる。

図１は、実施の形態１に係る動作表示システムの機能構成を示すブロック図である。 図２は、実施の形態１に係る動作表示システムの具体的な構成を示す概略図である。 図３は、実施の形態１に係る加速度センサが被計測者に取り付けられる様子を示す図である。 図４は、実施の形態１に係る加速度センサによって検出された加速度データに基づいて生成される所定の部位の動作軌跡を示す図である。 図５は、実施の形態１に係る重畳部による重畳処理を示す図である。 図６は、実施の形態１に係る動作表示システムの動作を示すフローチャートである。 図７は、実施の形態１の変形例に係る加速度センサが被計測者に取り付けられる様子を示す図である。 図８は、実施の形態２に係る動作表示システムの機能構成を示すブロック図である。 図９は、実施の形態２に係る加速度センサによって検出された加速度データに基づいて生成される所定の部位の三次元座標系での動作軌跡を示す図である。 図１０は、実施の形態２において被計測者に取り付けられた複数の加速度センサの水平面内での取り付け位置を示す図である。 図１１は、実施の形態２に係る加速度センサの取り付け位置毎の動作軌跡を水平面、前額面及び矢状面の各々へ投影した図である。 図１２は、実施の形態２に係る補正部による動作軌跡の補正を説明するための図である。 図１３は、実施の形態２に係る動作軌跡の面積を算出する手法を説明するための図である。

以下では、本発明の実施の形態に係る動作表示システムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
［動作表示システム］
まず、本実施の形態に係る動作表示システムの概要について、図１〜図３を用いて説明する。

図１は、本実施の形態に係る動作表示システム１の機能構成を示すブロック図である。図２は、本実施の形態に係る動作表示システム１の具体的な構成を示す概略図である。図３は、本実施の形態に係る加速度センサ１２０が被計測者２００に取り付けられる様子を示す図である。なお、図１において、破線の矢印は、識別子部１０が撮影部３０によって撮影されることを示し、実線の矢印は、構成要素間での信号（情報）の流れを示している。これは、後述する図８についても同様である。

図１に示すように、動作表示システム１は、識別子部１０と、検出部２０と、撮影部３０と、重畳部４０と、表示部５０とを備える。また、図２に示すように、動作表示システム１は、図１に示す各処理部の機能を実現するために、反射材１１０及び加速度センサ１２０を備えるベルト１００と、ビデオカメラ１３０と、コンピュータ１４０と、ディスプレイ１５０とを備える。

以下では、動作表示システム１が備える各構成要素の詳細について、図面を用いて詳細に説明する。

［識別子部］
識別子部１０は、被計測者２００に取り付けられ、被計測者２００の所定の部位の位置を動画像内で決定するために用いられる。つまり、識別子部１０は、動画像内における目印として機能する。所定の部位は、加速度センサ１２０が装着されている部分（以下、「装着部位」と記載する）である。

本実施の形態では、識別子部１０は、図２に示す反射材１１０である。あるいは、識別子部１０は、色マーカでもよい。反射材１１０は、撮影部３０が被計測者２００を撮影したときに、動画像内での加速度センサ１２０の装着部位を決定するための目印である。反射材１１０は、加速度センサ１２０の装着部位に対する相対位置が固定されている。具体的には、反射材１１０は、加速度センサ１２０の表面に設けられている。すなわち、反射材１１０の位置が、加速度センサ１２０の装着部位の位置に相当する。

例えば、反射材１１０は、加速度センサ１２０の銘板である。あるいは、加速度センサ１２０の銘板に色マーカを識別子部１０として付してもよい。色マーカは、所定の色の印である。例えば、色マーカの色は、被計測者２００が着用する衣服の色とは異なる色である。

［検出部］
検出部２０は、被計測者２００の所定の部位の加速度を検出する。検出部２０は、検出した加速度を重畳部４０へ出力する。検出部２０は、所定の検出レート（単位時間当たりの加速度の検出回数）で加速度を検出して重畳部４０へ出力する。これにより、重畳部４０には、加速度の時間変化を示す時系列データが入力される。

本実施の形態では、検出部２０は、図２に示す加速度センサ１２０である。加速度センサ１２０は、例えば、三軸加速度センサであり、三次元の加速度ベクトルデータを生成する。

加速度センサ１２０は、コンピュータ１４０との間で通信する。加速度センサ１２０は、例えば無線通信により、生成した加速度ベクトルデータをコンピュータ１４０に送信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの所定の無線通信規格に基づいて行われる。

加速度ベクトルデータは、時刻情報（タイムスタンプ）を含んでいる。時刻情報は、加速度を検出した時刻を示している。なお、時刻情報は、コンピュータ１４０が加速度センサ１２０から加速度ベクトルデータを受信したときの時刻を示してもよい。

加速度センサ１２０の検出レートは、例えば、ビデオカメラ１３０による動画像のフレームレートと同じである。これにより、後述する動作軌跡と動画像とを容易に重畳することができる。なお、加速度の検出レートと動画像のフレームレートとは異なっていてもよい。加速度ベクトルデータと動画像との各々には時刻情報が含まれるので、当該時刻情報を用いて動作軌跡と動画像とを同期させて重畳すればよい。

［ベルト］
ここで、反射材１１０及び加速度センサ１２０を被計測者２００に取り付けるための構成について説明する。本実施の形態では、図２に示すように、ベルト１００が、反射材１１０及び加速度センサ１２０を備える。ベルト１００を被計測者２００に装着させることで、反射材１１０を被計測者２００に取り付け、かつ、加速度センサ１２０を被計測者２００の所定の部位に装着させることができる。

ベルト１００は、反射材１１０及び加速度センサ１２０を被計測者２００に取り付けるための取付部材の一例である。図２に示すように、ベルト１００は、ストラップ１０２と、面ファスナー１０４とを備える。

ストラップ１０２は、長尺状の帯又は紐であり、被計測者２００の腰、腕、頭、脚などに巻き付けることで固定される。なお、ストラップ１０２の材料は、特に限定されないが、反射材１１０（又は色マーカ）とは異なる材料及び色で形成されている。

面ファスナー１０４は、ストラップ１０２を固定するための固定具の一例である。面ファスナー１０４は、ループ面とフック面とを有し、それぞれがストラップ１０２の両端部に設けられる。ループ面とフック面とを結合させることで、ストラップ１０２の長さを調節してベルト１００を被計測者２００に固定する。

なお、ここでは、面ファスナー１０４を例に説明したが、ストラップ１０２を固定する手段は、これに限らない。ベルト１００は、面ファスナー１０４ではなく、バックルを備えてもよい。

図３は、本実施の形態に係る加速度センサ１２０が被計測者２００に取り付けられている様子を示す図である。

図３に示す例では、ベルト１００が被計測者２００の腰に装着されることで、加速度センサ１２０及び反射材１１０が被計測者２００の腰の背面側に取り付けられる。なお、加速度センサ１２０及び反射材１１０が取り付けられる位置である装着部位は、腰に限らず、腕、頭、脚などでもよい。

なお、本実施の形態では、ベルト１００を用いて加速度センサ１２０を被計測者２００に取り付けたが、これに限らない。例えば、加速度センサ１２０は、面ファスナー、安全ピン、クリップなどの取付具を備えてもよい。これらの取付具によって、加速度センサ１２０は、被計測者２００に取り付けられてもよい。あるいは、被計測者２００が着用する衣服にポケットなどが設けられ、当該ポケットに加速度センサ１２０が収容されてもよい。このとき、反射材１１０などの識別子部１０は、ポケットの外表面などに取り付けられてもよい。

［撮影部］
撮影部３０は、被計測者２００の動作を撮影することで動画像を生成する。具体的には、撮影部３０は、識別子部１０（反射材１１０）が撮影されるように、被計測者２００を撮影する。なお、識別子部１０は、常に撮影されていなくてもよい。動画像に含まれる所定のフレームにおいて識別子部１０が撮影されなかった場合、重畳部４０は、例えば、当該フレームの前後のフレームを利用して、当該フレームにおける識別子部１０の位置を推定してもよい。

本実施の形態では、撮影部３０は、ビデオカメラ１３０である。ビデオカメラ１３０は、例えば、被計測者２００の動作に合わせて、パン、チルト、ズームなどが可能である。ビデオカメラ１３０は、例えば、被計測者２００を中心に撮影する。

ビデオカメラ１３０は、コンピュータ１４０（又は、ディスプレイ１５０）との間で通信する。ビデオカメラ１３０は、例えば無線通信により、生成した動画像データをコンピュータ１４０に送信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ又はＺｉｇＢｅｅなどの所定の無線通信規格に基づいて行われる。なお、ビデオカメラ１３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルなどの有線でコンピュータ１４０と通信してもよい。

［重畳部］
重畳部４０は、加速度センサ１２０によって検出された加速度に基づいて生成される装着部位の動作軌跡を、撮影部３０によって生成された動画像内の識別子部１０に基づいて決定される装着部位の位置に、動画像に同期させて重畳する。

本実施の形態では、重畳部４０は、加速度センサ１２０から送信された加速度データに基づいて動作軌跡を生成する。具体的には、重畳部４０は、検出された加速度を用いて、所定の部位の基準位置からの変位量及び移動方向を決定する。基準位置は、例えば、被計測者２００が静止しているときの加速度センサ１２０の装着部位である。重畳部４０は、決定した変位量及び移動方向を三次元座標系又は二次元座標系に時系列で連続して描画することで、動作軌跡を生成する。

図４は、本実施の形態に係る加速度センサ１２０によって検出された加速度データに基づいて生成される所定の部位の動作軌跡２２０を示す図である。図４では、動作軌跡２２０を二次元の座標系で示している。

二次元の座標系は、具体的には、被計測者２００に対する前額面（ｘｙ平面）、矢状面（ｙｚ平面）、水平面（ｘｚ平面）などである。本実施の形態では、動作軌跡２２０は、矢状面で示される。すなわち、図４において、ｘ軸は、被計測者２００の左右方向を示し、ｙ軸は、被計測者２００の上下方向（すなわち、鉛直方向）を示し、ｚ軸は、被計測者２００の前後方向を示している。

本実施の形態では、重畳部４０は、動作軌跡を動画像に重畳するために、二次元座標系で動作軌跡を生成する。あるいは、重畳部４０は、三次元座標系で生成した動作軌跡を、二次元座標系に座標変換してもよい。

図１に示すように、重畳部４０は、座標変換部４１を備える。

座標変換部４１は、動作軌跡２２０における特定の点が動画像内の被計測者２００の固定点となるように、動作軌跡２２０を座標変換する。例えば、特定の点は、動作軌跡２２０の座標系における原点２１０であり、固定点は、動画像内の加速度センサ１２０の装着部位の位置である。

本実施の形態では、座標変換部４１は、動画像内の反射材１１０の位置から動画像内の固定点を決定し、特定の点が、決定した固定点になるように、動作軌跡２２０を座標変換する。例えば、反射材１１０は、光を反射させるので、反射材１１０に相当する部分は、他より輝度値が高い。このため、座標変換部４１は、動画像内の画素値と所定の閾値とを比較することで、動画像内の輝度値が当該閾値より高い部分を反射材１１０の位置として決定することができる。

なお、反射材１１０の代わりに色マーカを利用する場合は、座標変換部４１は、色マーカの色を動画像内から検出することで、色マーカの位置を決定することができる。

座標変換部４１は、決定した反射材１１０の位置に基づいて、加速度センサ１２０の装着部位の位置を固定点として決定する。本実施の形態では、反射材１１０の位置が加速度センサ１２０の装着部位の位置であるので、座標変換部４１は、反射材１１０の位置を固定点として決定する。

反射材１１０の位置と加速度センサ１２０の装着部位の位置とが異なる場合、座標変換部４１は、加速度センサ１２０と反射材１１０との位置関係に基づいて、反射材１１０の位置から加速度センサ１２０の装着部位の位置を決定する。具体的には、座標変換部４１は、反射材１１０から加速度センサ１２０までの方向及び距離を、ユーザ入力又は被計測者２００の静止時の画像などに基づいて取得する。座標変換部４１は、反射材１１０の位置に対して、取得した方向及び距離を加算することで、加速度センサ１２０の位置を算出する。

座標変換部４１は、以上のように決定した動画像内の固定点（加速度センサ１２０の装着部位）に、動作軌跡２２０の座標系における原点２１０が一致するように、動作軌跡２２０を座標変換する。加速度センサ１２０の装着部位は、被計測者２００の動作又はビデオカメラ１３０の動きによって、動画像内で移動する。したがって、座標変換部４１は、例えば動画像のフレーム毎に、動作軌跡２２０の座標変換を行う。

重畳部４０は、座標変換された動作軌跡２２０を動画像に重畳する。このとき、重畳部４０は、動作軌跡２２０を拡大して動画像に重畳する。すなわち、動画像に撮影された被計測者２００のスケールと動作軌跡２２０のスケールとは異なっている。本実施の形態では、加速度センサ１２０が被計測者２００の腰に取り付けられているので、動画像に撮影された腰の動きよりも、腰の動きが動作軌跡２２０によって大きく表示されている。

図５は、本実施の形態に係る重畳部４０による重畳処理を示す図である。具体的には、図５の（ａ）は、加速度センサ１２０によって検出された加速度に基づいて生成される動作軌跡２２０を示している。図５の（ｂ）は、ビデオカメラ１３０によって撮影された動画像を示している。図５の（ｃ）は、動作軌跡２２０が重畳された動画像を示している。

図５に示すように、生成された動画像では、動作軌跡２２０の原点２１０が、加速度センサ１２０の装着部位の位置に存在する。すなわち、加速度センサ１２０の装着部位の位置の移動に応じて、動作軌跡２２０の原点２１０も移動する。

なお、動作軌跡２２０は、所定の期間又はタイミングに応じて更新されてもよい。更新とは、直前までの軌跡を削除して、新たに軌跡を描画することである。例えば、動作軌跡２２０は、被計測者２００の歩行動作に応じて更新される。具体的には、被計測者２００の歩行の一歩毎に更新される。これにより、歩行毎の動作軌跡を分かりやすくすることができる。

一方で、動作軌跡２２０は、更新されなくてもよい。これにより、動画像内に継続して動作軌跡が表示されるので、被計測者２００の歩行の様子を連続的に分かりやすくすることができる。

本実施の形態では、重畳部４０は、コンピュータ１４０である。コンピュータ１４０は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。

［表示部］
表示部５０は、重畳部４０によって動作軌跡２２０が重畳された動画像を表示する。本実施の形態では、表示部５０は、ディスプレイ１５０である。ディスプレイ１５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などである。

［動作］
図６は、本実施の形態に係る動作表示システム１の動作を示すフローチャートである。

まず、ビデオカメラ１３０による撮影と、加速度センサ１２０による加速度の検出とを開始する（Ｓ１０）。これにより、コンピュータ１４０には、ビデオカメラ１３０によって撮影された動画像（各フレームの画像データ）と、加速度センサ１２０によって生成された加速度データとが順次入力される。

次に、重畳部４０（コンピュータ１４０）は、加速度データに基づいて動作軌跡を生成する（Ｓ２０）。具体的には、重畳部４０は、加速度に基づいて基準位置からの変位量及びその方向を算出する。重畳部４０は、例えば、図４又は図５の（ａ）に示すような動作軌跡２２０を生成する。

次に、重畳部４０は、動作軌跡２２０を動画像に重畳する（Ｓ３０）。具体的には、動作軌跡２２０の座標系における原点２１０が、動画像内の加速度センサ１２０の装着部位の位置に一致するように、座標変換部４１が動作軌跡２２０を座標変換する。

次に、表示部５０は、動作軌跡２２０が重畳された動画像を表示する（Ｓ４０）。

上記処理は、例えば、動画像のフレーム毎に行われる。具体的には、重畳部４０は、動画像のフレームの時刻に対応する動作軌跡２２０を、当該フレームに重畳する。動画像のフレームが入力されなかった場合に、重畳処理を停止する。

これにより、被計測者２００の動作に合わせてリアルタイムで、動作軌跡２２０が重畳された動画像をディスプレイ１５０に表示することができる。被計測者２００の動作が撮影された動画像に動作軌跡２２０が重畳されているので、被計測者２００の動作を視覚的に分かりやすくすることができる。

なお、リアルタイムではなく、加速度センサ１２０から取得される加速度の時系列データと、ビデオカメラ１３０によって撮影された動画像とをそれぞれ記憶しておき、動画像の再生時に、動作軌跡２２０を動画像に重畳してもよい。この場合、加速度センサ１２０は、無線通信機能を有していなくてもよい。例えば、加速度センサ１２０は、加速度の時系列データを記憶するための、コンピュータ１４０が読み取り可能なメモリを有してもよい。

［効果など］
以上のように、本実施の形態に係る動作表示システム１は、被計測者２００の所定の部位の加速度を検出する加速度センサ１２０と、被計測者２００の動作を撮影することで動画像を生成する撮影部３０と、被計測者２００に取り付けられ、部位の位置を動画像内で決定するための識別子部１０と、加速度センサ１２０によって検出された加速度に基づいて生成される部位の動作軌跡２２０を、撮影部３０によって生成された動画像内の識別子部１０に基づいて決定される部位の位置に、動画像に同期させて重畳する重畳部４０と、重畳部４０によって動作軌跡２２０が重畳された動画像を表示する表示部５０とを備える。

このように、動作表示システム１によれば、加速度センサ１２０によって部位の加速度を検出するだけでなく、被計測者２００の動作を撮影することで動画像を生成する。このため、加速度の時系列データと動画像との時刻情報を対応付けることで、動画像の各フレームに加速度データを対応付けることができる。また、加速度データから部位の変位を算出することができるので、部位の動作軌跡２２０と動画像とを対応付けることができる。

したがって、動画像に動作軌跡２２０を重畳させることで、被計測者２００の動作及び姿勢と部位の動作軌跡２２０とを同時に観察することができる。従来では、動画像と動作軌跡とを別々に表示させていたため、動作を観察する際には、観察者は、動画像と動作軌跡との各々に目線を移動させる必要がある。これに対して、本実施の形態によれば、動画像に動作軌跡２２０が重畳されているので、観察者は視線を移動させなくてもよく、被計測者２００の動作を視覚的に分かりやすくすることができる。

このとき、動作表示システム１が識別子部１０を備えるので、動画像内の識別子部１０の位置を容易に検出することができる。したがって、動画像内の加速度センサ１２０の装着部位の位置を容易に決定することができるので、当該装着部位の位置に基づいて動作軌跡２２０を重畳させることができる。

なお、動作軌跡２２０を生成する手段として、ビデオカメラ１３０によって生成された動画像に対する画像処理を利用することが考えられる。しかしながら、動画像を用いて動作軌跡２２０を生成しようとした場合、ビデオカメラ１３０と被計測者２００との間の距離が長くなる程、部位の変動を画像処理によって検出するのが難しくなる。つまり、動画像に基づく動作軌跡の生成では、測定の自由度が低い。

これに対して、動作表示システム１は、動作軌跡２２０を生成するのに、動画像ではなく、加速度センサによって検出された加速度データを利用する。したがって、例えば、重畳部４０を備えるコンピュータ１４０が加速度センサ１２０と無線通信が可能な範囲であれば、加速度データに基づいて部位の動作軌跡２２０を精度良く生成することができる。よって、本実施の形態によれば、測定の自由度が高い動作表示システム１を実現することができる。

また、例えば、重畳部４０は、動作軌跡２２０における特定の点が動画像内の被計測者２００の固定点となるように、動作軌跡２２０を座標変換する座標変換部４１を備え、座標変換された動作軌跡２２０を動画像に重畳する。

これにより、動作軌跡２２０における特定の点が動画像内の固定点となるように座標変換を行うので、例えば、動作軌跡２２０の基準となる点を、動画像内の加速度センサ１２０の装着部位に整合させることができる。したがって、動作軌跡２２０と動画像内の被計測者２００の動作との対応付けを、より視覚的に分かりやすくすることができる。

また、例えば、特定の点は、動作軌跡２２０の座標系における原点２１０であり、固定点は、動画像内の部位の位置である。

これにより、動作軌跡２２０の座標系における原点２１０を、動画像内の加速度センサ１２０の装着部位に整合させることができるので、動作軌跡２２０と動画像内の被計測者２００の動作との対応付けを、より視覚的に分かりやすくすることができる。

また、例えば、識別子部１０は、部位に対する相対位置が固定されており、座標変換部４１は、動画像内の識別子部１０の位置から動画像内の固定点を決定し、特定の点が、決定した固定点になるように、動作軌跡２２０を座標変換する。

これにより、識別子部１０と加速度センサ１２０の装着部位との位置関係に基づいて動画像内の加速度センサ１２０の装着部位を決定するので、識別子部１０と加速度センサ１２０とが異なる部位に取り付けられていてもよい。このため、例えば、被計測者２００の動作によって加速度センサ１２０が撮影されなかった場合にも、識別子部１０の位置に基づいて加速度センサ１２０の装着部位を決定することができる。したがって、加速度センサ１２０の装着部位の自由度を高めることができ、測定の自由度を高めることができる。

また、例えば、識別子部１０は、色マーカ又は反射材である。

これにより、動画像内の識別子部１０の位置を精度良く抽出することができるので、加速度センサ１２０の位置を精度良く決定することができる。

なお、本実施の形態に係る技術は、動作表示システム１として実現することができるだけでなく、コンピュータを、上述した動作表示システム１として機能させるためのプログラムとして実現することもできる。あるいは、当該プログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体として実現することもできる。

つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

（変形例）
上記の実施の形態では、１つのみの識別子部１０（反射材１１０）が設けられている場合について示したが、これに限らない。動作表示システムは、複数の識別子部を備えてもよい。複数の識別子部は、被計測者２００の互いに異なる部位に取り付けられる。本変形例では、複数の識別子部は、被計測者を間に挟んで対向する位置に取り付けられる。

図７は、本変形例に係る加速度センサ１２０が被計測者２００に取り付けられる様子を示す図である。具体的には、図７の（ａ）は、被計測者２００の背面側を示しており、（ｂ）は、被計測者２００の正面側を示している。

図７に示すように、２つの反射材１１０及び１１１が、被計測者２００の背面と前面とに設けられている。

２つの反射材１１０及び１１１は、それぞれが、加速度センサ１２０の装着部位との相対的な位置関係が固定されている。例えば、反射材１１０は、加速度センサ１２０の外表面に設けられている。すなわち、反射材１１０は、加速度センサ１２０の装着部位に位置している。

反射材１１１は、被計測者２００を間に挟んで、反射材１１０の反対側に設けられている。例えば、２つの反射材１１０及び１１１の間の距離及び方向は、予め定められている。座標変換部４１は、反射材１１０から反射材１１１までの方向及び距離を、ユーザ入力又は被計測者２００の静止時の画像などに基づいて取得する。

本変形例では、重畳部４０は、２つの反射材１１０及び１１１の少なくとも一方の位置を動画像内から決定する。これにより、重畳部４０は、決定した位置から、加速度センサ１２０の装着部位の位置を決定することができる。

例えば、被計測者２００の動きをカメラで追いかけて撮影する場合、常に反射材１１０（識別子部１０）が撮影できるとは限らない。被計測者２００の別の部位（例えば、腕）などによって反射材１１０が隠れてしまい、撮影できなくなる場合が起こりうる。

このとき、例えば、前後のフレームに撮影された反射材１１０の位置から、対象のフレームに撮影された反射材１１０の位置を、補間処理などにより推定してもよい。反射材１１０が撮影されない期間が一瞬などの短い期間であれば、精度の高い推定が可能になる。

しかしながら、例えば、反射材１１０が撮影されない時間が長くなった場合には、反射材１１０の正確な位置を推定することができなくなるので、動作軌跡２２０を重畳するときの基準の位置を決定することが難しくなる。

これに対して、本変形例に係る動作表示システムでは、識別子部１０を複数備え、複数の識別子部１０は、被計測者２００を間に挟んで対向する位置に取り付けられる。

これにより、動作表示システムが複数の識別子部１０を備えるので、複数の識別子部１０のいずれか１つが動画像に撮影されていれば、加速度センサ１２０の装着部位を決定することができる。例えば、反射材１１０が撮影されない場合でも、反射材１１１の位置に基づいて加速度センサ１２０の装着部位を決定することができる。このため、動作軌跡２２０の重畳を精度良く行うことができる。

また、１つの識別子部１０が常に撮影されるようにする必要がなくなり、ビデオカメラ１３０による撮影の自由度を高めることができる。したがって、測定の自由度を高めることができる。

（実施の形態２）
続いて、実施の形態２に係る動作表示システムについて説明する。

実施の形態１に係る動作表示システム１では、動作軌跡を二次元座標系で示したのに対して、本実施の形態に係る動作表示システムでは、動作軌跡を三次元座標系で示す点が相違する。また、本実施の形態に係る動作表示システムでは、加速度センサ１２０の取り付け位置に応じた補正を行う。以下では、実施の形態１との相違点を中心に説明し、実施の形態１と同じ点については説明を省略又は簡略化する場合がある。

図８は、本実施の形態に係る動作表示システム３０１の機能構成を示すブロック図である。図８に示すように、動作表示システム３０１は、実施の形態１に係る図１に示す動作表示システム１と比較して、重畳部４０の代わりに重畳部３４０を備える点と、補正部３６０及び推定部３７０を新たに備える点とが相違する。

重畳部３４０は、三次元座標系で表された部位の動作軌跡を、動画像内の部位の位置に重畳する。本実施の形態では、重畳部３４０は、補正部３６０によって補正された三次元座標系の動作軌跡を重畳する。具体的な処理は、二次元座標系の動作軌跡ではなく、補正部３６０によって補正された三次元座標系の動作軌跡を利用する点を除いて、実施の形態１に係る重畳部４０と同様である。

図９は、本実施の形態に係る加速度センサ１２０によって検出された加速度データに基づいて生成される所定の部位の三次元座標系での動作軌跡４２０を示す図である。図９では、太い点線で動作軌跡４２０を表し、細い実線で三次元座標系の各軸（ｘ軸、ｙ軸及びｚ軸）を表している。なお、図９に示す三次元座標系の動作軌跡４２０を水平面（ｘｚ平面）、前額面（ｘｙ平面）、矢状面（ｙｚ平面）のいずれかに投影することで、実施の形態１で説明した二次元座標系の動作軌跡を得ることができる。

補正部３６０は、加速度センサ１２０によって検出された三次元の加速度データに基づいて、三次元座標系で動作軌跡４２０を生成する。本実施の形態では、補正部３６０は、加速度センサ１２０が正しく取り付けられなかった場合の動作軌跡（図１１に示す動作軌跡４２１及び４２２）のずれを補正する。具体的には、補正部３６０は、基準方向に対する動作軌跡の傾きを補正する。

推定部３７０は、被計測者の歩行の左右の動作を推定する。具体的には、推定部３７０は、補正部３６０によって補正された動作軌跡に基づいて、被計測者の歩行の代表的な動作を推定する。代表的な動作は、踵接地、足底接地、立脚中期、踵離地、足指離地及び遊脚中期などである。

推定部３７０は、動作軌跡４２０を構成する複数の微小三角形の各々の面積を積算することで、被計測者の歩行の左右の動作を推定する。推定処理の詳細については、後で説明する。

補正部３６０及び推定部３７０は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどで構成される。

［傾きの補正］
ここで、加速度センサ１２０が正しく取り付けられなかった場合の動作軌跡のずれについて説明する。

図１０は、本実施の形態において被計測者２００に取り付けられた複数の加速度センサの水平面内での取り付け位置を示す図である。なお、図１０は、被計測者２００の腰に取り付けられたベルト５００の水平面に沿った断面図を示している。

本実施の形態に係る加速度センサ１２０は、ベルト５００のストラップ１０２に固定されている。ベルト５００が被計測者２００の腰などに取り付けられることにより、加速度センサ１２０は、取り付けられた部位（装着部位）の三次元の加速度ベクトルデータを生成する。

図１０に示すように、ベルト５００のストラップには、加速度センサ５２１及び５２２が取り付けられている。加速度センサ５２１及び５２２はそれぞれ、加速度センサ１２０と機能が同じであり、取り付け位置のみが異なっている。具体的には、加速度センサ５２１は、加速度センサ１２０の左側に６ｃｍずれた位置に取り付けられている。加速度センサ５２２は、加速度センサ１２０の右側に６ｃｍずれた位置に取り付けられている。なお、加速度センサ５２１及び５２２は、加速度センサ１２０が正しい位置に取り付けられなかった場合のデータを収集するために取り付けられた検証用の加速度センサである。

本実施の形態では、加速度センサ１２０の正しい取り付け位置は、被計測者２００の腰の背中側の中央である。ベルト５００は被計測者２００の腰回りに取り付けられるため、正しい位置からずれた加速度センサ５２１及び５２２は、図１０に示すように、基準方向Ｄに対して傾斜する。ここでは、加速度センサ５２１及び５２２の各々の傾斜角をα及びβとする。

基準方向Ｄは、正しい位置に取り付けられた加速度センサ１２０の姿勢に応じて定められる。例えば、基準方向Ｄは、加速度センサ１２０と被計測者２００との接触部分に直交する方向である。ここでは、加速度センサ１２０が被計測者２００の腰の背中側の中央に取り付けられるので、基準方向Ｄは、被計測者２００の前後方向（ｚ軸方向）になる。

図１１は、本実施の形態に係る加速度センサ１２０、５２１及び５２２の取り付け位置毎の動作軌跡４２０、４２１及び４２２を水平面、前額面及び矢状面の各々への投影した図である。動作軌跡４２０、４２１及び４２２は、実施の形態１と同様に二次元座標系で表されている。

図１１に示すように、左に６ｃｍずれた位置に取り付けられた加速度センサ５２１の動作軌跡４２１は、正しい位置に取り付けられた加速度センサ１２０の動作軌跡４２０が、傾斜角αで左に傾斜したものに相当する。同様に、右に６ｃｍずれた位置に取り付けられた加速度センサ５２２の動作軌跡４２２は、正しい位置に取り付けられた加速度センサ１２０の動作軌跡４２０が、傾斜角βで右に傾斜したものに相当する。

図１１に示すように、加速度センサ５２１又は５２２に基づいて生成された二次元座標系の動作軌跡４２１又は４２２では、加速度センサ１２０に基づいて生成された二次元座標系の動作軌跡４２０に比べて、その形状が崩れている。このため、推定部３７０による左右の動作の推定結果に誤りが生じる恐れがある。

そこで、本実施の形態では、補正部３６０は、基準方向Ｄに対する動作軌跡４２１又は４２２の傾きを補正する。具体的には、補正部３６０は、三次元の回転行列を用いて動作軌跡４２１又は４２２を回転させる。なお、例えば、前額面がｘｙ平面で、水平面がｘｚ平面で、矢状面がｙｚ平面とする。

具体的には、補正後の座標系（Ｘ，Ｙ，Ｚ）の座標値は、補正前の座標系（ｘ，ｙ，ｚ）の座標値を用いて表すことができる。具体的には、補正前の座標系（ｘ，ｙ，ｚ）をｘ軸の周りに角度θだけ回転させて（ｘ，Ｙ’，Ｚ’）とし、これをさらにＹ’軸の周りに角度ψだけ回転させて（Ｘ’，Ｙ’，Ｚ）とする。さらに、これをＺ軸の周りに角度φだけ回転させることで、（Ｘ，Ｙ，Ｚ）に一致させることができる。これにより、補正後の座標系（Ｘ，Ｙ，Ｚ）は、以下の（式１）で表される。

例えば、図１０に示す加速度センサ５２１のように、水平面での傾きがαで、前額面及び矢状面では傾斜していない場合、上記（式１）に、θ＝０、ψ＝０、φ＝αを代入することで、動作軌跡４２１を補正することができる。

図１２は、本実施の形態に係る補正部３６０による動作軌跡の補正を説明するための図である。図１２では、回転前（すなわち、補正前）の動作軌跡４２０、４２１及び４２２を前額面から見たときの図を示している。

図１２に示すように、加速度センサ５２１から得られた動作軌跡４２１を、傾斜角αの分だけ回転する。これにより、回転後（すなわち、補正後）の動作軌跡４２１ａを、加速度センサ１２０から得られた動作軌跡４２０に近づけることができることが分かる。同様に、加速度センサ５２２から得られた動作軌跡４２２を、傾斜角βの分だけ回転する。これにより、回転後の動作軌跡４２２ａを、加速度センサ１２０から得られた動作軌跡４２０に近づけることができる。

これにより、加速度センサ１２０が正しい位置に取り付けられなかった場合でも、正しい取り付け位置からのずれに基づいて動作軌跡を補正することで、正しい取り付け位置に取り付けた場合と同様の動作軌跡を生成することができる。

［推定処理］
ここで、推定部３７０が行う被計測者２００の歩行の動作の推定処理について説明する。

例えば、図１２に示すように、加速度センサ１２０によって検出された三次元の加速度データに基づいて生成された動作軌跡４２０は、前額面に投影した場合、リサージュ曲線に似た曲線を描く。当該リサージュ曲線の左側の面積と、右側の面積との比に基づいて、推定部３７０は、被計測者２００の歩行の左右のバランスを推定する。例えば、左側の面積と右側の面積とが等しくなれば、被計測者２００が左右にバランス良く歩行できていることが推定される。

以下では、リサージュ曲線の面積の算出方法について、図１３を用いて説明する。図１３は、本実施の形態に係る動作軌跡４２０の面積を算出する手法を説明するための図である。計測点の個数Ｎが偶数（２ｎ）であるか奇数（２ｎ＋１）であるかに応じて、面積の算出方法が異なる。

なお、図１３において、白丸が計測点を示しており、各白丸の近くに記載された数値が計測点の番号を示している。計測点を番号順に繋ぐ太い実線が動作軌跡４２０に相当する。また、３つの計測点を結ぶ細線の三角形の中に記載された数値は、三角形の番号を示している。三角形の番号を示す数値は、計測点の番号と区別するため、四角で囲んで示している。

＜計測点の個数Ｎが偶数（２ｎ）の場合＞
図１３の（ａ）に示すように、推定部３７０は、計測点１から計測点ｎ−１について、三角形２ｉ−１及び２ｉ（ｉ＝ｎ−１）の面積を求める。三角形の面積は、各辺の長さを用いて、ヘロンの公式に基づいて算出することができる。三角形の各辺の長さは、各頂点の座標から算出することができる。ここで、図１３の（ｃ）に示すように、三角形２ｉ−１及び２ｉは、一辺が共通である。三角形２ｉ−１の面積Ｓ１及び三角形２ｉの面積Ｓ２はそれぞれ、以下の（式２）で示される。

三角形１から三角形２ｎ−２までの面積の総和がリサージュ曲線の左側（又は右側）の面積となる。

＜計測点の個数Ｎが奇数（２ｎ＋１）の場合＞
図１３の（ｂ）に示すように、推定部３７０は、計測点１から計測点ｎ−１について、三角形２ｉ−１及び２ｉ（ｉ＝ｎ−１）の面積を求める。具体的には、個数Ｎが偶数（２ｎ）の場合と同様に、ヘロンの公式に基づいて算出することができる。さらに、推定部３７０は、計測点ｎについて、三角形２ｎ−１の面積を求める。三角形１から三角形２ｎ−１までの面積の総和がリサージュ曲線の左側（又は右側）の面積となる。

［効果など］
以上のように、本実施の形態に係る動作表示システム３０１では、加速度センサ１２０は、三軸加速度センサであり、重畳部３４０は、三次元座標系で表された部位の動作軌跡４２０を重畳する。

これにより、三次元座標系で表された動作軌跡を重畳するので、被計測者２００の動作及び姿勢と部位の動作軌跡とを立体的に同時に観察することができる。このため、被計測者２００の動作を視覚的に分かりやすくすることができる。

また、例えば、動作表示システム３０１は、さらに、基準方向Ｄに対する動作軌跡の傾きを補正する補正部３６０を備え、重畳部３４０は、補正部３６０によって補正された動作軌跡を重畳する。

これにより、加速度センサ１２０が正しい位置に取り付けられなかった場合でも、正しい位置に取り付けられた場合と同様の動作軌跡を得ることができる。したがって、被計測者２００の部位の動きを正確に把握することができる。

また、例えば、動作表示システム３０１は、さらに、動作軌跡４２０を構成する複数の微小三角形の各々の面積を積算することで、被計測者２００の歩行の左右の動作を推定する推定部３７０を備える。

これにより、動作軌跡４２０の面積の算出を精度良く行うことができるので、被計測者２００の歩行の左右の動作を精度良く推定することができる。

（その他）
以上、本発明に係る動作表示システムについて、上記の各実施の形態及びその変形例に基づいて説明したが、本発明は、上記の実施の形態などに限定されるものではない。

例えば、上記の実施の形態１では、動作軌跡２２０における特定の点が、動作軌跡２２０の座標系における原点２１０である例について示したが、これに限らない。例えば、特定の点は、動作軌跡２２０がｘ軸、ｙ軸及びｚ軸のいずれかに交差する点、又は、動作軌跡２２０がｘｙ平面、ｙｚ平面及びｘｚ平面のいずれかに交差する点でもよい。あるいは、特定の点は、動作軌跡２２０の重心、又は、初期位置でもよい。

また、例えば、上記の実施の形態１では、撮影部３０、重畳部４０及び表示部５０を実現する構成として、ビデオカメラ１３０、コンピュータ１４０及びディスプレイ１５０を示したが、これに限らない。例えば、ビデオカメラ１３０が備えるディスプレイに、動作軌跡２２０を重畳した動画像を表示してもよい。すなわち、ビデオカメラ１３０は、撮影部３０の機能だけでなく、重畳部４０及び表示部５０の機能を有してもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

１、３０１ 動作表示システム
１０ 識別子部
２０ 検出部
３０ 撮影部
４０、３４０ 重畳部
４１ 座標変換部
５０ 表示部
１１０、１１１ 反射材
１２０ 加速度センサ
１３０ ビデオカメラ
１４０ コンピュータ
１５０ ディスプレイ
２００ 被計測者
２１０ 原点
２２０、４２０ 動作軌跡
３６０ 補正部
３７０ 推定部

Claims (10)

1. 被計測者の所定の部位の加速度を検出する加速度センサと、
   前記被計測者の動作を撮影することで動画像を生成する撮影部と、
   前記被計測者に取り付けられ、前記部位の位置を前記動画像内で決定するための識別子部と、
   前記加速度センサによって検出された加速度に基づいて生成される前記部位の動作軌跡を、前記撮影部によって生成された動画像内の前記識別子部に基づいて決定される前記部位の位置に、前記動画像に同期させて重畳する重畳部と、
   前記重畳部によって前記動作軌跡が重畳された動画像を表示する表示部とを備える
   動作表示システム。
2. 前記重畳部は、前記動作軌跡における特定の点が前記動画像内の前記被計測者の固定点となるように、前記動作軌跡を座標変換する座標変換部を備え、座標変換された動作軌跡を前記動画像に重畳する
   請求項１に記載の動作表示システム。
3. 前記特定の点は、前記動作軌跡の座標系における原点であり、
   前記固定点は、前記動画像内の前記部位の位置である
   請求項２に記載の動作表示システム。
4. 前記識別子部は、前記部位に対する相対位置が固定されており、
   前記座標変換部は、前記動画像内の前記識別子部の位置から前記動画像内の前記固定点を決定し、前記特定の点が、決定した固定点になるように、前記動作軌跡を座標変換する
   請求項３に記載の動作表示システム。
5. 前記識別子部を複数備え、
   前記複数の識別子部は、前記被計測者を間に挟んで対向する位置に取り付けられる
   請求項１〜４のいずれか１項に記載の動作表示システム。
6. 前記識別子部は、色マーカ又は反射材である
   請求項１〜５のいずれか１項に記載の動作表示システム。
7. 前記加速度センサは、三軸加速度センサであり、
   前記重畳部は、三次元座標系で表された前記部位の動作軌跡を重畳する
   請求項１〜６のいずれか１項に記載の動作表示システム。
8. さらに、
   基準方向に対する前記動作軌跡の傾きを補正する補正部を備え、
   前記重畳部は、前記補正部によって補正された動作軌跡を重畳する
   請求項７に記載の動作表示システム。
9. さらに、
   前記動作軌跡を構成する複数の微小三角形の各々の面積を積算することで、前記被計測者の歩行の左右の動作を推定する推定部を備える
   請求項７又は８に記載の動作表示システム。
10. コンピュータを、請求項１〜９のいずれか１項に記載の動作表示システムとして機能させるプログラム。

Images