JP6787409B2 - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理システム及び情報処理方法に関する。

人等の行動をどのように定量化するかについては、さまざまなアプローチがある。例えば、人体の複数部位に複数のセンサを装着して、人体の姿勢を検出する技術が知られている（例えば、特許文献１又は２を参照）。

しかしながら、センサが検出する検出値には、実際の行動とは異なるノイズとなるデータが含まれる。そこで、センサから取得したデータからノイズとなるデータを除去する技術が提案されている。例えば、歩行を検出し、所定の閾値以下の振幅の歩行データを無視することで、歩数をカウントする技術が知られている（例えば、特許文献３を参照）。

特開２０１１−７８７２８号公報 特開２００６−３２６１７４号公報 特開２０１２−６５７４９号公報

しかしながら、上記による閾値の判定では、センサから取得したデータのうちノイズとなるデータなのか否かの判断が困難な場合がある。例えば、身体の状態が良好でない人や老人はそれほど激しい運動をしない場合がある。その場合、所定の閾値を基準に、センサから取得したデータがノイズであるか否かを判定すると、判定結果に誤りが生じ、行動を正しく定量化できなくなる。

そこで、１つの側面では、本発明は、行動を正しく定量化することを目的とする。

１つの実施態様では、対象物に取り付けたセンサから取得した、対象物の動きを示すデータから前記対象物の動きの変化に関する特徴部分のデータを抽出する抽出部と、対象物の行動パターンが記憶された記憶部を参照して、抽出した前記特徴部分のデータに対応する前記対象物の行動を推定する行動推定部と、推定した前記対象物の行動のフォームであって、抽出した前記特徴部分のデータに対応するフォームを推定するフォーム推定部と、を有する情報処理装置が提供される。

１つの側面では、本発明は、行動を正しく定量化することができる。

センサを用いたフォーム推定の一例の課題を説明するための図。 一実施形態に係るセンサを用いたフォーム推定を説明するための図。 一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。 一実施形態に係る情報処理システムの一例を示す図。 一実施形態に係る情報処理装置の機能構成の一例を示す図。 一実施形態に係るセンサ管理テーブルの一例を示す図。 一実施形態に係る体格モデルテーブルの一例を示す図。 一実施形態に係るデータ特定用テーブルの一例を示す図。 一実施形態に係る位置特定用テーブルの一例を示す図。 一実施形態に係る組合せテーブルの一例を示す図。 一実施形態に係る行動学習テーブルの一例を示す図。 一実施形態に係る可動範囲テーブルの一例を示す図。 一実施形態に係る事前処理の一例を示すフローチャート。 一実施形態に係る学習処理の一例を示すフローチャート。 一実施形態に係る学習モードにおける処理の流れを説明するための図。 一実施形態に係るデータ特定用テーブルの一例を示す図。 一実施形態に係るデータ特定用テーブルの波形抽出例を示す図。 一実施形態に係るデータ特定用テーブルと行動学習テーブルの一例を示す図。 一実施形態に係る可動範囲テーブルの一例を示す図。 一実施形態に係るフォーム推定処理の一例を示すフローチャート。 一実施形態に係るフォーム推定モードにおける処理の流れを説明するための図。 一実施形態に係る組合せテーブル、データ特定用テーブル、位置特定用テーブルの一例を示す図。 一実施形態に係るデータ特定用テーブルと行動学習テーブルの一例を示す図。 一実施形態に係るデータ特定用テーブルと位置特定用テーブルの一例を示す図。 一実施形態に係る可動範囲テーブルの一例を示す図。 一実施形態に係る対象物の動きの変化に関する特徴部分の一例を示す図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜はじめに＞
人の行動や生体情報をセンシングし、状況や行動を把握して、それに応じたサービスの提供を行うシステムが提案されている。例えば、リハビリ現場において、患者の連続的な姿勢（以下、「フォーム」という。）をセンシングし、患者のフォームを推定して可視化することで、回復度合いや健康状態の定量的な判断が可能になる。また、このようなサービスの提供は、患者本人のモチベーションを向上させるのに役立つ。

そこで、例えば、モーションキャプチャを用いた行動観察により、人の行動を定量化することが考えられる。また、画像センサやウェアラブルセンサを用いて人の行動を定量化することが考えられる。

しかしながら、これらのセンサを用いた行動の定量化では、センサに含まれるノイズの影響で正しいフォームを推定できない場合がある。その一例としては、ウェアラブルセンサのドリフトノイズの影響で、静止していても移動しているように見える場合が挙げられる。この現象を、図１（ａ）に示すように、例えば、システムの利用者が、足首に位置特定用センサ２（加速度センサ）を付けて歩く場合を例に挙げて説明する。

位置特定用センサ２が検知したｙ軸方向の加速度を積分すると、図１（ｂ）に示すようにｙ軸方向の速度の時間変化が算出される。足を上げてから上げた足を地面に着けるまでの動作は、山なりの速度変化（小→大→小の速度変化）を有する特徴部分である。

他方、位置特定用センサ２を付けていない側の足を上げてから上げた足を地面に着けるまでの間、位置特定用センサ２を付けている側の足は地面についている。しかし、この間、ウェアラブルセンサのドリフトノイズの影響で静止していても移動しているように波形が生じている。

更にｙ軸の速度を積分すると、図１（ｃ）に示すようにｙ軸方向の位置の時間変化が算出される。これによれば、「ａ」の部分等に示すように速度の積分によりドリフトノイズが蓄積され、足を地面に着けている状態であるにもかかわらず、足の位置が地面に着いていない結果が出力されている。この結果、図１（ｄ）の左側に示す通常の歩行のフォームに対して、位置特定用センサ２が検出した加速度のデータから推定されるフォームは、図１（ｄ）の右側に示すように、実際とは異なる姿勢となる。

そこで、本実施形態に係る情報処理装置では、対象物に取り付けたセンサから取得した、対象物の動きを示すデータからノイズを除き、行動を正しく定量化し、フォームを精度良く推定する。本実施形態では、可能な限りノイズを抑えるために、センサから取得したデータから特徴部分を有するデータを抽出する。具体的には、本実施形態では、取得したセンサデータから運動エネルギーが小→大→小と遷移する変化部分のデータ（特徴部分のデータ）が抽出される。これにより、運動特有の短期的なエネルギー変化の範囲を特定し、特定した範囲内のセンサデータのみを使用して行動の定量化を図ることができる。

例えば、図２に示すように、データ特定用センサ１及び位置特定用センサ２を右足に付けた利用者が歩行する場合、図２の上段の上下のグラフに示すように、いずれのセンサからもほぼ同じ値の加速度が検出される。この場合、取得した加速度を積分することで、図２の下段の上下のグラフに示すように、ほぼ同じ値の速度が算出される。この場合、本実施形態に係る情報処理装置は、算出したｙ軸の速度が小→大→小と遷移する範囲Ａ及び範囲Ｂの速度を抽出する。そして、情報処理装置は、抽出した速度の情報に基づき利用者の行動を定量化し、利用者のフォームを推定する。これにより、各センサが検出した加速度からノイズを取り除き、正しいフォームを推定することができる。図２の例では、本実施形態に係る情報処理装置は、例えば範囲Ａのうち、データ特定用センサ１の速度と、事前に学習した歩行時の速度の波形データとを比較してほぼ一致する場合には、行動を「歩行」と推定し、推定した行動についてのフォームを推定する。

なお、データ特定用センサ１とは異なる部位に位置特定用センサ２を取り付けてもよい。以下の説明では、データ特定用センサ１が検出した加速度は、その加速度の積分である速度のうちから運動エネルギーが小→大→小と遷移する特徴部分の速度情報を抽出するために使用される。これに対して、位置特定用センサ２が検出した加速度は、利用者のフォームを推定するために使用される。

［情報処理装置のハードウェア構成］
次に、本発明の一実施形態に係る情報処理装置１０のハードウェア構成の一例について、図３を参照しながら説明する。本実施形態に係る情報処理装置１０は、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistants）、ウェアラブルデバイスに適用され得る。

情報処理装置１０は、プロセッサ４とディスプレイ３を有する。プロセッサ４は、ＣＰＵ５とメモリ６とを含む。ディスプレイ３は、例えばＬＣＤ（Liquid crystal Display）で構成され、推定されたフォームやその他の情報を表示する。

ＣＰＵ５は、メモリ６から、プログラムやデータを読み出し、事前処理、学習処理、フォーム推定処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。

メモリ６は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）から構成され、各種のテーブルや各種のプログラムを格納する。

データ特定用センサ１は、例えば加速度センサであり、利用者に取付けられ、時間的に連続した加速度の情報を情報処理装置１０に転送する。データ特定用センサ１から取得したデータは、利用者の行動の運動エネルギーが小→大→小と変化に関する特徴部分のデータを抽出するために使用される。

位置特定用センサ２は、例えば加速度センサであり、利用者に取付けられ、時間的に連続な加速度の情報を情報処理装置１０に転送する。位置特定用センサ２から取得したデータは、前記抽出した特徴部分のデータに対応するフォームを推定するために使用される。

本実施形態では、説明の便宜上、データ特定用センサ１及び位置特定用センサ２の２つのセンサを使用するが、本実施形態にて使用するセンサは１つであってもよい。使用するセンサが１つの場合、センサから取得したデータは、データ特定用テーブル２３に記憶され、利用者の行動の変化に関する特徴部分のデータを抽出するために使用される。それとともに、センサから取得したデータは、位置特定用テーブル２４に記憶され、フォームを推定するために使用される。

［システム構成］
本実施形態により行われるフォームの推定は、図４に一例を示す情報処理システム１００によって実現されてもよい。図４の情報処理システム１００では、情報処理装置１０とサーバ９とがネットワークを介して接続されている。また、サーバ９とデータ特定用センサ１及び位置特定用センサ２とは、無線装置８ａ、８ｂを介して接続されている。

サーバ９は、データ特定用センサ１及び位置特定用センサ２が検出した加速度の情報を蓄積するデータベース（ＤＢ）９ａを有する。ＤＢ９ａは、サーバ９内の記憶装置に記憶されてもよいし、クラウド上の記憶装置に記憶されていればよい。また、サーバ９は、クラウド上の演算装置であってもよい。

図４では、情報処理装置１０は、図３に示すハードウェア構成に加えて通信Ｉ／Ｆ７を有する。通信Ｉ／Ｆ７は、情報処理装置１０をネットワークに接続するインターフェースである。これにより、情報処理装置１０は、通信Ｉ／Ｆ７を介して、サーバ９等の他の機器とデータ通信を行うことができる。通信Ｉ／Ｆ７は、ＤＢ９ａから必要なデータを受信し、ＣＰＵ５は、受信したデータを用いてフォーム推定のための処理を実行する。

［情報処理装置の機能構成］
次に、一実施形態に係る情報処理装置１０の機能構成の一例について、図５を参照しながら説明する。情報処理装置１０は、取得部１１、速度算出部１２、位置算出部１３、記憶部１４、波形抽出部１５、行動推定部１６、可動範囲算出部１７、フォーム推定部１８、情報提示部１９及び体格モデル作成部２０を有する。

取得部１１は、例えば、０．１秒毎に取得される時間的に連続したセンサデータを取得する。本実施形態では、取得部１１は、データ特定用センサ１及び位置特定用センサ２が検出した加速度を取得する。

速度算出部１２は、データ特定用センサ１及び位置特定用センサ２が検出した加速度を積分して速度を算出する。位置算出部１３は、算出した速度を積分して位置を算出する。

記憶部１４は、センサ管理テーブル２１、体格モデルテーブル２２、データ特定用テーブル２３、位置特定用テーブル２４、組合せテーブル２５、行動学習テーブル２６、可動範囲テーブル２７及び行動波形テーブル２８を記憶する。また、記憶部１４は、事前処理プログラム、学習処理プログラム及びフォーム推定処理プログラムを記憶する。

図６は、一実施形態に係るセンサ管理テーブル２１の一例を示す。センサ管理テーブル２１には、利用者に取り付けたデータ特定用センサ１及び位置特定用センサ２の位置が記憶される。本実施形態では、データ特定用センサ１及び位置特定用センサ２を右足首に装着しているものとする。この場合、図６に示すように、センサ管理テーブル２１には、センサ管理ＩＤ「０１」に対応付けて、センサ番号が「１」のデータ特定用センサ１の取付位置とセンサ番号が「２」の位置特定用センサ２の取付位置とに「右足首」が記憶される。

図７は、一実施形態に係る体格モデルテーブルの一例を示す。体格モデルテーブル２２には、利用者毎の体格に関する寸法情報が記憶される。体格モデル作成部２０は、画像データやモーションキャプチャに基づき利用者毎の体格に関する寸法情報を取得し、体格モデルテーブル２２に予め記憶する。

図８は、一実施形態に係るデータ特定用テーブル２３の一例を示す。データ特定用テーブル２３には、データ特定用センサ１が検出した加速度の情報が記憶される。また、データ特定用テーブル２３には、検出した加速度を積分した速度の情報が記憶される。速度は、速度算出部１２により算出される。

図９は、一実施形態に係る位置特定用テーブル２４の一例を示す。位置特定用テーブル２４には、位置特定用センサ２が検出した加速度の情報が記憶される。また、データ特定用テーブル２３には、検出した加速度を積分した速度、及び速度を積分した位置の各情報が記憶される。速度は、速度算出部１２により算出される。位置は、位置算出部１３により算出される。

なお、本実施形態では、データ特定用テーブル２３に記憶される速度と、位置特定用テーブル２４に記憶される速度及び位置とは、ｙ軸方向の情報のみを表記するが、ｘ軸方向及びｚ軸方向の情報を加えてもよい。

図１０は、一実施形態に係る組合せテーブル２５の一例を示す。組合せテーブル２５には、カテゴリ毎のセンサ管理ＩＤ、行動管理ＩＤ及び可動域ＩＤの組合わせが記憶される。

図１１は、一実施形態に係る行動学習テーブル２６の一例を示す。行動学習テーブル２６には、各カテゴリについて０．１秒毎に取得したセンサ値から算出した速度の情報が記憶される。

図１２は、一実施形態に係る可動範囲テーブル２７の一例を示す。可動範囲テーブル２７には、身体の部位ごとに可動範囲の情報が記憶される。本実施形態では、可動範囲テーブル２７は、センサが取り付けられる足首だけに可動範囲の情報が記憶される。

行動波形テーブル２８には、予め利用者に取付けられたセンサから取得したセンサ値から学習した行動と波形とが関連付けて記憶される（図１５参照）。波形は時系列の数値により記憶されてもよい。

図５に戻り、波形抽出部１５は、データ特定用センサ１が検出した加速度から使用するデータ領域を絞り込み、絞り込んだ範囲のデータの波形を抽出する。データの絞り込みは、加速度を積分した速度から運動エネルギー変化の特徴部分が小→大→小となる部分、つまり、速度が相対的に低速度から高速度になり、その後低速度になる部分を抽出することにより行われる。

行動推定部１６は、取得したセンサデータに対し、絞り込んだ範囲のデータを使用して利用者の行動を推定する。

可動範囲算出部１７は、利用者の体格モデルに応じて、推定した行動を行うときの関節可動範囲を算出する。フォーム推定部１８は、算出した関節可動範囲と算出した位置情報とから利用者のフォームを推定する。

情報提示部１９は、推定した利用者のフォームを表示する。体格モデル作成部２０は、利用者の体格情報から利用者の体格モデルを作成する。

取得部１１、速度算出部１２、位置算出部１３、波形抽出部１５、行動推定部１６、可動範囲算出部１７、フォーム推定部１８、情報提示部１９及び体格モデル作成部２０の機能は、例えばメモリ６にインストールされた事前処理プログラム、学習処理プログラム及びフォーム推定処理プログラムが、ＣＰＵ５に実行させる処理により実現される。記憶部１４の機能は、例えばメモリ６により実現される。情報提示部１９の機能は、例えばディスプレイ３により実現される。

［事前処理］
次に、本実施形態に係る事前処理の一例について図１３を参照して説明する。図１３は、一実施形態に係る事前処理の一例を示すフローチャートである。本処理が開始されると、取得部１１は、利用者に取り付けられるデータ特定用センサ１及び位置特定用センサ２の取付位置を取得し、センサ管理テーブル２１に記憶する（ステップＳ１０）。本実施形態では、データ特定用センサ１及び位置特定用センサ２は、利用者の右足首に取り付けられる。

次に、体格モデル作成部２０は、利用者の体格に関する寸法情報を生成し、体格モデルテーブル２２に記憶し（ステップＳ１２）、本処理を終了する。

［学習処理］
次に、本実施形態に係る学習処理の一例について図１４を参照して説明する。図１４は、一実施形態に係る学習処理の一例を示すフローチャートである。学習処理では、利用者の日常の行動をセンシングし、図１５に一例を示すように、利用者の行動毎の波形（速度データ群）を学習する。

本処理が開始されると、取得部１１は、データ特定用センサ１及び位置特定用センサ２から加速度の信号を取得する（ステップＳ２０）。データ特定用センサ１が取得した加速度は、データ特定用テーブル２３に記憶され、位置特定用テーブル２４が取得した位置特定用センサ２の加速度は、位置特定用テーブル２４に記憶される。

次に、速度算出部１２は、データ特定用センサ１から取得した加速度から速度を算出し、算出した速度をデータ特定用テーブル２３に記憶する（ステップＳ２２）。図１６は、図１６（ａ）の初期化されたデータ特定用テーブル２３に、図１６（ｂ）に示すようにデータ特定用センサ１から取得した加速度と、算出した速度の情報を記憶した一例である。

図１４に戻り、次に、波形抽出部１５は、運動の１周期部分の波形を抽出する（ステップＳ２４）。つまり、波形抽出部１５は、データ特定用テーブル２３の速度の情報から、小→大→小と変化する速度の特徴部分の情報を抜き出す。学習の段階のため、運動の１周期部分の波形の抽出は、手作業でもよいし、周波数スペクトルから抜き出してもよい。

この結果、図１７（ａ）に示すように、速度が相対的に低速度からピークの速度になった後再び低速度になる運動の１周期部分の情報Ｅが抽出される。この１周期部分の情報Ｅは、例えば図２の範囲Ａの上側に示す、小→大→小と変化する速度のデータ群に対応する。

図１４に戻り、行動推定部１６は、運動の１周期部分の情報と行動（歩行、投球等）とを紐付け、行動学習テーブル２６に登録する（ステップＳ２６）。例えば、行動推定部１６は、図１７（ａ）と同じ内容である図１８（ａ）のデータ特定用テーブル２３の運動の１周期部分の情報Ｅを、利用者が行っている「歩行」行動と紐付け、図１８（ｂ）に示すように行動学習テーブル２６に記憶する。更に行動に紐付けた１周期部分の情報Ｅの波形を特定し、行動に紐付けた波形として行動波形テーブル２８に記憶してもよい。図１５には、データ特定用テーブル２３の運動の１周期部分の情報が、行動学習テーブル２６に記憶され、運動の１周期部分の情報が示す波形が行動波形テーブル２８に記憶される例が示されている。

図１４に戻り、位置算出部１３は、位置特定用テーブル２４に記憶した加速度の情報のうち、データ特定用テーブル２３から抽出された運動の１周期部分の情報Ｅに対応する加速度の情報を用いて、積分により速度と位置を算出する（ステップＳ２８）。記憶部１４は、算出した速度と位置の各情報を、図１７（ｂ）に示すように位置特定用テーブル２４に記憶する。

データ特定用テーブル２３に記憶された情報は、行動の波形を抽出するために使用される。そのため、データ特定用テーブル２３内の加速度から速度を算出する際には、データ特定用テーブル２３内のすべての加速度に基づき速度が算出される。

一方、位置特定用テーブル２４に記憶された情報は、利用者に取付けられたセンサの位置を取得するために使用される。そのため、位置特定用テーブル２４内の加速度から速度を算出する際には、図１７（ａ）の情報Ｅに対応する図１７（ｂ）の情報Ｆに含まれる加速度のみを積分して速度が算出される。また、算出された速度を積分して位置が算出される。このように位置の算出では、抽出した情報Ｆに含まれる加速度以外の加速度を速度の算出に使用しないことで、算出された位置にノイズが含まれる可能性をより低減することができる。

図１４に戻り、次に、可動範囲算出部１７は、位置特定用テーブル２４から抽出した運動の１周期部分の情報から得た位置の情報を取得し、取得した位置の情報に基づき関節の可動範囲を算出し、可動範囲テーブル２７に記憶する（ステップＳ３０）。

例えば、図１７（ａ）のデータ特定用テーブル２３及び図１７（ｂ）の位置特定用テーブル２４の例では、データ特定用テーブル２３から抽出した運動の１周期部分の情報Ｅに対応する位置特定用テーブル２４の運動の１周期部分の情報Ｆは、データ特定用センサ１及び位置特定用センサ２が検出する加速度の取得時刻が同一の情報である。しかしながら、データ特定用テーブル２３から抽出した運動の１周期部分の情報に対応する位置特定用テーブル２４の運動の１周期部分の情報は、これに限らない。例えば、データ特定用テーブル２３から抽出した運動の１周期部分の情報に対応する位置特定用テーブル２４の運動の１周期部分の情報は、データ特定用センサ１及び位置特定用センサ２が検出する加速度の取得時刻がほぼ同一又は近い情報であってもよい。

可動範囲テーブル２７には、足首の可動範囲の初期値として０°〜３６０°が設定されている。本実施形態の場合、ステップＳ３０が実行されると、例えば図１９（ａ）の位置特定用テーブル２４の運動の１周期部分の情報Ｆの位置情報に対応する、センサが取り付けられた足首の可動範囲１０°〜２７０°が、可動範囲テーブル２７の足首の欄に記憶される。なお、センサが足首以外の部位に取り付けられていた場合、センサが取り付けられた部位毎に可動範囲が定められ、可動範囲テーブル２７の対応する部位の欄に記憶される。

ただし、ステップＳ３０は、省略してもよい。この場合、センサを取り付けた部位の可動範囲は、位置特定用テーブル２４の運動の１周期部分の情報Ｆの位置情報で示される。

図１４に戻り、可動範囲算出部１７は、ステップＳ２６にて運動の１周期部分と紐付けられた特定の行動と、算出された各関節の可動範囲とを紐付けて組合せテーブル２５に記憶し（ステップＳ３２）、本処理を終了する。これにより、例えば、図１０の組合せテーブル２５の一行目に示すように、カテゴリが「歩行」、センサ管理ＩＤが「０１」、行動管理ＩＤが「０１」、関節可動域ＩＤが「０１」の組合わせが記憶される。

［フォーム推定処理］
次に、本実施形態に係るフォーム推定処理の一例について図２０を参照して説明する。図２０は、一実施形態に係るフォーム推定処理の一例を示すフローチャートである。フォーム推定処理は、利用者に付けられたセンサから利用者の行動を推定し、推定した行動に基づきフォームを推定する。本実施形態では、本処理において、既に取得した利用者の体格モデルの情報、データ特定用センサ１及び位置特定用センサ２が利用される。なお、本処理で使用するセンサは、一つであってもよい。その場合には、一のセンサが検出した加速度が、データ特定用テーブル２３及び位置特定用テーブル２４に記憶される。

フォーム推定処理はリアルタイム処理であり、図２１に示すように、本実施形態では、利用者は２つのセンサ（データ特定用センサ１及び位置特定用センサ２）を右足首に取り付け、両方のセンサをセンシングする。データ特定用センサ１が検出した加速度の情報は、データ特定用テーブル２３に記憶され、位置特定用センサ２が検出した加速度の情報は、位置特定用テーブル２４に記憶される。

そして、利用者の各行動時において、事前に学習された行動波形テーブル２８（又は行動学習テーブル２６）の短期的フォームの波形と、今回、データ特定用テーブル２３に記憶した短期的フォームの波形とを比較する。これにより、短期的フォームで区切られた波形毎に位置特定用テーブル２４で使用可能な情報を限定し、限定した情報に基づきフォームを推定する。これにより、位置特定用テーブル２４に記憶された情報のうちフォームの推定においてノイズとなる情報を除外することで、正しいフォームを推定することができる。

本処理を開始する前に、取得部１１は、図２２（ａ）に示す組合せテーブル２５を読み込み、対応するカテゴリのセンサ管理ＩＤ、行動管理ＩＤ、可動域ＩＤの各ＩＤを取得する。また、データ特定用テーブル２３及び位置特定用テーブル２４を初期化しておく。

本処理が開始されると、取得部１１は、データ特定用センサ１及び位置特定用センサ２から加速度の信号を取得する（ステップＳ４０）。図２２（ｂ）に示すように、データ特定用センサ１が取得した加速度は、データ特定用テーブル２３に記憶される。また、図２２（ｃ）に示すように、位置特定用テーブル２４が取得した位置特定用センサ２の加速度は、位置特定用テーブル２４に記憶される。次に、速度算出部１２は、データ特定用センサ１から取得した加速度から速度を算出し、算出した速度をデータ特定用テーブル２３に記憶する（ステップＳ４２）。

次に、行動推定部１６は、データ特定用テーブル２３に記憶した速度の情報と、行動学習テーブル２６に記憶したカテゴリ毎の速度の情報とを比較する。行動推定部１６は、比較の結果、行動学習テーブル２６に記憶した速度（学習データ）の情報と類似する波形が、データ特定用テーブル２３に記憶した速度の情報中にあるかを判定する（ステップＳ４４）。

行動推定部１６は、行動学習テーブル２６に記憶した速度の情報と類似する波形がデータ特定用テーブル２３に記憶した速度の情報中にあると判定した場合、その速度の情報が示す行動のカテゴリを、利用者の行動と推定する（ステップＳ４６）。

例えば、図２３（ｂ）に示す行動学習テーブル２６に記憶した速度の情報Ｎと、図２３（ａ）に示すデータ特定用テーブル２３に記憶した速度とを順にマッチングしていくと、点線で示す速度の情報Ｍが速度の情報Ｎと一致する。この場合、行動学習テーブル２６に記憶した速度の情報と類似する波形がデータ特定用テーブル２３に記憶した速度の情報中にあると判定され、行動学習テーブル２６に記憶した速度の情報Ｎに対応する行動のカテゴリである「歩行」が利用者の行動と推定される。

図２０に戻り、次に、速度算出部１２は、位置特定用テーブル２４に記憶した加速度を積分して速度を算出し、さらに速度を積分して位置を算出し、算出した速度及び位置の情報を位置特定用テーブル２４に記憶する（ステップＳ４８）。このとき、速度算出部１２は、図２４（ａ）のデータ特定用テーブル２３から抽出された情報Ｍに含まれる加速度以外の加速度を積分対象に含めず、情報Ｍに対応する図２４（ｂ）の位置特定用テーブル２４の情報Ｐに含まれる加速度のみを積分する。これにより算出された速度を積分して位置が算出される。これにより、センサが検出した加速度からノイズを低減することができる。

次に、可動範囲算出部１７は、可動範囲テーブル２７に基づき、推定した行動に応じて可動範囲を特定する（ステップＳ５０）。図２５（ｂ）に示す可動範囲テーブル２７の場合、可動範囲算出部１７は、推定した「歩行」行動に応じて、センサの取り付けられた利用者の足首の可動範囲１０〜２７０°を特定する。

ただし、ステップＳ５０は、省略してもよい。この場合、位置特定用テーブル２４の運動の１周期部分の情報Ｐに含まれる位置情報に基づきフォームを判定してもよい。

図２０に戻り、次に、フォーム推定部１８は、位置特定用テーブル２４から抽出した情報Ｐに含まれる位置の情報に基づき、特定した足首の可動範囲１０°〜２７０°内で行われる歩行行動に関するフォームを推定する（ステップＳ５２）。次に、情報提示部１９は、推定したフォームを利用者に提示するかを判定する（ステップＳ５４）。

情報提示部１９は、推定したフォームを利用者に提示しないと判定した場合、直ちにステップＳ４０に戻り、ステップＳ４０以降の処理を繰り返す。他方、情報提示部１９は、推定したフォームを利用者に提示すると判定した場合、利用者の端末等に推定したフォームを表示し（ステップＳ５６）、ステップＳ４０に戻り、ステップＳ４０以降の処理を繰り返す。

以上に説明したように、一実施形態に係る情報処理装置１０によれば、時間的に連続なセンサデータを取得し、生物のフォーム（時間的に連続な姿勢）を推定することができる。特に、短期的に小→大→小となる運動変化を特徴量とし、センサデータのうちから行動やフォームの推定に使用するデータと使用しないデータとを区別する。これにより、フォームの推定の精度を向上させることができる。つまり、利用者に取り付けたセンサが検出したセンサデータから利用者の歩く速度が小→大→小と遷移する特徴部分を抽出することで、運動特有の短期的なエネルギー変化の範囲を特定し、特定した範囲内のセンサデータのみを使用して利用者の行動を定量化する。これにより、センサデータからノイズを取り除いた状態で、利用者の行動を精度良く定量化することができる。この結果、利用者のフォームを正しく推定することができる。

そして、本実施形態に係る情報処理装置１０の利用により、病院やリハビリ施設のみでなく、自宅でのリハビリ中にその効果を測定することができる。つまり、ウェアラブルセンサを利用者に取り付けて、利用者の日常の行動を測定することで、センサを取り付けた利用者の行動を定量化して、その行動に対するフォームを精度良く推定することができる。また、ウェアラブルセンサを利用者の複数の関節にそれぞれ取り付けることで、身体全体のフォームの可視化が可能になる。特に、利用者が骨折等によって入院し、リハビリにより、ケガする前の最適なフォーム（連続的な姿勢）を取り戻すことを支援することができる。

利用者が最適なフォームを理解しやすいように、図２０のステップＳ５６において推定したフォームを表示する方法としては、正しいフォームと推定したフォームとを重ね合わせて表示してもよい。これにより、利用者は、自己のフォームの状態をより正確に把握し、自己のフォームの改善点をより容易に理解することができる。

また、ケガをする前の利用者のフォームとケガをした後の利用者のフォームを重ね合わせて表示してもよい。これにより、支援者は、ケガの前後のフォームの違いを画面上で指摘しながら、利用者が元のフォームを取り戻すための適切なアドバイスをすることが可能になる。また、利用者自身も、自己のフォームを客観的に把握し、より容易にその改善点を見つけることができる。利用者がリハビリ中の患者の場合には、ケガの前後のフォームの表示を見て利用者自身が自己の回復度合いを知り、今後のリハビリの励みにすることができる。

また、本実施形態に係る情報処理装置１０を、ネットワークを介して病院のサーバや端末と接続することで、推定したフォームの情報を病院関係者に知らせることができる。これにより、病院関係者は、利用者の現状の状態を把握し、利用者の今後のリハビリの方針や治療方針に役立てることができる。

以上、情報処理装置、情報処理システム及び情報処理方法を上記実施形態により説明したが、本発明に係る情報処理装置、情報処理システム及び情報処理方法は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

例えば、本発明に使用するセンサは、加速度センサ等のウェアラブルセンサに限らず、例えば、利用者の特定の部位を撮影可能なカメラや赤外線センサであってもよい。カメラや赤外線センサから取得した画像データから対象物の輪郭や特徴部分等を抽出し、その輪郭や特徴部分の位置の移動から位置の微分値である速度を算出し、本実施形態を適用してもよい。また、上記実施形態では、フォームの推定の対象物として人を例に挙げたが、これに限らず、例えば、ペット等の動物であってもよい。

利用者は、上記実施形態では、学習時とフォーム推定時とで身体の同じ部位にセンサを取り付けた。しかしながら、利用者が、学習時とフォーム推定時とで身体の異なる部位にセンサを取り付けている場合が考えられる。例えば図２６の上段に示すように、学習時には左足首にデータ特定用センサ１及び位置特定用センサ２を取り付け、下段に示すように、フォーム推定時には右足首にデータ特定用センサ１及び位置特定用センサ２を取り付けている場合である。

この場合、データ特定用センサ１及び位置特定用センサ２から取得する加速度から算出した速度の小→大→小の変化を有する特徴部分の出現タイミングは、図２６の上段の学習時のｙ軸の速度と下段のフォーム推定時のｙ軸の速度とでは、半歩分ずれる。

よって、この場合、データ特定用テーブル２３から抽出した運動の１周期部分の情報に対応する位置特定用テーブル２４の運動の１周期部分の情報は、データ特定用センサ１及び位置特定用センサ２が検出する加速度の取得時刻が同一の情報とはならない。この場合、位置特定用テーブル２４の運動の１周期部分の情報は、データ特定用テーブル２３から抽出した特徴部分の運動の１周期部分の情報と半歩ずつタイミングがずれた情報となる。図２６の場合には、データ特定用テーブル２３から抽出した運動の１周期部分の情報Ｑに対応して、半歩タイミングがずれた位置特定用テーブル２４の運動の１周期部分の情報Ｒが抽出される。

その他、手首と足首のように、学習時とフォーム推定時において異なる部位にセンサを付けた場合には、予め定められたタイミングのずれや速度の振幅のずれを考慮して、データ特定用テーブル２３から抽出した運動の１周期部分の情報に対応する位置特定用テーブル２４の運動の１周期部分の情報が抽出される。

１：データ特定用センサ
２：位置特定用センサ
３：ディスプレイ
４：プロセッサ
５：ＣＰＵ
６：メモリ
７：通信Ｉ／Ｆ
９：サーバ
１０：情報処理装置
１１：取得部
１２：速度算出部
１３：位置算出部
１４：記憶部
１５：波形抽出部
１６：行動推定部
１７：可動範囲算出部
１８：フォーム推定部
１９：情報提示部
２０：体格モデル作成部
２１：センサ管理テーブル
２２：体格モデルテーブル
２３：データ特定用テーブル
２４：位置特定用テーブル
２５：組合せテーブル
２６：行動学習テーブル
２７：可動範囲テーブル
２８：行動波形テーブル

Claims (4)

1. 対象物に取り付けたセンサから取得した、対象物の動きを示すデータから前記対象物の動きの変化に関する特徴部分のデータを抽出する抽出部と、
   対象物の行動パターンが記憶された記憶部を参照して、抽出した前記特徴部分のデータに対応する前記対象物の行動を推定する行動推定部と、
   推定した前記対象物の行動のフォームであって、抽出した前記特徴部分のデータに対応するフォームを推定するフォーム推定部と、
   を有し、
   前記抽出部は、前記対象物の動きの速度が相対的に低速度から高速度になった後再び低速度になる特徴部分のデータを抽出する、
   情報処理装置。
2. 前記抽出部は、前記取得したデータ以外のデータであって、前記対象物に取り付けたセンサから取得した、対象物の動きを示すデータから前記対象物の動きの変化に関する特徴部分のデータを前もって抽出し、
   前記記憶部は、前もって抽出した前記特徴部分のデータと、該データを取得したときの前記対象物の行動とを関連付けた前記対象物の行動パターンを記憶する、
   請求項１に記載の情報処理装置。
3. サーバと情報処理装置とが接続された情報処理システムであって、
   前記情報処理装置は、
   対象物に取り付けたセンサから取得した、対象物の動きを示すデータから前記対象物の動きの変化に関する特徴部分のデータを抽出する抽出部と、
   対象物の行動パターンが記憶された記憶部を参照して、抽出した前記特徴部分のデータに対応する前記対象物の行動を推定する行動推定部と、
   推定した前記対象物の行動のフォームであって、抽出した前記特徴部分のデータに対応するフォームを推定するフォーム推定部と、を有し、
   前記抽出部は、前記対象物の動きの速度が相対的に低速度から高速度になった後再び低速度になる特徴部分のデータを抽出する、
   情報処理システム。
4. 対象物に取り付けたセンサから取得した、対象物の動きを示すデータから前記対象物の動きの変化に関する特徴部分のデータを抽出し、
   対象物の行動パターンが記憶された記憶部を参照して、抽出した前記特徴部分のデータに対応する前記対象物の行動を推定し、
   推定した前記対象物の行動のフォームであって、抽出した前記特徴部分のデータに対応するフォームを推定し、
   前記対象物の動きの変化に関する特徴部分のデータの抽出では、前記対象物の動きの速度が相対的に低速度から高速度になった後再び低速度になる特徴部分のデータを抽出する、
   ことをコンピュータが実行する情報処理方法。

Images