JP6842044B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ技術を用いて、介護やリハビリテーションにおける効果測定が行われている。

モーションキャプチャ技術の方式の一つとして、被験者にマーカを付けて複数方位からカメラにより撮影することで、マーカを検出し、被験者の動きをデジタルデータに変換し記録する方式がある。また、マーカを使わずに、赤外線センサーを利用してセンサーから被験者までの距離を測定し、測定された値をもとに、被験者の動きを記録する方式がある。

特許文献１には、リハビリテーションの現場においてモーションキャプチャ技術を用いた仕組みについて開示されている。

特開２０１５−６１５７７号公報

特許文献１には、骨格情報と、カラー画像情報とを含む動作情報を取得し、被検体の動作を確認可能な医用画像情報を生成し、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する方法が記載されている。

しかし、特許文献１による方法では、被験者の単一測定種目に対する測定データを単純に時系列順に出力するだけであり、一連の時系列情報を順に確認しなければ、被験者の測定状況を把握することができず、また、異なる種目に対して総合的に把握することもできない。

そこで、本発明は、被験者に対する任意の測定日の測定種目における特定の動作状態の前回からの変化を効率的に把握するための仕組みを提供することを目的とする。

本発明の情報処理装置は、測定種目毎に動作を行っている被験者の測定日、動画データ及び関節データを含む測定データを測定種目毎に記憶する情報処理装置であって、前記動画データから特定の動作状態を示すフレーム画像を取得する条件として、所定の関節の状態を測定種目に対応付けて記憶する記憶手段と、前記測定日に対する選択条件を受け付ける受付手段と、前記選択条件に基づく測定日に従い、所定の測定種目の当該測定日に先行する測定日を特定し、当該測定種目の当該測定日と当該測定日に先行する測定日それぞれの動画データ及び関節データを取得する取得手段と、前記取得した前記測定種目の動画データ及び関節データと当該測定種目に対応づけられた所定の関節の状態とに基づいて、前記取得した測定種目の動画データの中から当該測定種目の特定の動作状態を示すフレーム画像を選択する画像選択手段と、前記測定日の前記測定種目の前記測定日と当該測定日に先行する測定日における前記それぞれの動画データから選択されたフレーム画像を出力する出力手段と、を備えることを特徴とする。

本発明によれば、被験者に対する任意の測定日の測定種目における特定の動作状態の前回からの変化を効率的に把握するための仕組みを提供することが可能となる。

情報処理装置１０１の機能構成を示す図 情報処理装置１０１のハードウェア構成を示す図 被験者を撮影しながら測定を行う処理を示すフローチャート 予め記録されたモーション情報を用いた場合の、各種目の測定処理を示すフローチャート レポート作成処理を示すフローチャート 被験者リストの一例を示す図 各関節の座標情報の一例を示す図 モーション情報取得部１５１により取得された被験者の様子を示す図 各関節の座標情報から形成された被験者の骨格情報の一例を示す図 本発明において、情報処理装置１０１のディスプレイ２１２に表示される被験者の選択をユーザから受け付ける画面の一例を示す図である。 本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理の一例を示す図である。 本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。 本発明において、ステップＳ３０１でユーザから「開眼片足立ち」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理の一例を示す図である。 本発明において、ステップＳ３０２で情報処理装置１０１が被験者の撮影を開始したときに情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。 本発明において、ステップＳ５０２で、情報処理装置１０１のＣＰＵ２０１が測定結果を抽出する処理の一例を示す図である。 本発明において、ステップＳ５０３で、情報処理装置１０１のＣＰＵ２０１がレポートを作成する処理の一例を示す図である。 本発明において、計測結果を抽出するときに情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。 本発明において、計測結果を抽出した後に情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。 本発明において、情報処理装置１０１の記憶装置２０４にて測定結果を記憶する測定結果管理テーブルの一例を示す図である。 本発明において、情報処理装置１０１のＣＰＵ２０１にて作成され印刷装置等に出力されるレポートの一例を示す図である。 モーション情報取得部１５１において撮影し取得された映像と、骨格情報を合成した画面の一例 骨格情報が表示される領域の面積が調整された画面の一例 評価対象の動画と、比較対象の動画とを縦に並べて表示した画面の一例 評価対象の動画と、比較対象の動画とを横に並べて表示した画面の一例 種目ごとにレイアウトが登録されたテーブルの一例を示す図 図２３の画面における上の動画の左右を反転させた場合を示す図 比較対象の動画を重ね合わせて表示した画面の一例 背景等を表示せず、骨格情報だけを表示した画面の一例 被験者の動作を評価し、被験者や介護者に対するメッセージを表示する処理を示すフローチャート 評価条件の一例を示す図 メッセージテーブルの一例を示す図 測定結果の画面出力処理の一例を示すフローチャート 測定結果の画面出力データ作成処理の一例を示すフローチャート 測定結果の画面出力例を示す画面イメージ

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、情報処理装置１０１の機能構成を示した図である。

モーション情報取得部１５１は、介護やリハビリが行われる空間における人物（本発明においては、被験者（介護やリハビリを受ける者））の動きを検知し、被験者のモーション情報を取得する。

具体的には、モーション情報取得部１５１は、Ｋｉｎｅｃｔ（登録商標）として知られるセンサー群であり、ＲＧＢカメラ、深度センサー、音声センサーなどが内蔵され、被写体（本発明においては、被験者（介護やリハビリを受ける者））の位置、動き、声、顔などを認識することができる。

深度センサーは、赤外線を利用して被験者までの距離を測定する方式を用いるものとする。この方式によれば、被験者にマーカ等を付けることなくセンサーから被験者までの距離を測定することが可能である。

モーション情報取得部１５１で取得された各データは、動画データとして記憶部に記憶される。

モーション情報取得部１５１の各センサーにより取得されたモーション情報は、モーション情報解析部１５２に送信され、データ解析が行われる。

モーション情報解析部１５２では、モーション情報取得部１５１により取得された各データを解析し、被験者の動作を座標情報に変換する。

図８はモーション情報取得部１５１により取得された被験者の様子を示している。モーション情報取得部１５１は、被験者の動きを検知し、予め記憶された人体パターンとマッチングすることで、被験者の人体表面の座標を得る。そして、当該被験者の骨格を形成する各関節の座標を算出し、算出された座標情報に基づき、被験者の骨格を形成する。

各関節の座標情報の一例を図７に示す。また、各関節の座標情報から形成された被験者の骨格情報の一例を図９に示す。

このようにして各関節の座標情報を算出し、各関節の座標の変化を検出することで、被験者が足を上げたり、膝を曲げたりする動作を認識することが可能となる。

測定部１５３は、モーション情報解析部１５２により解析されたモーション情報と、各種目に応じた設定に基づき、当該種目における測定を行う。

図２は、本発明の実施形態に係わる情報処理装置１０１のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置１０１では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボード／タッチパネル２１０などの入力装置からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。

この入力装置を用いて各種通信装置で利用可能な通信宛先に対する宛先を入力するようになっている。

音声入力コントローラ２０６は、マイク２１１からの入力を制御する。マイク２１１から入力された音声を音声認識することが可能となっている。

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネル２１０からの入力を受け付けることも可能となる。

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

次に図３に示すフローチャートを用いて、被験者を撮影しながら測定を行う処理について説明する。なお、図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定のプログラムを読み出して実行する処理である。

ステップＳ３０１では、ユーザから被験者の選択と種目の選択を受け付ける。

被験者情報は、図６に示す被験者リストに登録されているものとする。また、種目としては、眼を開けて片足で立っていられた時間を計測する「開眼片足立ち」、制限時間内に立ち座り動作を何回行えたかを計測する「椅子立ち座り」、最大歩幅を計測する「最大一歩」、５ｍの距離の歩行にかかる時間を計測する「通常歩行」、椅子から立ち上がり３ｍの距離を往復して椅子に座るまでの時間を計測する「ＴＵＧ（ＴｉｍｅｄＵｐ＆Ｇｏ）」などがある。

種目の選択を受け付けることで、当該種目の測定に必要な設定ファイルやプログラムを読み込む。

被験者情報については、既に登録されている情報から選択するだけでなく、新規で登録しても良い。

ステップＳ３０２では、ユーザから撮影指示を受け付ける。撮影指示を受け付けると、情報処理装置１０１のモーション情報取得部１５１は、被験者の撮影を開始する。また、各センサーにより得られた情報（各関節の座標情報など）であるモーション情報の取得を行う。

ステップＳ３０３では、撮影された映像に複数の人物がいる場合に、いずれの人物が被験者であるかの選択を受け付ける。

以下、図１０を用いて、ステップＳ３０３の処理の詳細について説明する。

図１０は、ステップＳ３０３において、情報処理装置１０１が、いずれの人物が被験者であるかの選択をユーザから受け付ける画面であり、図１０の画面は、情報処理装置１０１のディスプレイ２１２に表示される。

図１０の１００３には、情報処理装置１０１のモーション情報取得部１５１が取得した動画が表示される。

図１０の１００１にはモーション情報取得部１５１により取得された人物（被験者または介助者）の様子を、各関節の座標情報により特定される骨格情報と共に表示する。

まず、人物切替ボタン１００５がユーザによるマウスポインタ１００４の操作により押下されると、モーション情報取得部１５１で取得された情報に基づき、被験者の骨格情報を１００１に表示する。

次に、ユーザによるマウスポインタ１００４の操作により、図１０の１００１に表示される人物のうち、被験者の指定を行う。

そして、マウスポインタ１００４により選択した人物が誰であるかを、ドロップダウンリスト１００２の中からユーザによるマウスポインタ１００４により選択する。

ドロップダウンリスト１００２には、予め情報処理装置１０１が管理する被験者リスト（図６）に含まれる被験者の名前が表示される。

ステップＳ３０４では、ステップＳ３０２において取得されたモーション情報から被験者の各関節の座標情報を取得する。再生動画を用いる場合は、再生対象の動画データに含まれるモーション情報を用いて、被験者の各関節の座標情報を取得する。
各関節の座標情報の一例を図７に示す。

ステップＳ３０５では、ステップＳ３０３で取得した映像と、ステップＳ３０４で取得した各関節の座標情報に基づき得られた骨格情報とを合成して、ディスプレイ２１２に表示する。

図２１にモーション情報取得部１５１において撮影し取得された映像と、骨格情報を合成した画面の一例を示す。

図２１の２１０１には、映像と骨格情報が合成された状態で表示される。また、２１０２には被験者を上から見た場合の骨格情報が表示され、２１０３には被験者を横から見た場合の骨格情報が表示される。

２１０２、２１０３の領域に表示される骨格情報は、モーション情報取得部１５１において取得された各関節の座標情報に基づき算出され生成される。

２１０２や２１０３の表示領域の面積は、骨格情報が表示可能な面積に調整されるものとする。例えば、図２１に示す画面は、調整されていない場合の画面である。この場合、２１０３に表示される骨格情報はほとんど移動しないにも関らず、骨格情報の周囲に大きな余白が生じている。

図２２はサイズの調整が行われた場合の画面の一例である。骨格情報が収まるように調整され、余白部分が縮小している。

このように無駄な余白を表示しないよう制御することで、３つの骨格情報を近くに集めることが可能となるため、より観察しやすくなっている。

表示範囲の決定方法については、例えば骨格情報が収まる矩形を特定し、当該矩形から所定の幅を余白として表示する方法が考えられる。

ステップＳ３０６では、ステップＳ３０４で解析された骨格情報を用いて、ステップＳ３０１で選択された種目に応じた測定を行う。

具体的な処理の内容は、図１１、図１３、図２９を用いて説明する。

次に、図１１を用いて、本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。

なお、図１１の処理において、情報処理装置１０１のディスプレイ２１２に表示される画面は、例えば、図１２である。
ここで、図１２について説明する。

図１２の計測開始（終了）座標１２０１は、予め設定された通常歩行の計測を開始または終了する（ｘ、ｙ、ｚ）座標を示し、被験者のつま先のｘ座標と、計測開始（終了）座標１２０１のｘ座標が１回目重なったタイミングで、秒数のカウントを開始し、計測開始（終了）座標１２０１のｘ座標が２回目重なったタイミングで、秒数のカウントを終了する。

例えば、被験者が図１２の画面左から歩いてきた場合には、図１２の画面左側の計測開始（終了）座標１２０１のｘ座標と被験者のつま先のｘ座標が重なった時点で秒数のカウントを開始し、図１２の画面右側の計測開始（終了）座標１２０１のｘ座標と被験者のつま先のｘ座標が重なった時点で秒数のカウントを終了する。

モーション情報取得部１５１の特性上、撮影範囲の左右両端から所定の距離は、関節の座標の特定精度が低いため、計測開始（終了）座標１２０１は、図１２の画面左右両端よりも少し距離を開けた位置（座標）に設定される。

図１２の１２０２は、タイムラインを示し、タイムライン１２０２は、録画した撮影データを評価する場合に表示される。

図１２の１２０３は、評価時間指定部であり、録画した撮影データを評価する場合に、計測開始（終了）座標１２０１間とは異なる区間で、被験者の動作を評価したい場合に、評価する時間を、評価時間指定部１２０３をユーザによるマウス等の操作により動かすことで指定できる。
図１１の説明に戻る。

ステップＳ１１０１において、情報処理装置１０１は、現在処理対象となっているフレームの画像から被験者のつま先の座標を特定する。

ステップＳ１１０２において、情報処理装置１０１は、ステップＳ１１０１で現在処理対象となっているフレームの画像から被験者のつま先の座標が特定できたか否かを判定し、特定できたのであれば、ステップＳ１１０３に処理を移行し、特定できなければ本処理を終了する。

ステップＳ１１０２の処理を実行する理由について説明する。モーション情報取得部１５１は被験者がモーション情報取得部１５１に対して正面を向いていることを前提として被験者の各関節の位置座標を特定する。そのため、通常歩行のように被験者がモーション情報取得部１５１に対して横方向を向いている場合には、図３のステップＳ３０４、ステップＳ３０５によって、被験者の各関節の座標情報を取得することが困難である。各関節の座標情報を取得できた場合でなければステップＳ１１０３以降の処理を実行することができないため、ステップＳ１１０２の処理により、ステップＳ１１０３以降の処理が実行できるかを判定している。

ステップＳ１１０３において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の間ではなく、外側の座標であるかを判定する。

ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の外側の座標である場合に、情報処理装置１０１は本処理を終了し、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の外側以外の座標である場合に、情報処理装置１０１は、ステップＳ１１０４に処理を移行する。

ステップＳ１１０４において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であるかを判定する。

ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上である場合に、情報処理装置１０１は、ステップＳ１１０５に処理を移行し、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上でない場合に、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の間であると判断し、ステップＳ１１０９に処理を移行する。

ステップＳ１１０５において、情報処理装置１０１は、ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目であるか否かを判定する。

ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目であると判定した場合に、情報処理装置１０１は、ステップＳ１１０６に処理を移行し、ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目でない（つまり２回目）と判定した場合に、情報処理装置１０１は、ステップＳ１１０７に処理を移行する。

ステップＳ１１０６において、情報処理装置１０１は、秒数のカウントを実行し、本処理を終了する。

ステップＳ１１０７において、情報処理装置１０１は、ステップＳ１１０６で実行した秒数のカウントを終了する。そして、ステップＳ１１０８で、被験者の動作の評価を実行し、測定結果管理テーブル（図１９）に記憶する。

ステップＳ１１０８の処理をより具体的に説明すると、情報処理装置１０１は、まず、歩行距離を、計測開始点（Ｘ１，Ｙ１，Ｚ１）、計測終了点（Ｘ２，Ｙ２，Ｚ２）間のＸ方向の距離である、Ｘ１−Ｘ２の絶対値（単位はメートル）により求める。

ここでいう計測開始点とは、被験者が図１２の画面左から歩いてきた場合には、図１２の画面左側の計測開始（終了）座標１２０１（右から歩いてきた場合には、右側の計測開始（終了）座標１２０１）、もしくは、ステップＳ１１０９でＮｏと判断したときのフレームの画像に含まれる、被験者のつま先の座標である。

また、ここでいう計測終了点とは、被験者が図１２の画面左から歩いてきた場合には、図１２の画面右側の計測開始（終了）座標１２０１（右から歩いてきた場合には、左側の計測開始（終了）座標１２０１）である。

なお、本実施例では、被験者が真っ直ぐ歩けずに斜め（図１２の画面手前もしくは奥側）にずれていってしまうことも考えられるため、基本的には被験者が真横に歩いたとして歩行距離を計算している。

ただ、他の実施例として、斜め（図１２の画面手前もしくは奥側）にずれていってしまった場合を考慮する場合、計測開始点（Ｘ１，Ｙ１，Ｚ１）、計測終了点（Ｘ２，Ｙ２，Ｚ２）間のｘ座標とｚ座標により、歩行距離を計算してもよい。

次に、情報処理装置１０１は、被験者の歩行速度を、先に求めた歩行距離をステップＳ１１０７でカウントを終了するまでにかかった時間によって割ることで求める。

そして、最後に、情報処理装置１０１は、先に求めた歩行速度で５ｍ歩いたときに要する時間を算出し、その時間が予め設定されている時間よりも長いか短いかにより、正しい通常歩行が行われたかを判定する。５ｍという数字は、被験者の通常歩行の動作を判定するのに必要な距離である。

上述したような計算を行うことにより、例えば、被験者が５ｍ歩けないような狭い部屋であっても、通常歩行の動作を正しく行ったかを判定することが可能となる。

ステップＳ１１０９において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定されることで秒数のカウントを開始した後であるか否かを判定する。

秒数のカウントを開始した後であると判定した場合には、情報処理装置１０１は、本処理を終了し、秒数のカウントを開始する前であると判定した場合には、ステップＳ１１０６に処理を移行する。

ステップＳ１１０９でＮｏと判定される場合とは、例えば、現在処理を実行しているフレームの画像よりも前のフレームの画像の処理を実行しているときに、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上と重なり、本来秒数のカウントを開始すべきところを、当該フレームの画像について図３のステップＳ３０４、ステップＳ３０５によって、被験者の各関節の座標情報を特定できなかった場合に、ステップＳ１１０９でＮｏと判定される。

その場合に、ステップＳ１１０６において、計測開始（終了）座標１２０１の間で被験者のつま先の座標が認識できたところから秒数のカウントを開始することで、撮影し直しをすることなく被験者の動作を評価することが可能となる。
以上で図１１の説明を終了する。

次に、図１３を用いて、本発明において、ステップＳ３０１でユーザから「開眼片足立ち」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。

ステップＳ１３０１において、情報処理装置１０１は、被験者の足が上がっているか否かを判定する。

より具体的には、まずステップＳ１３０１の処理を実行する前に、情報処理装置１０１は、被験者の両足のかかとのｙ座標の値を特定しておき、それぞれの足のかかとの座標の値の差が所定の範囲以内であることを特定することで、両足が揃って地面についていると判断する。

次に、ステップＳ１３０１において、いずれかの足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化しているかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化している場合に、その足が上がっていると情報処理装置１０１は判断する。

ステップＳ１３０１で、被験者の足が上がっていると判定した場合には、情報処理装置１０１は、ステップＳ１３０２の処理に移行し、被験者の足が上がっていないと判定した場合には、情報処理装置１０１は、ステップＳ１３０４の処理に移行する。

ステップＳ１３０２において、情報処理装置１０１は、ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっているかを判定する。

ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっているかを判定した場合、ステップＳ１３０３において情報処理装置１０１は、秒数のカウントを始め、ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっていないと判定した場合、情報処理装置１０１は、本処理を終了する。

より具体的には、「開眼片足立ち」で被験者が足を上げるべき高さ（図３０）まで足を上げているかを、ステップＳ１３０２において、各足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化しているかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化している場合に、その足が所定の高さまで上がっていると情報処理装置１０１は判断する。

なお、ステップＳ１３０２における「所定」の値は、ステップＳ１３０１における「所定」の値よりも大きい値である。

ステップＳ１３０４において、情報処理装置１０１は、現在処理対象となっているフレームの画像よりも前のフレームにおいて、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断しているか否かを判定する。

現在処理対象となっているフレームの画像よりも前のフレームの画像において、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断しているならば、情報処理装置１０１はステップＳ１３０５に処理を移行し、現在測定しているフレームの画像よりも前のフレームの画像において、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断していないと判定した場合、情報処理装置１０１は、被験者がまだ足を上げていないと判断して、本処理を終了する。

ステップＳ１３０５において、情報処理装置１０１は、被験者の足が下りたか否かを判定する。

より具体的には、ステップＳ１３０５において、各足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化していないかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化していない場合に、その足が下りていると情報処理装置１０１は判断する。

ステップＳ１３０５で、被験者の足が下りていると判定した場合には、情報処理装置１０１は、ステップＳ１３０６の処理に移行し、ステップＳ１３０３で実行した秒数のカウントを終了し、被験者の足が下りていないと判定した場合には、情報処理装置１０１は、被験者がまだ足を上げていると判定して、本処理を終了する。

ステップＳ１３０７において、情報処理装置１０１は、ステップＳ１３０３で秒数のカウントを開始してからステップＳ１３０６でカウントを終了するまでにカウントした秒数が所定の秒数（例えば、２４秒）を下回っているか、上回っているかによって被験者の運動能力を評価する。評価結果を測定結果管理テーブル（図１９）に記憶する。
以上で図１３の説明を終了する。

なお、図１３では、情報処理装置１０１が自動で被験者の足の上げ下げを判定するとしたが、図１４に示すように、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定することも可能である。

そこで、以下、図１４を用いて、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定する仕組みについて説明する。

図１４は、ステップＳ３０２で情報処理装置１０１が被験者の撮影を開始したときに情報処理装置１０１のディスプレイ２１２に表示される画面である。

１４０１には、情報処理装置１０１のモーション情報取得部１５１が取得した動画が表示される。

１４０２は、上げ下げボタンであり、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、１回目押下されると、情報処理装置１０１は図１３の処理を停止して、上げ下げボタン１４０２が１回目押下されたタイミングで被験者が足を上げたと情報処理装置１０１は判断し、秒数のカウントを開始する。

そして、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、２回目押下されると、被験者が足を下げたと情報処理装置１０１は判断し、秒数のカウントを終了する。そして、カウントした秒数に従って、被験者の運動能力を評価する。

なお、本実施例では、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、１回目押下されると、情報処理装置１０１は図１３の処理を停止するとしたが、他の実施例として、図１３のステップＳ１３０３の処理以降に上げ下げボタン１４０２がユーザによるマウス等の操作により押下された場合に、情報処理装置１０１は、ステップＳ１３０４、ステップＳ１３０５の処理を実行することなく秒数のカウントを終了したり、ステップＳ１３０２の処理より前に上げ下げボタン１４０２がユーザによるマウス等の操作により押下された場合に、情報処理装置１０１は、ステップＳ１３０１、ステップＳ１３０２の処理を実行することなく秒数のカウントを開始し、その後ステップＳ１３０４以降の処理を実行するとしても良い。

図１４のように、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定可能とすることで、図１３のように情報処理装置１０１が自動で被験者の足の上げ下げを判定する場合に、被験者が足を上げているにも関わらず足を上げていないと情報処理装置が判定してしまった場合や、被験者が足を下ろしているにも関わらず足を下ろしていないと判定してしまう場合であっても、判定結果を修正することが可能となる。
以上で、図１４の説明を終了する。

次に、図２９を用いて、被験者の動作を評価し、被験者や介護者に対するメッセージを表示する処理について説明する。図２９のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

ステップＳ２９０１では、特定された骨格情報が予め定められた評価条件を満たすかを判定する。

評価条件を満たす場合（ステップＳ２９０１：ＹＥＳ）は、処理をステップＳ２９０２に移行する。

評価条件を満たさない場合（ステップＳ２９０１：ＮＯ）は、処理をステップＳ２９０３に移行する。

評価条件の一例を図３０に示す。図３０に示す通り、種目ごとに評価条件と評価内容とが対応付けられている。

例えば、「種目：椅子立ち座り」については、膝の角度が１７５度以上になった場合には立ち上がる動作として評価し、９５度以下になった場合には座る動作として評価する。そして、立ち上がる動作と座る動作とが行われた場合には、立ち座り動作が１回行われたものと評価される。

開眼片足立ちにおいては、左右の足の高さの差が５ｃｍ以上になった場合に、片足を上げたと評価される。

ステップＳ２９０２では、評価値を加算等する。例えば、椅子立ち座りであれば１回を加算する。また開眼片足立ちでは、片足立ちの開始条件を満たした場合は、片足立ち時間の計測を開始する。終了条件を満たした場合は、片足立ち時間の計測を終了する。

ステップＳ２９０３では、特定された骨格座標に基づき、メッセージを特定する。

メッセージ内容は、図３１に示すメッセージテーブルに基づき特定される。例えば、種目：椅子立ち座りにおいては、膝の角度が１７５度以上になった場合には「座ってください」というメッセージが特定される。また、膝の角度が１７５度未満の状態で座る動作に移行した場合（膝の角度が小さくなった場合）には、「しっかり立ってください」とのメッセージが特定される。

また、開眼片足立ちにおいては、足を上げていない状態だと「足を上げてください」というメッセージが、上げている足の高さが低い場合には「もっと足を上げてください」というメッセージが、しっかり足を上げている状態だと「計測中」というメッセージが特定される。

このようにメッセージを表示することで、被験者や介護者は、しっかりと評価される動作をしているのか、どのような動作をすれば評価されるのかを認識することが可能となる。

ステップＳ２９０４では、ステップ２９０３で特定されたメッセージを表示する。一例として図２２の２２０１を示す。
図３の説明に戻る。

ステップＳ３０４〜Ｓ３０６の処理は、モーション情報取得部１５１により動画フレームが取得される度に行われる処理である。このようにフレームが取得される度に骨格情報を認識することで、各関節の座標情報の変化を検知し、動作を認識することが可能となる。

ステップＳ３０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０６で測定された結果を保存する（図１９）。

次に、図４を用いて、予め記録されたモーション情報を用いた場合の、各種目の測定処理について説明する。

なお、図３に示すリアルタイムでの測定（モーション情報を取得しながら測定も行う処理）を実行するか、図４に示す予め記録されたモーション情報を用いた測定を実行するかは、ユーザの選択により決定される。

ステップＳ４０１では、ユーザから再生する動画（測定したい被験者の動作を撮影した動画）の選択を受け付け、当該動画の再生指示を受け付ける。

なお、動画データは、モーション情報取得部１５１の各センサーにより取得されたデータを含むものである。

ステップＳ４０２では、ステップＳ４０１で選択を受け付けた動画と比較対象となる動画の選択を受け付ける。

ステップＳ４０３では、再生対象の動画と、比較対象の動画について、各種設定を受け付ける。

ステップＳ４０４では、ステップＳ４０２で受け付けた設定を保存する。図２８における２８０１の保存ボタンが押下されることで、保存処理が実行される。

ステップＳ４０５では、再生指示された動画と比較対象として設定された動画を再生する。

この際、同時再生ボタンが押下された場合には、両動画が同時に再生され、個別の再生ボタンが押下された場合には、押下された動画が個別に再生される。

そして、図３のステップＳ３０４以降の処理を実行する。

図３、図４に示すように、被験者を撮影しながらリアルタイムで動作を評価する場合と、被験者を撮影した動画を保存し、後から動作を評価する場合とを切り替え可能にすることで、例えば、被験者にその場でフィードバックしたい場合には、リアルタイムで動作を評価するようにユーザが設定し、先に複数の被験者を録画して後で評価したい場合や、繰り返し細かい動きなどをユーザ（評価者）が見ながら確認したい場合や、撮影した動画を別の種目として評価したい場合や、アノテーション機能により被験者の骨格の角度を確認したい場合や、被験者と評価者が一緒である場合には、被験者を撮影した動画を保存し、後から動作を評価するようにユーザが設定することが可能となる。

また、被験者を撮影した動画を保存し、後から動作を評価する場合には、誤検出があった場合撮りなおしをせずに、ユーザが手動で評価結果を変更できるというメリットがある。
図２３、図２４に比較画面の一例を示す。

図２３は評価対象の動画と、比較対象の動画とを縦に並べて表示した画面の一例である。

図２４は評価対象の動画と、比較対象の動画とを横に並べて表示した画面の一例である。

比較画面のレイアウト（縦に並べるか、横に並べるか）については、例えば種目ごとに縦にならべるか横に並べるかを登録しておき、当該登録内容に従って表示する方法がある。種目ごとにレイアウトが登録されたテーブルを図２５に示す。

図２５に示す通り、椅子立ち座りは横に並べ、通常歩行は縦に並べることを示している。このように、予め登録しておくことで、被験者が上下方向に移動するような種目（「椅子立ち座り」など）は横に並べ、左右方向に移動する種目（「通常歩行」など）は、縦に並べるといったことが可能となる。このように移動方向に応じて並べ方を決定することで、比較しやすいレイアウトで表示することが可能となる。

このように予め登録しておく方法は、種目が予め特定されている場合に有効である。

また、被験者の軌跡に基づき、レイアウトを決定する方法もある。例えば、被験者の軌跡が左右方向であれば上下に並べ、被験者の軌跡が上下方向であれば左右に並べるといったように、被験者の動きに基づき、レイアウトを決定する。

このように被験者の軌跡に基づき判断する方法によれば、予め種目が特定されていない場合でも、比較しやすいレイアウトで表示することが可能となる。

また、比較画面においては、動画の左右を反転させることが可能である。

図２６は、図２３の画面における上の動画の左右を反転させた場合を示す図である。図２６に示す通り、上の動画に映っている人物が図２３では右向きであったのが、図２６では左向きになっている。

反転する旨の指示は、図２６の２６０１で示すチェックボックスにチェックがなされることにより受け付ける。２６０１における「上画面反転」がチェックされると上の画面が反転する。「下画面反転」がチェックされると下の画面が反転する。両方にチェックがなされると、上下両方の画面が反転する。

このように反転させることで、例えば１ヶ月前は映像の左から右に向かって歩いて測定したが、今回は右から左に向かって測定したといった場合にも、両者の歩く方向を統一することが出来るため、比較しやすくなり、両者の差異を詳しく把握することが可能となる。

また、比較画面においては、比較対象の画像を並べて表示するだけでなく、重ね合わせて表示することも可能である。

重ね合わせて表示した一例を図２７に示す。図２７における２７０１と２７０２は、比較対象の画像である。そして、２７０３は２７０１と２７０２の画像を重ね合わせた画像である。

比較画面においては、比較対象の画像のサイズや位置を調整することが可能である。

サイズについては、図２７の自動調整メニュー２７０４の「大きさ」にチェックを入れることで、例えば頭部と腰部までの長さを用いて、当該長さを比較対象の骨格情報間で一致するよう調整される。

また、自動で調整するだけでなく、ユーザの操作により調整することも可能である。この場合は、図２７における大きさ調整ボタン２７０５、２７０６を押下することにより、調整可能である。

このようにサイズの調整ができることで、身長の異なる人物同士を比較する場合や、過去に撮影されたものと倍率が異なる場合等においても、比較しやすくなり、両者の差異を詳しく把握することが可能となる。

位置については、図２７の自動調整メニュー２７０４の「位置」にチェックを入れることで、例えば頭部の位置を比較対象の骨格情報間で一致するよう調整される。また、合成画像の中央に人物が映るよう位置が調整される。

また、ユーザがドラッグ操作することで、位置を調整することも可能である。

このように、位置を調整可能にすることで、比較対象の骨格情報を所望の位置に配置して比較することや、重ね合わせて比較することが可能となり、比較しやすくなり、両者の差異を詳しく把握することが可能となる。

また、自動調整メニュー２７０４の「両方」にチェックを入れると、サイズと位置の両方が調整される。

また、比較画面においては、背景等を表示せず、骨格情報だけを表示することが可能である。

骨格情報だけを表示した画面の一例を図２８に示す。

例えば、比較対象の動画がそれぞれ異なる部屋で撮影された場合には、背景の違いが邪魔をして骨格の動きの比較が困難となってしまう。特に合成画像においては、異なる背景同士が重畳して表示されるため、非常に見づらくなり、比較しづらくなってしまう。そこで、背景を消すことで、比較対象を明確に表示することができ、両者の差異を詳しく把握することが可能となる。

上述した各種画面において設定された内容（比較動画の組み合わせ、画面レイアウト、位置、サイズなど）は、比較シナリオとして保存し、再利用可能である。

比較シナリオの情報には、動画ファイルの情報、再生開始位置、再生終了位置、ズーム状態、合成映像の調整済み位置、左右反転の設定が含まれる。

このように、設定された内容を比較シナリオとして保存することで、あとから再度見直したいというときにも、再度設定する手間を省くことができる。

次に、図５を用いて、レポート作成処理について説明する。

ステップＳ５０１では、ユーザから被験者の選択を受け付け、当該被験者の測定結果（レポート）の出力指示を受け付ける。

ステップＳ５０２では、出力指示を受け付けた被験者の測定結果を抽出する。

ここで図１５を用いて、測定結果抽出処理の詳細について説明する。

ステップＳ１５０１では、情報処理装置１０１は、ユーザから抽出条件の設定を受け付ける。図１７に抽出条件設定画面のイメージを示す。図１７の画面では、抽出条件として、開始日付１７０１、終了日付１７０２を設定させる。

ステップＳ１５０２では、情報処理装置１０１は、ユーザから種目の選択を受け付ける。図１７の画面では、種目１７０３として、開眼片足立ち、椅子立ち座り、最大一歩、通常歩行、ＴＵＧから選択させる。

ステップＳ１５０３では、情報処理装置１０１は、ステップＳ１５０１およびＳ１５０２で受け付けた、抽出条件、種目に従って、図１９に示す測定結果管理テーブルから今回および前回の測定結果を抽出する。具体的には、図１７の抽出ボタン１７０４が押下されることにより本処理が実行され、抽出条件である開始日付１７０１と終了日付１７０２の範囲で、選択された種目１７０３に対して測定結果管理テーブルを検索し、最新の測定結果と、２番目に新しい測定結果を、今回結果、前回結果として抽出する。すなわち、ユーザから受け付けた抽出条件に従い測定データを抽出する処理の一例を示すステップである。

このように指定された種目（通常複数指定あり）に対して、指定された期間範囲に含まれる最新の測定結果と、２番目に新しい結果を今回測定結果、前回測定結果として抽出することにより、それぞれの種目に対して検索条件を設定して測定結果を検索して今回測定結果と前回測定結果を選定するといった一連作業を実施することなく、レポート出力するための測定結果を抽出することができる。

ここで図１９を用いて、測定結果管理テーブルについて説明する。測定結果管理テーブルは、測定結果ＩＤ１９０１、被験者１９０２、測定日時１９０３、種目１９０４、測定値１９０５、評価点１９０６、動画ファイル１９０７を項目として含む。測定結果ＩＤ１９０１は測定結果を一意に識別するための文字列である。被験者１９０２は測定を受けた被験者である。測定日時１９０３は測定を開始した日時である。種目１９０４は測定された種目であり、開眼片足立ち、椅子立ち座り、最大一歩、通常歩行、ＴＵＧのいずれかである。測定値１９０５は測定結果を表す数値である。評価点１９０６は測定値１９０５をもとに評価された点数である。動画ファイル１９０７は測定結果に対応する動画データのファイル名、または、動画データへのリンクである。

ステップＳ１５０４では、情報処理装置１０１は、ステップＳ１５０３にて抽出した測定結果をディスプレイ２１２等に表示する。図１８に抽出結果表示画面のイメージを示す。図１８の画面では、抽出された測定結果に対応する動画データのサムネイル画像１８０１を表示する。
図５の説明に戻る。

ステップＳ５０３では、ステップＳ５０２で抽出された結果に基づき、レポートを作成する。

ここで図１６を用いて、レポート作成処理の詳細について説明する。

ステップＳ１６０１からＳ１６０５の処理は、ステップＳ１５０２で選択を受け付けた種目ごとに繰り返し実行する。

ステップＳ１６０１では、情報処理装置１０１は、ステップＳ１５０３にて抽出した、今回および前回の測定結果を取得する。

ステップＳ１６０２では、情報処理装置１０１は、ステップＳ１６０１にて取得した測定結果が評価済みかどうか判定する。具体的には、測定結果管理テーブルの評価点１９０６に値が設定されているかで判定する。評価済みであればステップＳ１６０４に進み、評価済みでなければステップＳ１６０３に進む。

ステップＳ１６０３では、情報処理装置１０１は、未評価の測定結果に対して評価を実施し、測定結果管理テーブルの測定値１９０５および評価点１９０６に登録する。

ステップＳ１６０４では、情報処理装置１０１は、測定結果に対応する動画から、動画の各フレーム画像を検索して、種目に対して特徴的なタイミングのフレーム画像を抽出する。特徴的なタイミングを決定する条件は種目ごとに決められており、例えば、開眼片足立ちであれば足を地面につけたタイミング、つまり足を上げている状態から足をついた状態に状態が遷移したタイミング、最大一歩であれば最も大きく両脚を開いたタイミング、つまり最高記録と判定された時の足を上げている状態から足をついたタイミング、のように決められている。具体的な条件は、各関節に対する座標データの値や変化状況、複数の関節の座標データの相関関係等を基に設定される。なお、特徴的なタイミングのフレーム画像は、本処理で抽出してもよいし、評価時に抽出して保存しておき本処理で呼び出してもよい。また、本実施例では、種目ごとに１つの特徴的なフレーム画像を抽出しているが、条件によっては複数のフレーム画像を抽出してもよい。すなわち、抽出された測定データに含まれる動画データのフレーム画像ごとに、当該フレーム画像内の被験者の状態を認識する処理、および、測定種目に対して認識された被験者の状態に従い、動画データからフレーム画像を選択する処理の一例を示すステップである。

ステップＳ１６０５では、情報処理装置１０１は、ステップＳ１６０４にて抽出した特徴的なフレーム画像のサムネイル画像と、各種目に対する評価結果をレポート要素として出力する。ステップＳ１６０４にて特徴的なフレーム画像が複数抽出された場合には、対応するサムネイル画像を並べて複数出力してもよいし、１つに絞り込んで出力してもよい。すなわち、選択されたフレーム画像をもとに静止画像を出力する処理の一例を示すステップである。

このようにレポート要素に各種目に対する評価結果と、特徴的なフレーム画像のサムネイル画像を出力することにより、数値データによる状況把握だけではなく、視覚的、直感的に測定結果の良否等を把握することができる。

ステップＳ１６０６では、各種目に対して出力されたレポート要素を集約し、レポート作成日や、被験者情報、測定場所情報などの測定に関する情報を付加してレポートを作成する。
図５の説明に戻る。

ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で作成したレポートを出力する。

図２０に本処理にて作成され、ステップＳ５０４にて出力されるレポートの出力例を示す。図２０の出力例では、レポート情報欄２００１には作成日、実施者（被験者）、実施場所、担当者が表示され、総合コメント欄２００２には評価者からコメント、レーダーチャート欄２００３には種目ごとの評価点のレーダーチャートが表示される。ピックアップ種目欄２００４にはユーザに選択させた種目に対し、ステップＳ１６０５にて抽出した特徴的な画像からサムネイルおよび骨格画像が表示される。種目別結果欄２００５には種目別の今回および前回の実施日、結果（測定値）、今回と前回の評価点から判定される改善度合、評価者からの種目に対するコメントと、ステップＳ１６０５にて抽出した特徴的なフレーム画像のサムネイル画像が表示される。

次に、測定結果表示の別の実施例として、ディスプレイ２１２等の画面に表示する実施例について説明する。

図３２に測定結果を画面表示するための全体処理を示す。

ステップＳ３２０１は図５のステップＳ５０１と同様の処理であり、ユーザから被験者の選択を受け付け、当該被験者の測定結果の画面出力指示を受け付ける。

ステップＳ３２０２では、画面出力指示を受け付けた被験者の測定結果を抽出する。なお、ステップＳ３２０２の測定結果抽出処理の詳細処理は図１５の処理と同じであり、詳細説明を省略する。

ステップＳ３２０３では、ステップＳ３２０２で抽出された結果に基づき、画面データを作成する。

ここで図３３を用いて、ステップＳ３２０３の画面データ作成処理の詳細について説明する。

ステップＳ３３０１からＳ３３０４の処理は、図５のステップＳ１６０１からＳ１６０４の処理と同じであり、詳細説明を省略する。

ステップＳ３３０５では、情報処理装置１０１は、ステップＳ３３０４にて抽出した特徴的なフレーム画像のサムネイル画像と、各種目に対する評価結果を画面データとして出力する。ステップＳ３３０４にて特徴的なフレーム画像が複数抽出された場合には、対応するサムネイル画像を並べて複数出力してもよいし、１つに絞り込んで出力してもよい。また、サムネイル画像に対応する動画ファイル１９０７（図１９）のハイパーリンクを割り当てることにより、画面上でサムネイル画像がクリックされた場合に動画を再生することが可能となる。

また、サムネイル画像として静止画像ではなく、特徴的なフレーム画像の前後一定時間の動画データを出力してもよい。それにより、画面上で特徴的な動作状況を直観的に確認できるようになる。

ステップＳ３３０６では、情報処理装置１０１は、ステップＳ３３０４にて抽出した特徴的なフレーム画像に対応する各関節の座標情報を取得する。この座標情報は測定時に画像とともに取得され、３次元の座標データとして記録されている。

ステップＳ３３０７では、情報処理装置１０１は、ステップＳ３３０６にて取得した各関節の座標情報をもとに正面および横方向から見た骨格画像を生成し画面データとして出力する。骨格画像の典型的な例としては、各関節を表す節点の間を骨格を表す線分で結合する。骨格画像は、特徴的なフレーム画像に重畳して出力してもよいし、特徴的なフレーム画像と別に出力してもよい。また、骨格画像についても、特徴的なフレーム画像の前後一定時間についてフレームごとの骨格画像をもとに動画データを生成し出力してもよい。

ステップＳ３３０８では、各種目に対して出力された画面データを集約し、レポート作成日や、被験者情報、測定場所情報などの測定に関する情報を付加して全体の画面データを作成する。
以上で画面データ作成処理を終了する。
図３２の説明に戻る。

ステップＳ３２０４では、情報処理装置１０１のＣＰＵ２０１は、ディスプレイ２１２等にステップＳ３２０３で作成した画面データをもとに測定結果表示画面を表示する。なお、画面を表示するのは情報処理装置１０１のディスプレイ２１２に限らず、他の情報処理装置や携帯端末の表示装置でもよく、その場合は画面データを対象の機器に送信して表示させる。

図３４にステップＳ３２０４にて表示される測定結果表示画面の出力例を示す。

図３４の画面出力例３４０１では、図２０のレポートと同様に、全体情報として作成日、実施者（被験者）、実施場所、担当者が表示され、総合コメント欄には評価者からコメント、レーダーチャート欄には種目ごとの評価点のレーダーチャートが表示される。ピックアップ種目欄にはユーザに選択させた種目に対し、ステップＳ３３０５、Ｓ３３０７にて出力した特徴的な画像からサムネイル画像３４０２および骨格画像３４０３が別々の表示枠に表示される。種目別結果欄には種目別の今回および前回の実施日、結果（測定値）、今回と前回の評価点から判定される改善度合、評価者からの種目に対するコメントと、ステップＳ３３０５にて出力した特徴的なフレーム画像のサムネイル画像３４０４にステップＳ３３０７にて出力した骨格画像が重畳表示される。

また、特徴的なフレーム画像および骨格画像については、ステップＳ３３０５、Ｓ３３０７にて動画データとして出力した場合には、それぞれの種目ごとに特徴的なフレーム画像の前後一定時間の動画が再生されることになる。
図３２の説明に戻る。

ステップＳ３２０５では、情報処理装置１０１は、ユーザから種目の指定を受け付けたかどうかを判断する。ここでは、ユーザにより画面上に表示されたサムネイル画像をクリックされたかどうかを検知し判断する。種目の指定を受け付けた場合はステップＳ３２０６に移り、それ以外の場合は、受け付けた操作に対応する処理を実行して終了する。

ステップＳ３２０６では、情報処理装置１０１は、ステップＳ３２０５にて受け付けた種目に対応する動画を再生表示する。具体的には、ステップＳ３３０５にてサムネイル画像に割り当てたハイパーリンクが指す動画ファイルを取得して再生表示する。

図３４に動画再生の表示例を示す。サムネイル画像３４０４をクリックすることにより、動画再生画面３４０５が表示され、サムネイル画像に対応する種目の動画が再生される。

以上で測定結果を画面表示するための全体処理を終了する

上記により、被験者に対する各種目別の測定結果および種目全体の状況を直観的に把握できるようになる。

また、本発明におけるプログラムは、図３〜図５、図１１、図１３、図１５、図１６、図２９、図３２、図３３の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３〜図５、図１１、図１３、図１５、図１６、図２９、図３２、図３３の各処理ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 情報処理装置

Claims (8)

1. 測定種目毎に動作を行っている被験者の測定日、動画データ及び関節データを含む測定データを測定種目毎に記憶する情報処理装置であって、
   前記動画データから特定の動作状態を示すフレーム画像を取得する条件として、所定の関節の状態を測定種目に対応付けて記憶する記憶手段と、
   前記測定日に対する選択条件を受け付ける受付手段と、
   前記選択条件に基づく測定日に従い、所定の測定種目の当該測定日に先行する測定日を特定し、当該測定種目の当該測定日と当該測定日に先行する測定日それぞれの動画データ及び関節データを取得する取得手段と、
   前記取得した前記測定種目の動画データ及び関節データと当該測定種目に対応づけられた所定の関節の状態とに基づいて、前記取得した測定種目の動画データの中から当該測定種目の特定の動作状態を示すフレーム画像を選択する画像選択手段と、
   前記測定日の前記測定種目の前記測定日と当該測定日に先行する測定日における前記それぞれの動画データから選択されたフレーム画像を出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 前記動画データのフレーム画像ごとに被験者の関節の位置情報が対応付けられており、
   前記画像選択手段は、前記被験者の関節の位置情報に基づいて当該被験者の関節の状態を判断することを特徴とする請求項１に記載の情報処理装置。
3. 前記出力手段は、出力するべく指示された測定種目ごとの前記測定日と当該測定日に先行する測定日における前記選択されたフレーム画像を出力することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記出力手段は、前記選択されたフレーム画像とともに、前記測定データに対応する測定結果を出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記出力手段は、前記選択されたフレーム画像に対応する骨格画像を出力することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記出力手段は、前記選択されたフレーム画像を含む動画に対応する骨格画像の動画を出力することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 測定種目毎に動作を行っている被験者の測定日、動画データ及び関節データを含む測定データを測定種目毎に記憶し、前記動画データから特定の動作状態を示すフレーム画像を取得する条件として所定の関節の状態を測定種目に対応付けて記憶する記憶手段を持つ情報処理装置の制御方法であって、
   受付手段が、前記測定日に対する選択条件を受け付ける受付ステップと、
   取得手段が、前記選択条件に基づく測定日に従い、所定の測定種目の当該測定日に先行する測定日を特定し、当該測定種目の当該測定日と当該測定日に先行する測定日それぞれの動画データ及び関節データを取得する取得ステップと、
   画像選択手段が、前記取得した前記測定種目の動画データ及び関節データと当該測定種目に対応づけられた所定の関節の状態とに基づいて、前記取得した測定種目の動画データの中から当該測定種目の特定の動作状態を示すフレーム画像を選択する画像選択ステップと、
   出力手段が、前記測定日の前記測定種目の前記測定日と当該測定日に先行する測定日における前記それぞれの動画データから選択されたフレーム画像を出力する出力ステップと、
   を備えることを特徴とする情報処理装置の制御方法。
8. 測定種目毎に動作を行っている被験者の測定日、動画データ及び関節データを含む測定データを測定種目毎に記憶する情報処理装置において実行可能なプログラムであって、
   前記情報処理装置を、
   前記動画データから特定の動作状態を示すフレーム画像を取得する条件として、所定の関節の状態を測定種目に対応付けて記憶する記憶手段と、
   前記測定日に対する選択条件を受け付ける受付手段と、
   前記選択条件に基づく測定日に従い、所定の測定種目の当該測定日に先行する測定日を特定し、当該測定種目の当該測定日と当該測定日に先行する測定日それぞれの動画データ及び関節データを取得する取得手段と、
   前記取得した前記測定種目の動画データ及び関節データと当該測定種目に対応づけられた所定の関節の状態とに基づいて、前記取得した測定種目の動画データの中から当該測定種目の特定の動作状態を示すフレーム画像を選択する画像選択手段と、
   前記測定日の前記測定種目の前記測定日と当該測定日に先行する測定日における前記それぞれの動画データから選択されたフレーム画像を出力する出力手段、
   として機能させることを特徴とするプログラム。
   

Images