JP6690622B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

センサを装着した被験者を動画撮影し、撮像した動画とセンサが取得した情報をグラフ表示する運動フォーム評価装置がある（例えば、特許文献１）。

しかしながら、特許文献１の技術では、解析対象が複数有る場合は、グラフ表示された情報を見ただけで解析対象を把握することはできなかった。

特開２００９−１０６３２３号公報

本発明は、情報を視認容易にすることを目的とする。

本発明の一態様によれば、情報処理装置は、運動している少なくとも１つの物体に係る動画のデータを動画データとして取得する動画データ取得手段と、前記物体の測定情報を示すデータを測定情報データとして取得する測定情報データ取得手段と、前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定する物体特定手段と、前記解析対象物に係る色を物体色として特定する色特定手段と、前記色特定手段により特定された前記物体色を、前記測定情報データを表示する際の表示色として決定する決定手段と、前記測定情報データを、前記決定手段により決定された前記物体色を用いて表示する測定情報表示画像を作成する表示作成手段と、を備え、前記色特定手段は、前記物体色として前記解析対象物に２色を特定し、前記表示作成手段は、前記測定情報データを表すグラフを含む前記測定情報表示画像を作成し、前記２色のうち、一方を前記解析対象物の前記測定情報データを表すグラフのマーカの色とし、他方を前記解析対象物の前記測定情報データを表すグラフの線の色とする。

本発明によれば、情報を視認容易にすることができる。

一実施形態に係る情報処理システムの概略を説明するための図である。 一実施形態係る情報処理システムの構成例の概略を示すブロック図である。 一実施形態に係る情報処理システムのコンピュータの動作の一例の概略を示すフローチャートである。 一実施形態に係る表示画像の一例の概略を示す図である。 一実施形態に係る表示画像の一例の概略を示す図である。 一実施形態に係る表示画像の一例の概略を示す図である。

［情報処理システムの概要］
本発明の一実施形態に係る情報表示システムについて、図面を参照して説明する。図１は、本実施形態に係る情報処理システム１の概略を説明するための図である。情報処理システム１は、情報処理装置としてコンピュータ１０と、モーションセンサであるウェアラブルセンサ３０と、カメラ６０とを備える。

ウェアラブルセンサ３０は、例えば運動する人物など、動く物体に取り付けられる。ウェアラブルセンサ３０は、取り付けられた物体の位置、姿勢、運動等を検出するための各種センサを備える。ウェアラブルセンサ３０で取得される物体の位置、姿勢、運動等を示すデータを運動データと称することにする。コンピュータ１０は、ウェアラブルセンサ３０から運動データを取得し、物体の運動等の解析等を行う。例えば、ウェアラブルセンサ３０が人物の腰の中央部に取り付けられたとき、ウェアラブルセンサ３０が取得したデータに基づいて、当該人物の各種の動きが解析され得る。

カメラ６０は、ウェアラブルセンサ３０が取り付けられた物体の動きを撮影し、当該物体に係る動画を取得する。カメラ６０で得られる動画のデータを動画データと称することにする。コンピュータ１０は、カメラ６０から動画データを取得し、物体についての解析等を行う。

コンピュータ１０は、動画を解析してウェアラブルセンサ３０が取り付けられた物体を解析対象物として特定する。また、コンピュータ１０は、解析対象物の例えば代表的な色を物体色として特定する。また、コンピュータ１０は、ウェアラブルセンサ３０で取得されたデータに基づいて行った解析結果を運動表示画像として表示する。運動表示画像は、例えばグラフ等を含む。このとき、グラフ等の表示色を、特定された解析対象物に係る物体色と関連付けられた色とする。

例えば、図１は、黒色の服を着た男性１０１と、赤色の服を着た女性１０２とがダンスをしている場面である。男性１０１は、第１のウェアラブルセンサ３０ａを装着している。女性１０２は、第２のウェアラブルセンサ３０ｂを装着している。第１のウェアラブルセンサ３０ａは、男性１０１の動きに関するデータを取得する。第２のウェアラブルセンサ３０ｂは、女性１０２の動きに関するデータを取得する。カメラ６０は、男性１０１及び女性１０２の動きを撮影する。コンピュータ１０は、第１のウェアラブルセンサ３０ａで取得された黒色の服を着た男性１０１の動きの解析結果を、例えば黒色の線等で表示する。また、コンピュータ１０は、第２のウェアラブルセンサ３０ｂで取得された赤色の服を着た女性１０２の動きの解析結果を、例えば赤色の線等で表示する。

［情報処理システムの構成］
図２は、情報処理システム１の構成例の概要を示すブロック図である。図２を参照して情報処理システムの構成について説明する。

〈コンピュータの構成〉
コンピュータ１０は、例えばパーソナルコンピュータ（ＰＣ）、タブレット型の電子端末等であり得る。コンピュータ１０は、バスライン１９を介して互いに接続されたCentral Processing Unit（ＣＰＵ）１１と、Read Only Memory（ＲＯＭ）１２と、Random Access Memory（ＲＡＭ）１３と、ストレージ１４と、入力装置１５と、表示装置１６と、インターフェース（Ｉ／Ｆ）１７とを備える。

ＣＰＵ１１は、各種信号処理等を行う。ＲＯＭ１２は、ＢＩＯＳ等を記録している。ＲＡＭ１３は、ＣＰＵ１１の主記憶装置として機能する。ＲＡＭ１３には、例えば、Dynamic ＲＡＭ（ＤＲＡＭ）、Static ＲＡＭ（ＳＲＡＭ）等が用いられ得る。ストレージ１４には、例えば、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）等が用いられる。ストレージ１４には、ＣＰＵ１１で用いられるプログラム、パラメータ等各種情報が記録されている。また、ストレージ１４は、ウェアラブルセンサ３０及びカメラ６０等から取得したデータを保管する。ＲＡＭ１３及びストレージ１４は、これに限らず各種記憶装置に置換され得る。

入力装置１５は、例えばキーボード、マウス等である。表示装置１６は、これに限らないが例えば液晶ディスプレイ等である。Ｉ／Ｆ１７は、コンピュータ１０の外部の機器との接続に用いられる。この接続には、Universal Serial Bus（ＵＳＢ）等の有線による通信が用いられてもよいし、Bluetooth（登録商標）又はWi-Fi（登録商標）といった無線通信が用いられてもよい。

〈ウェアラブルセンサの構成〉
本実施形態に係るモーションセンサであるウェアラブルセンサ３０は、バスライン３９を介して互いに接続された角速度センサ４１と、加速度センサ４２と、磁気センサ４３と、気圧センサ４４と、ＧＰＳセンサ４５と、プロセッサ３１と、ＲＡＭ３２と、フラッシュメモリ３３と、入力装置３４と、インターフェース（Ｉ／Ｆ）３５とを備える。ウェアラブルセンサ３０は、当該ウェアラブルセンサを装着した人などの動き等の履歴を記録する。

角速度センサ４１は、例えばＭＥＭＳ角速度センサが３軸方向に設けられた構成を有し、各軸周りの角速度を検出する。加速度センサ４２は、例えばＭＥＭＳ加速度センサが３軸方向に設けられた構成を有し、各軸方向の加速度を検出する。加速度センサ４２の検出結果に基づけば、重力方向が求められる。磁気センサ４３は、例えば３軸磁気センサであり、磁気方向を検出する。例えば、磁気センサ４３が地磁気を検出することで、方位が検出され得る。気圧センサ４４は、静電容量、圧電抵抗、又はひずみゲージ等を用いた気圧センサであり、ウェアラブルセンサ３０の周囲の気圧を検出する。ＧＰＳセンサ４５は、ＧＰＳ衛星の信号を受信し、ウェアラブルセンサ３０の位置情報を作成する。ＧＰＳセンサ４５は、ＧＰＳ衛星に限らず、他の航法衛星の信号を用いてもよい。

角速度センサ４１で検出された角速度を時間経過に沿って積算することで、すなわち時間経過に沿って姿勢を回転させてトラッキングしていくことで、ウェアラブルセンサ３０の姿勢は高精度で求められ得る。ただし、角速度センサ４１の検出値は誤差を有している。このため、検出結果を積算すると誤差も蓄積され、算出される姿勢は正しい値から離れていく。そこで、角速度センサ４１との位置関係が固定された加速度センサ４２及び磁気センサ４３を用いて計測された重力方向及び磁気方向に基づいて、算出されるウェアラブルセンサ３０の姿勢の誤差が評価され、当該姿勢が補正される。また、ウェアラブルセンサ３０の高さは、ＧＰＳセンサ４５の検出値及び／又は気圧センサ４４の検出値を用いて求められ得る。また、ウェアラブルセンサ３０の位置は、ＧＰＳセンサ４５の検出値を用いて求められ得る。このようにウェアラブルセンサ３０は、その位置、姿勢、運動等に係る情報を取得する。

プロセッサ３１は、例えばCentral Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）等といった集積回路であり、各種信号処理等を行う。ＲＡＭ３２は、プロセッサ３１の主記憶装置として機能する。フラッシュメモリ３３には、プロセッサ３１で用いられるプログラム、パラメータ等各種情報も記録されている。また、フラッシュメモリ３３には、角速度センサ４１、加速度センサ４２、磁気センサ４３、気圧センサ４４及びＧＰＳセンサ４５により検出され、プロセッサ３１で処理された角速度情報、加速度情報、磁気情報、気圧情報、位置情報等が記録される。さらに、フラッシュメモリ３３には、角速度情報、加速度情報、磁気情報、気圧情報、位置情報等に基づいて得られた解析結果等が記録されてもよい。ＲＡＭ３２及びフラッシュメモリ３３は、これに限らず各種記憶装置に置換され得る。

入力装置３４は、例えばスイッチ等、ユーザの入力を受け付ける装置であり、例えばウェアラブルセンサ３０の起動や計測の開始及び終了の指示が入力される。Ｉ／Ｆ３５は、ウェアラブルセンサ３０の外部とデータの送受信を行うためのインターフェースである。ウェアラブルセンサ３０は、Ｉ／Ｆ３５を介して、コンピュータ１０等と接続する。

ウェアラブルセンサ３０に接続される外部の装置、例えば、コンピュータ１０は、ウェアラブルセンサ３０に記録された任意の期間の気圧、角速度、加速度、磁気方向及び位置に係る情報、解析結果等を読み出して、これらに基づいて解析を行い、ウェアラブルセンサ３０の位置及び姿勢等を算出したり、各種情報を表示したりする。このようなモーションセンサであるウェアラブルセンサ３０によれば、解析対象物の種々の運動が計測され得る。

〈カメラの構成〉
本実施形態に係るカメラ６０は、動画撮影を行うカメラである。カメラ６０は、ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、画像処理回路６４と、記録媒体６５と、Ｉ／Ｆ６６と、撮像光学系７１と、撮像素子７２と、姿勢センサ７３と、入力装置７４と、表示装置７５とを備える。

ＣＰＵ６１は、制御プログラムに従って動作し、カメラ６０の各部の動作を制御する。ＲＯＭ６２は、カメラ６０の制御プログラム、各種パラメータ等を記憶している。ＲＡＭ６３は、ＣＰＵ６１の主記憶装置等として機能する。画像処理回路６４は、例えばＡＳＩＣ等を含み、カメラ６０で得られた画像データに基づいて、各種画像処理を行う。記録媒体６５は、カメラ６０で得られた動画データを保存する。記録媒体６５は、カメラ６０に対して着脱自在であってもよい。Ｉ／Ｆ６６は、カメラ６０の外部とデータの送受信を行うためのインターフェースである。カメラ６０は、例えばＩ／Ｆ６６を介して、コンピュータ１０と接続する。

撮像光学系７１は、被写体像を撮像素子７２の撮像面に結像させる。撮像素子７２は、撮像面に結像した画像に基づいて、画像データを生成する。姿勢センサ７３は、例えば加速度センサを含む。姿勢センサ７３は、カメラ６０の姿勢を検出し、姿勢情報を出力する。入力装置７４は、例えば録画ボタン、ズームボタン、各種設定ボタン等といった入力部を含む。表示装置７５は、例えば液晶ディスプレイを含む。表示装置７５は、例えばライブビュー画像、各種設定画面等を表示する。

［情報処理システムの動作］
情報処理システム１の動作について説明する。以下の説明では、例として図１に示す状況を参照する。図１に示す状況とは、黒色の服を着た男性１０１と、赤色の服を着た女性１０２とがダンスをしている状況である。男性１０１は、第１のウェアラブルセンサ３０ａを装着しており、女性１０２は、第２のウェアラブルセンサ３０ｂを装着している。説明では、第１のウェアラブルセンサ３０ａと第２のウェアラブルセンサ３０ｂとを合わせてウェアラブルセンサ３０と称するものとする。カメラ６０は、男性１０１と女性１０２との動きを動画撮影する。コンピュータ１０がウェアラブルセンサ３０で取得された運動データとカメラ６０で取得された動画データとを取得し、これらを解析する。

コンピュータ１０の動作の一例を、図３に示すフローチャート参照して説明する。ステップＳ１において、コンピュータ１０は、カメラ６０を用いた撮影により得られた動画データを取得する。ステップＳ２において、コンピュータ１０は、ウェアラブルセンサ３０で記録した運動データを取得する。

ステップＳ３において、コンピュータ１０は、動画データを解析し、動画中の解析対象物の候補となる対象物体を特定する。解析対象物とは、例えばウェアラブルセンサ３０を装着している運動している物体である。例えば図１に示すように、人物がウェアラブルセンサ３０を装着しているとき、解析対象物は人物となる。このとき、コンピュータ１０は、解析対象物の候補となる物体、すなわち人物を、対象物体として動画中で特定する。例えば、コンピュータ１０は、人型のテンプレートを用いたフィルタリング処理によって、画像中から人物を抽出する。例えばテンプレートを用いた方法によれば、対象物体は画像中から容易に抽出され得る。図１に示す例では、男性１０１と女性１０２との２人の人物が抽出される。

ステップＳ４において、コンピュータ１０は、動画データに基づいて、特定した対象物体の画像中の動きを特定する。図１に示す例では、男性１０１の動きと女性１０２の動きとを特定する。動きの特定には、例えばオプティカルフローに係る技術などが用いられ得る。すなわち、画像に基づいて、例えば動画中の動きベクトルが特定される。

ステップＳ５において、コンピュータ１０は、ステップＳ２で取得した運動データの解析を行う。コンピュータ１０は、当該解析に、例えば、加速度データ、角速度データ、磁気方向データ、衛星測位データ及び気圧データのうち少なくとも何れか１つを用いる。コンピュータ１０は、例えば、位置、加速度、回転などといった注目する値を算出する。

なお、本実施形態では、ステップＳ２において、ウェアラブルセンサ３０から取得した運動データを、ステップＳ５において、コンピュータ１０が運動データの解析を行ったが、ウェアラブルセンサ３０が運動データの解析までを行い、コンピュータ１０がその解析結果を取得してもよい。

ステップＳ６において、コンピュータ１０は、ステップＳ４で取得した画像における対象物体の動きと、ステップＳ５で取得した注目するデータとを比較して対応関係を特定する。例えば、ステップＳ４で取得した画像中の動きベクトルと、ステップＳ５で取得した、例えば加速度、角速度、磁気方向等といったウェアラブルセンサ３０の動きとが比較され、対応関係が特定される。

このとき、カメラ６０の姿勢センサ７３で得られた姿勢情報に基づいてカメラの向き、すなわち、縦位置又は横位置等を表すカメラ姿勢データが作成され、このカメラ姿勢データを用いて、必要に応じて画像中の動きベクトルの回転等の補正が行われてもよい。すなわち、カメラ６０の姿勢とウェアラブルセンサ３０の座標との位置関係の初期設定が予め行われてもよい。このようにカメラ６０の姿勢を考慮することで、対応関係の特定が正確に行われ得る。

コンピュータ１０は、対応関係が取れた対象物体を解析対象物として特定する。例えば図１に示す例では、第１のウェアラブルセンサ３０ａのデータが男性１０１の動きを記録したデータであり、第２のウェアラブルセンサ３０ｂのデータが女性１０２の動きを記録したデータであることが特定される。このように、ステップＳ３乃至ステップＳ６の処理によれば、例えばユーザが指定するなどしなくても、また、画像中にウェアラブルセンサ３０が写っていなくても、画像中の対応物体の何れが解析対象物であるかが特定され得る。

ステップＳ７において、コンピュータ１０は、動画データに基づいて、ステップＳ６で特定した解析対象物に係る色を物体色として特定する。物体色は、例えば解析対象物の面積を色毎に比較して、最も面積が広い色と同じ色又は近似する色に決定してもよい。物体色は、最も面積が広い色に代えて、例えば所定の面積よりも大きな面積を有している色の中から所定の規則（例えば位置に基づく、複数の物体色を決定する場合には他の物体色を考慮するなど）で選択される等、面積を用いた他の規則によって決定されてもよい。

ここで近似する色とは、例えば色相環に基づいて決定され得る。また、例えば図１に示す例のように、解析対象物が複数ある場合には、識別されやすいように、色相の差が所定値よりも大きくなるように物体色が決定されることが好ましい。したがって、解析対象物に複数の色が含まれている場合、各々の色についての色相の差が大きくなるように物体色が決定され得る。図１に示す例では、例えば男性１０１の黒色と、女性１０２の赤色とが特定される。

ステップＳ８において、コンピュータ１０は、ステップＳ６で取得された運動の解析結果を表示する画像を作成する。ここで、ステップＳ７で特定された物体色に係る色を、ステップＳ５により解析された運動データの色として決定し、解析結果を示す色と解析対象物に係る色とを対応させた画像が作成される。ステップＳ９において、コンピュータ１０は、表示装置１６に作成した画像を表示させる。

ステップＳ９で表示される表示画像の一例を図４に示す。図４に示す例において、表示画像２００は、グラフ領域２０１と、画像領域２０５とを含む。グラフ領域２０１は、ウェアラブルセンサ３０の検出値に基づいて得られた解析結果をグラフ表示する領域である。画像領域２０５は、カメラ６０で得られた動画、当該動画を編集した動画、又は当該動画から抽出した静止画等を表示する領域である。

図４に示す例において、画像領域２０５には、男性１０１の画像である男性画像２５１と、女性１０２の画像である女性画像２５２とが含まれることになる。グラフ領域２０１には、男性１０１が装着した第１のウェアラブルセンサ３０ａで取得されたデータに基づく解析結果である第１のデータ表示２１０と、女性１０２が装着した第２のウェアラブルセンサ３０ｂで取得されたデータに基づく解析結果である第２のデータ表示２２０とが含まれる。

本実施形態では、第１のデータ表示２１０は、対応する男性１０１に係る色で表示され、第２のデータ表示２２０は、対応する女性１０２に係る色で表示される。すなわち、第１のデータ表示２１０のマーカ２１１及び線２１２は、それぞれ黒色で表される。第２のデータ表示２２０のマーカ２２１及び線２２２は、それぞれ赤色で表される。

このように、コンピュータ１０は、運動している少なくとも１つの物体に係る動画のデータを動画データとして取得する動画データ取得部、物体の測定情報を示すデータを測定情報データとして取得する測定情報データ取得部、動画に含まれる前記運動データに対応する運動を示す物体を解析対象物として特定する物体特定部、解析対象物に係る色を物体色として特定する色特定部、及び特定された物体色を運動データの色として決定する決定部としての機能を発揮する。

本実施形態のような表示がされることによって、画像領域２０５に表示された画像中の解析対象物と、グラフ領域２０１に示される解析結果の表示との対応関係を、表示画像２００を見る人は、直感的かつ一目瞭然に容易に認識することができるようになる。

なお、図４には、表示画像２００にグラフ領域２０１と画像領域２０５とが含まれている例を示したが、表示画像２００には、画像領域２０５が含まれておらずグラフ領域２０１のみが含まれていてもよい。表示画像２００を見る人は、解析対象物である人物の画像を他の表示画面で確認しながらグラフ領域２０１を見ることもあり得るし、当該人物が写っている写真を見ながらグラフ領域２０１を見ることもあり得るし、記憶している当該人物のことを思い出しながらグラフ領域２０１を見ることもあり得る。また、グラフ等をリアルタイムに表示する場合には、解析対象物の動きを見ながら、グラフ領域２０１を見ることもあり得る。したがって、表示画像２００にグラフ領域２０１のみが含まれている場合であっても、表示の色と解析対象物の色とが関連付けられている本実施形態に係る表示は、グラフ領域２０１を見る人にとって、識別性が高く有益である。

また、図４に示す表示画像２００のグラフ領域２０１には、凡例が示されているが、本実施形態に係る表示によれば、凡例は必ずしもなくてもよい。表示の色と解析対象物の色とが関連付けられているので、凡例を見るまでもなく、例えばグラフの何れの線が何のデータを示しているのかが認識され得る。

ここでは、人物、すなわち、解析対象物が２人の場合を例に挙げたが、１人であっても、３人以上であってもよい。解析対象物が１人であり動画中の人物も１人の場合には、動画中の人物とセンサで計測した人物との対応関係は、動き等を解析するまでもなく取ることができる。また、解析対象物が１人であり、動画中の人物すなわち対象物体が複数人である場合には、複数の対象物体の中から解析対象物が選択されることになる。解析対象物が複数であっても、本実施形態によれば、解析対象物と表示画像２００に示される解析結果との対応関係を、表示画像２００を見る人は、容易に認識することができる。

［表示画像のバリエーション］
表示画像のいくつかのバリエーションの例を示す。

〈第１のバリエーション〉
第１のバリエーションに係る表示画像の一例を図５に示す。この例において、表示画像３００は、グラフ領域３０１と、画像領域３０５とを含む。画像領域３０５には、第１の人物３５２を写した第１の画像３５０と、第２の人物３６２を写した第２の画像３６０とが含まれる。図５に示す例は、ゴルフのスイングの解析を行う場合の例である。例えば、第１の人物３５２と第２の人物３６２とは同一人物であり、異なる日に動画撮影及び運動データの収集が行われてもよい。また、第１の人物３５２と第２の人物３６２とは異なる人物であり、同時に又は異なるタイミングで、動画撮影及び運動データの収集が行われてもよい。

第１の画像３５０において、第１の人物３５２が上半身３５３に身に着けた服の色は白色であり、第１の人物３５２が下半身３５４に身に着けた服の色は黄色である。第２の画像３６０において、第２の人物３６２が上半身３６３に身に着けた服の色は赤色であり、第２の人物３６２が下半身３６４に身に着けた服の色は黒色である。

グラフ領域には、第１の人物３５２に係るデータである第１のデータ表示３１０と、第２の人物３６２に係るデータである第２のデータ表示３２０とが示されている。第１のデータ表示３１０においては、マーカ３１１内部の色は、第１の人物３５２が上半身３５３に身に着けた服の色である白色であり、線３１２及びマーカ３１１の輪郭線は、第１の人物３５２が下半身３５４に身に着けた服の色である黄色である。第２のデータ表示３２０においては、マーカ３２１内部の色は、第２の人物３６２が上半身３６３に身に着けた服の色である赤色であり、線３２２及びマーカ３２１の輪郭線は、第２の人物３６２が下半身３６４に身に着けた服の色である黒色である。

第１のバリエーションのように、例えば人物の上半身と下半身といったように、解析対象物のうち２つ以上の領域の色を抽出し、２色以上の色で解析結果を表してもよい。このような表現によれば、色情報が増加し、多数のデータを表示する場合や、解析対象物に同じ色が含まれている場合等にも、識別性のよい表示が実現され得る。

上述の例では物体色として解析対象物に占める面積が広い色を採用する例を示したが、第１のバリエーションのように、解析対象物を表す色として種々の方法で物体色が決定される。上半身の色及び下半身の色は、例えば上半身の型及び下半身の型のテンプレートを用いて特定され得る。また、服の色に限らず、キャップ、グローブ、シューズ等の色が物体色として抽出されてもよい。また、身に着けている物の色に限らず、例えば髪の毛の色、使用している道具等の色などが物体色として抽出されてもよい。

〈第２のバリエーション〉
上述の例では、運動データの解析結果をグラフで表示し、グラフのマーカ及び線の色を解析対象物の色と関連付けていた。しかしながらこれに限らない。第２のバリエーションに係る表示画像の一例を図６に示す。表示画像４００は、例えば図６に示すように、人型モデルを用いた表示であってもよい。図６は、図１に示す場面の解析結果を示す例である。

表示画像４００には、男性１０１の解析結果を示す第１の人型モデル４１０と、女性１０２の解析結果を示す第２の人型モデル４２０とが含まれている。第１の人型モデル４１０は、男性１０１の動きを模式的に示し、第２の人型モデル４２０は、女性１０２の動きを模式的に示す。ここで、第１の人型モデル４１０の色は、男性１０１の服の色と同じ黒色であり、第２の人型モデル４２０の色は、女性１０２の服の色と同じ赤色である。

例えば人型のモデルは、図６に示すような人型を棒で表現したモデルに限らない。解析結果は、各種表現形態を用いたアニメーション等によって表示され得る。解析対象物が人でないときには、当該解析対象物の形状が表示され得ることはもちろんである。

例えば人型のモデル等の各種の画像、アニメーション等によって解析結果が示される場合にも、解析対象物の色と関連付けられた色で表現されるので、識別性のよい表示が実現され得る。

〈第３のバリエーション〉
表示画像は、グラフや人型モデル等といった図形に限らない。表示画像に含まれる解析結果を示すものは、表であってもよい。表示態様が表である場合、表中の文字色を解析対象物の色と関連付けることで、識別性のよい表示が実現され得る。

解析結果を表す画像を運動表示画像としたときに、上述の図４のグラフ領域２０１、図５のグラフ領域３０１、図６の表示画像４００、及び第３のバリエーションの表のように、運動表示画像は各種の表示形態を取り得る。表示画像において、例えば図４及び図５に示すように、運動表示画像と動画とが並べて表示されることは、解析結果と動画とを一覧できるので、好ましい。

［解析対象物の特定方法のバリエーション］
解析対象物の特定方法のバリエーションについて説明する。上述の例では、動画データから画像の動きベクトルを求め、この動きベクトルとウェアラブルセンサ３０の検出値の解析結果とを比較して対応関係を特定する方法を示した。しかしながら、対応関係の求め方はこれに限らない。

例えば、ウェアラブルセンサ３０には、個体毎に異なるマーカが設けられていてもよい。この場合、画像中に検出される当該ウェアラブルセンサ３０を示すマーカの画像に基づいて、解析対象物が特定され得る。すなわち、図３にフローチャートを示して説明したステップＳ３乃至ステップＳ６のように運動データを比較することなく、画像のみに基づいて解析対象物が特定され得る。ただし、この方法の場合、カメラ６０を用いてマーカを撮影する必要がある。

ウェアラブルセンサ３０に設けられるマーカは、ウェアラブルセンサ３０を特定するための専用のマーカであってもよいし、他の機能を担っているものをマーカとして用いてもよい。例えば、ウェアラブルセンサ３０が、運動データの送信に可視光通信を用いている場合、通信に用いる可視光が上述のマーカの機能を担い得る。この場合、可視光はウェアラブルセンサ３０のＩＤを表す発光パターンを示してもよい。

このように、ウェアラブルセンサ３０にマーカが設けられることで、解析対象物とウェアラブルセンサ３０とを対応付けるために、例えばオプティカルフローを求める等の複雑な画像解析等を必要としなくなる。

また、ウェアラブルセンサ３０とは別に、ウェアラブルセンサ３０が装着された解析対象物に解析対象物を特定するためのマーカが取り付けられてもよい。動画中に写ったこのようなマーカによっても、解析対象物は特定され得る。

［運動データのバリエーション］
上述の例では、ウェアラブルセンサ３０を用いて取得されたデータを運動データとして用いる場合を例に挙げて説明した。しかしながら、これに限らない。

運動データは、カメラ６０で得られた動画に基づいて取得されてもよい。この場合、情報処理システム１は、ウェアラブルセンサ３０を必要としない。情報処理システム１は、動画データ及び運動データとしての役割を担う動画を撮影するカメラ６０と、動画データ及び運動データの解析を行うコンピュータ１０とを備えることになる。

また、運動データは、例えば距離画像センサで取得されたデータであってもよい。この場合、情報処理システム１は、ウェアラブルセンサ３０に代えて、距離画像センサを備えることになる。

これらの場合、動画データに基づいて、解析対象物が特定されるので、図３を参照して説明したステップＳ３乃至ステップＳ６の処理は、動画又は距離画像センサの出力に基づいて運動データを解析することと、画像に基づいて解析対象物を特定することとに置き換えられる。

このように、本実施形態に係る情報処理システム１は、ウェアラブルセンサ３０に限らず、解析対象物の運動を解析するためのデータを取得できる種々の機器に適用され得る。

［解析対象物のバリエーション］
上述の例では、人物を解析対象物とする例を示した。しかしながら、解析対象物は、人物に限らず、どのような物体であってもよい。解析対象物は、例えば、ロボット、自動車等の物であってもよい。解析対象物は、例えば、競走馬など動物であってもよい。

また、上述の例では、１つの解析対象物としての１人の人物に１つのウェアラブルセンサ３０が装着される例を示したが、これに限らない。１人に複数のウェアラブルセンサ３０が装着されてもよい。すなわち、１人につき複数箇所の運動が解析されてもよい。例えば、人物の上半身と下半身とにそれぞれウェアラブルセンサ３０が装着されてもよい。この場合、上半身についての解析結果は上半身の服の色で表示され、下半身についての解析結果は下半身の服の色で表示されてもよい。この例では、解析対象物は、１人の人物の上半身と下半身とであり、１人の人物について２つあるということになる。このように、１つの対象物体に複数の解析対象物があってもよい。この場合であっても１つの対象物体に複数ある解析対象物の各々の色と、解析対象物の各々の解析結果とは、それぞれ対応付けられる。

［システム構成のバリエーション］
情報処理システム１において、例えばカメラ６０とコンピュータ１０との機能の両方を担うカメラ付きの情報処理装置が、カメラ６０とコンピュータ１０とに代えて用いられてもよい。

上述の場合の何れの場合にも、本実施形態によれば、ユーザにとって認識されやすい表示画像が提供され得る。また、上述の各バリエーションは、互いに組み合わせて適用され得ることはもちろんである。

また、上記実施形態ではデータとして運動データを対象として説明したが、対象とするデータは、脈拍や心拍といった生体情報の様なデータであってもよい。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
運動している少なくとも１つの物体に係る動画のデータを動画データとして取得する動画データ取得部と、
前記物体の測定情報を示すデータを測定情報データとして取得する測定情報データ取得部と、
前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定する物体特定部と、
前記解析対象物に係る色を物体色として特定する色特定部と、
前記色特定部により特定された前記物体色を前記測定情報データの色として決定する決定部と
を備える情報処理装置。
［２］
前記測定情報データは、センサを用いて取得されたデータである、［１］に記載の情報処理装置。
［３］
前記物体特定部は、
前記動画を解析して前記物体に係る動きベクトルを特定し、
前記測定情報データに含まれる前記センサで取得された加速度データ、角速度データ、磁気方向データ、衛星測位データ及び気圧データのうち少なくとも何れか１つに基づいて取得された前記物体の動きの情報と、前記動きベクトルとを比較して、前記解析対象物を特定する、
［２］に記載の情報処理装置。
［４］
前記物体は、前記センサに対応するマーカを備え、
前記動画には、前記マーカに係る画像が含まれており、
前記物体特定部は、前記画像に含まれる前記マーカに基づいて前記解析対象物を特定する、
［２］に記載の情報処理装置。
［５］
前記マーカは、前記センサに備えられている、
［４］に記載の情報処理装置。
［６］
前記測定情報データは、前記動画を解析して取得したデータである、［１］に記載の情報処理装置。
［７］
前記測定情報データは、距離画像センサで取得されたデータである、［１］に記載の情報処理装置。
［８］
前記測定情報データ取得部は、複数の測定情報データを取得し、
前記物体特定部は、前記複数の測定情報データ毎に前記解析対象物を特定する、
［１］乃至［７］のうち何れか一に記載の情報処理装置。
［９］
前記色特定部は、複数の前記解析対象物毎に、各々の色相の広がりが所定値よりも大きくなるように前記物体色を決定する、［８］に記載の情報処理装置。
［１０］
前記色特定部は、前記解析対象物の色毎の面積を特定し、前記面積に基づいて決定した色と同じ色又は近似する色を前記物体色として特定する、［１］乃至［９］のうち何れか一に記載の情報処理装置。
［１１］
前記物体特定部は、前記物体の形に応じたテンプレートを用いたフィルタリング処理を用いて、前記動画に含まれる少なくとも１つの物体を識別する、［１］乃至［１０］のうち何れか一に記載の情報処理装置。
［１２］
前記色特定部は、前記物体色として前記解析対象物に複数色を特定し、
前記決定部は、前記複数色を前記測定情報データの色として決定する、
［１］乃至［１１］のうち何れか一に記載の情報処理装置。
［１３］
前記測定情報データを、前記決定部により決定された前記物体色を用いて表示する測定情報表示画像を作成する表示作成部を備える、
［１］乃至［１２］のうち何れか一に記載の情報処理装置。
［１４］
前記色特定部は、前記物体色として前記解析対象物に２色を特定し、
前記表示作成部は、
前記測定情報データを表すグラフを含む前記測定情報表示画像を作成し、
前記２色のうち、一方を前記解析対象物の前記測定情報データを表すグラフのマーカの色とし、他方を前記解析対象物の前記測定情報データを表すグラフの線の色とする、
［１３］に記載の情報処理装置。
［１５］
前記表示作成部は、
前記測定情報データを表す表を含む前記測定情報表示画像を作成し、
前記物体色を前記解析対象物の前記測定情報データを表す文字の色とする、
［１３］に記載の情報処理装置。
［１６］
前記表示作成部は、
前記測定情報データを表す人型モデルを含む前記測定情報表示画像を作成し、
前記物体色を前記解析対象物の前記測定情報データを表す人型モデルの色とする、
［１３］に記載の情報処理装置。
［１７］
前記表示作成部は、
前記測定情報データが表す測定情報を形状で示すアニメーションの画像を含む前記測定情報表示画像を作成し、
前記物体色を前記解析対象物の前記測定情報データを表す前記アニメーションの画像の色とする、
［１３］に記載の情報処理装置。
［１８］
前記表示作成部は、前記測定情報表示画像と前記動画とを含む表示画像を作成する、［１３］乃至［１７］のうち何れか一に記載の情報処理装置。
［１９］
［１］乃至［１８］のうち何れか一に記載の情報処理装置と、
前記動画を撮影するカメラと、を含み、
前記情報処理装置の前記動画データ取得部は、前記カメラにより撮影された動画のデータを前記動画データとして取得する情報処理システム。
［２０］
前記カメラは、前記カメラの縦位置と横位置とを特定し、カメラ姿勢データを作成する姿勢特定部を備え、
前記物体特定部は、前記解析対象物の特定に前記カメラ姿勢データを用いる、
［１９］に記載の情報処理システム。
［２１］
運動している少なくとも１つの物体に係る動画のデータを動画データとして取得することと、
前記物体の測定情報を示すデータを測定情報データとして取得することと、
前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定することと、
前記解析対象物に係る色を物体色として特定することと、
特定された前記物体色を前記測定情報データの色として決定することと
を含む情報処理方法。
［２２］
運動している少なくとも１つの物体に係る動画のデータを動画データとして取得することと、
前記物体の測定情報を示すデータを測定情報データとして取得することと、
前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定することと、
前記解析対象物に係る色を物体色として特定することと、
特定された前記物体色を前記測定情報データの色として決定することと
をコンピュータに実行させるためのプログラム。

１…情報処理システム、１０…コンピュータ、１１…Central Processing Unit（ＣＰＵ）、１２…Read Only Memory（ＲＯＭ）、１３…Random Access Memory（ＲＡＭ）、１４…ストレージ、１５…入力装置、１６…表示装置、１７…インターフェース（Ｉ／Ｆ）、１９…バスライン、３０…ウェアラブルセンサ、３０ａ…第１のウェアラブルセンサ、３０ｂ…第２のウェアラブルセンサ、３１…プロセッサ、３２…ＲＡＭ、３３…フラッシュメモリ、３４…入力装置、３５…Ｉ／Ｆ、３９…バスライン、４１…角速度センサ、４２…加速度センサ、４３…磁気センサ、４４…気圧センサ、４５…ＧＰＳセンサ、６０…カメラ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…画像処理回路、６５…記録媒体、６６…Ｉ／Ｆ、７１…撮像光学系、７２…撮像素子、７３…姿勢センサ、７４…入力装置、７５…表示装置。

Claims (17)

1. 運動している少なくとも１つの物体に係る動画のデータを動画データとして取得する動画データ取得手段と、
   前記物体の測定情報を示すデータを測定情報データとして取得する測定情報データ取得手段と、
   前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定する物体特定手段と、
   前記解析対象物に係る色を物体色として特定する色特定手段と、
   前記色特定手段により特定された前記物体色を、前記測定情報データを表示する際の表示色として決定する決定手段と、
   前記測定情報データを、前記決定手段により決定された前記物体色を用いて表示する測定情報表示画像を作成する表示作成手段と、を備え、
   前記色特定手段は、前記物体色として前記解析対象物に２色を特定し、
   前記表示作成手段は、
   前記測定情報データを表すグラフを含む前記測定情報表示画像を作成し、
   前記２色のうち、一方を前記解析対象物の前記測定情報データを表すグラフのマーカの色とし、他方を前記解析対象物の前記測定情報データを表すグラフの線の色とする、
   情報処理装置。
2. 前記測定情報データは、センサを用いて取得されたデータである、請求項１に記載の情報処理装置。
3. 前記物体特定手段は、
   前記動画を解析して前記物体に係る動きベクトルを特定し、
   前記測定情報データに含まれる前記センサで取得された加速度データ、角速度データ、磁気方向データ、衛星測位データ及び気圧データのうち少なくとも何れか１つに基づいて取得された前記物体の動きの情報と、前記動きベクトルとを比較して、前記解析対象物を特定する、
   請求項２に記載の情報処理装置。
4. 前記物体は、前記センサに対応するマーカを備え、
   前記動画には、前記マーカに係る画像が含まれており、
   前記物体特定手段は、前記画像に含まれる前記マーカに基づいて前記解析対象物を特定する、
   請求項２に記載の情報処理装置。
5. 前記マーカは、前記センサに備えられている、
   請求項４に記載の情報処理装置。
6. 前記測定情報データは、前記動画を解析して取得したデータである、請求項１に記載の情報処理装置。
7. 前記測定情報データは、距離画像センサで取得されたデータである、請求項１に記載の情報処理装置。
8. 前記測定情報データ取得手段は、複数の測定情報データを取得し、
   前記物体特定手段は、前記複数の測定情報データ毎に前記解析対象物を特定する、
   請求項１乃至７のうち何れか１項に記載の情報処理装置。
9. 前記色特定手段は、複数の前記解析対象物毎に、各々の色相の値の差が所定値よりも大きくなるように前記物体色を決定する、請求項８に記載の情報処理装置。
10. 前記色特定手段は、前記解析対象物の色毎の面積を特定し、前記面積に基づいて決定した色と同じ色又は近似する色を前記物体色として特定する、請求項１乃至９のうち何れか１項に記載の情報処理装置。
11. 前記物体特定手段は、前記物体の形に応じたテンプレートを用いたフィルタリング処理を用いて、前記動画に含まれる少なくとも１つの物体を識別する、請求項１乃至１０のうち何れか１項に記載の情報処理装置。
12. 前記色特定手段は、前記物体色として前記解析対象物に複数色を特定し、
    前記決定手段は、前記複数色を、前記測定情報データを表示する際の表示色として決定する、
    請求項１乃至１１のうち何れか１項に記載の情報処理装置。
13. 前記表示作成手段は、前記測定情報表示画像と前記動画とを含む表示画像を作成する、請求項１乃至１２のうち何れか１項に記載の情報処理装置。
14. 請求項１乃至１３のうち何れか１項に記載の情報処理装置と、
    前記動画を撮影するカメラと、を含み、
    前記情報処理装置の前記動画データ取得手段は、前記カメラにより撮影された動画のデータを前記動画データとして取得する情報処理システム。
15. 前記カメラは、前記カメラの縦位置と横位置とを特定し、カメラ姿勢データを作成する姿勢特定手段を備え、
    前記物体特定手段は、前記解析対象物の特定に前記カメラ姿勢データを用いる、
    請求項１４に記載の情報処理システム。
16. 情報処理装置の情報処理方法であって、
    運動している少なくとも１つの物体に係る動画のデータを動画データとして取得する動画データ取得工程と、
    前記物体の測定情報を示すデータを測定情報データとして取得する測定情報データ取得工程と、
    前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定する物体特定工程と、
    前記解析対象物に係る色を物体色として特定する色特定工程と、
    特定された前記物体色を、前記測定情報データを表示する際の表示色として決定する決定工程と、
    前記測定情報データを、前記決定工程により決定された前記物体色を用いて表示する測定情報表示画像を作成する表示作成工程と、を含み、
    前記色特定工程は、前記物体色として前記解析対象物に２色を特定し、
    前記表示作成工程は、
    前記測定情報データを表すグラフを含む前記測定情報表示画像を作成し、
    前記２色のうち、一方を前記解析対象物の前記測定情報データを表すグラフのマーカの色とし、他方を前記解析対象物の前記測定情報データを表すグラフの線の色とする、
    情報処理方法。
17. 情報処理装置のコンピュータを、
    運動している少なくとも１つの物体に係る動画のデータを動画データとして取得する動画データ取得手段、
    前記物体の測定情報を示すデータを測定情報データとして取得する測定情報データ取得手段、
    前記動画に含まれる前記測定情報データに対応する前記物体を解析対象物として特定する物体特定手段、
    前記解析対象物に係る色を物体色として特定する色特定手段、
    特定された前記物体色を、前記測定情報データを表示する際の表示色として決定する決定手段、
    前記測定情報データを、前記決定手段により決定された前記物体色を用いて表示する測定情報表示画像を作成する表示作成手段、として機能させるプログラムであって、
    前記色特定手段は、前記物体色として前記解析対象物に２色を特定し、
    前記表示作成手段は、
    前記測定情報データを表すグラフを含む前記測定情報表示画像を作成し、
    前記２色のうち、一方を前記解析対象物の前記測定情報データを表すグラフのマーカの色とし、他方を前記解析対象物の前記測定情報データを表すグラフの線の色とする、
    プログラム。