JP6969640B2 - 解析用データ収集装置、その方法、及びプログラム - Google Patents

Description

本発明は、スポーツをしている対象者から運動制御に寄与する知覚情報を解析するためのデータを収集する技術、そのデータを解析するための解析技術、および、運動制御に寄与する知覚情報に基づいて対象者の運動能力を向上させるよう訓練する技術に関する。

スポーツの基本動作を適切に取得する上では、行為者が自身の身体動作を客観的に把握することが重要である。

特許文献１では、基準となる運動状態に対する行為者の現在の運動状態を出力することで、お手本と比較したときの行為者の身体動作を客観的に把握可能にする技術が開示されている。

特開２０１６−１５０１１９号公報

例えば、野球のバッティングの動作を考えた場合、人は、自分に向かってくるボールの軌道や速さだけでなく、ボールを投げる相手の動きなどの様々な知覚情報に基づいて、ボールの到達点や到達時刻を予測して自身の取るべき行動（運動）の内容やタイミングを計画し、運動制御を行っている。実環境においては様々な知覚情報が取得可能であるが、そのうち意味のある知覚情報を迅速かつ的確に処理することが運動制御に重要と考えられる。しかしながら、バッティングのような運動の制御は短時間の間に行われており、ほぼ無意識的に必要な知覚情報を収集し判断が行われている。そのため、自分でも何の情報に基づいて運動を決定しているかを把握することは難しい。また、バッティングの上手い人とそうでない人の間で運動制御に用いる知覚情報にどのような差異があるかを客観的に把握することは難しい。

特許文献１では、動かす筋肉の場所や動かすタイミングを音や映像で提示することで、どの筋肉を、いつ、どのように動かすかについて、お手本と自身の運動との差異を客観的に把握することができ、お手本と揃うように訓練していくことが可能である。しかしながら、こうした目標とする運動をスポーツ実環境で実行するにあたっては、おかれている状況を適切に認識・判断し、適切な目標運動を選択する必要がある。そのためには、どのような情報を知覚して運動制御を行っているのか（つまり、身体動作として表出される前の脳内の処理）について理解する必要があり、また、そうした知覚情報が明らかになれば、運動パフォーマンスを向上させる効果的な訓練にむすびつくと考えられる。

本発明では、運動制御への寄与が大きい知覚情報が何であるかを客観的に解析可能とするための解析用データ収集装置を提供することを目的とする。さらに、解析用データを用いて運動制御への寄与が大きい知覚情報を解析する解析装置と、対象者が当該知覚情報を扱えるようになるよう訓練するための訓練装置を提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、解析用データ収集装置は、バーチャル映像内に表示される相手が物理法則に逆らう動きをする映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定部と、物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報を記憶する記憶部と、映像特定情報に基づき、動き情報を用いて、実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成部と、映像特定情報と、バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、バーチャル映像を提示された状態で解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、解析用データ収集装置は、相手の身体動作と前記相手の身体動作に伴う物体の動きとが物理法則に照らして整合しない映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定部と、物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報を記憶する記憶部と、映像特定情報に基づき、動き情報を用いて、実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成部と、映像特定情報と、バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、バーチャル映像を提示された状態で解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、解析用データ収集方法は、記憶部には、物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報が記憶されているものとし、バーチャル映像内に表示される相手が物理法則に逆らう動きをする映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定ステップと、映像特定情報に基づき、動き情報を用いて、実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成ステップと、映像特定情報と、バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、バーチャル映像を提示された状態で解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、解析用データ収集方法は、記憶部には、物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報が記憶されているものとし、相手の身体動作と前記相手の身体動作に伴う物体の動きとが物理法則に照らして整合しない映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定ステップと、映像特定情報に基づき、動き情報を用いて、実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成ステップと、映像特定情報と、バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、バーチャル映像を提示された状態で解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、データ構造は、バーチャル映像内に表示される相手が物理法則に逆らう動きをする合成されたバーチャル映像を提示される対象者またはその付属物に取り付けたセンサから得られる運動情報と、バーチャル映像を提示された状態で解析対象者が行う運動の評価を示す運動評価情報と、バーチャル映像を特定する映像特定情報と、を対応付けたデータ構造であり、運動評価情報が高いときの運動情報と運動評価が低いときの運動情報とで差異の大きい時刻を注目時刻として特定し、この注目時刻近傍で動きのあるバーチャル映像中の部分領域を特定する処理に用いられる。
上記の課題を解決するために、本発明の他の態様によれば、データ構造は、相手の身体動作と前記相手の身体動作に伴う物体の動きとが物理法則に照らして整合しない合成されたバーチャル映像を提示される対象者またはその付属物に取り付けたセンサから得られる運動情報と、バーチャル映像を提示された状態で解析対象者が行う運動の評価を示す運動評価情報と、バーチャル映像を特定する映像特定情報と、を対応付けたデータ構造であり、運動評価情報が高いときの運動情報と運動評価が低いときの運動情報とで差異の大きい時刻を注目時刻として特定し、この注目時刻近傍で動きのあるバーチャル映像中の部分領域を特定する処理に用いられる。

本発明の解析用データ収集装置によれば、運動制御への寄与が大きい知覚情報が何であるかを客観的に解析可能とするための解析用データを収集することができる。また、本発明の解析装置によれば、解析用データを用いて、運動制御への寄与が大きい知覚情報を推定することができる。さらに、本発明の訓練装置によれば、運動制御への寄与が大きい知覚情報を用いて、対象者が当該知覚情報を扱えるようになるよう訓練することができる。

第一実施形態に係る訓練システムの構成図。 第一実施形態に係る解析用データ収集装置の機能ブロック図。 第一実施形態に係る解析用データ収集装置の処理フローの例を示す図。 第一実施形態に係る解析装置の機能ブロック図。 第一実施形態に係る解析装置の処理フローの例を示す図。 第一実施形態に係る訓練装置の機能ブロック図。 第一実施形態に係る訓練装置の処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態＞
図１は第一実施形態に係る訓練システムの構成図を示す。訓練システムは、解析用データ収集装置１００と解析装置２００と訓練装置３００とを含む。

解析用データ収集装置１００、解析装置２００及び訓練装置３００のそれぞれは、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。解析用データ収集装置１００、解析装置２００及び訓練装置３００のそれぞれは、例えば、中央演算処理装置の制御のもとで各処理を実行する。解析用データ収集装置１００、解析装置２００及び訓練装置３００のそれぞれに入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。解析用データ収集装置１００、解析装置２００及び訓練装置３００のそれぞれの各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。解析用データ収集装置１００、解析装置２００及び訓練装置３００のそれぞれが備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。

さらに、訓練システムは、解析用データを収集する際に解析対象者９３に映像を表示する映像表示部９１、センサ９２、訓練する際に訓練対象者８３に映像を表示する映像表示部８１を含んでもよい。映像表示部８１，９１は、例えば、ヘッドマウントディスプレイであり、解析対象者９３、訓練対象者８３に取り付けられる。ヘッドマウントディスプレイは、訓練対象者８３、解析対象者９３が頭部に装着して映像や音声を視聴するためのデバイスである。ヘッドマウントディスプレイは、例えば、訓練対象者８３、解析対象者９３が装着したときの視界に対応する範囲にディスプレイが設けられ、両耳に対応する位置にヘッドホンが設けられる。ヘッドマウントディスプレイには、加速度センサや変位センサなどの各種センサが搭載されており、訓練対象者８３、解析対象者９３が装着したときの頭部の位置および姿勢を認識することが可能である。これにより、ヘッドマウントディスプレイは、訓練対象者８３、解析対象者９３の視点に合わせた映像を提示することが可能となっている。ただし、映像表示部８１，９１は、ヘッドマウントディスプレイ以外の表示装置であってもよい。例えば、3Dディスプレイや多面の箱型プロジェクションスクリーン(例えば、CAVE: Cave Automatic Virtual Environment)等であってもよい。この場合、ヘッドマウントディスプレイに搭載されていた加速度センサや変位センサなどの各種センサは必要に応じて別途、訓練対象者８３、解析対象者９３に取り付ければよい。

〔解析用データ収集装置１００〕
本実施形態の解析用データ収集装置１００は、バーチャルリアリティを用いたスポーツシステムを用い、実環境に基づく映像ならびに実環境では再現しえない環境の映像をバーチャルリアリティ映像として解析対象者に提示し、そのバーチャル映像を見ながら運動する解析対象者から、運動情報と当該運動の評価を示す運動評価情報を取得し、提示したバーチャル映像を特定する情報である映像特定情報と対象者の運動情報と運動評価情報反応とを対応付けた解析用データを生成するものである。

図２は解析用データ収集装置１００の機能ブロック図を、図３はその処理フローの例を示す。

解析用データ収集装置１００は、記憶部１０１、映像条件設定部１０２、映像合成部１０３、評価情報取得部１０６及び解析用データ生成部１０７を含む。

＜記憶部１０１＞
記憶部１０１には、映像合成部１０３で映像を合成する際のベースとなる各物体の動き情報（バーチャル映像中の各物体）および周辺環境の映像が予め格納されている。各物体の動き情報は、物体の「動きの種類」毎に当該「動きの種類」に対応付けて格納されているものとする。

例えば、野球のバッターについて解析用データを取得しようとする場合、バーチャル映像として投手が投球し、ボールが解析対象者（バッター）のほうに向かって飛んでくる映像が映像表示部９１に表示されることになる。この場合、記憶部１０１に記憶される各物体の動き情報は、
（１）投手の動き情報
投手の動き（投球スタイルや球種）毎の投手の投球フォームの映像（例えば、ストレートを投げるオーバーハンドスロー投手の映像、カーブを投げるサイドスロー投手の映像、スライダーを投げるアンダースロー投手の映像、等）
（２）ボールの動き情報
ボールの動き（ボールの軌道）毎のボールの位置情報の系列、つまり、各フレームにおいてボールがどの位置に表示されるかを示す位置情報の系列（例えば、ストレートで飛んでくるボールの位置情報の系列、カーブで飛んでくるボールの位置情報の系列、スライダーで飛んでくるボールの位置情報の系列、等）。
である。なお、位置情報の系列は、ボールが投手の手を離れる時刻を基準として次の時刻（フレーム）でボールがどの位置に表示されるかを示す位置情報を先頭として、以降の時刻のボールの位置情報が時系列に並んだ系列とする。

また、（２）の代わりに、ボールの動き（ボールの軌道）毎のボールの映像（ストレートのボールが対象者のほうに向かって飛んでくる映像、カーブのボールが対象者のほうに向かって飛んでくる映像、スライダーのボールが対象者のほうに向かって飛んでくる映像、等）をボールの動き情報として格納してもよい。要は、動き情報は、後述する映像合成部１０３において、バーチャル映像を生成する際に、物体の動きを示す情報であればよい。

＜映像条件設定部１０２＞
映像条件設定部１０２は、映像合成部１０３で合成するバーチャル映像の条件を設定する（Ｓ１０２）。上述の通り、本実施形態の解析用データ収集装置１００は、「実環境では再現しえない環境の映像」を映像表示部９１に表示するが、この「実環境では再現しえない環境」として具体的にどのようなものを扱うかを映像の条件(以下、「映像特定情報」ともいう)として設定するものである。換言すると、映像特定情報とは、提示したバーチャル映像がどのような設定で生成されたものであるかを特定するための情報、つまり、提示したバーチャル映像を特定する情報である。映像の条件毎に固有のIDを振っていれば、そのIDでもよいし、映像の条件そのもの（例えば、後述の野球の例では投球フォームとボール動きの組である（ストレート，カーブ）等）でもよい。

「実環境では再現しえない環境」とは、バーチャル映像内に表示される相手が物理法則に逆らう動きをする映像や、相手の身体動作と相手の身体動作に伴って繰り出されるボール等の物体の動きとが物理法則に照らして整合しない映像である。野球の場合を例に説明すると、以下のような映像である。
（１）投手がストレートのボールを投げるときの投球フォームの映像と、カーブの軌道に沿って対象者に向かってくるボールの映像とを合成した映像（つまり投球フォームと投じられるボール軌道が整合しない映像）。
（２）投手が投げたボールの軌道が途中まではストレートの軌道に沿っているが、その後突然カーブの軌道に沿った動きに切り替わるような映像（つまり、前半のボールの軌道が従う物理法則と、後半のボールの軌道が従う物理法則が異なる映像）。
（３）投手から自身のほうに向かってくるボールが、軌道上の一部区間において消えてしまう映像（つまり、実環境上では消滅するはずがないところで物体が消滅する映像）。

つまり、映像条件設定部１０２は、映像表示部９１でバーチャル映像として表示する映像(実環境では再現しえない環境を提示する映像)中の各物体（人物含む）の動きを特定する映像特定情報を映像の条件として設定し（Ｓ１０２）、映像合成部１０３に出力する。

上述の野球の（１）の例では、投手とボールの動きについて、（ストレート，カーブ）といった動きを特定する情報の組を映像の条件(映像特定情報)として設定する。

映像の条件は外部入力により与えられても良いし、各物体について予め用意された複数の動きの中からランダムに１つずつ選んで映像の条件を生成してもよい。例えば、上述の野球の例では、予め投手の動きとしてストレート、カーブ、スライダー等がリストで定められており、ボールの動きとしてストレート、カーブ、スライダー等がリストで定められており、そのなかから１つずつ動きを選択して（カーブ、スライダー）といった動きを特定する情報の組を映像の条件として設定する。

記憶部１０１に記憶される動き情報及び映像特定情報は、解析対象者に提示するバーチャル映像に応じて適宜用意すればよい。例えば、（２）のボールの軌道が物理法則に逆らう動きをするような映像の場合、投手が投げたボールの軌道が途中まではストレート、カーブ、スライダー等の軌道に沿っている動き情報を用意し（予め記憶部１０１に記憶しておき）、途中からストレート、カーブ、スライダー等の軌道に沿っている動き情報を用意し（予め記憶部１０１に記憶しておき）、途中までの軌道と途中からの軌道との組合せを設定可能な映像特定情報とする。また、例えば、（３）投手から自身のほうに向かってくるボールが、軌道上の一部区間において消えてしまう映像の場合、軌道上のA地点からB地点まで、B地点からC地点まで、…においてボールが消える動き情報を用意し（予め記憶部１０１に記憶しておき）、消える区間を特定する情報を設定可能な映像特定情報とする。

なお、各物体についての動きに加えて、運動環境（雨が降っている／晴れている、暗い／明るい）を特定する情報も映像の条件(映像特定情報)として加えても良い。

なお、実環境では再現しえない環境の映像だけでなく、実環境に基づく映像をバーチャルリアリティ映像として解析対象者に提示するために、物理法則に逆らわない動きをする映像や、相手の身体動作と相手の身体動作に伴って繰り出されるボール等の物体の動きとが物理法則に照らして整合する映像を特定する情報も映像特定情報として加えても良い。例えば、上述の野球の（１）の例では投手とボールの動きについて（ストレート，ストレート）といった動きを特定する情報の組を映像特定情報として設定してもよいし、（２）の例では投手が投げたボールの軌道の途中までの軌道と途中からの軌道について（ストレート，ストレート）といった動きを特定する情報の組を映像特定情報として設定してもよいし、（３）の例では投手から自身のほうに向かってくるボールが消えない動き情報を映像特定情報として設定してもよい。

＜映像合成部１０３＞
映像合成部１０３は、映像特定情報を入力とし、映像条件設定部１０２で設定された映像の条件に従って、各物体（人物含む）が動く映像を合成した映像（バーチャル映像）を生成し（Ｓ１０３）、映像表示部９１に出力する。映像の条件に運動環境の情報が含まれる場合には、その環境に応じて映像を加工して、映像表示部９１に出力する。

上述の野球の例で説明すると、映像合成部１０３は、映像条件設定部１０２から出力された映像の条件中の投手の動きに対応する投球フォームの映像と、ボールの動きに対応するボールの映像とを記憶部１０１から読み出し、これらを合成した映像をバーチャル映像として映像表示部９１に出力する。具体的には、例えば、記憶部１０１から読み出した投球フォームの映像のうち、ボールが手を離れる瞬間に対応するフレームの画像（投球開始フレーム画像）のボールを投げるほうの手の位置（初期位置）にボールの映像を重畳した映像を生成する。次の時刻のフレームの画像は、投球フォームの映像のうち投球開始フレーム画像の次のフレームの画像に、記憶部１０１から読み出したボールの位置情報の系列中の先頭の位置情報を前フレームのボールの位置に応じて補正した位置にボールの映像を重畳した映像を生成する。同様の処理を以後のフレームについても行うことでバーチャル映像を生成する。

上述の映像表示部９１は、映像合成部１０３で合成したバーチャル映像を内部のディスプレイに映し、解析対象者９３に提示する（Ｓ１０４）。

センサ９２は、映像表示部９１に提示されたバーチャル映像を見ながら運動する解析対象者９３の体の所定部位、または／および、解析対象者９３が保持する物体（バットやラケット等であり、付属物ともいう）に取り付けられ、センサデータを取得し（Ｓ１０５）、出力する。この取得したセンサデータを運動情報と呼ぶこととする。センサ９２としては、加速度センサや変位センサやモーションセンサなどの各種運動情報を検知するためのセンサ、あるいは、心拍・心電・呼吸・筋電・眼の動的な動き等の各種生体情報を取得するセンサ等が考えられる。これらのセンサのうち１つ以上のセンサから取得した１つ以上のセンサデータを運動情報として取得するものとする。

＜評価情報取得部１０６＞
評価情報取得部１０６は、映像表示部９１に提示されたバーチャル映像を見ながら運動する対象者が行った運動(言い換えると、バーチャル映像が提示された状態で解析対象者が行った運動)の評価を示す情報を運動評価情報として取得し（Ｓ１０６）、出力する。

「運動評価情報」とは、例えばバッティングが上手くできたか否か（ボールを打ち返すことができたかどうか、ヒットなのか、ホームランなのか、空振りなのか等）やバッティング動作の巧みさ（どのようなタイミングでどのように身体を操作していたか等）、あるいは当該運動時の対象者の生体反応（眼の動きや心拍等）に影響するような運動状態を示す情報（例えば、ビーンボール（頭に向かってくるときの球）を投じられたことを示す情報など）である。当該運動時の対象者の注意状態（注意を向けている程度や範囲）や心理状態などを運動評価情報として付加してもよい。

解析対象者９３もしくは第三者から外部入力により運動評価情報を入力する構成としても良いし、センサ９２で取得した運動情報と映像表示部９１で表示した映像の情報とに基づいて評価値を計算し、運動評価情報として用いてもよい。

野球の例では、解析対象者９３が振ったバッドの運動情報と映像表示部９１で表示したボールの位置の情報とに基づいてバットにボールが当たったか否かの当たり判定を行った結果を運動評価情報としてもよい。例えば、評価情報取得部１０６は、映像条件設定部１０２から映像特定情報を受け取り、映像特定情報に基づき記憶部１０１からボールの動き情報(ボールの位置情報の系列)を取り出す。また、評価情報取得部１０６は、バットに取り付けられたセンサ９２からバットの位置を示す運動情報を受け取る。評価情報取得部１０６は、ボールの動き情報とバットの位置を示す運動情報とから、バットにボールが当たったか否かの当たり判定を行う。当たった場合には高い評価値を、当たらなかった場合には低い評価値を運動評価情報として設定してもよい。

＜解析用データ生成部１０７＞
解析用データ生成部１０７は、映像条件設定部１０２で設定した映像の条件に対応する映像特定情報と、センサ９２が出力した運動情報と、評価情報取得部１０６が出力した運動評価情報とを入力とし、これらの情報を対応付けた情報を解析用データとし、解析装置２００に出力する。なお、解析用データ収集装置１００は、図示しない記憶部に解析用データを蓄積しておき、解析用データの集合が、後述する解析装置２００の記憶部２０１に格納される。

〔解析装置２００〕
本実施形態の解析装置２００は、上述の解析用データ収集装置１００を用いて異なる映像の条件や異なる対象者について取得した解析用データの集合（解析用データ集合）を用いて、運動パフォーマンス向上に寄与しうる知覚情報（映像中のどの動きに注目すべきかを示す情報、以下「注目視覚情報」ともいう）を推定する。

なお、図１では解析用データ収集装置１００で取得した解析用データを逐次解析装置２００に入力するように見えるが、これに限定されるものではない。予め様々な場所、様々な対象者、異なる日時において解析用データ収集装置１００で取得した解析用データを記憶部に格納しておくものとし、記憶部に格納された解析用データの集合を解析装置２００が読み出して用いることができるものとする。

図４は解析装置２００の機能ブロック図を、図５はその処理フローの例を示す。

解析装置２００は、記憶部２０１、第一解析部２０２及び第二解析部２０３を含む。

解析装置２００は、解析用データ収集装置１００で収集した解析用データの集合を受け取り、記憶部２０１に格納する。

＜記憶部２０１＞
記憶部２０１には、解析用データの集合が格納されているものとする。解析用データの集合は、少なくとも
（１）複数の異なる映像特定情報に対応する映像について、同一の解析対象者から取得した複数の解析用データ
（２）同一の映像特定情報に対応する映像について、複数の異なる解析対象者から取得した複数の解析用データ
の何れかを含むものとする。

＜第一解析部２０２＞
第一解析部２０２は、解析用データの集合を記憶部２０１から取り出し、解析用データの集合に基づき、運動評価情報と相関性が高い運動情報を推定し（Ｓ２０２）、推定した運動情報の種別を特定する情報を出力する。なお、推定された結果を「解析対象運動情報」と呼ぶこととする。よって、解析対象運動情報は、加速度センサ、変位センサ、モーションセンサの出力値、心拍・心電・呼吸・筋電・眼の動的な動き等の各種生体情報（生体応答）の種別を特定する情報などである。なお、解析対象運動情報は、これらの出力値や各種生体情報（生体応答）を得る際に用いられるセンサの種別を特定する情報とも言える。

具体的には、同一の映像特定情報に対応する映像について、同一または複数の解析対象者から取得した複数の解析用データを解析した場合、運動評価が高いとき（上手くできたとき）と運動評価が低いとき（上手くできなかったとき）とで差異が大きい運動情報のカテゴリ（例えばセンサの種別を特定する情報等）を解析対象運動情報と推定する。例えば、運動評価が高いときと低いときでピーク値を取る時刻が異なる運動情報や、運動情報の時系列パターンが、評価が高いときと低いときで大きく異なるような運動情報のカテゴリ（例えばセンサの種別を特定する情報等）を解析対象運動情報とする。なお、解析対象運動情報は、同じ種類のセンサであっても運動情報を取得する部位（どこにセンサをつけたか）を含めて識別可能な情報であるものとする。

また、（１）複数の異なる映像特定情報に対応する映像について、同一の解析対象者から取得した複数の解析用データを解析した場合、運動評価が高いときと運動評価が低いときとで差異が大きい運動情報のカテゴリ（例えばセンサの種別を特定する情報等）を解析対象運動情報と推定する。

あるいは、（２）同一の映像特定情報に対応する映像について、複数の異なる解析対象者から取得した複数の解析用データを解析した場合、運動評価が高い対象者（運動パフォーマンスの高い対象者：プロ選手やレギュラー選手等）と運動評価が低い対象者（運動パフォーマンスが高くない対象者：初心者や補欠選手等）とで差異が大きい運動情報のカテゴリ（例えばセンサの種別を特定する情報等）を解析対象運動情報とする。

解析対象運動情報は、１個の運動情報のカテゴリであっても良いし、複数の運動情報のカテゴリの組み合わせであっても良い。

解析用データが複数個ある場合はこれらの平均を取った解析用データに対して上述の解析を行って解析対象運動情報を求めてもよいし、各解析用データに対して解析対象運動情報を求めた結果の多数決をとり、多いものを優先して最終的な解析対象運動情報としても良い。

上述の処理によって、解析用データの集合から複数の映像特定情報に対応する複数の解析対象運動情報を取得する。

＜第二解析部２０３＞
第二解析部２０３は、解析対象運動情報と、記憶部２０１に記憶された解析用データの集合に含まれる映像特定情報を用いて、バーチャル映像に含まれる、解析対象運動情報に対応する運動情報との相関性が高い映像部分領域（バーチャル映像中の動きがある部分領域）を特定する情報を「注目視覚情報」として推定し（Ｓ２０３）、解析対象運動情報と注目視覚情報とを関連付ける情報（注目運動種別情報ともいう)を得、出力する。例えば、注目視覚情報は、解析対象運動情報に対応する運動情報が示す挙動に変動が発生する時刻（以下、「変化時刻」という）と、当該変化時刻近傍で動きのあるバーチャル映像中の部分領域（解析対象運動情報に対応する運動情報との相関が高い映像部分領域）を示す情報とを少なくとも含む。部分領域を示す情報は、フレーム中で動きのある部分領域が特定できる情報、つまりフレーム内での部分領域の位置や大きさを特定する情報である。例えば、部分領域を示す情報は、運動評価が高いときの解析用データに含まれるバーチャル映像において、解析対象運動情報に対応する運動情報の変動が大きい時刻(変動時刻ともいう)の近傍で動きのある部分領域を特定する情報としてもよい。注目視覚情報は、変動時刻を部分領域を示す情報と対応付けたものである。また、注目視覚情報に、バーチャル映像中の部分領域を特定するのに用いた映像情報を特定する映像特定情報を含めてもよい。

ここで、第二解析部２０３が用いる解析用データ集合は、第一解析部２０２で解析対象運動情報を得るのに用いた解析用データ集合と同じものとする。

例えば、第二解析部２０３は、解析用データ集合中の各解析用データについて、第一解析部２０２で得た解析対象運動情報に対応する特定のセンサ９２から取得した運動情報が示す挙動に変動が発生する時刻近傍に動きがあったバーチャル映像（解析用データ収集装置１００の映像表示部９１に表示されていた映像）中の部分領域を推定する。これにより、映像中のどの部分の動き（映像中の部分領域）と、どの動作や生体応答の動き（解析対象運動情報に対応する運動情報）とが相関性が高いのかを関係付けることができる。

第二解析部２０３は、例えば、変化時刻と、こうして得た解析対象運動情報に対応する運動情報と相関性の高い（と推定された）バーチャル映像中の部分領域と、当該部分領域を含むバーチャル映像を特定するための映像特定情報とを注目視覚情報としてもよい。この場合、この注目視覚情報と解析対象運動情報とを「解析対象運動情報と注目視覚情報とを関連付ける情報」として出力する。この場合に、注目視覚情報に映像特定情報を含むようにするのは、後述の訓練装置で訓練のために生成するバーチャル映像を特定する情報として必要なためである。

例えば、以下のような処理で行うことができる。
（１）第一解析部２０２で得た解析対象運動情報に対応するセンサで取得された解析用データ中の運動情報の系列について、隣接する時刻間でセンサデータの変動が大きい時刻を変化時刻として抽出する。
（２）上記（１）で変化時刻を求めた解析用データが示す映像特定情報について、映像特定情報により特定される映像（前述の映像合成部１０３から出力されていた映像）中の変化時刻近傍の２つの異なる時刻のフレームの画像を比較し、当該フレーム間で動きがある映像中の部分領域を、当該変化時刻におけるフレームの特徴として算出する。

解析対象運動情報が示す運動情報の種別毎に、解析対象データ集合中の各解析用データについて上記（１）（２）を行うと、各運動情報の種別と相関の高い映像の部分領域と変化時刻が抽出できる。解析用データ毎に抽出される部分領域や変化時刻が異なる場合は、解析用データ全体の中で多数決をとり、多いものから所定数の部分領域や変化時刻を選択するようにしても良い。

第一解析部２０２で得られる解析対象運動情報に対応する運動情報は、運動評価が高いとき（または人）と運動評価が低いとき（または人）とで差がある。

第二解析部２０３では、この運動評価が高いか低いかによって差がある動作や生体応答の動きに着目して、当該動作や生体応答が大きくでる時刻の周辺で動きのある映像の部分領域が、脳内で当該動作や生体応答を決定するに際して寄与した映像（視覚）情報であろうと推定するものである。

例えば、実環境ではバッティングの精度が高い人が、投球フォームとボールの軌道が一致しない映像に対するバッティングの場合は精度が落ちてしまうとすると、投球フォーム又はボールの軌道の少なくとも一方の知覚情報が運動制御や生体応答に大きく寄与していると考えられる。そこで、本手法により実環境でバッティングした場合の解析用データを運動評価が高いときの解析用データとし、投球フォームとボールの軌道が一致しない映像に対してバッティングした場合の解析用データを運動評価が低いときの解析用データとして解析することで、抽出された注目視覚情報が「投球フォームに動きがある区間（ボールが手を離れる前）」であれば、運動パフォーマンスの高い選手はボールの軌道を見る前に投球フォームからある程度ボールの軌道を予測していると考えられる。特に、投球フォームのどの時点の動きで判断をしているかが注目視覚情報により把握可能となる。同様に、注目視覚情報が「ボールが投手の手を離れて飛んでくる区間」であれば、当該区間のボールの軌道が運動制御（バッティングのタイミングや動き）や生体応答を決定するのに寄与していることが分かる。

あるいは、映像条件設定部１０２の（３）では、ボールの軌道上の一部区間においてボールの映像を消す例を示したが、このような映像であれば、運動評価が低いときの解析用データに対応する映像でボールを消した区間の情報が運動制御や生体応答に大きく寄与している可能性があると推定できる。

なお、解析用データ収集装置１００で取得した解析用データは、本解析装置２００による手法に限らず、人手で運動パフォーマンス向上に寄与しうる知覚情報（注目視覚情報）を解析することも利用可能である。

〔訓練装置３００〕
訓練装置３００は、注目視覚情報に対応する視覚情報を訓練対象者が取得できるようになるよう訓練するための訓練装置３００である。

なお、図１では解析装置２００から出力された情報が逐次的に訓練装置３００に入力され、訓練装置３００が実行されるように見えるが、これに限定されるものではない。一般には、解析装置２００又は別の人手による手法等で予め解析対象運動情報と注目視覚情報とを関連付ける情報を得、当該解析対象運動情報と注目視覚情報とを関連付ける情報が記憶部に記憶されているものとし、訓練装置３００は、解析用データを取得した場所や取得した対象者、取得した日時とは異なる場所、対象者、日時において、記憶部に格納された解析対象運動情報と注目視覚情報とを関連付ける情報を読み出して実行されるものとする。

図６は訓練装置３００の機能ブロック図を、図７はその処理フローの例を示す。

訓練装置３００は、記憶部３０１、訓練条件設定部３０２及び第二映像合成部３０３を含む。

＜記憶部３０１＞
記憶部３０１には、第二映像合成部３０３で映像を合成する際のベースとなる各物体の動き情報（バーチャル映像中の各物体）および周辺環境の映像が予め格納されている。各物体の動き情報は、物体の「動きの種類」毎に当該「動きの種類」に対応付けて格納されているものとする。動き情報は、物体の動きを映像として提示する際に用いる情報である。基本的には解析用データ収集装置の記憶部１０１に格納されているものと同じである。

また、記憶部３０１には、解析対象運動情報と注目視覚情報とを関連付ける情報が格納されているものとする。これは、前述の解析装置２００や別の人手による手法等で得られた、解析対象運動情報（センサの種別）と当該解析対象運動情報の変動と相関の高い視覚情報である注目視覚情報とを関連付ける情報である。解析対象運動情報は、運動の評価の高い運動と低い運動とで差異のある運動情報の種別を表す情報であり、変化運動種別情報ともいう。

＜訓練条件設定部３０２＞
訓練条件設定部３０２は、訓練対象者に訓練させたい解析対象運動情報を訓練対象運動情報として設定し（Ｓ３０２）、記憶部３０１に記憶された解析対象運動情報と注目視覚情報とを関連付ける情報に基づいて、設定された訓練対象運動情報に対応する解析対象運動情報に関連づけられた注目視覚情報を出力する。例えば、上述の解析装置２００（もしくは人手による解析等）の第一解析部２０２で訓練対象者について得た解析用データと、訓練対象者よりも運動パフォーマンスの高い人について得た解析用データとの間で差異の大きい解析対象運動を得、これを訓練対象運動情報として設定する。複数の解析対象運動情報が抽出された場合は、その中から訓練させたいものを１つ選んで設定してもよい。

あるいは、上述の解析装置２００（もしくは人手による解析等）の第一解析部２０２で、訓練対象者の運動評価が高いときに取得された解析用データと、訓練対象者の運動評価が低いときに取得された解析用データとの間で差異の大きい解析対象運動を得、これを訓練対象運動情報として設定してもよい。

解析装置２００によらず、指導者等が特に動きを強化させたい体の部位又は付属物の動き等を把握していれば、当該体の部位又は付属物の動きを計測するセンサを特定する情報を訓練対象運動情報として設定しても良い。

＜第二映像合成部３０３＞
第二映像合成部３０３は、訓練条件設定部３０２から注目視覚情報を受け取り、注目視覚情報を用いて、訓練用のバーチャル映像を合成する。訓練用のバーチャル映像は、実環境では再現しえない環境を提示するバーチャル映像であり、注目視覚情報が示すバーチャル映像中の部分領域が強調された映像である。

例えば、第二映像合成部３０３は、解析用データ収集装置１００の映像合成部１０３と同様の方法でバーチャル映像を合成する。このとき、訓練条件設定部３０２から受け取った注目視覚情報に含まれる変化時刻の近傍の時刻フレームでは、注目視覚情報が示すバーチャル映像中の部分領域を強調する視覚効果を重畳したバーチャル映像を合成し（Ｓ３０３）、映像表示部８１に出力する。

なお、解析用データ収集装置１００の映像合成部１０３は、映像合成の条件が映像条件設定部１０２で与えられるが、第二映像合成部３０３ではランダムに映像条件を設定し、設定した条件で解析用データ収集装置１００の映像合成部１０３と同様の方法でバーチャル映像を合成できるものとする。ランダムに合成されたバーチャル映像の中で、変化時刻近傍において注目視覚情報が示す部分領域に注意を向けるように訓練をするのである。なお、注目視覚情報に映像特定情報を含めておき、第二映像合成部３０３では当該映像特定情報に対応する映像条件でバーチャル映像を合成してもよい。

訓練条件設定部３０２で設定した注目視覚情報が示すバーチャル映像中の部分領域を強調する視覚効果を重畳した映像とは、例えばバーチャル映像中で当該部分領域を目立つように囲む視覚効果を付与したり、バーチャル映像中で当該部分領域以外の領域の映像をぼかしたり、情報を削減した映像である。また、一定の視覚効果を付与するだけでなく、基準となる映像から上記のような映像に向けて、訓練の進捗に合わせて徐々に変化させても良い。

上述の映像表示部８１は、第二映像合成部３０３で合成したバーチャル映像を内部のディスプレイに映し、訓練対象者８３に提示する（Ｓ３０４）。

訓練対象者８３は、映像表示部８１で表示された映像を見ながら運動を行う。これにより、運動パフォーマンスの高い人がいつ、どのような領域を視認し運動制御を行っているかがバーチャル映像中で強調表示されるので、訓練対象者８３はその部分に着目して視覚情報を取得し、運動を開始するように訓練することができる。

＜効果＞
以上の構成により、解析用データ収集装置は運動制御への寄与が大きい知覚情報が何であるかを客観的に解析可能とするための解析用データを収集することができ、解析装置は解析用データを用いて運動制御への寄与が大きい知覚情報を推定することができ、訓練装置は運動制御への寄与が大きい知覚情報を用いて訓練対象者が当該知覚情報を扱えるようになるよう訓練することができる。

なお、本実施形態では、実環境では再現しえない環境のバーチャル映像を用いることで、解析対象者がどの情報を用いて運動するのかについて、実環境に基づく映像のみを用いる場合に比べ、より強調させる効果をもつ。

＜変形例＞
本実施形態では、解析用データ収集装置１００と解析装置２００と訓練装置３００とを別体の異なる装置として説明したが、これらの装置を1つの公知又は専用のコンピュータにより実現してもよい。映像表示部８１，９１についても同様に1つの映像表示部(例えばヘッドマウントディスプレイ)により実現してもよい。

なお、本実施形態では、解析用データ収集装置１００の出力値(解析用データの集合)を解析装置２００で利用し、解析装置２００の出力値(注目視覚情報)を訓練装置３００で利用しているが、各装置は他の装置を必ずしも必要とせず、独立して利用することができる。例えば、解析用データ収集装置１００の出力値(解析用データの集合)は、必ずしも解析装置２００で利用する必要はなく、上述の通り、人手で運動パフォーマンス向上に寄与しうる知覚情報（注目視覚情報）を解析することも可能である。また、解析装置２００では、解析用データの集合に対応するデータがあれば、必ずしも解析用データ収集装置１００の出力値でなくともよい。例えば、解析用データ収集装置は、「実環境に基づく映像」のみを解析対象者に提示し、その映像を見ながら運動する解析対象者から、運動情報と当該運動の評価を示す運動評価情報を取得し、映像特定情報と対象者の運動情報と運動評価情報反応とを対応付けた解析用データの集合を利用してもよい。また、解析装置２００の出力値（注目視覚情報）から訓練装置によらずに訓練時に注意する箇所を提示してもよい。訓練装置３００では、解析装置２００の出力値を用いずとも、注意すべき部分が分かれば、バーチャル映像中の注意すべき部分を強調する視覚効果を重畳したバーチャル映像を合成すればよい。

本実施形態では、バーチャル映像を提示された状態で解析対象者が行う運動、及び、訓練対象者に訓練させたい運動が野球のバッティングの例を示したが、本発明が他のスポーツ(ソフトボールやクリケット)のバッティング、さらには、対戦型の球技に適用できることは言うまでもない。さらに、他の運動においても、実環境では再現しえない環境のバーチャル映像を用いることで、解析対象者がどの情報を用いて運動するのかを、実環境に基づく映像のみを用いる場合に比べ、解析しやすくなるため、本発明の解析用データ収集装置、解析装置を適用することができる。他の運動においても、注目視覚情報に対応する動きを含むバーチャル映像中の部分領域を強調する視覚効果を重畳したバーチャル映像を合成を提示することで、訓練対象者を効率的に訓練することができるため、本発明の訓練装置を適用することができる。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (9)

1. バーチャル映像内に表示される相手が物理法則に逆らう動きをする映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定部と、
   物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報を記憶する記憶部と、
   前記映像特定情報に基づき、前記動き情報を用いて、解析対象者の運動評価を低下させるように実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成部と、
   前記映像特定情報と、前記バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、前記バーチャル映像が提示された状態で前記解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成部とを含む、
   解析用データ収集装置。
2. 相手の身体動作と前記相手の身体動作に伴う物体の動きとが物理法則に照らして整合しない映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定部と、
   物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報を記憶する記憶部と、
   前記映像特定情報に基づき、前記動き情報を用いて、解析対象者の運動評価を低下させるように実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成部と、
   前記映像特定情報と、前記バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、前記バーチャル映像が提示された状態で前記解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成部とを含む、
   解析用データ収集装置。
3. 請求項２の解析用データ収集装置であって、
   前記身体動作と相手の身体動作に伴う物体の動きとが物理法則に照らして整合しない映像は、
   前記相手の身体動作は投げるフォームの映像であり、
   前記物体の動きは前記相手の身体動作に伴って繰り出される物体の動きの軌道である、
   解析用データ収集装置。
4. 請求項１の解析用データ収集装置であって、
   前記バーチャル映像内に表示される相手が物理法則に逆らう動きをする映像は、
   投げた物体の軌道が途中で切り替わるような映像である、
   解析用データ収集装置。
5. 請求項１から請求項４の何れかの解析用データ収集装置であって、
   前記解析対象者が行う運動は対戦型の球技であり、前記バーチャル映像には対戦相手と球技で使われる球とが含まれる、
   解析用データ収集装置。
6. 請求項１から請求項５の何れかの解析用データ収集装置であって、
   前記解析対象者が行う運動は、バッティングである、
   解析用データ収集装置。
7. 記憶部には、物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報が記憶されているものとし、
   バーチャル映像内に表示される相手が物理法則に逆らう動きをする映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定ステップと、
   前記映像特定情報に基づき、前記動き情報を用いて、解析対象者の運動評価を低下させるように実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成ステップと、
   前記映像特定情報と、前記バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、前記バーチャル映像が提示された状態で前記解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成ステップとを含む、
   解析用データ収集方法。
8. 記憶部には、物体の動きの種類毎に、物体の動きを映像として提示する際に用いる動き情報が記憶されているものとし、
   相手の身体動作と前記相手の身体動作に伴う物体の動きとが物理法則に照らして整合しない映像に含まれる、物体の動きを特定する映像特定情報を映像の条件として設定する映像条件設定ステップと、
   前記映像特定情報に基づき、前記動き情報を用いて、解析対象者の運動評価を低下させるように実環境では再現しえない環境を提示するバーチャル映像を合成する映像合成ステップと、
   前記映像特定情報と、前記バーチャル映像を提示される解析対象者またはその付属物に取り付けたセンサから得られる運動情報と、前記バーチャル映像が提示された状態で前記解析対象者が行う運動の評価を示す運動評価情報とを対応付けた情報を解析用データとする解析用データ生成ステップとを含む、
   解析用データ収集方法。
9. 請求項１から請求項６の何れかの解析用データ収集装置として、コンピュータを機能させるためのプログラム。

Images