JP5359969B2 - 運動支援システム、情報処理装置、情報処理方法およびプログラム - Google Patents

運動支援システム、情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP5359969B2
JP5359969B2 JP2010082731A JP2010082731A JP5359969B2 JP 5359969 B2 JP5359969 B2 JP 5359969B2 JP 2010082731 A JP2010082731 A JP 2010082731A JP 2010082731 A JP2010082731 A JP 2010082731A JP 5359969 B2 JP5359969 B2 JP 5359969B2
Authority
JP
Japan
Prior art keywords
information
viewpoint
exercise
motion
exercise support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010082731A
Other languages
English (en)
Other versions
JP2011212198A (ja
Inventor
義樹 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2010082731A priority Critical patent/JP5359969B2/ja
Publication of JP2011212198A publication Critical patent/JP2011212198A/ja
Application granted granted Critical
Publication of JP5359969B2 publication Critical patent/JP5359969B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

本発明は、三次元仮想空間上で運動動作するオブジェクトを映し出した映像を表示部に表示し、所定の身体部位を動作させる運動を支援する運動支援システム、情報処理装置、情報処理方法およびプログラムに関する。
従来、コンピュータグラフィックス(CG)により三次元仮想空間上に配置されたオブジェクトが、有酸素運動や無酸素運動を含む運動動作を実行するシステムが知られている。CGでは、一般に、三次元仮想空間上にオブジェクトと視点(仮想カメラ)が配置され、仮想カメラによりオブジェクトが撮影され、二次元の映像に変換される。オブジェクトを映し出した映像は、所定の表示部に表示され、このシステムのユーザは、表示された映像においてオブジェクトが行う運動動作を手本に、自らの身体部位を動作させる運動を行う。
ところで、オブジェクトが行う運動動作には様々な種類があり、身体全体の動きの大きいものや動作範囲の広いものがあれば、動きの小さいものや動作範囲の狭いものもある。身体部位の一部を重点的に動作させる運動の場合には、対象となる身体部位の動きをはっきりと認識しやすい視点位置からオブジェクトを映し出した映像が求められる。ゆえに、運動動作にあわせた望ましい視点位置が予め決められており、初期状態では、その視点位置からオブジェクトを映し出した映像が撮影される。
また、オブジェクトが、ある1つの運動動作を行う場合に、観察したい身体部位が、ユーザによって異なる場合がある。例えば、腕の運動に関する運動動作をオブジェクトが行う場合に、腕全体の動きを観察するには、前方や側方からオブジェクトを映し出した映像が望まれる。しかし、腕全体の動きの中でも特に肘の動きに着目したい場合には、後方からオブジェクトを映し出した映像が望まれる。こうした要望に応え、オブジェクトを映し出す視点が配置される視点位置を、自由に変更することのできるものが知られている(例えば特許文献1参照。)。
特開2002−24571公報
しかしながら、特許文献1では、視点位置の変更をユーザが直接行っており、ユーザの好みの視点位置を設定できるものの、その視点位置が、運動動作を行うオブジェクトを撮影するのに適した視点位置であるとは限らなかった。
本発明は、上記の問題点を解決するためになされたものであり、三次元仮想空間上で運動動作するオブジェクトを映し出した映像の撮影に適した視点位置を、運動動作の内容に応じて取得できる運動支援システム、情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
本発明の第1態様によれば、特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と、複数の前記運動支援装置と通信し、前記運動支援装置との間で送受信される情報を管理する情報処理装置と、を備える運動支援システムであって、前記運動支援装置は、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報を含むレッスン情報を取得する第1取得手段と、前記レッスン情報が含む個々の前記モーション情報に対応して、三次元仮想空間内で運動動作を行うオブジェクトを映し出すため三次元仮想空間内に配置される視点の視点位置を示し、前記モーション情報と対応付けられた第1視点情報を、前記情報処理装置から取得する第2取得手段と、前記第2取得手段により取得された前記第1視点情報に基づいて、前記視点から、前記オブジェクトを映し出した映像を、前記表示部に表示する表示制御手段と、前記表示制御手段により前記表示部に表示される映像において、前記オブジェクトを映し出す視点位置を設定する第1設定手段と、前記第1設定手段により設定された視点位置を示す第2視点情報と前記オブジェクトが行う運動動作に対応する前記モーション情報とを対応付けて記憶する第1記憶手段と、前記第1記憶手段により記憶された前記モーション情報に対応付けられた前記第2視点情報を、前記情報処理装置に送信する第1送信手段と、を備え、前記情報処理装置は、前記複数の運動支援装置それぞれの前記第1送信手段により送信された前記第2視点情報を受信する受信手段と、前記受信手段により受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記モーション情報と対応付けて記憶する第2記憶手段と、前記第2記憶手段により記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応する前記第1視点情報として設定する第2設定手段と、前記第2設定手段により設定された前記第1視点情報を前記運動支援装置に送信する第2送信手段と、を備える運動支援システムが提供される。
第1態様では、運動支援装置の表示制御手段が、情報処理装置から取得した第1視点情報に対応する視点位置に配置した視点でオブジェクトを映し出した映像を表示部に表示することができる。このため、情報処理装置において、適切な第1視点情報を用意すれば、運動支援装置において、適切な視点からオブジェクトを映し出した映像を、得ることができる。すなわち、適切な第1視点情報を求めるための処理は情報処理装置が行えば足りるので、運動支援装置には、適切な第1視点情報を求めるための処理に対する負担がかからない。一方、情報処理装置においては、基準値よりも多い第2視点情報を、そのモーション情報に対応する第1視点情報として設定することができるので、一時的に用いられた第2視点情報が、第1視点情報として設定されることがない。
第1態様において、前記運動支援装置の前記第1設定手段は、前記表示制御手段により前記視点から前記オブジェクトを映し出した映像が前記表示部に表示される際に、前記視点の視点位置を変更する変更手段をさらに備えてもよい。前記運動支援装置の前記第1送信手段は、前記変更手段によって前記視点の視点位置が変更された場合に、個々の前記モーション情報ごとに、前記第1記憶手段により記憶された複数の前記第2視点情報の中から、予め基準として定められた基準割合よりも高い割合で選択された視点位置を示す前記第2視点情報を、前記情報処理装置に送信してもよい。
第1態様では、運動支援装置の変更手段によって視点の視点位置が変更された場合、変更によって選択された第2視点情報のうち、基準割合よりも高い割合で選択された第2視点情報を、情報処理装置に送信することができる。これにより、情報処理装置において適切な第1視点情報を求めるための処理を行う上で、基準割合よりも高い割合で選択された第2視点情報が適切な第1視点情報の候補として用いられるので、一時的に選択された第2視点情報が、適切な第1視点情報の候補として用いられることがない。
第1態様において、前記レッスン情報は、前記モーション情報に対応する運動動作を繰り返す回数情報を含んでもよい。前記運動支援装置において、前記第1記憶手段は、前記表示制御手段により前記表示部に表示される映像において、前記モーション情報に対応する運動動作が前記回数情報に応じて繰り返される回数ごとに、前記モーション情報と前記第2視点情報とを対応付けて記憶し、前記第1送信手段は、前記繰り返される回数ごとに記憶された前記モーション情報と前記第2視点情報とを送信してもよい。また、前記情報処理装置において、前記第2記憶手段は、前記受信手段により受信された前記繰り返される回数ごとの前記モーション情報と前記第2視点情報とを記憶し、前記第2設定手段は、前記繰り返される回数ごとに、前記基準値よりも多い前記第2視点情報を前記第1視点情報として設定してもよい。
モーション情報に対応する運動動作が繰り返される場合において、運動動作が繰り返されるたびに、同一のモーション情報に対して異なる視点に変更されることがある。こうした場合に、運動支援装置において、運動動作が繰り返される回数ごとの第2視点情報をモーション情報に対応付ければ、それらの第2視点情報を、適切な第1視点情報の候補として用いることができるので、より適切な第1視点情報を求めることができる。 また、情報処理装置においては、基準値よりも多い第2視点情報を、そのモーション情報に対応する第1視点情報として設定することができるので、一時的に用いられた第2視点情報が、第1視点情報として設定されることがない。
第1態様において、前記レッスン情報は、前記モーション情報に対応する運動動作の指導を行う指導者を識別するためのID情報を含んでもよい。前記運動支援装置は、前記ID情報を取得する第3取得手段をさらに備えてもよい。前記運動支援装置の前記第1送信手段は、前記第2視点情報と、前記第3取得手段により取得された前記ID情報とを対応付けて、前記情報処理装置に送信してもよい。また、前記情報処理装置において、前記第2記憶手段は、前記受信手段により受信された前記ID情報と前記第2視点情報とを対応付けて記憶し、前記第2設定手段は、前記ID情報の異なるごとに、前記基準値よりも多い前記第2視点情報を前記第1視点情報として設定し、前記第2送信手段は、前記第1視点情報と前記ID情報とを対応付けて、前記運動支援装置に送信してもよい。
情報処理装置では、基準値よりも多い第2視点情報を、そのモーション情報に対応するID情報の異なるごとに、そのモーション情報に対応する第1視点情報として設定することができる。そして、運動支援装置に対し、ID情報を対応付けて、第1視点情報を送信できるので、ID情報の異なるごとに、異なる第1視点情報を提供できる。また、運動支援装置においては、さらに、第2取得手段によって所望するID情報を取得することができ、取得したID情報を情報処理装置に送信することができる。よって、利用者が所望するID情報に対応付けられた第1視点情報も提供することができる。
第1態様において、前記レッスン情報は、前記モーション情報に対応する運動動作の基本動作に必要な拍数を示す拍数情報を含んでもよい。前記情報処理装置は、前記モーション情報に対応付けられた前記拍数が、所定の基準拍数範囲に含まれるか否かを判定する判定手段をさらに備えてもよい。前記情報処理装置の前記第2設定手段は、前記判定手段により前記拍数が前記基準拍数範囲に含まれると判定された、前記第2記憶手段により記憶された複数の前記第2視点情報の中から、前記基準値よりも多い前記第2視点情報を前記第1視点情報として設定してもよい。
情報処理装置では、基準値よりも多い第2視点情報を、モーション情報に対応する拍数情報に対応付けられた拍数が、所定の基準拍数範囲に含まれる場合に、そのモーション情報に対応する第1視点情報として設定することができる。このため、より適切な第1視点情報を提供することができる。
本発明の第2態様によれば、特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と通信し、複数の前記運動支援装置との間で送受信される情報を管理する情報処理装置であって、前記複数の運動支援装置のそれぞれより送信される第2視点情報であって、前記表示部に表示される映像において、三次元仮想空間内で運動動作を行うオブジェクトを映し出す視点の視点位置を示す第2視点情報を受信する受信手段と、前記受信手段により受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報と対応付けて記憶する第2記憶手段と、前記第2記憶手段により記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応して前記オブジェクトを映し出す前記視点の視点位置を示す第1視点情報として設定する第2設定手段と、前記第2設定手段により設定された前記第1視点情報を前記運動支援装置に送信する第2送信手段と、を備える情報処理装置が提供される。
第2態様によれば、基準値よりも多い第2視点情報を、モーション情報に対応する第1視点情報として設定することができるので、一時的に用いられた第2視点情報が、第1視点情報として設定されることがない。
本発明の第3態様によれば、コンピュータで実行され、特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と通信し、複数の前記運動支援装置との間で送受信される情報を管理する情報処理方法であって、前記複数の運動支援装置のそれぞれより送信される第2視点情報であって、前記表示部に表示される映像において、三次元仮想空間内で運動動作を行うオブジェクトを映し出す視点の視点位置を示す第2視点情報を受信する受信ステップと、前記受信ステップにより受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報と対応付けて所定の記憶部に記憶する第2記憶ステップと、前記第2記憶ステップにより記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応して前記オブジェクトを映し出す前記視点の視点位置を示す第1視点情報として設定する第2設定ステップと、前記第2設定ステップにより設定された前記第1視点情報を前記運動支援装置に送信する第2送信ステップと、を含む情報処理方法が提供される。
本発明の第4態様によれば、特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と通信し、複数の前記運動支援装置との間で送受信される情報を管理する情報処理装置として機能させるためのプログラムであって、コンピュータに、前記複数の運動支援装置のそれぞれより送信される第2視点情報であって、前記表示部に表示される映像において、三次元仮想空間内で運動動作を行うオブジェクトを映し出す視点の視点位置を示す第2視点情報を受信する受信ステップと、前記受信ステップにより受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報と対応付けて所定の記憶部に記憶する第2記憶ステップと、前記第2記憶ステップにより記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応して前記オブジェクトを映し出す前記視点の視点位置を示す第1視点情報として設定する第2設定ステップと、前記第2設定ステップにより設定された前記第1視点情報を前記運動支援装置に送信する第2送信ステップと、を実行させるプログラムが提供される。
第3態様に係る情報処理方法に従う処理をコンピュータで実行することによって、あるいは、第4態様に係るプログラムを実行してコンピュータを情報処理装置として機能させることで、第2態様と同様の効果を得ることができる。
出力端末5と配信サーバ2が含まれる運動支援システム1の構成を示す図である。 三次元仮想空間80を模式的に示す図である。 レッスン基本情報のテーブルを模式的に示す図である。 出力端末5において実行される運動支援プログラムのフローチャートである。 配信サーバ2において実行される配信プログラムのフローチャートである。 配信プログラムからコールされる視点決定処理のサブルーチンのフローチャートである。 モーション情報「マーチ」が含まれる情報を抽出した視点変更履歴情報を模式的に示す図である。
以下、本発明を具体化した一実施の形態について、運動支援プログラムが実行される出力端末5を運動支援装置の一例とし、また、配信プログラムが実行される配信サーバ2を情報処理装置の一例とし、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。
まず、図1を参照し、出力端末5と配信サーバ2が含まれる運動支援システム1の構成について説明する。運動支援システム1は、例えばインターネット等のネットワーク10を介して電気的に接続される一つ以上の配信サーバ2と、一つ以上の出力端末5とから構成される。配信サーバ2には、後述するモーションデータ、視点変更履歴情報、デフォルト視点情報、テンポ情報、ID情報を記憶したリレーショナル型のデータベース3が接続されている。配信サーバ2は、ネットワーク10を介し、データベース3に記憶されたモーションデータを、定期的あるいは要求に応じて出力端末5に配信する。
モーションデータとは、後述する三次元仮想空間80(図2参照)内に配置されるオブジェクト(人の形をしたフィギュア83)に、具体的な運動動作を行わせるためのデータであり、モーション情報に対応付けられている。また、オブジェクト(フィギュア83)の各身体部位の座標データ、同様に各身体部位に対応した細部の座標データ、細部に対応したテクスチャデータなども含まれる。モーション情報とは、個々の運動を表す情報である。モーション情報には、例えば、「ハーフスクワット」、「クォータースクワット」、「マーチ」、「フロントランジ」、「バックランジ」、「大腿ストレッチ」、「ふくらはぎストレッチ」等が含まれる。上記したデータベース3には、モーション情報にそれぞれ対応するモーションデータが蓄積される。
また、配信サーバ2は、後述する配信プログラムの実行において、出力端末5からの要求に応じ、後述する、視点変更履歴情報、デフォルト視点情報、テンポ情報、ID情報を、ネットワーク10を介して送信する。なお、データベース3には、図示しない楽曲情報も蓄積される。詳細についての説明は省略するが、楽曲情報は、これらの情報は、モーション情報に応じたモーションデータに基づく運動動作をフィギュア83が行う際に、テンポ情報にあわせてスピーカ64から出力されるBGMとして用いられる。
次に、配信サーバ2は、例えば、周知のパーソナルコンピュータであり、後述する配信プログラムがインストールされて実行されることにより、情報処理装置として機能するものである。配信サーバ2は、制御を司るCPU21を備えている。CPU21には、バス24を介して、ROM22、RAM23、入出力(I/O)インタフェイス25が接続されている。ROM22は、CPU21が実行するBIOS等のプログラムを記憶する読出し専用の記憶装置である。RAM23は、データを一時的に記憶する読み書き可能な記憶装置である。
入出力インタフェイス25には、ハードディスクドライブ(HDD)37、ディスクドライブ28、ネットワーク通信部30、表示制御部26、キーボード31およびマウス32が接続されている。また、上記したデータベース3も入出力インタフェイス25に接続されており、CPU21によりデータベース3に蓄積される情報の読み書きがなされる。ディスクドライブ28は、例えばCD−ROMやDVD−ROMなど、データが記憶された記憶媒体であるディスクROM29が挿入されると、ディスクROM29からデータやプログラム等の読み込みを行うものである。後述する配信プログラムは、ディスクROM29に記憶されて提供される。
記憶装置であるHDD37には、配信サーバ2を稼働させるためのOSや、ディスクROM29から読み出された配信プログラムがインストールされる。なお、配信プログラムは、フラッシュROMなど、その他の記憶媒体に記憶されて提供されてもよい。あるいは、ネットワーク通信部30を介して接続されるネットワーク10上の図示しない端末から、ダウンロードにより、提供されてもよい。表示制御部26は、配信サーバ2で稼働されるOSの操作画面や配信プログラムの管理画面をモニタ27に表示するための描画処理を行う。キーボード31、マウス32は、配信サーバ2で稼働されるOSの操作画面や配信プログラムの管理画面における操作を行う際に用いられる。
次に、出力端末5は、配信サーバ2と同様に、周知のパーソナルコンピュータにより構成される。出力端末5は、後述する運動支援プログラムがインストールされて実行されることにより、運動支援装置として機能する。出力端末5は、例えば、スポーツ施設4などに設置される。出力端末5は、運動支援プログラムの実行に従い、モーションデータに応じた運動動作を行うフィギュア83を映し出した映像を生成し、後述するモニタ57の表示部67に表示する。スポーツ施設4の利用者41は、表示部67に表示された映像を手本に、各自の身体部位を動作させる運動を行う。
出力端末5の電気的な構成は配信サーバ2と同様であり、出力端末5は、制御を司るCPU51を備えている。CPU51には、バス54を介して、ROM52、RAM53、入出力インタフェイス55が接続されている。ROM52は、CPU51が実行するBIOS等のプログラムを記憶する読出し専用の記憶装置である。RAM53は、データを一時的に記憶する読み書き可能な記憶装置である。
入出力インタフェイス55には、HDD7、ディスクドライブ58、ネットワーク通信部60、表示制御部56、音声出力部63、信号受信部65、キーボード61およびマウス62が接続されている。ディスクドライブ58は、データが記憶された記憶媒体であるディスクROM59が挿入されると、ディスクROM59からデータやプログラム等の読み込みを行うものである。後述の運動支援プログラムは、ディスクROM59に記憶されて提供される。なお、運動支援プログラムが、フラッシュROMなど、その他の記憶媒体に記憶されて提供されてもよいことや、ネットワーク10を介してダウンロードにより提供されてもよいことは、上記同様である。
記憶装置であるHDD7には、出力端末5を稼働させるためのOSや、ディスクROM59から読み出されたプログラムがインストールされる。また、HDD7には、配信サーバ2からネットワーク10を介して配信されるモーションデータが、モーション情報に対応付けられて記憶される。また、HDD7には、配信サーバ2から、図示しない楽曲情報も配信されて蓄積される。
表示制御部56は、後述する運動支援プログラムの実行に従い生成される、フィギュア83を映し出した映像を、モニタ57の表示部67に表示するための描画処理を行う。キーボード61、マウス62、リモコン66は、操作者42(例えばインストラクターであり、図1に示す。)が、例えば、1つ以上のモーション情報により構成されるレッスン情報(後述)の選択や視点の変更など、出力端末5の操作を行う際に用いられる。信号受信部65は、電波や光など周知の手段を用いてリモコン66から出力される信号を受信する。音声出力部63は、フィギュア83を映し出した映像に合わせて再生されるBGMや効果音等をスピーカ64から出力する制御を行う。
次に、図2を参照し、三次元仮想空間80について説明する。三次元仮想空間80は、運動支援プログラムの実行に伴いCPU51がRAM53に確保する所定の記憶エリアに記憶される座標データ等によって構成されるものである。本実施の形態では、理解を容易にするため、座標データ等に基づき定義される仮想的な空間を、三次元仮想空間80として、例えば図2に示すように、模式的に図に表して説明する。この三次元仮想空間80内のあらゆるオブジェクトは、XYZ座標軸に基づく座標データとして定義される。なお、オブジェクトは、本実施の形態においてはフィギュア83を指すが、他にも、図示しない、バーベルやフロアマット、縄跳び用の縄などの道具類や、フィギュア83とは異なる人の形をしたフィギュアなども含まれる。
三次元仮想空間80内において、所定の座標に、オブジェクトとしてのフィギュア83が配置される。さらに、フィギュア83の配置位置(座標)を取り巻く24カ所の定位置に、視点(図中黒角点で示す。)が設けられるものとする。説明を容易にするため、各視点には、それぞれ、仮想カメラ81(図2ではそのうちの2つを示す。)が配置されたものとする。また、各仮想カメラ81は、それぞれ、あらかじめ撮影方向82、画角、および図示しない仮想スクリーン(仮想カメラ81からフィギュア83を見た画像を仮想的に形成するためのスクリーン)の設置位置が設定されているものとする。なお、仮想カメラ81の撮影方向82は、フィギュア83の初期の配置位置(後述)に向けられる。そして、仮想カメラ81で三次元仮想空間80内を撮影した映像が、後述する、オブジェクトを映し出した画像として用いられることとする。また、三次元仮想空間80内に配置されるオブジェクトの数や種類、視点の数は一例であり、任意に増減可能である。また、オブジェクトと視点の配置位置の関係についても任意に設定可能である。
本実施の形態では、各視点に、便宜上、「A」、「B」、「C」、「D」、・・・の記号が付されているものとする。図2では、一例として、一部の視点に「A」〜「F」の記号が付されているが、実際には、上記24カ所すべての視点に、それぞれ異なる記号が付されているものとする。図2で示される2つの仮想カメラ81は、視点「C」および視点「D」にそれぞれ配置されたものである。いずれの出力端末5においても、これらの視点を示す記号によって特定される視点の視点位置のワールド座標は、同一となっている。
ここで、仮想カメラ81で三次元仮想空間80内が撮影され、オブジェクトを映し出した映像が生成される過程について、簡単に説明する。オブジェクトを映し出した映像とは、三次元仮想空間80内に配置されたオブジェクトが所定の時間ごとに撮影されて二次元の画像に変換され、その画像が、時系列に沿って連続的に表示されたものである。
本実施の形態において、三次元仮想空間80内に配置されたオブジェクトを二次元の画像に変換する処理は、アフィン変換に基づく一連の座標変換処理によって行われる。アフィン変換とは、二次元の座標変換に使用され、拡大、縮小、反転などの線形変換と平行移動が結合された変換方法である。アフィン変換を用いることで、三次元仮想空間80内に配置した個々のオブジェクトごとに設定された座標(ローカル座標)を、ワールド座標、ビュー座標、スクリーン座標、デバイス座標に順に変換して二次元の座標とすることができる。これにより、視点からオブジェクトを見た画像が生成され、その画像が連続表示されることで、オブジェクトを映し出した映像として生成される。このアフィン変換による座標変換の具体的な処理については公知である。
次に、モーションデータに基づきフィギュア83が運動動作を行う過程について、簡単に説明する。モーションデータは、対応するモーション情報に応じた動作をフィギュア83に再現させるためのデータである。モーションデータは、フィギュア83の各身体部位や細部の位置座標が、時間軸に沿って、モーション情報に対応する個々の運動動作に応じた座標へ位置決めされるように、公知の規則に従い表されたデータからなる。詳細については説明を省略するが、モーションデータによれば、例えば、運動動作の開始時のフィギュア83の頭の位置を基準とした場合において、任意の時間後におけるフィギュア83の頭の位置の相対的な座標が特定可能となっている。また、フィギュア83の各身体部位の座標は頭の位置を原点にした座標で示され、フィギュア83の頭の位置の座標が決まれば、各身体部位や細部の座標も決まる。例えば、モーション情報「マーチ」に対応するモーションデータに基づけば、フィギュア83が三次元仮想空間80内でその場で足踏み動作を行うように、時間軸に沿って頭の座標を基準にした各身体部位や細部の座標が決定される(例えば膝の座標が時間の経過に伴い左右交互に上下する。)。
後述する運動支援プログラムでは、操作者42によりレッスンの選択が行われる。レッスンとは、所定の運動目的を達成するために効果的な1つ以上のモーション情報を実行順に並べてリスト化し、一連の運動動作が行われるようにしたものである。1つのレッスンに含まれる各モーション情報には、テンポ情報、繰返し情報、演奏情報、モーション情報、デフォルト視点情報が、それぞれ対応付けられている。
テンポ情報は、モーションデータに基づく運動動作の動作速度を示す情報である。繰返し情報は、1単位のモーション情報(モーションデータに基づきオブジェクトが行う1回の運動動作)を繰り返す回数を示す情報である。演奏情報は、モーション情報にあわせてスピーカ64から出力される楽曲の種類を拍数(例えば楽曲のサビの部分の拍数)で分類したものである。デフォルト視点情報は、オブジェクトを撮影する視点に特に指定がない場合(後述する提示視点情報がない場合)に、デフォルトとして、視点位置を指定する情報である。出力端末5のHDD7には、レッスンの内容を示したテーブルがレッスン基本情報として記憶されている。レッスン基本情報は、レッスン名と、そのレッスン名に応じた上記のレッスンの内容に関する各情報とが対応付けられたテーブルであり、予め作成されて、運動支援プログラムとともに提供される。なお、新たなレッスンが作成された場合に、配信サーバ2より配信され、レッスン基本情報に追加されてもよい。また、操作者42により、新たなレッスンが作成され、レッスン基本情報に追加されてもよい。
例えば、図3に示すように、「ウォーミングアップ」のレッスンには、「ハーフスクワット」と「クォータースクワット」のモーション情報が、順に設定されている。「ハーフスクワット」のモーション情報には、テンポ情報として「120」、繰返し情報として「4回」、演奏情報として「16拍」、デフォルト視点情報として視点「B」(図2参照)がそれぞれ対応付けられている。また、「クォータースクワット」のモーション情報にも同様に、テンポ情報「120」、繰返し情報「4回」、演奏情報「16拍」、デフォルト視点情報として視点「B」がそれぞれ対応付けられている。「メイン運動」のレッスンには、「マーチ」と「フロントランジ」と「バックランジ」のモーション情報が、順に設定されている。「マーチ」のモーション情報には、テンポ情報「120」、繰返し情報「4回」、演奏情報「16拍」、デフォルト視点情報として視点「B」がそれぞれ対応付けられている。「フロントランジ」のモーション情報には、テンポ情報「120」、繰返し情報「8回」、演奏情報「16拍または32拍」、デフォルト視点情報として視点「B」がそれぞれ対応付けられている。「バックランジ」のモーション情報には、テンポ情報「120」、繰返し情報「4回」、演奏情報「32拍」、デフォルト視点情報として視点「D」がそれぞれ対応付けられている。「クールダウン」のレッスンには、「大腿ストレッチ」と「ふくらはぎストレッチ」のモーション情報が、順に設定されている。「大腿ストレッチ」のモーション情報には、テンポ情報「60」、繰返し情報「4回」、演奏情報「BGM」、デフォルト視点情報として視点「D」がそれぞれ対応付けられている。「ふくらはぎストレッチ」のモーション情報には、テンポ情報「60」、繰返し情報「4回」、演奏情報「BGM」、デフォルト視点情報として視点「D」がそれぞれ対応付けられている。
例えば、レッスンとしてメイン運動が選択された場合には、フィギュア83による運動動作として、「マーチ」、「フロントランジ」、「バックランジ」のモーション情報が順に行われる。「マーチ」が行われる場合には、フィギュア83により、モーションデータに基づくマーチの運動動作が、テンポ120で4回繰返して行われ、その際に、サビの部分が16拍の楽曲が、演奏される。このとき、視点「B」から、マーチを行うフィギュア83が撮影される。
このように、出力端末5では、フィギュア83を映し出した映像を生成する際に使用される視点の視点位置の情報を、配信サーバ2から取得している。より具体的には、出力端末5において、運動支援プログラムの実行に伴う処理によって、配信サーバ2に対し、提示視点情報(後述)を取得するための要求が出力される。配信サーバ2では、配信プログラムの実行に伴う処理によって、出力端末5から受信する要求に応じて、映像を撮影するのに適した視点の視点位置の情報が提示視点情報として出力端末5に配信される。以下、図1を適宜参照しながら、図4〜図6を参照し、配信サーバ2との協働により、出力端末5において、適切な視点からオブジェクトを映し出した映像が生成される過程について説明する。以下、フローチャートの各ステップを「S」と略記する。
まず、出力端末5において実行される運動支援プログラムの動作について説明する。図4に示す、運動支援プログラムが実行されると、初期設定において、RAM53やHDD7に、運動支援プログラムの各処理に応じた記憶エリアが確保される。また、プログラム内で使用される変数やフラグ、カウンタ等の初期化が行われる。なお、以下の処理はCPU51により実行される。
次に表示部67に、運動支援プログラム実行時の初期画面(図示外)が表示される。操作者42によりレッスンの開始の指示が入力され、レッスンが開始されると(S11:YES)、レッスンの選択画面(図示外)が表示される。なお、レッスンの開始時には、図示しない入力画面にて操作者42のID情報の入力が求められ、入力されたID情報(例えば、「ID_102」)は、RAM53の作業用の記憶エリア(ワークエリア)に記憶される。
操作者42により、上記したレッスン基本情報に含まれる各レッスンから、所望する1つのレッスン(レッスン名)が選択される(S12)。レッスンが選択されたら、レッスン基本情報から、選択されたレッスンに含まれる各情報(レッスン名、テンポ情報、繰返し情報、演奏情報、モーション情報、デフォルト視点情報)がHDD7から読み込まれる。読み込まれた各情報には、ID情報が対応付けられ、RAM53のワークエリアに記憶される(S13)。
S13で記憶された各情報のうち、各モーション情報と、それぞれに対応するテンポ情報、繰返し情報、ID情報が、レッスン情報として、配信サーバ2に対して送信される。このとき、配信サーバ2に対し、提示視点情報の送信要求も送信される。後述するが、配信サーバ2には、出力端末5で実際にモーション情報に応じて使用された(あるいは選択された)視点の情報(以下、「選択視点情報」という。)が送信される。配信サーバ2では、モーション情報ごとに、適切な視点として提示する視点の情報(以下、「提示視点情報」という。)が決定される。出力端末5は、配信サーバ2から、各モーション情報に対応した提示視点情報を受信する(S14)。なお、本実施の形態においては、選択視点情報が、「第2視点情報」相当し、提示視点情報が、「第1視点情報」に相当する。
配信サーバ2から受信した提示視点情報によって、S13で読み込まれたデフォルト視点情報が上書され、レッスンが開始される(S16:YES、S17)。このとき、配信サーバ2において、モーション情報によっては、対応する提示視点情報が、まだ、決定されていない場合がある。この場合、提示視点情報の決定されていないモーション情報のデフォルト視点情報は上書きされず、レッスンが開始される(S16:NO、S18)。
レッスンの開始にあたり、ワールド座標系85において、オブジェクト(ここではフィギュア83)の基準(原点(例えば頭))を三次元仮想空間80内で配置する位置が設定される。オブジェクトは、モーション情報に対応する運動動作に応じて三次元仮想空間80内で位置移動を行うため、ここでは、オブジェクトの初期の配置位置が設定される。また、視点、光源(図示外)等の配置位置の座標(ワールド座標データ)も設定される。各視点には、それぞれ仮想カメラ81(図2参照)が配置され、仮想カメラ81ごとに、撮影方向82、画角、および図示しない仮想スクリーンの設置位置が設定される。さらに、レッスンに含まれるモーション情報のうち、最初に行われるモーション情報に対応付けられた提示視点情報(あるいはデフォルト視点情報)で指定される視点位置に配置された視点が、映像の生成に使用される。
RAM53に読み込まれたレッスンに含まれるモーション情報の実行順に従い、HDD7からモーションデータが読み込まれる。オブジェクト(フィギュア83)の各身体部位の座標データやテクスチャデータなども読み込まれ、公知のアフィン変換によって、配置設定処理で決定された三次元仮想空間80内の配置位置にオブジェクト(フィギュア83)が仮想的に配置される(図2参照)。以後、三次元仮想空間80内で、フィギュア83はモーションデータに従い動作される。
モーション情報に対応付けられた提示視点情報(あるいはデフォルト視点情報)に基づく視点からフィギュア83を映し出した映像が生成され、モニタ57の表示部67への表示が開始される。そして、モーション情報と選択視点情報とに関する記録(以下、「ログ情報の記録」ともいう。)が開始される(S19)。具体的には、現在行われているモーション情報、現在のモーション情報の繰返し回、現在使用されている視点、現在の視点の使用時間(使用開始時間と使用終了時間の情報の基づく)、現在のテンポ情報、ID情報がログ情報として記録される。このとき、図示しない、視点変更フラグが非成立の状態に設定される。なお、上記のモーション情報は、繰返し情報(繰返しの回数)に応じて繰り返し実行されるが、「繰返し回」とは、現在、繰返しの回数中の何回目の繰返しであるかを示す情報をいう。
ログ情報の記録は、レッスンが終了するまで継続される。レッスンに含まれるモーション情報に応じたモーションデータのすべての実行が終了してレッスンが終了したら(S21:YES)、ログ情報の記録は終了され(S24)、S26に進む。
なお、ログ情報が記録されている間において(S21:NO)、操作者42によってリモコン66等が操作され、フィギュア83を映し出した映像を撮影する視点(現在の視点)が変更される場合がある。この場合(S22:YES)、フィギュア83を映し出した映像を撮影する視点が、操作者42により選択された視点に変更される(S23)。そして変更後の視点が、現在使用されている視点として、使用開始時間と共に、ログ情報に記録される。また、このとき、視点変更フラグが成立した状態に設定される。操作者42による視点変更の操作がなければ(S22:NO)、上記したように、レッスンが終了しないうちは(S21:NO)、ログ情報の記録が継続される。
例えば図3に示す「メイン運動」の場合、「マーチ」のデフォルト視点情報は、視点「B」となっている。配信サーバ2から受信した「マーチ」の提示視点情報が、視点「D」であれば、「マーチ」の開始時より、図2に示す、視点「D」の仮想カメラ81による撮影が行われる。上記のように、「マーチ」は4回繰り返して行われるが、図示しないログ情報には、1回目の繰返し回の開始時に、現在行われているモーション情報と、繰返しの回と、現在の視点とが記録される。さらに、1回目の繰返し回の開始時における、レッスン開始時からの経過時間や、現在のテンポ情報、ID情報が、記録される。操作者42により視点が、例えば「C」に変更された場合、ログ情報には、新たな視点「C」が記録される。さらに、そのときのレッスン開始時からの経過時間やモーション情報等、上記の各情報についても記録される。このように、記録対象に変更のあった場合にログ情報が更新される。
次に、図4に示すように、配信サーバ2にレッスン情報を送信するため、S13で記憶された各情報のうち、各モーション情報と、それぞれに対応するテンポ情報、繰返し情報、ID情報が、再度読み出される(S26)。また、このレッスン情報とともに配信サーバ2に送信される選択視点情報を準備するため、S27〜S32の処理において、各モーション情報に対してそれぞれ使用された視点を抽出する処理が行われる。視点の抽出は、各モーション情報の繰返し回ごとに行われる。すべてのモーション情報の各回に対する視点の抽出が完了すると、抽出を完了し(S27:YES)、S33へ進む。
したがって、すべてのモーション情報の各回に対する視点の抽出が完了していないうちは(S27:NO)、レッスンに含まれる各モーション情報の実行順に、未選択の1つのモーション情報が選択される(S28)。視点変更フラグが確認され、視点変更フラグが成立している場合には(S29:YES)、ログ情報が参照される。現在選択中のモーション情報の繰返し回において、使用された視点のうち、最も長く使用された視点が特定される。具体的には、ログ情報から、現在選択中のモーション情報の繰返し回において使用された視点の使用開始時間(上記のように記録されたレッスン開始時からの経過時間)と使用終了時間(次の使用された視点の使用開始時間)とが読み出され、その視点の使用時間が算出される。現在選択中のモーション情報の繰返し回において使用された、すべての視点について、同様に、使用時間が算出されたら、それぞれの視点の使用時間が比較され、最も使用時間の長い視点が特定される。特定された視点の視点位置が、現在選択中のモーション情報の繰返し回における選択視点情報として抽出される(S31)。
現在選択中のモーション情報の繰返し回に対し、S16〜S18で設定された提示視点情報(あるいはデフォルト視点情報)と、上記のように特定(抽出)された視点の視点位置を示す選択視点情報と、視点変更の有無の情報(視点変更フラグの成立・非成立の状態)とが対応付けられて、RAM53のワークエリアに記憶される。その後、S27に戻る。
一方、S29において、視点変更フラグが確認され、非成立の場合には(S29:NO)、配信サーバ2に送信する選択視点情報に、視点変更がなかったことを示す情報が設定される(S32)。上記同様、現在選択中のモーション情報の繰返し回に対し、提示視点情報と、選択視点情報と、視点変更の有無の情報とが対応付けられて、RAM53のワークエリアに記憶される。S27に戻り、未選択のモーション情報の繰返し回が選択され(S27:NO、S28)、視点の抽出が継続される。
上記したようにすべてのモーション情報の各回に対する視点の抽出が完了したら(S27:YES)、S33へ進む。S26で読み出されたレッスン情報と、S27〜S32で抽出された視点に関する選択視点情報(選択視点情報に対応するモーション情報の繰返し回の情報、提示視点情報、視点変更の有無の情報も含む)とが、配信サーバ2に対して送信される(S33)。配信サーバ2では、送信されたレッスン情報と選択視点情報とが対応付けられて、視点変更履歴情報として、データベース3に記憶される。レッスン情報と選択視点情報とが送信されたら、表示部67に、運動支援プログラム実行時の初期画面(図示外)が表示される。操作者42により運動支援プログラムの終了の指示が入力されると(S34:YES)、運動支援プログラムの実行が終了される。なお、運動支援プログラムでは、表示部67に表示された初期画面において、操作者42により、レッスンの開始または運動支援プログラムの終了の指示が入力されなければ(S11:NO、S34:NO)、初期画面が継続して表示され、入力待ちがなされる。
次に、配信サーバ2において実行される配信プログラムの動作について説明する。図5に示す、配信プログラムが実行されると、初期設定において、RAM23やHDD37に、配信プログラムの各処理に応じた記憶エリアが確保される。また、プログラム内で使用される変数やフラグ、カウンタ等の初期化が行われる。なお、以下の処理はCPU21により実行される。
配信プログラムでは、出力端末5へ提示視点情報を送信するように、出力端末5から送信要求を受けると(S51:YES)、S52〜S54の処理において提示視点情報の生成と出力端末5への送信が行われ、S64へ進む。また、配信プログラムでは、出力端末5から送信される選択視点情報を受信するように、出力端末5から受信要求を受けると(S51:NO、S56:YES)、S57〜S63の処理において選択視点情報の受信とデータベース3への記憶(視点変更履歴情報への登録)が行われ、S64へ進む。そしてプログラムの実行の終了が指示された場合には(S64:YES)、配信プログラムの実行が終了される。したがって、配信プログラムでは、プログラムの実行の終了が指示されないうちは(S64:NO)、S51へ戻り、出力端末5からの送信要求あるいは受信要求の受信の待機が行われる(S51:NO、S56:NO、S64)。
配信サーバ2が出力端末5から提示視点情報の送信要求(図4、S14参照)を受けると(S51:YES)、まず、出力端末5から受信するレッスン情報(各モーション情報と、それぞれに対応するテンポ情報、繰返し情報、ID情報)が、RAM23のワークエリアに記憶される。そして、視点決定処理が行われる(S53)。
図6に示す、視点決定処理では、受信したレッスン情報に含まれるモーション情報が取得され、RAM23のワークエリアに記憶される(S71)。受信したレッスン情報に含まれるモーション情報に対応した視点の情報(提示視点情報)を準備するため、S72〜S79の処理において、各モーション情報に対してそれぞれ適切な視点を抽出する処理が行われる。視点の抽出はモーション情報ごとに行われる。視点決定処理は、すべてのモーション情報に対する視点の抽出が完了した場合に終了され(S72:YES)、配信プログラムのメインルーチンに戻る。したがって、すべてのモーション情報に対する視点の抽出が完了していないうちは(S72:NO)、レッスンに含まれる各モーション情報の実行順に、未選択の1つのモーション情報が選択される(S73)。
データベース3の視点変更履歴情報が参照され、選択されたモーション情報に対応付けられた各情報が抽出される(S74)。視点変更履歴情報には、複数の出力端末5から送信されたレッスン情報と選択視点情報(図4、S33参照)とが記憶されている。より詳細には、視点変更履歴情報には、ネットワーク10を介して配信サーバ2に接続された複数の出力端末5からそれぞれ送信されるレッスン情報と選択視点情報とが、追記的に記録されている。S74では、視点変更履歴情報に記録された様々なモーション情報とそれに対応する選択視点情報との中から、選択されたモーション情報とそれに対応する選択視点情報とが抽出される。例えば図7に示すように、モーション情報として「マーチ」が選択された場合、蓄積された視点変更履歴情報から、モーション情報「マーチ」と、「マーチ」に対応付けられた各情報(テンポ情報、繰返し情報、ID情報、繰返し回、提示視点情報、選択視点情報、視点変更の有無)とが、抽出される。なお、図7は、モーション情報「マーチ」が含まれる情報を抽出した視点変更履歴情報を模式的に示したものである。
抽出された情報から、視点変更の有無が「なし」に設定された情報が除かれる。視点変更の有無が「なし」の場合、操作者42による視点位置の変更が、レッスンを通して一度も行われなかったことを意味する。視点変更の有無が「なし」に設定された情報は、集計の対象外とされる。例えば、図7に示す、「マーチ」が含まれる情報の抽出後の視点変更履歴情報からは、さらに、5行目〜8行目の情報が削除される。
残りの情報において、選択視点情報が着目される。そして、選択視点情報の集計が行われ、各視点の選択率が求められる(S76)。例えば図7においては、1行目〜4行目および9行目〜12行目の情報が、視点変更が「あり」として残された情報である。選択視点情報は、1行目から順に、「B」、「D」、「D」、「D」であり、また、9行目から順に、「B」、「D」、「D」、「D」である。この場合、残った全選択視点情報の数(上記抽出後の視点変更履歴情報に記録されているすべての選択視点情報を集計したもの)は8である。そのうち視点「B」が2つ選択されている。また、視点「D」は6つ選択されている。視点の選択率は、その視点の選択数を、抽出後の視点変更履歴情報に記録されているすべての選択視点情報の数で割った値として求められる。よって、視点「B」の選択率は、視点「B」の選択数、2を、すべての選択視点情報の数、8で割った値の1/4となる。同様に、視点「D」の選択率は、視点「D」の選択数6を、すべての選択視点情報の数8で割った値の3/4となる。その他の視点(「A」や「C」など)は、抽出後の視点変更履歴情報の選択視点情報には含まれていないので、選択率0となる。
求められた選択率が最も高かった視点のその選択率が所定値と比較され、所定値より大きければ(S77:YES)、選択率が最も高かった視点が、現在選択中のモーション情報に対する適切な視点であるとして、その視点の視点情報が提示視点情報として設定される(S78)。上記の図7の例では、選択率が3/4だった視点「D」の視点位置が、提示視点情報として設定される。一方、求められた選択率が最も高かった視点のその選択率が所定値以下だったならば(S77:NO)、現在選択中のモーション情報に適切な視点はないとして、提示視点情報は設定されない(S79)。その後、S72に戻る。なお、選択率が比較される所定値が、「基準値」に相当する。
このように、S72〜S79の処理が繰り返されることによって、レッスンに含まれるすべてのモーション情報に対してそれぞれ適切な視点を抽出する処理(適切な視点がない場合もある。)が行われる。そして上記したように、すべてのモーション情報に対する視点の抽出が完了したら(S72:YES)、視点決定処理のサブルーチンは終了され、配信プログラムのメインルーチンに戻る。
メインルーチンに戻ると、視点決定処理で決定された、出力端末5で行われるレッスンに含まれるモーション情報のそれぞれに適切な視点の情報(提示視点情報)が、要求のあった出力端末5に対して送信される(S54)。S64に進み、上記したように、出力端末5からの次の送信要求あるいは受信要求に対する待機がなされる(S64:NO、S51:NO、S56:NO)。
待機中に、出力端末5からの選択視点情報の受信要求(図4、S33参照)を受けた場合には(S56:YES)、出力端末5から送信されるレッスン情報と選択視点情報とが受信され(S57)、RAM23のワークエリアに記憶される(S58)。次のS59〜S63の処理では、受信したレッスン情報と選択視点情報とがモーション情報ごとにデータベース3に記憶される。すべてのモーション情報に対する選択視点情報の記憶処理が完了していないうちは(S59:NO)、レッスンに含まれる各モーション情報の実行順に、未選択の1つのモーション情報が選択される(S61)。モーション情報の選択は、モーション情報の繰返し回ごとに個別に行われる。
選択されたモーション情報(繰返し回)に対応付けられた選択視点情報が受信されていなかった場合(S62:NO)、データベース3の視点変更履歴情報への登録(追記)は行わず、S59へ戻る。選択されたモーション情報(繰返し回)に対応する選択視点情報があれば(S62:YES)、データベース3の視点変更履歴情報に、選択されたモーション情報と、そのモーション情報に対応付けられた各情報が登録(追記)される(S63)。モーション情報に対応付けられた各情報とは、図7に示すように、テンポ情報、繰返し情報、ID情報、繰返し回、提示視点情報、選択視点情報、視点変更の有無の情報である。そしてS59に戻る。
このように、S59〜S63の処理が繰り返されることによって、レッスンに含まれるモーション情報と、それぞれに対応付けられた各情報とが、データベース3の視点変更履歴情報へ登録される。レッスンに含まれるすべてのモーション情報に対するS59〜S63の処理が終われば(S59:YES)、S64に進む。そして上記したように、配信プログラムの終了が指示されるまで(S64:NO)、出力端末5からの次の送信要求あるいは受信要求に対する待機がなされる(S51:NO、S56:NO)。
以上、説明したように、出力端末5では、配信サーバ2から取得した提示視点情報に対応する視点位置に配置した視点でオブジェクト(フィギュア83)を映し出した映像を表示部67に表示することができる。このため、配信サーバ2において、適切な提示視点情報を用意すれば、出力端末5において、適切な視点からオブジェクトを映し出した映像を、得ることができる。適切な提示視点情報を求めるための処理は配信サーバ2が行えば足りるので、出力端末5には、適切な提示視点情報を求めるための処理に対する負担がかからない。一方、配信サーバ2においては、選択率が最も高く、また、所定値(基準値)よりも大きい選択視点情報を、そのモーション情報に対応する提示視点情報として設定することができるので、一時的に用いられた選択視点情報が、提示視点情報として設定されることがない。なお、S77で、各視点の選択率が、単に、所定値よりも高かった場合に、S78において、該当する視点の視点位置を提示視点情報に設定してもよい。
また、出力端末5において視点の視点位置が変更された場合、変更によって選択された選択視点情報のうち、最も長い間選択された選択視点情報を、配信サーバ2に送信することができる。これにより、配信サーバ2において、適切な提示視点情報を求めるための処理を行う上で、最も長い間選択された選択視点情報が適切な提示視点情報の候補として用いられるので、一時的に選択された選択視点情報が、適切な提示視点情報の候補として用いられることがない。
また、モーション情報に対応する運動動作が繰り返される場合において、運動動作が繰り返されるたびに、同一のモーション情報に対して異なる視点に変更されることがある。こうした場合に、運動動作の繰返し回ごとの選択視点情報をモーション情報に対応付ければ、それらの選択視点情報を、適切な提示視点情報の候補として用いることができるので、より適切な提示視点情報を求めることができる。
また、配信サーバ2においては、同一のモーション情報に対応付けられた選択視点情報のうち、選択率が最も高く、所定値よりも大きい選択視点情報を、そのモーション情報に対応する提示視点情報として設定することができるので、一時的に用いられた選択視点情報が、提示視点情報として設定されることがない。なお、上記同様、選択率が単に所定値よりも高い選択視点情報を、提示視点情報に設定してもよい。
なお、上記の実施形態に示される運動支援システムの構成は例示であり、本発明は各種の変形が可能なことはいうまでもない。例えば、運動支援プログラムのS31(図4参照)では、使用時間に基づき、使用された視点のうち、最も長く使用された視点が特定された。これに限らず、ログ情報の取得を、例えば、一定時間ごとに行い、その都度、現在使用中の視点を記録し、S31の選択視点情報の抽出の際には、ログ情報に基づき、記録された視点の使用頻度(対象の視点の使用回数/全視点の使用回数)を求めてもよい。そして、使用頻度の最も高い視点の視点位置を、選択視点情報に設定してもよい。あるいは、使用頻度の基準となる基準頻度(「基準割合」に相当する。)を予め設定しておき、基準頻度よりも高い使用頻度の視点を、選択視点情報に設定してもよい。この場合において、基準頻度よりも高い使用頻度の視点が複数あれば、それぞれを選択視点情報に設定し、配信サーバ2に送信すればよい。
また、例えば、配信サーバ2において図5のS53においてコールされる視点決定処理において、モーション情報に対する適切な視点を抽出する際の抽出条件に、ID情報を加えてもよい。この場合、S71においては、レッスン情報に含まれるモーション情報に加え、ID情報が取得されるとよい。S74においては、上記取得されたID情報と同じID情報に対応付けられた、モーション情報およびその他の各情報が、視点変更履歴情報から抽出されるようにすればよい。
例えば図7に示すように、モーション情報として「マーチ」が選択され、ID情報が「ID_102」であった場合、蓄積された視点変更履歴情報から、「マーチ」と「ID_102」とを含む情報が抽出される。抽出された情報から、視点変更の有無がなしに設定された情報が除かれる。視点変更履歴情報の1行目〜4行目のID情報は「ID_100」であり、5〜8行目のID情報は「ID_101」である。ゆえに、1行目〜8行目の情報が削除され、ID情報が「ID_102」である9行目〜12行目の情報が抽出される。残った全選択視点情報(順に、「B」、「D」、「D」、「D」)の数は4であり、そのうち視点「B」が1つ、視点「D」が3つ、選択されている。よって、視点「B」の選択率は1/4となり、視点「D」の選択率は3/4となる。S76では、選択率が3/4だった視点「D」の視点位置が、ID情報「ID_102」で抽出された情報から求められた提示視点情報として設定される。
このように、モーション情報に対する適切な視点を抽出する際の抽出条件に、要求された出力端末5の操作者42のID情報を加えることによって、操作者42の好みの視点の選択視点情報が、提示視点情報として提示されやすくなる。また、出力端末5において、S71で送信されるID情報として、任意のID情報を入力できるようにすれば、操作者42とは異なる他のインストラクターの好みの選択視点情報に基づく提示視点情報を得ることができる。具体的に、例えば、図4で説明した運動支援プログラムのS12で、操作者42により所望するレッスンの選択が行われたが、その際の選択画面において、所望するID情報の入力(あるいは選択)を行えるようにすればよい。そして、S13では、S12で選択されたレッスンに含まれる各情報に、S12で入力されたID情報が対応付けられるようにすればよい。このようにすれば、S14で配信サーバ2に送信されるレッスン情報に含まれるID情報が、操作者42のID情報ではなく、S12で入力されたID情報となる。なお、上記の変形例において、選択画面で入力された、所望するID情報を取得するCPU51が、「第3取得手段」に相当する。
例えば図7の場合、操作者42のID情報が「ID_102」であったとしても、S12で入力された、操作者42の所望するID情報が「ID_100」であれば、上記のS74で抽出される視点変更履歴情報は、1〜4行目の情報である。上記同様に選択率が求められることによって、視点「D」の視点位置が、ID情報「ID_100」で抽出された情報から求められた提示視点情報として、「ID_102」の操作者42が操作する出力端末5に提示されることとなる。
また、例えば、配信サーバ2において図5のS53においてコールされる視点決定処理において、モーション情報に対する適切な視点を抽出する際の抽出条件に、テンポ情報を加えてもよい。この場合、S71においては、レッスン情報に含まれるモーション情報に加え、テンポ情報が取得されるとよい。そして、S74においては、上記取得されたテンポ情報によって示されるテンポを基準とする。そして、基準のテンポから所定値を引いたテンポから、基準のテンポに所定値を加えたテンポまでの間のテンポを示すテンポ情報に対応付けられた、モーション情報およびその他の各情報が、視点変更履歴情報から抽出されるようにすればよい。
例えば図7の場合において、操作者42が選択したレッスンの「マーチ」のテンポ情報が「120」であるとする。また、テンポの所定値を「5」とする。S74では、基準のテンポが「120」に設定され、それに対する所定値が「5」であるので、テンポ情報として「115」〜「125」(120±5)の値を有する1〜4行目および9〜12行目の情報が、視点変更履歴情報から抽出される。抽出された1行目〜4行目および9行目〜12行目の視点変更履歴情報に基づき求められる視点の選択率は、視点「B」が1/4となり、視点「D」が3/4となる。よって、S76では、視点「D」の視点位置が、テンポ情報「120±5」で抽出された情報から求められた提示視点情報として設定される。
このように、モーション情報に対する適切な視点が抽出される際の抽出条件に、テンポ情報が加えられた。これにより、配信サーバ2は、出力端末5においてオブジェクトが運動動作されるテンポ情報に近いテンポ情報で用いられた視点の選択視点情報を、提示視点情報として得ることができる。これにより、配信サーバ2は、より適切な提示視点情報を提供することができる。
なお、上記変形例においても、S77の後に、選択率が最も高かった視点の選択率を所定値と比較する処理を行い、選択率が所定値よりも高かった場合に、S78において、その視点の視点位置を提示視点情報に設定してもよい。
また、視点位置を、本実施の形態では三次元仮想空間80内における絶対的な位置としたが、オブジェクトを基準とする相対的な位置として設定できるようにしてもよい。この場合には、操作者42が、リモコン66またはキーボード61あるいはマウス62による操作で、視点位置を任意に変更できるようにしてもよい。
また、出力端末5の運動支援プログラムのS29において、視点変更が無かった場合、処理中の選択視点情報を破棄し、配信サーバ2に選択視点情報の送信を行わないようにしてもよい。あるいは、配信サーバ2の配信プログラムにおいて、例えばS62で選択視点情報の有無を確認しているが、この処理において視点変更の有無を確認し、視点変更がなかった場合、視点変更履歴情報に、選択視点情報を登録しないようにしてもよい。以上のようにすれば、適切な視点を求める際に、視点変更のない情報を除く処理を行う手間を省くことができる。
なお、本実施の形態においては、S13で、操作者42の選択したレッスンの情報を取得するCPU51が、「第1取得手段」に相当する。S14で、配信サーバ2から提示視点情報を取得するCPU51が、「第2取得手段」に相当する。S17で、レッスンを開始して撮影した映像をモニタ57の表示部67に表示するための映像信号を表示制御部56から出力させるCPU51が、「表示制御手段」に相当する。また、S17で、フィギュア83を映し出す視点を設定するCPU51が、「第1設定手段」に相当する。S19で、HDD7に、フィギュア83の撮影に用いた視点の変更履歴をログ情報として記録するCPU51が、「第1記憶手段」に相当する。S33で、レッスン情報と選択視点情報とを配信サーバ2に送信するCPU51が、「第1送信手段」に相当する。S23で、フィギュア83を撮影する視点の変更を行うCPU51が、「変更手段」に相当する。
また、S57で、出力端末5からレッスン情報と選択視点情報とを受信するCPU21が、「受信手段」に相当する。S63で、モーション情報に対応付けて選択視点情報をデータベース3の視点変更履歴情報に登録するCPU21が、「第2記憶手段」に相当する。S78で、最も選択率の高い視点をモーション情報の視点として提示視点情報を設定するCPU21が、「第2設定手段」に相当する。S54で、提示視点情報を出力端末5に送信するCPU21が、「第2送信手段」に相当する。S74の変形例で、基準のテンポに対して所定値の範囲内のテンポを示すテンポ情報に対応付けられたモーション情報および選択視点情報を抽出するCPU21が、「判定手段」に相当する。
1 運動支援システム
2 配信サーバ
3 データベース
5 出力端末
21 CPU
23 RAM
37 HDD
41 利用者
42 操作者
51 CPU
53 RAM
67 表示部
80 三次元仮想空間
81 仮想カメラ

Claims (8)

  1. 特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と、複数の前記運動支援装置と通信し、前記運動支援装置との間で送受信される情報を管理する情報処理装置と、を備える運動支援システムであって、
    前記運動支援装置は、
    前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報を含むレッスン情報を取得する第1取得手段と、
    前記レッスン情報が含む個々の前記モーション情報に対応して、三次元仮想空間内で運動動作を行うオブジェクトを映し出すため三次元仮想空間内に配置される視点の視点位置を示し、前記モーション情報と対応付けられた第1視点情報を、前記情報処理装置から取得する第2取得手段と、
    前記第2取得手段により取得された前記第1視点情報に基づいて、前記視点から、前記オブジェクトを映し出した映像を、前記表示部に表示する表示制御手段と、
    前記表示制御手段により前記表示部に表示される映像において、前記オブジェクトを映し出す視点位置を設定する第1設定手段と、
    前記第1設定手段により設定された視点位置を示す第2視点情報と前記オブジェクトが行う運動動作に対応する前記モーション情報とを対応付けて記憶する第1記憶手段と、
    前記第1記憶手段により記憶された前記モーション情報に対応付けられた前記第2視点情報を、前記情報処理装置に送信する第1送信手段と、
    を備え、
    前記情報処理装置は、
    前記複数の運動支援装置それぞれの前記第1送信手段により送信された前記第2視点情報を受信する受信手段と、
    前記受信手段により受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記モーション情報と対応付けて記憶する第2記憶手段と、
    前記第2記憶手段により記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応する前記第1視点情報として設定する第2設定手段と、
    前記第2設定手段により設定された前記第1視点情報を前記運動支援装置に送信する第2送信手段と、
    を備えることを特徴とする運動支援システム。
  2. 前記運動支援装置の前記第1設定手段は、前記表示制御手段により前記視点から前記オブジェクトを映し出した映像が前記表示部に表示される際に、前記視点の視点位置を変更する変更手段をさらに備え、
    前記運動支援装置の前記第1送信手段は、前記変更手段によって前記視点の視点位置が変更された場合に、個々の前記モーション情報ごとに、前記第1記憶手段により記憶された複数の前記第2視点情報の中から、予め基準として定められた基準割合よりも高い割合で選択された視点位置を示す前記第2視点情報を、前記情報処理装置に送信することを特徴とする請求項1に記載の運動支援システム。
  3. 前記レッスン情報は、前記モーション情報に対応する運動動作を繰り返す回数情報を含み、
    前記運動支援装置において、
    前記第1記憶手段は、前記表示制御手段により前記表示部に表示される映像において、前記モーション情報に対応する運動動作が前記回数情報に応じて繰り返される回数ごとに、前記モーション情報と前記第2視点情報とを対応付けて記憶し、
    前記第1送信手段は、前記繰り返される回数ごとに記憶された前記モーション情報と前記第2視点情報とを送信し、
    前記情報処理装置において、
    前記第2記憶手段は、前記受信手段により受信された前記繰り返される回数ごとの前記モーション情報と前記第2視点情報とを記憶し、
    前記第2設定手段は、前記繰り返される回数ごとに、前記基準値よりも多い前記第2視点情報を前記第1視点情報として設定すること
    を特徴とする請求項1または2に記載の運動支援システム。
  4. 前記レッスン情報は、前記モーション情報に対応する運動動作の指導を行う指導者を識別するためのID情報を含み、
    前記運動支援装置は、前記ID情報を取得する第3取得手段をさらに備え、
    前記運動支援装置の前記第1送信手段は、前記第2視点情報と、前記第3取得手段により取得された前記ID情報とを対応付けて、前記情報処理装置に送信し、
    前記情報処理装置において、
    前記第2記憶手段は、前記受信手段により受信された前記ID情報と前記第2視点情報とを対応付けて記憶し、
    前記第2設定手段は、前記ID情報の異なるごとに、前記基準値よりも多い前記第2視点情報を前記第1視点情報として設定し、
    前記第2送信手段は、前記第1視点情報と前記ID情報とを対応付けて、前記運動支援装置に送信すること
    を特徴とする請求項1から3のいずれかに記載の運動支援システム。
  5. 前記レッスン情報は、前記モーション情報に対応する運動動作の基本動作に必要な拍数を示す拍数情報を含み、
    前記情報処理装置は、前記モーション情報に対応付けられた前記拍数が、所定の基準拍数範囲に含まれるか否かを判定する判定手段をさらに備え、
    前記情報処理装置の前記第2設定手段は、前記判定手段により前記拍数が前記基準拍数範囲に含まれると判定された、前記第2記憶手段により記憶された複数の前記第2視点情報の中から、前記基準値よりも多い前記第2視点情報を前記第1視点情報として設定することを特徴とする請求項1から4のいずれかに記載の運動支援システム。
  6. 特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と通信し、複数の前記運動支援装置との間で送受信される情報を管理する情報処理装置であって、
    前記複数の運動支援装置のそれぞれより送信される第2視点情報であって、前記表示部に表示される映像において、三次元仮想空間内で運動動作を行うオブジェクトを映し出す視点の視点位置を示す第2視点情報を受信する受信手段と、
    前記受信手段により受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報と対応付けて記憶する第2記憶手段と、
    前記第2記憶手段により記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応して前記オブジェクトを映し出す前記視点の視点位置を示す第1視点情報として設定する第2設定手段と、
    前記第2設定手段により設定された前記第1視点情報を前記運動支援装置に送信する第2送信手段と、
    を備えることを特徴とする情報処理装置。
  7. コンピュータで実行され、特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と通信し、複数の前記運動支援装置との間で送受信される情報を管理する情報処理方法であって、
    前記複数の運動支援装置のそれぞれより送信される第2視点情報であって、前記表示部に表示される映像において、三次元仮想空間内で運動動作を行うオブジェクトを映し出す視点の視点位置を示す第2視点情報を受信する受信ステップと、
    前記受信ステップにより受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報と対応付けて所定の記憶部に記憶する第2記憶ステップと、
    前記第2記憶ステップにより記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応して前記オブジェクトを映し出す前記視点の視点位置を示す第1視点情報として設定する第2設定ステップと、
    前記第2設定ステップにより設定された前記第1視点情報を前記運動支援装置に送信する第2送信ステップと、
    を含む情報処理方法。
  8. 特定の身体部位を動作させる運動映像を表示部に表示して運動の支援を行う運動支援装置と通信し、複数の前記運動支援装置との間で送受信される情報を管理する情報処理装置として機能させるためのプログラムであって、
    コンピュータに、
    前記複数の運動支援装置のそれぞれより送信される第2視点情報であって、前記表示部に表示される映像において、三次元仮想空間内で運動動作を行うオブジェクトを映し出す視点の視点位置を示す第2視点情報を受信する受信ステップと、
    前記受信ステップにより受信された前記複数の運動支援装置それぞれの前記第2視点情報を、前記表示部に表示する運動動作を示す、少なくとも1つ以上のモーション情報と対応付けて所定の記憶部に記憶する第2記憶ステップと、
    前記第2記憶ステップにより記憶された複数の前記第2視点情報の中から、予め基準として定められた基準値よりも多い前記第2視点情報を、前記第2視点情報と対応付けられた前記モーション情報に対応して前記オブジェクトを映し出す前記視点の視点位置を示す第1視点情報として設定する第2設定ステップと、
    前記第2設定ステップにより設定された前記第1視点情報を前記運動支援装置に送信する第2送信ステップと、
    を実行させるプログラム。
JP2010082731A 2010-03-31 2010-03-31 運動支援システム、情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5359969B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010082731A JP5359969B2 (ja) 2010-03-31 2010-03-31 運動支援システム、情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010082731A JP5359969B2 (ja) 2010-03-31 2010-03-31 運動支援システム、情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011212198A JP2011212198A (ja) 2011-10-27
JP5359969B2 true JP5359969B2 (ja) 2013-12-04

Family

ID=44942595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010082731A Expired - Fee Related JP5359969B2 (ja) 2010-03-31 2010-03-31 運動支援システム、情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5359969B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5928279B2 (ja) * 2012-09-27 2016-06-01 ブラザー工業株式会社 運動支援装置及びプログラム
JP2015126826A (ja) * 2013-12-27 2015-07-09 ブラザー工業株式会社 情報処理装置及びプログラム
JP6276882B1 (ja) * 2017-05-19 2018-02-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018195287A (ja) * 2018-01-12 2018-12-06 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341619A (ja) * 2003-05-13 2004-12-02 Nec Corp トレーニング支援システム、方法、サーバおよびプログラム
JP4160596B2 (ja) * 2005-12-07 2008-10-01 株式会社コナミスポーツ&ライフ 運動データ管理システム
JP2009089744A (ja) * 2007-10-03 2009-04-30 Xing Inc 動画表示システム、動画表示方法、およびコンピュータプログラム
JP2009145805A (ja) * 2007-12-18 2009-07-02 Xing Inc 動画表示システム、動画表示方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2011212198A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
WO2016035748A1 (ja) サーバ装置、動画配信システム、それに用いられる制御方法及びコンピュータプログラム
US9044632B2 (en) Information processing apparatus, information processing method and recording medium storing program
JP5359969B2 (ja) 運動支援システム、情報処理装置、情報処理方法およびプログラム
JP5375696B2 (ja) 配信システム、端末装置、配信方法、及びプログラム
JP2007089648A (ja) 競技情報の配信システム、携帯機器、配信方法、及びプログラム
JP5928279B2 (ja) 運動支援装置及びプログラム
JP5359950B2 (ja) 運動支援装置、運動支援方法およびプログラム
JP2009089744A (ja) 動画表示システム、動画表示方法、およびコンピュータプログラム
JP5338837B2 (ja) 運動支援装置、運動支援方法及び運動支援プログラム
JP5047748B2 (ja) 動画表示システム、動画表示方法、コンピュータプログラム、および情報処理装置
JP5504799B2 (ja) 運動支援装置、運動支援方法およびプログラム
JP5446600B2 (ja) コンテンツ生成システム、運動支援装置、コンテンツ生成方法及びプログラム
JP5825314B2 (ja) 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
JP5939217B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2007316971A (ja) 表示処理装置、表示処理方法、及びコンピュータプログラム
KR20200076259A (ko) 4d 모델 기반 홈 트레이닝 방법 및 시스템
JP2010227174A (ja) 運動支援システム、端末装置、サーバ、運動支援装置、運動支援方法及び運動支援プログラム。
JP5958389B2 (ja) 情報処理装置及びプログラム
JP2012203071A (ja) カラオケ装置
JP2012065778A (ja) 運動支援装置、運動支援方法およびプログラム
JP5704296B2 (ja) 情報処理装置、楽曲出力方法及びプログラム
JP2010074437A (ja) アノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP5504752B2 (ja) コンテンツ生成システム、運動支援装置、コンテンツ生成方法及びプログラム
JP2015195905A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees