JP5047748B2 - 動画表示システム、動画表示方法、コンピュータプログラム、および情報処理装置 - Google Patents

Description

本発明は、バーチャルインストラクターの各動作を規定したモーションデータの組合せで生成した運動指導用の動画をモニタへ表示する際に、エクササイズの動作によってモニタを見ることができない状態、たとえばユーザがモニタに背を向けているような状態でも、動作内容を知ることができるようにした動画表示システム、動画表示方法、コンピュータプログラム、および情報処理装置に関する。

従来、いわゆるモーションキャプチャ技術により得られたモーションデータに基づき動画コンテンツを生成することが行われている（下記の特許文献１参照）。また、昨今は、各種エクササイズおよびスポーツ等のレッスンでユーザに提示される各種見本動作を示す動画コンテンツが、モーションキャプチャ技術を用いたバーチャルインストラクターによるものが使用され始めている。

モーションキャプチャ技術により生成される各種運動の動作を示すバーチャルインストラクターの動画コンテンツは、ユーザの都合に合わせてレッスンを受けられることに加えて、視点変更（バーチャルインストラクターを表示する方向の変更）が容易であるため、各種動作を様々な方向から確認でき、習得したい動作をユーザが把握しやすいと云うメリットがある。

なお、下記の特許文献２では、エクササイズ用の動画コンテンツを生成する際に、動画コンテンツ中のバーチャルインストラクターの形態を、エクササイズを行うユーザの性別、年齢および身長体重に応じてカスタマイズする内容が開示されている。
特開平１０−２２２６６８号公報 特許第３４７２２３８号公報

図１６に示すように、従来のモーションキャプチャ技術によるエクササイズ用の動画コンテンツは、ユーザＵが正対する方向に設置された一つのモニタＭに表示されていた。このため、例えば、モニタＭに表示されたバーチャルインストラクターＶが矢印Ｙ１方向に体を１８０度回転して後方向を見るような見本動作を行った場合、ユーザＵも矢符Ｙ２方向に体を１８０度回転させることになるので、１８０度回転した後は、モニタＭにユーザＵは背を向けることになる。それにより、ユーザＵはモニタＭに表示されるバーチャルインストラクターＶの見本動作を確認できなくなり、この姿勢では次の運動内容を把握できないと云う問題があった。なお、このような問題は、バーチャルインストラクターＶが後方向を向く以外に、左方向、右方向、上方向、または下方向のいずれかを向くような動作を行う場合でも同様に生じる。

本発明は、斯かる事情に鑑みてなされたものであり、モニタに表示される見本動作を行うバーチャルインストラクターの動作に従って、ユーザがモニタを見ることができない姿勢になっても、音声によりユーザが次の運動の動作を把握できるようにした動画表示システム、動画表示方法、コンピュータプログラム、および情報処理装置を提供することを目的とする。

上記課題を解決するために本発明に係る動画表示システムは、動体の運動動作を規定した複数の動作データを記憶するデータ記憶手段と、各動作データの時系列の順序を規定した順序データを格納する順序データベースと、前記順序データが規定する順序の各動作データに基づいて動体が運動動作を行う動画を生成する動画生成手段と、前記動画生成手段が生成した動画の表示処理を行う表示処理手段とを備える動画表示システムにおいて、前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれており、前記データ記憶手段には、前記特定の動作データが規定する運動動作の内容を音声で表す音声データが、前記特定の動作データに対応付けて記憶してあり、前記動画生成手段が動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくか否かを音声出力識別子の有無により検出する検出手段と、前記検出手段が、生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記表示処理手段が前記順序データで規定される順序で前記特定の動作データの前側となる動作データに基づく動画の場面の表示処理を行うときに、前記特定の動作データに対応付けられた音声データの音声出力処理を行う音声出力処理手段とを備えることを特徴とする。

また本発明に係る動画表示システムは、前記音声出力処理手段が、前記前側となる動作データに基づく動画の場面の表示処理を行う時間中の後半の時間帯に、前記特定の動作データに対応付けられた音声データの音声出力処理を行うことを特徴とする。
さらに、本発明に係る動画表示システムは、運動動作のテンポを音声で表すテンポ音声データを記憶する手段を備え、前記音声出力処理手段は、前記表示処理手段が前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記テンポ音声データの音声出力処理を行うことを特徴とする。
さらにまた、本発明に係る動画表示システムは、前記特定の動作データは、動体が左方向、右方向、後方向、上方向、または下方向のいずれかを向く運動動作を規定したデータであることを特徴とする。

また、本発明に係る動画表示システムは、前記複数の動作データの中には、音声出力識別子が付されていない一般の動作データが含まれており、前記データ記憶手段には、前記一般の動作データが規定する運動動作の内容を音声で表す音声データが、前記一般の動作データに対応付けて記憶してあり、前記検出手段が、生成する動画の場面が前記一般の動作データに基づくことを検出した場合、前記表示処理手段が前記一般の動作データに基づく動画の場面の表示処理を行うときに、前記音声出力処理手段は、前記一般の動作データに対応付けられた音声データの音声出力処理を行うことを特徴とする。

本発明に係る動画表示システムは、前記検出手段が、生成する動画の場面が前記特定の動作データに基づくと共に、前記生成する動画の場面に続く場面が前記一般の動作データに基づくことを検出した場合、前記音声出力手段は、前記表示処理手段が前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記生成する動画の場面に続く場面に応じた一般の動作データに対応付けられた音声データの音声出力処理を行うことを特徴とする。
また、本発明に係る動画表示システムは、前記特定の動作データに基づく動画の場面の表示処理を行う時間中の後半の時間帯に、前記生成する動画の場面に続く場面に応じた一般の動作データに対応付けられた音声データの音声出力処理を行うことを特徴とする。

さらに、本発明に係る動画表示システムは、前記順序データベースには、運動目的の種類に対応付けて複数種類の順序データが格納してあり、運動目的の種類の入力を受け付ける入力受付手段を備え、前記動画生成手段は、前記入力受付手段が受け付けた運動目的の種類に対応付けられた順序データが規定する順序の各動作データに基づいて動画を生成することを特徴とする。

本発明に係る動画表示方法は、動体の運動動作を規定した複数の動作データを記憶するデータ記憶手段と、各動作データの時系列の順序を規定した順序データを格納する順序データベースとを有する動画表示システムが、前記順序データが規定する順序の各動作データに基づいて動体が運動動作を行う動画を生成し、生成した動画の表示処理を行う動画表示方法において、前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれると共に、前記データ記憶手段には、前記特定の動作データが規定する運動動作の内容を音声で表す音声データが前記特定の動作データに対応付けて記憶されており、前記動画表示システムは、動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくか否かを音声出力識別子の有無で検出し、生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記順序データで規定される順序で前記特定の動作データの前側となる動作データに基づく動画の場面の表示処理を行うときに、前記特定の動作データに対応付けられた音声データの音声出力処理を行うことを特徴とする。

本発明に係るコンピュータプログラムは、動体の運動動作を規定した複数の動作データを記憶する記憶手段と、各動作データの時系列の順序を規定した順序データを格納した順序データベースとを備えるコンピュータに、前記順序データが規定する順序の各動作データに基づいて動体が運動動作を行う動画を生成させて、生成した動画の表示処理を行わせるためのコンピュータプログラムにおいて、前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれると共に、前記記憶手段には前記特定の動作データが規定する運動動作の内容を音声で表す音声データが前記特定の動作データに対応付けて記憶してあり、コンピュータを、動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくか否かを音声出力識別子の有無で検出する手段と、生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記順序データで規定される順序で前記特定の動作データの前側となる動作データに基づく動画の場面の表示処理を行うときに、前記特定の動作データに対応付けられた音声データの音声出力処理を行う手段として機能させることを特徴とする。

本発明にあっては、音声出力識別子を付した特定の動作データに音声データが対応付けられると共に、時系列の順序で特定の動作データの一つ前となる動作データに基づく動画の表示処理が行われるときに、その特定の動画データに対応付けられた音声データの音声が出力される。そのため、特定の動画データに基づく動画内容が表示される一つ前の動画内容の段階で、特定の動画データの基づく動画内容によるエクササイズ動作を音声で確認できるようになり、バーチャルインストラクターの動作を見ることができないような場合でも、次の動作を事前に音声で把握できるようになる。

本発明にあっては、特定の動画データに係る音声出力が、時系列の順序で、特定の動画データの一つ前となる動作データに基づく動画内容の表示処理を行う間の後半の時間帯に行われるので、特定の動画データに基づく動画内容へ切り替わる前のタイミングで、その特定の動画データによるエクササイズ動作を音声でユーザへ知らせることができる。また、このタイミングであれば、特定の動画データの一つ前となる動画データによる動画内容については前半部分の表示が終了しているため、次の特定の動画データのエクササイズ動作を表す音声を出力しても、次のエクササイズ動作が早めに音声出力された状態となり、表示中の動画データに係るエクササイズ動作との間で混乱が生じることもない。

また、本発明にあっては、特定の動画データに基づく動画内容が表示されるときに、運動動作のテンポを音声で表したテンポ音声データを出力するので、表示された動画を確認しにくい場面が、出力されるテンポの音声で補助されるようになる。そのため、表示された動画中のバーチャルインストラクターを確認することが困難な動作姿勢をユーザが取る場合でも、出力されるテンポの音声に合わせてエクササイズ動作を行えば、バーチャルインストラクターの動きに遅れることなくユーザはエクササイズを行える。なお、テンポ音声データの内容としては、「いちに、いちに・・・」と云った数字を繰り返す音声や、「はい、はい、はい、はい・・・」と云った掛け声などが該当する。
さらに、本発明にあっては、特定の動作データは、動体が左方向、右方向、後方向、上方向、または下方向のいずれかを向く運動動作を規定したデータであるので、ユーザがモニタを見ることができない姿勢のエクササイズ動作を行うときでも、その一つ前の段階でエクササイズ動作を表す音声を聞くことができるため、ユーザは事前に次のエクササイズ動作（モニタを見ることができない姿勢の動作）を把握できるようになる。それにより、バーチャルインストラクターが行う様々なエクササイズ動作を、視覚または聴覚の少なくともいずれかでユーザは確認できるようになる。

本発明にあっては、特定の動作データに基づかない動画の場面の表示処理を行うときは、一般の動作データに基づく運動内容を表す音声が出力されるので、そのときに表示される運動内容と音声の内容が一致する。それにより、特定の動作データに関する動作内容に係る表示期間を除き、そのときのエクササイズ動作を視覚および聴覚の両方を通じてユーザは多角的に把握しやすくなる。

本発明にあっては、前記特定の動作データに基づく動画の場面を表示するときに、順序データが規定する順序で一つ後の段階となる動作データに対応付けられた音声データの音声を出力するので、例えば動体が左右方向のいずれかまたは後方を向く運動動作から、正面方向を向く運動動作へ戻るときに、未だ動体の動作を見ることができない姿勢でも、そのときに一つ後の段階の動作内容の音声が出力されることになる。よって、ユーザが動体の動作を見ることができない姿勢で次の動作を行うときに、その次の動作の場面が表示される少し前に、その次の動作を表す音声が出力されるので、次の動作を先に把握することができ、エクササイズの途中にモニタを見ることができない姿勢動作になっても、音声により、ユーザはエクササイズのペースに合わせて動作を行いやすくなる。

本発明にあっては、特定の動画データの後側となる動作データに係る音声出力が、時系列の順序で、特定の動画データに基づく動画内容の表示処理を行う間の後半の時間帯に行われるので、特定の動画データに基づく動画内容が切り替わる前の丁度良いタイミングで、次の動画データによるエクササイズ動作を音声でユーザへ知らせることができる。また、このタイミングであれば、特定の動画データによる動画内容については前半部分の表示処理が終了しているため、次の動画データのエクササイズ動作を表す音声を出力しても、表示中の特定の動画データに係るエクササイズ動作との間で混乱が生じることもない。

本発明にあっては、運動目的の種類に対応付けて複数種類の順序データを揃えているので、ユーザの運動目的に応じた運動メニューでバーチャルインストラクターが動作を行う動画を生成表示できるようになる。しかも、このように運動目的に応じて運動メニューを選べる場合でも、モニタを見ることができない姿勢になるときは、音声で動作内容がユーザへ知らされるので、ユーザの運動目的に応じたエクササイズに対しても音声によるガイダンスをユーザへ適宜提供できる。

本発明にあっては、特定の動画データに基づく動画内容が表示される一つ前の段階で、特定の動画データの基づく動画内容によるエクササイズ動作を音声で確認でき、モニタを見ることができない動作を行う場合でも、音声により案内で次のエクササイズ動作をユーザは把握できる。

また、本発明にあっては、特定の動画データに係る音声出力が、時系列の順序で、特定の動画データの一つ前の段階となる動画内容の表示処理を行う間の後半の時間帯に行われるので、特定の動画データに基づく動画内容へ切り替わる直前のタイミングで、次のエクササイズ動作を音声で確認でき、ユーザはエクササイズのペースに遅れることなく次のエクササイズ動作を行える。
さらに本発明にあっては、特定の動画データに基づく動画内容が表示されるときに、運動動作のテンポを音声で表したテンポ音声データを出力するので、表示された動画を確認しにくい場合でも、出力されるテンポの音声で補うことができ、ユーザはテンポの音声を聞いてバーチャルインストラクターの動きに遅れることなくエクササイズを行える。
さらにまた、本発明にあっては、特定の動作データは、動体が左方向、右方向、後方向、上方向、または下方向のいずれかを向く運動動作を規定したデータであるので、ユーザがモニタを確認できない姿勢のエクササイズ動作を行うときでも、その前の段階で、音声により次のエクササイズ動作を確実に把握できる。

本発明にあっては、特定の動作データに基づく動作内容に係る表示を行うとき除き、そのときの表示処理が行われるエクササイズ動作に合わせて、そのエクササイズ動作を音声で出力するので、ユーザは視覚および聴覚を通じてエクササイズ動作を把握できる。
また、本発明にあっては、前記特定の動作データに基づく動画の場面を表示するときに、順序データが規定する順序で一つ後の段階となる動作データに対応付けられた音声データの音声を出力するので、正面方向を向く運動動作へ戻るときに、未だ動体の動作を見ることができない状況でも、一つ後の段階の動作内容を表す音声を先行的に出力でき、早めに次の動作をユーザは把握できる。

また、本発明にあっては、特定の動画データの後側となる動作データに係る音声出力が、時系列の順序で、特定の動画データに基づく動画内容の表示処理を行う間の後半の時間帯に行われるため、特定の動画データに基づく動画内容が切り替わる前の丁度良いタイミングで次のエクササイズ動作を音声でユーザへ知らせることができる。
さらにまた、本発明にあっては、ユーザの運動目的に応じた運動メニューのエクササイズの動画を生成表示でき、この場合でも、エクササイズ動作の種類によっては、次に行うべきエクササイズ動作を音声でユーザに伝えることができる。

図１は、本発明の実施形態に係る動画表示システム１の全体的な構成を示している。本実施形態の動画表示システム１は、バーチャルインストラクターによるエアロビクスレッスンを行うスポーツクラブ等の施設に設置されるものであり、各種データベースを記憶するサーバ装置１０に複数の端末ユニット３０、４０、５０等および受付端末装置２がネットワークケーブルＬ１〜Ｌ４等で接続された構成になっている。

本実施形態の動画表示システム１は、受付端末装置２で入力されたユーザの情報に基づきユーザの体力および運動目的に応じた運動レベルが決定され、その決定された運動レベルでバーチャルインストラクターが運動動作を行うエクササイズ動画がユーザの利用する端末ユニットの大型ディスプレイ装置に表示されるようになっている。さらに、動画表示システム１は、表示するエクササイズ動画の場面に応じた運動動作を表す音声を出力して音声でもエクササイズ動作のガイダンスを行っており、特に、バーチャルインストラクターが左右方向のいずれかまたは後方向を向くような特定の動作を行うことで、ユーザが大型ディスプレイ装置の方を見ることが困難になるときに、そのような動作に先行して動作内容を音声で案内することが特徴になっている。以下、動画表示システム１を構成する各端末ユニット３０〜５０、受付端末装置２およびサーバ装置１０について説明する。

端末ユニット３０、４０、５０は、端末装置３１、４１、５１、大型モニタ装置３２、４２、５２、入力操作器３３、４３、５３およびスピーカ３４、４４、５４を含み、各ユーザＵ１、Ｕ２、Ｕ３がレッスンを受けるブースＢ１、Ｂ２、Ｂ３ごとに設置されている。なお、図１の動画表示システム１では、計３セットの端末ユニット３０、４０、５０を示しているが、システム規模に応じてユニット台数は適宜増減可能になっている。

また動画表示システム１に含まれる受付端末装置２は、一般的なパーソナルコンピュータが適用されており、端末本体２ａにディスプレイ装置３および各種情報の入力用の入力デバイス４（キーボード）が接続されている。受付端末装置２は、サーバ装置１０から送られてくる各種データに基づいてメニュー等をディスプレイ装置３の画面３ａに表示すると共に、表示したメニューに対して入力デバイス４を通じて入力された情報をサーバ装置１０へ送る処理などを行う。

図２は、サーバ装置１０の主要な内部構成等を表したブロック図を示している。本実施形態のサーバ装置１０は、汎用のサーバーコンピュータを適用しており、サーバ本体１０ａに、ディスプレイ装置１６、ならびにシステム管理者からの各種入力操作を受け付けるキーボード１７およびマウス１８を接続している。サーバ装置１０は、受付端末装置２で表示させるメニュー等のデータ、受付端末装置２で入力を受け付けたユーザの情報に基づいてユーザ個人に合ったパーソナルメニューを作成するための元になるデータ、バーチャルインストラクターの動画を生成するためのデータ、エクササイズ動作を音声で表すデータ等をサーバ本体１０ａに記憶している。

サーバ装置１０は、各種制御処理を行うＭＰＵ１１（プロセッサ）に、ＲＡＭ１２、ＲＯＭ１３、通信インタフェース１４およびハードディスク装置１５を内部バス１０ｂで接続した構成になっている。なお、内部バス１０ｂには、システム管理者が閲覧するディスプレイ装置１６に加えて、システム管理者の操作インタフェースとなるキーボード１７およびマウス１８も繋がれており、ＭＰＵ１１の処理に伴う各種内容をディスプレイ装置１６へ表示できると共に、キーボード１７またはマウス１８で入力を受け付けた操作内容をＭＰＵ１１へ伝えるようにしている。

サーバ装置１０のＲＡＭ１２は、ＭＰＵ１１の処理に従うデータ及びフォルダ等を一時的に記憶するものであり、ＲＯＭ１３はＭＰＵ１１が行う基本的な処理内容を規定したプログラム等を予め記憶している。

通信インタフェース１４は、ネットワークケーブルＬ１〜Ｌ４（図１ではＬ１、Ｌ２のみを示す）等の接続部であり、サーバ装置１０からネットワークケーブルＬ１〜Ｌ４等の接続先の端末装置または各端末ユニットへデータ等の送信処理をＭＰＵ１１の制御に基づき行うと共に、接続先の端末装置または各端末ユニットから送られたデータ等の受信処理を行う。

ハードディスク装置１５は、サーバ装置１０が行う各種処理を規定したプログラムおよび各種データを格納したデータベース等を記憶するものである。具体的に、本実施形態のハードディスク装置１５は、システムプログラム１９、サーバプログラム２０、メニューデータベース２１、体力レベルテーブル２２、ユーザデータベース２３、動作音声データベース２４、運動目的テーブル２５、パターンデータベース２６およびリズムデータベース２７等を記憶している。

システムプログラム１９は、ＭＰＵ１１がサーバとして行う各種基本的な処理内容を規定したプログラムである。また、サーバプログラム２０は、サーバ装置１０のＭＰＵ１１が行う本発明特有の各種処理内容を規定したものである。サーバプログラム２０の具体的な処理内容としては、図３（ａ）〜（ｃ）に示すような各種メニュー２１ａ〜２１ｃを受付端末装置２で表示させてユーザから入力される情報を受け付ける処理、受け付けたユーザの情報に基づいてユーザの体力レベルを判定する処理、受け付けたユーザの情報に基づきユーザデータベース２３を構築する処理、ユーザデータベース２３に登録された情報に基づいてユーザに合ったパーソナルメニューを作成する処理、そのパーソナルメニューに含まれる内容に応じた動作データ等をユーザが利用するブースに設置された端末ユニット３０、４０、５０等へ送る処理などがある。

メニューデータベース２１は、各種メニューに応じたデータを格納したものであり、これらのデータが受付端末装置２へ送られると、ユーザから情報の入力をアンケート形式で受け付ける各種メニュー（入力受付手段に相当）が受付端末装置２のディスプレイ装置３に表示される。このような各種メニューでユーザから入力を受け付ける情報の内容としては、ユーザの氏名、性別、年齢、身長、体重、運動目的、運動習慣などがある。

図３（ａ）〜（ｃ）のメニュー２１ａ〜２１ｃは、メニューデータベース２１の各種メニュー用のデータに基づき表示されたメニュー内容を示す一例である。図３（ａ）のメニュー２１ａは、ユーザの年齢の入力を受け付けるものであり、入力欄２１ａ−１に年齢の数値が入力された状態で決定ボタン２１ａ−２が選択されると、入力欄２１ａ−１に入力された数値が受付端末装置２からサーバ装置１０へ送られるようになっている。

また、図３（ｂ）のメニュー２１ｂは、ユーザの運動習慣の入力を受け付けるものであり、受け付ける運動習慣の項目としては「一：していない（やめて１ヶ月以上）」「二：月に２〜３日」「三：週に１日」「四：週に２日」「五：週に３日以上」と云う計５種類の運動頻度を挙げている。メニュー２１ｂは、これらの運動習慣の項目ごとに選択用のチェックボックス２１ｂ−１〜２１ｂ−５を設けて、ユーザが自身の運動習慣を選択できるようにしている。なお、メニュー２１ｂにおいて、チェックボックス２１ｂ−１〜２１ｂ−５のいずれか１つが選択（チェック）された状態で、決定ボタン２１ｂ−６が選択されると、チェックされた運動習慣を示す情報が受付端末装置２からサーバ装置１０へ送られる。

さらに、図３（ｃ）のメニュー２１ｃは、ユーザの運動目的の入力を受け付けるものであり、受け付ける運動目的として「Ｍ１：全身ダイエット」「Ｍ２：上半身ダイエット」「Ｍ３：腹部ダイエット」「Ｍ４：下半身ダイエット」「Ｍ５：ストレス解消」「Ｍ６：老化防止」の計６種類を挙げている。メニュー２１ｃは、これらの運動目的ごとにチェックボックス２１ｃ−１〜２１ｃ−６を設け、ユーザが自身の運動目的を選択できるようにしている。なお、チェックボックス２１ｃ−１〜２１ｃ−６のいずれか１つがチェックされた状態で、決定ボタン２１ｃ−７が選択されると、チェックされた運動目的を示す情報が受付端末装置２からサーバ装置１０へ送られるようになっているのは、メニュー２１ｂなどと同じである。

このようなメニュー２１ａ〜２１ｃ等での情報入力は、ユーザが初めて施設を利用する際に受付端末装置２で行われるものである。これらの情報の入力が各種メニューで受け付けられて、サーバ装置１０がユーザの各種情報を通信インタフェース１４で取得すると、サーバプログラム２０の規定内容に従って、サーバ装置１０は、取得した情報に対応付ける会員番号（識別番号）をＭＰＵ１１が発行し、その発行した会員番号と共に、取得した情報をユーザデータベース２３に登録する。

また、２回目以降の利用の際は、既に入力した情報内容を変更する場合（例えば、運動目的を変更する場合など）にのみ情報の入力を行うことになる。また、２回目以降に施設を利用する場合は、受付端末装置２で会員番号を入力すれば、利用するブース番号（Ｂ１〜Ｂ３等）が受付端末装置２で示されて、ユーザは、そのブース番号のブースでレッスンを受けることになる。

図４は、ハードディスク装置１５に記憶される体力レベルテーブル２２の中身を示している。体力レベルテーブル２２は、入力を受け付けた情報に基づいて、情報の入力を行ったユーザの体力レベル（運動に係るレベルに相当）の判定をＭＰＵ１１が行う際に参照されるものである。体力レベルテーブル２２は、年齢を１８〜２９歳、３０〜４５歳、４６歳以上の三段階に分けると共に、段階ごとに図３（ｂ）のメニュー２１ｂで示す計５種類の運動習慣の項目を対応付けることで、ユーザからの情報に基づきユーザの体力レベルを３種類に分けられるようにしている。

例えば、年齢が１８〜２９歳の範囲に含まれて、運動習慣が「四：週に２日」のユーザは、体力レベルとして「Ｌ１：体力有り」と判定される。また、年齢が３０〜４５歳の範囲に含まれて、運動習慣が「三：週に１日」のユーザは、体力レベルとして「Ｌ２：体力普通」と判定される。さらに、年齢が４６歳以上であり、運動習慣が「二：月に２〜３日」のユーザは、体力レベルとして「Ｌ３：体力無し」と判定される。このような判定は、サーバプログラム２０の規定内容に従って、図３（ａ）のメニュー２１ａおよび図３（ｂ）のメニュー２１ｂの両方で、年令および運動習慣の入力選択を受け付けるごとにＭＰＵ１１が行っており、ＭＰＵ１１は判定した結果を、そのユーザの会員番号に対応付けてユーザデータベース２３に登録する処理を行う。

図５は、ユーザデータベース２３の中身を示している。ユーザデータベース２３は、会員登録を行ったユーザの情報が登録格納されたものであり、ＭＰＵ１１が発行した会員番号に対応付けて、ユーザから入力を受け付けた情報が登録されると共に、図４の体力レベルテーブル２２に基づき判定された結果（体力レベル）も登録されている。また、施設利用中のユーザは、利用中のブース番号も会員番号に対応付けて格納されるので、ブースの使用状況もユーザデータベース２３を参照すれば分かるようになっている。

図６は、動作音声データベース２４の中身の一部を示している。動作音声データベース２４はデータ記憶手段に相当し、バーチャルインストラクターが表すエアロビクス用の各種動作を規定したモーションデータ（動作データに該当）と、それぞれの動作を音声で説明するための音声データとを対応付けた状態で記憶したものであり、これらのモーションデータおよび音声データは、エアロビクスのレッスンを構成する各エクササイズ動作に応じて複数種類のデータがファイル形式で格納されている。動作音声データベース２４に格納される音声データは、「いずれの方向を向いて、どのようなエクササイズ動作を行うか」を表した音声内容になっている。なお、動作音声データベース２４は、格納する各ファイルをエクササイズ動作ごとに管理できるように、エクササイズ動作の種類ごとにＩＤ番号を付しており、このようなファイルが時系列で繋ぎ合わせられることで、バーチャルインストラクターが連続的にエクササイズ動作を行う内容のレッスン動画が作り上げられる。

動作音声データベース２４が含むファイルの種類の例として、ＩＤ番号が「Ａ」のモーションデータは、動作の種類が「マーチ」の動作ファイル（M-data-A）であり、その動作ファイルに対応付けられるＩＤ番号が「Ａ」の音声データは、「マーチ」の運動動作の内容を表した音声（たとえば、「正面を向いた状態で、ゆっくり足踏み」）の音声ファイル（S-data-A）になっている。また、ＩＤ番号が「Ｂ１」のモーションデータは、動作の種類が「ゆっくりサイドステップ」と云う動作ファイル（M-data-B1）であり、それに対応付けられたＩＤ番号が「Ｂ１」の音声データは、たとえば「正面を向いた状態で、右へゆっくり２回サイドステップ、次に左へ２回サイドステップ」と云う音声内容の音声ファイル（S-data-B1）になっている。

さらに、ＩＤ番号が「Ｃ２」のモーションデータは、動作の種類が「右向いて、その場ジョグ」の動作ファイル（M-data-C2）であり、その動作ファイルに対応付けられるＩＤ番号が「Ｃ２」の音声データは、たとえば「右を向いて、その場ジョグ１０回」と云う音声内容の音声ファイル（S-data-C2）になっている。さらにまた、ＩＤ番号が「Ｃ３」のモーションデータは、動作の種類が「左向いて、その場ジョグ」の動作ファイル（M-data-C3）であり、その動作ファイルに対応付けられるＩＤ番号が「Ｃ３」の音声データは、たとえば「左を向いて、その場ジョグ１０回」と云う音声内容の音声ファイル（S-data-C3）になっている。そして、ＩＤ番号が「Ｃ４」のモーションデータは、動作の種類が「後ろを向いて、その場ジャンプ」の動作ファイル（M-data-C3）であり、その動作ファイルに対応付けられるＩＤ番号が「Ｃ４」の音声データは、たとえば「後ろを向いて、その場で大きく５回ジャンプ」と云う音声内容の音声ファイル（S-data-C4）になっている。

上述した動作音声データベース２４に記憶される複数のモーションデータの中で、正面以外を向いた状態でエクササイズ動作を行う動作ファイルには、音声出力識別子として音声フラグが付されており（音声フラグ用のビットが「１」になった状態を意味）、これらの音声フラグが付された動作ファイルのモーションデータは、特定の動作データとして区別される。たとえば、図６に示す中では、ＩＤ番号が「Ｃ２」、「Ｃ３」、「Ｃ４」のモーションデータは特定の動作データに該当し、各動作ファイルには音声フラグが付されている。なお、バーチャルインストラクターが正面以外を向いた状態で行うエクササイズ動作には、上述した右を向いた動作（右を向いて、その場ジョグ）、左を向いた動作（右を向いて、その場ジョグ）、後ろを向いた動作（後ろを向いて、その場ジャンプ）の他にも、上を向いた動作（上を向いて上体をのけぞった姿勢でのストレッチ）および下を向いた動作（下を向いて背中を丸めた姿勢でのストレッチ）などがあり、これらのエクササイズ動作に応じたモーションデータおよび音声データも、図６の動作音声データベース２４にファイルで記憶されている。

一方、動作音声データベース２４に記憶される複数のモーションデータの中で、正面を向いた状態でエクササイズ動作を行う動作ファイルには、音声出力識別子（音声フラグ）が付されておらず、これらの音声フラグが付されていない動作ファイルのモーションデータは、一般の動作データに該当する。一般の動作データに該当するモーションデータは、図６に示す中で、ＩＤ番号が「Ａ」、「Ｂ１」、「Ｂ２」等の動作ファイルのデータになる。

また、図６に示す動作音声データベース２４に格納される複数種類のモーションデータの中には、運動目的に応じたモーションデータも含まれている。すなわち、本発明の発明者は、実際のインストラクターの動作に基づく複数種類のモーションデータの中身を研究し、エアロビクスの一連の動きの中で、各モーションデータが果たす役割および機能がそれぞれ相異することに気付いた。さらに、研究を進めた結果、図３（ｃ）のメニュー２１ｃで挙がっている計６種類の運動目的を達成することに関連が大きいモーションデータがあることも本発明の発明者は突き止めた。

本発明では、このような研究結果に基づき、ある種の運動目的とモーションデータとの関係を、後述する図８の運動目的テーブル２５に整理し、ユーザにマッチしたパーソナルメニューを作成する際にサーバ装置１０のＭＰＵ１１が参照できるように、ハードディスク装置１５に記憶している。なお、図６の動作音声データベース２４の中で、運動目的達成に関連するモーションデータは、ＩＤ番号が「Ｆ１」、「Ｆ２」、「Ｆ３」の動作ファイルであり、これらは順に「ストレス解消（Ｍ５）」、「上半身ダイエット（Ｍ２）」、「全身ダイエット（Ｍ１）」と云う運動目的達成に関連する。

なお、動作音声データベース２４に格納されるモーションデータは、マーカを付した実際のインストラクターが行う動作に対し、モーションキャプチャ技術を用いることにより取得された三次元空間におけるマーカの座標等に応じた内容、すなわちバーチャルインストラクタ（動体）の動作を規定した内容になっている。１つのモーションデータは、８カウント（たとえば８秒間）の時間帯における各マーカの座標の変動内容を規定している。

図７（ａ）は、具体的なモーションデータの中身のイメージを示したものである。バーチャルインストラクターを表す人体画像５が、モーションデータに基づいて三次元コンピュータグラフィクス技術によりＸ軸、Ｙ軸、Ｚ軸で構成されるＸＹＺ座標系に位置するように作成されることになる。なお、このＸＹＺ座標系とは相違するカメラ６の撮像方向（動画表示時の視点方向に相当）および位置を定めるためのＵＶＷ座標系を設け、ＸＹＺ座標系とＵＶＷ座標系との相対関係を規定することで、ユーザが所望する方向及び位置からの動画表示が可能になる。

三次元コンピュータグラフィックス技術により生成される人体画像５は、図７（ｂ）に示すように、人体の骨に相当するボーンＢと云う棒状のリンク部材を連結したものに、人体の皮膚に相当するスキンを被せて作成されている。図７（ｂ）に示すボーンＢの各所に付された点Ｐ１〜Ｐ１７が、実際のインストラクターに付されたマーカ位置に相当し、インストラクターの各種動作を行った所定時間（８秒間）における各点Ｐ１〜Ｐ１７の座標位置の変化が各モーションデータの内容になっている。なお、図７（ｂ）に示す各点Ｐ１〜Ｐ１７の位置及び個数は一例であり、生成する人体画像５の仕様、要求精度およびハード的なスペック等に応じてマーカの位置及び個数は適宜変更できる。

図８は、運動目的テーブル２５の中身を示しており、発明者が突き止めた内容に従って運動目的ごとに関連する動作の種類と、その動作の種類に応じたモーションデータのファイルのＩＤ番号を、運動目的に係る番号ごとに対応付けた内容になっている。具体的な運動目的テーブル２５の中身としては、全身ダイエット（運動目的番号はＭ１）には、ＩＤ番号が「Ｆ３」のファイルのモーションデータの動作となる「サイドステップと手を後ろに早くプッシュする動作の組み合わせ」と、ＩＤ番号が「Ｇ１」のファイルのモーションデータの動作となる「ヒップシェイクと手を徐々に下ろす動作の組み合わせ」を対応付けている。

上半身ダイエット（運動目的番号はＭ２）には、ＩＤ番号が「Ｆ２」のファイルのモーションデータの動作となる「サイドステップと手をひろげてひねる動作の組み合わせ」と、ＩＤ番号が「Ｆ３」のファイルのモーションデータの動作となる「サイドステップと手を後ろに早くプッシュする動作の組み合わせ」を対応付けている。また、腹部ダイエット（運動目的番号はＭ３）には、ＩＤ番号が「Ｅ２」のファイルのモーションデータの動作となる「ひねりニーアップと手の動作の組み合わせ」と、ＩＤ番号が「Ｇ１」のファイルのモーションデータの動作となる「ヒップシェイクおよび手を徐々に下ろす動作の組み合わせ」を対応付けている。さらに、下半身ダイエット（運動目的番号はＭ４）には、ＩＤ番号が「Ｅ１」のファイルのモーションデータの動作となる「バックキック」と、ＩＤ番号が「Ｄ１」のファイルのモーションデータの動作となる「フロントランジ右から右」を対応付けている。

また、ストレス解消（運動目的番号はＭ５）には、ＩＤ番号が「Ｆ１」のファイルのモーションデータの動作となる「サイドステップと手の動作の組み合わせ」と、ＩＤ番号が「Ｇ２」のファイルのモーションデータの動作となる「Ｖステップと早いＶステップの組み合わせ」を対応付けている。さらに、老化防止（運動目的番号はＭ６）には、ＩＤ番号が「Ｆ４」のファイルのモーションデータの動作となる「Ｖステップ」と、ＩＤ番号が「Ｊ１」のファイルのモーションデータの動作となる「ニーアップをキープする動作」を対応付けている

なお、上述したような各種運動目的に関連するモーションデータは、図６の運動目的テーブル２５の中で、関連する内容の運動目的を表す番号（運動目的番号）が対応付けられている。例えば、ＩＤ番号が「Ｆ１」のファイルのモーションデータ（サイドステップ＋手）には、ストレス解消の運動目的番号である「Ｍ５」が対応付けられている。

図９は、ハードディスク装置１５に記憶されるパターンデータベース２６（順序データベースに相当）の中身の一部を示している。パターンデータベース２６は、エアロビクスのレッスン内容の中でユーザの特性にあったメインコンテンツに応じたパーソナルメニューの中身を規定した複数種類のパターン（パターン１、２・・・）を含んだものである。各パターンのそれぞれが順序データに相当し、図３（ｃ）のメニュー２１ｃで挙がっている計６種類の運動目的の達成に対応した中身になっている。パターンデータベース２６では、各運動目的の種類を表す運動目的番号（図３（ｃ）のメニュー２１ｃで入力を受け付ける情報の内容に相当）、および各運動目的に関連するモーションデータのファイルのＩＤ番号が、パターンの種類ごとに対応付けられている。

パターンデータベース２６に含まれる各パターン１、２・・・は、各種モーションデータの時系列の順序を規定すると共に、規定に係るモーションデータの中に達成すべき運動目的に関連するモーションデータを含ませた内容になっている。

また、各パターン１、２・・・は、達成すべき運動目的に関連するモーションデータと同じ部位を動かすモーションデータを、運動目的に関連するモーションデータより時系列の順序で前方となる時間帯に含ませることを規定している。これは、本発明の発明者は、エアロビクスに含まれる一連の動作と運動目的との因果関係などの研究を進めた結果、運動目的の達成のため、運動目的に関連するモーションデータの動作を行うまでに最低限必要となる動作があることを突き止めたことに起因している。具体的には、運動目的に関連するモーションデータで動作対象となる人体の部位を予め動かしておくと、スムーズに運動目的に関連する動作を行えることから、運動目的に関連する動作対象となる部位と同じ部位を緩やかに動かす動作が好適となることを本発明者は解明した。

また、本発明者は、ユーザの体力レベルに応じて、運動目的を達成するための動作を運動負荷に応じて相異させることが好ましいことにも気付いた。そのため、各パターン１、２・・・は、同一の時間帯に運動負荷レベルが異なる複数のモーションデータを含むと共に、各運動負荷レベルが異なるモーションデータごとに、図４の体力レベルテーブル２２が示す各体力レベルとの対応付けを規定している。

図１０は、パターンデータベース２６に含まれる複数のパターン１、２・・・の中で、パターン１が規定する具体的な内容を示したものである。パターン１は、図９のパターンデータベース２６でも示すように、ストレス解消（Ｍ５）を運動目的とするものであり、エアロビクスのレッスン中の一部であるメインコンテンツの総時間を最初の時間１から最後の時間４０までの計４０時間単位に分けて、時間単位ごとに対応付けるモーションデータを規定したものになっている。なお、１つの時間単位は、モーションデータの８カウント（たとえば８秒間）に対応した時間長さ（時間帯）になっており、時間１〜４０までの時系列の順序でモーションデータが並んでいる。

さらに、パターン１は、最初の時間１〜時間４の範囲に対応する第１クールの時間帯に、体力レベルとして「体力有り」に応じたモーションデータと「体力普通」に応じたモーションデータをそれぞれ含み、次の第２クールの時間帯（時間５〜時間８）では、「体力普通」に応じたモーションデータと「体力無し」に応じたモーションデータをそれぞれ含んでいる。以下、パターン１は、第３クールおよび第４クールの時間帯に対して「体力普通」に応じたモーションデータを含み、第５クールの時間帯から第７クールの時間帯では「体力有り」に応じたモーションデータと「体力普通」に応じたモーションデータを含み、さらに、第８クールの時間帯では「体力普通」に応じたモーションデータと「体力無し」に応じたモーションデータを含み、第９クール以降は「体力普通」に応じたモーションデータ含んでいる。

さらにまた、パターン１は、第４クールの時間１３で、特定の動作データであるＩＤ番号が「Ｃ２」のモーションデータ（右向いて、その場ジョグ）を規定し、第４クールの時間１６で、「体力有り」および「体力普通」の両方で、音声フラグが付加された特定の動作データであるＩＤ番号が「Ｃ３」のモーションデータ（左向いて、その場ジョグ）を規定している。なお、パターン１は、時間１３および時間１６以外で規定するモーションデータには、一般の動作データ（音声フラグが付されていない動作データ）を規定している。

パターン１の規定内容を、第１クールで具体的に説明すると、パターン１は「体力有り」の場合に対して、第１クールの時間１から時間４まで、連続的に「サイドステップ（図６のＩＤ番号が「Ｃ１」のモーションデータの内容）」を行うことを規定する。一方、「体力無し」の場合、パターン１は、第１クールの時間１から時間２まで、運動負荷が「サイドステップ」より低いレベルの「ゆっくりサイドステップ（図６のＩＤ番号が「Ｂ１」のモーションデータの内容）」を規定し、それから時間３から時間４で「サイドステップ（図６のＩＤ番号が「Ｃ１」のモーションデータの内容）」を規定する。

また、パターン１は、運動目的であるストレス解消に関連する「サイドステップ＋手」のモーションデータ（ＩＤ番号は「Ｆ１」）を、「体力有り」に対応するところでは第７クールの時間２５、２６に含ませており、「体力普通」に対応するところでは第８クールの時間２９、３０、第９クールの時間３３、３４、および第１０クールの時間３７、３８にそれぞれ含ませている。

さらにまた、パターン１は、ストレス解消に関連する動作である「サイドステップ＋手」の中で「サイドステップ」を行う足を動作対象とするＩＤ番号が「Ｂ１」のモーションデータ（ゆっくりサイドステップ）を「体力普通」の第１クールに含ませると共に、ＩＤ番号が「Ｃ１」のモーションデータ（サイドステップ）を体力レベルに関係なく第１クール、第２クール等の複数のクールに含ませている。また、パターン１は、「サイドステップ＋手」の中で「手の動作」を動作対象とするＩＤ番号が「Ｅ１（図６に示さず）」のモーションデータ（マーチ＋手ゆっくり）を第５クールおよび「体力普通」の第６クールに含ませている。このように、そのため、パターン１は、ストレス解消に関連する動作（サイドステップ＋手）を行う前の時間帯に、「サイドステップ」および「手の動作」を含ませているので、スムーズにストレス解消に関連する動作を行えるようになっている。

また図２に示すハードディスク装置１５に記憶されるリズムデータベース２７は、エアロビクスのレッスン時に出力される楽曲リズムデータ２８ａ、２８ｂ・・・と、テンポ音声データ２９ａ、２９ｂ・・・を含んでいる。楽曲リズムデータ２８ａ、２８ｂ等は、各端末ユニットで生成表示される動画に合わせた所定のリズムスピード（BPM ：Beat Per Minute ）で再生されるものであり、ユーロビート系の楽曲、ヒップホップ系の楽曲など複数種類のデータになっている。また、テンポ音声データ２９ａ、２９ｂ等は、運動動作のテンポを音声で表すデータであり、具体的な音声の種類としては、「いちに、いちに・・・」と云った数字を繰り返す音声や、「はい、はい、はい、はい・・・」と云った掛け声などがある。

図１１に示す第１フローチャートは、ハードディスク装置１５に記憶されるサーバプログラム２０が規定する内容に従ってサーバ装置１０が行う一連の処理（動画表示方法の一部の処理）を示したものである。このフローチャートはサーバ装置１０が既にメニュー表示用のデータを受付端末装置２へ送って、各種メニューが受付端末装置２で表示された状態からの処理を示したものになっており、基本的にユーザが初めて施設を利用する場合の内容を示している。以下、このフローチャートに従ってサーバ装置１０（ＭＰＵ１１）が行う処理を説明する。

先ず、サーバ装置１０は、受付端末装置２で表示するメニューでユーザから必要な情報の入力を受け付けたか否かを判断する（Ｓ１）。必要な情報（氏名、性別、年齢、身長、体重、運動目的、運動習慣、エクササイズで使用する楽曲の種類、音声の種類など）の入力を全て受け付けていない場合（Ｓ１：ＮＯ）、サーバ装置１０は、情報入力の受付待ちの状態となる。また、必要な情報の入力を全て受け付けると（Ｓ１：ＹＥＳ）、サーバ装置１０のＭＰＵ１１はレベル判定手段として、図４の体力レベルテーブル２２を参照して、情報の入力を行ったユーザの体力レベルを判定する（Ｓ２）。なお、判定した結果は、受け付けた情報と共に図５のユーザデータベース２３に、発行された会員番号と対応付けて登録される。

それから、ＭＰＵ１１は、受け付けた情報の中で運動目的に合致するパターンを、図８の運動目的テーブル２５を参照して図９のパターンデータベース２６から特定する（Ｓ３）。なお、運動目的テーブル２５では、運動目的ごとに２種類の動作種類を対応付けているが、エアロビクスのレッスンを受講回数が１０回未満であれば上段の動作種類をＭＰＵ１１は特定し、受講回数が１０回を越えると、その内容に慣れたと判断して、下段の動作種類を特定するようになる。また、パターンの具体的な特定の仕方としては、入力を受け付けた運動目的は「全身ダイエット」であれば、運動目的テーブル２５を参照して、「全身ダイエット」の運動目的番号「Ｍ１」を確認し、その運動目的番号「Ｍ１」に対応付けられたパターンを図９のパターンデータベース２６から特定することになる。

そして、ＭＰＵ１１は、特定したパターンが規定する中で体力レベルに応じたモーションデータを特定する処理を行う（Ｓ４）。例えば、特定したパターンが図１０のパターン１であり、対象となるユーザの体力レベルが「体力有り」と判定した場合、ＭＰＵ１１は、「体力有り」で用いるＩＤ番号がＡ、Ｃ１、Ｃ２、Ｃ３、Ｅ１、Ｆ１の計６種類のファイルのモーションデータを特定することになる。また、ＭＰＵ１１が、対象となるユーザの体力レベルを「体力普通」または「体力無し」と判定した場合、ＩＤ番号がＡ、Ｂ１、Ｃ１、Ｃ２、Ｃ３、Ｅ１、Ｆ１の計７種類のファイルのモーションデータを特定することになる。

さらに、ＭＰＵ１１は、判定した体力レベルに応じた内容のパーソナルメニューを、特定したパターンを参照して作成する（Ｓ５）。すなわち、対象となるユーザの体力レベルを「体力有り」と判定した場合、ＭＰＵ１１は、例えば、図１０のパターン１において、第１クールから第１０クールまでのモーションデータの並び方に対して、「体力有り」に対応付けたところを参照し、その参照した内容をユーザのパーソナルメニューとする。なお、「体力有り」に対応付けたモーションデータが規定されていない時間帯（例えば、第２クール）は、「体力普通」に対応付けられたモーションデータを用いることになる（他の体力レベルでも同様）。

最後に、サーバ装置１０（ＭＰＵ１１）は、特定したモーションデータのファイルと、そのモーションデータに対応付けられた音声データのファイルを動作音声データベース２４から読み出して、作成したパーソナルメニューの内容のデータと共に、ユーザが利用するブースに応じた端末ユニットへ送信する（Ｓ６）。なお、本実施形態では、エアロビクスのレッスン内容は、前から順に、ウォーミングアップ、第１インターバル、メインコンテンツ、第２インターバル、アクティブレスト、第３インターバル、およびクールダウンと云う計７種類の内容を組み合わせて１つのレッスン内容にしており、これらの中のメインコンテンツの中身が上記フローチャートにより作成されたパーソナルメニューに応じたものになる。その他のウォーミングアップ等の中身は固定であり、これらの固定の内容に応じたモーションデータのファイル、そのモーションデータに対応付けられた音声データ、メニュー内容、ユーザに指定されたエクササイズで使用する楽曲の種類に応じた楽曲リズムデータ（リズムデータベース２７に記憶されているもの）、および音声の種類に応じたテンポ音声データ（リズムデータベース２７に記憶されているもの）なども上記のパーソナルメニューの内容（パターンデータベース２６から読み出したパターン等のデータ）と一緒に、サーバ装置１０は端末ユニットへ送信している。

また、図１１の第１フローチャートは、初めて施設をユーザが利用する場合に対応した内容を示しているが、２回目以降の利用の場合、ユーザは受付端末装置２で自身の会員番号さえ入力すれば、既に必要な情報は図５のユーザデータベース２３に登録されているので、登録されている情報に基づき、フローチャート中の所定のステップ以降の処理が行われることになる。さらに、２回目以降の利用時に、ユーザデータベース２３の登録情報が更新された場合（例えば、運動目的が変更になった場合）、新たに入力を受け付けた情報がユーザデータベース２３に上書きされると共に、新たに入力を受け付けた情報に基づき、所定のステップ以降の処理が行われることになる。

図１２は、ブースＢ１に設置される端末ユニット３０の主要な構成を示したブロック図である。端末ユニット３０に含まれる端末装置３１は、汎用のパーソナルコンピュータを用いており、ＣＰＵ３１ａに通信インタフェース３１ｂ、ＲＡＭ３１ｃ、ＲＯＭ３１ｄ、操作インタフェース３１ｅ、表示処理部３１ｆ、音出力処理部３１ｇ、およびハードディスク装置３１ｈを内部バス３１ｉで接続した構成になっている。

通信インタフェース３１ｂは、ネットワークケーブルＬ１でサーバ装置１０と接続されており、サーバ装置１０から送られてくるモーションデータのファイル、音声データのファイル、楽曲リズムデータ、テンポ音声データおよびパーソナルメニューのデータ等を受信する。また、ＲＡＭ３１ｃは、ＣＰＵ３１ａの処理に伴うデータおよびファイル等を一次的に記憶し、ＲＯＭ３１ｄは、ＣＰＵ３１ａが行う基本的な処理を規定したプログラムを予め記憶している。

操作インタフェース３１ｅは、ユーザからの操作を受け付ける入力操作器３３と接続されている。入力操作器３３は、スタートボタン、一時停止ボタン、中止ボタン、および、図７（ａ）に示すカメラ６の位置および方向等を設定する設定キー等を備えており、操作インタフェース３１ｅは、入力操作器３３で入力された操作内容を受け付けて、ＣＰＵ３１ａへ送る処理を行う。

また、表示処理部３１ｆは、大型モニタ装置３２と接続されており、ＣＰＵ３１ａの制御処理に従って、サーバ装置１０から受信したモーションデータをパーソナルメニューのパターンで規定された時系列の順序で用いてバーチャルインストラクターが各種動作を行う動画を生成し、生成した動画を大型モニタ装置３２へ表示出力する処理を行う。さらに、音出力処理部３１ｇは、スピーカ３４と接続されており、ＣＰＵ３１ａの制御処理に従って、サーバ装置１０から受信した楽曲リズムデータを、表示処理部３１ｆでの動画の表示出力の開始と共に再生出力する処理を行う。なお、音出力処理部３１ｇは、動画の表示出力中、継続的に楽曲リズムデータをスピーカ３４から出力させる処理を行う。また、音出力処理部３１ｇは、ＣＰＵ３１ａの制御処理に従って、サーバ装置１０から受信したモーションデータと対応付けられている音声データおよびテンポ音声データの出力処理も行っており、所定の複合処理、増幅処理等を行って、音声データおよびテンポ音声データに応じた音声をスピーカ３４から再生出力する処理を行う。

ハードディスク装置３１ｈは、ＯＳプログラム３５および動画生成プログラム３６等のプログラムを記憶すると共に、通信インタフェース３１ｂで受信したサーバ装置１０からのモーションデータのファイル、音声データのファイルおよびパーソナルメニューのデータ等を記憶することも行う。ＯＳプログラム３５は、オペーレーティングシステムに係る処理内容を規定したプログラムであり、また、動画生成プログラム３６は、サーバ装置１０から送られたモーションデータに基づく動画生成および動画表示等に対するＣＰＵ３１ａの制御処理内容を規定したものである。

動画生成等においてＣＰＵ３１ａは、入力操作器３３のスタートボタンがユーザに操作されることに伴って、パーソナルメニューの中の固定内容（一定のエクササイズ動作）であるウォーミングアップ等についての動画生成、およびリズム楽曲、音声出力等の処理を開始する。また、パーソナルメニューの中のユーザ個々の特性に応じたメインコンテンツの動画生成では、サーバ装置１０から送信されたパーソナルメニュー中のパターンのデータが規定する時系列の順序に応じた各モーションデータを用いて動画を生成し、生成した内容を順次大型モニタ装置３２へ出力すると共に、生成した動画表示処理に合わせて音声出力の制御処理も行うことになる。

具体的には、サーバ装置１０から送信されたパーソナルメニューの内容が、図１０に示すパターン１の「体力有り」の場合に応じたものであれば、ＣＰＵ３１ａは、第１クールの時間１から第２クールの時間６まで、ＩＤ番号が「Ｃ１」のファイルのモーションデータに基づき動画を生成し、大型モニタ装置３２へ生成した動画の場面を表示するように表示処理部３１ｆの制御を行う。また、ＣＰＵ３１ａは、第２クールの時間７、８では、ＩＤ番号が「Ａ」のファイルのモーションデータ、第３クールの時間９、１０では、ＩＤ番号が「Ｃ１」のファイルのモーションデータに基づいて、それぞれ動画を生成し、生成した動画の場面を大型モニタ装置３２へ表示するように表示処理部３１ｆの制御を行う。時間１０以降も、ＣＰＵ３１ａは、パーソナルメニューのパターン１が規定する時系列の順序に応じたモーションデータに基づき動画を生成して表示出力を行うように表示処理部３１ｆの制御を行う。

その結果、図１３に示すようなバーチャルインストラクターの人体画像が各種動作を行う内容の動画のフレーム画像ｆ１〜ｆ６が大型モニタ装置３２に順次表示されるようになり、ユーザは、このバーチャルインストラクターの動作に合わせてエアロビクス（エクササイズ動作）を行えば、自己の体力レベルおよび運動目的に応じた運動負荷でエクササイズを行えることになる。

さらに、ＣＰＵ３１ａは、動画生成プログラム３６の規定内容に従って、音出力処理部３１ｇが音声データおよびテンポ音声データの音声出力処理を行うことも制御している。音声データの出力については、基本的にモーションデータに基づく動画場面の表示出力時に、そのモーションデータに対応付けられた音声データの音声がスピーカ３４から出力されるように、ＣＰＵ３１ａは制御を行うが、生成した動画場面に係るモーションデータに音声フラグが付されていれば（そのモーションデータが特定の動画データあれば）、その特定の動画データに係る前後の時間帯について、音声出力の時期を変更する制御をＣＰＵ３１ａは行う。

図１４は、動画の生成および表示に合わせて音声データの音声出力を行うＣＰＵ３１ａの一連の処理（動画表示方法の処理の一部）を示した第２フローチャートである。この第２フローチャートに従って、音声出力に係る処理を説明すると、先ず、ＣＰＵ３１ａは、上述したように、モーションデータに基づき動画場面を生成する制御処理を行う（Ｓ１０）。なお、Ｓ１０の段階における動画場面の生成は、スムーズに一定長さの動画表示を行えるように、パターン（順序データ）が規定する時系列の順序で複数のモーションデータを用いて行い、生成した複数の動画場面をＲＡＭ３１ｃに一時的に記憶（バッファリング）し、動画表示の際にはＲＡＭ３１ｃから、バッファリングされている動画場面が順次読み出すようにしている。

次に、ＣＰＵ３１ａは、生成された各動画場面に係るモーションデータに音声フラグが有るか否か（ビットが立っているか否か）により、そのモーションデータが特定の動画データであるか否かを時系列の順序で検出する（Ｓ１１）。

音声フラグが無い場合（Ｓ１１：ＮＯ）、ＣＰＵ３１ａは、その音声フラグが無いことを検出したモーションデータに基づく動画場面の表示処理を行うときに、そのモーションデータ（動画データ）に対応付けられた音声データに係る音声を出力させる制御処理を行う（Ｓ１２）。具体的には、動画場面の表示開始に合わせて、音声出力処理を行うことになる。なお、この場合は、表示処理を行えば、次に後述するＳ１８の段階へＣＰＵ３１ａの処理は進行する。

一方、音声フラグが有る場合（Ｓ１１：ＹＥＳ）、ＣＰＵ３１ａは、その音声フラグが有ることを検出したモーションデータ（特定の動作データ）より、パターン（順次データ）が規定する時系列の順序で前側となるモーションデータの動画場面の表示処理を行うときに、その音声フラグが有るモーションデータ（特定の動作データ）に対応付けられた音声データに係る音声を出力させる制御処理を行う（Ｓ１３）。なお、このように一つ前の動画場面を表示する段階で音声出力を行う際は、表示処理に係る動画場面の表示処理時間中の後半の時間帯で音声出力が行われるようになっており、本実施形態では、各モーションデータに係る時間は８秒間であることから、そのモーションデータに基づく動画場面が表示されてから５秒が経過したときに合わせたタイミングで音声出力処理が行われる。

そして、ＣＰＵ３１ａは、Ｓ１３の段階における動画場面の表示処理が終了すると、パターン（順次データ）が規定する時系列の順序で、その音声フラグが有ることを検出したモーションデータ（特定の動作データ）に基づく動画場面の表示処理を行うときに、サーバ装置１０から受信したテンポ音声データと、その音声フラグが有ることを検出したモーションデータ（特定の動作データ）より、パターン（順次データ）が規定する時系列の順序で後側となるモーションデータに対応付けられた音声データに係る音声を順次出力させる制御処理を行う（Ｓ１４）。なお、この場合も、音声フラグが有ることを検出したモーションデータ（特定の動作データ）に基づく動画場面の表示処理の時間中の後半の時間帯に、後側のモーションデータに対応付けられた音声データの出力処理が行われる。

さらに、ＣＰＵ３１ａは、Ｓ１４の段階で表示処理を行ったモーションデータ（特定の動作データ）の時系列順で次（後側）のモーションデータに、音声フラグが有るか否か（特定の動作データであるか否か）を検出する（Ｓ１５）。音声フラグが有る場合（Ｓ１５：ＹＥＳ）、Ｓ１４の段階に係る音声データに対応付けられるモーションデータに基づく動画場面の表示処理を行うとき（表示処理時間中の後半の時間帯）に、音声フラグが有る次のモーションデータに対応付けられた音声データとテンポ音声データの音声出力の制御処理をＣＰＵ３１ａは行う（Ｓ１６）。なお、この後は、Ｓ１５の段階へ戻り、時系列順でＳ１６の表示処理に係るモーションデータの次（後側）のモーションデータに、音声フラグが有るか否か（特定の動作データであるか否か）を検出することになる。

また、音声フラグが無い場合（Ｓ１５：ＮＯ）、Ｓ１４の段階に係る音声データに対応付けられるモーションデータに基づく動画場面の表示処理をＣＰＵ３１ａは行う（Ｓ１７）。そして、ＣＰＵ３１ａは、メニューデータで規定される時系列順で最後のモーションデータの動画場面まで表示処理を行ったか否かを判断し（Ｓ１８）、最後まで表示処理を行った場合（Ｓ１８：ＹＥＳ）、一連の処理を終了し、最後まで表示処理を行っていない場合（Ｓ１８：ＮＯ）、最初の段階（Ｓ１０）へ戻る。

図１５は、上述した第２フローチャートの音声出力処理の具体例を示すタイムチャートであり、図１０のパターン１における第３クールの時間１２から第４クールの時間１５までの動画場面の表示および音声出力のタイミングを示している。このタイムチャートに基づいて時間１２から時間１５までの動画表示処理および音声出力処理を説明すると、先ず、時間Ｔ１でＩＤ番号が「Ａ」のモーションデータに基づく動画画面（動作の種類は「マーチ」）の表示処理が開始される。また、ＩＤ番号が「Ａ」のモーションデータは、正面を向いた状態でのエクササイズであるため、音声フラグが付加されていない一般の動作データに該当するので、時間Ｔ１からの表示に合わせて、ＩＤ番号が「Ａ」の音声データの音声（「正面を向いた状態で、ゆっくり足踏み」）が出力される。なお、ＩＤ番号が「Ａ」の音声データの出力処理は、音声内容の語数の関係から約３秒を要するので、図１５中に示す音声出力に要する時間Ｔ１から時間Ｔ１１までの時間も約３秒間になっている。

また、パターン（順次データ）が規定する時系列の順序で、ＩＤ番号が「Ａ」のモーションデータの次（後側）となるＩＤ番号が「Ｃ２」のモーションデータは、上述したように音声フラグが付加された特定の動作データに該当するため、ＩＤ番号が「Ａ」のモーションデータに基づく動画場面の表示時間（Ｔ１〜Ｔ２の８秒間）の後半の時間帯である時間Ｔ１２から時間Ｔ２でＩＤ番号が「Ｃ２」の音声データの音声（「右を向いて、その場でジョグ１０回」）が出力される。なお、ＩＤ番号が「Ｃ２」の音声データの音声出力処理が開始される時間Ｔ１２は、時間Ｔ１から５秒を経過した時点にしている。

このように、本発明では、バーチャルインストラクターが右を向いて（正面を向かないで）動作を行う動画場面の表示直前の時間（時間Ｔ１２）に、その動作内容を示す音声が出力されるので、ユーザは大型モニタ装置３２を見ることができない姿勢になる前に、次のエクササイズ動作を把握できることになり、スムーズに大型モニタ装置３２を見ることができない姿勢のエクササイズ動作を行える。

また、時間Ｔ２になると、ＩＤ番号が「Ｃ２」のモーションデータに基づく動画場面が表示されると共に、テンポ音声データに基づくテンポ音声（たとえば、「いちに、いちに・・・」と云うテンポをきざむ音声）が出力される。これにより、ユーザは大型モニタ装置３２を見ることができない動作中（右を向いて、その場ジョグ）であっても、テンポ音声に合わせてエクササイズ動作を行うことができ、ユーザに提示される動画内容がテンポ音声で補助されるようになる。さらに、時間Ｔ２１になると、音声内容が切り替わり、パターン（順次データ）が規定する時系列の順序で後側となるＩＤ番号が「Ａ」の音声データの音声（「正面を向いた状態で、ゆっくり足踏み」）が出力される。そのため、ユーザが、右を向いて、その場でジョグ１０回を行っている最中に（大型モニタ装置３２を見ることができない状態）であっても、次のエクササイズ動作を把握できるようになる。

そして、時間Ｔ３になると、ＩＤ番号が「Ａ」のモーションデータに基づく動画画面（動作の種類は「マーチ」）の表示処理が開始され、時間Ｔ４までの８秒間、その動画画面が表示される。なお、時間Ｔ４から時間Ｔ５までのモーションデータは、依然として、ＩＤ番号が「Ａ」のモーションデータ（一般の動作データ）であるため、ユーザは続けて大型モニタ装置３２を見ることができるため、時間Ｔ４になった段階で、ＩＤ番号が「Ａ」のモーションデータに対応付けられた音声データの音声（ＩＤ番号が「Ａ」の「正面を向いた状態で、ゆっくり足踏み」と云う音声）が時間Ｔ４１まで出力される。

なお、上述した動画表示処理および音声出力処理は、図１のブースＢ１のブースＢ１に設置される端末ユニット３０で行う場合で説明したが、他のブースＢ２、Ｂ３の端末ユニット４０、５０もブースＢ１の端末ユニット３０と同等の構成であるため、上記と同様な動画表示処理および音声出力処理を行うことが可能になっている。また、動画表示処理および音声出力処理は図１０のパターン１に基づいて説明したが、他のパターンでも同等な処理が行われ、特定の動作データに相当するＩＤ番号が「Ｃ３」「Ｃ４」の音声データに関して、上述したような音声出力処理が行われる。

なお、本実施形態では各モーションデータの時間単位を８秒間としているので、音声データの出力を、各時間単位の開始から５秒を経過した後半の時間帯にしているが、これは一例であって、上記の数値に限定される必要はなく、各モーションデータの時間単位の変化に応じて、音声出力の開始時期を変更することができる。但し、次のエクササイズ動作を把握しやすいタイミングを考慮すれば、各モーションデータの時間単位の後半の時間帯に音声出力を行うことが好適である。

また、本発明は、上述した説明内容に限定されるものではなく種々の変形例の適用が考えられる。例えば、エクササイズの種類はエアロビクスに限定されるものではなく、ストレッチ、ヨガ、ストリートダンスなどにも適用することが可能である。

また、図１に示すように、サーバ装置１０は、有線のネットワークケーブルで受付端末装置２と接続されているが、各種メニューを表示する装置とは無線のネットワークまたはインターネットのような広域のネットワークを用いてサーバ装置１０と接続するようにしてもよい。このようにすれば、自宅のパーソナルコンピュータまたは携帯電話機を用いて必要な情報の入力、施設利用の予約等をサーバ装置１０に対して行えるようになり、ユーザの利便性を高められる。

一方、システム仕様の簡易化を図る場合は、メニュー表示を行う受付端末装置２、サーバ装置１０および端末ユニット３０が行う処理を、単一の装置（コンピュータ）で行うようにしてもよい。この場合、単一の装置に接続されたモニタに図３（ａ）〜（ｃ）に示すような各種メニューが表示されてユーザから情報の入力を受け付けると共に、動作音声データベース２４（図６参照）およびパターンデータベース２６（図９参照）等を単一の装置が備えることになる。さらに、単一の装置に記憶されたコンピュータプログラムが、単一の装置に、上述したメニュー作成処理、動画生成処理、動画表示処理および音声出力処理等を行わせることになる。

本発明の実施形態に係る動画表示システムの全体的な構成を示す概略図である。 サーバ装置の構成を示すブロック図である。 （ａ）は年齢入力用のメニューを示す概略図、（ｂ）は運動習慣入力用のメニューを示す概略図、（ｃ）は運動目的入力用のメニューを示す概略図である。 体力レベルテーブルを示す図表である。 ユーザデータベースを示す図表である。 動作音声データベースを示す図表である。 （ａ）は、モーションデータに応じたイメージを示す概略図、（ｂ）はマーカに対応した点およびボーンの関係を示す概略図である。 運動目的テーブルを示す図表である。 パターンデータベースを示す図表である。 時系列の順序のモーションデータの並び方を規定したパターン１の中身を示す図表である。 サーバ装置の処理内容を示した第１フローチャートである。 端末ユニットの構成を示すブロック図である。 生成した動画を構成する一連のフレーム画像を示す概略図である。 生成した動画場面の表示処理および音声出力処理を示す動画表示方法に係る第２フローチャートである。 時間１２から時間１５における具体的な動画場面の表示時間帯および音声の出力時期を示すタイムチャートである。 従来の問題点を示す概略図である。

符号の説明

１ 動画表示システム
２ 受付端末装置
１０ サーバ装置
１１ ＭＰＵ
１５ ハードディスク装置
２０ サーバプログラム
２１ メニューデータベース
２１ａ、２１ｂ、２１ｃ メニュー
２２ 体力レベルテーブル
２３ ユーザデータベース
２４ 動作音声データベース
２５ 運動目的テーブル
２６ パターンデータベース
２７ リズムデータベース
３０、４０、５０ 端末ユニット
３１、４１、５１ 端末装置
３２、４２、５２ 大型モニタ装置
３４、４４、５４ スピーカ

Claims (9)

1. 動体の運動動作を規定した複数の動作データを記憶するデータ記憶手段と、前記動作データの時系列の順序を規定した順序データを格納する順序データ記憶手段と、前記順序データが規定する順序の前記動作データに基づいて動体が運動動作を行う動画を生成する動画生成手段と、前記動画生成手段が生成した動画の表示処理を行う表示処理手段とを備える動画表示システムにおいて、
   前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれており、
   前記データ記憶手段には、前記特定の動作データが規定する運動動作の内容を音声で表す音声データが、前記特定の動作データに対応付けて記憶してあり、
   運動動作に応じた一連のテンポを連続的に音声で表すテンポ音声データを記憶するテンポ音声データ記憶手段と、
   前記動画生成手段が動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくかを音声出力識別子により検出する検出手段と、
   前記検出手段が、生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記表示処理手段が前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記テンポ音声データの音声出力処理を行う音声出力処理手段と、
   を備えることを特徴とする動画表示システム。
2. 前記特定の動作データは、動体が左方向、右方向、後方向、上方向、または下方向のいずれかを向く運動動作を規定したデータである請求項１に記載の動画表示システム。
3. 前記複数の動作データの中には、音声出力識別子が付されていない一般の動作データが含まれており、
   前記データ記憶手段には、前記一般の動作データが規定する運動動作の内容を音声で表す音声データが、前記一般の動作データに対応付けて記憶してあり、
   前記検出手段が、生成する動画の場面が前記一般の動作データに基づくことを検出した場合、前記表示処理手段が前記一般の動作データに基づく動画の場面の表示処理を行うときに、前記音声出力処理手段は、前記一般の動作データに対応付けられた音声データの音声出力処理を行う請求項１又は請求項２に記載の動画表示システム。
4. 前記検出手段が、生成する動画の場面が前記特定の動作データに基づくと共に、前記生成する動画の場面に続く場面が前記一般の動作データに基づくことを検出した場合、前記音声出力手段は、前記表示処理手段が前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記生成する動画の場面に続く場面に応じた一般の動作データに対応付けられた音声データの音声出力処理を行う請求項３に記載の動画表示システム。
5. 前記音声出力処理手段は、前記特定の動作データに基づく動画の場面の表示処理を行う時間中の後半の時間帯に、前記生成する動画の場面に続く場面に応じた一般の動作データに対応付けられた音声データの音声出力処理を行う請求項４に記載の動画表示システム。
6. 前記順序データ記憶手段には、運動目的の種類に対応付けて複数種類の順序データが格納してあり、
   運動目的の種類の入力を受け付ける入力受付手段を備え、
   前記動画生成手段は、前記入力受付手段が受け付けた運動目的の種類に対応付けられた順序データが規定する順序の各動作データに基づいて動画を生成する請求項１乃至請求項５のいずれか１項に記載の動画表示システム。
7. 動体の運動動作を規定した複数の動作データを記憶するデータ記憶手段と、前記動作データの時系列の順序を規定した順序データを格納する順序データ記憶手段と、運動動作に応じた一連のテンポを連続的に音声で表すテンポ音声データを記憶するテンポ音声記憶手段とを有する動画表示システムが、前記順序データが規定する順序の前記動作データに基づいて動体が運動動作を行う動画を生成し、生成した動画の表示処理を行う動画表示方法において、
   前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれると共に、前記データ記憶手段には、前記特定の動作データが規定する運動動作の内容を音声で表す音声データが前記特定の動作データに対応付けて記憶されており、
   前記動画表示システムは、
   動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくかを音声出力識別子で検出するステップと、
   生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記テンポ音声データの音声出力処理を行うステップと、
   を含むことを特徴とする動画表示方法。
8. 動体の運動動作を規定した複数の動作データを記憶する記憶手段と、前記動作データの時系列の順序を規定した順序データを格納した順序データ記憶手段と、運動動作に応じた一連のテンポを連続的に音声で表すテンポ音声データを記憶するテンポ音声データ記憶手段とを備え、前記順序データが規定する順序の前記動作データに基づいて動体が運動動作を行う動画を生成して、生成した動画の表示処理を行う情報処理装置であって、
   前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれると共に、前記記憶手段には前記特定の動作データが規定する運動動作の内容を音声で表す音声データが前記特定の動作データに対応付けて記憶してあり、
   前記情報処理装置のコンピュータに、
   動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくかを音声出力識別子で検出するステップと、
   生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記テンポ音声データの音声出力処理を行うステップと、
   を実行させることを特徴とするコンピュータプログラム。
9. 動体の運動動作を規定した複数の動作データ、前記動作データの時系列の順序を規定した順序データ、運動動作の内容を音声で表す音声データ、および運動動作に応じた一連のテンポを連続的に音声で表すテンポ音声データを記憶する記憶手段と、前記順序データが規定する順序の前記動作データに基づいて動体が運動動作を行う動画を生成する動画生成手段と、前記動画生成手段が生成した動画の表示処理を行う表示処理手段とを備える情報処理装置において、
   前記複数の動作データの中には、音声出力識別子を付した特定の動作データが含まれており、
   前記特定の動作データには、前記特定の動作データが規定する運動動作の内容を音声で表す音声データが対応付けてあり、
   前記動画生成手段が動画を生成する場合、生成する動画の場面が前記特定の動作データに基づくかを音声出力識別子により検出する検出手段と、
   前記検出手段が、生成する動画の場面が前記特定の動作データに基づくことを検出した場合、前記表示処理手段が前記特定の動作データに基づく動画の場面の表示処理を行うときに、前記テンポ音声データの音声出力処理を行う音声出力処理手段と、
   を備えることを特徴とする情報処理装置。

Images