JP5942914B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、ユーザが楽曲を歌唱しながら行う運動を支援するための運動コンテンツを生成する技術分野に関する。

例えば、特許文献１には、演奏される楽曲に対応して運動の身振りと楽曲の歌詞とを表示することにより、ユーザに歌唱しながら運動を行わせ、ユーザの歌唱及び運動をそれぞれ採点する技術が開示されている。身振りと歌詞とを表示することは、運動コンテンツを出力することの一例である。

特開２００９−１９３０８２号公報

歌唱しながら運動するとき、ユーザは、歌唱及び運動のうち何れかの方を主として行いたい場合がある。しかしながら、特許文献１に記載の技術では、歌唱したいのか、運動したいのかという要望があったとしても、同じ内容の運動コンテンツが出力される。そのため、ユーザは、要望に応じた運動及び歌唱を行うことができなかった。

本発明は、以上の点に鑑みてなされたものであり、ユーザが歌唱しながら運動するとき、主に、歌唱したいのか、運動したいのかというユーザの要望に応じた運動コンテンツを出力することを可能とする情報処理装置及びプログラムを提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、複数の演奏パートで構成される楽曲を示す楽曲情報と、前記楽曲の歌唱動作に関する第１動作情報と、運動動作を示す第２動作情報とを記憶する記憶手段と、歌唱又は運動の指示を示す指示情報を受信する受信手段と、前記記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第１割り当て手段であり、前記受信手段により受信された前記指示情報が前記歌唱を示す場合、前記歌唱動作が割り当てられる前記演奏パートの数を、前記運動動作が割り当てられる前記演奏パートの数よりも多くする第１割り当て手段と、前記記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第２割り当て手段であり、前記受信手段により受信された前記指示情報が前記運動を示す場合、前記運動動作が割り当てられる前記演奏パートの数を、前記歌唱動作が割り当てられる前記演奏パートの数よりも多くする第２割り当て手段と、前記記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御手段と、前記記憶手段に記憶された前記楽曲情報のうち前記出力手段により出力されている前記演奏パートに割り当てられた動作を示す前記第１動作情報又は前記第２動作情報に基づいて、前記歌唱動作又は前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、前記第１割り当て手段は、前記複数の演奏パートのうち少なくともサビ部分に、前記歌唱動作を割り当て、前記複数の演奏パートのうち前記サビ部分と異なる少なくとも１つの前記演奏パートに、前記運動動作を割り当てることを特徴とする。

請求項３に記載の発明は、前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、前記第１割り当て手段は、前記受信手段により受信された前記レベル情報が示すレベルが高いほど、前記運動動作が割り当てられる前記演奏パートの数を多くすることを特徴とする。

請求項４に記載の発明は、前記記憶手段は、前記運動動作を音声により指導する指導情報を更に記憶し、前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、前記受信手段により受信された前記指示情報が前記歌唱を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが所定の第１レベル以下である場合、前記第１割り当て手段により前記運動動作が割り当てられた前記演奏パートが前記出力手段により出力されているとき、前記記憶手段に記憶された前記指導情報を前記出力手段により出力させる第３制御手段と、前記受信手段により受信された前記指示情報が前記歌唱を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが前記第１レベルより高い場合、前記記憶手段に記憶された前記指導情報を前記出力手段により出力させない第４制御手段と、を更に備えることを特徴とする。

請求項５に記載の発明は、前記記憶手段は、前記楽曲の歌詞を示す歌詞情報を更に記憶し、前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、前記受信手段により受信された前記指示情報が前記運動を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが所定の第２レベル以下である場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記表示手段に表示させない第５制御手段と、前記受信手段により受信された前記指示情報が前記運動を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが前記第２レベルより高い場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記表示手段に表示させる第６制御手段と、を更に備えることを特徴とする。

請求項６に記載の発明は、前記記憶手段は、前記運動動作により身体にかかる負荷が異なる複数の前記第２動作情報を記憶し、前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、前記第２制御手段は、前記受信手段により受信された前記指示情報が前記運動を示す場合、前記運動動作が割り当てられた前記演奏パートが前記出力手段により出力されているとき、前記受信手段により受信された前記レベル情報が示すレベルが高いほど、身体にかかる負荷が大きい前記第２動作情報に基づいて、前記映像情報を前記表示手段に表示させることを特徴とする。

請求項７に記載の発明は、歌唱又は運動の指示を示す指示情報を受信する受信ステップと、複数の演奏パートで構成される楽曲を示す楽曲情報と、前記楽曲の歌唱動作に関する第１動作情報と、運動動作を示す第２動作情報とを記憶する記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第１割り当てステップであり、前記受信ステップにより受信された前記指示情報が前記歌唱を示す場合、前記歌唱動作が割り当てられる前記演奏パートの数を、前記運動動作が割り当てられる前記演奏パートの数よりも多くする第１割り当てステップと、前記記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第２割り当てステップであり、前記受信ステップにより受信された前記指示情報が前記運動を示す場合、前記運動動作が割り当てられる前記演奏パートの数を、前記歌唱動作が割り当てられる前記演奏パートの数よりも多くする第２割り当てステップと、前記記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御ステップと、前記記憶手段に記憶された前記楽曲情報のうち前記出力手段により出力されている前記演奏パートに割り当てられた動作を示す前記第１動作情報又は前記第２動作情報に基づいて、前記歌唱動作又は前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御ステップと、をコンピュータに実行させることを特徴とする。

請求項１又は７に記載の発明によれば、歌唱が指示された場合は、演奏パートに歌唱動作が優先的に割り当てられ、運動が指示された場合は、演奏パートに運動動作が優先的に割り当てられる。そのため、主に、歌唱したいのか、運動したいのかというユーザの要望に応じた運動コンテンツを出力することができる。

また、請求項１又は７に記載の発明によれば、歌唱が指示された場合は、歌唱動作が割り当てられる演奏パートが、運動動作が割り当てられる演奏パートよりも多くなる。運動が指示された場合は、運動動作が割り当てられる演奏パートが、歌唱動作が割り当てられる演奏パートよりも多くなる。そのため、主に、歌唱したいのか、運動したいのかというユーザの要望に応じた運動コンテンツを出力することができる。

請求項２に記載の発明によれば、歌唱が指示された場合は、少なくともサビ部分に歌唱動作が割り当てられる。そのため、ユーザが歌唱したい蓋然性が高い演奏パートをユーザが歌唱することができる。

請求項３に記載の発明によれば、歌唱が指示された場合、ユーザの運動レベルが上がるに従って、運動動作が割り当てられる演奏パートの数が多くなる。そのため、ユーザが運動に慣れてくるに従って、ユーザが歌唱しながら身体を鍛える機会を増やすことができる。

請求項４に記載の発明によれば、歌唱が指示された場合、ユーザの運動レベルが低いときには、運動動作を指導する情報が出力される。そのため、運動動作の習得を支援することができる。一方、ユーザの運動レベルが高いときには、運動動作を指導する情報が出力さない。そのため、運動動作に慣れたユーザが、運動しているときに、歌唱することに集中することができる。

請求項５に記載の発明によれば、運動が指示された場合、ユーザの運動レベルが低いときには、歌詞情報が表示されない。そのため、ユーザは、運動動作の習得に集中することができる。一方、ユーザの運動レベルが高いときには、歌詞情報が表示される。そのため、運動動作に慣れたユーザが、運動しながら歌唱を習得することができる。

請求項６に記載の発明によれば、運動が指示された場合、ユーザの運動レベルが上がるに従って、身体にかかる負荷が大きい運動動作が行われる映像情報が表示される。そのため、ユーザは、ユーザの運動レベルに応じて身体を鍛えることができる。

一実施形態の運動コンテンツ生成システム１の概要構成例を示す図である。 （Ａ）は、運動レッスンの設定例を示す図であり、（Ｂ）は、レッスン設定表の一例を示す図であり、（Ｃ）は、動作割当表の一例を示す図である。 （Ａ）は、練習タイプが歌唱メインであり、且つ、運動レベルが初級である場合の運動レッスンの構成例を示す図であり、（Ｂ）は、練習タイプが歌唱メインであり、且つ、運動レベルが上級である場合の運動レッスンの構成例を示す図であり、（Ｃ）は、練習タイプが運動メインであり、且つ、運動レベルが初級である場合の運動レッスンの構成例を示す図であり、（Ｄ）は、練習タイプが運動メインであり、且つ、運動レベルが上級である場合の運動レッスンの構成例を示す図である。 （Ａ）は、出力端末５のＣＰＵ５１のレッスン処理の処理例を示すフローチャートであり、（Ｂ）は、出力端末５のＣＰＵ５１のレッスン生成の処理例を示すフローチャートである。 （Ａ）は、出力端末５のＣＰＵ５１のレッスン実行処理の処理例を示すフローチャートであり、（Ｂ）は、出力端末５のＣＰＵ５１のレッスン評価処理の処理例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、運動を支援するための運動コンテンツを生成する運動コンテンツ生成システムに本発明を適用した場合の実施形態である。運動コンテンツは、運動を支援するための映像及び音声を含む。

［１．運動コンテンツ生成システム１の構成］
始めに、図１を参照して、本実施形態の運動コンテンツ生成システム１の構成について説明する。図１は、本実施形態の運動コンテンツ生成システム１の概要構成例を示す図である。図１に示すように、運動コンテンツ生成システム１は、配信サーバ２と１つ以上の出力端末５とを含んで構成されている。配信サーバ２と出力端末５とは、ネットワーク１０を介して接続可能になっている。ネットワーク１０は、例えば、インターネットを含む。配信サーバ２には、データベース３が接続されている。データベース３には、運動に関する情報や楽曲に関する情報が登録されている。配信サーバ２は、データベース３に登録されている情報等を、定期的に又は出力端末５からの要求に応じて出力端末５に配信する。

出力端末５は、例えば、施設４に設置される端末装置である。出力端末５は、本発明の情報処理装置の一例である。出力端末５は、施設４の利用者４１により利用される。施設４は、例えば、スポーツ施設であってもよい。利用者４１は、スポーツ施設において、運動レッスンを受ける。運動レッスンは、複数の動作と歌唱により構成されるレッスンである。この場合の出力端末５は、例えばパーソナルコンピュータであってもよい。施設４は、例えば、カラオケ店舗であってもよい。カラオケ店舗において、利用者４１は、カラオケの楽曲を歌唱する。この場合の出力端末５は、例えば、カラオケ装置である。以下では、施設４がスポーツ施設である場合を例にして説明する。

出力端末５は、モニタ５７と接続可能である。モニタ５７は、複数のスピーカ６４とディスプレイ６７とを備える表示装置であってもよい。この場合、出力端末５は、ディスプレイ６７と接続可能である。また、出力端末５は、スピーカ６４と接続可能である。ディスプレイ６７は、本発明の表示手段の一例である。また、スピーカ６４は、本発明の出力手段の一例である。出力端末５がモニタ５７へ音声信号を出力することにより、スピーカ６４により楽曲等が出力される。出力端末５がモニタ５７へ映像信号を出力することにより、ディスプレイ６７に運動映像等が表示される。運動映像は、動作を行うフィギュア８３を映し出した動画である。フィギュア８３は、例えば、人、動物、仮想上の生き物、ロボット等のかたちをした仮想物である。フィギュア８３は、三次元仮想空間に配置される。施設４がカラオケ店舗である場合、ディスプレイ６７には、例えば、カラオケの楽曲に対応した踊りの動作を行うフィギュア８３が表示される。運動映像は、本発明における映像の一例である。出力端末５は、スピーカ６４から出力される楽曲と、ディスプレイ６７に表示されるフィギュア８３の動きとが同期するように、信号を出力する。楽曲と運動映像とを出力することは、運動コンテンツを出力することの一例である。利用者４１は、スピーカ６４により出力される楽曲を聴きながら、楽曲を歌唱することができる。また、利用者４１は、楽曲を聴きながら、ディスプレイ６７に表示されるフィギュア８３を見て、運動を行うことができる。これにより、利用者４１は、歌唱しながら運動を行うことができる。操作者４２は、リモコン６６等を用いて出力端末５を操作することができる。利用者４１と操作者４２とは同一人物であってもよい。施設４がスポーツ施設である場合、操作者４２は、例えば、インストラクターであってもよい。

運動レッスンを行うとき、利用者４１は、例えば、複数の加速度センサＡＳを装着することができる。加速度センサＡＳは、利用者４１が運動しているときの利用者４１の所定の身体部位の加速度を検出する。例えば、利用者４１は、手首、肘、肩、足の付け根、膝、足首等に加速度センサＡＳを装着してもよい。出力端末５は、加速度センサＡＳにより検出された加速度に基づいて、利用者４１の運動の評価値と、運動による利用者４１の消費カロリーとを計算する。例えば、出力端末５は、利用者４１の運動動作が、ディスプレイ６７に表示されるフィギュア８３の運動動作に近いほど、評価値を高くしてもよい。例えば、利用者４１が加速度センサＡＳを装着するのではなく、運動しているときの利用者４１を撮影するためのビデオカメラが施設４に設置されてもよい。この場合、出力端末５は、ビデオカメラにより撮影された利用者４１の映像に基づいて、評価値及び消費カロリーを計算してもよい。また、運動レッスンを行うとき、利用者４１は、マイク６８に対して歌唱することができる。出力端末５は、マイク６８に入力された歌唱音声に基づいて、利用者４１の歌唱の評価値と、歌唱による利用者４１の消費カロリーとを計算する。例えば、出力端末５は、利用者４１の歌唱音声の音高が、スピーカ６４により出力されている楽曲に対応する基準となる歌唱音声の音高に近いほど、評価値を高くしてもよい。運動レッスンが終了すると、出力端末５は、運動の評価値、運動による消費カロリー、歌唱の評価値及び歌唱による消費カロリーを、ディスプレイ６７に表示させる。

［２．運動コンテンツ］
運動レッスンが行われるときにモニタ５７が出力する運動コンテンツは、少なくとも楽曲と運動映像とを含む。楽曲は、複数の演奏パートで構成される。スピーカ６４から、楽曲の構成に従ったパートの順で楽曲が出力される。例えば、Ａメロ、Ｂメロ、サビ、間奏、Ａメロ、Ｂメロ、サビ等の順で、楽曲が出力されてもよい。なお、１つの運動レッスンで複数の楽曲が順次スピーカ６４から出力されてもよい。

運動レッスンを構成する動作として、歌唱動作と運動動作とがある。楽曲を構成する各演奏パートに、歌唱動作又は運動動作が割り当てられる。出力端末５は、運動コンテンツを出力するとき、スピーカ６４により出力されている演奏パートに割り当てられた動作をフィギュア８３が行う運動映像をディスプレイ６７に表示させる。

歌唱動作は、利用者４１が歌唱する動作である。例えば、利用者４１は、口や喉等を動かして歌唱する。歌唱動作に関する運動映像として、例えば、あたかも歌唱しているように、フィギュア８３が口を動かす映像が表示されてもよい。また、例えば、フィギュア８３が歌唱するための姿勢をとっている映像が表示されてもよい。また、例えば、フィギュア８３が楽曲に合わせてリズムをとる動作を行っている映像が表示されてもよい。これらの動作は、歌唱動作そのものではなくてもよい。歌唱動作の場合、利用者４１は、ディスプレイ６７に表示されるフィギュア８３に合わせて動作する必要はない。利用者４１は、少なくとも歌唱すればよい。

運動動作は、例えば、身体を鍛えるための動作である。運動動作として、例えば、体操の動作と踊りの動作とがある。体操は、例えば、健康の増進、体力の増強、筋力の強化等のために行われる運動である。体操の種類として、例えば、有酸素運動、無酸素運動、ストレッチ等がある。有酸素運動の運動動作として、例えば、マーチ、フロントランジ等がある。無酸素運動の運動動作として、例えば、ショルダープレス、チェストプレス等がある。ストレッチの運動動作として、例えば、上腕部ストレッチ、首ストレッチ等がある。踊りの動作は、楽曲に合わせて踊るために楽曲に対して振り付けられた動作である。運動動作の場合、利用者４１は、ディスプレイ６７に表示されるフィギュア８３に合わせて動作する。このとき、利用者４１は、楽曲に合わせて歌唱してもよいし、歌唱しなくてもよい。例えば、利用者４１は、運動動作に慣れてきた場合には、運動動作を行いながら歌唱してもよい。

運動レッスンにおいて利用者４１が歌唱しながら運動するとき、利用者４１が歌唱を主として行いたい場合と、利用者４１が運動を主として行いたい場合とがある。そこで、出力端末５は、例えば、利用者４１から練習タイプの指示を受信する。練習タイプとして、歌唱メインと運動メインとがある。歌唱を主として行いたい場合、利用者４１は歌唱メインを指示する。運動を主として行いたい場合、利用者４１は運動メインを指示する。出力端末５は、練習タイプに応じて運動レッスンの構成を変える。そして、出力端末５は、運動レッスンの構成に基づいて、練習タイプに応じた運動コンテンツをモニタ５７により出力させる。

具体的に、出力端末５は、練習タイプが歌唱メインである場合、歌唱動作を運動動作よりも優先的に演奏パートに割り当てる。例えば、出力端末５は、歌唱動作が割り当てられる演奏パートの数を、運動動作が割り当てられる演奏パートの数よりも多くしてもよい。このとき、出力端末５は、例えば、少なくともサビ部分に必ず歌唱動作を割り当ててもよい。これにより、利用者４１は、歌唱したい蓋然性が高い演奏パートであるサビ部分を歌唱することができる。そして、出力端末５は、例えば、サビ部分と異なる演奏パートのうち少なくとも１つの演奏パートに、運動動作を割り当ててもよい。一方、出力端末５は、練習タイプが運動メインである場合、運動動作を歌唱動作よりも優先的に演奏パートに割り当てる。例えば、出力端末５は、運動動作が割り当てられる演奏パートの数を、歌唱動作が割り当てられる演奏パートの数よりも多くしてもよい。

また、出力端末５は、利用者４１の運動レベルを受信してもよい。そして、出力端末５は、練習タイプと運動レベルとに基づいて、運動レッスンの構成を変えてもよい。運動レベルは、例えば、利用者４１の運動の熟練の度合いを示す。運動レベルが高いほど、利用者４１は運動に熟練している。例えば、練習タイプが歌唱メインである場合、出力端末５は、運動レベルが高いほど、運動動作が割り当てられる演奏パートの数を多くしてもよい。これにより、利用者４１は、運動に慣れてくるに従って、利用者４１が歌唱しながら身体を鍛える機会を増やすことができる。一方、練習タイプが運動メインである場合、例えば、出力端末５は、運動レベルが高いほど、運動動作により利用者４１の身体にかかる負荷を大きくしてもよい。これにより、利用者４１は、利用者４１の運動レベルに応じて身体を鍛えることができる。例えば、ある演奏パートにステップ運動が割り当てられているとする。出力端末５は、例えば、運動レベルが高いほど、ステップ運動を行うフィギュア８３の動作が大きくなるように、運動映像をディスプレイ６７に表示させてもよい。動作が大きいほど、身体にかかる負荷が大きくなる。なお、出力端末５は、例えば、利用者４１の過去の運動の評価値に基づいて、運動レベルを決定してもよい。この場合、出力端末５は、評価値が高いほど運動レベルを高くしてもよい。また、出力端末５は、例えば、利用者４１が運動レッスンを行った回数に基づいて、運動レベルを決定してもよい。この場合、出力端末５は、回数が多いほど運動レベルを高くしてもよい。

図２（Ａ）を用いて具体例を説明する。図２（Ａ）は、運動レッスンの設定例を示す図である。運動レッスンの設定は、例えば、各演奏パートに割り当てられる動作の種類、運動負荷、歌詞の表示の有無、ナレーション文章の表示の有無、ナレーション音声の出力の有無を決定することである。従って、運動レッスンの設定は、運動コンテンツの内容を決定することでもある。図２（Ａ）の例では、運動レベルとして、初級と上級とがある。上級は初級よりも運動レベルが高い。なお、運動レベルの数は３個以上であってもよい。また、運動負荷として負荷１と負荷２とがある。負荷２の方が、負荷１よりも身体にかかる負荷が大きい。なお、運動負荷の数は３個以上であってもよい。演奏パートの種類として、例えば、Ａメロ部分、Ｂメロ部分、サビ部分及び間奏部分があるとする。

練習タイプが歌唱メインであり、且つ、運動レベルが初級である場合、例えば、Ａメロ部分、サビ部分及び間奏部分に歌唱動作が割り当てられ、Ｂメロ部分に運動動作が割り当てられてもよい。練習タイプが歌唱メインであり、且つ、運動レベルが上級である場合、例えば、Ａメロ部分及びサビ部分に歌唱動作が割り当てられ、Ｂメロ部分及び間奏部分に運動動作が割り当てられてもよい。上級の場合、歌唱動作が割り当てられる演奏パートの種類の数と、運動動作が割り当てられる演奏パートの種類の数とが同一になっている。しかしながら、一般的に、１つの楽曲の中で間奏部分が演奏される回数は、他の種類の演奏パートが演奏される回数よりも少ない。そのため、実際には、歌唱動作が割り当てられる演奏パートの数は、運動動作が割り当てられる演奏パートの数よりも多くなる。なお、歌唱動作をどの演奏パートに割り当て、運動動作をどの演奏パートに割り当てるかは任意に決定されてもよい。練習タイプが歌唱メインである場合、例えば、運動レベルに関係なく、運動動作の運動負荷は負荷１であってもよい。なお、歌唱動作は、身体に負荷をかけるための動作ではない。しかしながら、便宜上、歌唱動作の運動負荷は負荷１に設定される。

練習タイプが運動メインである場合、例えば、運動レベルに関係なく、全ての演奏パートに運動動作が割り当てられてもよい。なお、少なくとも１つの演奏パートに歌唱動作が割り当てられてもよい。練習タイプが運動メインであり、且つ、運動レベルが初級である場合、運動負荷は負荷１である。練習タイプが運動メインであり、且つ、運動レベルが上級である場合、運動負荷は負荷２である。

また、出力端末５は、運動コンテンツに、利用者４１の運動動作を指導するナレーションや、楽曲の歌詞等を含めることができる。ナレーションにより、例えば、運動動作が説明されたり、身体の動かし方が指示されたりする。ナレーションとして、ナレーション文章とナレーション音声とがある。ナレーション文章は、ナレーションを示す文章である。ナレーション音声は、ナレーションを示す音声である。歌詞として、歌詞のテロップとガイドボーカルとがある。歌詞のテロップは、歌詞を示す文字である。ガイドボーカルは、例えば、楽曲の歌詞を、模範となる音高で歌手等が歌唱する音声である。出力端末５は、例えば、練習タイプに応じて、ナレーションや歌詞の有無を決定してもよい。また、出力端末５は、例えば、練習タイプと運動レベルとに応じて、ナレーションや歌詞の有無を決定してもよい。なお、本実施形態においては、練習タイプ及び運動レベルに関係なく、ガイドボーカルを出力させるか否かを利用者４１が指定することができるようになっている。

先ず、練習タイプが歌唱メインである場合の一例を説明する。この場合、出力端末５は、例えば、運動レベルに関係なく、ナレーション文章を表示させなくてもよい。出力端末５は、運動レベルが、予め設定された第１レベル以下である場合、ナレーション音声を出力させてもよい。出力端末５は、運動レベルが第１レベルより高い場合、ナレーション音声を出力させなくてもよい。歌唱メインの場合、利用者４１は運動よりも歌唱を主に行うため、運動メインに比べてナレーションの必要性は低い。しかしながら、運動レベルが低い場合には、利用者４１は、運動動作を習得してもよい。そこで、ナレーション音声が出力されるので、利用者４１は運動動作を習得することができる。運動レベルが高い場合には、ナレーション音声が出力されないので、運動動作に慣れた利用者が、運動しているときに、歌唱することに集中することができる。ナレーション音声が出力される一方で、ナレーション文章が表示されない理由として、例えば、歌詞が表示されることがある。ディスプレイ６７に歌詞及びナレーション文章の両方が表示されると、利用者４１は、どれが歌詞でどれがナレーションであるかがわかりにくい。また、例えば、音声の方が文章よりも、利用者４１に伝えるナレーションの情報の量を多くすることができる。図２（Ａ）の例では、練習タイプが歌唱メインである場合、初級及び上級の何れに対しても、ナレーション文章が「なし」に設定される。また、練習タイプが歌唱メインである場合、初級に対してナレーション音声が「あり」に設定され、上級に対してナレーション音声が「なし」に設定される。

出力端末５は、練習タイプが歌唱メインである場合、運動レベルに関係なく、歌詞のテロップをディスプレイ６７に表示させてもよい。これにより、利用者４１は、歌詞を見ながら歌唱することができる。例えば、図２（Ａ）に示すように、練習タイプが歌唱メインである場合、初級及び上級の何れに対しても、歌詞のテロップが「あり」に設定される。

次に、練習タイプが運動メインである場合の一例を説明する。例えば、出力端末５は、運動レベルが、予め設定された第２レベル以下である場合、ナレーション文章を表示させ、且つ、ナレーション音声を出力させてもよい。出力端末５は、運動レベルが第２レベルより高い場合、ナレーション文章を表示させず、且つ、ナレーション音声を出力させなくてもよい。これにより、運動レベルが低い場合、利用者４１は、ナレーションを見たり聴いたりしながら、運動動作を習得することができる。運動レベルが高い利用者４１は、ナレーションを必要としない蓋然性が高い。また、運動レベルが高い利用者４１は、歌唱する余裕がある。そこで、ナレーションが出力されないことにより、利用者４１が運動しながら歌唱しやすくなる。例えば、図２（Ａ）に示すように、練習タイプが運動メインである場合、初級に対してナレーション文章及びナレーション音声が「あり」に設定され、上級に対してナレーション文章及びナレーション音声が「なし」に設定される。

出力端末５は、練習タイプが運動メインであり、且つ、運動レベルが第２レベル以下である場合、歌詞のテロップを表示させなくてもよい。出力端末５は、練習タイプが運動メインであり、且つ、運動レベルが第２レベルより高い場合、歌詞のテロップを表示させてもよい。これにより、運動レベルが低いときには歌詞が表示されないので、利用者４１は運動動作の習得に集中することができる。運動レベルが高いときには、利用者４１は歌詞を見ながら歌唱することにより、運動動作に慣れたユーザが運動しながら歌唱を習得することができる。例えば、図２（Ａ）に示すように、練習タイプが運動メインである場合、初級に対して歌詞のテロップが「なし」に設定され、上級に対して歌詞のテロップが「あり」に設定される。

次に、図３を用いて、運動レッスンの構成例を説明する。例えば、図２（Ａ）に示す設定例に従って、運動レッスンの構成が決定されるものとする。ある楽曲Ｘは、例えば、Ａメロ１、Ｂメロ１、サビ１、間奏１、Ａメロ２、Ｂメロ２、サビ２の順で、演奏パートが出力されるとする。本実施形態においては、楽曲と演奏パートの種類との組み合わせに対応して、歌唱動作及び運動動作が予め定められている。図３の例では、楽曲ＸのＡメロ１及びＡメロ２には、歌唱動作１又は運動動作１が割り当てられる。楽曲ＸのＢメロ１及びＢメロ２には、歌唱動作２又は運動動作２が割り当てられる。楽曲Ｘのサビ１には、歌唱動作３又は運動動作３が割り当てられる。楽曲Ｘの間奏１には、歌唱動作４又は運動動作４が割り当てられる。楽曲Ｘのサビ２には、歌唱動作５又は運動動作５が割り当てられる。楽曲の中で演奏順が最後のサビ部分の動作は、他のサビ部分の動作と部分的に異なっていてもよい。また、運動動作と運動負荷との組み合わせごとに、組み合わせに対応するナレーション文章及びナレーション音声がある。また、演奏パートごとに、演奏パートに対応する歌詞がある。

図３（Ａ）は、練習タイプが歌唱メインであり、且つ、運動レベルが初級である場合の運動レッスンの構成例を示す図である。図３（Ａ）に示すように、Ａメロ１、サビ１、間奏１、Ａメロ２及びサビ２に対して、歌唱動作が割り当てられる。Ｂメロ１及びＢメロ２に対して、運動動作が割り当てられる。このときの運動負荷は負荷１である。全ての演奏パートに対して、歌詞が表示される。何れの演奏パートに対しても、ナレーション文章は表示されない。Ｂメロ１及びＢメロ２に対しては、ナレーション音声が出力される。

図３（Ｂ）は、練習タイプが歌唱メインであり、且つ、運動レベルが上級である場合の運動レッスンの構成例を示す図である。図３（Ｂ）に示すように、Ａメロ１、サビ１、Ａメロ２及びサビ２に対して、歌唱動作が割り当てられる。Ｂメロ１、間奏１及びＢメロ２に対して、運動動作が割り当てられる。運動負荷は負荷１である。全ての演奏パートに対して、歌詞が表示される。何れの演奏パートに対しても、ナレーション文章は表示されず、且つ、ナレーション音声は出力されない。

図３（Ｃ）は、練習タイプが運動メインであり、且つ、運動レベルが初級である場合の運動レッスンの構成例を示す図である。図３（Ｃ）に示すように、全ての演奏パートに対して運動動作が割り当てられる。運動負荷は負荷１である。何れの演奏パートに対しても、歌詞は表示されない。全ての演奏パートに対して、ナレーション文章が表示され、且つ、ナレーション音声が出力される。

図３（Ｄ）は、練習タイプが運動メインであり、且つ、運動レベルが上級である場合の運動レッスンの構成例を示す図である。図３（Ｄ）に示すように、全ての演奏パートに対して運動動作が割り当てられる。運動負荷は負荷２である。全ての演奏パートに対して、歌詞が表示される。何れの演奏パートに対しても、ナレーション文章は表示されず、且つ、ナレーション音声は出力されない。

［３．各装置の構成］
次に、図１及び図２を参照して、運動コンテンツ生成システムに含まれる各装置の構成について説明する。

［３−１．配信サーバ２の構成］
図１に示すように、配信サーバ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、Ｉ／Ｏインタフェイス２５、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０及びＨＤＤ（ハードディスクドライブ）３７を備える。ＣＰＵ２１は、バス２４を介して、ＲＯＭ２２、ＲＡＭ２３及びＩ／Ｏインタフェイス２５に接続されている。ＣＰＵ２１は、ＲＯＭ２２やＨＤＤ３７に記憶されプログラムを実行することにより、配信サーバ２の各部を制御する。Ｉ／Ｏインタフェイス２５には、データベース３、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０、キーボード３１、マウス３２及びＨＤＤ３７が接続されている。ＣＰＵ２１は、Ｉ／Ｏインタフェイス２５を介してデータベース３にアクセスする。表示制御部２６は、ＣＰＵ２１の制御に基づいて映像信号をモニタ５７に出力する。ディスクドライブ２８は、記録媒体２９に対するデータの書き込み及び読み出しを行う。ネットワーク通信部３０は、配信サーバ２がネットワーク１０に接続するための制御を行う。ＨＤＤ３７には、ＯＳや各種制御プログラム等が記憶されている。

データベース３には、楽曲データ、モーションデータ、ナレーション文章データ、ナレーション音声データ、歌詞データ、ガイドボーカルデータ、教師音高データ、教師座標データ、レッスン設定表、動作割当表等のデータが登録されている。

楽曲データは、スピーカ６４により楽曲を出力するための演奏データである。楽曲データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであってもよい。楽曲データは、楽曲ＩＤ、楽曲名、アーティスト名、オリジナルのテンポ、楽曲の演奏パートの構成、歌詞等の情報を含む。楽曲ＩＤは、楽曲の識別情報である。また、楽曲データは、演奏パートの切り替わりのタイミング等を規定する。例えば、楽曲データがＭＩＤＩ形式のデータである場合、楽曲データには、実際の演奏データとしてのＭＩＤＩイベントに加えて、メタイベントを含めることができる。メタイベントとしては、例えば、演奏パートを示すマーカーイベント等がある。そのため、演奏パートを識別するパートＩＤや演奏パートの種類を示すパート種別をイベントとして楽曲データに記述することが可能である。例えば、出力端末５には、後述のミュージックシーケンサがインストールされている。出力端末５は、ミュージックシーケンサを実行することにより、楽曲データを再生するとともに、楽曲データからメタイベント等を読み出すと、読み出したイベントを出力する。例えば、マーカーイベントが出力されるタイミングが、そのマーカーイベントが示す演奏パートが開始されるタイミングとなる。本実施形態においては、マーカーイベントを、演奏パート開始イベントという。演奏パート開始イベントは、演奏パートの演奏開始を通知するイベントである。演奏パート開始イベントは、パートＩＤ及びパート種別を含む。楽曲データは、本発明における楽曲情報の一例である。

モーションデータは、三次元仮想空間におけるフィギュア８３の動作を定義するデータである。モーションデータは、ディスプレイ６７にフィギュア８３の動作を表示させるためのデータである。モーションデータは、動作の進行に応じたフィギュア８３の身体の各部の座標を含む。モーションデータは、各動作について運動負荷ごとに登録される。モーションデータは、例えば、モーションＩＤと対応付けて登録される。モーションＩＤは、動作と運動負荷との組み合わせを識別する識別情報である。モーションＩＤは、例えば、動作種別、運動負荷、楽曲ＩＤ及びパート種別から構成されてもよい。動作種別は、動作の種類を示す。動作種別として、歌唱動作又は運動動作が設定される。動作種別が歌唱動作であるモーションデータは、歌唱動作に関する動作を示すデータである。例えば、フィギュア８３が歌唱するための姿勢をとっている動作であってもよい。つまり、歌唱動作に関する動作は、歌唱動作そのものではなくてもよい。歌唱動作のモーションデータは、本発明における第１動作情報の一例である。動作種別が運動動作であるモーションデータは、フィギュア８３が運動動作するときの身体の動きを示すデータである。運動動作のモーションデータは、本発明における第２動作情報の一例である。運動負荷は、動作により身体に与える負荷の大きさを示す。運動負荷として、例えば、負荷１、負荷２等が設定される。楽曲ＩＤ及びパート種別は、動作が割り当てられる楽曲及び演奏パートの種類を示す。

ナレーション文章データは、ナレーション文章を表示するためのデータである。ナレーション文章データは、例えば、ナレーション文章のテキスト、テキストの表示タイミング等を含む。表示タイミングは、例えば、ナレーションに対応する運動動作が割り当てられた演奏パートの演奏が開始されてからの経過時間で示されてもよい。ナレーション文章データは、例えば、ナレーション文章ＩＤとモーションＩＤとに対応付けて登録される。ナレーション文章ＩＤは、ナレーション文章の識別情報である。モーションＩＤは、ナレーション文章が表示される運動動作を示す。

ナレーション音声データは、ナレーション音声を出力するためのデータである。ナレーション音声データのデータ形式は、例えば、ＷＡＶ（RIFF waveform Audio Format）、ＡＡＣ（Advanced Audio Coding）、ＭＰ３（MPEG Audio Layer-3）等であってもよい。例えば、ナレーション音声の再生時間が、ナレーション音声に対応する運動動作が割り当てられる演奏パートの再生時間と一致するように、ナレーション音声データが予め作成されてもよい。ナレーション音声データは、例えば、ナレーション音声ＩＤとモーションＩＤとに対応付けて登録される。ナレーション音声ＩＤは、ナレーション音声の識別情報である。モーションＩＤは、ナレーション音声が出力される運動動作を示す。ナレーション音声データは、本発明における指導情報の一例である。

歌詞データは、歌詞のテロップを表示するためのデータである。歌詞データは、例えば、歌詞のテキスト、テキストの表示タイミング等を含む。表示タイミングは、例えば、演奏パートの演奏が開始されてからの経過時間で示されてもよい。歌詞データは、例えば、歌詞ＩＤ、楽曲ＩＤ及びパートＩＤに対応付けて登録される。歌詞ＩＤは、歌詞の識別情報である。楽曲ＩＤ及びパートＩＤは、歌詞が対応する楽曲及び演奏パートを示す。歌詞データは、本発明における歌詞情報の一例である。

ガイドボーカルデータは、ガイドボーカルを出力するためのデータである。ガイドボーカルデータのデータ形式は、例えば、ＷＡＶ、ＡＡＣ、ＭＰ３等であってもよい。例えば、ガイドボーカルの再生時間が、ガイドボーカルに対応する演奏パートの再生時間と一致するように、ガイドボーカルデータが予め作成されてもよい。ガイドボーカルデータは、例えば、ガイドボーカルＩＤ、楽曲ＩＤ及びパートＩＤに対応付けて登録される。ガイドボーカルＩＤは、ガイドボーカルの識別情報である。楽曲ＩＤ及びパートＩＤは、ガイドボーカルが対応する楽曲及び演奏パートを示す。

教師音高データは、楽曲を歌唱するときの歌唱音声の音高の基準を示すデータである。教師音高データは、利用者４１の歌唱の評価値を計算するために用いられる。教師音高データは楽曲ごとに登録される。例えば、教師音高データには、楽曲の演奏開始からの経過時間と、その経過時間における歌唱音声の正しい音高値とが、予め定められた時間間隔ごとに対応付けて登録される。この時間間隔を、設定時間間隔という。教師音高データは、例えば、楽曲ＩＤに対応付けて登録される。楽曲ＩＤは、教師音高データが用いられる楽曲を示す。

教師座標データは、利用者４１が運動するときの身体の動きの基準を示す。教師座標データは、運動動作を行うときの利用者４１の各身体部位の三次元空間における座標の基準を示すデータである。教師座標データは、利用者４１の運動の評価値を計算するために用いられる。教師座標データは、各運動動作について運動負荷ごとに登録される。例えば、教師座標データには、運動動作の開始からの経過時間と、その経過時間における各身体部位の正しい座標とが、予め定められた時間間隔ごと対応付けて登録される。この間隔は、例えば、教師音高データの設定時間間隔と同じであってもよい。例えば、配信サーバ２が、モーションデータに基づいて、教師座標データを生成してもよい。教師座標データは、例えば、モーションＩＤに対応付けて登録される。モーションＩＤは、教師座標データが用いられる運動動作を示す。

レッスン設定表は、運動レッスンを設定するための設定値が登録されるテーブルである。図２（Ｂ）は、レッスン設定表の一例を示す図である。図２（Ｂ）は、図２（Ａ）に示す運動レッスンの設定に対応するレッスン設定表を示す。レッスン設定表には、各練習タイプについて、運動レベルごとに設定値が登録される。具体的に、設定ＩＤに対応付けて、練習タイプ、運動レベル、割当ＩＤ、運動負荷、歌詞有無、ナレーション文章有無、ナレーション音声有無等が登録される。設定ＩＤは、設定内容を識別する識別情報である。練習タイプとして、歌唱メイン又は運動メインが設定される。割当ＩＤは、演奏パートに対する動作の割り当てのパターンを識別する識別情報である。例えば、練習パートが歌唱メインであり、且つ、運動レベルが初級である場合、割当ＩＤとしてａ１が設定される。また、練習パートが歌唱メインであり、且つ、運動レベルが上級である場合、割当ＩＤとしてａ２が設定される。また、練習パートが運動メインであり場合には、運動レベルが初級及び上級の何れであっても、割当ＩＤとしてａ３が設定される。歌詞有無は、歌詞の表示があるかないかを示す。ナレーション文章有無は、ナレーション文章の表示があるかないかを示す。ナレーション音声有無は、ナレーション音声の出力があるかないかを示す。

動作割当表は、各演奏パートの種類に対して割り当てられる動作を示す。図２（Ｃ）は、動作割当表の一例を示す図である。図２（Ｃ）は、図２（Ａ）に示す運動レッスンの設定に対応する動作割当表を示す。動作割当表には、各割当ＩＤについて、パート種別ごとに、動作種別が設定される。例えば、割当ＩＤがａ１である場合、Ａメロ部分、サビ部分及び間奏部分に歌唱動作が割り当てられ、Ｂメロ部分に運動動作が割り当てられる。割当ＩＤがａ２である場合、Ａメロ部分及びサビ部分に歌唱動作が割り当てられ、Ｂメロ部分及び間奏部分に運動動作が割り当てられる。割当ＩＤがａ３である場合、全ての演奏パートに運動動作が割り当てられる。

［３−２．出力端末５の構成］
図１に示すように、出力端末５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、バス５４、Ｉ／Ｏインタフェイス５５、表示制御部５６、ディスクドライブ５８、ネットワーク通信部６０、音声出力部６３、信号受信部６５、センサ情報受信部６９及びＨＤＤ７を備える。ＣＰＵ５１は、バス５４を介して、ＲＯＭ５２、ＲＡＭ５３及びＩ／Ｏインタフェイス５５に接続されている。ＣＰＵ５１は、時計機能及びタイマー機能を有する。ＣＰＵ５１は、ＲＯＭ５２やＨＤＤ７に記憶されプログラムを実行することにより、出力端末５の各部を制御する。Ｉ／Ｏインタフェイス５５には、ＨＤＤ７、表示制御部５６、音声出力部６３、ディスクドライブ５８、ネットワーク通信部６０、キーボード６１、マウス６２、マイク６８、信号受信部６５及びセンサ情報受信部６９が接続されている。表示制御部５６は、ＣＰＵ５１の制御に基づいて映像信号をモニタ５７に出力する。音声出力部６３は、ＣＰＵ５１の制御に基づいて音声信号をモニタ５７に出力する。ディスクドライブ５８は、記録媒体５９に対するデータの書き込み及び読み出しを行う。信号受信部６５は、リモコン６６から出力される信号を受信する。リモコン６６は、操作者４２が出力端末５を操作するためのものである。センサ情報受信部６９は、各加速度センサＡＳから送信される加速度情報を受信する。加速度情報は、加速度センサＡＳが検出した加速度を含む。

ＨＤＤ７は、本発明の記憶手段の一例である。ＨＤＤ７には、配信サーバ２から配信された楽曲データ、モーションデータ、ナレーション文章データ、ナレーション音声データ、歌詞データ、ガイドボーカルデータ、教師音高データ、教師座標データ、レッスン設定表、動作割当表等のデータが登録される。

また、ＨＤＤ７には、レッスン情報が記憶される。レッスン情報は、運動レッスンの構成及び運動コンテンツの内容を定めた情報である。つまり、レッスン情報は、例えば、図３（Ａ）〜（Ｄ）に示すような運動レッスンの構成を表す。例えば、操作者４２の操作に基づいて、出力端末５がレッスン情報を生成してもよい。レッスン情報は、例えば、楽曲ＩＤを含む。楽曲ＩＤは、運動レッスンが行われるときに出力される楽曲を示す。また、レッスン情報は、複数のパート情報を含む。パート情報は、楽曲ＩＤが示す楽曲を構成する演奏パートに関連する情報である。パート情報は、演奏パートごとに登録される。パート情報は、例えば、パートＩＤ、パート種別、モーションＩＤ、歌詞有無、歌詞ＩＤ、ナレーション文章有無、ナレーション文章ＩＤ、ナレーション音声有無、ナレーション音声ＩＤ等を含む。パートＩＤは、演奏パートの識別情報である。パート種別は、パートＩＤが示す演奏パートの種類を示す。モーションＩＤは、演奏パートに割り当てられた動作を示す。歌詞ＩＤは、表示される歌詞の識別情報である。歌詞ＩＤは、歌詞有無が「あり」に設定されている場合に登録される。ナレーション文章ＩＤは、表示されるナレーション文章の識別情報である。ナレーション文章ＩＤは、ナレーション文章有無が「あり」に設定されている場合に登録される。ナレーション音声ＩＤは、出力されるナレーション音声の識別情報である。ナレーション音声ＩＤは、ナレーション音声有無が「あり」に設定されている場合に登録される。

ＨＤＤ７には、更に、ＯＳ、運動支援プログラム、３Ｄエンジン、ミュージックシーケンサ等の各種プログラム等が記憶されている。運動支援プログラムは、利用者４１の運動を支援するためのプログラムである。運動支援プログラムは、コンピュータとしてのＣＰＵ５１に、受信ステップ、第１割り当てステップ、第２割り当てステップ、第１制御ステップ及び第２制御ステップを少なくとも実行させる。３Ｄエンジンは、モーションデータに基づいて、三次元仮想空間で運動動作するフィギュア８３を二次元平面に投影した画像を生成するためのプログラムである。画像を生成する処理は、射影変換、クリッピング、隠面消去、シェーディング、テクスチャマッピング等を含む。ＣＰＵ５１は、３Ｄエンジンを実行して、静止画像を順次生成する。生成された静止画像をＣＰＵ５１が表示制御部５６へ順次出力することで、ディスプレイ６７には、運動映像が表示される。

ミュージックシーケンサは、楽曲データを再生するためのプログラムである。ＣＰＵ５１は、ミュージックシーケンサを実行することにより、楽曲データに対応する音声信号を生成する。また、ＣＰＵ５１は、ミュージックシーケンサを実行することにより、各種のイベントを発生させる。イベントとして、例えば、テンポに応じて所定時間間隔で発生するイベントがある。このイベントは、ＭＩＤＩクロックや同期イベントと呼ばれる。また、イベントとして、例えば、演奏パート開始イベントがある。

各種プログラムは、例えば、配信サーバ２等のサーバからネットワーク１０を介してダウンロードされるようにしてもよい。また、各種プログラムは、記録媒体５９に記録されてディスクドライブ５８を介して読み込まれるようにしてもよい。なお、３Ｄエンジンやミュージックシーケンサは、プログラムではなく、専用のハードウェアであってもよい。そして、出力端末５は、ハードウェアとしての３Ｄエンジンやミュージックシーケンサを備えてもよい。

ＣＰＵ５１は、設定されたテンポに従って、楽曲データに対応する音声信号を音声出力部６３へ出力させるとともに、生成した画像に対応する映像信号を表示制御部５６から出力させる。ＣＰＵ５１は、同期イベントに基づいて、楽曲の音声信号の出力タイミングと運動映像の映像信号の出力タイミングとを同期させる。これにより、スピーカ６４から出力される楽曲に同期して歌唱動作又は運動動作を行うフィギュア８３がディスプレイ６７に表示される。また、ＣＰＵ５１は、演奏パート開始イベントに基づいて、楽曲の演奏パートの切り替わり及び演奏が開始される演奏パートを検出する。

［４．運動コンテンツ生成システム１の動作］
次に、図４及び図５を参照して、運動コンテンツ生成システム１の動作を説明する。図４（Ａ）は、出力端末５のＣＰＵ５１のレッスン処理の処理例を示すフローチャートである。例えば、操作者４２が、リモコン６６等により、運動レッスンを開始させるための操作を行う。すると、ＣＰＵ５１は、レッスン処理を開始する。

図４（Ａ）に示すように、ＣＰＵ５１は、レッスン生成処理を実行する（ステップＳ１）。レッスン生成処理において、ＣＰＵ５１は、操作者４２の指示に基づいて、レッスン情報を生成する。レッスン生成処理の詳細は後述する。次いで、ＣＰＵ５１は、レッスン実行処理を実行する（ステップＳ２）。レッスン実行処理において、ＣＰＵ５１は、生成されたレッスン情報に基づいて、運動コンテンツを再生する。利用者４１は、再生される運動コンテンツに合わせて、運動レッスンを行う。レッスン実行処理の詳細は後述する。次いで、ＣＰＵ５１は、レッスン評価処理を実行する（ステップＳ３）。レッスン評価処理において、ＣＰＵ５１は、運動レッスンにおける利用者４１の歌唱及び運動を評価する。レッスン評価処理の詳細は後述する。ＣＰＵ５１は、ステップＳ３の処理を終えると、レッスン処理を終了させる。

図４（Ｂ）は、出力端末５のＣＰＵ５１のレッスン生成処理の処理例を示すフローチャートである。図４（Ｂ）に示すように、ＣＰＵ５１は、運動レッスンに用いる楽曲の楽曲ＩＤを取得する（ステップＳ１１）。具体的に、ＣＰＵ５１は、ディスプレイ６７に楽曲の一覧を表示させる。操作者４２は、例えば、リモコン６６を操作して、一覧の中から楽曲を選択する。ＣＰＵ５１は、リモコン６６からセンサ情報受信部６９を介して受信された信号に基づいて、操作者４２が選択した楽曲の楽曲ＩＤを特定する。

次いで、ＣＰＵ５１は、練習タイプを取得する（ステップＳ１２）。具体的に、ＣＰＵ５１は、歌唱メインと運動メインとの中から練習タイプを選択するための画面を表示する。操作者４２は、例えば、リモコン６６を操作して選択を行う。すると、リモコン６６は、操作に応じた信号を送信する。このときの信号は、練習タイプの指示を示す。この信号は、本発明における指示情報の一例である。ＣＰＵ５１は、リモコン６６から受信される信号に基づいて、練習タイプを特定する。

次いで、ＣＰＵ５１は、運動レベルを取得する（ステップＳ１３）。具体的に、ＣＰＵ５１は、運動レベルを選択するための画面を表示する。操作者４２は、例えば、リモコン６６を操作して選択を行う。すると、リモコン６６は、操作に応じた信号を送信する。この信号は、利用者４１の運動レベルを示す。このときの信号は、本発明におけるレベル情報の一例である。ＣＰＵ５１は、リモコン６６から受信される信号に基づいて、運動レベルを特定する。

次いで、ＣＰＵ５１は、運動レッスンの設定値を取得する（ステップＳ１４）。具体的に、ＣＰＵ５１は、レッスン設定表から、ステップＳ１２及びＳ１３で取得した練習タイプ及び運動レベルに対応する割当ＩＤ、運動負荷、歌詞有無、ナレーション文章有無、ナレーション音声有無を取得する。次いで、ＣＰＵ５１は、動作割当表から、割当ＩＤに対応する複数の動作種別を取得する。

次いで、ＣＰＵ５１は、レッスン情報を生成する（ステップＳ１５）。具体的に、ＣＰＵ５１は、ステップＳ１１で取得した楽曲ＩＤを含むレッスン情報をＨＤＤ７に記憶させる。次いで、ＣＰＵ５１は、取得した楽曲ＩＤに対応する楽曲データから演奏パート開始イベントを順次読み出す。次いで、ＣＰＵ５１は、取得した演奏パート開始イベントからパートＩＤ及びパート種別を取得する。次いで、ＣＰＵ５１は、取得したパートＩＤ及びパート種別を含むパート情報を生成する。次いで、ＣＰＵ５１は、ステップＳ１４で取得した複数の動作種別の中から、パート種別に対応する動作種別を選択する。次いで、ＣＰＵ５１は、動作種別、運動負荷、楽曲ＩＤ及びパート種別から、モーションＩＤを生成する。次いで、ＣＰＵ５１は、生成したモーションＩＤをパート情報に追加する。これにより、ＣＰＵ５１は、練習タイプが歌詞メインである場合、歌唱動作を運動動作よりも優先的に演奏パートに割り当てる。また、ＣＰＵ５１は、練習タイプが運動メインである場合、運動動作を歌唱動作よりも優先的に演奏パートに割り当てる。

次いで、ＣＰＵ５１は、取得した歌詞有無をパート情報に追加する。歌詞有無が「あり」に設定されている場合、ＣＰＵ５１は、楽曲ＩＤ及びパートＩＤに対応する歌詞ＩＤをＨＤＤ７から取得して、パート情報に追加する。次いで、ＣＰＵ５１は、動作種別が歌唱動作に設定されているか否かを判定する。このとき、ＣＰＵ５１は、動作種別が歌唱動作に設定されている場合、「なし」に設定されたナレーション文章有無及び「なし」に設定されたナレーション音声有無を、パート情報に追加する。一方、ＣＰＵ５１は、動作種別が運動動作に設定されている場合、レッスン設定表から取得したナレーション文章有無及び設定されたナレーション音声有無をそのままパート情報に追加する。ナレーション文章有無が「あり」に設定されている場合、ＣＰＵ５１は、モーションＩＤに対応するナレーション文章ＩＤをＨＤＤ７から取得して、パート情報に追加する。ナレーション音声有無が「あり」に設定されている場合、ＣＰＵ５１は、モーションＩＤに対応するナレーション音声ＩＤをＨＤＤ７から取得して、パート情報に追加する。ＣＰＵ５１は、必要な情報が追加されたパート情報をレッスン情報に追加する。ＣＰＵ５１は、楽曲データから読み出した演奏パート開始イベントごとに、パート情報を追加する。ＣＰＵ５１は、楽曲ＩＤが示す楽曲を構成する全ての演奏パートについてパート情報を追加すると、レッスン生成処理を終了させる。

図５（Ａ）は、出力端末５のＣＰＵ５１のレッスン実行処理の処理例を示すフローチャートである。図５（Ａ）に示すように、ＣＰＵ５１は、初期設定を行う（ステップＳ２１）。具体的に、ＣＰＵ５１は、センサＡＳを装着して規定の姿勢で静止するよう利用者４１に指示するメッセージをディスプレイ６７に表示させる。規定の姿勢は、例えば、気を付けの姿勢であってもよい。例えば、ＨＤＤ７には、規定の姿勢をとった場合の利用者４１の各身体部位の三次元空間における座標が予め記憶されている。メッセージの表示から所定秒経過した後、ＣＰＵ５１は、ＨＤＤ７に記憶されている座標を、利用者４１の身体部位の座標の初期値としてＲＡＭ５３に記憶させる。次いで、ＣＰＵ５１は、時計機能から現在時刻を取得する。そして、ＣＰＵ５１は、現在時刻を、楽曲の再生開始時刻としてＲＡＭ５３に記憶させる。また、ＣＰＵ５１は、現在時刻を、演奏順が１番目の演奏パートの再生開始時刻としてＲＡＭ５３に記憶させる。また、ＣＰＵ５１は、生成されたレッスン情報から、演奏順が１番目である演奏パートのパート情報を取得する。また、ＣＰＵ５１は、レッスン情報に含まれる楽曲ＩＤに対応する楽曲データから、楽曲のテンポを取得する。

ＣＰＵ５１は、ステップＳ２１の処理を終えると、運動コンテンツを再生する。先ず、ＣＰＵ５１は、３Ｄエンジンにより、運動映像表示処理を実行する（ステップＳ２２）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるモーションＩＤに対応するモーションデータに基づいて、運動映像の静止画像を生成する。このとき、ＣＰＵ５１は、楽曲のテンポと、演奏パートの再生開始時刻から現時点までの経過時間とに基づいて、生成する静止画像を決定する。ＣＰＵ５１は、生成した静止画像を表示制御部５６に出力する。表示制御部５６は、静止画像に応じた映像信号をディスプレイ６７に出力する。これにより、ディスプレイ６７には、フィギュア８３が動作する運動映像が表示される。

次いで、ＣＰＵ５１は、歌詞表示処理を実行する（ステップＳ２３）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれる歌詞有無が「あり」に設定されているか否かを判定する。このとき、歌詞有無が「なし」に設定されている場合、ＣＰＵ５１は、歌詞を表示させないで、歌詞表示処理を終了させる。一方、歌詞有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれる歌詞ＩＤに対応する歌詞データに基づいて、歌詞のテロップを表示させる。このとき、ＣＰＵ５１は、演奏パートの再生開始時刻から現時点までの経過時間に基づいて、歌詞データに含まれるテキストの中から、表示させるテキストを決定する。そして、ＣＰＵ５１は、決定したテキストを表示制御部５６に出力する。この場合、表示制御部５６は、テキストが示す文字と運動映像の静止画像とを合成する。そして、ＣＰＵ５１は、合成した画像に応じた映像信号をディスプレイ６７に出力する。これにより、ディスプレイ６７には、動作するフィギュア８３と歌詞とが表示される。

次いで、ＣＰＵ５１は、ナレーション文章表示処理を実行する（ステップＳ２４）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるナレーション文章有無が「あり」に設定されているか否かを判定する。このとき、ナレーション文章有無が「なし」に設定されている場合、ＣＰＵ５１は、ナレーション文章を表示させないで、ナレーション文章表示処理を終了させる。一方、ナレーション文章有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれるナレーション文章ＩＤに対応するナレーション文章データに基づいて、ナレーション文章を表示させる。このとき、ＣＰＵ５１は、演奏パートの再生開始時刻から現時点までの経過時間に基づいて、ナレーション文章データに含まれるテキストの中から、表示させるテキストを決定する。そして、ＣＰＵ５１は、決定したテキストを表示制御部５６に出力する。この場合、表示制御部５６は、テキストが示す文字と運動映像の静止画像とを合成する。そして、ＣＰＵ５１は、合成した画像に応じた映像信号をディスプレイ６７に出力する。これにより、ディスプレイ６７には、動作するフィギュア８３とナレーション文章とが表示される。

次いで、ＣＰＵ５１は、ミュージックシーケンサにより、楽曲再生処理を実行する（ステップＳ２５）。具体的に、ＣＰＵ５１は、生成されたレッスン情報に含まれる楽曲ＩＤに対応する楽曲データに基づいて、楽曲を出力させる。このとき、ＣＰＵ５１は、楽曲データから、楽曲の再生開始時刻から現時点までの経過時間に対応するイベントを読み出す。そして、ＣＰＵ５１は、読み出したイベントに基づいて、音声出力部６３による音声信号の出力を制御する。これにより、ＣＰＵ５１は、音声出力部６３からスピーカ６４へ、楽曲の音声信号を出力させる。そして、スピーカ６４から楽曲が出力される。なお、楽曲データには、例えば、デルタタイムとイベントとの組が記述されている。デルタタイムは、あるイベントを出力してから、次のイベントを出力するまでの時間を示す。そのため、ＣＰＵ５１は、例えば、楽曲データからイベントを読み出すタイミングを、デルタタイムと楽曲のテンポとに従って決定する。

次いで、ＣＰＵ５１は、ナレーション音声再生処理を実行する（ステップＳ２６）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるナレーション音声有無が「あり」に設定されているか否かを判定する。このとき、ナレーション音声有無が「なし」に設定されている場合、ＣＰＵ５１は、ナレーション音声を出力させないで、ナレーション音声再生処理を終了させる。一方、ナレーション音声有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれるナレーション音声ＩＤに対応するナレーション音声データに基づいて、ナレーション音声を出力させる。このとき、ＣＰＵ５１は、ナレーション音声データから、演奏パートの再生開始時刻から現時点までの経過時間に対応するデータ部分を読み出す。そして、ＣＰＵ５１は、読み出したデータ部分に基づいて、音声出力部６３による音声信号の出力を制御する。この場合、音声出力部６３は、ナレーション音声の音声信号と楽曲の音声信号とを合成する。そして、音声出力部６３は、合成された音声信号をスピーカ６４に出力する。これにより、スピーカ６４から楽曲とナレーション音声とが出力される。

次いで、ＣＰＵ５１は、利用者４１の歌唱データ及び運動データの取得タイミングであるか否かを判定する（ステップＳ２７）。歌唱データは、利用者４１の歌唱音声の音高値及び音量である。運動データは、利用者４１の各身体部位の三次元空間における座標及び各身体部位の移動量である。例えば、利用者４１は、予め設定された設定時間間隔が経過するごとに、歌唱データ及び運動データを取得する。このとき、ＣＰＵ５１は、取得タイミングではないと判定した場合には（ステップＳ２７：ＮＯ）、ステップＳ３０に進む。一方、ＣＰＵ５１は、取得タイミングであると判定した場合には（ステップＳ２７：ＹＥＳ）、ステップＳ２８に進む。

ステップＳ２８において、ＣＰＵ５１は、利用者４１の歌唱データを取得する。具体的に、ＣＰＵ５１は、マイク６８から入力された音声信号を分析して、歌唱音声の音高値及び音量を取得する。そして、ＣＰＵ５１は、取得した音高値及び音量を、楽曲の再生開始時刻からの経過時間と対応付けてＲＡＭ５３に記憶させる。次いで、ＣＰＵ５１は、利用者４１の運動データを取得する（ステップＳ２９）。具体的に、ＣＰＵ５１は、取得されたパート情報に含まれるモーションＩＤから、動作種別を取得する。次いで、ＣＰＵ５１は、動作種別が運動動作であるか否かを判定する。このとき、ＣＰＵ５１は、動作種別が歌唱動作である場合、ステップＳ３０に進む。一方、ＣＰＵ５１は、動作種別が運動動作である場合、各加速度センサＡＳから送信されてくる加速度情報をセンサ情報受信部６９を介して取得する。次いで、ＣＰＵ５１は、取得した加速度情報と、設定時間間隔前に取得した利用者４１の各身体部位の座標とに基づいて、現在の利用者４１の各身体部位の座標及び移動量を計算する。そして、ＣＰＵ５１は、計算した座標及び移動量を、パート情報に含まれるモーションＩＤと、演奏パートの再生開始時刻からの経過時間と対応付けてＲＡＭ５３に記憶させる。

次いで、ＣＰＵ５１は、演奏パートが切り替わったか否かを判定する（ステップＳ３０）。例えば、ＣＰＵ５１は、ミュージックシーケンサから演奏パート開始イベントが出力されたとき、演奏パートが切り替わったと判定してもよい。このとき、ＣＰＵ５１は、演奏パートが切り替わっていないと判定した場合には（ステップＳ３０：ＮＯ）、ステップＳ３２に進む。一方、ＣＰＵ５１は、演奏パートが切り替わったと判定した場合には（ステップＳ３０：ＹＥＳ）、ステップＳ３１に進む。ステップＳ３１において、ＣＰＵ５１は、レッスン情報から、演奏パート開始イベントに含まれるパートＩＤに対応するパート情報を取得する。また、ＣＰＵ５１は、時計機能から現在時刻を取得する。そして、ＣＰＵ５１は、取得した現在時刻を、次の演奏パートの再生開始時刻としてＲＡＭ５３に記憶させる。次いで、ＣＰＵ５１は、ステップＳ２２に進む。ＣＰＵ５１は、新しく取得されたパート情報及び再生開始時刻に基づいて、ステップＳ２２〜２９を実行する。

ステップＳ３２において、ＣＰＵ５１は、運動コンテンツの再生が終了したか否かを判定する。例えば、ＣＰＵ５１は、ミュージックシーケンサから、楽曲データの終端が検出されたことを示すイベントが出力された場合には、運動コンテンツの再生が終了したと判定する。このとき、ＣＰＵ５１は、運動コンテンツの再生が終了していないと判定した場合には（ステップＳ３２：ＮＯ）、ステップＳ２２に進む。一方、ＣＰＵ５１は、運動コンテンツの再生が終了したと判定した場合には（ステップＳ３２：ＹＥＳ）、レッスン実行処理を終了させる。

図５（Ｂ）は、出力端末５のＣＰＵ５１のレッスン評価処理の処理例を示すフローチャートである。図５（Ｂ）に示すように、ＣＰＵ５１は、歌唱の評価値を算出する（ステップＳ５１）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の歌唱音声の音高値と、レッスン情報に含まれる楽曲ＩＤに対応する教師音高データに登録されている音高値との差を、経過時間ごとに計算する。次いで、ＣＰＵ５１は、音高値の差が、ＨＤＤ７に予め記憶された歌唱閾値以下であるか否かを判定する。そして、ＣＰＵ５１は、差が歌唱閾値以下である利用者４１の音高値の数をカウントする。次いで、ＣＰＵ５１は、差が歌唱閾値以下である音高値の数を、利用者４１の音高値の総数で割ることにより、差が歌唱閾値以下である音高値の割合を計算する。そして、ＣＰＵ５１は、計算した割合に１００を掛けて、評価値を計算する。

次いで、ＣＰＵ５１は、運動の評価値を算出する（ステップＳ５２）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の各身体部位の座標と、教師座標データに登録されている各身体部位の座標との差を、経過時間ごとに計算する。このとき、ＣＰＵ５１は、利用者４１の身体部位の座標に対応付けられているモーションＩＤと同一のモーションＩＤに対応する教師音高データを用いる。次いで、ＣＰＵ５１は、座標の差が、ＨＤＤ７に予め記憶された運動閾値以下であるか否かを判定する。そして、ＣＰＵ５１は、差が運動閾値以下である利用者４１の身体部位の座標の数をカウントする。次いで、ＣＰＵ５１は、差が運動閾値以下である座標の数を、利用者４１の身体部位の座標の総数で割ることにより、差が運動閾値以下である座標の割合を計算する。そして、ＣＰＵ５１は、計算した割合に１００を掛けて、評価値を計算する。

次いで、ＣＰＵ５１は、歌唱による消費カロリーを計算する（ステップＳ５３）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の歌唱音声の音量ごとに、音量に対応するカロリーを決定する。このとき、ＣＰＵ５１は、音量が大きいほど、カロリーを高くする。そして、ＣＰＵ５１は、計算したカロリーの合計値を、歌唱による消費カロリーとして計算する。

次いで、ＣＰＵ５１は、運動による消費カロリーを計算する（ステップＳ５４）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の各身体部位の移動量ごとに、移動量に対応するカロリーを決定する。このとき、ＣＰＵ５１は、移動量が大きいほど、カロリーを高くする。そして、ＣＰＵ５１は、計算したカロリーの合計値を、運動による消費カロリーとして計算する。

次いで、ＣＰＵ５１は、ステップＳ５１〜Ｓ５４で算出した評価値及び消費カロリーをディスプレイ６７に表示させる（ステップＳ５５）。ＣＰＵ５１は、ステップＳ５５の処理を終えると、レッスン評価処理を終了させる。

以上説明したように、本実施形態によれば、ＣＰＵ５１が、練習タイプとして歌唱メインが指示された場合、歌唱動作を運動動作よりも優先して演奏パートに割り当てる。また、ＣＰＵ５１が、練習タイプとして運動メインが指示された場合、運動動作を歌唱動作よりも優先して演奏パートに割り当てる。そのため、主に、歌唱したいのか、運動したいのかというユーザの要望に応じた運動コンテンツを出力することができる。

なお、上記実施形態においては、本発明の情報処理装置が出力端末５に適用されていた。しかしながら、本発明の情報処理装置が配信サーバ２に適用されてもよい。例えば、配信サーバ２は、操作者４２による出力端末５の操作に基づいて、レッスン情報を生成してもよい。そして、配信サーバ２は、レッスン情報に基づいて、音声データ及び動画データを生成してもよい。この場合の音声データは、楽曲及びナレーション音声を出力するためのデータである。また、動画データは、運動映像、歌詞及びナレーション文章を表示するためのデータである。運動レッスンが行われるとき、配信サーバ２は、音声データ及び動画データを、例えばストリーミング方式で出力端末５に送信する。これにより、配信サーバ２は、出力端末５により楽曲を出力させ、且つ、運動映像を表示させる。また、本発明の情報処理装置が出力端末５及び配信サーバ２に適用されてもよい。そして、出力端末５及び配信サーバ２は協働して処理を行ってもよい。

１ 運動コンテンツ生成システム
２ 配信サーバ
５ 出力端末
７ ＨＤＤ
５１ ＣＰＵ
５６ 表示制御部
６３ 音声出力部
６９ センサ情報受信部

Claims (7)

1. 複数の演奏パートで構成される楽曲を示す楽曲情報と、前記楽曲の歌唱動作に関する第１動作情報と、運動動作を示す第２動作情報とを記憶する記憶手段と、
   歌唱又は運動の指示を示す指示情報を受信する受信手段と、
   前記記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第１割り当て手段であり、前記受信手段により受信された前記指示情報が前記歌唱を示す場合、前記歌唱動作が割り当てられる前記演奏パートの数を、前記運動動作が割り当てられる前記演奏パートの数よりも多くする第１割り当て手段と、
   前記記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第２割り当て手段であり、前記受信手段により受信された前記指示情報が前記運動を示す場合、前記運動動作が割り当てられる前記演奏パートの数を、前記歌唱動作が割り当てられる前記演奏パートの数よりも多くする第２割り当て手段と、
   前記記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御手段と、
   前記記憶手段に記憶された前記楽曲情報のうち前記出力手段により出力されている前記演奏パートに割り当てられた動作を示す前記第１動作情報又は前記第２動作情報に基づいて、前記歌唱動作又は前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１割り当て手段は、前記複数の演奏パートのうち少なくともサビ部分に、前記歌唱動作を割り当て、前記複数の演奏パートのうち前記サビ部分と異なる少なくとも１つの前記演奏パートに、前記運動動作を割り当てることを特徴とする請求項１に記載の情報処理装置。
3. 前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、
   前記第１割り当て手段は、前記受信手段により受信された前記レベル情報が示すレベルが高いほど、前記運動動作が割り当てられる前記演奏パートの数を多くすることを特徴とする請求項２に記載の情報処理装置。
4. 前記記憶手段は、前記運動動作を音声により指導する指導情報を更に記憶し、
   前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、
   前記受信手段により受信された前記指示情報が前記歌唱を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが所定の第１レベル以下である場合、前記第１割り当て手段により前記運動動作が割り当てられた前記演奏パートが前記出力手段により出力されているとき、前記記憶手段に記憶された前記指導情報を前記出力手段により出力させる第３制御手段と、
   前記受信手段により受信された前記指示情報が前記歌唱を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが前記第１レベルより高い場合、前記記憶手段に記憶された前記指導情報を前記出力手段により出力させない第４制御手段と、
   を更に備えることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記記憶手段は、前記楽曲の歌詞を示す歌詞情報を更に記憶し、
   前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、
   前記受信手段により受信された前記指示情報が前記運動を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが所定の第２レベル以下である場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記表示手段に表示させない第５制御手段と、
   前記受信手段により受信された前記指示情報が前記運動を示し、且つ、前記受信手段により受信された前記レベル情報が示すレベルが前記第２レベルより高い場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記表示手段に表示させる第６制御手段と、
   を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記記憶手段は、前記運動動作により身体にかかる負荷が異なる複数の前記第２動作情報を記憶し、
   前記受信手段は、ユーザの運動レベルを示すレベル情報を更に受信し、
   前記第２制御手段は、前記受信手段により受信された前記指示情報が前記運動を示す場合、前記運動動作が割り当てられた前記演奏パートが前記出力手段により出力されているとき、前記受信手段により受信された前記レベル情報が示すレベルが高いほど、身体にかかる負荷が大きい前記第２動作情報に基づいて、前記映像情報を前記表示手段に表示させることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 歌唱又は運動の指示を示す指示情報を受信する受信ステップと、
   複数の演奏パートで構成される楽曲を示す楽曲情報と、前記楽曲の歌唱動作に関する第１動作情報と、運動動作を示す第２動作情報とを記憶する記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第１割り当てステップであり、前記受信ステップにより受信された前記指示情報が前記歌唱を示す場合、前記歌唱動作が割り当てられる前記演奏パートの数を、前記運動動作が割り当てられる前記演奏パートの数よりも多くする第１割り当てステップと、
   前記記憶手段に記憶された前記楽曲情報が示す前記楽曲を構成する前記複数の演奏パートに、前記記憶手段に記憶された前記第１動作情報又は前記第２動作情報が示す動作を割り当てる第２割り当てステップであり、前記受信ステップにより受信された前記指示情報が前記運動を示す場合、前記運動動作が割り当てられる前記演奏パートの数を、前記歌唱動作が割り当てられる前記演奏パートの数よりも多くする第２割り当てステップと、
   前記記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御ステップと、
   前記記憶手段に記憶された前記楽曲情報のうち前記出力手段により出力されている前記演奏パートに割り当てられた動作を示す前記第１動作情報又は前記第２動作情報に基づいて、前記歌唱動作又は前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御ステップと、
   をコンピュータに実行させることを特徴とするプログラム。

Images