JP6358203B2 - 動作評価装置、及びプログラム - Google Patents

Description

本発明は、楽曲中に人物の盛り上げ動作を評価する装置等の技術分野に関する。

従来、楽曲演奏装置を利用した歌唱における盛り上がり具合を指標化する判定装置が知られている。例えば特許文献１に開示された楽曲盛上がり判定装置は、楽曲再生中に撮影された映像情報、１楽曲再生中に収音された音声情報の少なくとも一方に基づいて、ユーザの盛上がりの特徴を検出し、１楽曲における盛上がりポイントを算出するように構成されている。

特開２０１２−６８３７３号公報

しかしながら、従来の技術では、１曲を通してユーザの盛り上げ動作が算出されてしまうと、例えば、１曲の再生中に局所的に盛り上げ動作が多く行われた場合と、１曲を通して盛り上げ動作が継続して少なく行われた場合とが、同様の判定をされてしまうおそれがある。このように、従来の盛り上がりの算出技術のように楽曲の盛り上がりが１曲を通して和により算出されると、曲構成に関わらず、動作が行われたことが検出されて盛り上がり具合が判定されてしまい、曲構成に合った盛り上げ動作が適切に評価されないおそれがある。

本発明は、以上の点に鑑みてなされたものであり、曲構成に合った盛り上げ動作を適切に評価することが可能な動作評価装置、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、複数の演奏パートから構成される楽曲であって、曲再生手段により再生される楽曲を聴取する人物の動作を検出する検出手段と、前記曲再生手段により再生される楽曲の一部の演奏パートを、盛り上げ動作の評価対象パートに決定する決定手段と、前記決定手段により決定された前記評価対象パートの再生中に、前記検出手段により検出された前記人物の動作を、前記評価対象パートと対応付けられた既定動作と比較し、前記人物により前記既定動作が行われたか否かを判断する判断手段と、前記判断手段により前記既定動作が行われたと判断されたとき、前記人物の動作を、前記曲再生手段により再生された楽曲についての盛り上げ動作として評価する評価手段と、前記評価手段により評価された結果を表示部に出力させる表示制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の動作評価装置において、前記決定手段は、前記複数の演奏パートの中から、楽曲中の盛り上がりに関する指標が高く設定された演奏パートを前記評価対象パートに決定することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の動作評価装置において、前記楽曲は、メロディパートと、前奏パート、間奏パート及び後奏パートの少なくとも何れか１つの伴奏パートとを含む前記複数の演奏パートから構成されるものであり、前記決定手段は、前記メロディパートと、前記伴奏パートのそれぞれ少なくとも１つの演奏パートを前記評価対象パートに決定することを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の動作評価装置において、前記決定手段は、時系列で並べられた前記複数の演奏パートから、予め定められた評価対象パート数に達するまで前記評価対象パートを複数回繰り返し決定する繰り返し処理を行うものであり、１回の前記繰り返し処理において、前記決定手段は、前記評価対象パートとして決定されていない前記演奏パートのうち、前記評価対象パートとして決定済の前記演奏パートから最も離れた前記演奏パートを前記評価対象パートに決定することを特徴とする。

請求項５に記載の発明は、請求項４に記載の動作評価装置において、前記決定手段は、前記評価対象パートとして決定済の前記演奏パートから最も離れた前記演奏パートが複数ある場合、時系列で後にある前記演奏パートを優先して前記評価対象パートに決定することを特徴とする。

請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の動作評価装置において、前記楽曲は、少なくとも前半部分と後半部分とを含む複数の部分から構成されるものであり、前記決定手段は、少なくとも前記前半部分と前記後半部分とを含む複数の部分からそれぞれ少なくとも１つの演奏パートを前記評価対象パートに決定し、前記評価手段は、前記既定動作が行われたと判断されたときの前記既定動作に応じた評価点を、前記評価対象パート毎に算出し、算出した各評価点の総和である総合評価点であって前記楽曲についての盛り上げ動作としての総合評価点を算出し、前記決定手段により前記複数の部分からそれぞれ決定された前記評価対象パートのそれぞれにおける前記評価点が時系列で増加しているとき、前記総合評価点に追加評価点を加算することを特徴とする。

請求項７に記載の発明は、請求項１乃至５の何れか一項に記載の動作評価装置において、前記楽曲は、前奏パート、間奏パート及び後奏パートの少なくとも何れか２つの伴奏パートを含む前記複数の演奏パートから構成されるものであり、前記決定手段は、前奏パート、間奏パート及び後奏パートの少なくとも何れか２つの伴奏パートを前記評価対象パートに決定し、前記評価手段は、前記既定動作が行われたと判断されたときの前記既定動作に応じた評価点を前記評価対象パート毎に算出し、算出した各評価点の総和である総合評価点であって前記楽曲についての盛り上げ動作としての総合評価点を算出し、前記決定手段により決定された少なくとも何れか２つの前記評価対象パートのそれぞれにおける前記評価点が時系列で増加しているとき、前記総合評価点に追加評価点を加算することを特徴とする。

請求項８に記載の発明は、請求項１乃至７の何れか一項に記載の動作評価装置において、前記表示制御手段は、前記決定手段により決定された前記評価対象パートの再生中に、評価対象のタイミングであることを報知することを特徴とする。

請求項９に記載の発明は、複数の演奏パートから構成される楽曲であって、曲再生手段により再生される楽曲を聴取する人物の動作を検出する検出ステップと、前記曲再生手段により再生される楽曲の一部の演奏パートを、盛り上げ動作の評価対象パートに決定する決定ステップと、前記決定ステップにより決定された前記評価対象パートの再生中に、前記検出ステップにより検出された前記人物の動作を、前記評価対象パートと対応付けられた既定動作と比較し、前記人物により前記既定動作が行われたか否かを判断する判断ステップと、前記判断ステップにより前記既定動作が行われたと判断されたとき、前記人物の動作を、前記曲再生手段により再生された楽曲についての盛り上げ動作として評価する評価ステップと、前記評価ステップにより評価された結果を表示部に出力させる表示制御ステップと、をコンピュータに実行させることを特徴とする。

請求項１、９に記載の発明によれば、楽曲の曲構成に合った盛り上げ動作を適切に評価することができる。

請求項２に記載の発明によれば、楽曲の曲構成に適した演奏パートを評価対象パートに決定することができる。

請求項３に記載の発明によれば、楽曲の曲構成に適した演奏パートを評価対象パートに決定することができる。

請求項４に記載の発明によれば、評価対象パートを偏らないように決定することができる。

請求項５に記載の発明によれば、より盛り上がることが期待される方の演奏パートを優先して評価対象パートに決定することができる。

請求項６、７に記載の発明によれば、全体的な盛り上げ方が上手なユーザに加点をすることができる。

請求項８に記載の発明によれば、適切なタイミングで、ユーザに対して盛り上げ動作を促すことができる。

本実施形態の再生システムＳの概要構成例を示す図である。 （Ａ）は、楽曲αの楽曲パート構成情報の一例を示す図である。（Ｂ）は、応援動作情報設定テーブルの内容例を示す図である。 （Ａ）は、応援ポイントに応じた数のキャラクタ画像の表示例を示す図である。（Ｂ）は、応援タイミングを示すメッセージの表示例を示す図である。 （Ａ）は、応援パート制御処理の一例を示すフローチャートである。（Ｂ）は、パート種別指定方式による応援パート決定処理の一例を示すフローチャートである。（Ｃ）は、自動分散決定方式による応援パート決定処理の一例を示すフローチャートである。 （Ａ）は、直接指定方式で決定された応援パートを示す応援パートリストの一例を示す図である。（Ｂ）は、パート種別指定方式で用いられる応援パート種別情報の一例である。（Ｃ）は、パート種別指定方式で決定された応援パートを示す応援パートリストの一例を示す図である。（Ｄ）〜（Ｆ）は、自動分散決定方式で応援パートが決定される過程の応援パートリストの推移例を示す図である。 応援ユニット制御処理の一例を示すフローチャートである。 （Ａ）は、応援ユニット生成処理の一例を示すフローチャートである。（Ｂ）は、応援ユニット削除処理の一例を示すフローチャートである。 （Ａ）は、応援ユニット更新処理の一例を示すフローチャートである。（Ｂ）は、応援動作判定処理の一例を示すフローチャートである。 （Ａ）は、応援ユニットの内容例を示す図である。（Ｂ）は、再生曲中の応援パート毎の応援ポイントの一例を示す図である。（Ｃ）は、再生曲の前半部分から後半部分における応援ポイントの推移例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．再生システムＳの構成及び動作概要］
はじめに、図１を参照して、本実施形態の再生システムＳの構成及び動作概要について説明する。再生システムＳは、図１に示すように、楽曲再生装置１、表示・操作デバイス２、カメラ３、プロジェクター４、及び制御装置５等を備えて構成される。制御装置５は、本発明の動作評価装置の一例である。再生システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。楽曲再生装置１、表示・操作デバイス２、カメラ３、及びプロジェクター４は、有線または無線を介して制御装置５と接続される。また、楽曲再生装置１と制御装置５の少なくとも何れか一方には、有線または無線を介してディスプレイＤ、マイクＭ、及びスピーカＳＰが接続される。

楽曲再生装置１は、楽曲を再生する曲再生手段の一例である。楽曲再生装置１は、例えば、楽曲の一例であるカラオケ曲を再生するカラオケコマンダである。ここで、楽曲は、再生開始から再生終了まで時系列で並べられた複数の演奏パートから構成される。一般に、楽曲を、前半部分（楽曲の始まり部分）、中間部分、及び後半部分（楽曲の終わり部分）に分けると、それぞれの部分には、１つ以上の演奏パートが含まれる。演奏パートは、パート種別として、メロディパートと、伴奏パートとに区別することができる。メロディパートは、楽曲中で例えば歌唱がある部分（例えば、ボーカル部分）である。メロディパートは、さらに、Ａメロ（Ａメロパート）、Ｂメロ（Ｂメロパート）、Ｃメロ（Ｃメロパート）、及びサビ（サビパート）に区別することができる。Ａメロは、楽曲の最初（例えば、歌い出し）のメロディ部分である。Ｂメロは、楽曲の調子が変わってサビに繋ぐメロディ部分である。Ｃメロは、最後のサビに繋ぐメロディ部分である。サビは、楽曲の中で最も印象的な（換言すると、盛り上がる）メロディ部分である。一方、伴奏パートは、楽曲中で例えば楽器の演奏のみで歌唱がない部分である。伴奏パートは、さらに、前奏（前奏パート）、間奏（間奏パート）、及び後奏（後奏パート）に区別することができる。例えば、楽曲の前半部分に含まれる伴奏パートは前奏であり、楽曲の後半部分に含まれる伴奏パートは後奏であり、楽曲の中間部分に含まれる伴奏パートは間奏である。

また、楽曲再生装置１は、複数の楽曲ファイルを記憶部に記憶する。楽曲ファイルは、楽曲の曲データを格納する。楽曲ファイルには、例えば、楽曲ＩＤが対応付けられる。楽曲ＩＤは、楽曲を識別するための識別情報である。楽曲ファイルのファイル名に楽曲ＩＤが含まれてもよい。楽曲再生装置１は、制御装置５からの楽曲再生コマンドを受信すると、楽曲再生コマンドに含まれる楽曲ＩＤが示す楽曲を再生し、再生された楽曲のオーディオ信号をスピーカＳＰへ出力する。このとき、楽曲再生装置１は、再生された楽曲の歌詞テロップをディスプレイＤに表示させる。ユーザは、楽曲再生装置１による楽曲の再生中に、ディスプレイＤに表示された歌詞テロップを見ながら、マイクＭを持って歌唱することができる。この場合、楽曲再生装置１は、楽曲のオーディオ信号と、マイクＭにより集音されたユーザの歌唱音声信号とをミキシングしてスピーカＳＰへ出力する。

表示・操作デバイス２は、ユーザから操作指示を受け付け、その操作指示を示す指示信号を制御装置５へ出力する機器である。表示・操作デバイス２には、例えば、表示画面を備えるタッチパネルディスプレイが用いられる。表示・操作デバイス２は、例えば、楽曲再生装置１のリモコンであってもよい。表示・操作デバイス２は、楽曲再生装置１で再生される候補となる楽曲の楽曲リストを表示画面に表示する。表示・操作デバイス２の表示画面に表示される楽曲リストは、例えば楽曲ＩＤ、楽曲名、アーティスト名、再生時間、及び楽曲パート構成情報等の楽曲情報を楽曲毎に示す。再生時間は、楽曲の再生開始から再生終了までの時間長である。楽曲パート構成情報は、楽曲の演奏パートの時系列的な構成を示す情報である。楽曲を構成する各演奏パートには、再生開始から再生終了まで時系列で並べられた順番を示す構成番号が付与されている。例えば、楽曲αは、図２（Ａ）に示すように、１２個の演奏パートから構成されており、前奏から始まり、後奏で終わるように構成されている。なお、楽曲パート構成情報には、演奏パート毎の時間長が含まれるとよい。ユーザが表示・操作デバイス２を操作して楽曲リストから所望の楽曲を選択すると、選択された楽曲の再生指示を示す指示信号が制御装置５へ出力される。

カメラ３には、例えば、ＲＧＢカメラ及び深度カメラが用いられる。カメラ３は、例えばＲＧＢカメラにより、上記部屋内における撮像範囲を連続的に撮像することでＲＧＢ画像を連続的に取得する。深度カメラは、赤外線レーザなどによる深度センサーである。カメラ３は、深度カメラにより、上記部屋内における撮像範囲を連続的に撮像することでデプス画像を連続的に取得する。デプス画像は、上記撮像範囲に存在する人物及び人物の背景における各位置までの深度を示す。カメラ３は、取得したデプス画像から人物を検出（認識）し、検出した人物に対応する検出ＩＤと、検出した人物の輪郭や骨格を形成する各部位の位置を示す部位情報とを対応付けて生成する。この人物は、楽曲再生装置１により再生された楽曲を聴取するユーザ（システム利用者）である。検出ＩＤは、検出された人物を識別するための識別情報である。ここで、連続して取得されるデプス画像から人物（つまり、同じ人物）が検出されている間、この人物に対応する検出ＩＤは変化しないが、この人物の上記部位情報はこの人物の動作に応じて変化することになる。一方、この人物が上記撮像範囲外に移動したり、大きく動作することなどにより検出不能となった（つまり、ロストした）場合において、再びこの人物が上記撮像範囲内に移動することなどにより検出される場合がある。この場合に検出された人物に対しては、新たな検出ＩＤ（上記とは異なる検出ＩＤ）が生成される。撮像範囲内に複数の人物が存在する場合、それぞれの人物が検出され、それぞれの人物に対応する検出ＩＤと、それぞれの人物の輪郭や骨格を形成する各部位の位置を示す部位情報とがそれぞれ対応付けられて生成されることになる。カメラ３は、取得したＲＧＢ画像と、検出した人物に対応する検出ＩＤ及び部位情報とを連続的に制御装置５へ送信する。なお、制御装置５が、カメラ３からデプス画像を連続的に取得して人物を検出し、検出した人物に対応する検出ＩＤ及び部位情報を生成してもよい。

また、上記部位情報は、例えば、人物の輪郭や骨格を形成する部位毎に、位置座標（Ｘ，Ｙ，Ｚ）が対応付けられた情報であり、デプス画像に示される各位置までの深度から特定することが可能である。具体的には、深度カメラにより取得された各位置までの深度を、人物の輪郭や骨格を形成する各部位の位置を判断するための人物位置パターンデータと比較することにより、人物の輪郭や骨格を形成する各部位が特定される。人物位置パターンデータは、例えば、予め所定のデータベース等に記憶された多数の種類の人物位置パターンから、デプス画像に示される各位置の深度に応じた所定のパターンデータを読み出して用いられる。人物の輪郭や骨格を形成する各部位の例として、頭部、左肩部、右肩部、左肘部、右肘部、左手部、右手部、首部、胴部、腰部、左尻部、右尻部、左膝部、右膝部、左足部、及び右足部等が挙げられる。このような部位情報には、部位の回転角Θが含まれる場合もある。部位の回転角Θとは、その部位に連結される他の部位を基準とする回転角Θである。もしくは、部位の回転角Θとは、その部位と間接的に連結される特定の部位の位置を基準とした回転角Θであってもよい。例えば、頭部の回転角Θは、頭部に連結される首部を基準とする回転角Θである。首部の回転角Θは、首部に連結される胴部を基準とする回転角Θである。回転角Θを含む部位情報は（Ｘ，Ｙ，Ｚ，Θ）というように表される。

プロジェクター４は、制御装置５から再生出力された画像信号に応じた光を発光部から発することにより画像を投影面（例えば上記部屋の壁面）に投影する。画像には、静止画像と動画像とがある。制御装置５は、楽曲再生装置１、カメラ３、及びプロジェクター４を制御する。制御装置５は、図１に示すように、ＩＦ５１ａ〜５１ｄ、記憶部５２、及び制御部５３等を備える。ＩＦ５１ａ〜５１ｄ、記憶部５２、及び制御部５３は、バス５４に接続されている。ＩＦ５１ａは、楽曲再生装置１と制御装置５との間のインターフェースである。ＩＦ５１ｂは、表示・操作デバイス２と制御装置５との間のインターフェースである。ＩＦ５１ｃは、カメラ３と制御装置５との間のインターフェースである。ＩＦ５１ｄは、プロジェクター４と制御装置５との間のインターフェースである。なお、制御装置５は、例えば、インターネット等により構成されるネットワークに接続するための通信部を備えてもよい。

記憶部５２は、例えばハードディスクドライブにより構成される。記憶部５２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。このプログラムは、後述する処理をＣＰＵに実行させるプログラムである。また、記憶部５２には、楽曲再生装置１で再生される候補となる複数の楽曲それぞれの楽曲情報が記憶される。楽曲情報は、例えば楽曲再生装置１から取得される。また、記憶部５２には、応援動作情報設定テーブルが記憶される。例えば、応援動作情報設定テーブルには、図２（Ｂ）に示すように、応援動作ＩＤ、既定動作データ、パート種別、及び応援ポイントが応援動作毎に対応付けられて登録されている。図２（Ｂ）に示す応援動作は、楽曲再生装置１により再生された楽曲についての盛り上げ動作としての既定動作の一例である。応援動作ＩＤは、応援動作を識別するための識別情報である。既定動作データは、上記既定動作を示す。例えば、前を向く動作データは、基準となる人物が前を向く動作を行っているときにおいて、その人物の輪郭や骨格を形成する部位毎に対応付けられた位置座標の時系列的な変化を示す。既定動作データに対応付けられたパート種別は、その既定動作データが示す既定動作が人物により行われたときに、その人物の動作を上記応援動作として評価する応援パート（つまり、評価対象パート）の候補となる演奏パートを示す。既定動作データに対応付けられた応援ポイントは、上記人物の動作を上記応援動作として評価するにあたって、その人物（人物の識別情報）に対して付与される評価点である。既定動作データごとに、既定動作が応援動作として相応しいパート種別の演奏パートが対応付けられている。例えば、拍手動作データは、パート種別として伴奏パートである前奏、間奏、後奏が対応づけられている。これは、歌唱者の歌唱中に拍手動作が行われると、歌唱者が歌唱中に楽曲の音を聞くことを妨げる騒音となるおそれがあるため、歌唱者の歌唱中に相当する演奏パートでは、拍手動作を応援動作として評価しないことが好ましいためである。一方、前奏、間奏、後奏などの伴奏パートにおいて、拍手動作が行われたときは、歌唱がされていなくても楽曲を聞いていることを示す応援動作として評価する。また、例えば、口ずさむ動作データは、Ａメロ、Ｂメロ、Ｃメロ、サビのメロディパートが対応付けられている。これにより、口ずさむ動作は、歌唱者が歌唱中である演奏パートにおいて、一緒に口ずさむことで歌唱を応援する応援動作と評価することができる。また、記憶部５２には、プロジェクター４により投影面に投影（表示）される候補となる複数のキャラクタ画像それぞれの画像データが応援キャラクタＩＤに対応付けられて記憶される。応援キャラクタＩＤは、キャラクタを識別するための識別情報である。キャラクタ画像は、上述したように部屋内で検出された人物に対して割り当てられる画像であり、例えば動物の画像が用いられる。キャラクタ画像は、例えば、三次元コンピュータグラフィックス（３ＤＣＧ）のモデルデータと、モーションデータとを用いて形成され、投影される。また、キャラクタ画像は、例えばキャラクタが上述した既定動作を行う動画像であるとよい。この場合、１つのキャラクタ画像には、上述した既定動作毎の動画像がある。上述したように部屋内で検出された人物が複数である場合、それぞれの人物に対して異なるキャラクタ画像が割り当てられる。人物に対して割り当てられたキャラクタ画像の表示数は、その人物に付与された応援ポイントが増加することに応じて増加する。

制御部５３は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部５３は、本発明の検出手段、決定手段、判断手段、評価手段、及び表示制御手段の一例である。制御部５３のＲＡＭの所定領域には、ＲＧＢ画像の画像フレームを時系列で格納するためのフレームバッファと、検出ＩＤ及び部位情報を時系列で格納するためのモーションバッファとが確保される。制御部５３は、記憶部５２に記憶されたプログラムに従って処理を実行する。具体的には、制御部５３は、楽曲再生装置１により再生される楽曲の一部の演奏パートを、応援動作の応援パートに決定する。応援パートは、例えば、種々の決定方式（種々の決定方式による応援パート決定処理）で決定される。このような決定方式の例として、直接指定方式、パート種別指定方式、自動分散決定方式、及び音量判定方式が挙げられる。例えば、楽曲αには直接指定方式が、楽曲βにはパート種別指定方式が、楽曲γには自動分散決定方式が、それぞれ設定されているというように、楽曲毎に決定方式が予め設定されていてもよい。これにより、制御部５３は、複数の演奏パートの中から、楽曲中の盛り上がりに関する指標が高く設定された演奏パートを応援パートに決定する。これにより、楽曲の曲構成に適した演奏パートを応援パートに決定することができる。また、例えば、制御部５３は、メロディパートと、伴奏パートのそれぞれ少なくとも１つの演奏パートを応援パートに決定しても、楽曲の曲構成に適した演奏パートを応援パートに決定することができる。なお、直接指定方式、パート種別指定方式、自動分散決定方式、及び音量判定方式による応援パート決定処理の詳細は後述する。

また、制御部５３は、カメラ３から取得（受信）したＲＧＢ画像の画像フレームを時系列でフレームバッファに格納し、且つ、カメラ３から取得（受信）した検出ＩＤ及び部位情報を時系列でモーションバッファに格納する。制御部５３は、例えばモーションバッファに時系列で格納された複数の部位情報に基づいて、部屋内で検出された人物の動作を検出する。そして、制御部５３は、上記決定した応援パートの再生中に、上記検出した人物の動作を、上記既定動作データが示す、再生中の応援パートと対応付けられた既定動作と比較し、その人物により既定動作が行われたか否かを判断する。例えば、制御部５３は、上記検出された人物の動作と上記既定動作との類似度を算出し、その類似度が所定値以上であれば、既定動作が行われたと判断する。ここで類似度は、例えば、人物の動作における各部位の位置座標の変化の軌跡と、既定動作における各部位の位置座標の変化の軌跡との一致度合を部位毎に求めることで算出することができる。制御部５３は、上記既定動作が行われたと判断したとき、その人物の動作を、上記再生された楽曲についての応援動作（盛り上げ動作の一例）として評価する。これにより、例えば、その人物に対して、上記既定動作に応じた応援ポイントが付与される。換言すると、その人物の識別情報に対応付けられた応援ポイント（つまり、累積ポイント）に、上記既定動作に応じた応援ポイントが加算される。これにより、その人物の識別情報に対応付けられた累積ポイントが増していくことになる。なお、制御部５３は、上記検出された人物のうち、検出された人物がマイクＭを持っているか否かを判別可能である場合には、マイクＭを所持していない人物の動作について、既定動作が行われたか否かを判断してもよい。

また、制御部５３は、楽曲の少なくとも前半部分と後半部分とを含む複数の部分からそれぞれ少なくとも１つの演奏パートを応援パートに決定した場合において、既定動作が行われたと判断されたときの既定動作に応じた応援ポイントを、決定した応援パート毎に算出し、算出した各応援ポイントの総和である累積ポイント（総合評価点の一例）を算出する。そして、制御部５３は、上記複数の部分からそれぞれ決定された応援パートのそれぞれにおける応援ポイントが時系列で増加しているとき、累積ポイントに追加ポイントを加算する。また、制御部５３は、評価した結果を表示部に出力させる。例えば、制御部５３は、累積ポイントに応じた数のキャラクタ画像を複製し、複製したキャラクタ画像の画像信号をプロジェクター４（表示部の一例）へ再生出力することで、図３（Ａ）に示すようなキャラクタ画像Ｃ１〜Ｃ４を投影面に投影（表示）させる。

［２．再生システムＳの動作］
次に、本実施形態の再生システムＳで実施される動作内容について説明する。

（２．１ 応援パート制御処理）
先ず、図４及び図５を参照して、制御部５３により実行される応援パート制御処理の一例について説明する。例えば、ユーザが表示・操作デバイス２を操作して楽曲リストから所望の楽曲を選択すると、選択された楽曲の再生指示を示す指示信号が制御装置５へ出力される。制御部５３は、表示・操作デバイス２からの楽曲の再生指示を示す指示信号を受信すると、選択された楽曲の楽曲ＩＤを含む楽曲再生コマンドを楽曲再生装置１へ送信し、図４（Ａ）に示す処理を開始する。図４（Ａ）に示す処理が開始されると、制御部５３は、選択された楽曲の再生開始を検知したか否かを判定する（ステップＳ１）。例えば、楽曲再生装置１は、制御装置５から受信した楽曲再生コマンドに含まれる楽曲ＩＤが示す楽曲の再生を開始すると、再生開始信号を制御装置５へ送信する。制御部５３は、楽曲再生装置１からの再生開始信号を受信すると、選択された楽曲の再生開始を検知したと判定し（ステップＳ１：ＹＥＳ）、ステップＳ２へ進む。一方、制御部５３は、選択された楽曲の再生開始を検知していないと判定した場合（ステップＳ１：ＮＯ）、ステップＳ４へ進む。

ステップＳ２では、制御部５３は、再生開始された楽曲の楽曲パート構成情報（つまり、再生開始された楽曲の楽曲ＩＤに対応付けられた楽曲パート構成情報）を取得する。この楽曲パート構成情報には、例えば、演奏パート毎の構成番号、パート種別、及び時間長が含まれる。次いで、制御部５３は、例えば再生開始された楽曲に対して予め設定された方式による応援パート決定処理を実行し（ステップＳ３）、ステップＳ１に戻る。以下、直接指定方式、パート種別指定方式、自動分散決定方式、及び音量判定方式による応援パート決定処理の詳細を説明する。

先ず、直接指定方式が設定されている場合の応援パート決定処理では、制御部５３は、例えば図５（Ａ）に示すような応援パートリストを取得する。例えば、制御部５３は、通信部（図示せず）よりネットワークを介して所定のサーバにアクセスし、再生開始された楽曲の楽曲ＩＤをキーとして、上記サーバから、既に作成済の応援パートリストを取得する。図５（Ａ）に示す応援パートリストでは、１２個の演奏パートのうち、前奏、サビ１、サビ２、及び後奏の４つの演奏パートが応援パート（丸印）として指定されている。このように指定される演奏パートは、楽曲中の盛り上がりに関する指標が高く設定された演奏パートである。この指定は、例えば楽曲の提供者（例えば、レーベル会社、作詞者、または作曲者）等により行われる。制御部５３は、上記サーバから取得した応援パートリストが示す応援パート（つまり、直接指定された応援パート）を決定する。これにより、楽曲に適した応援パートを決定することができる。なお、応援パートリストは、再生開始された楽曲の楽曲情報に含まれるように構成してもよい。この場合、制御部５３は、再生開始された楽曲の楽曲情報から応援パートリストを取得して応援パートを決定する。

次に、パート種別指定方式が設定されている場合の応援パート決定処理では、図４（Ｂ）に示すように、制御部５３は、図５（Ｂ）に示すような応援パート種別情報を例えば記憶部５２から取得する（ステップＳ３０１）。このような応援パート種別情報は、例えばシステム管理者やユーザ等により作成され、記憶部５２に予め記憶される。また、応援パート種別情報は、楽曲間で共通に用いることができる。図５（Ｂ）に示す応援パート種別情報では、サビ、間奏、及び後奏の３つの演奏パートが応援パート（丸印）として指定されている。次いで、制御部５３は、構成番号ｉ（変数）に“１”を代入する（ステップＳ３０２）。次いで、制御部５３は、構成番号ｉが、ステップＳ２で取得された楽曲パート構成情報に示される演奏パート数Ｍ（例えば、１２）以下であるか否かを判定する（ステップＳ３０３）。制御部５３は、構成番号ｉが演奏パート数Ｍ以下であると判定した場合（ステップＳ３０３：ＹＥＳ）、ステップＳ３０４へ進む。一方、制御部５３は、構成番号ｉが演奏パート数Ｍ以下でないと判定した場合（ステップＳ３０３：ＮＯ）、ステップＳ３０７へ進む。

ステップＳ３０４では、制御部５３は、構成番号ｉの演奏パートのパート種別が、ステップＳ３０１で取得された応援パート種別情報において応援パートとして指定されているか否かを判定する。制御部５３は、構成番号ｉの演奏パートのパート種別が応援パートとして指定されていないと判定した場合（ステップＳ３０４：ＮＯ）、ステップＳ３０６へ進む。一方、制御部５３は、構成番号ｉの演奏パートのパート種別が応援パートとして指定されていると判定した場合（ステップＳ３０４：ＹＥＳ）、構成番号ｉの演奏パートを応援パートに決定し（ステップＳ３０５）、ステップＳ３０６へ進む。これにより、メロディパートと、伴奏パートのそれぞれ少なくとも１つの演奏パートを応援パートに決定することができる。また、パート種別単位で迅速に応援パートを決定することができる。また、直接指定方式に比べて、応援パートリストの作成コストを低減することができる。ステップＳ３０６では、制御部５３は、構成番号ｉを１インクリメントし、ステップＳ３０３に戻り、上記と同様の処理を行う。ステップＳ３０７では、制御部５３は、ステップＳ３０５で決定された応援パートを示す応援パートリストを、図５（Ｃ）に示すように生成する。図５（Ｃ）に示す応援パートリストでは、１２個の演奏パートのうち、サビ１、間奏１、サビ２、間奏２、サビ３、及び後奏の６つの演奏パートが応援パート（丸印）として示されている。

次に、自動分散決定方式が設定されている場合の応援パート決定処理では、図４（Ｃ）に示すように、制御部５３は、応援割り当て番号ｉ（変数）に“１”を代入する（ステップＳ３１１）。次いで、制御部５３は、応援割り当て番号ｉが、予め定められた割り当て数Ｎ（評価対象パート数の一例）以下であるか否かを判定する（ステップＳ３１２）。制御部５３は、応援割り当て番号ｉが割り当て数Ｎ以下であると判定した場合（ステップＳ３１２：ＹＥＳ）、ステップＳ３１３へ進む。一方、制御部５３は、応援割り当て番号ｉが割り当て数Ｎ以下でないと判定した場合（ステップＳ３１２：ＮＯ）、ステップＳ３２０へ進む。ステップＳ３１３では、制御部５３は、ステップＳ２で取得された楽曲パート構成情報に示される複数の演奏パートにおいて、応援パートとして決定済の演奏パートがあるか否か判定する。制御部５３は、決定済の演奏パートがないと判定した場合（ステップＳ３１３：ＮＯ）、ステップＳ３１４へ進む。一方、制御部５３は、決定済の演奏パートがあると判定した場合（ステップＳ３１３：ＹＥＳ）、ステップＳ３１５へ進む。ステップＳ３１４では、制御部５３は、ステップＳ２で取得された楽曲パート構成情報に示される複数の演奏パートにおいて、例えば先頭（構成番号“１”）の演奏パートから最も離れた演奏パートを応援パートに決定し、ステップＳ３１９へ進む。

ステップＳ３１５では、制御部５３は、ステップＳ２で取得された楽曲パート構成情報に示される複数の演奏パートにおいて、応援パートとして決定されていない演奏パートのうち、応援パートとして決定済の演奏パートから最も離れた演奏パートを選択する。次いで、制御部５３は、ステップＳ３１５で選択された演奏パートが複数あるか否かを判定する（ステップＳ３１６）。制御部５３は、ステップＳ３１５で選択された応援パートが複数ないと判定した場合（ステップＳ３１６：ＮＯ）、ステップＳ３１５で選択された演奏パートを応援パートに決定し（ステップＳ３１７）、ステップＳ３１９へ進む。一方、制御部５３は、ステップＳ３１５で選択された演奏パートが複数あると判定した場合（ステップＳ３１６：ＹＥＳ）、選択された複数の演奏パートのうち、時系列で後にある演奏パート（つまり、構成番号が最も大きい演奏パート）を応援パートに決定し（ステップＳ３１８）、ステップＳ３１９へ進む。このように、応援パートとして決定済の演奏パートから最も離れた演奏パートが複数ある場合、時系列で後にある演奏パートが優先して応援パートに決定される。このため、より盛り上がることが期待される方の演奏パートを優先して応援パートとして決定することができる。

ステップＳ３１９では、制御部５３は、応援割り当て番号ｉを１インクリメントし、ステップＳ３１２に戻り、上記と同様の処理を行う。このように、制御部５３は、時系列で並べられた複数の演奏パートから、割り当て数Ｎに達するまで応援パートを複数回繰り返し決定する繰り返し処理を行う。制御部５３は、１回の上記繰り返し処理において、応援パートとして決定されていない演奏パートのうち、応援パートとして決定済の演奏パートから最も離れた演奏パートを応援パートに決定する。これにより、なるべく応援パートが散らばる(偏らない)ように決定することができる。また、また、直接指定方式に比べて、応援パートリストの作成コストを低減することができる。このような繰り返し処理において、例えば、図５（Ｄ）に示すように、先ず、構成番号“１２”の後奏が決定され、続いて、構成番号“１”の前奏が決定される。続いて、図５（Ｅ）に示すように、構成番号“７”のＢメロ２が決定され、続いて、構成番号“４”のサビ１が決定される。続いて、図５（Ｆ）に示すように、構成番号“１０”のＣメロ１が決定され、最後に、構成番号“９”の間奏２が決定され、これで割り当て数Ｎ（この例では、Ｎ＝６としている）に達するので、応援パートの決定は完了する。なお、図５（Ｅ）に示す段階では、構成番号“９”の間奏２と、構成番号“１０”のＣメロ１とは、それぞれ、応援パートとして決定済の演奏パートから最も離れているので、２つの演奏パートのうち、時系列で後にあるＣメロ１が優先して応援パートに決定されることになる。ステップＳ３２０では、制御部５３は、ステップＳ３１４で決定された応援パートと、ステップＳ３１７及びＳ３１８の少なくとも何れかで決定された応援パートとを示す応援パートリスト（図５（Ｆ））を生成する。

次に、音量判定方式が設定されている場合の応援パート決定処理では、制御部５３は、演奏パート別音量情報を例えば記憶部５２から取得する。演奏パート別音量情報は、例えば演奏パート毎の音量を示す。この音量は、例えば、楽曲の曲データが示す時系列の音圧振幅値を演奏パート毎に平均化（二乗平均平方根を算出）することで求めることができる。例えば、制御部５３が楽曲の曲データに基づき演奏パート別音量情報を生成してもよい。制御部５３は、演奏パート別音量情報を参照して、例えば予め定められた割り当て数（演奏パート数より少ない数）に達するまで、音量が大きい順に演奏パートを応援パートとして複数決定する。そして、制御部５３は、決定された応援パートを示す応援パートリストを生成する。楽曲には、例えば、サビなどのメロディパートが、他の演奏パートである伴奏パートより音圧振幅値が大きく設定されている場合がある。これは、その楽曲が、サビなどのメロディパートが、伴奏パートより盛り上がることを示す。すなわち、音圧振幅値が大きく設定されている演奏パートは、音圧振幅値が小さい他の演奏パートより、盛り上がるべき演奏パートであることを示す指標となる。この音量判定方式を用いた応援パート決定処理を行うと、サビなどのメロディパートが盛り上がる演奏パートとして、伴奏パートに比べて音圧振幅値が大きく設定されている場合には、盛り上がるべき演奏パートの応援動作を有効に評価することが可能となる。

ステップＳ４では、制御部５３は、選択された楽曲の再生終了を検知したか否かを判定する。例えば、楽曲再生装置１は、選択された楽曲の再生を終了すると、再生終了信号を制御装置５へ送信する。制御部５３は、楽曲再生装置１からの再生終了信号を受信すると、選択された楽曲の再生終了を検知したと判定し（ステップＳ４：ＹＥＳ）、ステップＳ５へ進む。一方、制御部５３は、楽曲の再生終了を検知していないと判定した場合（ステップＳ４：ＮＯ）、ステップＳ１に戻る。ステップＳ５では、制御部５３は、再生終了が検知された楽曲の応援パートリストを削除し、図４（Ａ）に示す処理を終了する。

（２．２ 応援ユニット制御処理）
次に、図６乃至図９を参照して、制御部５３により実行される応援ユニット制御処理の一例について説明する。図６に示す処理は、例えば制御装置５の電源入により開始され、電源切により終了する。図６に示す処理が開始されると、制御部５３は、人物が検出されたか否かを判定する（ステップＳ１０）。例えば、カメラ３は、上記部屋内で人物を検出すると、人物検出信号を制御装置５へ送信する。制御部５３は、カメラ３からの人物検出信号を受信すると、人物が検出されたと判定し（ステップＳ１０：ＹＥＳ）、ステップＳ１１へ進む。一方、制御部５３は、人物が検出されていないと判定した場合（ステップＳ１０：ＮＯ）、ステップＳ１７へ進む。

ステップＳ１１では、制御部５３は、カメラ３からＲＧＢ画像、検出ＩＤ及び部位情報を取得する。次いで、制御部５３は、ステップＳ１１で取得されたＲＧＢ画像の画像フレームを検出ＩＤに対応付けてフレームバッファに格納し、且つ、ステップＳ１１で取得された部位情報を検出ＩＤに対応付けてモーションバッファに格納する（ステップＳ１２）。次いで、制御部５３は、生成済の応援ユニット（応援ユニットテーブル）があるか否かを判定する（ステップＳ１３）。例えば、生成済の応援ユニットが例えばＲＡＭの所定領域に記憶されているか否か判定される。制御部５３は、生成済の応援ユニットがないと判定した場合（ステップＳ１３：ＮＯ）、応援ユニット生成処理を実行し（ステップＳ１４）、ステップＳ１０に戻る。一方、制御部５３は、生成済の応援ユニットがあると判定した場合（ステップＳ１３：ＹＥＳ）、ステップＳ１５へ進む。

応援ユニット生成処理では、図７（Ａ）に示すように、制御部５３は、検出された全ての人物の動作が安定状態になってから所定秒数以上経過したか否かを判定する（ステップＳ１４１）。ここで、安定状態とは、例えばステップＳ１１において、一定時間以上、同じ数の検出ＩＤが継続して取得（例えば、４つのUID1，UID2，UID3，UID4が継続して取得）される状態を意味する。制御部５３は、検出された全ての人物の動作が安定状態になってから所定秒数以上経過していないと判定した場合（ステップＳ１４１：ＮＯ）、図６に示す処理に戻る。一方、制御部５３は、検出された全ての人物の動作が安定状態になってから所定秒数以上経過したと判定した場合（ステップＳ１４１：ＹＥＳ）、応援ユニットを生成し（ステップＳ１４２）、ステップＳ１４３へ進む。

ここで、応援ユニットには、例えば図９（Ａ）に示すように、安定して検出されるようになった人物の数分のレコードが設けられる。図９（Ａ）の例では、４人分のレコードが設けられている。各レコードには、応援ユニットＩＤ、平均人物特徴量、応援キャラクタＩＤ、累積ポイント、割当キャラクタ数、再生曲中の応援ポイント、及び割当検出ＩＤ等がレコード毎に対応付けられて登録される。応援ユニットＩＤは、検出された人物の識別情報の一例である。人物特徴量は、例えば、フレームバッファに格納された画像フレームから抽出される人物の顔の特徴量である。人物の顔の特徴量は、例えば、目、鼻、口等のパーツの配置の特徴や顔の表面の凹凸の特徴を定量化した値である。また、平均人物特徴量は、連続して抽出される複数の人物特徴量を平均化した値である。平均人物特徴量を用いることで、人物を特定する精度を向上することができる。応援キャラクタＩＤは、検出された人物に対して割り当てられるキャラクタ画像を識別するための識別情報である。例えば複数の人物が検出された場合、それぞれの人物に対して異なるキャラクタ画像が例えばランダムに割り当てられる。累積ポイントは、複数の楽曲を跨いで累積された応援ポイントである。割当キャラクタ数は、累積ポイントに応じた「キャラクタ画像の数」である。図９（Ａ）の例では、累積ポイントが“５００”増える毎にキャラクタ画像が１つ複製されるようになっている。再生曲中の応援ポイントは、現在再生中の楽曲において積算された応援ポイントである。再生曲中の応援ポイントは、現在再生中の楽曲についての応援動作としての総合評価点の一例である。また、再生曲中の応援ポイントは、例えば図９（Ｂ）に示すように、応援パート決定処理で決定された応援パート毎に区別されて登録されるとよい。割当検出ＩＤは、検出された人物に対応付けられてステップＳ１１で取得された検出ＩＤであるが、常に一定であるとは限らない。つまり、上述したように、人物が検出不能となることで割当検出ＩＤが取得されなくなった後、新たな検出ＩＤが取得された場合に、平均人物特徴量に基づいて、新たな検出ＩＤが登録済の応援ユニットＩＤに対応する人物の検出ＩＤであることが特定できたとき、新たな検出ＩＤがその人物の割当検出ＩＤとして登録される。

ステップＳ１４３では、制御部５３は、キャラクタ画像の投影処理を開始し、図６に示す処理に戻る。この投影処理では、例えば、制御部５３は、応援ユニットに登録された応援ユニットＩＤそれぞれに対応付けられた累積ポイントに応じた数のキャラクタ画像の画像信号を、プロジェクター４へ再生出力することで、図３（Ａ）に示すようなキャラクタ画像Ｃ１〜Ｃ４を投影面に投影させる。

ステップＳ１５では、制御部５３は、更新タイミンングになったか否かを判定する。更新タイミングは、例えば１秒程度毎に到来するようにタイマーにより設定される。制御部５３は、更新タイミンングになったと判定した場合（ステップＳ１５：ＹＥＳ）、応援ユニット更新処理を実行し（ステップＳ１６）、ステップＳ１０に戻る。応援ユニット更新処理の詳細は後述する。一方、制御部５３は、更新タイミンングになっていないと判定した場合（ステップＳ１５：ＮＯ）、ステップＳ１０に戻る。

ステップＳ１７では、制御部５３は、生成済の応援ユニットがあるか否かを判定する。制御部５３は、生成済の応援ユニットがないと判定した場合（ステップＳ１７：ＮＯ）、所定時間待機した後にステップＳ１０に戻る。一方、制御部５３は、生成済の応援ユニットがあると判定した場合（ステップＳ１７：ＹＥＳ）、応援ユニット削除処理を実行し（ステップＳ１８）、ステップＳ１０に戻る。

応援ユニット削除処理では、図７（Ｂ）に示すように、制御部５３は、検出された人物の数が“０”である状態が所定秒数以上経過したか否かを判定する（ステップＳ１８１）。制御部５３は、検出された人物の数が“０”である状態が所定秒数以上経過していないと判定した場合（ステップＳ１８１：ＮＯ）、図６に示す処理に戻る。一方、制御部５３は、検出された人物の数が“０”である状態が所定秒数以上経過したと判定した場合（ステップＳ１８１：ＹＥＳ）、応援ユニットを全て削除し（ステップＳ１８２）、図６に示す処理に戻る。

応援ユニット更新処理では、図８（Ａ）に示すように、制御部５３は、検出ＩＤ・平均特徴量更新処理を実行する（ステップＳ１６１）。応援ユニットに登録されている割当検出ＩＤがステップＳ１１で取得されている場合の検出ＩＤ・平均特徴量更新処理では、制御部５３は、割当検出ＩＤに対応付けられた画像フレームに基づいて人物の特徴量を算出し、平均人物特徴量を更新する。一方、応援ユニットに登録されている割当検出ＩＤがステップＳ１１で取得されなくなった場合の検出ＩＤ・平均特徴量更新処理では、制御部５３は、新たな検出ＩＤを取得すると、新たな検出ＩＤに対応付けられた画像フレームに基づいて人物の特徴量を算出する。そして、制御部５３は、算出した人物の特徴量と所定値内と近い平均人物特徴量を応援ユニットから検索し、発見できた場合、発見された平均人物特徴量に、新たな検出ＩＤを割当検出ＩＤとして対応付けて応援ユニットに登録する。

次いで、制御部５３は、上記応援パート決定処理で決定された応援パートのうち、何れかの応援パートの再生終了を検知したか否かを判定する（ステップＳ１６２）。例えば、制御部５３は、楽曲の再生開始から計測している経過時間と、各演奏パートの時間長とに基づいて応援パートの再生終了を検知する。制御部５３は、応援パートの再生終了を検知していないと判定した場合（ステップＳ１６２：ＮＯ）、ステップＳ１６３へ進む。一方、制御部５３は、応援パートの再生終了を検知したと判定した場合（ステップＳ１６２：ＹＥＳ）、ステップＳ１６６へ進む。

ステップＳ１６３では、制御部５３は、上記ステップＳ１６２で判定された応援パートの再生中であるか否かを判定する。制御部５３は、応援パートの再生中でないと判定した場合（ステップＳ１６３：ＮＯ）、図６に示す処理に戻る。一方、制御部５３は、応援パートの再生中であると判定した場合（ステップＳ１６３：ＹＥＳ）、ステップＳ１６４へ進む。

ステップＳ１６４では、制御部５３は、図３（Ｂ）に示すように、応援タイミング（盛り上げタイミングの一例）を示すメッセージ１００をプロジェクター４へ出力することで、例えば図３（Ｂ）に示すようにキャラクタ画像とともに投影面に投影させる。これにより、制御部５３は、評価対象のタイミングであることを報知する。これにより、適切なタイミングで、部屋のユーザに対して、応援動作を促すことができる。なお、制御部５３は、応援タイミングを示すメッセージ１００をディスプレイＤに表示させてもよい。また、制御部５３は、評価対象のタイミングであることをスピーカＳＰから音声出力することで報知してもよい。制御部５３は、評価対象のタイミングであることに加え、評価対象の応援動作を報知してもよい。次いで、制御部５３は、応援動作判定処理を実行し（ステップＳ１６５）、図６に示す処理に戻る。

応援動作判定処理では、図８（Ｂ）に示すように、制御部５３は、応援ユニットＩＤに対応付けられた割当検出ＩＤに対応する直近の部位情報を、モーションバッファから応援ユニットＩＤ毎に取得する（ステップＳ１６５１）。ここで、直近の部位情報とは、例えば現時点（つまり、ステップＳ１５における更新タイミング）から３秒〜５秒程度遡った時点までの間にある複数の部位情報を意味する。次いで、制御部５３は、ステップＳ１６５１で取得された複数の部位情報に基づいて人物の動作（例えば、上半身の動作）を検出する（ステップＳ１６５２）。なお、人物の動作を検出するにあたりＲＧＢ画像が用いられてもよい。これにより、人物の顔のパーツ（例えば口）の動きを特定することができる。なお、人物の動作は、応援ユニットに登録されている応援ユニットＩＤ毎に検出され、検出された動作を示す動作データが応援ユニットＩＤ毎に区別されてＲＡＭの所定領域に記憶される。

次いで、制御部５３は、ＲＡＭに記憶された動作データが示す人物の動作と、各既定動作データが示す既定動作それぞれとの類似度（類似性）を算出し、類似度が最も高い既定動作を応援ユニットＩＤ毎に特定する（ステップＳ１６５３）。例えば、人物の動作と、既定動作の一つである「手を振る動作」との類似度が最も高ければ、「手を振る動作」が特定されることになる。次いで、制御部５３は、ステップＳ１６５３で特定された既定動作との類似度が所定値以上であるか否かを応援ユニットＩＤ毎に判定する（ステップＳ１６５４）。制御部５３は、上記類似度が所定値以上でないと判定した場合（ステップＳ１６５４：ＮＯ）、図６に示す処理に戻る。一方、制御部５３は、上記類似度が所定値以上であると判定した場合（ステップＳ１６５４：ＹＥＳ）、上記既定動作が行われたと判断し、ステップＳ１６５５へ進む。

ステップＳ１６５５では、制御部５３は、ステップＳ１６５３で特定された既定動作に応じた応援ポイントを、上記類似度が所定値以上であると判定された応援ユニットＩＤに対応付けられた累積ポイント及び再生曲中の応援ポイント等に加算する。このとき、図９（Ｂ）に示すように、再生中の応援パートに対応付けられた応援ポイントに、上記既定動作に応じた応援ポイントが加算される。これにより、上記既定動作が行われたと判断されたときの既定動作に応じた応援ポイントが、応援パート毎に算出されることになる。また、応援パート毎に算出された各応援ポイントの総和が再生曲中の応援ポイントとなる。例えば、ステップＳ１６５３で特定された既定動作が「手を振る動作」である場合、図２（Ｂ）に示すように、手を振る動作を示す動作データに対応付けられた応援ポイントが、累積ポイント及び再生曲中の応援ポイント等に加算される。こうして、検出された人物の動作が再生中の楽曲についての応援動作として評価される。なお、例えば、上記ステップＳ１６３で再生中であると判定された応援パートのパート種別が「サビ」であり、且つ、ステップＳ１６５３で特定された既定動作が「拍手動作」である場合を想定する。この場合、図２（Ｂ）に示す応援動作情報設定テーブルでは拍手動作データに対応付けられたパート種別にはサビが含まれていないため（つまり、サビに対する応援ポイントは“０”であるため）、ステップＳ１６５５では応援ポイントは累積ポイントには加算されないことになる。

次いで、制御部５３は、ポイント加算演出処理を実行する（ステップＳ１６５６）。ポイント加算演出処理では、制御部５３は、応援ポイントが加算されたことを演出する効果映像をプロジェクター４へ出力することで、そのような効果映像を投影面に投影させる。このような効果映像は、上記類似度が所定値以上であると判定された応援ユニットＩＤに対応付けられたキャラクタ画像の付近に投影（表示）される。次いで、制御部５３は、上記類似度が所定値以上であると判定された応援ユニットＩＤに対応付けられたキャラクタ画像に対して、ステップＳ１６５３で特定された既定動作を設定し（ステップＳ１６５７）、図６に示す処理に戻る。キャラクタ画像に対して既定動作を設定することで、キャラクタが上記既定動作を行う動画像が投影（表示）されることになる。

ステップＳ１６６では、制御部５３は、上記ステップＳ１６２で再生終了が検知された応援パートが、最後の応援パートであるか否かを判定する。最後の応援パートは、上記応援パート決定処理で決定された応援パートのうち、構成番号が最も大きい応援パートである。制御部５３は、最後の応援パートでないと判定した場合（ステップＳ１６６：ＮＯ）、ステップＳ１７０へ進む。一方、制御部５３は、最後の応援パートであると判定した場合（ステップＳ１６６：ＹＥＳ）、ステップＳ１６７へ進む。

ステップＳ１６７では、制御部５３は、応援技術加点処理を実行する。応援技術加点処理は、例えば、最後の応援パートの再生が終了した楽曲の少なくとも前半部分と後半部分とを含む複数の部分からそれぞれ少なくとも１つの演奏パート（例えば、伴奏パート）が応援パートに決定された場合に実行されるとよい。この場合、制御部５３は、上記応援パート決定処理で決定された前半部分の応援パートと、後半部分の応援パートのそれぞれにおける応援ポイントが時系列で増加しているとき、その応援ユニットＩＤに対応付けられた累積ポイント（再生曲中の応援ポイントでもよい）に、応援技術加点として、追加応援ポイント（例えば、５０点）を加算（加点）する。図９（Ｃ）の例では、決定された６つの応援パートが、序盤応援パート（前半部分の応援パート）と、中盤応援パート（中間部分の応援パート）と、終盤応援パート（後半部分の応援パート）との何れかに分類され、分類後の序盤応援パート、中盤応援パート、及び終盤応援パートそれぞれの応援ポイントが集計されている。そして、図９（Ｃ）の例では、序盤応援パートの応援ポイント＜中盤応援パートの応援ポイント＜終盤応援パートの応援ポイントの条件を満たす応援ユニットＩＤ“LOB2”に対応付けられた累積ポイントに追加応援ポイントが加算されることになる。これにより、楽曲の再生が前半部分から後半部分に進むにつれて、ユーザが応援量を増やしているなど、（一瞬の応援とは異なる）全体的な応援の仕方が上手なユーザに加点をすることができる。

次いで、制御部５３は、再生曲中の応援ポイント（つまり、確定した応援ポイント）に基づいて、最後の応援パートの再生が終了した楽曲における応援ランキング（検出された人物の応援ランキング）を決定する（ステップＳ１６８）。つまり、再生曲中の応援ポイントが高い順に高順位が応援ユニットＩＤに与えられ、応援ランキングが決定される。なお、制御部５３は、決定した応援ランキングを示す効果映像をプロジェクター４へ出力することで応援ランキングを示す効果映像（演出）を投影面に投影させる。応援ランキングにおける各順位は、例えば、それぞれに対応するキャラクタ画像に対応付けられて投影面に投影（表示）される。

次いで、制御部５３は、ステップＳ１６８で決定された応援ランキングに応じた加点処理を実行する（ステップＳ１６９）。応援ランキングに応じた加点処理では、制御部５３は、応援ランキングにおける順位が高いほど高い追加応援ポイント（例えば、１位に５０点、２位に３０点、３位に１０点）を、それぞれの応援ユニットＩＤに対応付けられた累積ポイントに加算（加点）する。次いで、制御部５３は、それぞれの応援ユニットＩＤに対応付けられた累積ポイントに応じて、キャラクタ画像の数を更新し（ステップＳ１７０）、図６に示す処理に戻る。この更新により、キャラクタ画像の数が増加すれば、投影中（表示中）のキャラクタ画像が増加することになる。

以上説明したように、上記実施形態によれば、制御装置５は、楽曲再生装置１により再生される楽曲の一部の演奏パートを、応援動作の応援パートに決定し、上記決定した応援パートの再生中に、検出された人物により既定動作が行われたと判断したとき、その人物の動作を、上記再生された楽曲についての応援動作として評価して、その結果を表示部に出力させるように構成したので、曲構成に合った盛り上げ動作を適切に評価することができる。つまり、１曲の再生中に局所的に盛り上げ動作が多く行われた場合と、１曲を通して盛り上げ動作が継続して少なく行われた場合とが、同様の判定をされてしまうことなどを回避することができる。

本発明の実施形態は、上記実施形態に限らない。応援パートの決定方法は、上記実施形態に限らない。例えば、応援パートと決定する演奏パートは、楽曲の曲調や楽曲のジャンルに応じて、異ならせてもよい。また、上記実施形態において、応援動作は、応援パートと決定された演奏パートにおいて、既定動作が行われたと判断したとき、運動動作が行われたこととして、応援ポイントに加算する処理が行われていたが、応援ポイントに加算することに限らず、応援パートと決定されていない演奏パートにおいて、所定の動作を禁止する禁止動作を設定し、禁止動作が行われたと判断したとき、歌唱の邪魔をしたとして、応援ポイントから減算する処理が行われてもよい。また、応援パートと決定された演奏パート以外の演奏パートにおいても、既定動作が行われたか否かを判断し、応援パートでない演奏パートにおいても、応援パートにおける既定動作が行われた場合の加点より低い応援ポイントを加算するものであってもよい。

１ 楽曲再生装置
２ 表示・操作デバイス
３ カメラ
４ プロジェクター
５ 制御装置

Claims (9)

1. 複数の演奏パートから構成される楽曲であって、曲再生手段により再生される楽曲を聴取する人物の動作を検出する検出手段と、
   前記曲再生手段により再生される楽曲の一部の演奏パートを、盛り上げ動作の評価対象パートに決定する決定手段と、
   前記決定手段により決定された前記評価対象パートの再生中に、前記検出手段により検出された前記人物の動作を、前記評価対象パートと対応付けられた既定動作と比較し、前記人物により前記既定動作が行われたか否かを判断する判断手段と、
   前記判断手段により前記既定動作が行われたと判断されたとき、前記人物の動作を、前記曲再生手段により再生された楽曲についての盛り上げ動作として評価する評価手段と、
   前記評価手段により評価された結果を表示部に出力させる表示制御手段と、
   を備えることを特徴とする動作評価装置。
2. 前記決定手段は、前記複数の演奏パートの中から、楽曲中の盛り上がりに関する指標が高く設定された演奏パートを前記評価対象パートに決定することを特徴とする請求項１に記載の動作評価装置。
3. 前記楽曲は、メロディパートと、前奏パート、間奏パート及び後奏パートの少なくとも何れか１つの伴奏パートとを含む前記複数の演奏パートから構成されるものであり、
   前記決定手段は、前記メロディパートと、前記伴奏パートのそれぞれ少なくとも１つの演奏パートを前記評価対象パートに決定することを特徴とする請求項１または２に記載の動作評価装置。
4. 前記決定手段は、時系列で並べられた前記複数の演奏パートから、予め定められた評価対象パート数に達するまで前記評価対象パートを複数回繰り返し決定する繰り返し処理を行うものであり、
   １回の前記繰り返し処理において、前記決定手段は、前記評価対象パートとして決定されていない前記演奏パートのうち、前記評価対象パートとして決定済の前記演奏パートから最も離れた前記演奏パートを前記評価対象パートに決定することを特徴とする請求項１乃至３の何れか一項に記載の動作評価装置。
5. 前記決定手段は、前記評価対象パートとして決定済の前記演奏パートから最も離れた前記演奏パートが複数ある場合、時系列で後にある前記演奏パートを優先して前記評価対象パートに決定することを特徴とする請求項４に記載の動作評価装置。
6. 前記楽曲は、少なくとも前半部分と後半部分とを含む複数の部分から構成されるものであり、
   前記決定手段は、少なくとも前記前半部分と前記後半部分とを含む複数の部分からそれぞれ少なくとも１つの演奏パートを前記評価対象パートに決定し、
   前記評価手段は、前記既定動作が行われたと判断されたときの前記既定動作に応じた評価点を、前記評価対象パート毎に算出し、算出した各評価点の総和である総合評価点であって前記楽曲についての盛り上げ動作としての総合評価点を算出し、前記決定手段により前記複数の部分からそれぞれ決定された前記評価対象パートのそれぞれにおける前記評価点が時系列で増加しているとき、前記総合評価点に追加評価点を加算することを特徴とする請求項１乃至５の何れか一項に記載の動作評価装置。
7. 前記楽曲は、前奏パート、間奏パート及び後奏パートの少なくとも何れか２つの伴奏パートを含む前記複数の演奏パートから構成されるものであり、
   前記決定手段は、前奏パート、間奏パート及び後奏パートの少なくとも何れか２つの伴奏パートを前記評価対象パートに決定し、
   前記評価手段は、前記既定動作が行われたと判断されたときの前記既定動作に応じた評価点を前記評価対象パート毎に算出し、算出した各評価点の総和である総合評価点であって前記楽曲についての盛り上げ動作としての総合評価点を算出し、前記決定手段により決定された少なくとも何れか２つの前記評価対象パートのそれぞれにおける前記評価点が時系列で増加しているとき、前記総合評価点に追加評価点を加算することを特徴とする請求項１乃至５の何れか一項に記載の動作評価装置。
8. 前記表示制御手段は、前記決定手段により決定された前記評価対象パートの再生中に、評価対象のタイミングであることを報知することを特徴とする請求項１乃至７の何れか一項に記載の動作評価装置。
9. 複数の演奏パートから構成される楽曲であって、曲再生手段により再生される楽曲を聴取する人物の動作を検出する検出ステップと、
   前記曲再生手段により再生される楽曲の一部の演奏パートを、盛り上げ動作の評価対象パートに決定する決定ステップと、
   前記決定ステップにより決定された前記評価対象パートの再生中に、前記検出ステップにより検出された前記人物の動作を、前記評価対象パートと対応付けられた既定動作と比較し、前記人物により前記既定動作が行われたか否かを判断する判断ステップと、
   前記判断ステップにより前記既定動作が行われたと判断されたとき、前記人物の動作を、前記曲再生手段により再生された楽曲についての盛り上げ動作として評価する評価ステップと、
   前記評価ステップにより評価された結果を表示部に出力させる表示制御ステップと、
   をコンピュータに実行させることを特徴とするプログラム。