WO2012053371A1

WO2012053371A1 - アミューズメントシステム

Info

Publication number: WO2012053371A1
Application number: PCT/JP2011/073131
Authority: WO
Inventors: 基康田中
Original assignee: 株式会社メガチップス
Priority date: 2010-10-20
Filing date: 2011-10-06
Publication date: 2012-04-26
Also published as: US9601118B2; US20130185069A1

Abstract

　臨場感の高いライブ演奏を疑似的に体験することができる技術を提供することを課題とする。本体装置（２）は、楽曲データ（３５）と、観客の映像が記録された観客映像データ（３６）とを再生する。ユーザは、マイク（４）を持って、モニタ（３）に表示された観客に対してライブパフォーマンスを行う。マイク（４）は、音声データ（４Ａ）と、マイク（４）の動き情報（４２Ａ）を本体装置（２）に送信する。本体装置（２）は、ユーザが特定のフレーズを呼び掛け、かつ、特定のフレーズに対応する動作をした場合、ユーザがライブパフォーマンスを行った判定する。本体装置（２）は、ライブパフォーマンスに対する観客の反応を示す映像及び音声が記録されたリアクションデータを再生する。

Description

アミューズメントシステム

　本発明は、ユーザが再生される楽曲データに合わせて歌を歌うことができるアミューズメントシステムに関する。

　カラオケでは、ユーザが選択した楽曲の演奏に合わせて歌を歌う形式が一般的である。カラオケ装置のモニタには、ユーザが選択した楽曲の歌詞が、楽曲の演奏の進行に合わせて表示される。これにより、ユーザは、選択した楽曲の歌詞を全て覚えていなくても、カラオケを楽しむことができる。モニタに表示される歌詞の背景には、歌を歌うキャラクタの映像や、楽曲のイメージに合わせた映像などが表示される。

　カラオケは、家族あるいは友人同士などの少人数のグループで楽しむことが多い。カラオケを盛り上げるために、歌を歌うユーザが好みのタイミングで効果音などを発生することができる装置が特許文献１に開示されている。

　下記特許文献１に係る電子パーカッション装置は、マラカスなど打楽器の形状をしており、加速度センサを備えている。電子パーカッション装置は、楽曲の間奏が演奏されているときなど、自装置を操作することができるタイミングを、ＬＥＤを点灯させることによりユーザに通知する。ＬＥＤの点灯期間内にユーザが電子パーカッション装置を振ることによって、パーカッション音が再生される。

　カラオケを盛り上げるために、歌を歌うユーザに照明をあてることができるカラオケ装置が、特許文献２に開示されている。

　下記特許文献２に係るカラオケ装置は、送信器と、カラオケ端末機と、照明器具とを備える。カラオケ端末機は、ユーザが選択した楽曲を再生する。ユーザは、再生される楽曲に合わせて、送信器を持ちながら歌を歌う。送信器は、照明器具の照射方向を制御する姿勢制御信号を照明器具に送信する。照明器具は、照射方向を姿勢制御信号の飛来方向に変更する。

特開２００４－２８７０２０号公報特開平１１－１３４６１１号公報

　上述したように、カラオケは、少人数のグループで楽しむことが多い。ユーザが歌う歌を聞く人は、カラオケに参加した家族あるいは友人等に限られる。つまり、カラオケでは、ライブのシンガーのように、多くの観客に自分の歌を聴いてもらうという体験をすることができない。

　カラオケでは、歌を歌うユーザ以外の他のユーザは、歌を聴いたり、次に歌う楽曲を探したりすることが多い。つまり、カラオケを少人数のグループで楽しむ場合であっても、グループのメンバー全員がカラオケを楽しむことはできない。特許文献２に係るカラオケ装置は、歌を歌うユーザが送信器を保持することにより、歌うユーザに照明をあてることができる。しかし、他のユーザは、照明を操作することができないため、カラオケに積極的に参加することはできない。

　本発明のアミューズメントシステムは、本体装置と、ユーザが保持し、ユーザが入力した音声を音声データとして出力する音声入力装置と、音声データに対する音声認識処理を行って、ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、音声入力装置は、音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、を含み、本体装置は、ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、フレーズ情報及び第１動き情報の少なくとも一方に基づいて、ユーザのパフォーマンスを特定するパフォーマンス特定部と、聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、再生リアクションデータの再生を再生部に指示する反応指示部と、を含む。

　また、本発明のアミューズメントシステムは、本体装置と、ユーザが保持し、ユーザが入力した音声を音声データとして出力する音声入力装置と、ユーザを撮影して映像データを出力する撮像装置と、音声データに対する音声認識処理を行って、ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、本体装置は、ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、映像データを解析してユーザの動きを示す第１動き情報を生成する映像解析部と、フレーズ情報及び第１動き情報の少なくとも一方に基づいて、ユーザのパフォーマンスを特定するパフォーマンス特定部と、聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、再生リアクションデータの再生を再生部に指示する反応指示部と、を含む。

　ユーザは、表示された聴衆に対してライブ演奏を提供するシンガーとして振る舞いながら、カラオケを楽しむことができるため、臨場感の高いライブ演奏を疑似的に体験することができる。

　また、本発明のアミューズメントシステムは、選択された楽曲データを再生する本体装置と、第１ユーザのパフォーマンスに応じたパフォーマンス情報を生成するパフォーマンス情報生成装置と、第２ユーザの操作に応じて、第１ユーザのパフォーマンスの演出を指示する演出指示情報を生成する演出指示装置と、を備え、本体装置は、楽曲データとパフォーマンス情報とに基づいて、第１ユーザのパフォーマンスの状況を示すパフォーマンス状況データを生成し、演出指示情報に応じてパフォーマンス状況データの生成条件を変更するパフォーマンス状況データ生成部と、演出指示情報を参照して第１ユーザのパフォーマンスの演出内容を評価し、第１ユーザのパフォーマンスを観覧する観客の反応を示す反応データの生成を、評価結果に基づいてパフォーマンス状況データ生成部に指示する演出評価部と、パフォーマンス状況データと反応データとを再生する再生部と、を備える。

　第２ユーザは、演出指示装置を操作することにより、第１ユーザのパフォーマンスの演出を行うことが可能となる。したがって、第２ユーザは、第１ユーザとともに、仮想的なライブを楽しむことが可能となる。

　本発明の目的は、臨場感の高いライブ演奏を疑似的に体験することができるアミューズメントシステムを提供することである。

　また、本発明の目的は、歌を歌うユーザと、他のユーザとが一緒に楽しむことができるアミューズメントシステムを提供することである。

　この発明の目的、特徴、局面、及び利点は、以下の詳細な説明と添付図面によって、明白となる。

本発明の第１の実施の形態によるカラオケシステムの全体図である。図１に示す本体装置の機能ブロック図である。図１に示すマイクの機能ブロック図である。図１に示すコントローラの機能ブロック図である。図１に示す本体装置の動作の流れを示すフローチャートである。図１に示すモニタの画面に表示される観客の映像を示す図である。図１に示すモニタの画面内の観客に対して観客煽りを行う手順を示す図である。図１に示すモニタの画面内の観客に対して観客煽りを行う手順を示す図である。図１に示すモニタの画面内の観客に対して合唱を先導する手順を示す図である。図１に示すモニタの画面内の観客に対して合唱を先導する手順を示す図である。図１に示すモニタの画面内の観客に対して手拍子を先導する手順を示す図である。図１に示すモニタの画面内の観客に対して手拍子を先導する手順を示す図である。図１に示すモニタの画面内の観客に対してウェーブ（両手を大きく振る動作）を先導する手順を示す図である。図１に示すモニタの画面内の観客に対してウェーブを先導する手順を示す図である。図１に示すカラオケシステムを使用するユーザの動きを示す図である。図１に示すモニタに表示される設定画面を示す図である。本発明の第２の実施の形態によるカラオケシステムの全体図である。図１３に示すマイク及びリモートコントローラの使用方法を示す図である。図１３に示す本体装置の機能ブロック図である。図１３に示すリモートコントローラの機能ブロック図である。図１３に示す本体装置の動作を示すフローチャートである。図１３に示す本体装置により、入場者の反応を示すライブデータが再生されたときの映像を示す図である。図１３に示すリモートコントローラに表示される楽曲紹介用の演出インタフェースを示す図である。図１３に示すリモートコントローラに表示されるミキサ操作用の演出インタフェースを示す図である。図１５に示す楽曲データの構成を示す図である。図１３に示すリモートコントローラに表示される花火打ち上げ用の演出インタフェースを示す図である。図１３に示すモニタに表示される映像を示す図である。図１３に示すリモートコントローラに表示される照明指示用の演出インタフェースを示す図である。図１３に示すリモートコントローラに表示される照明指示用の演出インタフェースを示す図である。図１３に示すリモートコントローラの操作方法を示す図である。図１３に示すリモートコントローラに表示される映像を示す図である。

　［第１の実施の形態］
　以下、図面を参照しつつ、本発明の第１の実施の形態について説明する。本実施の形態では、アミューズメントシステムの一例として、カラオケシステムについて説明する。

　｛１．カラオケシステム１００の全体構成｝
　図１は、カラオケシステム１００の全体図である。カラオケシステム１００は、本体装置２と、モニタ３と、マイク４と、コントローラ５とを備える。

　本体装置２は、カラオケシステム１００の全体制御を行う処理装置であり、ユーザが選択した楽曲に対応する楽曲データ及び映像データを再生する。ユーザは、図示しないリモコンを用いて、カラオケで歌う楽曲を選択する。

　モニタ３は、液晶ディスプレイなどであり、本体装置２から出力される映像を表示する。モニタ３は、図示しないスピーカを備えており、本体装置２により再生される楽曲データを音声として出力する。

　マイク４は、ユーザが歌を歌うときに音声を入力する音声入力装置である。マイク４は、自装置の動きを検出する動き検出機能を有し、ユーザの動きを示す動き情報を本体装置２に送信する。

　コントローラ５は、自装置の動きを検出する動き検出機能を有しており、動き情報を本体装置２に送信する。ユーザは、一方の手にマイク４を持ち、他方の手にコントローラ５を持って歌を歌う。図１に示す例では、コントローラ５は、直方体状の形状であるが、リストバンドのように、ユーザの腕にはめることができる形状であってもよい。この場合、ユーザがコントローラ５を誤って落とすことを防止できる。

　本体装置２は、ユーザが選択した楽曲の演奏音を出力するとともに、大勢の観客が入場したライブ会場の様子が記録された映像をモニタ３に表示する。つまり、モニタ３には、ライブ会場のステージに立つシンガー（ユーザ）を見ている大勢の観客の映像が表示される。

　ユーザは、選択した楽曲の歌を歌うだけでなく、マイク４を通して画面３ａ内の観客に呼び掛けたり、マイク４を観客に向けたりすることにより、観客に対して様々なライブパフォーマンスを行う。本体装置２は、マイク４及びコントローラ５から送信される動き情報に基づいて、ユーザの両手の動きを検出する。本体装置２は、マイク４に入力された音声や、マイク４及びコントローラ５の動き情報に基づいて、ユーザのライブパフォーマンスを特定する。特定されたライブパフォーマンスに対する観客の反応を示す映像が、モニタ３に表示される。このように、ユーザは、カラオケシステム１００を利用することにより、実際にライブ会場でライブを行うシンガーのように振る舞うことができるため、臨場感の高いライブ演奏を疑似的に体験することができる。

　次に、本体装置２の構成について説明する。図２は、本体装置２の機能的構成を示すブロック図である。本体装置２は、無線通信部２１と、データ取得部２２と、再生部２３と、音声認識部２４と、パフォーマンス特定部２５と、反応指示部２６と、記憶部２７と、出力部２８とを備える。

　無線通信部２１は、マイク４及びコントローラ５と無線通信を行い、マイク４及びコントローラ５から動き情報４２Ａ，５１Ａを取得する。無線通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信などを利用することができる。

　データ取得部２２は、ユーザが選択した楽曲に対応する楽曲データ３５、観客映像データ３６、複数のリアクションデータ３７，３７・・・を、インターネット等を介して楽曲サーバ（図示省略）から取得する。楽曲データ３５は、ユーザが選択した楽曲の演奏音を記録したデータである。観客映像データ３６は、ライブ会場に入場した大勢の観客（聴衆）の状況を示す聴衆状況データであり、観客の映像及び音声を記録したデータである。ここで、聴衆とは、ユーザが楽曲に合わせて歌う歌をライブ会場で鑑賞する人々を指し、観客を含む概念である。リアクションデータ３７は、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである。リアクションデータ３７は、複数のライブパフォーマンスのうちいずれか一つに対応するとともに、観客の反応レベルのいずれか一つに対応する。反応レベルの詳細については、後述する。

　本実施の形態では、大勢の観客の状況を示す聴衆状況データとして、観客映像データ３６を用いる例を説明する。しかし、大勢の観客（聴衆）の状況を示す音声データを用いてもよい。具体的には、観客映像データ３６に代えて、観客（聴衆）の歓声などが記録された音声データなどを用いることができる。

　再生部２３は、データ取得部２２が取得した楽曲データ３５及び観客映像データ３６を再生する。音声認識部２４は、マイク４から送信された音声データ４Ａに対し音声認識処理を行い、ユーザがマイク４に入力したフレーズを検出する。音声認識部２４は、検出したフレーズを示すフレーズ情報２４Ａを出力する。

　パフォーマンス特定部２５は、フレーズ情報２４Ａと、動き情報４２Ａ，５１Ａとに基づいて、ユーザが行ったライブパフォーマンスを特定する。パフォーマンス特定部２５は、フレーズ情報２４Ａが特定のフレーズ（シンガーが観客に呼び掛けるフレーズ）を含み、かつ、ユーザが特定のフレーズに対応した動作を行ったと判断した場合、ユーザがライブパフォーマンスを行ったと判断する。

　反応指示部２６は、特定されたライブパフォーマンスに対する観客の反応レベルを決定する。特定されたライブパフォーマンスと観客の反応レベルとに基づいて、観客のリアクションを示すリアクションデータ３７が選択される。反応指示部２６は、観客の反応レベルに基づいて、選択されたリアクションデータ３７の再生条件を決定する。再生条件とは、選択したリアクションデータ３７の再生時の音量などである。反応指示部２６は、選択したリアクションデータ３７を、決定した再生条件で再生することを再生部２３に指示する。

　記憶部２７は、ハードディスク装置などであり、データ取得部２２が取得した楽曲データ３５、観客映像データ３６及びリアクションデータ３７，３７，・・・を格納する。出力部２８は、再生部２３により生成された音声及び映像を、モニタ３に出力する。

　次に、マイク４の構成について説明する。図３は、マイク４の機能的構成を示すブロック図である。マイク４は、音声入力部４１と、センサ部４２と、無線通信部４３とを備える。

　音声入力部４１は、ユーザが発する音声を入力して電気信号に変換し、音声データ４Ａを出力する。センサ部４２は、マイク４の動きの変化を検出する加速度センサを備えており、マイク４の動きを示す動き情報４２Ａを出力する。センサ部４２は、加速度センサの他に、地磁気センサやジャイロスコープなどを備えていてもよい。無線通信部４３は、本体装置２と無線通信を行い、音声データ４Ａ及び動き情報４２Ａを本体装置２に送信する。

　次に、コントローラ５の構成について説明する。図４は、コントローラ５の機能的構成を示すブロック図である。コントローラ５は、センサ部５１と、無線通信部５２とを備える。センサ部５１は、マイク４のセンサ部４２と同様に加速度センサを備えており、コントローラ５の動きを示す動き情報５１Ａを出力する。無線通信部５２は、本体装置２と無線通信を行い、動き情報５１Ａを本体装置２に送信する。

　なお、カラオケシステム１００は、ユーザの動きを撮影するカメラを備えていてもよい。この場合、本体装置２は、映像データを解析してユーザの動きを検出する画像解析部を備える。カメラは、たとえば、モニタ３の上に設置され、ユーザを撮影した映像データをリアルタイムに本体装置２に出力する。画像解析部は、映像データを解析して、ユーザの動きを示す動き情報を生成して出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａと、画像解析部から出力される動き情報とに基づいて、ユーザが行ったライブパフォーマンスを特定する。この場合、カラオケシステム１００は、コントローラ５を備える必要はなく、マイク４にセンサ部４２を設けなくてもよい。

　｛２．本体装置２の動作｝
　以下、ユーザのライブパフォーマンスに応じて、モニタ３から出力される観客の映像及び音声が変更される処理について、本体装置２の動作を中心に説明する。以下の説明では、マイク４及びコントローラ５から送信される動き情報４２Ａ，５１Ａを用いる例について説明する。カメラを用いてユーザの動きを検出する場合であっても、同様の処理が行われる。

　図５は、本体装置２の動作を示すフローチャートである。最初に、ユーザは、図示しないリモコンを操作して、カラオケで歌いたい楽曲を選択する。データ取得部２２は、ユーザにより選択された楽曲に対応する楽曲データ３５と、観客映像データ３６と、リアクションデータ３７，３７，・・・とを楽曲サーバから取得して、記憶部２７に格納する（ステップＳ１）。

　再生部２３は、楽曲データ３５及び観客映像データ３６の再生を開始する（ステップＳ２）。これにより、ユーザが選択した楽曲の演奏音と、ライブ会場でライブを楽しむ観客の映像及び歓声とが、モニタ３から出力される。

　図６は、多くの観客の映像が表示されたモニタ３を示す図である。ユーザは、画面３ａに多くの観客の映像が表示されたモニタ３の前に立つことにより、画面３ａ内の多くの観客と向かい合う。ユーザは、モニタ３に映し出された観客に対して、疑似的にライブを行う。すなわち、ユーザは、ライブを行うシンガーとして、歌を歌いながら、様々なライブパフォーマンスを行うことができる。

　本体装置２は、楽曲データ３５の再生が終了するまで（ステップＳ３においてＹｅｓ）、ステップＳ４～ステップＳ９の処理を繰り返し実行する。

　マイク４は、音声入力部４１に入力された音声フレーズを、音声データ４Ａとしてリアルタイムに本体装置２に送信している。本体装置２が音声データ４Ａを受信した場合（ステップＳ４においてＹｅｓ）、音声認識部２４は、音声データ４Ａに対する音声認識処理を実行する（ステップＳ５）。音声認識部２４は、ユーザの発した音声フレーズを記録したフレーズ情報２４Ａを出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａに基づいて、ユーザが画面３ａ内の観客に対して特定のフレーズを呼び掛けた否かを判定する（ステップＳ６）。

　フレーズ情報２４Ａが特定のフレーズを含まない場合（ステップＳ６においてＮｏ）、マイク４に入力された音声は、ユーザの歌声であると判定される。本体装置２は、ステップＳ３の処理に戻る。一方、フレーズ情報２４Ａが特定のフレーズを含む場合（ステップＳ６においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが観客に特定のフレーズを呼び掛けたと判断する。そして、パフォーマンス特定部２５は、ユーザが特定のフレーズに応じた動きをしたか否かを、動き情報４２Ａ，５１Ａに基づいて確認する。

　マイク４は、センサ部４２が出力する動き情報４２Ａを本体装置２にリアルタイムに送信する。同様に、コントローラ５は、センサ部５１が出力する動き情報５１Ａを本体装置２にリアルタイムに送信する。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに基づいて、特定のフレーズに応じた動きをユーザが行ったか否かを判定する（ステップＳ７）。

　特定のフレーズに応じた動きが検出されなかった場合（ステップＳ７においてＮｏ）、本体装置２は、ステップＳ３の処理に戻る。

　特定のフレーズに応じた動きが検出された場合（ステップＳ７においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してライブパフォーマンスを行ったと判定する。ユーザが行うライブパフォーマンスとして、観客煽り、観客の合唱の先導、手拍子の先導などが挙げられる。

　反応指示部２６は、フレーズ情報２４Ａ及び動き情報４２Ａ，５１Ａを用いて、ユーザのライブパフォーマンスに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、ユーザが行ったライブパフォーマンスと、反応レベルとに基づいて、リアクションデータ３７を選択する。たとえば、反応レベルが高い場合、反応指示部２６は、ユーザのライブパフォーマンスに対して全観客が反応する映像が記録されたリアクションデータ３７を選択する。

　反応指示部２６は、選択されたリアクションデータ３７の再生を、再生部２３に対して指示する。再生部２３は、指示されたリアクションデータ３７を、再生中の楽曲データ３５とともに再生する（ステップＳ９）。この結果、ユーザのライブパフォーマンスに対する観客のリアクションが画面３ａに表示されるとともに、楽曲の演奏音と、観客の歓声とが重なってモニタ３から出力される。

　反応指示部２６は、リアクションデータ３７の再生条件を反応レベルに応じて変更してもよい。たとえば、反応レベルが高ければ、観客の歓声の音量を大きくしてもよい。反応レベルが低ければ、観客の歓声の音量を小さくしたり、観客の歓声が記録されたデータの再生速度を遅くしたりしてもよい。

　図５に示すフローチャートでは、音声データ４Ａから特定のフレーズを検出した後に、検出した特定のフレーズに応じた動きが行われたか否かを判定している。しかし、ライブパフォーマンスの種別に応じて、ステップＳ４～Ｓ６の処理の順序と、動き検出（ステップＳ７）の処理の順序とを入れ替え序とを入れ替えてもよい。特定のフレーズ及びユーザの動きのいずれか一方に基づいて、ユーザのライブパフォーマンスを特定してもよい。

　本実施の形態では、観客映像データ３６と、リアクションデータ３７とが異なるデータである例を説明しているが、これに限られない。たとえば、観客映像データ３６の各観客をオブジェクト化してもよい。この場合、本体装置２は、特定されたライブフォーマンと反応レベルとに基づいて、各観客オブジェクトの動きを変更する。たとえば、本体装置２は、特定されたライブパフォーマンスに対する観客の反応として、各観客オブジェクトの動作や歓声を変更することができる。また、反応指示部２６は、反応レベルに応じて、ユーザのライブパフォーマンスに対して反応する観客オブジェクトの割合を変化させることができる。

　｛３．ライブパフォーマンスの具体例｝
　以下、本体装置２が検出することができるライブパフォーマンスの具体例について説明する。

　｛３．１．観客煽り｝
　図７Ａ及び図７Ｂは、ユーザが画面３ａ内の観客３１に対して観客煽りを行う手順を示す図である。図７Ａ及び図７Ｂでは、画面３ａ内の観客３１の動きを分かりやすく説明するために、画面３ａ内に一人の観客３１のみを表示している。実際には、再生部２３が観客映像データ３６を再生することにより、ライブ会場と、ライブ会場に来ている多数の観客３１とが画面３ａに表示される。図７Ａ、図７Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。

　観客煽りとは、ライブ中のシンガーが質問形式のフレーズを観客に対して呼びかけ、観客がシンガーに対して一斉に返事をするというライブパフォーマンスである。ユーザは、楽曲の前奏あるいは間奏が再生されているときなどに、観客煽りを行うことができる。

　本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用し、コントローラ５から送信される動き情報５１Ａを使用しない。

　本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、特定のフレーズの検出を先に行う。図７Ａに示すように、ユーザは、最初に、マイク４をユーザ自身に向けながら、たとえば、「のってるかーい？」という質問形式の特定のフレーズ（以下、「煽りフレーズ」と呼ぶ。）をマイク４に入力する。マイク４は、煽りフレーズを音声データ４Ａとして本体装置２に送信する。

　音声認識部２４は、受信した音声データ４１Ａに対して音声認識処理を行って（ステップＳ５）、フレーズ情報２４Ａを生成する。パフォーマンス特定部２５には、シンガーがライブパフォーマンスの際に観客に呼び掛ける様々なフレーズが設定されている。パフォーマンス特定部２５は、フレーズ情報２４Ａと、設定された様々なフレーズとを比較することにより、ユーザが煽りフレーズを観客に呼び掛けたと判断する（ステップＳ６においてＹｅｓ）。

　ユーザは、ユーザ自身に向けたマイク４に煽りフレーズを入力した後に、マイク４をユーザ自身の方向から画面３ａの方向に向ける。つまり、ユーザは、矢印４５（図７Ａ参照）に示すように、マイク４の向きを反転させる。マイク４のセンサ部４２は、ユーザの動きに応じた動き情報４２Ａを生成する。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、煽りフレーズがマイク４に入力され（ステップＳ６においてＹｅｓ）、かつ、マイク４の向きが反転されたことから（ステップＳ７においてＹｅｓ）、ユーザがライブパフォーマンスとして観客煽りを行ったと判定する。

　反応指示部２６は、ユーザが行った観客煽りに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、煽りフレーズが入力された音声入力タイミングと、マイクの反転が検出された動き検出タイミングとの時間差（検出時間差）に基づいて、反応レベルを決定する。音声入力タイミングは、フレーズ情報２４Ａに含まれている。動き検出タイミングは、動き情報４２Ａに含まれている。

　反応指示部２６には、反応レベルが最大となる、音声検出タイミングと動き検出タイミングとの時間差（理想時間差）が設定されている。反応指示部２６は、理想時間差と、検出時間差とのずれの大きさに基づいて反応レベルを決定する。たとえば、ずれが小さい場合、反応指示部２６は、観客煽りがスムーズに行われたと判断して、反応レベルを高くする。一方、マイクを反転させるタイミングが遅い場合など、ずれが大きい場合、煽りフレーズに対する観客の反応がばらつくと考えられる。この場合、反応レベルは低下する。また、反応指示部２６は、ユーザが観客煽りを、楽曲データ３５のどの再生位置で行ったかを考慮して、反応レベルを決定してもよい。

　反応指示部２６は、観客煽りに対するリアクションデータ３７を、決定した反応レベルに基づいて、記憶部２７に格納されたリアクションデータ３７，３７，・・・の中から選択する。反応レベルが高ければ、観客全員が観客煽りに対して反応する映像が記録されたリアクションデータ３７が選択される。反応レベルが低ければ、観客煽りに対して反応する観客の数が少ない映像が記録されたリアクションデータ３７が選択される。

　反応指示部２６は、選択したリアクションデータ３７の再生を、再生部２３に指示する。このとき、選択されたリアクションデータ３７の再生条件も、再生部２３に通知される。再生条件は、観客煽りに対する反応レベルに基づいて決定される。たとえば、反応レベルが高ければ、リアクションデータ３７の再生時の音量が大きくなる。反応レベルが低ければ、リアクションデータ３７の再生時の音量を小さくしたり、観客の歓声の再生速度を小さくしたりすることができる。

　再生部２３は、再生中の楽曲データに合わせて、反応指示部２６に指示されたリアクションデータ３７を再生する（ステップＳ９）。この結果、図７Ｂに示すように、観客煽りに対する観客の反応として、画面３ａ内の観客３１が右手を挙げる様子が画面３ａに表示されるとともに、「イェーイ！」という観客の歓声が再生される。実際には、画面３ａには、多くの観客が一斉に観客煽りに対して反応する様子が表示されるため、ユーザは、ライブ会場でのライブパフォーマンスを疑似的に体験することができる。観客煽りのやり方によっては、ライブ会場内の観客３１の反応が大きく変化するため、ユーザは、実際にライブを行うシンガーと同様の緊張感を楽しむことが可能となる。

　｛３．２．合唱の先導｝
　ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対して、ユーザが歌っている楽曲の合唱を先導することができる。図８Ａ及び図８Ｂは、ユーザが観客の合唱を先導する手順を示す図である。

　図８Ａ及び図８Ｂは、図７Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図８Ａ、図８Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。

　本体装置２は、合唱を先導するライブパフォーマンスが行われたと判定する場合には、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用する。コントローラ５から送信される動き情報５１Ａは、合唱の先導の判定に用いられない。

　図８Ａに示すように、楽曲データ３５が再生されている間、画面３ａには、ライブ会場の観客の映像と、再生されている楽曲の歌詞３２とが表示されている。再生されている楽曲の中で観客の合唱が可能な部分（たとえば、楽曲のサビの部分）に対応する歌詞３２が、図８Ａに示すように、四角い枠で囲まれて表示される。これにより、ユーザは、合唱を先導するタイミングを知ることができる。

　本体装置２は、ライブパフォーマンスとして合唱の先導を特定する場合、ユーザが合唱を観客に呼び掛ける音声フレーズ（以下、「合唱フレーズ」と呼ぶ。）を先に検出する。ユーザは、マイク４をユーザ自身に向けながら、たとえば、「一緒に歌おう！」という合唱フレーズをマイク４に入力する。マイク４は、入力された合唱フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが合唱フレーズを呼び掛けたと判定する（ステップＳ６においてＹｅｓ）。

　ユーザは、合唱フレーズをマイク４に入力した後に、マイク４を画面３ａの方向（矢印４５の方向）へ反転させる。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、合唱フレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから（ステップＳ７においてＹｅｓ）、ユーザがライブパフォーマンスとして合唱を先導していると判定する。

　反応指示部２６は、ユーザが行った合唱の先導に対する反応レベルを決定する。反応レベルの決定手順については、上記と同様であるため、その説明を省略する。

　反応指示部２６は、観客が合唱をするリアクションデータ３７，３７，・・・のうち、決定した反応レベルに対応するリアクションデータ３７の再生を指示する。リアクションデータ３７の再生条件も再生部２３に通知される。これにより、合唱する観客の数や合唱の音量は、反応レベルに応じて変化する。図８Ｂに示すように、ユーザが行った合唱の要求に対する反応として、画面３ａ内の観客３１，３１が肩を組んで合唱する様子が表示される。また、ユーザが合唱を先導した歌詞に対応する観客の歌声が、モニタ３から出力される。実際には、画面３ａには、多くの観客が一斉に合唱をする様子が表示されるため、ユーザは、ライブ会場で、観客と一緒に歌を歌うというライブパフォーマンスを疑似的に体験することができる。

　観客の合唱は、ユーザがマイク４を動かさない限り継続される。ユーザは、観客の合唱を停止させる場合、マイク４を画面３ａの方向からユーザ自身の方向へ反転させる。パフォーマンス特定部２５は、リアクションデータ３７の再生中にマイク４の向きが反転した場合、合唱を先導が終了したと判定する。これにより、楽曲データ３５及び観客映像データ３６の再生が再開される。

　｛３．３．手拍子の先導｝
　ユーザは、ライブパフォーマンスとして、画面３ａ内の観客３１に対して手拍子を先導する動作を行うことができる。図９Ａ及び図９Ｂは、ユーザが画面３ａ内の観客３１，３１に対して手拍子を先導する手順を示す図である。

　図９Ａ及び図９Ｂは、図７Ａと同様に、画面３ａ内の観客３１の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図９Ａ、図９Ｂにおいて、本体装置２の表示を省略している。本体装置２は、手拍子の先導を検出する場合、マイク４から送信される音声データ４Ａ、動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。

　図９Ａに示すように、楽曲データ３５が再生されている間、ユーザは、ライブパフォーマンスとして手拍子を先導することができる。本体装置２は、手拍子の先導を検出する場合、手拍子を先導する音声フレーズ（以下、「手拍子フレーズ」と呼ぶ。）を先に検出する（ステップＳ６においてＹｅｓ）。

　具体的には、ユーザは、マイク４に手拍子フレーズを入力する。手拍子フレーズは、たとえば、「みんな、手拍子よろしく！！」などである。マイク４は、入力された手拍子フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対して、手拍子フレーズを呼び掛けたと判定する。

　ユーザは、手拍子フレーズをマイク４に入力した後に、手拍子を先導する動作を行う。図９Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ３５）のリズムに合わせて手拍子をする。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、手拍子の動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。

　パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、マイク４及びコントローラ５が左右に繰り返し動き、かつ、マイク４が動く方向とコントローラ５が動く方向とが反対方向である場合、パフォーマンス特定部２５は、ユーザが手拍子の動作をしていると判断することができる（ステップＳ７においてＹｅｓ）。つまり、パフォーマンス特定部２５が、手拍子フレーズと、手拍子の動作とを検出することにより、ユーザが手拍子を先導していると判断する。

　反応指示部２６は、手拍子フレーズを検出したタイミングと、手拍子の動きを検出したタイミングとに基づいて、観客の反応レベルを決定する（ステップＳ８）。反応レベルの決定手順は、基本的には、観客煽りの反応レベルの決定と同様である。また、反応指示部２６は、動き情報４２Ａ，５１Ａを用いて、ユーザの手拍子のリズムを算出し、算出したリズムに基づいて、反応レベルを決定してもよい。たとえば、反応指示部２６は、楽曲の演奏音のリズムとユーザの手拍子のリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。

　反応指示部２６は、観客が手拍子をするリアクションデータ３７，３７・・・のうち、決定した反応レベルに対応するリアクションデータ３７の再生を指示する。リアクションデータ３７の再生条件も、再生部２３に通知される。これにより、楽曲データ３５とともに、観客が手拍子をするリアクションデータ３７が再生されることにより（ステップＳ９）、図９Ｂに示すように、画面３ａ内の観客３１，３１が頭上で手拍子をする映像が表示される。画面３ａに表示する観客のうち、手拍子をする観客の割合は、反応レベルによって変化する。また、手拍子の音量も、反応レベルに基づいて決められた再生条件によって変化する。

　このように、ユーザが手拍子をする動きに合わせて、画面３ａ内の観客３１，３１が手拍子をする映像が表示されるため、ユーザは、ライブ会場で、観客と一体となって手拍子をするというライブパフォーマンスを疑似的に体験することができる。

　｛３．４．ウェーブ（両手を大きく振る動作）の先導｝
　ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対してウェーブを先導する動作を行うことができる。ウェーブとは、ライブ会場の観客が、ライブ中の楽曲に合わせて両手を左右に大きく振る動作である。図１０Ａ及び図１０Ｂは、ユーザがウェーブを先導する手順を示す図である。

　図１０Ａ及び図１０Ｂは、図９Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図１０Ａ、図１０Ｂにおいて、本体装置２の表示を省略している。本体装置２は、ウェーブの先導を検出する場合、マイク４から送信される音声データ４Ａ，動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。

　図１０Ａに示すように、楽曲データ３５が再生されている間、ユーザは、ライブパフォーマンスとしてウェーブを先導することができる。本体装置２は、ウェーブの先導を検出する場合、ウェーブを呼び掛ける音声フレーズ（以下、「ウェーブフレーズ」と呼ぶ。）を先に検出する。

　具体的には、ユーザは、ウェーブフレーズをマイク４に入力する。ウェーブフレーズは、たとえば、「みんな、両手を大きく振って！！」である。マイク４は、入力されたウェーブフレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してウェーブフレーズを呼び掛けたと判定する（ステップＳ６においてＹｅｓ）。

　ユーザは、ウェーブフレーズをマイク４に入力した後に、ウェーブの動作を行う。図１０Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ３５）のリズムに合わせて、頭上で両手を大きく振る。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、ウェーブの動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。

　パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、パフォーマンス特定部２５が、マイク４及びコントローラ５が左右に繰り返し大きく動く動作を検出し、かつ、マイク４が動く方向と、コントローラ５が動く方向と一致する場合、ユーザがウェーブの動作をしていると判断する。

　反応指示部２６は、ユーザがウェーブの先導をしていると判定した場合（ステップＳ７においてＹｅｓ）、観客の反応レベルを決定する（ステップＳ８）。ユーザが両手を振るリズムに基づいて、反応レベルが決定される。たとえば、反応指示部２６は、楽曲の演奏音のリズムと、ユーザのウェーブのリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。

　反応指示部２６は、観客がウェーブをするリアクションデータ３７，３７，・・・のうち、決定した反応レベルに対応するリアクションデータ３７の再生を指示する。再生部２３は、楽曲データ３５とともに、観客がウェーブをするリアクションデータ３７を再生する（ステップＳ９）。この結果、図１０Ｂに示すように、画面３ａ内の観客３１，３１が頭上でウェーブをする映像が表示される。画面３ａに表示する観客のうち、ウェーブをする観客の割合は、反応レベルによって変化する。

　ユーザは、ライブパフォーマンスとして手拍子またはウェーブを先導する場合、手拍子フレーズまたはウェーブフレーズを画面３ａ内の観客に対して呼びかけなくてもよい。たとえば、本体装置２は、手拍子フレーズを検出せず、ユーザが手拍子をする動作のみを検出した場合であっても、観客が手拍子をするリアクションデータ３７を再生してもよい。

　ユーザは、コントローラ５を用いず、マイク４のみを用いて、手拍子またはウェーブを先導してもよい。パフォーマンス特定部２５は、マイク４が繰り返し左右に動いている場合に、ユーザが手拍子またはウェーブを先導していると判定すればよい。このとき、手拍子とウェーブとの違いは、ユーザがマイク４を左右に動かす大きさに基づいて区別すればよい。

　｛３．５．入場及び退場｝
　ユーザは、ライブパフォーマンスとして、画面３ａに表示されているライブ会場に疑似的に入場したり、退場したりすることができる。

　最初に、ユーザがライブ会場に疑似的に入場するケースについて説明する。図１１は、ユーザがライブ会場に疑似的に入場する手順を示す図である。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに代えて、マイク４からの無線信号の有無に基づいてユーザの動きを検出する。

　ユーザは、楽曲データ３５の再生が開始される前に、本体装置２が設置された部屋から出て待機する。このとき、本体装置２の無線通信部２１は、マイク４から送信される無線信号を検出することができない。

　楽曲データ３５の再生が開始された後に、ユーザは、マイク４を持って、カラオケシステム１００が設置された部屋へ入る。無線通信部２１は、ユーザが入室した場合、マイク４からの無線信号を検出することができる。パフォーマンス特定部２５は、楽曲データ３５の再生が開始された後に、マイク４からの無線信号を検出した場合、ユーザがライブ会場に入場したと判定する。

　ユーザがライブ会場に入場したと判定された場合、反応指示部２６は、観客の反応レベルを決定する。反応指示部２６は、マイク４からの無線信号を検出したタイミングに基づいて、観客の反応レベルを決定する。

　反応指示部２６は、シンガーの入場時の観客の反応を示すリアクションデータ３７の再生を、再生部２３に指示する。このとき、リアクションデータ３７の再生条件も、再生部２３に指示される。再生部２３は、ユーザの入場に合わせて、観客が大きく盛り上がる映像と、観客の歓声とが記録されたリアクションデータ３７を再生する。観客の歓声の音量は、再生条件に応じて変更される。

　次に、ユーザのライブ会場からの退場について説明する。ユーザは、ライブ会場から疑似的に退場する場合、マイク４を持って部屋から退出する。無線通信部２１がマイク４からの無線信号を検出することができなった場合、パフォーマンス特定部２５は、ユーザがライブ会場から退出したと判定する。

　反応指示部２６は、ユーザがライブ会場から退場したと判定された場合、観客の反応レベルを決定する。反応指示部２６は、ユーザがライブ会場から退場したタイミングや、ユーザが退場するまでに行われたライブパフォーマンスの反応レベルに基づいて、退場時の反応レベルを決定する。反応レベルが高ければ、反応指示部２６は、観客がアンコールを要求するリアクションデータ３７の再生を再生部２３に指示する。一方、反応レベルが低ければ、反応指示部２６は、観客の歓声の音量を小さくするように再生部２３に指示したり、観客がブーイングをするリアクションデータ３７の再生を再生部２３に指示したりすることができる。

　また、マイク４に、ユーザが入場及び退場したことを通知するスイッチを設けてもよい。この場合、入場スイッチが押された場合、マイク４は、入場信号を本体装置２に送信する。退場スイッチが押された場合、マイク４は、退場信号を本体装置２に送信する。本体装置２は、入場信号及び退場信号の受信に応じて、観客の反応を変化させる。これにより、ユーザは、本体装置２が設置された部屋から出入りしなくてもよい。

　このように、ユーザは、歌を歌い出す前、あるいは、歌を歌い終わった後であっても、ライブの臨場感を疑似的に体験することが可能となる。

　｛３．６．その他のライブパフォーマンス｝
　ユーザは、上述したライブパフォーマンスの他に、様々なライブパフォーマンスを行うことができる。

　たとえば、ユーザは、コントローラ５を持つ左手を大きく回しながら、右手にマイク４を持って歌ってもよい。この場合、コントローラ５は、コントローラ５が回転する動きを示す動き情報５１Ａを、本体装置２に送信する。パフォーマンス特定部２５は、動き情報５１Ａに基づいて、ユーザの左手の動きを特定する。この場合、ユーザの動きに合わせて観客が左手を回す映像が記録されたリアクションデータが、楽曲データ３５とともに再生される。

　ユーザは、上述のライブパフォーマンスを組み合わせたパフォーマンスを行ってもよい。たとえば、ユーザは、ライブパフォーマンスとして、合唱の先導とウェーブの先導とを同時に行ってもよい。ユーザは、合唱フレーズをマイク４に入力した後に、図１０Ｂに示すウェーブの動作を行う。パフォーマンス特定部２５は、検出した合唱フレーズに基づいて、ユーザが合唱を先導していると判定し、検出したユーザの両手の動きに基づいてウェーブを先導していると判定する。この結果、画面３ａには、観客がウェーブをする映像が表示される。また、再生中の楽曲の演奏音と、観客が合唱する歌声とが、同時にモニタ３から出力される。

　｛４．ライブパフォーマンス以外の機能｝
　｛４．１．観客指定機能｝
　ユーザは、カラオケシステム１００を用いてカラオケをする場合、ライブ会場の観客の客層を指定することができる。ユーザは、設定した客層に応じたライブパフォーマンスを行う必要がある。

　図１２は、ライブの客層を設定する設定画面を示す図である。ユーザは、図示しないリモコンを操作して、観客の客層を性別、年齢に基づいて設定する。性別設定では、ユーザは、男性主体、女性主体、及び中間のいずれかを指定する。男性主体は、観客の男性の比率が、８０％に設定されることを示す。女性主体は、観客の女性の比率が、８０％に設定されることを示す。中間とは、観客の男性の比率と女性との比率が５０％ずつであることを示す。年齢設定では、ユーザは、１５～２５歳、２５～４５歳、及び４５歳以上のいずれかから選択する。年齢設定により、ユーザが選択した年齢層の観客の比率が、７０％に設定される。この結果、楽曲データ３５とともに、設定された客層に応じた観客映像データ３６が再生される。

　客層が設定された場合、観客の反応レベルは、ユーザが選択した楽曲や、ユーザが行うライブパフォーマンスに応じて変化する。このため、ユーザは、観客の客層を意識して、ライブパフォーマンスを行う必要がある。たとえば、ユーザは、４５歳以上で女性主体の客層を指定した場合、比較的ゆっくりとしたテンポの楽曲を選択し、観客に対して激しい動きを要求しないライブパフォーマンス（ウェーブ先導など）を行うことによって、反応レベルを上げることができる。一方、同様の客層でハードロック系の楽曲を先導し、ライブパフォーマンスとして観客煽りを繰り返し行った場合、観客の反応レベルは低くなる。このように、観客の客層を設定することにより、ユーザは、様々な観客を対象にしたライブを疑似的に経験することができる。

　｛４．２．対戦モード｝
　カラオケシステム１００は、複数のユーザがライブパフォーマンスの出来を競い合う対戦モードを実行することができる。以下、対戦モードの実行時における、本体装置２の動作について説明する。

　対戦モードでは、二人のユーザが交互にライブパフォーマンスを行う。ここでは、歌詞が３番まである楽曲を用いて、対戦が行われるケースを説明する。最初に、第１のユーザが、ライブパフォーマンスを行いながら、楽曲の１番を歌う。次に、第２のユーザがライブパフォーマンスを行いながら、楽曲の２番を歌う。このとき、第１のユーザ及び第２のユーザは、マイク４及びコントローラ５を共用する。しかし、複数のマイク４及びコントローラ５を、対戦モードを行う人数分用意してもよい。

　各ユーザが行うライブパフォーマンスは、本体装置２により採点される。第１のユーザ及び第２のユーザのうち、得点の高いユーザが、演奏中の楽曲の３番を歌うことができる。

　ライブパフォーマンスの採点方法について説明する。上述したように、本体装置２は、ユーザが行ったライブパフォーマンスを行うたびに反応レベルを決定している。本体装置２は、第１のユーザがライブパフォーマンスを行うたびに、決定した反応レベルに基づいて各パフォーマンスを採点する。第１ユーザが行ったライブパフォーマンスごとの点数の総和が、第１ユーザの得点として算出される。第２ユーザの得点も、同様に算出される。

　第２のユーザがライブパフォーマンスを終了した後に、各ユーザの得点が画面３ａに表示される。勝者となったユーザが、楽曲の３番でライブパフォーマンスを行うことができる。このように、対戦モードを設けることにより、複数のユーザがライブパフォーマンスを競い合うという新たなカラオケシステムを提供することができる。

　｛５．変形例｝
　マイク４及びコントローラ５は、バイブレーション機能を備えていてもよい。たとえば、本体装置２の反応指示部２６は、観客の反応レベルが一定のレベルを超えた場合、マイク４及びコントローラ５に振動指示信号を送信する。マイク４及びコントローラ５は、振動指示信号を受信した場合、一定の時間（３秒程度）、自装置を振動させる。これにより、ユーザは、画面３ａ内の観客の映像だけでなく、マイク４及びコントローラ５を介して観客の反応を知ることができる。

　本体装置２は、ライブ会場の選択機能を設けてもよい。この場合、ユーザは、図示しないリモコンを操作することにより、アリーナ、野球場、及びコンサートホールなどをライブ会場として選択することができる。本体装置２は、選択された会場に応じた観客映像データを再生する。これにより、ユーザは、ライブのシンガーとして、様々なライブ会場でのライブパフォーマンスを疑似的に経験することができる。

　図２に示すように、本体装置２が音声認識部２４を備える例を説明したが、マイク４が音声認識部２４を備えていてもよい。マイク４は、フレーズ情報２４Ａが音声認識部２４により生成されるたびに、生成されたフレーズ情報２４をリアルタイムに本体装置２に送信する。

　リアクションデータ３７が、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである例を説明した。しかし、リアクションデータ３７は、聴衆の反応を示す音声のみが記録されたデータであってもよい。たとえば、観客煽りに対する観客の歓声や、手拍子の先導に対する手拍子、聴衆のブーイングなどが記録されたデータを、リアクションデータ３７として用いることができる。

　リアクションデータ３７は、上述のような、ライブパフォーマンスに対する観客の動作を具体的に示すデータでなく、観客の反応を象徴的に示すデータであってもよい。たとえば、リアクションデータ３７として、ライブ会場から複数の打ち上げ花火が上がる映像が記録されたデータを用いることができる。反応指示部２６が反応レベルに応じて打ち上げ花火の数を変更することにより、ユーザは、ライブパフォーマンスに対する観客の反応を知ることができる。あるいは、反応指示部２６は、反応レベルが低いときのリアクションデータ３７として、観客のいないライブ会場の映像が記録されたデータや、荒れ狂う海が記録されたデータを選択してもよい。

　［第２の実施の形態］
　以下、本発明の第２の実施の形態について説明する。

　｛１．カラオケシステム２００の全体構成｝
　図１３は、カラオケシステム２００の全体図である。図１３に示すように、カラオケシステム２００は、本体装置６と、モニタ７と、マイク８と、リモートコントローラ９とを備える。

　本体装置６は、カラオケシステム２００の全体制御を行う処理装置である。本体装置６は、ユーザが選択した楽曲データを再生するとともに、仮想的なライブの映像を出力する。

　モニタ７は、液晶ディスプレイなどであり、本体装置６から出力される仮想的なライブの映像を表示する。つまり、モニタの画面７ａには、大勢の観客が入場したライブ会場の様子が記録された映像が表示される。モニタ７は、図示しないスピーカを備えており、本体装置６により再生される楽曲データを音声として出力する。

　マイク８は、ユーザが歌を歌うときに音声を入力する音声入力装置である。マイク８は、ユーザが入力する音声を音声データとして本体装置６に出力する。

　リモートコントローラ９は、ユーザがカラオケで楽曲を選択するときに用いる装置である。リモートコントローラ９は、楽曲データが再生されているときに、仮想的なライブの演出を指示する演出指示装置として機能する。リモートコントローラ９を演出指示装置として用いる場合、マイク８を持つユーザとは別のユーザが、リモートコントローラ９を操作する。

　図１４は、カラオケシステム２００におけるマイク８及びリモートコントローラ９の使用方法を示す図である。図１４では、本体装置６の表示を省略している。ユーザ１１は、マイク８を持って、本体装置６により再生される楽曲に合わせて歌を歌う。画面７ａには、仮想的なライブ会場でライブを行うキャラクタとして、ボーカル７５とギタリスト７６とが表示される。マイク８を持つユーザ１１は、仮想的なライブにおいて、ボーカル７５を担当する。

　ユーザ１２は、リモートコントローラ９を操作して、仮想的なライブの演出を行う。つまり、ユーザ１２は、ライブの演出担当者として、画面７ａに表示される仮想的なライブの映像や音声を変化させる。ユーザ１２は、歌を歌わないときであっても、ユーザ１１とともに仮想的なライブを盛り上げることができる。このように、ユーザ１１，１２は、歌を歌うシンガーや演出担当者など、ライブにおける様々な役割を担当して仮想的なライブを盛り上げることができるため、カラオケを一緒に楽しむことができる。

　図１５は、本体装置６の機能的構成を示すブロック図である。図１５に示すように、本体装置６は、無線通信部６１と、データ取得部６２と、記憶部６３と、ライブデータ作成部６４と、再生部６５と、演出評価部６６と、演出インタフェース作成部６７とを備える。

　無線通信部６１は、マイク８及びリモートコントローラ９と無線通信を行う。無線通信部６１は、マイク８が生成した音声データ８Ａを受信する。無線通信部６１は、リモートコントローラ９が生成した音声データ９Ａ及び演出指示情報７４を受信する。無線通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信などを利用することができる。

　データ取得部６２は、ユーザが選択した楽曲に対応する楽曲データ７１を図示しない楽曲サーバから取得する。楽曲データ７１は、ユーザが選択した楽曲の演奏音を記録したデータである。

　記憶部６３は、ハードディスク装置などであり、楽曲データ７１と、会場データ７２とを記憶する。会場データ７２は、仮想的なライブの映像及び音声が記録されたライブデータ７３を作成する際に用いられる。会場データ７２は、ボーカル７５、ギタリスト７６、ライブ会場の入場者などのオブジェクトデータを含む。会場データ７２は、ライブ会場の構造を示すデータとして、ステージや客席などの位置関係を示すデータを含む。

　ライブデータ作成部６４は、マイク８から入力される音声データ８Ａと、楽曲データ７１と、会場データ７２とを用いて、仮想的なライブ会場で行われるライブの映像及び音声が記録されたライブデータ７３を作成する。ライブの映像は、ライブ会場のステージだけでなく、入場者や、ライブ会場全体の様子を示す映像を含む。ライブの音声は、楽曲データ７１の再生音及びユーザ１１の音声だけでなく、入場者の歓声、ユーザ１２に操作に基づく演出音などを含む。

　ライブデータ作成部６４は、リモートコントローラ９から送信される演出指示情報７４に基づいて、ライブデータ７３の作成条件を変更する。演出指示情報７４は、仮想的なライブにおける演出内容を指示した情報であり、リモートコントローラ９から送信される。

　再生部６５は、ライブデータ７３を再生して、ライブの映像及び音声をモニタ７に出力する。

　演出評価部６６は、演出指示情報７４に基づいて、ライブの演出に対する評価を行う。演出評価部６６は、評価結果に基づいて、ライブの演出に対して反応する入場者の様子を示すライブデータ７３の作成を指示する。評価結果に基づいて、入場者が大きな歓声を上げたり、入場者がブーイングをしたりするライブデータ７３が作成される。

　演出インタフェース作成部６７は、ユーザ１２が選択した演出方法に応じた演出インタフェースを作成する。演出インタフェースは、リモートコントローラ９のタッチパネル式ディプレイ９４（図１６参照）に表示される。

　図１６は、リモートコントローラ９の機能的構成を示すブロック図である。図１６に示すように、リモートコントローラ９は、音声入力部９１と、センサ部９２と、無線通信部９３と、タッチパネル式ディプレイ９４と、演出内容指示部９５とを備える。

　音声入力部９１は、ユーザが発する音声を入力して電気信号に変換し、音声データ９Ａを出力する。センサ部９２は、リモートコントローラ９の動きの変化を検出する加速度センサを備えており、リモートコントローラ９の動きを示す動き情報９２Ａを出力する。センサ部９２は、加速度センサの他に、地磁気センサやジャイロスコープなどを備えていてもよい。

　無線通信部９３は、本体装置６と無線通信を行い、音声データ９Ａ及び演出指示情報７４を本体装置６に送信する。タッチパネル式ディプレイ９４は、演出インタフェースを表示する。ユーザ１２は、タッチパネル式ディプレイ９４に表示された演出インタフェースを利用して、仮想的なライブに対する演出を指示する。

　演出内容指示部９５は、本体装置６から送信される演出インタフェースをタッチパネル式ディスプレイ９４に表示させる。演出内容指示部９５は、ユーザ１２による演出インタフェースの操作に基づいて、演出指示情報７４を作成して本体装置６に送信する。演出インタフェースの詳細は、後述する。

　｛２．演出処理の概要｝
　以下、ユーザ１２によるリモートコントローラ９の操作に応じて、仮想的なライブの演出が行われる処理について、本体装置６の動作を中心に説明する。図１７は、本体装置６の動作を示すフローチャートである。

　最初に、ユーザ１１が、リモートコントローラ９を操作して、カラオケで歌いたい楽曲データ７１を選択する。データ取得部６２は、選択された楽曲データ７１を楽曲サーバ（図示省略）から取得する（ステップＳ２１）。データ取得部６２は、取得した楽曲データ７１を記憶部６３に格納する。会場データ７２は、記憶部６３に予め格納されている。

　ライブデータ作成部６４は、楽曲データ７１と会場データ７２とを用いて、ライブデータ７３の作成を開始する（ステップＳ２２）。具体的には、ライブデータ作成部６４は、会場データ７１を用いて、仮想的なライブ会場の映像が記録された映像データを作成する。ライブデータ作成部６４は、作成した映像データと、楽曲データ７１とを含むデータを、ライブデータ６３として再生部６５に出力する。

　本体装置６がマイク８から音声データ８Ａを受信した場合、ライブデータ作成部６４は、音声データ８Ａを含むライブデータ６３を作成する。これにより、ユーザ１１の歌が、モニタ７から出力される。ライブデータ作成部６４は、楽曲データ７１の前奏や、サビが再生されるタイミングに合わせて、入場者の歓声などが記録された音声データをライブデータ７３に含めてもよい。

　再生部６５は、ライブデータ作成部６４が作成したライブデータ７３の再生を開始する（ステップＳ２３）。ライブデータ７３が再生されることにより、仮想的なライブの映像が画面７ａに表示され、楽曲データ７１の再生音がモニタ７のスピーカから出力される。

　本体装置６は、楽曲データ７１の再生が終了するまで（ステップＳ２４においてＹｅｓ）、ステップＳ２５～ステップＳ２８の処理を繰り返し実行する。図１４に示すように、楽曲データ７１が再生されている間、ユーザ１１は、マイク８を持って歌を歌う。ユーザ１２は、リモートコントローラ９を操作して、仮想的なライブの演出を行う。リモートコントローラ９は、ユーザ１２の操作に応じた演出指示情報７４を作成し、リアルタイムに本体装置６に送信する。

　本体装置６が演出指示情報７４を受信した場合（ステップＳ２５においてＹｅｓ）、ライブデータ作成部６４は、演出指示情報７４に基づいて、ライブデータ７３の作成条件を変更する（ステップＳ２６）。ライブデータ作成部６４は、演出指示情報７４に基づいて変更した作成条件に基づいて、ライブデータ７３を作成する（ステップＳ２７）。たとえば、演出指示情報７４が、花火の打ち上げを指示する情報であった場合、ライブデータ７３は、ライブ会場に花火が打ち上げられる様子を示す映像を作成する。ユーザ１２が仮想的なライブにおいて演出できる内容の詳細は、後述する。

　演出評価部６６は、演出指示情報７４が入力されたタイミング、及び演出指示情報７４により指示された演出の内容などに基づいて、演出に対する評価を行う（ステップＳ２８）。たとえば、楽曲データ７１のサビの部分が再生されているときに、花火が打ち上げられた場合、演出評価部６６は、入場者を盛り上げることができたと判断して、ユーザ１２の演出に対して高い点数を付与する。

　ライブデータ７３の再生が終了した（楽曲データ７１の再生が終了した）場合（ステップＳ２４においてＹｅｓ）、演出評価部６６は、ユーザ１２の演出に対して付与された点数を合計する（ステップＳ２９）。演出評価部６６は、点数の合計値に基づいて、入場者の反応を示すライブデータ７３の作成を指示する。ライブデータ作成部６４により作成されたライブデータ７３が、再生部６５により再生される（ステップＳ３０）。

　図１８は、入場者の反応を示すライブデータ７３が再生されたときのモニタ７の映像を示す図である。合計値が予め設定されたしきい値よりも高ければ、図１８に示すように、入場者全員が拍手をする映像が、画面７ａに表示され、入場者の歓声が、モニタ７のスピーカから出力される。総得点が低ければ、入場者がブーイングをする映像及び音声が、モニタ７から出力される。

　これにより、ユーザ１２は、仮想的なライブの演出に対する評価を知ることができる。ユーザ１２の演出に対する評価がライブ会場の入場者の反応として示されるため、ユーザ１２は、実際のライブの演出を行うときのような緊張感を持ちながら、リモートコントローラ９を操作することができる。

　演出評価部６６は、ユーザ１２の演出に対する評価を行うたびに、評価結果に応じたライブデータ７３の生成をライブデータ作成部６４に指示してもよい。この場合、ライブデータ作成部６４は、演出指示情報７４に対応するライブデータ７３を作成した後に、演出評価部６６が付与した点数に対応するライブデータ７３（入場者の反応を示すデータ）を作成する。ユーザ１２がライブの演出を指示するたびに、ライブの演出に対する入場者の反応が、モニタ７から出力される。したがって、ユーザ１２は、リモートコントローラ９を操作するたびに、仮想的なライブに対する演出の評価を知ることができる。

　｛３．演出の具体例｝
　以下、ユーザ１２がリモートコントローラ９を操作することにより、仮想的なライブで行うことができる演出の具体例として、楽曲紹介、ミキサ操作、花火打ち上げ、照明指示について説明する。

　｛３．１．楽曲紹介｝
　楽曲紹介は、ユーザ１２がライブの司会者として、ユーザ１１が歌う楽曲を紹介する演出方法である。

　楽曲紹介が行われる手順について、詳しく説明する。ユーザ１２は、リモートコントローラ９を操作して、演出方法の選択画面（図示省略）をタッチパネル式ディスプレイ９４に表示させる。ユーザ１２が「楽曲紹介」を選択することにより、楽曲紹介用の演出インタフェースが、タッチパネル式ディスプレイ９４に表示される。

　図１９は、楽曲紹介用の演出インタフェース２７１が表示されたリモートコントローラ９を示す図である。ユーザ１２が楽曲紹介を選択した場合、演出内容指示部９５は、演出インタフェース２７１の表示を本体装置６に要求する。演出インタフェース作成部６７は、演出内容指示部９５の要求に応じて、演出インタフェース２７１を作成してリモートコントローラ９に送信する。これにより、図１９に示すように、演出インタフェース２７１が、タッチパネル式ディスプレイ９４に表示される。

　演出インタフェース２７１には、ユーザ１２が楽曲紹介をするための原稿データ２７１Ａが表示される。演出インタフェース作成部６７には、様々なパターンの原稿データ２７１Ａ，２７１Ａ・・・が設定されている。演出インタフェース作成部６７は、ユーザ１１が選択した楽曲データ７１の前奏の長さや、楽曲データ７１のジャンルなどに基づいて原稿データ２７１Ａを選択する。選択された原稿データ２７１Ａに基づいて、演出インタフェース２７１の画面データが作成される。

　ユーザ１１により選択された楽曲データ７１の再生が開始された場合、ライブデータ作成部６４は、図１４に示すように、ステージに立つボーカル７５やギタリスト７６などのキャラクタの映像が記録されたライブデータ７３を作成する。このとき、ライブデータ作成部６４は、ボーカル７５などとともに、ユーザ１２に対応する司会者の映像が記録されたライブデータ７３を作成してもよい。

　ユーザ１２は、楽曲データ７１の前奏の再生が終了するまでに、演出インタフェース２７１に表示された原稿データ２７１Ａを音読することにより、ユーザ１１が歌う楽曲を紹介する。

　具体的には、音声入力部９１は、ユーザ１２の音声を入力して音声データ９Ａを生成する。演出内容指示部９５は、音声データ９Ａを、演出指示情報７４としてリアルタイムに本体装置６へ送信する。ライブデータ作成部６４は、音声データ９Ａを含むライブデータ７３を作成して再生部６５に出力する。これにより、楽曲紹介の音声が、モニタ７のスピーカから出力される。ユーザ１２は、演出インタフェース２７１に表示された原稿データ２７１Ａを読み終わった場合（楽曲紹介が終了した場合）、終了ボタン２７１Ｂにタッチする。これにより、演出内容指示部９５は、楽曲紹介が終了したことを示す演出指示情報７４（紹介終了通知）を、本体装置６に送信する。

　演出評価部６６は、紹介終了通知に基づいてユーザ１２が行った楽曲紹介を評価する。具体的には、演出評価部６６は、前奏が終了するタイミング（ユーザ１１が歌い出す直前）に、楽曲紹介が終了した場合、ユーザ１２が行った楽曲紹介に対して高い点数を付与する。このとき、演出評価部６６は、楽曲紹介が終了したタイミングと、前奏が終了したタイミングとの差が小さいほど、楽曲紹介に対して付与する点数を高くしてもよい。前奏が終了するまでに楽曲紹介が終了しない場合、演出評価部６６は、楽曲紹介に対して点数を付与しない。

　ライブデータ作成部６４は、付与された点数に基づいて、ライブ会場の入場者の反応を示すライブデータ７３を作成する。たとえば、点数が高い場合、ライブデータ作成部６４は、図１８に示すように、入場者全員が拍手する映像が記録されたライブデータ７３を作成する。

　演出評価部６６は、ユーザ１２が原稿を誤ることなく読めたかどうかを判定することにより、楽曲紹介を評価してもよい。たとえば、演出評価部６６は、音声データ９Ａに対して音声認識処理を行うことにより、ユーザ１２が音声入力部９１に入力したフレーズを特定する。演出評価部６６は、特定したフレーズと、演出インタフェース２７１に表示された原稿データ２７１Ａとを比較することにより、原稿の読み誤りがあるか否かを判定することができる。

　演出評価部６６は、ユーザ１２が原稿を読むリズムに基づいて、ユーザ１２が行う楽曲紹介を評価してもよい。この場合、演出評価部６６は、音声データ９Ａに基づいて、ユーザ１２が原稿を読むリズムを検出する。前奏のリズムと、原稿を読むリズムとのずれが小さい場合、演出評価部６６は、楽曲紹介に対して高い点数を付与してもよい。

　このように、ユーザ１２は、司会者としてライブの演出を行うことにより、カラオケで歌を歌わなくても、ライブの緊張感を疑似的に体験することができる。

　｛３．２．ミキサ操作｝
　ミキサ操作は、楽曲データ７１の再生条件を変更したり、マイク８のオン、オフを切り替えたりすることにより、ライブで演奏される楽曲の出力条件を調整する演出方法である。ユーザ１２は、タッチパネル式ディスプレイ９４に表示される仮想的なミキサを操作することにより、ライブの演出を行う。

　図２０は、ミキサ操作に対応する演出インタフェース２７２が表示されたリモートコントローラ９を示す図である。ユーザ１２は、リモートコントローラ９を操作して、「ミキサ操作」を選択する。演出内容指示部９５は、ユーザ１２の選択に応じて、ミキサ操作用の演出インタフェース２７２の表示を本体装置６に要求する。演出インタフェース作成部６７は、ミキサ操作に用いる演出インタフェース２７２を作成して、リモートコントローラ９に送信する。これにより、図２０に示す演出インタフェース２７２が、リモートコントローラ９に表示される。

　図２１は、楽曲データ７１の構成を示す図である。図２１に示すように、楽曲データ７１は、ギター、ベース、キーボード、及びバックコーラスの各パートに対応したパートデータ７１ａ～７１ｄにより構成される。ユーザ１２は、演出インタフェース２７２を操作して、パートデータ７１ａ～７１ｄの音量を調整することができる。

　図２０に示すように、演出インタフェース２７２には、マイク８及び各パートに対応する音量コントローラ２７２ａ，２７２ａ，・・・と、ミュートボタン２７２ｂ，２７２ｂ，・・・と、ミュート解除ボタン２７２ｃ，２７２ｃ，・・・とが表示される。音量コントローラ２７２ａは、マイク８または各パートの音量を調節するためのインタフェースである。ミュートボタン２７２ｂは、マイク８または各パートをミュートにするためのインタフェースである。ミュート解除ボタン２７２ｃは、マイク８または各パートのミュートを解除するためのインタフェースである。図２０では、マイク８または各パートにおいて、ミュートが指示された場合、ミュートボタン２７２ｂがハッチングで表示される。ミュートの解除が指示された場合、ミュート解除ボタン２７２ｃがハッチングで表示される。

　演出内容指示部９５は、ユーザ１２による演出インタフェース２７２の操作に応じた演出指示情報７４を作成し、本体装置６にリアルタイムに送信する。ミキサ操作に対応する演出指示情報７４は、音量調節の対象となるパートを指定する情報と、指定されたパートの音量を指示する情報とを含む。ライブデータ作成部６４は、ミキサ操作に対応する演出指示情報７４に基づいて、マイク８またはパートデータ７１ａ～７１ｄの音量を調節したライブデータ７３を作成する。

　たとえば、ユーザ１２は、演出インタフェース２７２を用いて、マイク８の音量を調節することができる。楽曲データ７１の再生が開始されるとき、ユーザ１２は、マイク８に対応するミュートボタン２７２ｂにタッチする。マイク８のミュートを指示する演出指示情報７４が、本体装置６に送信される。ライブデータ作成部６４は、マイク８のミュートが指示された場合、マイク８から送信される音声データ８Ａ（図１５参照）を、ライブデータ７３に含めない。ユーザ１１がマイク８に音声を入力したとしても、ユーザ１１の音声は、モニタ７から出力されない。

　ユーザ１２は、楽曲データ７１の前奏が終了するタイミングで、マイク８に対応するミュート解除ボタン２７２ｃにタッチする。マイク８のミュートの解除を指示する演出指示情報７４が、本体装置６に送信される。ライブデータ作成部６４は、音声データ８Ａを含むライブデータ７３を作成する。これにより、ユーザ１１の歌声が、モニタ７から出力される。

　ユーザ１２は、ギターのソロ演奏が行われるときに、ミキサ操作を行ってもよい。たとえば、ライブデータ作成部６４は、ギターのソロ演奏の開始タイミングと終了タイミングとを示すメッセージを付加した映像を作成することにより、ギターのソロ演奏の開始タイミングと終了タイミングとをユーザ１２に通知する。

　ユーザ１２は、ソロ演奏が開始されるタイミングで、マイク４と、ギターを除く他のパートとに対応するミュートボタン２７２ｂにタッチする。ユーザ１２は、ギターの音量が大きくなるように、音量コントローラ２７２ａをスライドさせることにより、パートデータ７１ａの音量を大きくしてもよい。ギターソロが終了するタイミングで、ユーザ１２は、マイク８と、ギターを除く各パートとに対応するミュート解除ボタン２７２ｃにタッチする。これにより、通常の演奏を再開させることができる。

　演出評価部６６は、演出指示情報７４により指示される音量調節の内容や、音量調節が指示されたタイミングなどに基づいて、ミキサ操作の演出に対する評価を行う。たとえば、上述のように、ユーザ１２が、前奏が終了するタイミングでマイク８のミュートを解除した場合、ミキサ操作に対して付与される点数が高くなる。このとき、演出評価部６６は、前奏が終了するタイミングと、マイク８のミュートが解除されたタイミングとの時間差が小さいほど、付与する点数を高くすればよい。前奏が終了してもマイク８のミュートが解除されない場合、ユーザ１１の歌声が、仮想的なライブ会場に流れないため、付与される点数が低くなる。

　また、ユーザ１２は、各パートの音量を適切なレベルに調節することにより、ハウリングがライブ会場で発生することを防止することができる。音量コントローラ２７２ａ，２７２ａ，・・・の全ての音量レベルが所定レベル（たとえば、２以上）となった場合、ライブデータ作成部６４は、ハウリングの音声を含むライブデータ７３を作成する。この場合、演出評価部６６は、ユーザ１２がミキサの操作を誤ったと判断して、ミキサ操作に付与された点数を減点する。

　図２０では、各パートとマイク８の音量調節機能のみを有する演出インタフェース２７２を示している。しかし、一般に用いられるオーディオミキサのように、演出インタフェース２７２は、各パートデータの再生時の周波数特性を変更するイコライザ機能などを有していてもよい。

　このように、マイク８や、楽曲の各パートの音量調節をリアルタイムで行うことができる。したがって、ユーザ１２は、仮想的なライブの音響担当者としてリモートコントローラ９を操作することにより、ユーザ１１と一緒にカラオケを楽しむことができる。

　｛３．３．花火の打ち上げ｝
　花火の打ち上げは、楽曲データ７１の再生中に仮想的なライブ会場に花火を打ち上げる演出方法である。ユーザ１２は、花火打ち上げ用の演出インタフェースを操作することにより、ライブ会場で打ち上げられる花火の種類と、花火の打ち上げタイミングとを指示することができる。

　図２２は、花火打ち上げ用の演出インタフェース２７３が表示されたリモートコントローラ９を示す図である。演出内容指示部９５は、ユーザ１２の選択に応じて、花火の打ち上げ制御用の演出インタフェース２７３の表示を本体装置６に要求する。演出インタフェース作成部６７は、演出インタフェース２７３を作成して、リモートコントローラ９に送信する。これにより、図２２に示す演出インタフェース２７３が、リモートコントローラ９に表示される。

　ユーザ１２は、楽曲データ７１が再生されているときに、演出インタフェース２７３を操作して、打ち上げる花火の選択と、選択した花火の打ち上げとを指示することができる。具体的には、ユーザ１２は、演出インタフェース２７３に表示された花火２７３ａ～２７３ｃのいずれかにタッチして、打ち上げる花火を選択する。図２２に示す演出インタフェース２７３では、花火２７３ｂが選択されている。ユーザ１２は、打ち上げボタン２７３ｄにタッチすることにより、選択された花火２７３ｂの打ち上げを指示する。

　図２３は、ライブ会場に花火が打ち上げられる様子を示す図である。打ち上げボタン２７３ｄがタッチされた場合、演出内容指示部９５は、選択された花火２７３ｂの打ち上げを指示する演出指示情報７４を本体装置６に送信する。ライブデータ作成部６４は、受信した演出指示情報７４に基づいて、ステージの背後に花火２７３ｂが打ち上げられる映像と、花火の爆発音とを含むライブデータ７３を作成する。図２３に示すように、モニタ７の画面７ａには、ライブ会場のステージの背後に、花火が打ち上げられる映像が表示される。

　ユーザ１２は、上述の操作を繰り返すことにより、ステージの背後に連続的に花火を打ち上げることができる。ユーザ１２は、花火２７３ａ，２７３ｂの両者を選択して、打ち上げ指示ボタン２７３ｄにタッチしてもよい。この場合、ライブデータ作成部６４は、花火２７３ａ，２７３ｂが同時に打ち上げられる映像を含むライブデータ７３を作成する。

　演出評価部６６は、花火の打ち上げを指示する演出指示情報７４に基づいて、花火の打ち上げに対する評価を行う。つまり、花火を打ち上げるタイミングや、打ち上げた花火の数などに基づいて、花火の打ち上げに対する採点が行われる。楽曲のサビの演奏が開始されるタイミングや、楽曲データ７１の再生が終了するタイミングに、花火の打ち上げが指示された場合、演出評価部６６は、花火の打ち上げの演出に対して、高い点数を付与する。

　｛３．４．照明の演出（その１）｝
　ユーザ１２は、ライブ会場の照明担当者となって、仮想的なライブの演出を行うことができる。つまり、ユーザ１２は、リモートコントローラ９を操作して、ライブ会場の様々な場所に照明をあてることができる。

　図２４は、照明指示用の演出インタフェース２７４が表示されたリモートコントローラ９を示す図である。ユーザ１２は、リモートコントローラ９を操作して、「照明指示」を選択する。演出内容指示部９５は、ユーザ１２の選択に応じて、照明指示用の演出インタフェース２７４の表示を本体装置６に要求する。演出インタフェース作成部６７は、演出インタフェース２７４を作成して、リモートコントローラ９に送信する。これにより、図２４に示すように、演出インタフェース２７４が、リモートコントローラ９に表示される。

　演出インタフェース２７４は、映像表示欄２７４ａと、照明指示欄２７４ｂとを備える。映像表示欄２７４ａは、ライブ会場のステージの様子を示す映像データ２７４ｃを表示する。照明指示欄２７４ｂは、照明のオン、オフを指示するボタンを表示する。モニタ７は、映像データ２７４ｃと同じ映像を表示する。ユーザ１２は、演出インタフェース２７４を操作することにより、ステージに立つボーカル７５や、ギタリスト７６に照明をあてることができる。

　図２５は、照明をあてる対象が選択された演出用インタフェース２７４を示す図である。ボーカル７５に照明をあてる場合、ユーザ１２は、映像表示欄２７４ａに表示されたボーカル７５にタッチする。演出内容指示部９５は、照明をあてる対象として、映像表示欄２７４ａに表示されたボーカル７５をハッチングで表示する。

　次に、ユーザ１２は、照明指示欄２７４ｂの「ＯＮ」にタッチすることにより、ボーカル７５に照明をあてることを指示する。演出内容指示部９５は、ボーカル７５に照明をあてることを指示する演出指示情報７４を作成して、本体装置６に送信する。ライブデータ作成部６４は、演出指示情報７４に基づいて、ボーカル７５に照明が当たる映像を含むライブデータ７３を作成する。

　本体装置６は、作成されたライブデータ７３を、映像データ２７４ｃとしてリモートコントローラ９に送信する。図２４に示すように、ボーカル７５に照明があたる様子を示す映像データ２７４ｃが、映像表示欄２７４ａに表示される。再生部６５がライブデータ７３を再生することにより、モニタ７は、図２４に示す映像データ２７４ｃと同じ映像を表示する。

　ユーザ１２は、照明をあてる対象を変更することができる。たとえば、楽曲データ７１の再生中に、ギターのソロ演奏が行われる場合、照明の対象をギタリスト７６に変更することができる。ユーザ１２は、映像表示欄２７４ａに表示されたボーカル７５を選択して、照明指示欄２７４ｂの「ＯＦＦ」をタッチする。次に、ユーザ１２は、映像表示欄２７４ａに表示されたギタリスト７６を選択して、照明指示欄２７４ｂの「ＯＮ」をタッチする。これにより、照明がボーカル７５からギタリスト７６に切り替わる。

　また、ユーザ１２は、ボーカル７５及びギタリスト７６の両者を選択して、照明指示欄２７４ｂの「ＯＮ」をタッチしてもよい。この場合、ボーカル７５及びギタリスト７６の両者に照明があたる映像データ２７４ｃが、映像表示欄２７４ａに表示される。

　演出評価部６６は、演出指示情報７４の内容や、演出指示情報７４を受信したタイミングに基づいて、照明の演出に対する評価を行う。たとえば、楽曲のサビが再生されるタイミングで、ボーカル７５だけに照明が当てられた場合、照明の演出に対して高い点数が付与される。同様に、ギターのソロ演奏が行われるタイミングで、ギタリスト７６だけに照明をあてることにより、照明の演出に対して高い点数が付与される。サビが再生されるタイミングで、ボーカル７５ではなく、ギタリスト７６に照明が当てられた場合、演出評価部６６は、照明の演出に対して点数を付与しない。あるいは、演出評価部６６は、付与された点数を減点してもよい。

　｛３．５．照明の演出（その２）｝
　ユーザ１２は、リモートコントローラ９を動かすことにより、照明をあてる照射方向を指定してもよい。ユーザ１２は、ステージだけでなく、ライブ会場の入場者に照明をあてることが可能となる。この場合、照明方向が、センサ部９２から出力される動き情報９２Ａ（図１６参照）に基づいて、決定される。

　図２６は、照明方向を決定するときのリモートコントローラ９の操作方法を説明する図である。図２６では、リモートコントローラ９を持つユーザ１２の表示を省略している。楽曲データ７１の再生が開始される前に、ユーザ１２は、リモートコントローラ９の基準方向を決定する。具体的には、図２６に示すように、ユーザ１２は、タッチパネル式ディスプレイ９４をユーザ１２に向け、かつ、リモートコントローラ９の背面をモニタ７の方向（矢印２７４ｄの方向）に向ける。演出内容指示部９５は、矢印２７４ｄの方向を、リモートコントローラ９の基準方向に設定する。基準方向を示す情報が、演出指示情報７４として本体装置６に送信される。リモートコントローラ９の基準位置は、客席の最前列に対応すると仮定する。

　ユーザ１２は、楽曲データ７１が再生されている間、リモートコントローラ９の向きを矢印２７４ｅ，２７４ｅの方向に変えることにより、照射方向を指定する。演出内容指示部９５は、センサ部９２から出力される動き情報９２Ａを、演出指示情報７４としてリアルタイムに本体装置６に送信する。

　ライブデータ作成部６４は、リモートコントローラ９の基準位置、基準方向、及び動き情報９２Ａに基づいて、照射方向を決定する。ライブデータ作成部６４は、基準位置から照射方向を見たときのライブ会場の様子を示す映像データ２７４ｃを作成する。本体装置６は、作成された映像データ２７４ｃをリモートコントローラ９に送信する。照射方向に対応する映像データ２７４ｃの作成及び送信は、リアルタイムで行われる。これにより、映像表示欄２７４ａには、照射方向の会場の様子を示す映像データ２７４ｃが表示される。

　図２７は、照射方向の会場の様子を示す映像データ２７４ｃが表示されたリモートコントローラ９を示す図である。ユーザ１２がリモートコントローラ９を基準方向の反対方向に向けた場合、照明方向は、基準位置から客席のある方向に設定される。この結果、図２７に示すように、ライブ会場の入場者が映像表示欄２７４ａに表示される。

　モニタ７の画面７ａには、楽曲データ７１が再生されている間、ライブ会場のステージの映像（図１４参照）が表示される。したがって、ユーザ１１、１２は、それぞれの役割に応じた画面を見ながら、仮想的なライブを盛り上げることが可能となる。

　ユーザ１２は、入場者の映像が映像表示欄２７４ａに表示された状態で、照明指示欄２７４ｂの「ＯＮ」をタッチする。演出内容指示部９５は、照明をあてることを指示する演出指示情報７４を本体装置６に送信する。ライブデータ作成部６４は、演出指示情報７４と照射方向とに基づいて、客席に照明があたる様子を示す映像データ２７４ｃを作成する。図２７において、ハッチング領域は、照明があたっている領域に対応する。ライブデータ作成部６４は、ハッチング領域にいる入場者が、大きく盛り上がる様子を示す映像データ２７４ｃを作成してもよい。

　ユーザ１２は、照明指示欄２７４ｂの「ＯＮ」を選択したままでリモートコントローラ９を動かしてもよい。この場合、照明があたる領域を、ライブ会場の中で移動させることができる。たとえば、楽曲データ７１の間奏が再生されているときなどに、ユーザ１２が入場者に照明をあてることにより、ライブを盛り上げることができる。

　ユーザ１２は、リモートコントローラ９をステージの方向に向けることにより、ボーカル７５及びギタリスト７６に照明をあてることができる。ライブデータ作成部６４は、照明方向がステージの方向であると判定した場合、ステージに照明があたる映像を含むライブデータ７３を作成する。この場合、モニタ７の画面７ａには、照明があたる様子を示す映像が表示される。

　演出評価部６６は、リモートコントローラ９を動かして照明位置を指示する場合にも、照明の演出に対する評価を行う。上述のように、ギターのソロ演奏が行われているときに、ギタリスト７６に照明をあてた場合には、演出評価部６６は、照明の演出に対して高い点数を付与する。また、楽曲データ７１の間奏が再生されているときに、入場者に照明があてた場合には、演出評価部６６は、照明の演出に対して高い点数を付与する。

　｛変形例｝
　本実施の形態では、ユーザ１１が行うパフォーマンスとして、ユーザ１１がマイク８を持って歌う例について説明した。しかし、ユーザ１１は、他のパフォーマンスを行ってもよい。たとえば、ユーザ１１は、本体装置６と通信可能な電子楽器装置を用いて、ライブのパフォーマンスを行ってもよい。

　たとえば、ユーザ１１は、ギターの形状をした電子楽器装置を持って、電子楽器装置の弦をはじく動作を行う。電子楽器装置は、ユーザの操作に応じた情報を本体装置６に送信する。ライブデータ作成部６４は、音声データ８Ａに代えて、ギターの演奏音を含むライブデータ７３を作成する。これにより、ユーザ１１は、仮想的なライブ会場で、ギタリストとしてパフォーマンスを行うことができる。

　本実施の形態において、カラオケシステム２００は、複数のリモートコントローラ９を備えてもよい。各リモートコントローラを操作するユーザが、楽曲紹介、ミキサ操作、花火打ち上げ、及び照明操作の演出を担当する。これにより、複数の演出を並行して実行することができるため、グループのメンバー全員で、仮想的なライブを盛り上げることが可能となる。

　本実施の形態において、ライブデータ作成部６４が、映像及び音声が記録されたライブデータ７３を生成する例を説明した。しかし、ライブデータ７３は、映像及び音声の少なくとも一方を含むデータであればよい。たとえば、カラオケシステム２００が、モニタ７に代えてスピーカを備えている場合、ライブデータ作成部７３は、音声のみを含むライブデータ７３を作成する。

　この発明を添付図面に示す実施態様について説明したが、この発明は、特に明記した部分を除いては、その詳細な説明の記載をもって制約しようとするものではなく、特許請求の範囲に記載する範囲において広く構成しようとするものである。

Claims

　アミューズメントシステムであって、
　本体装置と、
　ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
　前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
　前記音声入力装置は、
　前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、
を含み、
　前記本体装置は、
　前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
　前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
　前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含む。
　アミューズメントシステムであって、
　本体装置と、
　ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
　前記ユーザを撮影して映像データを出力する撮像装置と、
　前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
　前記本体装置は、
　前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
　前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、
　前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
　前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含む。
　請求項１または請求項２に記載のアミューズメントシステムであって、
　前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択する。
　請求項３に記載のアミューズメントシステムであって、
　前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示する。
　請求項３に記載のアミューズメントシステムであって、
　前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、
　前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定する。
　請求項１または請求項２に記載のアミューズメントシステムであって、
　前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、
　前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択する。
　請求項１または請求項２に記載のアミューズメントシステムであって、
　前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、
　前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択する。
　請求項１または請求項２に記載のアミューズメントシステムであって、
　前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、
　前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択する。
　請求項１または請求項２に記載のアミューズメントシステムであって、
　前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、
　前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択する。
　請求項１に記載のアミューズメントシステムであって、さらに、
　前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、
を備え、
　前記コントローラは、
　前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、
を含み、
　前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定する。
　請求項３に記載のアミューズメントシステムであって、
　前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点する。
　アミューズメントシステムであって、
　本体装置と、
　ユーザが保持する音声入力装置と、
を備え、
　前記音声入力装置は、
　前記本体装置と無線通信を行う無線通信部、
を含み、
　前記本体装置は、
　前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
　前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
　前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含む。
　請求項１２に記載のアミューズメントシステムであって、
　前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定する。
　請求項１２に記載のアミューズメントシステムであって、
　前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定する。
　請求項１、請求項２及び請求項１２のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置。
　本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第１動き情報を出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置とを備えるアミューズメントシステムにおいて、前記本体装置に搭載されるコンピュータに実行させるためのプログラムであって、
　前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生するステップと、
　前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するステップと、
　前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を指示するステップと、
を備える。
　本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置とを備えるアミューズメントシステムにおいて、前記本体装置に搭載されるコンピュータに実行させるためのプログラムであって、
　前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生するステップと、
　前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成するステップと、
　前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するステップと、
　前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を指示するステップと、
を備える。
　ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータに実行させるためのプログラムであって、
　前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生するステップと、
　前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するステップと、
　前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を指示するステップと、
を備える。
　アミューズメントシステムであって、
　選択された楽曲データを再生する本体装置と、
　第１ユーザのパフォーマンスに応じたパフォーマンス情報を生成するパフォーマンス情報生成装置と、
　第２ユーザの操作に応じて、前記第１ユーザのパフォーマンスの演出を指示する演出指示情報を生成する演出指示装置と、
を備え、
　前記本体装置は、
　前記楽曲データと前記パフォーマンス情報とに基づいて、前記第１ユーザのパフォーマンスの状況を示すパフォーマンス状況データを生成し、前記演出指示情報に応じて前記パフォーマンス状況データの生成条件を変更するパフォーマンス状況データ生成部と、
　前記演出指示情報を参照して前記第１ユーザのパフォーマンスの演出内容を評価し、前記第１ユーザのパフォーマンスを観覧する観客の反応を示す反応データの生成を、評価結果に基づいて前記パフォーマンス状況データ生成部に指示する演出評価部と、
　前記パフォーマンス状況データと前記反応データとを再生する再生部と、
を備える。
　請求項１９に記載のアミューズメントシステムであって、
　前記演出評価部は、前記パフォーマンス状況データが再生される期間に生成された全ての演出指示情報に基づいて、前記第１ユーザのパフォーマンスの演出を評価して全体評価情報を生成し、前記全体評価情報に対応する反応データの生成を指示する。
　請求項１９に記載のアミューズメントシステムであって、
　前記演出評価部は、前記本体装置に前記演出指示情報が入力されるたびに、前記第１ユーザのパフォーマンスの演出を評価して個別評価情報を生成し、前記個別評価情報に対応する反応データの生成を指示する。
　請求項１９に記載のアミューズメントシステムであって、
　前記演出指示装置は、
　前記第２ユーザの音声を入力して音声データを生成する音声入力部と、
　前記パフォーマンス状況データの再生中に前記第２ユーザが読み上げるべき内容を表示し、前記音声データを前記演出指示情報として前記本体装置に出力する演出内容指示部と、
を備え、
　前記パフォーマンス状況データ生成部は、前記音声データを含むパフォーマンス状況データを生成し、
　前記演出評価部は、前記音声データの入力が終了したタイミングに基づいて、前記パフォーマンスの演出を評価する。
　請求項２２に記載のアミューズメントシステムであって、
　前記演出評価部は、前記音声データに対する音声認識処理を行って前記第２ユーザが前記音声入力部に入力した音声フレーズを特定し、前記音声フレーズと前記内容とを比較することにより、前記パフォーマンスの演出を評価する。
　請求項１９に記載のアミューズメントシステムであって、
　前記演出指示装置は、
　前記第２ユーザにより選択された花火の種類と、前記選択された花火の打ち上げとを指示する打ち上げ情報を生成し、前記打ち上げ情報を前記演出指示情報として前記本体装置に出力する演出内容指示部、
を備え、
　前記パフォーマンス状況データ生成部は、前記打ち上げ情報に基づいて、前記第１ユーザのパフォーマンスを演出する花火が打ち上げられる様子を示すパフォーマンス状況データを生成し、
　前記演出評価部は、前記打ち上げ情報に基づいて、前記パフォーマンスの演出を評価する。
　請求項１９に記載のアミューズメントシステムであって、
　前記楽曲データは、楽曲の演奏パートのそれぞれに対応する複数のパートデータにより構成され、
　前記演出指示装置は、
　各パート楽曲データの再生条件を指定した再生条件情報を前記第２ユーザの操作に応じて生成し、前記再生条件情報を前記演出指示情報として前記本体装置に出力する演出内容指示部、
を備え、
　前記パフォーマンス状況データ生成部は、前記再生条件情報に基づいて、パート楽曲データの再生時の条件を変更したパフォーマンス状況データを生成し、
　前記演出評価部は、前記再生条件情報に基づいて、前記パフォーマンスの演出を評価する。
　請求項１９に記載のアミューズメントシステムであって、
　前記演出指示装置は、
　前記第１ユーザのパフォーマンスを演出する照明の照射対象を示す照明対象情報を前記第２ユーザの操作に応じて生成し、前記照明対象情報を前記演出指示情報として前記本体装置に出力する演出内容指示部、
を備え、
　前記パフォーマンス状況データ生成部は、前記照明対象情報に基づいて、前記照明が照射される様子を示すパフォーマンス状況データを生成し、
　前記演出評価部は、前記照明対象情報に基づいて、前記パフォーマンスの演出を評価する。
　請求項１９に記載のアミューズメントシステムであって、
　前記演出指示装置は、
　前記本体装置から送信される映像データを表示する表示部と、
　前記演出指示装置の動きを検出して、動き情報を生成する動き検出部と、
　前記動き情報を、前記演出指示情報として前記本体装置に出力する演出内容指示部と、
を備え、
　前記本体装置は、さらに、
　前記動き情報に基づいて、前記第１ユーザのパフォーマンスを演出する照明の照射領域を特定し、前記照明領域に照明があたる様子を示す照明映像データを生成する照明映像データ生成部と、
　前記照明映像データを前記演出指示装置に出力する出力部と、
を備える。
　選択された楽曲を再生する本体装置と、第１ユーザのパフォーマンスに応じたパフォーマンス情報を生成するパフォーマンス情報生成装置と、第２ユーザの操作に応じて、前記第１ユーザのパフォーマンスの演出を指示する演出指示情報を生成する演出指示装置とを備えるアミューズメントシステムにおいて、前記本体装置に搭載されるコンピュータに実行させるためのプログラムであって、
　前記楽曲データと前記パフォーマンス情報とに基づいて、前記第１ユーザのパフォーマンスの状況を示すパフォーマンス状況データを生成し、前記演出指示情報に応じて前記パフォーマンス状況データの生成条件を変更するステップと、
　前記演出指示情報を参照して前記第１ユーザのパフォーマンスの演出内容を評価し、前記第１ユーザのパフォーマンスを観覧する観覧者の反応を示す反応データの生成を、評価結果に基づいて前記パフォーマンス状況データ生成部に指示するステップと、
　前記パフォーマンス状況データと前記反応データとを再生するステップと、
を備える。