JP6365147B2 - 再生制御装置、プログラム、及び再生システム - Google Patents

Description

本発明は、映像及び楽曲を再生する再生システム等の技術分野に関する。

従来、例えば特許文献１に開示されるように、カラオケ映像情報及び音声情報（楽曲）に、歌い手映像情報と背景映像情報を合成して反映させるカラオケシステムが知られている。このカラオケシステムにより合成される映像は、歌い手の動作の検出に対応して生成される。そのため、歌い手のリアルタイムの動作に対応して、リアルタイムで映像変化が反映される。

特開平５−２３２８６１号公報

しかしながら、特許文献１の技術では、歌い手の動作の検出に対応して生成される映像は、再生される楽曲と予め対応付けが定められた映像ではなく、再生される楽曲と関連がない。生成される映像や、反応する歌い手の動作は、歌い手が歌う楽曲に応じて設定されたものではないため、映像変化は楽曲との関連は無く、歌い手の歌唱の楽しみを助長するものではなかった。

本発明は、以上の点に鑑みてなされたものであり、楽曲が再生される再生空間の中で、従来にはないインタラクティブな演出を実現することが可能な再生制御装置、プログラム、及び再生システムを提供する。

上記課題を解決するために、請求項１に記載の発明は、特定の映像を示す映像情報と、前記特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、前記特定の映像に対して映像変化がある効果映像を示す効果映像情報と、特定の楽曲の再生条件を、前記効果映像の再生が許可されるタイミングとして示す楽曲条件情報と、を対応付けて記憶する記憶手段と、映像再生手段により再生された映像を示す映像情報を取得する第１取得手段と、楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得手段と、前記再生空間の状態を検知する状態検知手段により検知される、前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定する判定手段と、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を再生させる制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の再生制御装置において、前記制御手段は、前記映像再生手段に前記映像の再生を開始させた後に、前記楽曲再生手段に前記楽曲の再生を開始させ、前記判定手段は、前記記憶手段に、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とを対応付けて記憶されているか否かを判定し、且つ、前記第１取得手段により取得された映像情報が示す映像の再生中に再生が開始された楽曲であり、且つ前記第２取得手段により取得された楽曲情報に示される楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定することを特徴とする。

請求項３に記載の発明は、請求項１に記載の再生制御装置において、前記制御手段は、前記映像再生手段に前記映像の再生を開始させた後に、前記楽曲再生手段に前記楽曲の再生を開始させ、前記判定手段は、前記第１取得手段により取得された映像情報が示す映像の再生中に再生が開始された楽曲であって、且つ前記第２取得手段により取得された楽曲情報に示される楽曲が、前記第１取得手段により取得された映像情報と対応付けて前記記憶手段に記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定し、前記制御手段は、前記判定手段により前記楽曲情報が示す楽曲が前記再生条件を満たさないと判定されたとき、前記第１取得手段により取得された映像情報が示す映像に代えて、前記記憶手段において、前記再生が開始された楽曲が満たす再生条件を示す楽曲条件情報と対応付けて記憶されている他の前記映像情報が示す映像を、前記映像再生手段に再生させることを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の再生制御装置において、前記楽曲条件情報は、前記特定の楽曲の再生開始から再生終了までの間における特定の再生区間を、前記再生条件に含み、前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記楽曲情報が示す楽曲の前記楽曲条件情報に示される前記再生区間が再生されていると判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を、前記再生区間に再生させることを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の再生制御装置において、前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けて記憶されていると判定され、且つ、前記楽曲情報が示す楽曲の前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記第１取得手段により取得された映像情報が示す映像の再生に代えて、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて前記記憶手段に記憶されている前記効果映像情報が示す効果映像を再生させることを特徴とする。

請求項６に記載の発明は、特定の映像を示す映像情報と、前記特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、前記特定の映像に対して映像変化がある効果映像を示す効果映像情報と、特定の楽曲の再生条件を、前記効果映像の再生が許可されるタイミングとして示す楽曲条件情報と、を対応付けて記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、映像再生手段により再生された映像を示す映像情報を取得する第１取得ステップと、楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得ステップと、前記再生空間の状態を検知する状態検知手段により検知される、前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得ステップと、前記記憶手段に、前記第１取得ステップにより取得された映像情報と、前記第３取得ステップにより取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得ステップにより取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得ステップにより取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定する判定ステップと、前記判定ステップにより前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得ステップにより取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記記憶手段において、前記第１取得ステップにより取得された映像情報と前記第３取得ステップにより取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を再生させる制御ステップと、をコンピュータに実行させることを特徴とする。

請求項７に記載の発明は、映像を再生する映像再生装置と、楽曲を再生する楽曲再生装置と、楽曲が再生される再生空間の状態を検知する状態検知装置と、前記映像及び前記楽曲の再生を制御する再生制御装置と、を備える再生システムであって、前記再生制御装置は、特定の映像を示す映像情報と、前記特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、前記特定の映像に対して映像変化がある効果映像を示す効果映像情報と、特定の楽曲の再生条件を、前記効果映像の再生が許可されるタイミングとして示す楽曲条件情報と、を対応付けて記憶する記憶手段と、前記映像再生装置により再生された映像を示す映像情報を取得する第１取得手段と、前記楽曲再生装置により再生された楽曲を示す楽曲情報を取得する第２取得手段と、前記状態検知装置により検知された前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定する判定手段と、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を再生させる制御手段と、を備えることを特徴とする。

請求項１、６、７に記載の発明によれば、楽曲が再生される再生空間の中で、楽曲と関連付けられた映像に対して映像変化がある効果映像を再生することができ、従来にはないインタラクティブな演出を実現することができる。

請求項２に記載の発明によれば、特定の映像が再生中に、再生が開始された楽曲の進行に合わせて、効果的な演出を実現することができる。

請求項３に記載の発明によれば、再生中の特定の映像と再生中の楽曲とが整合しない場合であっても、再生中の楽曲に整合する映像に切り替え、切り替えた映像に対応する特定の効果映像を再生させることができる。

請求項４に記載の発明によれば、例えば管理者側で指定された再生区間で、インタラクティブな演出を実現することができる。

請求項５に記載の発明によれば、再生された特定の映像を、特定の効果映像に切り替えてインタラクティブな演出を実現することができる。

本実施形態の再生システムＳの概要構成例を示す図である。 演出判定用テーブル例を示す図である。 再生システムＳにおける処理の流れを示すシーケンス図である。 実施例１における効果映像再生制御処理の一例を示すフローチャートである。 実施例２における効果映像再生制御処理の一例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［１．再生システムの構成及び動作概要］
始めに、図１を参照して、本発明の実施形態の再生システムＳの構成及び動作概要について説明する。図１は、本実施形態の再生システムＳの概要構成例を示す図である。再生システムＳは、図１に示すように、表示・操作デバイス１、楽曲再生装置２、状態検知デバイス３、映像再生装置４ａ〜４ｄ、プロジェクター５ａ〜５ｄ、及び再生制御装置６等を備えて構成される。再生システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。表示・操作デバイス１には、表示画面を備えるタッチパネルディスプレイが用いられる。表示・操作デバイス１は、例えば、後述する楽曲再生装置２のリモコンであってもよい。楽曲再生装置２の例として、例えばカラオケ店舗の部屋に設置されたカラオケコマンダが挙げられる。楽曲再生装置２は、楽曲再生手段の一例である。状態検知デバイス３は、部屋内の状態を検知する装置である。状態検知デバイス３による検知結果から、再生制御装置６が、例えば、部屋内のユーザ（利用者）の動作状態の変化を判断する。状態検知デバイス３の詳細、および再生制御装置６による判断の詳細は後述する。状態検知デバイス３は、状態検知手段及び状態検知装置の一例である。表示・操作デバイス１、楽曲再生装置２、及び状態検知デバイス３は、それぞれ、有線または無線を介して再生制御装置６と接続されている。なお、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６に組み込まれていてもよい。この場合、例えば、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６と一体に形成された表示ディスプレイである。映像再生装置４ａ〜４ｄは、有線ＬＡＮ（Local Area Network）または無線ＬＡＮ、及びハブ（HUB）等を介して再生制御装置６と接続されている。映像再生装置４ａ〜４ｄは、後述するように、再生制御装置６から受信する映像再生コマンドに従って、プロジェクター５ａ〜５ｄに映像を投影させる装置である。映像再生装置４ａ〜４ｄは、映像再生手段の一例である。プロジェクター５ａ〜５ｄは、それぞれ、有線または無線を介して映像再生装置４ａ〜４ｄと接続されている。プロジェクター５ａ〜５ｄは、例えばカラオケ店舗の１部屋内に、各プロジェクターそれぞれが部屋の壁面の均等面積を投影するように配置される。なお、図１の例では、４つの映像再生装置４ａ〜４ｄ、及び４つのプロジェクター５ａ〜５ｄを示しているが、映像再生装置とプロジェクターは、それぞれ、１つ以上３つ以下、或いは５つ以上であってもよい。また、図１の例では、映像再生装置とプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、１つの映像再生装置に複数のプロジェクターが接続されてもよい。映像再生装置が１つである場合、映像再生装置が映像再生手段（ハードウェアまたはソフトウェアにより構成）として再生制御装置６内に組み込まれていてもよい。

表示・操作デバイス１は、プロジェクター５ａ〜５ｄで投影する映像の選択候補となる映像を示す映像情報、及び楽曲再生装置２で再生する楽曲の選択候補となる楽曲を示す楽曲情報を表示画面に表示する。選択候補として表示される映像情報には、例えば映像ＩＤ、映像名、及び映像中の１画像フレーム等が含まれる。表示される楽曲情報には、例えば楽曲ＩＤ、楽曲名、アーティスト名、及び演奏時間等が含まれる。楽曲ＩＤは、例えば、曲番号から構成される。演奏時間とは、楽曲の再生開始から再生終了までの再生時間である。なお、表示・操作デバイス１の表示画面には、１画面に複数の映像情報または複数の楽曲情報が同時に表示されてもよい。選択候補となる映像を示す映像情報、及び選択候補となる楽曲を示す楽曲情報は、例えば、再生制御装置６から送信され、表示・操作デバイス１の記憶部に記憶される。表示・操作デバイス１は、ユーザによる選択操作に応じて映像の選択または楽曲の選択を行う。表示・操作デバイス１は、選択された映像を示す映像情報を再生制御装置６へ送信する。再生制御装置６へ送信された映像情報は、再生制御装置６から映像再生装置４ａ〜４ｄへ送信される。また、表示・操作デバイス１は、選択された楽曲を示す楽曲情報を再生制御装置６へ送信する。再生制御装置６へ送信された楽曲情報は、再生制御装置６から楽曲再生装置２へ送信される。再生制御装置６は、楽曲再生装置２からの楽曲情報の取得要求に応じて、表示・操作デバイス１から送信された楽曲情報を、楽曲再生装置２へ送信してもよい。もしくは、表示・操作デバイス１は、選択された楽曲を示す楽曲情報を、楽曲再生装置２へ送信し、楽曲再生装置２が、表示・操作デバイス１から受信した楽曲情報を、再生制御装置６へ送信してもよい。この場合は、楽曲再生装置２は、再生制御装置６からの楽曲情報の取得要求に応じて、楽曲再生装置２へ楽曲情報を送信してもよい。

楽曲再生装置２は、複数の楽曲ファイルを記憶部に記憶する。楽曲ファイルは、カラオケ曲等の楽曲を構成する楽曲データを格納する。各楽曲ファイルには、例えば、楽曲ＩＤが対応付けられる。各楽曲ファイルの楽曲ファイル名に楽曲ＩＤが含まれてもよい。楽曲再生装置２は、再生制御装置６から送信された楽曲再生コマンドを受信する。楽曲再生コマンドには、再生させる楽曲を示す楽曲情報の楽曲ＩＤが含まれる。楽曲再生装置２は、受信した楽曲再生コマンドに含まれる楽曲情報の楽曲ＩＤが示す楽曲を再生し、その楽曲信号をスピーカ（図示せず）へ出力する。なお、楽曲再生装置２がカラオケコマンダである場合、楽曲再生装置２には、上記楽曲信号と、マイクにより集音されたユーザの歌唱音声信号とをミキシングしてスピーカへ出力するミキシングアンプが備えられる。

状態検知デバイス３は、プロジェクター５ａ〜５ｄにより映像が投影される再生空間の状態の変化を検知する。言い換えると、再生空間は、楽曲再生装置２により再生される楽曲の音波が伝搬する３次元空間であり、例えばカラオケ店舗の１部屋である。再生空間の状態の例として、再生空間に存在するユーザの動作状態または静止状態、再生空間の温度状態、及び再生空間の音状態等が挙げられる。本実施形態では、状態検知デバイス３は、部屋内の３Ｄ形状を検知する装置であり、ユーザの動作状態または静止状態を検知する場合を例に説明する。本実施形態では、状態検知デバイス３は、赤外線レーザなどによる深度センサー（深度カメラ）等を備える。状態検知デバイス３は、深度センサーにより、再生空間のユーザ及びユーザの背景における各点までの距離を示すデプス画像を、複数回にわたり時系列で取得する。深度センサーにより取得されるデプス画像には複数のユーザが含まれていてもよい。時系列で取得されるデプス画像は、後述するように、ユーザの動作状態の変化または静止状態の変化を判断するための深度情報を含む画像である。状態検知デバイス３は、時系列で取得したデプス画像を再生制御装置６へ送信する。

映像再生装置４ａ〜４ｄは、それぞれ、複数の映像ファイルを記憶部に記憶する。映像ファイルは、例えば、部屋の壁面に投影させる映像を構成する映像データを格納する。この映像の例として、宇宙空間を表す映像、棚等が設置された部屋を表す映像、または人が歌唱するステージを表す映像などが挙げられる。これらの映像は、例えば、静止画像や、映像変化が少ない動画像である。なお、映像再生装置４が複数設置される場合は、複数の映像再生装置４により投影される部屋の壁面全体を投影範囲として、投影範囲に投影させる映像を構成する映像データから、投影範囲を映像再生装置４の数に分割した分割映像データを作成する。そして、分割映像データを映像ファイルに格納し、各映像再生装置４ａ〜４ｄの各記憶部に記憶させる。このような映像には、例えば、楽曲の歌詞テロップが重畳して表示されてもよい。各映像ファイルには、例えば、映像ＩＤが対応付けられる。各映像ファイルの映像ファイル名に映像ＩＤが含まれてもよい。１つの映像データから分割した複数の分割映像データをそれぞれ格納する各映像ファイルには、同一の映像ＩＤが対応付けられる。映像再生装置４ａ〜４ｄは、再生制御装置６から送信された映像再生コマンドを受信する。映像再生コマンドは、再生させる映像を示す映像情報の映像ＩＤが含まれる。映像再生装置４ａ〜４ｄは、それぞれ、受信した映像再生コマンドに含まれる映像情報の映像ＩＤが対応する映像ファイルの分割映像データを再生し、その映像信号をプロジェクター５ａ〜５ｄへ出力する。なお、映像再生装置４ａ〜４ｄが１つの映像再生装置、または再生制御装置６内に組み込まれた再生制御手段である場合、この映像再生装置または映像再生手段は、上記映像信号をプロジェクター５ａ〜５ｄへ出力する。プロジェクター５ａ〜５ｄは、それぞれ、映像再生装置４ａ〜４ｄから受信した映像信号に従って映像を部屋の壁面に投影する。例えば、プロジェクター５ａ〜５ｄは、互いに異なる壁面（例えばユーザの前後左右の壁面）に映像を投影する。プロジェクター５ａ〜５ｄは、同一の壁面の互いに異なる領域に映像を投影してもよい。

また、映像再生装置４ａ〜４ｄは、それぞれ、複数の効果映像ファイルを記憶部に記憶する。効果映像ファイルは、例えば、特定の映像に対して映像変化がある効果映像を再生させるプログラムを格納する。特定の映像は、複数の映像の中から、例えば管理者により指定された映像である。例えば、効果映像は、特定の映像に対して映像効果を与えることができる。例えば、特定の映像が宇宙空間を表す映像である場合、映像効果の例として、宇宙空間で人が遊泳する映像効果、宇宙空間で物体がワープする映像効果、宇宙空間で彗星が流れる映像効果などが挙げられる。また、特定の映像が部屋を表す映像である場合、映像効果の例として、部屋に設置された棚が回転する映像効果、部屋に設置された棚から物が落ちて元の棚に戻る映像効果などが挙げられる。また、特定の映像がステージを表す映像である場合、映像効果の例として、ステージにおけるライト演出を派手にする映像効果、ステージにおいて花火等を打ち上げる映像効果などが挙げられる。このほか、効果映像は、特定の映像に異なる映像を加えて合成した合成映像であってもよい。効果映像ファイルは、上記効果映像を構成する映像データを格納する場合もある。各効果映像ファイルには、効果映像ＩＤが対応付けられる。効果映像ＩＤは、効果映像を示す効果映像情報の一例である。効果映像ＩＤは、例えば、所定桁の文字列から構成される。各効果映像ファイルの効果映像ファイル名に効果映像ＩＤが含まれてもよい。映像再生装置４ａ〜４ｄは、再生制御装置６から送信された効果映像再生コマンドを受信する。効果映像再生コマンドは、例えば、再生させる効果映像を示す効果映像情報が含まれる。効果映像情報には、例えば、効果映像ＩＤが含まれる。映像再生装置４ａ〜４ｄは、それぞれ、受信した効果映像再生コマンドに含まれる効果映像情報が示す効果映像を再生し、その効果映像信号をプロジェクター５ａ〜５ｄへ出力する。プロジェクター５ａ〜５ｄは、それぞれ、映像再生装置４ａ〜４ｄから受信した効果映像信号に従って効果映像を部屋の壁面に投影する。これにより、壁面に投影された特定の映像に対して、上述したように映像効果が与えられる。そのため、インタラクティブな演出を実現することができる。なお、映像再生装置４ａ〜４ｄは、壁面に投影された特定の映像に対して映像効果を与える場合のほか、再生制御装置６からの効果映像再生コマンドに従って、特定の映像の再生に代えて、効果映像を再生させる場合もある。

再生制御装置６は、映像及び楽曲の再生を制御する。再生制御装置６は、図１に示すように、ＩＦ６１ａ〜６１ｄ、記憶部６２、及び制御部６３を備える。ＩＦ６１ａ〜６１ｄ、記憶部６２、及び制御部６３は、バス６４に接続されている。ＩＦ６１ａは、楽曲再生装置２と再生制御装置６との間のインターフェースである。ＩＦ６１ｂは、表示・操作デバイス１と再生制御装置６との間のインターフェースである。ＩＦ６１ｃは、状態検知デバイス３と再生制御装置６との間のインターフェースである。ＩＦ６１ｄは、映像再生装置４ａ〜４ｄとの間のインターフェースである。

記憶部６２は、例えばハードディスクドライブにより構成される。記憶部６２は、本発明の記憶手段の一例である。記憶部６２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する映像再生処理をＣＰＵに実行させるプログラムである。また、記憶部６２には、プロジェクター５ａ〜５ｄで投影する映像の選択候補となる映像を示す映像情報、及び楽曲再生装置２により再生される選択候補となる楽曲を示す楽曲情報が記憶される。また、記憶部６２には、特定の動作状態または静止状態の変化を示す状態変化テーブルと、図２に示す演出判定用テーブルとが記憶される。

状態変化テーブルには、複数種類の特定のジェスチャーについて、特定のジェスチャーの内容と、特定のジェスチャーを判断するための、再生空間におけるユーザの特定の動作状態の変化または静止状態の変化を示す深度情報とが対応付けて記憶される。再生空間におけるユーザの位置は、ユーザの輪郭および骨格が、状態検知デバイス３により検知されたデプス画像の深度情報から、予め規定されたヒトの基準の輪郭及び骨格の深度情報と比較して特定されることにより、判断される。そして、ユーザの輪郭及び骨格の位置を示す深度情報が、状態検知デバイス３により検知された複数のデプス画像の間で変化したことを判断することにより、ユーザの動作状態の変化および静止状態の変化が特定される。状態検知デバイス３が時系列で複数回取得したデプス画像を比較したとき、複数のデプス画像の間で、ユーザの位置を示す深度情報に所定閾値以上の差があれば、動作状態の変化または静止状態の変化があったことを意味する。また、ユーザの特定の動作状態の変化とは、ある動作状態から別の動作状態に変化することを意味し、例えばユーザの特定のジェスチャーである。また、ユーザの静止状態の変化とは、ユーザが静止状態にある位置から他の位置に変化すること、または静止状態から動作状態に変化することを意味する。特定のジェスチャーの例として、ユーザ１人が両手を突き出す、ユーザ３人がグーにした手を高く上げるなどが挙げられる。これらの特定の動作状態の変化があったことを判断する基準である所定閾値を示す深度情報の差が、特定のジェスチャーの内容と対応付けて、状態変化テーブルに記憶される。

図２は、演出判定用テーブル例を示す図である。演出判定用テーブルは、効果映像を再生させるか否かの判定に用いられる。図２に示す演出判定用テーブルには、特定の映像を示す映像情報と、楽曲条件情報と、特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、効果映像を示す効果映像情報と、が対応付けて記憶されている。なお、図２に示す演出判定用テーブルには、映像情報として映像ＩＤが記憶されている。また、図２に示す演出判定用テーブルには、楽曲条件情報として楽曲ＩＤと、後述する特定の楽曲である楽曲ＩＤの再生条件が記憶されている。楽曲条件情報は、特定の楽曲の再生条件を、効果映像の再生が許可されるタイミングとして示す。状態変化情報には、状態変化テーブルに含まれる複数種類の特定のジェスチャーのうち、いずれかの特定のジェスチャーの内容が、特定の状態の変化を示す情報として、映像情報と、楽曲条件情報とに対応付けて記憶されている。また、図２に示す演出判定用テーブルには、効果映像情報として効果映像ＩＤが記憶されている。

特定の楽曲の再生条件は、効果映像を再生させるための一つの条件である。特定の楽曲は、複数の楽曲の中から、例えば管理者により指定された指定曲である。なお、指定曲が選択候補となる複数の楽曲の全ての場合もある。図２の例では、楽曲条件情報の例として、「指定曲（楽曲ＩＤ：Ｍ００１）再生中」、「指定曲（楽曲ＩＤ：Ｍ００１）再生開始時」、「指定曲（楽曲ＩＤ：Ｍ００４,楽曲ＩＤ：Ｍ００５）再生終了時」、「全曲再生中」、「全曲再生開始時」等が示されている。ここで、「指定曲（楽曲ＩＤ：Ｍ００１）再生中」は、指定曲（楽曲ＩＤ：Ｍ００１）が再生されていることを条件とする。また、「指定曲（楽曲ＩＤ：Ｍ００１）再生開始時」という再生条件は、指定曲（楽曲ＩＤ：Ｍ００１）が再生開始時の再生区間で再生されていることを条件とする。再生条件に含まれる再生区間は、効果映像の再生が許可されるタイミングの一例である。再生開始時の再生区間は、楽曲の再生開始から再生終了までの間における特定の再生区間の一例である。再生開始時の再生区間は、例えば再生開始からＴ秒までの区間である。特定の再生区間の他の例として、再生中の再生区間、及び再生終了時の再生区間が挙げられる。再生中の再生区間は、例えば再生開始後Ｔ秒から再生終了前Ｔ秒までの区間である。再生終了時の再生区間は、例えば再生終了前Ｔ秒から再生終了までの区間である。なお、Ｔ秒は、例えば１秒〜５秒程度に設定される。或いは、特定の再生区間として、例えば楽曲の歌詞テロップが表示されない再生区間、または、ユーザの歌唱音声信号が入力されていない再生区間などが再生条件中に設定されてもよい。楽曲条件情報には、これら再生区間を示す情報が、再生開始時を０秒とした再生開始時からの経過時間の秒数で示される。また、「全曲再生中」は、選択候補となる何れかの楽曲が再生されていることを条件とする。この場合、再生されている楽曲は、選択候補となる複数の楽曲の中、どの楽曲でもよい。

制御部６３は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部６３は、本発明の第１取得手段、第２取得手段、第３取得手段、判定手段、及び制御手段の一例である。制御部６３は、本発明のプログラムに従って効果映像再生制御処理を実行する。効果映像再生制御処理において、制御部６３は、映像再生装置４ａ〜４ｄにより再生された映像を示す映像情報を、例えば映像再生装置４ａ〜４ｄから取得する。また、制御部６３は、楽曲再生装置２により再生された楽曲を示す楽曲情報を、例えば楽曲再生装置２から取得する。また、制御部６３は、状態検知デバイス３から複数のデプス画像を取得し、プロジェクター５ａ〜５ｄにより映像が投影される再生空間のユーザの動作状態の変化、または静止状態の変化を判断し、再生空間のユーザの状態変化情報を決定する。具体的には、制御部６３は、状態検知デバイス３から取得した１または複数のデプス画像の深度情報と対応し、且つ、状態検知デバイス３から取得した複数のデプス画像の間の深度情報の差以下の差が、特定の動作状態の変化を判断する所定閾値として対応付けられた特定のジェスチャーが状態変化テーブルに存在するか否かを判断する。制御部６３は、状態変化テーブルに、状態検知デバイス３から取得した１または複数のデプス画像の深度情報と対応する特定のジェスチャーが存在すると判断したとき、その特定のジェスチャーの内容を、状態検知デバイス３から取得したデプス画像から決定した再生空間のユーザの動作状態の変化または静止状態の変化の内容を示す、再生空間のユーザの状態変化情報と決定する。

制御部６３は、演出判定用テーブルに、取得した映像情報と、状態検知デバイス３から取得したデプス画像から決定した、再生空間のユーザの動作状態の変化または静止状態の変化の内容を示す、再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、演出判定用テーブルに、取得した楽曲情報が示す楽曲が、取得した映像情報と対応付けて記憶されている楽曲条件情報が示す再生条件を満たすか否かを判定する。制御部６３は、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けて記憶されていると判定され、且つ、楽曲が再生条件を満たすと判定されたとき、演出判定用テーブルにおいて、上記取得した映像情報と上記決定した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果映像情報が示す効果映像を再生させる。

［２．再生システムＳの動作］
次に、図３を参照して、本実施形態の再生システムＳで実施される動作内容について説明する。図３は、再生システムＳにおける処理の流れを示すシーケンス図である。図３において、表示・操作デバイス１は、ユーザによる表示操作に従って、選択候補となる映像を示す映像情報を選択可能に表示画面に表示する。表示・操作デバイス１は、ユーザによる選択操作に応じて選択された映像を示す映像情報として、例えば映像ＩＤを再生制御装置６へ送信する（ステップＳ１）。再生制御装置６は、表示・操作デバイス１から映像情報を受信すると、映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する（ステップＳ２）。映像再生装置４ａ〜４ｄは、それぞれ、再生制御装置６から映像再生コマンドを受信すると、受信した映像再生コマンドに含まれる映像情報が示す映像の再生を開始する（ステップＳ３）。映像再生装置４ａ〜４ｄは、それぞれ、再生された映像の映像信号をプロジェクター５ａ〜５ｄへ出力する。これにより、部屋の壁面に映像が投影される。

次に、表示・操作デバイス１は、ユーザによる表示操作に従って、選択候補となる楽曲を示す楽曲情報を選択可能に表示画面に表示する。表示・操作デバイス１は、ユーザによる選択操作に応じて選択された楽曲を示す楽曲情報として、例えば楽曲ＩＤを再生制御装置６へ送信する（ステップＳ４）。再生制御装置６は、表示・操作デバイス１から楽曲情報を受信すると、楽曲再生コマンドを楽曲再生装置２へ送信する（ステップＳ５）。楽曲再生装置２は、再生制御装置６から楽曲再生コマンドを受信すると、受信した楽曲再生コマンドに含まれる楽曲情報が示す楽曲の再生を開始する（ステップＳ６）。楽曲再生装置２は、再生された楽曲の楽曲信号をスピーカへ出力する。このように、再生制御装置６は、映像再生装置４ａ〜４ｄに映像の再生を開始させた後に、楽曲再生装置２に楽曲の再生を開始させる。別の例として、再生制御装置６は、楽曲再生装置２に楽曲の再生を開始させた後に、映像再生装置４ａ〜４ｄに映像の再生を開始させるように構成してもよい。この場合、再生された楽曲を示す楽曲情報に対応付けられた映像情報が示す映像が、ユーザにより選択されることなく再生されてもよい。

なお、再生制御装置６から楽曲再生コマンドを受信すると、受信した楽曲再生コマンドに含まれる楽曲情報を、再生予約リストに登録してもよい。この場合、楽曲再生装置２は、例えば、再生予約リストに登録された順に楽曲情報が示す楽曲を再生することになる。

次に、再生制御装置６は、効果映像再生制御処理を開始する（ステップＳ７）。効果映像再生制御処理が開始されると、再生制御装置６は、状態検知コマンドを状態検知デバイス３へ送信する（ステップＳ８）。状態検知デバイス３は、再生制御装置６から状態検知コマンドを受信すると、状態検知を開始し（ステップＳ９）。上述したデプス画像を時系列で取得する。

次に、再生制御装置６は、映像再生装置４ａ〜４ｄへ再生中の映像を問い合わせる（ステップＳ１０）。映像再生装置４ａ〜４ｄは、それぞれ、再生制御装置６からの問い合わせに応じて、再生中の映像を示す映像情報を再生制御装置６へ送信する（ステップＳ１１）。この映像情報には、例えば再生中の映像を示す映像ＩＤが含まれる。なお、再生制御装置６は、例えば、映像再生装置４ａ〜４ｄの中の何れか１つへ再生中の映像の問い合わせを行ってもよい。

次に、再生制御装置６は、楽曲再生装置２へ再生中の楽曲を問い合わせる（ステップＳ１２）。楽曲再生装置２は、再生制御装置６からの問い合わせに応じて、再生中の楽曲を示す楽曲情報を再生制御装置６へ送信する（ステップＳ１３）。この楽曲情報には、例えば再生中の楽曲を示す楽曲ＩＤが含まれる。ただし、このとき、例えば、曲間のタイミングであるなどの理由で楽曲が再生中でない場合がある。この場合、楽曲再生装置２は、再生制御装置６からの問い合わせに応じて、再生中の楽曲がないことを示す楽曲情報を再生制御装置６へ送信する。この楽曲情報には、例えば楽曲ＩＤ：０が含まれる。

次に、再生制御装置６は、状態検知デバイス３へデプス画像を要求する（ステップＳ１４）。状態検知デバイス３は、再生制御装置６からの要求に応じて、取得したデプス画像を再生制御装置６へ送信する（ステップＳ１５）。

次に、再生制御装置６は、効果映像を再生するか否かを判定（効果映像再生要否判定）する（ステップＳ１６）。再生制御装置６は、効果映像の再生要と判定したとき、効果映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する（ステップＳ１７）。映像再生装置４ａ〜４ｄは、それぞれ、再生制御装置６から効果映像再生コマンドを受信すると、受信した効果映像再生コマンドに含まれる効果映像情報が示す効果映像を再生する（ステップＳ１８）。映像再生装置４ａ〜４ｄは、それぞれ、再生された効果映像の映像信号をプロジェクター５ａ〜５ｄへ出力する。

次に、上記ステップＳ７で開始される効果映像再生制御処理の詳細について実施例１と実施例２に分けて説明する。

（実施例１）
先ず、図４を参照して、実施例１における効果映像再生制御処理の詳細について説明する。図４は、実施例１における効果映像再生制御処理の一例を示すフローチャートである。図４に示す処理が開始されると、制御部６３は、効果映像再生制御処理の終了指示があったか否かを判定する（ステップＳ７１）。制御部６３は、例えば、ユーザによる終了操作に従って、表示・操作デバイス１から終了指示が入力された場合、効果映像再生制御処理の終了指示があったと判定される（ステップＳ７１：ＹＥＳ）。この場合、効果映像再生制御処理は終了する。一方、制御部６３は、効果映像再生制御処理の終了指示がないと判定した場合（ステップＳ７１：ＮＯ）、ステップＳ７２へ進む。

ステップＳ７２では、制御部６３は、映像再生装置４ａ〜４ｄへ再生中の映像を問い合わせることで、再生中の映像を示す映像情報を取得する。次いで、制御部６３は、楽曲再生装置２へ再生中の楽曲を問い合わせることで、再生中の楽曲を示す楽曲情報、または再生中の楽曲がないことを示す楽曲情報を取得する（ステップＳ７３）。次いで、制御部６３は、状態検知デバイス３へデプス画像を要求することで、デプス画像を時系列で取得する。具体的には、制御部６３は、ステップＳ８において状態検知コマンドを送信し、状態検知デバイス３によりステップＳ９において状態検知が開始された以後に検知された複数のデプス画像の深度情報を取得する。制御部６３は、時系列で取得した複数のデプス画像の深度情報から、ユーザの動作状態の変化または静止状態の変化を示す情報として、複数のデプス画像の深度情報の差を取得する（ステップＳ７４）。具体的には、例えば、制御部６３は、時系列で取得したデプス画像の深度情報を、予め規定されたヒトの基準の輪郭及び骨格の深度情報と比較することにより、１または複数のユーザのボディ座標（例えば、ユーザの手足部分の座標）を算出する。制御部６３は、状態変化テーブルに、ユーザの動作状態の変化を示す状態変化情報として記憶された複数種類の特定のジェスチャーの内容と対応付けられた所定閾値を示す深度情報の差の中から、算出したボディ座標の時系列データに対応する動作状態の変化を示す特定のジェスチャーの内容を、再生空間のユーザの状態変化情報として取得する。例えば、特定のジェスチャーの内容として、「ユーザ１人が両手を突き出すジェスチャー」が、再生空間のユーザの状態変化情報として取得される。なお、複数のデプス画像の深度情報から状態変化情報を取得する処理は、状態変化テーブルを記憶する状態検知デバイス３が行うように構成してもよい。この場合、制御部６３は、状態検知デバイス３から上記特定のジェスチャーの内容を、状態変化情報として取得することになる。

制御部６３は、効果映像を再生するか否かを判定する（ステップＳ７５）。この判定において、制御部６３は、ステップＳ７２で取得した映像情報と、ステップＳ７４で取得した取得した再生空間のユーザの状態変化情報としての特定のジェスチャーの内容が演出判定用テーブルで対応付けられて記憶されているか否かを判定し、且つ、ステップＳ７３で取得した楽曲情報が示す楽曲が、ステップＳ７２で取得した映像情報と対応付けて記憶されている楽曲条件情報が示す再生条件を満たすか否かを判定する。ここで、この再生条件が「指定曲（楽曲ＩＤ：Ｍ００１）再生中」である場合、ステップＳ７３で取得した楽曲情報に楽曲ＩＤ：Ｍ００１が含まれるときに再生条件を満たすと判定される。或いは、この再生条件が「全曲再生中」である場合、ステップＳ７３で取得した楽曲情報に楽曲ＩＤ：０が含まれなければ再生条件を満たすと判定される。

制御部６３は、ステップＳ７５の判定において、映像情報と、再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていると判定し、且つ、楽曲が再生条件を満たすと判定した場合（ステップＳ７５：ＹＥＳ）、ステップＳ７６へ進む。ステップＳ７６では、制御部６３は、ステップＳ７２で取得した映像情報とステップＳ７４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルに記憶されている効果映像情報を含む効果映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する。これにより、制御部６３は、ステップＳ７２で取得した映像情報とステップＳ７４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果映像情報が示す効果映像を映像再生装置４ａ〜４ｄに再生させる。

なお、効果映像再生コマンドには、特定の映像と共に効果映像を再生させることを示す情報、または特定の映像に代えて効果映像を再生させることを示す情報が含まれるように構成してもよい。効果映像再生コマンドに、特定の映像と共に効果映像を再生させることを示す情報が含まれる場合、映像再生装置４ａ〜４ｄは、再生中の特定の映像に対して映像効果を与える効果映像を再生する。これにより、再生された特定の映像に対して特定の映像効果を与えてインタラクティブな演出を実現することができる。一方、効果映像再生コマンドに、特定の映像に代えて効果映像を再生させることを示す情報が含まれる場合、映像再生装置４ａ〜４ｄは、再生中の特定の映像の再生に代えて、効果映像を再生する。これにより、再生された特定の映像を、特定の効果映像に切り替えてインタラクティブな演出を実現することができる。

一方、制御部６３は、ステップＳ７５の判定において、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていないと判定するか、または、楽曲が再生条件を満たさないと判定した場合（ステップＳ７５：ＮＯ）、ステップＳ７１に戻る。このように、効果映像再生制御処理は所定周期で繰り返し実行される。

以上に説明した図４に示す実施例１の効果映像再生制御処理であるステップＳ７１〜ステップＳ７６の各ステップは、図３に示すシーケンス図のステップＳ７において再生制御装置６が開始する効果映像再生制御処理と対応している。図４の効果映像再生制御処理のステップＳ７２の処理は、図３に示すシーケンス図では、ステップＳ１０およびステップＳ１１において映像情報を映像再生装置４ａ〜４ｄから取得する処理が対応する。ステップＳ７３の処理は、図３に示すシーケンス図では、ステップＳ１２およびステップＳ１３において楽曲情報を楽曲再生装置２から取得する処理が対応する。ステップＳ７４の処理は、図３に示すシーケンス図では、ステップＳ１４およびステップＳ１５において、デプス画像の深度情報を状態検知デバイス３から取得する処理が対応する。ステップＳ７５の処理は、図３に示すシーケンス図では、ステップＳ１６の効果映像再生要否判定処理が対応する。ステップＳ７６の処理は、図３に示すシーケンス図では、ステップＳ１７の効果映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する処理が対応する。

（実施例２）
次に、図５を参照して、実施例２における効果映像再生制御処理の詳細について説明する。図５は、実施例２における効果映像再生制御処理の一例を示すフローチャートである。なお、図５に示すステップＳ８１〜Ｓ８４の処理は、図４に示すステップＳ７１〜Ｓ７４の処理と同様である。

図５に示すステップＳ８５では、制御部６３は、楽曲が再生されている再生区間を判定する。例えば、制御部６３は、前回のステップＳ８３で取得した楽曲情報に含まれる前回の楽曲ＩＤと、今回のステップＳ８４で取得した楽曲情報に含まれる今回の楽曲ＩＤとが一致するか否かを判定する。制御部６３は、前回の楽曲ＩＤと今回の楽曲ＩＤとが一致しないと判定した場合、楽曲が再生されている再生区間が、上述した「再生開始時の再生区間」であると判定する。一方、制御部６３は、前回の楽曲ＩＤと今回の楽曲ＩＤとが一致すると判定した場合、楽曲が再生されている再生区間が、上述した「再生中の再生区間」であると判定する。或いは、制御部６３は、前回の楽曲ＩＤと今回の楽曲ＩＤとが一致しないと判定した再生開始時点からの経過時間を計測してもよい。この場合、制御部６３は、計測した経過時間と、今回の楽曲ＩＤが示す楽曲の演奏時間とを比較して、楽曲が再生されている再生区間が、再生中の再生区間であるか、或いは再生終了時の再生区間であるかを判定してもよい。或いは、制御部６３は、再生された映像に基づいて、楽曲が再生されている再生区間が、楽曲の歌詞テロップが表示されていない再生区間であると判定してもよい。或いは、制御部６３は、マイクからの入力信号に基づいて、楽曲が再生されている再生区間が、ユーザの歌唱音声信号が入力されていない再生区間であると判定してもよい。

次いで、制御部６３は、効果映像を再生するか否かを判定する（ステップＳ８６）。この判定において、制御部６３は、ステップＳ８２で取得した映像情報と、ステップＳ８４で取得した取得した再生空間のユーザの状態変化情報と一致する状態変化情報とが演出判定用テーブルで対応付けられて記憶されているか否かを判定し、且つ、ステップＳ８２で取得した映像情報が示す映像の再生中に再生が開始された楽曲であり、且つステップＳ８３で取得した楽曲情報が示す楽曲が、ステップＳ８２で取得した映像情報と対応付けて記憶されている楽曲条件情報が示す再生条件を満たすか否かを判定する。ここで、この再生条件が「指定曲（楽曲ＩＤ：Ｍ００２）再生開始時」である場合、ステップＳ８５で再生開始時の再生区間であると判定され、且つステップＳ８３で取得した楽曲情報に楽曲ＩＤ：Ｍ００２が含まれるときに再生条件を満たすと判定される。或いは、上記再生条件が「全曲再生中」である場合、ステップＳ８５で再生中の再生区間であると判定され、且つステップＳ８３で取得した楽曲情報に楽曲ＩＤ：０が含まれなければ再生条件を満たすと判定される。或いは、上記再生条件が「指定曲（楽曲ＩＤ：Ｍ００２）再生中＆歌詞テロップ非表示タイミング」である場合、ステップＳ８５で「楽曲の歌詞テロップが表示されていない再生区間」であると判定され、且つステップＳ８３で取得した楽曲情報に楽曲ＩＤ：Ｍ００２が含まれるときに再生条件を満たすと判定される。

制御部６３は、ステップＳ８６の判定において、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていると判定し、且つ、映像の再生中に再生が開始された楽曲が再生条件を満たすと判定した場合（ステップＳ８６：ＹＥＳ）、ステップＳ８７へ進む。ステップＳ８７では、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルに記憶されている効果映像情報を含む効果映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する。これにより、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果映像情報が示す効果映像を上記再生条件が示す再生区間で映像再生装置４ａ〜４ｄに再生させる。これにより、例えば管理者側で指定された再生区間で、インタラクティブな演出を実現することができる。また、特定の映像の再生中に再生が開始された楽曲が再生されている場合に限り、効果映像を再生させるため、特定の映像が再生中に、再生が開始された楽曲の進行に合わせて、効果的な演出を実現することができる。

一方、制御部６３は、ステップＳ８６の判定において、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていないと判定するか、または、映像の再生中に再生が開始された楽曲が再生条件を満たさないと判定した場合（ステップＳ８６：ＮＯ）、演出判定用テーブルに、ステップＳ８３で取得した楽曲情報と、ステップＳ８２で取得した映像情報とが対応付けられて記憶されているか否かを判定する（ステップＳ８８）。例えば、ステップＳ８３で取得した楽曲情報に含まれる楽曲ＩＤが、ステップＳ８２で取得した映像情報に対応付けて記憶された楽曲条件情報に含まれる場合、楽曲情報と映像情報とが対応付けられて記憶されていると判定される。制御部６３は、上記楽曲情報と映像情報とが対応付けられて記憶されていないと判定した場合（ステップＳ８８：ＮＯ）、言い換えれば、不一致の場合、ステップＳ８９へ進む。一方、制御部６３は、上記楽曲情報と映像情報とが対応付けられて記憶されていると判定した場合（ステップＳ８８：ＹＥＳ）、ステップＳ８１に戻る。

ステップＳ８９では、制御部６３は、ステップＳ８３で取得した楽曲情報が示す楽曲が満たす再生条件を示す他の楽曲条件情報に対応付けられて記憶されている他の映像情報があるか否かを判定する。つまり、取得された楽曲情報に対応する他の映像情報があるか否かが判定される。ステップＳ８３で取得した楽曲情報が示す楽曲とは、映像の再生中に再生が開始された楽曲である。楽曲が満たす再生条件を示す他の楽曲条件情報とは、例えばこの楽曲を示す楽曲ＩＤが含まれる他の楽曲条件情報である。制御部６３は、上記楽曲が満たす再生条件を示す他の楽曲条件情報に対応付けられて記憶されている他の映像情報があると判定した場合（ステップＳ８９：ＹＥＳ）、ステップＳ９０へ進む。一方、制御部６３は、上記楽曲が満たす再生条件を示す他の楽曲条件情報に対応付けられて記憶されている他の映像情報がないと判定した場合（ステップＳ８９：ＮＯ）、ステップＳ８１に戻る。

ステップＳ９０では、制御部６３は、ステップＳ８９であると判定された映像情報を含む映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する。これにより、制御部６３は、ステップＳ８２で取得した映像情報が示す映像に代えて、上記他の映像情報が示す映像を映像再生装置４ａ〜４ｄに再生させる。制御部６３は、映像再生コマンドを送信すると、ステップＳ８１に戻り、処理を継続する。これにより、ステップＳ８６の条件を満たせば、その後に取得された他の映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルに記憶されている効果映像情報が示す効果映像が再生される。これにより、再生中の特定の映像と再生中の楽曲とが整合しない場合であっても、再生中の楽曲に整合する映像に切り替え、切り替えた映像に対応する特定の効果映像を再生させることができる。

以上に説明した図５に示す実施例２の効果映像再生制御処理であるステップＳ８１〜ステップＳ８７の各ステップは、図３に示すシーケンス図のステップＳ７において再生制御装置６が開始する効果映像再生制御処理と対応している。図５の効果映像再生制御処理のステップＳ８２の処理は、図３に示すシーケンス図では、ステップＳ１０およびステップＳ１１において映像情報を映像再生装置４ａ〜４ｄから取得する処理が対応する。ステップＳ８３の処理は、図３に示すシーケンス図では、ステップＳ１２およびステップＳ１３において楽曲情報を楽曲再生装置２から取得する処理が対応する。ステップＳ８４の処理は、図３に示すシーケンス図では、ステップＳ１４およびステップＳ１５においてデプス画像の深度情報を状態検知デバイス３から取得する処理が対応する。ステップＳ８５およびステップＳ８６の処理は、図３に示すシーケンス図では、ステップＳ１６の効果映像再生要否判定処理が対応する。ステップＳ８７の処理は、図３に示すシーケンス図では、ステップＳ１７の効果映像再生コマンドを映像再生装置４ａ〜４ｄへ送信する処理が対応する。

以上説明したように、上記実施形態によれば、再生制御装置６は、再生された映像を示す映像情報と、楽曲が再生された再生空間のユーザの状態の変化を示す状態変化情報と一致する状態変化情報とが対応付けられて記憶されていると判定し、且つ、再生された楽曲が再生条件を満たすと判定したとき、上記取得した映像情報と上記取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果映像情報が示す効果映像を再生させる。このため、楽曲が再生された再生空間の中で、従来にはないインタラクティブな演出を実現することができる。

なお、上記実施形態では、再生空間の状態として、ユーザの動作状態または静止状態を例にとって説明したが、再生空間の状態を温度状態、または音状態で判断してもよい。再生空間の状態が温度状態の場合、状態検知デバイス３は、温度センサー等を備える。状態検知デバイス３は、温度センサーにより、再生空間の温度情報を時系列で取得する。状態検知デバイス３は、時系列で取得した温度情報を再生制御装置６へ送信する。再生制御装置６は、時系列で取得した温度情報から、再生空間における温度状態の変化を示す状態変化情報を取得する。例えば、温度状態の変化として、所定時間内に温度が所定温度変化したことを示す状態変化情報が取得される。これ以降は、上記実施形態と同様に、効果映像再生要否判定が行われる。また、再生空間の状態が音状態の場合、状態検知デバイス３は、マイクロフォン等を備える。状態検知デバイス３は、マイクロフォンにより、再生空間の音情報を時系列で取得する。状態検知デバイス３は、時系列で取得した音情報を再生制御装置６へ送信する。再生制御装置６は、時系列で取得した音情報から、再生空間における音状態の変化を示す状態変化情報を取得する。例えば、音状態の変化として、所定時間内に音が所定デシベル変化したことを示す状態変化情報が取得される。これ以降は、上記実施形態と同様に、効果映像再生要否判定が行われる。

Ｓ 再生システム
１ 表示・操作デバイス
２ 楽曲再生装置
３ 状態検知デバイス
４ａ〜４ｄ 映像再生装置
５ａ〜５ｄ プロジェクター
６ 再生制御装置

Claims (7)

1. 特定の映像を示す映像情報と、前記特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、前記特定の映像に対して映像変化がある効果映像を示す効果映像情報と、特定の楽曲の再生条件を、前記効果映像の再生が許可されるタイミングとして示す楽曲条件情報と、を対応付けて記憶する記憶手段と、
   映像再生手段により再生された映像を示す映像情報を取得する第１取得手段と、
   楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得手段と、
   前記再生空間の状態を検知する状態検知手段により検知される、前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、
   前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定する判定手段と、
   前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を再生させる制御手段と、
   を備えることを特徴とする再生制御装置。
2. 前記制御手段は、前記映像再生手段に前記映像の再生を開始させた後に、前記楽曲再生手段に前記楽曲の再生を開始させ、
   前記判定手段は、前記記憶手段に、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とを対応付けて記憶されているか否かを判定し、且つ、前記第１取得手段により取得された映像情報が示す映像の再生中に再生が開始された楽曲であり、且つ前記第２取得手段により取得された楽曲情報に示される楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定することを特徴とする請求項１に記載の再生制御装置。
3. 前記制御手段は、前記映像再生手段に前記映像の再生を開始させた後に、前記楽曲再生手段に前記楽曲の再生を開始させ、
   前記判定手段は、前記第１取得手段により取得された映像情報が示す映像の再生中に再生が開始された楽曲であって、且つ前記第２取得手段により取得された楽曲情報に示される楽曲が、前記第１取得手段により取得された映像情報と対応付けて前記記憶手段に記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定し、
   前記制御手段は、前記判定手段により前記楽曲情報が示す楽曲が前記再生条件を満たさないと判定されたとき、前記第１取得手段により取得された映像情報が示す映像に代えて、前記記憶手段において、前記再生が開始された楽曲が満たす再生条件を示す楽曲条件情報と対応付けて記憶されている他の前記映像情報が示す映像を、前記映像再生手段に再生させることを特徴とする請求項１に記載の再生制御装置。
4. 前記楽曲条件情報は、前記特定の楽曲の再生開始から再生終了までの間における特定の再生区間を、前記再生条件に含み、
   前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記楽曲情報が示す楽曲の前記楽曲条件情報に示される前記再生区間が再生されていると判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を、前記再生区間に再生させることを特徴とする請求項１乃至３の何れか一項に記載の再生制御装置。
5. 前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けて記憶されていると判定され、且つ、前記楽曲情報が示す楽曲の前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記第１取得手段により取得された映像情報が示す映像の再生に代えて、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて前記記憶手段に記憶されている前記効果映像情報が示す効果映像を再生させることを特徴とする請求項１乃至４の何れか一項に記載の再生制御装置。
6. 特定の映像を示す映像情報と、前記特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、前記特定の映像に対して映像変化がある効果映像を示す効果映像情報と、特定の楽曲の再生条件を、前記効果映像の再生が許可されるタイミングとして示す楽曲条件情報と、を対応付けて記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、
   映像再生手段により再生された映像を示す映像情報を取得する第１取得ステップと、
   楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得ステップと、
   前記再生空間の状態を検知する状態検知手段により検知される、前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得ステップと、
   前記記憶手段に、前記第１取得ステップにより取得された映像情報と、前記第３取得ステップにより取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得ステップにより取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得ステップにより取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定する判定ステップと、
   前記判定ステップにより前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得ステップにより取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記記憶手段において、前記第１取得ステップにより取得された映像情報と前記第３取得ステップにより取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を再生させる制御ステップと、
   をコンピュータに実行させることを特徴とするプログラム。
7. 映像を再生する映像再生装置と、楽曲を再生する楽曲再生装置と、楽曲が再生される再生空間の状態を検知する状態検知装置と、前記映像及び前記楽曲の再生を制御する再生制御装置と、を備える再生システムであって、
   前記再生制御装置は、
   特定の映像を示す映像情報と、前記特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、前記特定の映像に対して映像変化がある効果映像を示す効果映像情報と、特定の楽曲の再生条件を、前記効果映像の再生が許可されるタイミングとして示す楽曲条件情報と、を対応付けて記憶する記憶手段と、
   前記映像再生装置により再生された映像を示す映像情報を取得する第１取得手段と、
   前記楽曲再生装置により再生された楽曲を示す楽曲情報を取得する第２取得手段と、
   前記状態検知装置により検知された前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、
   前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生条件を満たすか否かを判定する判定手段と、
   前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生条件を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像を再生させる制御手段と、
   を備えることを特徴とする再生システム。