JP5648029B2 - 案内システム、それに用いる制御方法及びコンピュータプログラム - Google Patents

Description

本発明は、使用者に所定の操作を案内する案内システム等に関する。

使用者に所定の操作を案内する案内システムが存在する。このような案内システムは、例えば、ゲーム機に適用される場合がある。このようなゲーム機では、ゲームをプレイするための操作だけでなく、ゲーム環境を設定するための操作が案内される場合もある。このようなゲーム機の一例として、音楽ゲームを提供するゲーム装置が知られている（例えば、特許文献１参照）。

特開２００１−９６０６１号公報

特許文献１のようなゲーム装置では、音楽のリズムに対応するノーツバーの移動を通じてピッキングブレード等を操作すべき操作時期が案内されている。また、このような音楽ゲームでは、ゲームに使用する楽曲がプレイヤによって選択される。つまり、ゲーム環境の設定に楽曲の選択が含まれる。このような楽曲の選択は、楽曲選択用の画面を通じて実行される場合が多い。また、このような画面において、楽曲を選択するために実行すべき操作が案内される場合もある。このような案内は、一般的に実際の操作部の画像ではなく、操作部を模した画像を通じて行われる場合が多い。操作部を模した画像は、実際の操作環境とは異なっている。したがって、このような場合、画面を通じて案内される内容が実際の操作部への操作と結び付かない場合がある。結果として、所定の操作の内容が分かり難くなる場合もある。

そこで、本発明は、所定の操作をより分かりやすく案内することができる案内システム等を提供することを目的とする。

本発明の案内システムは、使用者に所定の操作を案内する案内システムであって、前記所定の操作を実行する前記使用者を含む撮影範囲を撮影する撮影手段（ＯＳ）と、前記撮影手段が撮影した撮影画像を利用して前記所定の操作を案内する案内画面（ＭＳ）を表示する表示装置（４）と、前記所定の操作を入力するための少なくとも一つの操作部（８）を有し、前記撮影範囲に前記操作部が含まれるように配置される入力装置（３）と、所定の条件に基づいて、前記撮影画像のうち前記所定の操作に関連する少なくとも一部を特定する一部特定手段（１５）と、前記撮影画像及び前記一部特定手段の特定結果に基づいて、前記撮影画像のうち前記一部が強調された加工画像が前記案内画面に利用されるように、前記加工画像を表現するための加工画像データを生成する画像データ生成手段（１５）と、を備え、前記案内画面は、前記所定の操作に関連する操作関連画像（ＳＩ）を含み、前記一部特定手段は、前記所定の条件に基づいて、前記一部として、前記操作関連画像に関連する部分を特定し、前記操作関連画像として、前記撮影画像に含まれる前記操作部の画像が利用され、前記操作部には、発光する少なくとも一つの発光手段（４０）が設けられ、前記一部特定手段は、前記所定の条件に基づいて、前記操作部の画像に関連する部分として、前記撮影画像のうち前記発光手段の発光によって輝度が変化する部分を特定し、前記画像データ生成手段は、前記加工画像データとして、前記輝度の変化が強調された加工画像を表現するための加工画像データを生成する、ものである。

本発明によれば、案内画面には、撮影画像が利用される。また、撮影画像には、所定の操作を実行する使用者が含まれている。つまり、所定の操作が実行される実際の操作環境の画像が所定の操作の案内に利用される。このため、所定の操作を実際の操作環境とより関連付けて案内することができる。これにより、所定の操作をより分かりやすく案内することができる。一方で、撮影画像には、コントラストが不十分な部分が含まれている場合がある。さらに、不十分なコントラスト等に起因して、必要な部分が目立たない場合もある。つまり、撮影画像が案内画面に利用される場合には、必要な部分が強調されないという課題がある。一方、本発明によれば、撮影画像のうち所定の操作に関連する少なくとも一部は、強調して表現される。このため、所定の操作の分かりやすさ及び必要な部分の強調という課題を解決することができる。これにより、実際の操作環境の撮影画像を利用して、より分かりやすく所定の操作を案内することができる。

また、本発明によれば、操作関連画像に関連する部分を強調することができる。例えば、操作関連画像として、所定の操作を実行すべき画像が利用されてよい。つまり、所定の操作として、操作関連画像に対する所定の動作が採用されてもよい。この場合、案内画面中の操作を実行すべき画像部分を強調することができる。なお、操作関連画像に関連する部分には、例えば、操作関連画像自体、操作関連画像の周囲、或いは操作関連画像の機能や効果を説明する部分等が含まれる。

同様に、本発明によれば、所定の操作を実行すべき実際の操作部の画像を利用して所定の操作が案内される。このため、実際の操作部の画像に関連する部分を強調することができる。つまり、実際の操作環境の必要部分を強調することができる。これにより、さらに所定の操作を分かりやすく案内することができる。

さらに、本発明によれば、操作部を強調するための現実の発光を案内画面中において強調することができる。これにより、案内画面内において、操作部の画像をより強調することができる。また、本発明の案内システムの一態様において、前記入力装置は、前記操作部として、ドラム型の操作部を有し、前記ドラム型の操作部には、前記少なくとも一つの発光手段として、外周に沿うように複数の発光手段が設けられていてもよい。この場合、ドラム型の操作部に対応する画像の外周付近を強調することができる。これにより、ドラム型の操作部の外形が強調されるので、ドラム型の操作部の位置をより分かりやすく案内することができる。

本発明の操作部に発光手段が設けられている態様において、前記入力装置には、前記少なくとも一つの操作部として、複数の操作部が設けられ、前記案内画面は、各操作部に対して前記所定の操作が実行された場合に、前記所定の操作が実行された操作部に応じて内容の異なる所定の効果が生じるように構成され、各操作部の前記発光手段は、前記所定の効果の内容に応じて態様が互いに異なるように発光してもよい。この場合、発光態様の相違を通じて各操作部の効果を案内することができる。また、発光態様の相違が強調されるので、効果の相違をより分かりやすく案内することができる。この態様において、前記画像データ生成手段は、前記加工画像データとして、各発光手段の発光態様に応じて前記輝度の変化が強調される態様が変化する加工画像を表現するための加工画像データを生成してもよい。この場合、発光態様の相違に応じて強調される態様も変化するので、各操作部の効果の相違をより分かりやすく案内することができる。

本発明の案内システムは、各種システム等に適用可能である。例えば、本発明の案内システムの一態様において、所定のゲームを提供するゲーム機に適用され、前記案内画面は、前記所定の操作として、前記ゲームに関連する操作を案内されてもよい。また、この態様において、前記ゲーム機は、前記所定のゲームとして、音楽のリズムに合わせて所定のプレイ行為を要求する音楽ゲームを提供してもよい。

本発明の制御方法は、使用者に所定の操作を案内する案内システムであって、前記所定の操作を実行する前記使用者を含む撮影範囲を撮影する撮影手段（ＯＳ）と、前記撮影手段が撮影した撮影画像を利用して前記所定の操作を案内する案内画面（ＭＳ）を表示する表示装置（４）と、前記所定の操作を入力するための少なくとも一つの操作部（８）を有し、前記撮影範囲に前記操作部が含まれるように配置される入力装置（３）と、を備えた案内システムに組み込まれるコンピュータ（１５）に、所定の条件に基づいて、前記撮影画像のうち前記所定の操作に関連する少なくとも一部を特定する一部特定工程と、前記撮影画像及び前記一部特定工程の特定結果に基づいて、前記撮影画像のうち前記一部が強調された加工画像が前記案内画面に利用されるように、前記加工画像を表現するための加工画像データを生成する画像データ生成工程と、を実行させ、前記案内画面は、前記所定の操作に関連する操作関連画像（ＳＩ）を含み、前記一部特定工程では、前記所定の条件に基づいて、前記一部として、前記操作関連画像に関連する部分が特定され、前記操作関連画像として、前記撮影画像に含まれる前記操作部の画像が利用され、前記操作部には、発光する少なくとも一つの発光手段（４０）が設けられ、前記一部特定工程では、前記所定の条件に基づいて、前記操作部の画像に関連する部分として、前記撮影画像のうち前記発光手段の発光によって輝度が変化する部分が特定され、前記画像データ生成工程では、前記加工画像データとして、前記輝度の変化が強調された加工画像を表現するための加工画像データが生成される、ものである。

本発明の案内システム用のコンピュータプログラムは、使用者に所定の操作を案内する案内システムであって、前記所定の操作を実行する前記使用者を含む撮影範囲を撮影する撮影手段（ＯＳ）と、前記撮影手段が撮影した撮影画像を利用して前記所定の操作を案内する案内画面（ＭＳ）を表示する表示装置（４）と、前記所定の操作を入力するための少なくとも一つの操作部（８）を有し、前記撮影範囲に前記操作部が含まれるように配置される入力装置（３）と、を備える案内システムのコンピュータ（１５）を、所定の条件に基づいて、前記撮影画像のうち前記所定の操作に関連する少なくとも一部を特定する一部特定手段、及び前記撮影画像及び前記一部特定手段の特定結果に基づいて、前記撮影画像のうち前記一部が強調された加工画像が前記案内画面に利用されるように、前記加工画像を表現するための加工画像データを生成する画像データ生成手段として機能させるように構成され、前記案内画面は、前記所定の操作に関連する操作関連画像（ＳＩ）を含み、前記一部特定手段を、前記所定の条件に基づいて、前記一部として、前記操作関連画像に関連する部分を特定する手段として機能させ、前記操作関連画像として、前記撮影画像に含まれる前記操作部の画像が利用され、前記操作部には、発光する少なくとも一つの発光手段（４０）が設けられ、前記一部特定手段を、前記所定の条件に基づいて、前記操作部の画像に関連する部分として、前記撮影画像のうち前記発光手段の発光によって輝度が変化する部分を特定する手段として、前記画像データ生成手段を、前記加工画像データとして、前記輝度の変化が強調された加工画像を表現するための加工画像データを生成する手段として、それぞれ更に機能させるように構成されたものである。本発明の制御方法或いは、コンピュータプログラムが実行されることにより、本発明の案内システムを実現することができる。

なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。

以上、説明したように、本発明によれば、所定の操作をより分かりやすく案内することができる。

本発明の一形態に係る案内システムが適用されたゲーム機の外観を概略的に示す図。 ゲーム機の要部の機能ブロック図。 楽曲選択画面の一例が表示されたモニタの周辺の要部を拡大して模式的に示す図。 点滅効果の強調表示を説明するための説明図。 ゲーム画面の一例が表示されたモニタの周辺の要部を拡大して模式的に示す図。 ドラム画像が各操作部画像以外の場所にも表示されている場合のゲーム画面の一例を示す図。 シーケンスデータの内容の一例を示す図。 演出画像生成処理ルーチンのフローチャートの一例を示す図。 評価処理ルーチンのフローチャートの一例を示す図。

以下、本発明の一形態に係る案内システムが適用されたゲーム機について説明する。図１は、本発明の一形態に係る案内システムが適用されたゲーム機１の外観を概略的に示す図である。ゲーム機１は、所定の対価の消費と引き換えに、使用者としてのプレイヤに所定の範囲の音楽ゲームを提供する業務用のゲーム機として構成されている。具体的には、図１に示すように、ゲーム機１は、筐体２及び入力装置３を備えている。入力装置３は、プレイヤによってプレイ行為の入力等に利用される。また、筐体２の上部には、表示装置としてのモニタ４が設けられている。モニタ４は、表示面が入力装置３の方向、つまりプレイヤ側を向くように筐体２の正面に配置されている。モニタ４の上方には、状態検出装置５が設けられている。状態検出装置５の両側には、それぞれに筐体側スピーカ６が設けられている。

状態検出装置５は、プレイ中のプレイヤの状態を検出するための装置である。具体的には、状態検出装置５は、例えば、撮影手段としての光学センサＯＳ（図２参照）及び深度センサを含んでいる。深度センサは、状態検出装置５とプレイヤとの間の距離（深度）を検出するための周知のセンサである。光学センサＯＳは、プレイヤの体の各部位の動きを検出ための周知のセンサである。光学センサＯＳは、カメラを含んでいる。カメラは、撮影方向が入力装置３の方を向くように配置されている。より具体的には、カメラは、撮影範囲にプレイヤのプレイ行為が含まれるように配置されている。そして、光学センサＯＳは、カメラの撮影結果に基づいて、プレイヤの体の各部位の位置及び動きを検出する。一例として、この検出には、いわゆるボーン情報が利用される。ボーン情報とは、プレイヤの骨の情報を意味する。このように状態検出装置５は、光学センサＯＳ及び深度センサ等に基づいて、プレイヤの体の各部位の動きや深度といったプレイ中のプレイヤの状態を検出する周知の装置である。また、状態検出装置５は、所定の周期でプレイヤの状態を検出するように構成されている。

入力装置３には、カードリーダ７及び４つのプレイ用操作部８が設けられている。また、入力装置３には、スティック９を置くためのスティック置き場１０が設けられている。カードリーダ７は、ユーザが所持するカードＳＭ（図２参照）の情報を読み取るための装置である。カードリーダ７の両側には、それぞれに入力装置側スピーカ１１が設けられている。各プレイ用操作部８は、打楽器のドラムを模した形状を有している。一方、スティック９は、各プレイ用操作部８へのプレイ行為の入力に使用される。具体的には、例えば、スティック９によって各プレイ用操作部８の上面を叩くような操作がプレイ操作として各プレイ用操作部８に入力される。なお、ゲーム機１には、その他にも押釦スイッチ、十字キーといった業務用のゲーム機が備える各種の入力装置及び出力装置が設けられていてよい。

図２を参照して、ゲーム機１の構成について更に説明する。図２は、ゲーム機１の要部の機能ブロック図である。図２に示すように、ゲーム機１には、コンピュータとしての制御ユニット１５及び外部記憶装置１６が設けられている。制御ユニット１５は、制御主体としてのゲーム制御部１７と、そのゲーム制御部１７からの出力に従って動作する表示制御部１８及び音声出力制御部１９と、を備えている。ゲーム制御部１７は、マイクロプロセッサと、そのマイクロプロセッサの動作に必要な内部記憶装置（一例としてＲＯＭ及びＲＡＭ）等の各種の周辺装置と、を組み合わせたユニットとして構成されている。表示制御部１８は、ゲーム制御部１７から与えられる描画データに応じた画像をフレームバッファに描画し、その描画した画像に対応する映像信号をモニタ４に出力することにより、モニタ４上に所定の画像を表示させる。音声出力制御部１９は、ゲーム制御部１７から与えられる音声再生データに応じた音声再生信号を生成して筐体側スピーカ６及び入力装置側スピーカ１１に出力することにより、これらのスピーカ６、１１から所定の楽曲（効果音等を含む）を再生させる。したがって、制御ユニット１５には、モニタ４、筐体側スピーカ６及び入力装置側スピーカ１１が接続されている。

各プレイ用操作部８の内部には、振動センサ２０が設けられている。振動センサ２０は、各プレイ用操作部８の上面の振動を検出する。このような振動は、例えば、プレイ用操作部８の上面がスティック９を利用して叩かれた場合に生じる。つまり、振動センサ２０は、プレイヤがプレイ用操作部８を叩くという操作を検出する。振動センサ２０は、制御ユニット１５に接続され、検出結果をゲーム制御部１７に出力する。

また、制御ユニット１５には、上述の状態検出装置５及びカードリーダ７も接続されている。状態検出装置５の検出結果は、制御ユニット１５に出力される。また、その検出結果は、例えば、ゲーム制御部１７の内部記憶装置に少なくとも一時的に記憶される。カードリーダ７は、カードＳＭの情報を読み取って、その情報に対応した信号を制御ユニット１５に出力する。カードＳＭには、ＩＣチップ、磁気ストライプといった不揮発性記憶媒体（不図示）が設けられている。そして、その記憶媒体には、例えば、カードＳＭ毎にユニークなＩＤ（以下、カードＩＤと呼ぶことがある。）及び消費可能な対価の量が記憶されている。つまり、一例として、カードリーダ７は、カードＳＭの記憶媒体に記憶された消費可能な対価の量を読み取って、制御ユニット１５に出力する。そして、その対価は、例えば、ゲームをプレイするために消費される。また、カードＳＭの記憶媒体に記憶された消費可能な対価の量は、消費された量に応じてカードリーダ７を介して制御ユニット１５によって減算される。また、カードＩＤは、例えば、プレイヤの特定に利用される。このような特定には、例えば、プレイヤ毎にユニークなＩＤとカードＩＤとを対応付けるためのデータを通じて実現されてよい。また、このようなデータは、例えば、ゲーム機１がインタネット等のネットワークを介してサーバに接続されている場合には、サーバから提供されてもよい。なお、カードＳＭの記憶媒体に代えて、携帯電話等に実装されたＩＣチップ等の記憶媒体が利用されてもよい。

更に、制御ユニット１５には、外部記憶装置１６が接続されている。外部記憶装置１６には、例えば、ハードディスク等の磁気記憶媒体、ＤＶＤＲＯＭ、ＣＤＲＯＭ等の光学式記憶媒体、あるいはＥＥＰＲＯＭ等の不揮発性半導体メモリ装置といった、電源の供給がなくても記憶を保持可能な記憶媒体が使用される。

外部記憶装置１６には、ゲームプログラム２１及びゲームデータ２２が記憶されている。ゲームプログラム２１は、ゲーム機１が所定の手順に従って音楽ゲームを実行するために必要なコンピュータプログラムである。ゲーム機１が起動されると、ゲーム制御部１７はその内部記憶装置に記憶されたオペレーションプログラムを実行することにより、ゲーム機１として動作するために必要な各種の処理を実行する。続いて、ゲーム制御部１７は、外部記憶装置１６からゲームプログラム２１を読み込んでこれを実行することにより、ゲームプログラム２１に従って音楽ゲームを実行するための環境を設定する。

また、ゲーム制御部１７がゲームプログラム２１を実行することにより、ゲーム制御部１７にはゲーム提供部２６が生成される。ゲーム提供部２６は、プレイヤが選択した音楽（楽曲）の再生に合わせてプレイヤに操作時期を指示するための処理、あるいはプレイヤの操作に応じて効果音等の演出を発生させるための処理といった音楽ゲームを提供するための各種処理を実行する。ゲーム提供部２６は、コンピュータハードウェアとコンピュータプログラムとの組み合わせによって実現される論理的装置である。なお、ゲーム制御部１７には、上述のゲーム提供部２６の他にも各種の論理装置が生成され得る。しかし、それらの図示は省略した。

ゲームデータ２２には、ゲームプログラム２１が実行される際に参照されるべき各種のデータが含まれている。例えば、ゲームデータ２２には、楽曲データ２７、効果音データ２８及び画像データ２９が含まれている。楽曲データ２７は、ゲームの対象となる楽曲を各スピーカ６、１１から再生出力させるために必要なデータである。図２では、一種類の楽曲データ２７が示されているが、実際には、プレイヤが複数の楽曲からプレイする楽曲を選択可能である。ゲームデータ２２には、それらの複数の楽曲データ２７がそれぞれの曲を識別するための情報を付して記録されている。効果音データ２８は、プレイヤの操作に応答して各スピーカ６、１１から出力させるべき複数種類の効果音を、効果音毎にユニークなコードと対応付けて記録したデータである。効果音は、楽器その他の様々な種類の音声を含む。効果音データは、各種類に対して、音程を変えて所定のオクターブ数だけ用意されていてもよい。画像データ２９は、ゲーム画面内の背景画像、各種のオブジェクト、アイコン等をモニタ４に表示させるためのデータである。

ゲームデータ２２には、更にシーケンスデータ３０が含まれている。シーケンスデータ３０は、プレイヤに対して指示すべき操作時期等を定義したデータである。一曲の楽曲データ２７に対して、最低一個のシーケンスデータ３０が用意される。シーケンスデータ３０の詳細は後述する。

次に、ゲーム機１が提供する音楽ゲームの概要を説明する。ゲーム機１では、所定の時期に所定のプレイ行為を要求する音楽ゲームが提供される。また、音楽ゲームで使用する楽曲は、プレイヤによって選択される。この選択は、案内画面としての楽曲選択画面を通じて実行される。一方、所定のプレイ行為を実行すべき所定の時期は、音楽中における所定の楽器の演奏時期に対応している。そして、所定のプレイ行為によって、プレイの対象に選択された音楽を形成する楽器の演奏が実現される。所定の時期は、ゲーム画面を通じて案内される。楽曲選択画面及びゲーム画面には、現実空間の画像と仮想空間の画像とが融合された拡張空間の画像が利用される。図３〜図６を参照して、楽曲選択画面及びゲーム画面について具体的に説明する。

図３は、楽曲選択画面の一例が表示されたモニタ４の周辺の要部を拡大して模式的に示す図である。図３に示すように、楽曲選択画面ＭＳは、モニタ４に表示される。また、楽曲選択画面ＭＳは、現実空間画像３６及びＡＲ画像３７を含んでいる。現実空間画像３６には、光学センサＯＳのカメラが撮影した撮影画像が利用される。具体的には、光学センサＯＳのカメラの撮影範囲には、プレイ行為を実行するプレイヤ及び４つのプレイ用操作部８が含まれている。このため、現実空間画像３６には、プレイヤに対応するプレイヤ画像ＰＩ及びプレイ用操作部８に対応する操作関連画像としての操作部画像ＳＩが含まれる。プレイヤ画像ＰＩは、光学センサＯＳのカメラによって撮影されたプレイヤの画像である。一方、操作部画像ＳＩは、光学センサＯＳのカメラによって撮影されたプレイ用操作部８の画像である。

一方、ＡＲ画像３７は、現実空間を拡張するように現実空間画像３６の上に配置される仮想空間の画像である。ＡＲ画像３７は、現実空間及び仮想空間を融合することにより形成される拡張空間のオブジェクトとして機能する。具体的には、ＡＲ画像３７は、楽曲選択用画像３８、操作指示画像３９及びカーソル画像４０を含んでいる。楽曲選択用画像３８は、選択可能な楽曲を案内するための画像である。楽曲選択用画像３８は、選択候補の各楽曲に一つずつ対応するように用意される。つまり、楽曲選択画面ＭＳには、選択候補の楽曲数に応じた複数の楽曲選択用画像３８が表示される。カーソル画像４０は、選択中の楽曲選択画像ＭＳ、つまり選択中の楽曲を示すために表示される。操作指示画像３９は、各プレイ用操作部８が操作された場合に生じる効果を示すために表示される。そして、各プレイ用操作部８が操作された場合には、操作指示画像３９によって示される効果が生じる。

図３の例では、プレイヤ画像ＰＩの隣に３つの楽曲選択用画像３８が表示されている。また、各楽曲選択用画像３８は、“楽曲Ａ”、“楽曲Ｂ”、“楽曲Ｃ”という選択肢をそれぞれ示している。また、カーソル画像４０は、“楽曲Ｂ”に対応する楽曲選択画像３８の上に表示されている。これは、プレイに使用する楽曲として“楽曲Ｂ”が選択されていることを示している。一方、各プレイ用操作部８に対応する操作部画像ＳＩには、“←”、“決定”、“戻り”、“→”の操作指示画像３９が表示されている。そして、“←”の操作指示画像３９ａは、カーソル画像４０を左隣の楽曲選択画像３８の上に移動させる効果を示している。したがって、“←”の操作指示画像３９ａが配置されている左端のプレイ用操作部８が操作された場合、つまり左端のプレイ用操作部８がスティック９で叩かれた場合、カーソル画像４０は現在の“楽曲Ｂ”に対応する楽曲選択画像３８の上から左隣の“楽曲Ａ”に対応する楽曲選択画像３８の上に移動する。同様に、“→”の操作指示画像３９ｄは、カーソル画像４０を右隣の楽曲選択画像３８の上に移動させる効果を示している。したがって、“→”の操作指示画像３９ｄが配置されている右端のプレイ用操作部８がスティック９で叩かれた場合、カーソル画像４０は現在の“楽曲Ｂ”に対応する楽曲選択画像３８の上から右隣の“楽曲Ｃ”に対応する楽曲選択画像３８の上に移動する。

一方、“決定”の操作指示画像３９ｂは、選択中の楽曲をプレイに使用する楽曲として決定する効果を示している。具体的には、“決定”の操作指示画像３９ｂが配置されている左から２番目のプレイ用操作部８がスティック９で叩かれた場合、現在カーソル画像４０が上に位置する楽曲選択画像３８に対応する楽曲がプレイに使用する楽曲として決定される。また、“戻り”の操作指示画像３９ｃは、一つ前の画面に戻る効果を示している。このように、各プレイ用操作部８に割り当てられる効果が操作指示画像３９を通じて案内され、各プレイ用操作部８に対する操作を通じてプレイに使用する楽曲の選択が実行される。

各プレイ用操作部８の内部には、発光手段としての複数のＬＥＤが設けられている。各プレイ用操作部８のＬＥＤは、各プレイ用操作部８に割り当てられた効果に対応するように点滅する。また、各ＬＥＤの点滅は、楽曲選択画面ＭＳでは、その点滅効果がＡＲ画像３７を通じて強調される。具体的には、次のようにして、楽曲選択画面ＭＳでは、ＬＥＤの点滅が強調される。まず、現実空間画像３６には、プレイ用操作部８に対応する操作部画像ＳＩが含まれている。また、現実空間画像３６にはカメラの撮影結果が使用されるので、操作部画像ＳＩは、現実空間のプレイ用操作部８の点滅に対応するように点滅している。そして、その点滅を強調するように、操作部画像ＳＩの周囲にＡＲ画像３７として点滅強調画像が表示される。このようにして、ＬＥＤの点滅が強調される。

図４を参照して、点滅効果の強調について更に説明する。図４は、点滅効果の強調表示を説明するための説明図である。図４では、図３の楽曲選択画面ＭＳの操作部画像ＳＩ及び各プレイ用操作部８が拡大されて模式的に示されている。図４に示すように、各プレイ用操作部８の内部には、複数のＬＥＤ４０が円形の外周に沿うように設けられている。なお、図４では、説明の便宜上、ＬＥＤ４０を図示しているが、各ＬＥＤ４０は実際には外部から見えない。また、図４の例では、各ＬＥＤは上方に向かって発光するように配置されているが、各ＬＥＤ４０の配置は、このような配置にも限定されない。例えば、各ＬＥＤは、下方に向かって発光するように配置されていてもよい。また、この場合、下方に向かって発光された光を上方に向かって反射する反射板が各プレイ用操作部８の内部に設けられていてもよい。

また、各プレイ用操作部８のＬＥＤ４０は、各プレイ用操作部８に割り当てられた効果に対応するように互いに異なる態様で点滅している。具体的には、左端の操作部画像ＳＩには、“←”の操作指示画像３９ａが配置されている。このため、左端のプレイ用操作部８の各ＬＥＤ４０は、左方向を示すように左半分が点滅している。一方、右端の操作部画像ＳＩには、“→”の操作指示画像３９ｄが配置されている。このため、右端のプレイ用操作部８の各ＬＥＤ４０は、右方向を示すように右端のプレイ用操作部８の各ＬＥＤ４０は、右半分が点滅している。同様に、“決定”或いは“戻り”の操作指示画像３９が配置されている操作部画像ＳＩに対応する残りの２つのプレイ用操作部８は、ボタンとしての機能を示すように外周の全ＬＥＤ４０が点滅している。なお、各ＬＥＤ４０は、全て同時に点滅してもよいし、順に一つずつ点滅してもよい。一つずつ点滅する場合、各ＬＥＤ４０は、半円或いは円を描くように順に点滅してもよい。

一方、楽曲選択画面ＭＳの各操作部画像ＳＩの周囲には、各操作部画像ＳＩの点滅を強調するように点滅強調画像ＴＩが表示されている。具体的には、まず各操作部画像ＳＩは、各プレイ用操作部８のＬＥＤ４０の点滅に対応して楽曲選択画面ＭＳ上でも点滅している。つまり、各プレイ用操作部８の各ＬＥＤ４０の発光態様に対応するように楽曲選択画面ＭＳ上でも点滅している。そして、その各操作部画像ＳＩの点滅を強調するように、各操作部画像ＳＩの点滅によって光る部分の上に点滅強調画像ＴＩが配置されている。つまり、各ＬＥＤの光によって輝度が上昇している部分の上に更に重畳的に、その輝度の上昇を強調する点滅強調画像ＴＩが配置されている。但し、各操作部画像ＳＩから所定距離離れた位置までは強調対象になっていない。つまり、各操作部画像ＳＩの外形を明確にするために、各操作部画像ＳＩ自体は、点滅強調画像ＴＩによって強調される対象から除外されている。また、点滅強調画像ＴＩは、各ＬＥＤ４０の輝度の変化や点滅状態に対応するように、各ＬＥＤ４０の発光態様が反映される。したがって、各操作部画像ＳＩの点滅強調画像ＴＩも、互いに異なる態様で表示されている。このように、各プレイ用操作部８の効果を示すためのＬＥＤ４０の点滅が楽曲選択画面ＭＳでは点滅強調画像ＴＩによって強調されて案内される。なお、点滅強調画像ＴＩは、各ＬＥＤ４０の点滅に対応して出現し、消滅する。したがって、各ＬＥＤ４０が一つずつ順に点滅する場合には、点滅強調画像ＴＩは、その点滅範囲に応じた範囲に配置される。このため、半円等を描くように順に各ＬＥＤ４０が点滅する場合には、点滅強調画像ＴＩも半円等を描くように徐々に表示範囲が延長される。また、各操作部画像ＳＩ自体が強調対象に含まれない形態に限定されない。点滅強調画像ＳＩによって強調される対象に各操作部画像ＳＩ自体が含まれてもよい。

次に、ゲーム画面について説明する。図５は、ゲーム画面の一例が表示されたモニタ４の周辺の要部を拡大して模式的に示す図である。図５に示すように、モニタ４には、ゲーム画面３５が表示されている。ゲーム画面３５は、楽曲選択画面ＭＳと同様に、現実空間画像３６及びＡＲ画像３７を含んでいる。また、現実空間画像３６には、楽曲選択画面ＭＳと同様に、プレイヤに対応するプレイヤ画像ＰＩ及び各プレイ用操作部８に対応する操作部画像ＳＩが含まれる。

一方、ＡＲ画像３７は、４つのドラム画像ＤＩ及びオブジェクト画像ＯＩを含んでいる。４つのドラム画像ＤＩは、各プレイ用操作部８をそれぞれ覆うように各プレイ用操作部８の上に配置される。したがって、ゲーム画面３５では、各操作部画像ＳＩの表示は、プレイヤによって認識されない（図５でも不図示）。また、一例として、４つのドラム画像ＤＩとして、異なる打楽器の画像が利用される。このようなドラム画像ＤＩとして、例えば、シンバル、スネアドラム、バスドラム、和太鼓の画像がそれぞれ利用される。つまり、一例として、シンバル、スネアドラム、バスドラム、和太鼓に対応するドラム画像ＤＩのそれぞれがＡＲ画像３７として各操作部画像ＳＩの上に一つずつ配置される。また、各プレイ用操作部８が操作された場合には、各プレイ用操作部８に対応する操作部画像ＳＩの上に配置されたドラム画像ＤＩが示す楽器の音が再生される。つまり、各ドラム画像ＤＩは、各プレイ用操作部８が操作された場合の効果を示している。結果として、各プレイ用操作部８は、各ドラム画像ＤＩを介して、シンバル、スネアドラム、バスドラム、和太鼓といった仮想的な打楽器として機能する。なお、操作部画像ＳＩの上に、ＡＲ画像３７が配置される形態に限定されない。例えば、操作部画像ＳＩがそのまま表示されてもよい。

各ドラム画像ＤＩには、各ドラム画像ＤＩから上方に向かって延びる仮想レーンが設定されている。但し、仮想レーンは、ゲーム画面３５中には、表示されていない。オブジェクト画像ＯＩは、ゲーム中で再生される楽曲の適宜な時期に仮想レーン上に配置される。また、オブジェクト画像ＯＩは、仮想レーンの上方、つまり各ドラム画像ＤＩの反対側に出現する。そして、オブジェクト画像ＯＩは、楽曲の進行に伴って各ドラム画像ＤＩとの間の距離を減少させつつ仮想レーンに沿って各ドラム画像ＤＩまで移動する。つまり、各ドラム画像ＤＩは、オブジェクト画像ＯＩの到達位置としても機能する。そして、オブジェクト画像ＯＩは、各ドラム画像ＤＩにおいて、その上面と重なった後、ゲーム画面３５から消滅する。

オブジェクト画像ＯＩは、各ドラム画像ＤＩの上面と同様の形状に形成されている。そして、オブジェクト画像ＯＩは、適切な操作を実行すべき時期（操作時期）を指示するために表示される。より具体的には、オブジェクト画像ＯＩの各ドラム画像ＤＩへの到達に合わせて、つまりオブジェクト画像ＯＩの位置及びドラム画像ＤＩの位置の一致に合わせて、プレイヤには適切な操作が要求される。また、各プレイ用操作部８をスティック９で叩く操作が適切な操作に該当する。つまり、オブジェクト画像ＯＩの位置及びドラム画像ＤＩの位置の一致に合わせて、オブジェクト画像ＯＩが到達したドラム画像ＤＩに対応するプレイ用操作部８をスティック９で叩く操作がプレイヤには要求される。

さらに、オブジェクト画像ＯＩがドラム画像ＤＩに到達した時刻とプレイヤが適切な操作を実行した時刻との間のずれ時間が検出される。そして、そのずれ時間が小さいほどプレイヤの操作が高く評価される。また、叩く操作が実行されたプレイ用操作部８に対応する効果音、より具体的にはそのプレイ用操作部８に配置されたドラム画像ＤＩが示す打楽器に対応する効果音がプレイ用操作部８の近くに配置された入力装置側スピーカ１１から再生される。なお、プレイ用操作部８から遠くに配置された筐体側スピーカ６からは、ゲームの対象となる楽曲が再生出力される。このように、プレイ用操作部８の近くに配置された入力装置側スピーカから効果音を再生出力することにより、プレイ用操作部８から効果音が発生しているかのような感覚をプレイヤに与えることができる。

図５の例では、ゲーム画面３５には、ドラム画像ＤＩよりも奥側にプレイヤ画像ＰＩが表示されている。これは、カメラの撮影方向から見てプレイヤが４つのプレイ用操作部８の向こう側に位置してプレイ中のプレイヤの撮影結果に対応する。また、左端のドラム画像ＤＩの仮想レーン上には、ドラム画像ＤＩに到達した直後のオブジェクト画像ＯＩが表示されている。そして、オブジェクト画像ＯＩの左端のドラム画像ＤＩへの到達に合わせて、適切な操作を実行しているプレイヤのプレイヤ画像ＰＩが表示されている。より具体的には、オブジェクト画像ＯＩの左端のドラム画像ＤＩへの到達に合わせて、左端のプレイ用操作部８をスティック９で叩く操作を実行しているプレイヤに対応するプレイヤ画像ＰＩが表示されている。

また、ドラム画像ＤＩは、各操作部画像ＳＩの上に加え、その他の場所に配置される場合もある。つまり、ゲーム画面３５上に表示されるドラム画像ＤＩの数が５つ以上に増える場合がある。図６は、ドラム画像ＤＩが各操作部画像ＳＩ以外の場所にも表示されている場合のゲーム画面３５の一例を示す図である。図６に示すように、ドラム画像ＤＩは、各操作部画像ＳＩの上及び右端のドラム画像ＤＩの後方に合計５つ表示されている。右端のドラム画像ＤＩの後方に追加的に表示されている追加ドラム画像ＤＩｓにも仮想レーンが設けられ、その仮想レーン上に適宜にオブジェクト画像ＯＩが表示される。

また、プレイヤには、追加ドラム画像ＤＩｓへのオブジェクト画像ＯＩの到達に合わせて、追加ドラム画像ＤＩｓをスティック９で叩く操作が要求される。この場合、現実空間には、追加ドラムＤＩｓ或いはこれに対応するプレイ用操作部８が存在していない。したがって、プレイヤは、ゲーム画面３５上の拡張空間に存在する追加ドラム画像ＤＩに対して適切な操作を実行する。つまり、プレイヤに対応するプレイヤ画像ＰＩが追加ドラム画像ＤＩｓを叩くような動作を実行するように、プレイヤは自己の動作を制御する。そして、プレイヤ画像ＰＩが適切な時期に追加ドラム画像ＤＩｓを叩く動作を実行した場合には、追加ドラム画像ＤＩｓに割り当てられた楽器に対応する効果音が再生される。

このように、ゲーム機１の音楽ゲームでは、オブジェクト画像ＯＩとドラム画像ＤＩとの間の距離の減少を通じて、適切な操作時期が案内される。また、この音楽ゲームでは、各プレイ用操作部８及びドラム画像ＤＩｓに対して適切な操作が実行された場合には、それらに割り当てられた楽器の音が再生され、音楽にそれらの演奏音が追加される。なお、追加ドラム画像ＤＩｓに対する適切な操作の有無は、例えば、深度センサ及び光学センサＯＳによって検出される。つまり、一例として、光学センサＯＳが適切な操作に対応するプレイヤの動作を検出し、その動作が実行されている深度（距離）を深度センサが検出する。そして、それらの動作及び位置に基づいて、追加ドラム画像ＤＩｓに対する適切な操作が検出される。このようにして、追加ドラム画像ＤＩｓに対する適切な操作の有無が検出されてもよい。

次に、図７を参照して、シーケンスデータ３０の詳細を説明する。図７は、シーケンスデータ３０の内容の一例を示す図である。図７に示すように、シーケンスデータ３０は、条件定義部３０ａと、操作シーケンス部３０ｂと、を備えている。条件定義部３０ａには、音楽のテンポ、ビート、トラック等を指定する情報、楽曲毎に異なるゲームの実行条件を指定する情報といった、ゲームを実行するための各種の条件を指定する情報が記述される。

一方、操作シーケンス部３０ｂには、適切な操作をすべき時期が楽曲中の時刻と対応付けてられて記述される。即ち、図７にその一部を示すように、操作シーケンス部３０ｂは、楽曲中において操作が行われるべき操作時期を指定する情報、ドラム画像ＤＩの種類を指定する情報及びオブジェクト画像ＯＩの種類を指定する情報を含んでいる。そして、操作シーケンス部３０ｂは、これらの情報が互いに対応付けられるように記述された複数のレコードの集合として構成されている。操作時期は、楽曲中の小節部分、拍数、及び拍中の時刻を示す値をカンマで区切って記述されている。拍中の時刻は、一拍の先頭からの経過時間であり、一拍の時間長をｎ個の単位時間に等分して先頭からの単位数で表現される。例えば、楽曲の一小節目の二拍目で、かつその拍の先頭から１／４だけ経過した時刻を操作時期として指定する場合には、“０１，２，０２５”と記述される。

ドラム画像ＤＩの種類は、４つのプレイ用操作部８にそれぞれ対応するドラム画像ＤＩ及び追加ドラム画像ＤＩｓに分類される。つまり、ドラム画像ＤＩの種類の情報によって各プレイ用操作部８或いは追加ドラムＤＩが指定される。具体的には、ドラム画像ＤＩの種類は、各ドラム画像ＤＩ或いは追加ドラム画像ＤＩｓに対応する情報によって指定される。例えば、ドラム画像ＤＩの種類を指定する情報として、４つのプレイ用操作部８にそれぞれ対応する“ｄｒｕｍ １”、“ｄｒｕｍ ２”といった情報及び追加ドラム画像ＤＩｓに対応する“ｄｒｕｍ Ｓ”といった情報が記述される。オブジェクト画像ＯＩの種類は、例えば、アルファベットによって指定される。一例として、オブジェクト画像ＯＩを指定する情報として“Ｎ”が記述される。これは、上述のようなオブジェクト画像ＯＩを示す情報である。指示する情報或いは効果の異なるオブジェクト画像ＯＩが表示される場合には、各オブジェクト画像ＯＩの種類に対応する複数のアルファベットが利用されてよい。

図７の例では、一小節目の四拍目の開始時点（０００）で“ｄｒｕｍ １”に対応するドラム画像ＤＩへの操作の指示が記述されている。また、この場合に利用されるオブジェクト画像ＯＩの種類として、“Ｎ”が指定されている。そして、“ｄｒｕｍ １”は、例えば、左端のドラム画像ＤＩに対応付けられている。つまり、この場合、一小節目の四拍目の開始時点（０００）に左端のドラム画像ＤＩに到達するように、このドラム画像ＤＩの仮想レーン上にオブジェクト画像ＯＩが表示される。そして、このオブジェクト画像ＯＩの左端のドラム画像ＤＩへの到達に合わせて、つまり一小節目の四拍目の開始時点（０００）において、プレイヤには、左端のドラム画像ＤＩに対応するプレイ用操作部８へ適切な操作を実行するというプレイ行為が要求される。

一方、一小節目の四拍目の開始時点から“０２４”相当経過した時期には、追加ドラム画像ＤＩｓに到達するように、追加ドラム画像ＤＩｓ及びこの追加ドラム画像ＤＩｓの仮想レーン上にオブジェクト画像ＯＩが表示される。そして、このオブジェクト画像ＯＩの追加ドラム画像ＤＩｓへの到達に合わせて、つまり一小節目の四拍目の開始時点から“０２４”相当経過した時期において、プレイヤには、追加ドラムＤＩｓの深度に対応する位置に対する適切な動作が要求される。具体的には、プレイヤ画像ＰＩが追加ドラムＤＩｓを叩く動作を実行するように、拡張空間の追加ドラムＤＩｓの位置に対応する現実空間の深度においてスティック９で仮想の追加ドラムＤＩｓを叩くような動作がプレイヤに要求される。このように、シーケンスデータ３０によって、操作時期、及びその時期に操作を実行すべきプレイ用操作部８或いはその時期に実行すべき動作が指定される。

次に、演出画像生成処理及び評価処理について説明する。演出画像生成処理は、点滅強調画像ＴＩを表示するために実行される。一方、評価処理は、プレイヤのプレイ行為を評価するために実行される。演出画像生成処理及び評価処理は、ゲーム制御部１７のゲーム提供部２６によって実行される。なお、ゲーム制御部１７は、例えば、ゲーム提供部２６を通じて、その他にも楽曲選択画面ＭＳ或いはゲーム画面３５を表示するための周知な処理を実行する。例えば、このような処理には、シーケンスデータ３０で指定された操作時期にオブジェクト画像ＯＩが各ドラム画像ＤＩに到達するように、オブジェクト画像ＯＩの位置を制御するための処理、所定の位置にドラム画像ＤＩを表示するための処理等が含まれる。しかし、これらの処理の詳細な説明は省略する。

図８は、演出画像生成処理ルーチンのフローチャートの一例を示す図である。図８のルーチンは、例えば、所定の周期で繰り返し実行される。図８のルーチンを開始すると、ゲーム提供部２６は、まずステップＳ１において、光学センサＯＳのカメラの撮影画像を取得する。続くステップＳ２において、ゲーム提供部２６は、ステップＳ１で取得した撮影画像に演出条件を満たす部分が含まれるか否か判別する。演出条件として、例えば、輝度が利用される。つまり、一例として、ゲーム提供部２６は、ステップＳ２において、撮影画像内に所定値以上の輝度の部分が含まれるか否か判別する。所定値は、例えば、ＬＥＤ４０の発光能力によって決定される。また、演出条件には、さらに輝度の位置に関する条件が含まれていてもよい。例えば、位置に関する条件として、プレイ用操作部８（操作部画像ＳＩ）の周辺の所定範囲内の位置が利用される。つまり、この場合、所定値以上の輝度の部分が含まれていても、その位置がプレイ用操作部８の周辺の所定範囲内の位置でなければ、演出条件は満たされない。また、各操作部画像ＳＩ及び各操作部画像ＳＩの位置から所定の距離が所定範囲から除外されてもよい。プレイ用操作部８の位置は、例えば、撮影画像とプレイ用操作部８の形状を示す情報とを比較することにより特定される。ステップＳ２の判別結果が否定的結果の場合、つまり演出条件を満たさない場合、ゲーム提供部２６は、以降のステップをスキップして、今回のルーチンを終了する。

一方、ステップＳ２の判別結果が肯定的結果の場合、つまり演出条件を満たす場合、ゲーム提供部２６は、ステップＳ３に進む。ステップＳ３において、ゲーム提供部２６は、演出位置、つまり点滅強調画像ＴＩを表示すべき位置を特定する。この特定は、一例として、次のようにして実現される。まずゲーム提供部２６は、ステップＳ２の判別結果に基づいて、所定値以上の輝度を有する部分を特定する。そして、ゲーム提供部２６は、この特定した部分を演出位置として、つまり点滅強調画像ＴＩを表示すべき位置として特定する。なお、プレイ用操作部８の位置を基準に所定値以上の輝度を有する部分のうちの一部の領域にさらに演出位置が限定されてもよい。

続くステップＳ４において、ゲーム提供部２６は、演出用の加工画像データを生成する。この加工画像データは、ステップＳ１で取得した撮影画像に点滅強調画像ＴＩが追加された画像を表示するためのデータである。具体的には、ステップＳ３で特定した演出位置に点滅強調画像ＴＩが配置されるように、ステップＳ１で取得した撮影画像が加工された加工画像を表示するためのデータである。次のステップＳ５において、ゲーム提供部２６は、ステップＳ４で生成した加工画像データに基づいて加工画像が楽曲選択画面ＭＳに表示されるように、加工画像データを出力する。そして、この処理を終えると、ゲーム提供部２６は、今回のルーチンを終了する。これにより、ＬＥＤ４０の発光によって所定値以上の輝度を有する部分に、その部分を強調するための点滅強調画像ＴＩが重畳的に表示される。

なお、図８のルーチンでは、ステップＳ２において演出条件として輝度が利用され、ステップ３において所定値以上の輝度の部分が演出位置として特定されている。しかし、演出位置の特定は、このような処理に限定されない。例えば、演出位置は、プレイ用操作部８の位置に基づいて特定されてもよい。より具体的には、プレイ用操作部８の周辺の所定範囲内の位置が演出位置として特定されてもよい。この場合、ステップＳ２の処理は、省力されてもよい。また、この場合、図８のルーチンは、楽曲選択画面ＭＳが表示される毎に実行されてもよい。さらに、この場合、点滅演出画像ＴＩの表示範囲は、プレイ用操作部８の出力結果から取得するＬＥＤ４０の点滅範囲に基づいて決定されてもよい。また、ＬＥＤ４０の点滅範囲に対応するように、点滅演出画像ＴＩの表示範囲を変化させる処理は、周知な処理によって実現されてよい。

一方、図９は、評価処理ルーチンのフローチャートの一例を示す図である。図９のルーチンは、一例として、所定の周期で繰り返し実行される。図９のルーチンを開始すると、ゲーム提供部２６は、まずステップＳ１１において、振動センサ２０の出力信号を参照して、各プレイ用操作部８に対する操作の有無を判別する。そして、この判別結果が肯定的結果の場合、つまり各プレイ用操作部８に対して操作が実行されている場合、ゲーム提供部２６は、ステップＳ１２に進む。

ステップＳ１２において、ゲーム提供部２６は、操作が実行されたプレイ用操作部８及び操作が実行された時期を判別する。続くステップＳ１３において、ゲーム提供部２６は、操作されたプレイ用操作部８に関して、シーケンスデータ３０に記述された直近の操作時期、つまりはシーケンスデータ３０上で時間的に最も接近した操作時期を特定し、その操作時期と振動センサ２０から信号が出力された時刻との間のずれ時間を取得する。

次のステップＳ１４において、ゲーム提供部２６は、ずれ時間が評価範囲内か否かを判別することにより、プレイヤの操作が適切か否か評価する。評価範囲は、比較対象の操作時期を中心として前後に所定の時間範囲で設定される。また、一例として、所定の時間範囲は、中心に近いほど評価の高い複数のレベルに分類される。この結果が否定的結果の場合、つまりずれ時間が評価範囲外の場合、ゲーム提供部２６は、以降の処理をスキップして、今回のルーチンを終了する。

一方、ステップＳ１４の判断結果が肯定的結果の場合、つまりずれ時間が評価範囲内の場合、ゲーム提供部２６は、ステップＳ１５に進む。ステップＳ１５において、ゲーム提供部２６は、プレイヤの操作に対する評価を決定する。具体的には、ステップＳ１４の評価結果に基づいて、ステップＳ１３で取得したずれ時間が所定の時間範囲のうち複数のレベルのいずれに属するかを判別することにより、プレイヤの操作に対する評価を決定する。その後、ゲーム提供部２６は、ステップＳ１６に進み、ステップＳ１６において、評価結果がゲーム画面３５に表示されるように、表示制御部１８への出力を制御する。ステップＳ１６の処理を完了すると、ゲーム提供部２６は今回のルーチンを終了する。

一方、ステップＳ１１の判別結果が否定的結果の場合、つまり各プレイ用操作部８に対して操作が実行されていない場合、ゲーム提供部２６は、ステップＳ１７に進む。ステップＳ１７において、ゲーム提供部２６は、ゲーム画面３５内に追加ドラムＤＩｓの表示があるか否か判別する。一例として、この判別は、次のようにして実現される。まずゲーム提供部２６は、シーケンスデータ３０に基づいて、ゲーム画面３５の表示範囲に操作時期に追加ドラムＤＩｓに対応付けられる操作時期が含まれているか否か判別する。そして、この判別結果が肯定的結果の場合、つまりゲーム画面３５の表示範囲に追加ドラムＤＩｓに対応付けられる操作時期が含まれている場合、ゲーム提供部２６は、ゲーム画面３５内に追加ドラムＤＩｓの表示があると判別する。一方、否定的結果の場合、つまりゲーム画面３５の表示範囲に追加ドラムＤＩｓに対応付けられる操作時期が含まれていない場合、ゲーム提供部２６は、ゲーム画面３５内に追加ドラムＤＩｓの表示がないと判別する。そして、ステップＳ１７の判別結果が否定的結果の場合、つまり追加ドラムＤＩｓの表示がない場合、ゲーム提供部２６は、以降の処理をスキップして、今回のルーチンを終了する。

一方、ステップＳ１７の判別結果が肯定的結果の場合、つまり追加ドラムＤＩｓの表示がある場合、ゲーム提供部２６は、ステップＳ１８に進む。ステップＳ１８において、ゲーム提供部２６は、光学センサＯＳのカメラの撮影画像を取得する。続くステップＳ１９において、ゲーム提供部２６は、プレイヤによって所定の動作が実行されたか否か判別する。具体的には、ゲーム提供部２６は、ステップＳ１８で取得した撮影画像に所定の動作に対応する画像が含まれているか否か判別する。所定の動作の有無は、例えば、上述のように光学センサＯＳ及び深度センサに基づいて実現される。具体的には、一例として次のようにして実現される。まず、光学センサＯＳの出力結果に基づいて、所定の動作に対応するプレイヤ画像ＰＩの動作が撮影画像に含まれるか否か判別する。所定の動作が含まれていない場合には、ステップＳ１９において所定の動作が実行されていないと判別される。一方、所定の動作が含まれている場合には、深度センサの出力結果に基づいて、その所定の動作が適切な深度に実行されているか否か判別する。所定の動作が適切な深度に実行されていない場合には、やはりステップＳ１９において所定の動作が実行されていないと判別される。一方、撮影結果に所定の動作が含まれており、かつ、その動作が適切な深度に実行されている場合には、ステップＳ１９において所定の動作が実行されていると判別される。そして、ステップＳ１９の判別結果が否定的結果の場合、つまり所定の動作が実行されていない場合には以降の処理をスキップして、今回のルーチンを終了する。一方、ステップＳ１９の判別結果が肯定的結果の場合、つまり所定の動作が実行されている場合には、ステップＳ１３に進む。

ステップＳ１３において、上述のプレイ用操作部８に対して操作が実行された場合と同様に、シーケンスデータ２０に記述された直近の追加ドラムＤＩｓに対する操作時期と所定の動作が実行された時期との間のずれ時間が取得される。また、ゲーム提供部２６は、ステップ１４以降も同様の処理を実行する。結果として、追加ドラムＤＩｓに適切な操作が実行されている場合には、プレイ用操作部８に対して適切な操作が実行された場合と同様に評価され、その結果がゲーム画面３５に表示される。これにより、各ドラム画像ＤＩ及び追加ドラムＤＩｓに対して適切な時期に適切な操作或いは動作が実行されたか否か評価される。

以上に説明したように、この形態によれば、楽曲選択画面ＭＳには、現実空間のプレイ用操作部８の撮影画像が利用される。つまり、実際のプレイ用操作部８の画像を利用して、楽曲の選択のために実行すべき操作が案内される。このため、プレイヤが実行すべき操作を実際の操作環境と関連付けて案内することができる。これにより、プレイヤが実行すべき操作をより分かりやすく案内することができる。

また、各プレイ用操作部８には、ＬＥＤ４０が設けられており、それらは各プレイ用操作部８に割り当てられた効果に応じて異なる態様で点滅している。そして、楽曲選択画面ＭＳには、各ＬＥＤ４０の点滅も反映されている。さらに、楽曲選択画面ＭＳには、各ＬＥＤ４０の点滅による効果が強調された加工画像が使用される。つまり、楽曲選択画面ＭＳでは、ＬＥＤ４０の点滅の認識度が向上するように、各プレイ用操作部８に対応する操作部画像ＳＩの周囲の所定値以上の輝度の部分が強調されて表示されている。このため、操作対象及びそれによる効果の両方を共に分かりやすく案内することができる。

以上の形態において、制御ユニット２５が、ゲーム制御部１７のゲーム提供部２６を通じて図８のルーチンを実行することにより、本発明の一部特定手段及び画像データ生成手段として機能する。

本発明は上述の形態に限定されず、適宜の形態にて実施することができる。上述の形態では、楽曲選択画面ＭＳが本発明の案内画面として機能している。しかし、本発明は、このような形態に限定されない。例えば、ゲーム画面３５が本発明の案内画面として機能してもよい。この場合、例えば、ドラム画像ＤＩが操作部画像ＳＩを強調する画像として利用されてもよい。つまり、操作部画像ＳＩの上にドラム画像ＤＩが配置されている画像が加工画像として機能してもよい。或いは、追加ドラムＤＩｓが操作関連画像として利用されてもよい。この場合、所定の操作として、所定の位置に対する所定の動作が採用されてもよい。

上述の形態では、入力装置は、プレイヤの叩く操作を入力するドラム型の操作部を有している。しかし、入力装置は、このような形態に限定されない。例えば、入力装置として、ギター型の入力装置等、各種楽器を模した形状の入力装置が採用されてもよい。そして、各種楽器の形状に対応する操作部が採用されてよい。

また、上述の形態では、楽曲を再生し、楽曲に対応する時期にプレイ行為を要求する音楽ゲームが採用されている。しかし、ゲーム機１が提供するゲームは、このようなゲームに限定されない。例えば、所定の時期に所定の位置に旗をあげる操作を要求する旗揚げゲーム等、各種のゲームがゲーム機１によって提供されてよい。つまり、ゲーム機１は、アクションゲーム、ロールプレイングゲーム、シューティングゲーム等の各種ゲームを提供してもよい。

上述の形態では、撮影手段として光学センサＯＳが採用されている。しかし、撮影手段は、このような形態に限定されない。例えば、撮影手段として、単にカメラが利用されてもよい。さらに、本発明の案内システムは、商業施設に設置される業務用ゲーム機、家庭用の据置型ゲーム機、携帯型のゲーム機、ネットワークを利用してゲームを提供するゲーム機といった各種のゲーム機に適用されてよい。さらに、案内システムは、これらのようなゲーム機に適用される形態に限定されない。本発明の案内システムは、所定の操作の案内を必要とする各種の装置等に適用されてよい。

１ ゲーム機
３ 入力装置
８ プレイ用操作部（操作部）
１５ 制御ユニット（コンピュータ、一部特定手段、画像データ生成手段）
ＭＳ 楽曲選択画面（案内画面）
ＯＳ 光学センサ（撮影手段）

Claims (8)

1. 使用者に所定の操作を案内する案内システムであって、
   前記所定の操作を実行する前記使用者を含む撮影範囲を撮影する撮影手段と、
   前記撮影手段が撮影した撮影画像を利用して前記所定の操作を案内する案内画面を表示する表示装置と、
   前記所定の操作を入力するための少なくとも一つの操作部を有し、前記撮影範囲に前記操作部が含まれるように配置される入力装置と、
   所定の条件に基づいて、前記撮影画像のうち前記所定の操作に関連する少なくとも一部を特定する一部特定手段と、
   前記撮影画像及び前記一部特定手段の特定結果に基づいて、前記撮影画像のうち前記一部が強調された加工画像が前記案内画面に利用されるように、前記加工画像を表現するための加工画像データを生成する画像データ生成手段と、
   を備え、
   前記案内画面は、前記所定の操作に関連する操作関連画像を含み、
   前記一部特定手段は、前記所定の条件に基づいて、前記一部として、前記操作関連画像に関連する部分を特定し、
   前記操作関連画像として、前記撮影画像に含まれる前記操作部の画像が利用され、
   前記操作部には、発光する少なくとも一つの発光手段が設けられ、
   前記一部特定手段は、前記所定の条件に基づいて、前記操作部の画像に関連する部分として、前記撮影画像のうち前記発光手段の発光によって輝度が変化する部分を特定し、
   前記画像データ生成手段は、前記加工画像データとして、前記輝度の変化が強調された加工画像を表現するための加工画像データを生成する、
   ることを特徴とする案内システム。
2. 前記入力装置は、前記操作部として、ドラム型の操作部を有し、
   前記ドラム型の操作部には、前記少なくとも一つの発光手段として、外周に沿うように複数の発光手段が設けられている、請求項１に記載の案内システム。
3. 前記入力装置には、前記少なくとも一つの操作部として、複数の操作部が設けられ、
   前記案内画面は、各操作部に対して前記所定の操作が実行された場合に、前記所定の操作が実行された操作部に応じて内容の異なる所定の効果が生じるように構成され、
   各操作部の前記発光手段は、前記所定の効果の内容に応じて態様が互いに異なるように発光する、請求項１又は２に記載の案内システム。
4. 前記画像データ生成手段は、前記加工画像データとして、各発光手段の発光態様に応じて前記輝度の変化が強調される態様が変化する加工画像を表現するための加工画像データを生成する、請求項３に記載の案内システム。
5. 所定のゲームを提供するゲーム機に適用され、
   前記案内画面は、前記所定の操作として、前記ゲームに関連する操作を案内する、請求項１〜４のいずれか一項に記載の案内システム。
6. 前記ゲーム機は、前記所定のゲームとして、音楽のリズムに合わせて所定のプレイ行為を要求する音楽ゲームを提供する、請求項５に記載の案内システム。
7. 使用者に所定の操作を案内する案内システムであって、前記所定の操作を実行する前記使用者を含む撮影範囲を撮影する撮影手段と、前記撮影手段が撮影した撮影画像を利用して前記所定の操作を案内する案内画面を表示する表示装置と、前記所定の操作を入力するための少なくとも一つの操作部を有し、前記撮影範囲に前記操作部が含まれるように配置される入力装置と、を備えた案内システムに組み込まれるコンピュータに、
   所定の条件に基づいて、前記撮影画像のうち前記所定の操作に関連する少なくとも一部を特定する一部特定工程と、
   前記撮影画像及び前記一部特定工程の特定結果に基づいて、前記撮影画像のうち前記一部が強調された加工画像が前記案内画面に利用されるように、前記加工画像を表現するための加工画像データを生成する画像データ生成工程と、
   を実行させ、
   前記案内画面は、前記所定の操作に関連する操作関連画像を含み、
   前記一部特定工程では、前記所定の条件に基づいて、前記一部として、前記操作関連画像に関連する部分が特定され、
   前記操作関連画像として、前記撮影画像に含まれる前記操作部の画像が利用され、
   前記操作部には、発光する少なくとも一つの発光手段が設けられ、
   前記一部特定工程では、前記所定の条件に基づいて、前記操作部の画像に関連する部分として、前記撮影画像のうち前記発光手段の発光によって輝度が変化する部分が特定され、
   前記画像データ生成工程では、前記加工画像データとして、前記輝度の変化が強調された加工画像を表現するための加工画像データが生成される、制御方法。
8. 使用者に所定の操作を案内する案内システムであって、前記所定の操作を実行する前記使用者を含む撮影範囲を撮影する撮影手段と、前記撮影手段が撮影した撮影画像を利用して前記所定の操作を案内する案内画面を表示する表示装置と、前記所定の操作を入力するための少なくとも一つの操作部を有し、前記撮影範囲に前記操作部が含まれるように配置される入力装置と、を備える案内システムのコンピュータを、
   所定の条件に基づいて、前記撮影画像のうち前記所定の操作に関連する少なくとも一部を特定する一部特定手段、及び前記撮影画像及び前記一部特定手段の特定結果に基づいて、前記撮影画像のうち前記一部が強調された加工画像が前記案内画面に利用されるように、前記加工画像を表現するための加工画像データを生成する画像データ生成手段として機能させるように構成され、
   前記案内画面は、前記所定の操作に関連する操作関連画像を含み、
   前記一部特定手段を、前記所定の条件に基づいて、前記一部として、前記操作関連画像に関連する部分を特定する手段として機能させ、
   前記操作関連画像として、前記撮影画像に含まれる前記操作部の画像が利用され、
   前記操作部には、発光する少なくとも一つの発光手段が設けられ、
   前記一部特定手段を、前記所定の条件に基づいて、前記操作部の画像に関連する部分として、前記撮影画像のうち前記発光手段の発光によって輝度が変化する部分を特定する手段として、前記画像データ生成手段を、前記加工画像データとして、前記輝度の変化が強調された加工画像を表現するための加工画像データを生成する手段として、それぞれ更に機能させるように構成された案内システム用のコンピュータプログラム。

Images