以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.ゲームシステムの構成
図1に本実施形態のゲームシステム(投影システム)の構成例を示す。このゲームシステムは、ゲーム装置11、12(広義には少なくとも1つのゲーム装置)と、制御部20と、投影部50を含む。なおゲームシステムの構成は図1に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば図1では、2つのゲーム装置11、12が設けられているが、ゲーム装置の個数は1つでもよいし、3つ以上であってもよい。
ゲーム装置11、12は、操作部からのプレーヤの操作情報やゲームプログラムやゲームデータに基づいて動作し、ゲーム画像やゲーム音を生成する。これらのゲーム装置11、12は制御部20とは独立した装置である。ゲーム装置11、12は、例えば業務用ゲーム装置であり、アミューズメント施設などに設置されるゲーム装置である。
制御部20は、ゲーム装置に通信接続される。この制御部20は少なくとも1つの処理装置により構成される。処理装置は、例えばPC(パーソナルコンピュータ)であってもよいし、プロセッサやメモリなどが実装されたシステム基板であってもよいし、マイクロコンピュータなどのプロセッサであってもよい。
この制御部20は、例えばイベント運営用(施設運営用)の制御システムである。この制御部20を設けることで、業務用のゲーム装置11、12を用いて、これらのゲーム装置11、12により生成されたゲーム画像等を建造物等に投影するイベントを実現できる。
投影部50は、投影画像を投影対象物POBに投影する少なくとも1つの投影装置を有する。投影部50に設けられる投影装置の個数は1つもよいし、2つ以上であってもよい。例えば投影対象物POBに複数の投影領域(第1〜第Nの投影領域。Nは2以上の整数)が設定される場合に、この投影領域の数の分だけ投影部50に投影装置(第1〜第Nの投影装置)を設けてもよい。或いは、1つの投影装置により複数の投影領域(第1〜第Nの投影領域)に投影画像を投影してもよい。また投影対象物POBは、例えば建物、橋、又は道路等の建造物や、自然物などである。或いは投影対象物POBは、列車、船、車、或いは可動スクリーン等の動産であってもよい。この投影対象物POBは、例えばプロジェクションマッピングの対象となる立体物(3次元形状を有する物体)である。
そして本実施形態では、制御部20が、ゲーム装置11、12の制御及び投影画像の投影制御を行う共に、投影部50が、ゲーム装置のゲーム画像(ゲーム映像)と、制御部に20より作成(生成、選択)された作成画像(作成映像)とを、投影画像(投影映像)として投影対象物POBに投影する。即ち、制御部20は、ゲーム装置11、12に対して各種の制御情報(制御信号)を送信して、ゲーム装置11、12を制御する。また制御部20は、ゲーム装置11、12から各種の情報(ゲーム成績情報、ゲーム装置の状態情報、或いはゲーム装置からの通知情報等)を受信して、投影画像の投影制御を行う。
ここで制御部20によるゲーム装置11、12の制御は、例えばゲーム装置11、12を待機状態から通常状態に移行させる制御、ゲーム装置11、12の動作開始の許可についての制御、ゲーム開始についての制御、ゲーム進行についての制御、ゲーム終了についての制御、或いは不具合等の所定状況時における制御等である。
また投影画像の投影制御は、ゲーム画像と制御部20の作成画像の切替制御、投影画像(ゲーム画像、作成画像)の投影位置や投影領域の制御、投影画像のサイズの制御(拡大、縮小)、投影画像の投影タイミングの制御、或いは投影の停止制御などである。この投影画像の投影制御は、制御部20による投影部50の制御等により実現できる。
またゲーム画像は、ゲーム装置11、12が自身の画像生成部により生成する画像であり、プレーヤのゲーム操作情報、ゲームプログラム、ゲームデータ等により生成される画像である。作成画像は、制御部20が、ゲーム装置11、12のゲーム画像生成とは独立に作成する画像である。例えば制御部20は、ゲーム装置11、12から受信した各種情報に基づき、ゲーム演出画像、ゲーム成績画像、ユーザの入力情報を含む画像、或いはカメラの撮影画像を含む画像などを、作成画像として作成する。
図2に本実施形態のゲームシステムの詳細な構成例を示す。なおゲームシステムの構成は図2に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、制御部20を構成するハードウェア装置(制御用処理装置、投影用処理装置等)の構成やその接続構成は図2に限定されない。投影部50を構成する投影装置の個数も図2に限定されない。
制御部20は、制御用処理装置22、投影用処理装置31、32、33を含む。また通信管理装置34(ルータ等)を含むことができる。制御用処理装置22、投影用処理装置31、32、33の各処理装置は、例えばPC(パーソナルコンピュータ)などにより実現できる。或いは、これらの各処理装置を、プロセッサとメモリが実装されたシステム基板(回路基板装置)などにより実現してもよい。
制御用処理装置22は、例えば制御部20のメインの処理装置(制御装置)である。制御用処理装置22はゲーム装置11、12と通信接続される。例えば制御用処理装置22は、ゲーム装置11、12とネットワークを介して通信接続されて、ゲーム装置11、12のゲーム制御を行ったり、ゲーム装置11、12から情報を受信する。具体的には、制御用処理装置22とゲーム装置11、12は、UDP(User Datagram Protocol)などの所定プロトコルにより実現されるネットワークを介して通信接続される。例えばLANにより通信接続される。なおネットワークの通信方法は有線/無線を問わない。
制御用処理装置22(制御部)は、携帯型通信端末62(スマートフォン、フューチャーフォン、携帯電話機、又はタブレット端末等)やカメラ64とも通信接続される。制御用処理装置22と携帯型通信端末62との通信接続はインターネットを介したものであってもよい。またカメラ64はゲーム装置11、12に設けられるものであってもよい。
制御用処理装置22は、操作部60からの操作情報を受け付ける。例えばゲームシステムのオペレータが操作部60を操作すると、その操作情報を受け付けて、ゲーム装置11、12のゲーム制御や、投影画像の投影制御(投影用処理装置31、32、33の制御、投影部50の制御)を行う。操作部60は例えばゲームコントローラにより実現できる。或いは、操作部60は、キーボードやマウスやタッチパネル型ディスプレイなどにより実現されるものであってもよい。
投影用処理装置31、32、33は、例えば投影装置51、52、53用に設けられた処理装置(制御装置)であり、これらの投影用処理装置31、32、33は制御用処理装置22に通信接続される。
投影用処理装置31、32、33は、投影装置51、52、53に対して投影画像を出力する。具体的には投影用処理装置31、32は、ゲーム装置11、12から受信したゲーム画像に対してプロジェクションマッピング処理(歪み補正処理)を行い、プロジェクションマッピング処理後のゲーム画像を投影画像として投影装置51、52に出力する。また投影用処理装置31、32、33は、制御用処理装置22の作成画像(ゲーム演出画像、総合ゲーム成績画像、又は待機画面画像等)を投影装置51、52、53に出力する。例えば作成画像に対してプロジェクションマッピング処理を行い、プロジェクションマッピング処理後の作成画像を投影画像として投影装置51、52、53に出力する。また投影用処理装置31、32、33は、投影装置51、52、53の制御等も行う。
投影用処理装置31は、映像信号ラインSL1(例えばHDMI(登録商標)、MDI等)を介してゲーム装置11と接続される。具体的にはゲーム装置11は図3に示すように表示部190(モニター)を有しており、この表示部190に接続される映像信号ラインが分岐されて、映像信号ラインSL1として投影用処理装置31に接続される。そしてゲーム装置11が生成したゲーム画像(ゲーム映像)は、この映像信号ラインSL1を介して投影用処理装置31に伝送される。同様に投影用処理装置32は、映像信号ラインSL2(例えばHDMI、MDI等)を介してゲーム装置12と接続される。そしてゲーム装置12が生成したゲーム画像(ゲーム映像)は、この映像信号ラインSL2を介して投影用処理装置32に伝送される。なお投影部50に1つの投影装置だけが設けられる場合には、その投影装置に対応する1つの投影用処理装置を設ければよい。
通信管理装置34は、制御部20と外部装置(ゲーム装置等)との間の通信の管理処理を行う。通信管理装置34はルータやハブなどにより実現される。
投影部50は投影装置51、52、53を有する。投影装置51、52、53はいわゆるプロジェクタにより実現できる。
例えば投影装置51は、ゲーム装置11が生成したゲーム画像を、投影対象物の例えば第1の投影領域(後述する図6のRG1)に投影する。具体的にはゲーム装置11からのゲーム画像は映像信号ラインSL1を介して投影用処理装置31に伝送されて、投影用処理装置31は、このゲーム画像(プロジェクションマッピング処理後のゲーム画像)を投影画像として、投影装置51に出力する。そして投影装置51は、このゲーム画像を第1の投影領域(RG1)に投影する。
投影装置52は、ゲーム装置12が生成したゲーム画像を、投影対象物の第2の投影領域(図6のRG2)に投影する。具体的にはゲーム装置12からのゲーム画像は映像信号ラインSL2を介して投影用処理装置32に伝送されて、投影用処理装置32は、このゲーム画像(プロジェクションマッピング処理後のゲーム画像)を投影画像として、投影装置52に出力する。そして投影装置52は、このゲーム画像を第2の投影領域(RG2)に投影する。
投影装置53は、制御用処理装置22が作成した作成画像を受信する。例えばゲーム演出画像、総合成績画像、又は待機画面画像等の作成画像を受信する。そしてこの作成画像を、第3の投影領域(図6のRG3)に投影する。
なお、制御用処理装置22の作成画像を、第1の投影領域(RG1)や第2の投影領域(RG2)に投影してもよい。この場合には、投影用処理装置31、32が制御用処理装置22から作成画像を受信し、この作成画像を投影画像として投影装置51、52に出力する。この場合のゲーム画像と作成画像の投影の切替制御は、例えば制御用処理装置22が行う。
なお、投影部50に1つの投影装置だけを設け、この投影装置が第1、第2、第3の投影領域(RG1、RG2、RG3)に投影画像を投影してもよい。この場合には、この1つの投影装置に対応して1つの投影用処理装置を設ければよい。そして、この1つの投影用処理装置が、第1、第2、第3の投影領域用の画像が合成された投影画像を、この1つの投影装置に出力すればよい。
そして本実施形態では、制御部20は、ゲーム装置11、12から受信した情報に基づいて、作成画像を作成する。そして投影部50の、この作成画像を投影対象物に投影する。具体的には制御用処理装置22が、ゲーム装置11、12からネットワーク等を介して各種の情報を受信する。そして、受信した情報に基づいて作成画像(ゲーム演出画像、ゲーム成績画像、待機画面画像等)を作成し、投影用処理装置31、32、33に出力する。投影用処理装置31、32、33は、作成画像を投影画像として投影装置51、52、53に出力する。第1、第2、第3の投影領域(図6のRG1、RG2、RG3)のいずれに作成画像を投影するかの切替制御は、制御用処理装置22が行う。
例えば制御部20は、ゲーム装置11、12から受信したゲーム成績情報(得点、総得点、ノルマクリア情報、又は獲得アイテム等)に基づいて、作成画像を作成する。投影部50は、ゲーム成績情報に基づく作成画像を投影対象物に投影する。例えば図1、図2のように少なくとも1つのゲーム装置として、複数のゲーム装置11、12が設けられる場合には、制御部20は、複数のゲーム装置11、12から受信した複数のゲーム成績情報に基づいて、作成画像を作成する。そして投影部50は、複数のゲーム成績情報に基づく作成画像を投影対象物に投影する。
具体的には制御用処理装置22は、ゲーム装置11から第1のゲーム成績情報を受信し、ゲーム装置12から第2のゲーム成績情報を受信する。そしてこれらの第1、第2のゲーム成績情報(広義には第1〜第Nのゲーム成績情報)に基づいて作成画像を作成する。例えば後述する図8に示すように、制御用処理装置22が、第1、第2のゲーム成績情報に基づいて、ゲーム装置11、12でプレイする複数のプレーヤによる総合成績情報(又は平均成績情報)を演算し、この総合成績情報(平均成績情報)を観客に知らせるための画像を、作成画像として作成する。そして制御用処理装置22が、この作成画像を投影用処理装置33に出力する切替制御を行い、投影用処理装置33が、この作成画像を投影画像として投影装置53に出力する。
また制御部20は、ゲーム装置11、12から受信した情報に基づいて、作成画像としてゲーム演出画像を作成する。そして投影部50は、ゲーム演出画像を投影対象物に投影する。具体的には制御用処理装置22は、ゲーム装置11、12からの第1、第2のゲーム成績情報に基づいて、総合成績情報(又は平均成績情報)を演算する。そしてこの総合生成績情報(平均成績情報)に対応するゲーム演出画像を作成(生成、選択)し、このゲーム演出画像が投影領域に投影される。例えば総合成績(平均成績)に応じて段階的に変化するようなゲーム演出画像が作成(選択)されて、投影領域に投影される。これにより、例えば図6に示すように、総合成績に基づくゲーム演出画像を、投影領域RG3に投影できるようになる。
また制御部20は、ゲーム画像と作成画像の投影制御を行う。この投影制御としては、例えばゲーム画像と作成画像(ゲーム画像の別画像)とを切り替える制御や、ゲーム画像や作成画像の投影領域の位置や大きさを設定する制御や、ゲーム画像と作成画像の表示割合を設定する制御や、投影タイミングを変化させる制御や、或いはゲーム画像に作成画像を合成(重畳)する制御などがある。この投影制御は図2では制御用処理装置22が行う。
具体的には制御部20は、投影対象物の投影領域(例えばRG1、RG2)へのゲーム画像の投影と、投影領域(RG1、RG2)への作成画像の投影とを、切り替える投影制御を行う。具体的には、制御用処理装置22の切替制御により、投影領域(RG1、RG2)に対して、ゲーム画像が投影されたり、作成画像(待機画面画像、又はゲーム演出画像等)が投影されるようになる。
また制御部20は、ゲーム装置が所定状況である場合に、ゲーム画像の投影の停止又はゲーム画像を作成画像に切り替える投影制御を行う。具体的には、制御用処理装置22は、ゲーム装置11、12からの情報に基づいて、ゲーム装置11やゲーム装置12が異常状況(例えばハングアップ又は故障等)であると判断した場合に、投影領域へのゲーム画像の投影を停止したり、ゲーム画像が投影されていた投影領域に対して待機画面画像等の別画像を投影するなどの指示を、投影用処理装置31、32、33に対して出力する。これにより、所定状況になったゲーム装置のゲーム画像が投影されていた投影領域において、ゲーム画像の投影が停止したり、ゲーム画像が待機画面画像等の別画像に切り替わるようになる。
なお、ゲーム装置の所定状況としては、ゲーム装置がハングアップした状況、ゲーム装置が故障した状況、何らかの事情によりゲーム装置の再起動が必要な状況、或いはゲーム装置の稼働状況(プレーヤが長時間に亘っていない状況)など、種々の状況を想定できる。
また制御部20は、ゲーム装置11、12からの受信情報に基づいて、投影画像の投影制御を行う。例えば制御部20は、ゲーム装置11、12からゲーム成績情報、ゲーム装置11、12の状態情報、或いはゲーム装置11、12からの各種の通知情報などを受信する。制御部20は、これらのゲーム成績情報、状態情報或いは通知情報などの受信情報に基づいて、投影画像の投影制御を行う。例えば、受信情報に基づいて、投影画像の投影位置、投影範囲、投影画像のサイズ(拡大、縮小)、或いは投影タイミング等を制御する。このようにすることで、ゲーム装置11、12でのゲームプレイ結果や状況を、より反映させた投影画像の投影制御を実現できる。
また制御部20は、ゲーム装置11、12からの受信情報及び投影画像の投影状態の少なくとも一方に応じて、音の出力制御を行う。例えばゲームシステムにより出力される音としては、ゲーム装置11、12からのゲーム音、ゲーム演出画像等の作成画像に伴って出力される作成音等がある。制御部20は、ゲーム装置11、12からのゲーム成績情報、ゲーム装置11、12の状態情報、或いはゲーム装置11、12からの通知情報などに基づいて、これらのゲーム音や作成音の出力制御を行う。或いは、投影画像の投影状態に応じて、ゲーム音や作成音の出力制御を行う。投影画像の投影状態は、投影画像の投影位置、投影範囲、投影画像のサイズ、或いは投影タイミング等の状態である。また制御部20は、例えばゲーム音と作成音を合成して出力する場合には、その合成比率や合成態様等を、ゲーム装置11、12からの受信情報や投影画像の投影状態に応じて制御する。また複数のスピーカによって音を出力する場合に、ゲーム音と作成音の各スピーカへの割り当ての態様等を、ゲーム装置11、12からの受信情報や投影画像の投影状態に応じて制御する。このようにすることで、ゲームシステムの出力音についても、ゲーム装置11、12からの受信情報や投影画像の投影状態を反映させることができるようになる。
また制御部20は、投影対象物の形状情報(3次元モデル情報、CADモデル情報)に基づくプロジェクションマッピング処理(歪み補正処理等)を行って、作成画像を作成する。そして投影部50は、形状情報(3次元モデル情報)に基づくプロジェクションマッピング処理が施された作成画像を投影対象物に投影する。具体的には、制御用処理装置22は作成画像を例えば投影用処理装置33に出力する。すると投影用処理装置33は、この作成画像に対して、投影対象物の形状情報に基づくプロジェクションマッピング処理(歪み補正処理)を行って、プロジェクションマッピング処理が施された投影画像を投影装置53に出力する。これにより後述する図6に示すように、凹凸のある建物の壁面等の投影領域RG3に対して、作成画像であるゲーム演出画像等を適正に投影できるようになる。即ち、凹凸があっても歪んで見ないように作成画像を投影できる。
なお、投影用処理装置31、32は、ゲーム装置11、12からゲーム画像を受け、このゲーム画像に対してプロジェクションマッピング処理を行う。これにより、図6に示すように、凹凸のある建物の壁面等の投影領域RG1、RG2に対して、ゲーム画像を適正に投影できるようになる。即ち、凹凸があっても歪んで見ないようにゲーム画像を投影できる。
また制御部20は、投影対象物の形状情報(3次元モデル情報)により表される投影対象物の形状を反映させた作成画像を作成する。即ち、本実施形態では、プロジェクションマッピング処理のために投影対象物の形状情報を使用するため、この形状情報により投影対象物の形状を特定できる。従って、投影対象物に投影される作成画像についても、投影対象物の形状等に応じた画像として作成できる。例えば後述する図6に示すように、建物の窓からキャラクタが飛び出したり、建物の壁の割れ目等から水が出てくるようなゲーム演出画像を、投影対象物(投影領域)の形状を反映させた作成画像として作成できる。
また制御部20は、投影画像の投影状態に応じて、作成画像の内容を変更する。例えば、投影画像の投影位置、投影範囲、投影画像のサイズ、或いは投影タイミング等に応じて、作成画像の内容を変更する。例えば、投影領域に投影する作成画像として1つの作成画像を用意し、この1つの作成画像の内容(画像データ、映像データ)を、投影画像の投影状態に応じて変更することで、複数の作成画像を作成できるようになる。これにより、いわゆる作成画像の使い回しが可能になり、記憶データ量の節約を図れる。
また制御部20は、制御用処理装置22と投影用処理装置31、32、33を有する。そして後述する図12に示すように、ゲーム装置11、12と制御用処理装置22はネットワークを介して通信接続される。そして投影用処理装置31、32は、映像信号ラインSL1、SL2を介してゲーム装置11、12からゲーム画像を受信し、受信したゲーム画像を投影部50により投影対象物に投影する制御を行う。このようにゲーム装置11、12と制御用処理装置22をネットワークを介して通信接続することで、制御用処理装置22によるゲーム装置11、12の制御等をスムーズに行うことが可能になる。そして投影用処理装置31、32は、映像信号ラインSL1、SL2を介してゲーム装置11、12からゲーム画像を受信し、このゲーム画像が投影装置51、52により投影領域(RG1、RG2)に投影される。
また制御部20は、オペレータにより操作される操作部60からの操作情報を受け付ける。そして、操作情報に基づいて、ゲーム装置11、12の制御及び投影部50の制御の少なくとも一方を行う。具体的には制御用処理装置22は、操作部60からのオペレータの操作情報に基づいて、ゲーム装置11、12の制御を行う。或いは当該操作情報に基づいて、投影用処理装置31、32、33を介して、投影部50の制御(投影制御等)を行う。
例えばイベント等の運営においては、ゲーム装置11、12の制御や投影部50の制御を、コンピュータによる自動制御では対応できない状況がある。このような状況のときには、オペレータが操作部60を操作することで、ゲーム装置11、12の制御や投影部50の制御を手動で行う。例えば後述する図13で説明するように、ゲーム装置11、12へのプレーヤのエントリーの許可(ゲーム装置の操作部の入力制限の解除)や、プレーヤのエントリーの終了等については、オペレータが操作部60を操作することで制御部20に指示(通知)する。即ち、オペレータの手動操作により実現する。或いは、投影対象物の投影の制御についても、オペレータが操作部60を操作することで、その一部を手動で行えるようにする。例えば、勝っている方のプレーヤの投影領域を拡大し、負けている方のプレーヤの投影領域を縮小するなどの演出を、オペレータの手動操作により実現する。
また制御部20は、ユーザの携帯型通信端末62から受信した情報及びゲームプレイ状況を撮影するカメラ64からの撮影画像の少なくとも1つに基づいて、作成画像を作成する。例えば携帯型通信端末62から受信した情報が、ユーザの入力情報(コメント、絵文字、又はスタンプ等)を含む場合に、制御用処理装置22は、この入力情報に基づいて作成画像を作成する。そして投影部50は、ゲーム画像と、携帯型通信端末62の入力情報により作成される作成画像とを、投影対象物に投影する。例えば、ゲームを観戦しているユーザが、携帯型通信端末62によりコメント情報を入力すると、制御用処理装置22は、このコメント情報に基づいて作成画像を作成する。即ちユーザのコメントが表示された作成画像を作成する。これにより、後述の図14に示すように、このコメントが表示された作成画像が、投影部50により投影対象物に投影される。或いは、カメラ64がプレーヤのゲームプレイ状況を撮影する。すると制御用処理装置22は、このカメラ64の撮影画像が表示される作成画像を作成する。即ち、プレーヤがゲームプレイしている様子が撮影により表示された作成画像を作成する。これにより、プレーヤのゲーム画像に加えて、プレーヤがゲームプレイしている様子を表す撮影画像についても、投影対象物に投影できるようになる。なお、カメラ64としては、ゲーム装置11、12に設置されるプレーヤ撮影用のカメラを用いてもよいし、イベントの施設に設置されたカメラ等を用いてもよい。
なお本実施形態のゲームシステムの他の構成例として次のような構成も採用できる。この構成例のゲームシステムは、少なくとも1つのゲーム装置11、12と、ゲーム装置11、12に通信接続される制御部20と、表示画像を形成する表示画像形成部を有する。この表示画像形成部は、例えば大型液晶ディスプレイや野外用ディスプレイ等の表示装置により実現できる。そして制御部20は、ゲーム装置11、12の制御及び表示画像の表示制御を行う。そして表示画像形成部(表示装置)は、ゲーム装置のゲーム画像と、制御部20により作成された作成画像とを含む表示画像(第1の表示領域にゲーム画像が表示され第2の表示領域に作成画像が表示された画像)を形成する。表示画像の形成は、表示画像をディスプレイに表示することで実現される。この場合に制御部20は、ゲーム装置11、12から受信した情報に基づいて、作成画像を作成する。例えば少なくとも1つのゲーム装置として、複数のゲーム装置11、12が設けられ、制御部20は、複数のゲーム装置11、12から受信した複数のゲーム成績情報に基づいて、作成画像を作成し、表示画像形成部は、複数のゲーム成績情報に基づく作成画像を含む表示画像を形成する。また制御部20は、ゲーム装置から受信した情報に基づいて、作成画像としてゲーム演出画像を作成し、表示画像形成部は、このゲーム演出画像を含む表示画像を形成する。
また制御部20は、ゲーム画像と作成画像の表示制御を行う。具体的には制御部20は、表示領域へのゲーム画像の表示と、当該表示領域への作成画像の表示とを、切り替える表示制御を行う。また制御部20は、ゲーム装置11、12が所定状況である場合に、ゲーム画像の表示の停止又はゲーム画像を作成画像に表示を切り替える表示制御を行う。また制御部20は、ゲーム装置11、12からの受信情報に基づいて、表示画像の表示制御を行う。また制御部20は、ゲーム装置11、12からの受信情報及び表示画像の表示状態の少なくとも一方に応じて、音の出力制御を行う。また制御部20は、制御用処理装置22と表示用処理装置を有し、ゲーム装置11、12と制御用処理装置22はネットワークを介して通信接続され、表示用処理装置は、映像信号ラインを介してゲーム装置11、12からゲーム画像を受信し、受信したゲーム画像を表示する制御を行う。また制御部20は、オペレータにより操作される操作部60からの操作情報を受け付け、操作情報に基づいて、ゲーム装置11、12の制御及び表示画像形成部の制御の少なくとも一方を行う。また制御部20は、ユーザの携帯型通信端末62から受信した情報及びゲームプレイ状況を撮影するカメラ64の撮影画像の少なくとも1つに基づいて、作成画像を作成する。そして本実施形態における、「投影」は「表示」に置き換えることができ、「投影画像」は「表示画像」に置き換えることができ、「投影制御」は「表示制御」に置き換えることができ、「投影部」は「表示画像形成部」に置き換えることなどができる。
図3に本実施形態のゲーム装置(11、12)の構成例を示す。なお、ゲーム装置の構成は図3に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
ゲーム装置は、処理部100、操作部160、記憶部170、表示部190、音出力部192、I/F部194、通信部196を含む。
処理部100(プロセッサ)は、操作部160からの操作情報やプログラムなどに基づいて、ゲーム処理、画像表示処理、或いは音出力処理などを行う。処理部100は、記憶部170をワーク領域として各種処理を行う。この処理部100の機能は、各種プロセッサ(CPU、GPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。
処理部100は、入力受け付け部101、受信処理部102、送信処理部104、ゲーム処理部106、表示制御部120、音制御部130を含む。
入力受け付け部101は、プレーヤ(ユーザ)からの入力情報の受け付け処理を行う。例えば操作部160を介して入力された情報の受け付け処理を行う。受信処理部102は、制御部20や他のゲーム装置等の外部装置からの情報の受信処理を行う。送信処理部104は、制御部20や他のゲーム装置等の外部装置への情報の送信処理を行う。ゲーム処理部106は、各種のゲーム処理を行う。表示制御部120は、表示部190に画像を表示するための制御を行う。例えば処理部100で行われる種々の処理(ゲーム処理等)の結果に基づいて描画処理を行い、これにより画像を生成し、表示部190に出力する。音制御部130は、処理部100で行われる種々の処理の結果に基づいて音制御を行う。これにより、BGM、効果音、楽曲、又は音声などが音出力部192から出力されるようになる。
操作部160は、ユーザ(プレーヤ)が、操作情報等の種々の情報を入力するためのものであり、その機能は、操作ボタン、方向指示キー、アナログスティック、レバー、各種センサ(角速度センサ、加速度センサ等)、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAMやSSDやHDDなどにより実現できる。
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク、HDD、或いはメモリなどにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、LCD、有機ELディスプレイ、CRT、或いはHMDなどにより実現できる。音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
I/F(インターフェース)部194は、携帯型情報記憶媒体195とのインターフェース処理を行うものであり、その機能はI/F処理用のASICなどにより実現できる。携帯型情報記憶媒体195は、プレーヤがゲームプレイ等に用いる各種情報が記憶されるものであり、ICカード(メモリーカード)、USBメモリ、或いは磁気カードなどにより実現できる。
通信部196は、制御部20や他のゲーム装置等の外部装置との間で通信を行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
2.本実施形態の手法
次に本実施形態の手法について説明する。なお、以下では本実施形態の手法を音楽ゲームに適用する場合について主に説明するが、本実施形態の手法は、音楽ゲーム以外の種々のゲーム(格闘ゲーム、アクションゲーム、スポーツゲーム、戦闘ゲーム、ロボットゲーム、或いはRPGゲーム等)に適用できる。
2.1 ゲーム画像と作成画像の投影
本実施形態では、制御部は、ゲーム装置の制御及び投影部の制御を行うと共に、ゲーム装置で生成されたゲーム画像と、制御部の作成画像とを、投影画像として投影対象物に投影する手法を採用している。
例えば図4(A)〜図5(C)は本実施形態のゲームシステムの動作の一例を説明する図である。
図4(A)〜図5(C)において、投影対象物POBは、例えばイベント会場にある建物等である。本実施形態では、ゲームシステムにより生成された投影画像が、建物等の投影対象物POBに投影(プロジェクションマッピング)される。具体的には、ゲーム装置11、12でのゲーム画像や、ゲーム演出画像等の作成画像とが、建物等の投影対象物POBに投影される。イベント会場に訪れた観客は、投影対象物POBの投影画像を見ることで、ゲーム装置11、12でのゲーム画像やゲーム演出画像を鑑賞して楽しむことになる。
図4(A)では、投影対象物POBには、投影領域RG1、RG2、RG3が設定されている。投影領域RG1、RG2、RG3は、各々、図2の投影装置51、52、53が投影画像を投影する領域である。なお、これらの投影領域RG1、RG2、RG3への投影画像の投影を、1つの投影装置により行ってもよい。
図4(A)では、ゲーム装置11、12の表示部190には、待機画面が表示されている。即ち、ゲーム装置11、12においてゲームをプレイするプレーヤがいない状況等では待機画面が表示される。このとき、投影対象物POBの投影領域RG1、RG2、RG3にも、待機画面の画像が投影される。この待機画面には、例えばゲームのタイトル情報や運営者の宣伝情報等が表示される。
次に図4(B)に示すように、ゲーム装置11、12でのエントリーが開始すると、ゲーム装置の表示部190にはオープニングやエントリーの画面が表示される。このとき、例えば投影対象物POBの投影領域RG2等には、エントリーの開始を観客に知らせる画像等が投影される。
次に図4(C)に示すように、ゲーム装置11、12には、楽曲を選曲するための選曲画面が表示される。即ち、プレーヤは本実施形態のゲーム装置で音楽ゲームをプレイするために、演奏される楽曲を選曲する。このとき、投影対象物POBの投影領域RG1、RG2には、ゲーム装置に表示される選曲画面の画像が投影される。また領域RG3には、例えば、ゲームのルールを説明する画面の画像が投影される。このような選曲画面の画像を投影することで、観客は、ゲーム装置11、12でのプレーヤの選曲の様子を見て楽しむことができる。
選曲等が終了して、ゲーム(楽曲の演奏)が開始すると、図4(D)に示すように、ゲーム装置11、12にはゲーム画像(ゲーム映像)が表示される。このとき、投影対象物POBの投影領域RG1、RG2には、ゲーム装置11、12に表示されるゲーム画像が投影される。例えば図2の映像信号ラインSL1、SL2で伝送されたゲーム画像が、投影領域RG1、RG2に投影されて表示される。一方、投影領域RG1とRG2の間の投影領域RG3には、ゲーム演出画像が投影される。即ち、制御部20が、ゲーム装置11、12から受信したゲーム成績情報等に基づき作成したゲーム演出画像が、投影領域RG3に投影される。例えば本実施形態では、複数パターンのゲーム演出画像(ゲーム演出映像)が用意されており、これらの複数パターンのゲーム演出画像の中から、ゲーム装置11、12の総合ゲーム成績(総合得点)等に基づいて選択されたゲーム演出画像が、投影領域RG3に投影される。従って、観客は、このゲーム演出画像を観ることで、ゲーム装置11、12でのゲーム成績(得点)の変化を、視覚的に把握できるようになる。なお、ゲーム中に観客等に出力される楽曲等のゲーム音としては、ゲーム装置11、12のいずれかの音出力部192から出力されるゲーム音を用いることができる。
楽曲の演奏が終了し、ゲームが終了すると、図5(A)に示すようにゲーム装置11、12にはゲーム成績発表画面が表示される。即ち、そのゲームプレイのゲーム成績が発表される。このとき、投影対象物POBの投影領域RG1、RG2には、ゲーム装置11、12と同様に、ゲーム成績発表画面の画像が投影される。また投影領域RG3には、ゲーム成績に対応するゲーム演出画像が投影される。具体的にはゲーム装置11、12の総合成績に対応するゲーム演出画像が投影される。例えば、ゲーム装置11、12の複数のプレーヤによるゲーム達成率に応じた複数の結果発表パターンの映像が投影される。
その後、図5(B)に示すように、ゲーム装置11、12にはアトラクト画面が表示される。また投影対象物POBでは、投影領域RG1〜RG3の全体に対してゲーム演出画像が投影される。具体的には、ゲーム装置11、12の最終的な総合成績に対応するゲーム演出画像が投影される。例えば、最終的なゲーム達成率に応じた複数の演出パターンの映像が投影される。
最後に、図5(C)に示すように、投影領域RG1〜RG3の全体に対して最終結果発表画面の画像が投影される。例えば、当該ゲームのプレイによるプレーヤのレベルアップや称号獲得などの最終結果を発表する画像が投影される。その後、図4(A)の待機画面の表示、投影に戻る。
図6は、図4(D)で投影対象物POBに投影されるゲーム画像及びゲーム演出画像の具体例を示す図である。
投影領域RG1、RG2には、ゲーム装置11、12により生成される音楽ゲームの画像が投影される。この音楽ゲームでは、アイドルを表すキャラクタCHA、CHB、CHCが表示される。プレーヤはこれらのキャラクタCHA、CHB、CHCをゲームのライブコンサートに出演させてゲームを楽しむ。この音楽ゲームでは各キャラクタに対応するタイミングマーカが、各キャラクタに対応するタイミングゲージに向かって移動する。例えばキャラクタCHAに対応するタイミングマーカMAは、キャラクタCHAに対応するタイミングゲージTGAに向かって移動する。またキャラクタCHBに対応するタイミングマーカMBは、キャラクタCHBに対応するタイミングゲージTGBに向かって移動する。タイミングマーカMC、タイミングゲージTGCについても同様である。
プレーヤは、例えば、キャラクタCHAに対応するタイミングマーカMAがタイミングゲージTGAに近づいて来た場合には、タイミングマーカMAがタイミングゲージTGAに到達するタイミングで、操作部160を操作する。そして、到達タイミングと操作タイミングが合致していれば、高い得点を得ることができる。またキャラクタCHBに対応するタイミングマーカMBがタイミングゲージTGBに近づいて来た場合には、タイミングマーカMBがタイミングゲージTGBに到達するタイミングで、操作部160を操作する。そして、到達タイミングと操作タイミングが合致していれば、高い得点を得ることができる。タイミングマーカMC、タイミングゲージTGCについても同様である。
投影領域RG3には、ゲーム装置11、12でのゲーム成績に応じたゲーム演出画像が投影される。具体的には、A1、A2、A3に示すように、建物の窓からキャラクタが飛び出したり、落下する演出画像が表示される。またA4に示すように窓にキャラクタが登場したり、A5に示すように壁の割れ目から水が流れ出るなどの演出画像が表示される。そして、例えばゲーム装置11での得点とゲーム装置12での得点の合計点(総合ゲーム成績)に応じて、ゲーム演出画像の映像パターンが切り替わる。例えば合計点が第1の範囲である場合には第1の映像パターン、第1の範囲よりも高い第2の範囲である場合には第2の映像パターン、第2の範囲よりも高い第3の範囲である場合には第3の映像パターンのゲーム演出画像が投影される。
図7は、図5(B)で投影対象物POBの投影領域RG1、RG2、RG3に投影されるゲーム演出画像の具体例を示す図である。このゲーム演出画像では、B1、B2、B3に示すように、C1、C2、C3に示す建物の窓からキャラクタが落下する画像が表示されている。またB4では、C4に示す窓から水が流れ出る画像が表示されている。またB5、B6、B7では建物から煙や炎が出る画像が表示されている。
図8は、ゲーム成績に基づく作成画像を投影対象物に投影する本実施形態の手法の説明図である。制御部20は、ゲーム装置11、12で演算されたゲーム成績の情報を受信する。即ち、ゲーム装置11、12は、プレーヤのゲームプレイによる得点等のゲーム成績を算出しており、このゲーム成績を、順次、制御部20に送信する。制御部20は、これらのゲーム成績を受信して、総合成績を算出する。例えばゲーム装置11のゲーム成績として第1の得点を受信し、ゲーム装置12のゲーム成績として第2の得点を受信した場合に、第1、第2の得点を合計した合計得点や、第1、第2の得点を平均した平均得点などを、総合成績として演算する。なお、ゲーム装置11において2人のプレーヤがプレイし、ゲーム装置12においても2人のプレーヤがプレイした場合には、4人のプレーヤの合計得点や平均得点を、総合成績として演算する。そして制御部20は、この総合得点が表示された総合成績画像を、投影画像として投影部50に出力する。或いは、この総合成績に基づくゲーム演出画像を、投影画像として投影部50に出力する。例えば合計得点が第1の得点範囲内である場合には、第1の映像パターンのゲーム演出画像を出力する。合計得点が第1の得点範囲よりも高い第2の得点範囲内である場合には、第2の映像パターンのゲーム演出画像を出力する。合計得点が第2の得点範囲よりも高い第3の得点範囲内である場合には、第3の映像パターンのゲーム演出画像を出力する。そして、これらのゲーム演出画像が、図6、図7に示すように投影対象物POBに投影されるようになる。
以上のように本実施形態では、ゲーム装置のゲーム画像と制御部の作成画像を投影対象物に投影する。そして、ゲーム画像については、ゲーム装置からのゲーム画像をそのまま投影対象物に投影する。具体的には、プロジェクションマッピングの歪み補正処理等だけを行って投影対象物に投影する。一方、作成画像については、ゲーム装置からの受信情報に基づき作成して投影する。例えばゲーム装置からのゲーム成績情報に基づき作成された画像を投影する。複数のゲーム装置が設けられる場合には複数のゲーム装置からのゲーム成績情報に基づき作成された画像を投影する。またゲーム装置から受信した情報に基づいて、作成画像としてゲーム演出画像を作成する。具体的には図8で説明したように、複数のゲーム成績情報から算出された総合成績の画像や、総合成績に対応するゲーム演出画像を作成して、投影対象物に投影する。
このようにすれば、各ゲーム装置でのゲームプレイの様子については、ゲーム画像を投影対象物に投影することで、観客に伝え、各ゲーム装置のゲーム成績等については、演算・加工によって得られた総合成績画像や、それに対応するゲーム演出画像を投影対象物に投影することで、観客に伝えることができる。これにより、観客を盛り上げたり、観客の一体感を生む演出効果を実現できる。また集客効果や宣伝効果の高いイベント運営等の実現が可能になる。
例えば本実施形態の比較例の手法として、ゲーム装置と共通のゲーム空間の情報を処理装置に持たせ、当該処理装置が、当該ゲーム空間情報に基づいて、各種のゲーム演出画像を作成する手法が考えられる。例えば当該処理装置は、ゲーム空間情報に基づいて、ゲーム装置とは異なる視点から見える画像等を作成し、ゲーム装置の表示部とは別に設けられたスクリーン(投影対象物)に投影する。しかしながら、この手法では、ゲーム装置が有するゲーム空間情報と同じゲーム空間情報を処理装置に持たせなければならなく、処理装置の処理負荷が増加したり、処理装置のメモリの使用記憶容量が増加するなどの問題がある。
この点、本実施形態の手法によれば、ゲーム画像については、ゲーム装置により生成されたゲーム画像をそのまま投影対象物に投影することができるため、上記のような問題が生じない。そして、ゲーム装置とは独立に設けられた制御部が、ゲーム制御と投影制御を行うことで、制御部に、ゲーム装置と共通のゲーム空間情報を持たせなくても、図4(A)〜図8で説明したように、演出効果が高い投影画像の投影やスムーズなイベント運営等が可能になる。
2.2 制御部の投影制御
本実施形態では制御部20がゲーム画像と作成画像の投影制御を行う。例えば投影領域へのゲーム画像の投影と、当該投影領域への作成画像の投影とを、切り替える投影制御を行う。またゲーム装置11、12が所定状況である場合に、ゲーム画像の投影の停止やゲーム画像を作成画像に切り替える投影制御などを行う。
例えば図9(A)、図9(B)において、制御部20は投影領域RG1、RG2、RG3へのゲーム画像や作成画像の投影制御を行う。例えばゲーム装置11、12からの受信情報に基づいて当該投影制御を行う。
例えば図9(A)では、制御部20の投影制御により、投影部50は、投影領域RG1、RG2にゲーム画像を投影し、投影領域RG3に制御部20の作成画像を投影している。
具体的には制御部20は、ゲーム装置11から映像信号ラインSL1を介して受信したゲーム画像を、投影領域RG1の投影画像として投影部50に出力する。そして投影部50がこのゲーム画像を投影領域RG1に投影する。また制御部20は、ゲーム装置12から映像信号ラインSL2を介して受信したゲーム画像を、投影領域RG2の投影画像として投影部50に出力する。そして投影部50がこのゲーム画像を投影領域RG2に投影する。また制御部20は、ゲーム装置から受信したゲーム成績情報等に基づいてゲーム演出画像等の作成画像を作成し、投影領域RG3の投影画像として出力する。そして投影部50がこの作成画像を投影領域RG3に投影する。これにより図6に示すように投影領域RG1、RG2にゲーム装置11、12のゲーム画像を投影しながら、投影領域RG3にゲーム演出画像等の作成画像を投影できるようになる。また、投影領域RG3に投影されるゲーム演出画像は、ゲーム装置11、12から受信したゲーム成績情報等に基づいて作成される。従って、投影領域RG1、RG2に投影されるゲーム画像に連動したゲーム演出画像を投影領域RG3に投影できるようになり、演出効果の高いゲーム演出画像の投影が可能になる。
一方、図9(B)では、制御部20の投影制御により、投影部50は、投影領域RG1、RG2、RG3に制御部20の作成画像を投影している。具体的には、図9(A)と図9(B)とでは、投影領域RG1、RG2へのゲーム画像の投影と、投影領域RG1、RG2への作成画像の投影とを、切り替える投影制御が行われている。即ち図9(A)では投影領域RG1、RG2にゲーム画像が投影されていたが、図9(B)では制御部20の切替制御により、投影領域RG1、RG2には作成画像が投影される。
具体的には図4(D)では、投影領域RG1、RG2に対してゲーム画像が投影されているが、図4(A)では、投影領域RG1、RG2に対して、作成画像である待機画面の画像が投影されている。また図5(B)では、投影領域RG1、RG2、RG3の全体に対して、作成画像であるゲーム演出画像が投影されている。また図5(C)では投影領域RG1、RG2、RG3の全体に対して、作成画像である最終結果発表画面の画像が投影されている。
このようにゲーム画像と作成画像の切替制御等の投影制御を行えば、ゲーム状況やイベントの進行状況に応じて、その状況に適した最適な画像を各投影領域に投影できるようになり、イベントの演出効果や集客効果等を高めることができる。
また制御部20は、ゲーム装置11、12が所定状況である場合に、ゲーム画像の投影の停止やゲーム画像を作成画像に切り替える投影制御を行う。
例えば図10(A)では、ゲーム装置11がハングアップ状態になるなどの不具合が発生している。このような状況になると、制御部20がこの状況を検出して、例えば投影領域RG1へのゲーム画像の投影を停止する投影制御を行う。即ち、図9(A)では、投影領域RG1にゲーム装置11のゲーム画像が投影されていたが、図10(A)では、このゲーム画像の投影領域RG1への投影を停止する。こうすることで、不具合が発生したゲーム装置11のゲーム画像が投影領域RG1に投影されてしまう事態を防止できる。即ち、通常状態ではないゲーム画像が投影されてしまう事態を防止できる。
また図10(B)では、ゲーム装置11がハングアップ状態になるなどの不具合が発生すると、制御部20がこの状況を検出して、投影領域RG1、RG2、RG3に待機画面の画像を投影する投影制御を行う。即ち、ゲーム画像を待機画面の画像に切り替える投影制御を行う。例えば図4(A)に示すように、ゲーム開始前の待機状態に戻り、全ての投影領域RG1、RG2、RG3に待機画面の画像を投影する。こうすることで、不具合が発生したゲーム装置11のゲーム画像が投影領域RG1に投影されてしまう事態を防止できる。
具体的には、一方のゲーム装置11がハングアップ状態になるなどの不具合が発生すると、イベント(施設)のオペレータ(運営者)が、他方のゲーム装置12のオプション画面等により、ゲーム装置12をテストモードに移行させる。すると、制御部20が、ゲーム装置12からの受信情報に基づいて、ゲーム装置12がテストモードに移行したことを検知する。そして、このようにテストモードへの移行が検知されると、制御部20は、投影領域RG1、RG2、RG3に待機画面の画像が投影されるように、投影部50の投影制御を行う。即ち、通常状態ではない画像が投影されないように、応急処置用の投影制御を行う。これにより、図4(A)に示すようにゲーム開始前の待機状態に戻ることになる。その後、オペレータが、例えばゲーム装置11のリセットボタンを押す等して、ゲーム装置11を再起動させる。こうすることで、図4(A)の待機状態から、再度、ゲームを開始することが可能になる。
以上のような投影制御を行うことで、ゲーム装置に不具合が発生するなどの異常状況になった場合に、不具合のあるゲーム画像等が投影されてしまう事態を防止できる。従って、このような異常状況においてもイベントの適切な運営を実現できるようになる。
なお、図10(A)、図10(B)では、投影の停止制御や作成画像の切替制御を行う所定状況が、ゲーム装置がハングアップするなどの異常状況である場合について説明したが、本実施形態はこれに限定されない。例えば本実施形態では、ゲーム装置11、12の各々において1人又は2人のプレーヤがゲームをプレイすることで、最低で合計2人のプレーヤがプレイし、最大で合計4人のプレーヤがプレイするシステムになっている。そして、ゲーム装置11、12の各々において1人のプレーヤがプレイする場合には、図6において2人のプレーヤの合計得点に基づく演出画像が投影される。また、ゲーム装置11、12の各々において2人のプレーヤがプレイする場合には、4人のプレーヤの合計得点に基づく演出画像が投影される。
しかしながら、イベントが開催される施設が閑散状況である場合には、各ゲーム装置11、12のプレイ人数が2人に満たない場合がある。このため、図4(A)〜図5(C)に示すようなシーケンスのイベントを開催できなくなってしまう状況が発生する。このような状況が発生した場合には、制御部20が、投影の停止制御や作成画像の切替制御を行えばよい。例えばゲーム装置11では1人のプレーヤがプレイしているが、ゲーム装置12をプレイするプレーヤがいない場合には、ゲーム装置12に対応する投影領域RG2への画像の投影を停止したり、投影領域RG2に待機画面の画像を投影するようにする。このような投影制御は、例えばオペレータが操作部60を操作して、この操作情報に基づいて投影部50の投影制御を行うことで実現できる。
また本実施形態では、制御部20が、ゲーム装置11、12からの受信情報に基づいて、投影画像の投影制御を行ってもよい。例えばゲーム装置11、12から受信したゲーム成績情報に応じて、作成画像の投影範囲を変更する。例えばゲーム成績であるプレーヤの得点が低い場合には、例えば投影領域RG3の範囲にだけ、作成画像であるゲーム演出画像を投影する。一方、プレーヤが高得点を獲得した場合には、ゲーム演出画像の投影範囲を拡大する。例えば図7に示すように、例えば所定期間の間、例えば全ての投影領域RG1、RG2、RG3に対してゲーム演出画像を投影する。或いは、ゲーム成績情報やゲーム装置11、12の状態情報などゲーム装置11、12からの受信情報に基づいて、投影領域RG1、RG2、RG3のいずれの領域のゲーム演出画像等の作成画像を投影するかを切り替えてもよい。またゲーム装置11、12からの受信情報に基づいて、ゲーム演出画像等の作成画像の拡大処理や縮小処理や、投影位置の変更処理や、投影タイミングの変更処理を行ってもよい。
また制御部20は、ゲーム装置11、12からの受信情報及び前記投影画像の投影状態の少なくとも一方に応じて、音の出力制御を行ってもよい。
例えば本実施形態のゲームシステムの出力音としては、ゲーム装置11、12が生成するゲーム音と、制御部20の作成画像に伴って出力される作成音がある。作成音は、例えば図6、図7のようなゲーム演出画像が投影される場合に、キャラクタが窓から飛び出るときに出る音や、壁の割れ目から流れる水の音や、割れ目が入って壁が崩れ去る音などのゲーム演出音である。或いは後述する図14に示すように、ユーザの携帯型情報端末62からの情報に基づいて作成画像を作成する場合には、作成音は、携帯型情報端末62からの情報に基づき作成される音(例えばユーザの音声やユーザが出力を指示した音)などであってもよい。
そして制御部20は、このゲーム音と作成音の合成比率を、ゲーム装置11、12からの受信情報や投影画像の投影状態に応じて変化させる。例えば、ゲーム装置11、12からのゲーム成績情報に基づいて、ゲーム装置11、12のプレーヤが、例えば打楽器の連打やコンボなどに成功したと判断した場合には、作成音に比べてゲーム音の比率を高くする。また、ゲーム装置11、12から受信したゲーム状況情報に基づいて、ゲームの後半(演奏曲の後半)になったなど、ゲーム演出を盛り上げる状況になったと判断した場合には、ゲーム演出画像やゲーム演出音により観客を盛り上げるために、ゲーム音に比べて作成音の合成比率を高くする。また、例えば上述したようにゲーム演出画像の投影範囲が広くなった場合には、これに伴い作成音であるゲーム演出音の合成比率を高くしてもよい。このようにすれば、投影画像の投影範囲の広がりに合わせて、ゲーム演出音の音量も大きくなり、ゲーム演出の効果を高めることが可能になる。
なお、ゲーム音と作成音の音出力の調整手法としては種々の手法を想定できる。例えばゲームシステムの音出力部として複数のスピーカを設置する。そして、例えば、ゲーム演出音等の作成音については、例えば投影対象物の前方等のセンターに配置された第1のスピーカにより主に出力し、ゲーム音については、例えば左右に配置された第2、第2のスピーカにより主に出力する。そして、ゲーム装置11、12からの受信情報や投影画像の投影状態に基づいて、作成音を大きくすると判断した場合には、第1のスピーカの音出力の音量を大きくする。一方、ゲーム装置11、12からの受信情報や投影画像の投影状態に基づいて、ゲーム音を大きくすると判断した場合には、第2、第3のスピーカの音出力の音量を大きくすればよい。
2.3 プロジェクションマッピング
本実施形態では、立体物であっても平面スクリーンと同じように歪み無く映像を投影でけるようにプロジェクションマッピング処理を行う。即ち、建物等の立体物の投影対象物に投影画像を投影する場合に、投影対象物の凹凸や曲面等により投影画像が歪んで見えないようにするための補正処理を行う。このプロジェクションマッピング処理では、投影対象物の所定の投影領域にだけ画像(映像)が投影されるようにするマッピング処理を行う。また、複数台の投影装置により投影画像(映像)をつなぎ合わせて大きな投影画像を作成する場合に、画像が重なる部分の輝度を調整するエッジブレンディング処理を行う。
またプロジェクションマッピング処理では、歪み補正処理を行う。即ち、平面と平面の境界や曲面などに画像(映像)を投影すると、部分的に画像が歪んでしまう。このため、投影対象物が立体的な物体であっても、任意の場所に歪み無く画像を投影するための歪み補正処理を行う。このような歪み補正処理を実現するためには、投影対象物の形状情報(3次元モデル情報)が必要になる。投影対象物が例えば建造物であり、その建造物のCADデータがある場合には、そのCADデータを形状情報として使用できる。或いは投影対象物を赤外線のデプスセンサやレーザスキャナ等を用いてスキャンすることで、形状情報を取得してもよい。この歪み補正処理は、例えば視点(仮想カメラ)から見える投影面であるビュー・スクリーンのピクセルを追跡し、形状情報等に基づいて、投影装置から見える投影面であるプロジェクタ・スクリーンに、そのピクセルをマッピングする手法などにより実現できる。例えば、視点から見たビュー・スクリーン上の投影点が、歪み無く等間隔に並ぶようにする補正処理を行う。即ち、視点位置から見てビュー・スクリーン上で等間隔に並んだ点を追跡し、それを投影装置により投影する。例えば視点から見てビュー・スクリーン上で等間隔に並んだ、視点から見た投影点を定義する。この投影点と視点位置とを結ぶ直線が、投影面と交わる点を結像点とした場合に、この結像点と投影装置の位置とを結ぶ直線がプロジェクタ・スクリーンと交わる点が、プロジェクタ投影点となるように、投影画像を生成する。このようにすることで、立体物の投影対象物であっても、歪み無く画像を投影できるようになる。
本実施形態の制御部20は、以上のような投影対象物の形状情報に基づくプロジェクションマッピング処理を行って、投影領域に投影される作成画像を生成する。また投影領域に投影されるゲーム画像に対してもプロジェクションマッピング処理を行う。
そして更に制御部20は、投影対象物の形状情報により表される投影対象物(投影領域)の形状を反映させた作成画像を作成する。即ち、プロジェクションマッピング処理に使用される形状情報(3次元モデル情報)により投影対象物の形状を特定できるため、この形状を反映させたゲーム演出画像等の作成画像を作成する。
例えば図11は、図6において投影領域RG3に投影される作成画像の例である。この作成画像は、ゲーム装置11、12からのゲーム成績情報に基づき作成(選択)されるゲーム演出画像である。このゲーム演出画像では、D1、D2、D3に示すように、E1、E2に示す建物の窓からキャラクタが飛び出したり、落下する画像が表示されている。またD4に示すように、E4に示す建物の窓にキャラクタが出現する画像が表示されている。またD5に示すように、E5に示す建物の割れ目から水が流れ出る画像が表示されている。
このように、作成画像であるゲーム演出画像は、プロジェクションマッピング処理に使用される形状情報により表される建物の形状を反映させた画像になっている。即ち、窓等を有する建物に、歪み無くゲーム演出画像を投影するためには、建物の形状情報を用いたプロジェクションマッピング処理の歪み補正処理が必要になる。そして、この形状情報を有効活用して、ゲーム演出画像の内容も決定する。例えば、図6のD1、D2、D3に示すように、形状情報である3次元モデル情報で特定される建物の窓の位置からキャラクタが飛び出したり、落下するようなゲーム演出画像を作成して投影する。またD4に示すように、3次元モデル情報で特定される建物の窓の位置にキャラクタが出現するようなゲーム演出画像を作成して投影する。またD5に示すように、建物の割れ目から水が流れ出すようなゲーム演出画像を作成して投影する。このようにすることで、プロジェクションマッピング処理に使用される形状情報を有効活用したゲーム演出画像等を作成して投影できるようになる。
なお本実施形態では制御部20は、投影画像の投影状態に応じて、作成画像の内容を変更してもよい。例えば図11において、窓からキャラクタが飛び出す等のゲーム演出画像のデータを、例えば1つだけ用意しておく。例えば、投影領域RG3用のゲーム演出画像のデータを用意しておく。そして、この投影領域RG3用のゲーム演出画像のデータを用いて、例えば投影領域RG1やRG2にゲーム演出画像を投影する場合には、投影領域RG3用のゲーム演出画像の内容(広義には作成画像の内容)を変更する処理(加工処理)を行って、投影領域RG1用や投影領域RG2用のゲーム演出画像を作成する。即ち、投影画像であるゲーム演出画像の投影位置に基づく変更処理を行う。例えばプロジェクションマッピング処理を行う場合には、窓やキャラクタの画像をマッピングする位置は特定されているため、このマッピング情報を用いて、投影領域RG3用のゲーム演出画像の変更処理(加工処理)を行って、投影領域RG1用や投影領域RG2用のゲーム演出画像を作成する。こうすることで、ゲームシステムには投影領域RG3用のゲーム演出画像のデータだけを記憶しておけば済むようになるため、メモリの使用記憶容量の節約等を図れるようになる。なお、ゲーム演出画像等の作成画像の変更処理は、投影画像の投影位置のみならず、投影画像の投影範囲、投影画像のサイズ、或いは投影画像の投影タイミングなどの情報に基づいて行ってもよい。
2.4 ネットワーク構成
図12に、本実施形態のゲームシステムのネットワーク構成の例を示す。図12では、コンテンツルータ36には、ゲーム装置11、12と、マスターとなる制御用処理装置22(マスターPC)が接続される。また制御用処理装置22にはハブ37が接続され、ハブ37には、スレーブとなる投影用処理装置31、32、33が接続される。またゲーム装置11と制御用処理装置31は、HDMI等の映像信号ラインSL1により接続され、ゲーム装置12と制御用処理装置32は、HDMI等の映像信号ラインSL2により接続される。
制御用処理装置22とゲーム装置11、12はコンテンツルータ36を介して通信接続される。これにより、制御用処理装置22はゲーム装置11、12から情報(ゲーム成績情報等)を受信したり、ゲーム装置11、12に情報(ゲーム制御情報等)を送信できる。
またゲーム装置11とゲーム装置12もコンテンツルータ36を介して通信接続される。これにより、ゲーム装置11、12の間での情報の送受信が可能になる。例えばゲーム装置11での選曲情報をゲーム装置12に送信し、この選曲情報をゲーム装置12での選曲情報として設定することなどが可能になる。即ち、ゲーム装置11でのプレーヤの選曲を優先し、ゲーム装置12での選曲はゲーム装置11での選曲に従うようにする。
また制御用処理装置22は、ハブ37を介して投影用処理装置31、32、33に通信接続される。これにより制御用処理装置22は、投影制御(切替制御)のための情報を投影用処理装置31、32、33に送信できるようになる。
また投影用処理装置31は、映像信号ラインSL1を介してゲーム装置11からゲーム画像(ゲーム映像)を受信し、図6に示すように、ゲーム装置11で生成されたゲーム画像を投影領域RG1に投影する。投影用処理装置32は、映像信号ラインSL2を介してゲーム装置12からゲーム画像を受信し、図6に示すように、ゲーム装置12で生成されたゲーム画像を投影領域RG2に投影する。
以上のように本実施形態では、ゲーム装置11、12と制御部20はネットワークを介して通信接続される。例えばUDP等のプロトコルのネットワークにより通信接続される。また制御部20(投影用処理装置31、32)は、このネットワークとは別に設けられた映像信号ラインSL1、SL2を介してゲーム装置11、12からゲーム画像を受信する。そして受信したゲーム画像を投影部50により投影対象物に投影する制御を行う。
以上のようにすることで、制御部20とゲーム装置11、12の間は、ネットワーク(LAN)を利用することで、効率の良い通信手順で情報を送受信できるようになる。
一方、ゲーム画像については、その通信量が膨大になるため、ネットワークを介して伝送すると、ネットワークの通信負荷が過大になってしまう。
そこで、ゲーム画像については、ネットワークを用いずに、専用の映像信号ラインSL1、SL2により直接に伝送するようにする。こうすることで、ネットワークの通信負荷の増加を抑えながら、ゲーム画像を投影用処理装置31、32に伝送して、図6に示すように投影領域RG1、RG2にゲーム画像を投影できるようになる。
また制御部20が投影制御を行うことで、図9(A)〜図10(B)に示すようなゲーム画像と作成画像の切替制御を実現できる。従って、映像信号ラインSL1、SL2を用いて効率的にゲーム画像を伝送して投影領域RG1、RG2に投影できると共に、ゲーム画像以外の作成画像についても、制御部20の投影制御により、投影領域RG3に加えて、投影領域RG1、RG2にも投影できるようになる。従って、プレーヤがゲームをプレイするゲームプレイ期間においては、ネットワークの通信負荷を増大させずに、映像信号ラインSL1、SL2を介してゲーム画像を伝送して、投影領域RG1、RG2に投影すると共に、ゲームプレイ期間以外の期間では、制御部20の制御の下で、ゲーム画像を作成画像に自在に切り替えて投影できるようになる。従って、ゲーム画像を投影対象物に投影するイベント等に最適なゲームシステムを実現できる。
2.5 オペレータによる操作、コメント情報等の投影
本実施形態では制御部20は、図2に示すように、オペレータにより操作される操作部60からの操作情報を受け付け、この操作情報に基づいて、ゲーム装置11、12の制御や投影部50の制御を行っている。
例えば図13において、イベントが開催される施設等のオペレータOPは、図13のDR1、DR2に示すように、ゲーム装置11の前に立っているユーザUS1、US2の様子や、ゲーム装置12の前に立っているユーザUS3、US4の様子を、目視で確認する。そして、これらのユーザUS1、US2、US3、US4の状況を見ながら、操作部60を操作して、ゲーム装置11、12を制御するための操作情報を入力する。すると、この操作情報を受け付けた制御部20が、オペレータが入力した操作情報に対応するゲーム制御を、ゲーム装置11、12に対して行う。
例えばイベントにおいては、ゲーム装置11、12が、コインを投入しなくてもゲームプレイできるフリープレイモードに設定されている場合が多い。このようなフリープレイモードでは、例えばゲーム装置11、12の操作部(演奏部材)にプレーヤが触れるだけで、ゲームのエントリーが開始してしまう場合がある。
そして図13に示すように、4人のユーザが揃っている場合には、このようにエントリーが開始しても大きな問題とならない。しかしながら、例えばゲーム装置11の前にだけユーザがいて、ゲーム装置12の前にユーザがいないような状況において、ゲーム装置11のエントリーが開始してしまうと、4人(或いは2人)の総得点でゲームの達成度が決定されるようなゲームを実現できない。
そこで、このような状況に対応するために、図13において、オペレータOPが操作部60を操作することで、ゲーム装置11、12でのエントリーを許可するようにする。即ち、オペレータOPは、ゲーム装置11、12の前にユーザがいて、ゲームを開始しようとしているのを確認した後に、ゲーム装置11、12のエントリーを許可する操作情報を、操作部60を用いて入力する。すると、この操作情報を受け付けた制御部20が、ゲーム装置11、12でのゲームプレイのエントリーを許可するゲーム制御を行う。即ち、エントリーの許可を指示をする情報を制御部20がゲーム装置11、12に送信する。具体的には、ゲーム装置11、12でのユーザの入力制限の解除を指示する情報を送信する。これにより、ユーザUS1、US2、US3、US4は、例えばゲーム装置11、12の操作部に手を触れるなどして、ゲームプレイにエントリーできるようになる。
そして、オペレータOPは、ユーザUS1、US2、US3、US4が、ゲームプレイのエントリーのための操作等をゲーム装置11、12で行ったことを目視で確認する。例えばゲーム装置11、12のエントリー画面を終了して、選曲画面に移行しても良いか否かを確認する。そして、それを確認できた場合には、オペレータOPは、プレーヤのエントリーの終了を知らせる操作情報を、操作部60を用いて入力する。すると、この操作情報を受けた制御部20が、ゲーム装置11、12でのゲームプレイのエントリーを終了するゲーム制御を行う。即ち、エントリーの終了を通知する情報を制御部20がゲーム装置11、12に送信する。こうすることで、ゲーム装置11、12は、選曲画面を表示するモード等に移行できるようになる。
また本実施形態では、オペレータOPが操作部60を操作することで、投影部50の制御を行うようにしてもよい。例えばオペレータOPが操作部60を操作することで、図6の投影領域RG3等に投影される画像を切り替えるようにする。即ち、オペレータOPが、イベントの盛り上がり具合や進行状況を判断して、投影領域RG3等に投影される画像を切り替える操作を行う。例えば後述する図14に示すような観客のコメントが表示される投影画像に切り替える操作を行う。或いは、ゲーム画像やゲーム演出画像が投影される領域の切替を行ったり、投影領域を拡大したり縮小するなどの操作を、操作部60を用いてオペレータOPが行うようにしてもよい。
以上のように本実施形態では、オペレータが操作可能な操作部を設け、その操作情報に基づいてゲーム装置の制御や投影部の制御などを行えるようにしている。こうすることで、ゲーム装置でのユーザ等の状況、イベントの進行具合等の状況などに応じて、オペレータの手動による操作で、各種のゲーム制御や投影制御を行えるようになる。従って、ゲーム装置の状況やイベントの状況に応じた柔軟なイベント運営等を実現できるようになる。
また本実施形態では、制御部20は、図2のユーザの携帯型通信端末62から受信した情報や、ゲームプレイ状況を撮影するカメラ64の撮影画像に基づいて、作成画像を作成する。そして、投影部50は、このような携帯型通信端末62からの受信情報やカメラ64から撮像画像に基づく作成画像を投影対象物に投影する。
例えば図14では、ユーザUSは、投影領域RG1、RG2に投影されるゲーム画像を見て、スマートフォン等の携帯型通信端末62を用いて、応援や批評等のコメントを入力する。すると、制御部20が、このコメントの情報を受信し、このコメントを含む投影画像を作成する。そして投影部50が、作成された投影画像を例えば投影領域RG3に投影する。これにより図14のF1、F2、F3に示すように、ユーザUSが入力したコメントが表示された投影画像(ゲーム演出画像)が、投影領域RG3に投影されるようになる。このようなユーザUSのコメントを含む投影画像を投影すれば、ユーザUSのコメントに基づき投影画像がリアルタイムに変化するようになり、観客を盛り上げたり、観客の一体感を生む演出効果を実現できる。
なお図14において、携帯型通信端末62から制御部20が受信して、投影画像に組み込まれる情報は、ユーザUSのコメント情報に限定されない。例えば携帯型通信端末62から受信する情報としては、携帯型通信端末62で撮影した画像や、ユーザUSが送信した絵文字やスタンプの情報(広義には入力情報)などであってもよい。
また、図2のカメラ62として、ゲーム装置11、12の筐体に設けられたプレーヤ撮影用のカメラを用い、このカメラ62により、ゲームプレイしているプレーヤの様子を撮影し、その撮影画像を含む投影画像を投影領域RG3等に投影してもよい。或いは、カメラ62として、観客を撮影するカメラをイベント会場に設け、このカメラ62により、観客の盛り上がり具合等を撮影し、その撮影画像を含む投影画像を投影領域RG3等に投影してもよい。
3.詳細な処理
次に本実施形態の詳細な処理例について図15、図16のフローチャートを用いて説明する。
まず本実施形態のゲームシステムでは、待機画面を表示する(ステップS1)。即ち、ゲーム装置の待機中においては、待機画面を表示部に表示したり投影領域に投影する。そして、待機画面を終了し、スタートと判断した場合には、オープニング画面(オープニング映像)を表示し、エントリーの受け付けやルールの説明を行う(ステップS2、S3、S4)。その後、楽曲の選択画面を表示して、楽曲の選択をプレーヤに行わせ、次に、シーン(ゲームステージ)の選択をプレーヤに行わせる(ステップS4、S5、S6)。
次に、ゲーム処理に移行する(ステップS7)。即ち、ゲーム装置の表示部にゲーム画像を表示すると共に、そのゲーム画像を投影領域に投影する。また、各ゲーム装置でのゲーム成績(得点)を判断する(ステップS8)。そしてゲーム成績に応じたゲーム演出画像を作成して、投影領域に投影する(ステップS9)。具体的には、複数のゲーム装置において複数のプレーヤが獲得した総得点を算出し、ゲーム成績として判断し、そのゲーム成績に応じたゲーム演出画像を作成する。例えばゲーム成績である総得点が高くなるにつれて、複数の映像パターンのゲーム演出画像を順次に切り替える。
次に、音楽ゲームの楽曲の演奏が終了したか否かを判断する(ステップS10)。そして、終了した場合には最終ゲーム成績(最終得点)を判断する(ステップS11)。具体的には、1曲の楽曲の演奏による音楽ゲームにおいて、複数のゲーム装置において複数のプレーヤが獲得した総得点の最終結果を算出し、最終ゲーム成績として判断する。そして、総得点の最終結果に応じたゲーム演出画像を作成して、投影領域に投影する(ステップS12)。例えば総得点の最終結果に基づいて、複数の映像パターンの中から1つの映像パターンのゲーム演出画像を選択し、選択された映像パターンのゲーム演出画像を投影領域に投影する。そして最後に、プレーヤのレベルの変化や称号の獲得などを発表する最終結果発表画面を作成し、投影領域に投影する(ステップS13)。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またゲーム画像や作成画像の投影手法、作成画像の作成手法、ゲーム装置の制御手法、投影の制御手法、情報の通信手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は音楽ゲームに限定されず種々のゲームに適用できる。