JP6438207B2 - 画像生成システム及びプログラム - Google Patents

Description

本発明は、画像生成システム及びプログラム等に関する。

従来より、投影装置（プロジェクタ）により曲面スクリーン（例えばドーム形状のスクリーン）に対して投影される投影画像を生成するシステムが知られている。そして、曲面スクリーンに対して歪みの少ない投影画像を投影する従来技術としては、例えば特許文献１に開示される技術がある。また、移動又は形状変形する被投影物に投影画像を投影する手法の従来技術としては、例えば特許文献２に開示される技術がある。

特開２００３−８５５８６号公報 特開２０１３−１９２１８９号公報

しかしながら、このような画像生成システムでは、投影画像に映る表示物の表示位置や形状とスクリーン形状との連動動作については提案されていなかった。

本発明の幾つかの態様によれば、投影画像に映る表示物の表示位置や形状に連動した形状可変スクリーンの形状制御を実現できる画像生成システム及びプログラム等を提供できる。

本発明の一態様は、１つの曲面又は複数の面で構成され形状が可変である形状可変スクリーンの形状制御を行う形状制御部と、投影装置により前記形状可変スクリーンに投影される投影画像を生成する画像生成部と、を含み、前記形状制御部は、前記投影画像に映る表示物の形状及び表示位置の少なくとも一方に応じて、前記形状可変スクリーンの形状を変化させる画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、形状可変スクリーンの形状制御が行われ、この形状可変スクリーンに対する投影画像が生成される。そして、この形状制御においては、投影画像に映る表示物の形状及び表示位置の少なくとも一方に応じて、形状可変スクリーンの形状を変化させる制御が行われる。このようにすれば、投影画像の表示物の形状や表示位置に応じて、形状可変スクリーンの形状が変化するようになり、投影画像に映る表示物の表示位置や形状に連動した形状可変スクリーンの形状制御を実現できるようになる。

また本発明の一態様では、プレーヤの操作情報に基づいてゲーム処理を行うゲーム演算部を含み、前記形状制御部は、前記ゲーム処理によって特定される前記表示物の形状及び表示位置の少なくとも一方に応じて、前記形状可変スクリーンの形状を変化させてもよい。

このようにすれば、ゲーム処理によって表示物の形状や表示位置が特定されると、特定された形状や表示位置に応じて、形状可変スクリーンの形状が変化するようになる。従って、ゲーム処理に連動した形状可変スクリーンの形状制御を実現できるようになる。

また本発明の一態様では、前記形状制御部は、前記表示物に対応づけられた所与の形状に、前記形状可変スクリーンの形状を設定してもよい。

このようにすれば、例えば表示物の表示に適した所与の形状に、形状可変スクリーンの形状を設定し、その形状可変スクリーンに投影画像を投影して、表示物を表示することが可能になる。

また本発明の一態様では、前記形状制御部は、前記表示物の表示タイミングよりも前の第１のタイミングから前記形状可変スクリーンの形状変形を開始し、前記表示タイミングにおいて、前記形状可変スクリーンの形状を前記所与の形状に設定してもよい。

このようにすれば、表示タイミングの前の第１のタイミングから形状可変スクリーンの形状変形を開始し、表示タイミングにおいて形状可変スクリーンの形状を所与の形状に設定して、表示物を表示することが可能になる。

また本発明の一態様では、前記画像生成部は、前記第１のタイミングと前記表示タイミングの間の期間において、前記表示物の表示イベントに対応づけられた演出画像を、前記投影画像として生成してもよい。

このようにすれば、第１のタイミングと表示タイミングの間の期間において、表示物の表示イベントに適した演出画像を表示し、その後の表示タイミングにおいて、表示物を表示することが可能になる。

また本発明の一態様では、前記形状可変スクリーンは複数のスクリーンパーツにより構成され、前記画像生成部は、少なくとも１つの前記スクリーンパーツに前記表示物の画像が投影される前記投影画像を生成してもよい。

このようにすれば、形状可変スクリーンを構成する複数のスクリーンパーツのうち、表示物の表示に対応するスクリーンパーツに対して表示物の画像を投影して、表示物を表示できるようになる。

また本発明の一態様では、前記画像生成部は、前記表示物の表示タイミングまでは、少なくとも１つの前記スクリーンパーツに対して背景画像が投影される投影画像を生成してもよい。

このようにすれば、表示物の表示タイミングまでは、スクリーンパーツに対して背景画像を投影することで、例えばスクリーンパーツの移動等を目立たなくすることなどが可能になる。

なお、背景画像としては、歪みが目立ちにくい画像が望ましい。輪郭がぼやけているなどして急激に色が変化する箇所が少ない画像（例えば、海や空のような画像）や、もともと不定形であるために歪みがわからない画像（例えば霧や雲のような画像）は、背景画像として好適である。また、ここでいう「背景画像」は、表示物よりも手前にあっても構わない。霧や煙のような画像は、表示物より手前にあっても、「背景画像」として用いることができる。

また本発明の一態様では、前記形状制御部は、前記表示物の形状又は表示位置が変化する変化イベントが発生した場合に、前記形状可変スクリーンの形状を変化させてもよい。

このようにすれば、表示物の形状や表示位置が変化する変化イベントが発生した場合に、これに連動させて形状可変スクリーンの形状を変化させ、この形状可変スクリーンに対して表示物の画像を投影して、表示物を表示できるようになる。

また本発明の一態様では、前記形状可変スクリーンは複数のスクリーンパーツにより構成され、前記形状制御部は、前記表示物の一部が変化又は消失する前記変化イベントが発生した場合に、前記表示物の前記一部に対応するスクリーンパーツを動かす制御を行ってもよい。

このようにすれば、表示物の一部が変化又は消失する変化イベントが発生した場合に、これに連動して、表示物の一部に対応するスクリーンパーツを動かして、形状可変スクリーンの形状を変化させることが可能になる。

また本発明の一態様では、前記形状可変スクリーンを含み、前記形状可変スクリーンは、複数のスクリーンパーツと、前記スクリーンパーツを移動させることで前記形状可変スクリーンの形状を変形する形状変形機構と、を有してもよい。

このようにすれば、形状可変スクリーンを構成するスクリーンパーツを形状変形機構により移動させることで、形状可変スクリーンの形状変形を実現できるようになる。

また本発明の一態様では、前記スクリーンパーツは、プレーヤから前記形状可変スクリーンを見た平面視において、縦及び横の少なくとも一方で分割された形状のパーツであってもよい。

このようにすれば、プレーヤから見て縦及び横の少なくとも一方で分割された形状の複数のスクリーンパーツにより形状可変スクリーンを構成して、投影画像を投影できるようになる。

また本発明の一態様では、前記形状可変スクリーンを含み、前記形状可変スクリーンは、可撓性スクリーンと、前記可撓性スクリーンの少なくとも一部の位置を変位させることで前記形状可変スクリーンの形状を変形する形状変形機構と、を有してもよい。

このようにすれば、可撓性スクリーンの少なくとも一部の位置を形状変形機構により変位させることで、形状可変スクリーンの形状変形を実現できるようになる。

図１（Ａ）、図１（Ｂ）は本実施形態の画像生成システムの例。 図２（Ａ）、図２（Ｂ）も本実施形態の画像生成システムの例。 本実施形態の画像生成システムの機能ブロック図の例。 図４（Ａ）、図４（Ｂ）は本実施形態の手法の説明図。 図５（Ａ）、図５（Ｂ）も本実施形態の手法の説明図。 図６（Ａ）、図６（Ｂ）は形状可変スクリーンの形状テーブルデータの例。 図７（Ａ）〜図７（Ｃ）は表示物の表示タイミングの前のタイミングから形状可変スクリーンの形状変形を開始する手法の説明図。 図８（Ａ）、図８（Ｂ）も本実施形態の手法の説明図。 本実施形態の手法の説明図。 図１０（Ａ）、図１０（Ｂ）は形状可変スクリーンの構成例。 図１１（Ａ）、図１１（Ｂ）も形状可変スクリーンの構成例。 図１２（Ａ）、図１２（Ｂ）も形状可変スクリーンの構成例。 描画バッファのピクセル単位での歪み補正手法の説明図。 ピクセル単位での歪み補正に代理平面を用いる手法の説明図。 ピクセル単位での歪み補正に代理平面を用いる手法での描画バッファ、ＵＶマップ、レンダーテクスチャの関係を示す図。 オブジェクトの頂点単位での歪み補正手法の説明図。 図１７（Ａ）〜図１７（Ｃ）は立体視への適用例の説明図。 図１８（Ａ）、図１８（Ｂ）は本実施形態の変形例の説明図。 図１９（Ａ）、図１９（Ｂ）も本実施形態の変形例の説明図。 図２０（Ａ）〜図２０（Ｄ）も本実施形態の変形例の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．画像生成システム
図１（Ａ）、図１（Ｂ）に本実施形態の画像生成システム（画像表示システム、ゲームシステム）の例を示す。本実施形態の画像生成システムでは、プロジェクションマッピングの投影画像を生成し、この投影画像を、投影装置３０ａ、３０ｂにより形状可変スクリーン２０に投影する。形状可変スクリーン２０は、プロジェクションマッピング用の物理スクリーンであり、１つの曲面又は複数の面（複数の曲面又は複数の平面又は曲面と平面の組合わせ）で構成され、形状が可変のスクリーンである。即ち本実施形態の画像生成システムでは、形状可変スクリーン２０の形状を変化させる制御を行う。具体的には、投影画像に映る表示物の形状及び表示位置の少なくとも一方に応じて、形状可変スクリーン２０の形状を変化させる。

投影装置（プロジェクタ）３０ａ、３０ｂは、その投影方向が形状可変スクリーン２０に向かう方向になるように設置され、形状可変スクリーン２０に投影画像を投影する。なお図１（Ａ）、図１（Ｂ）では２つの投影装置３０ａ、３０ｂが設けられているが、本実施形態はこれに限定されず、投影装置の個数は１個であってもよいし、３個以上であってもよい。

プレーヤは、コントローラ５０を手に持ち、このコントローラ５０を用いて各種の操作を行う。コントローラ５０には不図示の操作ボタン等の操作指示部が設けられており、プレーヤは、この操作指示部が操作することで、各種の操作情報を入力する。またコントローラ５０に、赤外線等の光を出射する光出射部を設けてもよい。そして光出射部からの光により形状可変スクリーン２０に形成されるスポット光の位置を、不図示の撮像部により撮像する。この撮像部は例えば投影装置３０ａ、３０ｂの位置に配置できる。そして、撮像画像に映るスポット光の位置と、形状可変スクリーン２０の形状情報に基づいて、プレーヤがコントローラ５０を向けた方向を求め、投影画像の表示物とのヒットチェック処理等を行う。なお、プレーヤはコントローラを持たなくてもよい。すなわち、プレーヤの姿勢をカメラ等の撮像装置によって入力し、それに対して画像処理等の演算処理を行うことで、プレーヤが入力を行う方式としてもよい。

図１（Ａ）では、形状可変スクリーン２０は複数のスクリーンパーツ２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇにより構成される。図１（Ａ）のスクリーンパーツ２０ａ〜２０ｆは、例えば直方体形状のスクリーンパーツであり、スクリーンパーツ２０ｇは、スクリーンの底面パーツである。なおスクリーンパーツの形状は直方体形状には限定されず、種々の変形実施が可能である。

スクリーンパーツ２０ａ〜２０ｇの面が、形状可変スクリーン２０を構成する複数の面になる。例えばスクリーンパーツ２０ａ〜２０ｆでは、プレーヤに対向する対向面や、対向面に直交する２つの側面が、形状可変スクリーン２０を構成する複数の面になる。また図１（Ａ）では、側面２２、２３、上面２４により構成される遮光フード部が設けられている。この遮光フード部（２２、２３、２４）を設けることで、形状可変スクリーン２０に外光が入射して、投影画像のコントラストが低下して見えにくくなるなどの事態を抑制できる。

図１（Ａ）、図１（Ｂ）において、前方向をＤＲ１とし、後ろ方向をＤＲ２とする。方向ＤＲ１は形状可変スクリーン２０からプレーヤの方へと向かう方向であり、方向ＤＲ２は、方向ＤＲ１の反対方向である。また上方向をＤＲ３とし、下方向をＤＲ４とする。この場合に図１（Ｂ）では、例えばスクリーンパーツ２０ｃが、方向ＤＲ１（ＤＲ２）に沿って移動しており、これにより形状可変スクリーン２０の形状が変化している。同様に、他のスクリーンパーツ２０ａ、２０ｂ、２０ｄ、２０ｅ、２０ｆも方向ＤＲ１（ＤＲ２）に沿って移動することができ、これにより形状可変スクリーン２０の形状が変化する。

図１（Ａ）、図１（Ｂ）では、形状可変スクリーン２０のスクリーンパーツ２０ａ〜２０ｆは、プレーヤから形状可変スクリーン２０を見た平面視において、縦に分割された形状のパーツとなっている。

一方、図２（Ａ）では、形状可変スクリーン２０のスクリーンパーツ２０ａ〜２０ｆは、プレーヤから形状可変スクリーン２０を見た平面視において、横に分割された形状のパーツとなっている。また図２（Ｂ）では、形状可変スクリーン２０の底面部分が、格子状に配置された複数のスクリーンパーツにより構成されている。即ち、形状可変スクリーン２０の底面部分のスクリーンパーツは、プレーヤから形状可変スクリーン２０を見た平面視において、横及び縦に分割された形状のパーツになっている。この場合の底面部分のスクリーンパーツは、横及び縦のいずれか一方で分割された形状のパーツであってもよい。また図２（Ｂ）では、プレーヤに対向する面のスクリーンパーツ２０ｈも設けられている。そして図２（Ｂ）に示すように、底面部分のスクリーンパーツ２０ｇｎは、方向ＤＲ３（ＤＲ４）に沿って移動する。このように、形状可変スクリーン２０の形状としては、種々の変形実施が可能である。

図３に、本実施形態の画像生成システム（画像表示システム、ゲームシステム）の機能ブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図３に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

形状可変スクリーン２０は、１つの曲面又は複数の面で構成され、その形状が可変のスクリーン（物理スクリーン）である。即ち、形状可変スクリーン２０は、単一平面ではないスクリーンである。当該形状可変スクリーン２０としては、１つの曲面で構成されるスクリーン、複数の平面で構成されるスクリーン、曲面部分と平面部分とを含むスクリーンなどを想定できる。

形状可変スクリーン２０は形状変形機構６０を含む。形状変形機構６０は、形状可変スクリーン２０の形状を変形させるための機構である。例えば形状可変スクリーン２０は、図１（Ａ）〜図２（Ｂ）に示すような複数のスクリーンパーツ（２０ａ〜２０ｇ）と、スクリーンパーツを移動させることで形状可変スクリーン２０の形状を変形する形状変形機構６０を含む構成とすることができる。この場合のスクリーンパーツとしては、プレーヤから形状可変スクリーン２０を見た平面視において、縦及び横の少なくとも一方で分割された形状のパーツを採用できる。また後述する図１１（Ａ）、図１１（Ｂ）に示すように、形状可変スクリーン２０は、可撓性スクリーン（２８）と、可撓性スクリーンの少なくとも一部の位置を変位させることで形状可変スクリーン２０の形状を変形する形状変形機構６０を含む構成としてもよい。

撮像部４０（カメラ）は、レンズ４２等の光学系と、撮像素子４４を有する。レンズ４２は、例えば撮像素子４４に像を映すレンズであり、形状可変スクリーン２０の全体を撮像するための広角レンズ（例えば魚眼レンズ）である。撮像素子４４は、例えばＣＣＤ又はＣＭＯＳセンサなどにより実現される。撮像部４０はこれ以外にも赤外線フィルター等が設けられる。

操作部１６０は、プレーヤが操作データを入力するためのものである。この操作部１６０は、例えば図１（Ａ）〜図２（Ｂ）のコントローラ５０等により実現できる。操作部１６０は、赤外線等の光を出射する光出射部１６２を含むことができる。

記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

投影装置３０は、形状可変スクリーン２０に投影画像を投影する。投影装置３０は表示部１９０を含む。表示部１９０は、本実施形態により生成された投影画像を表示するものである。投影装置３０が液晶プロジェクタである場合には、表示部１９０はＬＣＤなどにより実現できる。投影装置３０がＤＬＰプロジェクタである場合には、表示部１９０はＤＭＤなどにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部１００は、ゲーム演算部１０２、オブジェクト空間設定部１０４、移動体演算部１０６、仮想カメラ制御部１０８、形状制御部１１０、受け付け部１１２、光出射方向判定部１１４、画像生成部１２０、音生成部１３０を含む。なおこれらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

ゲーム演算部１０２はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。

オブジェクト空間設定部１０４は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、移動体（人、動物、ロボット、車、飛行機、船舶機等）、マップ（地形）、建物、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１０４は、例えばフレーム毎にこのオブジェクトデータを更新する処理などを行う。

移動体演算部１０６は、人、動物、車、飛行機等の移動体（移動体オブジェクト）を移動させるための制御処理を行う。また移動体を動作させるための制御処理を行う。即ち操作部１６０によりプレーヤが入力した操作データや、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（オブジェクト、モデルオブジェクト）をオブジェクト空間内で移動させたり、移動体を動作（モーション、アニメーション）させる制御処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。

仮想カメラ制御部１０８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）や回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）や画角を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。

例えば仮想カメラにより移動体を後方から撮影する場合には、移動体の位置又は方向の変化に仮想カメラが追従するように、仮想カメラの位置（視点位置）や方向（視線方向）を制御する。この場合には、移動体演算部１０６で得られた移動体の位置、方向又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させたりする制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は方向を特定するための仮想カメラデータに基づいて仮想カメラを制御する。

音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。

そして本実施形態の画像生成システムは、図３に示すように、形状制御部１１０と画像生成部１２０を含む。

形状制御部１１０は形状可変スクリーン２０の形状制御を行う。具体的には、１つの曲面又は複数の面で構成され形状が可変である形状可変スクリーン２０の形状制御を行う。例えば形状制御部１１０は、形状変形機構６０が形状可変スクリーン２０の形状を制御するための制御信号の生成処理等を行う。画像生成部１２０は投影画像を生成する。具体的には、投影装置３０（例えば図１（Ａ）〜図２（Ｂ）の投影装置３０ａ、３０ｂ）により形状可変スクリーン２０に投影される投影画像を生成する。例えば画像生成部１２０は、オブジェクト空間に配置される複数のオブジェクト（敵オブジェクト、背景オブジェクト等）の情報に基づいて、プロジェクション用の投影画像（プロジェクションマッピング処理により生成された投影画像）を生成する。投影画像は、投影装置３０が形状可変スクリーン２０に対して投影する画像である。この投影画像は、液晶プロジェクタにおけるＬＣＤ或いはＤＬＰプロジェクタにおけるＤＭＤにより実現される表示部１９０に表示され、投影装置３０の広角レンズ等の光学系により、形状可変スクリーン２０に投影される。

そして本実施形態では形状制御部１１０は、投影画像に映る表示物の形状及び表示位置の少なくとも一方に応じて、形状可変スクリーン２０の形状を変化させる。例えば投影画像の表示物の形状や表示位置が変化すると、それに連動して形状可変スクリーン２０の形状を変化させる。具体的には、表示物の形状や表示位置に対応づけられた所与の形状に、形状可変スクリーン２０の形状を設定する。

例えば本実施形態の画像生成システムはゲーム演算部１０２を含む。ゲーム演算部１０２は、プレーヤの操作情報に基づいてゲーム処理を行う。例えば操作部１６０により入力された操作情報に基づいて、ゲームを進行させるゲーム処理等を行う。この場合に形状制御部１１０は、ゲーム処理によって特定される表示物の形状及び表示位置の少なくとも一方に応じて、形状可変スクリーン２０の形状を変化させる。例えばゲーム処理によりキャラクタ等の表示物がゲーム空間（オブジェクト空間）に登場すると、形状制御部１１０は、登場した表示物に合わせて形状可変スクリーン２０の形状を変化させる。例えば形状可変スクリーン２０のうち、登場した表示物の位置に対応する部分の形状を変化させる。また登場した表示物の形状に沿うように形状可変スクリーン２０の形状を変化させる。またゲーム処理により表示物が移動した場合に、形状制御部１１０は、その表示物の移動位置に応じて、形状可変スクリーン２０の形状を変化させる。また、移動する表示物の形状に沿うように形状可変スクリーン２０の形状を変化させる。

また形状制御部１１０は、投影画像の表示物に対応づけられた所与の形状に、形状可変スクリーン２０の形状を設定する。例えば、表示物と形状可変スクリーン２０の形状とを予め対応づけておく。具体的には、記憶部１７０の形状テーブルデータ記憶部１７８が、表示物と、形状可変スクリーン２０の形状（所与の形状）とを対応づけて記憶する。そして、ゲーム処理等により表示物が登場すると、登場した表示物に対応づけられた形状に、形状可変スクリーン２０の形状を設定する。

また形状制御部１１０は、投影画像の表示物の表示タイミングよりも前の第１のタイミング（例えば第ｍフレーム）から形状可変スクリーン２０の形状変形を開始する。例えば形状変形機構６０を動作させて、形状可変スクリーン２０の形状変形を開始させる。そして表示タイミング（例えば第ｎフレーム。ｎ＞ｍ）において、形状可変スクリーン２０の形状を所与の形状に設定する。即ち表示物に対応づけられた形状に設定する。例えば、その表示タイミングにおいて表示物がゲーム空間に登場する場合には、その表示物に対応する形状に、形状可変スクリーン２０の形状を設定する。

この場合に画像生成部１２０は、上述の第１のタイミングと表示タイミングの間の期間において、表示物の表示イベントに対応づけられた演出画像を、投影画像として生成してもよい。この演出画像（演出映像）は、例えば表示タイミングにおける表示物の登場（表示）を演出するために用意された画像（映像）である。例えば表示物の表示イベントと演出画像とを対応づけて記憶部１７０に記憶しておき、第１のタイミングと表示タイミングの間の期間において、この演出画像を投影画像として投影装置３０の表示部１９０に表示する。こうすることで、表示物の表示イベントの発生等をプレーヤに伝える演出画像を投影画像として表示できるようになる。

また形状可変スクリーン２０が複数のスクリーンパーツにより構成される場合に、画像生成部１２０は、少なくとも１つのスクリーンパーツに表示物の画像が投影される投影画像を生成する。例えば、当該スクリーンパーツ（少なくとも１つのスクリーンパーツ）と表示物を対応づけて記憶部１７０に記憶しておく。そして画像生成部１２０は、当該スクリーンパーツに対して、それに対応づけられた表示物の画像が投影されるように投影画像を生成する。例えばゲーム処理により表示物が登場した場合に、その表示物に対応づけられたスクリーンパーツに対して表示物の画像が投影された投影画像を生成する。この場合に、画像生成部１２０は、表示物の表示タイミングまでは、少なくとも１つスクリーンパーツに対して背景画像が投影される投影画像を生成してもよい。例えば第１のタイミングから表示タイミングまでの間の期間においては、当該スクリーンパーツに対して背景画像が投影される投影画像を生成する。ここで背景画像は、表示物の背景（例えば海、地面等）となる画像である。そして表示タイミングになった場合に、画像生成部１２０は、当該スクリーンパーツに対して、そのスクリーンパーツに対応づけられた表示物が投影される投影画像を生成する。このようにすることで、第１のタイミングから表示タイミングまでの間の期間においては、当該スクリーンパーツに背景画像が投影され、表示タイミングになると表示物が投影されるような投影画像を表示できるようになる。

また形状制御部１１０は、表示物の形状又は表示位置が変化する変化イベントが発生した場合に、形状可変スクリーン２０の形状を変化させてもよい。例えばゲーム演算部１０２が行うゲーム処理において、表示物の形状や表示位置が変化する変化イベントが発生したとする。この場合に形状制御部１１０は、例えばこの変化イベントに対応づけられた形状に、形状可変スクリーン２０の形状を設定する。このようにすれば、表示物の形状や表示位置の変化に連動して、形状可変スクリーン２０の形状を変化させることが可能になる。そして形状制御部１１０は、形状可変スクリーン２０が複数のスクリーンパーツにより構成され、表示物の一部が変化又は消失する変化イベントが発生した場合に、表示物の一部に対応するスクリーンパーツを動かす制御を行ってもよい。例えばゲーム演算部１０２が行うゲーム処理において、表示物の一部の形状等が変化したり、表示物の一部が消失する変化イベントが発生したとする。この場合に形状制御部１１０は、表示物の一部の変化や消失に応じた形状に、形状可変スクリーン２０の形状を設定する。こうすることで、表示物の一部の変化や消失に連動して、形状可変スクリーン２０の形状を変化させることが可能になる。

また図３の画像生成システムは、受け付け部１１２と光出射方向判定部１１４を含む。受け付け部１１２は、投影画像の投影領域（スクリーン領域）を撮像する撮像部４０からの撮像画像を受け付ける。例えば撮像部４０の撮像方向（撮影方向）は投影画像の投影方向（投影装置の投影方向）に設定されている。具体的には、撮像方向が投影方向と例えば平行（略平行）になるように撮像部４０は設置されている。そして撮像部４０が、形状可変スクリーン２０の投影領域の画像を撮像すると、その撮像画像のデータが、画像インターフェースとして機能する受け付け部１１２により受け付けられる。

光出射方向判定部１１４は、光出射部１６２から出射される光（赤外線等）の出射方向を判定する。そして光出射方向判定部１１４は、例えば光出射部１６２からの光と表示物（オブジェクト）とのヒット判定処理などを行う。即ち、光出射部１６２の光の出射方向に銃の弾が飛んだと想定し、光出射部１６２からの光により表される弾と表示物とのヒット判定処理を行う。また、例えば図１（Ａ）、図１（Ｂ）のコントローラ５０に光出射部１６２を設けた場合に、光出射方向判定部１１４は、光出射部１６２からの光の出射方向を判定することで、プレーヤがコントローラ５０により指示した方向を判定する。

例えば光出射方判定部１１４は、光出射部１６２からの光（例えば赤外光）によるスポット光の撮像画像上での位置（撮像素子の座標系での位置）を求める。具体的には撮像部４０からの撮像画像に対して画像処理等を行って、撮像画像に映るスポット光（赤外スポット光）の位置を検出する。そして光出射方向判定部１１４は、スポット光の撮像画像上での位置に基づいて、プロジェクション用スクリーンでのスポット光の位置であるスクリーンスポット光位置を求める。例えば光出射方向判定部１１４は、プロジェクション用スクリーンの形状情報（プロジェクション用スクリーンの形状を数式等で表した情報）に基づいて、スクリーンスポット光位置を求める。撮像画像上でのスポット光の位置は、撮像部４０のレンズ４２の位置を起点とする１つの半直線に対応している。その半直線の数式と、プロジェクション用スクリーンの形状情報から、両者の交点を求めることができる。この交点の空間位置が、スクリーンスポット光位置となる。即ち、スクリーンスポット光位置は、撮像画像上でのスポット光の位置に一対一に対応づけられる。

なお、プロジェクション用スクリーンは、物理スクリーンである形状可変スクリーン２０に対応して、仮想３次元空間であるオブジェクト空間に配置設定される投影画像生成用の仮想的なスクリーンである。画像生成部１２０では、このプロジェクション用スクリーンの形状に合わせて歪み補正処理（プロジェクションマッピング処理とも呼ばれる）が行われることになる。このプロジェクション用スクリーンは、形状可変スクリーン２０と同様に、単一平面ではないスクリーンであり、１つの曲面で構成されるスクリーン、複数の平面で構成されるスクリーン、曲面部分と平面部分とを含むスクリーンなどを想定できる。

そして光出射方向判定部１１４は、光出射部１６２又はプレーヤの代表位置として設定された設定位置から、スクリーンスポット光位置へと向かう方向を、光出射部１６２の光の出射方向として求める。即ち、光出射部１６２の位置（又はプレーヤの位置）として想定される代表位置を、設定位置として設定し、その設定位置と、スクリーンスポット光位置とを結ぶ直線の方向を、出射方向として求める。この出射方向は、光出射部１６２の現実の出射方向とは必ずしも一致しないが、ヒット判定処理等を実現するために、出射方向として仮想的に設定する。

そして光出射方向判定部１１４は、この出射方向に基づいて、オブジェクト空間内の表示物（オブジェクト）とのヒット判定処理を行う。即ち、標的対象の表示物とのヒット判定を行う。例えば、求められた出射方向に伸びる直線（光線）を設定し、この直線と表示物との交差判定を行うことで、光出射部１６２からの光（弾、ショット）が表示物にヒットしたか否かをチェックするヒット判定処理を行う。また光出射方向判定部１１４は、この出射方向に基づいて、プレーヤがコントローラ５０により指示した方向等を判定する。

画像生成部１２０はプロジェクション用の投影画像を生成する。生成された投影画像は、投影装置３０により、形状可変スクリーン２０に投影される。これによりプレーヤは、仮想カメラから見たオブジェクト空間の画像を、ゲーム画像として見ることが可能になる。プロジェクション用の投影画像は、例えばプロジェクションマッピング処理で生成された投影画像である。プロジェクションマッピングは、映す対象（スクリーン）の状態（形状等）と投影装置３０の状態（位置、方向等）と代表視点位置（プレーヤの視点位置）を考慮に入れて投影装置３０で映す手法である。

具体的には画像生成部１２０は、描画バッファ１７６上のピクセル（投影画像のピクセル）が、投影装置３０の光学系（広角レンズ等）を通して出射される光線と、プロジェクション用スクリーンとの交点位置と、代表視点位置を結ぶ直線を、仮想カメラの視線として描画バッファ１７６上のピクセルの色を決定する。例えばこの直線を仮想カメラの視線として、オブジェクト空間の情報からピクセルの色を決定する。具体的には、この直線とオブジェクト空間内のオブジェクトとの交点位置（この直線がオブジェクト空間において最初に到達するオブジェクト上の点の位置）に応じて、ピクセルの色を決定する。この処理はレイトレーシング法にて実現することもできるが描画負荷が大きく、リアルタイムでの実装が難しくなる。そこで、より実用的な方法としては、曲面のスクリーンになるべく近い形状の平面スクリーン（これを「代理平面」と呼ぶことにする）に対する描画結果をレンダーテクスチャに保存しておく手法で実現してもよい。そして、このようにしてピクセルの色を決定することで、投影画像が生成される。なお代表視点位置は、プレーヤの視点位置（仮想カメラの位置）と想定される位置である。

或いは、画像生成部１２０は、オブジェクト空間内のオブジェクトの頂点位置と代表視点位置を結ぶ直線を求め、この直線とプロジェクション用スクリーンとの交点位置を求める。そして、求められた交点位置に基づいて、オブジェクトに対応する描画オブジェクトについての描画バッファ１７６上での頂点位置を求める。そして、求められた頂点位置に基づいて、描画バッファ１７６に描画オブジェクトを描画することで、投影画像を生成する。ここで、描画オブジェクトは、描画対象となる３次元オブジェクトに対応する２次元オブジェクトである。例えば、３次元オブジェクトは、３次元空間（オブジェクト空間）に配置されるオブジェクトを意味し、例えばその頂点の座標値として３次元の座標値（Ｘ、Ｙ、Ｚ座標値）を有するオブジェクトである。一方、描画オブジェクトは、例えばその頂点の座標値として２次元の座標値（Ｘ、Ｙ座標）を有するオブジェクトである。また描画バッファ１７６は、例えばフレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファである。

２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。

２．１ 形状可変スクリーンの形状制御
本実施形態では、投影画像に映る表示物の形状や位置に基づいて形状可変スクリーン２０の形状を制御する手法を採用している。例えばプレーヤの操作情報（入力情報）に応じて進行するゲームにおいて、ゲームの進行状況に連動して形状可変スクリーン２０（可動スクリーン）の形状を制御する。そして、注目対象となる表示物（例えば強調して表示したい表示物）に適した所与の形状に、形状可変スクリーン２０の形状を変化させる。そして例えば形状可変スクリーン２０が、当該所与の形状に達した際に、その表示物の画像を含む投影画像を生成し、その投影画像をプロジェクションマッピングにより形状可変スクリーン２０に投影して表示する。

例えば図４（Ａ）〜図５（Ｂ）は釣りゲームの例である。図４（Ａ）では、プレーヤがコントローラ５０（光出射部１６２）により指示した位置に、浮きを表す表示物５２が表示されている。例えばコントローラ５０が光出射部１６２を有する場合には、光出射部１６２の光のスポット光により指示される位置に表示物５２が表示される。また底面のスクリーンパーツ２０ｇには、海を表す背景画像や浮きを表す表示物５２の画像が、投影画像として投影されている。

図４（Ｂ）では、スクリーンパーツ２０ｄが、プレーヤ側（前側）の方向ＤＲ１に移動している。即ち、複数のスクリーンパーツ２０ａ〜２０ｇのうち、スクリーンパーツ２０ｄの位置が変化することで、形状可変スクリーン２０の形状が変化している。この場合に、スクリーンパーツ２０ｄに対しては、海の背景画像が投影されている。そして形状可変スクリーン２０の形状が変化しても、プロジェクションマッピングによる歪み補正が行われているため、スクリーンパーツ２０ｄに投影される海の背景画像は、プレーヤから見て不自然さのない画像になる。

その後、図５（Ａ）では、スクリーンパーツ２０ｄに対して、魚を表す表示物５４が投影される。即ちプレーヤが釣りゲームにおいて釣り上げた魚の表示物５４が表示される。具体的には、釣り上げられて水面から飛び跳ねる魚の表示物５４が表示される。この表示物５４は、当該ゲームにおいて強調表示したい表示物であり、本実施形態では、この表示物５４の表示の際に、形状可変スクリーン２０を表示物５４に適した形状に変形する。

以上のように本実施形態では、図５（Ａ）の表示物５４の表示タイミングよりも前の第１のタイミングから、図４（Ａ）、図４（Ｂ）に示すように形状可変スクリーン２０の形状変形を開始する。そして図５（Ａ）の表示タイミングにおいて、形状可変スクリーン２０の形状が、表示物５４に対応づけられた所与の形状に設定される。即ち、スクリーンパーツ２０ｄの位置が移動することで、形状可変スクリーン２０の形状が、表示物５４の表示に適した所与の形状に設定される。このように図４（Ａ）〜図５（Ａ）では、投影画像に映る表示物５４の形状に対応する形状に、形状可変スクリーン２０の形状が変化している。

そして当該表示タイミングにおいて、スクリーンパーツ２０ｄに対して表示物５４の画像が投影される投影画像が生成される。一方、第１のタイミングと表示タイミングの間の期間においては、図４（Ｂ）に示すように、スクリーンパーツ２０ｄに対して背景画像が投影される投影画像が生成される。このように背景画像をスクリーンパーツ２０ｄに投影することで、プレーヤに気づかれないようにスクリーンパーツ２０ｄを移動して、形状可変スクリーン２０を変形することが可能になる。そして表示タイミングにおいて図５（Ａ）に示すように、プレーヤ側に移動したスクリーンパーツ２０ｄに対して魚の表示物５４を投影して表示することで、あたかもプレーヤの直ぐ眼の前で魚が釣れたかのような仮想現実感をプレーヤに与えることが可能になる。

なお第１のタイミングと表示物５４の表示タイミングの間の期間において、図５（Ｂ）に示すような演出画像を表示してもよい。この演出画像は魚の表示物５４の表示イベントに対応づけられた演出画像である。即ち図５（Ａ）のように実際に魚が釣り上げられる前に、釣り糸により引き寄せられる魚の表示物５６の画像を、演出画像として表示する。例えば、引き寄せられる魚の表示物５６がスクリーンパーツ２０ｄに投影された演出画像を、投影画像として生成する。

例えば、図４（Ａ）、図４（Ｂ）のように形状可変スクリーン２０の形状変形が開始し、図５（Ａ）のように、釣られた魚の表示物５４に適した形状に形状可変スクリーン２０が設定されるまでには、ある程度の長さの期間を要する。従って、この期間において、図５（Ｂ）のような演出画像を表示することで、プレーヤの注意をそらすことが可能になり、形状可変スクリーン２０の形状変形を目立たなくすることが可能になる。

なお第１のタイミングと表示タイミングの間に表示される演出画像は図５（Ｂ）の画像に限定されず、種々の変形実施が可能である。即ち、演出画像は、表示物の表示イベントに対応づけられた画像であればよく、表示物の表示を演出するような種々の演出画像を採用できる。また図４（Ｂ）、図５（Ａ）、図５（Ｂ）では、１個のスクリーンパーツ２０ｄに対して、背景画像や表示物５４、５６の画像を投影しているが、複数個のスクリーンパーツにこれらの画像を投影するようにしてもよい。

図６（Ａ）、図６（Ｂ）は、図３の形状テーブルデータ記憶部１７８に記憶される形状テーブルデータの例である。この形状テーブルデータでは、図６（Ａ）に示すように、表示物ＯＢ１、ＯＢ２、ＯＢ３の各々に対して、スクリーン形状ＳＨＰ１、ＳＨＰ２、ＳＨＰ３が対応づけられて記憶される。即ち、各表示物の表示に適した各スクリーン形状ＳＨＰ１、ＳＨＰ２、ＳＨＰ３のデータが、各表示物ＯＢ１、ＯＢ２、ＯＢ３に対応づけられて記憶される。そして、形状制御部１１０は、表示物ＯＢ１を表示する場合には、表示物ＯＢ１に対応づけられたスクリーン形状ＳＨＰ１に、形状可変スクリーン２０の形状を設定する。また形状制御部１１０は、表示物ＯＢ２、ＯＢ３を表示する場合には、表示物ＯＢ２、ＯＢ３に対応づけられたスクリーン形状ＳＨＰ２、ＳＨＰ３に、形状可変スクリーン２０の形状を設定することになる。

図６（Ｂ）はスクリーン形状データの例である。図４（Ａ）〜図５（Ｂ）の形状可変スクリーン２０は、複数のスクリーンパーツ２０ａ〜２０ｇにより構成される。このうちスクリーンパーツ２０ａ〜２０ｆは、方向ＤＲ１（ＤＲ２）に沿ってその位置が移動する。図６（Ｂ）では、例えばスクリーン形状ＳＨＰ１のデータとして、スクリーンパーツ２０ａ〜２０ｆの位置Ｚ１ａ〜Ｚ１ｆのデータが記憶される。位置Ｚ１ａ〜Ｚ１ｆは、例えば奥行き方向（ＤＲ１）での位置である。またスクリーン形状ＳＨＰ２のデータとして、スクリーンパーツ２０ａ〜２０ｆの位置Ｚ２ａ〜Ｚ２ｆのデータが記憶され、スクリーン形状ＳＨＰ３のデータとして、スクリーンパーツ２０ａ〜２０ｆの位置Ｚ３ａ〜Ｚ３ｆのデータが記憶される。このような各スクリーン形状ＳＨＰ１、ＳＨＰ２、ＳＨＰ３の形状データが、図６（Ａ）のように各表示物ＯＢ１、ＯＢ２、ＯＢ３に対応づけられて記憶される。

そして形状制御部１１０は、例えば表示物ＯＢ１が表示されるイベントが発生した場合には、この表示物ＯＢ１に対応づけられたスクリーン形状ＳＨＰ１のデータを、形状テーブルデータ記憶部１７８から読み出す。そして形状可変スクリーン２０の各スクリーンパーツ２０ａ〜２０ｆの各位置を、初期位置から、位置Ｚ１ａ〜Ｚ１ｆに変化させる制御を行う。表示物ＯＢ２、ＯＢ３についても同様である。このようにすることで、各表示物ＯＢ１、ＯＢ２、ＯＢ３の表示時（登場時）において、形状可変スクリーン２０の形状を、各表示物ＯＢ１、ＯＢ２、ＯＢ３の表示に適した形状に設定できるようになる。

図７（Ａ）、図７（Ｂ）は、形状可変スクリーン２０の形状変形のシーケンスを説明する図である。図７（Ａ）に示すように第１のタイミングＴＭ１で形状可変スクリーン２０の形状変形を開始する。即ち図４（Ｂ）に示すようにスクリーンパーツ２０ｄを移動させることで、形状可変スクリーン２０の形状変形を開始する。そして表示タイミングＴＭ２で表示物を表示する。即ち図５（Ａ）に示すように、注目対象となる表示物５４を表示する。

一方、図７（Ｂ）では、第１のタイミングＴＭ１と表示タイミングＴＭ２の間の期間において、演出画像を表示する。例えば図５（Ｂ）に示すような演出画像（表示物５６）を表示し、その後に、表示タイミングにおいて図５（Ａ）に示すように、注目対象となる表示物５４を表示する。この場合に例えば図７（Ｃ）に示すように、各表示物ＯＢ１、ＯＢ２、ＯＢ３に対して、形状可変スクリーン２０のスクリーン形状ＳＨＰ１、ＳＨＰ２、ＳＨＰ３や、演出画像（演出映像）ＩＭＥ１、ＩＭＥ２、ＩＭＥ３を対応づけて記憶しておく。そして、例えば表示物ＯＢ１が登場して表示されるイベントにおいては、第１のタイミングＴＭ１と表示タイミングＴＭ２の間の期間において、演出画像ＩＭＥ１を表示する。そして表示タイミングＴＭ２において、形状可変スクリーン２０をスクリーン形状ＳＨＰ１に変形して、表示物ＯＢ１を表示する。同様に、表示物ＯＢ２が登場して表示されるイベントにおいては、第１のタイミングＴＭ１と表示タイミングＴＭ２の間の期間において、演出画像ＩＭＥ２を表示する。そして表示タイミングＴＭ２において、形状可変スクリーン２０をスクリーン形状ＳＨＰ２に変形して、表示物ＯＢ２を表示する。表示物ＯＢ３についても同様である。

例えば本実施形態では、形状制御部１１０は、ゲーム状況から、表示物の表示タイミングＴＭ２を予測して、表示タイミングＴＭ２の前の第１のタイミングＴＭ１から形状可変スクリーン２０の形状変形を開始する。この際に、例えばスクリーンパーツ２０ｄの移動速度をなるべく遅くし、形状可変スクリーン２０の形状変形が、プレーヤになるべく気づかれないようにする。また、スクリーンパーツ２０ｄに背景画像を投影することで、形状可変スクリーン２０の形状変形を更に目立たなくすることが可能になる。

一方、プレーヤの入力に応じて表示物の表示位置が決定するような、表示物の表示位置や表示タイミングの予測が困難な状況では、例えばスクリーンパーツ２０ｄの移動速度を速くし、形状可変スクリーン２０を素早く形状変形する。例えば図５（Ｂ）のように、浮き（表示物５２）が引っ張られているポイントまで、スクリーンパーツ２０ｄが高速に移動し、魚（表示物５６）が水面近くで飛び跳ねる演出画像を表示する。また浮きが前後に激しく動く演出画像も表示する。このような演出画像を表示することで、実際に魚が釣れるまでの時間稼ぎが可能になる。

そして、魚が釣れたという確定判定が行われると、図５（Ａ）に示すようにスクリーンパーツ２０ｄに釣れた魚（表示物５４）の画像を投影して表示する。この場合にスクリーンパーツ２０ｄはプレーヤの近くまで移動しているため、あたかも自身の直ぐ眼の前で魚が釣れたかのような仮想現実感を、プレーヤに与えることができる。即ち、本実施形態では、スクリーンパーツ２０ｄ等の形状に合わせたプロジェクションマッピングの歪み補正が行われて、魚（表示物５４）の画像がスクリーンパーツ２０ｄに投影されている。このため、スクリーンパーツ２０ｄの存在をあまり感じさせない状態で、魚の画像をプレーヤに表示できるようになる。特に後述の図１７（Ａ）〜図１７（Ｃ）のような立体視の手法を採用すれば、この効果を更に高めることが可能になる。なお、以上では形状可変スクリーン２０を変形した後に、表示物を表示する場合について説明したが、形状可変スクリーン２０の変形タイミングと、表示物の表示タイミングをほぼ同時のタイミングにするなどの変形実施も可能である。

図８（Ａ）、図８（Ｂ）は、プレーヤがコントローラ５０を用いてシューティングゲームを行う場合の例である。なお、図８（Ｂ）や後述する図９では、斜め上から俯瞰した場合に歪みが無いかのように表現されているが、実際にはプレーヤの位置から見た状態で歪みが無いように歪み補正が行われているものとする。

図８（Ａ）でボスキャラの登場がプレーヤに知らされ、形状可変スクリーン２０の形状変形が開始する。そして図８（Ｂ）では、ボスキャラである戦艦の表示物５８の形状に対応するように、形状可変スクリーン２０の形状が変化する。即ち図８（Ｂ）では、投影画像に映る表示物５８の形状に応じて、形状可変スクリーンの形状２０が変化している。具体的には、表示物５８の形状に合うように、形状可変スクリーン２０を構成するスクリーンパーツ２０ａ〜２０ｅが方向ＤＲ１に沿って移動する。この形状変形は例えば図６（Ａ）、図６（Ｂ）で説明した形状テーブルデータに基づいて実現できる。例えば、表示物５８＝表示物ＯＢ１とした場合に、スクリーン形状ＳＨＰ１のデータとして、スクリーンパーツ２０ａ〜２０ｅの位置Ｚ１ａ〜Ｚ１ｅ（ＤＲ１方向での位置）のデータが形状テーブルデータ記憶部１７８から読み出される。そして、ボスキャラである戦艦の表示物５８の登場時に、これらの位置Ｚ１ａ〜Ｚ１ｅに、スクリーンパーツ２０ａ〜２０ｅを移動させることで、図８（Ｂ）のような形状可変スクリーン２０の形状変形が実現される。

そしてプレーヤが持つコントローラ５０には光出射部１６２が設けられており、例えばプレーヤがコントローラ５０に設けられたトリガー等を引くことで、光出射部１６２から光（赤外光）が出射され、シューティングゲームが実現される。光出射部１６２からの光によるヒット判定処理は、前述したように図３の光出射方向判定部１１４により行われる。例えば光出射方向判定部１１４は、投影画像の投影領域を撮像する撮像部４０の撮像画像に基づいて、撮像画像上でのスポット光の位置を求める。次に、撮像画像上でのスポット光の位置に基づいて、形状可変スクリーン２０に対応するプロジェクション用スクリーンでのスクリーンスポット光位置を求める。この場合に、物理スクリーンである形状可変スクリーン２０の形状変形に応じて、仮想スクリーンであるプロジェクション用スクリーンも変形させ、変形後のプロジェクション用スクリーンの形状情報に基づいて、スクリーンスポット光位置を求める。次に、光出射方向判定部１１４は、光出射部１６２又はプレーヤの代表位置として設定された設定位置から、スクリーンスポット光位置へと向かう方向を、光出射部１６２の光の出射方向として求める。そして光出射方向判定部１１４は、光出射部１６２の光の出射方向に銃の弾が飛んだと想定し、光出射部１６２からの光により表される弾と表示物とのヒット判定処理を行う。

図９は、このようにしてプレーヤがコントローラ５０によりシューティングを行って、弾がヒットすることで、表示物５８である戦艦の船首部分が破壊されて消失した状態を示している。このように表示物５８が破壊等されてその形状（或いは表示位置）が変化する変化イベントが発生すると、それに応じて本実施形態では形状可変スクリーン２０の形状についても変化させる。例えば図９では、表示物５８の一部が消失（或いは変化）する変化イベントが発生している。このため表示物５８の一部に対応するスクリーンパーツ２０ｃを方向ＤＲ２側に動かす制御を行う。即ちコントローラ５０によるプレーヤのシューティングにより、戦艦の艦首部分が破壊されて消失したため、艦首部分に対応するスクリーンパーツ２０ｃを、後ろ側の方向ＤＲ２に移動させる。そして、このようにスクリーンパーツ２０ｃが移動した形状可変スクリーン２０に対して、艦首部分が破壊された戦艦の表示物５８の画像を投影する。このようにして、戦艦の各部分が破壊されるごとに、破壊箇所に対応するスクリーンパーツを後ろの方向ＤＲ２に移動させる。そして例えば戦艦が完全に破壊されると、全てのスクリーンパーツ２０ａ〜２０ｅを後ろ方向ＤＲ２に移動させ、例えば図８（Ａ）に示すような初期状態の配置に戻す。このようにすれば、ゲーム進行に伴い変形する表示物５８の形状に対応するように、形状可変スクリーン２０の形状も変化するようになる。従って、より仮想現実感が高いリアルな画像をプレーヤに表示できるようになる。

２．２ 形状可変スクリーン
次に形状可変スクリーン２０の種々の構成例について説明する。図１０（Ａ）、図１０（Ｂ）では、形状可変スクリーン２０は、複数のスクリーンパーツ２０ａ〜２０ｅと、スクリーンパーツ２０ａ〜２０ｅを移動させることで形状可変スクリーン２０の形状を変形する形状変形機構６０を有する。図１０（Ａ）は形状可変スクリーン２０を上方向から見た模式図であり、図１０（Ｂ）は形状可変スクリーン２０をプレーヤ側から見た平面視図である。図１０（Ｂ）に示すように、スクリーンパーツ２０ａ〜２０ｅは、プレーヤから形状可変スクリーン２０を見た平面視において、縦（或いは横でもよい）に分割された形状のパーツとなっている。

形状変形機構６０は、ロッド部６２ａ〜６２ｅと駆動部６４ａ〜６４ｅを有する。ロッド部６２ａ〜６２ｅの一端はスクリーンパーツ２０ａ〜２０ｅに取り付けられる。ロッド部６２ａ〜６２ｅは、駆動部６４ａ〜６４ｅにより方向ＤＲ１又は方向ＤＲ２に沿って移動する。これにより、ロッド部６２ａ〜６２ｅの一端に取り付けられたスクリーンパーツ２０ａ〜２０ｅも方向ＤＲ１又は方向ＤＲ２に沿って移動し、スクリーンパーツ２０ａ〜２０ｅがプレーヤ側に押し出されたり、プレーヤと反対側に引き込まれる。例えばロッド部６２ａ〜６２ｅはネジ軸により実現され、駆動部６４ａ〜６４ｅには、ネジ軸に嵌合するナットと、ナットを回転させるモータ等が内蔵される。そして例えばボール・ナット式等の駆動方式で、ネジ軸であるロッド部６２ａ〜６２ｅの移動が実現される。

図１１（Ａ）、図１１（Ｂ）では、形状可変スクリーン２０は、可撓性スクリーン２８と、可撓性スクリーン２８の少なくとも一部の位置を変位させることで形状可変スクリーン２０の形状を変形する形状変形機構６０を有する。図１１（Ａ）は形状可変スクリーン２０を上方向から見た模式図であり、図１１（Ｂ）はプレーヤ側から見た平面視図である。

形状変形機構６０は、リール部６６ａ、６６ｂ、ガイドローラ部６８ａ、６８ｂ、７０ａ〜７０ｅ、ロッド部７２ａ〜７２ｅ、駆動部７４ａ〜７４ｅ、ロッド部７６ａ〜７６ｃを有する。例えばロッド部７２ａ〜７２ｅはネジ軸により実現され、駆動部７４ａ〜７４ｅには、ネジ軸に嵌合するナットと、ナットを回転させるモータ等が内蔵される。

可撓性スクリーン２８の一端はリール部６６ａに取り付けられ、可撓性スクリーン２８の他端はリール部６６ｂに取り付けられる。そしてリール部６６ａ、６６ｂにより、可撓性スクリーン２８の巻き取りや送り出しが実現される。ガイドローラ部６８ａ、６８ｂ、７０ａ〜７０ｅは、可撓性スクリーン２８の巻き取りや送り出しに応じて回転し、可撓性スクリーン２８をガイドする。

ガイドローラ部７０ｂ、７０ｃ、７０ｄは、ロッド部７２ｂ、７２ｃ、７２ｄの一端に取り付けられる。そしてロッド部７２ｂ、７２ｃ、７２ｄは、駆動部７４ｂ、７４ｃ、７４ｄにより方向ＤＲ１又は方向ＤＲ２に沿って移動する。これによって、可撓性スクリーン２８のうち、ガイドローラ部７０ｂ、７０ｃ、７０ｄに接触する部分の位置が変位して、形状可変スクリーン２０の形状が変形する。

例えばロッド部７２ｂが駆動部７４ｂにより方向ＤＲ１側（プレーヤ側）に押し出されると、ロッド部７２ｂの一端に取り付けられたガイドローラ部７０ｂも方向ＤＲ１側に押し出され、形状可変スクリーン２０の形状が変形する。またロッド部７２ｃが駆動部７４ｃにより方向ＤＲ１側に押し出されると、ロッド部７２ｃの一端に取り付けられたガイドローラ部７０ｃも方向ＤＲ１側に押し出され、形状可変スクリーン２０の形状が変形する。ガイドローラ部７０ｄ、ロッド部７２ｄ、駆動部７４ｄについても同様である。またガイドローラ部７０ｂ、７０ｃ、７０ｄは、ロッド部７６ｂ及び駆動部７４ｂ、７４ｃ、７４ｄによって、方向ＤＲ１と直交する方向である横方向に沿っても移動できるようになっている。

またガイドローラ部７０ａ、７０ｅは、ロッド部７２ａ、７２ｅの一端に取り付けられる。そしてガイドローラ部７０ａ、７０ｅは、ロッド部７６ａ、７６ｅに取り付けられた駆動部７４ａ、７４ｅによって、方向ＤＲ１に直交する方向である横方向に沿って移動する。このようにガイドローラ部７０ａ、７０ｅが横方向に移動することで、可撓性スクリーン２８のうち、ガイドローラ部７０ａ、７０ｅに接触する部分の位置が変位して、形状可変スクリーン２０の形状が変形する。これにより形状可変スクリーン２０の最奥部の平面部の面積を変化させることなどが可能になる。

なお図１１（Ｂ）では、形状可変スクリーン２０に投影される画像の例についても示されている。図１１（Ｂ）では、Ａ１に示すように、可撓性スクリーン２８に、注目表示物である戦艦の画像が表示されている。また遮光フード部を構成する側面２２、２３もスクリーンパーツとなっており、Ａ２、Ａ３に示すように水平線や岩などの画像が表示されている。またＡ４に示すように、底面のスクリーンパーツ２０ｇには海の背景画像が表示され、またＡ５に示すように海の岩礁の画像も表示されている。またＡ６に示すように、戦艦の喫水線の部分には水しぶきの画像も表示されている。図１１（Ｂ）に示すように形状可変スクリーン２０を変形して、注目表示物である戦艦の画像やそれに付帯する画像を投影することで、迫力があるリアルな画像の表示が可能になる。

図１２（Ａ）、図１２（Ｂ）では、形状可変スクリーン２０は、可撓性スクリーン２８と、形状可変スクリーン２０の形状を変形する形状変形機構６０を有する。図１２（Ａ）は形状可変スクリーン２０を上方向から見た模式図であり、図１２（Ｂ）はプレーヤ側から見た平面視図である。図１２（Ａ）、図１２（Ｂ）は図１０（Ａ）、図１０（Ｂ）のスクリーンパーツ２０ａ〜２０ｅを可撓性スクリーン２８を用いて実現した例である。

形状変形機構６０は、リール部８０ａ〜８０ｅと、ガイドローラ部８２ａ〜８２ｅ、８４ａ〜８４ｅと、ロッド部８６ａ〜８６ｅと、駆動部８８ａ〜８８ｅと、スクリーン固定部９０ａ〜９０ｅを有する。例えばロッド部８６ａ〜８６ｅはネジ軸により実現され、駆動部８８ａ〜８８ｅには、ネジ軸に嵌合するナットと、ナットを回転させるモータ等が内蔵される。リール部８０ａ〜８０ｅは、スクリーンパーツ２０ａ〜２０ｅを構成する可撓性スクリーンの一端に取り付けられ、可撓性スクリーンの巻き取りや送り出しを行う。これらのスクリーンパーツ２０ａ〜２０ｅの可撓性スクリーンの他端はスクリーン固定部９０ａ〜９０ｅに取り付けられる。

図１２（Ａ）、図１２（Ｂ）の構成によれば、ロッド部８６ａ〜８６ｅが駆動部８８ａ〜８８ｅにより方向ＤＲ１又は方向ＤＲ２に沿って移動することで、図１０（Ａ）、図１０（Ｂ）と同様の形状可変スクリーン２０の形状変形を実現できるようになる。

３．プロジェクション用の投影画像の生成手法
次に、プロジェクション用の投影画像の生成手法について説明する。例えばプロジェクション用スクリーンが、１つの曲面又は複数の面により構成されるスクリーンである場合に、本実施形態では、プロジェクション用スクリーンの形状情報に基づく歪み補正処理を行って、投影画像を生成する。以下では、投影画像の生成の際に行われる歪み補正手法の具体例について説明する。また、以下では説明の簡素化のために、プロジェクション用スクリーンが曲面形状（ドーム形状）のスクリーンである場合を例にとり説明する。プロジェクション用スクリーンの形状は数式やポリゴンモデルで表すことができる。従って、図１（Ａ）、図１（Ｂ）等で説明した形状可変スクリーン２０に対応するプロジェクション用スクリーン（仮想スクリーン）についても、これに対応する数式やポリゴンモデルで表すことで、以下に説明するプロジェクション用の投影画像の生成手法（歪み補正手法）を実現できる。

プロジェクション用スクリーンに画像を投影する場合に、投影装置の位置とプレーヤ（観察者）の位置が離れていると、画像の歪みが目立ってしまう。そこで、この歪みを予め考慮に入れて、投影装置からの投影画像（投影装置の描画バッファに描く画像）を生成することで、プレーヤから見て歪みのない映像を提示することが可能になる。

この場合に、スクリーンが単一の平面であれば、歪みは線形（パースによる歪み）となるため、射影変換行列を１つ用いるだけで簡単に補正することが可能になる。

しかし、単一平面ではないスクリーン（１つの曲面又は複数の面で構成されるスクリーン）である場合には、線形ではない歪みが加わるため、射影変換行列を１つ用いるだけという簡単な補正手法では、歪みを補正できず、画像の部分に応じて、細かく補正を行う必要がある。

このような歪み補正を実現する手法として、描画バッファのピクセル単位で歪み補正を行う手法と、３次元オブジェクトの頂点単位で歪み補正を行う手法が考えられる。まず、ピクセル単位での歪み補正手法について説明する。

３．１ ピクセル単位での歪み補正手法
描画バッファのピクセル単位での歪み補正手法では、図１３や下記に示す（１）、（２）、（３）、（４）の処理を順に行う。
（１）描画バッファ（フレームバッファ）上のピクセルＰＸ（ＸＰ，ＹＰ）が、投影装置のレンズを通して出射される光線ＲＹを求める。
（２）その光線ＲＹが、スクリーンＳＣと交差する交点ＰＳ（ＸＳ，ＹＳ，ＺＳ）の位置を求める。スクリーンＳＣはプロジェクション用スクリーンであり、物理スクリーンである形状可変スクリーン２０に対応する仮想スクリーンである。例えばスクリーンＳＣが、形状可変スクリーン２０を表す方程式等の数式で表される場合には、直線ＲＹを表す数式とスクリーンＳＣを表す数式を用いて交点ＰＳを求める。このスクリーンＳＣを表す数式が、スクリーンＳＣの形状情報である。なお形状可変スクリーン２０が曲面形状（ドーム形状）のスクリーンである場合には、形状可変スクリーン２０は楕円面の方程式等により表すことができる。
（３）この交点ＰＳ（ＸＳ，ＹＳ，ＺＳ）の色は、プレーヤ（観察者）がオブジェクト空間（仮想空間）を観察しているときの色である必要がある。そこで、プレーヤの代表視点に対応する仮想カメラＶＣの位置ＶＰと、交点ＰＳ（ＸＳ，ＹＳ，ＺＳ）の位置を結ぶ直線ＬＶを求める。
（４）この直線ＬＶを仮想カメラＶＣの視線としてオブジェクト空間の情報から、描画バッファ上の投影画像のピクセルの色を決定する。例えば、オブジェクト空間で最初に到達する３次元オブジェクトＯＢ上の点ＰＢ（ＸＢ，ＹＢ，ＺＢ）の位置を求め、それに応じて、描画バッファ上の投影画像のピクセルの色を決定する。

この場合に、ピクセル単位での歪み補正手法の改良手法では、上記の最後の（４）において、直線ＬＶと３次元オブジェクトＯＢとの交点ＰＢ（ＸＢ，ＹＢ，ＺＢ）の色を求める代わりに、あらかじめ描画しておいた平面（レンダーテクスチャ）と直線ＬＶとの交点（レンダーテクスチャの座標で（Ｕ，Ｖ））の色を用いて、投影画像のピクセルの色を決定する。レンダーテクスチャは、予め、投影面になるべく近い平面（以下、代理平面と呼ぶ）を選んでおき、そこに通常の描画方法、すなわち、平面を投影面とする描画を行うことで作成できる。

図１４に、このような代理平面ＰＬ１、ＰＬ２の一例を示す。点ＰＰが直線ＬＶと代理平面ＰＬ１（ＰＬ２）との交点である。なお図１４においてＧＮはプレーヤがシューティングゲームに使用するガン型のコントローラであり、ＣＭは投影画像の投影領域を撮像する撮像部（図３の４０）である。

レンダーテクスチャの参照位置は、視点や投影装置の位置が変化しない限り、最初に１度だけ計算しておけばよい。そのデータを保持しておくための代表的な方法としては、描画バッファの１ピクセルごとに、レンダーテクスチャのどの位置（Ｕ，Ｖ）のピクセル値（テクセル値）を参照するかを、１枚のテクスチャとして保持しておく方法がある。このテクスチャを、「ＵＶマップ」と呼ぶ。図１５に、投影装置の描画バッファとＵＶマップとレンダーテクスチャの関係を示す。

図１５のレンダーテクスチャの対応点（ＵＶ座標）を、描画バッファ上の全ピクセルについて求めて保持しておくことは、大きなリソースを必要とする。その大きなリソースを用意する余裕がない場合には、スクリーンＳＣ上に適当に配置された代表頂点について、描画バッファ上の対応点（ＸＰ，ＹＰ）と、レンダーテクスチャ上の対応点（Ｕ，Ｖ）を求め、それらをつないだ三角形ポリゴンによるメッシュを作っておく。そして、三角形ポリゴンを描画するときに、三角形ポリゴンの頂点に情報として記録された（Ｕ，Ｖ）座標を参照し、三角形ポリゴン内部の点についてはそれらから補間された（Ｕ，Ｖ）座標を用いるようにする。このようにすれば、大幅にリソースを節約することが可能になる。

なお形状可変スクリーン２０の形状が変化する場合には、この形状変化に連動してレンダーテクスチャをリアルタイムに書き換えればよい。例えば形状可変スクリーン２０の形状変化に伴い、形状可変スクリーン２０に対応する仮想的なプロジェクション用スクリーンの形状を表す数式等も連動させて変化させて、レンダリングテクスチャを生成すればよい。

３．２ 頂点単位での歪み補正手法
次に描画オブジェクトの頂点単位で歪み補正を行う手法について説明する。この手法では、オブジェクト空間内の３次元オブジェクトの頂点を、投影装置の描画バッファ上の点に変換する。具体的には図１６や下記に示す（１）、（２）、（３）、（４）の処理を順に行う。これは図１３の手法の処理を逆の順で行うことに相当する。
（１）オブジェクト空間内の３次元オブジェクトＯＢの頂点Ｖ（ＸＶ，ＹＶ，ＺＶ）の位置と、プレーヤの代表視点に対応する仮想カメラＶＣの位置ＶＰとを結ぶ直線ＬＶを求める。
（２）求められた直線ＬＶとスクリーンＳＣの交点ＰＳ（ＸＳ，ＹＳ，ＺＳ）の位置を求める。例えばスクリーンＳＣが形状可変スクリーン２０を表す方程式等の数式で表される場合には、直線ＬＶを表す数式とスクリーンＳＣを表す数式を用いて交点ＰＳを求める。このスクリーンＳＣを表す数式が、スクリーンＳＣの形状情報である。
（３）交点ＰＳ（ＸＳ，ＹＳ，ＺＳ）の位置と投影装置ＰＪの位置を結ぶ直線ＬＲを求める。
（４）直線ＬＲに対応する描画バッファ上の点ＰＤ（ＸＤ，ＹＤ）の位置を求める。この点ＰＤは、３次元オブジェクトＯＢに対応する描画バッファ上の描画オブジェクトＯＢＤの頂点に相当する。なお直線ＬＲから点ＰＤを求める際には、投影装置ＰＪのレンズの特性や配置等の光学系の情報を用いる。

以後は、描画オブジェクトＯＢＤの頂点と頂点を結んで色を塗るラスタライズ処理を行うことで、描画バッファ上に投影画像を生成できる。

なお、この場合に、以下のような手法を用いることが望ましい。即ち、オブジェクト空間内の３次元オブジェクトＯＢに対して、頂点分割数設定部で設定された頂点分割数で頂点分割処理を行う。そして頂点分割処理後の３次元オブジェクトＯＢの頂点位置と仮想カメラＶＣの位置とを結ぶ直線と、プロジェクション用のスクリーンＳＣとの交点位置を求める。そして、求められた交点位置に基づいて、３次元オブジェクトＯＢに対応する描画オブジェクトＯＢＤについての、描画バッファでの頂点位置を求める。そして、求められた描画オブジェクトＯＢＤの頂点位置に基づいて、描画オブジェクトＯＢＤを描画バッファに描画する処理を行って、プロジェクション用の投影画像を生成する。このような手法を採用すれば、例えばオブジェクト空間内での直線が、描画バッファ上においても直線として描画されてしまい、結果として歪んだ画像が観察されてしまうような事態の発生を抑制できる。

なお本実施形態の手法は立体視用の投影画像の生成にも適用できる。例えば立体視用の投影画像を生成する場合には、図１７（Ａ）に示すように左目用仮想カメラＶＣＬ（広義には第１視点用仮想カメラ）と右目用仮想カメラＶＣＲ（広義には第２視点用仮想カメラ）を用意する。そして、左目用仮想カメラＶＣＬ、右目用仮想カメラＶＣＲのそれぞれを用いて、本実施形態で説明した手法により投影画像を生成することで、立体視用の投影画像を生成できる。

左目用仮想カメラＶＣＬ、右目用仮想カメラＶＣＲの位置は、ヘッドトラッキング等により、プレーヤの左目および右目の位置を検出して設定してもよい。

また、プレーヤの左目および右目の位置の検出を行うことができない場合であっても、描画対象となる３次元オブジェクトの投影位置に応じて、プレーヤの視点位置はある程度推測できるので、それに合わせて左目用仮想カメラＶＣＬ、右目用仮想カメラＶＣＲの位置を設定することもできる。例えば、図１７（Ｂ）、図１７（Ｃ）に示すように、描画対象となる３次元オブジェクトの投影位置に応じて左目用仮想カメラＶＣＬ、右目用仮想カメラＶＣＲの位置（視点位置）を変化させてもよい。

例えば、図１７（Ｂ）のＤ１に示す投影位置に投影されるような３次元オブジェクトについては、それを見るプレーヤ（視聴者）も、Ｄ１に示す投影位置の方向に顔を向けると考えられる。従って、図１７（Ｂ）に示すように左目用仮想カメラＶＣＬ、右目用仮想カメラＶＣＲの位置を設定して、立体視用の投影画像を生成する。

同様に、図１７（Ｃ）のＤ２に示す投影位置に投影されるような３次元オブジェクトについては、それを見るプレーヤも、Ｄ２に示す投影位置の方向に顔を向けると考えられる。従って、図１７（Ｃ）に示すように左目用仮想カメラＶＣＬ、右目用仮想カメラＶＣＲの位置を設定して、立体視用の投影画像を生成する。こうすることで、プレーヤの視線方向等に応じた最適な投影画像を生成できるようになる。

なお、実際に立体視映像を観察するための手段としては、メガネ方式（具体的には、偏光方式、時分割方式、分光方式等）及び裸眼方式等が考えられる。それぞれに特徴があり、有利・不利となる環境条件もそれぞれ異なる。実施に当たっては、スクリーンの形状や表示内容、インタラクションの特徴などの環境条件に合わせて、適切なものを用いればよい。

４．変形例
次に本実施形態の手法が適用される種々の変形例について説明する。

図１８（Ａ）、図１８（Ｂ）は、メダルゲーム装置への本実施形態の手法の適用例である。本実施形態の手法は、メダルゲーム装置のコインプッシャー部等に適用できる。例えば図１８（Ａ）において、メダル排出口２００から排出されたメダル２０２は、フィールド部２１０を通って、メダル落下口２０４に落ちる。そして図１８（Ｂ）では、多数のコイン２０２が散りばめられたコインプッシャー部のフィールド部２１０が形状可変スクリーンになっている。そして図１８（Ｂ）に示すように、ボーナスチャンス等の演出において、フィールド部２１０である形状可変スクリーンが変形する。具体的には形状可変スクリーンを構成するスクリーンパーツ２１２が上に持ち上がり、このスクリーンパーツ２１２に対して、スロットのリールの画像（７７７等）が表示される。このようにスクリーンパーツ２１２が上に持ち上がるような形状可変スクリーンの変形を行って、このスクリーンパーツ２１２に対して種々の画像を表示することで、リールがあたかもその形状のまま立体的に飛び出したかのように見える派手な演出効果を実現できるようになる。

図１９（Ａ）、図１９（Ｂ）は、クレーンゲーム装置等の景品獲得ゲーム装置への本実施形態の手法の適用例である。本実施形態の手法は景品獲得ゲーム装置の景品フィールド部に適用できる。図１９（Ａ）では、ぬいぐるみ等の景品２２０が置かれている景品フィールド部２３０が形状可変スクリーンになっている。そしてゲーム状況に応じた演出において、景品フィールド部２３０である形状可変スクリーンの形状を変形させ、それに見合った演出画像を形状可変スクリーンに投影して、更に景品が取れやすくなるメリットを発生させる。その際に、プロジェクションマッピングの投影は、景品２２０の位置を判別して、プロジェクションマッピングの投影が景品２２０の部分には行われないようにする。例えば図１９（Ｂ）に示すように、景品フィールド部２３０である形状可変スクリーンのスクリーンパーツ２３２が上に持ち上げられる。これにより、スクリーンパーツ２３２の上に置かれていた景品２２０も上に持ち上げられる。この際に、スクリーンパーツ２３２には、例えば巨大キノコ等の表示物２２２が投影されており、あたかも景品２２０の下から巨大キノコが生えてきたかのような演出が行われる。この際に図１９（Ｂ）のＢ１に示すように、巨大キノコの画像が景品２２０には掛からないような投影画像を生成することで、破綻の無い映像で目立つ演出を実現できるようになる。

図２０（Ａ）〜図２０（Ｄ）は、モグラ叩きゲームやワニ叩きゲームなどのゲーム装置への本実施形態の手法の適用例である。本実施形態の手法は、このようなゲーム装置におけるモグラやワニのパーツ部分に適用できる。例えば図２０（Ａ）において、フィールド部２４０には、モグラ等が飛び出して来る複数の穴部２４２ａ〜２４２ｅが設けられている。そして図２０（Ｂ）に示すように、穴部２４２から飛び出して来るモグラのパーツ部分２４４が、形状可変スクリーンのスクリーンパーツとなっており、このパーツ部分２４４に対してモグラの画像が投影される。従来のゲーム装置では、同じ穴部からは同一の表現態様のキャラクタ（同じモグラ）しか出現することができなかったが、本実施形態の手法を適用することで、様々な表現態様のキャラクタを出現させることが可能となる。

例えば、図２０（Ｃ）では、プレーヤに叩かれたことで、その痛みにより泣いた表情のモグラのキャラクタを出現させている。即ち、このような表情のモグラの画像を、モグラのパーツ部分２４４（スクリーンパーツ）に投影することで、このような演出表現が可能となる。これにより、従来のゲーム装置では、叩かれても無表情（無反応）であったモグラのキャラクタに対して、様々な表情を与えることが可能になる。また図２０（Ｄ）では、パーツ部分２４４に、モグラの代わりに爆弾の画像を投影する。こうすることで、モグラの代わりに爆弾が穴部２４２から飛び出て来て、これを叩くと爆弾が爆発して、プレーヤの得点が減点されてしまうなどの演出を実現できるようになる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、形状可変スクリーンの形状制御手法、プロジェクション用の投影画像の生成手法、形状可変スクリーンの構成等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム等の種々の画像生成システムに適用できる。例えば、図６、図７の説明では、表示物の位置とそれに対応するスクリーン位置の対応関係をテーブルで定義したが、表示物の位置に対応するスクリーン位置は、あらかじめ定義した数式に基づいて表示物の位置から算出することとしてもよい。このようにすることで、表示物の位置を一定の範囲内で乱数で決定するなど、より自由な位置に表示物を配置することができる。

ＳＣ スクリーン、ＰＪ 投影装置（プロジェクタ）、ＶＣ 仮想カメラ、
ＶＰ 仮想カメラの位置、ＯＢ オブジェクト、ＯＢＤ 描画オブジェクト、
ＣＭ 撮像部、ＧＮ ガン型コントローラ、ＲＹ 光線、
ＬＶ ＬＲ、直線、ＰＳ 交点ＰＬ１、ＰＬ２ 代理平面、
ＯＢＤ 描画オブジェクト、ＤＲ１〜ＤＲ４ 方向
２０ 形状可変スクリーン、２０ａ〜２０ｇ スクリーンパーツ、
２２、２３ 側面、２４上面、３０、３０ａ、３０ｂ 投影装置、
４０ 撮像部、４２ レンズ、５０ コントローラ、５２、５４、５６、５８ 表示物、
６０ 形状変形機構、６２ａ〜６２ｅ ロッド部、６４ａ〜６４ｅ 駆動部、
６６ａ、６６ｂ リール部、６８ａ、６８ｂ、７０ａ〜７０ｅ ガイドローラ部、
７２ａ〜７２ｅ ロッド部、７４ａ〜７４ｅ 駆動部、７６ａ〜７６ｃ ロッド部、
８０ａ〜８０ｅ リール部、８２ａ〜８２ｅ、８４ａ〜８４ｅ ガイドローラ部、
８６ａ〜８６ｅ ロッド部、８８ａ〜８８ｅ 駆動部、
９０ａ〜９０ｅ スクリーン固定部、
１００ 処理部、１０２ ゲーム演算部、１０４ オブジェクト空間設定部、
１０６ 移動体演算部、１０８ 仮想カメラ制御部、１１０ 形状制御部、
１１２ 受け付け部、１１４ 光出射方向判定部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１６２ 光出射部、１７０ 記憶部、
１７２ オブジェクトデータ記憶部、１７６ 描画バッファ、
１７８ 形状テーブルデータ記憶部、１８０ 情報記憶媒体、１９０ 表示部、
１９２ 音出力部、１９４ 補助記憶装置、１９６ 通信部、
２００ コイン排出口、２０２ コイン、２０４ コイン落下口、
２１０ フィールド部、２１２ スクリーンパーツ、２２０ 景品、２２２ 表示物、
２３０ 景品フィールド部、２３２ スクリーンパーツ、
２４０ フィールド部、２４２（２４２ａ〜２４２ｅ） 穴部、２４４ パーツ部分

Claims (10)

1. １つの曲面又は複数の面で構成され形状が可変である形状可変スクリーンの形状制御を行い、投影画像に映る表示物の形状及び表示位置の少なくとも一方に応じて、前記形状可変スクリーンの形状を変化させる形状制御部と、
   投影装置により前記形状可変スクリーンに投影される前記投影画像を生成する画像生成部と、
   を含み、
   前記形状制御部は、
   前記表示物の表示タイミングよりも前の第１のタイミングから前記形状可変スクリーンの形状変形を開始し、
   前記画像生成部は、
   前記第１のタイミングと前記表示タイミングの間の期間において、前記表示物の表示イベントに対応づけられた演出画像を、前記投影画像として生成し、
   前記形状制御部は、
   前記表示タイミングにおいて、前記表示物に対応づけられた所与の形状に、前記形状可変スクリーンの形状を設定することを特徴とする画像生成システム。
2. 請求項１において、
   プレーヤの操作情報に基づいてゲーム処理を行うゲーム演算部を含み、
   前記形状制御部は、
   前記ゲーム処理によって特定される前記表示物の形状及び表示位置の少なくとも一方に応じて、前記形状可変スクリーンの形状を変化させることを特徴とする画像生成システム。
3. 請求項１又は２において、
   前記形状可変スクリーンは複数のスクリーンパーツにより構成され、
   前記画像生成部は、
   少なくとも１つの前記スクリーンパーツに前記表示物の画像が投影される前記投影画像を生成することを特徴とする画像生成システム。
4. 請求項３において、
   前記画像生成部は、
   前記表示物の表示タイミングまでは、少なくとも１つの前記スクリーンパーツに対して背景画像が投影される投影画像を生成することを特徴とする画像生成システム。
5. 請求項１乃至４のいずれかにおいて、
   前記形状制御部は、
   前記表示物の形状又は表示位置が変化する変化イベントが発生した場合に、前記形状可変スクリーンの形状を変化させることを特徴とする画像生成システム。
6. 請求項５において、
   前記形状可変スクリーンは複数のスクリーンパーツにより構成され、
   前記形状制御部は、
   前記表示物の一部が変化又は消失する前記変化イベントが発生した場合に、前記表示物の前記一部に対応するスクリーンパーツを動かす制御を行うことを特徴とする画像生成システム。
7. 請求項１乃至６のいずれかにおいて、
   前記形状可変スクリーンを含み、
   前記形状可変スクリーンは、
   複数のスクリーンパーツと、
   前記スクリーンパーツを移動させることで前記形状可変スクリーンの形状を変形する形状変形機構と、
   を有することを特徴とする画像生成システム。
8. 請求項７において、
   前記スクリーンパーツは、プレーヤから前記形状可変スクリーンを見た平面視において、縦及び横の少なくとも一方で分割された形状のパーツであることを特徴とする画像生成システム。
9. 請求項１又は２において、
   前記形状可変スクリーンを含み、
   前記形状可変スクリーンは、
   可撓性スクリーンと、
   前記可撓性スクリーンの少なくとも一部の位置を変位させることで前記形状可変スクリーンの形状を変形する形状変形機構と、
   を有することを特徴とする画像生成システム。
10. １つの曲面又は複数の面で構成され形状が可変である形状可変スクリーンの形状制御を行い、投影画像に映る表示物の形状及び表示位置の少なくとも一方に応じて、前記形状可変スクリーンの形状を変化させる形状制御部と、
    投影装置により前記形状可変スクリーンに投影される前記投影画像を生成する画像生成部として、
    コンピュータを機能させ、
    前記形状制御部は、
    前記表示物の表示タイミングよりも前の第１のタイミングから前記形状可変スクリーンの形状変形を開始し、
    前記画像生成部は、
    前記第１のタイミングと前記表示タイミングの間の期間において、前記表示物の表示イベントに対応づけられた演出画像を、前記投影画像として生成し、
    前記形状制御部は、
    前記表示タイミングにおいて、前記表示物に対応づけられた所与の形状に、前記形状可変スクリーンの形状を設定することを特徴とするプログラム。