WO2017038982A1

WO2017038982A1 - 投影システム

Info

Publication number: WO2017038982A1
Application number: PCT/JP2016/075841
Authority: WO
Inventors: 博文本山; 石井　源久
Original assignee: 株式会社バンダイナムコエンターテインメント
Priority date: 2015-09-02
Filing date: 2016-09-02
Publication date: 2017-03-09
Also published as: CN107925739B; GB2557787A; JP6615541B2; HK1247012A1; CN107925739A; JP2017050701A; US20180191990A1; GB201804171D0; GB2557787B

Abstract

投影システムは、投影画像を投影する投影部４０、４２と、センサ部５０の検出情報に基づいて第１、第２の対象物の少なくとも一方の位置情報を取得し、投影画像の生成処理を行う処理部１００を含む。処理部１００は、取得された位置情報に基づいて、第１の対象物と第２の対象物とが所与の関係になったと判断された場合に、第１の対象物に投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理を行う。

Description

投影システム

　本発明は、投影システム等に関する。

　従来より、投影装置により投影対象物に対して投影画像を投影するシステムが知られている。このような投影システムの従来技術としては特許文献１、２に開示される技術がある。

特開２０１３－１９２１８９号公報特開２００３－８５５８６号公報

　しかしながら、特許文献１、２のような従来技術の投影システムでは、画像生成装置により生成された画像を投影対象物に単に投影するだけであったため、インタラクティブ性に欠けていた。即ち、従来の投影システムでは、ユーザが投影対象物を動かした結果が、投影画像に反映されることはなく、投影対象物をインタラクティブに動かせる面白さを実現できていなかった。例えば施設のアトラクションに投影システムを使用した場合に、投影画像に映る表示物を現実世界の物体のようにユーザに感じさせることはできなかった。このため、長時間に亘って飽きずに楽しめるようなアトラクション等を実現できなかった。

　また、映像が投影対象物に追従するようなインタラクティブ性を実現する手法も考えられるが、複数の対象物間を映像が移動できるように、対象物間の相対的な位置関係を活用するような手法については提案されていなかった。

　本発明の幾つかの態様によれば、対象物相互の位置関係情報等を反映させた投影画像を投影して、これらの課題を解決でき、よりインタラクティブ性を高めることができる投影システム等を提供できる。

　本発明の一態様は、投影画像を投影する投影部と、センサ部の検出情報に基づいて第１、第２の対象物の少なくとも一方の位置情報を取得し、前記投影画像の生成処理を行う処理部と、を含み、前記処理部は、取得された前記位置情報に基づいて、前記第１の対象物と前記第２の対象物とが所与の関係になったと判断された場合に、前記第１の対象物に投影される第１の投影画像と、前記第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理を行う投影システムに関係する。

　本発明の一態様によれば、センサ部の検出情報に基づいて第１、第２の対象物の少なくとも一方の位置情報が取得される。そして取得された位置情報に基づいて、第１、第２の対象物が所与の関係になったと判断されると、第１、第２の対象物に投影される第１、第２の投影画像の少なくとも一方の内容を変化させる処理が行われる。このようにすれば、対象物の位置情報に基づいて第１、第２の対象物の関係を判断して、第１、第２の投影画像の内容を変更できる。従って、対象物相互の位置関係情報等を反映させた投影画像を投影して、よりインタラクティブ性を高めることができる投影システムの実現が可能になる。

　また本発明の一態様では、前記処理部は、前記第１の対象物に対して所与の位置に設定された仮想面と、前記第２の対象物との位置関係を求めて、前記第１の対象物と前記第２の対象物とが前記所与の関係になったか否かを判断してもよい。

　このようにすれば、第１の対象物自体ではなく、第１の対象物に対して所与の位置に設定された仮想面と、第２の対象物との位置関係を求めて、第１、第２の対象物が所与の関係になったかを判断できるようになる。従って、擬似的な仮想面を、例えば実在の面（水面等）であるかのようにユーザに認識させて、各種の処理を実行できるようになる。

　また本発明の一態様では、前記処理部は、前記第１の対象物と前記第２の対象物とが前記所与の関係になったと判断された場合に、前記第１の対象物に投影される前記第１の投影画像と、前記第２の対象物に投影される前記第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、及び表示物の画像を変更する処理の少なくとも１つの処理を行ってもよい。

　このようにすれば、あたかも第１、第２の対象物が所与の関係になったことで、表示物の出現や消滅や画像の変更が生じたかのように、ユーザに感じさせることでき、投影システムにおけるインタラクティブ性を向上できる。

　また本発明の一態様では、前記処理部は、前記第１の対象物と前記第２の対象物とが前記所与の関係になったと判断された場合に、前記第１の対象物への投影対象である表示物が、前記第２の対象物に例えば追従して投影されるように、前記第２の投影画像の生成処理を行ってもよい。

　このようにすれば、第１、第２の対象物が所与の関係になると、第１の対象物への投影対象である表示物が、第２の対象物に例えば追従して投影されて表示されるようになる。従って、あたかも第１、第２の対象物が所与の関係になったことで、第２の対象物に対応する場所に表示物が出現したかのように見える投影画像の生成が可能になる。

　また本発明の一態様では、前記処理部は、前記第２の対象物に投影される前記表示物と、前記第２の対象物との関係に基づいて、前記表示物の表示制御を行ってもよい。

　このようにすれば、第１の対象物と第２の対象物とが所与の関係になって表示物が第２の対象物に投影される場合に、その表示物と第２の対象物との関係に応じて、表示物についての種々の表示制御が行われるようになり、多様な投影画像の生成が可能になる。

　また本発明の一態様では、前記処理部は、前記第１の対象物と前記第２の対象物とが前記所与の関係になった場合に、処理規則に基づく演算処理を行い、前記演算処理の結果、前記第２の対象物に投影されると判断された前記表示物が、前記第２の対象物に投影されるように、前記表示物の表示制御を行ってもよい。

　このようにすれば、第１の対象物と第２の対象物とが所与の関係になると、処理規則に基づく演算処理が行われるようになる。そして、その演算処理の結果に基づいて、第２の対象物に投影されると判断された表示物が、第２の対象物に投影されるように、表示物の種々の表示制御が行われて、投影画像が生成されるようになる。

　また本発明の一態様では、前記処理部は、前記第１の対象物と前記第２の対象物との関係が前記所与の関係から変化した場合に、前記第１の対象物と前記第２の対象物の前記関係の変化に応じた前記表示物の表示制御を行ってもよい。

　このようにすれば、第１の対象物と第２の対象物との関係が所与の関係から変化すると、その関係の変化に応じた表示物の表示制御が行われて、その関係の変化を反映させた投影画像が生成されるようになる。

　また本発明の一態様では、前記処理部は、前記第１の対象物と前記第２の対象物の前記関係が変化した場合に、処理規則に基づく演算処理を行い、前記演算処理の結果、前記第２の対象物に投影されると判断された前記表示物が、前記第２の対象物に投影されるように、前記表示物の表示制御を行ってもよい。

　このようにすれば、第１の対象物と第２の対象物の関係が変化すると、処理規則に基づく演算処理が行われ、その結果に基づいて、第２の対象物に投影されると判断された表示物が、第２の対象物に投影されるように、表示物の表示制御が行われて、投影画像が生成されるようになる。

　また本発明の一態様では、前記処理部は、前記第１の対象物と前記第２の対象物の前記関係が変化した場合に、処理規則に基づく演算処理を行い、前記演算処理の結果、前記第２の対象物に投影されないと判断された前記表示物が、前記第１の対象物に投影されるように、前記表示物の表示制御を行ってもよい。

　このようにすれば、第１の対象物と第２の対象物の関係が変化すると、処理規則に基づく演算処理が行われ、その結果に基づいて、第２の対象物に投影されないと判断された表示物が、第１の対象物に投影されるように、表示物の表示制御が行われて、投影画像が生成されるようになる。

　また本発明の一態様では、前記処理部は、前記第２の対象物と第３の対象物とが所与の関係になったと判断された場合に、前記表示物を前記第３の対象物に表示するための処理を行ってもよい。

　このようにすれば、第２の対象物に投影された表示物が、例えば、あたかも第２の対象物から第３の対象物の方に移動したかのように見える投影画像の生成等が可能になる。

　また本発明の一態様では、前記処理部は、前記センサ部の検出情報に基づいて、前記第１の対象物と前記第２の対象物との相対的な位置関係を求めて、前記第１の対象物と前記第２の対象物とが前記所与の関係になったかを判断してもよい。

　このようにすれば、第１、第２の対象物の位置関係を反映させた投影画像を生成できるようになり、インタラクティブ性の向上等を図れるようになる。

　また本発明の一態様では、前記相対的な位置関係は、前記第１の対象物に対する前記第２の対象物の高さについての関係であってもよい。

　このようにすれば、第１、第２の対象物の高さ関係を反映させた投影画像を生成することが可能になる。

　また本発明の一態様では、前記処理部は、前記センサ部の検出情報に基づいて、前記第２の対象物に設定されたマーカの認識処理を行い、前記認識処理の結果に基づいて、前記第２の対象物の位置情報を取得し、取得された前記位置情報に基づいて、前記第１の対象物と前記第２の対象物とが前記所与の関係になったかを判断してもよい。

　このようにマーカを利用すれば、第２の対象物の位置情報を、安定的且つ適切に取得して、第１、第２の対象物の関係を判断できるようになる。

　また本発明の一態様では、前記処理部は、前記マーカに基づいて、前記第２の投影画像が投影される第２の投影領域を求め、前記第２の投影領域に投影される前記第２の投影画像の生成処理を行ってもよい。

　このようにすれば、マーカを利用して第２の投影領域を求めて、その第２の投影領域への第２の投影画像を生成し、例えば第２の投影画像の内容を変化させる処理等を実現できるようになる。

　また本発明の一態様では、前記第２の対象物は、ユーザの部位又はユーザの把持物であってもよい。

　このようにすれば、ユーザの部位や把持物の挙動がインタラクティブに反映されるような投影画像の生成が可能になる。

　また本発明の一態様は、第１の対象物であるプレイフィールドに対して投影画像を投影する投影部と、前記投影画像の生成処理を行う処理部と、を含み、前記処理部は、前記プレイフィールドに対して所与の位置に設定された仮想面に水面の画像を表示すると共に、生き物の画像を表示するための前記投影画像を生成し、前記投影部は、前記水面の画像と前記生き物の画像を表示するための前記投影画像を、前記プレイフィールドに対して投影し、前記処理部は、第２の対象物の位置情報に基づいて、前記第１の対象物である前記プレイフィールドに投影される第１の投影画像と、前記第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理を行う投影システムに関係する。

　本発明の一態様によれば、プレイフィールドに対して所与の位置に設定された仮想面に水面の画像を表示すると共に、生き物の画像を表示するための投影画像が、プレイフィールドに対して投影される。そしてプレイフィールドに投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の内容が、第２の対象物の位置情報に応じて変化する。このようにすれば、プレイフィールドの仮想面に対応する位置に水面があり、例えばその水面の付近に生き物が居るように見える投影システムを実現できる。そして第２の対象物の位置情報に応じて、第１、第２の投影画像の内容を変化させることができるため、よりインタラクティブ性を高めることができる投影システムの実現が可能になる。

　また本発明の一態様では、前記処理部は、前記プレイフィールドに投影される前記第１の投影画像と、前記第２の対象物に投影される前記第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、及び表示物の画像を変更する処理の少なくとも１つの処理を行ってもよい。

　このようにすれば、あたかも表示物の出現や消滅や画像の変更が生じたかのように、ユーザに感じさせることでき、投影システムにおけるインタラクティブ性を向上できる。

　また本発明の一態様では、前記処理部は、前記第２の対象物に設定されたマーカの認識処理を行い、前記認識処理の結果に基づいて、前記第２の対象物の位置情報を取得し、取得された前記位置情報に基づいて、前記第１の投影画像及び前記第２の投影画像の少なくとも一方の内容を変化させる処理を行ってもよい。

　このようにマーカを利用すれば、第２の対象物の位置情報を、安定的且つ適切に取得して、第１の投影画像及び第２の投影画像の少なくとも一方の内容を変化させることができるようになる。

　また本発明の一態様では、前記処理部は、前記第２の対象物の前記位置情報に基づいて、前記第１の対象物である前記プレイフィールドと前記第２の対象物とが所与の関係になったと判断された場合に、前記第１の投影画像と前記第２の投影画像の少なくとも一方の内容を変化させる処理を行ってもよい。

　このようにすれば、第１、第２の対象物が所与の関係になると、第１、第２の投影画像の少なくとも一方の内容が変化するようになり、投影システムにおけるインタラクティブ性を向上できる。

　また本発明の一態様では、前記処理部は、センサ部の検出情報に基づいて、前記第２の対象物の前記位置情報を取得してもよい。

　このようにすれば、センサ部を利用して第２の対象物の位置情報を取得し、第１、第２の投影画像の少なくとも一方の内容を変化させることが可能になる。

　また本発明の一態様では、前記投影部は、前記水面の画像と前記生き物の画像を表示するための前記投影画像を、前記プレイフィールドに対してプロジェクションマッピングにより投影してもよい。

　このようにすれば、プレイフィールドが種々の形状を有する場合にも、プロジェクションマッピングを利用することで、当該形状の影響を低減した投影画像をプレイフィールドに投影できるようになる。

　また本発明の一態様では、前記プレイフィールドは砂場であってもよい。

　このようにすれば、あたかも砂場の上に水面と生き物が居るように見える投影システムを提供できる。

　また本発明の一態様では、前記処理部は、前記水面及び前記生き物がアニメーション表示される前記投影画像を生成してもよい。

　このようにすれば、例えば水面の波等や生き物の動きを、アニメーション表示によりリアルに再現できるようになる。

　また本発明の一態様では、前記投影部は、前記プレイフィールドの上方に設置されてもよい。

　このようにすればプレイフィールドの上方の例えば目立たない場所に投影部を設置して、プレイフィールドに対して投影画像を投影できるようになる。

本実施形態の投影システムの全体構成例。本実施形態の投影システムの具体的な構成例。図３（Ａ）、図３（Ｂ）は対象物への投影画像の投影手法の説明図。本実施形態の手法の説明図。高さ情報マップの例。図６（Ａ）、図６（Ｂ）は対象物の投影画像の内容を変化させる手法の説明図。図７（Ａ）、図７（Ｂ）は対象物にマーカを設定して位置情報の取得等を行う手法の説明図。マーカパターンに応じて表示物を変更する手法の説明図。図９（Ａ）、図９（Ｂ）は容器への投影画像の投影手法の説明図。餌アイテムを用いて位置情報の取得等を行う手法の説明図。対象物への投影画像の生成手法の説明図。本実施形態の変形例の説明図。投影画像の補正処理についての説明図。本実施形態の詳細な処理例のフローチャート。本実施形態の詳細な処理例のフローチャート。本実施形態の詳細な処理例のフローチャート。

　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

　１．投影システムの構成
　図１に本実施形態の投影システムの全体構成例を示す。本実施形態の投影システムは、投影部４０、４２と処理装置９０（広義には処理部）を含む。またセンサ部５０を更に含むことができる。なお、本実施形態の投影システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　プレイフィールド１０は、ユーザ（プレーヤ）がアトラクション等を楽しむためのフィールドであり、図１では砂が敷き詰められた砂場のフィールドになっている。なおプレイフィールド１０としては、例えば草や花のフィールド、土のフィールド、スポーツを行うフィールド、或いは競争ゲームのためのコース等が描かれたフィールドなどの種々のフィールドを想定できる。

　投影部４０、４２は、プレイフィールド１０（広義には第１の対象物）などに投影画像を投影するものであり、いわゆるプロジェクタにより実現できる。図１では投影部４０、４２は、プレイフィールド１０の上方（例えば天井等）に設置されており、上方側から下方のプレイフィールド１０に対して投影画像を投影する。なお図１では２台の投影部４０、４２が設けられているが、投影部の台数は１台でもよいし、３台以上でもよい。また、プレイフィールド１０の地形が変化しないという前提の場合には、床面をスクリーンとし、プロジェクタ（投影部）を床下に配置した、いわゆるリアプロジェクション方式でもよいし、床面をＬＣＤ等のフラットパネルディスプレイにより構成してもよい。

　センサ部５０は、対象物の位置情報等を検出するものである。図１では、センサ部５０は、プレイフィールド１０の上方（例えば天井等）に設置され、対象物であるプレイフィールド１０の例えば高さ情報（各領域での高さ情報）を位置情報として検出している。このセンサ部５０は、例えば画像を撮影する通常のカメラや、デプスセンサ（測距センサ）などにより実現できる。

　バケツ６０は、後述するように、捕まえた魚等の生き物をストックするためのものであり、その上面には、捕獲した生き物の表示物を映すための表示部６２（例えばタブレットＰＣのディスプレイ）が設けられている。

　処理装置９０は本実施形態の処理部として機能するものであり、投影画像の生成処理等の各種の処理を行う。処理装置９０は、例えばデスクトップＰＣ、ノートＰＣ、或いはタブレットＰＣなどの各種の情報処理装置により実現できる。

　図２に本実施形態の投影システムの詳細な構成例を示す。例えば図１の処理装置９０は図２の処理部１００、Ｉ／Ｆ部１２０、記憶部１５０等により実現される。

　処理部１００（プロセッサ）は、センサ部５０からの検出情報等に基づいて、各種の判断処理や画像の生成処理などを行う。処理部１００は記憶部１５０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

　Ｉ／Ｆ（インターフェース）部１２０は、外部のデバイスとのインターフェース処理を行うものである。例えばＩ／Ｆ部１２０は、投影部４０、４２、センサ部５０、表示部６２との間のインターフェース処理を行う。例えば処理部１００により生成された投影画像の情報は、Ｉ／Ｆ部１２０を介して投影部４０、４２に出力される。センサ部５０からの検出情報は、Ｉ／Ｆ部１２０を介して処理部１００に入力される。表示部６２に表示する画像の情報は、Ｉ／Ｆ部１２０を介して表示部６２に出力される。

　記憶部１５０は、処理部１００などのワーク領域となるもので、その機能はＲＡＭ、ＳＳＤ、或いはＨＤＤなどにより実現できる。記憶部１５０は、表示物の情報（画像情報等）を記憶する表示物情報記憶部１５２や、マーカパターンの情報を記憶するマーカパターン記憶部１５４や、対象物の高さ情報（位置情報）を記憶する高さ情報記憶部１５６を含む。

　処理部１００は、位置情報取得部１０２、マーカ認識部１０４、位置関係判定部１０６、捕獲判定部１０８、リリース判定部１０９、画像生成処理部１１０を含む。また画像生成処理部１１０は歪み補正部１１２を含む。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　本実施形態では、処理部１００は、センサ部５０の検出情報に基づいて第１、第２の対象物の少なくとも一方の位置情報を取得する。例えば位置情報取得部１０２が、センサ部５０から検出情報に基づいて、対象物の位置情報（例えば高さ情報等）の取得処理を行う。例えば後述するように、第１の対象物であるプレイフィールド１０と、第２の対象物であるユーザの部位又は容器等の少なくとも一方の位置情報を取得する。なお、第１の対象物（プレイフィールド１０等）の位置情報（高さ情報）については、例えば記憶部１５０に情報テーブルとして予め記憶しておけば、センサ部５０からの検出情報に基づき位置情報（高さ情報）を求めなくもよい。第２の対象物の位置情報についても同様である。

　そして処理部１００は、投影画像の生成処理を行い、投影部４０、４２は、生成された投影画像を投影する。例えば画像生成処理部１１０が投影画像の生成処理を行う。例えば、地形の深い位置に対しては特定の生き物を配置し、地形が仮想水面（仮想面）よりも高いと判断されるほど盛り上がっている位置については、水を表示せずに陸地としての表現等を行う。また、図１のように複数のプロジェクタ（投影部４０、４２）を用いる場合には、それらの映像のつなぎ目部分を目立たなくすることが望ましい。そのためには、プロジェクタからつなぎ目に相当する各ピクセルまでの距離をなるべく精確に求める必要があり、上記の高さ情報をそのために活用することができる。そしてこの際に歪み補正部１１２が投影画像の歪み補正処理を行ってもよい。例えば対象物の位置情報等に基づいて、対象物に投影画像が投影された際の歪みを低減するための歪み補正処理を行う。しかしながら歪み補正処理は、観察者の視点位置にも依存するものであるから、観察者の視点位置を求めるのが難しい場合や、観察者が複数人いるような場合には、歪み補正を行わないほうが良いこともある。歪み補正を行うか否かは、コンテンツの内容や観察者の状況に応じて適宜決定すればよい。

　具体的には処理部１００は、センサ部５０の検出情報に基づき取得された位置情報に基づいて、第１の対象物と第２の対象物とが所与の関係になったかを判断する。この判断処理は位置関係判定部１０６が行う。そして、第１、第２の対象物が所与の関係になったと判断された場合に、第１の対象物に投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理を行う。例えば第１、第２の投影画像の一方の内容を変化させたり、両方の内容を変化させる処理を行う。この画像の変化処理は画像生成処理部１１０が行う。そして変化処理後の第１、第２の投影画像が、投影部４０、４２により第１、第２の対象物に投影される。

　ここで、第１の対象物は例えば図１のプレイフィールド１０などである。第２の対象物は、例えばユーザの部位又はユーザの把持物などである。ユーザの部位は、例えばユーザの手（手のひら）であり、ユーザの把持物はユーザが手等で把持する容器などであり、ユーザが把持可能な物体である。ユーザの部位は、ユーザの顔、胸、お腹、腰、或いは足等の部位であってもよい。また把持物は、容器以外の物であってもよいし、ユーザの手以外の部位で把持される物であってもよい。なお、第１の対象物はプレイフィールド１０には限定されず、背景等となるメインの画像等の投影対象となる対象物であればよい。同様に第２の対象物も、ユーザの部位や把持物には限定されない。

　また処理部１００は、第１の対象物に対して所与の位置（高さ）に設定された仮想面（仮想平面）と、第２の対象物との位置関係を求めて、第１の対象物と第２の対象物とが所与の関係になったか否かを判断する。そして第１、第２の対象物に投影される第１、第２の投影画像の少なくとも一方の内容を変化させる。

　例えば第１の対象物の投影面からオフセットした位置（上方位置）に、当該投影面に対応する仮想面を設定する。この仮想面は、例えばプレイフィールド１０の投影面に対応して仮想的に設定された面である。そして、第１の対象物（第１の対象物の投影面）ではなく、この仮想面と第２の対象物とが所与の関係（位置関係）になったかを判断する。例えば、ユーザの部位や把持物である第２の対象物が、仮想面（例えば仮想海面、仮想水面）に対して所与の関係になったかを判断する。具体的には、第２の対象物が仮想面よりも下方にあるか否かなどを判断する。そして、所与の関係になった場合に、第２の対象物への第２の投影画像（例えば手や容器に映る画像）や、第１の対象物への第１の投影画像（例えば生き物や海面の画像）を変化させる処理を行う。

　また処理部１００は、第１の対象物と第２の対象物とが所与の関係（狭義には所与の位置関係）になったと判断された場合に、第１の対象物に投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、及び表示物の画像を変更する処理の少なくとも１つの処理を行う。例えば処理部１００は、第１の投影画像や第２の投影画像において、後述する生き物等の表示物を出現させる処理を行ったり、逆に表示物を消滅させる処理を行ったり、或いは表示物の画像（表示パターン、テクスチャ、色、エフェクト等）を変更する処理を行う。こうすることで、第１の対象物と第２の対象物とが所与の関係になったと判断された場合に、第１の対象物に投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理が実現される。なお表示物の情報（画像情報、オブジェクト情報、属性情報等）は表示物情報記憶部１５２に記憶される。

　例えば処理部１００は、第１の対象物と第２の対象物とが所与の関係になったと判断された場合に、第１の対象物への投影対象である表示物が、第２の対象物に投影されるように（第２の対象物に追従して投影されるように）、第２の投影画像の生成処理を行う。例えば、海の生き物などの表示物は、第１の対象物であるプレイフィールド１０への投影対象となるものである。本実施形態では、プレイフィールド１０等の第１の対象物と、ユーザの手などの部位やその把持物である第２の対象物とが、所与の関係になった場合に、海の生き物などの表示物が、第１の対象物だけではなく、ユーザの部位や把持物などの第２の対象物の位置や形状等も考慮して表示されるように、投影画像の生成処理を行う。

　例えば処理部１００は、第１の対象物と第２の対象物とが所与の関係になったと判断された場合に、第１の対象物への投影対象である表示物が、第２の対象物により捕獲されたと判定する。この判定処理は捕獲判定部１０８（ヒットチェック部）が行う。そして処理部１００（画像生成処理部１１０）は、捕獲されたと判定された表示物が第２の対象物に投影されるように、第２の投影画像の生成処理を行う。例えば、海の生き物などの表示物が、手や容器などの第２の対象物に捕獲されたと判断された場合に、捕獲された生き物等の表示物が、第２の対象物に投影されるようにする。

　一方、処理部１００は、捕獲されなかったと判定された表示物については、第１の対象物に投影されるように、第１の投影画像の生成処理を行う。例えば、海の生き物等の表示物が第２の対象物により捕獲されなかった場合には、その捕獲に失敗した表示物が、プレイフィールド１０等の第１の対象物に投影されるようにする。

　また処理部１００は、第２の対象物に投影される表示物と、第２の対象物との関係に基づいて、表示物の表示制御を行う。

　例えば後述の図４や図７（Ａ）のように、魚１４が、ユーザの部位である手２０や、把持物である容器２２により捕獲されたと判断されると、第２の対象物である手２０や容器２２に、表示物である魚１４が表示されるようになる。例えば手２０や容器２２が、後述する図４の仮想海面１２の下方に入って、第１の対象物であるプレイフィールド１０と、第２の対象物である手２０や容器２２とが、所与の関係になったと判断されると、魚１４を、手２０や容器２２に投影する処理が行われる。

　この場合に、処理部１００は、表示物である魚１４が、手２０に対してツンツンしたり、容器２２の縁にぶつかるなどの様子を表現するための表示制御を行う。例えば、魚１４と手２０や容器２２とのヒットチェック処理を行い、そのヒットチェック処理の結果に基づいて、魚１４の移動を制御する表示制御を行う。こうすることで、あたかも本物の生きた魚１４が、手２０の上で動いたり、容器２２の中で泳いで見えるような仮想現実感を、プレーヤに与えることが可能になる。

　また処理部１００は、第１の対象物と第２の対象物とが所与の関係になった場合に、処理規則に基づく演算処理を行い、演算処理の結果、第２の対象物に投影されると判断された表示物が、第２の対象物に投影されるように、表示物の表示制御を行う。

　例えば第１の対象物であるプレイフィールド１０と、第２の対象物である手２０や容器２２とが所与の関係になった（例えば手２０や容器２２が仮想海面１２の下方に入った）と判断されると、処理規則に基づく演算処理が行われる。一例としては、手２０や容器２２を基準（中心位置）にして所定範囲（所定半径内）に居る魚を検索し、手２０や容器２２の方に呼び寄せる演算処理（ゲーム処理）が行われる。この演算処理は、所定の処理規則（アルゴリズム）に基づく処理であり、例えば所定のアルゴリズム（プログラム）に基づく検索処理や移動制御処理やヒットチェック処理などを想定できる。そして、この演算処理の結果、第２の対象物である手２０や容器２２に投影されると判断された魚が、手２０や容器２２に投影されるように、表示物である魚の表示制御が行われる。例えば、手２０や容器２２の方に魚を移動させるなどの表示制御が行われる。

　なお、この場合の処理規則に基づく演算処理としては種々の処理を想定できる。例えば後述する図１０に示すような餌アイテム２６が手２０のひらに乗っている場合には、より多くの魚を手２０の方に呼び寄せるような演算処理を行う。一方、餌アイテム２６が乗っていない場合には、手２０の方に魚を呼び寄せなかったり、寄って来る魚の数を少なくするなどの演算処理を行う。こうすることで、ゲーム的な処理である演算処理の結果を踏まえた、表示物の表示制御が可能になる。

　また処理部１００は、第１の対象物と第２の対象物との関係が所与の関係から変化した場合に、第１の対象物と第２の対象物の関係の変化に応じた表示物の表示制御を行う。

　例えば後述する図４に示すように、手２０が仮想海面１２（仮想水面）の下方に入ったという所与の関係の状態から、手２０が持ち上げられて、仮想海面１２の上方に出たという関係に変化したとする。この場合に処理部１００は、この関係の変化（手が仮想海面１２の下方から上方に出たという変化）に応じた、魚等の表示物の表示制御を行う。例えば、このような関係の変化があった場合に、魚が捕獲されたと判断して、魚が手２０により捕獲された状態を表現する表示制御を行う。例えば、手２０に魚が表示（投影）されるような表示制御を行う。或いは、手２０の上の魚が跳ねたり、キラリと光るような表示制御を行う。ここで、表示物の表示制御は、例えば表示物を移動させたり、表示物の動作（モーション）を変化させたり、或いは表示物の画像の色、輝度又はテクスチャ等のプロパティを変化させる処理などである。

　具体的には処理部１００は、第１の対象物と第２の対象物の関係が変化した場合に、処理規則に基づく演算処理を行い、演算処理の結果、第２の対象物に投影されると判断された表示物が、第２の対象物に投影されるように、表示物の表示制御を行う。例えば魚がユーザの手２０で捕獲される様子を表現するような表示制御を行う。或いは、処理部１００は、演算処理の結果、第２の対象物に投影されないと判断された表示物が、第１の対象物に投影されるように、表示物の表示制御を行う。例えば捕獲に失敗した魚が、第１の対象物であるプレイフィールド１０の方に逃げる様子を表現するような表示制御を行う。

　例えば、手２０や容器２２が仮想海面１２の上方に出るというような関係の変化が生じたとする。この場合には、手２０や容器２２の中心付近に居た魚については、手２０の上や容器２２の中に留まる表示制御を行う。一方、手２０の端部や容器２２の縁に居た魚については、手２０や容器２２からプレイフィールド１０側に逃げる表示制御を行う。例えば、魚が、手２０や容器２２の中心位置（基準位置）から所定範囲内（所定半径内）に居るかを求める演算処理（処理規則に基づく演算処理）を行う。そして、魚が所定範囲内に居る場合には、その魚が手２０や容器２２に投影されるように、魚の移動制御等の表示制御を行う。一方、魚が所定範囲の外に居る場合には、その魚が手２０や容器２２から逃げて、プレイフィールド１０に投影されるように、魚の移動制御等の表示制御を行う。このような演算処理に基づく表示物の表示制御を行うことで、手２０や容器２２により魚を捕獲するというようなゲーム処理を実現でき、これまでにない投影システムの実現が可能になる。

　また処理部１００は、第２の対象物と第３の対象物とが所与の関係（狭義には所与の位置関係）になったと判断された場合に、表示物を、第３の対象物に表示する処理（第２の対象物の場所に表示する処理）を行う。ここで、表示物を第３の対象物に表示する処理は、例えば第３の対象物の表示部（例えば図１の表示部６２）に表示物を表示したり、第３の対象物に表示物を投影する処理などである。

　例えば第２の対象物と第３の対象物とが所与の関係になった場合に、表示物（捕獲された表示物）が、第３の対象物の場所にリリースされたと判定する。この判定処理はリリース判定部１０９が行う。そして、リリースされた表示物を第３の対象物に表示する処理（第３の対象物の場所に表示する処理）を行う。例えば、手や容器等の第２の対象物により、海の生き物等の表示物が捕獲され、第２の対象物と、図１のバケツ６０等の第３の対象物とが所与の位置関係になったとする。例えば、ユーザの手や容器等の第２の対象物が、バケツ６０等の第３の対象物に近づくような位置関係になったとする。この場合には処理部１００（リリース判定部１０９）は、捕獲された生き物等がリリースされたと判定する。そして処理部１００（画像生成処理部１１０）は、バケツ６０の表示部６２の表示画像として、捕獲された生き物等が表示される画像を生成する。こうすることで、捕獲された生き物等がリリースされて、あたかもバケツ６０に移動したかのように見える画像を生成できる。なお、この場合にバケツ６０等の第３の対象物に、捕獲した生き物等の表示物を投影する処理を行ってもよい。

　また処理部１００は、センサ部５０の検出情報に基づいて、第１の対象物と第２の対象物との相対的な位置関係を求めて、第１の対象物と第２の対象物とが所与の関係になったかを判断する。例えば高さ方向や横方向における相対的な位置関係を求め、所与の関係になったと判断した場合に、第１、第２の投影画像の少なくとも一方の内容を変化させる。

　ここで相対的な位置関係は、第１の対象物に対する第２の対象物の例えば高さについての関係である。例えばセンサ部５０の検出情報に基づいて、高さ方向での第１、第２の対象物の相対的な位置関係を求める。例えば、第２の対象物が、第１の対象物或いは第１の対象物に対して設定された仮想面に対して、上方にあるか、下方にあるかなどを判断する。そして判断結果に基づいて、第１、第２の対象物に対する第１、第２の投影画像の少なくとも一方の内容を変化させる。

　また処理部１００は、センサ部５０の検出情報に基づいて、第２の対象物に設定されたマーカの認識処理を行う。そして認識処理の結果に基づいて、第２の対象物の位置情報を取得し、取得された位置情報に基づいて、第１の対象物と第２の対象物とが所与の関係になったかを判断する。例えば第２の対象物に設定されたマーカを、センサ部５０により撮像することで撮像画像を取得し、撮像画像の画像認識処理などを行って、第２の対象物の位置情報を取得する。これらのマーカ認識処理はマーカ認識部１０４が行う。

　即ち、第２の対象物に対してマーカを配置設定する。例えば第２の対象物がユーザの部位である場合に、ユーザの部位にマーカを貼り付けたり、マーカとなる物体をユーザの部位に把持させる。また第２の対象物がユーザの把持物である場合に、把持物そのもの（色彩や形状等の特徴量）をマーカとしたり、把持物にマーカを取り付ける。そして、このマーカをセンサ部５０により認識し、認識結果に基づき第２の対象物の位置情報を取得する。例えば撮像画像からマーカを画像認識し、画像認識の結果に基づいて、マーカの位置情報（高さ情報等）を求めて、第１、第２の対象物が所与の関係になったかを判断する。

　例えば処理部１００は、マーカに基づいて、第２の投影画像が投影される第２の投影領域を求める。そして第２の投影領域に投影される第２の投影画像の生成処理を行う。例えばマーカの認識処理の結果に基づいて、例えばＶＲＡＭ上での第２の投影領域の位置（アドレス）を求め、その第２の投影領域での第２の投影画像の生成処理を行う。そして例えば第２の投影画像の内容を変化させる処理などを行う。

　また処理部１００は、第１の対象物であるプレイフィールドに対して所与の位置に設定された仮想面に水面の画像を表示すると共に、生き物の画像を表示するための投影画像を生成する。例えば生き物は仮想面の下方に表示されてもよいし、仮想面の上方に表示されてもよいし、仮想面の境界に表示されてもよい。そして投影部４０、４２は、水面の画像と生き物の画像を表示するための投影画像を、プレイフィールドに投影する。このとき、処理部１００は、プレイフィールドに投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の内容を、第２の対象物の位置情報に基づいて変化させる処理を行う。例えば第１、第２の投影画像の一方の内容を変化させる処理や、両方の内容を変化させる処理を行う。そして変化処理後の第１、第２の投影画像が、投影部４０、４２により第１、第２の対象物に投影される。

　また処理部１００は、プレイフィールドに投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、及び表示物の画像を変更する処理の少なくとも１つの処理を行う。このようにすれば、第２の対象物（例えばユーザの部位又は把持物）の位置情報に応じて、表示物が出現したり、消滅したり、その画像が変化するようになる。

　また処理部１００は、第２の対象物に設定されたマーカの認識処理を行い、認識処理の結果に基づいて、第２の対象物の位置情報を取得する。そして取得された位置情報に基づいて、第１の投影画像及び第２の投影画像の少なくとも一方の内容を変化させる処理を行う。このようにすれば第２の対象物に設定されたマーカを利用して、第２の対象物の位置情報を取得し、第１の投影画像や第２の投影画像の内容を変化させることができる。

　また処理部１００は、第２の対象物の位置情報に基づいて、プレイフィールドと第２の対象物とが所与の関係になったと判断された場合に、第１、第２の投影画像の少なくとも一方の内容を変化させることが望ましい。また処理部１００は、センサ部５０の検出情報に基づいて、第２の対象物の位置情報を取得することが望ましい。

　また投影部４０、４２は、水面の画像と生き物の画像を表示するための投影画像を、プレイフィールドに対してプロジェクションマッピングにより投影する。例えば歪み補正等が行われた投影画像を投影する。この場合にプレイフィールドは、後述するように例えば砂場である。また処理部１００は、水面及び生き物がアニメーション表示される投影画像を生成する。このようにすれば、生き物が水面下でリアルタイムに動いてように見える画像を表示できる。そして投影部４０、４２は、プレイフィールドの例えば上方に設置されている。これにより、水面や生き物を表示するための投影画像を、プレイフィールドの上方からプレイフィールドに対して投影できるようになる。

　２．本実施形態の手法
　２．１　アトラクションの概要
　まず本実施形態の手法により実現されるアトラクションの概要について説明する。本実施形態では、アトラクションの施設に、図１に示すようなプレイフィールド１０を設置する。このプレイフィールド１０は砂場となっており、子供が砂遊びを楽しめるようになっている。

　そして砂場であるプレイフィールド１０に対して、投影部４０、４２を用いたプロジェクションマッピングにより、図３（Ａ）に示すように海水や海の生き物などが表示される画像を投影する。子供は、擬似的な生き物を、手のひらですくい上げて捕獲する。そして生き物を捕獲した手を図３（Ｂ）に示すようなバケツ６０の場所に移動させると、捕獲した生き物が表示部６２に表示される。例えばバケツ６０の上部にはタブレットＰＣが設置されており、そのタブレットＰＣの表示部６２に、捕獲した生き物が表示される。

　なお、本実施形態の手法により実現されるアトラクションは、図１のようなアトラクションには限定されない。例えば砂場や海以外のフィールドを表現したアトラクションや、海の生き物の捕獲とは異なる遊びを実現するアトラクションなどにも適用できる。また本実施形態の手法は、図１のような大型のアトラクションのみならず、例えば装置内にプレイフィールドを設けた業務用ゲーム装置などにも適用可能である。

　本実施形態の手法により実現されるアトラクションによれば、親は、子供の安全等を心配することなく、わざわざ遠くの海まで出かけて遊ぶというような億劫さを感じることもない。そして本物の海辺ではしゃぎまわる楽しさを親子で一緒に体感できる。子供は、素早く逃げ回る海の小さな生き物を、捕まえられずに諦めたりすることなく、自分の手で捕まえることができる。また、貝殻を拾い、寄せたり引いたりする波と戯れるというような、本物の海辺ではしゃぎまわる楽しさを手軽に思う存分に体感できる。

　このために本実施形態のアトラクションでは、手軽に出かけられる屋内の砂場であるプレイフィールド１０を用意し、本物の南国のビーチを、波の音や鳥の鳴き声などの環境も模して、リアルに再現する。そして、寄せたり引いたりする浅いビーチの海面や波を、砂へのプロジェクションマッピングによって、まるで本物のように再現する。例えば、時には潮が満ちて全体が水面になったり、潮が引いて砂の干潟が現れたりする様子を再現する。また、子供の足が触れた水面には、水しぶきや波紋がインタラクティブに発生するようにする。水が引いて出現した干潟では、砂場の高さ情報を検知するセンサ部５０を利用して、窪んだ部分に水たまりが再現される。また子供が砂を掘れば、その場所が水たまりになる。そして、泳いだり砂の上を歩く海の生き物の画像が、まるで生きているかのように、投影システムにより投影され、子供は、これらの生き物を、手のひらですくい上げて捕まえるという遊びを楽しむことができる。

　すくい上げた手のひらに対しても、プロジェクションマッピングにより、海水と捕まえた生き物を、アニメーション表示する。そして子供は、捕まえた生き物を、バケツ６０の中に移して眺めることができる。また捕まえた生き物は、スマートフォンに移して持ち帰ることができる。即ち、捕まえた生き物を、バケツ６０の表示部６２やスマートフォンの表示部に表示することで、あたかも本当に生き物を捕まえたような感覚を子供に体感させる。この場合に、例えば自分に懐いた生き物は、再度、アトラクションの施設に訪れた時に、自分の周りに呼び寄せることができる。そして、自分に懐いた生き物が、自分の周りを回って泳いだり、後について来たりするといった、生き物とのコミュニケーション的な要素も実現する。

　このように本実施形態のアトラクションでは、砂場であるプレイフィールド１０にプロジェクションマッピングにより画像を投影し、子供が海の生き物を捕まえられるようにする。例えば、初めに「制限時間内に親子で協力して、いっぱい拾ってゲット！」などのアナウンスが行われる。そして、餌を模した光るボール等を投げると、魚が集まって来る。親は、ばしゃばしゃと地団太を踏んで魚を追い込み、追い込んだ魚を子供が捕獲する。また、波打ち際にさざ波が来る演出が行われ、波が引いたあとに、貝殻や魚がたくさん表示される。子供は、クマデやスコップを使って砂を掘り、砂の中に隠された宝物を探すことも可能である。

　また、アトラクションには大きなステージ変化がある。例えば通常状態において潮が満ちている時は、砂場の大部分が水面となり、魚がランダムに泳いでいる。

　その後、引き潮になり、砂場の水が引く。潮が引いている時は海底（砂）が現れて、窪んだ部分には大小の潮だまりが残る。その潮だまりの中には、潮が満ちている時にそこに居て、潮が引くことで取り残された魚が泳いでおり、子供が捕獲しやすくなっている。また、潮が満ちている時には居なかった、ヤドカリやカニやシャコなどの生き物が、砂の上に出現する。

　次に、大波が来るチャンスタイムとなる。例えば大きな波が来て、速い潮の流れが砂場の全面をさらって行く。また大きな魚が波に乗ってやって来たり、波に洗い流されたあとに出てきた砂底に、宝石や珍しい貝殻などが出現する。

　２．２　対象物への投影画像の投影手法
　以上のようなアトラクション等を実現するために、本実施形態では、センサ部５０の検出情報に基づいて第１、第２の対象物の少なくとも一方の位置情報を取得する。そして、取得された位置情報に基づいて、第１、第２の対象物が所与の関係になったか否かを判断する。そして所与の関係になったと判断された場合には、第１の対象物に投影される第１の投影画像と、第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる。例えば第１の対象物に対応する第１の投影面と第２の対象物に対応する第２の投影面が所与の関係になった場合に、第１の投影面に投影される第１の投影画像、或いは第２の投影面に第２の投影画像の内容を変化させる。

　具体的には図４に示すように、仮想的な海岸の仮想海面１２や魚１４、１５を表現するための投影画像が、プレイフィールド１０に投影される。そして、プロジェクションマッピングにより表現された仮想海面１２（広義には仮想面）の下方に、ユーザ（子供等）が手２０を入れると、魚１４、１５が寄って来る。この場合に、例えばユーザがマーカ付きの餌アイテムを手２０に乗せて、仮想海面１２の下に手２０を入れた場合に、その餌アイテムに向かって魚１４、１５が寄って来るようにしてもよい。

　そして、このように魚が寄った状態で、ユーザが、仮想海面１２の高さ以上（所定閾値以上）に、手２０を持ち上げたとする。すると、手２０（又は餌アイテム）から所定範囲内に居た魚は「捕獲」と判定され、それ以外の魚は「逃げた」と判定される。そして捕獲と判定された魚については、ユーザの手２０（広義には第２の対象物）にその画像を投影する。一方、逃げたと判定された魚については、その魚が海中に逃げるように見える画像をプレイフィールド１０（広義には第１の対象物）に投影する。ここで、捕獲の判定に使用する所定範囲は、例えば手の色をしている範囲のうち、真ん中辺りが有効範囲というように、色情報を判定材料として設定してもよい。

　ユーザが魚を捕獲した後、バケツ６０の場所（例えば画像マーカ等により認識することができる場所）にユーザの手２０が近づき、バケツ６０（広義には第３の対象物）と手２０（第２の対象物）が所与の位置関係になった場合に、バケツ６０への魚の移動の判定が成立する。この判定は、例えばバケツ６０の位置に設定された所与の範囲と手２０の位置に設定された所与の範囲の交差判定を行うことなどで実現できる。そして、魚がバケツ６０に移動した判定されると、バケツ６０（バケツアイテム）の表示部６２（タブレットＰＣのディスプレイ）に、その魚の画像が表示される。これにより、捕獲した魚があたかもバケツ６０に移動したかのように見えるようにすることができる。

　次に、本実施形態の手法を実現する具体的な処理例について更に説明する。なお、以下では、第１の対象物がプレイフィールド１０であり、第２の対象物がユーザの手である場合を主に例にとり説明するが、本実施形態はこれに限定されない。第１の対象物はプレイフィールド１０以外の物であってもよいし、第２の対象物は、例えばユーザの手以外の部位であってもよいし、ユーザの把持物（容器等）であってもよい。

　例えば図４のセンサ部５０は、カラー画像（ＲＧＢ画像）を撮像する通常のカメラ５２（撮像部）と、デプス情報を検知するデプスセンサ５４（測距センサ）を有する。デプスセンサ５４は、例えば投光した赤外線が対象物から反射して戻ってくる時間からデプス情報を得るＴＯＦ（Time Of Flight）方式を採用できる。この場合にはデプスセンサ５４は、例えばパルス変調された赤外線を投光する赤外線プロジェクタと、対象物から反射して戻って来た赤外線を検知する赤外線カメラにより実現できる。或いは、投光した赤外線パターンを読み取り、パターンの歪みからデプス情報を得るライト・コーディング方式を採用してもよい。この場合にはデプスセンサ５４は、赤外線パターンを投光する赤外線プロジェクタと、投光されたパターンを読み取る赤外線カメラにより実現できる。

　本実施形態では、このセンサ部５０（デプスセンサ５４）を用いて、プレイフィールド１０等の高さ情報を検出する。具体的には図５に示すように、各分割領域（例えば１ｃｍ×１ｃｍの領域）での高さ情報ｈ１１、ｈ１２、ｈ１３・・・を、高さ情報マップ（デプス情報マップ）として、センサ部５０からの検出情報（デプス情報）に基づいて取得する。取得された高さ情報は、高さ情報マップとして図２の高さ情報記憶部１５６に記憶される。

　例えば図４において、センサ部５０から見た平面視における平面を、Ｘ軸、Ｙ軸により規定されるＸＹ平面として、ＸＹ平面に直交する軸をＺ軸とする。ＸＹ平面はプレイフィールド１０に対応する第１の投影面（実際は凹凸があるが、その平均値としての平面）に平行な平面である。Ｚ軸は、センサ部５０（デプスセンサ５４）の向く方向に沿った軸である。この場合に、図５の高さ情報は、Ｚ軸方向での高さ情報（デプス情報）である。例えばプレイフィールド１０（第１の投影面、第１の対象物）の位置を基準としたＺ軸方向での高さ情報である。図４では、このＺ軸方向は、プレイフィールド１０から、その上方に設けられたセンサ部５０へと向かう方向（図面で上方向）になっている。そして図５の高さ情報マップでは、ＸＹ平面での各分割領域での高さ情報ｈ１１、ｈ１２、ｈ１３・・・が記憶されている。

　なお、センサ部５０のデプスセンサ５４により検出されたデプス情報が、デプスセンサ５４の位置から各点（各分割領域）への直線的な距離情報である場合には、この距離情報を、上述したようなＺ軸方向での高さ情報に変換する処理を行うことで、図５の高さ情報マップを得ることができる。

　そして、図４のようにプレイフィールド１０の上方に手２０が位置する場合には、図５の高さ情報マップにおいて手２０の位置に対応する分割領域には、手２０（広義には第２の対象物）の高さ情報が記憶されることになる。従って、図５の高さ情報マップを用いることで、プレイフィールド１０の各場所での高さ情報のみならず、手２０の高さ情報も取得できる。

　そして本実施形態では、この高さ情報（デプス情報）に基づいて、プレイフィールド１０等への投影画像を生成して投影する。例えば海水や海の生き物が表示される投影画像を生成してプレイフィールド１０等に投影する。これにより、例えば前述のように、砂の窪んだ部分だけに海水や海の生き物の画像を投影することなどが可能になる。例えばユーザが砂を掘ると、その場所が水たまりになり、図４に示すように、その水たまりで魚１４、１５が泳ぐような画像を生成できる。

　なお、投影画像の生成の際には、通常の３次元画像（疑似３次元画像）の生成処理と同様の処理を行う。例えばオブジェクト空間において、魚１４、１５に対応するオブジェクトを配置設定する処理を行う。またプレイフィールド１０の投影面から所与の高さに仮想海面１２を設定して、その仮想海面１２に海面の画像が表示されるように、オブジェクト空間の配置設定処理を行う。そしてオブジェクト空間において所与の視点から見える画像を投影画像として生成する。なお、「所与の視点」とは、その領域に注目しているユーザの視点をなるべく再現するように設定することが望ましいが、ユーザが多人数の場合にはそれが難しいため、最も代表的な視点として、真上からの平行投象での描画となるように設定してもよい。

　このようにすれば、擬似的な仮想海面１２を、あたかも実在する海面のようにユーザに認識させて、各種の処理を実行できるようになる。例えば、仮想海面１２の位置に海面の画像が表示され、その下で魚１４、１５が泳いでいるように見える擬似的な３次元画像を、投影画像として生成できるようになる。

　また本実施形態では、センサ部５０（デプスセンサ５４）からの検出情報（デプス情報）に基づいて、手２０の高さ情報（Ｚ軸方向での高さ）も検出できる。即ち、前述のように、図５の高さ情報マップでは、手２０の位置（ＸＹ平面での位置）に対応する分割領域には、手２０の高さ情報が格納される。この場合の手２０の位置は、例えば手２０の色（他の領域よりも肌色に近い色）の領域を、センサ部５０のカメラ５２で撮像されたカラー画像から検出することなどにより特定できる。或いは、後述するように手２０の位置に設定されたマーカの認識処理により特定してもよい。

　次に、手２０の高さが、仮想海面１２（仮想面）の高さ（Ｚ軸方向での高さ）よりも低くなったか否かを判断する。そして手２０の高さが仮想海面１２よりも低くなった場合には、手２０が水中にあると判断して、手２０のひらにも海水画像を投影する。また手２０が水中にある場合には、魚１４、１５が手２０の方に移動するような画像を生成する。

　次に、手２０のひらに魚が居る状態で、ユーザが手２０を仮想海面１２よりも高い位置に引き上げた場合に、魚の捕獲判定が行われる。即ち、手２０が水中の外に出たと判断された時に、魚が捕獲された否かの捕獲判定が行われる。具体的には、その時の手２０の位置（ＸＹ平面での位置）を中心とした所定範囲の領域（ＸＹ平面での領域）の中に居た魚は、捕獲されたと判定される。一方、所定範囲の領域の外に居た魚は、捕獲できずに逃げられたと判定する。

　例えば図６（Ａ）では、魚１４が捕獲されたと判定されている。この場合には、手２０が水中から出たと判断された後にも、手２０のひらには、魚１４や海水の画像が投影される。これにより、あたかも自分の手２０で魚１４を実際に捕獲したかのような仮想現実感をユーザに与えることが可能になる。

　この場合に、ユーザが移動したり、手２０だけを動かしたりして、手２０の位置が移動した場合にも、手２０の移動に魚１４が追従して移動する画像を生成する。こうすることで、手２０が水中から出て移動した場合にも、手２０に魚１４が乗ったままとなる画像を生成できるようになる。なお、例えば手２０の位置が上方に移動した場合に、図１の投影部４０（４２）と手２０との距離が縮まるため、そのままでは上方に移動するにつれて魚１４の大きさが小さく見えてしまう。

　例えば図１３において、Ｂ１は持ち上げる前の手２０の範囲を示し、Ｂ２は持ち上げた後の手２０の範囲を示している。またＣ１は手２０を持ち上げる前の魚１４の位置及び大きさを示し、Ｃ２は手２０を持ち上げた後の魚１４の位置及び大きさを示している。Ｃ１、Ｃ２に示すように、手２０が上方に移動するにつれて、魚１４の大きさが小さく見えてしまう。これを補正するために、高さに応じて魚１４のサイズを拡大・縮小する処理を行ってもよい。例えばＣ３は、補正処理（拡大・縮小及び後述する位置調整）を行った場合の魚１４の位置及び大きさを示すものであり、Ｃ２に対して魚１４の画像（映像）を拡大する処理が行われている。

　また、同じく図１３に示すように、手２０の位置が投影部４０（４２）の真下でない状況で手２０が鉛直上方に移動した場合に、Ｃ１、Ｃ２に示すように魚１４の画像（映像）が手２０の位置から投影部４０（４２）の側にずれていくように見える現象が起きる。それを補正するため、高さを考慮した計算により、Ｃ３に示すように、魚１４の画像が手２０との位置関係を保ったまま映るような位置調整の処理を行ってもよい。

　このように図１３では、手２０等の第２の対象物の高さ情報等の位置情報（投影部４０、４２と第２の対象物との位置関係）に基づいて、第２の対象物に投影される魚１４等の表示物の表示位置の調整処理及びサイズの調整処理の少なくとも一方を行っている。こうすることで、プレイフィールド１０（ゲームフィールド）等の第１の対象物と手２０等の第２の対象物とが所与の関係になったと判断された場合に、第１の対象物への投影対象である魚１４等の表示物が、手２０等の第２の対象物に追従して投影される第２の投影画像の適正な生成処理を実現できる。

　図６（Ｂ）では、Ａ１に示す場所において手２０が水中から出ており、魚１５、１６は、捕獲できずに逃げたと判定されている。即ち、手２０を水中から出した際に、魚１５、１６は、手２０の位置を中心とした所定範囲の領域の外に居たため、捕獲できなかったと判定されている。この場合には、捕獲できなかった魚１５、１６が、例えばＡ１の場所から外側に泳いで逃げるような投影画像を生成して、プレイフィールド１０に投影する。こうすることで、魚１５、１６の捕獲に失敗したことをユーザに視覚的に認識させることができる。なお、手２０が水中から出たＡ１の場所の周囲においては、例えば波紋が広がるような画像を生成する。

　一方、図６（Ａ）のように魚１４が捕獲された状態で、ユーザが図１のバケツ６０の場所に手２０を移動させたとする。即ち、ユーザの手２０（第２の対象物）がバケツ６０（第３の対象物）の場所に近づき、所与の位置関係になったとする。すると、捕獲された魚１４がバケツ６０にリリースされたと判定される。そして図３（Ｂ）に示すように、捕獲された魚１４をバケツ６０の表示部６２に表示する処理が行われる。これにより、実際に魚１４を捕獲してバケツ６０に移すというような仮想現実感をユーザに与えることができる。

　以上のように本実施形態によれば、センサ部５０の検出情報（デプス情報）に基づいて、プレイフィールド１０（第１の対象物）や手２０（第２の対象物）の位置情報が取得される。具体的には図４、図５で説明したように位置情報として、プレイフィールド１０の高さ情報（各分割領域での高さ情報）や手２０の高さ情報が取得される。なおプレイフィールド１０の高さ情報が、予めテーブル情報として記憶部１５０に記憶される場合には、手２０の高さ情報（広義には位置情報）だけを取得すればよい。

　そして取得された位置情報に基づいて、プレイフィールド１０と手２０が所与の関係になったかを判断する。具体的には、センサ部５０の検出情報に基づいて、プレイフィールド１０と手２０の相対的な位置関係を求めることで、所与の関係になったかが判断される。この相対的な位置関係は、図４、図５で説明したようにプレイフィールド１０（第１の対象物）に対する手２０（第２の対象物）の高さについての関係などである。

　そしてプレイフィールド１０と手２０が所与の関係になったと判断されると、プレイフィールド１０への第１の投影画像及び手２０への第２の投影画像の少なくとも一方の内容を変化させる処理が行われる。

　例えば図４のように、プレイフィールド１０と手２０の高さ情報（広義には位置情報）に基づいて、手２０が水中に入ったと判断されると、海水の画像が手２０に投影されるようになり、手２０への第２の投影画像の内容が変化する。また魚１４、１５が手２０の方に寄って来る画像が生成されるようになり、プレイフィールド１０への第１の投影画像の内容が変化する。

　またプレイフィールド１０と手２０の高さ情報に基づいて、手２０が水中から出たと判断されると、図６（Ａ）に示すように捕獲した魚１４や海水の画像が手２０のひらに投影されるようになり、手２０への第２の投影画像の内容が変化する。また図６（Ｂ）に示すように捕獲に失敗した魚１４、１５がＡ１の場所から逃げる画像が生成されるようになり、プレイフィールド１０への第１の投影画像の内容が変化する。

　以上のように本実施形態によれば、投影画像を単に対象物に投影するだけのシステムとは異なり、プレイフィールド１０や手２０などの対象物の位置情報等を反映させた投影画像を、当該対象物に投影できる。例えば複数の対象物間を映像が移動できるように、対象物間の相対的な位置関係を活用している。従って、プレイフィールド１０や手２０などの対象物の位置関係が変化すると、これに応じて、これらの対象物に投影される投影画像も変化するようになる。従って、ユーザの動きに応じて、その動きを反映した投影画像が対象物に投影されるようになり、これまでのシステムでは実現できなかったインタラクティブ性の高い投影システムの実現が可能になる。そして、アトラクション等に本実施形態の投影システムを適用することで、面白味があって、長時間に亘ってプレイしても飽きが来ないアトラクション等の実現が可能になる。

　また本実施形態では、図４に示すように、プレイフィールド１０（第１の対象物）に対して所与の位置に設定された仮想海面１２（仮想面）と、手２０（第２の対象物）との位置関係を求めて、プレイフィールド１０と手２０が所与の関係になったか否かを判断する。例えば、手２０の高さが仮想海面１２よりも低くなったと判断されると、手２０が水中に入ったと判断して、手２０に海水画像を投影したり、手２０に魚１４、１５が寄って来る画像を生成する。一方、手２０が水中に入った後に、手２０の高さが仮想海面１２よりも高くなったと判断されると、手２０が水中から出たと判断して、捕獲した魚１４が手２０のひらに投影される画像を生成したり、捕獲に失敗した魚１５、１６が逃げる画像を生成する。

　このように、第１の対象物であるプレイフィールド１０自体ではなく、プレイフィールド１０に設定された仮想海面１２を用いて、第２の対象物である手２０との位置関係の判定処理を行うことで、水の中で生き物を捕獲する処理などを、簡素な処理で実現できるようになる。

　また本実施形態において第１、第２の投影画像の内容を変化させる処理は、例えば第１の投影画像と第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、或いは表示物の画像を変更する処理である。

　例えば図６（Ａ）では、手２０の第２の投影画像において、表示物である魚１４を出現させる処理が行われている。この時、プレイフィールド１０の第１の投影画像においては、魚１４を消滅させる処理が行われている。

　また図６（Ｂ）では、プレイフィールド１０の第１の投影画像において、表示物である魚１５、１６の画像を、Ａ１の場所から逃げる画像に変更する処理が行われている。また図４においても、手２０が水中に入ったと判断されると、魚１４、１５の画像を、手２０の方に近寄って来る画像に変更する処理が行われている。

　また図６（Ａ）において、魚１４をすくい上げて捕獲に成功した場合に、魚１４がキラリと光るように、表示物である魚１４の画像の変更処理を行ってもよい。また、捕獲した魚１４をバケツ６０の場所に持って行くと、手２０のひらの魚１４が例えば飛び跳ねたかのように感じさせるアニメーション表示が行われるように、魚１４の画像の変更処理を行ってもよい。そして、魚１４は飛び跳ねた後、手２０のひらから消え、バケツ６０の表示部６２に表示されるようになる。

　このようにすれば、あたかもプレイフィールド１０と手２０が所与の関係（位置関係）になったことで、魚１４が出現したり、消滅したり、その画像が変更されたかのように、ユーザに感じさせることができ、投影システムにおけるインタラクティブ性を向上できる。

　また本実施形態では、プレイフィールド１０と手２０が所与の関係になったと判断された場合に、プレイフィールド１０（第１の対象物）への投影対象である魚１４が、図６（Ａ）に示すように、手２０（第２の対象物）に投影されるように、第２の投影画像の生成処理が行われる。即ち、本来はプレイフィールド１０への投影対象とされている魚１４の表示物が、手２０にも投影されるようになる。これにより、これまでにない投影画像の表現が可能になる。

　具体的には本実施形態では、プレイフィールド１０と手２０が所与の関係になったと判断された場合に、プレイフィールド１０への投影対象である魚１４が、手２０により捕獲されたと判定する。そして捕獲されたと判定された魚１４が手２０に投影されるように、第２の投影画像の生成処理が行われる。即ち、手２０が水中に入った後、仮想海面１２よりも上に出たと判断されると、手２０を中心とした所定範囲の領域内に居る魚１４が、捕獲されたと判断される。そして図６（Ａ）に示すように、捕獲された魚１４が手２０に投影される第２の投影画像が生成される。こうすることで、プレイフィールド１０で泳ぐ魚１４等を、手２０によって実際に捕獲したかのように感じることができる仮想現実感を、ユーザに与えることができる。

　この場合に、図６（Ｂ）に示すように、捕獲されなかったと判定された魚１５、１６の表示物については、プレイフィールド１０に投影されるように、第１の投影画像の生成処理を行う。このようにすることで、ユーザは、捕獲した魚１４のみならず、捕獲に失敗して逃げた魚１５、１６についても、その泳ぐ姿を、プレイフィールド１０の第１の投影画像を見て視覚的に認識できるようになり、ユーザの仮想現実感を更に向上できる。

　また本実施形態では、手２０（第２の対象物）とバケツ６０（第３の対象物）とが所与の関係になったと判断された場合に、捕獲されたと判定された魚１４の表示物を、バケツ６０の場所に表示するための処理を行う。例えば図６（Ａ）に示すようにユーザが魚１４を捕獲した後、その手２０を図１のバケツ６０の場所に持って行くと、捕獲した魚１４がバケツ６０にリリースされたと判断される。そして捕獲した魚１４をバケツ６０の表示部６２に表示する処理が行われる。この際、手２０に投影されていた魚１４については第２の投影画像から消滅させる処理も行われる。このようにすることで、ユーザは捕獲した魚をバケツ６０に移してストックすることが可能になり、実際の魚とりのような仮想現実感をユーザに与えることが可能になる。そして、例えばアトラクションのプレイの終了時に、バケツ６０にストックされた魚の画像を、ユーザのスマートフォン等の携帯型情報端末に表示することで、ユーザは捕獲した魚を家に持ち帰ることが可能になる。これにより、これまでのシステムでは実現できないような魚とり等のアトラクションを実現することが可能になる。

　２．３　マーカの設定
　以上では、第２の対象物の高さ情報等を検出して本実施形態の手法を実現する場合について説明したが、本実施形態はこれに限定されない。例えばセンサ部５０からの検出情報に基づいて、第２の対象物に設定されたマーカの認識処理を行い、認識処理の結果に基づいて、第２の対象物の位置情報を取得し、取得された位置情報に基づいて、第１の対象物と第２の対象物とが所与の関係になったかを判断してもよい。

　例えば図７（Ａ）では、ユーザの手２０により、第２の対象物である容器２２（広義には把持物）が把持されている。そして第２の対象物である容器２２に対してマーカ２４が設定されている。ここでは容器２２は、半球状の椰子の実を模したものとなっており、その円状の縁部分に対して、黒色のマーカ２４が設定されている。この黒い円状のマーカ２４を、図４のセンサ部５０のカメラ５２により撮像し、得られた撮像画像に基づいてマーカ２４の認識処理を行う。

　具体的には、カメラ５２からの撮像画像に対して画像認識処理を行い、マーカ２４に対応する黒い円の画像を抽出する。そして、その黒い円の例えば中心位置を、第２の対象物である容器２２の位置として求める。即ち、図４で説明したＸＹ平面での容器２２の位置を求める。そして、求められた容器２２の位置（Ｘ、Ｙ）に対応する高さ情報（Ｚ）を、図５の高さ情報マップから取得する。つまり、センサ部５０のデプスセンサ５４からのデプス情報により求められた高さ情報マップを用いて、容器２２のＸＹ平面での位置に対応する高さ情報を求め、それを容器２２の高さとする。

　そして図４と同様に、第２の対象物である容器２２の高さが仮想海面１２よりも低くなったと判断されると、容器２２が水中に入ったと判断し、容器２２に対して海水の画像を投影する。また魚１４、１５が容器２２の方に寄って来る画像を生成する。その後に、容器２２の高さが仮想海面１２よりも高くなったと判断されると、容器２２が水中から出たと判断し、魚の捕獲判定を行う。そして魚が捕獲されたと判定された場合には、図６（Ａ）と同様に、捕獲に成功した魚１４が容器２２に投影される画像を生成する。また図６（Ｂ）と同様に、捕獲に失敗した魚１５、１６がＡ１の場所から逃げる画像を生成する。

　例えばセンサ部５０のカメラ５２の撮像画像から手２０の色（肌色に近い色）を検出して、手２０の位置を求める手法では、手２０の位置を安定的に且つ適切に検出するのが難しいという課題がある。また、図６（Ａ）のように魚１４が捕獲された場合に、手２０のシワや色の影響を受けてしまい、魚１４等の画像を手２０に対して鮮明に投影するのが困難であるという課題もある。

　この点、図７（Ａ）の手法では容器２２に設定されたマーカ２４の認識処理の結果に基づいて、容器２２の位置を検出している。従って、手２０の色等に基づいて手２０の位置を検出する手法に比べて、第２の対象物である容器２２の位置を安定的且つ適切に検出できるという利点がある。また、容器２２の投影面等を適宜に設定することで、捕獲した魚の画像や海水画像等を、鮮明な画像で容器２２の投影面に対して投影できるという利点もある。

　また図７（Ｂ）に示すように、マーカ２４のパターン認識を行い、パターン認識の結果に基づいて、ユーザの方に寄ってくる魚の種類を異ならせるなどの処理も可能になる。

　例えばマーカ２４のパターンが、図７（Ｂ）の左側のパターンである場合には、容器２２が水中に入ったと判断された場合に、当該パターンに対応づけられた魚１５が容器２２の方に寄って来るようにする。一方、マーカ２４のパターンが、図７（Ｂ）の右側のパターンである場合には、当該パターンに対応づけられた魚１６が容器２２の方に寄って来るようにする。

　具体的には、図８に示すように、各マーカパターンに魚の表示物ＩＤを対応づけたマーカパターン情報（テーブル）を用意する。このマーカパターン情報は図２のマーカパターン記憶部１５４に記憶される。そして、センサ部５０のカメラ５２からの撮像画像に対する画像認識処理により、図８のいずれのマーカパターンが検出されたかを判定する。そして、容器２２が水中に入ったと判断された場合に、検出されたマーカパターンに対応する魚を出現させて、容器２２の方に寄って来る画像を生成する。

　こうすることで、ユーザは、所持する容器２２のマーカ２４のパターンに応じて、異なった種類の魚を捕獲しやすくできるようになる。従って、長期に亘って遊んでも飽きが来にくいアトラクション等の実現が可能になる。

　なお、容器２２（把持物）への投影画像（第２の投影画像）の投影手法としては種々の手法を想定できる。例えば図９（Ａ）では、容器２２の半球状の内面に対して、投影部４０により投影画像を投影している。

　一方、図９（Ｂ）では、容器２２の上部に対して平面の投影面２１を設定する。そして、この平面の投影面２１に対して、投影部４０により投影画像を投影している。このようにすることで、例えば歪みの少ない投影画像を容器２２に対して投影することが容易になる。例えば図９（Ａ）では、歪みの少ない投影画像を投影するためには、容器２２の半球状の内面形状とプロジェクタの位置とユーザの視点位置を反映させた歪み補正を行う必要がある。例えば容器２２の半球状の内面形状を数式等で表し、この数式等を用いて歪み補正を行う。

　これに対して図９（Ｂ）の手法によれば、このような歪み補正を行わなくても、歪みの少ない投影画像を容器２２に対して投影できるという利点がある。また、ユーザが獲得した魚を、他のユーザや観察者に見せる場合には、複数の視点位置に対して適切な歪み補正を同時に行うことはできないが、容器自体の凹凸がより少ない図９（Ｂ）の方が、各視点から平等に見えるという利点もある。

　またマーカを用いる手法は図７（Ａ）、図７（Ｂ）等で説明した手法には限定されない。例えば、赤外線インクや再帰反射性素材等を用いて、プレーヤには見えない２次元コードを、容器２２の底面内側に印刷や塗布や接着等により配置しておき、これを赤外線カメラで撮影することとしてもよい。

　別の例としては、図１０では、複数の餌アイテム２６を用意する。各餌アイテム２６には例えば赤外線ＬＥＤマーカが設けられている。

　ユーザがこの餌アイテム２６を手２０のひらに乗せると、この赤外線ＬＥＤマーカの発光パターンを、センサ部５０のカメラ５２を用いて画像認識することで、餌アイテム２６（手２０）の位置が特定される。そして、餌アイテム２６に魚が近寄ってくる画像を生成する。また、例えば魚が餌アイテム２６をつつくアニメーションを表示し、この時に餌アイテム２６を振動させるようにする。即ち、餌アイテム２６に設けられた振動機構により餌アイテム２６が振動し、その振動がユーザの手２０に伝わる。

　そして魚のすくい上げに成功すると、手２０のひらに捕獲された魚がバタバタと跳ねて、その振動がユーザの手２０に伝わる。例えば餌アイテム２６を振動させることで、振動をユーザの手２０に伝える。これにより、あたかも本物の魚をすくい上げて捕獲したかのような仮想現実感を、ユーザに与えることができる。

　この場合に図１０に示すように複数の餌アイテム２６が用意され、各餌アイテム２６に応じて、寄って来る魚の種類が異なるようにする。例えば各餌アイテム２６の赤外線ＬＥＤマーカは、互いに異なる発光パターンで発光する。従って、この発光パターンの種類を画像認識により判別し、ユーザが餌アイテム２６を乗せた手を仮想海面１２（仮想水面）の下に入れた時に、発光パターンの種類に応じた魚が、餌アイテム２６に寄って来るようにする。こうすることで、ユーザごとに異なる魚が寄って来るようになり、遊びの楽しみやバリエーションを増すことができる。

　なお、各餌アイテム２６に対して可視光ＬＥＤではなく赤外光のＬＥＤマーカを用いる理由は、プロジェクタの光線は可視光であるので、その中に配置されたＬＥＤを判別するとき、可視光よりも赤外光のＬＥＤの方が容易なためである。判別が可能であれば、可視光ＬＥＤを用いてもよいし、マーカパターンが印刷された紙片等を用いたり、各餌アイテム２６に対してマーカパターンを直接印刷してもよい。

　また、各餌アイテム２６に対して赤外線ＬＥＤマーカの代わりに、ＮＦＣ（近距離無線通信）のチップを内蔵してもよい。そして、このＮＦＣのチップが出力する通信信号をマーカとして、餌アイテム２６に魚が寄って来るようにしてもよい。

　また本実施形態では、図１１に示すように、容器２２や餌アイテム２６に設けられるマーカに基づいて、第２の投影画像が投影される第２の投影領域ＲＧ２を求め、第２の投影領域ＲＧ２に投影される第２の投影画像ＩＭ２の生成処理を行ってもよい。

　例えば図１１では、画像が描画されるＶＲＡＭにおいて、第１の投影領域ＲＧ１には、プレイフィールド１０等の第１の対象物に投影される第１の投影画像が描画される。一方、第２の投影領域ＲＧ２には、容器２２や手２０等の第２の対象物に投影される第２の投影画像が描画される。このＶＲＡＭ上の画像が、図１の投影部４０、４２により分担されて、プレイフィールド１０及び容器２２又は手２０に投影される。

　具体的にはマーカ２４の認識結果に基づいて、ＶＲＡＭ上での第２の投影領域ＲＧ２の場所（アドレス）を特定し、特定された第２の投影領域ＲＧ２に対して、容器２２や手２０等の第２の対象物に投影される第２の投影画像ＩＭ２を描画する。そして例えば図６（Ａ）に示すように魚１４が捕獲されたと判断された場合には、図１１に示すように、捕獲に成功した魚１４が出現してキラリと光るような第２の投影画像ＩＭ２を生成して、第２の投影領域ＲＧ２に描画する。また図６（Ｂ）に示すように、捕獲に失敗した魚１５、１６が手２０が出たＡ１の場所から逃げて行くような第１の投影画像ＩＭ１を生成して、第１の投影領域ＲＧ１に描画する。

　また魚１４を捕獲したユーザが、容器２２や手２０を移動させると、それに応じて第２の投影領域ＲＧ２の位置も変化させる。そして、バケツ６０の場所に容器２２や手２０が移動し、魚１４がバケツ６０にリリースされたと判定されると、リリースされた魚１４が消滅するような第２の投影画像ＩＭ２を生成して、第２の投影領域ＲＧ２に描画する。

　このように図１１に示すような描画処理を行う、第１、第２の投影画像ＩＭ１、ＩＭ２の内容を変化させる処理を、簡素な描画処理で実現することが可能になる。

　なお、以上ではプレイフィールド１０が、その投影面が水平面（地面）に平行に近い状態になるような砂場等のフィールドである場合について説明したが、本実施形態はこれに限定されない。例えば図１２に示すように、その投影面が水平面に直交（交差）するようなプレイフィールド１０であってもよい。このプレイフィールド１０は滝を模しており、ユーザは、例えばマーカが設けられた手網等を持って魚１４を捕獲する。プレイフィールド１０の横側には投影部４０、センサ部５０が設けられ、投影部４０が、滝の画像をプレイフィールド１０に投影する。そしてセンサ部５０が、水平面に沿った方向での高さ情報等を検出することで、ユーザが持つ手網が仮想水面に入ったか否かや、魚１４を捕獲したか否か等を判定する。また手網が入った水面部分には例えば水しぶきを上げるなどの演出処理も行う。

　３．詳細な処理
　次に本実施形態の詳細な処理例について図１４のフローチャートを用いて説明する。

　まずセンサ部５０の検出情報に基づいて、図４、図５で説明したようにプレイフィールド１０の高さ情報を取得する（ステップＳ１）。そして、取得された高さ情報に基づいて、プレイフィールド１０に海水画像を投影する（ステップＳ２）。例えば、プレイフィールド１０の砂場の窪んだ部分に海水の水たまりが出来るように、海水画像を投影する。

　次に手又は容器に設定されたマーカをセンサ部５０により画像認識し、マーカの高さ情報を手又は容器の高さ情報として取得する（ステップＳ３、Ｓ４）。例えばセンサ部５０のカメラ５２の撮像画像を用いた画像認識により、マーカの位置（ＸＹ平面）を求め、マーカの位置に基づいて図５の高さ情報マップからマーカの高さ情報を取得する。

　次に手又は容器の高さが仮想海面の高さよりも低くなったか否かを判断する（ステップＳ５）。そして、低くなった場合には手又は容器に海水画像を投影する（ステップＳ６）。

　図１５は魚の捕獲判定等の詳細な処理例を示すフローチャートである。

　まず、図４で説明したように、手又は容器が仮想海面の下に入った後、仮想海面よりも高く引き上げられたか否かを判断する（ステップＳ１１）。そして仮想海面よりも高く引き上げられた場合には、その時の手又は容器の位置から所定範囲の領域に居た魚を、捕獲された魚と判定し、その他を逃げた魚と判定する（ステップＳ１２）。そして捕獲された魚の画像を、手又は容器の投影画像に表示し、逃げた魚をプレイフィールド１０の投影画像に表示する処理を行う（ステップＳ１３）。例えば図１１の第２の投影領域ＲＧ２への第２の投影画像ＩＭ２として、捕獲した魚１４が表示される画像を生成し、第１の投影領域ＲＧ１への第１の投影画像ＩＭ１として、逃げた魚１５、１６、１７が表示される画像を生成する。

　図１６は魚のリリース判定等の詳細な処理例を示すフローチャートである。

　まず、魚を捕獲した手又は容器の位置とバケツの位置をセンサ部５０により検知する（ステップＳ２１）。そして、手又は容器の位置とバケツの位置が所与の位置関係になったか否かを判断する（ステップＳ２２）。例えば手又は容器の位置がバケツの配置場所と重なったか否かを判断する。そして所与の位置関係になった場合には、捕獲された魚がバケツにリリースされたと判断して、当該魚の画像をバケツの表示部に表示する（ステップＳ２３）。

　なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の対象物、第２の対象物、仮想面等）と共に記載された用語（プレイフィールド、手・容器・把持物、仮想海面等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また投影画像の投影手法、第１、第２の対象物の関係についての判定手法、投影画像の生成手法、捕獲判定手法、リリース判定手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明の手法は種々のアトラクションやゲーム装置に適用できる。

１０　プレイフィールド、１２　仮想海面（仮想面）、１４、１５、１６、１７　魚、
２０　手、２１　投影面、２２　容器、２４　マーカ、２６　餌アイテム、
ＲＧ１、ＲＧ２　第１、第２の投影領域、ＩＭ１、
ＩＭ２　第１、第２の投影画像、
４０、４２　投影部、５０　センサ部、５２　カメラ、５４　デプスセンサ、
６０　バケツ、６２　表示部、９０　処理装置、
１００　処理部、１０２　位置情報取得部、１０４　マーカ認識部、
１０６　位置関係判定部、１０８　捕獲判定部、１０９　リリース判定部、
１１０　画像生成処理部、１１２　歪み補正部、１２０　Ｉ／Ｆ部、
１５０　記憶部、１５２　表示物情報記憶部、１５４　マーカパターン記憶部、
１５６　高さ情報記憶部

Claims

　投影画像を投影する投影部と、
　センサ部の検出情報に基づいて第１、第２の対象物の少なくとも一方の位置情報を取得し、前記投影画像の生成処理を行う処理部と、
　を含み、
　前記処理部は、
　取得された前記位置情報に基づいて、前記第１の対象物と前記第２の対象物とが所与の関係になったと判断された場合に、前記第１の対象物に投影される第１の投影画像と、前記第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理を行うことを特徴とする投影システム。
　請求項１において、
　前記処理部は、
　前記第１の対象物に対して所与の位置に設定された仮想面と、前記第２の対象物との位置関係を求めて、前記第１の対象物と前記第２の対象物とが前記所与の関係になったか否かを判断することを特徴とする投影システム。
　請求項１又は２において、
　前記処理部は、
　前記第１の対象物と前記第２の対象物とが前記所与の関係になったと判断された場合に、前記第１の対象物に投影される前記第１の投影画像と、前記第２の対象物に投影される前記第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、及び表示物の画像を変更する処理の少なくとも１つの処理を行うことを特徴とする投影システム。
　請求項１乃至３のいずれかにおいて、
　前記処理部は、
　前記第１の対象物と前記第２の対象物とが前記所与の関係になったと判断された場合に、前記第１の対象物への投影対象である表示物が、前記第２の対象物に投影されるように、前記第２の投影画像の生成処理を行うことを特徴とする投影システム。
　請求項４において、
　前記処理部は、
　前記第２の対象物に投影される前記表示物と、前記第２の対象物との関係に基づいて、前記表示物の表示制御を行うことを特徴とする投影システム。
　請求項４又は５において、
　前記処理部は、
　前記第１の対象物と前記第２の対象物とが前記所与の関係になった場合に、処理規則に基づく演算処理を行い、前記演算処理の結果、前記第２の対象物に投影されると判断された前記表示物が、前記第２の対象物に投影されるように、前記表示物の表示制御を行うことを特徴とする投影システム。
　請求項４乃至６のいずれかにおいて、
　前記処理部は、
　前記第１の対象物と前記第２の対象物との関係が前記所与の関係から変化した場合に、前記第１の対象物と前記第２の対象物の前記関係の変化に応じた前記表示物の表示制御を行うことを特徴とする投影システム。
　請求項７において、
　前記処理部は、
　前記第１の対象物と前記第２の対象物の前記関係が変化した場合に、処理規則に基づく演算処理を行い、前記演算処理の結果、前記第２の対象物に投影されると判断された前記表示物が、前記第２の対象物に投影されるように、前記表示物の表示制御を行うことを特徴とする投影システム。
　請求項７又は８において、
　前記処理部は、
　前記第１の対象物と前記第２の対象物の前記関係が変化した場合に、処理規則に基づく演算処理を行い、前記演算処理の結果、前記第２の対象物に投影されないと判断された前記表示物が、前記第１の対象物に投影されるように、前記表示物の表示制御を行うことを特徴とする投影システム。
　請求項４乃至９のいずれかにおいて、
　前記処理部は、
　前記第２の対象物と第３の対象物とが所与の関係になったと判断された場合に、前記表示物を前記第３の対象物に表示するための処理を行うことを特徴とする投影システム。
　請求項１乃至１０のいずれかにおいて、
　前記処理部は、
　前記センサ部の検出情報に基づいて、前記第１の対象物と前記第２の対象物との相対的な位置関係を求めて、前記第１の対象物と前記第２の対象物とが前記所与の関係になったかを判断することを特徴とする投影システム。
　請求項１１において、
　前記相対的な位置関係は、前記第１の対象物に対する前記第２の対象物の高さについての関係であることを特徴とする投影システム。
　請求項１乃至１２のいずれかにおいて、
　前記処理部は、
　前記センサ部の検出情報に基づいて、前記第２の対象物に設定されたマーカの認識処理を行い、前記認識処理の結果に基づいて、前記第２の対象物の位置情報を取得し、取得された前記位置情報に基づいて、前記第１の対象物と前記第２の対象物とが前記所与の関係になったかを判断することを特徴とする投影システム。
　請求項１３において、
　前記処理部は、
　前記マーカに基づいて、前記第２の投影画像が投影される第２の投影領域を求め、前記第２の投影領域に投影される前記第２の投影画像の生成処理を行うことを特徴とする投影システム。
　請求項１乃至１４のいずれかにおいて、
　前記第２の対象物は、ユーザの部位又はユーザの把持物であることを特徴とする投影システム。
　第１の対象物であるプレイフィールドに対して投影画像を投影する投影部と、
　前記投影画像の生成処理を行う処理部と、
　を含み、
　前記処理部は、
　前記プレイフィールドに対して所与の位置に設定された仮想面に水面の画像を表示すると共に、生き物の画像を表示するための前記投影画像を生成し、
　前記投影部は、
　前記水面の画像と前記生き物の画像を表示するための前記投影画像を、前記プレイフィールドに対して投影し、
　前記処理部は、
　第２の対象物の位置情報に基づいて、前記第１の対象物である前記プレイフィールドに投影される第１の投影画像と、前記第２の対象物に投影される第２の投影画像の少なくとも一方の内容を変化させる処理を行うことを特徴とする投影システム。
　請求項１６において、
　前記処理部は、
　前記プレイフィールドに投影される前記第１の投影画像と、前記第２の対象物に投影される前記第２の投影画像の少なくとも一方の画像において、表示物を出現させる処理、表示物を消滅させる処理、及び表示物の画像を変更する処理の少なくとも１つの処理を行うことを特徴とする投影システム。
　請求項１６又は１７において、
　前記処理部は、
　前記第２の対象物に設定されたマーカの認識処理を行い、前記認識処理の結果に基づいて、前記第２の対象物の位置情報を取得し、取得された前記位置情報に基づいて、前記第１の投影画像及び前記第２の投影画像の少なくとも一方の内容を変化させる処理を行うことを特徴とする投影システム。
　請求項１６乃至１８のいずれかにおいて、
　前記第２の対象物は、ユーザの部位又はユーザの把持物であることを特徴とする投影システム。
　請求項１６乃至１９のいずれかにおいて、
　前記処理部は、
　前記第２の対象物の前記位置情報に基づいて、前記第１の対象物である前記プレイフィールドと前記第２の対象物とが所与の関係になったと判断された場合に、前記第１の投影画像と前記第２の投影画像の少なくとも一方の内容を変化させる処理を行うことを特徴とする投影システム。
　請求項１６乃至２０のいずれかにおいて、
　前記処理部は、
　センサ部の検出情報に基づいて、前記第２の対象物の前記位置情報を取得することを特徴とする投影システム。
　請求項１６乃至２１のいずれかにおいて、
　前記投影部は、
　前記水面の画像と前記生き物の画像を表示するための前記投影画像を、前記プレイフィールドに対してプロジェクションマッピングにより投影することを特徴とする投影システム。
　請求項２２において、
　前記プレイフィールドは砂場であることを特徴とする投影システム。
　請求項１６乃至２３のいずれかにおいて、
　前記処理部は、
　前記水面及び前記生き物がアニメーション表示される前記投影画像を生成することを特徴とする投影システム。
　請求項１６乃至２４のいずれかにおいて、
　前記投影部は、前記プレイフィールドの上方に設置されていることを特徴とする投影システム。