JP5704962B2 - 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

Description

本発明は、現実世界の空間に、情報、映像等を、重畳して発現させる情報処理システム，情報処理方法，情報処理装置，及び情報処理プログラムに関する。

実空間に何らかの情報を追加して提示することによって、現実世界を拡張することを拡張現実（ＡＲ：Augmented Reality）という。ＡＲの技術の一つとして、例えば、カード
に印刷された２次元バーコードを用いる技術が知られている。この技術は、２次元バーコードをカメラで撮像し、画像処理装置が撮像画像から該２次元バーコードを識別して、該２次元バーコードに対応付けられた３次元画像データを２次元バーコードの位置に重畳して表示装置に表示する（例えば、特許文献１）。

特開２０００−３２２６０２号公報

従来からの技術では、画像処理装置等単一の情報処理装置による処理が示されているが、複数の情報処理装置が情報を授受することにより、仮想空間に及ぼす効果についての配慮がなかった。

本発明は、撮像装置によって撮像される実空間に対応する仮想空間の状態の変化について、複数の情報処理装置間の整合性を向上させる情報処理システム，情報処理方法，情報処理装置，及び情報処理プログラムを提供することを目的とする。

本発明の態様の一つは、情報処理システムである。この情報処理システムは、複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムである。各情報処理装置は、実空間を撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、仮想空間設定手段によって設定された仮想空間の状態の変化が検出された場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信する送信手段とを備える。

仮想空間設定手段によって設定された仮想空間の状態の変化が検出された場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信することによって、他の情報処理装置は仮想空間の状態の変化を取得することができる。例えば、他の情報処理装置が仮想空間の状態の変化を検知していない場合には、仮想空間の状態の変化を検知することができる。例えば、他の情報処理装置が仮想空間の状態の変化を検知している場合には、該他の情報処理装置が検知した仮想空間の変化との整合性を確認することができる。したがって、本発明の情報処理システムによれば、仮想空間の状態の変化について、複数の情報処理装置間での整合性を向上させることができる。また、複数の情報処理装置のそれぞれのユーザに対して、実空間に対応する仮想空間の状態の矛盾のない変更を共有させるこ
とができ、それぞれのユーザに共通の楽しさや、一体感を与えることができる。

本発明の態様の一つである情報処理システムでは、各情報処理装置の送信手段は、仮想空間設定手段で設定された仮想空間の状態が、前回に設定された状態から変化したか否かを判定する状態変化判定手段を含み、状態変化判定手段によって仮想空間の状態が変化したと判定された場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信するようにしてもよい。これによって、仮想空間の設定が前回に設定された状態から変化した場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信することができ、仮想空間の状態の変化について、複数の情報処理装置間での整合性を向上させることができる。

本発明の態様の一つである情報処理システムでは、実空間内に存在し、位置と前記位置における姿勢を検出可能な形状を有するマーカーをさらに備える。さらに、各情報処理装置は、撮像処理手段によって生成された撮像画像内に含まれるマーカーの位置及び姿勢を検出する検出手段をさらに備え、仮想空間設定手段は、少なくとも検出手段で検出されたマーカーの位置及び姿勢に基づいて仮想空間を生成し、送信手段は、マーカーの位置又は姿勢が変化して前記仮想空間設定手段で設定されるによる仮想空間の状態の変化が検出された場合に、他の情報処理装置に前記仮想空間の状態の変化に関するデータを通知するようにしてもよい。マーカーの位置又は姿勢の変化による仮想空間内の状態の変化は、マーカーを撮像する情報処理装置であれば検知することができる。この場合には、仮想空間の状態の変更を検知した情報処理装置が仮想空間の状態の変更に関するデータを送信することで、相互に変更後の仮想空間の状態の整合性を確認することができる。また、マーカーを撮像していない情報処理装置においても、マーカーの移動による仮想空間内の状態の変化を検知した情報処理装置から仮想空間の状態の変更に関するデータを受信するので、マーカーの移動による仮想空間内の状態の変化を検知することができる。

本発明の態様の一つである情報処理システムでは、各情報処理装置の送信手段は、マーカーの位置又は姿勢が変化することにより、仮想空間設定手段で設定される仮想空間の状態の変化が検出された場合に、他の情報処理装置に当該マーカーの位置及び姿勢に関するデータを送信するようにしてもよい。これによって、マーカーの位置又は姿勢の変化によって仮想空間の状態が変化した場合に、マーカーの位置又は姿勢の変化の詳細を他の情報処理装置に送信することができる。

本発明の態様の一つである情報処理システムでは、各情報処理装置の仮想空間設定手段は、マーカーに対応する位置に、マーカーの姿勢に基づいて、撮像画像に所定のデータを重畳し、表示装置に表示させる表示処理手段を含むようにしてもよい。これによって、撮像画像にマーカーに対応する所定のデータを重畳させることができ、仮想空間をより興趣性の高いものにすることができる。

本発明の態様の一つである情報処理システムでは、各情報処置装置は、他の情報処理装置から送信される仮想空間の状態の変化に関するデータを受信する受信手段をさらに備え、仮想空間設定手段は、受信手段によって受信された変化に関するデータにも基づいて仮想空間を生成するようにしてもよい。これによって、自身が検知しない仮想空間内の状態の変化を検知し、自身が設定する仮想空間に反映することができる。これによって、仮想空間の状態の変化について、複数の情報処理装置間での整合性を向上させることができる。

本発明の態様の一つである情報処理システムでは、各情報処置装置は、他の情報処理装置からマーカーの位置及び姿勢に関するデータを受信する受信手段をさらに備え、表示処理手段は、受信手段によって受信されたマーカーの位置及び姿勢に関するデータに基づい
て、所定のデータの状態を変更して表示させるようにしてもよい。これによって、マーカーの位置及び姿勢に関するデータを受信した情報処理装置は、該データの送信元である情報処理装置の表示装置に表示される該所定のデータと整合のとれた状態で該所定のデータを表示することができる。

本発明の態様の一つである情報処理システムでは、各情報処理装置は、ユーザからの操作入力を受け付ける操作入力部をさらに備え、仮想空間設定手段は、操作入力にも基づいて仮想空間を生成するようにしてもよい。ユーザからの情報処理装置への操作入力による仮想空間の状態の変更は、該操作入力を受けた情報処理装置しか検出することができない。そのため、操作入力によって仮想空間の状態の変更を検知した情報処理装置が、他の情報処理装置に仮想空間の状態の変化を通知することによって、ユーザからの情報処理装置への操作入力による仮想空間の状態の変更を知り得ない情報処理装置も仮想空間の状態の変化を検知することができる。これによって、仮想空間の状態の変化について、複数の情報処理装置間での整合性を向上させることができる。

本発明の態様の一つである情報処理システムでは、各情報処理装置の送信手段は、仮想空間の状態の変化に関するデータを中継装置を介さずに他の情報処理装置に対して送信するようにしてもよい。これによって、例えば、数メートルの範囲内に存在する情報処理装置同士が直接通信することができる。また、サーバやアクセスポイントを介さないため、余計な手続き等が発生せず、気軽に情報処理装置間の通信を用いることができる。

更に、本発明は、方法，システム，情報処理装置又はプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的，磁気的，光学的，機械的，または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

例えば、本発明の態様の一つは、情報処理方法であって、複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムにおいて、各情報処理装置が、実空間を撮像装置によって逐次撮像して撮像画像を生成する撮像処理ステップと、撮像処理ステップによって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定ステップと、仮想空間生成ステップにおいて設定された仮想空間の状態の変化が検出された場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信する送信ステップとを実行する情報処理方法である。

また、例えば、本発明の態様の一つは、情報処理装置であって、実空間を撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、仮想空間生成手段によって設定された仮想空間の状態の変化が検出された場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信する送信手段とを備える。

また、例えば、本発明の態様の一つは、複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムにおいて、各情報処理装置のコンピュータにおいて実行される情報処理プログラムである。この情報処理プログラムは、コンピュータを、実空間を撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、
当該撮像対象物、又は外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、仮想空間設定手段によって設定された仮想空間の状態の変化が検出された場合に、他の情報処理装置に仮想空間の状態の変化に関するデータを送信する送信手段と、して機能させる情報処理プログラムである。

本発明によれば、撮像装置によって撮像される実空間に対応する仮想空間の状態の変化について、複数の情報処理装置間の整合性を向上させることができる。

ゲームシステムの構成例を示す図である。 ゲームシステムにおいて扱われるマーカー座標系（Ｘｍ，Ｙｍ，Ｚｍ）の例を示す図である。 ゲーム装置の外観図の例である。 ゲーム装置の内部構成の一例を示すブロック図である。 ゲーム装置が保持する情報の例を示す図である。 ゲーム装置の機能ブロック図の一例である。 ボード及びプレイヤーカードの仮想空間における初期状態を示す図である。 初期設定処理のフローチャートの例である。 第１のゲーム進行処理が行われた場合のボード２上の状態を示す図である。 第１のゲーム進行処理を定義する条件情報の例である。 第１のゲーム進行処理のフローチャートの例である。 第２のゲーム進行処理の一例を説明するための図である。 第２のゲーム進行処理の一例を説明するための図である。 第２のゲーム進行処理を定義する条件情報の例である。 第２のゲーム進行処理のフローチャートの例である。 変形例のゲームシステムの仮想空間の例を示す図である。 変形例における条件情報の例を示す図である。 変形例におけるゲーム進行処理のフローチャートの例である。 更新情報の受信処理の一例を説明するための図である。 情報整合処理が実行された後のゲーム装置１Ｂの画面表示を示す図である。 情報整合処理が実行された後のゲーム装置１Ａの画面表示を示す図である。 更新情報の受信処理の一例を説明するため 情報整合処理が実行された後の撮像範囲５０Ｂを撮像したゲーム装置１Ｂの画面表示を示す図である。 情報整合処理が実行された後の撮像範囲５０Ａを撮像したゲーム装置１Ａの画面表示を示す図である。 更新情報を受信した場合の情報整合処理のフローチャートの例である。

以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

＜第１実施形態＞
（ゲームシステムの概要）
図１は、ゲームシステムの構成例を示す図である。ゲームシステム１００には、撮像装置と表示装置とを備えるゲーム装置１，ボード２，及びプレイヤーカード３が含まれる。
ゲームシステム１００は、ボード２上でプレイヤーカード３が移動，追加，及び除去されることで進行するゲームを提供する。ゲームシステム１００が提供するゲームには、２次元又は３次元空間上で物を配置して進行するゲーム一般が含まれる。例えば、ゲームシステム１００が提供するゲームには、双六，将棋，チェス，囲碁等がある。

ゲーム装置１は、撮像装置で撮像した実空間に、実空間には存在しないオブジェクトを重畳して実空間を拡張し、表示装置に拡張された実空間を表示する。第１実施形態では、情報が重畳されて拡張される実空間を、仮想空間と定義する。ゲーム装置１は、実空間内の状況の変化を撮像すると、実空間内の変化に応じて仮想空間内の状況も変化させる。このようにして、ゲームシステム１００では、ゲーム装置１によって生成され、表示装置に表示される仮想空間内でゲームが進行する。

図１に示されるゲームシステム１００では、ゲーム装置１でボード２及びプレイヤーカード３を撮像すると、ゲーム装置１の画面上に、実空間には存在しないプレイヤーオブジェクト４やツリーオブジェクト５等が存在する仮想空間が表示される。ユーザが、ボード２上でプレイヤーカード３を操作（移動，追加，除去等）し、ゲーム装置１でボード上の変化を撮像すると、ゲーム装置１の画面上に表示されるプレイヤーオブジェクト４又はツリーオブジェクト５等のいずれかの状態が変化し、ゲームが進行する。実空間に存在しないが、ゲーム装置１の画面に表示される仮想空間内に存在するオブジェクトを、以降、仮想オブジェクトと称する。仮想オブジェクトは、ゲームのキャラクタ，アイテム，背景等の物体を示す３次元の画像データ又は動画像データである。また、仮想オブジェクトは、２次元の画像データ又は動画像データであってもよい。

ボード２は、プレイヤーカード３に配置領域を提供する配置領域提供物の一つであって、プレイヤーカード３の配置領域である複数のマスを有する。マスは、プレイヤーカード３の配置可能範囲を示す。配置領域提供物は、例えば、紙や布等のシートでもよいし、板等でもよく、地面でもよい。プレイヤーカード３は、ゲームシステム１００における部品の一つであり、配置領域提供部上で移動する配置物部品の一つであって、ゲームのプレイヤーの位置を示すためのカードである。配置物には、カードの他に、直方体，円柱、等様々な物を適用可能である。プレイヤーカード３は、ユーザによって、ボード２上の複数のマスのうちのいずれかに配される。

ボード２上の各マス及びプレイヤーカード３には、記号が印刷されている。この記号は、仮想オブジェクトと対応付けられている。これらの記号はそれぞれの記号に対応付けられた仮想オブジェクトの表示位置の基準を示す指標となる。以降、仮想オブジェクトの表示位置の基準を示す記号をマーカーと称する。なお、ボード２上の全てのマスにマーカーが印刷されていなくてもよい。

仮想オブジェクトは、ゲーム装置１の画面内において、対応付けられたマーカーに対して撮像画像内の所定位置に重畳表示される。また、仮想オブジェクトは、上下，前後，及び左右の複数の方向を有する。そのため、マーカーの形状は、複数の方向のうち、少なくとも一つの方向、例えば、前方方向（正面）を検出可能な記号，文字，図形，絵，及びそれらの組み合わせ等となる。言い換えると、複数の方向のうちの一つの方向も検出不可能な記号，文字，図形，絵及びそれらの組み合わせは、マーカーとして採用されない。例えば、円や長方形等の点対称図形は、マーカーとして採用されない形状である。また、マーカーの向きは、複数の方向のうちの少なくとも一つによって定義される。例えば、マーカーが前方方向を検出可能な形状である場合には、マーカーの向きは、マーカーの形状で検出される前方方向を基準として定義される。以降、第１実施形態では、マーカーはオブジェクトの前方を指示するものとする。ただし、マーカーの指示方向がオブジェクトの前方に限定されるわけではない。

なお、図１に示されるゲームシステム１００では、便宜上、ゲーム装置１及びプレイヤーカード３が各１つずつ示されているが、これに限られず、ゲーム装置１及びプレイヤーカード３は複数あってもよい。また、ボード２は、ゲームの種類ごとに用意されていてもよいし、複数のゲームで共通するボードが使用されてもよい。

図２は、ゲームシステム１００において扱われるマーカー座標系（Ｘｍ，Ｙｍ，Ｚｍ）の例を示す図である。マーカー座標系は、マーカー３（プレイヤーカード３上のマーカー、以降「マーカー３」と表記）の中心点を原点とし、互いに直交する３軸によって定義される直交座標系である。マーカー座標系のＸ軸とＹ軸とは、マーカー３が付されている平面上に定義され、Ｚ軸は該平面の垂直方向（上下方向）に定義される。また、マーカー３には前後および左右が定義されており、例えば、左右方向にＸ軸が定義され、前後方向にＹ軸が定義されている。このようにして、実空間に配置されたマーカー３を基準として仮想空間の座標系が定義されることにより、実空間と仮想空間とを対応付けることができる。

また、マーカー座標系は、各マーカー３に対して定義される。ただし、複数のマーカー３間で、１つのマーカー座標系を共有して用いることも可能である。なお、マーカー座標系の原点は、マーカー３の中心点でなくてもよい。例えば、マーカー３における何れかの特徴点を、マーカー座標系の原点として用いることが出来る。また、Ｘ軸、Ｙ軸、Ｚ軸の定義方法は、本実施形態において示される一例であり、Ｘ軸、Ｙ軸、Ｚ軸は、その他の基準に従って定義されてもよい。

ゲーム装置１は、外側左撮像部２３ａまたは外側右撮像部２３ｂ（以下、単に「外側撮像部２３」と称する）によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカー３を検出することができる。ゲーム装置１は、検出されたマーカー３に基づいて、当該マーカー３と外側撮像部２３との相対的な位置および姿勢を算出する。

第１実施形態において、仮想空間に配置される仮想オブジェクトは、当該仮想オブジェクトが対応づけられたマーカー３のマーカー座標系に配置される。仮想オブジェクトは、仮想空間に配置された仮想カメラによって撮像されることで描画（レンダリング）され、ゲーム装置１のディスプレイ２２に表示される。ここで、仮想カメラは、ユーザに視認させる仮想空間の画像を撮像するためのものである。仮想カメラのマーカー座標系における位置および姿勢は、実空間の外側撮像部２３の位置および姿勢と一致される。このため、マーカー３に基づいて仮想空間が定義され、当該仮想空間において、外側撮像部２３の位置や撮像方向を変化させると、上側ＬＣＤ２２に表示される仮想空間の画像も変化する。

（ゲーム装置の構成）
図３は、ゲーム装置１の外観図の例である。ゲーム装置１は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、ヒンジ構造により開閉可能（折り畳み可能）に連結されている。

下側ハウジング１１には、下側ＬＣＤ（Liquid Crystal Display：液晶表示装置）１２，タッチパネル１３，各操作ボタン１４Ａ〜１４Ｅ，アナログスティック１５，挿入口１１Ｄ、および挿入口１７が設けられる。

下側ＬＣＤ１２は、画像を（立体視可能ではなく）平面的に表示する表示装置である。タッチパネル１３はゲーム装置１の入力装置の一つである。タッチパネル１３への入力に用いるタッチペン２８は、挿入口１７（図３において点線で示される）から挿入されて収
容される。なお、タッチペン２８の代わりにユーザの指を用いることもできる。

各操作ボタン１４Ａ〜１４Ｅは、所定の入力を行うための入力装置である。ボタン１４Ａ〜１４Ｅには、ゲーム装置１によって実行されるプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは、選択操作やゲーム中のキャラクタの移動操作等に用いられる。例えば、各操作ボタン１４Ｂ〜１４Ｅは、決定操作やキャンセル操作等に用いられる。アナログスティック１５は、方向を指示するデバイスである。

挿入口１１Ｄ（図３において点線で示される）は、ゲームプログラムを記録した外部メモリ４５を挿入するための挿入口１１Ｄが設けられる。

上側ハウジング２１には、上側ＬＣＤ２２，外側左撮像部２３ａ，外側右撮像部２３ｂ，内側撮像部２４，および３Ｄ調整スイッチ２５が設けられる。

上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、３Ｄ調整スイッチ２５によって行われる。

内側撮像部２４は、上側ハウジング２１の内側面２１Ｂの内向きの法線方向を撮像方向とする撮像部である。外側左撮像部２３ａ及び外側右撮像部２３ｂは、いずれも内側面２１Ｂとは反対の外側面の外向きの法線方向を撮像方向とする撮像部である。以降、外側左撮像部２３ａ及び外側右撮像部２３ｂをまとめて、外側撮像部２３と称する。

内側撮像部２４、又は、外側撮像部２３によって撮像された撮像画像は、上側ＬＣＤ２２に表示される。したがって、上側ＬＣＤ２２の画面を含む平面は、撮像平面に相当する。

図４は、ゲーム装置１の内部構成の一例を示すブロック図である。ゲーム装置１は、上述した各部に加えて、情報処理部３１，メインメモリ３２，外部メモリインターフェイス（外部メモリＩ／Ｆ）３３，データ保存用外部メモリＩ／Ｆ３４，データ保存用内部メモリ３５，無線通信モジュール３６，ローカル通信モジュール３７，リアルタイムクロック（ＲＴＣ）３８，加速度センサ３９，角速度センサ４０，電源回路４１，およびインターフェイス回路（Ｉ／Ｆ回路）４２等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される。

情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Central Processing Unit）３１１，画像処理を行うＧＰＵ（Graphics Processing Unit）３１２，ＶＲＡＭ（Video RAM）３１３等を含む。ＣＰＵ３１１は、ゲーム装置１内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４５やデータ保存用内部メモリ３５）に記憶されている当該所定のプログラムを実行することによって、所定の処理を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。ＶＲＡＭ３１３に描画された画像は、上側ＬＣＤ２２および／または下側ＬＣＤ１２に出力されて表示される。

情報処理部３１には、メインメモリ３２，外部メモリＩ／Ｆ３３，データ保存用外部メモリＩ／Ｆ３４，およびデータ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４５を着脱自在に接続するためのインターフェイスである。また、デー
タ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４６を着脱自在に接続するためのインターフェイスである。

メインメモリ３２は、情報処理部３１（ＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、各種データを一時的に記憶したり、外部（外部メモリ４５や他の機器等）から取得されるプログラムを一時的に記憶したりする。第１実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Pseudo-SRAM）を用いる。

外部メモリ４５は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶媒体である。外部メモリ４５は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４５が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部メモリ４５に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込んだプログラムを実行することにより、所定の処理が行われる。

データ保存用外部メモリ４６は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）であり、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４６は、ＳＤカードである。データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４６及びデータ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。

情報処理部３１には、無線通信モジュール３６およびローカル通信モジュール３７が接続される。無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ＩＥＥＥ８０２．１１．ｂ／ｇのアドホックモードにおいて、他のゲーム装置１と直接無線通信を行ったりすることが可能である。また、ローカル通信モジュール３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。情報処理部３１は、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。なお、加速度センサ３９は、静電容量式の加速度センサであっても、他の方式の加速度センサであってもよい。また、加速度センサ３９は１軸または２軸方向を検出する加速度センサであってもよい。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１の姿勢や動きを算出する。

情報処理部３１には、角速度センサ４０が接続される。角速度センサ４０は、ゲーム装置１の３軸周りに生じる角速度をそれぞれ検出し、検出した角速度を示すデータ（角速度データ）を情報処理部３１へ出力する。情報処理部３１は、角速度センサ４０から出力された角速度データを受信して、ゲーム装置１の姿勢や動きを算出する。

情報処理部３１には、ＲＴＣ３８および電源回路４１が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻を計算する。電源回路４１は、ゲーム装置１が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１の各部品に電力を供給する。

情報処理部３１には、Ｉ／Ｆ回路４２が接続される。Ｉ／Ｆ回路４２には、マイク４３，スピーカ４４，およびタッチパネル１３が接続される。マイク４３は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４２に出力する。スピーカ４４は、Ｉ／Ｆ回路４２からの音声信号をアンプ（図示せず）により増幅し、音声を出力する。Ｉ／Ｆ回路４２は、マイク４３およびスピーカ４４の制御を行う音声制御回路と、タッチパネル１３の制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。第１実施形態では、タッチパネル１３は、抵抗膜方式のタッチパネルが用いられる。ただし、タッチパネル１３は、抵抗膜方式に限らず、例えば、静電容量方式等、任意の押圧式のタッチパネルを用いることができる。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチパネル１３のタッチ位置座標を生成して情報処理部３１に出力する。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われたタッチ位置を知ることができる。

操作ボタン１４およびアナログスティック１５は、情報処理部３１に接続され、各操作ボタン１４Ａ〜１４Ｅおよびアナログスティック１５に対する入力状況を示す操作データを情報処理部３１に出力する。情報処理部３１は、操作ボタン１４およびアナログスティック１５から操作データを取得することによって、操作ボタン１４およびアナログスティック１５に対する入力に応じた処理を実行する。

下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１に接続される。下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１（ＧＰＵ３１２）の指示にしたがって画像を表示する。下側ＬＣＤ１２は、画像を（立体視可能ではなく）平面的に表示する表示装置である。下側ＬＣＤ１２の画素数は、一例として、３２０ｄｏｔ×２４０ｄｏｔ（横×縦）である。なお、第１実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Electro Luminescence：電界発光）を利用した表示装置など、他の表示装置を利用してもよい。また、下側ＬＣＤ１２として、所望の解像度を有する表示装置を利用することができる。

上側ＬＣＤ２２は、裸眼立体視可能な表示装置である。上側ＬＣＤ２２は、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。上側ＬＣＤ２２の画素数は、一例として８００ｄｏｔ×２４０ｄｏｔ（横×縦）である。第１実施形態では、上側ＬＣＤ２２は液晶表示装置であるとして説明される。ただし、これに限らず、例えば、ＥＬを利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。

外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３および内側撮像部２４は、情報処理部３１の指示にしたがって画像を撮像し、撮像した画像データを情報処理部３１に出力する。

内側撮像部２４は、所定の解像度を有する撮像素子と、レンズとを含む。撮像素子は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。レンズは、ズーム機構を有するものでもよい。

外側左撮像部２３ａ及び外側右撮像部２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。外側左撮像部２３ａと外側右撮像部２３ｂとは、ゲーム装置１が実行するプログラムによって、２つの外側撮像部（外側左撮
像部２３ａおよび外側右撮像部２３ｂ）のいずれか一方を単独で使用可能である。第１実施形態では、何れか一方の外側撮像部２３を使用することとして説明する。

３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダの位置に応じた電気信号を情報処理部３１に送信する。

図５は、ゲーム装置１が扱う情報の例を示す図である。ゲーム装置１は、ボード情報５８１，マーカー情報５８２，オブジェクト情報５８３，条件情報５８４，及びゲーム進行状況情報５８５を扱う。これらの情報は、後述の記憶部５８に保持されている。

ボード情報５８１は、ゲームシステム１００によって提供されるゲームで用いられるボードに関する情報である。ボード情報５８１には、例えば、ボードを識別するためのボードＩＤ，マス配置情報，及びマーカーの配置情報が含まれる。マス配置情報は、ボード上のマスの配置を示す情報である。また、マーカー配置情報は、マーカーの配置を示す情報であり、マーカーを有するマスと、該マスに配されるマーカーの種類との情報が含まれる。ボード情報５８１は、ゲームシステム１００で提供されるゲームが複数あり、ゲームシステム１００で用いられるボードも複数ある場合には、各ボードに対して存在する。

例えば、ボード２が横にＭ個、縦にＮ個の所定サイズの四角形のフィールドに分割されている場合のマス配置情報及びマーカー配置情報の例を説明する。フィールドは、単にボード２を分割した範囲である。また、１つのフィールドには、１つのマスを配置可能であるとする。ただし、全てのフィールドにマスが配置されることに限られず、一部のフィールドにはマスが配置されない場合もある。各フィールドには、行番号ｉ（０≦ｉ≦Ｍ）と列番号ｊ（０≦ｊ≦Ｎ）とで識別番号ｉｊが付される。このような場合、マス配置情報は、マスが配置されるフィールドの識別番号となる。また、マーカー配置情報は、マーカーが存在するフィールドの識別番号と、該フィールドに印刷されたマーカーの識別情報であるマーカーＩＤとの対応付けとなる。なお、マーカーは、マスが配置されているフィールドに配置されるので、マス配置情報に含まれるフィールドの識別番号と、マーカー配置情報に含まれるフィールドの識別情報とは、一部重複する。また、この場合には、ボード情報５８１に、フィールドのサイズ（縦横の寸法）が含まれるようにしてもよい。

マーカー情報５８２は、マーカーに関する情報である。マーカー情報５８２には、例えば、マーカーを識別するためのマーカーＩＤ，マーカー画像データ，マーカーサイズ，対応オブジェクトＩＤ，仮想オブジェクトの表示位置，オブジェクトの表示サイズ等が含まれる。マーカーサイズは、マーカーの縦横の寸法である。マーカー画像データは、ボード２に印刷されるマーカーの画像データである。ゲーム装置１は、マーカー画像データを用いて、撮像画像からマーカーを検出する。また、ゲーム装置１は、マーカー画像データとマーカーサイズに基づいて、撮像画像に含まれるマーカーの見え方から、撮像装置とマーカーとの位置及び姿勢等、すなわち、マーカー座標系を取得することができる。対応オブジェクトＩＤは、マーカーに対応する位置に表示される仮想オブジェクトの識別番号である。なお、１つのマーカーに対して複数の仮想オブジェクトが対応付けられていてもよく、この場合には、複数の対応オブジェクトＩＤがマーカー情報５８２に含まれる。仮想オブジェクトの表示位置は、例えば、仮想オブジェクトの基準点を配置する位置である。仮想オブジェクトの基準点の位置は、例えば、マーカー座標系における座標で示されてもよい。また、仮想オブジェクトの表示位置には、マーカーに対する仮想オブジェクトの傾きの角度等が含まれてもよい。オブジェクトの表示サイズは、仮想オブジェクトの縦横の寸法である。この仮想オブジェクトの寸法は、例えば、マーカーの等倍率のサイズに対する寸法であるので、仮想オブジェクトが上側ＬＣＤ２２に表示される場合には、撮像画像内のマーカーのサイズに応じて仮想オブジェクトのサイズも調整されて表示される。マーカー情報５８２は、ゲームシステム１００において複数のマーカーが使用される場合には、
使用される各マーカーに対して存在する。

オブジェクト情報５８３は、マーカーに対応する位置に表示される仮想オブジェクトに関する情報である。オブジェクト情報５８３には、例えば、仮想オブジェクトを識別するためのオブジェクトＩＤ及び３次元描画用のオブジェクトのデータが含まれる。オブジェクトのデータには、仮想オブジェクトに複数の形態が存在する場合には、仮想オブジェクトの各形態のデータも含まれる。仮想オブジェクトの形態とは、仮想オブジェクトの外観を指し、仮想オブジェクトの形態が変化することは、仮想オブジェクトの外観が変化することを指す。仮想オブジェクトの外観は、例えば、仮想オブジェクト内のローカルな座標系における点，線，面等の集合でも定義できる。例えば、仮想オブジェクトが人物のオブジェクトである場合には、仮想オブジェクトの形態が変化するとは、顔の表情，服装，ポーズの種類等が変わることであり、表情、服装、ポーズ毎のデータがオブジェクトのデータに含まれる。オブジェクト情報５８３は、ゲームシステム１００において使用される仮想オブジェクトが複数ある場合には、各仮想オブジェクトに対して存在する。

条件情報５８４は、ゲーム進行に関する分岐条件に関する情報である。条件情報５８４には、例えば、条件を識別するための条件ＩＤ，条件内容，及び条件内容を満たした場合に実行されるアクションが含まれる。ゲーム装置１は、複数の条件情報５８４を保持する。詳細は、後述される。

ゲーム進行状況情報５８５は、ゲームの進行状況が記録された情報である。ゲーム進行状況情報５８５には、例えば、プレイヤーの状態，使用中のボードの各フィールドの状態，各仮想オブジェクトの各マーカー座標系における座標値等が含まれる。プレイヤーの状態及び各フィールド（特にマーカーを有するフィールド）の状態には、例えば、表示される仮想オブジェクトの形態のような表示に係る情報，ゲーム内で使用する蓄積されたポイント数のような各フィールド、仮想オブジェクト、プレイヤー等の属性情報等が含まれる。

図６は、ゲーム装置１の機能ブロック図の一例である。図６に示される各機能ブロックは、例えば、外部メモリ４５に格納されるゲームプログラムを情報処理部３１（ＣＰＵ３１１及びＧＰＵ３１２）が読み出して実行することによって実現される機能の一つである。

ゲーム装置１の情報処理部３１は、ゲームプログラムを実行することによって、撮像処理部５１，マーカー処理部５２，位置関係取得部５３，操作解析部５４，制御部５５，オブジェクト表示設定部５６，及び表示処理部５７として動作する。記憶部５８は、ゲームプログラムの実行によるメモリ割り当てにより動的に又は静的に、メインメモリ３２，データ保存用外部メモリ４６，又はデータ保存用内部メモリの記憶領域に作成される。

撮像処理部５１は、外側撮像部２３及び内側撮像部２４によって撮像して２次元の撮像画像を生成する。撮像処理部５１は、外側撮像部２３又は内側撮像部２４に、撮像を行う所定間隔を指示することもできる。所定間隔は、例えば、１／６０秒である。すなわち、外側撮像部２３及び内側撮像部２４は所定間隔で撮像し、撮像処理部５１は所定間隔で２次元の画素配列である撮像画像を生成する。生成された撮像画像は、マーカー処理部５２及び表示処理部５７に出力される。

マーカー処理部５２は、撮像処理部５１から入力される撮像画像に対してパターンマッチング等の画像認識処理を実行し、記憶部５８のマーカー情報５８２に含まれるマーカー画像データに該当するマーカーを検出する。このようなマーカーの検出は、例えば、画像認識エンジンを用いて行われる。

マーカー処理部５２は、検出されたマーカーに対応するマーカー情報５８２を記憶部５８から読み出し、該マーカーの外側撮像部２３からの距離，傾きの角度，及びマーカーの向き、すなわち、マーカー座標系を検出する。このような処理は、例えば、ＡＲＴｏｏｌＫｉｔ等の専用のソフトウェアライブラリを用いて行うことができる。マーカー座標系を含むマーカーの検出結果は、位置関係取得部５３とオブジェクト表示設定部５６とに出力される。

さらに、マーカー処理部５２は、撮像画像から検出されたマーカーの基準座標系における座標を求める。撮像処理部５１からは、所定間隔で逐次撮像画像が入力されるので、マーカー処理部５２は、逐次入力される各撮像画像について検出された該マーカーの基準座標系における座標を求める。求められたマーカーの座標は、位置関係取得部５３に出力される。基準座標系は、例えば、撮像画像内に含まれるいずれかのマーカーのマーカー座標系，撮像画像平面における座標系，撮像平面に平行な面上のＸＹ軸と該平行な面に直行するＺ軸で定義されるカメラ座標系，又は、実空間内における所定位置を原点として互いに直行するＸＹＺ軸で定義される座標系のいずれであってもよい。実空間内の座標系は、例えば、原点となる位置をゲーム開始前に決定し、ゲーム装置１に備えられる加速度センサ３９や角速度センサ４０から得られる情報によって、ゲーム装置１や各マーカーの実空間内の座標系における位置は取得することができる。なお、マーカーの座標は、マーカーの中心点を含む特徴点の何れかについて求められればよい。

なお、撮像画像に複数のマーカーが含まれる場合には、マーカー処理部５２は、それぞれのマーカーについて上記処理を行う。

位置関係取得部５３は、マーカー処理部５２から入力される、マーカー座標系と基準座標系におけるマーカーの座標とから、撮像画像に含まれる２つ以上のマーカーのうち、２つのマーカーの組み合わせ毎に、該２つのマーカー間の位置関係を取得する。２つのマーカーの位置関係には、例えば、２つのマーカー間の距離，２つのマーカーの向き，一方のマーカーに対するもう一方のマーカーの位置する方向等、及び、それらの組み合わせが含まれる。２つのマーカーの位置関係は、マーカー処理部５２から入力される各撮像画像について、すなわち、撮像画像が生成される所定間隔で行われる。

位置関係取得部５３は、求めた２つのマーカーの位置関係を所定時間分バッファしておき、該位置関係の変化を監視する。第１実施形態では、ボード２上のマーカーはボード２に固定されているため、２つのマーカーの位置関係の変化は、プレイヤーカード３の移動があったことを示す。２つのマーカーの位置関係の変化を検出すると、位置関係取得部５３は、変化内容と変化後の２つのマーカーの位置関係とを制御部５５に出力する。位置関係の変化には、例えば、２つのマーカー間の距離の変化，一方のマーカーに対するもう一方のマーカーが位置する方向の変化，一方のマーカーに対するもう一方のマーカーの向きの変化等，及びそれらの組み合わせが含まれる。なお、２つマーカーの位置関係の変化には、例えば、プレイヤーカード３がボード２上に追加されて配置されたことによる新たな２つのマーカーの位置関係の出現や、プレイヤーカード３がボード２上から取り除かれることによる２つのマーカーの位置関係の消滅等も含まれる。

操作解析部５４は、タッチパネル１３，操作ボタン１４Ａ−１４Ｅ，及びアナログスティック１５がユーザによって操作された場合に、タッチパネル１３，操作ボタン１４Ａ−１４Ｅ，アナログスティック１５の押下信号から操作内容を解析する。操作内容の解析結果は、制御部５５に出力される。

制御部５５は、ゲーム進行を管理する。具体的には、制御部５５は、以下の処理を実行
する。（１）制御部５５は、位置関係取得部５３から入力された、プレイヤーカード３のマーカーとボード２上のマスのマーカーとの位置関係の変化内容と、変化後の位置関係との少なくとも何れか一方が、記憶部５８の条件情報５８４のいずれかに合致するか否かを判定する。条件情報５８４のいずれかに合致した場合には、制御部５５は、該条件情報５８４に含まれるアクションを実行する。

（２）制御部５５は、操作解析部５４から入力されたタッチパネル１３又は操作ボタン１４Ａ−１４Ｅの操作内容に応じた処理を実行する。操作解析部５４からの操作内容に応じてよって実行される処理は、例えば、ユーザ操作内容にしたがって、使用アイテムを選ぶ，プレイヤーの状態を表示する等の仮想空間で進行するゲームに関する処理である。

（３）制御部５５は、ゲーム進行状況を記録部５８のゲーム進行状況情報５８５に記録する。制御部５５は、ボード２上の仮想空間に変更があった際に、ゲーム進行状況情報５８５を更新する。ボード２上の仮想空間の変更には、例えば、ボード２上の各マーカー上の仮想オブジェクト又はプレイヤーカード３上の仮想オブジェクトの形態の変更等の表示に係わる変更や、プレイヤーの経験値，保持アイテム等の属性情報の変更等の内的な変更（仮想空間内における効果の変更）である。

（４）制御部５５は、撮像画像にボード２の一部のみが含まれる場合には、撮像画像に含まれるボード２上の一部のマーカー間の配置からボード上のどの部分の撮像画像かを推定する。また、撮像画像内にマーカーの一部のみが含まれる場合には、撮像画像に含まれる他のマーカーとの位置関係から、一部のみが含まれるマーカーの欠けている部分を補完して、対応するオブジェクトを表示させる補完処理を行う。制御部５５は、記憶部５８のボード情報５８１に含まれるマーカー配置情報に基づいて、撮像画像に含まれるボード２の一部がどの部分であるかを推定する。

（５）制御部５５は、ゲーム開始前に、ボード２の情報を取得し、ボード２を認識する。ボードの認識処理の詳細は、図８において説明される。

制御部５５による上記（１），（２），及び（４）の処理によって、仮想空間の仮想オブジェクトの表示形態の変更が必要となる場合には、制御部５５は、オブジェクト表示設定部５６に表示変更の指示を出力する。

オブジェクト表示設定部５６は、マーカー処理部５２からマーカーの検出結果が入力されると、該マーカーのマーカー情報５８２とゲーム進行状況情報５８５とを参照し、該マーカーに対応して表示される仮想オブジェクトの表示設定を行う。仮想オブジェクトの表示設定は、例えば、マーカーに対する仮想オブジェクトの表示位置，仮想オブジェクトの表示サイズ，仮想オブジェクトの形態（表情等）である。また、オブジェクト表示設定部５６は、制御部５５から仮想オブジェクトの表示変更の指示を受けると、変更指示に合わせて仮想オブジェクトの表示設定を変更する。オブジェクト表示設定部５６は、仮想オブジェクトの表示設定を表示処理部５７に出力する。

表示処理部５７は、オブジェクト表示設定部５６による仮想オブジェクトの表示設定に従って、撮像画像に仮想オブジェクトを重畳し、描画処理を実行する。描画処理によって生成された画像（重畳画像）は、上側ＬＣＤ２２に出力され表示される。表示処理部５７は、撮像画像に複数のマーカーが含まれる場合には、各マーカーについて、対応する仮想オブジェクトの描画処理を実行する。表示処理部５７の描画処理は、例えば、ＧＰＵ３１２によって実行される。

（初期設定処理）
図７は、ボード２及びプレイヤーカード３の仮想空間における初期状態を示す図である。ゲーム開始前に、まず、ボード２を認識し、仮想空間の初期設定を行う初期設定処理が行われる。初期設定処理が実行後、ボード２全体をゲーム装置１で撮像すると、ゲーム装置１の表示画面内のボード２上には、ツリーオブジェクト５−１〜５−９，第１の敵キャラクタオブジェクト６−１，６−２，６−３，第２の敵キャラクタオブジェクト７−１〜７−３，家オブジェクト８等が、それぞれ対応するマーカーに対応する位置に出現する（表示される）。また、仮想空間内のプレイヤーカード３上には、プレイヤーオブジェクトが出現する（表示される）。

図７に示されるボード２は、横に５個（行が５つ）、縦に４個（列が４つ）のフィールドを有する。ボード２の各フィールドは、行番号ｉと列番号ｊとで、フィールドｉｊと識別番号が付される。図７に示されるボード２のボード情報５８１のマス配置情報は、フィールド１１，１２，１３，１５，２１，２３，２４，２５，３１，３３，３５，４１，４２，４３，４４，４５となる。また、マーカー配置情報は、フィールド１１に敵オブジェクト６−１，・・・（省略）となる。以降、このような各フィールドの識別番号を用いて、マスｉｊと表記する。

図８は、初期設定処理のフローチャートの例である。図８に示される初期設定処理は、例えば、ユーザのゲーム装置１の操作によって、初期設定処理の開始が選択されると、開始される。

ＯＰ１では、ゲーム装置１は、ボードを認識するボード認識処理を実行する。第１実施形態において、ボードを認識する目的は、ボード情報５８１を生成するためである。または、ボードを認識する目的は、複数あるボード情報５８１の中から一つを特定するためである。そこで、ボード認識処理として以下の処理が例示される。

（１）ゲーム装置１は、記憶部５８に予め複数のボード情報５８１を保持している。ゲーム装置１は、外側撮像部２３によってボード２の全体を撮像し、マーカー処理部５２の画像認識処理によって撮像画像からボード２上に含まれる全てのマーカーの配置を取得する。制御部５５は、取得されたボード２上の全てのマーカーの配置と、記憶部５８に保持される各ボード情報５８１に含まれるマーカー配置情報とを比較する。制御部５５は、比較の結果、最も類似性が高いマーカー配置情報を含むボード情報５８１を、ボード２に対応するボード情報５８１として特定すればよい。又は、各ボード情報５８１にボード全体の画像データを含めておき、ボード２の全体を含む撮像画像と各ボードの画像データとを比較して、ボード情報５８１を特定してもよい。

（２）上記（１）の処理において、ボードの全体画像に代わり、各ボードに特有の識別画像を用いる。この場合には、識別画像はボード２に印刷されており、さらに、ボード情報５８１にも識別画像データが含められて記憶部５８に保持される。ゲーム装置１は、ボード２を含む撮像画像から識別画像を検出し、検出した識別画像に対応するボード情報５８１を特定する。識別画像は、例えば、ボードＩＤの画像である。

（３）ボード２には、例えばＱＲコードのような２次元コードが付されており、ゲーム装置１の制御部５５は、外側撮像部２３によって撮像された撮像画像から該２次元コードを検出して解析し、得られた情報からボード２のボード情報５８１を生成する。ボード２に印刷される２次元コードには、例えば、マス配置情報，マーカー配置情報が含まれる。また、例えば、ステージ名や制限時間等のゲームに関する付加情報が含まれていてもよい。この場合には、ゲーム装置１は２次元コードを認識するソフトウェアを備えなければならないが、ゲームシステム１００の販売、配布とは別に、後から新たなボードを追加したり、既存のボードを拡張したりすることができる。

（４）ゲーム装置１は、外側撮像部２３によって四辺を沿うようにしてボード２の部分画像を複数取得する。ゲーム装置１は、マーカー処理部５２による画像認識処理によって、複数のボード２の部分画像からマーカーを検出し、マーカーの配置等を取得する。これによって、ゲーム装置１は、ボード２のボード情報５８１を生成する。この場合には、ボード２の部分画像を撮像するために、ユーザはゲーム装置１をボード２の四辺に沿うようにして動かす必要がある。また、ゲーム装置１は、ボード２上の全体画像から複数の部分画像を抽出してもよい。

（５）ゲーム開始時には、ゲーム装置１は、ボード２上のプレイヤーのゲーム開始地点のマス及びマーカーを認識している。ただし、ゲーム装置１は、ボード２全体は認識していない。この場合には、ボード情報５８１は未完成のままでゲームが開始され、ゲーム装置１は、新たにマス及びマーカーを認識すると、その情報をボード情報５８１に追加していく。

ゲームシステム１００で実行されるゲームに応じて、ゲーム装置１がＯＰ１のボード認識処理として、上記（１）〜（５）の何れの処理を行うか選択するようにしてもよい。また、ゲームシステム１００が提供するゲームに応じて、上記（１）〜（５）のいずれかの処理に固定してボード認識処理を実行するようにしてもよい。

ＯＰ２では、制御部５５は、特定された、又は、生成されたボード情報５８１に基づいて、仮想空間内の初期状態を作成する。例えば、ＯＰ１において（１）〜（４）の処理が行われた場合には、ボード２に含まれる全マーカーに対して仮想オブジェクトの表示設定がオブジェクト表示設定部５６によって行われる。ＯＰ１において（５）の処理が行われた場合には、認識されているマーカーのみについて、仮想オブジェクトの表示設定がオブジェクト表示設定部５６によって行われる。仮想空間の初期状態の作成が完了すると、図８に示される処理が終了する。

図８に示される処理が終了すると、ゲームシステム１００は、ゲーム開始可能な状態になる。

（第１のゲーム進行処理）
第１のゲーム進行処理は、プレイヤーカード上のマーカーと、ボード２上の各マーカーとの位置関係に基づき実行されるゲーム進行に係る処理である。ゲーム装置１は、第１のゲーム進行処理を記憶部５８に保持される条件情報５８４の設定内容に応じて実行する。

図９は、第１のゲーム進行処理が行われた場合のボード２上の状態を示す図である。図９では、図７において示されたボード２と同じボードが示されている。

図１０は、第１のゲーム進行処理の進行条件を定義する条件情報５８４の例である。条件情報５８４は、「条件」と、「条件」に対する「アクション」とを定義する。条件情報５８４は、条件の数だけ記憶部５８に保持されており、各条件情報５８４は、条件ＩＤで識別される（図５参照）。

第１のゲーム進行処理の条件情報５８４の「条件」は、プレイヤーカード３のマーカーとボード２上のマーカーとの位置関係に基づいて設定される。また、第１のゲーム進行処理の条件情報５８４の「アクション」には、実空間に情報を重畳する処理が設定される。実空間に情報を重畳する処理は、例えば、実空間のプレイヤーカード３のマーカーの対応する位置にプレイヤーオブジェクト４を所定の形態で重畳表示すること，実空間のボード２上のマーカーに対応づけられた位置に仮想オブジェクトを所定の形態で重畳表示するこ
と、仮想空間におけるプレイヤーの属性（保有ポイント、アイテム等）を変化させること、ゲーム内（仮想空間）の時間を経過させたり等の仮想空間内に効果をもたらす処理である。

第１のゲーム進行処理の条件情報５８４の「条件」には、プレイヤーカード３のマーカーとボード２上のマーカーとの位置関係として、各マーカーの位置から検出可能な情報が用いられる。マーカーの位置は、例えば、マーカー処理部５２によって取得される基準座標系におけるマーカーの基準点の座標である。または、マーカーの位置は、ボード２のマスであってもよい。マーカーの位置がボード２上のマスで判定される場合には、マーカー処理部５２からの各マーカーの検出結果とボード情報５８１とに基づいて制御部５５がマーカーの位置するマスを判定する。マーカーの基準点は、例えば、マーカーの特徴点や中心点である。また、マーカーの位置は、例えば、マスであってもよい。マーカーの位置がマスである場合には、ボード２上のマーカーが配置されるマスが予め設定されており、プレイヤーカード３のマーカーの位置するマスを特定すればよいので、位置関係の判別が容易となる。

各マーカーの位置から検出可能な情報としては、例えば、（ａ）プレイヤーカード３のマーカーとボード２のマーカーとの間の距離、（ｂ）プレイヤーカード３のマーカー及びボード２のマーカーの向き、（ｃ）プレイヤーカード３のマーカー及びボード２のマーカーのうち、一方の位置を基準とした場合のもう一方の位置する方向、及び（ａ）〜（ｃ）の組み合わせ等がある。

（ａ）プレイヤーカード３のマーカーとボード２上のマーカーとの間の距離は、位置関係取得部５３によって取得される、基準座標系における各マーカーの座標間の距離であってもよい。又は、プレイヤーカード３のマーカーが位置するマスと、ボード２上のマーカーが配置されるマスとの間に存在するマスの数であってもよい。

（ｂ）プレイヤーカード３のマーカー及びボード２のマーカーの向きは、例えば、ボード２上のマーカーに対するプレイヤーカード３の向きであってもよいし、各マーカーの向きの関係であってもよい。各マーカーの向きの関係は、同じ向きを向いている、反対の方向を向いている、向き合っている等である。これらのマーカーの向きは、マーカー処理部５２によって取得される各マーカー座標系に基づいて位置関係取得部５３によって取得される。

（ｃ）プレイヤーカード３のマーカー及びボード２のマーカーのうち、一方の位置を基準とした場合のもう一方の位置する方向は、例えば、プレイヤーカード３のマーカーがボード２上のマーカーの前後左右（又は東西南北）の何れの方向に位置するか等である。一方のマーカーの位置を基準とした場合のもう一方のマーカー位置する方向は、マーカー処理部５２によって取得される各マーカー座標系に基づいて位置関係取得部５３によって取得される。

また、第１のゲーム進行処理の条件情報５８４の「条件」は、プレイヤーカード３の配置変更による位置関係の変化によっても定義される。位置関係の変化は、例えば、上記（ａ）〜（ｃ）の変化及び（ａ）〜（ｃ）の変化の組み合わせである。

（ａ）プレイヤーカード３のマーカーとボード２上のマーカーとの距離の変化には、例えば、該距離の短縮，伸長がある。（ｂ）プレイヤーカード３のマーカーとボード２上のマーカーとの向きの変化には、例えば、プレイヤーカード３の配置変更によるプレイヤーカード３のマーカーの向きの変化がある。（ｃ）一方のマーカーの位置を基準とした場合のもう一方のマーカーの位置する方向の変化には、例えば、プレイヤーカード３の配置変
更による、ボード２上の第２のマーカーを基準とするプレイヤーカード３のマーカーが位置する方向の変化等がある。

図１０に示される第１のゲーム進行処理の条件情報５８１は、上記（ａ）〜（ｃ）及び（ａ）〜（ｃ）の組み合わせの位置関係及び位置関係の変化によって設定される「条件」と、「条件」に対する「アクション」の具体例である。なお、第１のゲーム進行処理の条件情報５８１は、位置関係と位置関係の変化との組み合わせによって設定されてもよい。

条件ＩＤ「１」の条件情報では、「条件」に、プレイヤーカード３のマーカーが敵キャラクタオブジェクトのマーカーに重なること、「アクション」に、該敵キャラクタオブジェクトとの対戦が開始されることが設定されている。制御部５５は、プレイヤーカード３のマーカーが敵キャラクタオブジェクトのマーカーに重なることを、例えば、該２つのマーカーの位置関係の変化内容が距離の短縮であり、且つ、変化後の位置関係が該２つのマーカーの座標値が同じマスに位置していると見なされる所定範囲にあること、によって判定する。図９は、図１０の条件ＩＤ「１」の条件情報の「条件」に合致した場合のゲーム進行を例示する。図９では、プレイヤーカード３−１がマス１１から敵キャラクタ６−３のマーカーが配置されるマス１３（図７）に移動したことによって、プレイヤーカード３−１のマーカーがマス１３のマーカーに重なった様子が示されている。この後、ボード２上では、マス１３のマーカーに対応する敵キャラクタオブジェクトとの対戦の処理が実行される。

条件ＩＤ「２」の条件情報では、「条件」に、プレイヤーカード３のマーカーが倒した敵キャラクタオブジェクトのマーカーから離れること、「アクション」に、該敵キャラクタオブジェクトの仮想オブジェクトが倒れた状態で表示されることが設定されている。制御部５５は、プレイヤーカード３のマーカーが倒した敵キャラクタオブジェクトのマーカーから離れることを、例えば、該２つのマーカーの位置関係の変化内容が距離の伸長であることによって判定する。図９は、図１０の条件ＩＤ「２」の条件情報の「条件」に合致した場合のゲーム進行を例示する。図９では、プレイヤーがマス１１の敵キャラクタオブジェクトを倒した後、プレイヤーカード３−１がマス１１からマス１３に移動した様子が示されている。したがって、図９のボード２上では、マス１１の敵キャラクタオブジェクト６−１は、倒れた状態で表示されている。

条件ＩＤ「３」の条件情報では、「条件」に、家オブジェクトのマーカーに隣接するマスにプレイヤーカード３のマーカーが位置すること、「アクション」に、該家オブジェクトからキャラクタが出てくることが設定されている。制御部５５は、家オブジェクトのマーカーに隣接するマスにプレイヤーカード３のマーカーが位置することを、例えば、該２つのマーカーの位置関係の変化内容が距離の縮小であること、且つ、変化後の位置関係がプレイヤーカード３のマーカーが家オブジェクトのマーカーの隣接マスに位置すること、によって判定する。ただし、プレイヤーカード３のマーカーと家オブジェクトのマーカーとの間の距離を算出し、算出した距離がマス１つの寸法以下か否かを判定することで、隣接マスに位置することを判定してもよい。図９は、図１０の条件ＩＤ「３」の条件情報の「条件」に合致した場合のゲーム進行を例示する。図９では、プレイヤーカード３−２が家オブジェクト８−１のマス４５の隣接マスであるマス４４に移動したことにより、家オブジェクト８−１からキャラクタオブジェクト８−２が出てきた様子が示されている。

条件ＩＤ「４」の条件情報では、「条件」に、家オブジェクトのマーカーにプレイヤーカード３のマーカーが重なること、「アクション」に、プレイヤーの体力回復が設定されている。制御部５５は、該条件が満たされると、ゲーム進行状況情報５８５のプレイヤーの状態を、体力ポイントをアップさせて更新する。

条件ＩＤ「５」の条件情報では、「条件」に、プレイヤーカード３のマーカーが敵キャラクタオブジェクトのマーカーから２マス以内の範囲に進入すること、「アクション」に、該敵キャラクタオブジェクトが動き出すことが設定されている。制御部５５は、プレイヤーカード３のマーカーが敵キャラクタオブジェクトのマーカーから２マス以内の範囲に進入することを、例えば、該２つのマーカーの位置関係の変化内容が距離の２マス以上から２マス以下への短縮であること、変化後の位置関係が該２つのマーカーが重なっていないこと、によって判定する。

条件ＩＤ「６」の条件情報では、「条件」に、プレイヤーカード３のマーカーが敵キャラクタオブジェクトのマーカーから２マス以内の範囲から出ること、「アクション」に、該敵キャラクタオブジェクトの動きが止まることが設定されている。制御部５５は、プレイヤーカード３のマーカーが敵キャラクタオブジェクトのマーカーから２マス以内の範囲から出ることを、例えば、該２つのマーカーの位置関係の変化内容が距離の２マス未満から２マス以上への伸長であること、によって判定する。

図９は、条件ＩＤ「５」の条件情報の「条件」に合致した場合のゲーム進行の例示である。図９では、プレイヤーカード３−１がマス１３に移動したことにより、敵キャラクタオブジェクト７−２から２マス以内の範囲に進入し、敵キャラクタオブジェクト７−２が動き出した様子が示されている。さらに、図９では、この後、プレイヤーカード３−１が、例えば、マス１３からマス１２に移動することにより、敵キャラクタオブジェクト７−２の２マス以内の範囲から出て、条件ＩＤ「６」の条件情報の「条件」に合致し、敵キャラクタオブジェクト７−２の動きが止まる。

条件ＩＤ「７」の条件情報では、「条件」に、プレイヤーカード３のマーカーが種をまいたマスのマーカーから離れること、「アクション」に、プレイヤーカード３のマーカーが１マス離れるごとに、時間が経過し、種をまいたマーカーに対応するオブジェクトが、発芽→開花→実がなるというように成長することが設定されている。図１０では、発芽→開花→実がなることが、条件ＩＤ「７」の条件情報の「条件」に対応する「アクション」に設定されている。この「アクション」の定義に代えて、発芽→開花→実がなるという一連の進行を複数の条件情報の「アクション」に設定してもよい。

また、条件ＩＤ「８」の条件情報では、「条件」に、プレイヤーカード３のマーカーの周辺に複数のマーカーが存在すること、「アクション」に、プレイヤーカード３のマーカーに最も近いものを処理対象として選択することが設定されている。制御部５５は、プレイヤーカード３の周辺に存在する複数のマーカーのうち、プレイヤーカード３に最も近いマーカーを選択し、処理対象として選択する。制御部５５は、選択した処理対象のマーカーとプレイヤーカード３のマーカーとの位置関係及び／又は位置関係の変化に基づいて、合致する条件情報５８４があるか否かを判定し、合致する条件情報５８４がある場合には、対応するアクションを実行する。なお、プレイヤーカード３のマーカーの周辺に存在するマーカーには、他のプレイヤーカードのマーカーが含まれていてもよい。この場合には、ゲーム装置１の位置関係取得手段５３は、プレイヤーカード３のマーカーと、プレイヤーカード３に最も近いボード２上のマーカーとの位置関係を取得するだけでよいので、処理負荷が軽くなる。

図１０に示される条件情報５８４のうち、条件ＩＤ「１」−「３」、「５」−「７」の「アクション」は、仮想オブジェクトの形態又は状態を変更させる処理の具体例である。仮想オブジェクトの形態又は状態を変更させる処理によって、ゲーム装置１に表示される仮想空間の表示状態が変化する。ゲーム装置１に表示される仮想空間の表示状態が変化すると、ゲーム装置１は、再度、撮像画像に含まれる実空間の各マーカーに対応する位置に仮想オブジェクトを重畳して表示画面を描画する。したがって、仮想オブジェクトの形態
又は状態を変更させる処理は、実空間に情報を重畳する処理の一つである。

図１０に示される条件情報５８４のうち、条件ＩＤ「４」、「８」は、ゲーム装置１の表示される仮想空間の表示状態の変化を伴わない、内的な処理の例である。しかしながら、ゲーム装置１は、実空間のボード２やプレイヤーカード３と対応する仮想オブジェクトの情報として、内的な処理により変更された情報も保持する。したがって、ゲーム装置１の表示される仮想空間の表示状態の変化を伴わない、内的な処理も、実空間に情報を重畳する処理の一つであると言える。

なお、図１０は、条件情報５８４の例の一部を示しているだけであって、１つのゲーム内で図１０に示される全条件情報が採用されることを示すものではない。また、ゲームシステム１００の条件情報５８４が図１０の例に限定されるわけではない。また、第１実施形態では、ゲームシステム１００の説明をしているが、ゲームシステム以外のシステムでもシステムの用途に応じて、「条件」に対して「アクション」を設定することによって、情報を重畳することによって拡張される実空間の有用性を高めることができる。

図１１は、第１のゲーム進行処理のフローチャートの例である。図１１に示される処理は、ゲームの開始とともに開始される。また、図１１に示される処理は、所定の周期で、ゲーム終了まで繰り返し実行される。また、図１１に示される処理は、撮像画像内のプレイヤーカード３のマーカーとボード２上の各マーカーとの２つのマーカーの組み合わせ毎に実行される。

ＯＰ１１では、位置関係取得部５３は、撮像画像に２つ以上のマーカーが含まれるか否かを判定する。位置関係取得部５３は、マーカー検出部５２から入力されるマーカーの検出結果によって、該判定を行う。撮像画像に２つ以上のマーカーが含まれる場合には（ＯＰ１１：Ｙｅｓ）、処理がＯＰ１２に進む。撮像画像に２つ以上のマーカーが含まれない場合には（ＯＰ１１：Ｎｏ）、図１１に示される処理が終了する。

ＯＰ１２では、位置関係取得部５３は、検出されたマーカーのうち、２つのマーカーの位置関係の変化を監視する。ＯＰ１３では、位置関係取得部５３は、２つのマーカーの位置関係の変化が検出されたか否かを判定する。２つのマーカーの位置関係の変化が検出された場合には（ＯＰ１３：Ｙｅｓ）、位置関係取得部５３は、２つのマーカーの位置関係の変化内容及び変化後の位置関係を制御部５５に出力し、処理がＯＰ１４に進む。２つのマーカーの位置関係の変化が検出されない場合には（ＯＰ１３：Ｎｏ）、図１１に示される処理が終了する。

ＯＰ１４では、制御部５５は、位置関係取得部５３から入力された２つのマーカーの位置関係の変化内容及び変化後の位置関係に基づいて、記憶部５８内の条件情報５８４のうち、「条件」が満たされる条件情報５８４があるか否かを判定する。「条件」が満たされる条件情報５８４がある場合には（ＯＰ１４：Ｙｅｓ）、処理がＯＰ１５に進む。「条件」が満たされる条件情報５８４が無い場合には、図１１に示される処理が終了する。

ＯＰ１５では、制御部５５は、「条件」が満たされた条件情報５８４に設定される「アクション」を実行する。その後、図１１に示される処理が終了する。

（第２のゲーム進行処理）
第２のゲーム進行処理は、プレイヤーカード３上のマーカーと、ボード２上のマーカーのうちの一つとが所定の条件を満たした時に、ボード２上の他のマーカーに対して実行される、ゲーム進行に係る処理である。第２のゲーム進行処理も、第１のゲーム進行処理と同じく、記憶部５８に保持される条件情報５８４によって定義される。

図１２Ａ及び図１２Ｂは、第２のゲーム進行処理の一例を説明するための図である。図１２Ａ及び図１２Ｂには、横に５個、縦に４個のフィールドを有する、同一のボードの仮想空間が示されている。

図１２Ａでは、プレイヤーオブジェクト４−１がマス４３に位置し、お助けキャラクタオブジェクト４−３がマス４４に位置する。お助けキャラクタは、プレイヤーにヒントを与えたり，アイテムを与えたり等して、プレイヤーをサポートするキャラクタである。また、図１２Ａでは、マス４３〜マス４５のマス以外には、敵キャラクタオブジェクト又は雷オブジェクト９が存在する。雷オブジェクト９は、プレイヤーにとって不利に作用するオブジェクトである。例えば、プレイヤーオブジェクト４−１が、雷オブジェクト９のマスに進入すると、プレイヤーが保持するポイントから１点引かれる等のアクションが実行される。

図１２Ａに示される仮想空間において、例えば、プレイヤーオブジェクト４−１がお助けキャラクタオブジェクト４−３に話しかける等して接触すると、図１２Ｂに示されるような状態に仮想空間が変化する。なお、話しかけるというアクションは、ゲーム装置１の操作ボタン１４又はタッチパネル１３の操作によって選択可能な、仮想空間内のプレイヤーの動作を指示するコマンドによって実行されるアクションの一つである。

図１２Ｂでは、図１２Ａにおいて敵キャラクタオブジェクト６−１，７−１，７−４が表示されていたマーカー上にリンゴオブジェクト１１が、雷オブジェクト９が表示されていたマーカー上にハートオブジェクト１２が表示される。リンゴオブジェクト１１およびハードオブジェクト１２は、体力回復アイテムである。

図１２Ａ及び図１２Ｂでは、プレイヤーに対して不利に作用するオブジェクトが、プレイヤーに対して有利に働くオブジェクトへ変化する例が示されている。プレイヤーオブジェクト４−１がお助けキャラクタに話しかけるというアクションが実行されるという条件が満たされた場合に、敵キャラクタオブジェクト６−１，７−１，７−４と、雷オブジェクト９等が、リンゴオブジェクト１１及びハートオブジェクト１２等に変化する。

以上のように、第２のゲーム進行処理では、所定の条件が満たされた場合に、該条件を満たす２つの仮想オブジェクト以外の仮想オブジェクトに対して所定の処理が実行される。

図１３は、第２のゲーム進行処理を定義する条件情報５８４の例である。第２のゲーム進行処理の条件情報５８４の「条件」は、プレイヤーカード３のマーカーとボード２上のマーカーとの位置関係，ゲーム装置１からプレイヤーに対して指示されるアクションの内容，又はそれらの組み合わせによって設定される。第２のゲーム進行処理の条件情報５８４の「アクション」は仮想空間内、特に条件情報５８４の「条件」を満たす２つの仮想オブジェクト以外の仮想オブジェクトに対して作用する処理が設定される。仮想空間内に作用する処理は、例えば、ゲーム装置１の画面の表示の変更を伴う、条件情報５８４の「条件」を満たす２つの仮想オブジェクト以外の仮想オブジェクトの形態又は状態の変更処理である。また、仮想空間内に作用する処理は、これに限られず、ゲーム装置１の画面の表示の変更を伴わない処理も含まれる。ゲーム装置１の画面の表示の変更を伴わない処理は、例えば、条件情報５８４の「条件」を満たす２つの仮想オブジェクト以外の仮想オブジェクトのポイント等の属性情報の変更処理であり、これらは、該仮想オブジェクトに対して与えられる効果を変更する処理である。すなわち、条件情報５８４の「アクション」には、撮像画像上に情報を重畳する処理が実行される。

図１３に示される第２のゲーム進行処理の各条件情報５８４の「アクション」は、実空間に情報を重畳する処理の具体例である。

条件ＩＤ「１１」の条件情報は、図１２Ａおよび図１２Ｂにおいて説明された処理を定義する条件情報であるため、説明を省略する。

条件ＩＤ「１２」の条件情報は、「条件」に、プレイヤーがツリーオブジェクトを伐採するアクションを実行すること、「アクション」に、伐採されたツリーオブジェクトの所定範囲内にあるツリーオブジェクトも倒れることが設定されている。なお、ツリーオブジェクトを伐採することは、ゲーム装置１からプレイヤーに対して、例えば、ゲーム装置１の操作ボタン１４，タッチパネル１３，又はアナログスティック１５において選択されたコマンドによって指示されるアクションの一つである。ゲーム装置１では、制御部５５が操作解析部５４からの操作信号によって、ツリーオブジェクトを伐採するアクションの実行を判定する。

条件ＩＤ「１３」の条件情報は、「条件」に、プレイヤーが敵キャラクタオブジェクトと戦って勝利すること、「アクション」に、該敵キャラクタオブジェクトと同じ種類の敵キャラクタオブジェクトも倒れること、が設定されている。例えば、プレイヤーと敵キャラクタとの対戦は、専用のプログラムの実行によって処理され、該プログラムの実行結果によって、制御部５５は、プレイヤーの勝利を判定する。

条件ＩＤ「１４」の条件情報は、「条件」に、プレイヤーオブジェクト４が敵キャラクタオブジェクトと向き合うこと、「アクション」にプレイヤーオブジェクトと向き合っている敵キャラクタオブジェクト以外の敵キャラクタオブジェクトがプレイヤーオブジェクト４に注目する（プレイヤーオブジェクト４の方を向く）こと、が設定されている。プレイヤーオブジェクト４が敵キャラクタオブジェクトと向き合うことは、敵キャラクタオブジェクト４の前方方向の隣接マスに、プレイヤーカード３のマーカーが位置しており、且つ、プレイヤーカード３のマーカーの向きが該敵オブジェクト４方向であることによって制御部５５によって判定される。

また、図１３に示される条件情報の他にも以下のような条件情報があってもよい。例えば、図１２Ａにおいて、「条件」にプレイヤーキャラクタ４−１が敵キャラクタ７−４を倒すこと、「アクション」にお助けキャラクタ４−３がプレイヤーキャラクタ４−１の体力を回復可能な状態になることが設定されてもよい。この場合には、その後、プレイヤーカード３がマス２３からマス４４に移動してお助けキャラクタ４−３のマスに重なると、プレイヤーキャラクタ４−１の体力が回復する。

図１４は、第２のゲーム進行処理のフローチャートの例である。図１４に示される処理は、ゲームの開始とともに開始される。また、図１４に示される処理は、所定周期でゲーム終了まで繰り返し実行される。

ＯＰ２１では、制御部５５は、プレイヤーに対する操作があるか否かを判定する。制御部５５は、操作解析部５４からの入力によって、該判定を行う。プレイヤーに対する操作がある場合には（ＯＰ２１：Ｙｅｓ）、処理がＯＰ２３に進む。プレイヤーに対する操作がない場合には（ＯＰ２１：Ｎｏ）、処理がＯＰ２２に進む。

ＯＰ２２では、制御部５５は、撮像画像に含まれる２つのマーカーの位置関係の変化が検出されたか否かを判定する。制御部５５は、位置関係取得部５３からの入力によって該判定を行う。２つのマーカーの位置関係の変化が検出された場合には（ＯＰ２２：Ｙｅｓ）、処理がＯＰ２３に進む。２つのマーカーの位置関係の変化が検出されない場合には（
ＯＰ２２：Ｎｏ）、プレイヤーに対する操作もなく、撮像画像内の２つのマーカーの位置関係にも変化が無いので、図１４に示される処理が終了する。

ＯＰ２３では、制御部５５は、操作解析部１４からの操作入力，位置関係取得部５３から入力された２つのマーカーの位置関係の変化内容，及び変化後の位置関係に基づいて、記憶部５８内の条件情報５８４のうち、「条件」が満たされる条件情報５８４があるか否かを判定する。「条件」が満たされる条件情報５８４がある場合には（ＯＰ２３：Ｙｅｓ）、処理がＯＰ２４に進む。「条件」が満たされる条件情報５８４がない場合には、図１４に示される処理が終了する。

ＯＰ２４では、制御部５５は、「条件」が満たされた条件情報５８４に定義されるアクションを実行する。その後、図１４に示される処理が終了する。

（第１実施形態の作用効果）
第１実施形態では、ボード２上のマーカー間の位置関係や、プレイヤーに対する操作等に基づいて、所定の条件が満たされた場合には、実空間に情報を重畳する処理が実行される。これによって、マーカーに対応する仮想オブジェクトを表示するだけの処理に比べて、処理を多様化することができる、また、仮想空間内に様々な変化及び効果をもたらすことができ、ゲームの興趣性を高めることができる。

また、第１実施形態では、ボード２が複数のマーカーを有することによって、ボード２の一部分のみがズームアップされて撮像された場合でも、撮像画像にボード２上のマーカーが１つでも含まれていれば、ゲーム装置１は、該マーカーのマーカー座標系を取得することができ、該マーカーに対応する位置に仮想オブジェクトを表示することができる。また、撮像画像内で、ボード２上のマーカーの一部分が欠けていても、ゲーム装置１は、全体が撮像されている他のマーカーとの位置関係から、該マーカーの全体を推定することができ、この推定に基づいて該マーカーに対応する位置に仮想オブジェクトを表示することができる。これによって、仮想空間と実空間との融合性を高めることができる。

（第１実施形態の変形例）
第１実施形態では、ゲームシステム１００はプレイヤーカード３を含み、ユーザによって実空間内でプレイヤーカード３が移動され、ボード２上の配置が変更されることによって、ゲームが進行した。一方、変形例では、ゲームシステム１００は、プレイヤーカード３を含まず、代わりにマーカーを有する補助カード３Ａを含む。補助カード３Ａは、プレイヤーに対して有利に作用し、プレイヤーを補助する為のカードである。ユーザは、補助カード３Ａをボード２上に追加，移動，及び除去することができる。変形例のゲームシステム１００では、プレイヤーはユーザによるゲーム装置１の操作ボタン１４やタッチパネル１３等の入力装置の操作によって移動し、プレイヤーの移動によってゲームが進行する。

変形例においては、マーカー処理部５２及び位置関係取得部５３は、第１実施形態におけるプレイヤーカード３のマーカーに対する処理と同様の処理を補助カード３Ａのマーカーに対して実行する。すなわち、マーカー処理部５２は、撮像画像に含まれるボード２上のマーカー及び補助カード３Ａのマーカーを検出する。また、位置関係取得部５３は、補助カード３Ａとボード２上のマーカーとの位置関係を監視し、該位置関係の変化内容と変化後の位置関係とを取得する。制御部５５は、補助カード３Ａとプレイヤーオブジェクトとの位置関係を求め、補助カード３Ａとプレイヤーオブジェクトとの位置関係，補助カード３Ａとボード２上のマーカーとの位置関係の変化内容，変化後の位置関係，又はそれらの組み合わせに基づいて条件情報５８４の条件が満たされたか否かを判定し、条件が満たされた場合には、該当するアクションを実行する。

図１５は、変形例のゲームシステムの仮想空間の例を示す図である。図１５に示される例において、補助カード３Ａのマーカーに対応する仮想オブジェクトは、壁オブジェクトである。この補助カード３Ａが敵キャラクタオブジェクトの隣接マスに配置されることによって（条件情報５８４の「条件」）、該敵キャラクタオブジェクトからの補助カード３Ａ方向への攻撃を防ぐことができる（条件情報５８４の「アクション」）。なお、補助カード３Ａには様々種類があり、種類毎にマーカー及びマーカーに対応付けられる仮想オブジェクトも異なる。

図１６は、変形例における第１のゲーム進行処理の条件情報５８４の例を示す図である。変形例における第１のゲーム進行処理の条件情報５８４の「条件」は、第１実施形態の第１のゲーム進行処理と同様に、補助カード３Ａとボード２上のマーカーとの位置関係，補助カード３Ａとプレイヤーオブジェクト４との位置関係，又は、それらの組み合わせによって設定される。また、条件情報５８４の「アクション」は、第１実施形態の第１のゲーム進行処理と同様に、実空間に情報を重畳する処理が設定される。

条件ＩＤ「２１」の条件情報５８４は、「条件」に、補助カード３Ａのマーカーが家オブジェクトのマーカーと重なること、「アクション」に、プレイヤーの体力回復が定義される。

条件ＩＤ「２２」の条件情報５８４は、「条件」に、補助カード３Ａのマーカーがプレイヤーの位置するマスに位置する（重なる）こと、「アクション」に、プレイヤーのレベルが向上することが定義される。

条件ＩＤ「２３」の条件情報５８４は、「条件」に、補助カード３Ａのマーカーが敵キャラクタオブジェクトのマーカーの隣接マスに位置すること、「アクション」に、該敵キャラクタオブジェクトの攻撃を防御すること、が定義される。

図１７は、変形例における第１のゲーム進行処理のフローチャートの例である。図１７に示される処理は、ゲームの開始とともに開始される。また、図１７に示される処理は、所定周期でゲーム終了まで繰り返し実行される。

ＯＰ４１〜ＯＰ４３の処理は、図１１のＯＰ１１〜ＯＰ１３の処理と同様である。すなわち、位置関係取得部５３は補助カード３Ａとボード２上のマーカーとの位置関係の変化を検出する処理である。

ＯＰ４４では、制御部５５は、プレイヤーオブジェクトの移動があるか否かを判定する。制御部５５は、操作解析部５４からの入力内容に基づいて、該判定を行う。プレイヤーオブジェクトの移動がある場合には（ＯＰ４４：Ｙｅｓ）、処理がＯＰ４５に進む。プレイヤーオブジェクトの移動が無い場合には（ＯＰ４４：Ｎｏ）、図１７に示される処理が終了する。

ＯＰ４５では、制御部５５は、プレイヤーオブジェクトの移動内容，変更後の補助カード３Ａのマーカーとプレイヤーオブジェクトとの位置関係を解析する。制御部５５は、プレイヤーオブジェクトの移動内容を操作解析部５４からの入力に基づいて解析する。制御部５５は、変更後の補助カード３Ａのマーカーとプレイヤーオブジェクトとの位置関係を、マーカー検出部５２から入力される補助カード３Ａのマーカーと、プレイヤーオブジェクトの移動内容とから解析する。

ＯＰ４６では、制御部５５は、補助カード３Ａのマーカーとボード２上のマーカーとの
位置関係，補助カード３Ａのマーカーとプレイヤーオブジェクトとの位置関係，又は、それらの組み合わせに基づいて、「条件」が満たされる条件情報５８４があるか否かを判定する。「条件」が満たされる条件情報５８４がある場合には（ＯＰ４６：Ｙｅｓ）、処理がＯＰ４７に進む。「条件」が満たされる条件情報５８４がない場合には、図１７に示される処理が終了する。

ＯＰ４７では、制御部５５は、条件が満たされた条件情報５８４に定義されるアクションを実行する。その後、図１７に示される処理が終了する。

変形例において、第２のゲーム進行処理は、第１実施形態における第２のゲーム進行処理と同様の処理を適用することができる。すなわち、第１実施形態における第２のゲーム進行処理は、仮想空間内のプレイヤーオブジェクトの移動が、ユーザによるプレイヤーカード３の移動によって行われる場合でも、ゲーム装置１の操作ボタン１４やタッチパネル１３等の入力装置からの操作信号によって行われる場合でも、適用することができる。また、変形例における第２のゲーム進行処理では、条件情報５８４の「条件」の設定に補助カード３Ａとプレイヤーオブジェクト４又はボード２上のマーカーとの位置関係又は位置関係の変化を用いることもできる。

変形例におけるゲーム装置１では、操作ボタン１４やタッチパネル１３等の入力装置からの操作によって、実空間では存在しないプレイヤーオブジェクト４が表示画面内のボード２上で移動する。これによって、実空間には存在しないプレイヤーオブジェクト４が実空間に存在するボード２上で移動するようにユーザに認識させることができる。さらに、実空間に存在するボード２上に補助カード３Ａを配置することによって、仮想空間内に存在する仮想オブジェクトに作用又は効果を及ぼすことができる。これらによって、ゲーム装置１は、実空間と仮想空間とがよりよく融合した拡張現実の世界をユーザに提供することができる。

＜第２実施形態＞
第２実施形態では、第１実施形態で説明されたゲームシステムに、複数のゲーム装置１が含まれる場合のゲーム進行処理について説明する。複数のゲーム装置１でゲームシステムによって提供される仮想空間を共有する場合には、該複数のゲーム装置１間で情報の整合性を保つ必要がある。第２実施形態では、複数のゲーム装置１間で情報の整合性を保つために、無線通信を用いる。なお、第２実施形態では、仮想空間内におけるプレイヤーオブジェクト４の移動は、それぞれのゲーム装置１のユーザによるプレイヤーカード３の配置変更によって行われてもよいし、それぞれのゲーム装置１の操作ボタン１４やタッチパネル１３等の入力装置からの操作信号によって行われてもよい。

第２実施形態では、ゲーム装置１は、無線通信モジュール３６を用いて、例えばＩＥＥＥ８０２．１１．ｂ／ｇのアドホックモードで、所定範囲内に存在する他のゲーム装置１とサーバやアクセスポイント等の中継装置の中継を介さずに直接通信を行う。

第２実施形態では、制御部５５は、自装置１の撮像画像内（撮像範囲内）で仮想空間に変化があった場合には、更新情報として該変化の内容を他のゲーム装置１に無線通信モジュール３６を介して送信する。更新情報は、更新対象の仮想オブジェクトとマスの情報，及び更新内容とが含まれる。例えば、ゲーム進行状況情報５８５の更新による変更差分である。また、ゲーム装置１の制御部５５は、無線通信モジュール３６を通じて、他のゲーム装置１からの更新情報を受信する。

他のゲーム装置１から受信した更新情報の内容と、自装置の撮像画像に含まれるマーカーとによって、ゲーム装置１において実行される更新情報を受信した際の情報整合処理は
、以下に示す（Ａ）−（Ｃ）の処理に分けられる。

（Ａ）受信した更新情報に、自装置の撮像画像（撮像範囲）に含まれるマーカーと同じマーカーの情報が含まれている場合には、制御部５５は、該マーカーについて受信した更新情報と自装置が保持する情報（ゲーム進行状況情報５８５）とで整合性を確認する。整合性を確認するとは、例えば、複数のゲーム装置１間で、相互に、各ゲーム装置１が保持する情報の変化を更新情報として他のゲーム装置１に通知し、通知を受けたゲーム装置１は通知された更新情報を自装置の情報に反映することをいう。

（Ｂ）受信した更新情報に、自装置の撮像画像（撮像範囲）に含まれるマーカーと同じマーカーの情報は含まれておらず、且つ、自装置の撮像画像に含まれるマーカーに関連する情報も含まれていない場合には、制御部５５は、受信した更新情報に含まれる変更内容でゲーム進行状況情報５８５を更新する。

図１８は、更新情報の受信処理の一例を説明するための図である。図１８は、上記（Ｂ）の受信処理が行われる場合について説明される。図１８に示される例では、ゲーム装置１Ａ及びゲーム装置１Ｂの２台のゲーム装置でゲームが実行されている。ボード２上のプレイヤーカード３Ａ，３Ｂは、それぞれゲーム装置１Ａ，１Ｂのユーザが使用するプレイヤーカードである。ゲーム装置１Ａは撮像範囲５０Ａを撮像している。ゲーム装置１Ｂは、撮像範囲５０Ｂを撮像している。

図１８に示される例において、ゲーム装置１Ｂが操作するキャラクタオブジェクト４Ｂは敵キャラクタオブジェクト７−２と対戦し勝利し、敵キャラクタオブジェクト７−２が倒れた状態になったとする。この場合、ゲーム装置１Ｂでは、自装置の撮像範囲５０Ｂにおいて仮想空間内に起こった変化であるので、該変化を認識している。すなわち、ゲーム装置１Ｂでは、該変化がゲーム進行状況情報５８５に更新され、且つ、敵キャラクタオブジェクト７−２が倒れた状態で表示される。

一方、ゲーム装置１Ａでは、撮像範囲５０Ｂにおいて発生した変化（敵キャラクタオブジェクト７−２が倒れた状態となる）について、ゲーム装置１Ａの撮像範囲外で発生した変化であるため、認識していない。すなわち、ゲーム装置１Ａの撮像範囲が撮像範囲５０Ａから撮像範囲５０Ｂに移動した場合に、ゲーム装置１Ａは敵キャラクタオブジェクト７−２が倒れた状態となることを認識していないため、ゲーム装置１Ａは敵キャラクタオブジェクトを立った状態で表示する。この場合、ゲーム装置１Ａに表示される仮想空間とゲーム装置１Ｂに表示される仮想空間とで整合性が取れていない状態となる。

そこで、ゲーム装置１Ｂが、敵キャラクタオブジェクト７−２の状態が変化したことを更新情報としてゲーム装置１Ａに送信する。これによってゲーム装置１Ａは、敵キャラクタオブジェクト７−２の倒れた状態に変化したことを認識することができる。ゲーム装置１Ａが撮像範囲を撮像範囲５０Ｂに映した際には、敵キャラクタオブジェクト７−２は、倒れた状態でゲーム装置１Ａに表示される。

図１９Ａは、図１８に示される例において、情報整合処理が実行された後のゲーム装置１Ｂの画面表示を示す図である。図１９Ｂは、図１８に示される例において、情報整合処理が実行された後のゲーム装置１Ａの画面表示を示す図である。図１８に示される例において、ゲーム装置１Ａの撮像方向は、矢印Ａで示される方向であるとする。また、ゲーム装置１Ｂの撮像方向は、矢印Ｂで示される方向であるとする。また、図１８に示される例において、例えば、全ての仮想オブジェクトは矢印Ｂ方向を向いている、すなわち、ゲーム装置１Ａ側を前面側、ゲーム装置１Ｂ側を背面側とする方向を向いている、とする。

図１９Ａにおいて示されるゲーム装置１Ｂの画面では、敵キャラクタオブジェクト７−２が倒れた状態で表示される。また、ゲーム装置１Ｂの画面には、各仮想オブジェクトの背面が表示される。

図１９Ｂにおいて示されるゲーム装置１Ａの画面においても、ゲーム装置１Ｂから更新情報を受信することによって、敵キャラクタオブジェクト７−２が倒れた状態で表示される。また、ゲーム装置１Ａの画面には、各仮想オブジェクトの前面が表示される。つまり、ゲーム装置１Ａ及びゲーム装置１Ｂ間で仮想オブジェクトの形態、向き等の情報の整合性が取れている。ただし、仮想オブジェクトの向きは一例であり、ゲームの進行に従い、さまざまな方向を向くことになる。

（Ｃ）受信した更新情報に、自装置の撮像画像（撮像範囲）に含まれるマーカーと同じマーカーの情報は含まれておらず、且つ、自装置の撮像画像に含まれるマーカーに関連する情報が含まれている場合には、制御部５５は、受信した更新情報に含まれる変更内容に従い、仮想空間に所定の効果を生じさせる処理を実行する。自装置の撮像画像に含まれるマーカーに関連する情報とは、例えば、更新対象の仮想オブジェクトの形態又は状態の変更に連動して形態又は状態の変更が指示される仮想オブジェクトとして自装置の撮像画像に含まれるマーカーに対応する仮想オブジェクトが指定される更新情報の更新内容である。

図２０は、更新情報の受信処理の一例を説明するための図である。図２０は、上記（Ｃ）の受信処理が行われる場合について説明される。図２０では、図１８で示される例と同じ仮想空間が示される。

図２０に示される例において、ゲーム装置１Ｂが操作するキャラクタオブジェクト４Ｂは敵キャラクタオブジェクト７−２と対戦し勝利すると、敵キャラクタオブジェクト７−２に加え同種の敵キャラクタオブジェクトが７−１，７−３も共に爆発するとする。この場合、キャラクタオブジェクト４Ｂが敵キャラクタオブジェクト７−１に勝利することはゲーム装置１Ｂの撮像範囲５０Ｂにおいて起こったことであるので、ゲーム装置１Ｂはこれを検知可能である。すなわち、撮像範囲５０Ｂを撮像するゲーム装置１Ｂの画面では、キャラクタオブジェクト７−２が爆発する様子が表示される。

一方、ゲーム装置１Ａでは、撮像範囲５０Ｂにおいて発生した変化（敵キャラクタオブジェクト７−２が爆発する）について、ゲーム装置１Ａの撮像範囲外で発生した変化であるため、認識していない。したがって、ゲーム装置１Ａの撮像範囲５０Ａに含まれる爆発すべき敵キャラクタオブジェクト７−１は、ゲーム装置１Ａの画面上では爆発しない。この場合、ゲーム装置１Ａに表示される仮想空間とゲーム装置１Ｂに表示される仮想空間とで整合性が取れていない状態となる。

そこで、ゲーム装置１Ｂが、敵キャラクタオブジェクト７−２の状態が変化したことを更新情報としてゲーム装置１Ａに送信する。これによってゲーム装置１Ａは、敵キャラクタオブジェクト７−２が爆発するとともに、敵キャラクタオブジェクト７−１も爆発することを認識することができる。したがって、撮像範囲５０Ａを撮像するゲーム装置１Ａの画面内でも、敵キャラクタオブジェクト７−１が爆発する。

図２１Ａは、図２０に示される例において、情報整合処理が実行された後の撮像範囲５０Ｂを撮像したゲーム装置１Ｂの画面表示を示す図である。図２１Ｂは、図２０に示される例において、情報整合処理が実行された後の撮像範囲５０Ａを撮像したゲーム装置１Ａの画面表示を示す図である。図２０に示される例において、ゲーム装置１Ａの撮像方向は、矢印Ａで示される方向であるとする。また、ゲーム装置１Ｂの撮像方向は、矢印Ｂで示
される方向であるとする。また、図２０に示される例において、例えば、全ての仮想オブジェクトは矢印Ｂ方向を向いているとする。

図２１Ａにおいて示される、撮像範囲５０Ｂを撮像したゲーム装置１Ｂの画面では、敵キャラクタオブジェクト７−２が爆発した状態で表示される。また、ゲーム装置１Ｂの画面には、各仮想オブジェクトの背面が表示される。

図２１Ｂにおいて示される、撮像範囲５０Ａを撮像したゲーム装置１Ａの画面においても、ゲーム装置１Ｂから更新情報を受信することによって、敵キャラクタオブジェクト７−１が爆発した状態で表示される。また、ゲーム装置１Ａの画面には、各仮想オブジェクトの前面が表示される。つまり、ゲーム装置１Ａ及びゲーム装置１Ｂ間で仮想オブジェクトの形態、向き等の情報の整合性が取れている。

図２２は、更新情報を受信した場合の情報整合処理のフローチャートの例である。図２２に示される処理は、ゲームの開始とともに開始される。また、図２２に示される処理は、所定周期で、ゲーム終了まで繰り返し実行される。

ＯＰ３１では、制御部５５は、更新情報を受信したか否かを判定する。更新情報が受信された場合には（ＯＰ３１：Ｙｅｓ）、処理がＯＰ３２に進む。更新情報が受信されない場合には（ＯＰ３１：Ｎｏ）、図２２に示される処理が終了する。

ＯＰ３２では、制御部５５は、受信した更新情報に含まれる更新対象の仮想オブジェクトが撮像画像に含まれているか否かを判定する。更新対象の仮想オブジェクトが撮像画像に含まれている場合には（ＯＰ３２：Ｙｅｓ）、上記（Ａ）の処理が実行されるため、処理がＯＰ３３に進む。更新対象の仮想オブジェクトが撮像画像に含まれていない場合には、処理がＯＰ３４に進む。

ＯＰ３３では、制御部５５は、受信した更新情報と保持するゲーム進行状況情報とが整合性があるか否かを判定する。整合性がある場合には（ＯＰ３３：Ｙｅｓ）、処理がＯＰ３５に進む。整合性が無い場合には（ＯＰ３３：Ｎｏ）、図２２に示される処理が終了する。この場合には、制御部５５は、更新情報に合わせてゲーム進行状況情報を更新してもよいし、更新情報の送信元のゲーム装置１に不整合の通知を送信してもよい。不整合の通知を受信したゲーム装置１では、ユーザに対してボード２全体を撮像するように指示したり、他のゲーム装置１からゲーム進行状況情報を送信してもらうよう要求して、該ゲーム装置１自身で新たにゲーム進行状況情報８５５を生成し直すようにしてもよい。

ＯＰ３４では、制御部５５は、更新情報に含まれる変更内容は、撮像画像に含まれる仮想オブジェクトに関連のあるものか否かを判定する。更新情報に含まれる変更内容が、撮像画像に含まれる仮想オブジェクトに関連のあるものである場合には（ＯＰ３４：Ｙｅｓ）、上記（Ｃ）の処理が実行されるため、処理がＯＰ３５に進む。更新情報に含まれる変更内容が、撮像画像に含まれる仮想オブジェクトに関連が無い場合には（ＯＰ３４：Ｎｏ）、上記（Ｂ）の処理が実行されるため、処理がＯＰ３６に進む。

ＯＰ３５では、制御部５５は、更新情報にしたがって処理を行う。ＯＰ３６では、制御部５５は、更新情報に従ってゲーム進行状況を更新する。その後、図２２に示される処理が終了する。

なお、ＯＰ３２において、更新対象の仮想オブジェクトが撮像画像に含まれている場合には（ＯＰ３２：Ｙｅｓ）、ＯＰ３３の処理を実行することなく、ＯＰ３５に処理を進めてもよい。例えば、２つのゲーム装置１間で更新情報を授受する場合に、相手側のゲーム
装置１内で発生した情報の変化をそのまま受け入れる方式のゲーム進行もあり得るからである。

（第２実施形態の作用効果）
第２実施形態では、複数のゲーム装置１で仮想空間を共有する際に、撮像範囲内の仮想空間で変化を検知すると、他のゲーム装置に対して更新情報を送信する。これによって、ゲーム装置１は、自身の撮像範囲外の仮想空間内で発生した変化を認識することができる。したがって、仮想空間を共有する複数のゲーム装置１間で、情報の整合性を保つことができる。また、上記（Ｃ）のように自身の撮像範囲外で発生した変化に連動して、撮影範囲内のオブジェクトの状態も変わることによって、複数のゲーム装置１で共有する仮想空間の興趣性を高めることができる。

（第２実施形態の変形例）
第２実施形態では、複数のゲーム装置１のそれぞれが、同一のボード２を撮像し、共通の仮想空間を生成してゲームが実行される例が示された。これに代えて、例えば、各ゲーム装置１が別々の場所に位置し、それぞれの位置で同種のボード２を撮像して、共通の仮想空間を生成してゲームを実行してもよい。この場合、各ゲーム装置１の撮像対象物である各ボード２では、印刷される複数のマスが、各ボード２間で同じ配置に同じ形状のマスが配置されていなければならない。その他、例えば、ボード２上の背景の色が異なっていたり、マス配置の周辺に配されるデザインが異なっていてたりしても構わない。また、このような場合には、ユーザは、同種のボード２を準備し、ゲーム装置１の無線通信機能を用いてアクセスポイントやサーバを介して通信を行うことによって、互いに遠く離れた場所にいるゲーム装置１のユーザと、同じ仮想空間を共有してゲームを楽しむことができる。

（その他）
第１実施形態及び第２実施形態では、携帯型のゲーム装置１を用いて説明したが、撮像装置及び表示装置とは独立した装置である据置型のゲーム装置、あるいは、一般的なパーソナルコンピュータ等の情報処理装置で本発明の画像処理プログラムを実行して、本発明を実現してもかまわない。また、他の実施形態では、ゲーム装置に限らず任意の携帯型電子機器、例えば、ＰＤＡ（Personal Digital Assistant）や携帯電話端末、パーソナルコンピュータ、カメラ等であってもよい。

また、上述した説明では、ゲーム進行処理をゲーム装置１で行う例を用いたが、上記ゲーム進行処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、ゲーム装置１が他の装置（例えば、サーバや他のゲーム装置）と通信を行う場合、上記ゲーム進行処理における処理ステップは、ゲーム装置１および当該他の装置が協働することによって実行してもよい。一例として、他の装置がマーカー検出部５２，位置関係取得部５３，制御部５５の処理を実行してもよい。このように、ゲーム進行処理の処理ステップの少なくとも一部を他の装置で行うことによって、上述したゲーム進行処理と同様の処理が可能となる。このように、上述したゲーム進行処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施形態においては、ゲーム装置１の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置１が備える専用回路によって上記処理の一部または全部が行われてもよい。

また、上述したゲーム装置１の形状や、それに設けられている各種操作ボタン１４，アナログスティック１５，タッチパネル１３の形状，数，および設置位置等は、単なる一例に過ぎず他の形状，数，および設置位置であっても、本発明を実現できることは言うまで
もない。また、上述した画像処理で用いられる処理順序，設定値，判定に用いられる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは言うまでもない。

また、上記ゲームプログラムは、外部メモリ４５やデータ保存用外部メモリ４６等の外部記憶媒体を通じてゲーム装置１に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置１に供給されてもよい。また、上記プログラムは、ゲーム装置１内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ，ＤＶＤ，あるいはそれらに類する光学式ディスク状記憶媒体，フレキシブルディスク，ハードディスク，光磁気ディスク，磁気テープ，などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを一時的に記憶する揮発性メモリでもよい。このような外部記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

５１ 撮像処理部
５２ マーカー処理部
５３ 位置関係取得部
５４ 操作解析部
５５ 制御部
５６ オブジェクト表示設定部
５７ 表示処理部
５８ 記憶部

Claims (15)

1. 複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムであって、
   前記各情報処理装置は、
   実空間を前記撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、
   前記撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、
   前記仮想空間設定手段によって設定された仮想空間の状態の変化が検出された場合に、前記他の情報処理装置に前記仮想空間の状態の変化に関するデータを送信する送信手段と、
   前記他の情報処理装置から送信される前記仮想空間の状態の変化に関するデータを受信する受信手段と、
   を備え、
   前記仮想空間設定手段は、前記受信手段によって受信された前記変化に関するデータに、前記撮像処理手段によって生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する、情報処理システム。
2. 前記送信手段は、
   前記仮想空間設定手段で設定された仮想空間の状態が、前回に設定された状態から変化したか否かを判定する状態変化判定手段を含み、
   前記状態変化判定手段によって前記仮想空間の状態が変化したと判定された場合に、他の情報処理装置に前記仮想空間の状態の変化に関するデータを送信する、
   請求項１に記載の情報処理システム。
3. 実空間内に存在し、位置と前記位置における姿勢を検出可能な形状を有するマーカーをさらに備え、
   前記各情報処理装置は、
   前記撮像処理手段によって生成された撮像画像内に含まれる前記マーカーの位置及び姿勢を検出する検出手段をさらに備え、
   前記仮想空間設定手段は、少なくとも前記検出手段で検出された前記マーカーの位置及び姿勢に基づいて前記仮想空間を生成し、
   前記送信手段は、前記マーカーの位置又は姿勢が変化して、前記仮想空間設定手段で設定される仮想空間の状態の変化が検出された場合に、他の情報処理装置に前記仮想空間の状態の変化に関するデータを送信する
   請求項１又は２に記載の情報処理システム。
4. 前記送信手段は、前記マーカーの位置又は姿勢が変化することにより、前記仮想空間設定手段で設定される仮想空間の状態の変化が検出された場合に、他の情報処理装置に当該マーカーの位置及び姿勢に関するデータを送信する、
   請求項３に記載の情報処理システム。
5. 前記仮想空間設定手段は、
   前記マーカーに対応する位置に、前記マーカーの姿勢に基づいて、前記撮像画像に所定のデータを重畳し、表示装置に表示させる表示処理手段を含む、
   請求項４に記載の情報処理システム。
6. 前記受信手段は、前記マーカーの位置及び姿勢に関するデータを受信し、
   前記表示処理手段は、前記受信手段によって受信された前記マーカーの位置及び姿勢に関するデータに基づいて、前記所定のデータの状態を変更して表示させる
   請求項５に記載の情報処理システム。
7. 前記各情報処理装置は、
   ユーザからの操作入力を受け付ける操作入力受付部をさらに備え、
   前記仮想空間設定手段は、前記操作入力にも基づいて前記仮想空間を生成する、
   請求項１から６のいずれか一項に記載の情報処理システム。
8. 前記送信手段は、前記仮想空間の状態の変化に関するデータを中継装置を介さずに他の情報処理装置に対して送信する
   請求項１から７のいずれか一項に記載の情報処理システム。
9. 複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムにおいて、
   前記各情報処理装置が、
   実空間を前記撮像装置によって逐次撮像して撮像画像を生成する撮像処理ステップと、
   前記撮像処理ステップによって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定ステップと、
   前記仮想空間生成ステップにおいて設定された仮想空間の状態の変化が検出された場合に、前記他の情報処理装置に前記仮想空間の状態の変化に関するデータを送信する送信ステップと、
   前記他の情報処理装置から送信される前記仮想空間の状態の変化に関するデータを受信する受信ステップと、
   前記受信された前記変化に関するデータに、前記撮像処理ステップにおいて生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想
   空間に所定の効果を生じさせる処理を実行する実行ステップと、
   を実行する情報処理方法。
10. 実空間を撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、
    前記撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、
    前記仮想空間生成手段によって設定された仮想空間の状態の変化が検出された場合に、前記他の情報処理装置に前記仮想空間の状態の変化に関するデータを送信する送信手段と、
    前記他の情報処理装置から送信される前記仮想空間の状態の変化に関するデータを受信する受信手段と、
    を備え、
    前記仮想空間設定手段は、前記受信手段によって受信された前記変化に関するデータに、前記撮像処理手段によって生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する、情報処理装置。
11. 複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムにおいて、
    前記各情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    前記コンピュータを、
    実空間を前記撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、
    前記撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、
    前記仮想空間設定手段によって設定された仮想空間の状態の変化が検出された場合に、前記他の情報処理装置に前記仮想空間の状態の変化に関するデータを送信する送信手段と、
    前記他の情報処理装置から送信される前記仮想空間の状態の変化に関するデータを受信する受信手段と、
    して機能させ、
    前記仮想空間設定手段は、前記受信手段によって受信された前記変化に関するデータに、前記撮像処理手段によって生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する、情報処理プログラム。
12. 複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムであって、
    前記各情報処理装置は、
    実空間を前記撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、
    前記撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、
    前記他の情報処理装置に前記仮想空間の状態に関するデータを送信する送信手段と、
    前記他の情報処理装置から送信される前記仮想空間の状態に関するデータを受信する受信手段と、
    を備え、
    前記仮想空間設定手段は、前記受信手段によって受信された前記仮想空間の状態に関するデータに、前記撮像処理手段によって生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する、
    情報処理システム。
13. 複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムにおいて、
    前記各情報処理装置が、
    実空間を前記撮像装置によって逐次撮像して撮像画像を生成する撮像処理ステップと、
    前記撮像処理ステップによって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定ステップと、
    前記他の情報処理装置に前記仮想空間の状態に関するデータを送信する送信ステップと、
    前記他の情報処理装置から送信される前記仮想空間の状態に関するデータを受信する受信ステップと、
    前記受信された前記仮想空間の状態に関するデータに、前記撮像処理ステップにおいて生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する実行ステップと、
    を実行する情報処理方法。
14. 実空間を撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、
    前記撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、
    前記他の情報処理装置に前記仮想空間の状態に関するデータを送信する送信手段と、
    前記他の情報処理装置から送信される前記仮想空間の状態に関するデータを受信する受信手段と、
    を備え、
    前記仮想空間設定手段は、前記受信手段によって受信された前記仮想空間の状態に関するデータに、前記撮像処理手段によって生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する、
    情報処理装置。
15. 複数の情報処理装置を含み、各情報処理装置は撮像装置で撮像を実行する情報処理システムにおいて、
    前記各情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    前記コンピュータを、
    実空間を前記撮像装置によって逐次撮像して撮像画像を生成する撮像処理手段と、
    前記撮像処理手段によって生成された撮像画像に含まれる撮像対象物の少なくとも一部
    に基づいて、当該撮像対象物、又は、外観の少なくとも一部が当該撮像対象物と一致する撮像対象物、のいずれかを撮像する他の情報処理装置と共通する仮想空間を設定する仮想空間設定手段と、
    前記他の情報処理装置に前記仮想空間の状態に関するデータを送信する送信手段と、
    前記他の情報処理装置から送信される前記仮想空間の状態に関するデータを受信する受信手段と、
    して機能させ、
    前記仮想空間設定手段は、前記受信手段によって受信された前記仮想空間の状態に関するデータに、前記撮像処理手段によって生成された撮像画像の撮像範囲外の撮像対象物の更新情報と、該更新情報に関連する該撮像画像の撮像範囲内に含まれる撮像対象物の情報とが含まれている場合には、該データに従い、仮想空間に所定の効果を生じさせる処理を実行する、
    情報処理プログラム。

Images