JP6857795B2 - 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法 - Google Patents

Description

本発明は、情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法に関する。

近年、現実空間を撮像して得られる画像と仮想的な情報を表す画像とを合成した画像を、表示部に対して表示させる、所謂、拡張現実（ＡＲ：Augmented Reality）に関する技術が普及しつつある。例えば、特許文献１には、現実空間に設けられたカード等のオブジェクトを撮像して得られる画像と、当該オブジェクトに対応付けられた仮想的なキャラクタ等を示す画像とを合成することで、あたかも、オブジェクト上に仮想的なキャラクタ等が存在するかのような合成画像を生成し、当該合成画像を表示部に対して表示させる技術が開示されている。

特開２０１４−０９３０３４号公報

ところで、従来の技術では、現実空間に設けられたカード等のオブジェクトを撮像し、当該撮像の結果に基づいて、当該オブジェクトに印刷された記号及び図形等の特徴を検出する。そして、当該検出の結果に基づいて、現実空間におけるオブジェクトの位置及び姿勢を特定し、表示部のうち、当該特定の結果に応じた位置に、オブジェクトに対応する仮想的なキャラクタ等を示す画像を表示させる。このため、従来の技術において、仮想的なキャラクタ等を示す画像を、表示部の所望の位置に表示させるためには、現実空間においてオブジェクトを所定の位置に正確に配置する必要があり、オブジェクトを配置するユーザの負担が大きかった。

本発明は、上述した事情を鑑みてなされたものであり、従来技術と比較して、現実空間におけるオブジェクトの配置の手間を削減しつつ、表示部においてオブジェクトに対応する画像を表示することを可能とする技術の提供を、解決課題の一つとする。

以上の課題を解決するために、本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、オブジェクトが配置された現実空間を撮像する第１撮像部の、前記現実空間における位置及び姿勢の少なくとも一方を特定する第１特定部と、前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、前記オブジェクトに対応する第２画像を、前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、して機能させる、ことを特徴とする。

本発明の第１実施形態に係る情報処理システム１の概要の一例を示す説明図である。 合成画像ＧGの一例を示す説明図である。 合成画像ＧGの一例を示す説明図である。 情報処理システム１の構成の一例を示すブロック図である。 情報処理装置１０のハードウェア構成の一例を示すブロック図である。 情報処理装置１０の動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 本発明の第２実施形態に係る情報処理システム１Ａの構成の一例を示すブロック図である。 情報処理装置１０Ａの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 本発明の第３実施形態に係る情報処理システム１Ｂの構成の一例を示すブロック図である。 情報処理装置１０Ｂの動作の一例を示すフローチャートである。 本発明の第４実施形態に係る情報処理システム１Ｃの構成の一例を示すブロック図である。 情報処理装置１０Ｃの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 情報処理装置１０Ｃの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 情報処理装置１０Ｃの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 本発明の第５実施形態に係る情報処理システム１Ｄの構成の一例を示すブロック図である。 情報処理装置１０Ｄの動作の一例を示すフローチャートである。 本発明の変形例１に係る合成画像ＧGの一例を示す説明図である。 本発明の変形例２に係る合成画像ＧGの一例を示す説明図である。

以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

［１．第１実施形態］
以下、本発明の第１実施形態を説明する。

［１．１．情報処理システムの概要］
図１は、本実施形態に係る情報処理システム１の概要の一例を説明するための説明図である。以下、図１を参照しつつ、情報処理システム１の概要の一例を説明する。

本実施形態に係る情報処理システム１は、ゲームを実行するユーザＵ1及びユーザＵ2が存在する現実空間ＳP-Rを撮像し、当該撮像の結果に基づいて、ユーザＵ1及びユーザＵ2がゲームを実行している様子を表示するシステムである。
以下では、ユーザＵ1及びユーザＵ2を区別しない場合には、ユーザＵ1及びユーザＵ2を、ユーザＵqと総称する。ここで、本実施形態において、符号に添えられた添え字ｑは、「１≦ｑ≦２」を満たす自然数であることとする。
なお、本実施形態では、２人のユーザＵ1及びユーザＵ2がゲームを実行する場合を、一例として想定するが、本発明はこのような態様に限定されるものではない。ゲームは、１人以上のユーザにより実行されるものであってもよい。例えば、ゲームは、３人のユーザにより実行されるものであってもよいし、４人のユーザにより実行されるものであってもよい。この場合、添え字ｑは、ゲームを実行するユーザの人数に応じた範囲の自然数であればよい。すなわち、添え字ｑは、１≦ｑ≦３を満たす自然数であってもよいし、１≦ｑ≦４を満たす自然数であってもよいし、更には、１≦ｑを満たす自然数であってもよい。
また、以下では、ユーザＵqに関連する要素については、当該要素を表す符合に対しても、添え字ｑを付して表現する場合がある。

本実施形態では、一例として、現実空間ＳP-Rにおいて、ユーザＵqが存在する部屋の壁ＷL（「背景」の一例）と、ユーザＵqが有するカードＣDq（「オブジェクト」の一例）が配置されるテーブルＴBと、が設けられている場合を想定する。また、本実施形態では、現実空間ＳP-Rのうち予め定められた位置に、所定の模様を有するマーカＭKが設けられている場合を想定する。

また、本実施形態では、一例として、ユーザＵ1及びユーザＵ2が実行するゲームが、ユーザＵ1がテーブルＴBに配置したカードＣD1と、ユーザＵ2がテーブルＴBに配置したカードＣD2とを、対戦させるカードゲームである場合を想定する。
本実施形態に係るカードゲームには、複数種類のカードが存在する。各カードには、当該カードの種類に対応する種類のキャラクタを表す絵柄が印刷されている。
ユーザＵqは、ユーザＵqの有する複数種類のカードの中から、カードＣDqを選択し、当該選択したカードＣDqをテーブルＴBに配置することができる。以下では、カードＣDqに印刷された絵柄により表されるキャラクタを、キャラクタＶqと称する。

本実施形態に係るカードゲームでは、一例として、ユーザＵqに対して予めヒットポイントが割り当てられており、また、カードＣDqに対して予め攻撃力と防御力とが割り当てられている場合を想定する。そして、本実施形態に係るカードゲームでは、一例として、ユーザＵ1がカードＣD1を用いてカードＣD2を攻撃する場合、カードＣD1の有する攻撃力からカードＣD2の有する防御力を減算した減算値を、ユーザＵ2の有するヒットポイントから減算することとする。同様に、本実施形態に係るカードゲームでは、ユーザＵ2がカードＣD2を用いてカードＣD1を攻撃する場合、カードＣD2の有する攻撃力からカードＣD1の有する防御力を減算した減算値を、ユーザＵ1の有するヒットポイントから減算することとする。そして、本実施形態に係るカードゲームでは、一例として、ユーザＵ1が、ユーザＵ2のヒットポイントを「０」以下に減少させた場合、ユーザＵ1はカードゲームにおいて勝利し、ユーザＵ2は敗北することとする。同様に、本実施形態に係るカードゲームでは、ユーザＵ2が、ユーザＵ1のヒットポイントを「０」以下に減少させた場合、ユーザＵ2はカードゲームにおいて勝利し、ユーザＵ1は敗北することとする。なお、ゲームのルールは上記に限られないことは当然であり、カード同士の直接的な攻撃と防御がなされるゲームに限られないこともまた当然である。すなわち、本発明において、ゲームは、ユーザＵqが、カードＣDq等の「オブジェクト」を用いて実行する任意のゲームであればよい。

図１に示すように、情報処理システム１は、情報処理装置１０と、画像を表示するための表示部２１を具備する表示装置２０と、各種情報を記憶する記憶装置３０（図４参照）と、現実空間ＳP-Rを撮像するカメラＣMA（「第１撮像部」の一例）と、現実空間ＳP-Rにおいて、カードＣDqが配置されている領域Ａrqを撮像するためのカメラＣMT（「第２撮像部」の一例）と、を有する。

カメラＣMAは、現実空間ＳP-Rを撮像し、撮像して得られた画像（以下、「撮像画像」と称する場合がある。「第１画像」の一例）を示す撮像データＤAを、周期的に出力する。また、カメラＣMAは、カメラＣMAが被写体を撮像した場合に、カメラＣMAと被写体との間の距離に応じた値を示す深度情報ＤSを、周期的に出力する。すなわち、カメラＣMAは、現実空間ＳP-R内の被写体を撮像することで、被写体の形状、模様、及び、色彩を示す撮像データＤAと、カメラＣMA及び被写体の間の距離に応じた値を示す深度情報ＤSと、を出力する。
本実施形態において、深度情報ＤSは、撮像データＤAの示す撮像画像を構成する複数の画素の各々について、当該画素に対応する被写体の部位とカメラＣMAとの間の距離に応じた値を示す。但し、深度情報ＤSの解像度は、撮像データＤAの解像度より低くてもよい。すなわち、深度情報ＤSは、撮像データＤAの示す撮像画像を構成する複数の画素を、各々が２以上の画素からなる複数の画素ブロックに区分した場合に、撮像データＤAの示す撮像画像を構成する複数の画素ブロックの各々について、当該画素ブロックに対応する被写体の部位とカメラＣMAとの間の距離に応じた値を示してもよい。

なお、本実施形態では、カメラＣMAが、現実空間ＳP-Rにおいて、位置及び向きを変化させることが可能である場合を想定する。
また、本実施形態では、説明の便宜上、現実空間ＳP-Rに固定されたワールド座標系Σ_Ｗと、カメラＣMAに固定されたカメラ座標系Σ_Ｃと、を導入する。
ここで、ワールド座標系Σ_Ｗとは、例えば、現実空間ＳP-Rの所定位置に原点を有し、互いに直交するＸ_Ｗ軸、Ｙ_Ｗ軸、及び、Ｚ_Ｗ軸を有する３軸の直交座標系である。本実施形態では、図１に示すように、＋Ｚ_Ｗ方向が、鉛直上向き方向である場合を、一例として想定する。
また、カメラ座標系Σ_Ｃとは、例えば、カメラＣMA上の所定箇所に原点を有し、互いに直交するＸ_Ｃ軸、Ｙ_Ｃ軸、及び、Ｚ_Ｃ軸を有する３軸の直交座標系である。本実施形態では、図１に示すように、＋Ｚ_Ｃ方向が、カメラＣMAの有する光学系の光軸方向である場合を、一例として想定する。なお、カメラ座標系Σ_Ｃとしては、カメラＣMAからの距離を表す座標軸と、カメラＣMAの有する光学系の光軸方向からの角度を表す座標軸と、を有する極座標系を採用してもよい。

カメラＣMTは、テーブルＴB上の領域Ａrqに配置されたカードＣDqを撮像し、撮像して得られた画像を示す撮像データＤTを、周期的に出力する。

記憶装置３０は、カードデザイン情報、キャラクタ情報、マーカ情報、及び、相対位置情報、を記憶している。ここで、カードデザイン情報とは、カードＣDqに描かれたキャラクタＶqの絵柄に関する情報である。また、キャラクタ情報とは、キャラクタＶqの３次元形状を示す情報である。また、本実施形態において、マーカ情報とは、ワールド座標系Σ_ＷにおけるマーカＭKの位置及び向きと、マーカＭKの形状及び大きさと、を表す情報である。但し、マーカ情報は、少なくとも、ワールド座標系Σ_ＷにおけるマーカＭKの位置及び向きと、マーカＭKの形状のみを表す情報であればよく、マーカＭKの大きさを含まない情報であってもよい。なお、相対位置情報については、後述する。

情報処理装置１０は、表示部２１において表示すべき画像を示す表示データＤoutを生成する処理である、表示データ生成処理を実行する。本実施形態において、表示データ生成処理とは、カメラＣMAから出力される撮像データＤA及び深度情報ＤSと、カメラＣMTから出力される撮像データＤTと、記憶装置３０に記憶されている、カードデザイン情報、キャラクタ情報、マーカ情報、及び、相対位置情報と、に基づいて、表示部２１において表示すべき画像を示す表示データＤoutを生成する処理である。

具体的には、情報処理装置１０は、表示データ生成処理において、撮像データＤT及びカードデザイン情報に基づいて、カードＣDqの種類を特定し、カードＣDqに描かれているキャラクタＶqの種類を特定する。
また、情報処理装置１０は、表示データ生成処理において、撮像データＤA、及び、マーカ情報に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定する（図７参照）。なお、位置を示す符号Ｐ、及び、向きを示す符号Ｒの左上の添え字「Ｗ」は、当該位置及び向きが、ワールド座標系Σ_Ｗにおける位置または向きであることを意味することとする。また、マーカ情報がマーカＭKの大きさを含まない情報である場合、情報処理装置１０は、撮像データＤA及びマーカ情報に加え、深度情報ＤSに基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定すればよい。
また、情報処理装置１０は、表示データ生成処理において、撮像データＤA及び深度情報ＤSと、に基づいて、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑ及び向き^ＣＲ_Ｕｑを特定する（図７参照）。なお、位置を示す符号Ｐ、及び、向きを示す符号Ｒの左上の添え字「Ｃ」は、当該位置及び向きが、カメラ座標系Σ_Ｃにおける位置または向きであることを意味することとする。
そして、情報処理装置１０は、表示データ生成処理において、相対位置情報と、ユーザＵqの位置^ＣＰ_Ｕｑと、に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する（図７参照）。ここで、相対位置情報とは、現実空間ＳP-RにキャラクタＶqが存在すると仮定した場合に、ワールド座標系Σ_Ｗにおいて、ユーザＵqからキャラクタＶqの位置を示すベクトル^ＷＰ_ＵＶｑを示す情報である（図７参照）。本実施形態では、ベクトル^ＷＰ_ＵＶｑが予め定められていることとする。すなわち、本実施形態では、現実空間ＳP-RにキャラクタＶqが存在すると仮定した場合に、現実空間ＳP-Rにおいて、ユーザＵqとキャラクタＶqとが「所定の位置関係」を有するように、キャラクタＶqの位置が定められる場合を想定する。
また、情報処理装置１０は、表示データ生成処理において、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑに基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑを決定する（図７参照）。
そして、情報処理装置１０は、表示データ生成処理において、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑ及び向き^ＣＲ_Ｖｑに基づいて、表示部２１においてキャラクタＶqを表すキャラクタ画像ＧVqの形状を決定する。ここで、キャラクタ画像ＧVqの形状とは、キャラクタ情報の示す３次元形状を有するキャラクタＶqが、カメラ座標系Σ_Ｃにおいて、位置^ＣＰ_Ｖｑに存在し、且つ、向き^ＣＲ_Ｖｑを有している場合に、当該キャラクタＶqを、カメラＣMAから撮像した結果として得られる画像の形状である。
その後、情報処理装置１０は、表示データ生成処理において、撮像データＤAの示す撮像画像と、キャラクタ画像ＧVq等、撮像画像以外の画像である非撮像画像と、を合成した合成画像ＧGを示す表示データＤoutを生成する。なお、本実施形態において、情報処理装置１０は、非撮像画像に対して、キャラクタ画像ＧVqの他に、ユーザＵqのヒットポイントを示すヒットポイント画像ＧHPqを含ませることとする。

図２及び図３は、表示データＤoutに基づく合成画像ＧGが、表示部２１に表示されている様子を例示する図である。
このうち、図２は、現実空間ＳP-Rにおいて、カメラＣMAが、ユーザＵ1及びユーザＵ2の−Ｙ_Ｗ側から、ユーザＵ1及びユーザＵ2を撮像した場合に、表示部２１に表示される合成画像ＧGを示している。
また、図３は、現実空間ＳP-Rにおいて、カメラＣMAが、ユーザＵ1の＋Ｘ_Ｗ側から、ユーザＵ1を撮像した場合に、表示部２１に表示される合成画像ＧGを示している。

上述したように、合成画像ＧGは、撮像データＤAの示す撮像画像と、情報処理装置１０において生成された非撮像画像と、を含む。
図２及び図３に例示されるように、撮像画像は、ユーザＵqを撮像して得られるユーザ画像ＧUqと、壁ＷLを撮像して得られる壁画像ＧWLと、テーブルＴBを撮像して得られるテーブル画像ＧTBと、マーカＭKを撮像して得られるマーカ画像ＧMKとの、一部または全部を含む。また、非撮像画像は、上述のとおり、キャラクタ画像ＧVqと、ヒットポイント画像ＧHPとの、一部または全部を含む。
なお、キャラクタ画像ＧVqは、「第２画像」の一例であり、ユーザ画像ＧUqは、「第３画像」の一例であり、壁画像ＧWLは、「第４画像」の一例である。
本実施形態において、撮像画像は、被写体の形状、模様、及び、色彩を示すが、本発明はこのような態様に限定されるものではない。撮像画像のうちの一部分は、被写体についての、形状、輪郭、色彩、及び、模様のうちの一部のみを示すものであってもよい。例えば、撮像画像のうち、ユーザ画像ＧUq以外の部分については、被写体の形状、模様、及び、色彩を示し、ユーザ画像ＧUqについては、ユーザＵqの骨格等の形状、または、ユーザＵqのシルエット等の輪郭のみを示してもよい。また、ユーザＵｑの全部または一部にモザイクなどの加工を施した画像もユーザ画像ＧUqに含みうる。

以下では、合成画像ＧGにより表現される３次元の仮想的な空間を、「表示空間ＳP-V」と称する。表示空間ＳP-Vは、現実空間ＳP-Rに対して、非撮像画像により表されるキャラクタＶq等の仮想的な物体を付加した空間である。すなわち、表示空間ＳP-Vは、非撮像画像により表されるキャラクタＶq等の仮想的な物体が存在する点を除き、現実空間ＳP-Rと同様の空間である。このため、以下では、説明の便宜上、表示空間ＳP-Vにおける位置及び向きを、ワールド座標系Σ_Ｗを利用して表現することとする。

なお、図２及び図３では、相対位置情報の示すベクトル^ＷＰ_ＵＶ１が、ユーザＵ1から見て−Ｘ_Ｗ方向で、且つ、＋Ｙ_Ｗ方向を向くベクトルである場合を例示している。このため、図２及び図３に例示する合成画像ＧGでは、キャラクタ画像ＧV1のうち、ユーザ画像ＧU1と重なる部分を非表示とすることで、カメラＣMAから見てキャラクタＶ1の手前にユーザＵ1が位置する様子を表現している。
また、図２では、相対位置情報の示すベクトル^ＷＰ_ＵＶ２が、ユーザＵ2から見て＋Ｙ_Ｗ方向を向くベクトルである場合を例示している。このため、図２に例示する合成画像ＧGでは、キャラクタ画像ＧV2のうち、ユーザ画像ＧU2と重なる部分を非表示とすることで、カメラＣMAから見てキャラクタＶ2の手前にユーザＵ2が位置する様子を表現している。

［１．２．情報処理システムの構成］
以下、図４及び図５を参照しつつ、情報処理システム１の構成の一例を説明する。なお、図４は、情報処理システム１の構成の一例を示す機能ブロック図である。また、図５は、情報処理装置１０のハードウェア構成の一例を示す構成図である。

図４に例示するように、情報処理システム１は、上述のとおり、情報処理装置１０と、表示装置２０と、記憶装置３０と、カメラＣMAと、カメラＣMTと、これら複数の構成要素が互いに通信をする際に用いられるネットワークＮwと、を備える。

情報処理装置１０は、情報処理装置１０の各部を制御する制御部１１と、情報処理装置１０の制御プログラムＰRGを含む各種情報を記憶する記憶部１２と、情報処理装置１０の外部装置との間の通信を実行するための通信部１３と、情報処理装置１０の操作者による操作を受け付けるための操作部１４と、光ディスク等の記録媒体から情報を読み込むための情報読込部１５と、を備える。

制御部１１は、表示制御部１１０と、オブジェクト特定部１１５と、カメラ位置特定部１１６と、被写体位置特定部１１７と、を備える。
なお、本実施形態において、カメラ位置特定部１１６は、「第１特定部」の一例であり、オブジェクト特定部１１５は、「第２特定部」の一例である。

オブジェクト特定部１１５は、撮像データＤTに基づいて、カードＣDqに描かれているキャラクタＶqの種類を特定する。すなわち、オブジェクト特定部１１５は、撮像データＤTに基づいて、カードＣDqの種類を特定する。
カメラ位置特定部１１６は、撮像データＤAの示すマーカ画像ＧMKと、マーカ情報と、に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定する。これにより、カメラ座標系Σ_Ｃにおける位置^ＣＰ及び向き^ＣＲと、ワールド座標系Σ_Ｗにおける位置^ＷＰ及び向き^ＷＲと、を相互に変換することが可能な、座標変換式を得ることができる。なお、カメラ位置特定部１１６は、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃのうち、少なくとも一方を特定するものであってもよい。
被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSのうちユーザ画像ＧUqに対応する情報に基づいて、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑ及び向き^ＣＲ_Ｕｑを特定する。

表示制御部１１０は、キャラクタ位置決定部１１１と、重なり抽出部１１２と、遠近判定部１１３と、表示情報生成部１１４と、を備える。

キャラクタ位置決定部１１１は、相対位置情報の示すベクトル^ＷＰ_ＵＶｑと、被写体位置特定部１１７により特定された、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑ及び向き^ＣＲ_Ｕｑと、に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑ及び向き^ＣＲ_Ｖｑを決定する。
重なり抽出部１１２は、合成画像ＧGにおける、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出する。
遠近判定部１１３は、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑと、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑと、に基づいて、ユーザＵq及びキャラクタＶqの何れが、カメラＣMAに近いかを判定する。
表示情報生成部１１４は、撮像データＤAの示す撮像画像と、重なり抽出部１１２における抽出結果と、遠近判定部１１３における判定結果と、に基づいて、合成画像ＧGを示す表示データＤoutを生成する。

図５に示すように、情報処理装置１０は、情報処理装置１０の各部を制御するプロセッサ１０００と、各種情報を記憶するメモリ１００１と、情報処理装置１０の外部に存在する外部装置との通信を行うための通信装置１００２と、情報処理装置１０の操作者による操作を受け付けるための入力操作装置１００３と、記録媒体から情報を読み込むためのディスク装置１００４と、を備える。

メモリ１００１は、例えば、プロセッサ１０００の作業領域として機能するＲＡＭ（Random Access Memory）等の揮発性メモリと、情報処理装置１０の制御プログラムＰRG等の各種情報を記憶するＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリとを含み、記憶部１２としての機能を提供する。
プロセッサ１０００は、例えば、ＣＰＵ（Central Processing Unit）であり、メモリ１００１に記憶された制御プログラムＰRGを実行し、当該制御プログラムＰRGに従って動作することで、制御部１１として機能する。
通信装置１００２は、ネットワークＮwを介して、情報処理装置１０の外部に存在する外部装置との通信を行うためのハードウェアであり、通信部１３としての機能を提供する。
入力操作装置１００３は、例えば、操作ボタンであり、情報処理装置１０の操作者の操作を受け付ける操作部１４としての機能を提供する。入力操作装置１００３は、例えば、操作ボタン、タッチパネル、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、１または複数の機器から構成されるものであってもよい。
ディスク装置１００４は、例えば、光ディスク装置であり、光ディスク等の記録媒体に記録された制御プログラムＰRG等の各種情報を読み込む情報読込部１５としての機能を提供する。

なお、プロセッサ１０００は、ＣＰＵに加え、または、ＣＰＵに替えて、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、または、ＦＰＧＡ（Field Programmable Gate Array）、等の、ハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ１０００により実現される制御部１１の一部または全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

［１．３．情報処理装置の動作］
図６及び図７を参照しつつ、情報処理装置１０が表示データ生成処理を実行する場合における、当該情報処理装置１０の動作の一例を説明する。なお、図６は、情報処理装置１０が表示データ生成処理を実行する場合における、当該情報処理装置１０の動作の一例を示すフローチャートである。また、図７は、＋Ｚ_Ｗ側から表示空間ＳP-Vを見た場合における、ユーザＵq、壁ＷL、キャラクタＶq、及び、カメラＣMA等の、表示空間ＳP-Vに存在する各種物体の位置関係を説明するための説明図である。なお、本実施形態では、一例として、情報処理装置１０の操作者等により、表示データ生成処理を開始させる旨を指示する操作が操作部１４から入力された場合に、情報処理装置１０が、図６に示す表示データ生成処理を開始させる場合を想定する。

図６に示すように、オブジェクト特定部１１５は、表示データ生成処理において、カメラＣMTから出力される撮像データＤTに基づいて、カードＣDqの種類を特定する（Ｓ１００）。
具体的には、オブジェクト特定部１１５は、ステップＳ１００において、撮像データＤTの示すカードＣDqに描かれた絵柄と、カードデザイン情報の示すキャラクタＶqの絵柄と、に基づいて、カードＣDqに描かれているキャラクタＶqの種類を特定することで、カードＣDqの種類を特定する。

なお、オブジェクト特定部１１５は、ステップＳ１００において、撮像データＤT以外の情報に基づいて、カードＣDqの種類を特定してもよい。
例えば、カードＣDqが無線通信機能を有する場合、オブジェクト特定部１１５は、当該カードＣDqから受信した、カードＣDqの種類を識別するための情報に基づいて、カードＣDqの種類を特定してもよい。また、オブジェクト特定部１１５は、例えば、カメラＣMAから出力される撮像データＤAに基づいて、カードＣDqの種類を特定してもよい。この場合、オブジェクト特定部１１５は、撮像データＤAに加えて、深度情報ＤSに基づいて、カードＣDqの種類を特定してもよい。

カメラ位置特定部１１６は、表示データ生成処理において、撮像データＤAに基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定する（Ｓ１０２）。
具体的には、カメラ位置特定部１１６は、ステップＳ１０２において、まず、撮像データＤAに基づいて、図７に示す、カメラ座標系Σ_ＣにおけるマーカＭKの位置^ＣＰ_Ｍ及び向き^ＣＲ_Ｍを特定する。次に、カメラ位置特定部１１６は、カメラ座標系Σ_ＣにおけるマーカＭKの位置^ＣＰ_Ｍ及び向き^ＣＲ_Ｍと、マーカ情報の示す、ワールド座標系Σ_ＷにおけるマーカＭKの位置^ＷＰ_Ｍ及び向き^ＷＲ_Ｍと、に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定する（図７参照）。
なお、カメラ位置特定部１１６は、ステップＳ１０２において、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃのうち、少なくとも一方を特定するものであってもよい。

また、カメラ位置特定部１１６は、ステップＳ１０２において、撮像データＤA以外の情報に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定してもよい。
例えば、カメラＣMTがカメラＣMAを撮像する場合、カメラ位置特定部１１６は、カメラＣMTによる撮像結果を示す撮像データＤTに基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定してもよい。
また、例えば、カメラＣMAは、地磁気センサ、加速度センサ、及び、角速度センサ等の、各種センサを備えていてもよい。この場合、カメラ位置特定部１１６は、各種センサからの出力に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃの変化量を特定してもよい。一例として、カメラ位置特定部１１６は、加速度センサの出力、及び、地磁気センサの出力に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃの変化を算出し、また、角速度センサの出力に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの向き^ＷＲ_Ｃの変化を算出してもよい。そして、カメラ位置特定部１１６が、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃの変化量を特定可能な場合、ある時刻において、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定できれば、それ以降の時刻においても、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定することができる。このため、カメラ位置特定部１１６が、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃの変化量を特定可能であれば、カメラＣMAがマーカＭKを撮像していない期間が存在する場合、または、カメラＣMTがカメラＣMAを撮像していない期間が存在する場合であっても、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定することができる。
また、例えば、カメラＣMAは、ＧＰＳ（Global Positioning System）衛星等の位置情報衛星から出力される位置情報信号、または、現実空間ＳP-Rに設けられた信号発信機（例えば、屋内ＧＰＳ）から出力される位置情報信号、等を受信する、信号受信部を有していてもよい。この場合、カメラ位置特定部１１６は、信号受信部の受信した位置情報信号に基づいて、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃを特定してもよい。

被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図７に示す、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑを特定する（Ｓ１０４）。また、被写体位置特定部１１７は、ステップＳ１０４において、撮像データＤA及び深度情報ＤSに基づいて、カメラＣMAの被写体のうち、ユーザＵq以外の被写体の位置を特定してもよい。例えば、被写体位置特定部１１７は、ステップＳ１０４において、撮像データＤA及び深度情報ＤSに基づいて、カメラ座標系Σ_Ｃにおける壁ＷLの位置を特定してもよい。

被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図７に示す、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑを特定する（Ｓ１０６）。また、被写体位置特定部１１７は、ステップＳ１０６において、撮像データＤA及び深度情報ＤSに基づいて、カメラＣMAの被写体のうち、ユーザＵq以外の被写体の形状を特定してもよい。例えば、被写体位置特定部１１７は、ステップＳ１０６において、撮像データＤA及び深度情報ＤSに基づいて、カメラ座標系Σ_Ｃにおける壁ＷLの形状を特定してもよい。なお、上述のとおり、深度情報ＤSは、カメラＣMAが被写体を撮像した場合に、被写体の撮像結果を示す複数の画素または複数の画素ブロックについて、当該画素または画素ブロックに対応する被写体の部位とカメラＣMAとの距離に応じた値を示す。このため、被写体位置特定部１１７は、カメラＣMAの被写体として、壁ＷL等の物体が含まれる場合には、深度情報ＤSに基づいて、当該物体の形状を特定することができ、また、カメラＣMAの被写体として、ユーザＵq等の人物が含まれる場合には、深度情報ＤSに基づいて、当該人物の姿勢を特定することができる。ここで、人物の姿勢とは、人物の向き、及び、人物の体勢等を含む概念である。

キャラクタ位置決定部１１１は、図７に示す、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する（Ｓ１０８）。
具体的には、キャラクタ位置決定部１１１は、ステップＳ１０８において、ステップＳ１０２で特定された、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃに基づいて、相対位置情報の示すベクトル^ＷＰ_ＵＶｑを、カメラ座標系Σ_Ｃにおいて表現したベクトル^ＣＰ_ＵＶｑに変換する。次に、キャラクタ位置決定部１１１は、ベクトル^ＣＰ_ＵＶｑと、ステップＳ１０４で特定されたユーザＵqの位置^ＣＰ_Ｕｑと、に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する。
なお、キャラクタ位置決定部１１１は、ステップＳ１０８において、次のように、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定してもよい。すなわち、キャラクタ位置決定部１１１は、ステップＳ１０８において、まず、ステップＳ１０２で特定された、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃに基づいて、ステップＳ１０４で特定されたカメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑを、ワールド座標系Σ_Ｗで表現した位置^ＷＰ_Ｕｑに変換する。次に、キャラクタ位置決定部１１１は、ワールド座標系Σ_ＷにおけるユーザＵqの位置^ＷＰ_Ｕｑと、相対位置情報の示すワールド座標系Σ_Ｗにおけるベクトル^ＷＰ_ＵＶｑとに基づいて、ワールド座標系Σ_ＷにおけるキャラクタＶqの位置^ＷＰ_Ｖｑを決定する。その後、キャラクタ位置決定部１１１は、ワールド座標系Σ_ＷにおけるキャラクタＶqの位置^ＷＰ_Ｖｑを、カメラ座標系Σ_Ｃで表現した位置^ＣＰ_Ｖｑに変換する。

キャラクタ位置決定部１１１は、図７に示す、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑを決定する（Ｓ１１０）。
具体的には、キャラクタ位置決定部１１１は、ステップＳ１１０において、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑと、ステップＳ１０６で特定されたユーザＵqの向き^ＣＲ_Ｕｑとが、同一の向きとなるように、キャラクタＶqの向き^ＣＲ_Ｖｑを決定する。但し、キャラクタ位置決定部１１１は、ステップＳ１１０において、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑと、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑとが、所定の角度以下となるように、キャラクタＶqの向き^ＣＲ_Ｖｑを決定してもよい。

キャラクタ位置決定部１１１は、表示空間ＳP-Vにおける、キャラクタＶqと壁ＷLとの相対的な位置関係に基づいて、キャラクタＶqの位置^ＣＰ_Ｖｑを調整する（Ｓ１１２）。
具体的には、キャラクタ位置決定部１１１は、ステップＳ１１２において、ベクトル^ＣＰ_ＵＶｑの延長線上における、キャラクタＶqと壁ＷLとの間の距離ＬVEが、所定の距離以上であり、且つ、ユーザＵqから見て、キャラクタＶqが壁ＷLよりも手前側に位置しているという条件（以下、「キャラクタ位置条件」が充足されるか否かを判定する。そして、キャラクタ位置決定部１１１は、当該判定の結果が肯定の場合、キャラクタＶqの位置^ＣＰ_Ｖｑを変更せずに維持する。他方、キャラクタ位置決定部１１１は、当該判定の結果が否定の場合、キャラクタＶqを、キャラクタ位置条件が満たされるまで、ベクトル^ＣＰ_ＵＶｑとは反対方向に移動させることで、キャラクタＶqの位置^ＣＰ_Ｖｑを調整する。

重なり抽出部１１２は、ユーザＵqを示すユーザ画像ＧUqと、キャラクタＶqを示すキャラクタ画像ＧVqとの、重なり部分を抽出する（Ｓ１１４）。
具体的には、重なり抽出部１１２は、ステップＳ１１４において、撮像データＤAに基づいて、合成画像ＧGにおいて、ユーザＵqを表すユーザ画像ＧUqを配置する。また、重なり抽出部１１２は、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑ及び向き^ＣＲ_Ｖｑと、キャラクタ情報の示すキャラクタＶqの３次元形状と、に基づいて、合成画像ＧGにおいて、キャラクタＶqを表すキャラクタ画像ＧVqを配置する。そして、重なり抽出部１１２は、合成画像ＧGに配置されたユーザ画像ＧUq及びキャラクタ画像ＧVqの重なり部分を抽出する。

遠近判定部１１３は、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑと、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑと、に基づいて、ユーザＵqがキャラクタＶqよりもカメラＣMAに近いか否かを判定する（Ｓ１１６）。

表示情報生成部１１４は、撮像データＤAの示す撮像画像と、キャラクタ画像ＧVq等の非撮像画像とを、ステップＳ１１４及びＳ１１６の結果に応じて合成することで、合成画像ＧGを示す表示データＤoutを生成する（Ｓ１１８）。
具体的には、表示情報生成部１１４は、ステップＳ１１８において、ステップＳ１１６の判定の結果が肯定の場合、キャラクタ画像ＧVqのうち、ステップＳ１１４で抽出された重なり部分を非表示とした上で、撮像画像の上に、キャラクタ画像ＧVqと、ヒットポイント画像ＧHPとを表示させることで、合成画像ＧGを生成する。
他方、表示情報生成部１１４は、ステップＳ１１８において、ステップＳ１１６の判定の結果が否定の場合、撮像画像の上に、キャラクタ画像ＧVqと、ヒットポイント画像ＧHPとを表示させることで、合成画像ＧGを生成する。この場合、ユーザ画像ＧUqは、ユーザ画像ＧUqのうち、ステップＳ１１４で抽出された重なり部分が非表示とされた上で、合成画像ＧGに表示されることになる。

表示情報生成部１１４は、情報処理装置１０の操作者等により、表示データ生成処理を終了させる旨を指示する操作が、操作部１４から入力されたか否かを判定する（Ｓ１２０）。そして、表示情報生成部１１４は、ステップＳ１２０における判定の結果が肯定の場合、図６に示す表示データ生成処理を終了させる。他方、表示情報生成部１１４は、ステップＳ１２０における判定の結果が否定の場合、処理をステップＳ１００に進める。

［１．４．第１実施形態の結論］
以上において説明したように、本実施形態によれば、合成画像ＧGの表す表示空間ＳP-Vにおいて、ユーザＵqから見てキャラクタＶqがベクトル^ＣＰ_ＵＶｑにより定められる位置に配置される。
このため、本実施形態によれば、ユーザＵqを表すユーザ画像ＧUqと、キャラクタＶqを表すユーザ画像ＧUqとを、関連付けて表示することができる。これにより、本実施形態によれば、情報処理システム１により、ユーザＵ1及びユーザＵ2がカードゲームを実行している様子を表示部２１に表示させる場合に、表示部２１に表示される合成画像ＧGにおいて、カードゲームの臨場感を演出することができる。

また、本実施形態によれば、合成画像ＧGにおける、キャラクタＶqを表すキャラクタ画像ＧVqの表示位置が、カメラ位置特定部１１６による、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃの特定結果と、被写体位置特定部１１７による、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑ及び向き^ＣＲ_Ｕｑの特定結果と、に基づいて決定される。すなわち、本実施形態によれば、合成画像ＧGにおける、キャラクタＶqを表すキャラクタ画像ＧVqの表示位置が、カードＣDqの配置位置及び向きとは関係なく定められる。
このため、本実施形態によれば、キャラクタＶqを表すキャラクタ画像ＧVqの表示位置が、カードＣDqの配置位置及び向きの影響を受ける場合と比較して、合成画像ＧGにおける、キャラクタ画像ＧVqの表示位置を容易に調整することが可能となる。

また、本実施形態によれば、合成画像ＧGにおけるキャラクタ画像ＧVqの表示位置及び形状が、カードＣDqの配置位置及び向きとは関係なく定められる。
このため、本実施形態によれば、合成画像ＧGにおけるキャラクタ画像ＧVqの表示位置及び形状が、カードＣDqの配置位置及び向きに基づいて定められる場合と比較して、ユーザＵqによるカードＣDqの配置の手間を低減することができる。

また、本実施形態によれば、カードＣDqに、カードＣDqの向きを特定するためのマーカを印刷する必要が無い。
このため、本実施形態によれば、合成画像ＧGにおけるキャラクタ画像ＧVqの表示位置及び表示形状が、カードＣDqの配置位置及び向きに基づいて定められる場合と比較して、カードＣDqのデザインの自由度を向上させることができる。

［２．第２実施形態］
以下、本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態は、ワールド座標系Σ_ＷにおけるユーザＵqの位置及び向きが予め定められている点と、ワールド座標系Σ_ＷにおけるキャラクタＶqの位置及び向きが予め定められている点と、において、第１実施形態と相違する。

図８は、第２実施形態に係る情報処理システム１Ａの構成の一例を示す機能ブロック図である。情報処理システム１Ａは、制御部１１を具備する情報処理装置１０の代わりに、制御部１１Ａを具備する情報処理装置１０Ａを備える点を除き、図４に示す第１実施形態に係る情報処理システム１と同様に構成されている。制御部１１Ａは、キャラクタ位置決定部１１１を具備する表示制御部１１０の代わりに、キャラクタ位置決定部１１１Ａを具備する表示制御部１１０Ａを備える点と、被写体位置特定部１１７を具備しない点と、を除き、図４に示す第１実施形態に係る制御部１１と同様に構成されている。

また、本実施形態において、記憶装置３０は、カードデザイン情報、キャラクタ情報、及び、マーカ情報に加えて、ワールド座標系Σ_ＷにおけるユーザＵqの位置^ＷＰ_Ｕｑ及び向き^ＷＲ_Ｕｑを示すユーザ位置情報と、ワールド座標系Σ_ＷにおけるキャラクタＶqの位置^ＷＰ_Ｖｑ及び向き^ＷＲ_Ｖｑを示すキャラクタ位置情報と、を記憶していることとする（図１０参照）。ここで、ユーザ位置情報とは、例えば、ユーザＵqが着席する席の位置及び向きを、ワールド座標系Σ_Ｗにおいて表した情報であってもよい。また、キャラクタ位置情報とは、例えば、ユーザＵqが着席する席の後方または上方の位置と当該席の向きを、ワールド座標系Σ_Ｗにおいて表した情報であってもよい。なお、本実施形態において、記憶装置３０は、相対位置情報を記憶していなくてもよい。
また、本実施形態において、カメラＣMAは、少なくとも撮像データＤAを出力すればよく、深度情報ＤSを出力しなくてもよい。

図９及び図１０を参照しつつ、情報処理装置１０Ａが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ａの動作の一例を説明する。なお、図９は、情報処理装置１０Ａが表示データ生成処理を実行する場合における、情報処理装置１０Ａの動作の一例を示すフローチャートである。また、図１０は、＋Ｚ_Ｗ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。

図９に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１０４、Ｓ１０６、及び、Ｓ１１２の処理を実行しない点と、ステップＳ１０８及びＳ１１０に代えて、ステップＳ２００及びＳ２０２の処理を実行する点と、を除き、図６に示す第１実施形態に係る表示データ生成処理と同様の処理である。

図９に示すように、表示データ生成処理が開始されると、オブジェクト特定部１１５が、カードＣDqの種類を特定し（Ｓ１００）、カメラ位置特定部１１６が、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定する（Ｓ１０２）。
そして、キャラクタ位置決定部１１１Ａは、図１０に示すように、キャラクタ位置情報の示す、ワールド座標系Σ_ＷにおけるキャラクタＶqの位置^ＷＰ_Ｖｑと、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃと、基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを特定する（Ｓ２００）。
また、キャラクタ位置決定部１１１Ａは、図１０に示すように、キャラクタ位置情報の示す、ワールド座標系Σ_ＷにおけるキャラクタＶqの向き^ＷＲ_Ｖｑと、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃと、基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑを特定する（Ｓ２０２）。
その後、重なり抽出部１１２が、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出し（Ｓ１１４）、遠近判定部１１３が、カメラＣMAから見たユーザＵq及びキャラクタＶqの遠近を判定し（Ｓ１１６）、表示情報生成部１１４が、合成画像ＧGを示す表示データＤoutを生成し（Ｓ１１８）、表示情報生成部１１４が、表示データ生成処理の終了を判定する（Ｓ１２０）。

以上のように、本実施形態によれば、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃに基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑ及び向き^ＣＲ_Ｖｑを特定する。このため、本実施形態によれば、カメラＣMAの位置または向きに関わらず、キャラクタＶqとユーザＵqとを関連付けて表示することができる。

［３．第３実施形態］
以下、本発明の第３実施形態を説明する。
第３実施形態は、カメラＣMTから出力される撮像データＤTを用いることなく、キャラクタ画像ＧVqにより表されるキャラクタＶqの種類が指定される点において、第２実施形態と相違する。

図１１は、第３実施形態に係る情報処理システム１Ｂの構成の一例を示す機能ブロック図である。情報処理システム１Ｂは、制御部１１Ａを具備する情報処理装置１０Ａの代わりに、制御部１１Ｂを具備する情報処理装置１０Ｂを備える点と、カメラＣMTを備えない点と、を除き、図８に示す第２実施形態に係る情報処理システム１Ａと同様に構成されている。制御部１１Ｂは、キャラクタ位置決定部１１１Ａを具備する表示制御部１１０Ａの代わりに、キャラクタ位置決定部１１１Ｂを具備する表示制御部１１０Ｂを備える点と、オブジェクト特定部１１５を具備しない点と、を除き、図８に示す第２実施形態に係る制御部１１Ａと同様に構成されている。
本実施形態において、記憶装置３０は、キャラクタ情報、マーカ情報、ユーザ位置情報、及び、キャラクタ位置情報、を記憶している。すなわち、本実施形態において、記憶装置３０は、カードデザイン情報と、相対位置情報とを記憶していなくてもよい。
また、本実施形態において、カメラＣMAは、少なくとも撮像データＤAを出力すればよく、深度情報ＤSを出力しなくてもよい。

図１２は、情報処理装置１０Ｂが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ｂの動作の一例を示すフローチャートである。
図１２に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１００の処理を実行しない点と、ステップＳ３００の処理を実行する点と、を除き、図９に示す第２実施形態に係る表示データ生成処理と同様の処理である。

図１２に示すように、表示データ生成処理が開始されると、カメラ位置特定部１１６が、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定し（Ｓ１０２）、キャラクタ位置決定部１１１Ｂが、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを特定し（Ｓ２００）、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑを特定する（Ｓ２０２）。
その後、キャラクタ位置決定部１１１Ｂは、キャラクタＶqの種類を決定し、当該決定した種類のキャラクタＶqに対応するキャラクタ情報に基づいて、キャラクタＶqの３次元形状を決定する（Ｓ３００）。なお、キャラクタ位置決定部１１１Ｂは、ステップＳ３００において、キャラクタＶqの種類を、例えば、情報処理装置１０Ｂの操作者が、操作部１４を用いて入力した情報に基づいて決定してもよい。または、キャラクタ位置決定部１１１Ｂが、ステップＳ３００において決定するキャラクタＶqの種類は、予め記憶装置３０に記憶されていてもよい。
その後、重なり抽出部１１２が、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出し（Ｓ１１４）、遠近判定部１１３が、カメラＣMAから見たユーザＵq及びキャラクタＶqの遠近を判定し（Ｓ１１６）、表示情報生成部１１４が、合成画像ＧGを示す表示データＤoutを生成し（Ｓ１１８）、表示情報生成部１１４が、表示データ生成処理の終了を判定する（Ｓ１２０）。

以上のように、本実施形態によれば、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃに基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑ及び向き^ＣＲ_Ｖｑを特定する。このため、本実施形態によれば、カメラＣMAの位置または向きに関わらず、キャラクタＶqとユーザＵqとを関連付けて表示することができる。

［４．第４実施形態］
以下、本発明の第４実施形態を説明する。

第４実施形態は、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを特定することなく、合成画像ＧGにおける、キャラクタ画像ＧVqの表示位置を決定する点において、第１実施形態と相違する。

図１３は、第４実施形態に係る情報処理システム１Ｃの構成の一例を示す機能ブロック図である。情報処理システム１Ｃは、制御部１１を具備する情報処理装置１０の代わりに、制御部１１Ｃを具備する情報処理装置１０Ｃを備える点を除き、図４に示す第１実施形態に係る情報処理システム１と同様に構成されている。制御部１１Ｃは、キャラクタ位置決定部１１１を具備する表示制御部１１０の代わりに、キャラクタ位置決定部１１１Ｃを具備する表示制御部１１０Ｃを備える点と、カメラ位置特定部１１６を具備しない点と、を除き、図４に示す第１実施形態に係る制御部１１と同様に構成されている。

本実施形態において、記憶装置３０は、カードデザイン情報と、キャラクタ情報と、を記憶している。すなわち、本実施形態において、記憶装置３０は、マーカ情報と、相対位置情報とを記憶していなくてもよい。また、本実施形態において、現実空間ＳP-Rには、マーカＭKを設けなくてもよい。

図１４及び図１５を参照しつつ、情報処理装置１０Ｃが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の一例を説明する。なお、図１４は、情報処理装置１０Ｃが表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の一例を示すフローチャートである。また、図１５は、＋Ｚ_Ｗ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。

図１４に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１０２の処理を実行しない点と、ステップＳ４００の処理を実行する点と、ステップＳ１０８の処理に代えて、ステップＳ４０２の処理を実行する点と、を除き、図６に示す第１実施形態に係る表示データ生成処理と同様の処理である。

図１４に示すように、表示データ生成処理が開始されると、オブジェクト特定部１１５が、カードＣDqの種類を特定する（Ｓ１００）。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１５に示す、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑを特定する（Ｓ１０４）。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１５に示す、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑを特定する（Ｓ１０６）。
そして、キャラクタ位置決定部１１１Ｃは、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑに基づいて、ユーザＵqから見たキャラクタＶqの位置を示すベクトル^ＣＰ_ＵＶｑを決定する（Ｓ４００）。具体的には、キャラクタ位置決定部１１１Ｃは、ステップＳ４００において、図１５に示すように、向き^ＣＲ_Ｕｑとベクトル^ＣＰ_ＵＶｑとのなす角度が、角度θ_Ａとなるように、ベクトル^ＣＰ_ＵＶｑを決定する。
更に、キャラクタ位置決定部１１１Ｃは、ステップＳ１０４で特定したカメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑと、ステップＳ４００で決定したベクトル^ＣＰ_ＵＶｑと、に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する（Ｓ４０２）。
その後、キャラクタ位置決定部１１１Ｃが、カメラ座標系Σ_ＣにおけるキャラクタＶqの向き^ＣＲ_Ｖｑを決定し（Ｓ１１０）、キャラクタ位置決定部１１１Ｃが、表示空間ＳP-Vにおける、キャラクタＶqと壁ＷLとの相対的な位置関係に基づいて、キャラクタＶqの位置^ＣＰ_Ｖｑを調整し（Ｓ１１２）、重なり抽出部１１２が、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出し（Ｓ１１４）、遠近判定部１１３が、カメラＣMAから見たユーザＵq及びキャラクタＶqの遠近を判定し（Ｓ１１６）、表示情報生成部１１４が、合成画像ＧGを示す表示データＤoutを生成し（Ｓ１１８）、表示情報生成部１１４が、表示データ生成処理の終了を判定する（Ｓ１２０）。

以上のように、本実施形態によれば、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑの特定結果に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する。このため、本実施形態によれば、カメラＣMAの位置または向き、及び、ユーザＵqの位置または向きに関わらず、キャラクタＶqとユーザＵqとを関連付けて表示することができる。

なお、本実施形態において、キャラクタ位置決定部１１１Ｃは、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑの特定結果に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定するが、本発明はこのような態様に限定されるものではない。
例えば、図１６及び図１７に示すように、ユーザＵ1及びユーザＵ2の相対的な位置関係に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定してもよい。なお、図１６は、情報処理装置１０Ｃが表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の他の例を示すフローチャートである。図１６に示す表示データ生成処理は、ステップＳ４００の代わりに、ステップＳ４０４の処理を実行する点を除き、図１４に示す表示データ生成処理と同様の処理である。また、図１７は、＋Ｚ_Ｗ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。

図１６に示すように、表示データ生成処理が開始されると、オブジェクト特定部１１５が、カードＣDqの種類を特定する（Ｓ１００）。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１７に示す、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑを特定する（Ｓ１０４）。なお、図１６及び図１７に示す例では、被写体位置特定部１１７は、ステップＳ１０４において、ユーザＵ1の位置^ＣＰ_Ｕ１と、ユーザＵ2の位置^ＣＰ_Ｕ２と、の両方を特定することとする。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１７に示す、カメラ座標系Σ_ＣにおけるユーザＵqの向き^ＣＲ_Ｕｑを特定する（Ｓ１０６）。
そして、キャラクタ位置決定部１１１Ｃは、図１７に示すように、カメラ座標系Σ_Ｃにおいて、ユーザＵ1及びユーザＵ2の相対的な位置関係を示すベクトル^ＣＰ_ＵＵに基づいて、ユーザＵqから見たキャラクタＶqの位置を示すベクトル^ＣＰ_ＵＶｑを決定する（Ｓ４０４）。具体的には、キャラクタ位置決定部１１１Ｃは、ステップＳ４０４において、まず、ユーザＵ1の位置^ＣＰ_Ｕ１と、ユーザＵ2の位置^ＣＰ_Ｕ２と、に基づいて、カメラ座標系Σ_Ｃにおいて、ユーザＵqから他のユーザＵの位置を示すベクトル^ＣＰ_ＵＵを算出する。次に、キャラクタ位置決定部１１１Ｃは、ベクトル^ＣＰ_ＵＵとベクトル^ＣＰ_ＵＶｑとのなす角度が、角度θ_Ｂとなるように、ベクトル^ＣＰ_ＵＶｑを決定する。
その後、キャラクタ位置決定部１１１Ｃが、ユーザＵqの位置^ＣＰ_Ｕｑと、ベクトル^ＣＰ_ＵＶｑと、に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する（Ｓ４０２）。

また、他の例としては、図１８及び図１９に示すように、ユーザＵqの位置に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定してもよい。なお、図１８は、情報処理装置１０Ｃが表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の第３の例を示すフローチャートである。図１８に示す表示データ生成処理は、ステップＳ４００の代わりに、ステップＳ４０６の処理を実行する点を除き、図１４に示す表示データ生成処理と同様の処理である。また、図１９は、＋Ｚ_Ｗ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。

図１８及び図１９に示すように、キャラクタ位置決定部１１１Ｃは、カメラ座標系Σ_ＣにおけるユーザＵqの位置^ＣＰ_Ｕｑに基づいて、ユーザＵqから見たキャラクタＶqの位置を示すベクトル^ＣＰ_ＵＶｑを決定する（Ｓ４０６）。具体的には、キャラクタ位置決定部１１１Ｃは、ステップＳ４０６において、位置^ＣＰ_Ｕｑの示す方向と、ベクトル^ＣＰ_ＵＶｑとのなす角度が、角度θ_Ｃとなるように、ベクトル^ＣＰ_ＵＶｑを決定する。
その後、キャラクタ位置決定部１１１Ｃは、ユーザＵqの位置^ＣＰ_Ｕｑと、ベクトル^ＣＰ_ＵＶｑと、に基づいて、カメラ座標系Σ_ＣにおけるキャラクタＶqの位置^ＣＰ_Ｖｑを決定する（Ｓ４０２）。

［５．第５実施形態］
以下、本発明の第５実施形態を説明する。

第５実施形態は、カメラＣMTから出力される撮像データＤTを用いることなく、キャラクタ画像ＧVqにより表されるキャラクタＶqの種類が指定される点において、第４実施形態と相違する。

図２０は、第５実施形態に係る情報処理システム１Ｄの構成の一例を示す機能ブロック図である。情報処理システム１Ｄは、制御部１１Ｃを具備する情報処理装置１０Ｃの代わりに、制御部１１Ｄを具備する情報処理装置１０Ｄを備える点と、カメラＣMTを備えない点と、を除き、図１３に示す第４実施形態に係る情報処理システム１Ｃと同様に構成されている。制御部１１Ｄは、キャラクタ位置決定部１１１Ｃを具備する表示制御部１１０Ｃの代わりに、キャラクタ位置決定部１１１Ｄを具備する表示制御部１１０Ｄを備える点と、オブジェクト特定部１１５を具備しない点と、を除き、図１４に示す第４実施形態に係る制御部１１Ｃと同様に構成されている。
本実施形態において、記憶装置３０は、カードデザイン情報と、キャラクタ情報と、を記憶している。また、本実施形態において、現実空間ＳP-Rには、マーカＭKを設けなくてもよい。

図２１は、情報処理装置１０Ｄが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ｄの動作の一例を示すフローチャートである。
図２１に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１００の処理を実行しない点と、ステップＳ３００の処理を実行する点と、を除き、図１４に示す第４実施形態に係る表示データ生成処理と同様の処理である。すなわち、キャラクタ位置決定部１１１Ｄは、ステップＳ４００、Ｓ４０２、Ｓ１１０、Ｓ１１２、及び、Ｓ３００の処理を実行する。但し、キャラクタ位置決定部１１１Ｄは、ステップＳ４００に代えて、ステップＳ４０４、または、ステップＳ４０６の処理を実行してもよい。

［６．変形例］
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

［変形例１］
上述した第１乃至第５実施形態において、表示空間ＳP-VにおけるキャラクタＶqの位置^ＷＰ_Ｖｑは、一定の位置、または、ユーザＵqの位置^ＷＰ_Ｕｑ若しくは向き^ＷＲ_Ｕｑに応じた位置となるが、本発明はこのような態様に限定されるものではない。表示空間ＳP-VにおけるキャラクタＶqの位置^ＷＰ_Ｖｑは、カードゲームの進行に応じて変化してもよいし、または、ユーザＵqの動作に応じて変化してもよい。

例えば、ユーザＵ1がカードＣD1を用いてユーザＵ2のカードＣD2を攻撃する場合、ユーザＵ1のカードＣD1がユーザＵ2のカードＣD2により攻撃を受けている場合、または、ユーザＵ1が所定の動作をした場合に、表示空間ＳP-Vにおいて、キャラクタＶ1を、図２に示すようなユーザＵ1の背後の位置から、図２２に示すようなユーザＵ1の前方の位置へと移動させてもよい。ここで、ユーザＵ1の所定の動作とは、例えば、カードＣD1でカードＣD2を攻撃することを示す動作であってもよい。カードＣD1でカードＣD2を攻撃することを示すユーザＵ1の動作とは、例えば、ユーザＵ1がカードＣD1を指差した後にカードＣD2を指差す動作であってもよいし、ユーザＵ1がカードＣD1をカードＣD2に重ねる動作であってもよいし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。また、ユーザＵ１とユーザＵ２のカードがそれぞれ１枚ずつ、合計２枚しかテーブルＴＢに配置されていない場合など、カードを指定せずとも攻撃指示であることが明らかな場合は、自陣領域として設定される領域の任意の場所を指差す動作をした後、相手陣領域として設定される領域の任意の場所を指差す動作をするという一連の動作であってもよい。すなわち、ユーザの意図が明らかであれば必ずしもカードを指差す動作でなくともよい。また、ユーザＵ1の所定の動作とは、例えば、ゲームにおける所定の効果を発動するための動作であってもよい。ここで、ゲームにおける所定の効果とは、例えば、カードＣD1の攻撃力を増大させる効果であってもよいし、カードＣD1の防御力を増大させる効果であってもよいし、カードＣD2の攻撃力を削減させる効果であってもよい。すなわち、ゲームにおける所定の効果とは、例えば、ユーザＵ1にとって、ゲームの進行が有利になる効果のような、ゲームの進行に関する効果であってもよい。ゲームにおける所定の効果を発動するためのユーザＵ1の動作とは、例えば、ユーザＵ1が、ユーザＵ1の有するカードＣD1以外の他のカードをカードＣD1に重ねる動作であってもよいし、ユーザＵ1が、カードＣD1を他のカードに重ねる動作であってもよし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。また、ユーザＵ1の所定の動作とは、例えば、カードＣD1のゲームにおける役割を変更する動作であってもよい。ここで、カードＣD1のゲームにおける役割とは、例えば、カードＣD1がカードＣD2を攻撃するという役割、及び、カードＣD1がカードＣD2による攻撃からカードＣD1またはユーザＵ1を防御するという役割の、一方または両方を含む概念であってもよい。カードＣD1のゲームにおける役割を変更するユーザＵ1の動作とは、例えば、ユーザＵ1が、カードＣD1の向きを変更する動作であってもよいし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。また、ユーザＵ1の所定の動作とは、例えば、ゲームを一時的に中断させる動作であってもよい。ここで、ゲームを一時的に中断させるユーザＵ1の動作とは、例えば、ユーザＵ1が、カードＣD1を裏返す動作であってもよいし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。なお、以上の説明においては、ユーザＵ1の所定の動作として、ユーザＵ1がカードＣD1を用いて行う動作を例示したが、ユーザＵ1の所定の動作は、ユーザＵ1がカードＣD1を用いずに行う動作であってもよいし、ユーザＵ1がカードＣD1を用いて行う動作と同時に実行される動作であってもよい。ここで、ユーザＵ1がカードＣD1を用いずに行う動作、及び、ユーザＵ1がカードＣD1を用いて行う動作と同時に実行される動作とは、例えば、ユーザＵ1が、所定の文言を発音する動作であってもよいし、ユーザＵ1が、所定のジェスチャを実行する動作であってもよい。
これらの場合、情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、または、１０Ｄ（以下、「情報処理装置１０等」と総称する）の操作者は、操作部１４を用いて、ユーザＵqがカードＣDqを用いて攻撃していることを示す情報を入力し、または、ユーザＵqが所定の動作を実行していることを示す情報を入力してもよい。そして、情報処理装置１０等は、情報処理装置１０等の操作者による情報の入力に基づいて、ユーザＵqがカードＣDqを用いて攻撃していること、または、ユーザＵqが所定の動作を実行していることを、認識してもよい。
また、情報処理装置１０等は、カメラＣMAから出力される撮像データＤA及び深度情報ＤSに基づいて、ユーザＵqが、所定の動作を実行したことを認識してもよい。

なお、情報処理装置１０のキャラクタ位置決定部１１１は、相対位置情報の示すベクトル^ＷＰ_ＵＶｑの大きさまたは向きを変化させることで、表示空間ＳP-VにおけるキャラクタＶqの位置^ＷＰ_Ｖｑを変化させてもよい。
また、情報処理装置１０Ａまたは１０Ｂのキャラクタ位置決定部１１１Ａまたは１１１Ｂは、キャラクタ位置情報の示すキャラクタＶqの位置^ＷＰ_Ｖｑを変化させることで、表示空間ＳP-VにおけるキャラクタＶqの位置^ＷＰ_Ｖｑを変化させてもよい。
また、情報処理装置１０Ｃまたは１０Ｄのキャラクタ位置決定部１１１Ｃまたは１１１Ｃは、角度θ_Ａ、θ_Ｂ、または、θ_Ｃの大きさと、ベクトル^ＣＰ_ＵＶｑの大きさと、の少なくとも一方を変化させることで、表示空間ＳP-VにおけるキャラクタＶqの位置^ＷＰ_Ｖｑを変化させてもよい。

［変形例２］
上述した第１乃至第５実施形態及び変形例１において、キャラクタＶqは、一定の形状を有するが、本発明はこのような態様に限定されるものではなく、キャラクタＶqの形状は変化してもよい。
具体的には、表示制御部１１０、１１０Ａ、１１０Ｂ、１１０Ｃ、または、１１０Ｄ（以下、「表示制御部１１０等」と総称する）は、キャラクタＶqの形状を、カードゲームの進行に応じて、または、ユーザＵqの動作若しくは姿勢に応じて変化させてもよい。ここで、キャラクタＶqの形状とは、例えば、キャラクタＶqの姿勢である。
例えば、表示制御部１１０等は、ユーザＵ1のカードＣD1がユーザＵ2のカードＣD2により攻撃を受けている場合、または、ユーザＵ1が所定の動作をした場合に、キャラクタＶ1を、図２に示すような、翼を広げていない姿勢から、図２３に示すような、翼を広げてユーザＵ1を庇う姿勢へと、姿勢変化させてもよい。
なお、表示制御部１１０等は、キャラクタＶqが、図２３に示すような、翼を広げてユーザＵqを庇う姿勢をとる場合、キャラクタＶqの胴体部分が、カメラＣMAから見て、ユーザＵqの背後に隠れ、キャラクタＶqの翼の一部が、カメラＣMAから見て、ユーザＵqよりも手前側に位置するように、ユーザ画像ＧUq及びキャラクタ画像ＧVqを表示させてもよい。
また、表示制御部１１０等は、ユーザＵ1が、ゲームを一時的に中断させる動作を実行した場合、キャラクタＶ1の姿勢を、キャラクタＶ1が休憩していることを示す姿勢に変化させてもよい。

［変形例３］
上述した第１乃至第５実施形態、及び、変形例１または２において、カメラＣMAは、現実空間ＳP-Rにおいて、位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを変化させることができるが、本発明はこのような態様に限定されるものではない。カメラＣMAは、現実空間ＳP-Rの所定の場所に配置されていてもよい。この場合、記憶装置３０は、ワールド座標系Σ_ＷにおけるカメラＣMAの位置^ＷＰ_Ｃ及び向き^ＷＲ_Ｃを示す情報を記憶していてもよい。

［変形例４］
上述した第１乃至第５実施形態、及び、変形例１乃至３において、情報処理システム１、１Ａ、１Ｂ、１Ｃ、及び、１Ｄ（以下、「情報処理システム１等」と総称する）は、記憶装置３０を備えるが、本発明はこのような態様に限定されるものではない。情報処理システム１等は、記憶装置３０を備えずに構成されていてもよい。この場合、情報処理装置１０等が備える記憶部１２が、カードデザイン情報、キャラクタ情報、マーカ情報、相対位置情報、ユーザ位置情報、及び、キャラクタ位置情報の、一部または全部を記憶していてもよい。

［変形例５］
上述した第１乃至第５実施形態、及び、変形例１乃至４において、情報処理装置１０等は、深度情報ＤSに基づいて、カメラＣMAの被写体の各部位とカメラＣMAとの距離に応じた値（深度）を、カメラＣMAの被写体の全体について並べた「深度マップ」を作成してもよい。この場合、情報処理装置１０等は、深度マップと、カメラＣMAから見たキャラクタＶqの深度とに基づいて、カメラＣMAから見た、キャラクタＶqと、被写体の各部位との遠近を判定してもよい。そして、この場合、情報処理装置１０等は、キャラクタ画像ＧVqの一部、及び、被写体を撮像して得られた撮像画像の一部が、合成画像ＧGにおいて重なる場合には、遠近の判定結果に基づいて、キャラクタ画像ＧVq、及び、撮像画像の一部のうち、カメラＣMAから遠い方に対応する画像を非表示としてもよい。
また、情報処理装置１０等は、撮像データＤA及び深度情報ＤSの一方または双方に基づいて、ユーザＵqの形状、輪郭、または、ユーザＵqの顔位置を特定してもよい。この場合、情報処理装置１０等は、深度マップ、ユーザＵqの輪郭を示す情報及び深度マップ、または、ユーザＵqの顔位置及び深度マップに基づいて、ユーザＵqと、ユーザＵq以外の被写体との相対的な位置関係を特定してもよい。そして、この場合、特定した相対的な位置関係に基づいて、表示空間ＳP-VにおけるキャラクタＶqの位置を決定し、当該決定結果と、深度マップとに基づいて、キャラクタ画像ＧVqを表示してもよい。

［７．付記］
以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。

［付記１］
本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、オブジェクトが配置された現実空間を撮像する第１撮像部の、前記現実空間における位置及び姿勢の少なくとも一方を特定する第１特定部と、前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、前記オブジェクトに対応する第２画像を、前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、して機能させる、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部の位置及び姿勢に基づいて、表示部における第２画像の表示位置を決定する。すなわち、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に依存することなく、表示部における第２画像の表示位置を決定することができる。このため、この態様によれば、現実空間においてオブジェクトを所定の位置に配置する等の手間をかけることなく、オブジェクトに対応する第２画像の表示部における表示位置を決定することができる。
また、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢による制約を受けること無く、表示部における第２画像の表示位置を決定することができる。このため、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に基づいて、表示部における第２画像の表示位置が決定される場合と比較して、表示部における第２画像の表示位置に係る自由度を高くすることができる。
また、この態様によれば、オブジェクトにおいて、現実空間における当該オブジェクトの位置及び姿勢を特定するための特徴を表示させる必要が無い。このため、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に基づいて、表示部における第２画像の表示位置が決定される場合と比較して、オブジェクトのデザイン上の自由度を高くすることが可能となる。

なお、上記態様において、「オブジェクト」とは、例えば、ユーザがゲーム等の進行のために用いるオブジェクトであってもよい。

［付記２］
本発明の他の態様に係る情報処理装置のプログラムは、付記１に記載の情報処理装置のプログラムであって、前記第１特定部は、前記第１撮像部による撮像結果に基づいて、前記第１撮像部の前記現実空間における位置及び姿勢の少なくとも一方を特定する、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部による撮像結果に基づいて、表示部における第２画像の表示位置を決定することができる。このため、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に依存することなく、表示部における第２画像の表示位置を決定することができる。

［付記３］
本発明の他の態様に係る情報処理装置のプログラムは、付記１または２に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像を含み、前記表示制御部は、前記表示部において、前記第２画像の少なくとも一部と前記第３画像の少なくとも一部とが重なる場合に、前記第１特定部による特定結果に基づいて、前記第２画像の少なくとも一部、または、前記第３画像の少なくとも一部のうち、何れか一方を、非表示とする、ことを特徴とする。

この態様によれば、第２画像の一部と第３画像の一部とが重なる場合に、第２画像の一部及び第３画像の一部の一方を非表示とする。このため、この態様によれば、表示部に表示される画像において、奥行きを表現することができる。

なお、上記態様において、「第３画像」とは、例えば、第１撮像部によりユーザを撮像した結果として得られる、ユーザの形状、輪郭、色彩、及び、模様の一部または全部を示す画像であってもよい。具体的には、「第３画像」とは、例えば、ユーザの形状、輪郭、色彩、及び、模様の全てを示す画像であってもよい。また、「第３画像」とは、例えば、ユーザの骨格等のユーザの形状を示す画像であってもよいし、ユーザのシルエット等のユーザの輪郭を示す画像であってもよい。すなわち、「第３画像」は、例えば、ユーザの色彩及び模様のうち少なくとも一方を含まないような画像であってもよい。

［付記４］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至３に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像を含み、前記表示制御部は、前記第１特定部による特定結果に基づいて、前記表示部における、前記第２画像と前記第３画像との相対的な位置関係を決定し、当該決定の結果に基づいて、前記第２画像及び前記第３画像を前記表示部に表示させる、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部の位置及び姿勢に基づいて、表示部における第２画像と第３画像との相対的な位置関係を決定する。このため、この態様によれば、現実空間における第１撮像部の位置及び姿勢が変化する場合であっても、表示部において第２画像と第３画像とを関連付けて表示する等の演出を行うことができる。

［付記５］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至４に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像と、前記現実空間のうち前記ユーザの背景を表す第４画像と、を含み、前記表示制御部は、前記第１特定部による特定結果に基づいて、前記表示部における、前記第２画像と前記第３画像と前記第４画像との相対的な位置関係を決定し、当該決定の結果に基づいて、前記第２画像、前記第３画像、及び、前記第４画像を、前記表示部に表示させる、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部の位置及び姿勢に基づいて、表示部における第２画像と第３画像と第４画像との相対的な位置関係を決定する。このため、この態様によれば、現実空間における第１撮像部の位置及び姿勢が変化する場合であっても、表示部において第２画像と第３画像とを関連付けて表示する等の演出を行うことができる。

［付記６］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至５に記載の情報処理装置のプログラムであって、前記プロセッサを、前記オブジェクトを撮像する第２撮像部による撮像結果に基づいて、前記オブジェクトの種類を特定する第２特定部、として更に機能させ、前記第２画像は、前記第２特定部の特定したオブジェクトの種類に応じた画像である、ことを特徴とする。

この態様によれば、表示部において、現実空間に配置されたオブジェクトの種類に応じた画像を第２画像として表示させる。このため、この態様によれば、例えば、現実空間に配置されたオブジェクトの種類に関わらず同一の画像を第２画像として表示する場合と比較して、表示部における表示される画像において、臨場感を演出することが可能となる。

［付記７］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至６に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像を含み、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記表示部により表示される表示空間において、前記第２画像として表される前記キャラクタと、前記第３画像として表される前記ユーザとが、所定の位置関係を有するように、前記表示部に対して、前記第２画像及び前記第３画像を表示させる、ことを特徴とする。

この態様によれば、表示空間において、キャラクタとユーザとが所定の位置関係を維持するように、表示部において、第２画像及び第３画像を表示させる。すなわち、この態様によれば、現実空間において、第１撮像部の位置及び姿勢が変化した場合であっても、表示空間における、キャラクタ及びユーザの相対的な位置関係の変化を抑止することが可能となる。このため、この態様によれば、現実空間における第１撮像部の位置及び姿勢を変化させることにより、表示空間においてキャラクタ及びユーザを撮像する仮想カメラの位置及び姿勢を変化させるという演出が可能となる。

［付記８］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至７に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像と、前記現実空間のうち前記ユーザの背景を表す第４画像と、を含み、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記表示部により表示される表示空間において、前記第２画像として表される前記キャラクタが、前記第３画像として表される前記ユーザと、前記第４画像として表される前記背景と、の間に位置するように、前記表示部に対して、前記第２画像、前記第３画像、及び、前記第４画像を表示させる、ことを特徴とする。

この態様によれば、表示空間において、キャラクタがユーザ及び背景の間に位置するように、表示部において、第２画像と第３画像と第４画像とを表示させる。このため、この態様によれば、表示空間において、背景よりも手前側にキャラクタが位置するような演出が可能となる。

［付記９］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至８に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像を含み、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記ユーザが所定の動作を実行した場合に、前記表示部により表示される表示空間において、前記第２画像として表される前記キャラクタと、前記第３画像として表される前記ユーザとの、相対的な位置関係が変化するように、前記表示部に対して、前記第２画像及び前記第３画像を表示させる、ことを特徴とする。

この態様によれば、ユーザの動作に基づいて、表示空間におけるユーザとキャラクタとの相対的な位置関係を変化させる。このため、この態様によれば、表示部に表示される画像において、ユーザが所定の動作を実行したことを強調して表現するという演出が可能となる。

なお、上記態様において、「所定の動作」とは、例えば、ユーザの体勢が所定の変化をすることであってもよいし、ユーザが所定の文言を発言することであってもよい。

［付記１０］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至９に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像を含み、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記表示部により表示される表示空間において、前記キャラクタの姿勢が、前記ユーザの姿勢に基づく姿勢となるように、前記表示部において、前記第２画像を表示させる、ことを特徴とする。

この態様によれば、表示空間におけるキャラクタの姿勢が、ユーザの姿勢に基づく姿勢となるように、表示部において第２画像を表示する。このため、この態様によれば、表示部に表示される画像において、ユーザ及びキャラクタの一体感を演出することができる。

なお、上記態様において、「キャラクタまたはユーザの姿勢」とは、例えば、キャラクタまたはユーザの向きであってもよいし、キャラクタまたはユーザの体勢であってもよい。

［付記１１］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至１０に記載の情報処理装置のプログラムであって、前記第１画像は、前記現実空間内のユーザを表す第３画像を含み、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記表示部により表示される表示空間において、前記第３画像として表される前記ユーザの向きと、前記第２画像として表される前記キャラクタの向きとのなす角度が、所定の角度以下となるように、前記表示部において、前記第２画像を表示させる、ことを特徴とする。

この態様によれば、例えば、表示空間において、ユーザの向きと、キャラクタの向きとが、略同じとなるように、表示部において第２画像を表示する。このため、この態様によれば、表示部に表示される画像において、ユーザ及びキャラクタの一体感を演出することができる。

［付記１２］
本発明の一態様に係る情報処理装置は、オブジェクトが配置された現実空間を撮像する第１撮像部の、前記現実空間における位置及び姿勢の少なくとも一方を特定する第１特定部と、前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、前記オブジェクトに対応する第２画像を、前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、を備える、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部の位置及び姿勢に基づいて、表示部における第２画像の表示位置を決定する。すなわち、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に依存することなく、表示部における第２画像の表示位置を決定することができる。このため、この態様によれば、現実空間においてオブジェクトを所定の位置に配置する等の手間をかけることなく、オブジェクトに対応する第２画像の表示部における表示位置を決定することができる。

［付記１３］
本発明の一態様に係る情報処理システムは、オブジェクトが配置された現実空間を撮像する第１撮像部と、表示部と、情報処理装置と、を備える情報処理システムであって、前記情報処理装置は、前記第１撮像部の、前記現実空間における位置及び姿勢の少なくとも一方を特定する第１特定部と、前記第１撮像部による撮像結果に基づく第１画像を前記表示部に表示させ、前記オブジェクトに対応する第２画像を、前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、を備える、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部の位置及び姿勢に基づいて、表示部における第２画像の表示位置を決定する。すなわち、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に依存することなく、表示部における第２画像の表示位置を決定することができる。このため、この態様によれば、現実空間においてオブジェクトを所定の位置に配置する等の手間をかけることなく、オブジェクトに対応する第２画像の表示部における表示位置を決定することができる。

［付記１４］
本発明の一態様に係る表示方法は、オブジェクトが配置された現実空間を撮像する第１撮像部の、前記現実空間における位置及び姿勢の少なくとも一方を特定し、前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、前記オブジェクトに対応する第２画像を、前記表示部のうち、前記特定の結果に基づく位置に、表示させる、ことを特徴とする。

この態様によれば、現実空間を撮像する第１撮像部の位置及び姿勢に基づいて、表示部における第２画像の表示位置を決定する。すなわち、この態様によれば、現実空間におけるオブジェクトの位置及び姿勢に依存することなく、表示部における第２画像の表示位置を決定することができる。このため、この態様によれば、現実空間においてオブジェクトを所定の位置に配置する等の手間をかけることなく、オブジェクトに対応する第２画像の表示部における表示位置を決定することができる。

１…情報処理システム、１０…情報処理装置、１１…制御部、１２…記憶部、１３…通信部、１４…操作部、１５…情報読込部、２０…表示装置、２１…表示部、３０…記憶装置、１１０…表示制御部、１１１…キャラクタ位置決定部、１１２…重なり抽出部、１１３…遠近判定部、１１４…表示情報生成部、１１５…オブジェクト特定部、１１６…カメラ位置特定部、１１７…被写体位置特定部、１０００…プロセッサ。

Claims (11)

1. プロセッサを具備する情報処理装置のプログラムであって、
   前記プロセッサを、
   オブジェクトが配置され、ユーザが存在する現実空間を、前記現実空間内の前記ユーザが存在する位置とは異なる位置から撮像する第１撮像部の、
   前記現実空間における位置及び姿勢を特定する第１特定部と、
   前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、
   前記オブジェクトに対応する第２画像を、
   前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
   して機能させ、
   前記第１画像は、
   前記現実空間内のユーザを表す第３画像を含み、
   前記表示制御部は、
   前記第１特定部による特定結果に基づいて、
   前記表示部における、
   前記第２画像と前記第３画像との相対的な位置関係を決定し、
   当該決定の結果に基づいて、
   前記第２画像及び前記第３画像を前記表示部に表示させる、
   ことを特徴とする情報処理装置のプログラム。
2. 前記第１特定部は、
   前記第１撮像部による撮像結果に基づいて、
   前記第１撮像部の前記現実空間における位置及び姿勢を特定する、
   ことを特徴とする、請求項１に記載の情報処理装置のプログラム。
3. 前記表示制御部は、
   前記表示部において、
   前記第２画像の少なくとも一部と前記第３画像の少なくとも一部とが重なる場合に、
   前記第１特定部による特定結果に基づいて、
   前記第２画像の少なくとも一部、または、前記第３画像の少なくとも一部のうち、
   何れか一方を、非表示とする、
   ことを特徴とする、請求項１または２に記載の情報処理装置のプログラム。
4. 前記第１画像は、
   前記現実空間のうち前記ユーザの背景を表す第４画像を含み、
   前記表示制御部は、
   前記第１特定部による特定結果に基づいて、
   前記表示部における、
   前記第２画像と前記第３画像と前記第４画像との相対的な位置関係を決定し、
   当該決定の結果に基づいて、
   前記第２画像、前記第３画像、及び、前記第４画像を、前記表示部に表示させる、
   ことを特徴とする、請求項１乃至３のうち何れか１項に記載の情報処理装置のプログラム。
5. 前記プロセッサを、
   前記オブジェクトを撮像する第２撮像部による撮像結果に基づいて、
   前記オブジェクトの種類を特定する第２特定部、
   として更に機能させ、
   前記第２画像は、
   前記第２特定部の特定したオブジェクトの種類に応じた画像である、
   ことを特徴とする、請求項１乃至４のうち何れか１項に記載の情報処理装置のプログラム。
6. 前記第１画像は、
   前記現実空間内のユーザを表す第３画像を含み、
   前記第２画像は、
   前記オブジェクトに対応するキャラクタを表す画像であり、
   前記表示制御部は、
   前記表示部により表示される表示空間において、
   前記第２画像として表される前記キャラクタと、
   前記第３画像として表される前記ユーザとが、
   所定の位置関係を有するように、
   前記表示部に対して、前記第２画像及び前記第３画像を表示させる、
   ことを特徴とする、請求項１乃至５のうち何れか１項に記載の情報処理装置のプログラム。
7. プロセッサを具備する情報処理装置のプログラムであって、
   前記プロセッサを、
   オブジェクトが配置され、ユーザが存在する現実空間を、前記現実空間内の前記ユーザが存在する位置とは異なる位置から撮像する第１撮像部の、
   前記現実空間における位置及び姿勢を特定する第１特定部と、
   前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、
   前記オブジェクトに対応する第２画像を、
   前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
   して機能させ、
   前記第１画像は、
   前記現実空間内のユーザを表す第３画像と、
   前記現実空間のうち前記ユーザの背景を表す第４画像と、を含み、
   前記第２画像は、
   前記オブジェクトに対応するキャラクタを表す画像であり、
   前記表示制御部は、
   前記表示部により表示される表示空間において、
   前記第２画像として表される前記キャラクタが、
   前記第３画像として表される前記ユーザと、
   前記第４画像として表される前記背景と、の間に位置するように、
   前記表示部に対して、前記第２画像、前記第３画像、及び、前記第４画像を表示させる、
   ことを特徴とする情報処理装置のプログラム。
8. 前記第１画像は、
   前記現実空間内のユーザを表す第３画像を含み、
   前記第２画像は、
   前記オブジェクトに対応するキャラクタを表す画像であり、
   前記表示制御部は、
   前記ユーザが所定の動作を実行した場合に、
   前記表示部により表示される表示空間において、
   前記第２画像として表される前記キャラクタと、
   前記第３画像として表される前記ユーザとの、
   相対的な位置関係が変化するように、
   前記表示部に対して、前記第２画像及び前記第３画像を表示させる、
   ことを特徴とする、請求項１乃至７のうち何れか１項に記載の情報処理装置のプログラム。
9. オブジェクトが配置され、ユーザが存在する現実空間を、前記現実空間内の前記ユーザが存在する位置とは異なる位置から撮像する第１撮像部の、
   前記現実空間における位置及び姿勢を特定する第１特定部と、
   前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、
   前記オブジェクトに対応する第２画像を、
   前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
   を備え、
   前記第１画像は、
   前記現実空間内のユーザを表す第３画像を含み、
   前記表示制御部は、
   前記第１特定部による特定結果に基づいて、
   前記表示部における、
   前記第２画像と前記第３画像との相対的な位置関係を決定し、
   当該決定の結果に基づいて、
   前記第２画像及び前記第３画像を前記表示部に表示させる、
   ことを特徴とする情報処理装置。
10. オブジェクトが配置され、ユーザが存在する現実空間を、前記現実空間内の前記ユーザが存在する位置とは異なる位置から撮像する第１撮像部と、
    表示部と、
    情報処理装置と、
    を備える情報処理システムであって、
    前記情報処理装置は、
    前記第１撮像部の、
    前記現実空間における位置及び姿勢を特定する第１特定部と、
    前記第１撮像部による撮像結果に基づく第１画像を前記表示部に表示させ、
    前記オブジェクトに対応する第２画像を、
    前記表示部のうち、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
    を備え、
    前記第１画像は、
    前記現実空間内のユーザを表す第３画像を含み、
    前記表示制御部は、
    前記第１特定部による特定結果に基づいて、
    前記表示部における、
    前記第２画像と前記第３画像との相対的な位置関係を決定し、
    当該決定の結果に基づいて、
    前記第２画像及び前記第３画像を前記表示部に表示させる、
    ことを特徴とする情報処理システム。
11. オブジェクトが配置され、ユーザが存在する現実空間を、前記現実空間内の前記ユーザが存在する位置とは異なる位置から撮像する第１撮像部の、
    前記現実空間における位置及び姿勢を特定し、
    前記第１撮像部による撮像結果に基づく第１画像を表示部に表示させ、
    前記オブジェクトに対応する第２画像を、
    前記表示部のうち、前記特定の結果に基づく位置に、表示させ、
    前記第１画像は、
    前記現実空間内のユーザを表す第３画像を含み、
    前記特定の結果に基づいて、
    前記表示部における、
    前記第２画像と前記第３画像との相対的な位置関係を決定し、
    当該決定の結果に基づいて、
    前記第２画像及び前記第３画像を前記表示部に表示させる、
    ことを特徴とする表示方法。
    

Images