JP6178066B2 - 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、プログラム及び情報記憶媒体に関する。

ゲームプログラムを実行することにより生成される画像が表示されるディスプレイの上に配置された撮像部が順次撮像するプレイヤの画像の差分に基づいて、プレイヤの動作を特定し、当該動作に応じた処理を実行するゲーム装置等の情報処理装置が存在する。

また、コントローラ等の操作入力装置が備える撮像部が撮像した画像内における、予め空間内に配置されたマーカの位置に応じた処理を実行するゲーム装置等の情報処理装置も存在する。

従来技術では、操作入力装置に対して行われた操作と、当該操作入力装置の位置と、を連携させた処理を実行するためには、操作入力装置が撮像部を備えるようにして、当該撮像部が処理に用いられるようにする必要があった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、撮像部が設けられていない操作入力装置については追加で撮像部を設けることなく、また、撮像部が既に設けられている操作入力装置については操作入力装置に設けられた撮像部を用いることなく、操作入力装置に対する操作と当該操作の際の操作入力装置の位置との組合せに応じた処理を実行することができるようにすることにある。

上記課題を解決するために、本発明に係る情報処理装置は、撮像部が撮像した操作入力装置の画像を受け付ける画像受付部と、前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部と、前記画像受付部が受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付部が受け付ける操作信号と、に応じた処理を実行する処理実行部と、を含むことを特徴とする。

また、本発明に係る情報処理システムは、情報処理装置と、複数の操作入力装置と、を含み、前記複数の操作入力装置のそれぞれが、互いに異なる色の光を発光する発光部を備え、前記情報処理装置が、撮像部が撮像した、前記複数の操作入力装置の画像を受け付ける画像受付部と、操作入力装置の識別情報に関連付けられた、当該操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部と、前記操作信号と、前記画像受付部が受け付ける画像内における、当該操作信号の出力元の操作入力装置に対応付けられる色の発光部の位置と、に応じた処理を実行する処理実行部と、を含むことを特徴とする。

また、本発明に係る情報処理方法は、撮像部が撮像した操作入力装置の画像を受け付ける画像受付ステップと、前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付ステップと、前記画像受付ステップで受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付ステップで受け付ける操作信号と、に応じた処理を実行する処理実行ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、撮像部が撮像した操作入力装置の画像を受け付ける画像受付部、前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部、前記画像受付部が受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付部が受け付ける操作信号と、に応じた処理を実行する処理実行部、としてコンピュータを機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、撮像部が撮像した操作入力装置の画像を受け付ける画像受付部、前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部、前記画像受付部が受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付部が受け付ける操作信号と、に応じた処理を実行する処理実行部、としてコンピュータを機能させるプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明の一実施形態に係るゲームシステムの全体構成図である。 本発明の一実施形態に係るコントローラの上側を臨む外観の一例を示す斜視図である。 本発明の一実施形態に係るコントローラの前側を臨む外観の一例を示す斜視図である。 本発明の一実施形態に係るスマートフォンの外観の一例を示す斜視図である。 本発明の一実施形態に係るゲーム装置の機能の一例を示す機能ブロック図である。 仮想空間画像の一例を示す図である。 撮像画像の一例を示す図である。 本発明の一実施形態に係るゲームシステムで行われる処理の流れの一例を示すフロー図である。 仮想空間画像の一例を示す図である。 本発明の一実施形態に係るスマートフォンのタッチパネルに表示される画像がボタン画像に切り替わった様子の一例を示す図である。 仮想空間画像の一例を示す図である。 プレイ画像の一例を示す図である。 撮像画像の一例を示す図である。 本発明の一実施形態に係るスマートフォンの外観の一例を示す斜視図である。 本発明の一実施形態に係るゲームシステムで行われる処理の流れの一例を示すフロー図である。 撮像画像の一例を示す図である。 表示対象画像の一例を示す図である。 撮像画像の一例を示す図である。 表示対象画像の一例を示す図である。 表示対象画像の一例を示す図である。 プレイ画像の一例を示す図である。 プレイ画像の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理システムの一例であるゲームシステム１０の全体構成図である。図１に示すように、本実施形態に係るゲームシステム１０は、本実施形態に係る情報処理装置の一例であるゲーム装置１２、スピーカ等が内蔵された、家庭用テレビ受像機等のディスプレイ１４、ステレオカメラ１６、本実施形態に係る操作入力装置の一例であるコントローラ１８（１８−１〜１８−ｍ）、本実施形態に係る操作入力装置の別の一例である情報端末（本実施形態では、例えば、スマートフォン２０（２０−１〜２０−ｎ））、を含んでいる。なお、以下の説明において、スマートフォン２０の代わりに、パーソナルコンピュータや、タブレット端末などを、上述の情報端末として用いるようにしてもよい。

本実施形態では、ゲーム装置１２とディスプレイ１４とは、ケーブル（例えば、ＡＶケーブルや、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等）を介して接続されている。また、ゲーム装置１２とステレオカメラ１６とは、ケーブル（例えば、ＵＳＢ（Universal Serial Bus）（例えば、ＵＳＢ３．０）ケーブル、ＡＶケーブルや、ＨＤＭＩケーブル等）を介して接続されている。

ゲーム装置１２は、例えば、ゲーム装置１２にインストールされるプログラムに従って動作するＭＰＵ（Micro Processing Unit）等の制御部、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである記憶部、ＧＰＵ（Graphical Processing Unit）とフレームバッファとから構成される画像処理部、ＳＰＵ（Sound Processing Unit）とサウンドバッファとから構成される音声処理部、インターネット上のサーバ（図示せず）や、コントローラ１８や、スマートフォン２０などとの間で、有線又は無線によりデータの送受信を行う、ネットワークボードや無線ＬＡＮモジュールなどである通信部、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスク（コンピュータ読み取り可能な情報記憶媒体）を読み取る光ディスクドライブ、ＵＳＢポート、ＨＤＭＩポート等を含んでいる。これらの要素は互いにバスを介して相互にデータ授受可能に接続される。

画像処理部に含まれるＧＰＵは、制御部から供給される画像データに基づいて、画像処理部に含まれるフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてディスプレイ１４に出力される。

音声処理部に含まれるサウンドバッファには、光ディスクやハードディスクから読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。音声処理部に含まれるＳＰＵは、これらの各種音声データを再生して、例えば、ディスプレイ１４に内蔵されているスピーカや、コントローラ１８に内蔵されているスピーカから出力させる。

ステレオカメラ１６は、左右に並べて配置された、レンズ及び撮像素子などを含んで構成されるデジタルカメラのそれぞれが、所定時間（例えば、１／６０秒）ごとに、画像を撮像して、ゲーム装置１２に出力する。また、ステレオカメラ１６は、ＵＳＢポートを備えている。

コントローラ１８は、本実施形態における操作入力装置（入出力装置）であり、ユーザがコントローラ１８に対して行った操作に応じた信号を、ゲーム装置１２に送信する。コントローラ１８は、方向キー、ボタン、タッチセンサ、アナログスティック、スピーカ、コントローラ１８の姿勢や動きの検出に利用される種々のセンサ（加速度センサ、ジャイロセンサ、など）、バッテリなどを内蔵している。また、本実施形態に係るコントローラ１８は、バイブレータを備えている。そのため、本実施形態に係るコントローラ１８は、振動を出力することができるようになっている。

また、コントローラ１８は、ゲーム装置１２と通信可能となっている。図１に示すように、コントローラ１８は、ゲーム装置１２と無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信規格に従った無線通信）によって接続されるが、コントローラ１８が、ゲーム装置１２と有線通信によって接続されていてもよい。

本実施形態に係るゲーム装置１２の制御部は、所定時間（例えば１／６０秒）ごとにコントローラ１８の各部の状態をスキャンして、ユーザによって行われた操作の内容をスキャンした状態に基づいて判断する。なお、ゲーム装置１２は、複数のコントローラ１８を接続可能に構成されており、各コントローラ１８から入力される操作状態に基づいて、制御部が各種処理を実行するようになっている。

図２Ａは、本実施形態に係るコントローラ１８の上側を臨む外観の一例を示す斜視図である。図２Ｂは、本実施形態に係るコントローラ１８の前側を臨む外観の一例を示す斜視図である。

図２Ａ及び図２Ｂに示すように、本実施形態に係るコントローラ１８は、その左部及び右部に、ユーザが保持するための被保持部をそれぞれ有している。左側の被保持部の上面には、方向キーが配置されている。右側の被保持部の上面には、ボタンが配置されている。また、本実施形態に係るコントローラ１８は、右側の被保持部の上面以外にも、様々なボタンが配置されている。また、本実施形態に係るコントローラ１８の筐体表面には、直立したスティック状の操作部材であるアナログスティックが２つ配置されている。アナログスティックは、直立状態から全方位に所定角度まで傾倒自在となっている。コントローラ１８の筐体長手方向をＸ軸方向とし、このＸ軸方向に直交する筐体奥行き方向をＹ軸方向とすると、アナログスティックの姿勢（操作状態）は、Ｘ軸方向及びＹ軸方向の傾き（姿勢データ（Ｘ，Ｙ））として、それぞれ０〜２５５のディジタル値を表す信号がゲーム装置１２に送信されるようになっている。

また、左側の被保持部の前部と右側の被保持部の前部とを連結する中央部の上面には、パネルと、タッチセンサと、を含む板状操作部材２２が配置されている。パネルは、タッチセンサの全体を覆っており、タッチセンサは、パネルの下面（裏面）に取り付けられている。タッチセンサは、検出面（本実施形態では、板状操作部材２２の上面）上における物体（ユーザの指やスタイラス等）の位置を検出可能なセンサであり、物体の検出位置に応じた信号を出力する。コントローラ１８は、当該信号をゲーム装置１２に送信する。

タッチセンサは、本実施形態では、例えば、静電容量式のセンサである。また、タッチセンサは、いわゆるマルチタッチが可能となっており、検出面上の物体の位置を複数同時に検出できるようになっている。また、板状操作部材２２は、ユーザの押下操作に応じて上下動できるように支持されている。コントローラ１８は、板状操作部材２２が押されたことを検出するスイッチを有し、板状操作部材２２は、オン／オフ操作が可能なボタンとして機能する。

図２Ｂに示すように、左側の被保持部の前部と右側の被保持部の前部とを連結する中央部の前面には発光部２４が設けられている。発光部２４は、左側の被保持部の突出部と右側の被保持部の突出部との間に位置している。また、発光部２４は、左右方向に細長い形状を有している。図２Ｂの例では、発光部２４は直線的に伸びる棒状である。なお、発光部２４の形状はこれに限られず、例えばＶ字形状でもよいし、弧状に湾曲してもよい。

本実施形態に係るゲーム装置１２は、ステレオカメラ１６を通して、発光部２４の光を取得する。ゲーム装置１２は、ステレオカメラ１６を通して取得した画像に対して画像処理を行い、取得した画像における発光部２４の位置や大きさに基づいて、コントローラ１８の位置を検出する。

発光部２４は任意の色で光ることができる。例えば発光部２４は、赤色、緑色、及び、青色の発光体（例えば、発光ダイオード）を含み、各発光体の輝度を調節することで、ゲーム装置１２が指定する色や、コントローラ１８の動作状態に応じた色で光る。このため、複数のコントローラ１８が同時に使用される場合であっても、ゲーム装置１２は各コントローラ１８の位置を検出できる。

また、本実施形態に係るコントローラ１８は、左側の被保持部の前部と右側の被保持部の前部とを連結する中央部にスピーカが内蔵されている。そして、当該中央部の上面の、スピーカに対応する位置には、通音孔が形成されている。なお、通音孔の位置に、スピーカとともに、又は、スピーカの代わりに、マイクが配置されていてもよい。

また、本実施形態では、スマートフォン２０を、コントローラ１８と同様、ゲーム装置１２に対する操作入力装置として用いることができるようになっている。図３は、本実施形態に係るスマートフォン２０の外観の一例を示す斜視図である。図３に示すように、本実施形態に係るスマートフォン２０は、その前面にタッチパネル２６を備えている。タッチパネル２６は、検出面上における物体（ユーザの指やスタイラス等）の位置を検出可能なセンサであり、物体の検出位置に応じた信号を出力する。また、本実施形態に係るスマートフォン２０は、スマートフォン２０にインストールされるプログラムに従って動作するＣＰＵ等の制御部、フラッシュメモリ等である記憶部、ネットワークボード等の通信部、スピーカ、ジャイロセンサ、なども備えている。なお、スマートフォン２０が、加速度センサを備えていてもよい。

図４は、本実施形態に係るゲーム装置１２で実装される機能の一例を示す機能ブロック図である。図４に示すように、本実施形態に係るゲーム装置１２は、機能的には、例えば、画像受付部３０、距離分布データ生成部３２、操作信号受付部３４、処理実行部３６、を含んでいる。これらの機能は、コンピュータであるゲーム装置１２で、本実施形態に係るプログラムが実行されることにより実現される。このプログラムには、例えば、図４に示されている各部となるようコンピュータを制御する命令が含まれている。また、このプログラムは、コンピュータ通信ネットワーク経由で通信インタフェースを介して他のコンピュータからダウンロードされて、ゲーム装置１２に提供されてもよいし、光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスクなど）、ＵＳＢメモリ、メモリカード等のコンピュータ読み取り可能な情報記憶媒体に格納され、そこからゲーム装置１２に提供されるようにしてもよい。

画像受付部３０は、本実施形態では、ステレオカメラ１６から出力される、ステレオカメラ１６に左右に並べて配置された２つの撮像部のそれぞれが撮像した画像（生成した画像）を所定時間間隔で受け付けて、ゲーム装置１２の記憶部に記憶させる。

距離分布データ生成部３２は、画像受付部３０が受け付けた画像に基づいて、当該画像の撮像タイミングにおける、ステレオカメラ１６の正面によって形成される平面と、被写体との距離（より具体的には、例えば、被写体から、ステレオカメラ１６の正面によって形成される平面に下ろした垂線の長さ）の分布を表す距離分布データを生成する。

距離分布データ生成部３２は、本実施形態では、例えば、画像受付部３０が受け付ける、ステレオカメラ１６に左右に並べて配置された２つの撮像部のそれぞれが撮像した画像（生成した画像）のうち、一方を基準画像として用いて、他方を比較用画像として用いる。二つの撮像部で同じ被写体を撮像しても、視差によって、当該被写体の基準画像内における位置と比較用画像内における位置との間にはずれが生じる。距離分布データ生成部３２は、このずれを測定することによって、ステレオカメラ１６の位置から被写体までの距離を特定する。

基準画像は、本実施形態では、例えば、後述するコントローラ１８やスマートフォン２０の位置の特定処理や、顔の画像の認識処理などに用いられ、比較用画像は、距離分布データを生成するために用いられる。距離分布データ生成部３２は、具体的には、例えば、基準画像を複数のブロックに分割し、各ブロックについて、比較用画像を用いて当該ブロックに写っている被写体までの距離（例えば、ステレオカメラ１６の正面によって形成される平面から被写体までの距離）を特定する。そして、距離分布データ生成部３２は、当該特定の結果に基づいて、上述のブロックと、当該ブロックに写っている被写体までの距離と、を対応付けた距離分布データを生成する。そして、距離分布データ生成部３２は、生成した距離分布データを当該距離分布データの生成の基礎となった画像に関連付けてゲーム装置１２の記憶部に記憶させる。

操作信号受付部３４は、操作入力装置（本実施形態では、コントローラ１８又はスマートフォン２０）に対する操作に応じた操作信号を、当該操作入力装置から受け付ける。

処理実行部３６は、以下に詳細を説明する各種処理を実行する。

［第１の利用例］
以下、本実施形態に係るゲームシステム１０の第１の利用例を説明する。

第１の利用例では、処理実行部３６が、予め、図５に例示する３次元仮想空間の画像（以下、仮想空間画像４０と呼ぶ。）がディスプレイ１４に表示されるよう制御する。図５に例示する仮想空間画像４０には、予め、金庫を表す仮想オブジェクトが配置されている。

第１の利用例では、スマートフォン２０に、第１の利用例で用いられるスマートフォン２０用のクライアントプログラムが予めインストールされている。当該クライアントプログラムは、例えば、スマートフォン２０からゲーム装置１２に送信されるダウンロード要求に応じて、ゲーム装置１２からスマートフォン２０に送信される。そして、スマートフォン２０が、当該クライアントプログラムを起動すると、予め定められた図形の画像（以下、コード画像４２（図６参照）と呼ぶ。）がタッチパネル２６に表示される。

図６は、コード画像４２がタッチパネル２６に表示された状態で、ユーザがスマートフォン２０を手に持って、タッチパネル２６が配置されている面をステレオカメラ１６に向けた際に、ステレオカメラ１６が撮像した画像（以下、撮像画像４４と呼ぶ。）の一例を示す図である。なお、撮像画像４４は、上述の基準画像に相当し、撮像画像４４として、ステレオカメラ１６の左側に配置された撮像部が撮像した画像を用いても、ステレオカメラ１６の右側に配置された撮像部が撮像した画像を用いても構わない。

図６に示すように、第１の利用例では、撮像画像４４の一部にコード画像４２が含まれることとなる。そして、第１の利用例では、上述のように、画像受付部３０は、所定時間間隔で、撮像画像４４を受け付けることとなる。

ここで、第１の利用例において、本実施形態に係るゲームシステム１０で行われる処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。なお、以下の説明では、仮想空間画像４０及び撮像画像４４に関し、右方向をＸ軸正方向とし、上方向をＹ軸正方向とする。また、仮想空間画像４０の左下端点の座標値を（０，０）、仮想空間画像４０の右下端点の座標値を（ｘ１，０）、仮想空間画像４０の左上端点の座標値を（０，ｙ１）、仮想空間画像４０の右上端点の座標値を（ｘ１，ｙ１）とする。また、撮像画像４４の左下端点の座標値を（０，０）、撮像画像４４の右下端点の座標値を（ｘ２，０）、撮像画像４４の左上端点の座標値を（０，ｙ２）、撮像画像４４の右上端点の座標値を（ｘ２，ｙ２）とする。また、第１の利用例では、仮想空間画像４０と撮像画像４４の縦横比は同じであることとする。なお、仮想空間画像４０と撮像画像４４の縦横比は同じである必要はない。

まず、画像受付部３０は、撮像画像４４をステレオカメラ１６から受け付ける（Ｓ１０１）。そして、処理実行部３６は、受け付けた撮像画像４４内における、コード画像４２の位置及び向きを特定する（Ｓ１０２）。本処理例では、処理実行部３６は、例えば、コード画像４２内における代表点（例えば、重心）の座標値（ａ１，ｂ１）、及び、撮像画像４４内においてコード画像４２が配置されている向きを表すベクトル（ｐ１，ｑ１）（ここでは、例えば、コード画像４２の下から上に向かう向きを表すベクトル（ｐ１，ｑ１））を特定する。ここで、処理実行部３６は、例えば、コード画像４２に含まれる文字列に含まれる最初の文字が配置されている位置から最後の文字が配置されている位置に向かう向きを、反時計回りに９０度回転させた向きのベクトルを、コード画像４２の下から上に向かう向きのベクトル（ｐ１，ｑ１）として特定する。

そして、処理実行部３６は、特定した座標値（ａ１，ｂ１）及びベクトル（ｐ１，ｑ１）に基づいて、所定の画像（ここでは、爆弾を表す画像（以下、爆弾画像４６（図８参照）と呼ぶ。））が配置されるべき、仮想空間画像４０内における位置及び向きを決定する（Ｓ１０３）。本処理例では、処理実行部３６は、例えば、座標値（ｘ１−ａ１×ｘ１／ｘ２，ｂ１×ｙ１／ｙ２）を爆弾画像４６内の代表点（例えば、重心）の座標値（ａ２，ｂ２）として決定し、ベクトル（−ｐ１，ｑ１）を、爆弾画像４６の所定の向き（ここでは、例えば、爆弾画像４６の右から左に向かう向き）のベクトル（ｐ２，ｑ２）として決定する。

そして、処理実行部３６は、仮想空間画像４０が表す仮想空間内に、Ｓ１０３に示す処理で決定された位置及び向きに従って爆弾画像４６が配置されている様子を表す、新たな仮想空間画像４０を生成して、ディスプレイ１４に表示される画像を当該新たな仮想空間画像４０に更新する（Ｓ１０４）。図８に、爆弾画像４６が配置された仮想空間画像４０の一例を示す。

そして、処理実行部３６は、所定期間（例えば、３秒間）、爆弾画像４６が静止しているか否かを判定する（Ｓ１０５）。ここで、処理実行部３６は、例えば、３秒間における爆弾画像４６の重心の移動距離の合計が所定値以下である場合は、爆弾画像４６が静止していると判定する。そして、爆弾画像４６が静止していないと判定されると（Ｓ１０５：Ｎ）、Ｓ１０１以降に示す処理を再度実行する。爆弾画像４６が静止していると判定されると（Ｓ１０５：Ｙ）、処理実行部３６は、スマートフォン２０に画像切替指示を示す信号を送信する。

そして、スマートフォン２０は、当該画像切替指示を示す信号を受信する（Ｓ１０６）。スマートフォン２０は、Ｓ１０６に示す処理で、画像切替指示を受信すると、タッチパネル２６に表示される画像を、図９に例示する、ユーザに入力操作を促す画像（ここでは、例えば、ボタンを表す画像（以下、ボタン画像４８と呼ぶ。））に切り替えるとともに、タッチパネル２６に表示される画像が切り替わったことを表す音をスマートフォン２０に内蔵されたスピーカから出力する（Ｓ１０７）。図９は、ユーザが持つスマートフォン２０のタッチパネル２６に表示される画像がボタン画像４８に切り替わった様子の一例を示す図である。なお、Ｓ１０７に示す処理で、スマートフォン２０に内蔵されたスピーカの代わりに、ディスプレイ１４が備えるスピーカから音が出力されるようにしてもよい。

その後、ユーザが、タッチパネル２６に表示されているボタン画像４８を叩くタップ操作を行うと、スマートフォン２０は、当該タップ操作を受け付け（Ｓ１０８）、爆発演出命令を示す信号をゲーム装置１２に送信する。そして、ゲーム装置１２の操作信号受付部３４は、当該爆発演出命令を示す信号を受信する（Ｓ１０９）。

処理実行部３６は、Ｓ１０９に示す処理で爆発演出命令を示す信号を受信すると、仮想空間画像４０に配置されている爆弾画像４６により表現された爆弾が爆発する演出が行われるよう、ディスプレイ１４に表示される画像やディスプレイ１４に内蔵されているスピーカから出力される音などを制御する（Ｓ１１０）。処理実行部３６は、例えば、図１０に例示するように、仮想空間画像４０に配置されている爆弾画像４６により表現された爆弾が爆発する様子を示す動画像がディスプレイ１４に表示されるよう制御するとともに、爆弾の爆発音をディスプレイ１４に内蔵されているスピーカから出力されるよう制御する。このように、処理実行部３６は、スマートフォン２０からの信号の受付に応じて、当該信号に応じた処理を実行する。

本処理例では、撮像画像４４内におけるコード画像４２の相対的な配置と、仮想空間画像４０内における爆弾画像４６の相対的な配置とは、左右反転の関係にある。そのため、ステレオカメラ１６に向かってコード画像４２をかざすユーザからディスプレイ１４を見ると、ディスプレイ１４に表示されている仮想空間画像４０内における爆弾画像４６の位置及び向きが、スマートフォン２０をかざす位置及び向きと同様になるため、ユーザは、爆弾画像４６を配置する操作を容易に行えることとなる。

また、本処理例では、スマートフォン２０のタッチパネル２６に予め定められた画像（本処理例では、コード画像４２）が表示されている際には、ユーザがスマートフォン２０を動かすことによって、ディスプレイ１４に表示されるオブジェクトの画像（本処理例では、爆弾画像４６）を配置する位置及び向きを設定することができ、爆弾画像４６が配置され、タッチパネル２６に表示される画像がボタン画像４８に切り替わった後は、ユーザは、スマートフォン２０のタッチパネル２６に対して所定の操作（本処理例では、タップ操作）を行うことによって、所定の指示（本処理例では、爆弾画像４６によって表現された爆弾が爆発する演出を行う指示）をゲーム装置１２に送信することができることとなる。このようにして、本処理例におけるゲームシステム１０では、状況によって異なる複数の役割をスマートフォン２０に担わせることができることとなる。

なお、本処理例において、距離分布データ生成部３２が、２つの撮像部により撮像された撮像画像４４に基づいて、距離分布データを生成するようにしてもよい。そして、処理実行部３６が、距離分布データに基づいて、コード画像４２とステレオカメラ１６との距離が所定値以下であるか否かを判定するようにしてもよい。そして、処理実行部３６は、コード画像４２とステレオカメラ１６との距離が所定値以下ではないと判定される場合は、爆弾画像４６が仮想空間内に配置されていない様子を表すよう、すなわち、図５と同様の仮想空間画像４０が表示されるよう、ディスプレイ１４に表示されている仮想空間画像４０を更新するようにしてもよい。また、上述のＳ１０２に示す処理で、処理実行部３６が、撮像画像４４、距離分布データ、及び、スマートフォン２０から送信されるジャイロセンサによる角速度の測定結果のうちの少なくとも１つに基づいて、コード画像４２内における代表点の三次元座標値、及び、コード画像４２が配置されている向きを表す三次元ベクトルを特定してもよい。そして、上述のＳ１０３に示す処理で、処理実行部３６が、上述の三次元座標値及び三次元ベクトルに基づいて、所定の画像が配置されるべき、仮想空間画像４０内における位置及び向きを決定してもよい。また、処理実行部３６が、コード画像４２内における代表点の座標値やコード画像４２が配置されている向きを表すベクトルを特定にあたって、スマートフォン２０から送信される、加速度センサによる測定結果を用いるようにしてもよい。

［第２の利用例］
以下、本実施形態に係るゲームシステム１０の第２の利用例を説明する。

第２の利用例では、ゲーム装置１２は、コントローラ１８とスマートフォン２０とを操作入力装置として用いるシューティングゲームのゲームプログラムを実行する。

図１１は、当該シューティングゲームのプレイ中にディスプレイ１４に表示される画像（以下、プレイ画像５０と呼ぶ。）の一例を示す図である。

図１２に、ディスプレイ１４に表示されるプレイ画像５０の基礎となる撮像画像４４の一例を示す。なお、撮像画像４４は、上述の基準画像に相当し、撮像画像４４として、ステレオカメラ１６の左側に配置された撮像部が撮像した画像を用いても、ステレオカメラ１６の右側に配置された撮像部が撮像した画像を用いても構わない。図１２には、コントローラ１８の画像、及び、コントローラ１８を操作するユーザの手の画像、及び、ユーザの顔の画像だけが示されており、これらの画像以外の画像が省略されているが、実際の撮像画像４４には、ユーザの胴体の画像、背景の画像なども含まれている。図１２に示すように、第２の利用例では、撮像画像４４にコントローラ１８の発光部２４の画像が含まれている。

プレイ画像５０には、撮像画像４４を左右反転した上で、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像、標的となるオブジェクト（本処理例では、例えば、ＵＦＯ）を表す画像（以下、ＵＦＯ画像５２と呼ぶ。）、及び、標的を狙うための照準を表す照準画像５４が含まれている。

当該シューティングゲームでは、２人のユーザが高いスコアを獲得することを目指して対戦する。そして、当該シューティングゲームをプレイする２人のユーザは、それぞれ、コントローラ１８を操作する。第２の利用例では、２人のユーザのそれぞれが操作するコントローラ１８の発光部２４からは異なる色の光が発光するよう予め設定されている。例えば、プレイ画像５０における左側（すなわち、撮像画像４４における右側）のユーザ（以下、第１ユーザと呼ぶ。）のコントローラ１８の発光部２４からは赤色の光が発光し、プレイ画像５０における右側（すなわち、撮像画像４４における左側）のユーザ（以下、第２ユーザと呼ぶ。）のコントローラ１８の発光部２４からは青色の光が発光する。

また、上述の２人のユーザとは別に、スマートフォン２０を操作するユーザ（以下、第３ユーザと呼ぶ。）もゲームに参加している。第３ユーザは、スマートフォン２０を操作することで、ＵＦＯ画像５２の動きを制御する。図１３は、第３ユーザが操作するスマートフォン２０の外観の一例を示す斜視図である。本処理例では、ゲーム装置１２の処理実行部３６が、撮像画像４４を左右反転した画像を縮小した画像（以下、縮小反転画像５６と呼ぶ。）をスマートフォン２０に送信する。ここで、縮小反転画像５６は、撮像画像４４を左右反転した画像を、縦横比を維持したまま、縮小した画像であってもよい。そして、スマートフォン２０が、当該縮小反転画像５６を受信して、当該縮小反転画像５６がタッチパネル２６に表示されるよう制御する。このようにして、スマートフォン２０のタッチパネル２６に縮小反転画像５６が表示される。そして、第３ユーザは、タッチパネル２６に指等を接触させた状態で指等をずらすドラッグ操作を行うことで、標的となるオブジェクトが表示される位置（ここでは、標的となるオブジェクトが移動する軌道を示す線）を指定することができるようになっている。図１３には、ドラッグ操作の軌跡の一例が実線で表現されている。

第２の利用例におけるシューティングゲームでは、スマートフォン２０を操作する第３ユーザが、標的となるオブジェクトの軌道を表す線の入力を、スマートフォン２０のタッチパネル２６に対して行い、コントローラ１８を操作する第１ユーザ及び第２ユーザが、標的となるオブジェクトを狙うための照準の位置をコントローラ１８によって制御する。

なお、以下の説明において、プレイ画像５０、及び、縮小反転画像５６に関し、右方向をＸ軸正方向とし、上方向をＹ軸正方向とする。また、プレイ画像５０の左下端点の座標値を（０，０）、プレイ画像５０の右下端点の座標値を（ｘ３，０）、プレイ画像５０の左上端点の座標値を（０，ｙ３）、プレイ画像５０の右上端点の座標値を（ｘ３，ｙ３）とする。また、縮小反転画像５６の左下端点の座標値を（０，０）、縮小反転画像５６の右下端点の座標値を（ｘ４，０）、縮小反転画像５６の左上端点の座標値を（０，ｙ４）、縮小反転画像５６の右上端点の座標値を（ｘ４，ｙ４）とする。また、第２の利用例では、撮像画像４４と、プレイ画像５０と、縮小反転画像５６の縦横比は同じであることとする。なお、撮像画像４４と、プレイ画像５０と、縮小反転画像５６の縦横比は同じである必要はない。

図１３に示すように、スマートフォン２０のタッチパネル２６に縮小反転画像５６が表示されている際に、第３ユーザが指等を用いてドラッグ操作を行い、指等をタッチパネル２６から離すと、スマートフォン２０は、タッチパネル２６が所定時間間隔で検出した位置の座標値のそれぞれに、ドラッグ操作が開始された時点から当該位置が検出されたタイミングのまでの経過時間が関連付けられた入力軌跡データを生成して、ゲーム装置１２に送信する。そして、ゲーム装置１２の操作信号受付部３４は、当該入力軌跡データを受信する。そして、ゲーム装置１２の処理実行部３６は、ステレオカメラ１６から受け付けた最新の撮像画像４４に基づいて、当該撮像画像４４を左右反転させた上で縮小した縮小反転画像５６を生成して、スマートフォン２０に送信する。ここで、処理実行部３６は、撮像画像４４を左右反転させた上で、縦横比を維持したまま縮小した縮小反転画像５６を生成して、スマートフォン２０に送信してもよい。そして、スマートフォン２０は、当該縮小反転画像５６を受信して、スマートフォン２０のタッチパネル２６に表示されている画像を受信した縮小反転画像５６に更新する。

このようにして、スマートフォン２０のタッチパネル２６に表示される画像が逐次更新されることとなる。

ゲーム装置１２の処理実行部３６は、上述のようにして、スマートフォン２０から入力軌跡データを受信した際に、当該入力軌跡データに基づいて、表示軌跡データを生成して、ゲーム装置１２の記憶部に記憶させる。ここで、処理実行部３６は、例えば、入力軌跡データに含まれる座標値（ａ３，ｂ３）を、座標値（ａ３×ｘ３／ｘ４，ｂ３×ｙ３／ｙ４）に変換し、座標値に関連付けられている経過時間の値を所定倍（例えば、３倍）する。なお、ここで、処理実行部３６は、例えば、ディスプレイ１４とタッチパネル２６のサイズ比に応じた倍率で、座標値に関連付けられている経過時間の値を増加あるいは減少させるようにしてもよい。処理実行部３６は、具体的には、例えば、座標値に関連付けられている経過時間の値をｘ３／ｘ４倍したり、ｙ３／ｙ４倍したりするようにしてもよい。

ここで、第２の利用例において、本実施形態に係るゲームシステム１０で行われる、プレイ画像５０の更新処理の流れの一例を、図１４に例示するフロー図を参照しながら説明する。

まず、ゲーム装置１２の画像受付部３０は、撮像画像４４をステレオカメラ１６から受け付ける（Ｓ２０１）。そして、処理実行部３６は、受け付けた撮像画像４４内における、コントローラ１８の発光部２４の位置を示す座標値を特定する（Ｓ２０２）。本処理例では、赤色の発光部２４の位置を示す座標値と青色の発光部２４の位置を示す座標値とが特定されることとなる。

そして、処理実行部３６は、Ｓ２０２に示す処理で特定された座標値に基づいて、照準画像５４が配置されるべき、プレイ画像５０内における位置を決定する（Ｓ２０３）。本処理例では、処理実行部３６は、例えば、撮像画像４４内における発光部２４の位置が左であるほど、プレイ画像５０内における照準画像５４の位置が右となり、撮像画像４４内における発光部２４の位置が上であるほど、プレイ画像５０内における照準画像５４の位置が上となるよう、予め定められた規則に従って照準画像５４の位置を決定する。また、本処理例では、第１ユーザのコントローラ１８に対応する照準画像５４の位置と、第２ユーザのコントローラ１８に対応する照準画像５４の位置と、が決定されることとなる。

より具体的には、例えば、処理実行部３６は、公知の顔画像認識技術を用いて、撮像画像４４内における第１ユーザと第２ユーザの顔の画像の位置を特定する。そして、処理実行部３６は、特定された顔の画像からＹ軸負方向に所定の長さだけ離れた位置に、撮像画像４４を、縮小した形状が占める領域である検出領域を設定する。ここで、処理実行部３６は、例えば、撮像画像４４を、縦横比を維持したまま縮小した形状が占める領域を、検出領域として設定してもよい。そして、処理実行部３６は、検出領域内における発光部２４の位置と、検出領域を左右反転させて、プレイ画像５０の大きさに拡大した際における照準画像５４内の代表点（例えば、重心）の位置とが、一致するよう、照準画像５４の位置を決定する。ここでは、例えば、図１１に示されている左下の照準画像５４の位置が、第１ユーザに対応付けられる照準画像５４の位置として決定され、図１１に示されている右上の照準画像５４が、第２ユーザに対応付けられる照準画像５４の位置として決定される。

そして、処理実行部３６は、ゲーム装置１２の記憶部に記憶されている表示軌跡データに基づいて、ＵＦＯ画像５２が配置されるべき、プレイ画像５０内における位置を決定する（Ｓ２０４）。本処理例では、処理実行部３６は、例えば、表示軌跡データにおいて、ディスプレイ１４に表示されているＵＦＯ画像５２がディスプレイ１４に表示された時点からの経過時間に関連付けられている座標値をＵＦＯ画像５２が配置される位置の座標値として決定する。なお、処理実行部３６は、ディスプレイ１４に表示されているＵＦＯ画像５２がディスプレイ１４に表示された時点からの経過時間を含む表示軌跡データが存在しない場合には、その前後の経過時間に関連付けられている座標値を補間することで算出される座標値を、ＵＦＯ画像５２が配置される位置の座標値として決定する。

なお、本処理例では、表示軌跡データにおいて、最も値の大きな経過時間に関連付けられている座標値が決定された際には、処理実行部３６は、当該表示軌跡データを記憶部から削除する。

そして、処理実行部３６は、Ｓ２０１に示す処理で取得した撮像画像４４を左右反転した上で、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像に対して、Ｓ２０３に示す処理で決定された位置に照準画像５４（本処理例では、２つの照準画像５４）が配置され、Ｓ２０４に示す処理で決定された位置にＵＦＯ画像５２が配置されたプレイ画像５０を生成して、ディスプレイ１４に表示される画像を当該生成されたプレイ画像５０に更新する（Ｓ２０５）。そして、Ｓ２０１以降に示す処理を再度実行する。

以上のようにして、プレイ画像５０が所定の時間間隔で更新されることとなる。

なお、以上説明した処理例のＳ２０４に示す処理において、表示軌跡データが削除された際には、処理実行部３６は、次にＳ２０４に示す処理を実行する際に、削除された表示軌跡データの次に生成された表示軌跡データにおいて、値が０である経過時間に関連付けられている座標値をＵＦＯ画像５２が配置される位置の座標値として決定する。

本処理例では、スマートフォン２０のタッチパネル２６に対して入力された軌跡と同様の軌跡で、ＵＦＯ画像５２が移動することとなる。また、表示軌跡データに含まれる経過時間の値は、入力軌跡データに含まれる座標値に関連付けられている経過時間の値を３倍となっているので、入力軌跡データに含まれる経過時間の値をそのまま表示軌跡データに含まれる経過時間の値として用いる場合と比較して、ＵＦＯ画像５２は、１／３の速度でプレイ画像５０内を移動することとなる。図１１には、ＵＦＯ画像５２がプレイ画像５０内において移動する軌道が破線で示されている。

ここで、第１ユーザ又は第２ユーザが、シューティングゲームにおける標的の攻撃に対応付けられている、コントローラ１８の所定のボタンを押下すると、コントローラ１８は、当該ボタンが押下されたことを示す操作信号をゲーム装置１２に送信する。すると、ゲーム装置１２の操作信号受付部３４が、当該操作信号を受信する。そして、ゲーム装置１２の処理実行部３６は、攻撃の成否判定を行う。処理実行部３６は、例えば、操作信号を受信した際にディスプレイ１４に表示されているプレイ画像５０において、操作信号の送信元のコントローラ１８に対応する照準画像５４の少なくとも一部とＵＦＯ画像５２の少なくとも一部が重なっている場合は、当該照準画像５４に対応付けられるユーザの攻撃が成功したと判定し、そうでない場合は、攻撃が失敗したと判定する。

そして、処理実行部３６は、攻撃の成否に応じた処理を実行する。例えば、処理実行部３６は、攻撃が成功したと判定された場合に、ゲーム装置１２の記憶部に予め記憶されている、攻撃が成功したと判定されたユーザの、当該シューティングゲームにおけるスコアを表すデータの値を所定値だけ加算する。

このようにして、第２の利用例におけるゲームシステム１０では、ユーザは、シューティングゲームを楽しむことができることとなる。

また、第２の利用例では、ディスプレイ１４に表示されている画像と同様の画像がスマートフォン２０のタッチパネル２６にも表示される。そして、ユーザが、当該タッチパネル２６に表示されている画像に対して、軌跡を表す線を入力するドラッグ操作を行うことで、タッチパネル２６内においてユーザが入力した線の位置に対応付けられる、ディスプレイ１４に表示されている画像内における軌道に沿って、ＵＦＯ画像５２等のオブジェクトが移動する様子を表す動画像がディスプレイ１４に表示されることとなる。このように、第２の利用例では、タッチパネル２６に表示されている画像に対して入力された位置に対応付けられるディスプレイ１４内の位置にオブジェクトが配置された画像が、ディスプレイ１４に表示されることとなる。

なお、第２の利用例において、例えば、処理実行部３６が、スコアを表すデータの値に応じて、ユーザが顔の画像が加工されたプレイ画像５０が、ディスプレイ１４に表示されるよう制御する処理など、上述のスコアを表すデータの値に応じた処理を実行するようにしてもよい。具体的には、例えば、処理実行部３６は、スコアを表すデータの値が最も高いユーザが操作するコントローラ１８の発光部２４の色を特定するようにしてもよい。そして、処理実行部３６は、特定された色の発光部２４が配置されている、プレイ画像５０内における位置を特定するようにしてもよい。そして、処理実行部３６は、公知の顔画像認識技術を用いて、プレイ画像５０内における、特定された発光部２４の位置の上方に配置されているユーザの顔の画像を特定するようにしてもよい。処理実行部３６は、具体的には、例えば、特定された発光部２４の位置から所定の長さだけ上に離れた位置を中心とした所定の形状（例えば、矩形）の領域に対して顔画像認識処理を実行して、ユーザの顔の画像を特定するようにしてもよい。そして、処理実行部３６が、特定されたユーザの顔の画像の位置内の代表点（例えば、重心）から、所定の向き（例えば、上向き）に所定の長さだけ離れた位置を中心とした所定の形状（例えば、矩形）の領域を表示領域として設定するようにしてもよい。そして、処理実行部３６が、設定された表示領域に、スコアを表すデータの値が最高であることを表す所定の画像（例えば、王冠の画像）が配置されるよう、ディスプレイ１４に表示されているプレイ画像５０を更新するようにしてもよい。同様にして、処理実行部３６は、例えば、スコアを表すデータの値が最も低いユーザの顔の画像の上に設定される表示領域に、スコアを表すデータの値が最低であることを表す所定の画像が配置されるよう、ディスプレイ１４に表示されているプレイ画像５０を更新するようにしてもよい。以上説明したように、第２の利用例において、発光部２４と所定の位置関係がある領域内に対して顔画像認識処理が実行されるようにしたり、ユーザの顔の画像と所定の位置関係がある領域が表示領域として設定されて、当該表示領域に画像が配置されるようにしたりしてもよい。

また、第２の利用例において、ゲーム装置１２の処理実行部３６が、入力軌跡データの受信に応じて撮像画像４４をスマートフォン２０に送信する代わりに、所定の時間間隔（例えば、１秒間隔、あるいは、１／６０秒間隔）で、ステレオカメラ１６から受け付けた最新の撮像画像４４に基づいて縮小反転画像５６を生成して、スマートフォン２０に送信するようにしてもよい。そして、スマートフォン２０が、縮小反転画像５６の受信に応じて、タッチパネル２６に表示される画像を、受信した縮小反転画像５６に更新するようにしてもよい。このようにすれば、ディスプレイ１４に表示される動画像と同様の、当該動画像よりもサイズが小さな動画像がタッチパネル２６に表示されることとなる。

また、上述の動画像がタッチパネル２６に表示されている際に、第３ユーザによる、タッチパネル２６へのドラッグ操作が開始されたタイミングから終了されたタイミングまでの期間、すなわち、タッチパネル２６に指等が接触したタイミングからタッチパネル２６から指等が離れたタイミングまでの期間に、タッチパネル２６に表示される画像が更新されないようにしてもよい。すなわち、スマートフォン２０が、上述の期間においては、タッチパネル２６に表示される画像の更新処理を停止するようにしてもよい。

また、第２の利用例において、上述のＳ２０３に示す処理で、処理実行部３６が、撮像画像４４内における発光部２４の位置と、撮像画像４４を左右反転させて、プレイ画像５０の大きさに拡大又は縮小した際における照準画像５４内の代表点（例えば、重心）の位置とが、一致するよう、照準画像５４の位置を決定するようにしてもよい。また、処理実行部３６は、コントローラ１８の位置と、コントローラ１８に対する操作やコントローラ１８の姿勢（例えば、コントローラ１８の傾きや角速度）と、に基づいて、プレイ画像５０に配置されるオブジェクト（例えば、照準画像５４）の位置を決定してもよい。具体的には、例えば、上述のＳ２０１に示す処理で、ゲーム装置１２の画像受付部３０が、撮像画像４４をステレオカメラ１６から受け付けるとともに、ゲーム装置１２の操作信号受付部３４が、コントローラ１８から、ジャイロセンサによる角速度の測定結果を受け付けてもよい。そして、上述のＳ２０３に示す処理で、処理実行部３６が、検出領域内（あるいは、撮像画像４４内）における発光部２４の位置と、検出領域（あるいは、撮像画像４４）を左右反転させて、プレイ画像５０の大きさに拡大した際における基準点の位置とが、一致するよう、基準点の位置を決定してもよい。そして、処理実行部３６が、当該基準点の位置をジャイロセンサによる角速度の測定結果に基づいて決定される補正量だけ移動させた位置（例えば、ジャイロセンサによる測定結果である角速度のベクトルに沿った向きに、当該角速度のベクトルの大きさに比例する長さだけ、基準点の位置を移動させた位置）を、照準画像５４の位置として決定してもよい。

また、第２の利用例において、ゲーム装置１２の処理実行部３６が、縮小反転画像５６の代わりに、撮像画像４４、撮像画像４４を左右反転させた画像、撮像画像４４を縮小した画像、などをスマートフォン２０に送信するようにしてもよい。そして、スマートフォン２０が、受信した画像に基づいて縮小反転画像５６を生成するようにしてもよい。

また、例えば、スマートフォン２０が、入力軌跡データに基づいて表示軌跡データを生成して、ゲーム装置１２に送信するようにしてもよい。そして、ゲーム装置１２が、受信した表示軌跡データをゲーム装置１２の記憶部に記憶させるようにしてもよい。

［第３の利用例］
以下、本実施形態に係るゲームシステム１０の第３の利用例を説明する。

第３の利用例では、ゲーム装置１２の画像受付部３０が、撮像画像４４（図１５参照）をステレオカメラ１６から受け付ける。

図１５は、第３の利用例における撮像画像４４の一例を示す図である。なお、撮像画像４４は、上述の基準画像に相当し、撮像画像４４として、ステレオカメラ１６の左側に配置された撮像部が撮像した画像を用いても、ステレオカメラ１６の右側に配置された撮像部が撮像した画像を用いても構わない。図１５には、２つのコントローラ１８の画像、及び、それぞれのコントローラ１８を操作するユーザの手の画像だけが示されており、これらの画像以外の画像が省略されているが、実際の撮像画像４４には、ユーザの顔の画像、ユーザの胴体の画像、背景の画像なども含まれている。図１５に示すように、第３の利用例では、撮像画像４４にコントローラ１８の発光部２４の画像が含まれている。第３の利用例では、これら２つの発光部２４のそれぞれからは互いに異なる色の光が発光している。

そして、第３の利用例では、処理実行部３６が、撮像画像４４を左右反転させた上で、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像を、中間画像として生成する。ここで、処理実行部３６が、撮像画像４４を左右反転させた上で、縦横比を維持したままディスプレイ１４の解像度に応じた拡大又は縮小を行った画像を、中間画像として生成してもよい。そして、処理実行部３６は、中間画像内における、発光部２４の位置を特定する。そして、処理実行部３６は、中間画像に対して、特定された発光部２４の位置をつなぐ図形（例えば、糸を表す図形）を配置した画像を、表示対象画像５８として生成し、当該表示対象画像５８がディスプレイ１４に表示されるよう制御する（図１６参照）。図１６は、表示対象画像５８の一例を示す図である。

第３の利用例では、ゲーム装置１２は、以上説明した、撮像画像４４の受付から表示対象画像５８の表示制御までの処理を、ステレオカメラ１６が撮像画像４４を撮像する（生成する）間隔で実行する。そのため、表示対象画像５８内における、発光部２４の位置をつなぐ図形の位置は、ステレオカメラ１６が撮像画像４４を撮像する（生成する）間隔で変更されることとなる。

なお、例えば、図１７に示すように、撮像画像４４に、コントローラ１８の画像と、指を突き出した手の画像と、が含まれていてもよい。そして、処理実行部３６が、撮像画像４４を左右反転させた上で、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像を、中間画像として生成するようにしてもよい。ここで、処理実行部３６は、例えば、撮像画像４４を左右反転させた上で、縦横比を維持したまま、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像を、中間画像として生成するようにしてもよい。そして、公知のピーク検出技術を用いることによって、処理実行部３６が、距離分布データが示す距離分布に基づいて、中間画像内におけるピークの位置（例えば、人差し指の先端）を特定するようにしてもよい。そして、処理実行部３６が、中間画像に対して、特定されたピークの位置と、コントローラ１８の発光部２４の位置と、をつなぐ図形を配置した画像を表示対象画像５８として生成するようにしてもよい。図１８は、以上のようにして生成された表示対象画像５８の一例を示す図である。

また、例えば、撮像画像４４に、コントローラ１８の画像と、所定の画像（ここでは、例えば、コード画像４２）がタッチパネル２６に表示されたスマートフォン２０の画像と、が含まれていてもよい。そして、処理実行部３６が、撮像画像４４を左右反転させた上で、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像を、中間画像として生成するようにしてもよい。ここで、処理実行部３６は、例えば、撮像画像４４を左右反転させた上で、縦横比を維持したまま、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像を、中間画像として生成するようにしてもよい。そして、処理実行部３６が、例えば、中間画像内における、コード画像４２内の代表点（例えば、重心）の位置と、コントローラ１８の発光部２４の位置を特定するようにしてもよい。そして、処理実行部３６が、中間画像に対して、特定されたコード画像４２内の代表点の位置と、発光部２４の位置と、をつなぐ図形を配置した画像を、表示対象画像５８として生成し、当該表示対象画像５８がディスプレイ１４に表示されるよう制御する（図１９参照）。図１９は、以上のようにして生成された表示対象画像５８の一例を示す図である。

処理実行部３６が、上述と同様の処理を実行することによって、例えば、特定されたピークの位置と、スマートフォン２０のタッチパネル２６に表示された画像の位置と、をつなぐ図形が配置された表示対象画像５８を生成するようにしてもよい。

第３の利用例によれば、複数のコントローラ１８の位置の組合せに応じた処理が実行される。また、第３の利用例によれば、スマートフォン２０など多様な種類の端末の位置と、コントローラ１８の位置と、の組合せに応じた処理も実行可能である。また、第３の利用例によれば、第３の利用例によれば、突き出されたユーザの指などといった、検出されたピーク位置と、コントローラ１８やスマートフォン２０等といった装置の位置と、に応じた処理も実行可能である。

［第４の利用例］
以下、本実施形態に係るゲームシステム１０の第４の利用例を説明する。

第４の利用例では、ゲーム装置１２は、コントローラ１８を操作入力装置として用いる対戦型のゲーム（ここでは、例えば、エアホッケーゲーム）のゲームプログラムを実行する。

図２０は、当該エアホッケーゲームのプレイ中にディスプレイ１４に表示される画像（以下、第４の利用例におけるプレイ画像５０と呼ぶ。）の一例を示す図である。図２１は、当該エアホッケーゲームのプレイ中にディスプレイ１４に表示されるプレイ画像５０の別の一例を示す図である。プレイ画像５０には、エアホッケーのフィールドを表すフィールド画像６０、２人のユーザそれぞれが操作するためのバーを表す２つのバー画像６２、及び、２人のユーザが互いに打ち返すパックを表すパック画像６４、が含まれている。

当該エアホッケーゲームでは、２人のユーザが、パック画像６４が表すパックを互いに打ち返す。２人のユーザのそれぞれに対応付けられているバー画像６２は、コントローラ１８が備えたタッチセンサによって操作可能となっている。また、２人のユーザが持つコントローラ１８の位置及び向きの変化に応じて、フィールド画像６０の位置、大きさ、及び、形状が変化する。本実施形態では、ディスプレイ１４に向かって左側のユーザに対応するバー画像６２が左側に配置され、ディスプレイ１４に向かって右側のユーザに対応するバー画像６２が右側に配置される。また、ディスプレイ１４に向かって左側のユーザに対応するバー画像６２付近の色は、ディスプレイ１４に向かって左側のユーザが操作するコントローラ１８の発光部２４から発光する光の色と同系統の色となり、ディスプレイ１４に向かって右側のユーザに対応するバー画像６２付近の色は、ディスプレイ１４に向かって右側のユーザが操作するコントローラ１８の発光部２４から発光する光の色と同系統の色となる。

当該エアホッケーゲームでは、公知のエアホッケーゲームと同様、一方のユーザが所定のスタート操作を行うと（例えば、コントローラ１８が備える所定のボタンを押下すると）、当該ユーザに対応するバー画像６２が表すバーから所定の速度でパック画像６４が表すパックが発射される。ここで、第４の利用例では、パック画像６４は、フィールド画像６０の座標系に従って移動することとなる。当該エアホッケーゲームでは、ユーザが、コントローラ１８を動かすことでフィールド画像６０の形状等が変化するので、プレイ画像５０内で動くパックが従来のエアホッケーゲームと比較して不規則なものとなる。

そして、フィールド画像６０の上辺及び下辺、及び、バー画像６２が表すバーで、パック画像６４が表すパックが反射する。バー画像６２が表すバーとパック画像６４が表すパックとが接触する際に、当該バーが当該パックに向かう向きに動いていると、当該パックは加速される。また、バー画像６２が表すバーとパック画像６４が表すパックとが接触する際に、当該バー当該パックから離れる向きに動いていると、当該パックは減速される。

以下、第４の利用例において、画像受付部３０による撮像画像４４の受付間隔で実行される処理について説明する。

まず、画像受付部３０が、第３の利用例と同様の、２人のユーザのそれぞれが持っているコントローラ１８の発光部２４の画像が含まれる撮像画像４４を受け付ける。これら２つの発光部２４からは、互いに異なる色の光が発光するよう予め設定されている。また、操作信号受付部３４が、２つのコントローラ１８のそれぞれから、コントローラ１８が備える加速度センサの測定結果、コントローラ１８が備えるジャイロセンサの測定結果、及び、コントローラ１８が備えるタッチセンサによる指等の物体の検出結果を受け付ける。

そして、処理実行部３６は、撮像画像４４を左右反転させた上で、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像内における、２つの発光部２４の位置を特定する。ここで、処理実行部３６は、例えば、撮像画像４４を左右反転させた上で、縦横比を維持したまま、ディスプレイ１４の解像度に応じた拡大又は縮小を行った画像内における、２つの発光部２４の位置を特定してもよい。また、処理実行部３６は、コントローラ１８のそれぞれから受け付けた、コントローラ１８が備える加速度センサの測定結果、及び、コントローラ１８が備えるジャイロセンサの測定結果に基づいて、２つのコントローラ１８のそれぞれの向きを特定する。

そして、処理実行部３６は、特定された２つのコントローラ１８の発光部２４の位置関係、及び、２つのコントローラ１８それぞれの向き、に基づいて、プレイ画像５０内におけるフィールド画像６０の位置、形状、及び、大きさを決定する。

本実施形態では、例えば、ディスプレイ１４に向かって左側のユーザのコントローラ１８が、反時計回りに傾いている場合は、右下から左上に向かう向きが、時計回りに傾いている場合は、左下から右上に向かう向きが、フィールド画像６０の左辺の向きとして決定される。また、ディスプレイ１４に向かって右側のユーザのコントローラ１８が、反時計回りに傾いている場合は、右下から左上に向かう向きが、時計回りに傾いている場合は、左下から右上に向かう向きが、フィールド画像６０の右辺の向きとして決定される。

また、ディスプレイ１４に向かって左側のユーザのコントローラ１８の位置が、左であるほど、左となり、右であるほど、右となるよう、プレイ画像５０内におけるフィールド画像６０の左辺の位置が決定される。また、ディスプレイ１４に向かって右側のユーザのコントローラ１８の位置が、左であるほど、左となり、右であるほど、右となるよう、プレイ画像５０内におけるフィールド画像６０の右辺の位置が決定される。

そして、処理実行部３６は、フィールド画像６０の左辺の上端と右辺の上端とをなめらかにつなぐ曲線又は直線を、フィールド画像６０の上辺を表す線として決定し、フィールド画像６０の左辺の下端と右辺の下端とをなめらかにつなぐ曲線又は直線を、フィールド画像６０の上辺を表す線として決定する。

また、処理実行部３６は、コントローラ１８が備えるタッチセンサによる指等の物体の検出結果に基づいて、バー画像６２の新たな位置を決定する。本実施形態では、処理実行部３６は、例えば、ディスプレイ１４に向かって左側のユーザのコントローラ１８から、タッチセンサを上向きにドラッグする操作が行われたことを示す検出結果を受け付けた場合は、フィールド画像６０の左辺における位置が所定値だけ上となるようプレイ画像５０の左側に配置されたバー画像６２の新たな位置を決定し、タッチセンサを下向きにドラッグする操作が行われたことを示す検出結果を受け付けた場合は、フィールド画像６０の左辺における位置が所定値だけ下となるよう、プレイ画像５０の左側に配置されたバー画像６２の新たな位置を決定する。また、処理実行部３６は、例えば、ディスプレイ１４に向かって右側のユーザのコントローラ１８から、タッチセンサを上向きにドラッグする操作が行われたことを示す検出結果を受け付けた場合は、フィールド画像６０の右辺における位置が所定値だけ上となるようプレイ画像５０の右側に配置されたバー画像６２の新たな位置を決定し、タッチセンサを下向きにドラッグする操作が行われたことを示す検出結果を受け付けた場合は、フィールド画像６０の右辺における位置が所定値だけ下となるようプレイ画像５０の右側に配置されたバー画像６２の新たな位置を決定する。

そして、処理実行部３６は、パック画像６４の現在位置及び当該パック画像６４が表すパックの速度ベクトル、フィールド画像６０の形状等、バー画像６２の位置等に基づいて、パック画像６４の新たな位置を決定する。

そして、処理実行部３６は、ディスプレイ１４に表示されている画像を、上述のようにして位置等が決定されたフィールド画像６０、バー画像６２、及び、パック画像６４が配置されたプレイ画像５０に更新する。

このように、第４の利用例では、処理実行部３６は、複数のコントローラ１８（ここでは、２つのコントローラ１８）それぞれの、位置又は姿勢の少なくとも一方についての関係に基づいて、ディスプレイ１４に表示されるオブジェクトの画像（ここでは、例えば、フィールド画像６０）の配置（形状、位置、大きさ等）を決定する。また、処理実行部３６は、それぞれのコントローラ１８について、コントローラ１８に対する操作（ここでは、タッチセンサに対するドラッグ操作）に基づいて、当該コントローラ１８に対応付けられる、ディスプレイ１４に表示される他のオブジェクトの画像（ここでは、例えば、バー画像６２）の配置を決定する。また、以上説明したように、ゲームの勝敗に関連するオブジェクト（ここでは、フィールド画像６０）が、ゲームにおいて対戦しているユーザそれぞれのコントローラ１８の位置、コントローラ１８間の距離、コントローラ１８の姿勢（例えば、角度）、などに基づいて、変形されるようにしてもよい。

以上、第１の利用例、第２の利用例、第３の利用例、及び、第４の利用例において説明したように、本実施形態に係るゲームシステム１０によれば、コントローラ１８やスマートフォン２０などといった操作入力装置が撮像部を備えていなくても、操作入力装置に対して行われた操作と、操作入力装置の位置と、に応じた処理を実行することができることとなる。また、本実施形態に係るゲームシステム１０によれば、コントローラ１８やスマートフォン２０などといった操作入力装置が撮像部を備えていたとしても、当該撮像部を用いることなく、操作入力装置に対して行われた操作と、操作入力装置の位置と、に応じた処理を実行することができることとなる。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、ゲーム装置１２の画像受付部３０が、ステレオカメラ１６ではないカメラから、撮像画像４４を受け付けるようにしてもよい。

また、例えば、ゲーム装置１２が、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、被写体とゲーム装置１２との距離分布を測定する距離分布測定部から、距離分布の測定結果を受け付けるようにしてもよい。

また、例えば、ゲーム装置１２が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、被写体に対してピントが合ったレンズに基づいて、被写体とゲーム装置１２との距離分布を測定する距離分布測定部から、距離分布の測定結果を受け付けるようにしてもよい。

そして、ゲーム装置１２の距離分布データ生成部３２が、受信した測定結果に基づいて、距離分布データを生成するようにしてもよい。

また、本実施形態を、ゲーム装置１２を含むゲームシステム１０以外の、情報処理装置等を含む一般的な情報処理システムに応用しても構わない。

また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。

１０ ゲームシステム、１２ ゲーム装置、１４ ディスプレイ、１６ ステレオカメラ、１８ コントローラ、２０ スマートフォン、２２ 板状操作部材、２４ 発光部、２６ タッチパネル、３０ 画像受付部、３２ 距離分布データ生成部、３４ 操作信号受付部、３６ 処理実行部、４０ 仮想空間画像、４２ コード画像、４４ 撮像画像、４６ 爆弾画像、４８ ボタン画像、５０ プレイ画像、５２ ＵＦＯ画像、５４ 照準画像、５６ 縮小反転画像、５８ 表示対象画像、６０ フィールド画像、６２ バー画像、６４ パック画像。

Claims (4)

1. 撮像部が撮像した操作入力装置の画像を受け付ける画像受付部と、
   前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部と、
   前記画像受付部が受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付部が受け付ける操作信号と、に応じた処理を実行する処理実行部と、を含み、
   前記画像受付部が、予め定められた画像が表示されたタッチパネルを備えた操作入力装置の画像を受け付け、
   前記処理実行部が、前記画像受付部が受け付ける画像内における前記予め定められた画像の位置を特定し、
   前記処理実行部が、前記予め定められた画像の位置が特定された後に、前記操作入力装置のタッチパネルに操作を促す画像が表示されるよう制御し、
   前記操作信号受付部が、前記タッチパネルに表示されている前記操作を促す画像に対する操作に応じた操作信号を当該操作入力装置から受け付け、
   前記処理実行部が、特定された前記予め定められた画像の位置と、受け付けた前記操作信号と、に応じた処理を実行する、
   ことを特徴とする情報処理装置。
2. 撮像部が撮像した、予め定められた画像が表示されたタッチパネルを備えた操作入力装置の画像を受け付ける画像受付ステップと、
   前記画像受付ステップで受け付ける画像内における前記予め定められた画像の位置を特定するステップと、
   前記予め定められた画像の位置が特定された後に、前記操作入力装置のタッチパネルに操作を促す画像が表示されるよう制御するステップと、
   前記タッチパネルに表示されている前記操作を促す画像に対する操作に応じた操作信号を前記操作入力装置から受け付ける操作信号受付ステップと、
   特定された前記予め定められた画像の位置と、受け付けた前記操作信号と、に応じた処理を実行する処理実行ステップと、
   を含むことを特徴とする情報処理方法。
3. 撮像部が撮像した操作入力装置の画像を受け付ける画像受付部、
   前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部、
   前記画像受付部が受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付部が受け付ける操作信号と、に応じた処理を実行する処理実行部、としてコンピュータを機能させ、
   前記画像受付部が、予め定められた画像が表示されたタッチパネルを備えた操作入力装置の画像を受け付け、
   前記処理実行部が、前記画像受付部が受け付ける画像内における前記予め定められた画像の位置を特定し、
   前記処理実行部が、前記予め定められた画像の位置が特定された後に、前記操作入力装置のタッチパネルに操作を促す画像が表示されるよう制御し、
   前記操作信号受付部が、前記タッチパネルに表示されている前記操作を促す画像に対する操作に応じた操作信号を当該操作入力装置から受け付け、
   前記処理実行部が、特定された前記予め定められた画像の位置と、受け付けた前記操作信号と、に応じた処理を実行する、
   ことを特徴とするプログラム。
4. 撮像部が撮像した操作入力装置の画像を受け付ける画像受付部、
   前記操作入力装置に対する操作に応じた操作信号を当該操作入力装置から受け付ける操作信号受付部、
   前記画像受付部が受け付ける画像内における前記操作入力装置の位置と、前記操作信号受付部が受け付ける操作信号と、に応じた処理を実行する処理実行部、としてコンピュータを機能させ、
   前記画像受付部が、予め定められた画像が表示されたタッチパネルを備えた操作入力装置の画像を受け付け、
   前記処理実行部が、前記画像受付部が受け付ける画像内における前記予め定められた画像の位置を特定し、
   前記処理実行部が、前記予め定められた画像の位置が特定された後に、前記操作入力装置のタッチパネルに操作を促す画像が表示されるよう制御し、
   前記操作信号受付部が、前記タッチパネルに表示されている前記操作を促す画像に対する操作に応じた操作信号を当該操作入力装置から受け付け、
   前記処理実行部が、特定された前記予め定められた画像の位置と、受け付けた前記操作信号と、に応じた処理を実行する、
   ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images