JP5800501B2 - 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 - Google Patents

Description

本発明は、表示対象を２以上の表示領域に表示して、当該表示対象に対してユーザが操作を行うことが可能な表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法に関する。

従来、２以上の表示領域を有し、一方の表示領域に表示対象を表示しつつ、他方の表示領域に操作用の表示を行って、当該操作用の表示に対する操作によって表示対象を操作する表示制御プログラムが存在する。例えば、特許文献１に記載のゲーム装置では、上画面にゲーム空間の一部を斜めから見た画像を表示するとともに、下画面には当該ゲーム空間の全体を上方から見た画像を表示している。そして、プレイヤは下画面に対して操作を行うことで、ゲームをプレイする。

特開２００５−２１８７７９号公報

しかしながら、特許文献１に記載のゲーム装置では、下画面で操作した結果が上画面で表示されるものであって、ユーザに上画面に表示されたオブジェクトを直接操作しているような感覚を与えるには十分でない場合がある。すなわち、特許文献１に記載の装置では、ユーザは下画面に表示された操作用の画面を見ながら当該操作用画面を操作し、上画面にはその操作結果としてオブジェクトが動作する様子が表示される。このため、ユーザは、上画面に表示されたオブジェクトを直接操作しているという実感が得難い。

それ故、本発明の目的は、ユーザに表示対象を直接操作しているような感覚を与えることが可能な表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法を提供することである。

本発明は、上記の課題を解決するために、以下の構成を採用した。

本発明は、表示制御装置のコンピュータにおいて実行される表示制御プログラムである。当該表示制御プログラムは、上記コンピュータを、第１表示制御手段と、第２表示制御手段と、制御手段として機能させる。第１表示制御手段は、第１表示領域に所定の表示対象を所定の方向から見た第１画像を表示する。第２表示制御手段は、上記第１表示領域に上記所定の表示対象が表示されている間、上記第１表示領域とは異なる第２表示領域に上記所定の表示対象を上記所定の方向と略同じ方向から見た第２画像を表示する。制御手段は、ユーザによる上記第２表示領域上の位置の指示を検出する指示位置検出手段が検出した指示位置に基づいて、上記第１画像および上記第２画像に含まれる上記所定の表示対象を制御する。

ここで、「略同じ方向」とは、完全に同一の方向であってもよいし、所定の角度だけ異なる方向であってもよい。

上記によれば、所定の表示対象を略同じ方向から見た画像が第１表示領域および第２表示領域に表示される。ユーザは、第２表示領域上の位置を指示することによって第１表示領域および第２表示領域に表示される所定の表示対象を操作することができる。これにより、ユーザは、第１表示領域に表示された第１画像に含まれる所定の表示対象を見ながら、当該所定の表示対象を第２表示領域上で操作することができる。ユーザは、例えば、上記所定の表示対象の形状を変化させたり、所定の表示対象を移動させたり、所定の表示対象の姿勢を変化させたりすることができる。このため、ユーザは、所定の表示対象を直接操作している感覚を得ることができる。

また、本発明では、上記第２画像は、上記第１画像と略同一の撮像範囲を撮像した画像であってもよい。ここで、「略同一の撮像範囲」とは、略同一の空間の範囲を撮像した画像であり、一方の範囲が他方の範囲に対して３０％程度（縦及び／又は横方向に関して）大きい範囲であってもよい。

上記によれば、第１表示領域および第２表示領域には略同一の撮像範囲を略同一の方向から撮像した画像が表示される。これにより、ユーザは、第１表示領域に表示された所定の表示対象と第２表示領域に表示された表示対象を容易に対応付けることができ、第１画像に含まれる所定の表示対象を見ながら、当該所定の表示対象を直接操作している感覚を得ることができる。

また、本発明では、上記第２画像は、上記第１画像と略同じ大きさの画像であってもよい。ここで、「略同じ大きさの画像」とは、一方の画像に対して他方の画像が３０％程度（縦及び／又は横方向に関して）拡大された画像であってもよい。

上記によれば、第１表示領域および第２表示領域には略同じ大きさの画像が表示される。これにより、ユーザは、第１表示領域に表示された所定の表示対象を見ながら第２表示領域上で上記所定の表示対象を容易に操作することができる。

また、本発明では、上記第２画像に含まれる上記所定の表示対象は、上記第１画像に含まれる上記所定の表示対象と略同じ大きさであってもよい。ここで、「略同じ大きさ」とは、一方の画像に含まれる上記所定の表示対象が、他方の画像に含まれる当該所定の表示対象に対して、３０％程度（縦及び／又は横方向に関して）大きくてもよい。

上記によれば、第１表示領域および第２表示領域には略同じ大きさの上記所定の表示対象が表示される。これにより、ユーザは、第１表示領域に表示された表示対象を見ながら第２表示領域上で上記所定の表示対象を容易に操作することができる。

また、本発明では、上記第２画像は、上記第１画像が撮像された位置と略同一の位置から上記所定の表示対象を見た画像である。

上記によれば、第１表示領域および第２表示領域には略同一の位置であって略同一の方向から撮像した画像が表示される。これにより、例えば、第１表示領域の右側に上記所定の表示対象が表示される場合は、第２表示領域も同様に右側に上記所定の表示対象が表示される。従って、ユーザは、第１表示領域に表示された所定の表示対象と第２表示領域に表示された表示対象を容易に対応付けることができ、第１画像に含まれる所定の表示対象を見ながら、当該所定の表示対象を直接操作している感覚を得ることができる。

また、本発明では、上記第２画像は、上記第１画像と比較して、上記所定の表示対象を簡略表示した画像であってもよい。ここで、「簡略表示」とは、上記所定の表示対象の色を減色させたり、上記所定の表示対象の輪郭のみを表示したり、上記所定の表示対象を所定のパターンの点や線で塗りつぶしたりして、上記第１画像に表示された所定の表示対象よりも簡略して表示することである。

上記によれば、第２表示領域には、所定の表示対象を簡略して表示することができる。これにより、ユーザに第１表示領域に表示された所定の表示対象を注目させることができる。

また、本発明では、上記第１画像は、上記所定の表示対象を多色で表示した画像であり、上記第２画像は、上記第１画像と比較して、上記所定の表示対象を減色して表示した画像であってもよい。

上記によれば、第２表示領域には、所定の表示対象を減色して表示することができる。これにより、第２表示領域に表示された所定の表示対象を第１表示領域に表示された所定の表示対象よりも目立たない表示にすることができ、ユーザに第１表示領域に表示された所定の表示対象を注目させることができる。

また、本発明では、上記第２画像は、上記所定の表示対象を単色にして表示した画像であってもよい。

上記によれば、第２表示領域には、所定の表示対象を単色にして表示することができる。これにより、第２表示領域に表示された所定の表示対象を第１表示領域に表示された所定の表示対象よりも目立たない表示にすることができ、ユーザに第１表示領域に表示された所定の表示対象をより注目させることができる。

また、本発明では、上記指示位置検出手段は、上記第２表示領域上に設けられ、上記第２表示領域上への接触位置を、上記指示位置として検出してもよい。

上記によれば、ユーザは、第２表示領域への接触によって当該第２表示領域上の位置の指示をすることができる。例えば、指示位置検出手段としてタッチパネルが用いられてもよい。これにより、ユーザは、第２表示領域への接触によって上記所定の表示対象を操作する場合においても、第１表示領域に表示された所定の表示対象を見ながら容易に操作することができる。すなわち、ユーザは、第２表示領域に表示された所定の表示対象をスティックや指で接触して操作すると、第２表示領域に表示された所定の表示対象をスティックや指等で隠してしまうため、第２表示領域にのみ当該所定の表示対象が表示されると操作し難い場合がある。しかしながら、第１表示領域にも上記所定の表示対象が表示されるため、ユーザは、第１表示領域に表示された所定の表示対象を見ながら、当該所定の表示対象を第２表示領域上で容易に操作することができる。

また、本発明では、上記第１表示制御手段および上記第２表示制御手段は、仮想空間に存在する上記所定の表示対象を仮想カメラで撮像した第１画像および第２画像を、上記第１表示領域および上記第２表示領域にそれぞれ表示してもよい。

上記によれば、仮想空間に存在する上記所定の表示対象を第１表示領域および第２表示領域に表示することができる。

上記第１表示制御手段は、上記第１画像として、仮想空間に存在する複数の表示対象を上記所定の方向から見た画像を表示してもよい。この場合において、上記表示制御プログラムは、上記複数の表示対象のうち、所定の条件を満たす少なくとも１つの表示対象を選出する表示対象選出手段、として上記コンピュータをさらに機能させる。そして、上記第２表示制御手段は、上記第２画像として、上記複数の表示対象のうち上記表示対象選出手段によって選出された表示対象を上記表示対象選出手段によって選出されなかった表示対象とは異なる表示態様で表示した画像を、上記第２表示領域に表示する。

上記によれば、複数の表示対象のうち、選出手段で選出された表示対象を選出されなかった表示対象とは異なる表示態様で第２表示領域に表示することができる。これにより、例えば、ユーザによって操作可能なオブジェクトを操作不可能なオブジェクトとは異なる色で表示することができる。これにより、ユーザは、例えば、操作可能なオブジェクトを容易に認識することができる。

また、本発明では、上記第１表示制御手段は、上記第１画像として、仮想空間に存在する複数の表示対象を上記所定の方向から見た画像を表示してもよい。また、上記表示制御プログラムは、上記コンピュータを、表示対象選出手段としてさらに機能させてもよい。表示対象選出手段は、上記複数の表示対象のうち、所定の条件を満たす少なくとも１つの表示対象を選出する。また、上記第２表示制御手段は、上記第２画像として、上記表示対象選出手段によって選出された表示対象のみを上記所定の方向と略同じ方向から見た画像を表示する。そして、上記制御手段は、上記指示位置検出手段が検出した上記第２表示領域上の指示位置に基づいて、上記第１画像および上記第２画像に含まれる、上記表示対象選出手段によって選出された表示対象の少なくとも１つの表示対象を制御する。

上記によれば、仮想空間に存在する複数の表示対象を第１表示領域に表示し、当該複数の表示対象のうち、所定の条件を満たす表示対象を第２表示領域に表示することができる。

また、本発明では、上記表示対象選出手段は、上記仮想空間に存在する上記複数の表示対象のうち、ユーザによって操作されることが可能な表示対象のみを選出してもよい。

上記によれば、第２表示領域には複数の表示対象のうち、ユーザが操作可能な表示対象のみが表示される。これにより、ユーザは操作可能な表示対象を容易に認識することができ、操作可能な表示対象に対する操作を容易に行うことができる。

また、本発明では、上記第２表示制御手段は、上記表示対象選出手段によって選出された表示対象が複数存在する場合、各表示対象の表示態様が異なるようにして上記第２画像を上記第２表示領域に表示する。ここで、表示対象の表示態様とは、色や模様、輪郭、塗りつぶしのパターン等を示す当該表示対象の表示の仕方である。

上記によれば、第２表示領域に表示される複数の表示対象は、互いに異なる表示態様で表示される。例えば、一方の表示対象を灰色にし、他方の表示対象を青色にすることができる。また、例えば、一方の表示対象を所定の線のパターンで塗りつぶし、他方の表示対象を当該所定のパターンとは異なるパターンで塗りつぶして表示することができる。これにより、ユーザは、各表示対象を容易に識別することができ、各表示対象に対する操作が容易になる。

また、本発明では、上記第２表示制御手段は、上記表示対象選出手段によって選出された表示対象が複数存在する場合、隣り合う２つの表示対象の表示態様が異なるようにして上記第２画像を上記第２表示領域に表示する。

上記によれば、第２表示領域に表示される複数の表示対象のうち、隣り合う２つの表示対象は互いに異なる表示態様で表示される。これにより、ユーザは、各表示対象を容易に識別することができ、各表示対象に対する操作が容易になる。

また、本発明では、上記表示制御プログラムは、上記コンピュータを、カーソル表示手段としてさらに機能させてもよい。カーソル表示手段は、上記指示位置検出手段が検出した上記第２表示領域上の指示位置に対応した上記第１表示領域上の位置に、ユーザによって指示された位置を示すカーソルを表示する。

上記によれば、ユーザが指示した第２表示領域上の位置に対応して、第１表示領域にカーソルを表示することができる。これにより、ユーザは、自身が指示した位置を確認することができ、第１表示領域に表示された所定の操作対象を直接操作している感覚を得ることができる。

上記カーソル表示手段は、上記カーソルを上記第１表示領域にのみ表示してもよい。

上記によれば、第１表示領域にのみカーソルを表示することができ、例えば、ユーザを第１表示領域に注目させることができる。

また、本発明では、上記第２画像には深度値が設定されていてもよい。この場合において、上記表示制御プログラムは、位置算出手段と、カーソル表示手段として、上記コンピュータをさらに機能させる。位置算出手段は、上記第２表示領域上の指示位置と当該指示位置における上記第２画像の深度値とに基づいて、上記仮想空間における位置を算出する。カーソル表示手段は、上記位置算出手段によって算出された位置にカーソルを表示する。

上記によれば、画像に設定された深度値に基づいて仮想空間における位置を算出し、当該算出した位置にカーソルを表示することができる。これにより指示位置に対応した仮想空間における位置を正確かつ容易に求めることができ、カーソルを表示することができる。

また、本発明では、上記第２表示領域は、上記第１表示領域とは異なる表示方式の表示領域であってもよい。異なる表示方式の表示領域とは、解像度が異なる表示領域であってもよいし、一方が立体表示（立体視で表示）可能な表示領域であり、他方が平面表示の表示領域であってもよい。

上記によれば、異なる表示法式の表示領域に上記所定の表示対象を表示することができる。

また、本発明では、上記第１表示領域は、立体表示可能な表示領域であってもよい。この場合において、上記第１表示制御手段は、仮想空間内の上記所定の表示対象を上記所定の方向から仮想ステレオカメラで撮影した右目用画像をユーザの右目に、左目用画像を該ユーザの左目に視認させるように上記第１表示領域に表示させることにより、立体視可能な立体画像を上記第１画像として上記第１表示領域に表示する。また、上記第２表示領域は、平面表示可能な表示領域である。上記第２表示制御手段は、上記第１表示領域に上記所定の表示対象が表示されている間、上記所定の方向と略同じ方向から上記所定の表示対象を撮影した平面画像を上記第２画像として上記第２表示領域に表示する。

上記によれば、第１表示領域に所定の表示対象を所定の方向から仮想ステレオカメラで見た画像を立体視可能に表示し、第２表示領域に当該所定の表示対象を略同じ方向から見た画像を平面表示することができる。

また、本発明では、上記第２画像には深度値が設定されていてもよい。この場合において、上記表示制御プログラムは、位置算出手段として、上記コンピュータをさらに機能させる。位置算出手段は、上記第２表示領域上の指示位置と当該指示位置における上記第２画像の深度値とに基づいて、上記仮想空間における位置を算出する。そして、上記カーソル表示手段は、上記位置算出手段によって算出された位置に上記カーソルを配置し、当該カーソルを上記仮想ステレオカメラで撮像することによって上記カーソルを表示する。

上記によれば、画像に設定された深度値に基づいて仮想空間における位置を算出し、当該算出した位置にカーソルを立体表示することができる。

また、本発明では、上記表示制御プログラムは、上記コンピュータを、判定手段と、カーソル表示手段としてさらに機能させてもよい。判定手段は、上記指示位置検出手段が検出した第２表示領域上の指示位置が上記所定の表示対象が表示された位置であるか否かを判定する。カーソル表示手段は、判定手段による判定結果が肯定の場合、上記指示位置に対応する上記第１表示領域上の位置であって上記第１表示領域に表示された上記所定の表示対象の表面上に沿うようにして、カーソルを立体表示する。

上記によれば、ユーザが第２表示領域上で所定の表示対象を指示した場合、第１表示領域に表示される当該所定の表示対象の表面に沿うようにして、カーソルを表示することができる。これにより、ユーザは、第１表示領域に表示された立体視可能な所定の表示対象を見ながら、当該所定の表示対象の表面に触れているような感覚を得ることができる。

また、本発明では、上記カーソル表示手段は、上記判定手段による判定結果が否定の場合、上記判定手段による判定結果が肯定であるときとは異なる表示態様で、上記指示位置に対応する上記第１表示領域上の位置に上記カーソルを表示する。

上記によれば、ユーザは、第１表示領域に表示されたカーソルの表示態様によって、第２表示領域に表示された所定の表示対象を指示したか否かを容易に確認することができる。例えば、ユーザが所定の表示対象を指示していない場合は、カーソルの形状を矢印形状とし、ユーザが所定の表示対象を指示している場合は、カーソルの形状を手の形状とすることができる。

また、本発明では、上記第２表示制御手段は、上記仮想ステレオカメラの左右の仮想カメラの間に設定された第２の仮想カメラを用いて上記所定の表示対象を撮影した画像を上記第２画像として上記第２表示領域に表示してもよい。

上記によれば、上記仮想ステレオカメラの左右の仮想カメラの間に設定された第３の仮想カメラで撮像した画像を第２表示領域に表示することができる。これにより、第１表示領域に表示された立体視可能な立体画像と略同じ見え方の画像であって、平面表示した画像を第２表示領域に表示することができる。

また、本発明は、表示制御装置のコンピュータにおいて実行される表示制御プログラムであって、上記コンピュータを第１表示制御手段と、第２表示制御手段と、制御手段として機能させてもよい。第１表示制御手段は、第１表示領域に所定の表示対象を表示する。第２表示制御手段は、上記第１表示領域に上記所定の表示対象が表示されている間、上記第１表示領域に表示される所定の表示対象より表示態様を簡略して、上記所定の表示対象を上記第１表示領域とは異なる第２表示領域に表示する。制御手段は、ユーザによる上記第２表示領域上の位置の指示を検出する位置指示検出手段が検出した指示位置に基づいて、上記第１表示領域および上記第２表示領域に表示された上記所定の表示対象を制御する。

上記によれば、第１表示領域に所定の表示対象を表示しつつ、第２表示領域に当該所定の表示対象を簡略して表示することができる。そして、第２表示領域への指示位置に基づいて、所定の表示対象を制御することができる。これにより、例えば、ユーザを第１表示領域に表示される所定の表示対象に注目させつつ、ユーザに第２表示領域上の位置を指示させることができる。

また、本発明では、上記表示制御プログラムを実行する表示制御装置の形態で実施されてもよい。また、上記各手段を実現する複数の要素が相互に動作することによって、１つの表示制御システムとして構成されてもよい。当該表示制御システムは、１つの表示制御装置によって構成されてもよいし、複数の装置によって構成されてもよい。

本発明によれば、所定の表示対象を所定の方向から見た第１画像を第１表示領域に表示し、当該所定の表示対象を略同じ方向から見た第２画像を第２表示領域に表示することができる。そして、第２表示領域上の位置の指示に応じて、第１及び第２表示領域に表示された所定の表示対象を制御することができる。

本発明の一実施形態に係る携帯型のゲーム装置の外観図 ゲーム装置１０の内部構成を示すブロック図 本実施形態に係るゲームの実行中において、立体画像表示装置１１および平面画像表示装置１２の画面に表示されるゲーム画像の一例を示した図 仮想空間に存在する各オブジェクトを仮想ステレオカメラ１７で撮像する様子を仮想空間の上方から見た図 ユーザが平面画像表示装置１２に表示された子供オブジェクト画像１２１をタッチして所定の操作を行った場合に、立体画像表示装置１１および平面画像表示装置１２に表示される画像が変化する様子を示す図 カーソル６０の表示の仕方を示す図であり、立体画像表示装置１１に表示された子供オブジェクト４１の一部位を拡大して正面から見た図 子供オブジェクト４１の一部位を図６Ａの矢印の方向から見た図 操作可能なオブジェクトが複数存在する場合において立体画像表示装置１１および平面画像表示装置１２の画面に表示される画像を示す図 本実施形態に係るゲームにおいて、ユーザがアイテムを使用する場合について示す図 子供オブジェクト４１にアイテム４５を持たせた場合に立体画像表示装置１１および平面画像表示装置１２に表示される画像が変化する様子を示す図 ゲーム装置１０のメインメモリ３１のメモリマップを示す図 本実施形態に係るゲーム処理の詳細を示すメインフローチャート ３次元タッチ位置判定処理（ステップＳ３）の詳細を示すフローチャート 平面画像表示処理（ステップＳ５）の詳細を示すフローチャート 平面画像表示装置１２および立体画像表示装置１１の画面に表示される画像の一例を示す図 開状態におけるゲーム装置２００の外観を示す正面図 閉状態におけるゲーム装置２００の左側面図、正面図、右側面図、および、背面図 ゲーム装置２００の内部構成を示すブロック図 第２実施形態に係るゲームの実行中において、上側ＬＣＤ２２２および下側ＬＣＤ２１２の画面に表示されるゲーム画像の一例を示す図 ユーザが犬オブジェクト５０の背中部分をタッチした様子を示す図 ゲーム装置２００のＲＡＭ（メインメモリ２３２等）のメモリマップを示す図 第２実施形態に係るゲーム処理の詳細を示すメインフローチャート カーソル設定処理（ステップＳ１０１）の詳細を示すフローチャート 犬オブジェクト５０が複数の部位によって構成される様子を示す図 後ろ半身の部位１５５の詳細を示す図 タッチされた部位１５５を正面から見た図であり、部位１５５の３次元指示位置Ｐにおける法線ベクトルを示す図 部位１５５を図２５Ａの矢印方向から見た図であり、部位１５５の３次元指示位置Ｐにおける法線ベクトルを示す図 部位１５５がタッチされた場合において、３次元指示位置Ｐが部位１５５の中のどの領域に存在するかによって回転角が定められることを示す図 タッチパネル２１３がタッチを検出した場合において、犬オブジェクト５０がタッチされなかったときの画面の一例を示す図

（ゲーム装置の説明）
図面を参照して、本発明の一実施形態に係るゲーム装置について説明する。図１は、本発明の一実施形態に係る携帯型のゲーム装置の外観図である。図１において、ゲーム装置１０は、立体表示可能な立体画像表示装置１１、および、２次元の平面画像を表示可能な平面画像表示装置１２を含む。ハウジング１３は上側ハウジング１３ａと下側ハウジング１３ｂとによって構成されている。立体画像表示装置１１は上側ハウジング１３ａに収納され、平面画像表示装置１２は下側ハウジング１３ｂに収納される。

上側ハウジング１３ａと下側ハウジング１３ｂとは、ヒンジ部１４によって接続されている。上側ハウジング１３ａと下側ハウジング１３ｂとは、当該ヒンジ部１４によって開閉可能（折り畳み可能）に接続されている。

立体画像表示装置１１は、裸眼で立体画像（立体視可能な画像）を表示可能な液晶表示装置であり、レンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、立体画像表示装置１１は、パララックスバリア方式のものとする。立体画像表示装置１１は、左目用画像と右目用画像とを用いて、立体感のある画像を表示する。すなわち、立体画像表示装置１１は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像を表示することができる。

平面画像表示装置１２は、平面画像を表示可能な表示装置である。本実施形態では平面画像表示装置１２として液晶表示装置を用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用することができる。

立体画像表示装置１１および平面画像表示装置１２の画面は同じ大きさであり、いずれも所定の解像度（例えば、２５６ｄｏｔ×１９２ｄｏｔ）を有している。また、任意の解像度のものを利用することができる。

平面画像表示装置１２の画面上には、指示位置検出装置であるタッチパネル１５が装着されている。タッチパネル１５としては、例えば抵抗膜方式や光学式（赤外線方式）や静電容量結合式など、任意の方式のものを利用することができる。本実施形態では、タッチパネル１５は、抵抗膜方式であるものとする。タッチパネル１５は、ユーザがスティック１６を用いて平面画像表示装置１２の画面上を接触（タッチ）することにより、平面画像表示装置１２の画面上の位置を検出する。タッチパネル１５が検出する位置は、平面画像表示装置１２の画面上の位置と対応している。なお、ユーザは、スティック１６に限らず指で画面上の位置を指示することも可能である。本実施形態では、タッチパネル１５として、平面画像表示装置１２の解像度と同じ解像度（検出精度）のものを利用する。ただし、タッチパネル１５の解像度と平面画像表示装置１２の解像度とは、必ずしも一致している必要はない。

図２は、ゲーム装置１０の内部構成を示すブロック図である。図２に示すように、ゲーム装置１０は、上述の他、ＣＰＵ３０と、メインメモリ３１と、ＲＯＭ３２と、メモリ制御回路３３と、保存用データメモリ３４と、通信モジュール３５とを備えている。これらは電子部品として電子回路基板上に実装されて、下側ハウジング１３ｂ（または上側ハウジング１３ａでもよい）内に収納される。

ＣＰＵ３０は、所定のプログラムを実行するための情報処理手段である。本実施形態では、所定のプログラムがゲーム装置１０のＲＯＭ３２に記憶されており、ＣＰＵ３０が、当該所定のプログラムを実行することによって、後述するゲーム処理を実行する。

ＣＰＵ３０には、メインメモリ３１、ＲＯＭ３２、およびメモリ制御回路３３が接続される。また、メモリ制御回路３３には、保存用データメモリ３４が接続される。メインメモリ３１は、読み書き可能な半導体メモリである。メインメモリ３１には、上記所定のプログラムを一時的に格納する領域、ＣＰＵ３０のワーク領域やバッファ領域が設けられる。すなわち、メインメモリ３１は、後述するゲーム処理に用いられる各種データを記憶したり、ＲＯＭ３２に記憶された上記所定のプログラムを記憶したりする。ＲＯＭ３２は、不揮発性のメモリであり、上記所定のプログラムを格納する。保存用データメモリ３４は、不揮発性の記憶媒体によって構成されており、例えば、ＮＡＮＤ型フラッシュメモリが用いられる。メモリ制御回路３３は、ＣＰＵ３０の指示に従って、保存用データメモリ３４に対するデータの読み出しおよび書き込みを制御する回路である。

なお、ＣＰＵ３０によって実行される上記所定のプログラムは、ＲＯＭ３２に予め記憶されていてもよいし、保存用データメモリ３４から取得されてもよいし、通信モジュール３５を用いた通信によって他の機器から取得されてもよい。

通信モジュール３５は、有線又は無線によって他の機器と通信するための機能を有する。通信モジュール３５は、例えば、赤外線通信により他の機器と通信するための機能を有する。なお、通信モジュール３５は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有してもよし、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、他の機器と通信する機能を有してもよい。また、通信モジュール３５は、携帯電話等に用いられる通信方式により移動体通信網に接続する機能を有してもよい。

また、ＣＰＵ３０には、タッチパネル１５が接続される。タッチパネル１５は、図示しないインターフェイス回路に接続され、当該インターフェイス回路は、タッチパネル１５からの信号に基づいて、所定の形式のタッチ位置データを生成し、ＣＰＵ３０に出力する。例えば、タッチ位置データは、タッチパネル１５の入力面に対して入力が行われた位置の座標を示すデータである。なお、上記インターフェイス回路は、タッチパネル１５からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。ＣＰＵ３０は、上記インターフェイス回路を介して、タッチ位置データを取得することにより、タッチパネル１５に対して入力が行われた位置を知ることができる。

また、立体画像表示装置１１及び平面画像表示装置１２は、それぞれＣＰＵ３０に接続される。立体画像表示装置１１及び平面画像表示装置１２は、それぞれＣＰＵ３０の指示に従って画像を表示する。上述のように、立体画像表示装置１１には立体画像が表示され、平面画像表示装置１２には平面画像が表示される。

（ゲームの概要）
次に、図３から図９を参照して、本実施形態に係るゲームの概要について説明する。図３は、本実施形態に係るゲームの実行中において、立体画像表示装置１１および平面画像表示装置１２の画面に表示されるゲーム画像の一例を示した図である。

図３に示すように、立体画像表示装置１１の画面には、仮想空間に存在する子供を模した子供オブジェクト４１および家具オブジェクト４４が立体表示（立体視可能に表示）された子供オブジェクト画像１１１および家具オブジェクト画像１１４が表示されている。立体画像表示装置１１の画面に表示される子供オブジェクト画像１１１および家具オブジェクト画像１１４は、例えば、３２ｂｉｔカラーで表示される。また、立体画像表示装置１１の画面には、カーソル６０が表示されている。カーソル６０は、ユーザによるタッチパネル１５（平面画像表示装置１２の画面）へのタッチ位置に対応した仮想空間上の位置に配置され、立体画像表示装置１１の画面上に表示される。

子供オブジェクト４１および家具オブジェクト４４を含む立体画像（立体画像表示装置１１の画面に表示される画像）は、仮想ステレオカメラで仮想空間を撮像した画像であり、ユーザにとって立体感のある画像（立体視可能な画像）である。図４は、仮想空間に存在する各オブジェクトを仮想ステレオカメラ１７で撮像する様子を仮想空間の上方から見た図である。図４に示すように、仮想ステレオカメラ１７の左目用仮想カメラ１７ａによって左目用画像が撮像され、仮想ステレオカメラ１７の右目用仮想カメラ１７ｂによって右目用画像が撮像される。そして、撮像された左目用画像がユーザの左目に、撮像された右目用画像がユーザの右目に視認されることにより、ユーザは立体感のある画像を視認することができる。仮想ステレオカメラ１７の左右の仮想カメラ（１７ａおよび１７ｂ）の撮像方向Ａおよび撮像方向Ｂは、同じである。例えば、左目用仮想カメラ１７ａの撮像方向Ａは、左目用仮想カメラ１７ａの画角を示す線２１ａと線２２ａとがなす角を２等分する直線の方向である。同様に、右目用仮想カメラ１７ｂの撮像方向Ｂは、右目用仮想カメラ１７ｂの画角を示す線２３ｂと線２４ｂとがなす角を２等分する直線の方向である。また、仮想ステレオカメラ１７の視点はユーザの視点と一致する。図４に示すように、子供オブジェクト４１は、家具オブジェクト４４より仮想ステレオカメラに近い位置に存在している。従って、ユーザは、図３に示すように子供オブジェクト４１がユーザ自身の手前に存在するように感じる。

一方、平面画像表示装置１２の画面の中央部には、平面画像表示領域６１が設けられる。平面画像表示装置１２の画面の上部には操作ボタン６２、下部にはアイテム選択ボタン６３が表示されている。操作ボタン６２は、ゲームの中断や終了等に用いられる。ゲームを終了する際に、ユーザはスティック１６を用いて操作ボタン６２をタッチすることにより、ゲームを中断したり終了したりする。アイテム選択ボタン６３は、後述するアイテムを選択するために用いられる。

平面画像表示領域６１には、子供オブジェクト画像１２１が表示されている。子供オブジェクト画像１２１は、子供オブジェクト４１を平面表示した画像であり、立体画像表示装置１１の画面に表示される子供オブジェクト４１を単色（灰色）で表示した画像である。具体的には、子供オブジェクト画像１２１は、上記左目用仮想カメラ１７ａと右目用仮想カメラ１７ｂとの中間に位置する仮想カメラ１８を用いて、仮想空間に存在する子供オブジェクト４１を撮像し、シルエット表示したものである。この場合において、仮想カメラ１８の撮像方向は、上記仮想ステレオカメラ１７の撮像方向と同じである（図４の撮像方向Ｃ）。また、仮想カメラ１８の画角は、上記仮想ステレオカメラ１７の画角と同じである。従って、平面画像表示領域６１に表示される画像（子供オブジェクト４１を含む仮想空間を撮像した画像）は、立体画像表示装置１１に表示される画像（子供オブジェクト４１と家具オブジェクト４４とを含む仮想空間を撮像した画像）と略同じ大きさの画像であって、略同じ仮想空間の範囲を撮像した画像である。すなわち、平面画像表示装置１２に表示される画像は、立体画像表示装置１１の画面と平面画像表示領域６１との大きさの比率に応じて、立体画像表示装置１１に表示される画像を縮尺した画像（ここでは、画面の縦方向に所定比率だけ縮尺した画像）である。また、平面画像表示装置１２に表示される画像の撮像範囲（当該画像に表示される仮想空間の範囲）は、立体画像表示装置１１に表示される画像の撮像範囲と略同じである。

このため、平面画像表示装置１２の画面に表示される子供オブジェクト画像１２１は、立体画像表示装置１１に表示される子供オブジェクト画像１１１と略同じ大きさであり、仮想空間に存在する子供オブジェクト４１を同じ方向から見たものである。

なお、平面画像表示領域６１には、立体画像表示装置１１に表示されている家具オブジェクト４４は表示されない。本実施形態では、ユーザによって操作が可能な操作対象（子供オブジェクト４１）のみが平面画像表示装置１２の画面（平面画像表示領域６１）にシルエット表示される。家具オブジェクト４４は、ユーザによって操作されるものではないため、平面画像表示装置１２の画面にはシルエット表示されない。

ここで、仮想ステレオカメラ１７によって撮像される画像と、仮想カメラ１８によって撮像される画像の撮像範囲について説明する。図４に示すように、左目用仮想カメラ１７ａの撮像範囲（画角）は、子供オブジェクト４１および家具オブジェクト４４を含む、線２１ａと線２２ａとによって囲まれる領域である。また、右目用仮想カメラ１７ｂの撮像範囲（画角）は、子供オブジェクト４１および家具オブジェクト４４を含む、線２３ｂと線２４ｂとによって囲まれる領域である。左目用仮想カメラ１７ａによって撮像された左目用画像と、右目用仮想カメラ１７ｂによって撮像された右目用画像とを合成して立体画像表示装置１１に表示することにより、ユーザにとって立体感のある立体画像を表示することができる。ここで、立体画像表示装置１１には、子供オブジェクト４１および家具オブジェクト４４を含む、線２２ａと線２３ｂとによって囲まれる領域のみが表示される。すなわち、立体画像表示装置１１に表示される立体画像の範囲（仮想ステレオカメラ１７の撮像範囲）は、左目用仮想カメラ１７ａの撮像範囲と右目用仮想カメラ１７ｂの撮像範囲との重複領域である。このように重複領域のみを表示する理由は次の通りである。すなわち、非重複領域も含めて立体画像表示装置１１の画面に立体画像を表示すると、立体画像の一部は立体感のある画像となり、他の一部は立体感のない画像となる。このときの表示は、ユーザにとっては、「見えているはずのものが見えない」または「見えないはずのものが見えている」といった状態である。従って、立体画像表示装置１１の画面には、左右の仮想カメラ（１７ａおよび１７ｂ）の撮像範囲の重複領域を撮像した画像が表示される。

一方、図４に示すように、仮想カメラ１８の撮像範囲は、子供オブジェクト４１および家具オブジェクト４４を含む、線２５と線２６とによって囲まれる領域である。仮想カメラ１８の撮像範囲は、上記仮想ステレオカメラ１７の撮像範囲（上記重複領域）を含む領域であり、仮想ステレオカメラ１７の撮像範囲よりも大きい。しかしながら、仮想ステレオカメラ１７の左右の仮想カメラ（１７ａおよび１７ｂ）は互いに近接しており、仮想ステレオカメラ１７の撮像範囲と仮想カメラ１８の撮像範囲とは、略同一である。従って、平面画像表示装置１２に表示される画像は、立体画像表示装置１１に表示される画像と略同一の仮想空間の範囲を撮像した画像である。なお、仮想カメラ１８の撮像範囲は、仮想ステレオカメラ１７の撮像範囲と全く同じであってもよい。

次に、ユーザは、スティック１６を用いて子供オブジェクト画像１２１をタッチして所定の操作を行うことにより、仮想空間に存在する子供オブジェクト４１に所定の動作を行わせる。

図５は、ユーザが平面画像表示装置１２に表示された子供オブジェクト画像１２１をタッチして所定の操作を行った場合に、立体画像表示装置１１および平面画像表示装置１２に表示される画像が変化する様子を示す図である。図５に示すように、ユーザがスティック１６を用いて子供オブジェクト画像１２１の胸をなでるようにしてスティック１６を操作すると、立体画像表示装置１１に表示される子供オブジェクト画像１１１は、変化する。具体的には、ユーザがスティック１６を用いて子供オブジェクト画像１２１の胸の部分をタッチしたまま画面の上下方向（縦方向）にスティック１６を移動させると、仮想空間に存在する子供オブジェクト４１の表情が変化するとともに、子供オブジェクト４１の両手部分の位置が変化する。子供オブジェクト４１の変化に伴って、立体画像表示装置１１に表示される子供オブジェクト画像１１１および平面画像表示装置１２に表示される子供オブジェクト画像１２１も同様に変化する。

ユーザがスティック１６を用いて子供オブジェクト画像１２１をタッチした場合、立体画像表示装置１１の画面には、当該タッチ位置に応じた位置にカーソル６０が表示される。例えば、ユーザが平面画像表示装置１２の子供オブジェクト画像１２１の頭部をタッチした場合、カーソル６０は立体画像表示装置１１の子供オブジェクト４１の頭部に表示される。また、ユーザがスティック１６を用いて子供オブジェクト画像１２１をタッチした場合、カーソル６０は、図３に示す矢印形状から図５に示す人の手の形状に変化する。

さらに、カーソル６０は、子供オブジェクト４１の表面上に沿うように表示される。図６Ａは、カーソル６０の表示の仕方を示す図であり、立体画像表示装置１１に表示された子供オブジェクト４１の一部位を拡大して正面から見た図である。図６Ｂは、子供オブジェクト４１の一部位を図６Ａの矢印の方向から見た図である。図６Ａおよび図６Ｂにおいて、４１ａは子供オブジェクト４１の一部位（例えば、腕の一部）を示す。部位４１ａは、説明のため単純な円柱形状とする。図６Ａおよび図６Ｂに示すように、カーソル６０（カーソル６０ａおよび６０ｂ）は、部位４１ａの表面に沿うように立体的に表示される。ユーザが立体画像表示装置１１に表示された立体的な子供オブジェクト４１（子供オブジェクト画像１１１）を見ると、その表面にカーソル６０が存在しているように見える。これにより、ユーザは、立体画像表示装置１１の画面を見ながら平面画像表示装置１２の画面上をスティック１６でなでるような操作をすることにより、子供オブジェクト４１をなでるような感覚を得ることができる。

上述のように、本実施形態に係るゲームでは、立体画像表示装置１１の画面には、仮想空間に存在する子供オブジェクト４１および家具オブジェクト４４が立体表示される。また、平面画像表示装置１２の画面には、ユーザによって操作可能な子供オブジェクト４１のみがシルエット表示される（子供オブジェクト４１をシルエット表示した子供オブジェクト画像１２１のみが表示される）。そして、ユーザは、平面画像表示装置１２の画面に表示された子供オブジェクト画像１２１をスティック１６を用いてタッチする。このように、平面画像表示装置１２に子供オブジェクトのシルエットが表示され、当該シルエットをスティック１６を用いてタッチする。これにより、ユーザは、立体画像表示装置１１の画面を見ながら、容易にオブジェクトを操作することができ、当該オブジェクトを操作している感覚を得ることができる。

すなわち、立体画像表示装置１１に表示されるオブジェクトは立体表示されているため、立体画像表示装置１１の画面上を直接タッチして表示されたオブジェクトを操作することは困難である。ユーザは、立体表示されたオブジェクトが、例えば、画面の手前に位置するように感じたり、画面の奥に位置するように感じたりする。例えば、オブジェクトが画面の手前に見えている場合、立体表示されたオブジェクトを操作するため当該オブジェクトを直接タッチしようとすると、ユーザは、画面の手前の空間をスティック１６を用いてタッチしようとする。従って、ユーザは、操作しようとするオブジェクトを操作することができない。また、画面の手前に見える立体表示されたオブジェクトを操作するため立体画像表示装置１１の画面上をタッチすると、ユーザが感じる当該オブジェクトの表示位置と、タッチ位置とが異なるため、ユーザは当該オブジェクトを操作している感覚を得られない。つまり、ユーザが感じるオブジェクトの表示位置は画面の手前であり、ユーザがタッチする位置は画面上である。従って、ユーザは、オブジェクトを操作するために、画面に垂直な方向に異なる位置をタッチすることになるため、当該オブジェクトを直接操作している感覚が得られない。すなわち、例えば、オブジェクトが画面の手前に見えているときには、ユーザがスティック１６で画面をタッチすると、スティック１６が当該オブジェクトの内部に入り込んだ状態になる。また、オブジェクトが画面の奥行き方向の位置に見えているときには、画面より奥にスティックを移動することはできないので、ユーザは、画面の奥に存在しているように見えるオブジェクトを直接タッチすることができない。このため、見えているものと現実とに矛盾が生じ、操作感が損なわれる場合がある。しかしながら、上述のように、立体画像表示装置１１にオブジェクトを立体表示し、平面画像表示装置１２に当該オブジェクトのシルエットを表示することにより、ユーザは、立体画像表示装置１１に表示されたオブジェクトを見ながら、平面画像表示装置１２の画面をタッチして、当該オブジェクトを操作することができる。従って、ユーザは、当該オブジェクトを直接操作している感覚を得ることができる。

また、立体画像表示装置１１の画面には、ユーザがタッチした平面画像表示装置１２の画面上の位置に対応した位置に、カーソル６０が表示される。従って、ユーザは、立体画像表示装置１１の画面を直接タッチしなくても、立体画像表示装置１１に表示されたオブジェクトを直接操作している感覚を得ることができる。

また、立体画像表示装置１１の画面に表示されるオブジェクトは、３２ｂｉｔカラーで表示され、オブジェクトの各部位（例えば、子供オブジェクト４１の頭や胴体、腕等）を認識できる精細な画像である。一方、平面画像表示装置１２には、当該オブジェクトがシルエット表示されるため、立体画像表示装置１１に表示されるオブジェクトと比較して、目立たない表示である。ユーザは、単色で目立たない画像よりカラーで美しい画像に注目する傾向にある。従って、ユーザは、立体画像表示装置１１の画面に表示されたオブジェクトを注視しながら、平面画像表示装置１２の画面上をスティック１６を用いてタッチ操作しやすい。

また、平面画像表示装置１２には、操作可能なオブジェクトのみが表示されるため、ユーザは操作可能なオブジェクトを容易に認識することができる。ユーザは、平面画像表示装置１２の画面に表示されたシルエットを一見しただけで操作可能なオブジェクトを認識してタッチし、その後は、立体画像表示装置１１の画面に表示された当該オブジェクトを見ながら操作することができる。すなわち、ユーザは、平面画像表示装置１２の画面を見てオブジェクトのシルエットをタッチした後は、平面画像表示装置１２の画面を見ることなく、立体画像表示装置１１の画面を見て当該オブジェクトを操作することができる。

次に、操作可能なオブジェクトが複数存在する場合について、説明する。図７は、操作可能なオブジェクトが複数存在する場合において立体画像表示装置１１および平面画像表示装置１２の画面に表示される画像を示す図である。図７に示すように、立体画像表示装置１１の画面には、子供オブジェクト４１（子供オブジェクト画像１１１）、子供オブジェクト４２（子供オブジェクト画像１１２）、子供オブジェクト４３（子供オブジェクト画像１１３）および家具オブジェクト４４（家具オブジェクト画像１１４）が表示されている。一方、平面画像表示装置１２の画面（平面画像表示領域６１）には、子供オブジェクト画像１２１、子供オブジェクト画像１２２および子供オブジェクト画像１２３が表示されている。子供オブジェクト画像１２１、子供オブジェクト画像１２２および子供オブジェクト画像１２３は、それぞれ子供オブジェクト４１、子供オブジェクト４２および子供オブジェクト４３を平面表示した画像であり、これらをシルエット表示した画像である。子供オブジェクト画像１２１、子供オブジェクト画像１２２および子供オブジェクト画像１２３は、それぞれ表示態様が異なる。例えば、子供オブジェクト画像１２１は赤色で表示され、子供オブジェクト画像１２２は青色で表示され、子供オブジェクト画像１２３は黄色で表示される。

次に、図８および図９を参照して、アイテムを使用したゲームについて説明する。図８は、本実施形態に係るゲームにおいて、ユーザがアイテムを使用する場合について示す図である。平面画像表示装置１２の画面において、ユーザがスティック１６を用いてアイテム選択ボタン６３をタッチしたまま画面上を移動させると、立体画像表示装置１１にはアイテム４５（立体表示されたアイテム画像１１５）が出現し、アイテム４５がカーソル６０（手）で把持された様子が表示される。アイテム４５は、ユーザによって操作可能なオブジェクトである。一方、平面画像表示装置１２にも、アイテム画像１２５が表示される。アイテム画像１２５は、仮想空間に存在するアイテム４５をシルエット表示した画像である。図８に示すように、アイテム画像１２５（アイテム４５のシルエット）は、子供オブジェクト４１の子供オブジェクト画像１２１とは異なる表示態様で表示される。例えば、アイテム画像１２５は、青色で表示され、子供オブジェクト画像１２１（子供オブジェクト４１のシルエット）は灰色で表示される。

図９は、子供オブジェクト４１にアイテム４５を持たせた場合に立体画像表示装置１１および平面画像表示装置１２に表示される画像が変化する様子を示す図である。ユーザがアイテム画像１２５をタッチしたまま子供オブジェクト画像１２１の手の位置まで移動させると、立体画像表示装置１１に表示される子供オブジェクト４１はアイテム４５を把持する。この場合において、立体画像表示装置１１に表示される子供オブジェクト４１の表情が変化し、子供オブジェクト４１は両手を挙げるように変化する。同様に、平面画像表示装置１２に表示される子供オブジェクト画像１２１も変化する。このように、ユーザは、アイテム選択ボタン６３をタッチしてアイテム４５を子供オブジェクト４１に手渡すことで、子供オブジェクト４１にアイテム４５を使用して遊ばせる。これにより、子供オブジェクト４１が喜ぶ様子が立体画像表示装置１１に表示される。なお、ユーザにアイテム選択ボタン６３をタッチさせて複数のアイテムの中から使用するアイテムを選択させてもよい。また、アイテム４５は立体画像表示装置１１の画面上の所定位置（仮想空間上の所定位置）に予め存在し、ユーザが、平面画像表示装置１２に表示されたアイテム画像１２５をタッチして、子供オブジェクト４１に手渡すようにしてもよい。

以上、図７から図９に示したように、平面画像表示装置１２の画面において、操作可能な各オブジェクト（子供オブジェクト４１〜４３およびアイテム４５）の表示態様を変化させる。これによりユーザは、立体画像表示装置１１に表示された各オブジェクトと、平面画像表示装置１２に表示された各オブジェクトとを一見して容易に対応付けることができる。例えば、平面画像表示装置１２の画面において、操作可能な複数のオブジェクトが全て同じ色でシルエット表示されている場合、ユーザは、各オブジェクトを識別し難い場合がある。特に、各オブジェクトが互いに近接している場合では、ユーザは、各オブジェクトの境界を識別し難く、１つのオブジェクトをタッチして操作しようとする場合、平面画像表示装置１２の画面を注視してしまうことがある。そうすると、ユーザは、立体画像表示装置１１に表示された立体的なオブジェクトを見ながら操作することができず、立体表示されたオブジェクトを直接操作するという感覚を得ることができなくなる。しかしながら、平面画像表示装置１２に表示される各オブジェクトの表示態様が異なることにより、ユーザは各オブジェクトを一見して容易に識別することができる。従って、ユーザは、立体画像表示装置１１に表示された立体的なオブジェクトを見ながら操作することができ、立体表示されたオブジェクトを直接操作するという感覚を得ることができる。

以上のように、本実施形態に係るゲームでは、子供オブジェクトを手でなでたりアイテムを使用して喜ばせたりすることにより、子供を育てたり子供と一緒に遊んだりする感覚をユーザに与えることができる。

（ゲーム処理の詳細）
次に、図１０から図１３を参照して、本実施形態に係るゲーム処理の詳細について説明する。まず、ゲーム処理の際にメインメモリ３１に記憶される主なデータについて説明する。図１０は、ゲーム装置１０のメインメモリ３１のメモリマップを示す図である。図１０に示されるように、メインメモリ３１には、タッチ位置データ７１、オブジェクト情報データ７２、仮想カメラ設定データ７３、およびカーソルデータ７４等が記憶される。これらのデータの他、メインメモリ３１には、上記ゲーム処理を実行する所定のプログラムや各オブジェクトの画像データ等が記憶される。

タッチ位置データ７１には、タッチパネル１５が検出したタッチ位置が格納される。具体的には、タッチ位置データ７１は所定の長さの配列であり、当該配列の各要素には、タッチパネル１５上（平面画像表示装置１２の画面上）の位置を示す座標値（ＸＹ座標系）が格納される。タッチ位置データ７１には、タッチパネル１５が検出したタッチ位置を示す座標値が時系列に格納される。

オブジェクト情報データ７２には、各オブジェクトの情報が格納される。具体的には、オブジェクト情報データ７２は所定の長さの配列であり、当該配列の各要素には、１つのオブジェクトの情報が格納される。オブジェクトの情報は、当該オブジェクトの仮想空間における位置（ｘｙｚ座標系）、当該オブジェクトが操作可能であるか否かを示すデータや当該オブジェクトの形状に関するデータ等である。例えば、当該配列の１つの要素には、子供オブジェクト４１の仮想空間における位置、操作可能であることを示すデータ、および、子供オブジェクト４１の各部位（頭部や胴体等）の形状データが格納される。子供オブジェクト４１の各部位は、例えば、複数の球体によって表現され、これらの球体の位置や半径等が形状データとして当該配列の要素に格納される。

仮想カメラ設定データ７３には、仮想ステレオカメラ１７および仮想カメラ１８の設定情報が格納される。具体的には、仮想ステレオカメラ１７および仮想カメラ１８の仮想空間における位置、撮像方向、撮像範囲（画角）等が格納される。仮想ステレオカメラ１７の撮像方向と仮想カメラ１８の撮像方向は、同じに設定される。また、仮想ステレオカメラ１７の撮像範囲と仮想カメラ１８の撮像範囲は、同じに設定される。

カーソルデータ７４は、カーソル６０の仮想空間における位置および姿勢が格納される。カーソルの位置は、ユーザによってタッチされたタッチパネル１５上の位置に応じた３次元仮想空間の位置である。カーソル６０の姿勢は、カーソル６０の仮想空間における姿勢であり、カーソル６０が子供オブジェクト４１等の表面に表示される場合のカーソル６０の姿勢である。

次に、ゲーム処理の詳細について図１１から図１３を参照して説明する。図１１は、本実施形態に係るゲーム処理の詳細を示すメインフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０のＣＰＵ３０は、ＲＯＭ３２に記憶されている起動プログラムを実行し、これによってメインメモリ３１等の各ユニットが初期化される。次に、ＲＯＭ３２に記憶された所定のプログラムがメインメモリ３１に読み込まれ、ＣＰＵ３０によって当該プログラムの実行が開始される。図１１に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。なお、図１１では、本発明に直接関連しない処理については記載を省略する。また、図１１に示すステップＳ１〜ステップＳ７の処理ループは、１フレーム（例えば１／３０秒。フレーム時間という）毎に繰り返し実行される。

まず、ステップＳ１において、ＣＰＵ３０は、タッチパネル１５がタッチを検出したか否かを判定する。タッチパネル１５がタッチを検出した場合、ＣＰＵ３０は、当該タッチ位置を最新のタッチ位置としてタッチ位置データ７１に格納し、次にステップＳ２の処理を実行する。一方、タッチパネル１５がタッチを検出しなかった場合、ＣＰＵ３０は、次にステップＳ６の処理を実行する。

ステップＳ２において、ＣＰＵ３０は、ステップＳ１で検出したタッチ位置はシルエット（オブジェクト）の表示領域内か否かを判定する。具体的には、ＣＰＵ３０は、最新のタッチ位置が、直前のフレームのステップＳ６（後述する）で平面画像表示装置１２の画面に表示したオブジェクト画像（１２１、１２２、１２３や１２５等）の表示領域内か否かを判定する。判定結果が肯定の場合、ＣＰＵ３０は、次にステップＳ３の処理を実行する。一方、判定結果が否定の場合、ＣＰＵ３０は、次にステップＳ６の処理を実行する。

ステップＳ３において、ＣＰＵ３０は、３次元タッチ位置判定処理を実行する。ステップＳ３の処理は、ステップＳ１で検出した最新のタッチ位置に応じた仮想空間におけるカーソル６０の位置を判定する処理である。ステップＳ３における処理の詳細を、図１２を参照して説明する。図１２は、３次元タッチ位置判定処理（ステップＳ３）の詳細を示すフローチャートである。

ステップＳ１１において、ＣＰＵ３０は、最新のタッチ位置から仮想カメラの撮像方向に伸びる３次元直線を算出する。ＣＰＵ３０は、最新のタッチ位置（ステップＳ１で検出したタッチ位置）と、仮想カメラ設定データ７３に格納された仮想カメラ１８の撮像方向とに基づいて、３次元直線を算出する。例えば、ＣＰＵ３０は、２次元で表される最新のタッチ位置（Ｘ，Ｙ）に対応した３次元仮想空間における仮想平面上の位置（ｘ，ｙ，ｚ）を座標変換により算出する。当該仮想平面は、仮想空間においてタッチパネル１５を表す平面であり、ユーザの視点（仮想カメラ１８の位置）を通り、仮想カメラ１８の撮像方向と垂直な平面である。そして、ＣＰＵ３０は、当該３次元の位置（ｘ，ｙ，ｚ）を通り、仮想カメラの撮像方向に伸びる直線を算出する。次に、ＣＰＵ３０は、ステップＳ１２の処理を実行する。

ステップＳ１２において、ＣＰＵ３０は、各オブジェクトの部位情報を取得する。具体的には、ＣＰＵ３０は、オブジェクト情報データ７２を参照して、ステップＳ２でタッチされたオブジェクトの複数の部位のうち、１つの部位の形状データを取得する。次に、ＣＰＵ３０は、ステップＳ１３の処理を実行する。

ステップＳ１３において、ＣＰＵ３０は、ステップＳ１１で算出した直線と、ステップＳ１２で取得した部位とが接触するか否かを判定する。判定結果が肯定の場合、ＣＰＵ３０は、次にステップＳ１４の処理を実行する。一方、判定結果が否定の場合、ＣＰＵ３０は、次にステップＳ１６の処理を実行する。

ステップＳ１４において、ＣＰＵ３０は、接触位置は仮想カメラとの最近接距離か否かを判定する。具体的には、ＣＰＵ３０は、ステップＳ１１で算出した直線とステップＳ１２で取得した部位との接触位置（算出した直線と取得した部位を示す球体との交点の座標）を算出する。次に、ＣＰＵ３０は、算出した接触位置と仮想カメラ１８との距離を算出する。そして、ＣＰＵ３０は、メインメモリ３１に記憶された（後述するステップＳ１５で記憶された）最近接距離と、算出した距離とを比較する。接触位置が仮想カメラ１８と最近接距離である場合、ＣＰＵ３０は、次にステップＳ１５の処理を実行する。一方、接触位置が仮想カメラ１８と最近接距離でない場合、ＣＰＵ３０は、次にステップＳ１６の処理を実行する。

ステップＳ１５において、ＣＰＵ３０は、ステップＳ１４で算出した接触位置（直線と部位との交点）をカーソルデータ７４に記憶する。また、ＣＰＵ３０は、ステップＳ１４で算出した距離（接触位置と仮想カメラ１８との距離）を最近接距離として、メインメモリ３１に記憶する。次に、ＣＰＵ３０は、ステップＳ１６の処理を実行する。

ステップＳ１６において、ＣＰＵ３０は、全ての部位情報を取得したか否かを判定する。全ての部位情報が取得されていない場合、ＣＰＵ３０は、ステップＳ１２の処理を再び実行する。ステップＳ１２からステップＳ１６の処理が繰り返し実行されることにより、タッチされたオブジェクトの全ての部位について、ステップＳ１１で算出した直線との接触位置が算出される。そして、算出した接触位置のうち、仮想カメラ１８と最も近い位置（ユーザに最も近い位置）がカーソルの位置として算出される。一方、全ての部位情報が取得された場合、ＣＰＵ３０は、３次元タッチ位置判定処理を終了する。

図１１に戻り、ＣＰＵ３０は、次にステップＳ４の処理を実行する。ステップＳ４において、ＣＰＵ３０は、動作決定処理を実行する。ステップＳ４では、タッチされたオブジェクトに対する操作を判定し、その操作に応じて当該オブジェクトの動作が決定される。具体的には、ＣＰＵ３０は、タッチ位置データ７１を参照して、タッチされたオブジェクトに対して行われた操作を判定する。より具体的には、ＣＰＵ３０は、タッチ位置データ７１に時系列で格納された過去数フレームにおけるタッチ位置に基づいて、ユーザによって行われた操作を判定する。ステップＳ４では、ユーザによって行われた操作が、例えば図５に示すように子供オブジェクト４１の胸を上下方向になでるような操作であるか否かが判定される。あるいは、ステップＳ４では、ユーザによって行われた操作が、例えば図８に示すアイテム４５を把持して移動させる操作であるか否かが判定される。このように、ステップＳ４では、過去数フレームにおけるタッチ位置に基づいて、ユーザによって行われた操作の種類が判定される。そして、判定された操作の種類に応じて、タッチされたオブジェクトの動作が決定される。例えば、ユーザによって行われた操作が図５に示すように子供オブジェクト４１の胸を上下方向になでるような操作である場合、ＣＰＵ３０は、子供オブジェクト４１が表情を変化させて両手を挙げる動作を決定する。ＣＰＵ３０は、次にステップＳ５の処理を実行する。

ステップＳ５において、ＣＰＵ３０は、平面画像表示処理を実行する。ステップＳ５の処理は、平面画像表示装置１２の画面にオブジェクトのシルエット等を表示する処理である。ステップＳ５における処理の詳細を、図１３を参照して説明する。図１３は、平面画像表示処理（ステップＳ５）の詳細を示すフローチャートである。

ステップＳ２１において、ＣＰＵ３０は、操作可能なオブジェクトを判定する。具体的には、ＣＰＵ３０は、第１の判定と第２の判定とによって、画面に表示するオブジェクトを判定する。すなわち、ＣＰＵ３０は、第１の判定として、オブジェクトの種類がユーザによって操作されるオブジェクトか否かを判定する。また、ＣＰＵ３０は、第２の判定として、オブジェクトとユーザとの距離が所定の距離以下か否かを判定する。

具体的には、ステップＳ２１の第１の判定では、ＣＰＵ３０は、各オブジェクトがユーザによって操作されるオブジェクトか否かを判定する。例えば、子供オブジェクト４１〜４３やアイテム４５はユーザによって操作されるオブジェクトとして予め設定される。一方、家具オブジェクト４４は、ユーザによって操作されないオブジェクトとして予め設定される。第１の判定では、ＣＰＵ３０は、各オブジェクトの種類によって、各オブジェクトがユーザによって操作されるオブジェクトか否かを判定する。

次に、ステップＳ２１の第２の判定では、ＣＰＵ３０は、オブジェクトとユーザ（仮想ステレオカメラ１７または仮想カメラ１８）との距離が、所定の距離以下か否かを判定する。上記第１の判定と第２の判定とによって、ＣＰＵ３０は、操作可能なオブジェクトを判定する。すなわち、ＣＰＵ３０は、各オブジェクトについて第１の判定および第２の判定を行い、第１の判定結果が肯定であり、かつ、第２の判定結果が肯定であるオブジェクトを操作可能なオブジェクトとして設定する。そして、ＣＰＵ３０は、当該オブジェクトが操作可能であるか否かを示すデータをメインメモリ３１に格納する（オブジェクト情報データ７２を更新する）。

以上のように、操作可能なオブジェクトは、オブジェクトの種類のみならず、オブジェクトとユーザ（仮想ステレオカメラ１７または仮想カメラ１８）との距離によっても定められる。例えば、子供オブジェクト４２がユーザから所定の距離よりも遠い位置に存在する場合、子供オブジェクト４２は操作可能なオブジェクトとして設定されない。上述のように、本実施形態に係るゲームでは、ユーザは立体画像表示装置１１に表示された子供オブジェクトを見て所定の操作を行うことにより、ユーザは実際に子供に触れるような感覚を視覚的に得られる。しかしながら、ユーザの手が届かない位置に存在する子供オブジェクトをユーザが操作可能とすると、ユーザにとって違和感がある。従って、操作可能な種類のオブジェクトであっても、ユーザからの距離が所定距離よりも離れている場合、当該オブジェクトは操作不可能なオブジェクトとして設定される。

ステップＳ２１の後、ＣＰＵ３０は、次にステップＳ２２の処理を実行する。

ステップＳ２２において、ＣＰＵ３０は、平面画像表示装置１２の画面に表示するオブジェクトを選出する。具体的には、ＣＰＵ３０は、オブジェクト情報データ７２を参照して、操作可能なオブジェクトを選出する。上述のようにオブジェクト情報データ７２には、ステップＳ２１の処理によって、各オブジェクトが操作可能であるか否かを示すデータが格納されている。ＣＰＵ３０は、操作可能であるオブジェクトを平面画像表示装置１２の画面に表示するオブジェクトとして選出する。次に、ＣＰＵ３０は、ステップＳ２３の処理を実行する。

ステップＳ２３において、ＣＰＵ３０は、ステップＳ２２で選出したオブジェクトの表示態様を決定する。具体的には、ＣＰＵ３０は、ステップＳ２２で選出したオブジェクトが複数存在する場合、各オブジェクトの表示態様がそれぞれ異なるようにして、各オブジェクトの表示態様を決定する。例えば、選出したオブジェクトが子供オブジェクト４１、子供オブジェクト４３およびアイテム４５である場合、ＣＰＵ３０は、子供オブジェクト４１を灰色、子供オブジェクト４３を青色、アイテム４５を赤色にそれぞれ決定する。次に、ＣＰＵ３０は、ステップＳ２４の処理を実行する。

ステップＳ２４において、ＣＰＵ３０は、ステップＳ２３で決定した表示態様で各オブジェクトを平面画像表示装置１２の画面に表示する。具体的には、ステップＳ２４において、ＣＰＵ３０は、ステップＳ２２で選出したオブジェクト以外のオブジェクトを非表示とし、ステップＳ２２で選出したオブジェクトをシルエット表示にして、仮想空間を仮想カメラ１８で撮像する。これにより、ＣＰＵ３０は、平面画像表示装置１２の画面に、選出した各オブジェクトをステップＳ２３で決定した表示態様で表示する（選出した各オブジェクトをシルエット表示する）。

なお、ステップＳ２４では、ステップＳ４で決定されたオブジェクトの動作に応じて、シルエット（オブジェクト）が動作する様子が表示される。また、ＣＰＵ３０は、操作ボタン６２を画面の左上に、アイテム選択ボタン６３を画面の右下にそれぞれ表示する。以上でＣＰＵ３０は、平面画像表示処理を終了する。

図１１に戻り、ＣＰＵ３０は、次にステップＳ６の処理を実行する。ステップＳ６において、ＣＰＵ３０は、立体画像表示処理を実行する。ステップＳ６では、ＣＰＵ３０は、仮想空間にカーソル６０を配置し、仮想ステレオカメラ１７で仮想空間を撮像して立体画像表示装置１１の画面に立体画像を表示する。具体的には、ＣＰＵ３０は、カーソル６０の姿勢を決定して、ステップＳ３で判定されたカーソル６０の位置に手の形状のカーソル６０を配置する（すなわち、タッチしたオブジェクトの表面にカーソル６０を配置する）。具体的には、ＣＰＵ３０は、ステップＳ３で判定されたカーソル６０の位置で接触するオブジェクトの部位に接する仮想空間上の平面をカーソル６０の姿勢として決定して、カーソル６０を仮想空間に配置する。一方、ＣＰＵ３０は、ステップＳ２の判定結果が否定の場合は、最新のタッチ位置に対応した仮想空間上の所定位置に矢印形状のカーソル６０を配置する。次に、ＣＰＵ３０は、仮想ステレオカメラ１７を用いて左目用画像と右目用画像とを撮像する。次に、ＣＰＵ３０は、撮像した左目用画像と右目用画像とをそれぞれ縦に短冊状に分割して合成する。例えば、ＣＰＵ３０は、左目用画像と右目用画像とを、画素を縦に並べた１ライン毎に短冊状に分割し、分割した短冊状の画像を交互に配置して合成する。そして、ＣＰＵ３０は、合成した画像を立体画像表示装置１１に出力する。ユーザは、立体画像表示装置１１の視差バリアを通して合成された画像を見ることで、ユーザの左目で左目用画像を、ユーザの右目で右目用画像を視認することができる。これにより、ユーザは立体感のある画像を見ることができる。なお、立体画像表示装置１１の画面には、平面画像表示装置１２の画面と同様、ステップＳ４で決定されたオブジェクトの動作に応じて、オブジェクトが動作する様子が表示される。

図１４は、平面画像表示装置１２および立体画像表示装置１１の画面に表示される画像の一例を示す図である。図１４に示すように、子供オブジェクト４２はユーザからの距離が所定の距離より離れているため、ステップＳ２１において操作可能なオブジェクトとは判定されない。また、家具オブジェクト４４は、ユーザによって操作されるオブジェクトとして予め設定されていないため、操作可能なオブジェクトではない。このため、子供オブジェクト４２および家具オブジェクト４４は、平面画像表示装置１２の画面には表示されない。また、子供オブジェクト４１および子供オブジェクト４３は、ユーザによって操作されるオブジェクトとして予め設定されており、かつ、ユーザからの距離が所定の距離以下であるため、平面画像表示装置１２の画面に表示される。この場合、平面画像表示装置１２の画面において、子供オブジェクト４１と子供オブジェクト４３とは、互いに異なる表示態様で表示される。例えば、平面画像表示装置１２の画面では、子供オブジェクト４１は赤色で、子供オブジェクト４３は黄色で平面表示される。なお、子供オブジェクト４２が移動してユーザとの距離が所定の距離以下となった場合、子供オブジェクト４２は、平面画像表示装置１２の画面に表示される。各子供オブジェクトは、仮想空間を所定の法則に従って移動する。ＣＰＵ３０は、例えば時間経過に応じて、各子供オブジェクトの位置を変化させたり、ユーザの操作に応じて各子供オブジェクトの位置を変化させたりする。子供オブジェクト４２が、図１４に示すようにユーザから所定の距離より離れた位置から図７に示すように所定の距離以下の位置に移動した場合、すなわち、子供オブジェクト４２が近づいてきて、ユーザが触ることが可能な範囲に入ってきた場合、子供オブジェクト４２は、平面画像表示装置１２の画面に表示される。

次に、ＣＰＵ３０は、ステップＳ７の処理を実行する。

ステップＳ７において、ＣＰＵ３０は、ゲーム処理を終了するか否かを判定する。例えば、ユーザによって操作ボタン６２が押された場合、ＣＰＵ３０は、ゲーム処理を終了する。ゲーム処理が終了しない場合、ＣＰＵ３０は、ステップＳ１の処理を再び実行する。以上で図１１に示すフローチャートの説明を終了する。

以上のように、本実施形態に係るゲームでは、立体画像表示装置１１の画面には仮想空間の各オブジェクトが立体視可能に表示され、平面画像表示装置１２の画面には同様の仮想空間の範囲を撮像した平面画像が表示される。平面画像表示装置１２の画面には、操作可能なオブジェクトのみシルエット表示され、操作不可能なオブジェクトは表示されない。そして、立体画像表示装置１１に表示された各オブジェクトに対する操作は、平面画像表示装置１２の画面をタッチすることにより行われる。これにより、ユーザは、立体画像表示装置１１の画面に表示された立体視可能な画像を見ながら、当該画像に含まれるオブジェクトを直接操作する感覚を得ることができる。

なお、上述したフローチャートによる処理の内容や処理の順番等は、単なる例示に過ぎない。例えば、ステップＳ３の処理は次のような処理に代替されてもよい。すなわち、表示結果（ステップＳ５の処理の結果）に仮想カメラ１８の撮像方向の情報（撮像方向の位置情報）が埋め込まれ、当該情報からユーザによって指示されたタッチパネル１５上の位置に対応する３次元仮想空間における位置が求められてもよい。

また、本実施形態では、予め定められたユーザによって操作可能なオブジェクト（子供オブジェクト４１〜４３）であって、仮想カメラから所定距離以下にあるオブジェクトのみが平面画像表示装置１２に表示された。他の実施形態では、ユーザによって操作可能なオブジェクトと操作不可能なオブジェクト（家具オブジェクト４４）とを含む所定の条件を満たすオブジェクトが、平面画像表示装置１２に表示されてもよい。ここで、所定の条件は、上述したように仮想カメラ（ユーザ）からの距離によって定められてもよいし、ゲーム進行上の様々な条件であってもよい。例えば、第１のゲームシーンにおいては、第１のオブジェクトは操作可能なオブジェクトとして設定され、平面画像表示装置１２の画面にシルエット表示されてもよい。この場合において、第１のゲームシーンとは異なる第２のゲームシーンに移行した場合は、当該第１のオブジェクトは操作不可能なオブジェクトとして設定され、平面画像表示装置１２の画面に表示されないようにしてもよい。例えば、戦闘シーンにおいてのみ武器オブジェクトが操作可能に設定されて、当該武器オブジェクトをユーザが操作することができるようにしてもよい。

また、本実施形態では、操作可能なオブジェクトが複数存在する場合、平面画像表示装置１２には、当該複数のオブジェクトをそれぞれ異なる色で表示した（子供オブジェクト４１を赤、子供オブジェクト４２を青、子供オブジェクト４３を黄で表示した）。他の実施形態では、平面画像表示装置１２の画面をユーザが見た場合に一見して各オブジェクトが識別できる態様であれば、どのような態様で各オブジェクトを表示してもよい。例えば、同じ色のオブジェクトが隣り合う場合（近接する場合）は、ユーザは、一見してこれらが異なるオブジェクトであることを識別し難い。従って、隣り合うオブジェクトの表示態様を変えて平面画像表示装置１２に表示することにより、ユーザは、これらのオブジェクトを一見して識別することができる。例えば、図７において、子供オブジェクト４２（子供オブジェクト画像１２２）が青色に、子供オブジェクト４１（子供オブジェクト画像１２１）および４３（１２３）が灰色に表示されてもよい。

また、本実施形態では、ステップＳ２２で選出されたオブジェクトのみが平面画像表示装置１２の画面に表示され、それらが複数存在する場合は互いに異なる色で表示された。他の実施形態では、選出されたオブジェクトが他のオブジェクトとは異なる表示態様（色や塗りつぶしのパターン等）で表示されてもよい。例えば、立体画像表示装置１１の画面に子供オブジェクト４１〜４３及び家具オブジェクト４４が表示される場合において、子供オブジェクト４１のみが操作可能であるとき（選出されたとき）、平面画像表示装置１２の画面には子供オブジェクト４１は赤色で表示され、他のオブジェクト（４２、４３、４４）は灰色で表示されてもよい。

また、本実施形態では、平面画像表示装置１２には各オブジェクトがシルエット表示（単色表示）されたが、立体画像表示装置１１に表示される画像と比較して目立たないものであれば、平面画像表示装置１２に表示される各オブジェクトはどのような表示態様で表示されてもよい。例えば、他の実施形態では、各オブジェクトを減色して平面画像表示装置１２に表示してもよい。例えば、立体画像表示装置１１に表示されるオブジェクトの各部位が３２ｂｉｔカラーで表示される場合において、平面画像表示装置１２に表示される当該オブジェクトの各部位を８ｂｉｔカラーで表示してもよい。また、他の実施形態では、平面画像表示装置１２において、オブジェクトの輪郭のみが表示されてもよい。また、他の実施形態では、平面画像表示装置１２において、オブジェクトが線や点等のパターンで塗りつぶされて表示されてもよい。また、他の実施形態では、平面画像表示装置１２において各オブジェクトの色の濃さ（明るさ）を変えることにより、各オブジェクトを識別可能に表示してもよい。また、他の実施形態では、平面画像表示装置１２においてオブジェクトの各部位の色の濃さ（明るさ）を変えることにより、当該オブジェクトの各部位を識別可能に表示してもよい。

以上のように、他の実施形態では、平面画像表示装置１２に表示されるオブジェクトを簡略表示してもよい。ここで簡略表示とは、オブジェクトの表示上の外郭（輪郭）の形状はそのままにして、上述したシルエット表示を含む減色表示や輪郭のみの表示態様、線や点のパターンで塗りつぶす表示態様、明るさを変える表示態様等、様々な表示態様をいう。すなわち、平面画像表示装置１２に表示されるオブジェクトは、立体画像表示装置１１に表示されるオブジェクトと比較して簡略された表示であれば、どのような表示態様で表示されてもよい。

さらに、他の実施形態では、立体画像表示装置１１に表示されるオブジェクトと平面画像表示装置１２に表示されるオブジェクトとは、前者が立体視画像で後者が平面画像であることを除いて、同様の表示態様（色、輪郭や塗りつぶしのパターン等が同じ）で表示されてもよい。すなわち、立体画像表示装置１１にはオブジェクトが立体表示され、平面画像表示装置１２には当該オブジェクトがシルエット表示されずに（簡略表示されずに）平面表示されてもよい。このように、立体画像表示装置１１に立体視可能なオブジェクトの画像を表示し、これとは別の平面画像表示装置１２に同じオブジェクトが同じ表示態様で平面表示されてもよい。そして、平面画像表示装置１２の画面を指示して当該オブジェクトが操作されてもよい。これにより、ユーザは、立体画像表示装置１１に表示されたオブジェクトを見ながら当該オブジェクトを容易に操作することができる。すなわち、立体画像表示装置１１にオブジェクトを立体視可能に表示して、立体画像表示装置１１の画面を直接指示すると、上述したように、画面の奥方向に関してユーザが感じるオブジェクトの位置と指示位置とにずれが生じるため、ユーザは当該オブジェクトを指示し難い。また、上述したように、立体画像表示装置１１の画面を直接指示すると、ユーザはオブジェクトを直接操作している感覚を得ることができない。しかしながら、立体画像表示装置１１にオブジェクトを立体表示して、これとは別の画面に同じオブジェクトを平面表示してユーザに指示させることにより、ユーザは容易に当該オブジェクトを指示して操作することができ、また、当該オブジェクトを直接操作している感覚を得ることができる。

また、本実施形態では、仮想ステレオカメラ１７によって撮像された画像（第１画像）が立体画像表示装置１１に表示され、仮想ステレオカメラ１７の左右の仮想カメラ１７ａ及び１７ｂの中間に設定された仮想カメラ１８によって撮像された画像（第２画像）が平面画像表示装置１２に表示された。他の実施形態では、上記第２画像は、仮想ステレオカメラ１７の左右の仮想カメラ１７ａ及び１７ｂのどちらかによって撮像されてもよい。また、上記第２画像は、左右の仮想カメラ１７ａ及び１７ｂの間の任意の位置に設定された仮想カメラによって撮像されてもよい。すなわち、上記第１画像を撮像する仮想カメラの位置と略同一の位置に設定された仮想カメラによって、上記第２画像が撮像されてもよい。

また、本実施形態では、立体画像表示装置１１に表示される画像（オブジェクトを含む画像）と平面画像表示装置１２（平面画像表示領域６１）に表示される画像とは、略同じ大きさの画像であるとした。ここで、「略同じ大きさの画像」とは、一方の画像に対して他方の画像が所定の比率で拡大された画像であってもよい。例えば、平面画像表示装置１２に表示される画像の縦方向（又は／及び横方向）の長さが、立体画像表示装置１１に表示される画像の縦方向（又は／及び横方向）の長さの７０％に設定されてもよい。

また、本実施形態では、立体画像表示装置１１に表示される画像と平面画像表示装置１２に表示される画像とは、略同一の仮想空間の範囲を撮像した画像であるとした。ここで、「略同一の仮想空間の範囲を撮像した画像」とは、略同一の撮像範囲の画像であり、一方の画像の撮像範囲は他方の画像の撮像範囲に対して所定の比率だけ広くてもよい。例えば、平面画像表示装置１２に表示される画像の撮像範囲（当該画像に表示される仮想空間の範囲）は、立体画像表示装置１１に表示される画像の撮像範囲に対して（縦及び／又は横方向に関して）７０％に設定されてもよい。このように、本実施形態では、平面画像表示装置１２に表示される画像の撮像範囲は、立体画像表示装置１１に表示される画像の撮像範囲と略同一であるため、ユーザは、平面画像表示装置１２の画面を見ずに、立体画像表示装置１１の画面を見ながらオブジェクトを操作することができる。すなわち、２つの画像の撮像範囲が同じであるため、例えば、立体画像表示装置１１の画面の右側に子供オブジェクトが表示される場合は、平面画像表示装置１２の画面の右側にも同じオブジェクトが表示される。従って、ユーザは、平面画像表示装置１２の画面を確認することなく、立体画像表示装置１１の画面を見ながら、平面画像表示装置１２の画面上でオブジェクトを操作することができる。

また、２つの画像に含まれるオブジェクトが略同じ大きさ（一方の画像のオブジェクトが他方の画像のオブジェクトに対して（縦及び／又は横方向に関して）３０％程度大きくてもよい）となるように、平面画像表示装置１２に表示される画像の大きさや撮像範囲が調整されてもよい。例えば、平面画像表示装置１２に表示される画像の撮像範囲が狭く設定されて表示された場合、当該画像に含まれるオブジェクトは拡大して表示される（ズームされる）。平面画像表示装置１２に表示される画像に含まれるオブジェクトは、画像自体（画面自体）の大きさによっても定められるし、撮像範囲によっても定められる。従って、ユーザが立体画像表示装置１１の画面に含まれるオブジェクトを見ながら平面画像表示装置１２の画面をタッチ操作するのに違和感がない程度に、平面画像表示装置１２に表示される画像の大きさや撮像範囲が調整されてもよい。

さらに、２つの画面に表示されるオブジェクトの大きさは、必ずしも略同じである必要はない。例えば、立体画像表示装置１１の画面が、平面画像表示装置１２の画面よりも数倍大きい場合においても、ユーザは、立体画像表示装置１１の画面を見ながら違和感なく平面画像表示装置１２の画面を操作することも可能である。すなわち、２つの画面に表示される画像に含まれるオブジェクトが同じ方向から撮像されることによって、当該オブジェクトの見え方が同じ（当該オブジェクトを見る方向が同じ）であればよい。これにより、ユーザは、画面の大きさの違いに関係なく、一方の画面を見ながら他方の画面上を指示して当該オブジェクトを容易に操作することができる。

また、本実施形態では、一方の画面は立体表示可能な画面（立体画像表示装置１１）であり、他方の画面は平面表示する画面（平面画像表示装置１２）であるとした。他の実施形態では、例えば、一方の画面が高解像度の画面で、他の画面が低解像度の画面であってもよい。すなわち、一方の画面は他方の画面と異なる表示方式（立体表示可能な画面と平面表示の画面、高解像度の画面と低解像度の画面等）のものであってもよい。

また、本実施形態では、仮想ステレオカメラ１７の左右の仮想カメラの撮像方向は同じであり、仮想カメラ１８の撮像方向も同じであるとした。他の実施形態では、これらの撮像方向は必ずしも完全に一致している必要はなく、略同じであればよい。例えば、図４において、左目用仮想カメラ１７ａの撮像方向Ａを子供オブジェクト４１と左目用仮想カメラ１７ａとを結ぶ直線の方向にし、右目用仮想カメラ１７ｂの撮像方向Ｂを子供オブジェクト４１と右目用仮想カメラ１７ｂとを結ぶ直線の方向にしてもよい。このように左右の仮想カメラの撮像方向が設定されると、立体画像表示装置１１に表示されるオブジェクト（子供オブジェクト４１および家具オブジェクト４４）の立体感が変わる。また、仮想カメラ１８の撮像方向も、左目用仮想カメラ１７ａ又は右目用仮想カメラ１７ｂの撮像方向に対して所定の角度（数度〜１０数度程度）だけ異なってもよい。このように仮想カメラ１８の撮像方向が仮想ステレオカメラ１７の撮像方向と所定の角度だけ異なるように設定されても、平面画像表示装置１２の画面には、立体画像表示装置１１に表示される立体的なオブジェクトを略同じ方向から平面的に見た画像が表示される。従って、ユーザは、立体画像表示装置１１に表示される立体的なオブジェクトを見ながら、平面画像表示装置１２に表示される当該オブジェクトを指示して操作することができる。

また、本実施形態では、立体画像表示装置１１に立体画像（立体視可能な画像）を、平面画像表示装置１２に平面画像を表示した。他の実施形態では、表示方式が同じ２つの表示領域に、オブジェクトを略同じ方向から見た画像が同時に表示されてもよい。例えば、他の実施形態では、第１の表示領域にオブジェクトを含む第１画像を平面表示し、第２の表示領域に当該オブジェクトを含む、第１画像と同様の第２画像を平面表示してもよい。

以上のように、第１の表示領域に表示される第１画像は、所定の表示対象を所定の方向から見た画像であり、第２の表示領域に表示される第２画像は、当該所定の表示対象を上記所定の方向と略同じ方向から見た画像であってもよい。そして、ユーザが第２の表示領域上の位置を指示することによって、第１の表示領域および第２の表示領域に表示される所定の表示対象を操作してもよい。このように、２つの表示領域に所定の表示対象を略同じ方向から見た画像が表示されることによって、ユーザは、第１の表示領域に表示された画像に含まれる所定の表示対象を見ながら、第２の表示領域に表示された画像に含まれる所定の表示対象を指示することができる。これにより、ユーザは、所定の表示対象を操作することができる。

また、本実施形態では裸眼で立体視可能なディスプレイを用いる場合について説明したが、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）などの眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。

また、本実施形態では、仮想空間に存在するオブジェクトを操作するゲームであるとした。他の実施形態では、実空間をステレオカメラで撮像した画像を立体画像表示装置１１に表示し、同様の画像を平面画像表示装置１２に表示してもよい。そして、平面画像表示装置１２に表示された画像を指示して操作することで、立体画像表示装置１１に表示された画像を変化させてもよい。例えば、平面画像表示装置１２に表示された画像を操作して、立体画像表示装置１１に表示された画像を伸縮させたり、修正したりしてもよい。

また、上記実施形態では、立体画像表示装置１１及び平面画像表示装置１２の双方を備える携帯型のゲーム装置１０を想定した。他の実施形態では、例えば、立体表示可能な第１の表示装置と、平面表示のみを行う第２の表示装置と、上述した処理を行う制御装置とが、別々のハードウェアとして構成されてもよい。そして、これらの要素が有線又は無線によって互いに接続されることによって、表示制御システムとして機能してもよい。すなわち、当該表示制御システムは、上記実施形態のように１つの装置によって構成されてもよいし、複数の装置によって構成されてもよい。

また、他の実施形態では、立体表示を行う立体表示領域と平面表示を行う平面表示領域とが１つの画面上で設定可能な表示装置が、上記立体画像表示装置１１及び平面画像表示装置１２として、用いられてもよい。すなわち、同一画面上に異なる２つの表示領域が設定可能な表示装置が用いられてもよい。

また、他の実施形態では、表示装置と指示位置検出装置とを有する任意の情報処理装置（例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話等）にも上記表示制御方法が適用されてもよい。

また、上記実施形態においては、ゲーム装置１０のＣＰＵ３０が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行われてもよい。例えば、立体画像表示装置１１および平面画像表示装置１２に表示する画像を生成する専用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が設けられてもよい。

（第２実施形態）
（第２実施形態のゲーム装置の構成）
以下、本発明の第２実施形態に係るゲーム装置について説明する。図１５は、開状態におけるゲーム装置２００の外観を示す正面図である。図１６（ａ）は閉状態におけるゲーム装置２００の左側面図であり、図１６（ｂ）は閉状態におけるゲーム装置２００の正面図であり、図１６（ｃ）は閉状態におけるゲーム装置２００の右側面図であり、図１６（ｄ）は閉状態におけるゲーム装置２００の背面図である。ゲーム装置２００は携帯型のゲーム装置であり、図１５および図１６に示すように折り畳み可能に構成されている。図１５は、開いた状態（開状態）におけるゲーム装置２００を示し、図１６は、閉じた状態（閉状態）におけるゲーム装置２００を示している。ゲーム装置２００は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置２００は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。

まず、図１５および図１６を参照して、ゲーム装置２００の外観構成について説明する。図１５および図１６に示されるように、ゲーム装置２００は、下側ハウジング２１１および上側ハウジング２２１を有する。下側ハウジング２１１と上側ハウジング２２１とは、開閉可能（折り畳み可能）に接続されている。

（下側ハウジングの説明）
まず、下側ハウジング２１１の構成について説明する。図１５および図１６に示すように、下側ハウジング２１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２１２、タッチパネル２１３、各操作ボタン２１４Ａ〜２１４Ｌ、アナログスティック２１５、ＬＥＤ２１６Ａ〜２１６Ｂ、挿入口２１７、および、マイクロフォン用孔２１８が設けられる。以下、これらの詳細について説明する。

図１５に示すように、下側ＬＣＤ２１２は下側ハウジング２１１に収納される。下側ＬＣＤ２１２の画素数は、例えば、３２０ｄｏｔ×２４０ｄｏｔ（横×縦）であってもよい。下側ＬＣＤ２１２は、後述する上側ＬＣＤ２２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、第２実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤ２１２として、任意の解像度の表示装置を利用することができる。

図１５に示されるように、ゲーム装置２００は、入力装置として、タッチパネル２１３を備えている。タッチパネル２１３は、下側ＬＣＤ２１２の画面上に装着されている。なお、第２実施形態では、タッチパネル２１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。第２実施形態では、タッチパネル２１３として、下側ＬＣＤ２１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル２１３の解像度と下側ＬＣＤ２１２の解像度が一致している必要はない。また、下側ハウジング２１１の上側面には挿入口２１７（図１５および図１６（ｄ）に示す点線）が設けられている。挿入口２１７は、タッチパネル２１３に対する操作を行うために用いられるタッチペン２２８を収納することができる。なお、タッチパネル２１３に対する入力は通常タッチペン２２８を用いて行われるが、タッチペン２２８に限らずユーザの指でタッチパネル２１３に対する入力をすることも可能である。

各操作ボタン２１４Ａ〜２１４Ｌは、所定の入力を行うための入力装置である。図１５に示されるように、下側ハウジング２１１の内側面（主面）には、各操作ボタン２１４Ａ〜２１４Ｌのうち、十字ボタン２１４Ａ（方向入力ボタン２１４Ａ）、ボタン２１４Ｂ、ボタン２１４Ｃ、ボタン２１４Ｄ、ボタン２１４Ｅ、電源ボタン２１４Ｆ、セレクトボタン２１４Ｊ、ＨＯＭＥボタン２１４Ｋ、およびスタートボタン２１４Ｌが、設けられる。十字ボタン２１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン２１４Ａ〜２１４Ｅ、セレクトボタン２１４Ｊ、ＨＯＭＥボタン２１４Ｋ、およびスタートボタン２１４Ｌには、ゲーム装置２００が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン２１４Ａは選択操作等に用いられ、各操作ボタン２１４Ｂ〜２１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン２１４Ｆは、ゲーム装置２００の電源をオン／オフするために用いられる。

アナログスティック２１５は、方向を指示するデバイスである。アナログスティック２１５は、そのキートップが、下側ハウジング２１１の内側面に平行にスライドするように構成されている。アナログスティック２１５は、ゲーム装置２００が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置２００によって実行される場合、アナログスティック２１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック２１５のキートップがスライドした方向に移動される。なお、アナログスティック２１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。

また、下側ハウジング２１１の内側面には、マイクロフォン用孔２１８が設けられる。マイクロフォン用孔２１８の下部には後述する音声入力装置としてのマイク２４２（図１７参照）が設けられ、当該マイク２４２がゲーム装置２００の外部の音を検出する。

図１６（ｂ）および（ｄ）に示されるように、下側ハウジング２１１の上側面には、Ｌボタン２１４ＧおよびＲボタン２１４Ｈが設けられている。Ｌボタン２１４ＧおよびＲボタン２１４Ｈは、例えば、撮像部のシャッターボタン（撮影指示ボタン）として機能することができる。また、図１６（ａ）に示されるように、下側ハウジング２１１の左側面には、音量ボタン２１４Ｉが設けられる。音量ボタン２１４Ｉは、ゲーム装置２００が備えるスピーカの音量を調整するために用いられる。

図１６（ａ）に示されるように、下側ハウジング２１１の左側面には開閉可能なカバー部２１１Ｃが設けられる。このカバー部２１１Ｃの内側には、ゲーム装置２００とデータ保存用外部メモリ２４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ２４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ２４５は、例えば、ゲーム装置２００によって撮像された画像のデータを記憶（保存）するために用いられる。

また、図１６（ｄ）に示されるように、下側ハウジング２１１の上側面には、ゲーム装置２００とゲームプログラムを記録した外部メモリ２４４を挿入するための挿入口２１１Ｄが設けられ、その挿入口２１１Ｄの内部には、外部メモリ２４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ２４４がゲーム装置２００に接続されることにより、所定のゲームプログラムが実行される。

また、図１５および図１６（ｃ）に示されるように、下側ハウジング２１１の下側面にはゲーム装置２００の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ２１６Ａ、下側ハウジング２１１の右側面にはゲーム装置２００の無線通信の確立状況をユーザに通知する第２ＬＥＤ２１６Ｂが設けられる。ゲーム装置２００は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤ２１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置２００は、例えば、ＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング２１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ２１９が設けられる（図１６（ｃ）参照）。

なお、図示は省略するが、下側ハウジング２１１には、ゲーム装置２００の電源となる充電式電池が収納され、下側ハウジング２１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。

（上側ハウジングの説明）
次に、上側ハウジング２２１の構成について説明する。図１５および図１６に示すように、上側ハウジング２２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２２、外側撮像部２２３（外側撮像部（左）２２３ａおよび外側撮像部（右）２２３ｂ）、内側撮像部２２４、３Ｄ調整スイッチ２２５、および、３Ｄインジケータ２２６が設けられる。以下、これらの詳細について説明する。

図１５に示すように、上側ＬＣＤ２２２は上側ハウジング２２１に収納される。上側ＬＣＤ２２２の画素数は、例えば、８００ｄｏｔ×２４０ｄｏｔ（横×縦）であってもよい。なお、第２実施形態では上側ＬＣＤ２２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２２として、任意の解像度の表示装置を利用することができる。

上側ＬＣＤ２２２は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが時間的に交互に表示され、メガネを用いてユーザの左目に左目用画像が右目に右目用画像が視認される方式の表示装置であってもよい。本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。第２実施形態では、上側ＬＣＤ２２２はパララックスバリア方式のものとする。上側ＬＣＤ２２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤ２２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤ２２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤ２２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチ２２５によって行われる。

外側撮像部２２３は、上側ハウジング２２１の外側面（上側ＬＣＤ２２２が設けられた主面と反対側の背面）２２１Ｄに設けられた２つの撮像部（２２３ａおよび２２３ｂ）の総称である。外側撮像部（左）２２３ａと外側撮像部（右）２２３ｂの撮像方向は、いずれも当該外側面２２１Ｄの外向きの法線方向である。外側撮像部（左）２２３ａと外側撮像部（右）２２３ｂとは、ゲーム装置２００が実行するプログラムによって、ステレオカメラとして使用することが可能である。外側撮像部（左）２２３ａおよび外側撮像部（右）２２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。

内側撮像部２２４は、上側ハウジング２２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。

３Ｄ調整スイッチ２２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２２５は、上側ＬＣＤ２２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。３Ｄ調整スイッチ２２５のスライダ２２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２２５ａの位置に応じて上側ＬＣＤ２２２の表示モードが設定される。また、スライダ２２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、スライダ２２５ａの位置に応じて、右目用画像および左目用画像の横方向の位置のずれ量が調整される。

３Ｄインジケータ２２６は、上側ＬＣＤ２２２が立体表示モードか否かを示す。３Ｄインジケータ２２６は、ＬＥＤであり、上側ＬＣＤ２２２の立体表示モードが有効の場合に点灯する。なお、３Ｄインジケータ２２６は、上側ＬＣＤ２２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。

また、上側ハウジング２２１の内側面には、スピーカ孔２２１Ｅが設けられる。後述するスピーカ２４３からの音声がこのスピーカ孔２２１Ｅから出力される。

（ゲーム装置２００の内部構成）
次に、図１７を参照して、ゲーム装置２００の内部の電気的構成について説明する。図１７は、ゲーム装置２００の内部構成を示すブロック図である。図１７に示すように、ゲーム装置２００は、上述した各部に加えて、情報処理部２３１、メインメモリ２３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）２３３、データ保存用外部メモリＩ／Ｆ２３４、データ保存用内部メモリ２３５、無線通信モジュール２３６、ローカル通信モジュール２３７、リアルタイムクロック（ＲＴＣ）２３８、加速度センサ２３９、電源回路２４０、およびインターフェイス回路（Ｉ／Ｆ回路）２４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング２１１（または上側ハウジング２２１でもよい）内に収納される。

情報処理部２３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。情報処理部２３１のＣＰＵ３１１は、ゲーム装置２００内のメモリ（例えば外部メモリＩ／Ｆ２３３に接続された外部メモリ２４４やデータ保存用内部メモリ２３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、情報処理部２３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部２３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部２３１のＧＰＵ３１２は、情報処理部２３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部２３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２２及び／又は下側ＬＣＤ２１２に出力し、上側ＬＣＤ２２２及び／又は下側ＬＣＤ２１２に当該画像が表示される。

情報処理部２３１には、メインメモリ２３２、外部メモリＩ／Ｆ２３３、データ保存用外部メモリＩ／Ｆ２３４、および、データ保存用内部メモリ２３５が接続される。外部メモリＩ／Ｆ２３３は、外部メモリ２４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ２３４は、データ保存用外部メモリ２４５を着脱自在に接続するためのインターフェイスである。

メインメモリ２３２は、情報処理部２３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ２３２は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ２４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。第２実施形態では、メインメモリ２３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。

外部メモリ２４４は、情報処理部２３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ２４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリ２４４が外部メモリＩ／Ｆ２３３に接続されると、情報処理部２３１は外部メモリ２４４に記憶されたプログラムを読み込むことができる。情報処理部２３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ２４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ２４５には、外側撮像部２２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ２４５がデータ保存用外部メモリＩ／Ｆ２３４に接続されると、情報処理部２３１はデータ保存用外部メモリ２４５に記憶された画像を読み込み、上側ＬＣＤ２２２及び／又は下側ＬＣＤ２１２に当該画像を表示することができる。

データ保存用内部メモリ２３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ２３５には、無線通信モジュール２３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。

無線通信モジュール２３６は、例えばＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール２３７は、所定の通信方式（例えば独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール２３６およびローカル通信モジュール２３７は情報処理部２３１に接続される。情報処理部２３１は、無線通信モジュール２３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール２３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

また、情報処理部２３１には、加速度センサ２３９が接続される。加速度センサ２３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ２３９は、下側ハウジング２１１の内部に設けられる。加速度センサ２３９は、図１５に示すように、下側ハウジング２１１の長辺方向をｘ軸、下側ハウジング２１１の短辺方向をｙ軸、下側ハウジング２１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ２３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ２３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部２３１は、加速度センサ２３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置２００の姿勢や動きを検出することができる。

また、情報処理部２３１には、ＲＴＣ２３８および電源回路２４０が接続される。ＲＴＣ２３８は、時間をカウントして情報処理部２３１に出力する。情報処理部２３１は、ＲＴＣ２３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路２４０は、ゲーム装置２００が有する電源（下側ハウジング２１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置２００の各部品に電力を供給する。

また、情報処理部２３１には、Ｉ／Ｆ回路２４１が接続される。Ｉ／Ｆ回路２４１には、マイク２４２およびスピーカ２４３が接続される。具体的には、Ｉ／Ｆ回路２４１には、図示しないアンプを介してスピーカ２４３が接続される。マイク２４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路２４１に出力する。アンプは、Ｉ／Ｆ回路２４１からの音声信号を増幅し、音声をスピーカ２４３から出力させる。また、タッチパネル２１３はＩ／Ｆ回路２４１に接続される。Ｉ／Ｆ回路２４１は、マイク２４２およびスピーカ２４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル２１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部２３１に出力する。タッチ位置データは、タッチパネル２１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル２１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部２３１は、タッチ位置データを取得することにより、タッチパネル２１３に対して入力が行われた位置を知ることができる。

操作ボタン２１４は、上記各操作ボタン２１４Ａ〜２１４Ｌからなり、情報処理部２３１に接続される。操作ボタン２１４から情報処理部２３１へは、各操作ボタン２１４Ａ〜２１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部２３１は、操作ボタン２１４から操作データを取得することによって、操作ボタン２１４に対する入力に従った処理を実行する。

下側ＬＣＤ２１２および上側ＬＣＤ２２２は情報処理部２３１に接続される。下側ＬＣＤ２１２および上側ＬＣＤ２２２は、情報処理部２３１（のＧＰＵ３１２）の指示に従って画像を表示する。第２実施形態では、情報処理部２３１は、上側ＬＣＤ２２２に立体画像（立体視可能な画像）を表示させる。

具体的には、情報処理部２３１は、上側ＬＣＤ２２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２２の視差バリアがＯＮになっている場合、情報処理部２３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２２の画面に表示される。そして、上側ＬＣＤ２２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２２の画面には立体視可能な画像が表示される。

外側撮像部２２３および内側撮像部２２４は、情報処理部２３１に接続される。外側撮像部２２３および内側撮像部２２４は、情報処理部２３１の指示に従って画像を撮像し、撮像した画像データを情報処理部２３１に出力する。

３Ｄ調整スイッチ２２５は、情報処理部２３１に接続される。３Ｄ調整スイッチ２２５は、スライダ２２５ａの位置に応じた電気信号を情報処理部２３１に送信する。

また、３Ｄインジケータ２２６は、情報処理部２３１に接続される。情報処理部２３１は、３Ｄインジケータ２２６の点灯を制御する。例えば、情報処理部２３１は、上側ＬＣＤ２２２が立体表示モードである場合、３Ｄインジケータ２２６を点灯させる。

また、情報処理部２３１には、角速度センサ２４６が接続される。角速度センサ２４６は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置２００は、角速度センサ２４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置２００の姿勢を算出することができる。具体的には、ゲーム装置２００は、角速度センサ２４６によって検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置２００の回転角を算出することができる。以上がゲーム装置２００の内部構成の説明である。

（第２実施形態のゲームの概要）
次に、図１８および図１９を参照して、第２実施形態に係るゲームの概要について説明する。図１８は、第２実施形態に係るゲームの実行中において、上側ＬＣＤ２２２および下側ＬＣＤ２１２の画面に表示されるゲーム画像の一例を示す図である。第２実施形態に係るゲームでは、タッチパネル２１３（下側ＬＣＤ２１２）に対するタッチ操作によって、犬オブジェクト５０を動作させることにより、犬に触れたり犬と遊んだりする感覚をユーザに与える。

図１８に示すように、上側ＬＣＤ２２２には、犬を模した犬オブジェクト５０が立体表示（立体視可能に表示）された立体画像５０Ａが表示される。犬オブジェクト５０は、３次元の仮想空間（ＸＹＺ座標系（ワールド座標系）で表される空間）に設定された仮想オブジェクトである。立体画像５０Ａは、仮想空間に存在する犬オブジェクト５０を当該仮想空間に設定された仮想ステレオカメラ（左右の仮想カメラ；第１および第２の仮想カメラ）で撮像した画像である。仮想ステレオカメラによって左目用画像および右目用画像が撮像されて上側ＬＣＤ２２２に表示されることによって、犬オブジェクト５０が立体表示される。また、上側ＬＣＤ２２２には、仮想空間に存在するボールオブジェクト５１が立体表示された立体画像５１Ａが表示される。立体画像５０Ａおよび立体画像５１Ａは、例えば、３２ｂｉｔカラーで表示される。

また、下側ＬＣＤ２１２には、犬オブジェクト５０をシルエット表示したシルエット画像５０Ｂが表示される。上記仮想ステレオカメラの中間に設定された仮想カメラ（第３の仮想カメラ）で犬オブジェクト５０を撮像した画像であり、犬オブジェクト５０をシルエット表示（単色で表示）した画像である。なお、ボールオブジェクト５１は下側ＬＣＤ２１２には表示されない。すなわち、下側ＬＣＤ２１２には、操作対象である犬オブジェクト５０のみが表示され、その他のオブジェクトは表示されない。

下側ＬＣＤ２１２に表示されたシルエット画像５０Ｂをユーザがタッチペン２２８を用いてタッチすると、上側ＬＣＤ２２２にはタッチされた位置を示すカーソル６０が表示される。すなわち、下側ＬＣＤ２１２においてタッチされた位置に対応する上側ＬＣＤ２２２上の位置にカーソル６０が表示される。カーソル６０は、人の手を模したオブジェクトである。ユーザが下側ＬＣＤ２１２をタッチしたままタッチペン２２８を画面上でスライドさせると、当該タッチペン２２８の動きに応じてカーソル６０も動作する。そして、タッチペン２２８の動作（カーソル６０の動作）に応じて、犬オブジェクト５０が動作する。例えば、図１８に示すように、犬オブジェクト５０の頭部がタッチされている場合においてタッチペン２２８を上下方向に往復移動させると、カーソル６０も上側ＬＣＤ２２２の上下方向に往復動作する。このカーソル６０の動作は、ユーザが犬オブジェクト５０の頭を撫でる動作に対応する。当該動作に応じて、例えば、犬オブジェクト５０は頭を撫でられて喜ぶような動作をする。

図１９は、ユーザが犬オブジェクト５０の背中部分をタッチした様子を示す図である。図１９に示すように、ユーザが犬オブジェクト５０の背中部分をタッチすると、図１８のように頭部をタッチした場合と比較して、カーソル６０の姿勢が変化する。具体的には、カーソル６０は、タッチした部位の表面に沿うようにして表示される。

以上のように、ユーザが下側ＬＣＤ２１２に表示されたシルエット画像５０Ｂをタッチペン２２８（又は指）でタッチすることによって、上側ＬＣＤ２２２に表示されたカーソル６０を操作する。そして、ユーザはカーソル６０を用いて犬オブジェクト５０に触れることで、犬オブジェクト５０を操作する。

（ゲーム処理の詳細）
次に、図２０から図２２を参照してカーソル６０の姿勢の決定の仕方、および、その処理の詳細について説明する。まず、ゲーム処理の際にメインメモリ２３２およびＶＲＡＭ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図２０は、ゲーム装置２００のＲＡＭ（メインメモリ２３２等）のメモリマップを示す図である。図２０に示されるように、ＲＡＭには、ゲームプログラム２７０、タッチ位置データ２７１、描画画像データ２７２、深度値データ２７３、犬オブジェクト情報データ２７４、カーソルデータ２７５等が記憶される。これらの他、ＲＡＭには犬オブジェクト５０の画像データやユーザによって行われたボタン操作に関するデータ等が記憶される。

ゲームプログラム２７０は、後述するフローチャートに示されるゲーム処理を情報処理部２３１（ＣＰＵ３１１）に実行させるためのプログラムである。

タッチ位置データ２７１には、タッチパネル２１３が検出したタッチ位置Ｔが格納される。具体的には、タッチ位置データ２７１は所定の長さの配列であり、当該配列の各要素には、タッチパネル２１３上（下側ＬＣＤ２１２の画面上）の位置を示す座標値（ＴｘＴｙ座標系）が格納される。ＴｘＴｙ座標系は、例えば、下側ＬＣＤ２１２の左下端を原点として、下側ＬＣＤ２１２の横方向にＴｘ座標軸が設定され、縦方向にＴｙ座標軸が設定された座標系である。タッチ位置データ２７１には、タッチパネル２１３が検出したタッチ位置を示す座標値が時系列に格納される。

描画画像データ２７２は、上側ＬＣＤ２２２および下側ＬＣＤ２１２に表示される画像を示すデータである。具体的には、描画画像データ２７２は、上側ＬＣＤ２２２に表示される左目用画像と右目用画像、および、下側ＬＣＤ２１２に表示されるシルエット画像が含まれる。後述する表示処理によって、各画像が生成され、描画画像データ２７２としてＲＡＭに記憶される。

深度値データ２７３には、下側ＬＣＤ２１２に表示された画像の画素毎の深度値（奥行方向の位置を示す値；デプス値）が格納される。具体的には、深度値データ２７３は、下側ＬＣＤ２１２に表示された画像の各画素の深度値をマトリクス状に配置した２次元配列である。２次元配列の各要素には、下側ＬＣＤ２１２に表示される画像の各画素の深度値が格納される。

犬オブジェクト情報データ２７４は、犬オブジェクト５０の仮想空間における位置や形状等を示すデータである。具体的には、犬オブジェクト情報データ２７４は、犬オブジェクト５０の仮想空間（ＸＹＺ座標系）における位置、犬オブジェクト５０の各部位（図２３参照）に関する情報等を含む。

カーソルデータ２７５は、カーソル６０の仮想空間における位置および姿勢を示すデータである。カーソル６０の位置は、ユーザによってタッチされたタッチパネル２１３上の位置に応じた３次元仮想空間の位置である。カーソル６０の姿勢は、カーソル６０の仮想空間における姿勢である。

（第２実施形態のゲーム処理）
次に、ゲーム処理の詳細について図２１から図２７を参照して説明する。図２１は、第２実施形態に係るゲーム処理の詳細を示すメインフローチャートである。ゲーム装置２００の電源が投入されると、ゲーム装置２００の情報処理部２３１（ＣＰＵ３１１）は、ＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ２３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ２４４等；コンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラム７０がＲＡＭ（具体的には、メインメモリ２３２）に読み込まれ、情報処理部２３１のＣＰＵ３１１によって当該プログラムの実行が開始される。図２１のフローチャートに示す処理は、以上の処理が完了した後に情報処理部２３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。

なお、図２１では、本発明に直接関連しない処理については記載を省略する。また、図２１に示すステップＳ１０１〜ステップＳ１０４の処理ループは、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返し実行される。

まず、ステップＳ１０１において、情報処理部２３１は、カーソル設定処理を実行する。ここでは、タッチパネル２１３が検出したタッチ位置に基づいて、カーソル６０の仮想空間における位置および姿勢が算出される。ステップＳ１０１におけるカーソル設定処理の詳細を図２２を参照して説明する。図２２は、カーソル設定処理（ステップＳ１０１）の詳細を示すフローチャートである。

ステップＳ１１１において、情報処理部２３１は、タッチパネル２１３がタッチ位置Ｔを検出したか否かを判定する。タッチパネル２１３がタッチ位置Ｔを検出した場合、情報処理部２３１は、タッチ位置Ｔ（Ｔｘ，Ｔｙ）を最新のタッチ位置としてタッチ位置データ２７１に格納し、次にステップＳ１１２の処理を実行する。一方、タッチパネル２１３がタッチ位置Ｔを検出しなかった場合、情報処理部２３１は、図２２に示すカーソル設定処理を終了する。

ステップＳ１１２において、情報処理部２３１は、ステップＳ１１１で検出したタッチパネル２１３上のタッチ位置Ｔに対応する、画像上の指示位置Ｑを取得する。ここで、指示位置Ｑは、タッチ位置Ｔに対応する下側ＬＣＤ２１２に表示された画像上の位置を示す。具体的には、情報処理部２３１は、ステップＳ１１１においてタッチパネル２１３が検出したタッチ位置Ｔを座標変換することによって、画像上の指示位置Ｑ（Ｑｘ，Ｑｙ）を取得する。

なお、下側ＬＣＤ２１２の表示画面（およびタッチパネル２１３）と、下側ＬＣＤ２１２に表示された画像（すなわち、後述するステップＳ１０４で生成された画像）とが同じ大きさである場合、タッチ位置Ｔと、指示位置Ｑとは一致する。一方、下側ＬＣＤ２１２の表示画面（およびタッチパネル２１３）よりも下側ＬＣＤ２１２に表示された画像の方が大きい場合、大きさの比率に応じてタッチ位置Ｔが変換されて、指示位置Ｑが求められる。このように、タッチ位置Ｔと指示位置Ｑとは一対一で対応するが、それぞれ２つの異なる座標系で表される位置を示す。

以下では、タッチパネル２１３が検出したタッチパネル２１３上の座標系で表される位置を「タッチ位置Ｔ」、当該タッチ位置Ｔに対応する下側ＬＣＤ２１２に表示された画像上の座標系で表される位置を「指示位置Ｑ」として表す。また、指示位置Ｑに対応する３次元仮想空間の座標系（ＸＹＺ座標系）で表される位置を「３次元指示位置Ｐ」として表す。情報処理部２３１は、次にステップＳ１１３の処理を実行する。

ステップＳ１１３において、情報処理部２３１は、指示位置Ｑにおける深度値（Ｚ値）を取得する。具体的には、情報処理部２３１は、深度値データ２７３を参照して、指示位置Ｑ（Ｑｘ，Ｑｙ）の画素の深度値を取得する。後述するステップＳ１０４において、下側ＬＣＤ２１２に画像が表示されると、その画像の画素毎の深度値（奥行方向の位置）が深度値データ２７３に格納される。ここでは、前回のフレームにおいてステップＳ１０４で更新された深度値データ２７３を参照し、当該深度値データ２７３に格納された深度値が取得される。次に、ステップＳ１１４が実行される。

ステップＳ１１４において、情報処理部２３１は、指示位置Ｑが犬オブジェクト５０上か否かを判定する。すなわち、情報処理部２３１は、ステップＳ１１２で取得した指示位置Ｑが下側ＬＣＤ２１２に表示された犬オブジェクト５０のシルエット画像５０Ｂ内か否かを判定する。例えば、情報処理部２３１は、深度値データ２７３を参照して、指示位置Ｑの画素の深度値が所定の範囲か否かを判定する。上述のように、深度値データ２７３は、下側ＬＣＤ２１２に表示された画像の画素毎の深度値を示すデータである。下側ＬＣＤ２１２に表示された画像には、操作対象である犬オブジェクト５０のみが表示される。このため、犬オブジェクト５０が表示された領域（シルエット画像５０Ｂの表示領域）の各画素には所定範囲の深度値（例えば、０．９〜１．０）が格納され、犬オブジェクト５０が表示されない領域には、所定の値の深度値（例えば、０）が格納される。従って、情報処理部２３１は、深度値データ２７３を用いることによって犬オブジェクト５０がタッチされたか否かを判定することができる。判定結果が肯定の場合、次にステップＳ１１５の処理が実行される。判定結果が否定の場合、次にステップＳ１２０の処理が実行される。

ステップＳ１１５において、情報処理部２３１は、３次元指示位置Ｐ（Ｘ，Ｙ，Ｚ）を算出する。具体的には、情報処理部２３１は、ステップＳ１１２で取得した指示位置Ｑ（Ｑｘ，Ｑｙ）、および、ステップＳ１１３で取得した深度値（Ｚ値）に基づいて、仮想空間における３次元指示位置Ｐを算出する。指示位置Ｑは、下側ＬＣＤ２１２に表示された画像上の位置であり、当該指示位置Ｑに基づいて、第３の仮想カメラから仮想空間を見た場合の上下左右方向（カメラ座標系のＸＹ方向）の位置が算出される。また、ステップＳ１１３で取得した深度値は、下側ＬＣＤ２１２に表示された画像の上記指示位置Ｑにおける深度値であり、第３の仮想カメラから仮想空間を見た場合の奥行き方向（撮像方向；カメラ座標系のＺ方向）の位置を示す。従って、当該深度値に基づいて、第３の仮想カメラの奥行き方向の位置が算出される。すなわち、仮想空間における３次元位置は、ビュー変換および射影変換により画像上の２次元位置に変換される。このため、画像上の２次元位置（仮想カメラの上下左右方向の位置）とその深度値（仮想カメラの撮像方向の位置）とを用いた逆変換により、仮想空間における３次元位置は求められる。より具体的には、情報処理部２３１は、透視投影変換行列の逆行列、および、仮想カメラのビュー行列の逆行列を用いて仮想空間における３次元指示位置Ｐ（Ｘ，Ｙ，Ｚ）を算出する。そして、情報処理部２３１は、算出した３次元指示位置Ｐをカーソルデータ２７５としてＲＡＭに保存する。次に、情報処理部２３１はステップＳ１１６の処理を実行する。

ステップＳ１１６において、情報処理部２３１は、３次元指示位置Ｐに基づいて、タッチされた部位を決定する。犬オブジェクト５０は、複数の部位によって構成され、ステップＳ１１６においては、タッチした部位が決定される。

図２３は、犬オブジェクト５０が複数の部位によって構成される様子を示す図である。図２３に示すように、犬オブジェクト５０は、複数の部位によって構成され、例えば、部位１５１は頭部を形成し、部位１５５は犬の後ろ半身を形成する。犬オブジェクト情報データ２７４には、各部位に関する情報が含まれる。各部位の形状は、例えば球や円柱、カプセル状（例えば図２３の部位１５５）であったりする。より具体的には、各部位は線分（ボーン）によって表わされ、当該線分からの距離が定められることによって、各部位は定義される。図２４は、後ろ半身の部位１５５の詳細を示す図である。図２４に示すように、部位１５５は、点１５５ｂおよび点１５５ｃを結ぶ線分１５５ａによって表わされる。犬オブジェクト情報データ２７４のうちの部位１５５に関する情報には、線分１５５ａの位置と長さ（点１５５ｂおよび点１５５ｃの３次元仮想空間における座標値）、および、線分１５５ａからの距離に関する情報が含まれる。

情報処理部２３１は、犬オブジェクト情報データ２７４を参照して、３次元指示位置Ｐと最も近い線分（ボーン）を検索することにより、タッチされた部位を決定する。次に、情報処理部２３１は、ステップＳ１１７の処理を実行する。

ステップＳ１１７において、情報処理部２３１は、３次元指示位置Ｐにおける法線および回転角を算出する。具体的には、情報処理部２３１は、３次元指示位置Ｐを通り、タッチされた部位の表面に垂直な線を算出する。

図２５Ａは、タッチされた部位１５５を正面から見た図であり、部位１５５の３次元指示位置Ｐにおける法線ベクトルを示す図である。また、図２５Ｂは、部位１５５を図２５Ａの矢印方向から見た図であり、部位１５５の３次元指示位置Ｐにおける法線ベクトルを示す図である。図２５Ａおよび図２５Ｂに示すように、情報処理部２３１は、３次元指示位置Ｐから線分１５５ａに下ろした垂線の足を算出し、当該垂線の足から３次元指示位置Ｐに向かうベクトルを法線ベクトルとして算出する。このようにして算出される法線ベクトルは、部位１５５の表面に垂直なベクトルである。なお、タッチされた部位の３次元指示位置Ｐにおける法線を算出する方法は上記に限らずどのような方法でもよい。

また、ステップＳ１１７において、情報処理部２３１は、３次元指示位置Ｐに基づいて、カーソル６０の回転角を算出する。ここで算出されるカーソル６０の回転角は、法線ベクトル周りの回転を示す角度である。カーソル６０の回転角は、タッチされた部位を基準とした３次元指示位置Ｐの相対的な位置によって定められる。図２６は、部位１５５がタッチされた場合において、３次元指示位置Ｐが部位１５５の中のどの領域に存在するかによって回転角が定められることを示す図である。図２６に示すように、例えば、部位１５５の上半分がタッチされた場合、カーソル６０の回転角は０度に設定される。また、部位１５５の下半分がタッチされた場合、カーソル６０の回転角は１８０度に設定される。

法線および回転角を算出した後、情報処理部２３１は次にステップＳ１１８の処理を実行する。

ステップＳ１１８において、情報処理部２３１は、ステップＳ１１７で算出した法線および回転角に基づいて、カーソル６０の仮想空間における姿勢を決定する。具体的には、情報処理部２３１は、ステップＳ１１７で算出した法線に対して垂直になるようにカーソル６０を仮想空間に配置し、ステップＳ１１７で算出した回転角で当該カーソル６０を法線周りに回転させる。そして、情報処理部２３１は、決定した姿勢をカーソルデータ２７５としてＲＡＭに保存する。このようにしてカーソル６０の姿勢が決定されることによって、カーソル６０が上側ＬＣＤ２２２に表示された場合、カーソル６０はユーザがタッチした部位の表面に沿うようにして（掌が部位の表面に接触するようにして）表示される。情報処理部２３１は、次にステップＳ１１９の処理を実行する。

ステップＳ１１９において、情報処理部２３１は、カーソル６０を３Ｄ表示に設定する。具体的には、情報処理部２３１は、カーソル６０の表示モードを示すデータを３Ｄ表示に設定して、ＲＡＭに記憶する。後述する上側ＬＣＤ２２２の表示処理（ステップＳ１０３）が行われることによって、カーソル６０が上側ＬＣＤ２２２に立体表示される。この場合において、カーソル６０は、タッチした部位の表面に沿うようにして表示され、例えば、タッチした部位が上側ＬＣＤ２２２の画面に対して手前方向に表示される場合は、カーソル６０も画面の手前方向に位置するように表示される。ステップＳ１１９の処理の後、情報処理部２３１は、図２２に示すフローチャートの処理を終了する。

一方、ステップＳ１２０において、情報処理部２３１は、カーソル６０を２Ｄ表示に設定する。具体的には、情報処理部２３１は、カーソル６０の表示モードを示すデータを２Ｄ表示に設定して、ＲＡＭに記憶する。後述する上側ＬＣＤ２２２の表示処理（ステップＳ１０３）が行われることによって、カーソル６０が上側ＬＣＤ２２２に表示される。

図２７は、タッチパネル２１３がタッチを検出した場合において、犬オブジェクト５０がタッチされなかったときの画面の一例を示す図である。図２７に示すように、犬オブジェクト５０のシルエット画像５０Ｂの表示領域とは異なる領域がタッチされた場合、そのタッチ位置Ｔ（指示位置Ｑ）に対応する上側ＬＣＤ２２２上の位置にカーソル６０が表示される。ここで、カーソル６０はビルボード処理が行われて、平面的な矢印形状のカーソルとして表示される。また、カーソル６０は、上側ＬＣＤ２２２の画面上に位置するように表示される（すなわち、左目用画像および右目用画像が上側ＬＣＤ２２２に表示された場合、左目用画像の中のカーソル６０の表示位置と右目用画像の中のカーソル６０の表示位置とが一致する）。ステップＳ１２０の処理の後、情報処理部２３１は、図２２に示すフローチャートの処理を終了する。

図２１に戻り、情報処理部２３１は、ステップＳ１０１の処理の後、ステップＳ１０２の処理を実行する。

ステップＳ１０２において、情報処理部２３１は、犬オブジェクト５０の動作を決定する。具体的には、情報処理部２３１は、ステップＳ１０１で取得されたタッチ位置Ｔ（指示位置Ｑ）に基づいて、犬オブジェクト５０に対して行われた操作を判定し、判定結果に応じて、犬オブジェクト５０の動作を決定する。次に、情報処理部２３１は、ステップＳ１０３の処理を実行する。

ステップＳ１０３において、情報処理部２３１は、上側ＬＣＤ２２２の表示処理を行う。具体的には、情報処理部２３１は、ステップＳ１０２の決定に応じて犬オブジェクト５０を動作させる。さらに、情報処理部２３１は、ステップＳ１０１のカーソル設定処理の結果に応じてカーソル６０を仮想空間に配置する。例えば、カーソル設定処理において、カーソルを３Ｄ表示にする設定が行われた場合（すなわち、ステップＳ１１９の処理が行われた場合）、ステップＳ１１５で算出された３次元指示位置Ｐに、ステップＳ１１８において決定された姿勢でカーソルオブジェクト６０を仮想空間に配置する。そして、情報処理部２３１は、仮想空間に設定された仮想ステレオカメラ（左右の仮想カメラ；第１および第２のカメラ）で犬オブジェクト５０、ボールオブジェクト５１、および、カーソルオブジェクト６０を撮像する。これにより、犬オブジェクト５０、ボールオブジェクト５１、および、カーソルオブジェクト６０を含む仮想空間を撮像した左目用画像と右目用画像とが生成される。そして、情報処理部２３１は、生成した左目用画像および右目用画像を上側ＬＣＤ２２２に出力する。次に、情報処理部２３１は、ステップＳ１０４の処理を実行する。

ステップＳ１０４において、情報処理部２３１は、下側ＬＣＤ２１２の表示処理を行う。具体的には、情報処理部２３１は、上記仮想ステレオカメラの左右の仮想カメラの中間の位置に設定された仮想カメラ（第３の仮想カメラ）で犬オブジェクト５０を撮像する。ここで、犬オブジェクト５０はシルエット表示に設定され、犬オブジェクト５０以外のボールオブジェクト５１およびカーソルオブジェクト６０は、非表示に設定される。これにより、下側ＬＣＤ２１２には、犬オブジェクト５０のシルエット画像５０Ｂのみが表示される。より具体的には、情報処理部２３１は、仮想カメラ（第３の仮想カメラ）のビュー行列を用いてＸＹＺ座標系で表された犬オブジェクト５０をビュー座標変換し、さらに射影行列を用いて射影変換する。これにより、犬オブジェクト５０を第３の仮想カメラで撮像した画像（図１８および図１９に示すシルエット画像５０Ｂ）が生成される。また、情報処理部２３１は、当該画像を生成することによって得られる深度値（Ｚ値）を深度値データ２７３としてＲＡＭに記憶する。そして、情報処理部２３１は、生成した画像を下側ＬＣＤ２１２に出力する。なお、第３の仮想カメラは、必ずしも仮想ステレオカメラの左右の仮想カメラの中間に設定される必要はなく、左右の仮想カメラの間の任意の位置に設定されてもよい。以上で、図２１に示すフローチャートの説明を終了する。

なお、処理の順番は図２１に示すものに限らず、例えば、上側ＬＣＤおよび下側ＬＣＤの表示処理の後に、カーソル設定処理が行われてもよい。また、上記では、下側ＬＣＤ２１２に既に表示された画像の深度値を用いて、カーソル６０が仮想空間に設定されたが、カーソル６０を仮想空間に設定するために、上記第３の仮想カメラを用いて仮想空間を撮像することによって画像および深度値を生成してもよい。すなわち、カーソル設定処理を行う前に第３の仮想カメラで仮想空間を撮像し、当該撮像した画像と深度値とを用いて、カーソル６０を設定してもよい。そして、カーソル６０を仮想空間に設定した後、再び第３の仮想カメラで仮想空間を撮像して、下側ＬＣＤ２１２に当該撮像した画像を表示してもよい。

以上のように、第２実施形態では、タッチパネル２１３によってタッチ位置Ｔを検出し、タッチ位置Ｔに対応する画像上の指示位置Ｑと、当該指示位置Ｑの深度値とを用いて、仮想空間における３次元指示位置Ｐが求められる。そして、当該３次元指示位置Ｐにカーソル６０が配置される。また、カーソル６０の姿勢は、タッチされた部位の３次元指示位置Ｐにおける法線に基づいて設定される。これにより、指示位置Ｑに対応する仮想空間上の位置にカーソル６０を配置することができる。

第２実施形態においては、下側ＬＣＤ２１２の表示処理において算出される深度値を用いて、仮想空間における３次元指示位置Ｐが算出されるため、複雑な計算をすることなく容易にタッチ位置Ｔに対応する３次元仮想空間の位置を求めることができる。例えば、タッチパネル２１３が検出したタッチ位置Ｔに対応する３次元仮想空間の位置を求める場合、幾何学的な計算によって当該３次元空間の位置を求めることが考えられる。すなわち、タッチ位置Ｔから仮想カメラの撮像方向に伸びる３次元直線を算出し、当該３次元直線が犬オブジェクト５０の各部位と接触するか否かを判定する。そして、３次元直線が接触する部位が存在する場合、その部位と３次元直線とが交わる点が、タッチ位置Ｔに対応する３次元仮想空間の位置として求められる。しかしながら、このような幾何学的方法では、計算が複雑になり、処理負荷が高くなる。例えば、部位と部位との接続部分がタッチされた場合、３次元指示位置Ｐが正確に求められないと、カーソル６０が画面に表示されたときに部位によって隠れたりすることがある。このため、３次元指示位置Ｐを正確に求める必要があるが、幾何学的方法では３次元指示位置Ｐを正確に求めようとすればするほど、仮想モデル（犬オブジェクト）の形状を厳密に定義する必要がある。従って、幾何学的方法では３次元指示位置Ｐを正確に求めようとすればするほど、より複雑な計算を行う必要があり、処理負荷が高くなる。一方、第２実施形態による方法では、表示処理において得られる深度値を用いるため、特別な計算を要することなく、タッチパネル２１３が検出したタッチ位置Ｔに対応する３次元空間の３次元指示位置Ｐを正確に求めることができる。また、３次元指示位置Ｐは、既に表示された画像における指示位置Ｑと当該画像の指示位置Ｑの深度値とを用いて算出されるため、算出される３次元指示位置Ｐはタッチされた部位のうちの画面に表示された部分になる。このため、第２実施形態に係る方法を用いて３次元指示位置Ｐを算出し、３次元指示位置Ｐにカーソル６０を配置して表示すると、当該カーソル６０は部位の表面に表示される。

また、第２実施形態では、カーソル６０は、タッチした部位の表面に沿うようにして表示される。すなわち、第２実施形態では、３次元指示位置Ｐにおける犬オブジェクト５０の部位の法線に基づいて、カーソル６０の姿勢が決定される。カーソル６０は、指示された犬オブジェクト５０の部位の表面に沿うようにして３次元の仮想空間に配置され、表示される。このため、犬オブジェクト５０に触れるような感覚をユーザに与えることができる。

（変形例）
なお、第２実施形態では、下側ＬＣＤ２１２に犬オブジェクト５０のシルエット画像を表示し、上側ＬＣＤ２２２に犬オブジェクト５０の立体視画像を表示した。他の実施形態では、上側ＬＣＤ２２２には立体視画像ではなく、平面画像が表示されてもよい。また、下側ＬＣＤ２１２には、シルエット画像ではなく上側ＬＣＤ２２２と同じ画像が表示されてもよい。

また、第２実施形態では、下側ＬＣＤ２１２に表示された画像の深度値を用いて、仮想空間の３次元指示位置Ｐを算出した。他の実施形態では、上側ＬＣＤ２２２に表示された左右の画像のうちの何れかの画像の深度値を用いて、３次元指示位置Ｐが算出されてもよい。

また、第２実施形態では、下側ＬＣＤ２１２に表示された画像の画素毎の深度値が格納されるとした。他の実施形態では、画素毎に深度値が格納される必要はなく、複数の画素によって構成される部分領域（例えば、４つの画素によって構成される四角形の小領域）毎に深度値が格納されてもよい。

また、他の実施形態では、２画面の構成ではなく、１画面の構成であってもよい。例えば、表示画面に犬オブジェクト５０の立体視画像（又は平面画像）を表示し、タッチパネル２１３とは異なる位置指示手段（例えば、タッチパッドやマウス等）を用いて当該画像（画面）上の位置を指示してもよい。あるいは、１画面の構成において当該画面上にタッチパネル（位置指示手段）が設けられて、当該画面に立体視画像が表示されてもよい。この場合において、位置指示手段によって指示された画像（左右何れかの画像、又は、左右の仮想カメラの間の仮想カメラで撮像した画像）上の指示位置と、当該指示位置の深度値とに基づいて、３次元の仮想空間における３次元指示位置が算出される。そして、算出した３次元指示位置にカーソルオブジェクト６０を配置し、当該カーソルオブジェクト６０を仮想カメラで撮像することによって、上側ＬＣＤ２２２にカーソルオブジェクト６０を表示させる。

また、ゲーム装置２００は１画面で構成され、当該画面が２つの領域に分割されてもよい。例えば、画面の一方の領域に犬オブジェクト５０のカラー画像（立体視画像であってもよいし、立体視画像でなくてもよい）が表示され、画面の他方の領域に犬オブジェクト５０のシルエット画像が表示されてもよい。そして、ユーザは他方の領域に表示されたシルエット画像上を指示してもよい。

また、第２実施形態では、犬オブジェクト５０の複数の部位のうち指示された部位の法線を算出し、当該法線と垂直になるように手の形をしたカーソルオブジェクト６０が配置された。そして、指示された部位における位置（当該部位を基準とした３次元指示位置の相対位置）に応じてカーソルオブジェクト６０が法線周りに回転された。他の実施形態では、カーソルオブジェクト６０の回転角は、例えばカーソル６０の移動方向等を考慮して定められてもよい。例えば、カーソル６０が画面の左右方向に移動している場合、カーソル６０を法線周りに９０度回転させてもよい。

また、他の実施形態では、犬オブジェクト５０に限らず、（１以上の部分によって構成される）任意のゲームオブジェクトが画面に表示され、当該ゲームオブジェクトをカーソル６０で操作（指示）してもよい。

また、第２実施形態では、ユーザによって指示された位置を示すカーソル６０が表示された。他の実施形態では、カーソル６０に限らず任意のオブジェクトが仮想空間に配置されて表示されてもよい。すなわち、ユーザによって指示された位置と当該指示位置の深度値とに基づいて３次元指示位置が算出され、当該算出された３次元指示位置に任意のオブジェクトが配置されてもよい。

また、他の実施形態では、上述した表示制御方法は、ゲーム装置に限らず任意の電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高機能携帯電話、パーソナルコンピュータ等に適用されてもよい。

また、他の実施形態では、携帯型ゲーム装置に限らず、画面上の位置を指示する入力装置を備える据置型のゲーム装置であってもよい。当該ゲーム装置は、テレビジョン受像器（テレビと称する）等に映像を表示し、当該テレビ画面上の位置を指示するための入力装置を備える。入力装置は、例えばテレビの周辺に設置されたマーカ部が発する赤外光を受光することで、ユーザによって指示されたテレビ画面上の位置を検出する。あるいは、入力装置が赤外光を発し、テレビの周辺に設置された受光部が入力装置からの赤外光を受光することで、ユーザによって指示された位置をゲーム装置が検出してもよい。このように、入力装置を用いてユーザによって指示された画面上の位置と、当該位置の深度値（画面に表示された画像の深度値）とを用いて、仮想空間における３次元位置が算出され、当該３次元位置にオブジェクトが配置されてもよい。

また、第２実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いられた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）などの眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。

また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が各処理を分担して処理することにより、上述した表示制御方法を実現する表示制御システムとして構築されてもよい。例えば、ユーザによって用いられる位置の指示する位置指示手段が情報処理装置と分離された構成であって、当該位置指示手段が情報処理装置に無線等で接続されてもよい。また、情報処理装置と表示装置が分離された構成で、互いに接続されてもよい。

また、上述したゲーム処理はオンラインゲームにおいて適用されてもよい。例えば、表示装置と、当該表示装置の画面上の位置を指示する位置指示手段（タッチパネルやマウス等）とが端末に接続され、当該端末とサーバとがインターネットで接続されて、上述したゲームが行われてもよい。このようなオンラインゲームにおいては、端末とサーバとで処理を分担することによってゲームが進行するが、どのように処理を分担してもよい。例えば、サーバはゲーム空間を構築し、当該ゲーム空間における犬オブジェクト５０の位置がサーバ上で管理されてもよい。ユーザは、表示装置に表示された画像を見ながら、位置指示手段を用いて、当該表示装置の画面上の位置を指示する。例えば、端末は、位置指示手段が検出した位置（タッチ位置Ｔ）に基づいて画面に表示された画像上の位置（指示位置Ｑ）と当該位置における深度値とを取得し、画像上の位置と深度値とを含む情報をサーバに送信してもよい。サーバは当該情報に基づいて、仮想空間の３次元位置を算出してカーソルオブジェクト６０を仮想空間に設定してもよい（カーソル６０の位置と姿勢を設定する）。次に、サーバは、犬オブジェクト５０を動作させて、仮想空間における位置及び姿勢を変化させるとともに、当該犬オブジェクトの位置及び姿勢に関する情報と、カーソルオブジェクト６０の位置及び姿勢に関する情報とを端末に送信してもよい。端末は、これらの情報に基づいて、犬オブジェクトとカーソルオブジェクトとを仮想空間に配置して、仮想カメラで仮想空間を撮像し、表示装置に画像を表示させてもよい。

また、上記実施形態においては、ゲーム装置２００の情報処理部２３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置２００が備える専用回路によって行われてもよい。

また、上記ゲームプログラム（情報処理プログラム）は、上記メモリに限らず、光ディスクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置２００に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭ（記憶媒体）に上記プログラムが記憶され、ゲーム装置２００が当該ネットワークに接続されて、当該プログラムがゲーム装置２００に提供されてもよい。

１０ ゲーム装置
１１ 立体画像表示装置
１２ 平面画像表示装置
１３ ハウジング
１３ａ 上側ハウジング
１３ｂ 下側ハウジング
１５ タッチパネル
１６ スティック
１７ 仮想ステレオカメラ
１７ａ 左目用仮想カメラ
１７ｂ 右目用仮想カメラ
１８ 仮想カメラ
３０ ＣＰＵ
３１ メインメモリ
３２ ＲＯＭ
３３ メモリ制御回路
３４ 保存用データメモリ
３５ 通信モジュール
４１、４２、４３ 子供オブジェクト
４４ 家具オブジェクト
４５ アイテム
５０ 犬オブジェクト
５１ ボールオブジェクト
６０ カーソル
６１ 平面画像表示領域
２００ ゲーム装置
２１１ 下側ハウジング
２１２ 下側ＬＣＤ
２１３ タッチパネル
２１４ 操作ボタン
２１５ アナログスティック
２１６ ＬＥＤ
２２１ 上側ハウジング
２２２ 上側ＬＣＤ
２２３ 外側撮像部
２２３ａ 外側撮像部（左）
２２３ｂ 外側撮像部（右）
２２４ 内側撮像部
２２５ ３Ｄ調整スイッチ
２２６ ３Ｄインジケータ
２２８ タッチペン
２３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
２３２ メインメモリ

Claims (23)

1. 表示制御装置のコンピュータにおいて実行される表示制御プログラムであって、前記コンピュータを、
   仮想空間に所定の表示対象を配置する表示対象配置手段と、
   前記仮想空間に配置された前記所定の表示対象を所定の方向から仮想カメラで撮像することにより、当該所定の表示対象を含む複数の表示対象を前記所定の方向から見た第１画像を第１表示領域に表示する第１表示制御手段と、
   前記第１表示領域に前記第１画像が表示されている間、前記仮想空間に配置された前記所定の表示対象を前記所定の方向と略同じ方向から仮想カメラで撮像することにより、当該所定の表示対象を含む第２画像を前記第１表示領域とは異なる第２表示領域に表示する第２表示制御手段と、
   ユーザによる前記第２表示領域上の位置の指示を検出する指示位置検出手段が検出した指示位置に基づいて、前記第１画像および前記第２画像に含まれる前記所定の表示対象を制御する制御手段と、
   前記仮想空間に存在する前記複数の表示対象のうち、ユーザによって操作されることが可能な表示対象のみを選出する表示対象選出手段として機能させ、
   前記第２表示制御手段は、前記第２画像として、前記表示対象選出手段によって選出された表示対象のみを前記所定の方向と略同じ方向から見た画像を表示し、
   前記制御手段は、前記指示位置検出手段が検出した前記第２表示領域上の指示位置に基づいて、前記第１画像および前記第２画像に含まれる、前記表示対象選出手段によって選出された表示対象の少なくとも１つの表示対象を制御する、表示制御プログラム。
2. 前記第２画像は、前記第１画像と略同一の撮像範囲を撮像した画像である、請求項１に記載の表示制御プログラム。
3. 前記第２画像は、前記第１画像と略同じ大きさの画像である、請求項１又は２に記載の表示制御プログラム。
4. 前記第２画像に含まれる前記所定の表示対象は、前記第１画像に含まれる前記所定の表示対象と略同じ大きさである、請求項１から３の何れかに記載の表示制御プログラム。
5. 前記第２画像は、前記第１画像が撮像された位置と略同一の位置から前記所定の表示対象を見た画像である、請求項１から４の何れかに記載の表示制御プログラム。
6. 前記第２画像は、前記第１画像と比較して、前記所定の表示対象を簡略表示した画像である、請求項１から５の何れかに記載の表示制御プログラム。
7. 前記第１画像は、前記所定の表示対象を多色で表示した画像であり、
   前記第２画像は、前記第１画像と比較して、前記所定の表示対象を減色して表示した画像である、請求項６に記載の表示制御プログラム。
8. 前記第２画像は、前記所定の表示対象を単色にして表示した画像である、請求項７に記載の表示制御プログラム。
9. 前記指示位置検出手段は、前記第２表示領域上に設けられ、前記第２表示領域上への接触位置を前記指示位置として検出する、請求項１から８の何れか１項に記載の表示制御プログラム。
10. 前記第１表示制御手段は、前記第１画像として、仮想空間に存在する複数の表示対象を前記所定の方向から見た画像を表示し、
    前記表示制御プログラムは、前記複数の表示対象のうち、所定の条件を満たす少なくとも１つの表示対象を選出する表示対象選出手段、として前記コンピュータをさらに機能させ、
    前記第２表示制御手段は、前記第２画像として、前記複数の表示対象のうち前記表示対象選出手段によって選出された表示対象を前記表示対象選出手段によって選出されなかった表示対象とは異なる表示態様で表示した画像を、前記第２表示領域に表示する、請求項１から９の何れか１項に記載の表示制御プログラム。
11. 前記第２表示制御手段は、前記表示対象選出手段によって選出された表示対象が複数存在する場合、各表示対象の表示態様が異なるようにして前記第２画像を前記第２表示領域に表示する、請求項１に記載の表示制御プログラム。
12. 前記第２表示制御手段は、前記表示対象選出手段によって選出された表示対象が複数存在する場合、隣り合う２つの表示対象の表示態様が異なるようにして前記第２画像を前記第２表示領域に表示する、請求項１に記載の表示制御プログラム。
13. 前記指示位置検出手段が検出した前記第２表示領域上の指示位置に対応した前記第１表示領域上の位置に、ユーザによって指示された位置を示すカーソルを表示するカーソル表示手段、として前記コンピュータをさらに機能させる、請求項１から１２の何れか１項に記載の表示制御プログラム。
14. 前記カーソル表示手段は、前記カーソルを前記第１表示領域にのみ表示する、請求項１３に記載の表示制御プログラム。
15. 前記第２表示領域は、前記第１表示領域とは異なる表示方式の表示領域である、請求項１から１４の何れか１項に記載の表示制御プログラム。
16. 前記第１表示領域は、立体表示可能な表示領域であり、
    前記第１表示制御手段は、仮想空間内の前記所定の表示対象を前記所定の方向から仮想ステレオカメラで撮影した右目用画像をユーザの右目に、左目用画像を該ユーザの左目に視認させるように前記第１表示領域に表示させることにより、立体視可能な立体画像を前記第１画像として前記第１表示領域に表示し、
    前記第２表示領域は、平面表示可能な表示領域であり、
    前記第２表示制御手段は、前記第１表示領域に前記所定の表示対象が表示されている間、前記所定の方向と略同じ方向から前記所定の表示対象を撮影した平面画像を前記第２画像として前記第２表示領域に表示する、請求項１から１４の何れか１項に記載の表示制御プログラム。
17. 表示制御装置のコンピュータにおいて実行される表示制御プログラムであって、前記コンピュータを、
    仮想空間内の所定の表示対象を所定の方向から仮想ステレオカメラで撮像することで得られた右目用画像及び左目用画像をそれぞれユーザの右目及び左目に視認させるように第１表示領域に表示させることにより、立体視可能な第１画像を表示する第１表示制御手段と、
    前記第１表示領域に前記第１画像が表示されている間、前記第１表示領域とは異なる、平面表示可能な第２表示領域に、前記所定の表示対象を前記所定の方向と略同じ方向から見た平面画像を第２画像として表示する第２表示制御手段と、
    ユーザによる前記第２表示領域上の位置の指示を検出する指示位置検出手段が検出した指示位置に基づいて、前記第１画像および前記第２画像に含まれる前記所定の表示対象を制御する制御手段と、
    前記指示位置検出手段が検出した第２表示領域上の指示位置が前記所定の表示対象が表示された位置であるか否かを判定する判定手段と、
    前記判定手段による判定結果が肯定の場合、前記指示位置に対応する前記第１表示領域上の位置に、前記第１表示領域に表示された前記所定の表示対象の表面上に沿うようにしてカーソルを立体表示するカーソル表示手段として機能させる、表示制御プログラム。
18. 前記カーソル表示手段は、前記判定手段による判定結果が否定の場合、前記判定手段による判定結果が肯定であるときとは異なる表示態様で、前記指示位置に対応する前記第１表示領域上の位置に前記カーソルを表示する、請求項１７に記載の表示制御プログラム。
19. 前記第２表示制御手段は、前記仮想ステレオカメラの左右の仮想カメラの間に設定された第２の仮想カメラを用いて前記所定の表示対象を撮影した画像を前記第２画像として前記第２表示領域に表示する、請求項１７又は１８に記載の表示制御プログラム。
20. 表示制御装置のコンピュータにおいて実行される表示制御プログラムであって、前記コンピュータを、
    仮想空間に所定の表示対象を配置する表示対象配置手段と、
    前記仮想空間に配置された前記所定の表示対象を仮想カメラで撮像することにより、当該所定の表示対象を含む複数の表示対象を第１表示領域に表示する第１表示制御手段と、
    前記第１表示領域に前記所定の表示対象が表示されている間、前記仮想空間に配置された前記所定の表示対象を仮想カメラで撮像するとともに、前記第１表示領域に表示される所定の表示対象より表示態様を簡略して、前記所定の表示対象を前記第１表示領域とは異なる第２表示領域に表示する第２表示制御手段と、
    ユーザによる前記第２表示領域上の位置の指示を検出する位置指示検出手段が検出した指示位置に基づいて、前記第１表示領域および前記第２表示領域に表示された前記所定の表示対象を制御する制御手段と、
    前記仮想空間に存在する前記複数の表示対象のうち、ユーザによって操作されることが可能な表示対象のみを選出する表示対象選出手段として機能させ、
    前記第２表示制御手段は、前記表示対象選出手段によって選出された表示対象のみを前記第２表示領域に表示し、
    前記制御手段は、前記指示位置検出手段が検出した前記第２表示領域上の指示位置に基づいて、前記第１表示領域および前記第２表示領域に表示された、前記表示対象選出手段によって選出された表示対象の少なくとも１つの表示対象を制御する、表示制御プログラム。
21. 仮想空間に所定の表示対象を配置する表示対象配置手段と、
    前記仮想空間に配置された前記所定の表示対象を所定の方向から仮想カメラで撮像することにより、当該所定の表示対象を含む複数の表示対象を前記所定の方向から見た第１画像を第１表示領域に表示する第１表示制御手段と、
    前記第１表示領域に前記第１画像が表示されている間、前記仮想空間に配置された前記所定の表示対象を前記所定の方向と略同じ方向から仮想カメラで撮像することにより、当該所定の表示対象を含む第２画像を前記第１表示領域とは異なる第２表示領域に表示する第２表示制御手段と、
    ユーザによる前記第２表示領域上の位置の指示を検出する指示位置検出手段が検出した指示位置に基づいて、前記第１画像および前記第２画像に含まれる前記所定の表示対象を制御する制御手段と、
    前記仮想空間に存在する前記複数の表示対象のうち、ユーザによって操作されることが可能な表示対象のみを選出する表示対象選出手段とを備え、
    前記第２表示制御手段は、前記第２画像として、前記表示対象選出手段によって選出された表示対象のみを前記所定の方向と略同じ方向から見た画像を表示し、
    前記制御手段は、前記指示位置検出手段が検出した前記第２表示領域上の指示位置に基づいて、前記第１画像および前記第２画像に含まれる、前記表示対象選出手段によって選出された表示対象の少なくとも１つの表示対象を制御する、表示制御装置。
22. 第１表示領域と、
    前記第１表示領域とは異なる第２表示領域と、
    仮想空間に所定の表示対象を配置する表示対象配置手段と、
    前記仮想空間に配置された前記所定の表示対象を所定の方向から仮想カメラで撮像することにより、当該所定の表示対象を含む複数の表示対象を前記所定の方向から見た第１画像を前記第１表示領域に表示する第１表示制御手段と、
    前記第１表示領域に前記第１画像が表示されている間、前記仮想空間に配置された前記所定の表示対象を前記所定の方向と略同じ方向から仮想カメラで撮像することにより、当該所定の表示対象を含む第２画像を前記第２表示領域に表示する第２表示制御手段と、
    ユーザによる前記第２表示領域上の位置の指示を検出する指示位置検出手段が検出した指示位置に基づいて、前記第１画像および前記第２画像に含まれる前記所定の表示対象を制御する制御手段と、
    前記仮想空間に存在する前記複数の表示対象のうち、ユーザによって操作されることが可能な表示対象のみを選出する表示対象選出手段を備え、
    前記第２表示制御手段は、前記第２画像として、前記表示対象選出手段によって選出された表示対象のみを前記所定の方向と略同じ方向から見た画像を表示し、
    前記制御手段は、前記指示位置検出手段が検出した前記第２表示領域上の指示位置に基づいて、前記第１画像および前記第２画像に含まれる、前記表示対象選出手段によって選出された表示対象の少なくとも１つの表示対象を制御する、表示制御システム。
23. 仮想空間に所定の表示対象を配置する工程と、
    前記仮想空間に配置された前記所定の表示対象を所定の方向から仮想カメラで撮像することにより、当該所定の表示対象を含む複数の表示対象を前記所定の方向から見た第１画像を第１表示領域に表示する工程と、
    前記第１表示領域に前記第１画像が表示されている間、前記仮想空間に配置された前記所定の表示対象を前記所定の方向と略同じ方向から仮想カメラで撮像することにより、当該所定の表示対象を含む第２画像を前記第１表示領域とは異なる第２表示領域に表示する工程と、
    ユーザによる前記第２表示領域上の位置の指示を検出する指示位置検出手段が検出した指示位置に基づいて、前記第１画像および前記第２画像に含まれる前記所定の表示対象を制御する工程と、
    前記仮想空間に存在する前記複数の表示対象のうち、ユーザによって操作されることが可能な表示対象のみを選出する工程とを備え、
    前記第２画像として、前記選出された表示対象のみを前記所定の方向と略同じ方向から見た画像が表示され、
    前記指示位置検出手段が検出した前記第２表示領域上の指示位置に基づいて、前記第１画像および前記第２画像に含まれる、前記選出された表示対象の少なくとも１つの表示対象が制御される、表示制御方法。

Images