JP5687545B2 - 情報処理プログラム、情報処理システム、および情報処理方法 - Google Patents

情報処理プログラム、情報処理システム、および情報処理方法 Download PDF

Info

Publication number
JP5687545B2
JP5687545B2 JP2011083456A JP2011083456A JP5687545B2 JP 5687545 B2 JP5687545 B2 JP 5687545B2 JP 2011083456 A JP2011083456 A JP 2011083456A JP 2011083456 A JP2011083456 A JP 2011083456A JP 5687545 B2 JP5687545 B2 JP 5687545B2
Authority
JP
Japan
Prior art keywords
posture
data
virtual world
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011083456A
Other languages
English (en)
Other versions
JP2012221023A (ja
Inventor
悠吾 林
悠吾 林
和也 洲巻
和也 洲巻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2011083456A priority Critical patent/JP5687545B2/ja
Priority to EP11187473A priority patent/EP2497546A3/en
Priority to US13/287,320 priority patent/US9925464B2/en
Priority to EP11194630.7A priority patent/EP2497547B1/en
Priority to US13/333,045 priority patent/US9205327B2/en
Priority to EP12150272.8A priority patent/EP2497548A3/en
Priority to US13/343,913 priority patent/US9345962B2/en
Priority to US13/352,091 priority patent/US9370712B2/en
Priority to EP12153067.9A priority patent/EP2497549B1/en
Priority to US13/362,381 priority patent/US8845430B2/en
Priority to US13/362,255 priority patent/US20120231882A1/en
Priority to US13/362,289 priority patent/US9522323B2/en
Priority to US13/400,944 priority patent/US9526981B2/en
Priority to US13/401,054 priority patent/US9492742B2/en
Priority to US13/402,026 priority patent/US9492743B2/en
Priority to EP12156629A priority patent/EP2497550A3/en
Priority to EP14166174.4A priority patent/EP2781244A3/en
Priority to EP12156630.1A priority patent/EP2497551B1/en
Publication of JP2012221023A publication Critical patent/JP2012221023A/ja
Application granted granted Critical
Publication of JP5687545B2 publication Critical patent/JP5687545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理プログラム、情報処理システム、および情報処理方法に関し、特に例えば、ユーザの動作に基づいた処理を行う情報処理プログラム、情報処理システム、および情報処理方法に関する。
従来、ユーザの荷重に基づいてゲームを行うことができるゲームシステムがある（例えば、特許文献１参照）。例えば、上記特許文献１に記載のゲームシステムは、荷重センサを備えたボード型コントローラを含み、当該ボード型コントローラ上にユーザが乗ることによって当該荷重センサが検出した荷重値を操作データとしてゲーム装置へ送信している。そして、上記操作データを受信したゲーム装置では、上記ボード型コントローラから送信された操作データが示す荷重値に基づいてゲーム処理が実行され、当該ゲーム装置に接続されたモニタにゲーム処理内容が表示される。
特開２００８−２６４１９５号公報
しかしながら、上記特許文献１で開示されたゲームシステムでは、上記操作データが示す荷重値に基づいたゲーム処理結果が、当該ゲーム装置に接続されたモニタに表示される。ここで、上記モニタは、既存のテレビ受像機等を用いることが前提となっており、一般的に据置型のディスプレイが用いられる。一方、ユーザが上記ボード型コントローラ上で操作する際には、ユーザ自身の動きが伴うことが多いが、上記モニタが固定的に設置されているために、ユーザ自身の動きに合わせた好適な状況でゲーム処理結果を見ることができなかった。
それ故に、本発明の目的は、ユーザ自身の動作に基づいた操作を行って当該ユーザ動作に基づいた処理を行う場合に、ユーザが当該処理結果を好適な状況で見ることが可能な情報処理プログラム、情報処理システム、および情報処理方法を提供することである。
上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。
本発明の情報処理プログラムの一構成例は、可搬型表示装置本体の姿勢に応じた姿勢データを少なくとも出力する当該可搬型表示装置に画像を表示することが可能な情報処理装置のコンピュータで実行される情報処理プログラムである。情報処理プログラムは、荷重取得手段、姿勢算出手段、オブジェクト姿勢制御手段、オブジェクト移動手段、および表示制御手段として、コンピュータを機能させる。荷重取得手段は、荷重検出装置に加えられた荷重に基づくデータを取得する。オブジェクト姿勢制御手段は、姿勢データに基づいて、仮想世界に配置されたオブジェクトの姿勢を制御する。オブジェクト移動手段は、荷重取得手段が取得したデータに基づいて、仮想世界においてオブジェクトを移動させる。表示制御手段は、オブジェクトを少なくとも含む仮想世界を示す第１画像を可搬型表示装置に表示する。
なお、上記情報処理装置は、ゲーム処理を実行して当該ゲーム処理に基づいた画像を生成する装置であってもいいし、一般的なパーソナルコンピュータのような多用途の装置であってもよい。上記可搬型表示装置は、ユーザによって持ち運び可能なサイズであればよく、典型的にはユーザが両手で把持した姿勢で当該可搬型表示装置に表示される画像を視認できるような表示装置であってもよい。また、上記可搬型表示装置は、後述する実施形態における端末装置のように、姿勢データを少なくとも出力する手段および第１画像を表示する手段以外の他の構成を備えていてもよいし、備えていなくてもよい。上記荷重検出装置は、一例としてユーザの身体の少なくとも一部を乗せて当該荷重検出装置に加わる荷重を検出したり、荷重に応じてオン／オフされたりする装置であり、ユーザが上面に両足裏を接面させて乗って操作するものや、ユーザが上面に片足だけを乗せて操作するものや、ユーザが他の身体の部位（例えば、手）を乗せて操作するもの等が考えられる。
上記によれば、荷重検出装置を用いてユーザが操作を行って当該操作に基づいて仮想世界のオブジェクトを移動させる処理を行う場合に、ユーザが当該処理結果を可搬型表示装置で見ることができるため、当該可搬型表示装置を把持しながら当該可搬型表示装置に表示される画像を見ることができる。したがって、ユーザは、例えば今までにない操作環境で操作が可能であり、当該操作環境に合わせたユーザにとって好適な状況で処理結果を見ることが可能となる。また、仮想世界におけるオブジェクトの姿勢が、当該可搬型表示装置の姿勢に基づいて制御されるため、例えば可搬型表示装置が向けられた方向に応じてオブジェクトの姿勢を変化させることも可能となり、可搬型表示装置を動かすことによってオブジェクトを操作することができる。
また、上記情報処理プログラムは、姿勢算出手段として、さらにコンピュータを機能させてもよい。姿勢算出手段は、姿勢データに基づいて、当該可搬型表示装置の姿勢を算出する。この場合、上記オブジェクト姿勢制御手段は、可搬型表示装置の姿勢に基づいて、オブジェクトの姿勢を制御してもよい。
上記によれば、姿勢データを用いて可搬型表示装置の姿勢を算出し、当該可搬型表示装置の姿勢に基づいてオブジェクトの姿勢を制御することが可能となる。
また、上記姿勢算出手段は、実空間の所定方向を基準とした可搬型表示装置の姿勢を算出してもよい。上記オブジェクト姿勢制御手段は、所定方向を基準とした可搬型表示装置の姿勢に基づいて、当該所定方向に対応する仮想世界に設定された所定方向を基準としてオブジェクトの姿勢の制御を行ってもよい。
上記によれば、所定方向を基準とした可搬型表示装置の姿勢によって、当該所定方向に対応する仮想世界の方向を基準としたオブジェクトの姿勢を制御することができる。
また、上記姿勢算出手段は、実空間の重力方向を実空間の所定方向とし、当該重力方向を基準とした可搬型表示装置の姿勢を算出してもよい。上記オブジェクト姿勢制御手段は、実空間の重力方向を基準とした可搬型表示装置の姿勢に基づいて、仮想世界に設定された重力方向を基準としてオブジェクトの姿勢の制御を行ってもよい。
上記によれば、重力方向を基準とした可搬型表示装置の姿勢によって、同じ重力方向を基準としたオブジェクトの姿勢を制御することができる。
また、上記姿勢算出手段は、実空間の重力方向周りに可搬型表示装置が回転する姿勢を少なくとも算出してもよい。上記オブジェクト姿勢制御手段は、実空間の重力方向周りに可搬型表示装置が回転する姿勢に基づいて、仮想世界に設定された重力方向周りにオブジェクトを回転させて姿勢を制御してもよい。
上記によれば、可搬型表示装置を実空間における左右に向けることによって、オブジェクトの姿勢を仮想世界における左右に向けることができる。
また、上記姿勢算出手段は、実空間の重力方向に垂直な水平方向周りに可搬型表示装置が上下振り運動する姿勢を少なくとも算出してもよい。上記オブジェクト姿勢制御手段は、水平方向周りに可搬型表示装置が上下振り運動する姿勢に基づいて、当該水平方向に対応する仮想世界に設定された水平方向周りにオブジェクトが上下振り運動する姿勢を制御してもよい。
上記によれば、可搬型表示装置を実空間における上下に向けることによって、オブジェクトの姿勢を仮想世界における上下に向けることができる。
また、上記姿勢算出手段は、第１画像が表示される可搬型表示装置の表示画面に垂直な当該表示画面の奥行方向に直交する２軸周りにそれぞれ回転する姿勢を少なくとも算出してもよい。上記オブジェクト姿勢制御手段は、可搬型表示装置が２軸周りにそれぞれ回転する姿勢に応じて、オブジェクトの正面方向に直交する２軸の周りに当該オブジェクトを回転させることによって当該オブジェクトの姿勢の制御を行ってもよい。
上記によれば、実空間において、可搬型表示装置の表示画面の奥行方向に直交する２軸周りに当該可搬型表示装置が回転するように動かすことによって、オブジェクトの姿勢を上下左右に向けることができる。
また、上記姿勢算出手段は、奥行方向に直交する可搬型表示装置の表示画面の横方向の軸および縦方向の軸周りにそれぞれ回転する姿勢を少なくとも算出してもよい。上記オブジェクト姿勢制御手段は、可搬型表示装置が横方向の軸周りに回転する姿勢に応じてオブジェクトの正面方向に直交する当該オブジェクトの横方向の軸周りに当該オブジェクトを回転させ、可搬型表示装置が縦方向の軸周りに回転する姿勢に応じてオブジェクトの正面方向および当該横方向共に直交する当該オブジェクトの軸周りに当該オブジェクトを回転させることによって当該オブジェクトの姿勢の制御を行ってもよい。
上記によれば、実空間において、可搬型表示装置の表示画面縦方向および横方向周りに当該可搬型表示装置が回転するように動かすことによって、オブジェクトの姿勢を上下左右に向けることができる。
上記姿勢算出手段は、実空間基準姿勢設定手段および角度差算出手段を含んでもよい。実空間基準姿勢設定手段は、実空間における可搬型表示装置の基準姿勢を設定する。角度差算出手段は、可搬型表示装置から出力されるデータに基づいて、現時点における可搬型表示装置の姿勢と基準姿勢との実空間における所定軸周りの角度差を算出する。また、上記オブジェクト姿勢制御手段は、仮想世界基準姿勢設定手段および方向制御手段を含んでもよい。仮想世界基準姿勢設定手段は、仮想世界におけるオブジェクトの基準姿勢を設定する。方向制御手段は、角度差算出手段が算出した角度差に基づいて、実空間における所定軸周りに対応する仮想世界の所定軸周りに、オブジェクトの基準姿勢からオブジェクトの方向を回転させて当該オブジェクトの姿勢を制御する。
上記によれば、実空間および仮想世界にそれぞれ設定された基準姿勢に基づいて、オブジェクトの姿勢を制御することができる。
上記オブジェクト姿勢制御手段は、基準姿勢変位手段を、さらに含んでもよい。基準姿勢変位手段は、角度差算出手段が算出した角度差に応じた変位量で、仮想世界の所定軸周りに、仮想世界基準姿勢設定手段が設定するオブジェクトの基準姿勢の方向を回転変位させる。この場合、上記方向制御手段は、角度差算出手段が算出した角度差に基づいて、仮想世界の所定軸周りに、変位した基準姿勢からオブジェクトの方向を回転させて当該オブジェクトの姿勢を制御してもよい。
上記によれば、ユーザが可搬型表示装置を向けた方向に仮想世界において設定された基準姿勢が変位していくため、可搬型表示装置の姿勢が変化した方向にオブジェクトの姿勢を変化させる際に、可搬型表示装置の姿勢が変化した変化量に応じてさらにオブジェクトの姿勢変化量を拡大した姿勢制御が可能となる。また、可搬型表示装置の姿勢が実空間における基準姿勢に戻った場合、オブジェクトの姿勢が変位した基準姿勢に戻ることになるため、多様なオブジェクトの姿勢制御が可能となる。
また、上記情報処理プログラムは、第１仮想カメラ制御手段として、さらにコンピュータを機能させてもよい。第１仮想カメラ制御手段は、仮想世界におけるオブジェクトの後方から当該オブジェクトが第１画像内内に含まれるように、当該仮想世界の画像を生成するための第１仮想カメラを配置する。この場合、上記表示制御手段は、第１仮想カメラから見た仮想世界を示す画像を、第１画像として可搬型表示装置に表示してもよい。
また、上記第１カメラ制御手段は、オブジェクトの姿勢およびオブジェクトの仮想世界における位置に基づいて、第１仮想カメラの位置および姿勢の制御を行ってもよい。
上記によれば、第１仮想カメラがオブジェクトの後方に配置されるため、当該オブジェクトの姿勢の変化に応じて第１仮想カメラの位置や姿勢が変化する。したがって、結果的に第１仮想カメラの位置や姿勢も可搬型表示装置の姿勢に基づいて制御されることになるため、ユーザが見たい方向へ可搬型表示装置を向けることに応じて、オブジェクトの姿勢が変化すると共に当該可搬型表示装置を介して仮想世界内を覗いているような画像をユーザに提供することも可能であり、当該ユーザに仮想世界にいるかのような感覚を与えることも可能となる。
また、上記第１カメラ制御手段は、第１画像におけるオブジェクトの表示位置が固定されるように、第１仮想カメラの位置および姿勢の制御を行ってもよい。
上記によれば、可搬型表示装置における固定位置にオブジェクトが表示されるため、容易にオブジェクトを操作することが可能となる。
また、上記オブジェクト移動手段は、オブジェクト姿勢制御手段が制御するオブジェクトの正面方向に、当該オブジェクトを移動させてもよい。
上記によれば、可搬型表示装置の姿勢に基づいて、オブジェクトの移動方向の制御も可能となる。
また、上記表示制御手段は、第１画像とは別に、仮想世界を示す第２画像を、情報処理装置に接続された別の表示装置にさらに表示してもよい。
なお、上記別の表示装置は、後述する実施形態におけるモニタ２のように情報処理装置に接続された表示装置であり、上記可搬型表示装置と別体であればよく、情報処理装置によって生成された第２画像を表示することが可能なものであればどのようなものであってもよい。例えば、上記別の表示装置は、情報処理装置と一体に（１つの筐体内に）構成されるものであってもよい。
上記によれば、可搬型表示装置に表示される画像とは別に、情報処理装置に接続された別の表示装置に同じ仮想世界の画像が表示されるため、例えば少なくとも荷重データに基づいて使用目的に応じて作成された仮想世界の画像を、それぞれユーザにとって好適となる表示装置に表示することが可能となる。
また、上記表示制御手段は、第１画像を生成する仮想世界の視点とは異なる視点から見た当該仮想世界のオブジェクトを含む画像を、第２画像として別の表示装置に表示してもよい。
上記によれば、可搬型表示装置に表示される画像とは視点の異なる仮想世界の画像が情報処理装置に接続された別の表示装置に表示されるため、例えば使用目的に応じた画像をユーザにとって好適となる表示装置に表示することが可能となる。
また、上記表示制御手段は、第１画像を生成する仮想世界の視点からオブジェクトまでの距離より当該オブジェクトから離れた位置に、第２画像を生成する当該仮想世界の視点を設定してもよい。表示制御手段は、第１画像で示される仮想世界の範囲より広い範囲を、第２画像として別の表示装置に表示してもよい。
上記によれば、可搬型表示装置に表示される仮想世界の画像より広い表示範囲の仮想世界の画像が情報処理装置に接続された別の表示装置に表示されるため、仮想世界の様子をユーザに提示する際にユーザ操作において好適となる画像を、それぞれの表示装置に表示することが可能となる。
また、上記表示制御手段は、仮想世界においてオブジェクトを鳥瞰する位置に、第２画像を生成する視点を設定してもよい。表示制御手段は、仮想世界に配置されたオブジェクトを鳥瞰した画像を、第２画像として別の表示装置に表示してもよい。
上記によれば、情報処理装置に接続された別の表示装置には当該仮想世界を鳥瞰した画像が表示されるため、仮想世界の様子をユーザに提示する際にユーザ操作において好適となる画像を、それぞれの表示装置に表示することが可能となる。
また、上記表示制御手段は、第１画像を生成する第１仮想カメラおよび第２画像を生成する第２仮想カメラを設定し、仮想世界における当該第１仮想カメラの視線方向の変化に応じて、当該第２仮想カメラの当該仮想世界における視線方向を変化させてもよい。
上記によれば、例えば可搬型表示装置に表示される仮想世界の方向が変わった場合、同様の方向に別の表示装置に表示される仮想世界の方向が変わるような表示制御が可能となる。
また、上記表示制御手段は、仮想世界におけるオブジェクトの背後から当該オブジェクトの正面方向が撮像方向となるように第１仮想カメラを配置し、仮想世界におけるオブジェクトの正面方向にある位置を注視点として第２画像において当該オブジェクトが同じ位置に表示されるように第２仮想カメラを配置して、オブジェクトの動作に応じて第１仮想カメラおよび第２仮想カメラの位置および／または姿勢を制御してもよい。
上記によれば、オブジェクトの動作のみに応じて、可搬型表示装置に表示される仮想世界の画像や別の表示装置に表示される仮想世界の画像が変わるような表示制御が可能となる。
また、上記姿勢算出手段は、実空間の重力方向を基準とした奥行方向の向きを少なくとも算出してもよい。上記オブジェクト姿勢制御手段は、仮想世界に設定された重力方向とオブジェクトの正面方向との位置関係が、実空間の重力方向と奥行方向との位置関係と実質的に同じとなるように、当該オブジェクトの正面方向を設定して当該オブジェクトの姿勢の制御を行ってもよい。
上記によれば、可搬型表示装置の表示画面奥行方向の実空間における向きによって、仮想世界におけるオブジェクトの正面方向の向きを制御することができる。
また、上記オブジェクト姿勢制御手段は、実空間における可搬型表示装置の姿勢と実質的に同じ姿勢となるように、仮想世界におけるオブジェクトの姿勢を制御してもよい。
上記によれば、実空間における可搬型表示装置の姿勢と実質的に同じになるように、仮想世界におけるオブジェクトの姿勢が制御されるため、可搬型表示装置を操作するユーザがオブジェクトの姿勢を直感的に変化させることができる。
また、上記情報処理プログラムは、重心位置算出手段として、さらにコンピュータを機能させてもよい。重心位置算出手段は、荷重取得手段が取得したデータに基づいて、荷重検出装置に加えられた荷重の重心位置を算出する。この場合、上記オブジェクト移動手段は、重心位置算出手段で算出される重心位置に基づいて、オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重の重心位置によってオブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが足踏みしたり前後左右に身体の重心位置を動かしたりすることによって、オブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、重心位置算出手段で算出される重心位置の往復移動に基づいて、オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重の重心位置を一定方向に往復移動させることによってオブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが足踏みして重心位置を左右に動かすことによって、オブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、重心位置が往復移動する際に所定の境界の一方側から他方側へ移動した場合にオブジェクトが行う第１の動作に応じた移動速度で当該オブジェクトを移動させ、重心位置が当該境界の他方側から一方側へ移動した場合にオブジェクトが行う第２の動作に応じた移動速度で当該オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重の重心位置を往復移動における一方側へ動かすことによってオブジェクトの第１の動作によって当該オブジェクトを移動させ、重心位置を往復移動における他方側へ動かすことによってオブジェクトの第２の動作によって当該オブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが足踏みした場合、左足を上げた場合にオブジェクトの第１の動作（例えば、右足で地面を蹴ったり右バタ足を打ったりする）によって当該オブジェクトを移動させ、右足を上げた場合にオブジェクトの第２の動作（例えば、左足で地面を蹴ったり左バタ足を打ったりする）によって当該オブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、予め設定された基準位置から重心位置算出手段で算出される重心位置までの距離に基づいてオブジェクトの移動速度を設定し、当該基準位置から当該重心位置への方向に基づいてオブジェクトの移動方向を設定して、オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重の重心位置をずらすことによってオブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが前方に体重をかけるように身体の姿勢を傾けた場合、重心位置が前方にずれた量に応じた速度でオブジェクトを前進させ、荷重検出装置の上でユーザが後方に体重をかけるように身体の姿勢を傾けた場合、重心位置が後方にずれた量に応じた速度でオブジェクトを後退させるように、当該オブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、荷重取得手段が取得したデータが示す荷重の変化に基づいて、オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重を変化させることによってオブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが屈伸運動したりジャンプしたりすることによって、オブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、荷重検出装置に加えられた荷重が所定値以上に上昇する変化をした時点で、オブジェクトが行う第１の動作に応じた移動速度で当該オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重を上昇させる操作を行うことによって、オブジェクトの第１の動作によって当該オブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが屈伸運動やジャンプをした場合、ユーザが身体を沈めるような動作によって荷重検出装置に加わる荷重が上昇する。したがって、荷重検出装置に加わる荷重が所定値以上となるような身体を沈める動作が荷重検出装置の上で行われた場合にオブジェクトの第１の動作（例えば、両足で地面を蹴ってジャンプしたりドルフィンキックで両足を打ったりする）によって当該オブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、荷重検出装置に加えられた荷重が所定値以上に上昇する変化をした後に、荷重検出装置に加えられた荷重が所定値以下まで降下する変化をしたことに応じて、オブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重を一旦上昇させた後に降下させるような操作を行うことによって、オブジェクトを移動させることができる。例えば、荷重検出装置の上でユーザが屈伸運動やジャンプをした場合、ユーザが身体を沈めるような動作によって荷重検出装置に加わる荷重が上昇し、その後の身体を伸ばしたり浮かしたりするような動作によって荷重検出装置に加わる荷重が降下する。したがって、荷重検出装置に加わる荷重が所定値以上となるような身体を沈める動作が行われた後に、荷重検出装置に加わる荷重が所定値以下となるような身体を伸ばす動作や浮かす動作が荷重検出装置の上で行われた場合に、当該動作に応じてオブジェクトを移動させることができる。
また、上記オブジェクト移動手段は、荷重が所定値以上に上昇する変化をした時点から、当該荷重が所定値以下まで降下する変化をした時点までの時間長さに基づいた移動速度でオブジェクトを移動させてもよい。
上記によれば、荷重検出装置に加える荷重を一旦所定値以上まで上昇させた時点か所定値以下まで降下させた時点までの時間長さによって、オブジェクトの移動速度を変化させることができる。例えば、荷重検出装置の上でユーザが屈伸運動やジャンプをした場合、ユーザが身体を沈めるような動作をしてから、身体を伸ばしたり浮かしたりするような動作をするまでの時間長さによって、オブジェクトの移動速度を変化させることができる。
また、上記可搬型表示装置は、ジャイロセンサおよび加速度センサの少なくとも一方を含んでいてもよい。この場合、姿勢算出手段は、ジャイロセンサおよび加速度センサの少なくとも一方から出力されるデータに基づいて、可搬型表示装置の姿勢を算出してもよい。
上記によれば、ジャイロセンサから出力される可搬型表示装置に生じている角速度を示すデータおよび／または加速度センサから出力される可搬型表示装置に生じている加速度を示すデータを用いることによって、当該可搬型表示装置の姿勢を精確に算出することができる。
また、上記表示制御手段は、第１画像を示す画像データを可搬型表示装置へ出力してもよい。上記可搬型表示装置は、画像データ取得手段および表示手段を備えていてもよい。画像データ取得手段は、情報処理装置から出力された画像データを取得する。表示手段は、画像データ取得手段が取得した画像データが示す第１画像を表示する。
上記によれば、可搬型表示装置が情報処理を実行しない、いわゆるシンクライアント端末として機能することができる。
また、上記情報処理プログラムは、圧縮画像生成手段として、さらにコンピュータを機能させてもよい。圧縮画像生成手段は、第１画像を示す画像データを圧縮して圧縮画像データを生成する。この場合、上記表示制御手段は、圧縮画像生成手段が生成した圧縮画像データを可搬型表示装置へ出力してもよい。上記画像データ取得手段は、情報処理装置から出力された圧縮画像データを取得してもよい。上記可搬型表示装置は、圧縮画像データを伸張して第１の表示画像を示す画像データを得る表示画像伸張手段を、さらに備えていてもよい。上記表示手段は、画像データ取得手段が取得して表示画像伸長手段が伸長した画像データが示す第１画像を表示してもよい。
上記によれば、第１画像は、圧縮されて情報処理装置から可搬型表示装置へ出力されるので、第１画像を高速に出力することができ、第１画像が生成されてから第１画像が可搬型表示装置に表示されるまでの遅延を少なくすることができる。
また、本発明は、上記各手段を備える情報処理システムや上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。
本発明によれば、ユーザ自身の動作に基づいた操作を行って当該ユーザ動作に基づいた処理を行う場合に、ユーザが当該処理結果を好適な状況で見ることが可能となる。
本発明の一実施形態に係るゲームシステム１の一例を示す外観図 図１のゲーム装置本体５の一例を示す機能ブロック図 図１の端末装置６の外観構成の一例を示す図 ユーザが端末装置６を把持した様子の一例を示す図 図３の端末装置６の内部構成の一例を示すブロック図 図１のボード型コントローラ９の外観の一例を示す斜視図 図６に示したボード型コントローラ９のＡ−Ａ断面図の一例を示すとともに、荷重センサ９４が配置された隅の部分が拡大表示された一例を示す図 図６のボード型コントローラ９の電気的な構成の一例を示すブロック図 端末装置６およびボード型コントローラ９を用いて操作するユーザの様子の一例を示す図 第１のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の一例を示す図 第１のゲーム例において、モニタ２に表示される画像の一例を示す図 第１のゲーム例において、図１のゲーム装置本体５のメインメモリに記憶される主なデータおよびプログラムの一例を示す図 図１のゲーム装置本体５において実行される第１の実施形態における処理の一例を示すフローチャート 図１２におけるステップ４４のゲーム制御処理の一例を示すサブルーチン 図１３におけるステップ８３のプレイヤオブジェクト設定処理の一例を示すサブルーチン 図１４におけるステップ１２６のプレイヤオブジェクト動作設定処理の一例を示すサブルーチン 実空間の水平面に投影した実空間基準方向および現方向と仮想世界の水平面に投影した仮想世界基準方向および操作指示方向との関係の一例を説明するための図 実空間の鉛直面に投影した現方向と仮想世界の鉛直面に投影した操作指示方向との関係の一例を説明するための図 第２のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の一例を示す図 第２のゲーム例において、モニタ２に表示される画像の一例を示す図 第２のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の他の例を示す図 端末装置６の姿勢に応じて仮想カメラの位置および姿勢が変化する一例を説明するための概要図 第２のゲーム例において、ゲーム装置本体５のメインメモリに記憶される主なデータおよびプログラムの一例を示す図 ゲーム装置本体５において実行される第２の実施形態におけるプレイヤオブジェクト設定処理の一例を示すサブルーチン 図２２におけるステップ１６５のジャンプ動作設定処理の一例を示すサブルーチン 合計荷重値の変化に対してしゃがみ判定および伸び判定された一例を説明するための図 第３のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の一例を示す図 第３のゲーム例において、モニタ２に表示される画像の一例を示す図 端末装置６の姿勢に応じた第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２の動作の一例を説明するための概要図 第３のゲーム例において、ゲーム装置本体５のメインメモリに記憶される主なデータおよびプログラムの一例を示す図 ゲーム装置本体５において実行される第３の実施形態におけるプレイヤオブジェクト設定処理の一例を示すサブルーチン 図２８におけるステップ２０１の操作指示方向算出処理の一例を示すサブルーチン
（第１の実施形態）
図１を参照して、本発明の第１の実施形態に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについて説明する。以下、説明を具体的にするために、当該情報処理装置の一例として据置型のゲーム装置本体５を用い、ゲーム装置本体５を含むゲームシステムを用いて説明する。なお、図１は、据置型のゲーム装置３を含むゲームシステム１の一例を示す外観図である。図２は、ゲーム装置本体５の一例を示すブロック図である。以下、当該ゲームシステム１について説明する。
図１において、ゲームシステム１は、表示手段の一例である家庭用テレビジョン受像機（以下、モニタと記載する）２と、モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。モニタ２は、ゲーム装置３から出力された音声信号を音声出力するためのスピーカ２ａを備える。また、ゲーム装置３は、本願発明の情報処理プログラムの一例となるプログラム（例えば、ゲームプログラム）を記録した光ディスク４と、光ディスク４のプログラムを実行してゲーム画面をモニタ２に表示出力させるためのコンピュータを搭載したゲーム装置本体５と、端末装置６と、表示画面に表示されたオブジェクト等を操作するために必要な操作情報をゲーム装置本体５に与えるためのコントローラ７と、ボード型コントローラ９とを含む。ゲームシステム１は、端末装置６、コントローラ７、およびボード型コントローラ９の少なくとも１つを用いたゲーム操作に基づいて、ゲーム装置本体５においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をモニタ２および／または端末装置６に表示するものである。なお、ゲーム装置本体５と端末装置６、コントローラ７、およびボード型コントローラ９とは、無線によって無線通信可能に接続される。例えば、上記無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格やＩＥＥＥ８０２．１１ｎ規格に従って実行されるが、赤外線など他の規格に従って実行されてもよい。
ゲーム装置本体５には、当該ゲーム装置本体５に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置本体５において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置本体５の前面には、光ディスク４の挿入口が設けられている。ゲーム装置本体５は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
ゲーム装置本体５には、モニタ２が接続コードを介して接続される。モニタ２は、ゲーム装置本体５において実行されるゲーム処理によって得られるゲーム画像を表示する。モニタ２はスピーカ２ａを有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置本体５と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置本体５とモニタ２との通信は無線通信であってもよい。
ゲーム装置本体５には、セーブデータ等のデータを固定的に記憶するバックアップメモリとして機能するフラッシュメモリ１７（図２参照）が搭載される。ゲーム装置本体５は、光ディスク４に記憶されたゲームプログラム等を実行することによって、その結果をゲーム画像としてモニタ２および／または端末装置６に表示する。ゲームプログラム等は、光ディスク４に限らず、フラッシュメモリ１７に予め記録されたものを実行するようにしてもよい。また、ゲーム装置本体５は、フラッシュメモリ１７に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ２および／または端末装置６に表示することもできる。そして、ゲーム装置３のユーザは、モニタ２および／または端末装置６に表示されたゲーム画像を見ながら、端末装置６、コントローラ７、およびボード型コントローラ９の少なくとも１つを操作することによって、ゲーム進行を楽しむことができる。
コントローラ７およびボード型コントローラ９は、コントローラ通信モジュール１９を内蔵するゲーム装置本体５へ、例えばＢｌｕｅｔｏｏｔｈの技術を用いて操作情報等の送信データをそれぞれ無線送信する。コントローラ７は、主にモニタ２の表示画面に表示された選択肢の選択等をするための操作手段である。コントローラ７は、片手で把持可能な程度の大きさのハウジングと、当該ハウジングの表面に露出して設けられた複数個の操作ボタン（十字キー等を含む）とが設けられている。また、後述により明らかとなるが、コントローラ７は、コントローラ７から見た画像を撮像する撮像情報演算部を備えている。そして、撮像情報演算部の撮像対象の一例として、モニタ２の表示画面近傍（図１では画面の上側）に２つのＬＥＤモジュール（以下、マーカと記載する）８Ｌおよび８Ｒが設置される。詳細は後述するが、ユーザ（プレイヤ）は、コントローラ７を動かすゲーム操作を行うことができ、マーカ８は、コントローラ７の動きや位置や姿勢等をゲーム装置本体５が算出するために用いられる。マーカ８は、その両端に２つのマーカ８Ｌおよび８Ｒを備えている。マーカ８Ｒ（マーカ８Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、モニタ２の前方に向かって赤外光を出力する。マーカ８はゲーム装置本体５に接続されており、ゲーム装置本体５はマーカ８が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ８は可搬型であり、ユーザはマーカ８を自由な位置に設置することができる。図１ではマーカ８がモニタ２の上に設置された態様を表しているが、マーカ８を設置する位置および向きは任意である。また、コントローラ７は、ゲーム装置本体５のコントローラ通信モジュール１９から無線送信された送信データを通信部で受信して、当該送信データに応じた音や振動を発生させることもできる。
なお、他の実施形態においてはコントローラ７および／またはボード型コントローラ９とゲーム装置本体５とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ７およびボード型コントローラ９はそれぞれ１つとするが、ゲーム装置本体５は複数のコントローラ７および複数のボード型コントローラ９と通信可能であり、所定台数のコントローラ７およびボード型コントローラ９をそれぞれ同時に使用することによって複数人でゲームをプレイすることが可能である。
コントローラ７は、例えばプラスチック成型によって形成されたハウジングを有しており、当該ハウジングに複数の操作部（操作ボタン）が設けられている。そして、コントローラ７は、操作部に対する入力状態（各操作ボタンが押下されたか否か）を示す操作データをゲーム装置本体５に送信する。
また、コントローラ７は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別することによってその領域の重心位置やサイズなどを算出する撮像情報演算部を有している。例えば、撮像情報演算部は、コントローラ７のハウジングに固設された撮像手段を有し、端末装置６のマーカ部６５および／またはマーカ８等の赤外光を出力するマーカを撮像対象としている。そして、撮像情報演算部は、撮像手段が撮像した撮像画像内における撮像対象の位置を算出し、算出された位置を示すマーカ座標データをゲーム装置本体５に送信する。このマーカ座標データは、コントローラ７自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置本体５はこのマーカ座標データを用いてコントローラ７の向きや位置を算出することができる。
さらに、コントローラ７は、加速度センサおよび／またはジャイロセンサを内蔵している。加速度センサは、コントローラ７に生じる加速度（重力加速度を含む）を検出し、検出した加速度を示す加速度データをゲーム装置本体５に送信する。加速度センサが検出した加速度は、コントローラ７自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置本体５は取得された加速度データを用いてコントローラ７の向きや動きを算出することができる。ジャイロセンサは、コントローラ７に設定された３軸回りの角速度をそれぞれ検出し、検出した角速度を示す角速度データをゲーム装置本体５に送信する。ジャイロセンサが検出した角速度は、コントローラ７自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置本体５は取得された角速度データを用いてコントローラ７の向きや動きを算出することができる。このように、ユーザは、コントローラ７に設けられた操作部を押下すること、およびコントローラ７自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
コントローラ７には、スピーカおよびバイブレータが設けられている。コントローラ７は、ゲーム装置本体５から送信されたサウンドデータを処理し、当該サウンドデータに応じた音声をスピーカから出力させる。また、コントローラ７は、ゲーム装置本体５から送信された振動データを処理し、当該振動データに応じてバイブレータを作動させて振動を発生させる。なお、後述する本発明の実施形態においては、コントローラ７を用いることなくゲームをプレイすることが可能である。ボード型コントローラ９の詳細な構成については後述する。
端末装置６は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置６を手に持って動かしたり、あるいは、端末装置６を自由な位置に配置したりして使用することが可能な可搬型の装置である。詳細な構成は後述するが、端末装置６は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）６１、および入力手段（後述するタッチパネル６２やジャイロセンサ６０４等）を備える。端末装置６とゲーム装置本体５（端末通信モジュール２８（図２参照））とは無線（有線であってもよい）によって通信可能である。端末装置６は、ゲーム装置本体５で生成された画像（例えばゲーム画像）のデータをゲーム装置本体５から受信し、当該データが示す画像をＬＣＤ６１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置６は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置６は、端末通信モジュール２８を内蔵するゲーム装置本体５へ、自機に対して行われた操作の内容を表す操作データを送信する。
次に、図２を参照して、ゲーム装置本体５の内部構成について説明する。図２は、ゲーム装置本体５の構成の一例を示すブロック図である。ゲーム装置本体５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ／Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１３、ディスクドライブ１４、およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。
ＣＰＵ１０は、光ディスク４に記憶されたプログラムを実行することによって処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間のデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については、後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたプログラムや、フラッシュメモリ１７から読み出されたプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置本体５の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ３５または外部メインメモリ１２に読み出したデータを書き込む。
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）３１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）３２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３３、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３４、および内部メインメモリ３５が設けられる。図示は省略するが、これらの構成要素３１〜３５は、内部バスによって互いに接続される。
ＧＰＵ３２は、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ３４は、ＧＰＵ３２がグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ３２は、ＶＲＡＭ３４に記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置本体５は、モニタ２に表示するゲーム画像と、端末装置６に表示するゲーム画像との両方を生成することがある。以下では、モニタ２に表示されるゲーム画像を「モニタ用ゲーム画像」と呼び、端末装置６に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
ＤＳＰ３３は、オーディオプロセッサとして機能し、内部メインメモリ３５や外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、モニタ２のスピーカ２ａから出力するゲーム音声と、端末装置６のスピーカから出力するゲーム音声との両方が生成されることがある。以下では、モニタ２から出力されるゲーム音声を「モニタ用ゲーム音声」と呼び、端末装置６から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
上記のようにゲーム装置本体５において生成される画像および音声のうち、モニタ２に出力される画像データおよび音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、ＡＶコネクタ１６を介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２ａに出力する。これによって、モニタ２に画像が表示されるとともにスピーカ２ａから音が出力される。
また、ゲーム装置本体５において生成される画像および音声のうち、端末装置６に出力される画像データおよび音声のデータは、入出力プロセッサ３１等によって端末装置６へ送信される。入出力プロセッサ３１等による端末装置６へのデータの送信については後述する。
入出力プロセッサ３１は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ３１は、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
ゲーム装置本体５は、インターネット等のネットワークに接続して外部情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ３１は、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。入出力プロセッサ３１は、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データがある場合には、ネットワーク通信モジュール１８およびアンテナ２２を介して当該データをネットワークに送信する。また、入出力プロセッサ３１は、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２、およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０は、プログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してプログラムで利用する。フラッシュメモリ１７には、ゲーム装置本体５と外部情報処理装置との間で送受信されるデータの他、ゲーム装置本体５を利用してプレイしたゲームのセーブデータ（処理の結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７には、ゲームプログラム等のプログラムが記憶されてもよい。
また、ゲーム装置本体５は、コントローラ７および／またはボード型コントローラ９からの操作データを受信することが可能である。すなわち、入出力プロセッサ３１は、アンテナ２３およびコントローラ通信モジュール１９を介して、コントローラ７および／またはボード型コントローラ９から送信される操作データ等を受信し、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。なお、内部メインメモリ３５には、外部メインメモリ１２と同様に、光ディスク４から読み出されたプログラムや、フラッシュメモリ１７から読み出されたプログラムを記憶したり、各種データを記憶したりしてもよく、ＣＰＵ１０のワーク領域やバッファ領域として用いられてもかまわない。
また、ゲーム装置本体５は、端末装置６との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ３１は、端末装置６へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ３２が生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ３１からの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置６との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置６へ送信される。なお、本実施形態では、ゲーム装置本体５から端末装置６へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置本体５から端末装置６への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置６との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
また、ゲーム装置本体５は、画像データの他、音声データを端末装置６へ送信する。すなわち、入出力プロセッサ３１は、ＤＳＰ３３が生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置６へ送信する。
さらに、ゲーム装置本体５は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置６へ送信する。制御データは、端末装置６が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図５に示すマーカ部６５）の点灯を制御する指示や、カメラ（図５に示すカメラ６６）の撮像を制御する指示等を表す。入出力プロセッサ３１は、ＣＰＵ１０の指示に応じて制御データを端末装置６へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置本体５から端末装置６へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくてもよい。
また、ゲーム装置本体５は、端末装置６から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置６は、操作データ、画像データ、および音声データを送信する。端末装置６から送信される各データは、アンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置６からの画像データおよび音声データは、ゲーム装置本体５から端末装置６への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ３１に出力される。一方、端末装置６からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくてもよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ３１に出力される。入出力プロセッサ３１は、端末装置６から受信したデータを、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
また、ゲーム装置本体５は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ３１には、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインタフェースのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、他のコントローラのような周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ３１は、拡張コネクタ２０やメモリカード用コネクタ２１を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
ゲーム装置本体５（例えば、前部主面）には、電源ボタン２４、リセットボタン２５、光ディスク４を脱着する投入口、およびゲーム装置本体５の投入口から光ディスク４を取り出すイジェクトボタン２６等が設けられている。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、ゲーム装置本体５の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置本体５の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
なお、他の実施形態においては、ゲーム装置本体５が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置本体５とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば拡張コネクタ２０を介してゲーム装置本体５と接続されるようにしてもよい。具体的には、拡張機器は、例えばコーデックＬＳＩ２７、端末通信モジュール２８、およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置本体に対して上記拡張機器を接続することによって、当該ゲーム装置本体を端末装置６と通信可能な構成とすることができる。
次に、図３〜図５を参照して、端末装置６の構成について説明する。なお、図３は、端末装置６の外観構成の一例を示す図である。図３の（ａ）部は端末装置６の正面図であり、（ｂ）部は上面図であり、（ｃ）部は右側面図であり、（ｄ）部は下面図である。図４は、ユーザが端末装置６を把持した様子の一例を示す図である。
図３に示されるように、端末装置６は、大略的には横長の長方形の板状形状であるハウジング６０を備える。ハウジング６０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置６を持って動かしたり、端末装置６の配置位置を変更したりすることができる。
端末装置６は、ハウジング６０の表面にＬＣＤ６１を有する。ＬＣＤ６１は、ハウジング６０の表面の中央付近に設けられる。したがって、ユーザは、図４に示すようにＬＣＤ６１の両側部分のハウジング６０を持つことによって、ＬＣＤ６１の画面を見ながら端末装置６を持って動かすことができる。なお、図４では、ユーザがＬＣＤ６１の左右両側の部分のハウジング６０を持つことで端末装置６を横持ちで持つ（すなわち、長辺方向を横にして端末装置６を持つ）例を示しているが、端末装置６を縦持ちで持つ（すなわち、長辺方向を縦にして端末装置６を持つ）ことも可能である。
図３の（ａ）部に示すように、端末装置６は、操作手段として、ＬＣＤ６１の画面上にタッチパネル６２を有する。本実施形態では、タッチパネル６２は、抵抗膜方式のタッチパネルである。ただし、タッチパネル６２は、抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル６２は、シングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル６２として、ＬＣＤ６１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル６２の解像度とＬＣＤ６１の解像度とが一致している必要はない。タッチパネル６２に対する入力は、通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル６２に対する入力をすることも可能である。なお、ハウジング６０には、タッチパネル６２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置６がタッチパネル６２を備えているため、ユーザは、端末装置６を動かしながらタッチパネル６２を操作することができる。つまり、ユーザは、ＬＣＤ６１の画面を動かしつつ、その画面に対して直接（タッチパネル６２によって）入力を行うことができる。
図３に示すように、端末装置６は、操作手段として、２つのアナログスティック６３Ａおよび６３Ｂと、複数の操作ボタン６４Ａ〜６４Ｌとを備えている。各アナログスティック６３Ａおよび６３Ｂは、方向を指示するデバイスである。各アナログスティック６３Ａおよび６３Ｂは、ユーザの指で操作されるスティック部がハウジング６０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドまたは傾倒することができるように構成されている。また、左アナログスティック６３Ａは、ＬＣＤ６１の画面の左側に、右アナログスティック６３Ｂは、ＬＣＤ６１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティック６３Ａまたは６３Ｂを用いて方向を指示する入力を行うことができる。また、図４に示すように、各アナログスティック６３Ａおよび６３Ｂは、ユーザが端末装置６の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置６を持って動かす場合においても各アナログスティック６３Ａおよび６３Ｂを容易に操作することができる。
各操作ボタン６４Ａ〜６４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各操作ボタン６４Ａ〜６４Ｌは、ユーザが端末装置６の左右部分を把持した状態で操作可能な位置に設けられる（図４参照）。したがって、ユーザは、端末装置６を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
図３の（ａ）部に示すように、ハウジング６０の表面には、各操作ボタン６４Ａ〜６４Ｌのうち、十字ボタン（方向入力ボタン）６４Ａと、操作ボタン６４Ｂ〜６４Ｈとが設けられる。これらの操作ボタン６４Ａ〜６４Ｇは、ユーザの親指で操作可能な位置に配置されている（図４参照）。
十字ボタン６４Ａは、ＬＣＤ６１の左側であって、左アナログスティック６３Ａの下側に設けられる。つまり、十字ボタン６４Ａは、ユーザの左手で操作可能な位置に配置されている。十字ボタン６４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、操作ボタン６４Ｂ〜６４Ｄは、ＬＣＤ６１の下側に設けられる。これら３つの操作ボタン６４Ｂ〜６４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つの操作ボタン６４Ｅ〜６４Ｈは、ＬＣＤ６１の右側であって、右アナログスティック６３Ｂの下側に設けられる。つまり、４つの操作ボタン６４Ｅ〜６４Ｈは、ユーザの右手で操作可能な位置に配置されている。さらに、４つの操作ボタン６４Ｅ〜６４Ｈは、（４つの操作ボタン６４Ｅ〜６４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置６は、ユーザに上下左右の方向を指示させるためのボタンとして４つの操作ボタン６４Ｅ〜６４Ｈを機能させることも可能である。
また、図３の（ａ）部、（ｂ）部、および（ｃ）部に示すように、第１Ｌボタン６４Ｉおよび第１Ｒボタン６４Ｊは、ハウジング６０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン６４Ｉは、板状のハウジング６０における上側の側面の左端に設けられ、上側および左側の側面から突設されている。また、第１Ｒボタン６４Ｊは、ハウジング６０における上側の側面の右端に設けられ、上側および右側の側面から突設されている。このように、第１Ｌボタン６４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン６４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図４参照）。
また、図３の（ｂ）部および（ｃ）部に示すように、第２Ｌボタン６４Ｋおよび第２Ｒボタン６４Ｌは、板状のハウジング６０の裏面（すなわちＬＣＤ６１が設けられる表面の反対側の面）に突出して設けられた足部６８Ａおよび６８Ｂにそれぞれ突設される。具体的には、第２Ｌボタン６４Ｋは、ハウジング６０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン６４Ｌは、ハウジング６０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン６４Ｋは、表面に設けられる左アナログスティック６３Ａの概ね反対側の位置に設けられ、第２Ｒボタン６４Ｌは、表面に設けられる右アナログスティック６３Ｂの概ね反対側の位置に設けられる。第２Ｌボタン６４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン６４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図４参照）。また、第２Ｌボタン６４Ｋおよび第２Ｒボタン６４Ｌは、図３の（ｃ）部に示すように、上記足部６８Ａおよび６８Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置６を把持した場合には、中指が上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン６４Ｋおよび第２Ｒボタン６４Ｌを押下しやすくなる。また、ハウジング６０の裏面に足部６８Ａおよび６８Ｂが設けられることにより、ユーザはハウジング６０を把持しやすくなり、かつ、足部６８Ａおよび６８Ｂに操作ボタンが設けられることで、ハウジング６０を把持したまま操作しやすくなる。
なお、図３に示す端末装置６に関しては、第２Ｌボタン６４Ｋおよび第２Ｒボタン６４Ｌが裏面に設けられるので、ＬＣＤ６１の画面（ハウジング６０の表面）が上を向いた状態で端末装置６を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング６０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ６１の画面が上を向いた状態では３つ以上の足部が床面と接するように端末装置６を載置できるので、画面が水平になるように端末装置６を載置することができる。また、着脱可能な足部を装着することで端末装置６を水平に載置可能にしてもよい。
各操作ボタン６４Ａ〜６４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン６４Ａおよび操作ボタン６４Ｅ〜６４Ｈは、方向指示操作や選択操作等に用いられてもよいし、各操作ボタン６４Ｂ〜６４Ｅは、決定操作やキャンセル操作等に用いられてもよい。
なお、図示しないが、端末装置６は、端末装置６の電源をオン／オフするための電源ボタンを有している。また、端末装置６は、ＬＣＤ６１の画面表示をオン／オフするための操作ボタンや、ゲーム装置本体５との接続設定（ペアリング）を行うための操作ボタンや、スピーカ（図５に示すスピーカ６０７）の音量を調節するための操作ボタンを有していてもよい。
図３の（ａ）部に示すように、端末装置６は、マーカ６５Ａおよびマーカ６５Ｂからなるマーカ部（図５に示すマーカ部６５）をハウジング６０の表面に備えている。一例として、マーカ部６５は、ＬＣＤ６１の上側に設けられる。マーカ６５Ａおよびマーカ６５Ｂは、マーカ８のマーカ８Ｌおよび８Ｒと同様、それぞれ１以上の赤外ＬＥＤで構成される。マーカ部６５は、上述したマーカ８と同様、マーカ部６５に対するコントローラ７の動き等をゲーム装置本体５が算出するために用いられる。また、ゲーム装置本体５は、マーカ部６５が備える各赤外ＬＥＤの点灯を制御することが可能である。
端末装置６は、撮像手段であるカメラ６６を備えている。カメラ６６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。例えば、カメラ６６は、ハウジング６０の表面に設けられる。したがって、カメラ６６は、端末装置６を持っているユーザの顔を撮像することができ、一例としてＬＣＤ６１を見ながらゲームを行っている状態におけるユーザを撮像することができる。
なお、端末装置６は、音声入力手段であるマイク（図５に示すマイク６０９）を備えている。ハウジング６０の表面には、マイクロフォン用孔６０ｂが設けられる。マイク６０９は、マイクロフォン用孔６０ｂの内側となるハウジング６０内部に設けられる。マイク６０９は、ユーザの音声等、端末装置６の周囲の音を検出する。
端末装置６は、音声出力手段であるスピーカ（図５に示すスピーカ６０７）を備えている。図３の（ｄ）部に示すように、ハウジング６０の下側側面にはスピーカ孔６０ａが設けられる。スピーカ６０７の出力音は、スピーカ孔６０ａから出力される。本実施形態では、端末装置６は、２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔６０ａが設けられる。
また、端末装置６は、他の装置を端末装置６に接続するための拡張コネクタ６７を備えている。本実施形態においては、図３の（ｄ）部に示すように、拡張コネクタ６７は、ハウジング６０の下側側面に設けられる。なお、拡張コネクタ６７に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ６７は設けられていなくともよい。
なお、図３に示した端末装置６に関して、各操作ボタンやハウジング６０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
次に、図５を参照して、端末装置６の内部構成について説明する。図５は、端末装置６の内部構成の一例を示すブロック図である。図５に示すように、端末装置６は、図３に示した構成の他、タッチパネルコントローラ６０１、磁気センサ６０２、加速度センサ６０３、ジャイロセンサ６０４、ユーザインタフェースコントローラ（ＵＩコントローラ）６０５、コーデックＬＳＩ６０６、スピーカ６０７、サウンドＩＣ６０８、マイク６０９、無線モジュール６１０、アンテナ６１１、赤外線通信モジュール６１２、フラッシュメモリ６１３、電源ＩＣ６１４、電池６１５、およびバイブレータ６１９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング６０内に収納される。
ＵＩコントローラ６０５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６０５は、タッチパネルコントローラ６０１、アナログスティック６３（アナログスティック６３Ａおよび６３Ｂ）、操作ボタン６４（各操作ボタン６４Ａ〜６４Ｌ）、マーカ部６５、磁気センサ６０２、加速度センサ６０３、ジャイロセンサ６０４、およびバイブレータ６１９に接続される。また、ＵＩコントローラ６０５は、コーデックＬＳＩ６０６と拡張コネクタ６７とに接続される。また、ＵＩコントローラ６０５には電源ＩＣ６１４が接続され、ＵＩコントローラ６０５を介して各部に電力が供給される。電源ＩＣ６１４には内蔵の電池６１５が接続され、電力が供給される。また、電源ＩＣ６１４には、コネクタ等を介して外部電源から電力を取得可能な充電器６１６またはケーブルを接続することが可能であり、端末装置６は、充電器６１６またはケーブルを用いて外部電源からの電力供給と充電とを行うことができる。なお、端末装置６は、図示しない充電機能を有するクレイドルに端末装置６を装着することで充電を行うようにしてもよい。
タッチパネルコントローラ６０１は、タッチパネル６２に接続され、タッチパネル６２の制御を行う回路である。タッチパネルコントローラ６０１は、タッチパネル６２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６０５へ出力する。タッチ位置データは、タッチパネル６２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６０１は、タッチパネル６２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６０５からタッチパネルコントローラ６０１へは、タッチパネル６２に対する各種の制御指示が出力される。
アナログスティック６３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６０５へ出力する。また、操作ボタン６４は、各操作ボタン６４Ａ〜６４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６０５へ出力する。
磁気センサ６０２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６０５へ出力される。また、ＵＩコントローラ６０５から磁気センサ６０２へは、磁気センサ６０２に対する制御指示が出力される。磁気センサ６０２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置６が動いた場合には方位データが変化するため、端末装置６の姿勢の変化を算出することができる。
加速度センサ６０３は、ハウジング６０の内部に設けられ、３軸（図３の（ａ）部に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６０３は、ハウジング６０の長辺方向をｘ軸、ハウジング６０の短辺方向をｙ軸、ハウジング６０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６０５へ出力される。また、ＵＩコントローラ６０５から加速度センサ６０３へは、加速度センサ６０３に対する制御指示が出力される。加速度センサ６０３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６０３は１軸または２軸方向を検出する加速度センサであってもよい。
ジャイロセンサ６０４は、ハウジング６０の内部に設けられ、上記ｘ軸、ｙ軸、およびｚ軸の３軸周りの角速度をそれぞれ検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６０５へ出力される。また、ＵＩコントローラ６０５からジャイロセンサ６０４へは、ジャイロセンサ６０４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６０４は、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６０４は１軸または２軸方向を検出するジャイロセンサであってもよい。
バイブレータ６１９は、例えば振動モータやソレノイドであり、ＵＩコントローラ６０５と接続される。ＵＩコントローラ６０５からバイブレータ６１９へ出力される制御指示に応じて、バイブレータ６１９が作動することによって端末装置６に振動が発生する。これによって、端末装置６を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
ＵＩコントローラ６０５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６０６に出力する。なお、拡張コネクタ６７を介して端末装置６に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
コーデックＬＳＩ６０６は、ゲーム装置本体５へ送信するデータに対する圧縮処理、およびゲーム装置本体５から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６０６には、ＬＣＤ６１、カメラ６６、サウンドＩＣ６０８、無線モジュール６１０、フラッシュメモリ６１３、および赤外線通信モジュール６１２が接続される。また、コーデックＬＳＩ６０６は、ＣＰＵ６１７と内部メモリ６１８とを含む。例えば、端末装置６は、ゲーム処理自体を行わない構成であるが、端末装置６の管理や通信のための最小限のプログラムを実行する必要がある。一例として、電源投入時にフラッシュメモリ６１３に格納されたプログラムを内部メモリ６１８に読み出してＣＰＵ６１７が実行することで、端末装置６が起動する。また、内部メモリ６１８の一部の領域は、ＬＣＤ６１のためのＶＲＡＭとして使用される。
カメラ６６は、ゲーム装置本体５からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６０６へ出力する。また、コーデックＬＳＩ６０６からカメラ６６へは、画像の撮像指示等、カメラ６６に対する制御指示が出力される。なお、カメラ６６は、動画の撮影も可能である。すなわち、カメラ６６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６０６へ繰り返し出力することも可能である。
サウンドＩＣ６０８は、スピーカ６０７およびマイク６０９に接続され、スピーカ６０７およびマイク６０９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６０６から音声データを受け取った場合、サウンドＩＣ６０８は、当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６０７へ出力し、スピーカ６０７から音を出力させる。また、マイク６０９は、端末装置６に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６０８へ出力する。サウンドＩＣ６０８は、マイク６０９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６０６へ出力する。
コーデックＬＳＩ６０６は、カメラ６６からの画像データ、マイク６０９からの音声データ、およびＵＩコントローラ６０５からの操作データを、端末操作データとして無線モジュール６１０を介してゲーム装置本体５へ送信する。本実施形態では、コーデックＬＳＩ６０６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。圧縮された画像データおよび音声データと上記端末操作データとは、送信データとして無線モジュール６１０に出力される。無線モジュール６１０にはアンテナ６１１が接続されており、無線モジュール６１０はアンテナ６１１を介してゲーム装置本体５へ上記送信データを送信する。無線モジュール６１０は、ゲーム装置本体５の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール６１０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。無線モジュール６１０から送信されるデータは、必要に応じて暗号化されていてもよいし、されていなくてもよい。
以上のように、端末装置６からゲーム装置本体５へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ６７を介して端末装置６に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール６１２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ６０６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置本体５へ送信してもよい。
また、上述のように、ゲーム装置本体５から端末装置６へは、圧縮された画像データおよび音声データが送信される。これらのデータは、アンテナ６１１および無線モジュール６１０を介してコーデックＬＳＩ６０６で受信される。コーデックＬＳＩ６０６は、受信した画像データおよび音声データを伸張する。伸張された画像データは、ＬＣＤ６１へ出力され、当該画像データに応じた画像がＬＣＤ６１に表示される。また、伸張された音声データは、サウンドＩＣ６０８へ出力され、当該音声データに応じた音がスピーカ６０７から出力される。
また、ゲーム装置本体５から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６０６およびＵＩコントローラ６０５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置６が備える各構成要素（本実施形態では、カメラ６６、タッチパネルコントローラ６０１、マーカ部６５、各センサ６０２〜６０４、バイブレータ６１９、および赤外線通信モジュール６１２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置６からゲーム装置本体５へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部６５は、赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
以上のように、端末装置６は、タッチパネル６２、アナログスティック６３、および操作ボタン６４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
また、端末装置６は、端末装置６の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６０２、加速度センサ６０３、およびジャイロセンサ６０４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
また、端末装置６は、カメラ６６およびマイク６０９を備える構成であるが、他の実施形態においては、カメラ６６およびマイク６０９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
また、端末装置６は、端末装置６とコントローラ７との位置関係（コントローラ７から見た端末装置６の位置および／または姿勢等）を算出するための構成としてマーカ部６５を備える構成であるが、他の実施形態ではマーカ部６５を備えていない構成としてもよい。また、他の実施形態では、端末装置６は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ７がマーカ部を備え、端末装置６が撮像素子を備える構成としてもよい。さらにこの場合、マーカ８は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
次に、図６〜図８を参照して、ボード型コントローラ９の構成について説明する。なお、図６は、図１に示したボード型コントローラ９の外観の一例を示す斜視図である。図６に示されるように、ボード型コントローラ９は、ユーザがその上に乗る（ユーザの足を乗せる）台９ａ、台９ａに掛かる荷重を検出するための少なくとも４つの荷重センサ９４ａ〜９４ｄを備える。各荷重センサ９４ａ〜９４ｄは、それぞれ台９ａに内包されており（図７参照）、図６においてはそれらの配置位置がそれぞれ破線で示されている。なお、以下の説明において、４つの荷重センサ９４ａ〜９４ｄを総称して説明する場合、荷重センサ９４と記載することがある。
台９ａは、略直方体に形成されており、上面視で略長方形状である。例えば、台９ａは、長方形状の短辺が３０ｃｍ程度に設定され、長辺が５０ｃｍ程度に設定される。台９ａの上面は、平坦に形成され、ユーザが両足裏をそれぞれ置いて乗るための一対の面が設定されている。具体的には、台９ａの上面には、ユーザが左足を乗せるための面（図６における左奥側に２重線で囲まれた領域）および左足を乗せるための面（図６における右手前側に２重線で囲まれた領域）がそれぞれ設定されている。そして、台９ａの４隅の側面は、例えば部分的に円柱状に張り出すように形成されている。
台９ａにおいて、４つの荷重センサ９４ａ〜９４ｄは、所定の間隔を置いて配置される。当該実施例では、４つの荷重センサ９４ａ〜９４ｄは、台９ａの周縁部に、具体的には４隅にそれぞれ配置される。荷重センサ９４ａ〜９４ｄの間隔は、台９ａに対するユーザの荷重のかけ方によるゲーム操作の意図をより精度良く検出できるように適宜な値に設定される。
図７は、図６に示したボード型コントローラ９のＡ−Ａ断面図の一例を示すとともに、荷重センサ９４が配置された隅の部分が拡大表示された一例を示している。図７において、台９ａは、ユーザが乗るための支持板９０と脚９２とを含む。荷重センサ９４ａ〜９４ｄは、脚９２が配置される箇所にそれぞれ設けられる。この実施例では、４つの脚９２が４隅に設けられているので、４つの荷重センサ９４ａ〜９４ｄがそれぞれ４隅に配置されることになる。脚９２は、例えばプラスチック成型によって略有底円筒状に形成されており、荷重センサ９４は、脚９２内の底面に設けられた球面部品９２ａ上に配置される。支持板９０は、荷重センサ９４を介して脚９２に支持される。
支持板９０は、上面と側面上部とを形成する上層板９０ａ、下面と側面下部とを形成する下層板９０ｂ、および上層板９０ａと下層板９０ｂとの間に設けられる中層板９０ｃを含む。上層板９０ａと下層板９０ｂとは、例えばプラスチック成型により形成されており、接着等により一体化される。中層板９０ｃは、例えば１枚の金属板のプレス成型により形成されている。中層板９０ｃは、４つの荷重センサ９４ａ〜９４ｄの上に固定される。上層板９０ａは、その下面に格子状のリブ（図示しない）を有しており、当該リブを介して中層板９０ｃに支持されている。したがって、台９ａにユーザが乗ったときには、その荷重は、支持板９０および荷重センサ９４ａ〜９４ｄを介して、４つの脚９２に伝達する。図７に矢印で示したように、入力された荷重によって生じた床からの反作用は、脚９２から、球面部品９２ａ、荷重センサ９４ａ〜９４ｄ、および中層板９０ｃを介して、上層板９０ａに伝達する。
荷重センサ９４は、例えば歪ゲージ（歪センサ）式ロードセルであり、入力された荷重を電気信号に変換する荷重変換器である。荷重センサ９４では、荷重入力に応じて、起歪体９５が変形して歪が生じる。この歪が、起歪体９５に貼り付けられた歪センサ９６によって電気抵抗の変化に変換され、さらに電圧変化に変換される。したがって、荷重センサ９４は、入力荷重を示す電圧信号を出力端子から出力することができる。
なお、荷重センサ９４は、音叉振動式、弦振動式、静電容量式、圧電式、磁歪式、またはジャイロ式のような他の方式の荷重センサであってもよい。
図６に戻って、ボード型コントローラ９には、さらに、電源ボタン９ｃが設けられる。ボード型コントローラ９が起動していない状態で電源ボタン９ｃが操作（例えば、電源ボタン９ｃの押下）されると、ボード型コントローラ９の各回路コンポーネント（図８参照）に電力が供給される。ただし、ボード型コントローラ９は、ゲーム装置本体５からの指示に従って電源オンされて各回路コンポーネントに電力供給が開始される場合もある。なお、ボード型コントローラ９は、ユーザが乗っていない状態が一定時間（例えば、３０秒）以上継続すると、自動的に電源がオフされてもよい。また、ボード型コントローラ９が起動している状態で、電源ボタン９ｃが再度操作された場合、電源がオフされて各回路コンポーネントへの電力供給が停止されてもよい。
図８は、ボード型コントローラ９の電気的な構成の一例を示すブロック図である。なお、図８では、信号およびデータの流れは実線矢印で示され、電力の供給が破線矢印で示されている。
図８において、ボード型コントローラ９は、その動作を制御するためのマイクロコンピュータ（マイコン）１００を含む。マイコン１００は、図示しないＣＰＵ、ＲＯＭ、およびＲＡＭ等を含み、ＣＰＵがＲＯＭに記憶されたプログラムに従ってボード型コントローラ９の動作を制御する。
マイコン１００には、電源ボタン９ｃ、ＡＤコンバータ１０２、ＤＣ−ＤＣコンバータ１０４、および無線モジュール１０６が接続される。さらに、無線モジュール１０６には、アンテナ１０６ａが接続される。４つの荷重センサ９４ａ〜９４ｄは、それぞれ増幅器１０８を介してＡＤコンバータ１０２に接続される。
また、ボード型コントローラ９には、各回路コンポーネントへの電力供給のために電池１１０が収容されている。他の実施例では、電池１１０に代えてＡＣアダプタをボード型コントローラ９に接続し、商用電力を各回路コンポーネントに供給するようにしてもよい。この場合、ＤＣ−ＤＣコンバータ１０４に代えて、交流を直流に変換し、直流電圧を降圧および整流する電源回路をボード型コントローラ９内に設ける必要がある。この実施例では、マイコン１００および無線モジュール１０６への電力供給は、電池１１０から直接的に行われる。つまり、マイコン１００内部の一部のコンポーネント（ＣＰＵ）と無線モジュール１０６とには、常に電池１１０からの電力が供給されており、電源ボタン９ｃがオンされたか否か、ゲーム装置本体５から電源オンを指示するコマンドが送信されたか否かを検出する。一方、荷重センサ９４ａ〜９４ｄ、ＡＤコンバータ１０２、および増幅器１０８には、ＤＣ−ＤＣコンバータ１０４を介して電池１１０からの電力が供給される。ＤＣ−ＤＣコンバータ１０４は、電池１１０からの直流電流の電圧値を異なる電圧値に変換して、荷重センサ９４ａ〜９４ｄ、ＡＤコンバータ１０２、および増幅器１０８に与える。
これら荷重センサ９４ａ〜９４ｄ、ＡＤコンバータ１０２、および増幅器１０８への電力供給は、マイコン１００によるＤＣ−ＤＣコンバータ１０４の制御によって、必要に応じて行われるようにしてもよい。つまり、マイコン１００は、荷重センサ９４ａ〜９４ｄを動作させて荷重を検出する必要があると判断される場合に、ＤＣ−ＤＣコンバータ１０４を制御して、荷重センサ９４ａ〜９４ｄ、ＡＤコンバータ１０２、および増幅器１０８に電力を供給するようにしてよい。
電力が供給されると、荷重センサ９４ａ〜９４ｄは、入力された荷重を示す信号をそれぞれ出力する。これらの信号は、各増幅器１０８で増幅され、ＡＤコンバータ１０２でアナログ信号からデジタルデータに変換されて、マイコン１００に入力される。荷重センサ９４ａ〜９４ｄの検出値には荷重センサ９４ａ〜９４ｄの識別情報が付与されて、いずれの荷重センサ９４ａ〜９４ｄの検出値であるかが識別可能にされる。このようにして、マイコン１００は、同一時刻における４つの荷重センサ９４ａ〜９４ｄそれぞれの荷重検出値を示すデータを取得することができる。
一方、マイコン１００は、荷重センサ９４ａ〜９４ｄを動作させる必要がないと判断される場合、つまり、荷重検出タイミングでない場合、ＤＣ−ＤＣコンバータ１０４を制御して、荷重センサ９４ａ〜９４ｄ、ＡＤコンバータ１０２、および増幅器１０８への電力の供給を停止する。このように、ボード型コントローラ９は、必要な場合にだけ、荷重センサ９４ａ〜９４ｄを動作させて荷重や距離の検出を行うことができるので、荷重検出のための電力消費を抑制することができる。
荷重検出が必要な場合とは、典型的には、ゲーム装置本体５（図１）が荷重データを取得したいときである。例えば、ゲーム装置本体５が荷重情報を必要とするとき、ゲーム装置本体５は、ボード型コントローラ９に対して情報取得命令を送信する。マイコン１００は、ゲーム装置本体５から情報取得命令を受信したときに、ＤＣ−ＤＣコンバータ１０４を制御して、荷重センサ９４ａ〜９４ｄ等に電力を供給し、荷重を検出する。一方、マイコン１００は、ゲーム装置本体５から情報取得命令を受信していないときには、ＤＣ−ＤＣコンバータ１０４を制御して、荷重センサ９４ａ〜９４ｄ等への電力供給を停止する。
なお、マイコン１００は、一定時間ごとに荷重検出タイミングが到来すると判断して、ＤＣ−ＤＣコンバータ１０４を制御するようにしてもよい。このような周期的な荷重検出を行う場合、周期情報は、例えば、ゲーム開始時点においてゲーム装置本体５からボード型コントローラ９のマイコン１００に与えられて記憶されてもよいし、予めマイコン１００にプリインストールされてもよい。
荷重センサ９４ａ〜９４ｄからの検出値を示すデータは、ボード型コントローラ９のボード操作データ（入力データ）として、マイコン１００から無線モジュール１０６およびアンテナ１０６ａを介してゲーム装置本体５に送信される。例えば、ゲーム装置本体５からの命令を受けて荷重検出を行った場合、マイコン１００は、ＡＤコンバータ１０２から荷重センサ９４ａ〜９４ｄの検出値データを受信したことに応じて、当該検出値データをゲーム装置本体５に送信する。なお、マイコン１００は、一定時間ごとに上記検出値データをゲーム装置本体５に送信するようにしてもよい。荷重の検出周期よりも送信周期が長い場合には、送信タイミングまでに検出された複数の検出タイミングの荷重値を含むデータを送信すればよい。
なお、無線モジュール１０６は、ゲーム装置本体５のコントローラ通信モジュール１９と同じ無線規格（Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮなど）で通信可能にされる。したがって、ゲーム装置本体５のＣＰＵ１０は、コントローラ通信モジュール１９等を介して情報取得命令をボード型コントローラ９に送信することができる。このように、ボード型コントローラ９は、無線モジュール１０６およびアンテナ１０６ａを介して、ゲーム装置本体５からの命令を受信することができる。また、ボード型コントローラ９は、荷重センサ９４ａ〜９４ｄの荷重検出値（または荷重算出値）を含むボード操作データをゲーム装置本体５に送信することができる。
例えば４つの荷重センサ９４ａ〜９４ｄで検出される４つの荷重値の単なる合計値を用いて実行されるようなゲームの場合には、ユーザはボード型コントローラ９の４つの荷重センサ９４ａ〜９４ｄに対して任意の位置をとることができる。つまり、ユーザは、台９ａの上の任意の位置に任意の向きで乗ってゲームをプレイすることができる。しかしながら、ゲームの種類によっては、４つの荷重センサ９４で検出される荷重値がユーザから見ていずれの方向の荷重値であるかを識別して処理を行う必要がある。つまり、ボード型コントローラ９の４つの荷重センサ９４とユーザとの位置関係が把握されている必要がある。この場合、例えば、４つの荷重センサ９４とユーザとの位置関係を予め規定しておき、当該所定の位置関係が得られるようにユーザが台９ａ上に乗ることが前提とされてもよい。典型的には、台９ａの中央に乗ったユーザの前後左右にそれぞれ荷重センサ９４ａ〜９４ｄが２つずつ存在するような位置関係、つまり、ユーザがボード型コントローラ９の台９ａの中央に乗った位置関係が規定される。この場合、この実施例では、ボード型コントローラ９の台９ａが平面視で矩形状に形成されるとともにその矩形の１辺（長辺）に電源ボタン９ｃが設けられているので、この電源ボタン９ｃを目印として利用して、ユーザには電源ボタン９ｃの設けられた長辺が所定の方向（前、後、左または右）に存在するようにして台９ａに乗ってもらうことを予め決めておく。このようにすれば、荷重センサ９４ａ〜９４ｄで検出される荷重値は、ユーザから見て所定の方向（右前、左前、右後および左後）の荷重値となる。したがって、ボード型コントローラ９およびゲーム装置本体５は、荷重検出値データに含まれる荷重センサ９４の識別情報と、予め設定（記憶）された荷重センサ９４のユーザに対する位置または方向を示す配置データとに基づいて、各荷重検出値がユーザから見ていずれの方向に対応するかを把握することができる。これにより、例えば前後左右の操作方向や上げている足の区別のようなユーザによるゲーム操作の意図を把握することが可能になる。
次に、ゲーム装置本体５が行う具体的な処理を説明する前に、図９、図１０Ａ、および図１０Ｂを用いてゲーム装置本体５で行う情報処理の概要について説明する。以下の第１の実施形態における情報処理の概要の説明においては、情報処理の一例として第１のゲーム例を用いる。なお、図９は、第１のゲーム例において、端末装置６およびボード型コントローラ９を用いて操作するユーザの様子の一例を示す図である。図１０Ａは、第１のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の一例を示す図である。図１０Ｂは、第１のゲーム例において、モニタ２に表示される画像の一例を示す図である。
図９に示すように、第１のゲーム例では、ユーザは、端末装置６およびボード型コントローラ９を用いて操作する。具体的には、ユーザは、端末装置６を把持しながら、ボード型コントローラ９上に乗って操作する。そして、ユーザは、モニタ２に表示された画像や端末装置６のＬＣＤ６１に表示された画像を見ながら、ボード型コントローラ９上で動作（例えば、足踏み動作や屈伸動作）するとともに、端末装置６自体を動かす操作をすることによってプレイする。そして、端末装置６のＬＣＤ６１およびモニタ２には、ユーザが把持する端末装置６の方向や姿勢と、ボード型コントローラ９上におけるユーザ動作とに応じて、仮想世界においてプレイヤオブジェクトＰｏが動作（例えば、姿勢が変化する動作や移動方向が変化する動作）し、プレイヤオブジェクトＰｏの位置や姿勢に応じて仮想世界に設定される仮想カメラの位置や姿勢を変化させたゲーム画像が表現される。
図１０Ａに示すように、端末装置６のＬＣＤ６１には仮想世界内を移動するプレイヤオブジェクトＰｏが表示される。図１０Ａに示した一例では、海中を泳ぐプレイヤオブジェクトＰｏの背後近傍に仮想カメラが設定され、当該仮想カメラから見た仮想世界内の様子がプレイヤオブジェクトＰｏとともに表示されている。このように、プレイヤオブジェクトＰｏの背後近傍から見た仮想世界をＬＣＤ６１に表示することによって、端末装置６を把持しているユーザに仮想世界の臨場感を与えるとともに、ユーザがプレイヤオブジェクトＰｏの移動方向や移動速度を直感的に知ることができる。また、端末装置６の姿勢を変えたり端末装置６の向きが変わるように回転移動させたりすることによってプレイヤオブジェクトＰｏの姿勢や移動方向が変化するが、当該姿勢変化に応じて上記仮想カメラの位置や姿勢が変化する。例えば、端末装置６の姿勢および向きを上記仮想カメラの姿勢および向きに連動させることによって、ユーザは端末装置６のＬＣＤ６１を介してあたかも仮想世界内を覗いているような感覚を味わうことができる。
また、図１０Ｂに示すように、モニタ２にもＬＣＤ６１に表示されている仮想世界と同じ仮想世界が表示される。図１０Ｂに示した一例では、海中を泳ぐプレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子がプレイヤオブジェクトＰｏとともに表示されている。また、図１０Ｂに示した一例では、海中を泳いだプレイヤオブジェクトＰｏの移動軌跡Ｌｐが仮想世界内に表示される。このように、プレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子をモニタ２に表示することによって、ユーザがプレイヤオブジェクトＰｏの周囲の状況が把握しやすくなるとともに、第１のゲーム例をユーザがプレイしている様子を見ている他の人が仮想世界をプレイヤオブジェクトＰｏが移動する様子を楽しむこともできる。
一例として、ボード型コントローラ９上でユーザが足踏みするような動作をした場合、当該足踏み動作に応じた速度でプレイヤオブジェクトＰｏがバタ足して海中を泳ぐ動作をする。また、ボード型コントローラ９上でユーザが屈伸するような動作をした場合、当該屈伸動作に応じた速度でプレイヤオブジェクトＰｏがドルフィンキックして海中を泳ぐ動作をする。このように、ユーザは、ボード型コントローラ９上の動作によって、プレイヤオブジェクトＰｏの泳法や移動速度を変化させることができる。
例えば、上述したように、ボード型コントローラ９からはボード型コントローラ９上のユーザ動作に応じた荷重検出値が出力される。そして、上記荷重検出値を用いれば、ボード型コントローラ９に加わっている合計荷重やボード型コントローラ９に加わっている荷重の重心位置の算出が可能である。また、上記合計荷重の変化や重心位置の変化を用いれば、ユーザがボード型コントローラ９上でどのような動作をしているのか推定することが可能となる。このようなボード型コントローラ９上で推定されるユーザ動作に応じて、プレイヤオブジェクトＰｏの泳法や移動速度が設定される。
また、ユーザが把持する端末装置６の方向や姿勢に応じて、プレイヤオブジェクトＰｏが海中を泳ぐ姿勢や移動方向が変化する。一例として、ユーザが端末装置６自体を上下左右方向へ向けることによって、当該方向変化に応じてプレイヤオブジェクトＰｏが海中を泳ぐ姿勢（プレイヤオブジェクトＰｏが仮想世界内で向く方向）が当該方向変化に連動して変化するとともに、泳ぐ方向も変化する。具体的には、ユーザが端末装置６の背面を上方向へ向けるように端末装置６自体の方向を変えた場合、プレイヤオブジェクトＰｏが海面方向へ向くように泳ぐ姿勢を変化させるとともに、海上方向へ上昇するように泳ぐ方向を変化させる。また、ユーザが端末装置６の背面を左方向へ向けるように端末装置６自体の方向を変えた場合、プレイヤオブジェクトＰｏから見た左方向へ泳ぐ姿勢を変化させるとともに、左方向へ泳ぐ方向を変化させる。このように、ユーザは、把持する端末装置６の方向や姿勢によって、プレイヤオブジェクトＰｏの姿勢や移動方向を変化させることができる。例えば、端末装置６の姿勢および向きをプレイヤオブジェクトＰｏの姿勢および移動方向に連動させることによって、ユーザは端末装置６を用いて自分自身がプレイヤオブジェクトＰｏとなったかのようなリアリティある操作が可能となる。また、上述したように、海中を泳ぐプレイヤオブジェクトＰｏの背後近傍に仮想カメラが設定されるため、上記プレイヤオブジェクトＰｏの姿勢や移動方向が変化することによって、仮想カメラの姿勢や位置も変化する。例えば、端末装置６の姿勢および向きを上記仮想カメラの姿勢および向きに連動させることによって、ユーザは端末装置６のＬＣＤ６１を介してあたかも仮想世界内を覗いているような感覚を味わうことができる。
例えば、端末装置６からは端末装置６の姿勢変化に応じた加速度データや角速度データが出力される。そして、上記加速度データが示す加速度を用いれば、端末装置６に作用している重力加速度の方向が算出できるため、実空間における鉛直方向を基準として端末装置６がどのような姿勢になっているのか推定することができる。また、上記角速度データが示す角速度および／または上記加速度データが示す加速度を用いれば、端末装置６に作用している角速度や動的な加速度がわかるため、これらの角速度および／または動的な加速度を用いて、実空間における端末装置６の初期姿勢からの姿勢変化（方向変化）を推定することができる。このように推定される端末装置６の姿勢変化（方向変化）に応じて、プレイヤオブジェクトＰｏの姿勢や移動方向および仮想カメラの姿勢や位置が設定される。
次に、ゲームシステム１において行われる第１の実施形態の処理の詳細を説明する。まず、図１１を参照して、第１の実施形態における処理において用いられる主なデータについて説明する。なお、図１１は、第１の実施形態においてゲーム装置本体５の外部メインメモリ１２および／または内部メインメモリ３５（以下、２つのメインメモリを総称して、単にメインメモリと記載する）に記憶される主なデータおよびプログラムの一例を示す図である。
図１１に示すように、メインメモリのデータ記憶領域には、ボード操作データＤａａ、端末操作データＤａｂ、荷重値データＤａｃ、重心位置データＤａｄ、端末装置方向姿勢データＤａｅ、操作方向データＤａｆ、動作姿勢データＤａｇ、移動ベクトルデータＤａｈ、位置データＤａｉ、仮想カメラデータＤａｊ、移動軌跡データＤａｋ、動作モードフラグデータＤａｍ、および画像データＤａｎ等が記憶される。なお、メインメモリには、図１１に示す情報に含まれるデータの他、モニタ２やＬＣＤ６１に表示される各種オブジェクトの画像データやゲームに使用される音声データ等、ゲーム処理に必要なデータが適宜記憶される。また、メインメモリのプログラム記憶領域には、第１の実施形態における情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。
ボード操作データＤａａは、ボード型コントローラ９から送信データとして送信されてくる一連の操作情報（ボード操作データ）が格納され、最新のボード操作データに更新される。例えば、ボード操作データＤａａは、荷重データＤａａ１等を含んでいる。荷重データＤａａ１は、ボード型コントローラ９の荷重センサ９４ａ〜９４ｄがそれぞれ検出した荷重検出値を示すデータである。
端末操作データＤａｂは、端末装置６から送信データとして送信されてくる一連の操作情報（端末操作データ）が格納され、最新の端末操作データに更新される。例えば、端末操作データＤａｂは、加速度データＤａｂ１および角速度データＤａｂ２等を含んでいる。加速度データＤａｂ１は、加速度センサ６０３によって検出された加速度（加速度ベクトル）を表すデータである。例えば、加速度データＤａｂ１は、図３に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の例においては、任意の１以上の方向に関する加速度を表すものであってもよい。角速度データＤａｂ２は、ジャイロセンサ６０４によって検出された角速度を表すデータである。例えば、角速度データＤａｂ２は、図３に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の例においては、任意の１軸以上の軸回り角速度を表すものであってもよい。
なお、ゲーム装置本体５は、コントローラ７、ボード型コントローラ９、および端末装置６からそれぞれ所定周期毎（例えば、１／２００秒毎）に送信される操作情報に含まれるデータ（例えば、荷重検出値、加速度、および角速度を示すデータ）を逐次受信している。例えば、受信されたデータは、入出力プロセッサ３１によってメインメモリに逐次記憶される。後述する処理フローでは、ＣＰＵ１０が最新のボード操作データおよび端末操作データを１フレーム毎（例えば、１／６０秒毎）にメインメモリから読み出して、ボード操作データＤａａおよび端末操作データＤａｂをそれぞれ更新する例を用いる。
また、コントローラ７、ボード型コントローラ９、および端末装置６からそれぞれ所定周期毎に送信される操作情報は、コントローラ通信モジュール１９や端末通信モジュール２８等に備える図示しないバッファに一旦蓄えられてもよい。この場合、上記バッファに蓄えられたデータが、１フレーム毎に読み出されて、メインメモリのボード操作データＤａａ（例えば、荷重データＤａａ１）や端末操作データＤａｂ（例えば、加速度データＤａｂ１および角速度データＤａｂ２）が更新されて用いられる。このとき、操作情報を受信する周期と処理周期とが異なるために、上記バッファには複数の時点に受信した操作情報が記述されていることになるが、複数の時点に受信した操作情報のうち最新の操作情報のみを用いて当該処理が実行される。
荷重値データＤａｃは、ボード型コントローラ９が検出する荷重値を示すデータの集合である。例えば、荷重値データＤａｃは、荷重センサ９４ａ〜９４ｄがそれぞれ検出した荷重の合計値（合計荷重値）を示すデータの集合である。具体的には、荷重値データＤａｃは、時系列的に算出された所定期間内の上記合計荷重値を示すデータの配列であり、配列の各要素に上記合計荷重値を示すデータが時系列に格納される。
重心位置データＤａｄは、ボード型コントローラ９に加わっている荷重の重心位置を示すデータの集合である。例えば、重心位置データＤａｄは、荷重センサ９４ａ〜９４ｄがそれぞれ検出した荷重値から所定の数式を用いて算出される重心位置を示すデータの集合である。具体的には、重心位置データＤａｄは、時系列的に算出された所定期間内の上記重心位置を示すデータの配列であり、配列の各要素に上記重心位置を示すデータが時系列に格納される。
端末装置方向姿勢データＤａｅは、実空間基準方向データＤａｅ１および現方向データＤａｅ２等を含んでいる。実空間基準方向データＤａｅ１は、実空間における端末装置６の基準方向（姿勢；実空間基準方向）を示すデータである。現方向データＤａｅ２は、実空間における端末装置６の現時点の方向および姿勢（現方向）を示すデータである。例えば、実空間基準方向データＤａｅ１および現方向データＤａｅ２は、端末操作データＤａｂに含まれる加速度データＤａｂ１および角速度データＤａｂ２に基づいて算出される。実空間基準方向および現方向の算出方法については、後述する。
操作方向データＤａｆは、仮想世界基準方向データＤａｆ１および操作指示方向データＤａｆ２等を含んでいる。仮想世界基準方向データＤａｆ１は、仮想世界において設定される基準方向を示すデータである。操作指示方向データＤａｆ２は、仮想世界に対して現時点でユーザから指示されている操作指示方向を示すデータである。仮想世界基準方向および操作指示方向の算出方法については、後述する。
動作姿勢データＤａｇは、仮想世界におけるプレイヤオブジェクトＰｏの動作や姿勢を示すデータである。移動ベクトルデータＤａｈは、仮想世界におけるプレイヤオブジェクトＰｏの移動速度および移動方向を示すデータ（例えば、仮想世界における移動ベクトルを示すデータ）である。位置データＤａｉは、仮想世界におけるプレイヤオブジェクトＰｏの位置を示すデータである。仮想カメラデータＤａｊは、仮想世界に設定される仮想カメラに関するデータである。例えば、仮想カメラデータＤａｊは、端末装置６のＬＣＤ６１に表示するゲーム画像を生成するための第１仮想カメラに関するデータと、モニタ２に表示するゲーム画像を生成するための第２仮想カメラに関するデータとを含む。移動軌跡データＤａｋは、仮想世界においてプレイヤオブジェクトＰｏが移動した軌跡を示すデータである。
動作モードフラグデータＤａｍは、プレイヤオブジェクトＰｏに設定されている動作（例えば、泳法）に応じて設定される動作モードフラグを示すデータである。一例として、ボード型コントローラ９上でユーザが屈伸するような動作をした場合、プレイヤオブジェクトＰｏの動作がドルフィンキックして海中を泳ぐ動作に設定されて動作モードフラグがオンに設定される。
画像データＤａｎは、プレイヤオブジェクトデータＤａｎ１および背景画像データＤａｎ２等を含んでいる。プレイヤオブジェクトデータＤａｎ１は、仮想世界に第１のゲーム例におけるプレイヤオブジェクトＰｏを配置してゲーム画像を生成するためのデータである。背景画像データＤａｎ２は、仮想世界に第１のゲーム例における背景を配置してゲーム画像を生成するためのデータである。
次に、図１２〜図１７を参照して、ゲーム装置本体５において行われる第１の実施形態における処理の詳細を説明する。なお、図１２は、ゲーム装置本体５において実行される第１の実施形態における処理の一例を示すフローチャートである。図１３は、図１２におけるステップ４４のゲーム制御処理の一例を示すサブルーチンである。図１４は、図１３におけるステップ８３のプレイヤオブジェクト設定処理の一例を示すサブルーチンである。図１５は、図１４におけるステップ１２６のプレイヤオブジェクト動作設定処理の一例を示すサブルーチンである。図１６は、実空間の水平面に投影した実空間基準方向および現方向と仮想世界の水平面に投影した仮想世界基準方向および操作指示方向との関係の一例を説明するための図である。図１７は、実空間の鉛直面に投影した現方向と仮想世界の鉛直面に投影した操作指示方向との関係の一例を説明するための図である。ここで、図１２〜図１５に示すフローチャートにおいては、処理のうち、端末装置６およびボード型コントローラ９を用いたユーザの操作に応じて、プレイヤオブジェクトＰｏが動作して表示される処理について主に説明し、本願発明と直接関連しない他の処理については詳細な説明を省略する。また、図１２〜図１５では、ＣＰＵ１０が実行する各ステップを「Ｓ」と略称する。
ゲーム装置本体５の電源が投入されると、ゲーム装置本体５のＣＰＵ１０は、ＲＯＭ／ＲＴＣ１３に記憶されている起動用のプログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶された情報処理プログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該プログラムの実行が開始される。図１２〜図１５に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
図１２において、ＣＰＵ１０は、初期処理を実行し（ステップ４０）、次のステップに処理を進める。例えば、上記ステップ４０における初期処理において、ＣＰＵ１０は、仮想世界を構築し、ゲーム空間に登場するプレイヤオブジェクトＰｏや各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする。
次に、ＣＰＵ１０は、端末装置６から送信されてくるデータに基づいて、基準方向を設定し（ステップ４１）、次のステップに処理を進める。以下、ＣＰＵ１０が基準方向を設定する一例について説明する。
端末装置６は、上述したようなデータをゲーム装置本体５へ繰り返し送信している。ゲーム装置本体５においては、端末通信モジュール２８が上記データを逐次受信し、入出力プロセッサ３１が端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。上記ステップ４１においては、ＣＰＵ１０は、メインメモリから最新の端末操作データを読み出して加速度データＤａｂ１および角速度データＤａｂ２を更新する。
次に、ＣＰＵ１０は、実空間における端末装置６の方向および姿勢を算出する。例えば、ＣＰＵ１０は、加速度データＤａｂ１が示す加速度および角速度データＤａｂ２が示す角速度に基づいて、端末装置６の現時点の方向および姿勢を実空間における基準方向（初期姿勢）として算出し、算出された端末装置６の基準方向を示すデータを用いて実空間基準方向データＤａｅ１を更新する。例えば、ＣＰＵ１０は、角速度データＤａｂ２が示す角速度を用いて、端末装置６の単位時間当たりにおける実空間での回転量（方向変化量）を算出することができる。また、実空間において端末装置６がほぼ静止している状態（静的な状態）では、端末装置６に対して加えられる加速度が重力加速度となるため、加速度データＤａｂ１が示す加速度によって端末装置６に加えられる重力方向（すなわち、実空間における鉛直方向を基準とした端末装置６の姿勢）を算出することができる。したがって、ＣＰＵ１０は、加速度データＤａｂ１が示す加速度および角速度データＤａｂ２が示す角速度に基づいて端末装置６の初期姿勢を算出することができる。なお、以下の説明においては、上記ステップ４１が実行される際に、実空間において端末装置６の背面が向いている方向（図３に示すｚ軸正方向）を実空間基準方向とする。
なお、端末装置６の初期姿勢は、加速度データＤａｂ１が示す加速度に基づいて算出されてもよいし、磁気センサ６０２が検出した磁気の方向に基づいて算出されてもよいし、端末装置６を特定の姿勢にした状態でユーザに所定の操作を行わせることで、所定の操作が行われた時点における特定の姿勢を初期姿勢として用いるようにしてもよい。なお、実空間における所定方向を基準とした絶対的な姿勢として端末装置６の姿勢を算出する場合には上記初期姿勢を算出することが必要となる。上記初期姿勢を設定するタイミング、すなわち上記ステップ４１を実行するタイミングは、ゲーム開始時点に自動的に行われてもいいし、端末装置６を用いてユーザが所定の操作（例えば、所定の操作ボタン６４を押下する操作）を行ったことに応じて行われてもかまわない。
また、上記ステップ４１において、仮想世界においてプレイヤオブジェクトＰｏが向いている現時点の方向（例えば、そのまま移動する場合に移動方向となる方向）を仮想世界における基準方向（初期姿勢）として算出し、算出された仮想世界の基準方向を示すデータを用いて仮想世界基準方向データＤａｆ１を更新する。
上記ステップ４１の次にステップ４２の処理が実行される。以降、ステップ４２〜ステップ５１の一連の処理からなる処理ループが所定時間（１フレーム時間）に１回の割合で繰り返し実行される。
ステップ４２において、ＣＰＵ１０は、ボード型コントローラ９から送信されてくるボード操作データを取得し、次のステップに処理を進める。ここで、ボード型コントローラ９は、ボード操作データをゲーム装置本体５へ繰り返し送信している。したがって、ゲーム装置本体５においては、コントローラ通信モジュール１９が上記ボード操作データを逐次受信し、受信されたボード操作データが入出力プロセッサ３１によってメインメモリに逐次記憶される。ボード型コントローラ９のボード操作データ送信の間隔は、ゲームの処理時間（１フレーム時間）よりも短い方が好ましく、例えば２００分の１秒である。上記ステップ４２においては、ＣＰＵ１０は、メインメモリから最新のボード操作データを読み出して荷重データＤａａ１を更新する。なお、上記ボード操作データには、荷重センサ９４ａ〜９４ｄの識別情報を示すデータおよび荷重センサ９４ａ〜９４ｄがそれぞれ検出した荷重検出値を示すデータが含まれており、当該識別情報によって区別されたデータをそれぞれ用いて、荷重データＤａａ１が更新される。
次に、ＣＰＵ１０は、端末装置６から送信されてくる各種のデータを取得し（ステップ４３）、次のステップに処理を進める。ここで、端末装置６は、上記データをゲーム装置本体５へ繰り返し送信している。したがって、ゲーム装置本体５においては、端末通信モジュール２８が上記データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ３１は、端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。上記ステップ４３においては、ＣＰＵ１０は、メインメモリから最新の端末操作データを読み出して加速度データＤａｂ１および角速度データＤａｂ２を更新する。
次に、ＣＰＵ１０は、ゲーム制御処理を行って（ステップ４４）、次のステップに処理を進める。上記ゲーム制御処理は、ユーザによるゲーム操作に従って仮想世界内のプレイヤオブジェクトＰｏを動作させる処理等を実行し、ゲームを進行させる処理である。第１のゲーム例においては、ユーザは、端末装置６およびボード型コントローラ９を用いて種々のゲームを行うことが可能である。以下、図１３を参照して、上記ステップ４４におけるゲーム制御処理について説明する。
図１３において、ＣＰＵ１０は、荷重値および重心位置を算出して（ステップ８１）、次のステップに処理を進める。例えば、ＣＰＵ１０は、荷重データＤａａ１が示す荷重検出値を合計して合計荷重値を算出し、当該合計荷重値を示すデータを用いて荷重値データＤａｃにおける時系列データ配列のうち最新のデータを更新する。具体的には、荷重データＤａａ１は、荷重センサ９４ａ〜９４ｄがそれぞれ検出した最新の荷重検出値を示しているため、当該荷重検出値を合計することによって、上記合計荷重値が算出される。また、ＣＰＵ１０は、荷重データＤａａ１が示す荷重検出値を用いて重心位置を算出し、当該重心位置を示すデータを用いて重心位置データＤａｄにおける時系列データ配列のうち最新のデータを更新する。以下、重心位置の算出方法の一例を説明する。
上記重心位置は、ボード型コントローラ９の台９ａに加わる荷重の重心位置であり、各荷重センサ９４ａ〜９４ｄ（図６参照）が検出する荷重値によって定められる。例えば、上記重心位置は、ボード型コントローラ９の台９ａ上の位置に対応する所定の座標系（例えば、台９ａの中心を原点、台９ａの長辺方向をＸ１軸方向、短辺方向をＹ１軸方向とするＸ１Ｙ１座標系）に基づいた座標値によって表される。そして、荷重センサ９４ａが検出する荷重値をａ、荷重センサ９４ｂが検出する荷重値をｂ、荷重センサ９４ｃが検出する荷重値をｃ、荷重センサ９４ｄが検出する荷重値をｄとした場合、重心のＸ１軸座標値（Ｘ１）およびＹ１軸座標値（Ｙ１）は、以下の数式を用いて算出することができる。
Ｘ１＝（（ａ＋ｃ）―（ｂ＋ｄ））×ｍ
Ｙ１＝（（ｃ＋ｄ）―（ａ＋ｂ））×ｎ
ここで、ｍおよびｎは、それぞれ予め定められた定数である。
このようにして算出される合計荷重値および重心位置は、ボード型コントローラ９上のユーザ動作や体重移動（姿勢）に応じて変化する。一例として、ユーザがボード型コントローラ９上で足踏みを繰り返した場合、合計荷重値が足踏み周期に応じて変動するとともに、ユーザが左足を乗せる位置と右足を乗せる位置の間を、重心位置が足踏み周期に応じて往復移動するように変化する。他の例として、ユーザがボード型コントローラ９上で屈伸運動を繰り返した場合、合計荷重値が屈伸周期に応じて変動するが、重心位置の変化が相対的に少なくなる。
次に、ＣＰＵ１０は、端末装置６の方向変化および姿勢を算出し（ステップ８２）、次のステップに処理を進める。例えば、ＣＰＵ１０は、加速度データＤａｂ１が示す加速度および角速度データＤａｂ２が示す角速度に基づいて、端末装置６の方向変化および姿勢を算出し、算出された端末装置６の方向変化および姿勢を現方向として、当該現方向を示すデータを用いて現方向データＤａｅ２を更新する。ここで、ＣＰＵ１０は、角速度データＤａｂ２が示す角速度を用いて、端末装置６の単位時間当たりにおける実空間での回転量（方向変化量）を算出することができる。また、実空間において端末装置６がほぼ静止している状態（静的な状態）では、端末装置６に対して加えられる加速度が重力加速度となるため、加速度データＤａｂ１が示す加速度によって端末装置６に加えられる重力方向（すなわち、実空間における鉛直方向を基準とした端末装置６の姿勢）を算出することができる。したがって、ＣＰＵ１０は、加速度データＤａｂ１が示す加速度および角速度データＤａｂ２が示す角速度に基づいて端末装置６の方向変化や姿勢を算出することができる。なお、以下の説明においては、実空間において端末装置６の背面が向いている現時点の方向（図３に示すｚ軸正方向）を端末装置６の現方向とする。
なお、本実施形態においては、端末装置６で検出される加速度および角速度を示すデータに基づいて端末装置６の方向変化や姿勢を算出するが、他の実施形態においては、何れか１つのデータや３つ以上のデータを用いて端末装置６の方向変化や姿勢を算出してもよい。例えば、端末装置６に設けられた磁気センサ６０２は、端末装置６に加わる磁気を検出しており、端末装置６に加わる地磁気の方向から端末装置６を基準とした所定の方位（すなわち、所定の方位を基準とした端末装置６の姿勢）を算出することができる。なお、端末装置６が配置されている実空間に、地磁気以外の磁界が発生している場合であっても、端末装置６の回転量を算出することができる。したがって、ＣＰＵ１０は、端末装置６で検出される加速度、角速度、および磁気を示すデータの少なくとも１つを用いれば、端末装置６の方向変化や姿勢を算出することができる。
また、端末装置６の姿勢の具体的な算出方法はどのような方法であってもよいが、例えば、角速度データＤａｂ２が示す角速度に基づいて算出される端末装置６の姿勢を、加速度データＤａｂ１が示す加速度および磁気センサ６０２が検出した磁気の方向を用いて補正する方法が考えられる。
具体的には、ＣＰＵ１０は、まず、角速度データＤａｂ２が示す角速度に基づいて端末装置６の姿勢を算出する。端末装置６の姿勢を角速度から算出する方法はどのような方法であってもよいが、一例として、前回の姿勢（前回に算出された姿勢）と今回の角速度（今回の処理ループにおけるステップ４２で取得された角速度）とを用いて算出される。ＣＰＵ１０は、前回の姿勢を今回の角速度で単位時間分だけ回転させることによって新たな姿勢を算出する。なお、前回の姿勢は、現方向データＤａｅ２により表され、今回の角速度は、角速度データＤａｂ２により表される。したがって、ＣＰＵ１０は、現方向データＤａｅ２および角速度データＤａｂ２を読み出して、端末装置６の姿勢を算出する。なお、上述したように上記ステップ４１において、端末装置６の初期姿勢が定められている。したがって、端末装置６の姿勢を角速度から算出する場合には、ＣＰＵ１０は、最初に算出された端末装置６の初期姿勢を基準として現時点における端末装置６の姿勢を算出することができる。
次に、ＣＰＵ１０は、角速度に基づいて算出した端末装置６の姿勢を、加速度データＤａｂ１が示す加速度を用いて補正する。具体的には、ＣＰＵ１０は、加速度データＤａｂ１が示す加速度に基づいて端末装置６の姿勢を算出する。ここで、端末装置６がほぼ静止している状態では、端末装置６に対して加えられている加速度は重力加速度となる。したがって、この状態においては、加速度データＤａｂ１が示す加速度の方向を用いて重力加速度の方向（重力方向）を算出することができるので、重力方向に対する端末装置６の向き（姿勢）を算出することができる。
加速度に基づく端末装置６の姿勢が算出されると、ＣＰＵ１０は、加速度に基づく姿勢を用いて、角速度に基づく姿勢を補正する。具体的には、ＣＰＵ１０は、角速度に基づいて算出された端末装置６の姿勢を、加速度に基づいて算出された端末装置６の姿勢へ所定の割合で近づける補正を行う。上記所定の割合は、予め定められた固定値であってもよいし、加速度データＤａｂ１が示す加速度等に応じて設定されてもよい。また、加速度に基づいて算出された端末装置６の姿勢に関しては、重力方向を軸とする回転方向については姿勢を算出することができないので、ＣＰＵ１０は、当該回転方向に関して補正を行わないようにしてもよい。なお、角速度に基づいて算出された端末装置６の姿勢を、磁気センサ６０２が検出した磁気の方向に基づいて補正する場合には、ＣＰＵ１０は、角速度に基づいて算出された端末装置６の姿勢を、磁気の方向に基づいて算出された端末装置６の姿勢へと所定の割合で近づけるようにすればよい。以上によれば、ＣＰＵ１０は、端末装置６の姿勢を正確に算出することができる。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏを設定し（ステップ８３）、次のステップに処理を進める。以下、図１４を参照して、上記ステップ８３におけるプレイヤオブジェクト設定処理について説明する。
図１４において、ＣＰＵ１０は、実空間基準方向と現方向との間の水平角度差を算出し（ステップ１２０）、次のステップに処理を進める。ここで、上記水平角度差は、実空間における実空間基準方向と現方向との間の角度差を水平面に投影した角度差（例えば、図１６に示す角度Ａ）であり、端末装置６の初期姿勢から実空間の鉛直方向を軸として端末装置６の方向（端末装置６の背面が向いている方向（図３に示すｚ軸正方向））を変えた角度を示すものである。例えば、ＣＰＵ１０は、実空間基準方向データＤａｅ１が示す実空間基準方向と、現方向データＤａｅ２が示す現方向とを用いて、上記水平角度差を算出する。
次に、ＣＰＵ１０は、上記水平角度差および上下方向における端末装置６の姿勢（上下角度）に応じて、仮想世界基準方向に対する操作指示方向を算出し（ステップ１２１）、次のステップに処理を進める。例えば、図１６に示すように、ＣＰＵ１０は、仮想世界基準方向データＤａｆ１が示す仮想世界基準方向を用いて、当該仮想世界基準方向と操作指示方向とを仮想世界の水平面に投影した場合に生じる角度差が、上記水平角度差となり、かつ、同じ位置関係となる（すなわち、実空間基準方向に対して現方向が左回転している場合は、仮想世界基準方向に対して操作指示方向も左回転した位置関係となるようにする）ように仮想世界における操作指示方向を算出する（図１６に示す角度Ａ）。さらに、図１７に示すように、ＣＰＵ１０は、現方向データＤａｅ２が示す現方向を用いて、仮想世界における水平方向と操作指示方向との角度差が、実空間における水平方向と当該現方向との角度差となり、かつ、同じ位置関係となる（すなわち、実空間の水平方向に対して現方向が下向きである場合は、仮想世界の水平方向に対して操作指示方向も下向きとなるようにする）ように仮想世界における操作指示方向を算出する（図１７に示す角度Ｃ）。そして、ＣＰＵ１０は、算出された操作指示方向を用いて、操作指示方向データＤａｆ２を更新する。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏが移動しているか否かを判断する（ステップ１２２）。例えば、ＣＰＵ１０は、移動ベクトルデータＤａｈに移動ベクトルが設定されている場合、プレイヤオブジェクトＰｏが移動していると判断する。そして、ＣＰＵ１０は、プレイヤオブジェクトＰｏが移動している場合、次のステップ１２３に処理を進める。一方、ＣＰＵ１０は、プレイヤオブジェクトＰｏが移動していない場合、次のステップ１２９に処理を進める。
ステップ１２３において、ＣＰＵ１０は、上記ステップ１２０で算出された水平角度差に応じて、回転移動角度を算出し、次のステップに処理を進める。例えば、ＣＰＵ１０は、回転移動角度Ｂ（図１６に示す角度Ｂ）を
Ｂ＝Ａ×ａ１
で算出する。ここで、Ａは水平角度差であり、ａ１は１より小さい正の定数（例えば、０．００１）である。
次に、ＣＰＵ１０は、上記ステップ１２３で算出された回転移動角度に応じて、仮想世界基準方向を変化させて（ステップ１２４）、次のステップに処理を進める。例えば、ＣＰＵ１０は、仮想世界基準方向データＤａｆ１が示す仮想世界基準方向を仮想世界の水平面に投影した場合に、上記回転移動角度だけ操作指示方向に近づけて仮想世界基準方向を変化させ、変化させた仮想世界基準方向を用いて仮想世界基準方向データＤａｆ１を更新する。
次に、ＣＰＵ１０は、操作指示方向データＤａｆ２が示す操作指示方向に基づいて、仮想世界におけるプレイヤオブジェクトＰｏの向きを設定し（ステップ１２５）、次のステップに処理を進める。一例として、ＣＰＵ１０は、操作指示方向データＤａｆ２が示す操作指示方向をそのままプレイヤオブジェクトＰｏの向きとして、動作姿勢データＤａｇを更新する。したがって、仮想世界におけるプレイヤオブジェクトＰｏの向きは、実空間における端末装置６の姿勢に基づいて設定されることになる。例えば、ユーザが端末装置６の背面を上方向に向けた場合、当該背面が鉛直方向に対して仰向いている角度に応じた仰角にプレイヤオブジェクトＰｏの向きが設定される。また、ユーザが端末装置６の背面を下方向に向けた場合、当該背面が鉛直方向に対して俯けられている角度に応じた俯角にプレイヤオブジェクトＰｏの向きが設定される。さらに、実空間基準方向に対する端末装置６の左右方向変化に基づいて、プレイヤオブジェクトＰｏの左右の向きが設定される。例えば、端末装置６がｙ軸回りの回転方向であるヨー方向（図３参照）に回動した場合、当該回転量に応じてプレイヤオブジェクトＰｏの向きも変化する。具体的には、端末装置６がｙ軸負方向からみて左方向へｙ軸周りの回動をした場合、当該回転量に応じてプレイヤオブジェクトＰｏの向きもプレイヤオブジェクトＰｏから見て左方向に変化する。また、実空間基準方向に対してユーザが端末装置６を左または右方向に回動させた状態を維持した場合、仮想世界基準方向が左または右方向へ変化し続けるため、上記ステップ１２１が実行されることによって仮想世界基準方向の変化に応じて操作指示方向も左または右方向へ変化し続ける。したがって、実空間基準方向に対してユーザが端末装置６を左または右方向に回動させた状態を維持した場合、プレイヤオブジェクトＰｏの向きもさらに左または右方向へ変化し続けることになる。つまり、ユーザがプレイヤオブジェクトＰｏの向きを逆方向に反転させる等、大きく変化させたい場合であっても、端末装置６の向きを逆方向等に大きく変化させる必要がないため、ユーザの操作性を向上させることができる。
次に、ＣＰＵ１０は、プレイヤオブジェクト動作設定処理を行い（ステップ１２６）、次のステップに処理を進める。以下、図１５を参照して、上記ステップ１２６で行うプレイヤオブジェクト動作設定処理について説明する。
図１５において、ＣＰＵ１０は、動作モードフラグデータＤａｍが示す動作モードフラグがオフに設定されているか否かを判断する（ステップ１４０）。そして、ＣＰＵ１０は、動作モードフラグがオフに設定されている場合、次のステップ１４１に処理を進める。一方、ＣＰＵ１０は、動作モードフラグがオンに設定されている場合、次のステップ１４８に処理を進める。
ステップ１４１において、ＣＰＵ１０は、合計荷重値が所定値以上であるか否かを判断する。例えば、ＣＰＵ１０は、荷重値データＤａｃが示す最新の合計荷重値が、上記所定値以上であるか否かを判断する。上記所定値は、ボード型コントローラ９上でユーザが屈伸するような動作をしたことを判定するための閾値であり、一例としてボード型コントローラ９に乗っているユーザの体重に所定の割合（例えば、２０％）を加算した値に設定される。ここで、ボード型コントローラ９に乗っているユーザの体重は、上記合計荷重値に基づいて算出（例えば、所定期間内に得られた合計荷重値の平均値）されてもいいし、ユーザが予め入力した値であってもよい。そして、ＣＰＵ１０は、合計荷重値が所定値以上である場合、次のステップ１４２に処理を進める。一方、ＣＰＵ１０は、合計荷重値が所定値未満である場合、次のステップ１４４に処理を進める。
ステップ１４２において、ＣＰＵ１０は、ドルフィンキックを打つ動作にオブジェクト動作を設定し、次のステップに処理を進める。例えば、ＣＰＵ１０は、合計荷重値が上記所定値以上である場合、ボード型コントローラ９の上でユーザが屈伸運動したと判断する。この場合、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をドルフィンキック泳法で泳ぐ動作に設定するとともに、ドルフィンキックを打つ動作に設定し、設定された動作を用いて動作姿勢データＤａｇを更新する。
次に、ＣＰＵ１０は、動作モードフラグをオンに設定し（ステップ１４３）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、動作モードフラグデータＤａｍが示す動作モードフラグをオンに変更する。
一方、上記ステップ１４１において合計荷重値が所定値未満であると判定された場合、ＣＰＵ１０は、重心位置データＤａｄが示す重心位置が右足領域外から右足領域内へ移動したか否かを判断する（ステップ１４４）。そして、ＣＰＵ１０は、重心位置が右足領域外から右足領域内へ移動した場合、次のステップ１４５に処理を進める。一方、ＣＰＵ１０は、重心位置が右足領域外から右足領域内へ移動していない場合、次のステップ１４６に処理を進める。
ここで、ボード型コントローラ９の台９ａ上の位置に対応する所定の座標系（例えば、台９ａの中心を原点、台９ａの長辺方向をＸ１軸方向、短辺方向をＹ１軸方向とするＸ１Ｙ１座標系）には、ユーザが足踏み動作において左足を上げて右足を下げた場合に上記重心位置が移動する領域（右足領域）と、ユーザが足踏み動作において右足を上げて左足を下げた場合に上記重心位置が移動する領域（左足領域）とが設定される。例えば、台９ａ上における左右（例えば、電源ボタン９ｃを下にした左右）に左足領域および右足領域が設定され、左足領域および右足領域の間には前後方向に延びる所定幅の中立領域が設定される。上記ステップ１４４の処理では、重心位置データＤａｄが示す最新の重心位置が中立領域内から右足領域内に移動した場合等、右足領域外から右足領域内へ移動した場合に肯定判定される。
なお、ユーザは、ボード型コントローラ９上で向きを変えながら足踏みをすることが考えられる。この場合、上記左足領域、上記右足領域、および上記中立領域それぞれの位置を固定していると、正確な足踏み判定ができなくなることが考えられる。このような場合、上記座標系における重心位置の移動に基づいて、上記座標系における上記左足領域、上記右足領域、および上記中立領域を移動させればよい。例えば、所定期間における重心位置の移動距離が所定長さ以上である場合、当該所定期間中における重心位置の移動軌跡の中心位置において当該移動軌跡に対して垂直に延びるように上記中立領域を移動させ、当該中立領域の移動に応じて上記左足領域および上記右足領域を移動させる。このように上記左足領域、上記右足領域、および上記中立領域を移動させることによって、ボード型コントローラ９上で向きを変えながらユーザが足踏みしたとしても、正確に足踏み判定を行うことができる。
また、上述した足踏み判定では、ユーザがボード型コントローラ９上で足踏みした足が左足であるか右足であるかを判定しているが、このような左右の区別をしなくてもかまわない。例えば、上述した説明における「左足」を「一方の足」とし、「右足」を「他方の足」として処理を行った場合、ユーザが足踏みした足とプレイヤオブジェクトＰｏがバタ足で打つ足とが上述した処理の逆になる可能性があるものの、ユーザの足踏み動作にプレイヤオブジェクトＰｏのバタ足動作のタイミングを同期させた動作指示が可能となる。
ステップ１４５において、ＣＰＵ１０は、右足でバタ足を打つ動作にオブジェクト動作を設定し、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、重心位置が右足領域外から右足領域内へ移動した場合、ボード型コントローラ９の上でユーザが左足を上げて右足を下げる足踏み動作を行ったと判断する。この場合、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をバタ足泳法で泳ぐ動作に設定するとともに、右足でバタ足を打つ動作に設定し、設定された動作を用いて動作姿勢データＤａｇを更新する。
ステップ１４６において、ＣＰＵ１０は、重心位置データＤａｄが示す重心位置が左足領域外から左足領域内へ移動したか否かを判断する。そして、ＣＰＵ１０は、重心位置が左足領域外から左足領域内へ移動した場合、次のステップ１４７に処理を進める。一方、ＣＰＵ１０は、重心位置が左足領域外から左足領域内へ移動していない場合、次のステップ１５１に処理を進める。
ステップ１４７において、ＣＰＵ１０は、左足でバタ足を打つ動作にオブジェクト動作を設定し、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、重心位置が左足領域外から左足領域内へ移動した場合、ボード型コントローラ９の上でユーザが右足を上げて左足を下げる足踏み動作を行ったと判断する。この場合、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をバタ足泳法で泳ぐ動作に設定するとともに、左足でバタ足を打つ動作に設定し、設定された動作を用いて動作姿勢データＤａｇを更新する。
上記ステップ１４０において動作モードフラグがオンであると判定された場合、ＣＰＵ１０は、動作モードフラグがオンされてから所定時間が経過したか否かを判断する（ステップ１４８）。そして、ＣＰＵ１０は、所定時間が経過した場合、次のステップ１４９に処理を進める。一方、ＣＰＵ１０は、所定時間が経過していない場合、次のステップ１５０に処理を進める。ここで、上記所定時間は、ドルフィンキックが打たれてから次のドルフィンキック操作入力やバタ足操作入力を可能にするまでの時間であり、当該所定時間が経過するまでの間はボード型コントローラ９を用いたユーザの動作判定を行わない。これによって、ドルフィンキックを行った直後におけるユーザ動作の誤判定を防止することが可能となる。
ステップ１４９において、ＣＰＵ１０は、動作モードフラグをオフに設定し、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、動作モードフラグデータＤａｍが示す動作モードフラグをオフに変更する。
一方、ステップ１５０において、ＣＰＵ１０は、ドルフィンキック中にオブジェクト動作を設定し、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をドルフィンキック泳法で泳ぐ動作に継続して設定するとともに、ドルフィンキック中に設定し、設定された動作を用いて動作姿勢データＤａｇを更新する。
動作モードフラグがオフ（上記ステップ１４０で否定判定）、合計荷重値が所定値未満（上記ステップ１４１で否定判定）、重心位置が右足領域外から右足領域内へ移動していない（上記ステップ１４４で否定判定）、および重心位置が左足領域外から左足領域内へ移動していない（上記ステップ１４６で否定判定）場合、ＣＰＵ１０は、現在設定されている動作を継続する動作に設定し（ステップ１５１）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、足を打つ動作（例えば、バタ足を打つ動作）が設定されている場合は当該動作を解除し、オブジェクト動作として設定されているプレイヤオブジェクトＰｏの泳法はそのまま継続して設定し、設定された動作を用いて動作姿勢データＤａｇを更新する。
図１４に戻り、上記ステップ１２６におけるプレイヤオブジェクト動作設定処理の後、ＣＰＵ１０は、プレイヤオブジェクトＰｏの移動ベクトルを設定し（ステップ１２７）、次のステップに処理を進める。例えば、ＣＰＵ１０は、荷重値データＤａｃが示す合計荷重値の時系列的な配列（合計荷重値の変化履歴）および上記ステップ１２６で設定されたプレイヤオブジェクトＰｏの動作（泳法）に基づいて、プレイヤオブジェクトＰｏの移動速度を算出する。一例として、ＣＰＵ１０は、合計荷重値が変化する周期が短いほど、プレイヤオブジェクトＰｏが移動する速度を速く算出するとともに、合計荷重値の最大値や変化幅が大きいほど、プレイヤオブジェクトＰｏが移動する速度を速く算出する。つまり、ユーザがボード型コントローラ９上で足踏みしたり屈伸したりするピッチが短いほどプレイヤオブジェクトＰｏの移動速度が速くなり、ユーザがボード型コントローラ９上で足踏みしたり屈伸したりする強さが強いほどプレイヤオブジェクトＰｏの移動速度が速くなることになる。そして、ＣＰＵ１０は、算出された移動速度を設定されている泳法による係数で補正して、プレイヤオブジェクトＰｏの移動速度を決定する。また、プレイヤオブジェクトＰｏの移動速度は、足を打つタイミングにおいて相対的に速く設定し、次の足を打つタイミングまでは漸減的に遅くなるように設定される。
また、ＣＰＵ１０は、操作指示方向データＤａｆ２が示す仮想世界における操作指示方向をプレイヤオブジェクトＰｏの移動方向とする。そして、ＣＰＵ１０は、上述したように算出されたプレイヤオブジェクトＰｏの移動速度および移動方向を用いて、仮想世界における移動ベクトルを算出し、算出された移動ベクトルを用いて移動ベクトルデータＤａｈを更新する。例えば、ＣＰＵ１０は、算出されたプレイヤオブジェクトＰｏの移動速度を用いて移動ベクトルの長さを設定し、操作指示方向データＤａｆ２が示す操作指示方向を用いて移動ベクトルの方向を設定する。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏの位置を算出し（ステップ１２８）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、移動ベクトルデータＤａｈが示す移動ベクトルに基づいて、位置データＤａｉが示すプレイヤオブジェクトＰｏの位置を仮想世界内で移動させ、移動後の位置を用いて位置データＤａｉを更新する。
一方、上記ステップ１２２においてプレイヤオブジェクトＰｏが移動していないと判定された場合、ＣＰＵ１０は、操作指示方向データＤａｆ２が示す操作指示方向に基づいて、仮想世界におけるプレイヤオブジェクトＰｏの向きを設定し（ステップ１２９）、次のステップに処理を進める。なお、上記ステップ１２９の処理については、上記ステップ１２５の処理と同様であるため詳細な説明を省略する。
次に、ＣＰＵ１０は、静止状態にオブジェクト動作を設定し（ステップ１３０）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作を静止状態（例えば、水中を泳ぐことなく漂っている状態）に設定し、設定された動作を用いて動作姿勢データＤａｇを更新する。
図１３に戻り、上記ステップ８３のプレイヤオブジェクト設定処理の後、ＣＰＵ１０は、仮想カメラに関するパラメータを設定し（ステップ８４）、次のステップに処理を進める。例えば、端末用ゲーム画像およびモニタ用ゲーム画像は、仮想世界（仮想空間）内に仮想カメラを配置して、仮想カメラから見たゲーム空間を計算することによって得られる３次元のＣＧ画像等によってそれぞれ生成される。具体的には、端末用ゲーム画像を生成するための第１仮想カメラは、仮想世界に配置されているプレイヤオブジェクトＰｏの背後近傍から見た仮想世界内の様子が含まれるように設定される。また、モニタ用ゲーム画像を生成するための第２仮想カメラは、上記第１仮想カメラが設定されている同じ仮想世界に設定され、当該仮想世界に配置されているプレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子が含まれるように設定される。ＣＰＵ１０は、位置データＤａｉが示すプレイヤオブジェクトＰｏの位置や操作指示方向データＤａｆ２に応じた操作指示方向（プレイヤオブジェクトＰｏの方向）に基づいて、第１仮想カメラおよび第２仮想カメラの仮想世界における位置（第１仮想カメラおよび第２仮想カメラに関するパラメータ）を設定する。このように、端末用ゲーム画像およびモニタ用ゲーム画像がそれぞれ異なる視点から見た仮想世界のゲーム画像となるため、それらが表示されるＬＣＤ６１およびモニタ２にもそれぞれ異なる視点から見た仮想世界のゲーム画像が表示されることになる。また、第１仮想カメラの向きが操作指示方向（プレイヤオブジェクトＰｏの方向）に基づいて設定されているが、上述したように端末装置６の姿勢に基づいて操作指示方向（プレイヤオブジェクトＰｏの方向）が設定されているため、結果的に端末装置６の姿勢に基づいて第１仮想カメラの向きを制御していることになる。つまり、ユーザは、端末装置６本体を動かすことによって、端末装置６のＬＣＤ６１に表示されている仮想世界画像を生成する第１仮想カメラを制御することが可能となる。そして、端末装置６の姿勢および向きが第１仮想カメラの姿勢および向きに連動するため、ユーザは端末装置６のＬＣＤ６１を介してあたかも仮想世界内を覗いているような感覚を味わうことができる。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏの移動軌跡を設定し（ステップ８５）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、移動軌跡データＤａｋが示す移動軌跡に、位置データＤａｉが示すプレイヤオブジェクトＰｏの現在位置を追加し、現在位置が追加された移動軌跡を用いて移動軌跡データＤａｋを更新する。
図１２に戻り、上記ステップ４４におけるゲーム制御処理の後、ＣＰＵ１０およびＧＰＵ３２は、モニタ２に表示するためのモニタ用ゲーム画像を生成し（ステップ４５）、次のステップに処理を進める。例えば、ＣＰＵ１０およびＧＰＵ３２は、上記ステップ４４のゲーム制御処理の結果を表す各データをメインメモリから読み出し、モニタ用ゲーム画像を生成するために必要なデータをＶＲＡＭ３４から読み出してゲーム画像を生成し、生成されたモニタ用ゲーム画像をＶＲＡＭ３４に記憶する。上記モニタ用ゲーム画像は、上記ステップ４４のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。例えば、モニタ用ゲーム画像は、仮想カメラデータＤａｊが示す第２仮想カメラに関するパラメータに基づいて仮想世界に第２仮想カメラを配置し、動作姿勢データＤａｇおよび位置データＤａｉに基づいて仮想世界にプレイヤオブジェクトＰｏを配置し、移動軌跡データＤａｋに基づいて仮想世界に移動軌跡Ｌｐを配置して、当該第２仮想カメラから見た仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。
次に、ＣＰＵ１０およびＧＰＵ３２は、端末装置６に表示するための端末用ゲーム画像を生成し（ステップ４６）、次のステップに処理を進める。例えば、ＣＰＵ１０およびＧＰＵ３２は、上記ステップ４４のゲーム制御処理の結果を表す各データをメインメモリから読み出し、端末用ゲーム画像を生成するために必要なデータをＶＲＡＭ３４から読み出してゲーム画像を生成し、生成されたモニタ用ゲーム画像をＶＲＡＭ３４に記憶する。端末用ゲーム画像についても、上記モニタ用ゲーム画像と同様に上記ステップ４４のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。また、端末用ゲーム画像は、上記モニタ用ゲーム画像と同様の方法で生成されてもよいし、異なる方法で生成されてもよい。例えば、端末用ゲーム画像は、仮想カメラデータＤａｊが示す第１仮想カメラに関するパラメータに基づいて仮想世界に第１仮想カメラを配置し、動作姿勢データＤａｇおよび位置データＤａｉに基づいて仮想世界にプレイヤオブジェクトＰｏを配置して、当該第１仮想カメラから見た仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。
なお、動作姿勢データＤａｇが示すプレイヤオブジェクトＰｏの動作が足を打つ動作（ドルフィンキックを打つ動作やバタ足を打つ動作）を示している場合、プレイヤオブジェクトＰｏが足を打つ動作を行うように上記仮想世界に配置してもよい。これによって、ユーザがボード型コントローラ９で行う動作（足踏み動作、屈伸動作）に同期させて、プレイヤオブジェクトＰｏを動作させることが可能となる。
次に、ＣＰＵ１０は、モニタ２のスピーカ２ａに出力するためのモニタ用ゲーム音声を生成し（ステップ４７）、次のステップに処理を進める。例えば、ＣＰＵ１０は、上記ステップ４４のゲーム制御処理の結果に応じてスピーカ２ａから出力するためのモニタ用ゲーム音声をＤＳＰ３３に生成させる。一例として、ＣＰＵ１０は、上記ステップ４４のゲーム制御処理の結果に応じて設定された仮想世界において、第２仮想カメラの位置を基準として聞こえると想定される各オブジェクトの声、動作音、および効果音等に、モニタ２から出力させたいＢＧＭ等を加えたモニタ用ゲーム音声を、ＤＳＰ３３に生成させる。
次に、ＣＰＵ１０は、端末装置６のスピーカ６０７に出力するための端末用ゲーム音声を生成し（ステップ４８）、次のステップに処理を進める。例えば、ＣＰＵ１０は、上記ステップ４４のゲーム制御処理の結果に応じてスピーカ６０７から出力するための端末用ゲーム音声をＤＳＰ３３に生成させる。一例として、ＣＰＵ１０は、上記ステップ４４のゲーム制御処理の結果に応じて設定された仮想世界において、第１仮想カメラの位置を基準として聞こえると想定される各オブジェクトの声、動作音、および効果音等に、端末装置６から出力させたいＢＧＭ等を加えた端末用ゲーム音声を、ＤＳＰ３３に生成させる。なお、上記端末用ゲーム音声は、上記モニタ用ゲーム音声と同じであってもよいし、異なっていてもよい。また、上記端末用ゲーム音声は、上記モニタ用ゲーム音声に対して、一部の音声が異なる（例えば効果音は異なるが、ＢＧＭが同じ）ものでもよい。なお、モニタ用ゲーム音声と端末用ゲーム音声とが同一である場合、ステップ４８において端末用ゲーム音声の生成処理が実行されなくてもよい。
次に、ＣＰＵ１０は、モニタ２へモニタ用ゲーム画像およびモニタ用ゲーム音声を出力し（ステップ４９）、次のステップに処理を進める。例えば、ＣＰＵ１０は、ＶＲＡＭ３４に記憶されたモニタ用ゲーム画像のデータと、ＤＳＰ３３によって生成されたモニタ用ゲーム音声のデータとを、ＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５は、モニタ用ゲーム画像およびモニタ用ゲーム音声を示すデータを、ＡＶコネクタ１６を介してモニタ２へ出力する。これによって、モニタ用ゲーム画像がモニタ２に表示されるとともに、モニタ用ゲーム音声がスピーカ２ａから出力される。
次に、ＣＰＵ１０は、端末装置６へ端末用ゲーム画像および端末用ゲーム音声を送信し（ステップ５０）、次のステップに処理を進める。例えば、ＣＰＵ１０は、ＶＲＡＭ３４に記憶された端末用ゲーム画像のデータおよびＤＳＰ３３によって生成された端末用ゲーム音声のデータは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された端末用ゲーム画像のデータおよび端末用ゲーム音声のデータは、コーデックＬＳＩ２７によって端末通信モジュール２８に送られ、アンテナ２９を介して端末通信モジュール２８によって端末装置６へ送信される。ゲーム装置本体５から送信された端末用ゲーム画像のデータおよび端末用ゲーム音声のデータは、端末装置６の無線モジュール６１０によって受信され、コーデックＬＳＩ６０６によって所定の伸張処理が行われる。そして、伸張処理が行われた端末用ゲーム画像のデータは、ＬＣＤ６１に出力され、伸張処理が行われた端末用ゲーム音声のデータ音声データは、サウンドＩＣ６０８に出力される。これによって、端末用ゲーム画像がＬＣＤ６１に表示されるとともに、端末用ゲーム音声がスピーカ６０７から出力される。
次に、ＣＰＵ１０は、ゲームを終了するか否かを判定する（ステップ５１）。ゲームを終了する条件としては、例えば、ゲームオーバーやゲームクリアとなる条件が満たされたことや、ユーザがゲームを終了する操作を行ったこと等がある。ＣＰＵ１０は、ゲームを終了しない場合に上記ステップ４２に戻って処理を繰り返し、ゲームを終了する場合に当該フローチャートによる処理を終了する。以降、ステップ４２〜ステップ５１の一連の処理は、ステップ５１でゲームを終了すると判定されるまで繰り返し実行される。
このように、上述した処理によれば、ボード型コントローラ９上でユーザ自身の動作に基づいた操作を行って当該ユーザ動作に基づいた処理を行う場合に、当該処理結果をユーザが把持している可搬型の端末装置６のＬＣＤ６１で見ることができるため、端末装置６を把持して動作することによって好適な状況で処理結果を見ることが可能となる。また、可搬型の端末装置６を動かすことによって仮想カメラやプレイヤオブジェクトＰｏの姿勢や移動方向を制御することができるため、あたかも仮想世界の中にユーザがいるような感覚を与えたり、あたかもユーザ自身がプレイヤオブジェクトＰｏになったかのような操作感覚をユーザに与えたりすることが可能となる。
（第２の実施形態）
端末装置６およびボード型コントローラ９を用いて操作するゲームは、上記第１のゲーム例に限らず、種々のゲーム例が考えられる。以下の第２の実施形態における情報処理の概要の説明においては、情報処理の一例として第２のゲーム例を用いる。なお、第２の実施形態に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについては、上述した第１の実施形態と同様であるため同じ構成要素には同一の参照符号を付して詳細な説明を省略する。
まず、ゲーム装置本体５が行う第２の実施形態における具体的な処理を説明する前に、図１８Ａ、図１８Ｂ、図１９、および図２０を用いてゲーム装置本体５で行う情報処理の概要について説明する。以下の第２の実施形態における情報処理の概要の説明においては、情報処理の一例として第２のゲーム例を用いる。なお、図１８Ａは、第２のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の一例を示す図である。図１８Ｂは、第２のゲーム例において、モニタ２に表示される画像の一例を示す図である。図１９は、第２のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の他の例を示す図である。図２０は、端末装置６の姿勢に応じて仮想カメラの位置および姿勢が変化する一例を説明するための概要図である。
第２のゲーム例では、図９に示した第１のゲーム例における操作と同様に、端末装置６およびボード型コントローラ９を用いてユーザが操作する。具体的には、第１のゲーム例における操作と同様に、ユーザは、端末装置６を把持しながら、ボード型コントローラ９上に乗って操作する。そして、ユーザは、モニタ２に表示された画像や端末装置６のＬＣＤ６１に表示された画像を見ながら、ボード型コントローラ９上で動作（例えば、ボード型コントローラ９上で屈伸動作したり、ボード型コントローラ９に加える荷重の重心位置を調整したりする動作）するとともに、端末装置６自体を動かす操作をすることによってプレイする。そして、端末装置６のＬＣＤ６１およびモニタ２には、ユーザが把持する端末装置６の方向や姿勢と、ボード型コントローラ９上におけるユーザ動作とに応じて、仮想世界においてプレイヤオブジェクトＰｏや仮想カメラが動作（例えば、プレイヤオブジェクトＰｏの姿勢や移動方向が変化する動作や仮想カメラの位置や姿勢が変化する動作）し、プレイヤオブジェクトＰｏの位置や姿勢および／またはユーザ動作に応じて仮想世界に設定される仮想カメラの位置や姿勢を変化させたゲーム画像が表現される。
図１８Ａに示すように、端末装置６のＬＣＤ６１には仮想世界内を移動するプレイヤオブジェクトＰｏが表示される。図１８Ａに示した一例では、仮想世界の地上でホッピングするプレイヤオブジェクトＰｏの背後近傍に仮想カメラが設定され、当該仮想カメラから見た仮想世界内の様子がプレイヤオブジェクトＰｏとともに表示されている。このように、プレイヤオブジェクトＰｏの背後近傍から見た仮想世界をＬＣＤ６１に表示することによって、端末装置６を把持しているユーザに仮想世界の臨場感を与えるとともに、ユーザがプレイヤオブジェクトＰｏの移動方向や移動速度を直感的に知ることができる。
また、図１８Ｂに示すように、モニタ２にもＬＣＤ６１に表示されている仮想世界と同じ仮想世界が表示される。図１８Ｂに示した一例では、ホッピングするプレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子がプレイヤオブジェクトＰｏとともに表示されている。このように、プレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子をモニタ２に表示することによって、ユーザがプレイヤオブジェクトＰｏの周囲の状況が把握しやすくなるとともに、第２のゲーム例をユーザがプレイしている様子を見ている他の人が仮想世界をプレイヤオブジェクトＰｏが移動する様子を楽しむこともできる。
一例として、ボード型コントローラ９上でユーザが屈伸（ジャンプ）するような動作をした場合、当該屈伸動作に応じた速度でプレイヤオブジェクトＰｏがホッピングでジャンプする動作をする。また、プレイヤオブジェクトＰｏが仮想世界の空中にいる状態で、ユーザがボード型コントローラ９上に加える荷重の重心位置を変化させるような動作をした場合、プレイヤオブジェクトＰｏの空中における移動方向が当該重心位置の移動に応じた方向へ変化する。このように、ユーザは、ボード型コントローラ９上の動作によって、プレイヤオブジェクトＰｏのジャンプ力（移動速度）や移動方向を変化させることができる。
また、端末装置６の姿勢を変えたり端末装置６の向きが変わるように回転移動させたりすることによってプレイヤオブジェクトＰｏがジャンプする際に飛び出す移動方向や仮想カメラの位置および姿勢が変化する。例えば、ユーザが端末装置６自体を実空間における左右方向へ向けることによって、当該方向変化に応じてプレイヤオブジェクトＰｏが仮想世界を移動する方向が変化する。また、上記移動方向の変化に応じて、仮想カメラの視線方向を仮想世界の水平面に投影した水平視線方向が、当該移動方向を仮想世界の水平面に投影した水平移動方向と同じ方向となるように、当該仮想カメラの位置や姿勢が変化する。具体的には、ユーザが端末装置６の背面を左方向へ向けるように端末装置６自体の方向を変えた場合、仮想世界における左方向へプレイヤオブジェクトＰｏの移動方向が変化し、当該移動方向に視線方向を向けるとともに前方にプレイヤオブジェクトＰｏを置いた近傍に仮想カメラの位置および姿勢が変化する。
また、ユーザが端末装置６自体を実空間における上下方向へ向けることによって、当該方向変化に応じて上記仮想カメラの位置や姿勢が変化する。例えば、図２０に示すように、ユーザが端末装置６の背面を実空間における水平方向へ向けるような姿勢（すなわち、端末装置６の背面やＬＣＤ６１の表示面が水平方向に対して垂直となるような姿勢）で端末装置６自体を把持している場合、視線方向が仮想世界の水平方向となる姿勢でプレイヤオブジェクトＰｏの背後近傍となる主観位置に仮想カメラが配置される。この場合、図１８Ａに示すような仮想世界が端末装置６のＬＣＤ６１に表示される。一方、ユーザが端末装置６の背面を実空間における下方向へ向けるような姿勢（すなわち、端末装置６の背面やＬＣＤ６１の表示面が鉛直方向に対して垂直となり、当該背面が下を向いた姿勢）で端末装置６自体を把持している場合、視線方向が仮想世界の鉛直方向となる姿勢でプレイヤオブジェクトＰｏを上方から俯瞰し、注視点がプレイヤオブジェクトＰｏから移動方向へ向かう前方となる位置（俯瞰位置）に仮想カメラが配置される。この場合、図１９に示すような仮想世界が端末装置６のＬＣＤ６１に表示される。そして、ユーザが端末装置６自体を実空間における水平方向から下方向へ変化させた場合、仮想カメラの姿勢および位置も上記主観位置から上記俯瞰位置へ端末装置６の姿勢に応じて変化していく。
このように、端末装置６の姿勢および向きを上記仮想カメラの姿勢および向きに連動させることによって、ユーザは端末装置６のＬＣＤ６１を介してあたかも仮想世界内を覗いているような感覚を味わうことができる。また、ユーザが端末装置６の背面を実空間における下方向へ向けるような姿勢で端末装置６を把持した場合、プレイヤオブジェクトＰｏの足下が端末装置６のＬＣＤ６１に表示されるため、ユーザがプレイヤオブジェクトＰｏの着地点や足下の状況を確認することができる。つまり、ユーザが端末装置６の上下方向を変えることによって、プレイヤオブジェクトＰｏの移動方向への視野や足下への視野を確保することができ、ゲーム状況に応じてユーザ所望の画面を選択してＬＣＤ６１に表示することができる。
次に、ゲームシステム１において行われる第２の実施形態の処理の詳細を説明する。まず、図２１を参照して、第１の実施形態における処理において用いられる主なデータについて説明する。なお、図２１は、第２の実施形態においてゲーム装置本体５のメインメモリに記憶される主なデータおよびプログラムの一例を示す図である。
図２１に示すように、メインメモリのデータ記憶領域には、ボード操作データＤｂａ、端末操作データＤｂｂ、荷重値データＤｂｃ、重心位置データＤｂｄ、端末装置方向姿勢データＤｂｅ、操作方向データＤｂｆ、動作姿勢データＤｂｇ、移動ベクトルデータＤｂｈ、位置データＤｂｉ、仮想カメラデータＤｂｊ、ジャンプ力データＤｂｋ、ジャンプフラグデータＤｂｍ、しゃがみフラグデータＤｂｎ、および画像データＤｂｏ等が記憶される。なお、メインメモリには、図２１に示す情報に含まれるデータの他、モニタ２やＬＣＤ６１に表示される各種オブジェクトの画像データやゲームに使用される音声データ等、ゲーム処理に必要なデータが適宜記憶される。また、メインメモリのプログラム記憶領域には、第２の実施形態における情報処理プログラムを構成する各種プログラム群Ｐｂが記憶される。
ボード操作データＤｂａは、荷重データＤｂａ１等を含んでいる。なお、荷重データＤｂａ１は、第１の実施形態における荷重データＤａａ１と同様であるため詳細な説明を省略する。
端末操作データＤｂｂは、加速度データＤｂｂ１および角速度データＤｂｂ２等を含んでいる。なお、加速度データＤｂｂ１および角速度データＤｂｂ２は、それぞれ第１の実施形態における加速度データＤａｂ１および角速度データＤａｂ２と同様であるため詳細な説明を省略する。
荷重値データＤｂｃおよび重心位置データＤｂｄは、それぞれ第１の実施形態における荷重値データＤａｃおよび重心位置データＤａｄと同様であるため詳細な説明を省略する。
端末装置方向姿勢データＤｂｅは、実空間基準方向データＤｂｅ１および現方向データＤｂｅ２等を含んでいる。なお、実空間基準方向データＤｂｅ１および現方向データＤｂｅ２は、それぞれ第１の実施形態における実空間基準方向データＤａｅ１および現方向データＤａｅ２と同様であるため詳細な説明を省略する。
操作方向データＤｂｆは、仮想世界基準方向データＤｂｆ１および操作指示方向データＤｂｆ２等を含んでいる。仮想世界基準方向データＤｂｆ１は、仮想世界において設定される仮想世界基準方向を示すデータである。操作指示方向データＤｂｆ２は、仮想世界に対して現時点でユーザから指示されている操作指示方向を示すデータである。なお、第２の実施形態における仮想世界基準方向および操作指示方向の算出方法については、後述する。
動作姿勢データＤｂｇ、移動ベクトルデータＤｂｈ、位置データＤｂｉ、および仮想カメラデータＤｂｊは、第１の実施形態とは後述するように算出方法が異なるものの、第１の実施形態と同様に、それぞれプレイヤオブジェクトＰｏの動作や姿勢を示すデータ、移動速度および移動方向を示すデータ、位置を示すデータ、および仮想カメラに関するデータである。
ジャンプ力データＤｂｋは、ボード型コントローラ９上のユーザ動作に基づいて算出されるプレイヤオブジェクトＰｏのジャンプ力（移動速度）を示すデータである。
ジャンプフラグデータＤｂｍは、プレイヤオブジェクトＰｏがジャンプ中である場合にオンされるジャンプフラグを示すデータである。しゃがみフラグデータＤｂｎは、ボード型コントローラ９上でユーザがしゃがむような動作をしていると判定されている場合にオンされるしゃがみフラグを示すデータである。
画像データＤｂｏは、プレイヤオブジェクトデータＤｂｏ１および背景画像データＤｂｏ２等を含んでいる。プレイヤオブジェクトデータＤｂｏ１は、仮想世界に第２のゲーム例におけるプレイヤオブジェクトＰｏを配置してゲーム画像を生成するためのデータである。背景画像データＤｂｏ２は、仮想世界に第２のゲーム例における背景を配置してゲーム画像を生成するためのデータである。
次に、図２２〜図２４を参照して、ゲーム装置本体５において行われる第２の実施形態における処理の詳細を説明する。なお、図２２は、ゲーム装置本体５において実行される第２の実施形態におけるプレイヤオブジェクト設定処理の一例を示すサブルーチンである。図２３は、図２２におけるステップ１６５のジャンプ動作設定処理の一例を示すサブルーチンである。図２４は、合計荷重値の変化に対してしゃがみ判定および伸び判定された一例を説明するための図である。ここで、図２２および図２３に示すフローチャートにおいては、処理のうち、端末装置６およびボード型コントローラ９を用いたユーザの操作に応じて、プレイヤオブジェクトＰｏが動作して表示される処理について主に説明し、本願発明と直接関連しない他の処理については詳細な説明を省略する。また、図２２および図２３では、ＣＰＵ１０が実行する各ステップを「Ｓ」と略称する。
ゲーム装置本体５の電源が投入されると、ゲーム装置本体５のＣＰＵ１０は、ＲＯＭ／ＲＴＣ１３に記憶されている起動用のプログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶された情報処理プログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該プログラムの実行が開始される。なお、以上の処理が完了した後に行われる第２の実施形態における処理は、第１の実施形態において図１２を用いて説明したメインフローに対してステップ４４におけるゲーム制御処理のみ異なり、他の処理は第１の実施形態と同様であるため、同様の処理についての詳細な説明を省略する。また、第２の実施形態において行われるステップ４４のゲーム制御処理は、第１の実施形態において図１３を用いて説明したサブルーチンに対してステップ８３におけるプレイヤオブジェクト設定処理が異なり、ステップ８５における移動軌跡を設定する処理を行わない。上記ゲーム制御処理における他の処理は、第１の実施形態と同様であるため、同様の処理についての詳細な説明を省略する。以下、図２２を参照して、第２の実施形態で行われるステップ８３におけるプレイヤオブジェクト設定処理について説明する。
図２２において、ＣＰＵ１０は、実空間基準方向と現方向との間の水平角度差を算出し（ステップ１６１）、次のステップに処理を進める。ここで、上記水平角度差は、第１の実施形態と同様に、実空間における実空間基準方向と現方向との間の角度差を水平面に投影した角度差であり、端末装置６の初期姿勢から実空間の鉛直方向を軸として端末装置６の方向（端末装置６の背面が向いている方向（図３に示すｚ軸正方向））を変えた角度を示すものである。例えば、ＣＰＵ１０は、実空間基準方向データＤｂｅ１が示す実空間基準方向と、現方向データＤｂｅ２が示す現方向とを用いて、上記水平角度差を算出する。
次に、ＣＰＵ１０は、上記水平角度差および上下方向における端末装置６の姿勢（上下角度）に応じて、仮想世界基準方向に対する操作指示方向を算出し（ステップ１６２）、次のステップに処理を進める。例えば、ＣＰＵ１０は、仮想世界基準方向データＤｂｆ１が示す仮想世界基準方向を用いて、当該仮想世界基準方向と操作指示方向とを仮想世界の水平面に投影した場合に生じる角度差が、上記水平角度差となり、かつ、同じ位置関係となる（すなわち、実空間基準方向に対して現方向が左回転している場合は、仮想世界基準方向に対して操作指示方向も左回転した位置関係となるようにする）ように仮想世界における操作指示方向を算出する。さらに、ＣＰＵ１０は、現方向データＤｂｅ２が示す現方向を用いて、仮想世界における水平方向と操作指示方向との角度差が、実空間における水平方向と当該現方向との角度差となり、かつ、同じ位置関係となる（すなわち、実空間の水平方向に対して現方向が下向きである場合は、仮想世界の水平方向に対して操作指示方向も下向きとなるようにする）ように仮想世界における操作指示方向を算出する。そして、ＣＰＵ１０は、算出された操作指示方向を用いて、操作指示方向データＤｂｆ２を更新する。
なお、上記ステップ１６２における操作指示方向の設定においては、当該操作指示方向が設定可能な範囲を限定してもかまわない。一例として、仮想世界の水平方向に対して仮想世界基準方向を基準として左右それぞれ所定の角度範囲内に、かつ、仮想世界の鉛直方向に対して水平方向を基準として上下それぞれ所定の角度範囲内に操作指示方向が設定されるようにしてもよい。この場合、上記角度範囲を越える操作指示方向が算出された場合、当該操作指示方向に最も近い角度範囲内に操作指示方向が変更される。他の例として、実空間の水平方向に対して実空間基準方向を基準として左右それぞれ所定の角度範囲内に、かつ、実空間の鉛直方向に対して水平方向を基準として上下それぞれ所定の角度範囲内に現方向が設定されるようにしてもよい。そして、上記角度範囲を越える現方向が算出された場合、当該現方向に最も近い角度範囲内に現方向が変更される。この場合であっても、操作指示方向が上記角度範囲内に限定された現方向に応じて算出されるため、結果的に操作指示方向も上下左右に設定された上記角度範囲内に設定されることになる。
次に、ＣＰＵ１０は、ジャンプフラグがオフに設定されているか否かを判断する（ステップ１６３）。例えば、ＣＰＵ１０は、ジャンプフラグデータＤｂｍが示すジャンプフラグがオフに設定されている場合、プレイヤオブジェクトＰｏがジャンプしていないと判断して次のステップ１６４に処理を進める。一方、ＣＰＵ１０は、ジャンプフラグデータＤｂｍが示すジャンプフラグがオンに設定されている場合、プレイヤオブジェクトＰｏがジャンプ中であると判断して次のステップ１６６に処理を進める。
ステップ１６４において、ＣＰＵ１０は、ジャンプ準備状態にオブジェクト動作を設定し、次のステップに処理を進める。例えば、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をジャンプ準備状態（例えば、仮想世界の地面に着地して次のジャンプを行おうとしている状態）に設定し、設定された動作を用いて動作姿勢データＤｂｇを更新する。
次に、ＣＰＵ１０は、ジャンプ動作設定処理を行い（ステップ１６５）、当該サブルーチンによる処理を終了する。以下、図２３を参照して、上記ステップ１６５で行うジャンプ動作設定処理について説明する。
図２３において、ＣＰＵ１０は、しゃがみフラグデータＤｂｎが示すしゃがみフラグがオフに設定されているか否かを判断する（ステップ１８１）。そして、ＣＰＵ１０は、しゃがみフラグがオフに設定されている場合、次のステップ１８２に処理を進める。一方、ＣＰＵ１０は、しゃがみフラグがオンに設定されている場合、次のステップ１８５に処理を進める。
ステップ１８２において、ＣＰＵ１０は、合計荷重値が第１閾値以上であるか否かを判断する。例えば、ＣＰＵ１０は、荷重値データＤｂｃが示す最新の合計荷重値が、第１閾値以上であるか否かを判断する。上記第１閾値は、ユーザがボード型コントローラ９上でしゃがむような動作をしたことを判定するための閾値であり、一例としてボード型コントローラ９に乗っているユーザの体重に所定の割合（例えば、２０％）を加算した値に設定される。なお、ボード型コントローラ９に乗っているユーザの体重は、上記合計荷重値に基づいて算出（例えば、所定期間内に得られた合計荷重値の平均値）されてもいいし、ユーザが予め入力した値であってもよい。そして、ＣＰＵ１０は、合計荷重値が第１閾値以上である場合、次のステップ１８３に処理を進める。一方、ＣＰＵ１０は、合計荷重値が第１閾値未満である場合、次のステップ１８５に処理を進める。
ボード型コントローラ９上でユーザが屈伸（ジャンプ）するような動作をする場合、ボード型コントローラ９上でしゃがむような動作を行った後に上へ伸びるような動作を行うことが一般的である。そして、図２４に示すように、ユーザがボード型コントローラ９上でしゃがむような動作を行った場合、合計荷重値が一旦ユーザの体重値より降下した後に当該体重値より上昇するような推移となる。つまり、ＣＰＵ１０は、合計荷重値がユーザの体重値より上昇（第１閾値以上まで上昇）したことを検出することによって、ユーザがしゃがみ動作をしたことを検出することが可能となる。
ステップ１８３において、ＣＰＵ１０は、しゃがみ動作にオブジェクト動作を設定し、次のステップに処理を進める。例えば、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をしゃがみ動作（例えば、仮想世界の地面に着地した状態で次のジャンプを行うためにホッピングにおいてしゃがむような動作をしている状態）に設定し、設定された動作を用いて動作姿勢データＤｂｇを更新する。
次に、ＣＰＵ１０は、しゃがみフラグをオンに設定し（ステップ１８４）、次のステップ１８５に処理を進める。例えば、ＣＰＵ１０は、しゃがみフラグデータＤｂｎが示すしゃがみフラグをオンに変更する。
ステップ１８５において、ＣＰＵ１０は、しゃがみフラグデータＤｂｎが示すしゃがみフラグがオンに設定されているか否かを判断する。そして、ＣＰＵ１０は、しゃがみフラグがオンに設定されている場合、次のステップ１８６に処理を進める。一方、ＣＰＵ１０は、しゃがみフラグがオフに設定されている場合、当該サブルーチンによる処理を終了する。
ステップ１８６において、ＣＰＵ１０は、合計荷重値が第２閾値未満であるか否かを判断する。例えば、ＣＰＵ１０は、荷重値データＤｂｃが示す最新の合計荷重値が、第２閾値未満であるか否かを判断する。上記第２閾値は、ユーザがボード型コントローラ９上で伸びるような動作をしたことを判定するための閾値であり、一例としてボード型コントローラ９に乗っているユーザの体重に所定の割合（例えば、２０％）を減算した値に設定される。そして、ＣＰＵ１０は、合計荷重値が第２閾値以上である場合、次のステップ１８７に処理を進める。一方、ＣＰＵ１０は、合計荷重値が第２閾値未満である場合、次のステップ１８８に処理を進める。
上述したように、ボード型コントローラ９上でユーザが屈伸（ジャンプ）するような動作をする場合、ボード型コントローラ９上でしゃがむような動作を行った後に上へ伸びるような動作を行うことが一般的である。そして、図２４に示すように、ユーザがボード型コントローラ９上で伸びるような動作を行った場合、合計荷重値が一旦ユーザの体重値より上昇した後に当該体重値より下降するような推移となる。つまり、ＣＰＵ１０は、しゃがみ動作を検出した後、合計荷重値がユーザの体重値より下降（第２閾値未満まで下降）したことを検出することによって、ユーザが伸び動作をしたことを検出することが可能となる。
ステップ１８７において、ＣＰＵ１０は、ジャンプ力を加算し、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、ジャンプ力データＤｂｋが示すジャンプ力のパラメータに所定量を加算し、加算後のジャンプ力のパラメータを用いてジャンプ力データＤｂｋを更新する。ここで、上記ステップ１８７の処理は、上記ステップ１８５で肯定判定（すなわち、しゃがみフラグオン）され、かつ、上記ステップ１８６で否定判定（すなわち、合計荷重値が第２閾値以上）された場合に行われる。すなわち、上記ステップ１８７の処理は、ボード型コントローラ９上でユーザがしゃがんだ状態になって伸び判定されるまでの期間で行われることになり、当該期間（しゃがみ期間）が長いほどジャンプ力が漸増的に加算されることになる。
一方、ステップ１８８において、ＣＰＵ１０は、伸び動作にオブジェクト動作を設定し、次のステップに処理を進める。例えば、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作を伸び動作（例えば、仮想世界の地面に着地した状態からホッピングで空中へ飛び出すような動作）に設定し、設定された動作を用いて動作姿勢データＤｂｇを更新する。
次に、ＣＰＵ１０は、操作指示方向およびジャンプ力に基づいて、プレイヤオブジェクトＰｏの移動ベクトルを設定し（ステップ１８９）、次のステップに処理を進める。例えば、ＣＰＵ１０は、ジャンプ力データＤｂｋが示すジャンプ力のパラメータに基づいて、プレイヤオブジェクトＰｏの移動速度を算出する。一例として、ＣＰＵ１０は、ジャンプ力のパラメータに比例するように、プレイヤオブジェクトＰｏの移動速度を算出する。また、ＣＰＵ１０は、操作指示方向データＤｂｆ２が示す操作指示方向に基づいて、プレイヤオブジェクトＰｏの移動方向を設定する。例えば、上記移動方向を仮想世界の水平面に投影した水平移動方向が、上記操作指示方向を仮想世界の水平面に投影した水平操作指示方向となるように、当該移動方向が設定される。また、上記移動方向における仮想世界の上方向に向かう上昇角度は、所定の角度に設定される。そして、ＣＰＵ１０は、上述したように算出されたプレイヤオブジェクトＰｏの移動速度および移動方向を用いて、仮想世界における移動ベクトルを算出し、算出された移動ベクトルを用いて移動ベクトルデータＤｂｈを更新する。例えば、ＣＰＵ１０は、算出されたプレイヤオブジェクトＰｏの移動速度を用いて移動ベクトルの長さを設定し、操作指示方向データＤｂｆ２が示す操作指示方向に基づいて移動ベクトルの方向を設定する。
次に、ＣＰＵ１０は、ジャンプ力を初期化し（ステップ１９０）、次のステップに処理を進める。例えば、ＣＰＵ１０は、ジャンプ力データＤｂｋが示すジャンプ力のパラメータを所定の初期値に初期化してジャンプ力データＤｂｋを更新する。なお、上記ステップ１９０で初期化する初期値は、ジャンプ力が０であることを示す値であってもいいし、相対的に弱いジャンプ力を示す値であってもよい。
次に、ＣＰＵ１０は、しゃがみフラグをオフに設定し（ステップ１９１）、次のステップに処理を進める。例えば、ＣＰＵ１０は、しゃがみフラグデータＤｂｎが示すしゃがみフラグをオフに変更する。
次に、ＣＰＵ１０は、ジャンプフラグをオンに設定し（ステップ１９２）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、ジャンプフラグデータＤｂｍが示すジャンプフラグをオンに変更する。
図２２に戻り、上記ステップ１６３においてジャンプフラグがオンであると判定された場合、ＣＰＵ１０は、ジャンプ中状態にオブジェクト動作を設定し（ステップ１６６）、次のステップに処理を進める。例えば、ＣＰＵ１０は、プレイヤオブジェクトＰｏの動作をジャンプ中状態（例えば、ホッピングで仮想世界の空中を移動する状態）に設定し、設定された動作を用いて動作姿勢データＤｂｇを更新する。
次に、ＣＰＵ１０は、重心位置に基づいてプレイヤオブジェクトＰｏの移動ベクトルを修正し（ステップ１６７）、次のステップに処理を進める。例えば、ＣＰＵ１０は、重心位置データＤｂｄが示す最新の重心位置を用いて、移動ベクトルデータＤｂｈが示す移動ベクトルを修正し、修正された移動ベクトルを用いて移動ベクトルデータＤｂｈを更新する。一例として、ＣＰＵ１０は、台９ａの中心から重心位置へ向かう修正ベクトルを算出し、当該修正ベクトルを現時点に設定されている移動ベクトルに加算することによって当該移動ベクトルを修正する。なお、上記修正ベクトルの長さは、台９ａの中心と重心位置との距離に所定の定数を乗算した値に設定してもいいし、固定値であってもよい。例えば、ボード型コントローラ９の台９ａ上において、台９ａの中心から左方向に距離Ｄだけ離れた位置に重心位置が存在する場合、現時点の移動方向を基準として仮想世界における左方向に距離Ｄに応じた長さの修正ベクトルが算出され、現時点に設定されている移動ベクトルに加算される。これによって、移動ベクトルは、台９ａの中心から重心位置への距離に応じた量だけ、重心位置が位置する方向へ修正されることになる。
次に、ＣＰＵ１０は、仮想世界に設定されている環境に基づいてプレイヤオブジェクトＰｏの移動ベクトルを修正し（ステップ１６８）、次のステップに処理を進める。例えば、ＣＰＵ１０は、仮想世界に設定されている環境（重力、風、他のオブジェクトからの影響等）に基づいて、移動ベクトルデータＤｂｈが示す移動ベクトルを修正し、修正された移動ベクトルを用いて移動ベクトルデータＤｂｈを更新する。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏの位置を算出し（ステップ１６９）、次のステップに処理を進める。例えば、ＣＰＵ１０は、移動ベクトルデータＤｂｈが示す移動ベクトルに基づいて、位置データＤｂｉが示すプレイヤオブジェクトＰｏの位置を仮想世界内で移動させ、移動後の位置を用いて位置データＤｂｉを更新する。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏが仮想世界における空中から着地したか否かを判断する（ステップ１７０）。例えば、ＣＰＵ１０は、位置データＤｂｉが示すプレイヤオブジェクトＰｏの位置を用いて、プレイヤオブジェクトＰｏが着地（例えば、プレイヤオブジェクトＰｏの位置が仮想世界における地形オブジェクト上や他のオブジェクト上にある）したか否かを判断する。そして、ＣＰＵ１０は、プレイヤオブジェクトＰｏが着地した場合、次のステップ１７１に処理を進める。一方、ＣＰＵ１０は、プレイヤオブジェクトＰｏが着地していない場合、当該サブルーチンによる処理を終了する。
ステップ１７１において、ＣＰＵ１０は、プレイヤオブジェクトＰｏの移動ベクトルを初期化し、次のステップに処理を進める。例えば、ＣＰＵ１０は、移動ベクトルデータＤｂｈが示す移動ベクトルを初期化して移動ベクトルデータＤｂｈを更新する。なお、上記ステップ１７１では、プレイヤオブジェクトＰｏが移動しないことを示すパラメータに初期化してもいいし、予め定められた移動ベクトルに初期化してもよい。
次に、ＣＰＵ１０は、ジャンプフラグをオフに設定し（ステップ１７２）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、ジャンプフラグデータＤｂｍが示すジャンプフラグをオフに変更する。
なお、第２の実施形態における仮想カメラの設定処理（ステップ８４）では、端末用ゲーム画像を生成するための第１仮想カメラは、操作指示方向データＤｂｆ２が示す操作指示方向に基づいて、表示範囲内に仮想世界に配置されている第１プレイヤオブジェクトＰｏ１を含むように設定される。具体的には、図２０を用いて説明したように、操作指示方向が仮想世界における水平方向である場合、当該操作指示方向を視線方向とし、実質的に視体積の中央にプレイヤオブジェクトＰｏが配置されてプレイヤオブジェクトＰｏの近傍となる主観位置に第１仮想カメラが設定される。また、操作指示方向が仮想世界における鉛直方向である場合、当該操作指示方向を視線方向とし、プレイヤオブジェクトＰｏから移動方向へ向かう前方となる位置を注視点として、プレイヤオブジェクトＰｏを上方から俯瞰する俯瞰位置に第１仮想カメラが設定される。そして、操作指示方向が上記水平方向と鉛直方向との間である場合、第１仮想カメラの姿勢および位置も上記主観位置から上記俯瞰位置へ当該操作指示方向の方向に応じて変化させて設定する。また、モニタ用ゲーム画像を生成するための第２仮想カメラは、上記第１仮想カメラが設定されている同じ仮想世界に設定され、当該仮想世界に配置されているプレイヤオブジェクトＰｏを、遠方から第１プレイヤオブジェクトＰｏ１の正面方向へ鳥瞰した仮想世界内の様子が含まれるように設定される。ＣＰＵ１０は、位置データＤｂｉが示すプレイヤオブジェクトＰｏの位置や操作指示方向データＤｂｆ２が示す操作指示方向に基づいて、第１仮想カメラおよび第２仮想カメラの仮想世界における位置（第１仮想カメラおよび第２仮想カメラに関するパラメータ）を設定する。
そして、第２の実施形態におけるモニタ用ゲーム画像の生成処理（ステップ４５）や端末用ゲーム画像の生成処理（ステップ４６）では、第１の実施形態と同様に、上記ゲーム制御処理の結果を表す画像がそれぞれ生成される。例えば、モニタ用ゲーム画像は、仮想カメラデータＤｂｊが示す第２仮想カメラに関するパラメータに基づいて仮想世界に第２仮想カメラを配置し、動作姿勢データＤｂｇおよび位置データＤｂｉに基づいて仮想世界にプレイヤオブジェクトＰｏ等を配置して、当該第２仮想カメラから見た仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。また、端末用ゲーム画像は、仮想カメラデータＤｂｊが示す第１仮想カメラに関するパラメータに基づいて仮想世界に第１仮想カメラを配置し、動作姿勢データＤｂｇおよび位置データＤｂｉに基づいて仮想世界にプレイヤオブジェクトＰｏ等を配置して、当該第１仮想カメラから見た仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。
このように、上述した処理によれば、ボード型コントローラ９上でユーザ自身の動作に基づいた操作を行って当該ユーザ動作に基づいた処理を行う場合に、当該処理結果をユーザが把持している可搬型の端末装置６のＬＣＤ６１で見ることができるため、端末装置６を把持して動作することによって好適な状況で処理結果を見ることが可能となる。また、可搬型の端末装置６を動かすことによって仮想カメラの位置および姿勢やプレイヤオブジェクトＰｏの姿勢や移動方向を制御することができるため、あたかも仮想世界の中にユーザがいるような感覚を与えたり、あたかもユーザ自身がプレイヤオブジェクトＰｏになったかのような操作感覚をユーザに与えたりすることが可能となる。さらに、第２のゲーム例では、プレイヤオブジェクトＰｏの移動方向が可搬型の端末装置６の姿勢によって決定されるが、ジャンプした後の移動方向はボード型コントローラ９上のユーザ自身の動作に応じて調整される。したがって、プレイヤオブジェクトＰｏの移動方向が端末装置６だけでなくボード型コントローラ９を用いた操作でも変化させることができるため、今までにない新たな操作感覚をユーザに与えることができる。
（第３の実施形態）
以下、端末装置６およびボード型コントローラ９を用いて操作する他のゲーム例を用いて、第３の実施形態に係る情報処理について説明する。以下の第３の実施形態における情報処理の概要の説明においては、情報処理の一例として第３のゲーム例を用いる。なお、第３の実施形態に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについては、上述した第１の実施形態と同様であるため同じ構成要素には同一の参照符号を付して詳細な説明を省略する。
まず、ゲーム装置本体５が行う第３の実施形態における具体的な処理を説明する前に、図２５Ａ、図２５Ｂ、および図２６を用いてゲーム装置本体５で行う情報処理の概要について説明する。以下の第３の実施形態における情報処理の概要の説明においては、情報処理の一例として第３のゲーム例を用いる。なお、図２５Ａは、第３のゲーム例において、端末装置６のＬＣＤ６１に表示される画像の一例を示す図である。図２５Ｂは、第３のゲーム例において、モニタ２に表示される画像の一例を示す図である。図２６は、端末装置６の姿勢に応じた第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２の動作の一例を説明するための概要図である。
第３のゲーム例では、図９に示した第１のゲーム例における操作と同様に、端末装置６およびボード型コントローラ９を用いてユーザが操作する。具体的には、第１のゲーム例における操作と同様に、ユーザは、端末装置６を把持しながら、ボード型コントローラ９上に乗って操作する。そして、ユーザは、モニタ２に表示された画像や端末装置６のＬＣＤ６１に表示された画像を見ながら、ボード型コントローラ９上で動作（例えば、ボード型コントローラ９上で前に重心をかけたり、後ろに重心をかけたりするような動作）するとともに、端末装置６自体を動かす操作をすることによってプレイする。そして、端末装置６のＬＣＤ６１およびモニタ２には、ユーザが把持する端末装置６の方向や姿勢と、ボード型コントローラ９上におけるユーザ動作とに応じて、仮想世界において第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２や照準オブジェクトＴｏ（例えば、第１プレイヤオブジェクトＰｏ１の方向や移動方向が変化する動作や、第２プレイヤオブジェクトＰｏ２の方向が変化する動作や、照準オブジェクトＴｏが移動する動作）し、第１プレイヤオブジェクトＰｏ１の位置や方向に応じて仮想世界に設定される仮想カメラの位置や姿勢を変化させたゲーム画像が表現される。
図２５Ａに示すように、端末装置６のＬＣＤ６１には仮想世界内を移動するプレイヤオブジェクトＰｏが表示される。図２５Ａに示した一例では、プレイヤオブジェクトＰｏが２つのプレイヤオブジェクト（第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２）から構成されており、プレイヤオブジェクトＰｏの一例として仮想世界の地上を移動する戦車が例示されている。具体的には、第１プレイヤオブジェクトＰｏ１が戦車の本体に相当し、第２プレイヤオブジェクトＰｏ２が同じ戦車の砲塔に相当する。そして、第１プレイヤオブジェクトＰｏ１の背後近傍に仮想カメラが設定され、当該仮想カメラから見た仮想世界内の様子がプレイヤオブジェクトＰｏとともに表示されている。また、図２５Ａに示した一例では、戦車の方向から砲弾が発射された場合の照準となる照準オブジェクトＴｏが仮想世界に配置されており、当該戦車の砲塔（第２プレイヤオブジェクトＰｏ２）の発射口先端から照準オブジェクトＴｏまでの砲弾の予想軌跡Ｓが表示されている。そして、プレイヤオブジェクトＰｏの敵となる敵オブジェクトＥｏが仮想世界に配置されて表示されている。このように、プレイヤオブジェクトＰｏの背後近傍（具体的には、第１プレイヤオブジェクトＰｏ１の背後近傍）から見た仮想世界をＬＣＤ６１に表示することによって、端末装置６を把持しているユーザに仮想世界の臨場感を与えるとともに、ユーザがプレイヤオブジェクトＰｏの移動方向や移動速度を直感的に知ることができる。
また、図２５Ｂに示すように、モニタ２にもＬＣＤ６１に表示されている仮想世界と同じ仮想世界が表示される。図２５Ｂに示した一例では、プレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子がプレイヤオブジェクトＰｏ、照準オブジェクトＴｏ、敵オブジェクトＥｏ、および予想軌跡Ｓとともに表示されている。このように、プレイヤオブジェクトＰｏを遠方から鳥瞰した仮想世界内の様子をモニタ２に表示することによって、ユーザがプレイヤオブジェクトＰｏの周囲の状況が把握しやすくなるとともに、第３のゲーム例をユーザがプレイしている様子を見ている他の人が仮想世界をプレイヤオブジェクトＰｏが移動する様子を楽しむこともできる。
一例として、ボード型コントローラ９に荷重をかける重心位置を、ユーザが前に移動させるような動作をした場合、台９ａの中心から当該重心位置までの前方向長さに応じた速度でプレイヤオブジェクトＰｏが第１プレイヤオブジェクトＰｏ１の方向に前進移動する。また、ボード型コントローラ９に荷重をかける重心位置を、ユーザが後ろに移動させるような動作をした場合、台９ａの中心から当該重心位置までの後方向長さに応じた速度でプレイヤオブジェクトＰｏが第１プレイヤオブジェクトＰｏ１の方向に後退移動する。このように、ユーザは、ボード型コントローラ９上の動作によって、プレイヤオブジェクトＰｏを前進または後退移動させることができる。
また、端末装置６の姿勢を変えたり端末装置６の向きが変わるように回転移動させたりすることによってプレイヤオブジェクトＰｏの方向や照準オブジェクトＴｏの位置が変化する。具体的には、図２６に示すように、端末装置６の向きが砲塔／照準可動角度範囲内に対応する砲塔／照準方向操作範囲内で回転移動した場合、当該端末装置６の向きの変化に応じて、第２プレイヤオブジェクトＰｏ２（砲塔）が仮想世界内で左右に回転するとともに、当該砲塔から砲弾が発射された場合の照準となる照準オブジェクトＴｏの位置も仮想世界内で移動する。また、端末装置６の向きが砲塔／照準可動角度範囲外に対応する本体方向操作範囲内まで回転移動した場合、当該端末装置６の向きの変化に応じて、第２プレイヤオブジェクトＰｏ２に加えて第１プレイヤオブジェクトＰｏ１（戦車本体）も仮想世界内で左右に回転し、照準オブジェクトＴｏの位置も第２プレイヤオブジェクトＰｏ２の回転に応じて仮想世界内で移動する。ここで、上述したように、第１プレイヤオブジェクトＰｏ１の背後近傍に仮想カメラが設定されるため、第１プレイヤオブジェクトＰｏ１の方向が変化することによって、仮想カメラの姿勢や位置も変化することになる。したがって、実空間における砲塔／照準方向操作範囲内でユーザが端末装置６の左右向きを変えた場合、仮想カメラの位置や姿勢を変えることなく照準オブジェクトＴｏの位置を変えることができるため、ＬＣＤ６１に表示されるゲーム画面を固定した状態で照準位置調整が可能となる。つまり、砲塔／照準方向操作範囲内での端末装置６を用いた操作は、敵オブジェクトＥｏ等に向かって砲撃するために照準オブジェクトＴｏの位置を調整するために好適な操作環境となる。また、実空間における本体方向操作範囲内でユーザが端末装置６の左右向きを変えた場合、第１プレイヤオブジェクトＰｏ１の方向や仮想カメラの位置および方向を変えることができるため、プレイヤオブジェクトＰｏの移動方向を変えたり、ＬＣＤ６１に表示されるゲーム画面外へ照準位置調整をしたりすることが可能となる。このように、少なくとも２段階の操作範囲を設定することによって、ユーザが様々な操作を１つのデバイスの姿勢によって行うことが可能となる。
また、端末装置６の向きが上下方向に変化した場合、当該端末装置６の向きの変化に応じて、第２プレイヤオブジェクトＰｏ２の砲塔方向が仮想世界内で上下に変化するとともに、当該砲塔から砲弾が発射された場合の照準となる照準オブジェクトＴｏの位置も仮想世界内で移動する。つまり、ユーザは、端末装置６の向きによって砲塔が向く方向（照準オブジェクトＴｏの位置）を上下左右に変化させることができるため、把持する端末装置６の方向だけでユーザが所望する方向（位置）に砲塔を向ける（照準オブジェクトＴｏを配置）ことが可能となる。
次に、ゲームシステム１において行われる第３の実施形態の処理の詳細を説明する。まず、図２７を参照して、第３の実施形態における処理において用いられる主なデータについて説明する。なお、図２７は、第３の実施形態においてゲーム装置本体５のメインメモリに記憶される主なデータおよびプログラムの一例を示す図である。
図２７に示すように、メインメモリのデータ記憶領域には、ボード操作データＤｃａ、端末操作データＤｃｂ、荷重値データＤｃｃ、重心位置データＤｃｄ、端末装置方向姿勢データＤｃｅ、操作方向データＤｃｆ、動作姿勢データＤｃｇ、移動ベクトルデータＤｃｈ、位置データＤｃｉ、仮想カメラデータＤｃｊ、および画像データＤｃｋ等が記憶される。なお、メインメモリには、図２７に示す情報に含まれるデータの他、モニタ２やＬＣＤ６１に表示される各種オブジェクトの画像データやゲームに使用される音声データ等、ゲーム処理に必要なデータが適宜記憶される。また、メインメモリのプログラム記憶領域には、第３の実施形態における情報処理プログラムを構成する各種プログラム群Ｐｃが記憶される。
ボード操作データＤｃａは、荷重データＤｃａ１等を含んでいる。なお、荷重データＤｃａ１は、第１の実施形態における荷重データＤａａ１と同様であるため詳細な説明を省略する。
端末操作データＤｃｂは、加速度データＤｃｂ１および角速度データＤｃｂ２等を含んでいる。なお、加速度データＤｃｂ１および角速度データＤｃｂ２は、それぞれ第１の実施形態における加速度データＤａｂ１および角速度データＤａｂ２と同様であるため詳細な説明を省略する。
荷重値データＤｃｃおよび重心位置データＤｃｄは、それぞれ第１の実施形態における荷重値データＤａｃおよび重心位置データＤａｄと同様であるため詳細な説明を省略する。
端末装置方向姿勢データＤｃｅは、実空間基準方向データＤｃｅ１および現方向データＤｃｅ２等を含んでいる。なお、第１の実施形態と同様に、実空間基準方向データＤｃｅ１は実空間における端末装置６の基準方向を示すデータであり、現方向データＤｃｅ２は実空間における端末装置６の現時点の方向および姿勢を示すデータであるが、第３の実施形態では各種補正が行われてそれぞれの方向データが設定される。第３の実施形態における実空間基準方向および現方向の算出方法については、後述する。
操作方向データＤｃｆは、仮想世界基準方向データＤｃｆ１および操作指示方向データＤｃｆ２等を含んでいる。仮想世界基準方向データＤｃｆ１は、仮想世界において設定される仮想世界基準方向を示すデータである。操作指示方向データＤｃｆ２は、仮想世界に対して現時点でユーザから指示されている操作指示方向を示すデータである。なお、第３の実施形態における仮想世界基準方向および操作指示方向の算出方法については、後述する。
動作姿勢データＤｃｇは、本体姿勢データＤｃｇ１および砲塔姿勢データＤｃｇ２等を含んでいる。本体姿勢データＤｃｇ１は、仮想世界における第１プレイヤオブジェクトＰｏ１（戦車本体）の動作や姿勢を示すデータである。砲塔姿勢データＤｃｇ２は、仮想世界における第２プレイヤオブジェクトＰｏ２（砲塔）の動作や姿勢を示すデータである。
移動ベクトルデータＤｃｈは、第１の実施形態とは後述するように算出方法が異なるものの、第１の実施形態と同様に、それぞれプレイヤオブジェクトＰｏ（第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２）や弾オブジェクトの移動速度および移動方向を示すデータである。
位置データＤｃｉは、仮想世界におけるプレイヤオブジェクトＰｏ、照準オブジェクトＴｏ、および弾オブジェクト等の位置をそれぞれ示すデータである。仮想カメラデータＤｃｊは、第１の実施形態とは後述するように算出方法が異なるものの、第１の実施形態と同様に仮想カメラに関するデータである。
画像データＤｃｋは、プレイヤオブジェクトデータＤｃｋ１および背景画像データＤｃｋ２等を含んでいる。プレイヤオブジェクトデータＤｃｋ１は、仮想世界に第３のゲーム例におけるプレイヤオブジェクトＰｏ（第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２）、照準オブジェクトＴｏ、および弾オブジェクトを配置してゲーム画像を生成するためのデータである。背景画像データＤｃｋ２は、仮想世界に第３のゲーム例における背景を配置してゲーム画像を生成するためのデータである。
次に、図２８および図２９を参照して、ゲーム装置本体５において行われる第３の実施形態における処理の詳細を説明する。なお、図２８は、ゲーム装置本体５において実行される第３の実施形態におけるプレイヤオブジェクト設定処理の一例を示すサブルーチンである。図２９は、図２８におけるステップ２０１の操作指示方向算出処理の一例を示すサブルーチンである。ここで、図２８および図２９に示すフローチャートにおいては、処理のうち、端末装置６およびボード型コントローラ９を用いたユーザの操作に応じて、プレイヤオブジェクトＰｏが動作して表示される処理について主に説明し、本願発明と直接関連しない他の処理については詳細な説明を省略する。また、図２８および図２９では、ＣＰＵ１０が実行する各ステップを「Ｓ」と略称する。
ゲーム装置本体５の電源が投入されると、ゲーム装置本体５のＣＰＵ１０は、ＲＯＭ／ＲＴＣ１３に記憶されている起動用のプログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶された情報処理プログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該プログラムの実行が開始される。なお、以上の処理が完了した後に行われる第３の実施形態における処理は、第１の実施形態において図１２を用いて説明したメインフローに対してステップ４１における基準方向の設定処理およびステップ４４におけるゲーム制御処理のみ異なり、他の処理は第１の実施形態と同様であるため、同様の処理についての詳細な説明を省略する。また、第３の実施形態において行われるステップ４４のゲーム制御処理は、第１の実施形態において図１３を用いて説明したサブルーチンに対してステップ８３におけるプレイヤオブジェクト設定処理が異なり、ステップ８５における移動軌跡を設定する処理を行わない。上記ゲーム制御処理における他の処理は、第１の実施形態と同様であるため、同様の処理についての詳細な説明を省略する。
第３の実施形態におけるメインフローにおいて、ステップ４１における基準方向の設定処理では、端末装置６の姿勢および方向に各種補正が行われた後に基準方向が設定され、当該補正後の基準方向を用いて実空間基準方向データＤｃｅ１が更新されている。また、補正後の実空間基準方向を仮想世界におけるモデル座標系に変換し、当該変換後の方向を仮想世界における基準方向として仮想世界基準方向データＤｃｆ１が更新されている。なお、端末装置６の姿勢および方向の補正方法については後述して説明する。以下、図２８を参照して、第３の実施形態で行われるステップ８３におけるプレイヤオブジェクト設定処理について説明する。
図２８において、ＣＰＵ１０は、操作指示方向算出処理を行い（ステップ２０１）、次のステップに処理を進める。以下、図２９を参照して、上記ステップ２０１で行う操作指示方向算出処理について説明する。
図２９において、ＣＰＵ１０は、端末装置６の上下正面方向の補正を行い（ステップ２２１）、次のステップに処理を進める。例えば、ＣＰＵ１０は、実空間の水平方向に対して所定の角度（例えば、４２°）下に向いた状態が水平方向の指示となるように、端末装置６の方向（姿勢）を補正する。具体的には、上記ステップ８２において、ＣＰＵ１０は、加速度データＤｃｂ１が示す加速度および角速度データＤｃｂ２が示す角速度に基づいて、端末装置６の実空間におけるＸＹＺ軸の方向をそれぞれ算出し、算出されたＸＹＺ軸方向を現方向として現方向データＤｃｅ２を更新する。そして、ＣＰＵ１０は、上記ステップ２２１において、現方向データＤｃｅ２が示すＸＹＺ軸それぞれの方向を用いて、Ｘ軸を中心にＹ軸方向およびＺ軸方向が上記所定の角度だけ上方に向くように（すなわち、Ｘ軸方向に見て当該Ｘ軸周りに所定の角度だけ右周りにＹ軸方向およびＺ軸方向を回転させる）、Ｙ軸方向およびＺ軸方向を補正する。
次に、ＣＰＵ１０は、Ｚ軸周りの傾きを補正し（ステップ２２２）、次のステップに処理を進める。例えば、ＣＰＵ１０は、端末装置６のＸ軸が実空間における水平方向となるように、端末装置６の方向（姿勢）を補正する。具体的には、ＣＰＵ１０は、上記ステップ２２１で補正されたＸＹＺ軸方向を用いて、当該Ｘ軸方向を強制的に実空間の水平方向に補正し、補正されたＸ軸方向とＹ軸方向との外積によって新たにＺ軸方向を算出する。そして、新たに算出されたＺ軸方向と水平方向に補正されたＸ軸方向との外積によって新たにＹ軸方向を算出する。
次に、ＣＰＵ１０は、端末装置６の上下方向に傾きを制限する補正を行い（ステップ２２３）、次のステップに処理を進める。例えば、ＣＰＵ１０は、上記ステップ２２２で新たに算出されたＺ軸方向を、実空間の上下方向に対して所定の範囲内に制限し、当該範囲を超える場合は最も近い当該範囲内に再設定する。そして、再設定されたＺ軸方向と上記ステップ２２２で水平方向に補正されたＸ軸方向との外積によって新たにＹ軸方向を算出する。また、当該新たに算出されたＹ軸方向と再設定されたＺ軸方向との外積によって新たにＸ軸方向を算出する。そして、新たに算出されたＸ軸方向およびＹ軸方向と、再設定されたＺ軸方向とを用いて、現方向データＤｃｅ２を更新する。
なお、上記ステップ４１における基準方向の設定処理においても、上記ステップ２２１〜ステップ２２３と同様に端末装置６のＸＹＺ軸方向が補正され、補正後のＺ軸方向を実空間基準方向として実空間基準方向データＤｃｅ１が更新される。
次に、ＣＰＵ１０は、実空間基準方向と現方向との間の水平角度差を算出し（ステップ２２４）、次のステップに処理を進める。ここで、上記水平角度差は、実空間における実空間基準方向と現方向データＤｃｅ２が示すＺ軸方向との間の角度差を水平面に投影した角度差であり、端末装置６の初期姿勢から実空間の鉛直方向を軸として端末装置６の方向（端末装置６の背面が向いている方向（図３に示すｚ軸正方向））を変えた角度を示すものである。例えば、ＣＰＵ１０は、実空間基準方向データＤｃｅ１が示す実空間基準方向と、現方向データＤｃｅ２が示すＺ軸方向とを用いて、上記水平角度差を算出する。
次に、ＣＰＵ１０は、実空間の水平方向と現方向との間の上下角度差を算出し（ステップ２２５）、次のステップに処理を進める。例えば、ＣＰＵ１０は、現方向データＤｃｅ２が示すＺ軸方向を用いて、実空間における水平方向と当該Ｚ軸方向との角度差を上下角度差として算出する。
次に、ＣＰＵ１０は、上記ステップ２２４で算出された水平角度差および上記ステップ２２５で算出された上下角度差に応じて、仮想世界基準方向に対する操作指示方向を算出し（ステップ２２６）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、仮想世界基準方向データＤｃｆ１が示す仮想世界基準方向を用いて、当該仮想世界基準方向と操作指示方向とを仮想世界の水平面に投影した場合に生じる角度差が、上記水平角度差となり、かつ、同じ位置関係となる（すなわち、実空間基準方向に対してＺ軸方向が左回転している場合は、仮想世界基準方向に対して操作指示方向も左回転した位置関係となるようにする）ように仮想世界における操作指示方向を算出する。さらに、ＣＰＵ１０は、仮想世界における水平方向と操作指示方向との角度差が、上記上下角度差となり、かつ、同じ位置関係となる（すなわち、実空間の水平方向に対してＺ軸方向が下向きである場合は、仮想世界の水平方向に対して操作指示方向も下向きとなるようにする）ように仮想世界における操作指示方向を算出する。そして、ＣＰＵ１０は、算出された操作指示方向を用いて、操作指示方向データＤｃｆ２を更新する。
図２８に戻り、上記ステップ２０１における操作指示方向算出処理の後、ＣＰＵ１０は、操作指示方向が第１の操作範囲内か否かを判断する（ステップ２０２）。そして、ＣＰＵ１０は、操作指示方向が第１の操作範囲内である場合、次のステップ２０３に処理を進める。一方、ＣＰＵ１０は、操作指示方向が第１の操作範囲内でない場合、次のステップ２０４に処理を進める。ここで、第１の操作範囲は、操作指示方向に応じて第２プレイヤオブジェクトＰｏ２の方向および照準オブジェクトＴｏの位置だけを変化させる水平方向の回転角度範囲である。例えば、第１の操作範囲は、仮想世界基準方向を中心に−５°〜＋５°の範囲に設定される。そして、ＣＰＵ１０は、上記ステップ２０２において、仮想世界基準方向データＤｃｆ１が示す仮想世界基準方向および操作指示方向データＤｃｆ２が示す操作指示方向を用いて、当該仮想世界基準方向と操作指示方向とを仮想世界の水平面に投影した場合に生じる角度差が、上記第１の操作範囲内であるか否かを判定する。なお、第１の操作範囲は、図２６に示す砲塔／照準方向操作範囲の一例に相当する。
ステップ２０３において、ＣＰＵ１０は、操作指示方向に応じて、第２プレイヤオブジェクトＰｏ２の方向（砲塔角度）および照準オブジェクトＴｏの位置（照準位置）を設定し、次のステップ２０９に処理を進める。例えば、ＣＰＵ１０は、操作指示方向データＤｃｆ２が示す操作指示方向をそのまま第２プレイヤオブジェクトＰｏ２の砲塔方向に設定し、設定された砲塔方向を用いて砲塔姿勢データＤｃｇ２を更新する。そして、第２プレイヤオブジェクトＰｏ２の砲塔方向および位置データＤｃｉが示すプレイヤオブジェクトＰｏの位置を用いて、第２プレイヤオブジェクトＰｏ２が弾オブジェクトを所定弾速度で砲撃した場合に仮想世界に着弾する位置を照準オブジェクトＴｏの位置として算出し、当該位置を用いて位置データＤｃｉが示す照準オブジェクトＴｏの位置を更新する。
一方、ステップ２０４において、ＣＰＵ１０は、操作指示方向が第２の操作範囲内か否かを判断する。そして、ＣＰＵ１０は、操作指示方向が第２の操作範囲内である場合、次のステップ２０５に処理を進める。一方、ＣＰＵ１０は、操作指示方向が第２の操作範囲内でない場合、次のステップ２０７に処理を進める。ここで、第２の操作範囲は、操作指示方向に応じて第２プレイヤオブジェクトＰｏ２の方向および照準オブジェクトＴｏの位置を変化させるとともに、第１プレイヤオブジェクトＰｏ１の正面方向（本体方向）も所定の角度ずつ当該操作指示方向に近づくように変化させる水平方向の回転角度範囲である。例えば、第２の操作範囲は、仮想世界基準方向を中心に−８７°〜−５°および＋５°〜＋８７°の範囲に設定される。そして、ＣＰＵ１０は、上記ステップ２０４において、仮想世界基準方向データＤｃｆ１が示す仮想世界基準方向および操作指示方向データＤｃｆ２が示す操作指示方向を用いて、当該仮想世界基準方向と操作指示方向とを仮想世界の水平面に投影した場合に生じる角度差が、上記第２の操作範囲内であるか否かを判定する。なお、第２の操作範囲は、図２６に示す本体方向操作範囲の一部の一例に相当する。
ステップ２０５において、ＣＰＵ１０は、操作指示方向に応じて、第２プレイヤオブジェクトＰｏ２の方向（砲塔角度）および照準オブジェクトＴｏの位置（照準位置）を設定し、次のステップに処理を進める。例えば、ＣＰＵ１０は、操作指示方向データＤｃｆ２が示す操作指示方向をそのまま第２プレイヤオブジェクトＰｏ２の砲塔方向に設定し、設定された砲塔方向を用いて砲塔姿勢データＤｃｇ２を更新する。そして、ＣＰＵ１０は、第２プレイヤオブジェクトＰｏ２の砲塔方向および位置データＤｃｉが示すプレイヤオブジェクトＰｏの位置を用いて、第２プレイヤオブジェクトＰｏ２が弾オブジェクトを所定弾速度で砲撃した場合に仮想世界に着弾する位置を照準オブジェクトＴｏの位置として算出し、当該位置を用いて位置データＤｃｉが示す照準オブジェクトＴｏの位置を更新する。
次に、ＣＰＵ１０は、操作指示方向に応じて、第１プレイヤオブジェクトＰｏ１の正面方向（本体方向）を設定し（ステップ２０６）、次のステップ２０９に処理を進める。例えば、ＣＰＵ１０は、本体姿勢データＤｃｇ１が示す第１プレイヤオブジェクトＰｏ１の正面方向および操作指示方向データＤｃｆ２が示す操作指示方向を用いて、第１プレイヤオブジェクトＰｏ１の正面方向と操作指示方向とを仮想世界の水平面に投影した場合に生じる角度差θｄを算出する。そして、ＣＰＵ１０は、第１プレイヤオブジェクトＰｏ１の正面方向を変化させる変化角度θｃ２を、
θｃ２＝１．０−ｃｏｓθｄ
で算出する。そして、ＣＰＵ１０は、算出された変化角度θｃ２だけ操作指示方向に近づくように、第１プレイヤオブジェクトＰｏ１の正面方向を変化させ、変化後の正面方向を用いて本体姿勢データＤｃｇ１を更新する。また、ＬＣＤ６１に表示するゲーム画像を得るための仮想カメラは、第１プレイヤオブジェクトＰｏ１が向く方向を視線方向として設定されるため、ＣＰＵ１０は、仮想世界基準方向データＤｃｆ１が示す仮想世界基準方向についても、第１プレイヤオブジェクトＰｏ１の正面方向と同じ方向に同じ変化角度θｃ２だけ変化させ、変化後の仮想世界基準方向を用いて仮想世界基準方向データＤｃｆ１を更新する。
一方、上記ステップ２０４において操作指示方向が第２の操作範囲内でないと判断された場合、ＣＰＵ１０は、操作指示方向が第３の操作範囲内にあると判断する。そして、ＣＰＵ１０は、操作指示方向に応じて、第１プレイヤオブジェクトＰｏ１の方向（本体方向）を設定し（ステップ２０７）、次のステップに処理を進める。ここで、第３の操作範囲は、操作指示方向に応じて第１プレイヤオブジェクトＰｏ１の正面方向（本体方向）を第２の操作範囲よりも相対的に大きな変化角度で変化させる水平方向の回転角度範囲である。例えば、第３の操作範囲は、仮想世界基準方向を中心に−１８０°〜−８７°および＋８７°〜＋１８０°の範囲に設定される。なお、第３の操作範囲は、図２６に示す本体方向操作範囲の一部の一例に相当し、上記第２の操作範囲と第３の操作範囲とを合わせて図２６に示す本体方向操作範囲の一例に相当する。
上記ステップ２０７において、例えば、ＣＰＵ１０は、本体姿勢データＤｃｇ１が示す第１プレイヤオブジェクトＰｏ１の正面方向および操作指示方向データＤｃｆ２が示す操作指示方向を用いて、所定の変化角度θｃ３（例えば、１．０°）だけ操作指示方向に近づくように、第１プレイヤオブジェクトＰｏ１の正面方向を変化させ、変化後の正面方向を用いて本体姿勢データＤｃｇ１を更新する。また、ＬＣＤ６１に表示するゲーム画像を得るための仮想カメラは、第１プレイヤオブジェクトＰｏ１が向く方向を視線方向として設定されるため、ＣＰＵ１０は、仮想世界基準方向データＤｃｆ１が示す仮想世界基準方向についても、第１プレイヤオブジェクトＰｏ１の正面方向と同じ方向に同じ変化角度θｃ３だけ変化させ、変化後の仮想世界基準方向を用いて仮想世界基準方向データＤｃｆ１を更新する。
次に、ＣＰＵ１０は、本体方向に応じて、第２プレイヤオブジェクトＰｏ２の方向（砲塔角度）および照準オブジェクトＴｏの位置（照準位置）を設定し（ステップ２０８）、次のステップ２０９に処理を進める。例えば、第３の操作範囲では、第１プレイヤオブジェクトＰｏ１上に配置されている第２プレイヤオブジェクトＰｏ２（砲塔）は、第１プレイヤオブジェクトＰｏ１との間の位置関係を保ったまま第１プレイヤオブジェクトＰｏ１とともに方向が変化し、第１プレイヤオブジェクトＰｏ１の方向変化に応じて照準オブジェクトＴｏの位置も変化する。したがって、ＣＰＵ１０は、砲塔姿勢データＤｃｇ２が示す第２プレイヤオブジェクトＰｏ２の砲塔方向についても、第１プレイヤオブジェクトＰｏ１の正面方向と同じ方向に同じ変化角度θｃ３だけ変化させ、変化後の砲塔方向を用いて砲塔姿勢データＤｃｇ２を更新する。また、ＣＰＵ１０は、第２プレイヤオブジェクトＰｏ２の砲塔方向および位置データＤｃｉが示すプレイヤオブジェクトＰｏの位置を用いて、第２プレイヤオブジェクトＰｏ２が弾オブジェクトを所定弾速度で砲撃した場合に仮想世界に着弾する位置を照準オブジェクトＴｏの位置として算出し、当該位置を用いて位置データＤｃｉが示す照準オブジェクトＴｏの位置を更新する。つまり、上記ステップ２０８の処理では、第２プレイヤオブジェクトＰｏ２の砲塔方向は、第１プレイヤオブジェクトＰｏ１に対して上記第２の操作範囲と第３の操作範囲との境界に対応する角度（例えば、−８７°または＋８７°）を保ったまま第１プレイヤオブジェクトＰｏ１と共に仮想世界内で回転することになる。
ステップ２０９において、ＣＰＵ１０は、重心位置および本体方向に基づいて移動ベクトルを設定して、次のステップに処理を進める。例えば、ＣＰＵ１０は、重心位置データＤｃｄが示す最新の重心位置に基づいて、プレイヤオブジェクトＰｏの移動速度を算出する。一例として、ＣＰＵ１０は、ボード型コントローラ９の台９ａ上の位置に対応する所定の座標系における、重心位置のＹ１軸値（短辺方向の座標値）に基づいて、プレイヤオブジェクトＰｏの移動速度を算出する。例えば、台９ａの中心が原点に設定されている場合、重心位置のＹ１軸値が所定の数値より大きければ（すなわち、台９ａの中心から前方または後方へ所定の処理以上離れた位置に重心位置が配置されてれば）、プレイヤオブジェクトＰｏの前進または後退速度を当該数値に応じて設定する。具体的には、ボード型コントローラ９の前方（図６に示す荷重センサ９４ｃおよび９４ｄが設けられている方向）がＹ１軸正方向に設定されている場合、重心位置のＹ１軸値が正の値で所定の数値より絶対値が大きければ、プレイヤオブジェクトＰｏの前進速度（例えば、正の移動速度）を当該数値に応じて設定する。また、重心位置のＹ１軸値が負の値で所定の数値より絶対値が大きければ、プレイヤオブジェクトＰｏの後進速度（例えば、負の移動速度）を当該数値に応じて設定する。
また、ＣＰＵ１０は、プレイヤオブジェクトＰｏの前進速度（例えば、正の移動速度）が設定された場合、本体姿勢データＤｃｇ１が示す第１プレイヤオブジェクトＰｏ１の正面方向をプレイヤオブジェクトＰｏの移動方向とする。また、プレイヤオブジェクトＰｏの後退速度（例えば、負の移動速度）が設定された場合、本体姿勢データＤｃｇ１が示す第１プレイヤオブジェクトＰｏ１の正面方向の逆方向をプレイヤオブジェクトＰｏの移動方向とする。そして、ＣＰＵ１０は、上述したように算出されたプレイヤオブジェクトＰｏの移動速度および移動方向を用いて、仮想世界における移動ベクトルを算出し、算出された移動ベクトルを用いて移動ベクトルデータＤｃｈを更新する。例えば、ＣＰＵ１０は、算出されたプレイヤオブジェクトＰｏの移動速度を用いて移動ベクトルの長さを設定し、本体姿勢データＤｃｇ１が示す第１プレイヤオブジェクトＰｏ１の正面方向またはその逆方向を用いて移動ベクトルの方向を設定する。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏの位置を算出し（ステップ２１０）、次のステップに処理を進める。例えば、ＣＰＵ１０は、移動ベクトルデータＤｃｈが示す移動ベクトルに基づいて、位置データＤｃｉが示すプレイヤオブジェクトＰｏの位置を仮想世界内で移動させ、移動後の位置を用いて位置データＤｃｉを更新する。
次に、ＣＰＵ１０は、プレイヤオブジェクトＰｏが砲撃中か否かを判断する（ステップ２１１）。そして、ＣＰＵ１０は、プレイヤオブジェクトＰｏが砲撃中である場合、次のステップ２１２に処理を進める。一方、ＣＰＵ１０は、プレイヤオブジェクトＰｏが砲撃中でない場合、当該サブルーチンによる処理を終了する。ここで、プレイヤオブジェクトＰｏは、第２プレイヤオブジェクトＰｏ２から照準オブジェクトＴｏに向かって弾オブジェクトを発射することが可能であり、ユーザの所定の操作（例えば、端末装置６の攻撃ボタン（操作ボタン６４Ｅ）を押下する操作）に応じて、設定されている砲塔方向へ砲塔から砲弾が発射される。そして、砲撃中とは、プレイヤオブジェクトＰｏが弾オブジェクトを照準オブジェクトＴｏに向かって発射される上記操作が行われた時点から、当該弾オブジェクトが他のオブジェクト等と衝突して消滅するまでの期間を示している。
ステップ２１２において、ＣＰＵ１０は、弾オブジェクトの位置および移動ベクトルを算出し、当該サブルーチンによる処理を終了する。例えば、ＣＰＵ１０は、弾オブジェクトを発射する上記操作が行われた場合、弾オブジェクトの位置を第２プレイヤオブジェクトＰｏ２の砲塔内部に設定するとともに、砲塔方向に所定の弾速度を有する移動ベクトルを設定して、移動ベクトルデータＤｃｈが示す弾オブジェクトの移動ベクトルおよび位置データＤｃｉが示す弾オブジェクトの位置を更新する。そして、ＣＰＵ１０は、弾オブジェクトが発射された後は、設定された移動ベクトルに基づいて弾オブジェクトを仮想世界内で移動させて新たな弾オブジェクトの位置を設定し、設定された位置を用いて位置データＤｃｉが示す弾オブジェクトの位置を更新する。また、ＣＰＵ１０は、仮想世界に設定されている環境（重力、風、他のオブジェクトからの影響等）に基づいて移動ベクトルを修正し、修正後の移動ベクトルを用いて移動ベクトルデータＤｃｈが示す弾オブジェクトの移動ベクトルを更新する。
なお、第３の実施形態における仮想カメラの設定処理（ステップ８４）では、端末用ゲーム画像を生成するための第１仮想カメラは、仮想世界に配置されている第１プレイヤオブジェクトＰｏ１の背後近傍から見た仮想世界内の様子が含まれるように設定される。また、モニタ用ゲーム画像を生成するための第２仮想カメラは、上記第１仮想カメラが設定されている同じ仮想世界に設定され、当該仮想世界に配置されているプレイヤオブジェクトＰｏを、遠方から第１プレイヤオブジェクトＰｏ１の正面方向へ鳥瞰した仮想世界内の様子が含まれるように設定される。ＣＰＵ１０は、位置データＤｃｉが示すプレイヤオブジェクトＰｏの位置や本体姿勢データＤｃｇ１が示す第１プレイヤオブジェクトＰｏ１の正面方向に基づいて、第１仮想カメラおよび第２仮想カメラの仮想世界における位置（第１仮想カメラおよび第２仮想カメラに関するパラメータ）を設定する。
そして、第３の実施形態におけるモニタ用ゲーム画像の生成処理（ステップ４５）や端末用ゲーム画像の生成処理（ステップ４６）では、第１の実施形態と同様に、上記ゲーム制御処理の結果を表す画像がそれぞれ生成される。例えば、モニタ用ゲーム画像は、仮想カメラデータＤｃｊが示す第２仮想カメラに関するパラメータに基づいて仮想世界に第２仮想カメラを配置し、動作姿勢データＤｃｇおよび位置データＤｃｉに基づいて仮想世界にプレイヤオブジェクトＰｏ（第１プレイヤオブジェクトＰｏ１および第２プレイヤオブジェクトＰｏ２）、照準オブジェクトＴｏ、および弾オブジェクト等を配置して、当該第２仮想カメラから見た仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。また、端末用ゲーム画像は、仮想カメラデータＤｃｊが示す第１仮想カメラに関するパラメータに基づいて仮想世界に第１仮想カメラを配置し、動作姿勢データＤｃｇおよび位置データＤｃｉに基づいて仮想世界にプレイヤオブジェクトＰｏ、照準オブジェクトＴｏ、および弾オブジェクト等を配置して、当該第１仮想カメラから見た仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。
このように、上述した処理によれば、砲塔／照準方向操作範囲内（第１の操作範囲内）での端末装置６を用いた操作は、第２プレイヤオブジェクトＰｏ２の方向や照準オブジェクトＴｏの位置のみが変化し、第１プレイヤオブジェクトＰｏ１の方向やＬＣＤ６１に表示する仮想世界の表示範囲は変化しない。したがって、砲塔／照準方向操作範囲内（第１の操作範囲内）での端末装置６を用いた操作は、当該操作によって動作するオブジェクトが限定されるとともに、敵オブジェクトＥｏ等に向かって砲撃するために照準オブジェクトＴｏの位置を調整するために好適な操作環境となる。また、実空間における本体方向操作範囲内（第２の操作範囲または第３の操作範囲内）での端末装置６を用いた操作は、第２プレイヤオブジェクトＰｏ２の方向や照準オブジェクトＴｏの位置だけでなく、第１プレイヤオブジェクトＰｏ１の方向や仮想カメラの位置および方向を変えることができる。したがって、本体方向操作範囲内での端末装置６を用いた操作は、当該操作によって砲塔／照準方向操作範囲内で操作可能なオブジェクトとは異なるオブジェクトの操作が可能になるとともに、プレイヤオブジェクトＰｏの移動方向を変えたり、ＬＣＤ６１に表示される表示範囲を変えたりするために好適となる。このように、少なくとも２段階の操作範囲を設定することによって、ユーザが様々な操作を１つのデバイスの姿勢によって行うことが可能となる。
なお、上述した第１〜第３のゲーム例では、端末装置６の姿勢に基づいてＬＣＤ６１に表示する画像を生成するための仮想カメラ（第１仮想カメラ）の制御（位置の制御や方向の制御）が行われている。このような制御によって、ＬＣＤ６１を介して仮想世界内を覗いているような画像をユーザに提供することができ、当該ユーザに仮想世界にいるかのような感覚を与えることができる。また、端末装置６の姿勢を用いた操作は、鉛直方向周り（例えば、Ｙ軸方向周り）の左右振り運動（ヨー）、左右水平方向周り（例えば、Ｘ軸方向周り）の上下振り運動（ピッチ）、前後水平方向周り（例えば、Ｚ軸方向周り）の左右回転運動（ロール）のように３方向への回転操作が可能となり、仮想世界においても同様の動きが可能な仮想カメラの制御に好適であり、実空間における端末装置６の姿勢と同じ姿勢になるように仮想世界における仮想カメラの姿勢を制御することによって、仮想世界においてユーザが希望する方向を覗いたような画像を提供することができる。また、上述した第１〜第３のゲーム例では、ボード型コントローラ９上でユーザが動作することに応じて、プレイヤオブジェクトの動作（例えば、移動動作）が行われる。つまり、ユーザは、ＬＣＤ６１に表示される画像によって仮想世界にいるかのような感覚が与えられることに加えて、さらに自分自身が実空間におけるプレイヤキャラクタになったかのような操作感覚が与えられるため、さらに仮想世界にいるかのような感覚が高まることになる。
また、上述した第１〜第３のゲーム例では、端末装置６の姿勢に基づいてＬＣＤ６１に表示されるプレイヤオブジェクトＰｏの姿勢が制御されている。このような制御によって、端末装置６自体がプレイヤオブジェクトＰｏとなったかのような操作環境をユーザに提供することができ、当該ユーザが仮想世界のプレイヤオブジェクトＰｏになったような感覚やプレイヤオブジェクトＰｏを直接操作しているかのような感覚を与えることができる。また、端末装置６の姿勢を用いた操作は、鉛直方向周り（例えば、Ｙ軸方向周り）の左右振り運動（ヨー）、左右水平方向周り（例えば、Ｘ軸方向周り）の上下振り運動（ピッチ）、前後水平方向周り（例えば、Ｚ軸方向周り）の左右回転運動（ロール）のように３方向への回転操作が可能となり、仮想世界においても同様の動きが可能なプレイヤオブジェクトＰｏの制御に好適である。例えば、第１のゲーム例の場合、端末装置６のＬＣＤ６１に沿った縦方向（Ｙ軸方向）周りの左右振り運動（ヨー）をプレイヤオブジェクトＰｏの左右方向への姿勢変化（ヨー）に対応させ、ＬＣＤ６１に沿った左右方向（Ｘ軸方向）周りの上下振り運動（ピッチ）をプレイヤオブジェクトＰｏの上下方向への姿勢変化（ピッチ）に対応させ、ＬＣＤ６１の奥行方向（Ｚ軸方向）周りの左右回転運動（ロール）をプレイヤオブジェクトＰｏの正面方向を中心とした回転姿勢変化（ロール）に対応させることによって、仮想世界においてユーザが希望する姿勢に変化するオブジェクト画像を提供することができる。また、上述した第１〜第３のゲーム例では、ボード型コントローラ９上でユーザが動作することに応じて、プレイヤオブジェクトの動作（例えば、移動動作）が行われる。つまり、ユーザは、複数のデバイス（端末装置６およびボード型コントローラ９）によって１つのプレイヤオブジェクトを操作することになり、今までにない操作が可能となる。また、端末装置６の姿勢によるプレイヤオブジェクトの姿勢制御によって、ユーザが仮想世界のプレイヤオブジェクトになったような感覚やプレイヤオブジェクトを直接操作しているかのような感覚が与えられることに加えて、ボード型コントローラ９上の操作によってさらに自分自身が実空間におけるプレイヤキャラクタになったかのような操作感覚が与えられるため、さらに仮想世界にいるかのような感覚が高まることになる。また、上述した第１および第３のゲーム例では、プレイヤオブジェクトの正面方向にプレイヤオブジェクトを移動させることができる。したがって、ユーザは、端末装置６の姿勢によってプレイヤオブジェクトの姿勢（正面方向）を設定できるとともに、当該プレイヤオブジェクトの移動方向も設定することができ、移動方向を設定する操作が直感的で当該移動方向をユーザが所望する方向に合わせることが容易となる。また、上述したプレイヤオブジェクトの姿勢と同様に、端末装置６の３方向への回転操作に応じてプレイヤオブジェクトの移動方向を設定することも可能となるため、仮想世界においてユーザが希望する移動方向をそのまま設定することが可能となる。
また、上述した第１〜第３のゲーム例では、端末装置６の姿勢に基づいてプレイヤオブジェクトＰｏの移動方向が設定される。このような移動方向の設定によって、端末装置６自体がプレイヤオブジェクトＰｏとなったかのような操作環境をユーザに提供することができ、当該ユーザが仮想世界のプレイヤオブジェクトＰｏになったような感覚やプレイヤオブジェクトＰｏを直接操作しているかのような感覚を与えることができる。また、端末装置６の姿勢を用いた操作は、鉛直方向周り（例えば、Ｙ軸方向周り）の左右振り運動（ヨー）、左右水平方向周り（例えば、Ｘ軸方向周り）の上下振り運動（ピッチ）、前後水平方向周り（例えば、Ｚ軸方向周り）の左右回転運動（ロール）のように３方向への回転操作が可能となり、仮想世界においても当該３方向の少なくとも１方向への移動方向の設定が可能なプレイヤオブジェクトＰｏの制御に好適である。例えば、第１のゲーム例の場合、端末装置６のＬＣＤ６１に沿った縦方向（Ｙ軸方向）周りの左右振り運動（ヨー）をプレイヤオブジェクトＰｏの左右方向への移動方向変化（ヨー）に対応させ、ＬＣＤ６１に沿った左右方向（Ｘ軸方向）周りの上下振り運動（ピッチ）をプレイヤオブジェクトＰｏの上下方向への移動方向変化（ピッチ）に対応させることによって、仮想世界においてユーザが希望する移動方向へ移動するオブジェクト制御を提供することができる。また、上述した第１〜第３のゲーム例では、ボード型コントローラ９上でユーザが動作することに応じて、プレイヤオブジェクトの移動動作（例えば、移動速度の設定）が行われる。つまり、ユーザは、複数のデバイス（端末装置６およびボード型コントローラ９）によって１つのプレイヤオブジェクトの移動方向と移動速度とを操作することになり、今までにない操作が可能となる。また、端末装置６の姿勢によるプレイヤオブジェクトの移動方向設定によって、ユーザが仮想世界のプレイヤオブジェクトになったような感覚やプレイヤオブジェクトを直接操作しているかのような感覚が与えられることに加えて、ボード型コントローラ９上の操作によってさらに自分自身が実空間におけるプレイヤキャラクタになったかのような操作感覚が与えられるため、さらに仮想世界にいるかのような感覚が高まることになる。
また、上述した第１〜第３のゲーム例では、端末装置６のＬＣＤ６１に表示されている仮想世界の方向を、プレイヤオブジェクトの移動方向とすることができる。したがって、ユーザは、端末装置６の姿勢によってプレイヤオブジェクトの移動方向を設定できるとともに、その移動方向を見た仮想世界がＬＣＤ６１に表示されるために、移動方向を設定する操作が直感的で当該移動方向をユーザが所望する方向に合わせることが容易となる。また、上述した仮想カメラの方向と同様に、端末装置６の３方向への回転操作に応じてプレイヤオブジェクトの移動方向を設定することも可能となるため、仮想世界においてユーザが希望する移動方向をそのまま設定することが可能となる。
また、上述した第１〜第３のゲーム例では、プレイヤオブジェクトＰｏを少なくとも含む仮想世界の画像を端末装置６のＬＣＤ６１に表示したが、他の態様の仮想世界の画像をＬＣＤ６１に表示してもかまわない。例えば、プレイヤオブジェクトＰｏを表示せずに、プレイヤオブジェクトＰｏから見た主観視点の仮想世界画像をＬＣＤ６１に表示してもよい。この場合、ＬＣＤ６１に主観視点で表示されている仮想世界の方向は、プレイヤオブジェクトＰｏの移動方向と同じであってもいいし、プレイヤオブジェクトＰｏの移動方向と異なっていてもよい。ＬＣＤ６１に主観視点で表示されている仮想世界の方向と、プレイヤオブジェクトＰｏの移動方向と同じである場合、移動方向を見た仮想世界がＬＣＤ６１に表示されるために、移動方向を設定する操作が直感的で当該移動方向をユーザが所望する方向に合わせることが容易となることは言うまでもない。
なお、上述した第１〜第３のゲーム例では、端末装置６の姿勢に基づいて決定された操作指示方向に応じて、即時に仮想カメラの位置や姿勢の制御が連動するような処理例を用いた。しかしながら、操作指示方向の変化に応じて、所定の時間遅れて仮想カメラの位置や姿勢の制御が行われるような処理でもかまわない。この場合、プレイヤオブジェクトの向きが変わった後に、所定時間遅れて当該向きに追従して仮想カメラの位置や向きが変化することになる。
また、上述した第１〜第３のゲーム例では、端末装置６のＬＣＤ６１に表示されるゲーム画像と、モニタ２に表示されるゲーム画像とは、何れも同じ仮想世界（仮想空間）の様子を示す画像であるが、当該仮想世界（仮想空間）を見る視点や範囲が異なる画像である。したがって、ユーザは、２つの表示画面に表示された異なる視界や表示範囲となった仮想世界（仮想空間）を見ることが可能となり、ゲーム状況等に応じて適宜好適なゲーム画像を見ることが可能となる。また、上述した第１〜第３のゲーム例では、ユーザが端末装置６を把持して操作を行い、実空間における端末装置６の姿勢や位置に応じてプレイヤオブジェクトや仮想カメラを位置や姿勢を変化させるとともに、ＬＣＤ６１に表示される画像もプレイヤオブジェクトや仮想カメラの位置や姿勢に応じて変化させることもできる。したがって、端末装置６を把持しながらＬＣＤ６１に表示される画像を見るユーザに、仮想世界（仮想空間）の臨場感を与えることができる。その一方で、ＬＣＤ６１に表示される画像だけを見ていると仮想世界（仮想空間）全体に対する位置やプレイヤオブジェクトの周囲の状況の把握が難しくなることも考えられるが、モニタ２に相対的に広い範囲の仮想世界（仮想空間）を表示することによって、このような問題を解消することができる。
また、上述した第１〜第３のゲーム例では、ユーザは、ボード型コントローラ９にかける荷重変化によって操作が可能であるとともに、プレイヤオブジェクトを含むゲーム画像が表示される端末装置６を把持して行う操作（本体姿勢や位置による操作、タッチ操作、ボタン操作等）も可能となっている。そして、端末装置６に表示されるプレイヤオブジェクトは、ボード型コントローラ９にかける荷重変化によって操作および／または端末装置６を用いた操作に応じて、仮想世界（仮想空間）内で動作する。したがって、ユーザ自身がプレイヤオブジェクトとなって動作して仮想世界（仮想空間）を見ているような感覚をユーザに与えたり、プレイヤオブジェクトを実空間で操作しているような感覚をユーザに与えたりすることが可能となる。
ここで、上述したボード型コントローラ９を用いた操作では、ボード型コントローラ９に掛かる荷重の有無、荷重変化、および荷重の重心位置を用いて、プレイヤオブジェクトの様々な動作制御に用いられている。例えば、上述した第１〜第３のゲーム例では、ボード型コントローラ９に掛かる荷重変化や荷重の重心位置によって、プレイヤオブジェクトの動作、移動速度、および移動方向等を変化させている。なお、上記ゲーム例では、ユーザの操作方向に応じて仮想世界（仮想空間）における方向（例えば、プレイヤオブジェクトの移動方向や正面方向等）が設定されるゲーム例ではあるが、当該方向が端末装置６の姿勢（方向）に基づいて設定されている。また、第２のゲーム例における仮想世界の空中における移動方向の修正や、第３のゲーム例における前進／後退の切替等については、ボード型コントローラ９に掛かる荷重の重心位置によって設定されている。これは、端末装置６の姿勢による操作とボード型コントローラ９を用いた操作とを比較した場合に、方向を設定する操作が容易であったりゲームの臨場感が増したりする方が選択されている例であり、端末装置６の姿勢およびボード型コントローラ９に掛かる荷重の重心位置の適切な方をゲーム内容に応じて方向指示を行う操作として選択することができる。このように、端末装置６およびボード型コントローラ９を操作手段として用いる場合、ユーザの操作に応じて仮想世界（仮想空間）における方向を設定する際、複数の操作を選択肢として好適な方式を選択することが可能となる。
なお、ゲームシステム１は、端末装置６およびボード型コントローラ９を操作手段として、上記で説明したように種々のゲームを行うことが可能である。端末装置６は、可搬形のディスプレイや第２のディスプレイとしても使用することができる一方で、本体の動きによる操作、タッチ操作、ボタン操作等による入力を行うコントローラとしても使用することができ、ゲームシステム１によれば、幅広いゲームを実施することが可能となる。つまり、端末装置６は、表示装置として機能するものであるため、モニタ２やコントローラ７を使用せずに端末装置６を表示手段として使用し、ボード型コントローラ９を操作手段として使用するようなゲームシステムのような形態もあり得る。また、端末装置６は、表示装置として機能するとともに、操作装置としても機能するものであるため、モニタ２およびコントローラ７を使用せずに端末装置６を表示手段として使用し、端末装置６およびボード型コントローラ９を操作手段として使用するようなゲームシステムのような形態もあり得る。さらに、端末装置６は、表示装置として機能するとともに、操作装置としても機能するものであるため、モニタ２、コントローラ７、およびボード型コントローラ９を使用せずに端末装置６を表示手段として使用し、端末装置６を操作手段として使用するようなゲームシステムのような形態もあり得る。
また、上記実施形態においては、端末装置６は、ゲーム処理を実行しない、いわゆるシンクライアント端末として機能するものであった。しかしながら、端末装置６は、上記実施形態においてゲーム装置本体５によって実行される一連のゲーム処理のうち、少なくとも一部の処理が端末装置６によって実行されてもよい。一例として、一部の処理（例えば、端末用ゲーム画像の生成処理）を端末装置６が実行するようにしてもよい。他の例として、ゲーム装置本体５によって実行される一連のゲーム処理全てを端末装置６が実行するようにしてもよい。この場合、端末装置６は、表示装置として機能するとともに、ゲーム処理を実行する処理装置としても機能するものであるため、モニタ２、ゲーム装置本体５、およびコントローラ７を使用せずに端末装置６を表示手段として使用し、ボード型コントローラ９を操作手段として使用し、端末装置６を処理手段として使用するようなゲームシステムのような形態もあり得る。当該ゲームシステムでは、端末装置６およびボード型コントローラ９のみが無線または有線によって接続され、ボード型コントローラ９からボード操作データを端末装置６へ出力することによって、種々のゲームを行うことができる。また、ボード型コントローラ９も使用しない場合、端末装置６を表示手段、操作手段、および処理手段として使用するような形態もあり得ることは言うまでもない。
また、上記実施形態においては、端末装置６の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するために用いられる姿勢データ（例えば、磁気センサ６０２、加速度センサ６０３、およびジャイロセンサ６０４から出力される少なくとも１つのデータ）を端末装置６からゲーム装置本体５へ出力され、ゲーム装置本体５における情報処理によって端末装置６の動きが算出されている。しかしながら、ゲーム装置本体５において算出されている端末装置６の動きを、端末装置６において算出してもかまわない。この場合、端末装置６で算出された端末装置６の動きを示すデータ（すなわち、上記姿勢データを用いて算出された、端末装置６の位置や姿勢、あるいは、位置や姿勢の変化を示すデータ）が、端末装置６からゲーム装置本体５へ出力され、ゲーム装置本体５における情報処理において当該データが利用されることになる。
なお、上述した説明では、端末装置６とゲーム装置本体５との間およびボード型コントローラ９とゲーム装置本体５との間がそれぞれ無線通信によって接続された態様を用いたが、他の態様によって装置間の無線通信が行われてもかまわない。第１の例として、端末装置６が他の無線通信の中継装置として機能する。この場合、ボード型コントローラ９のボード操作データが端末装置６へ無線送信され、受信したボード操作データと共に端末装置６の端末操作データを、端末装置６がゲーム装置本体５へ無線送信する。この場合、端末装置６とゲーム装置本体５とが無線通信によって直接的に接続されるが、ボード型コントローラ９は、端末装置６を介してゲーム装置本体５と無線通信によって接続されることになる。第２の例として、ボード型コントローラ９が他の無線通信の中継装置として機能する。この場合、端末装置６の端末操作データがボード型コントローラ９へ無線送信され、受信した端末操作データと共にボード型コントローラ９のボード操作データを、ボード型コントローラ９がゲーム装置本体５へ無線送信する。この場合、ボード型コントローラ９とゲーム装置本体５とが無線通信によって直接的に接続されるが、端末装置６は、ボード型コントローラ９を介してゲーム装置本体５と無線通信によって接続されることになる。なお、他の装置が中継してゲーム装置本体５に操作データを送信する場合、ケーブルを介して当該操作データを生成する装置と当該操作データを中継する他の装置との間を電気的に接続してもかまわない。
また、端末装置６および／またはボード型コントローラ９と、ゲーム装置本体５とがケーブルを介して電気的に接続されてもかまわない。この場合、端末装置６および／またはボード型コントローラ９に接続されたケーブルをゲーム装置本体５の接続端子に接続する。第１の例として、端末装置６とゲーム装置本体５とが第１のケーブルを介して電気的に接続され、ボード型コントローラ９とゲーム装置本体５とが第２のケーブルを介して電気的に接続される。第２の例として、端末装置６とゲーム装置本体５との間がケーブルを介して電気的に接続される。この場合、ボード型コントローラ９のボード操作データは、端末装置６へ無線送信された後に上記ケーブルを介してゲーム装置本体５に送信されてもいいし、ボード型コントローラ９から直接ゲーム装置本体５に無線送信されてもよい。第３の例として、第３の例として、ボード型コントローラ９とゲーム装置本体５との間がケーブルを介して電気的に接続される。この場合、端末装置６の端末操作データは、ボード型コントローラ９へ無線送信された後に上記ケーブルを介してゲーム装置本体５に送信されてもいいし、端末装置６から直接ゲーム装置本体５に無線送信されてもよい。
また、上記実施形態においては、ゲームシステム１が端末装置６およびボード型コントローラ９をそれぞれ１つ有する構成であったが、ゲームシステム１は、複数組の端末装置６およびボード型コントローラ９を有する構成であってもよい。すなわち、ゲーム装置本体５は、複数組の端末装置６およびボード型コントローラ９とそれぞれ無線通信可能であり、ゲーム画像のデータとゲーム音声のデータと制御データとを各端末装置６へ送信し、端末操作データとカメラ画像データとマイク音データとボード操作データとを各端末装置６およびボード型コントローラ９から受信するものであってもよい。なお、ゲーム装置本体５は、複数の端末装置６およびボード型コントローラ９のそれぞれと無線通信を行うが、このとき、ゲーム装置本体５は、各端末装置６およびボード型コントローラ９との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
上記のように複数組の端末装置６およびボード型コントローラ９を有する場合には、ゲームシステム１を用いてより多くの種類のゲームを行うことができる。例えば、ゲームシステム１が２組の端末装置６およびボード型コントローラ９を有する場合には、２人のユーザが同時にゲームを行うことができる。また、ゲームシステム１が２組の端末装置６およびボード型コントローラ９を有する場合には、ゲームシステム１は３つの表示装置を有することになるので、３人のユーザのそれぞれのためのゲーム画像を生成し、各表示装置に表示させることができる。
また、上述した説明では、ボード型コントローラ９に複数の荷重センサ９４を設けているが、上記処理においてボード型コントローラ９に加わっている荷重の重心位置の情報が不要であれば、荷重センサ９４を少なくとも１つボード型コントローラ９に設けてもかまわない。
また、上記実施例では、据置型のゲーム装置３を用いて説明したが、携帯型のゲーム装置や一般的なパーソナルコンピュータ等の情報処理装置で本発明の情報処理プログラムを実行して、本発明を実現してもかまわない。また、他の実施形態では、ゲーム装置に限らず任意の携帯型電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や携帯電話、パーソナルコンピュータ、カメラ等であってもよい。何れの装置であっても、当該装置と端末装置６およびボード型コントローラ９とを無線または有線で接続することによって、本発明を実現することができる。
また、上述した説明では情報処理をゲーム装置本体５で行う例を用いたが、上記情報処理における処理ステップの少なくとも一部をゲームシステム１の外部に設けられた他の装置で行ってもかまわない。例えば、ゲーム装置本体５が他の装置（例えば、サーバや他のゲーム装置）と通信可能に構成されている場合、上記情報処理における処理ステップは、ゲーム装置本体５および当該他の装置が協働することによって実行してもよい。一例として、他の装置において、プレイヤオブジェクトおよび仮想世界等を設定する処理が行われ、ゲーム装置本体５からプレイヤオブジェクトの動作や姿勢に関するデータが他の装置へ送信されて、上記情報処理が行われることが考えられる。そして、他の装置で生成された仮想世界を示す画像データがゲーム装置本体５へ送信され、当該仮想世界がモニタ２やＬＣＤ６１に表示される。このように、上記情報処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した情報処理と同様の処理が可能となる。なお、上記情報処理における処理ステップの少なくとも一部をボード型コントローラ９（マイコン１００）で行ってもよい。また、上述した情報処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施形態においては、ゲーム装置本体５のＣＰＵ１０が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置本体５が備える専用回路によって上記処理の一部または全部が行われてもよい。
また、上述したゲーム装置本体５の形状や、端末装置６、コントローラ７、およびボード型コントローラ９の形状および各種操作ボタンやセンサの形状、数、および設置位置等は、単なる一例に過ぎず他の形状、数、および設置位置であっても、本発明を実現できることは言うまでもない。また、上述した情報処理で用いられる処理順序、設定値、表示態様、判定に用いられる値等は、単なる一例に過ぎず他の順序、表示態様、値であっても、本発明を実現できることは言うまでもない。
また、上記情報処理プログラム（ゲームプログラム）は、光ディスク４等の外部記憶媒体を通じてゲーム装置本体５に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置本体５に供給されてもよい。また、情報処理プログラムは、ゲーム装置本体５内部の不揮発性記憶装置に予め記録されていてもよい。なお、情報処理プログラムを記憶する情報記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープなどでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、不揮発性半導体メモリや揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
本発明に係る情報処理プログラム、情報処理システム、および情報処理方法は、ユーザ自身の動作に基づいた操作を行って当該ユーザ動作に基づいた処理を行う場合に、ユーザが当該処理結果を好適な状況で見ることができ、ユーザの動作に基づいた処理等を行う情報処理プログラム、情報処理システム、および情報処理方法として有用である。
１…ゲームシステム
２…モニタ
３…ゲーム装置
４…光ディスク
５…ゲーム装置本体
１０、６１７…ＣＰＵ
１１…システムＬＳＩ
１２…外部メインメモリ
１３…ＲＯＭ／ＲＴＣ
１４…ディスクドライブ
１５…ＡＶ−ＩＣ
１６…ＡＶコネクタ
１７…フラッシュメモリ
１８…ネットワーク通信モジュール
１９…コントローラ通信モジュール
２０…拡張コネクタ
２１…メモリカード用コネクタ
２２、２３、２９、６１１、７５４…アンテナ
２４…電源ボタン
２５…リセットボタン
２６…イジェクトボタン
２７…コーデックＬＳＩ
２８…端末通信モジュール
３１…入出力プロセッサ
３２…ＧＰＵ
３３…ＤＳＰ
３４…ＶＲＡＭ
３５…内部メインメモリ
６…端末装置
６０…ハウジング
６１…ＬＣＤ
６２…タッチパネル
６３…アナログスティック
６４…操作ボタン
６５…マーカ部
６６…カメラ
６７…拡張コネクタ
６８…足部
６０１…タッチパネルコントローラ
６０２…磁気センサ
６０３…加速度センサ
６０４…ジャイロセンサ
６０５…ＵＩコントローラ
６０６…コーデックＬＳＩ
６０７…スピーカ
６０８…サウンドＩＣ
６０９…マイク
６１２…赤外線通信モジュール
６１３…フラッシュメモリ
６１４…電源ＩＣ
６１６…充電器
６１８…内部メモリ
６１９…バイブレータ
７…コントローラ
８…マーカ
９…ボード型コントローラ
９０…支持板
９２…脚
９４…荷重センサ
９５…起歪体
９６…歪センサ
１０２…ＡＤコンバータ
１０４…ＤＣ−ＤＣコンバータ
１０６、６１０、７５３…無線モジュール
１０８…増幅器
１００、７５１…マイコン
１１０、６１５…電池

Claims (36)

  1. 可搬型表示装置本体の姿勢に応じた姿勢データを少なくとも出力する当該可搬型表示装置に画像を表示することが可能な情報処理装置のコンピュータで実行される情報処理プログラムであって、
    前記コンピュータを、
    荷重検出装置に加えられた荷重に基づくデータを取得する荷重取得手段と、
    前記姿勢データに基づいて、仮想世界に配置されたオブジェクトの姿勢を制御するオブジェクト姿勢制御手段と、
    前記荷重取得手段が取得したデータに基づいて、仮想世界において前記オブジェクトを移動させるオブジェクト移動手段と、
    前記オブジェクトを少なくとも含む仮想世界を示す第１画像を前記可搬型表示装置に表示する表示制御手段として機能させる、情報処理プログラム。
  2. 前記姿勢データに基づいて、当該可搬型表示装置の姿勢を算出する姿勢算出手段として、さらに前記コンピュータを機能させ、
    前記オブジェクト姿勢制御手段は、前記可搬型表示装置の姿勢に基づいて、前記オブジェクトの姿勢を制御する、請求項１に記載の情報処理プログラム。
  3. 前記姿勢算出手段は、実空間の所定方向を基準とした前記可搬型表示装置の姿勢を算出し、
    前記オブジェクト姿勢制御手段は、前記所定方向を基準とした前記可搬型表示装置の姿勢に基づいて、当該所定方向に対応する前記仮想世界に設定された所定方向を基準として前記オブジェクトの姿勢の制御を行う、請求項２に記載の情報処理プログラム。
  4. 前記姿勢算出手段は、実空間の重力方向を実空間の前記所定方向とし、当該重力方向を基準とした前記可搬型表示装置の姿勢を算出し、
    前記オブジェクト姿勢制御手段は、実空間の重力方向を基準とした前記可搬型表示装置の姿勢に基づいて、前記仮想世界に設定された重力方向を基準として前記オブジェクトの姿勢の制御を行う、請求項３に記載の情報処理プログラム。
  5. 前記姿勢算出手段は、実空間の重力方向周りに前記可搬型表示装置が回転する姿勢を少なくとも算出し、
    前記オブジェクト姿勢制御手段は、実空間の重力方向周りに前記可搬型表示装置が回転する姿勢に基づいて、前記仮想世界に設定された重力方向周りに前記オブジェクトを回転させて姿勢を制御する、請求項４に記載の情報処理プログラム。
  6. 前記姿勢算出手段は、実空間の重力方向に垂直な水平方向周りに前記可搬型表示装置が上下振り運動する姿勢を少なくとも算出し、
    前記オブジェクト姿勢制御手段は、前記水平方向周りに前記可搬型表示装置が上下振り運動する姿勢に基づいて、当該水平方向に対応する前記仮想世界に設定された水平方向周りに前記オブジェクトが上下振り運動する姿勢を制御する、請求項４に記載の情報処理プログラム。
  7. 前記姿勢算出手段は、前記第１画像が表示される前記可搬型表示装置の表示画面に垂直な当該表示画面の奥行方向に直交する２軸周りにそれぞれ回転する姿勢を少なくとも算出し、
    前記オブジェクト姿勢制御手段は、前記可搬型表示装置が前記２軸周りにそれぞれ回転する姿勢に応じて、前記オブジェクトの正面方向に直交する２軸の周りに当該オブジェクトを回転させることによって当該オブジェクトの姿勢の制御を行う、請求項２乃至４のい
    ずれか１つに記載の情報処理プログラム。
  8. 前記姿勢算出手段は、前記奥行方向に直交する前記可搬型表示装置の表示画面の横方向の軸および縦方向の軸周りにそれぞれ回転する姿勢を少なくとも算出し、
    前記オブジェクト姿勢制御手段は、前記可搬型表示装置が前記横方向の軸周りに回転する姿勢に応じて前記オブジェクトの正面方向に直交する当該オブジェクトの横方向の軸周りに当該オブジェクトを回転させ、前記可搬型表示装置が前記縦方向の軸周りに回転する姿勢に応じて前記オブジェクトの正面方向および当該横方向共に直交する当該オブジェクトの軸周りに当該オブジェクトを回転させることによって当該オブジェクトの姿勢の制御を行う、請求項７に記載の情報処理プログラム。
  9. 前記姿勢算出手段は、
    実空間における前記可搬型表示装置の基準姿勢を設定する実空間基準姿勢設定手段と、
    前記可搬型表示装置から出力されるデータに基づいて、現時点における前記可搬型表示装置の姿勢と前記基準姿勢との実空間における所定軸周りの角度差を算出する角度差算出手段とを含み、
    前記オブジェクト姿勢制御手段は、
    仮想世界における前記オブジェクトの基準姿勢を設定する仮想世界基準姿勢設定手段と、
    前記角度差算出手段が算出した角度差に基づいて、実空間における前記所定軸周りに対応する仮想世界の所定軸周りに、前記オブジェクトの基準姿勢から前記オブジェクトの方向を回転させて当該オブジェクトの姿勢を制御する方向制御手段とを含む、請求項２乃至８のいずれか１つに記載の情報処理プログラム。
  10. 前記オブジェクト姿勢制御手段は、前記角度差算出手段が算出した角度差に応じた変位量で、仮想世界の前記所定軸周りに、前記仮想世界基準姿勢設定手段が設定する前記オブジェクトの基準姿勢の方向を回転変位させる基準姿勢変位手段を、さらに含み、
    前記方向制御手段は、前記角度差算出手段が算出した角度差に基づいて、仮想世界の前記所定軸周りに、前記変位した基準姿勢から前記オブジェクトの方向を回転させて当該オブジェクトの姿勢を制御する、請求項９に記載の情報処理プログラム。
  11. 仮想世界における前記オブジェクトの後方から当該オブジェクトが前記第１画像内に含まれるように、当該仮想世界の画像を生成するための第１仮想カメラを配置する第１仮想カメラ制御手段として、さらに前記コンピュータを機能させ、
    前記表示制御手段は、前記第１仮想カメラから見た仮想世界を示す画像を、前記第１画像として前記可搬型表示装置に表示する、請求項２乃至１０のいずれか１つに記載の情報処理プログラム。
  12. 前記第１仮想カメラ制御手段は、前記オブジェクトの姿勢および前記オブジェクトの仮想世界における位置に基づいて、前記第１仮想カメラの位置および姿勢の制御を行う、請求項１１に記載の情報処理プログラム。
  13. 前記第１仮想カメラ制御手段は、前記第１画像における前記オブジェクトの表示位置が固定されるように、前記第１仮想カメラの位置および姿勢の制御を行う、請求項１１に記載の情報処理プログラム。
  14. 前記オブジェクト移動手段は、前記オブジェクト姿勢制御手段が制御する前記オブジェクトの正面方向に、当該オブジェクトを移動させる、請求項２乃至１３のいずれか１つに記載の情報処理プログラム。
  15. 前記表示制御手段は、前記第１画像とは別に、前記仮想世界を示す第２画像を、前記情報処理装置に接続された別の表示装置にさらに表示する、請求項２乃至１４のいずれか１つに記載の情報処理プログラム。
  16. 前記表示制御手段は、前記第１画像を生成する仮想世界の視点とは異なる視点から見た当該仮想世界の前記オブジェクトを含む画像を、前記第２画像として前記別の表示装置に表示する、請求項１５に記載の情報処理プログラム。
  17. 前記表示制御手段は、前記第１画像を生成する仮想世界の視点から前記オブジェクトまでの距離より当該オブジェクトから離れた位置に、前記第２画像を生成する当該仮想世界の視点を設定し、
    前記表示制御手段は、前記第１画像で示される仮想世界の範囲より広い範囲を、前記第２画像として前記別の表示装置に表示する、請求項１６に記載の情報処理プログラム。
  18. 前記表示制御手段は、仮想世界において前記オブジェクトを鳥瞰する位置に、前記第２画像を生成する視点を設定し、
    前記表示制御手段は、仮想世界に配置された前記オブジェクトを鳥瞰した画像を、前記第２画像として前記別の表示装置に表示する、請求項１６に記載の情報処理プログラム。
  19. 前記表示制御手段は、前記第１画像を生成する第１仮想カメラおよび前記第２画像を生成する第２仮想カメラを設定し、仮想世界における当該第１仮想カメラの視線方向の変化に応じて、当該第２仮想カメラの当該仮想世界における視線方向を変化させる、請求項１５乃至１８の何れか１つに記載の情報処理プログラム。
  20. 前記表示制御手段は、仮想世界における前記オブジェクトの背後から当該オブジェクトの正面方向が撮像方向となるように前記第１仮想カメラを配置し、仮想世界における前記オブジェクトの正面方向にある位置を注視点として前記第２画像において当該オブジェクトが同じ位置に表示されるように前記第２仮想カメラを配置して、前記オブジェクトの動作に応じて前記第１仮想カメラおよび前記第２仮想カメラの位置および／または姿勢を制御する、請求項１９に記載の情報処理プログラム。
  21. 前記姿勢算出手段は、実空間の重力方向を基準とした前記奥行方向の向きを少なくとも算出し、
    前記オブジェクト姿勢制御手段は、仮想世界に設定された重力方向と前記オブジェクトの正面方向との位置関係が、前記実空間の重力方向と前記奥行方向との位置関係と実質的に同じとなるように、当該オブジェクトの正面方向を設定して当該オブジェクトの姿勢の制御を行う、請求項７に記載の情報処理プログラム。
  22. 前記オブジェクト姿勢制御手段は、前記可搬型表示装置の姿勢と実質的に同じ姿勢となるように、前記オブジェクトの姿勢を制御する、請求項２乃至２１のいずれか１つに記載の情報処理プログラム。
  23. 前記荷重取得手段が取得したデータに基づいて、前記荷重検出装置に加えられた荷重の重心位置を算出する重心位置算出手段として、さらに前記コンピュータを機能させ、
    前記オブジェクト移動手段は、前記重心位置算出手段で算出される重心位置に基づいて、前記オブジェクトを移動させる、請求項２乃至２２のいずれか１つに記載の情報処理プログラム。
  24. 前記オブジェクト移動手段は、前記重心位置算出手段で算出される重心位置の往復移動
    に基づいて、前記オブジェクトを移動させる、請求項２３に記載の情報処理プログラム。
  25. 前記オブジェクト移動手段は、前記重心位置が前記往復移動する際に所定の境界の一方側から他方側へ移動した場合に前記オブジェクトが行う第１の動作に応じた移動速度で当該オブジェクトを移動させ、前記重心位置が当該境界の他方側から一方側へ移動した場合に前記オブジェクトが行う第２の動作に応じた移動速度で当該オブジェクトを移動させる、請求項２４に記載の情報処理プログラム。
  26. 前記オブジェクト移動手段は、予め設定された基準位置から前記重心位置算出手段で算出される重心位置までの距離に基づいて前記オブジェクトの移動速度を設定し、当該基準位置から当該重心位置への方向に基づいて前記オブジェクトの移動方向を設定して、前記オブジェクトを移動させる、請求項２３に記載の情報処理プログラム。
  27. 前記オブジェクト移動手段は、前記荷重取得手段が取得したデータが示す荷重の変化に基づいて、前記オブジェクトを移動させる、請求項２乃至２２のいずれか１つに記載の情報処理プログラム。
  28. 前記オブジェクト移動手段は、前記荷重検出装置に加えられた荷重が所定値以上に上昇する変化をした時点で、前記オブジェクトが行う第１の動作に応じた移動速度で当該オブジェクトを移動させる、請求項２７に記載の情報処理プログラム。
  29. 前記オブジェクト移動手段は、前記荷重検出装置に加えられた荷重が所定値以上に上昇する変化をした後に、前記荷重検出装置に加えられた荷重が所定値以下まで降下する変化をしたことに応じて、前記オブジェクトを移動させる、請求項２７に記載の情報処理プログラム。
  30. 前記オブジェクト移動手段は、前記荷重が所定値以上に上昇する変化をした時点から、当該荷重が所定値以下まで降下する変化をした時点までの時間長さに基づいた移動速度で前記オブジェクトを移動させる、請求項２９に記載の情報処理プログラム。
  31. 前記可搬型表示装置は、ジャイロセンサおよび加速度センサの少なくとも一方を含み、
    前記姿勢算出手段は、前記ジャイロセンサおよび前記加速度センサの少なくとも一方から出力されるデータに基づいて、前記可搬型表示装置の姿勢を算出する、請求項２乃至３０のいずれか１つに記載の情報処理プログラム。
  32. 前記表示制御手段は、前記第１画像を示す画像データを前記可搬型表示装置へ出力し、
    前記可搬型表示装置は、
    前記情報処理装置から出力された画像データを取得する画像データ取得手段と、
    前記画像データ取得手段が取得した画像データが示す前記第１画像を表示する表示手段とを備える、請求項１乃至３１のいずれか１つに記載の情報処理プログラム。
  33. 前記第１画像を示す画像データを圧縮して圧縮画像データを生成する圧縮画像生成手段として、さらに前記コンピュータを機能させ、
    前記表示制御手段は、前記圧縮画像生成手段が生成した圧縮画像データを前記可搬型表示装置へ出力し、
    前記画像データ取得手段は、前記情報処理装置から出力された圧縮画像データを取得し、
    前記可搬型表示装置は、前記圧縮画像データを伸張して前記第１画像を示す画像データを得る表示画像伸張手段を、さらに備え、
    前記表示手段は、前記画像データ取得手段が取得して前記表示画像伸張手段が伸張した画像データが示す前記第１画像を表示する、請求項３２に記載の情報処理プログラム。
  34. 可搬型表示装置と、荷重検出装置と、当該可搬型表示装置に画像を表示することが可能な情報処理装置とを含む情報処理システムであって、
    前記荷重検出装置は、当該荷重検出装置に加わる荷重に基づいたデータを前記情報処理装置へ出力する荷重検出手段を備え、
    前記可搬型表示装置は、少なくとも当該可搬型表示装置の姿勢に応じた姿勢データを前記情報処理装置へ出力する姿勢データ出力手段を備え、
    前記情報処理装置は、
    前記荷重検出装置から出力されたデータを取得する取得手段と、
    前記姿勢データに基づいて、仮想世界に配置されたオブジェクトの姿勢を制御するオブジェクト姿勢制御手段と、
    前記取得手段が取得したデータに基づいて、仮想世界において前記オブジェクトを移動させるオブジェクト移動手段と、
    前記オブジェクトを少なくとも含む仮想世界を示す第１画像を前記可搬型表示装置に出力する画像データ出力手段とを備え、
    前記可搬型表示装置は、
    前記情報処理装置から出力された前記第１画像のデータを取得する画像データ取得手段と、
    前記画像データ取得手段が取得した画像データが示す前記第１画像を表示する表示手段とを、さらに備える、情報処理システム。
  35. 可搬型表示装置本体の姿勢に応じた姿勢データを少なくとも出力する当該可搬型表示装置に画像を表示することが可能な少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    荷重検出装置に加えられた荷重に基づくデータを取得する荷重取得ステップと、
    前記姿勢データに基づいて、仮想世界に配置されたオブジェクトの姿勢を制御するオブジェクト姿勢制御ステップと、
    前記荷重取得ステップにおいて取得されたデータに基づいて、仮想世界において前記オブジェクトを移動させるオブジェクト移動ステップと、
    前記オブジェクトを少なくとも含む仮想世界を示す第１画像を前記可搬型表示装置に表示する表示制御ステップとを含む、情報処理方法。
  36. 可搬型表示装置と荷重検出装置とを含む情報処理システムであって、
    前記荷重検出装置は、当該荷重検出装置に加わる荷重に基づいたデータを前記可搬型表示装置へ出力する荷重検出手段を備え、
    前記可搬型表示装置は、
    少なくとも前記可搬型表示装置の姿勢に応じた姿勢データを生成する姿勢データ生成手段と、
    荷重検出装置から出力されたデータを取得する取得手段と、
    前記姿勢データに基づいて、仮想世界に配置されたオブジェクトの姿勢を制御するオブジェクト姿勢制御手段と、
    前記取得手段が取得したデータに基づいて、仮想世界において前記オブジェクトを移動させるオブジェクト移動手段と、
    前記オブジェクトを少なくとも含む仮想世界を示す第１画像を生成する画像生成手段と、
    前記画像生成手段が生成した前記第１画像を表示する表示手段とを備える、情報処理システム。
JP2011083456A 2011-03-08 2011-04-05 情報処理プログラム、情報処理システム、および情報処理方法 Active JP5687545B2 (ja)

Priority Applications (18)

Application Number Priority Date Filing Date Title
JP2011083456A JP5687545B2 (ja) 2011-04-05 2011-04-05 情報処理プログラム、情報処理システム、および情報処理方法
EP11187473A EP2497546A3 (en) 2011-03-08 2011-11-02 Information processing program, information processing system, and information processing method
US13/287,320 US9925464B2 (en) 2011-03-08 2011-11-02 Computer-readable storage medium, information processing system, and information processing method for displaying an image on a display device using attitude data of a display device
EP11194630.7A EP2497547B1 (en) 2011-03-08 2011-12-20 Information processing program, information processing apparatus, information processing system, and information processing method
US13/333,045 US9205327B2 (en) 2011-03-08 2011-12-21 Storage medium having information processing program stored thereon, information processing apparatus, information processing system, and information processing method
EP12150272.8A EP2497548A3 (en) 2011-03-08 2012-01-05 Information processing program, information processing apparatus, information processing system, and information processing method
US13/343,913 US9345962B2 (en) 2011-03-08 2012-01-05 Storage medium having stored thereon information processing program, information processing apparatus, information processing system, and information processing method
US13/352,091 US9370712B2 (en) 2011-03-08 2012-01-17 Information processing system, information processing apparatus, storage medium having information processing program stored therein, and image display method for controlling virtual objects based on at least body state data and/or touch position data
EP12153067.9A EP2497549B1 (en) 2011-03-08 2012-01-30 Information processing program, information processing apparatus, information processing system, and information processing method
US13/362,255 US20120231882A1 (en) 2011-03-08 2012-01-31 Storage medium having stored thereon game program, game apparatus, game system, and game processing method
US13/362,381 US8845430B2 (en) 2011-03-08 2012-01-31 Storage medium having stored thereon game program, game apparatus, game system, and game processing method
US13/362,289 US9522323B2 (en) 2011-03-08 2012-01-31 Storage medium having stored thereon information processing program, information processing apparatus, information processing system, and information processing method
US13/400,944 US9526981B2 (en) 2011-03-08 2012-02-21 Storage medium having stored thereon information processing program, information processing apparatus, information processing system, and information processing method
US13/401,054 US9492742B2 (en) 2011-03-08 2012-02-21 Storage medium having stored thereon information processing program, information processing apparatus, information processing system, and information processing method
US13/402,026 US9492743B2 (en) 2011-03-08 2012-02-22 Storage medium having stored thereon information processing program, information processing apparatus, information processing system, and information processing method
EP12156629A EP2497550A3 (en) 2011-03-08 2012-02-23 Information processing program, information processing apparatus, information processing system, and information processing method
EP14166174.4A EP2781244A3 (en) 2011-03-08 2012-02-23 Information processing program, information processing apparatus, information processing system and information processing method
EP12156630.1A EP2497551B1 (en) 2011-03-08 2012-02-23 Information processing program, information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011083456A JP5687545B2 (ja) 2011-04-05 2011-04-05 情報処理プログラム、情報処理システム、および情報処理方法

Publications (2)

Publication Number Publication Date
JP2012221023A JP2012221023A (ja) 2012-11-12
JP5687545B2 true JP5687545B2 (ja) 2015-03-18

Family

ID=47272516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011083456A Active JP5687545B2 (ja) 2011-03-08 2011-04-05 情報処理プログラム、情報処理システム、および情報処理方法

Country Status (1)

Country Link
JP (1) JP5687545B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6133344B2 (ja) * 2015-03-10 2017-05-24 株式会社コロプラ ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム
US11036283B2 (en) 2018-01-18 2021-06-15 Richard J. Tett Navigation controller
US10275019B1 (en) * 2018-01-18 2019-04-30 HoboLoco Inc. Virtual reality locomotion device
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325653A (ja) * 1999-05-19 2000-11-28 Enix Corp 携帯型ビデオゲーム装置およびプログラムを格納した記録媒体
JP5436909B2 (ja) * 2009-03-30 2014-03-05 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法

Also Published As

Publication number Publication date
JP2012221023A (ja) 2012-11-12

Similar Documents

Publication Publication Date Title
EP2497551B1 (en) Information processing program, information processing apparatus, information processing system, and information processing method
EP2497545B1 (en) Information processing program, information processing system, and information processing method
JP5792971B2 (ja) 情報処理システム、情報処理プログラム、および情報処理方法
US9643085B2 (en) Computer-readable storage medium, information processing system, and information processing method for controlling a virtual object using attitude data
JP5912290B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US9561443B2 (en) Computer-readable storage medium, information processing system, and information processing method
US9925464B2 (en) Computer-readable storage medium, information processing system, and information processing method for displaying an image on a display device using attitude data of a display device
JP5687545B2 (ja) 情報処理プログラム、情報処理システム、および情報処理方法
JP6041466B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5687544B2 (ja) 情報処理プログラム、情報処理システム、および情報処理方法
JP5841352B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5864121B2 (ja) 情報処理プログラム、情報処理システム、および情報処理方法
JP5759233B2 (ja) 情報処理プログラム、情報処理システム、および情報処理方法
JP6246991B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5912289B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6041467B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150122

R150 Certificate of patent or registration of utility model

Ref document number: 5687545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250