図1を参照して、本発明の一実施形態に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについて説明する。以下、説明を具体的にするために、当該情報処理装置の一例として据置型のゲーム装置本体5を用い、ゲーム装置本体5を含むゲームシステムを用いて説明する。なお、図1は、据置型のゲーム装置3を含むゲームシステム1の一例を示す外観図である。図2は、ゲーム装置本体5の一例を示すブロック図である。以下、当該ゲームシステム1について説明する。
図1において、ゲームシステム1は、表示手段の一例である家庭用テレビジョン受像機(以下、モニタと記載する)2と、モニタ2に接続コードを介して接続する据置型のゲーム装置3とから構成される。モニタ2は、ゲーム装置3から出力された音声信号を音声出力するためのスピーカ2aを備える。また、ゲーム装置3は、本願発明の情報処理プログラムの一例となるプログラム(例えば、ゲームプログラム)を記録した光ディスク4と、光ディスク4のプログラムを実行してゲーム画面をモニタ2に表示出力させるためのコンピュータを搭載したゲーム装置本体5と、端末装置6と、表示画面に表示されたオブジェクト等を操作するために必要な操作情報をゲーム装置本体5に与えるためのコントローラ7と、ボード型コントローラ9とを含む。ゲームシステム1は、端末装置6、コントローラ7、およびボード型コントローラ9の少なくとも1つを用いたゲーム操作に基づいて、ゲーム装置本体5においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をモニタ2および/または端末装置6に表示するものである。なお、ゲーム装置本体5と端末装置6、コントローラ7、およびボード型コントローラ9とは、無線によって無線通信可能に接続される。例えば、上記無線通信は、Bluetooth(登録商標)規格やIEEE802.11n規格に従って実行されるが、赤外線など他の規格に従って実行されてもよい。
ゲーム装置本体5には、当該ゲーム装置本体5に対して交換可能に用いられる情報記憶媒体の一例である光ディスク4が脱着可能に挿入される。光ディスク4には、ゲーム装置本体5において実行されるための情報処理プログラム(典型的にはゲームプログラム)が記憶されている。ゲーム装置本体5の前面には、光ディスク4の挿入口が設けられている。ゲーム装置本体5は、挿入口に挿入された光ディスク4に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
ゲーム装置本体5には、モニタ2が接続コードを介して接続される。モニタ2は、ゲーム装置本体5において実行されるゲーム処理によって得られるゲーム画像を表示する。モニタ2はスピーカ2aを有しており、スピーカ2aは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置本体5と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置本体5とモニタ2との通信は無線通信であってもよい。
ゲーム装置本体5には、セーブデータ等のデータを固定的に記憶するバックアップメモリとして機能するフラッシュメモリ17(図2参照)が搭載される。ゲーム装置本体5は、光ディスク4に記憶されたゲームプログラム等を実行することによって、その結果をゲーム画像としてモニタ2および/または端末装置6に表示する。ゲームプログラム等は、光ディスク4に限らず、フラッシュメモリ17に予め記録されたものを実行するようにしてもよい。また、ゲーム装置本体5は、フラッシュメモリ17に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ2および/または端末装置6に表示することもできる。そして、ゲーム装置3のユーザは、モニタ2および/または端末装置6に表示されたゲーム画像を見ながら、端末装置6、コントローラ7、およびボード型コントローラ9の少なくとも1つを操作することによって、ゲーム進行を楽しむことができる。
コントローラ7およびボード型コントローラ9は、コントローラ通信モジュール19を内蔵するゲーム装置本体5へ、例えばBluetoothの技術を用いて操作情報等の送信データをそれぞれ無線送信する。コントローラ7は、主にモニタ2の表示画面に表示された選択肢の選択等をするための操作手段である。コントローラ7は、片手で把持可能な程度の大きさのハウジングと、当該ハウジングの表面に露出して設けられた複数個の操作ボタン(十字キー等を含む)とが設けられている。また、後述により明らかとなるが、コントローラ7は、コントローラ7から見た画像を撮像する撮像情報演算部を備えている。そして、撮像情報演算部の撮像対象の一例として、モニタ2の表示画面近傍(図1では画面の上側)に2つのLEDモジュール(以下、マーカと記載する)8Lおよび8Rが設置される。詳細は後述するが、ユーザ(プレイヤ)は、コントローラ7を動かすゲーム操作を行うことができ、マーカ8は、コントローラ7の動きや位置や姿勢等をゲーム装置本体5が算出するために用いられる。マーカ8は、その両端に2つのマーカ8Lおよび8Rを備えている。マーカ8R(マーカ8Lも同様)は、具体的には1以上の赤外LED(Light Emitting Diode)であり、モニタ2の前方に向かって赤外光を出力する。マーカ8はゲーム装置本体5に接続されており、ゲーム装置本体5はマーカ8が備える各赤外LEDの点灯を制御することが可能である。なお、マーカ8は可搬型であり、ユーザはマーカ8を自由な位置に設置することができる。図1ではマーカ8がモニタ2の上に設置された態様を表しているが、マーカ8を設置する位置および向きは任意である。また、コントローラ7は、ゲーム装置本体5のコントローラ通信モジュール19から無線送信された送信データを通信部で受信して、当該送信データに応じた音や振動を発生させることもできる。
なお、他の実施形態においてはコントローラ7および/またはボード型コントローラ9とゲーム装置本体5とは有線で接続されてもよい。また、本実施形態では、ゲームシステム1に含まれるコントローラ7およびボード型コントローラ9はそれぞれ1つとするが、ゲーム装置本体5は複数のコントローラ7および複数のボード型コントローラ9と通信可能であり、所定台数のコントローラ7およびボード型コントローラ9をそれぞれ同時に使用することによって複数人でゲームをプレイすることが可能である。
コントローラ7は、例えばプラスチック成型によって形成されたハウジングを有しており、当該ハウジングに複数の操作部(操作ボタン)が設けられている。そして、コントローラ7は、操作部に対する入力状態(各操作ボタンが押下されたか否か)を示す操作データをゲーム装置本体5に送信する。
また、コントローラ7は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別することによってその領域の重心位置やサイズなどを算出する撮像情報演算部を有している。例えば、撮像情報演算部は、コントローラ7のハウジングに固設された撮像手段を有し、端末装置6のマーカ部65および/またはマーカ8等の赤外光を出力するマーカを撮像対象としている。そして、撮像情報演算部は、撮像手段が撮像した撮像画像内における撮像対象の位置を算出し、算出された位置を示すマーカ座標データをゲーム装置本体5に送信する。このマーカ座標データは、コントローラ7自体の向き(傾斜角度)や位置に対応して変化するので、ゲーム装置本体5はこのマーカ座標データを用いてコントローラ7の向きや位置を算出することができる。
さらに、コントローラ7は、加速度センサおよび/またはジャイロセンサを内蔵している。加速度センサは、コントローラ7に生じる加速度(重力加速度を含む)を検出し、検出した加速度を示す加速度データをゲーム装置本体5に送信する。加速度センサが検出した加速度は、コントローラ7自体の向き(傾斜角度)や動きに対応して変化するので、ゲーム装置本体5は取得された加速度データを用いてコントローラ7の向きや動きを算出することができる。ジャイロセンサは、コントローラ7に設定された3軸回りの角速度をそれぞれ検出し、検出した角速度を示す角速度データをゲーム装置本体5に送信する。ジャイロセンサが検出した角速度は、コントローラ7自体の向き(傾斜角度)や動きに対応して変化するので、ゲーム装置本体5は取得された角速度データを用いてコントローラ7の向きや動きを算出することができる。このように、ユーザは、コントローラ7に設けられた操作部を押下すること、およびコントローラ7自体を動かしてその位置や姿勢(傾き)を変えることによってゲーム操作を行うことができる。
コントローラ7には、スピーカおよびバイブレータが設けられている。コントローラ7は、ゲーム装置本体5から送信されたサウンドデータを処理し、当該サウンドデータに応じた音声をスピーカから出力させる。また、コントローラ7は、ゲーム装置本体5から送信された振動データを処理し、当該振動データに応じてバイブレータを作動させて振動を発生させる。なお、後述する本発明の実施形態においては、コントローラ7を用いることなくゲームをプレイすることが可能である。ボード型コントローラ9の詳細な構成については後述する。
端末装置6は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置6を手に持って動かしたり、あるいは、端末装置6を自由な位置に配置したりして使用することが可能な可搬型の装置である。詳細な構成は後述するが、端末装置6は、表示手段であるLCD(Liquid Crystal Display:液晶表示装置)61、および入力手段(後述するタッチパネル62やジャイロセンサ604等)を備える。端末装置6とゲーム装置本体5(端末通信モジュール28(図2参照))とは無線(有線であってもよい)によって通信可能である。端末装置6は、ゲーム装置本体5で生成された画像(例えばゲーム画像)のデータをゲーム装置本体5から受信し、当該データが示す画像をLCD61に表示する。なお、本実施形態では表示装置としてLCDを用いているが、端末装置6は、例えばEL(Electro Luminescence:電界発光)を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置6は、端末通信モジュール28を内蔵するゲーム装置本体5へ、自機に対して行われた操作の内容を表す操作データを送信する。
次に、図2を参照して、ゲーム装置本体5の内部構成について説明する。図2は、ゲーム装置本体5の構成の一例を示すブロック図である。ゲーム装置本体5は、CPU(Central Processing Unit)10、システムLSI(Large Scale Integration)11、外部メインメモリ12、ROM/RTC(Read Only Memory/Real Time Clock)13、ディスクドライブ14、およびAV−IC(Audio Video−Integrated Circuit)15等を有する。
CPU10は、光ディスク4に記憶されたプログラムを実行することによって処理を実行するものであり、ゲームプロセッサとして機能する。CPU10は、システムLSI11に接続される。システムLSI11には、CPU10の他、外部メインメモリ12、ROM/RTC13、ディスクドライブ14、およびAV−IC15が接続される。システムLSI11は、それに接続される各構成要素間のデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムLSI11の内部構成については、後述する。揮発性の外部メインメモリ12は、光ディスク4から読み出されたプログラムや、フラッシュメモリ17から読み出されたプログラムを記憶したり、各種データを記憶したりするものであり、CPU10のワーク領域やバッファ領域として用いられる。ROM/RTC13は、ゲーム装置本体5の起動用のプログラムが組み込まれるROM(いわゆるブートROM)と、時間をカウントするクロック回路(RTC)とを有する。ディスクドライブ14は、光ディスク4からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ35または外部メインメモリ12に読み出したデータを書き込む。
システムLSI11には、入出力プロセッサ(I/Oプロセッサ)31、GPU(Graphics Processor Unit)32、DSP(Digital Signal Processor)33、VRAM(Video RAM)34、および内部メインメモリ35が設けられる。図示は省略するが、これらの構成要素31〜35は、内部バスによって互いに接続される。
GPU32は、描画手段の一部を形成し、CPU10からのグラフィクスコマンド(作画命令)に従って画像を生成する。VRAM34は、GPU32がグラフィクスコマンドを実行するために必要なデータ(ポリゴンデータやテクスチャデータ等のデータ)を記憶する。画像が生成される際には、GPU32は、VRAM34に記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置本体5は、モニタ2に表示するゲーム画像と、端末装置6に表示するゲーム画像との両方を生成することがある。以下では、モニタ2に表示されるゲーム画像を「モニタ用ゲーム画像」と呼び、端末装置6に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
DSP33は、オーディオプロセッサとして機能し、内部メインメモリ35や外部メインメモリ12に記憶されるサウンドデータや音波形(音色)データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、モニタ2のスピーカ2aから出力するゲーム音声と、端末装置6のスピーカから出力するゲーム音声との両方が生成されることがある。以下では、モニタ2から出力されるゲーム音声を「モニタ用ゲーム音声」と呼び、端末装置6から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
上記のようにゲーム装置本体5において生成される画像および音声のうち、モニタ2に出力される画像データおよび音声データは、AV−IC15によって読み出される。AV−IC15は、AVコネクタ16を介して、読み出した画像データをモニタ2に出力するとともに、読み出した音声データをモニタ2に内蔵されるスピーカ2aに出力する。これによって、モニタ2に画像が表示されるとともにスピーカ2aから音が出力される。
また、ゲーム装置本体5において生成される画像および音声のうち、端末装置6に出力される画像データおよび音声データは、入出力プロセッサ31等によって端末装置6へ送信される。入出力プロセッサ31等による端末装置6へのデータの送信については後述する。
入出力プロセッサ31は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ31は、フラッシュメモリ17、ネットワーク通信モジュール18、コントローラ通信モジュール19、拡張コネクタ20、メモリカード用コネクタ21、コーデックLSI27に接続される。また、ネットワーク通信モジュール18にはアンテナ22が接続される。コントローラ通信モジュール19にはアンテナ23が接続される。コーデックLSI27は端末通信モジュール28に接続され、端末通信モジュール28にはアンテナ29が接続される。
ゲーム装置本体5は、インターネット等のネットワークに接続して外部情報処理装置(例えば他のゲーム装置や、各種サーバ等)と通信を行うことが可能である。すなわち、入出力プロセッサ31は、ネットワーク通信モジュール18およびアンテナ22を介してネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。入出力プロセッサ31は、定期的にフラッシュメモリ17にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データがある場合には、ネットワーク通信モジュール18およびアンテナ22を介して当該データをネットワークに送信する。また、入出力プロセッサ31は、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ22、およびネットワーク通信モジュール18を介して受信し、受信したデータをフラッシュメモリ17に記憶する。CPU10は、プログラムを実行することにより、フラッシュメモリ17に記憶されたデータを読み出してプログラムで利用する。フラッシュメモリ17には、ゲーム装置本体5と外部情報処理装置との間で送受信されるデータの他、ゲーム装置本体5を利用してプレイしたゲームのセーブデータ(処理の結果データまたは途中データ)が記憶されてもよい。また、フラッシュメモリ17には、ゲームプログラム等のプログラムが記憶されてもよい。
また、ゲーム装置本体5は、コントローラ7および/またはボード型コントローラ9からの操作データを受信することが可能である。すなわち、入出力プロセッサ31は、アンテナ23およびコントローラ通信モジュール19を介して、コントローラ7および/またはボード型コントローラ9から送信される操作データ等を受信し、内部メインメモリ35または外部メインメモリ12のバッファ領域に記憶(一時記憶)する。なお、内部メインメモリ35には、外部メインメモリ12と同様に、光ディスク4から読み出されたプログラムや、フラッシュメモリ17から読み出されたプログラムを記憶したり、各種データを記憶したりしてもよく、CPU10のワーク領域やバッファ領域として用いられてもかまわない。
また、ゲーム装置本体5は、端末装置6との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ31は、端末装置6へゲーム画像(端末用ゲーム画像)を送信する場合、GPU32が生成したゲーム画像のデータをコーデックLSI27へ出力する。コーデックLSI27は、入出力プロセッサ31からの画像データに対して所定の圧縮処理を行う。端末通信モジュール28は、端末装置6との間で無線通信を行う。したがって、コーデックLSI27によって圧縮された画像データは、端末通信モジュール28によってアンテナ29を介して端末装置6へ送信される。なお、本実施形態では、ゲーム装置本体5から端末装置6へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置本体5から端末装置6への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックLSI27は、例えばH.264規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール28は、例えばWi−Fiの認証を受けた通信モジュールであり、例えばIEEE802.11n規格で採用されるMIMO(Multiple Input Multiple Output)の技術を用いて端末装置6との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
また、ゲーム装置本体5は、画像データの他、音声データを端末装置6へ送信する。すなわち、入出力プロセッサ31は、DSP33が生成した音声データを、コーデックLSI27を介して端末通信モジュール28へ出力する。コーデックLSI27は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール28は、圧縮された画像データおよび音声データを、アンテナ29を介して端末装置6へ送信する。
さらに、ゲーム装置本体5は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置6へ送信する。制御データは、端末装置6が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部(図5に示すマーカ部65)の点灯を制御する指示や、カメラ(図5に示すカメラ66)の撮像を制御する指示等を表す。入出力プロセッサ31は、CPU10の指示に応じて制御データを端末装置6へ送信する。なお、この制御データに関して、本実施形態ではコーデックLSI27はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置本体5から端末装置6へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくてもよい。
また、ゲーム装置本体5は、端末装置6から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置6は、操作データ、画像データ、および音声データを送信する。端末装置6から送信される各データは、アンテナ29を介して端末通信モジュール28によって受信される。ここで、端末装置6からの画像データおよび音声データは、ゲーム装置本体5から端末装置6への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール28からコーデックLSI27に送られ、コーデックLSI27によって伸張処理が施されて入出力プロセッサ31に出力される。一方、端末装置6からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくてもよい。したがって、操作データは、端末通信モジュール28で受信された後、コーデックLSI27を介して入出力プロセッサ31に出力される。入出力プロセッサ31は、端末装置6から受信したデータを、内部メインメモリ35または外部メインメモリ12のバッファ領域に記憶(一時記憶)する。
また、ゲーム装置本体5は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ31には、拡張コネクタ20およびメモリカード用コネクタ21が接続される。拡張コネクタ20は、USBやSCSIのようなインタフェースのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、他のコントローラのような周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール18に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ21は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ31は、拡張コネクタ20やメモリカード用コネクタ21を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
ゲーム装置本体5(例えば、前部主面)には、電源ボタン24、リセットボタン25、光ディスク4を脱着する投入口、およびゲーム装置本体5の投入口から光ディスク4を取り出すイジェクトボタン26等が設けられている。電源ボタン24およびリセットボタン25は、システムLSI11に接続される。電源ボタン24がオンされると、ゲーム装置本体5の各構成要素に対して電力が供給される。リセットボタン25が押されると、システムLSI11は、ゲーム装置本体5の起動プログラムを再起動する。イジェクトボタン26は、ディスクドライブ14に接続される。イジェクトボタン26が押されると、ディスクドライブ14から光ディスク4が排出される。
なお、他の実施形態においては、ゲーム装置本体5が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置本体5とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば拡張コネクタ20を介してゲーム装置本体5と接続されるようにしてもよい。具体的には、拡張機器は、例えばコーデックLSI27、端末通信モジュール28、およびアンテナ29の各構成要素を備えており、拡張コネクタ20に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置本体に対して上記拡張機器を接続することによって、当該ゲーム装置本体を端末装置6と通信可能な構成とすることができる。
次に、図3〜図5を参照して、端末装置6の構成について説明する。なお、図3は、端末装置6の外観構成の一例を示す図である。図3の(a)部は端末装置6の正面図であり、(b)部は上面図であり、(c)部は右側面図であり、(d)部は下面図である。図4は、ユーザが端末装置6を把持した様子の一例を示す図である。
図3に示されるように、端末装置6は、大略的には横長の長方形の板状形状であるハウジング60を備える。ハウジング60は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置6を持って動かしたり、端末装置6の配置位置を変更したりすることができる。
端末装置6は、ハウジング60の表面にLCD61を有する。LCD61は、ハウジング60の表面の中央付近に設けられる。したがって、ユーザは、図4に示すようにLCD61の両側部分のハウジング60を持つことによって、LCD61の画面を見ながら端末装置6を持って動かすことができる。なお、図4では、ユーザがLCD61の左右両側の部分のハウジング60を持つことで端末装置6を横持ちで持つ(すなわち、長辺方向を横にして端末装置6を持つ)例を示しているが、端末装置6を縦持ちで持つ(すなわち、長辺方向を縦にして端末装置6を持つ)ことも可能である。
図3の(a)部に示すように、端末装置6は、操作手段として、LCD61の画面上にタッチパネル62を有する。本実施形態では、タッチパネル62は、抵抗膜方式のタッチパネルである。ただし、タッチパネル62は、抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル62は、シングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル62として、LCD61の解像度と同解像度(検出精度)のものを利用する。ただし、必ずしもタッチパネル62の解像度とLCD61の解像度とが一致している必要はない。タッチパネル62に対する入力は、通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル62に対する入力をすることも可能である。なお、ハウジング60には、タッチパネル62に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置6がタッチパネル62を備えているため、ユーザは、端末装置6を動かしながらタッチパネル62を操作することができる。つまり、ユーザは、LCD61の画面を動かしつつ、その画面に対して直接(タッチパネル62によって)入力を行うことができる。
図3に示すように、端末装置6は、操作手段として、2つのアナログスティック63Aおよび63Bと、複数の操作ボタン64A〜64Lとを備えている。各アナログスティック63Aおよび63Bは、方向を指示するデバイスである。各アナログスティック63Aおよび63Bは、ユーザの指で操作されるスティック部がハウジング60の表面に対して任意の方向(上下左右および斜め方向の任意の角度)にスライドまたは傾倒することができるように構成されている。また、左アナログスティック63Aは、LCD61の画面の左側に、右アナログスティック63Bは、LCD61の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティック63Aまたは63Bを用いて方向を指示する入力を行うことができる。また、図4に示すように、各アナログスティック63Aおよび63Bは、ユーザが端末装置6の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置6を持って動かす場合においても各アナログスティック63Aおよび63Bを容易に操作することができる。
各操作ボタン64A〜64Lは、所定の入力を行うための操作手段である。以下に示すように、各操作ボタン64A〜64Lは、ユーザが端末装置6の左右部分を把持した状態で操作可能な位置に設けられる(図4参照)。したがって、ユーザは、端末装置6を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
図3の(a)部に示すように、ハウジング60の表面には、各操作ボタン64A〜64Lのうち、十字ボタン(方向入力ボタン)64Aと、操作ボタン64B〜64Hとが設けられる。これらの操作ボタン64A〜64Gは、ユーザの親指で操作可能な位置に配置されている(図4参照)。
十字ボタン64Aは、LCD61の左側であって、左アナログスティック63Aの下側に設けられる。つまり、十字ボタン64Aは、ユーザの左手で操作可能な位置に配置されている。十字ボタン64Aは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、操作ボタン64B〜64Dは、LCD61の下側に設けられる。これら3つの操作ボタン64B〜64Dは、左右両方の手で操作可能な位置に配置されている。また、4つの操作ボタン64E〜64Hは、LCD61の右側であって、右アナログスティック63Bの下側に設けられる。つまり、4つの操作ボタン64E〜64Hは、ユーザの右手で操作可能な位置に配置されている。さらに、4つの操作ボタン64E〜64Hは、(4つの操作ボタン64E〜64Hの中心位置に対して)上下左右の位置関係となるように配置されている。したがって、端末装置6は、ユーザに上下左右の方向を指示させるためのボタンとして4つの操作ボタン64E〜64Hを機能させることも可能である。
また、図3の(a)部、(b)部、および(c)部に示すように、第1Lボタン64Iおよび第1Rボタン64Jは、ハウジング60の斜め上部分(左上部分および右上部分)に設けられる。具体的には、第1Lボタン64Iは、板状のハウジング60における上側の側面の左端に設けられ、上側および左側の側面から突設されている。また、第1Rボタン64Jは、ハウジング60における上側の側面の右端に設けられ、上側および右側の側面から突設されている。このように、第1Lボタン64Iは、ユーザの左手人差し指で操作可能な位置に配置され、第1Rボタン64Jは、ユーザの右手人差し指で操作可能な位置に配置される(図4参照)。
また、図3の(b)部および(c)部に示すように、第2Lボタン64Kおよび第2Rボタン64Lは、板状のハウジング60の裏面(すなわちLCD61が設けられる表面の反対側の面)に突出して設けられた足部68Aおよび68Bにそれぞれ突設される。具体的には、第2Lボタン64Kは、ハウジング60の裏面の左側(表面側から見たときの左側)のやや上方に設けられ、第2Rボタン64Lは、ハウジング60の裏面の右側(表面側から見たときの右側)のやや上方に設けられる。換言すれば、第2Lボタン64Kは、表面に設けられる左アナログスティック63Aの概ね反対側の位置に設けられ、第2Rボタン64Lは、表面に設けられる右アナログスティック63Bの概ね反対側の位置に設けられる。第2Lボタン64Kは、ユーザの左手中指で操作可能な位置に配置され、第2Rボタン64Lは、ユーザの右手中指で操作可能な位置に配置される(図4参照)。また、第2Lボタン64Kおよび第2Rボタン64Lは、図3の(c)部に示すように、上記足部68Aおよび68Bの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置6を把持した場合には、中指が上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第2Lボタン64Kおよび第2Rボタン64Lを押下しやすくなる。また、ハウジング60の裏面に足部68Aおよび68Bが設けられることにより、ユーザはハウジング60を把持しやすくなり、かつ、足部68Aおよび68Bに操作ボタンが設けられることで、ハウジング60を把持したまま操作しやすくなる。
なお、図3に示す端末装置6に関しては、第2Lボタン64Kおよび第2Rボタン64Lが裏面に設けられるので、LCD61の画面(ハウジング60の表面)が上を向いた状態で端末装置6を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング60の裏面に3つ以上の足部が形成されてもよい。これによれば、LCD61の画面が上を向いた状態では3つ以上の足部が床面と接するように端末装置6を載置できるので、画面が水平になるように端末装置6を載置することができる。また、着脱可能な足部を装着することで端末装置6を水平に載置可能にしてもよい。
各操作ボタン64A〜64Lには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン64Aおよび操作ボタン64E〜64Hは、方向指示操作や選択操作等に用いられてもよいし、各操作ボタン64B〜64Eは、決定操作やキャンセル操作等に用いられてもよい。
なお、図示しないが、端末装置6は、端末装置6の電源をオン/オフするための電源ボタンを有している。また、端末装置6は、LCD61の画面表示をオン/オフするための操作ボタンや、ゲーム装置本体5との接続設定(ペアリング)を行うための操作ボタンや、スピーカ(図5に示すスピーカ607)の音量を調節するための操作ボタンを有していてもよい。
図3の(a)部に示すように、端末装置6は、マーカ65Aおよびマーカ65Bからなるマーカ部(図5に示すマーカ部65)をハウジング60の表面に備えている。一例として、マーカ部65は、LCD61の上側に設けられる。マーカ65Aおよびマーカ65Bは、マーカ8のマーカ8Lおよび8Rと同様、それぞれ1以上の赤外LEDで構成される。マーカ部65は、上述したマーカ8と同様、マーカ部65に対するコントローラ7の動き等をゲーム装置本体5が算出するために用いられる。また、ゲーム装置本体5は、マーカ部65が備える各赤外LEDの点灯を制御することが可能である。
端末装置6は、撮像手段であるカメラ66を備えている。カメラ66は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。例えば、カメラ66は、ハウジング60の表面に設けられる。したがって、カメラ66は、端末装置6を持っているユーザの顔を撮像することができ、一例としてLCD61を見ながらゲームを行っている状態におけるユーザを撮像することができる。
なお、端末装置6は、音声入力手段であるマイク(図5に示すマイク609)を備えている。ハウジング60の表面には、マイクロフォン用孔60bが設けられる。マイク609は、マイクロフォン用孔60bの内側となるハウジング60内部に設けられる。マイク609は、ユーザの音声等、端末装置6の周囲の音を検出する。
端末装置6は、音声出力手段であるスピーカ(図5に示すスピーカ607)を備えている。図3の(d)部に示すように、ハウジング60の下側側面にはスピーカ孔60aが設けられる。スピーカ607の出力音は、スピーカ孔60aから出力される。本実施形態では、端末装置6は、2つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔60aが設けられる。
また、端末装置6は、他の装置を端末装置6に接続するための拡張コネクタ67を備えている。本実施形態においては、図3の(d)部に示すように、拡張コネクタ67は、ハウジング60の下側側面に設けられる。なお、拡張コネクタ67に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ(銃型のコントローラ等)やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ67は設けられていなくともよい。
なお、図3に示した端末装置6に関して、各操作ボタンやハウジング60の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
次に、図5を参照して、端末装置6の内部構成について説明する。図5は、端末装置6の内部構成の一例を示すブロック図である。図5に示すように、端末装置6は、図3に示した構成の他、タッチパネルコントローラ601、磁気センサ602、加速度センサ603、ジャイロセンサ604、ユーザインタフェースコントローラ(UIコントローラ)605、コーデックLSI606、スピーカ607、サウンドIC608、マイク609、無線モジュール610、アンテナ611、赤外線通信モジュール612、フラッシュメモリ613、電源IC614、電池615、およびバイブレータ619を備える。これらの電子部品は、電子回路基板上に実装されてハウジング60内に収納される。
UIコントローラ605は、各種の入出力部に対するデータの入出力を制御するための回路である。UIコントローラ605は、タッチパネルコントローラ601、アナログスティック63(アナログスティック63Aおよび63B)、操作ボタン64(各操作ボタン64A〜64L)、マーカ部65、磁気センサ602、加速度センサ603、ジャイロセンサ604、およびバイブレータ619に接続される。また、UIコントローラ605は、コーデックLSI606と拡張コネクタ67とに接続される。また、UIコントローラ605には電源IC614が接続され、UIコントローラ605を介して各部に電力が供給される。電源IC614には内蔵の電池615が接続され、電力が供給される。また、電源IC614には、コネクタ等を介して外部電源から電力を取得可能な充電器616またはケーブルを接続することが可能であり、端末装置6は、充電器616またはケーブルを用いて外部電源からの電力供給と充電とを行うことができる。なお、端末装置6は、図示しない充電機能を有するクレイドルに端末装置6を装着することで充電を行うようにしてもよい。
タッチパネルコントローラ601は、タッチパネル62に接続され、タッチパネル62の制御を行う回路である。タッチパネルコントローラ601は、タッチパネル62からの信号に基づいて所定の形式のタッチ位置データを生成してUIコントローラ605へ出力する。タッチ位置データは、タッチパネル62の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ601は、タッチパネル62からの信号の読み込み、および、タッチ位置データの生成を所定時間に1回の割合で行う。また、UIコントローラ605からタッチパネルコントローラ601へは、タッチパネル62に対する各種の制御指示が出力される。
アナログスティック63は、ユーザの指で操作されるスティック部がスライドした(または傾倒した)方向および量を表すスティックデータをUIコントローラ605へ出力する。また、操作ボタン64は、各操作ボタン64A〜64Lに対する入力状況(押下されたか否か)を表す操作ボタンデータをUIコントローラ605へ出力する。
磁気センサ602は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、UIコントローラ605へ出力される。また、UIコントローラ605から磁気センサ602へは、磁気センサ602に対する制御指示が出力される。磁気センサ602に関しては、MI(磁気インピーダンス)素子、フラックスゲートセンサ、ホール素子、GMR(巨大磁気抵抗)素子、TMR(トンネル磁気抵抗)素子、あるいはAMR(異方性磁気抵抗)素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置6が動いた場合には方位データが変化するため、端末装置6の姿勢の変化を算出することができる。
加速度センサ603は、ハウジング60の内部に設けられ、3軸(図3の(a)部に示すxyz軸)方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ603は、ハウジング60の長辺方向をx軸(マーカ部65がLCD61の上側に配置された状態でLCD61の表示画面に向かって当該長辺方向に沿った右方向をx軸正方向とする)、ハウジング60の短辺方向をy軸(マーカ部65がLCD61の上側に配置された状態でLCD61の表示画面に向かって当該短辺方向に沿った上方向をy軸正方向とする)、ハウジング60の表面に対して垂直な方向をz軸(LCD61の表示画面奥行方向をz軸正方向とする)として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはUIコントローラ605へ出力される。また、UIコントローラ605から加速度センサ603へは、加速度センサ603に対する制御指示が出力される。加速度センサ603は、本実施形態では例えば静電容量式のMEMS型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ603は1軸または2軸方向を検出する加速度センサであってもよい。
ジャイロセンサ604は、ハウジング60の内部に設けられ、上記x軸、y軸、およびz軸の3軸周りの角速度をそれぞれ検出する。検出された角速度を表す角速度データは、UIコントローラ605へ出力される。また、UIコントローラ605からジャイロセンサ604へは、ジャイロセンサ604に対する制御指示が出力される。なお、3軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ604は、2軸ジャイロセンサと1軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ604は1軸または2軸方向を検出するジャイロセンサであってもよい。
バイブレータ619は、例えば振動モータやソレノイドであり、UIコントローラ605と接続される。UIコントローラ605からバイブレータ619へ出力される制御指示に応じて、バイブレータ619が作動することによって端末装置6に振動が発生する。これによって、端末装置6を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
UIコントローラ605は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックLSI606に出力する。なお、拡張コネクタ67を介して端末装置6に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
コーデックLSI606は、ゲーム装置本体5へ送信するデータに対する圧縮処理、およびゲーム装置本体5から送信されたデータに対する伸張処理を行う回路である。コーデックLSI606には、LCD61、カメラ66、サウンドIC608、無線モジュール610、フラッシュメモリ613、および赤外線通信モジュール612が接続される。また、コーデックLSI606は、CPU617と内部メモリ618とを含む。例えば、端末装置6は、ゲーム処理自体を行わない構成であるが、端末装置6の管理や通信のための最小限のプログラムを実行する必要がある。一例として、電源投入時にフラッシュメモリ613に格納されたプログラムを内部メモリ618に読み出してCPU617が実行することで、端末装置6が起動する。また、内部メモリ618の一部の領域は、LCD61のためのVRAMとして使用される。
カメラ66は、ゲーム装置本体5からの指示に従って画像を撮像し、撮像した画像データをコーデックLSI606へ出力する。また、コーデックLSI606からカメラ66へは、画像の撮像指示等、カメラ66に対する制御指示が出力される。なお、カメラ66は、動画の撮影も可能である。すなわち、カメラ66は、繰り返し撮像を行って画像データをコーデックLSI606へ繰り返し出力することも可能である。
サウンドIC608は、スピーカ607およびマイク609に接続され、スピーカ607およびマイク609への音声データの入出力を制御する回路である。すなわち、コーデックLSI606から音声データを受け取った場合、サウンドIC608は、当該音声データに対してD/A変換を行って得られる音声信号をスピーカ607へ出力し、スピーカ607から音を出力させる。また、マイク609は、端末装置6に伝わる音(ユーザの音声等)を検知して、当該音を示す音声信号をサウンドIC608へ出力する。サウンドIC608は、マイク609からの音声信号に対してA/D変換を行い、所定の形式の音声データをコーデックLSI606へ出力する。
コーデックLSI606は、カメラ66からの画像データ、マイク609からの音声データ、およびUIコントローラ605からの操作データを、端末操作データとして無線モジュール610を介してゲーム装置本体5へ送信する。本実施形態では、コーデックLSI606は、画像データおよび音声データに対して、コーデックLSI27と同様の圧縮処理を行う。圧縮された画像データおよび音声データと上記端末操作データとは、送信データとして無線モジュール610に出力される。無線モジュール610にはアンテナ611が接続されており、無線モジュール610はアンテナ611を介してゲーム装置本体5へ上記送信データを送信する。無線モジュール610は、ゲーム装置本体5の端末通信モジュール28と同様の機能を有している。すなわち、無線モジュール610は、例えばIEEE802.11nの規格に準拠した方式により、無線LANに接続する機能を有する。無線モジュール610から送信されるデータは、必要に応じて暗号化されていてもよいし、されていなくてもよい。
以上のように、端末装置6からゲーム装置本体5へ送信される送信データには、操作データ(端末操作データ)、画像データ、および音声データが含まれる。なお、拡張コネクタ67を介して端末装置6に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール612は、他の装置との間で例えばIRDAの規格に従った赤外線通信を行う。コーデックLSI606は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置本体5へ送信してもよい。
また、上述のように、ゲーム装置本体5から端末装置6へは、圧縮された画像データおよび音声データが送信される。これらのデータは、アンテナ611および無線モジュール610を介してコーデックLSI606で受信される。コーデックLSI606は、受信した画像データおよび音声データを伸張する。伸張された画像データは、LCD61へ出力され、当該画像データに応じた画像がLCD61に表示される。また、伸張された音声データは、サウンドIC608へ出力され、当該音声データに応じた音がスピーカ607から出力される。
また、ゲーム装置本体5から受信されるデータに制御データが含まれる場合、コーデックLSI606およびUIコントローラ605は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置6が備える各構成要素(本実施形態では、カメラ66、タッチパネルコントローラ601、マーカ部65、各センサ602〜604、バイブレータ619、および赤外線通信モジュール612)に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止(停止)させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置6からゲーム装置本体5へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部65は、赤外LEDであるので、制御は単に電力の供給のON/OFFでよい。
以上のように、端末装置6は、タッチパネル62、アナログスティック63、および操作ボタン64といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
また、端末装置6は、端末装置6の動き(位置や姿勢、あるいは、位置や姿勢の変化を含む)を算出するためのセンサとして、磁気センサ602、加速度センサ603、およびジャイロセンサ604を備えるが、他の実施形態においては、これらのセンサのうち1つまたは2つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
また、端末装置6は、カメラ66およびマイク609を備える構成であるが、他の実施形態においては、カメラ66およびマイク609を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
また、端末装置6は、端末装置6とコントローラ7との位置関係(コントローラ7から見た端末装置6の位置および/または姿勢等)を算出するための構成としてマーカ部65を備える構成であるが、他の実施形態ではマーカ部65を備えていない構成としてもよい。また、他の実施形態では、端末装置6は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ7がマーカ部を備え、端末装置6が撮像素子を備える構成としてもよい。さらにこの場合、マーカ8は赤外LEDに代えて、撮像素子を備える構成としてもよい。
次に、図6〜図8を参照して、ボード型コントローラ9の構成について説明する。なお、図6は、図1に示したボード型コントローラ9の外観の一例を示す斜視図である。図6に示されるように、ボード型コントローラ9は、ユーザがその上に乗る(ユーザの足を乗せる)台9a、台9aに掛かる荷重を検出するための少なくとも4つの荷重センサ94a〜94dを備える。各荷重センサ94a〜94dは、それぞれ台9aに内包されており(図7参照)、図6においてはそれらの配置位置がそれぞれ破線で示されている。なお、以下の説明において、4つの荷重センサ94a〜94dを総称して説明する場合、荷重センサ94と記載することがある。
台9aは、略直方体に形成されており、上面視で略長方形状である。例えば、台9aは、長方形状の短辺が30cm程度に設定され、長辺が50cm程度に設定される。台9aの上面は、平坦に形成され、ユーザが両足裏をそれぞれ置いて乗るための一対の面が設定されている。具体的には、台9aの上面には、ユーザが左足を乗せるための面(図6における左奥側に2重線で囲まれた領域)および左足を乗せるための面(図6における右手前側に2重線で囲まれた領域)がそれぞれ設定されている。そして、台9aの4隅の側面は、例えば部分的に円柱状に張り出すように形成されている。
台9aにおいて、4つの荷重センサ94a〜94dは、所定の間隔を置いて配置される。当該実施例では、4つの荷重センサ94a〜94dは、台9aの周縁部に、具体的には4隅にそれぞれ配置される。荷重センサ94a〜94dの間隔は、台9aに対するユーザの荷重のかけ方によるゲーム操作の意図をより精度良く検出できるように適宜な値に設定される。
図7は、図6に示したボード型コントローラ9のA−A断面図の一例を示すとともに、荷重センサ94が配置された隅の部分が拡大表示された一例を示している。図7において、台9aは、ユーザが乗るための支持板90と脚92とを含む。荷重センサ94a〜94dは、脚92が配置される箇所にそれぞれ設けられる。この実施例では、4つの脚92が4隅に設けられているので、4つの荷重センサ94a〜94dがそれぞれ4隅に配置されることになる。脚92は、例えばプラスチック成型によって略有底円筒状に形成されており、荷重センサ94は、脚92内の底面に設けられた球面部品92a上に配置される。支持板90は、荷重センサ94を介して脚92に支持される。
支持板90は、上面と側面上部とを形成する上層板90a、下面と側面下部とを形成する下層板90b、および上層板90aと下層板90bとの間に設けられる中層板90cを含む。上層板90aと下層板90bとは、例えばプラスチック成型により形成されており、接着等により一体化される。中層板90cは、例えば1枚の金属板のプレス成型により形成されている。中層板90cは、4つの荷重センサ94a〜94dの上に固定される。上層板90aは、その下面に格子状のリブ(図示しない)を有しており、当該リブを介して中層板90cに支持されている。したがって、台9aにユーザが乗ったときには、その荷重は、支持板90および荷重センサ94a〜94dを介して、4つの脚92に伝達する。図7に矢印で示したように、入力された荷重によって生じた床からの反作用は、脚92から、球面部品92a、荷重センサ94a〜94d、および中層板90cを介して、上層板90aに伝達する。
荷重センサ94は、例えば歪ゲージ(歪センサ)式ロードセルであり、入力された荷重を電気信号に変換する荷重変換器である。荷重センサ94では、荷重入力に応じて、起歪体95が変形して歪が生じる。この歪が、起歪体95に貼り付けられた歪センサ96によって電気抵抗の変化に変換され、さらに電圧変化に変換される。したがって、荷重センサ94は、入力荷重を示す電圧信号を出力端子から出力することができる。
なお、荷重センサ94は、音叉振動式、弦振動式、静電容量式、圧電式、磁歪式、またはジャイロ式のような他の方式の荷重センサであってもよい。
図6に戻って、ボード型コントローラ9には、さらに、電源ボタン9cが設けられる。ボード型コントローラ9が起動していない状態で電源ボタン9cが操作(例えば、電源ボタン9cの押下)されると、ボード型コントローラ9の各回路コンポーネント(図8参照)に電力が供給される。ただし、ボード型コントローラ9は、ゲーム装置本体5からの指示に従って電源オンされて各回路コンポーネントに電力供給が開始される場合もある。なお、ボード型コントローラ9は、ユーザが乗っていない状態が一定時間(例えば、30秒)以上継続すると、自動的に電源がオフされてもよい。また、ボード型コントローラ9が起動している状態で、電源ボタン9cが再度操作された場合、電源がオフされて各回路コンポーネントへの電力供給が停止されてもよい。
図8は、ボード型コントローラ9の電気的な構成の一例を示すブロック図である。なお、図8では、信号およびデータの流れは実線矢印で示され、電力の供給が破線矢印で示されている。
図8において、ボード型コントローラ9は、その動作を制御するためのマイクロコンピュータ(マイコン)100を含む。マイコン100は、図示しないCPU、ROM、およびRAM等を含み、CPUがROMに記憶されたプログラムに従ってボード型コントローラ9の動作を制御する。
マイコン100には、電源ボタン9c、ADコンバータ102、DC−DCコンバータ104、および無線モジュール106が接続される。さらに、無線モジュール106には、アンテナ106aが接続される。4つの荷重センサ94a〜94dは、それぞれ増幅器108を介してADコンバータ102に接続される。
また、ボード型コントローラ9には、各回路コンポーネントへの電力供給のために電池110が収容されている。他の実施例では、電池110に代えてACアダプタをボード型コントローラ9に接続し、商用電力を各回路コンポーネントに供給するようにしてもよい。この場合、DC−DCコンバータ104に代えて、交流を直流に変換し、直流電圧を降圧および整流する電源回路をボード型コントローラ9内に設ける必要がある。この実施例では、マイコン100および無線モジュール106への電力供給は、電池110から直接的に行われる。つまり、マイコン100内部の一部のコンポーネント(CPU)と無線モジュール106とには、常に電池110からの電力が供給されており、電源ボタン9cがオンされたか否か、ゲーム装置本体5から電源オンを指示するコマンドが送信されたか否かを検出する。一方、荷重センサ94a〜94d、ADコンバータ102、および増幅器108には、DC−DCコンバータ104を介して電池110からの電力が供給される。DC−DCコンバータ104は、電池110からの直流電流の電圧値を異なる電圧値に変換して、荷重センサ94a〜94d、ADコンバータ102、および増幅器108に与える。
これら荷重センサ94a〜94d、ADコンバータ102、および増幅器108への電力供給は、マイコン100によるDC−DCコンバータ104の制御によって、必要に応じて行われるようにしてもよい。つまり、マイコン100は、荷重センサ94a〜94dを動作させて荷重を検出する必要があると判断される場合に、DC−DCコンバータ104を制御して、荷重センサ94a〜94d、ADコンバータ102、および増幅器108に電力を供給するようにしてよい。
電力が供給されると、荷重センサ94a〜94dは、入力された荷重を示す信号をそれぞれ出力する。これらの信号は、各増幅器108で増幅され、ADコンバータ102でアナログ信号からデジタルデータに変換されて、マイコン100に入力される。荷重センサ94a〜94dの検出値には荷重センサ94a〜94dの識別情報が付与されて、いずれの荷重センサ94a〜94dの検出値であるかが識別可能にされる。このようにして、マイコン100は、同一時刻における4つの荷重センサ94a〜94dそれぞれの荷重検出値を示すデータを取得することができる。
一方、マイコン100は、荷重センサ94a〜94dを動作させる必要がないと判断される場合、つまり、荷重検出タイミングでない場合、DC−DCコンバータ104を制御して、荷重センサ94a〜94d、ADコンバータ102、および増幅器108への電力の供給を停止する。このように、ボード型コントローラ9は、必要な場合にだけ、荷重センサ94a〜94dを動作させて荷重や距離の検出を行うことができるので、荷重検出のための電力消費を抑制することができる。
荷重検出が必要な場合とは、典型的には、ゲーム装置本体5(図1)が荷重データを取得したいときである。例えば、ゲーム装置本体5が荷重情報を必要とするとき、ゲーム装置本体5は、ボード型コントローラ9に対して情報取得命令を送信する。マイコン100は、ゲーム装置本体5から情報取得命令を受信したときに、DC−DCコンバータ104を制御して、荷重センサ94a〜94d等に電力を供給し、荷重を検出する。一方、マイコン100は、ゲーム装置本体5から情報取得命令を受信していないときには、DC−DCコンバータ104を制御して、荷重センサ94a〜94d等への電力供給を停止する。
なお、マイコン100は、一定時間ごとに荷重検出タイミングが到来すると判断して、DC−DCコンバータ104を制御するようにしてもよい。このような周期的な荷重検出を行う場合、周期情報は、例えば、ゲーム開始時点においてゲーム装置本体5からボード型コントローラ9のマイコン100に与えられて記憶されてもよいし、予めマイコン100にプリインストールされてもよい。
荷重センサ94a〜94dからの検出値を示すデータは、ボード型コントローラ9のボード操作データ(入力データ)として、マイコン100から無線モジュール106およびアンテナ106aを介してゲーム装置本体5に送信される。例えば、ゲーム装置本体5からの命令を受けて荷重検出を行った場合、マイコン100は、ADコンバータ102から荷重センサ94a〜94dの検出値データを受信したことに応じて、当該検出値データをゲーム装置本体5に送信する。なお、マイコン100は、一定時間ごとに上記検出値データをゲーム装置本体5に送信するようにしてもよい。荷重の検出周期よりも送信周期が長い場合には、送信タイミングまでに検出された複数の検出タイミングの荷重値を含むデータを送信すればよい。
なお、無線モジュール106は、ゲーム装置本体5のコントローラ通信モジュール19と同じ無線規格(Bluetooth、無線LANなど)で通信可能にされる。したがって、ゲーム装置本体5のCPU10は、コントローラ通信モジュール19等を介して情報取得命令をボード型コントローラ9に送信することができる。このように、ボード型コントローラ9は、無線モジュール106およびアンテナ106aを介して、ゲーム装置本体5からの命令を受信することができる。また、ボード型コントローラ9は、荷重センサ94a〜94dの荷重検出値(または荷重算出値)を含むボード操作データをゲーム装置本体5に送信することができる。
例えば、4つの荷重センサ94a〜94dで検出される4つの荷重値の単なる合計値を用いて実行されるようなゲームの場合には、ユーザはボード型コントローラ9の4つの荷重センサ94a〜94dに対して任意の位置をとることができる。つまり、ユーザは、台9aの上の任意の位置に任意の向きで乗ってゲームをプレイすることができる。しかしながら、ゲームの種類によっては、4つの荷重センサ94で検出される荷重値がユーザから見ていずれの方向の荷重値であるかを識別して処理を行う必要がある。つまり、ボード型コントローラ9の4つの荷重センサ94とユーザとの位置関係が把握されている必要がある。この場合、例えば、4つの荷重センサ94とユーザとの位置関係を予め規定しておき、当該所定の位置関係が得られるようにユーザが台9a上に乗ることが前提とされてもよい。典型的には、台9aの中央に乗ったユーザの前後左右にそれぞれ荷重センサ94a〜94dが2つずつ存在するような位置関係、つまり、ユーザがボード型コントローラ9の台9aの中央に乗った位置関係が規定される。この場合、この実施例では、ボード型コントローラ9の台9aが平面視で矩形状に形成されるとともにその矩形の1辺(長辺)に電源ボタン9cが設けられているので、この電源ボタン9cを目印として利用して、ユーザには電源ボタン9cの設けられた長辺が所定の方向(前、後、左または右)に存在するようにして台9aに乗ってもらうことを予め決めておく。このようにすれば、荷重センサ94a〜94dで検出される荷重値は、ユーザから見て所定の方向(右前、左前、右後および左後)の荷重値となる。したがって、ボード型コントローラ9およびゲーム装置本体5は、荷重検出値データに含まれる荷重センサ94の識別情報と、予め設定(記憶)された荷重センサ94のユーザに対する位置または方向を示す配置データとに基づいて、各荷重検出値がユーザから見ていずれの方向に対応するかを把握することができる。これにより、例えば前後左右の操作方向や上げている足の区別のようなユーザによるゲーム操作の意図を把握することが可能になる。
次に、ゲーム装置本体5が行う具体的な処理を説明する前に、図面を用いてゲーム装置本体5で行うゲーム処理の概要について説明する。なお、図9は、端末装置6およびボード型コントローラ9を用いて操作するユーザの様子の一例を示す図である。図10Aは、モニタ2に表示される画像の一例を示す図である。図10Bは、端末装置6のLCD61に表示される画像の一例を示す図である。図11Aは、端末装置6の姿勢による操作が基準操作指示方向を示している場合にモニタ2に表示される画像の一例を示す図である。図11Bは、端末装置6の姿勢による操作が基準操作指示方向を示している状態において端末装置6のLCD61に表示される画像の一例を示す図である。図12Aは、図11Bに示した状態から端末装置6を卓上で反時計方向にロール回転させた場合にモニタ2に表示される画像の一例を示す図である。図12Bは、図11Bに示した状態から端末装置6を卓上で反時計方向にロール回転させた場合に端末装置6のLCD61に表示される画像の一例を示す図である。図13Aは、図11Bに示した状態から端末装置6を卓上で反時計方向に90°ロール回転させた場合にモニタ2に表示される画像の一例を示す図である。図13Bは、図11Bに示した状態から端末装置6を卓上で反時計方向に90°ロール回転させた場合に端末装置6のLCD61に表示される画像の一例を示す図である。図14は、端末装置6の姿勢から得られる操作指示方向の変化に対応する針オブジェクトの回転動作の一例を説明するための図である。図15Aは、図11Bに示した状態から端末装置6のタッチパネル62がタッチ操作された場合にモニタ2に表示される画像の一例を示す図である。図15Bは、図11Bに示した状態から端末装置6のタッチパネル62がタッチ操作された場合に端末装置6のLCD61に表示される画像の一例を示す図である。図16は、端末装置6のタッチパネル62へのタッチ操作に対応する布オブジェクトの移動動作の一例を説明するための図である。
図9に示すように、ユーザは、端末装置6およびボード型コントローラ9を用いて操作し、端末装置6の姿勢や方向を変化させる操作と、端末装置6のタッチパネル62をタッチする操作と、ボード型コントローラ9に加える荷重を変化させる操作とを行う。具体的には、ユーザは、卓上に端末装置6を載置した状態で端末装置6の本体を持ち、両足をボード型コントローラ9上にそれぞれ乗せる。そして、ユーザは、モニタ2に表示された画像や端末装置6のLCD61に表示された画像を見ながら、ボード型コントローラ9上で動作(例えば、ユーザがミシンの踏板を前後に踏むようにボード型コントローラ9上の両足を動作させることによって、ボード型コントローラ9上にかける荷重を前後に繰り返し加える操作)する。また、ユーザは、端末装置6自体を卓上で動かす操作をしたり、端末装置6のタッチパネル62をタッチ操作したりすることによってプレイする。そして、端末装置6のLCD61およびモニタ2には、卓上における端末装置6の方向(姿勢)と、端末装置6のタッチパネル62へのタッチ操作とに応じて、仮想世界のオブジェクト(針オブジェクト、布オブジェクト)が動作(例えば、姿勢や方向が変化する動作や位置が移動する動作)し、オブジェクトそれぞれの方向や位置に応じて仮想世界に設定される仮想カメラの姿勢や位置を変化させたゲーム画像が表現される。また、ボード型コントローラ9上におけるユーザ動作に応じて、仮想世界においてオブジェクト(例えば、布オブジェクト)が動作(例えば、位置が移動する動作)する。なお、後述では、ユーザがミシンの踏板を操作するようにボード型コントローラ9を操作し、当該ミシンで裁縫する布を動かすように端末装置6を卓上で動かす操作をすることによって、仮想世界における布オブジェクトが針オブジェクトの位置に応じて裁縫されていく様子をシミュレーションする情報処理(以下、当該情報処理をゲーム処理として記載することがある)例を用いて説明する。
図10Aに示すように、モニタ2には、仮想世界内において布オブジェクトが載置されている様子を、当該布オブジェクトの直上遠方位置から俯瞰した仮想世界の画像が表示される。図10Aに示した一例では、布オブジェクトを裁縫する際の目標線である裁縫目標線(図10Aに示す破線)が当該布オブジェクトに描かれている。また、現時点で裁縫作業が行われる領域である現作業領域が、上記布オブジェクトに描かれている。なお、現作業領域は、LCD61に表示されている仮想世界の範囲に対応する領域を示している。そして、端末装置6の姿勢による操作が後述する基準操作指示方向を示している場合、布オブジェクトの上方向(図示U方向)が仮想世界基準方向(例えば、モニタ2に表示される仮想世界の上方向)に向いた状態でモニタ2に表示される。このように、布オブジェクト全体を俯瞰する仮想世界内の様子をモニタ2に表示することによって、ユーザが布オブジェクトの全体状況や当該布オブジェクトと現作業領域との位置関係が把握しやすくなるとともに、ユーザが当該ゲームをプレイしている様子を見ている他の人が、布オブジェクトが裁縫されていく様子を見て楽しむこともできる。
また、図10Bに示すように、端末装置6のLCD61には、仮想世界内において針オブジェクトが布オブジェクトを裁縫していく様子を、当該針オブジェクトの直上近傍位置から俯瞰した仮想世界の画像が表示される。なお、LCD61に表示される仮想世界の視点は、相対的に布オブジェクト(針オブジェクト)に近く、当該視点から針オブジェクトまでの距離が、モニタ2に表示する仮想世界の視点から布オブジェクトまでの距離より相対的に短く設定される。図10Bに示した一例では、布オブジェクトと当該布オブジェクト上に配置されている針オブジェクトとが表示されている。そして、LCD61には、上記現作業領域内の一部となる布オブジェクトが表示され、LCD61の実質的に中央となる当該布オブジェクト上の位置に針オブジェクトが表示されている。また、端末装置6の姿勢による操作が後述する基準操作指示方向を示している場合、布オブジェクトの上方向(図示U方向)がLCD61の上方向(y軸正方向)となるように布オブジェクトが表示され、針オブジェクトの前方向(図示F方向)がLCD61の上方向となる姿勢でLCD61の中央位置に針オブジェクトが表示される。このように、ミシンで裁縫される布オブジェクトおよび当該ミシンの針に相当する針オブジェクトの直上近傍位置から当該布オブジェクトの一部および当該針オブジェクトをLCD61に表示することによって、端末装置6を卓上で操ってLCD61に表示を見ているユーザが、端末装置6をミシンとして操作する際にLCD61を介して布および針を見ているような裁縫をシミュレーションする情報処理が可能となり、仮想世界の臨場感を与えることができる。
なお、図10Aに示した例では、布オブジェクトの直上遠方位置から俯瞰した仮想世界内の様子がモニタ2に表示されているが、他の視点の仮想世界をモニタ2に表示してもかまわない。端末装置6だけでなくモニタ2にも同じ仮想世界を表示し、それぞれ視点の異なる仮想世界の画像を表示することによって、ユーザが操作する際に2つの表示装置に表示される画像を操作状況や好みに応じて使い分けることが可能となる。端末装置6に表示する仮想世界の範囲に対して、モニタ2に表示する仮想世界の範囲を広くなれば、モニタ2に表示する仮想世界の視点は布オブジェクトの直上位置でなく、斜め上方位置等でもかまわない。
一例として、ユーザがボード型コントローラ9上にかける荷重を前後に繰り返し加える操作をした場合、針オブジェクトの後方向(図示F方向の逆方向)へスライドしていくように布オブジェクトが移動する。そして、当該スライドによって布オブジェクト上を針オブジェクトが通過した線上の布オブジェクトが裁縫され、当該線上に裁縫線が描かれる。このとき、ユーザがボード型コントローラ9上の前後に荷重を繰り返し加える周期が短いほど布オブジェクトがスライドする移動速度が速くなる。このように、ユーザは、ボード型コントローラ9上の動作によって、布オブジェクトが移動する速度(すなわち、布オブジェクトが裁縫される速度)を制御することができる。
例えば、上述したように、ボード型コントローラ9からはボード型コントローラ9上のユーザ動作に応じた荷重検出値が出力される。そして、上記荷重検出値を用いれば、ボード型コントローラ9の前方に加わっている前方荷重値(すなわち、荷重センサ94cおよび94dが検出した荷重の合計値)や、ボード型コントローラ9の後方に加わっている後方荷重値(すなわち、荷重センサ94aおよび94bが検出した荷重の合計値)の算出が可能である。上記前方荷重値および後方荷重値を用いれば、ユーザがボード型コントローラ9上の前方に体重をかけているのか、ボード型コントローラ9上の後方に体重をかけているのか、ボード型コントローラ9にかけている荷重を弱めているのか推定することが可能となる。このようなボード型コントローラ9上で推定されるユーザ動作に応じて、布オブジェクトがスライドして裁縫される速度が設定される。
また、卓上における端末装置6の方向(姿勢)に応じて、仮想世界における布オブジェクトに対する針オブジェクトの相対的な方向が変化する。例えば、ユーザが端末装置6の背面と卓上とを接面した状態で、LCD61の奥行方向(端末装置奥行方向)周りに端末装置6を回転(ロール)させることに応じて、仮想世界における布オブジェクトに対する針オブジェクトの相対的な方向が左右に変化する。
図11Aに示すように、端末装置6の姿勢による操作が基準操作指示方向を示している場合、布オブジェクトの上方向(図示U方向)が仮想世界基準方向(例えば、モニタ2に表示される仮想世界の上方向)に向いた状態でモニタ2に表示される。また、図11Bに示すように、端末装置6の姿勢による操作が基準操作指示方向を示している場合、布オブジェクトの上記上方向がLCD61の上方向(y軸正方向)となるように布オブジェクトが表示され、針オブジェクトの前方向(図示F方向)がLCD61の上方向となる姿勢でLCD61の中央位置に針オブジェクトが表示される。ここで、端末装置6の姿勢による操作が基準操作指示方向を示している状態とは、初期設定された際に端末装置6が卓上に配置されていた方向と同じ方向を向いた端末装置6の状態を示しており、典型的には端末装置6の上方向(y軸正方向)をユーザの前方向に向けて(すなわち、y軸負方向をユーザに向かう方向にして)卓上に載置した状態を示している。つまり、端末装置6の姿勢による操作が基準操作指示方向を示している場合、布オブジェクトの上方向(図示U方向)がモニタ2およびLCD61のそれぞれ上方向となり、針オブジェクトの前方向(図示F方向)がLCD61の上方向となるように、当該布オブジェクトおよび当該針オブジェクトが表示される。
そして、上記基準操作指示方向を示している端末装置6をLCD61の奥行方向(z軸方向)を中心に反時計回りに卓上で回転させた場合(すなわち、図11Bに示すA方向に卓上でロールした場合)、図12Aおよび図12Bに示すような画像がモニタ2およびLCD61にそれぞれ表示される。図12Aに示すように、上記基準操作指示方向を示している状態から端末装置6を反時計方向にロール回転させた場合、端末装置6がロール回転した回転角度(例えば、z軸周りにy軸が回転移動した角度)だけ、ロール回転した回転方向(例えば、z軸周りにy軸が回転移動した方向)へ、布オブジェクト全体を回転させた仮想世界の画像がモニタ2に表示される。また、図12Bに示すように、上記基準操作指示方向を示している状態から端末装置6を反時計方向にロール回転させた場合、端末装置6がロール回転した回転角度だけ、ロール回転した逆回転方向(例えば、z軸周りにy軸が回転移動した逆方向)へ、針オブジェクトを回転させた仮想世界の画像がLCD61に表示される。
一例として、図14に示すように、端末装置6が反時計方向に回転角度Cだけ回転(すなわち、z軸周りにy軸がA方向に角度Cだけ回転移動)した場合、針オブジェクトは、所定の位置(例えば、針オブジェクトの針の位置)を中心として回転角度Cだけ時計方向へ布オブジェクト上で回転して姿勢制御される。そして、布オブジェクトの上方向(図示U方向)がLCD61の上方向に表示されるように、針オブジェクトおよび布オブジェクトが表示される。すなわち、布オブジェクトがLCD61に表示される方向は、端末装置6がロール回転しても上記基準操作指示方向を示している状態から変化しない。これによって、図11Bおよび図12Bを比較すれば明らかなように、布オブジェクトは、端末装置6がロール回転した場合であっても仮想世界内で固定配置されているが、LCD61(端末装置6)が回転角度Cだけ反時計方向へ回転しているため、結果的に実空間においては端末装置6と同じ方向に回転しているように見える。一方、針オブジェクトは、回転角度Cだけ時計方向へ仮想世界内で回転しているが、LCD61(端末装置6)が回転角度Cだけ反時計方向へ回転しているため、結果的に実空間においては同じ方向に表示されているように見える。
上述した仮想世界画像の生成方式は、一例として、LCD61に表示する仮想世界の画像を生成する第1仮想カメラを仮想世界において固定し、針オブジェクトを回転させることによって行っている。しかしながら、他の例として、図11Bに示した布オブジェクトおよび針オブジェクトが配置された仮想世界の画像を、端末装置6のロール回転に応じて図12Bに示されるような画像に変化させる場合、当該仮想世界の画像を生成する第1仮想カメラを端末装置6のロール回転に応じて視線方向を中心に回転させてもかまわない。この場合、端末装置6が反時計方向に回転角度Cだけ回転した場合であっても、針オブジェクトは、仮想世界において固定して配置する。その一方で、端末装置6が反時計方向に回転角度Cだけ回転した場合、所定の位置(例えば、針オブジェクトの針の位置)を中心として回転角度Cだけ反時計方向へ布オブジェクトを回転させ、上記第1仮想カメラも視線方向を中心として回転角度Cだけ反時計方向へ回転させる。このような仮想世界画像の生成方式であっても、同様の画像をLCD61に表示することができる。
一方、モニタ2に表示する画像は、端末装置6が反時計方向に回転角度Cだけ回転した場合、一例として、モニタ2に表示する仮想世界の画像を生成する第2仮想カメラを仮想世界において端末装置6のロール回転に応じて、視線方向を中心として回転角度Cだけ時計方向(すなわち、端末装置6の回転方向の逆回転方向)へ回転させることによって生成される。しかしながら、他の例として、図11Aに示した布オブジェクトが配置された仮想世界の画像を、端末装置6のロール回転に応じて図12Aに示されるような画像に変化させる場合、第2仮想カメラを固定して、端末装置6のロール回転に応じて布オブジェクトを所定の位置(例えば、針オブジェクトの針の位置や第2仮想カメラの注視点や布オブジェクトの重心)を中心に回転させてもかまわない。このような仮想世界画像の生成方式であっても、同様の画像をモニタ2に表示することができる。
さらにA方向に端末装置6をロール回転して、図11Bに示した状態から端末装置6を卓上で反時計方向に90°ロール回転させた場合、図13Aおよび図13Bに示すような画像がモニタ2およびLCD61にそれぞれ表示される。図13Aに示すように、図11Bに示した状態から端末装置6を卓上で反時計方向に90°ロール回転させた場合、端末装置6がさらにロール回転した回転角度だけ、ロール回転した回転方向へ、布オブジェクト全体を回転させた仮想世界の画像がモニタ2に表示される。また、図13Bに示すように、図11Bに示した状態から端末装置6を卓上で反時計方向に90°ロール回転させた場合、端末装置6がさらにロール回転した回転角度だけ、ロール回転した逆回転方向へ、針オブジェクトを回転させた仮想世界の画像がLCD61に表示される。これによって、図11Aおよび図13Aを比較すれば明らかなように、布オブジェクトは、回転角度90°だけA方向へ仮想世界内で回転してモニタ2に表示される。また、図11Bおよび図13Bを比較すれば明らかなように、布オブジェクトは、端末装置6が反時計方向へ90°ロール回転した場合であっても仮想世界内で固定されているが、LCD61(端末装置6)が回転角度90°だけ反時計方向へ回転しているため、結果的に実空間においては端末装置6と同じ反時計方向に90°回転しているように見える。一方、針オブジェクトは、回転角度90°だけ時計方向へ仮想世界内で回転しているが、LCD61(端末装置6)が回転角度90°だけ反時計方向へ回転しているため、結果的に実空間においては同じ方向に表示されているように見える。
このように、ユーザが端末装置6を卓上でロール回転させることによって、布オブジェクトに対して針オブジェクトを相対的に回転させてLCD61に表示することができる。そして、端末装置6の回転角度と針オブジェクトの回転角度とを同じにして、針オブジェクトを布オブジェクトに対して相対的に端末装置6の回転方向の逆方向へ回転させることによって、ミシンで裁縫する布のように端末装置6を取り扱うことが可能なリアリティある裁縫をシミュレーションする情報処理を実現することができる。
例えば、端末装置6からは端末装置6の姿勢変化に応じた加速度データや角速度データが出力される。そして、上記加速度データが示す加速度を用いれば、端末装置6に作用している重力加速度の方向が算出できるため、実空間における鉛直方向を基準として端末装置6がどのような姿勢になっているのか、すなわち鉛直方向を基準とした端末装置6のxyz軸方向を推定することができる。また、上記角速度データが示す角速度および/または上記加速度データが示す加速度を用いれば、端末装置6に作用している角速度や動的な加速度がわかるため、これらの角速度および/または動的な加速度を用いて、実空間における端末装置6の初期姿勢からの姿勢変化、(すなわち、xyz各軸周りのxyz軸の方向変化)を推定することができる。このように推定される端末装置6の姿勢変化(xyz軸方向変化)に応じて、針オブジェクトおよび布オブジェクトの方向、姿勢、移動方向や、仮想カメラの姿勢や位置が設定される。
また、端末装置6のタッチパネル62をタッチ操作することによって、オブジェクトを移動することができる。例えば、ユーザがLCD61の表面を覆うタッチパネル62を左方向(図11Bに示す図示B方向)へドラッグするようにタッチ操作した場合、図15Aおよび図15Bに示すような画像がモニタ2およびLCD61にそれぞれ表示される。図11Bに示すように、ユーザがタッチパネル62を左方向へドラッグするようにタッチ操作した場合、ドラッグ操作された長さに応じた距離だけ、ドラッグ操作された方向(図示B方向)へ、布オブジェクトが移動した仮想世界の画像がLCD61に表示される。また、図15Aに示すように、ユーザがタッチパネル62を左方向へドラッグするようにタッチ操作した場合、LCD61に表示される布オブジェクトの範囲(仮想世界の範囲)の移動に応じて(すなわち、ドラッグ操作された長さに応じた距離だけ、ドラッグ操作された逆方向(図示D方向)へ)、現作業領域が移動した仮想世界の画像がモニタ2に表示される。なお、ユーザがタッチパネル62をタッチ操作している間は、当該タッチ操作によって布オブジェクトが針オブジェクトに対して相対的に移動したとしても、当該布オブジェクトを裁縫する処理は行われない。また、ユーザがタッチパネル62をタッチ操作している間は、ボード型コントローラ9を用いた操作によって布オブジェクトが針オブジェクトに対して相対的に移動したとしても、当該布オブジェクトを裁縫する処理は行われない。つまり、ユーザは、端末装置6の方向を変える操作にボード型コントローラ9を用いた操作を加えることによって、所望の位置および方向に布オブジェクトを糸で縫い進める裁縫が可能となるが、タッチ操作では当該裁縫を行うことなく布オブジェクトの位置を針オブジェクトに対して相対的に変えることができる。これによって、裁縫目標線上に針オブジェクトを裁縫せずに配置した後に裁縫目標線上を狙って糸を縫い進めるような操作が可能となる。
一例として、図16に示すように、ユーザがタッチパネル62を左方向(図示B方向)へドラッグするようにタッチ操作した場合、布オブジェクトは、仮想世界内を当該ドラッグ操作されたB方向へ移動する。ここで、布オブジェクトの移動方向および移動距離は、LCD61に表示された布オブジェクトがタッチパネル62に対するドラッグ操作中のタッチ位置の移動に追従する、すなわち当該タッチ位置と重なって表示されている布オブジェクトの位置が当該ドラッグ操作中のタッチ位置と常に重なって表示されるように設定される。一方、ユーザがタッチパネル62をドラッグ操作した場合であっても、針オブジェクトは、仮想世界において方向、姿勢、位置の何れも変化しない。これによって、図11Bおよび図15Bを比較すれば明らかなように、ユーザがタッチパネル62を左方向へドラッグするようにタッチ操作した場合、布オブジェクトは、ドラッグ操作に応じた方向へドラッグ操作に応じた距離だけ移動してLCD61に表示され、結果的に実空間においてもタッチ位置の移動に追従して移動しているように見える。一方、針オブジェクトは、タッチパネル62がタッチ操作された場合であっても仮想世界内で固定配置されており、端末装置6が移動しない限り、結果的に実空間においては同じ位置および方向に表示される。
上述した仮想世界画像の生成方式は、一例として、LCD61に表示する仮想世界の画像を生成する第1仮想カメラを仮想世界において固定し、布オブジェクトを移動させることによって行っている。しかしながら、他の例として、図11Bに示した布オブジェクトおよび針オブジェクトが配置された仮想世界の画像を、タッチ操作に応じて図15Bに示されるような画像に変化させる場合、当該仮想世界の画像を生成する第1仮想カメラを当該タッチ操作に応じて移動させてもかまわない。この場合、タッチパネル62を用いてドラッグ操作された場合であっても、布オブジェクトは、仮想世界において固定して配置する。その一方で、タッチパネル62を用いてドラッグ操作された場合、当該ドラッグ操作に応じた方向へ当該ドラッグ操作に応じた距離だけ針オブジェクトおよび第1仮想カメラを仮想世界で移動させる。このような仮想世界画像の生成方式であっても、同様の画像をLCD61に表示することができる。
なお、モニタ2には、布オブジェクトの中心(例えば、重心)が画面中央に配置された画像が表示される一例を用いたが、布オブジェクトの中心が画面の中央からずれた状態でモニタ2に表示されてもかまわない。例えば、布オブジェクト上に配置されている針オブジェクトの配置位置を第2仮想カメラの注視点として、当該針オブジェクトの配置位置が常にモニタ2の画面中央に配置されるように布オブジェクトを配置してもかまわない。これによって、布オブジェクトが回転したり移動したりした場合であっても、現作業領域が常にモニタ2の中央に配置され、布オブジェクトの回転や移動によって現作業領域の表示位置が大きく移動することがないため、ユーザに対して現作業領域の位置をわかりやすくする効果が期待できる。
このように、ユーザが端末装置6のタッチパネル62をタッチ操作することによって、針オブジェクトに対して布オブジェクトを相対的に移動させてLCD61に表示することができる。そして、タッチパネル62へのタッチ位置の移動方向および移動距離に追従するように、布オブジェクトの移動方向および移動距離を設定することによって、ミシンで裁縫する布をタッチ操作で移動しているようなリアリティある裁縫をシミュレーションする情報処理を実現することができる。
次に、ゲームシステム1において行われる処理の詳細を説明する。まず、図17を参照して、当該処理において用いられる主なデータについて説明する。なお、図17は、ゲーム装置本体5のメインメモリに記憶される主なデータおよびプログラムの一例を示す図である。
図17に示すように、メインメモリのデータ記憶領域には、ボード操作データDa、端末操作データDb、荷重値データDc、端末装置方向姿勢データDd、操作方向データDe、針オブジェクトデータDf、布オブジェクトデータDg、裁縫線データDh、現作業領域データDi、前回タッチ位置データDj、前方踏込フラグデータDk、裁縫目標速度データDm、裁縫加速度データDn、裁縫速度データDo、仮想カメラデータDp、および画像データDq等が記憶される。なお、メインメモリには、図17に示す情報に含まれるデータの他、モニタ2やLCD61に表示される各種オブジェクトの画像データや処理に使用される音声データ等、処理に必要なデータが適宜記憶される。また、メインメモリのプログラム記憶領域には、上記情報処理プログラムを構成する各種プログラム群Paが記憶される。
ボード操作データDaは、ボード型コントローラ9から送信データとして送信されてくる一連の操作情報(ボード操作データ)が格納され、最新のボード操作データに更新される。例えば、ボード操作データDaは、荷重データDa1等を含んでいる。荷重データDa1は、ボード型コントローラ9の荷重センサ94a〜94dがそれぞれ検出した荷重検出値を示すデータである。
端末操作データDbは、端末装置6から送信データとして送信されてくる一連の操作情報(端末操作データ)が格納され、最新の端末操作データに更新される。例えば、端末操作データDbは、加速度データDb1、角速度データDb2、およびタッチ位置データDb3等を含んでいる。加速度データDb1は、加速度センサ603によって検出された加速度(加速度ベクトル)を表すデータである。例えば、加速度データDb1は、図3に示すxyzの3軸の方向に関する加速度を各成分とする3次元の加速度を表すものであるが、他の例においては、任意の1以上の方向に関する加速度を表すものであってもよい。角速度データDb2は、ジャイロセンサ604によって検出された角速度を表すデータである。例えば、角速度データDb2は、図3に示すxyzの3軸回りのそれぞれの角速度を表すものであるが、他の例においては、任意の1軸以上の軸回り角速度を表すものであってもよい。タッチ位置データDb3は、タッチパネル62の入力面において入力が行われた位置の座標を表すデータである。
なお、ゲーム装置本体5は、コントローラ7、ボード型コントローラ9、および端末装置6からそれぞれ所定周期毎(例えば、1/200秒毎)に送信される操作情報に含まれるデータ(例えば、荷重検出値、加速度、および角速度を示すデータ)を逐次受信している。例えば、受信されたデータは、入出力プロセッサ31によってメインメモリに逐次記憶される。後述する処理フローでは、CPU10が最新のボード操作データおよび端末操作データを1フレーム毎(例えば、1/60秒毎)にメインメモリから読み出して、ボード操作データDaおよび端末操作データDbをそれぞれ更新する例を用いる。
また、コントローラ7、ボード型コントローラ9、および端末装置6からそれぞれ所定周期毎に送信される操作情報は、コントローラ通信モジュール19や端末通信モジュール28等に備える図示しないバッファに一旦蓄えられてもよい。この場合、上記バッファに蓄えられたデータが、1フレーム毎に読み出されて、メインメモリのボード操作データDa(例えば、荷重データDa1)や端末操作データDb(例えば、加速度データDb1、角速度データDb2、およびタッチ位置データDb3)が更新されて用いられる。このとき、操作情報を受信する周期と処理周期とが異なるために、上記バッファには複数の時点に受信した操作情報が記述されていることになるが、複数の時点に受信した操作情報のうち最新の操作情報のみを用いて当該処理が実行される。
荷重値データDcは、ボード型コントローラ9が検出する荷重値を示すデータの集合である。例えば、荷重値データDcは、荷重センサ94cおよび94dがそれぞれ検出した荷重の合計値(前方荷重値)を示すデータの集合と、荷重センサ94aおよび94bがそれぞれ検出した荷重の合計値(後方荷重値)を示すデータの集合とである。具体的には、荷重値データDcは、時系列的に算出された所定期間内の上記前方荷重値および上記後方荷重値を示すデータの配列であり、配列の各要素に上記前方荷重値および上記後方荷重値をそれぞれ示すデータが時系列に格納される。
端末装置方向姿勢データDdは、実空間における端末装置6の現時点の方向および姿勢を示すデータである。例えば、端末装置方向姿勢データDdは、端末操作データDbに含まれる加速度データDb1および角速度データDb2に基づいて算出される。
操作方向データDeは、基準操作指示方向データDe1および操作指示方向データDe2等を含んでいる。基準操作指示方向データDe1は、初期設定の際に設定され、操作指示方向の基準となる方向を示すデータである。操作指示方向データDe2は、現時点でユーザから指示されている操作指示方向を示すデータである。なお、基準操作指示方向および操作指示方向の算出方法については、後述する。
針オブジェクトデータDfは、仮想世界における針オブジェクトに関するデータである。例えば、針オブジェクトデータDfは、仮想世界における針オブジェクトの位置、姿勢、方向等を示すデータである。
布オブジェクトデータDgは、仮想世界における布オブジェクトに関するデータである。例えば、布オブジェクトデータDgは、仮想世界における布オブジェクトの位置、姿勢、方向等を示すデータである。
裁縫線データDhは、布オブジェクトが針オブジェクトによって裁縫された際に描画される裁縫線を示すデータである。例えば、裁縫線データDhは、布オブジェクトに対する裁縫線の描画位置、線種等を示すデータである。
現作業領域データDiは、布オブジェクト上に描画される現作業領域を示すデータである。例えば、現作業領域データDiは、布オブジェクトに対する現作業領域の描画位置、線種等を示すデータである。
前回タッチ位置データDjは、前回の処理においてタッチパネル62がタッチされたタッチ位置を示すデータである。
前方踏込フラグデータDkは、ボード型コントローラ9上の前方に閾値以上の荷重が加わった際にオンに設定され、ボード型コントローラ9上の後方に閾値以上の荷重が加わった際にオフに設定される前方踏込フラグを示すデータである。
裁縫目標速度データDmは、布オブジェクトが針オブジェクトによって裁縫される目標となる速度(裁縫目標速度)を示すデータである。裁縫加速度データDnは、現時点で布オブジェクトが針オブジェクトによって裁縫されている速度から裁縫目標速度に到達するまでの加速度(裁縫加速度)を示すデータである。裁縫速度データDoは、布オブジェクトが針オブジェクトによって裁縫される速度(裁縫速度)を示すデータである。
仮想カメラデータDpは、仮想世界に設定される仮想カメラに関するデータである。例えば、仮想カメラデータDpは、端末装置6のLCD61に表示するゲーム画像を生成するための第1仮想カメラに関するデータと、モニタ2に表示するゲーム画像を生成するための第2仮想カメラに関するデータとを含む。
画像データDqは、針オブジェクト画像データDq1、布オブジェクト画像データDq2、および背景画像データDq3等を含んでいる。針オブジェクト画像データDq1は、仮想世界に針オブジェクトを配置してゲーム画像を生成するためのデータである。布オブジェクト画像データDq2は、仮想世界に布オブジェクトを配置してゲーム画像を生成するためのデータである。背景画像データDq3は、仮想世界に背景を配置してゲーム画像を生成するためのデータである。
次に、図18〜図21を参照して、ゲーム装置本体5において行われるゲーム処理の詳細を説明する。なお、図18は、ゲーム装置本体5において実行されるゲーム処理の一例を示すフローチャートである。図19は、図18におけるステップ44のゲーム制御処理の一例を示すサブルーチンである。図20は、図19におけるステップ83のオブジェクト設定処理の一例を示すサブルーチンである。図21は、図20におけるステップ118の裁縫処理の一例を示すサブルーチンである。ここで、図18〜図21に示すフローチャートにおいては、ゲーム処理のうち、端末装置6およびボード型コントローラ9を用いたユーザの操作に応じて、針オブジェクトおよび布オブジェクトが動作して表示される処理について主に説明し、本願発明と直接関連しない他の処理については詳細な説明を省略する。また、図18〜図21では、CPU10が実行する各ステップを「S」と略称する。
ゲーム装置本体5の電源が投入されると、ゲーム装置本体5のCPU10は、ROM/RTC13に記憶されている起動用のプログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク4に記憶されたゲームプログラムがメインメモリに読み込まれ、CPU10によって当該プログラムの実行が開始される。図18〜図21に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
図18において、CPU10は、初期処理を実行し(ステップ40)、次のステップに処理を進める。例えば、上記ステップ40における初期処理において、CPU10は、仮想世界を構築し、仮想世界における針オブジェクトおよび布オブジェクトや仮想カメラ(第1仮想カメラおよび第2仮想カメラ)を所定の位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする。なお、第1仮想カメラは、針オブジェクトの直上位置から俯瞰する位置に、針オブジェクトの前方向が当該第1仮想カメラの上方向(Y軸正方向)となるように初期配置される。
次に、CPU10は、端末装置6から送信されてくるデータに基づいて、基準操作指示方向を算出し(ステップ41)、次のステップに処理を進める。以下、CPU10が基準操作指示方向を算出する一例について説明する。
端末装置6は、上述したようなデータをゲーム装置本体5へ繰り返し送信している。ゲーム装置本体5においては、端末通信モジュール28が上記データを逐次受信し、入出力プロセッサ31が端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。上記ステップ41においては、CPU10は、メインメモリから最新の端末操作データを読み出して加速度データDb1、角速度データDb2、およびタッチ位置データDb3を更新する。
次に、CPU10は、実空間における端末装置6の方向および姿勢を算出する。例えば、CPU10は、加速度データDb1が示す加速度および角速度データDb2が示す角速度に基づいて、端末装置6の現時点の方向および姿勢を示すデータ(例えば、端末装置6のxyz軸それぞれの方向を示すデータ)を算出し、算出された端末装置6の方向および姿勢を示すデータを用いて端末装置方向姿勢データDdを更新する。例えば、CPU10は、角速度データDb2が示す角速度を用いて、端末装置6の単位時間当たりにおける実空間での回転量(方向変化量)を算出することができる。また、実空間において端末装置6がほぼ静止している状態(静的な状態)では、端末装置6に対して加えられる加速度が重力加速度となるため、加速度データDb1が示す加速度によって端末装置6に加えられる重力方向(すなわち、実空間における鉛直方向を基準とした端末装置6の姿勢)を算出することができる。したがって、CPU10は、加速度データDb1が示す加速度および角速度データDb2が示す角速度に基づいて端末装置6の方向や姿勢を示すデータを算出することができる。
なお、本実施形態においては、端末装置6で検出される加速度および角速度を示すデータに基づいて端末装置6の方向や姿勢を算出するが、他の実施形態においては、何れか1つのデータや3つ以上のデータを用いて端末装置6の方向や姿勢を算出してもよい。例えば、端末装置6に設けられた磁気センサ602は、端末装置6に加わる磁気を検出しており、端末装置6に加わる地磁気の方向から端末装置6を基準とした所定の方位(すなわち、所定の方位を基準とした端末装置6の姿勢)を算出することができる。なお、端末装置6が配置されている実空間に、地磁気以外の磁界が発生している場合であっても、端末装置6の回転量を算出することができる。したがって、CPU10は、端末装置6で検出される加速度、角速度、および磁気を示すデータの少なくとも1つを用いれば、端末装置6の方向や姿勢を算出することができる。
また、端末装置6の方向や姿勢の具体的な算出方法はどのような方法であってもよいが、例えば、角速度データDb2が示す角速度に基づいて算出される端末装置6の方向や姿勢を、加速度データDb1が示す加速度および磁気センサ602が検出した磁気の方向を用いて補正する方法が考えられる。
具体的には、CPU10は、まず、角速度データDb2が示す角速度に基づいて端末装置6の姿勢を算出する。端末装置6の姿勢を角速度から算出する方法はどのような方法であってもよいが、一例として、前回の姿勢(前回に算出されたxyz軸の方向)と今回の角速度(今回の処理ループにおけるステップ42で取得された角速度)とを用いて算出される。CPU10は、前回のxyz軸方向を今回の角速度で各軸周りに単位時間分だけ回転させることによって新たなxyz軸方向を算出する。なお、前回のxyz軸方向は、端末装置方向姿勢データDdにより表され、今回の角速度は、角速度データDb2により表される。したがって、CPU10は、端末装置方向姿勢データDdおよび角速度データDb2を読み出して、端末装置6の姿勢(新たなxyz軸方向)を算出する。なお、上述したように上記ステップ41において、端末装置6の初期姿勢が定められている。したがって、端末装置6の姿勢を角速度から算出する場合には、CPU10は、最初に算出された端末装置6の初期姿勢を基準として現時点における端末装置6の姿勢を算出することができる。
次に、CPU10は、角速度に基づいて算出した端末装置6の姿勢(xyz軸方向)を、加速度データDb1が示す加速度を用いて補正する。具体的には、CPU10は、加速度データDb1が示す加速度に基づいて端末装置6の姿勢(xyz軸方向)を算出する。ここで、端末装置6がほぼ静止している状態では、端末装置6に対して加えられている加速度は重力加速度となる。したがって、この状態においては、加速度データDb1が示す加速度の方向を用いて重力加速度の方向(重力方向)を算出することができるので、重力方向に対する端末装置6の向き(重力方向を基準としたxyz軸方向)を算出することができる。
加速度に基づく端末装置6の姿勢が算出されると、CPU10は、加速度に基づく姿勢を用いて、角速度に基づく姿勢を補正する。具体的には、CPU10は、角速度に基づいて算出された端末装置6の姿勢(xyz軸方向)を、加速度に基づいて算出された端末装置6の姿勢(xyz軸方向)へ所定の割合で近づける補正を行う。上記所定の割合は、予め定められた固定値であってもよいし、加速度データDb1が示す加速度等に応じて設定されてもよい。また、加速度に基づいて算出された端末装置6の姿勢に関しては、重力方向を軸とする回転方向については姿勢を算出することができないので、CPU10は、当該回転方向に関して補正を行わないようにしてもよい。なお、角速度に基づいて算出された端末装置6の姿勢を、磁気センサ602が検出した磁気の方向に基づいて補正する場合には、CPU10は、角速度に基づいて算出された端末装置6の姿勢を、磁気の方向に基づいて算出された端末装置6の姿勢へと所定の割合で近づけるようにすればよい。以上によれば、CPU10は、端末装置6の姿勢を正確に算出することができる。
そして、実空間における端末装置6の方向および姿勢に基づいて、操作指示方向の基準となる基準操作指示方向を算出する。なお、以下の説明においては、一例として、実空間において端末装置6の上面が向いている方向(図3に示すy軸正方向であり、端末装置上方向)から操作指示方向を設定する。操作指示方向の算出処理では、端末装置6の姿勢および方向に各種補正が行われることによって操作指示方向が算出される。そして、上記ステップ41で算出された操作指示方向を用いて基準操作指示方向を設定し、当該基準操作指示方向を用いて基準操作指示方向De1が更新される。
操作指示方向を算出する際、端末装置6のx軸周りおよびy軸周りの傾きが補正される。例えば、端末装置方向姿勢データDdが示すxyz軸それぞれの方向を用いて、x軸方向およびy軸方向を強制的に水平方向に補正(例えば、x軸方向およびy軸方向の鉛直方向成分をそれぞれ0にして、実空間の水平面に鉛直方向へx軸方向およびy軸方向をそれぞれ投影した方向に補正)する。次に、水平方向に補正されたx軸方向とy軸方向との外積によって新たにz軸方向を算出する。そして、新たに算出されたz軸方向と水平方向に補正されたx軸成分との外積によって新たにy軸方向を算出し、新たに算出されたy軸正方向(操作指示方向)を用いて基準操作指示方向De1を更新する。
なお、上記基準操作指示方向は、加速度データDb1が示す加速度に基づいて補正されて算出されてもよいし、磁気センサ602が検出した磁気の方向に基づいて補正されて算出されてもよいし、端末装置6を特定の姿勢にした状態(例えば、卓上に載置して静止させた状態)でユーザに所定の操作を行わせることで、所定の操作が行われた時点におけるx軸方向およびy軸方向が水平方向に向いていると仮定して算出されてもよい。上記基準操作指示方向を設定するタイミング、すなわち上記ステップ41を実行するタイミングは、ゲーム開始時点に自動的に行われてもいいし、端末装置6を用いてユーザが所定の操作(例えば、所定の操作ボタン64を押下する操作)を行ったことに応じて行われてもかまわない。
上記ステップ41の次にステップ42の処理が実行される。以降、ステップ42〜ステップ51の一連の処理からなる処理ループが所定時間(1フレーム時間)に1回の割合で繰り返し実行される。
ステップ42において、CPU10は、ボード型コントローラ9から送信されてくるボード操作データを取得し、次のステップに処理を進める。ここで、ボード型コントローラ9は、ボード操作データをゲーム装置本体5へ繰り返し送信している。したがって、ゲーム装置本体5においては、コントローラ通信モジュール19が上記ボード操作データを逐次受信し、受信されたボード操作データが入出力プロセッサ31によってメインメモリに逐次記憶される。ボード型コントローラ9のボード操作データ送信の間隔は、ゲームの処理時間(1フレーム時間)よりも短い方が好ましく、例えば200分の1秒である。上記ステップ42においては、CPU10は、メインメモリから最新のボード操作データを読み出して荷重データDa1を更新する。なお、上記ボード操作データには、荷重センサ94a〜94dの識別情報を示すデータおよび荷重センサ94a〜94dがそれぞれ検出した荷重検出値を示すデータが含まれており、当該識別情報によって区別されたデータをそれぞれ用いて、荷重データDa1が更新される。
次に、CPU10は、端末装置6から送信されてくる各種のデータを取得し(ステップ43)、次のステップに処理を進める。ここで、端末装置6は、上記データをゲーム装置本体5へ繰り返し送信している。したがって、ゲーム装置本体5においては、端末通信モジュール28が上記データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックLSI27によって伸張処理が逐次施される。そして、入出力プロセッサ31は、端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。上記ステップ43においては、CPU10は、メインメモリから最新の端末操作データを読み出して加速度データDb1、角速度データDb2、およびタッチ位置データDb3を更新する。
次に、CPU10は、ゲーム制御処理を行って(ステップ44)、次のステップに処理を進める。上記ゲーム制御処理は、ユーザによるゲーム操作に従って仮想世界内の針オブジェクトおよび布オブジェクトや仮想カメラを動作させる処理等を実行し、ゲームを進行させる処理である。当該ゲーム例では、ユーザは、端末装置6およびボード型コントローラ9を用いて種々のゲームを行うことが可能である。以下、図19を参照して、上記ステップ44におけるゲーム制御処理について説明する。
図19において、CPU10は、前方荷重値および後方荷重値を算出して(ステップ81)、次のステップに処理を進める。例えば、CPU10は、荷重データDa1が示す荷重センサ94cが検出した荷重と荷重センサ94dが検出した荷重とを合計して前方荷重値を算出し、当該前方荷重値を示すデータを用いて荷重値データDcにおける前方荷重値を示す時系列データ配列のうち最新のデータを更新する。また、CPU10は、荷重データDa1が示す荷重センサ94aが検出した荷重と荷重センサ94bが検出した荷重とを合計して後方荷重値を算出し、当該後方荷重値を示すデータを用いて荷重値データDcにおける後方荷重値を示す時系列データ配列のうち最新のデータを更新する。具体的には、荷重データDa1は、荷重センサ94a〜94dがそれぞれ検出した最新の荷重検出値を示しているため、当該荷重検出値を用いることによって、上記前方荷重値および後方荷重値が算出される。このようにして算出される前方荷重値および後方荷重値は、ボード型コントローラ9上のユーザ動作に応じて変化する。一例として、ユーザがボード型コントローラ9上の前方に荷重を加える動作をした場合、前方荷重値が加えられた荷重に応じて上昇して後方荷重値が下降する。
次に、CPU10は、端末装置6の方向および姿勢を算出し(ステップ82)、次のステップに処理を進める。例えば、CPU10は、加速度データDb1が示す加速度および角速度データDb2が示す角速度に基づいて、端末装置6の現時点の方向および姿勢を示すデータ(例えば、端末装置6のxyz軸それぞれの方向を示すデータ)を算出し、算出された端末装置6の方向および姿勢を示すデータを用いて端末装置方向姿勢データDdを更新する。なお、端末装置6の現時点の方向および姿勢を示すデータの算出方法については、上記ステップ41で説明した方法と同様であるため、詳細な説明を省略する。
次に、CPU10は、オブジェクト設定処理を行い(ステップ83)、次のステップに処理を進める。以下、図20を参照して、上記ステップ83におけるオブジェクト設定処理について説明する。
図20において、CPU10は、操作指示方向を算出し(ステップ111)、次のステップに処理を進める。例えば、CPU10は、端末装置方向姿勢データDdが示すxyz軸それぞれの方向を用いて、x軸方向およびy軸方向を強制的に水平方向に補正し、水平方向に補正されたx軸方向とy軸方向との外積によって新たにz軸方向を算出する。そして、CPU10は、新たに算出されたz軸方向と水平方向に補正されたx軸成分との外積によって新たにy軸方向を算出し、新たに算出されたy軸正方向(操作指示方向)を用いて操作指示方向De2を更新する。
次に、CPU10は、上記ステップ111で算出された操作指示方向に応じて、仮想世界における針オブジェクトの方向を設定し(ステップ112)、次のステップに処理を進める。例えば、CPU10は、基準操作指示方向データDe1が示す基準操作指示方向および操作指示方向データDe2が示す操作指示方向を用いて、当該基準操作指示方向に対する当該操作指示方向の変化角度および変化方向を算出する。そして、CPU10は、仮想世界基準方向(例えば、モニタ2に表示される仮想世界の上方向)に対して、上記変化角度だけ上記変化方向の逆方向に回転させた仮想世界における方向を用いて針オブジェクトの前方向を設定し、針オブジェクトデータDfを更新する。例えば、図14に示されるように、基準操作指示方向に対する当該操作指示方向の変化角度が回転角度Cであり変化方向がz軸正方向に見て反時計回りである場合、針オブジェクトの前方向(図示F方向)は、仮想世界基準方向から回転角度Cだけ仮想世界の鉛直方向に見て時計方向へ回転させた方向に設定される。なお、操作指示方向に基づいて針オブジェクトの前方向を算出する方法はどのような方法であってもよいが、図14から明らかなように、基準方向(基準操作指示方向、仮想世界基準方向)を中心として操作指示方向と針オブジェクトの前方向とが線対称の関係となっている。したがって、このような位置関係に基づいて、異なる算出方法で操作指示方向から針オブジェクトの前方向を算出してもかまわない。
次に、CPU10は、タッチパネル62に対するタッチ操作が行われているか否かを判断する(ステップ113)。例えば、CPU10は、タッチ位置データDb3を参照して、ユーザがタッチパネル62に対するタッチ操作を行っているか否かを判断する。そして、CPU10は、タッチパネル62に対するタッチ操作が行われている場合、次のステップ114に処理を進める。一方、CPU10は、タッチパネル62に対するタッチ操作が行われていない場合、次のステップ117に処理を進める。
ステップ114において、CPU10は、裁縫速度を0に設定して、次のステップに処理を進める。例えば、CPU10は、0に設定された裁縫速度を用いて、裁縫速度データDoを更新する。
次に、CPU10は、前回のタッチ位置から現時点のタッチ位置までの移動距離および移動方向に基づいて、布オブジェクトの位置を仮想世界において移動させ(ステップ115)、次のステップに処理を進める。例えば、CPU10は、前回タッチ位置データDjが示す前回タッチ位置とタッチ位置データDb3が示す現時点のタッチ位置とを用いて、前回タッチ位置と重なる仮想世界の位置から現時点のタッチ位置と重なる仮想世界の位置までの距離および方向を算出する。そして、CPU10は、算出された仮想世界の距離(移動距離)だけ算出された仮想世界の方向(移動方向)へ布オブジェクトの位置を移動させ、当該位置を用いて布オブジェクトデータDgを更新する。これによって、仮想世界における布オブジェクトの位置は、LCD61に表示された布オブジェクトがタッチパネル62に対するドラッグ操作中のタッチ位置の移動に追従するように設定される。
次に、CPU10は、現時点のタッチ位置を用いて前回タッチ位置を更新し(ステップ116)、次のステップ119に処理を進める。例えば、CPU10は、タッチ位置データDb3が示す現時点のタッチ位置を用いて前回タッチ位置データを新たに設定し、当該新たに設定された前回タッチ位置データを用いて前回タッチ位置データDjを更新する。
一方、ステップ117において、CPU10は、前回タッチ位置を初期化し、次のステップに処理を進める。例えば、CPU10は、前回タッチ位置をNullに初期化し、初期化された前回タッチ位置を用いて前回タッチ位置データDjを更新する。
次に、CPU10は、裁縫処理を行い(ステップ118)、次のステップ119に処理を進める。以下、図21を参照して、上記ステップ118で行う裁縫処理について説明する。
図21において、CPU10は、前方踏込フラグデータDkが示す前方踏込フラグがオンに設定されているか否かを判断する(ステップ121)。そして、CPU10は、前方踏込フラグがオンに設定されている場合、次のステップ122に処理を進める。一方、CPU10は、前方踏込フラグがオフに設定されている場合、次のステップ126に処理を進める。
ステップ122において、CPU10は、荷重値データDcが示す後方荷重値が所定の閾値以上であるか否かを判断する。そして、CPU10は、後方荷重値が所定の閾値以上である場合、次のステップ123に処理を進める。一方、CPU10は、後方荷重値が所定の閾値未満である場合、次のステップ130に処理を進める。ここで、上記ステップ122で用いられる閾値は、ユーザがボード型コントローラ9の後方に荷重を加えたことを検出するための値であり、予め設定された値でもいいし、ユーザ操作によって設定された値でもよい。
ステップ123において、CPU10は、裁縫目標速度を設定し、次のステップに処理を進める。例えば、CPU10は、裁縫目標速度Vtを
Vt=(1/F)*Vts
で算出し、算出された裁縫目標速度Vtを用いて、裁縫目標速度データDmを更新する。ここで、Fは、前方踏込フラグがオンされてから現時点までのフレーム数(ゲームの処理周期を繰り返した回数であり、ゲームの処理時間=1フレーム時間とする)を示しており、ユーザがボード型コントローラ9の前方に荷重を加えたことが検出されてから現時点までのフレーム数を示している。また、Vtsは、予め定められた裁縫目標速度の最大値である。
次に、CPU10は、裁縫目標速度に到達するまでの裁縫加速度を設定し(ステップ124)、次のステップに処理を進める。例えば、CPU10は、裁縫加速度Vaを
Va=(Vt−V)/Fs
で算出し、算出された裁縫加速度Vaを用いて、裁縫加速度データDnを更新する。ここで、Vは、現時点で設定されている裁縫速度であり、裁縫速度データDoを参照することによって得られる値である。また、Fsは、現時点の裁縫速度を裁縫目標速度まで加速/減速させるまでの時間(フレーム数)を表す予め定められたパラメータである。
次に、CPU10は、前方踏込フラグをオフに設定して前方踏込フラグデータDkを更新し(ステップ125)、次のステップ130に処理を進める。
一方、上記ステップ121において前方踏込フラグがオフに設定されていると判断された場合、CPU10は、荷重値データDcが示す前方荷重値が所定の閾値以上であるか否かを判断する(ステップ126)。そして、CPU10は、前方荷重値が所定の閾値以上である場合、次のステップ127に処理を進める。一方、CPU10は、前方荷重値が所定の閾値未満である場合、次のステップ130に処理を進める。ここで、上記ステップ126で用いられる閾値は、ユーザがボード型コントローラ9の前方に荷重を加えたことを検出するための値であり、予め設定された値でもいいし、ユーザ操作によって設定された値でもよい。
ステップ127において、CPU10は、裁縫目標速度を設定し、次のステップに処理を進める。例えば、上記ステップ123と同様に、CPU10は、裁縫目標速度Vtを
Vt=(1/F)*Vts
で算出し、算出された裁縫目標速度Vtを用いて、裁縫目標速度データDmを更新する。ここで、Fは、前方踏込フラグがオフされてから現時点までのフレーム数を示しており、ユーザがボード型コントローラ9の後方に荷重を加えたことが検出されてから現時点までのフレーム数を示している。
次に、CPU10は、裁縫目標速度に到達するまでの裁縫加速度を設定し(ステップ128)、次のステップに処理を進める。なお、裁縫加速度Vaの算出方法については、上記ステップ124と同様であるため、詳細な説明を省略する。
次に、CPU10は、前方踏込フラグをオンに設定して前方踏込フラグデータDkを更新し(ステップ129)、次のステップ130に処理を進める。
ステップ130において、CPU10は、裁縫加速度を減衰させ、次のステップに処理を進める。例えば、CPU10は、裁縫加速度データDnが示す裁縫加速度に1未満の所定の正の値を乗算したり、当該裁縫加速度が0となるまで所定の値を当該裁縫加速度から減算したりすることによって、当該裁縫加速度を減衰させる。そして、CPU10は、減衰後の裁縫加速度を用いて、裁縫加速度データDnを更新する。
次に、CPU10は、裁縫速度を減衰させ(ステップ131)、次のステップに処理を進める。例えば、CPU10は、裁縫速度データDoが示す裁縫速度に1未満の所定の正の値を乗算したり、当該裁縫速度が0となるまで所定の値を当該裁縫速度から減算したりすることによって、当該裁縫速度を減衰させる。そして、CPU10は、減衰後の裁縫速度を用いて、裁縫速度データDoを更新する。
次に、CPU10は、裁縫速度に裁縫加速度を加算し(ステップ132)、次のステップに処理を進める。例えば、CPU10は、裁縫速度データDoが示す裁縫速度に裁縫加速度データDnが示す裁縫加速度を加算し、加算後の裁縫速度を用いて、裁縫速度データDoを更新する。
次に、CPU10は、針オブジェクトの後方向へ裁縫速度に応じて布オブジェクトの位置を仮想世界において移動させ(ステップ133)、次のステップに処理を進める。例えば、CPU10は、針オブジェクトデータDfが示す針オブジェクトの方向と裁縫速度データDoが示す裁縫速度とを用いて、仮想世界において針オブジェクトの後方向(すなわち、針オブジェクト前方向の逆方向)へ当該裁縫速度の距離だけ布オブジェクトの位置を移動させ、当該位置を用いて布オブジェクトデータDgを更新する。
次に、CPU10は、針オブジェクトが布オブジェクトの上を移動した軌跡上に裁縫線を生成し(ステップ134)、当該サブルーチンによる処理を終了する。例えば、CPU10は、上記ステップ133の移動処理によって針オブジェクトが相対的に布オブジェクトに対して移動した当該布オブジェクト上の軌跡(より具体的には、針オブジェクトの針が布オブジェクトに対して相対的に移動した当該布オブジェクト上の軌跡)上に描画するための描画線を、裁縫線データDhが示す裁縫線の線種に応じて生成する。そして、CPU10は、裁縫線データDhが示す裁縫線に新たに生成した裁縫線を追加し、追加された裁縫線を用いて裁縫線データDhを更新する。
なお、上述した裁縫処理の説明では、ユーザがボード型コントローラ9の前後交互に踏み込むような動作をした場合に裁縫目標速度が新たに設定される例を用いたが、他のユーザ動作に応答して裁縫目標速度が新たに設定されてもかまわない。例えば、ユーザがボード型コントローラ9の前方だけを断続的に踏み込むような動作をした場合であっても裁縫目標速度が新たに設定されてもいいし、ユーザがボード型コントローラ9の後方だけを断続的に踏み込むような動作をした場合であっても裁縫目標速度が新たに設定されてもよい。この場合、様々な処理の方向が考えられるが、例えば、上述した前方踏込フラグを未設定にして、前方荷重値が閾値未満である場合にオンされる第1フラグと、後方荷重値が閾値未満である場合にオンされる第2フラグとを用意する。そして、上記第1フラグがオンで、かつ、前方荷重値が閾値以上となった時点で裁縫目標速度を新たに設定して当該第1フラグをオフに設定し、前方荷重値が閾値未満まで降下した時点で当該第1フラグをオンに設定する。また、上記第2フラグがオンで、かつ、後方荷重値が閾値以上となった時点で裁縫目標速度を新たに設定して当該第2フラグをオフに設定し、後方荷重値が閾値未満まで降下した時点で当該第2フラグをオンに設定する。このような裁縫処理を行うことによって、ユーザがボード型コントローラ9の前方だけまたは後方だけ断続的に踏み込むような動作をした場合であっても裁縫目標速度が新たに設定されるため、布オブジェクトを糸で縫い進める操作が可能となる。
図20に戻り、ステップ119において、CPU10は、布オブジェクトに対する針オブジェクトの位置に基づいて、現作業領域を設定して現作業領域データDiを更新し、当該サブルーチンによる処理を終了する。例えば、CPU10は、針オブジェクトデータDfが示す針オブジェクトの位置および布オブジェクトデータDgが示す布オブジェクトの位置に基づいて、現作業領域の位置を設定する。具体的には、針オブジェクトの位置が現作業領域の中心位置となるように、布オブジェクトに対する現作業領域の位置を設定する。そして、CPU10は、LCD61に表示されている仮想世界の範囲の形状や方向と実質的に一致するように、現作業領域の形状および方向を設定する。
図19に戻り、上記ステップ83のオブジェクト設定処理の後、CPU10は、仮想カメラに関するパラメータを設定して仮想カメラデータDpを更新し(ステップ84)、当該サブルーチンによる処理を終了する。例えば、端末用ゲーム画像およびモニタ用ゲーム画像は、仮想世界内に仮想カメラを配置して、仮想カメラから見たゲーム空間を計算することによって得られる3次元のCG画像等によってそれぞれ生成される。一例として、端末用ゲーム画像を生成するための第1仮想カメラは、仮想世界の針オブジェクトの直上近傍位置に配置される。そして、第1仮想カメラの姿勢は、仮想世界の鉛直方向が当該第1仮想カメラの視線方向となり、上記仮想世界基準方向が当該第1仮想カメラの上方向となるように設定される。また、モニタ用ゲーム画像を生成するための第2仮想カメラは、上記第1仮想カメラが設定されている同じ仮想世界に設定され、当該仮想世界に配置されている布オブジェクトの直上遠方位置に配置される。そして、第2仮想カメラの姿勢は、仮想世界の鉛直方向が当該第2仮想カメラの視線方向となり、上記操作指示方向に応じて当該第2仮想カメラの上方向(すなわち、視線方向周りにロールする方向)が設定される。例えば、図11A、図12A、および図13Aに示した一例では、針オブジェクトの前方向が第2仮想カメラの上方向となるように、当該第2仮想カメラの姿勢が設定される。このように、端末用ゲーム画像およびモニタ用ゲーム画像がそれぞれ異なる視点から見た仮想世界のゲーム画像となるため、それらが表示されるLCD61およびモニタ2にもそれぞれ異なる視点から見た仮想世界のゲーム画像が表示されることになる。
図18に戻り、上記ステップ44におけるゲーム制御処理の後、CPU10およびGPU32は、モニタ2に表示するためのモニタ用ゲーム画像を生成し(ステップ45)、次のステップに処理を進める。例えば、CPU10およびGPU32は、上記ステップ44のゲーム制御処理の結果を表す各データをメインメモリから読み出し、モニタ用ゲーム画像を生成するために必要なデータをVRAM34から読み出してゲーム画像を生成し、生成されたモニタ用ゲーム画像をVRAM34に記憶する。上記モニタ用ゲーム画像は、上記ステップ44のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。例えば、モニタ用ゲーム画像は、仮想カメラデータDpが示す第2仮想カメラに関するパラメータに基づいて仮想世界に第2仮想カメラを配置し、針オブジェクトデータDf、布オブジェクトデータDg、裁縫線データDh、および現作業領域データDiに基づいて、針オブジェクトと裁縫線および現作業領域が描画された布オブジェクトとを仮想世界に配置して、当該第2仮想カメラから見た仮想世界を計算することによって得られる3次元のCG画像によって生成される。具体的には、CPU10は、裁縫線データDhおよび現作業領域データDiに基づいて、裁縫線および現作業領域を布オブジェクト(現作業領域は、布オブジェクトの枠外に描画されることもあり得る)に描画する。そして、CPU10は、針オブジェクトデータDfおよび布オブジェクトデータDgが示す位置および方向に基づいて、針オブジェクトおよび布オブジェクトをそれぞれ仮想世界に配置する。
次に、CPU10およびGPU32は、端末装置6に表示するための端末用ゲーム画像を生成し(ステップ46)、次のステップに処理を進める。例えば、CPU10およびGPU32は、上記ステップ44のゲーム制御処理の結果を表す各データをメインメモリから読み出し、端末用ゲーム画像を生成するために必要なデータをVRAM34から読み出してゲーム画像を生成し、生成されたモニタ用ゲーム画像をVRAM34に記憶する。端末用ゲーム画像についても、上記モニタ用ゲーム画像と同様に上記ステップ44のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。また、端末用ゲーム画像は、上記モニタ用ゲーム画像と同様の方法で生成されてもよいし、異なる方法で生成されてもよい。例えば、端末用ゲーム画像は、仮想カメラデータDpが示す第1仮想カメラに関するパラメータに基づいて仮想世界に第1仮想カメラを配置し、上記ステップ45と同様に針オブジェクトおよび布オブジェクトをそれぞれ仮想世界に配置して、当該第1仮想カメラから見た仮想世界を計算することによって得られる3次元のCG画像によって仮想世界画像が生成される。
次に、CPU10は、モニタ2のスピーカ2aに出力するためのモニタ用ゲーム音声を生成し(ステップ47)、次のステップに処理を進める。例えば、CPU10は、上記ステップ44のゲーム制御処理の結果に応じてスピーカ2aから出力するためのモニタ用ゲーム音声をDSP33に生成させる。一例として、CPU10は、上記ステップ44のゲーム制御処理の結果に応じて設定された仮想世界において、第2仮想カメラの位置を基準として聞こえると想定される各オブジェクトの動作音および効果音等に、モニタ2から出力させたいBGM等を加えたモニタ用ゲーム音声を、DSP33に生成させる。
次に、CPU10は、端末装置6のスピーカ607に出力するための端末用ゲーム音声を生成し(ステップ48)、次のステップに処理を進める。例えば、CPU10は、上記ステップ44のゲーム制御処理の結果に応じてスピーカ607から出力するための端末用ゲーム音声をDSP33に生成させる。一例として、CPU10は、上記ステップ44のゲーム制御処理の結果に応じて設定された仮想世界において、第1仮想カメラの位置を基準として聞こえると想定される各オブジェクトの動作音および効果音等に、端末装置6から出力させたいBGM等を加えた端末用ゲーム音声を、DSP33に生成させる。なお、上記端末用ゲーム音声は、上記モニタ用ゲーム音声と同じであってもよいし、異なっていてもよい。また、上記端末用ゲーム音声は、上記モニタ用ゲーム音声に対して、一部の音声が異なる(例えば効果音は異なるが、BGMが同じ)ものでもよい。なお、モニタ用ゲーム音声と端末用ゲーム音声とが同一である場合、ステップ48において端末用ゲーム音声の生成処理が実行されなくてもよい。
次に、CPU10は、モニタ2へモニタ用ゲーム画像およびモニタ用ゲーム音声を出力し(ステップ49)、次のステップに処理を進める。例えば、CPU10は、VRAM34に記憶されたモニタ用ゲーム画像のデータと、DSP33によって生成されたモニタ用ゲーム音声のデータとを、AV−IC15へ送る。これに応じて、AV−IC15は、モニタ用ゲーム画像およびモニタ用ゲーム音声を示すデータを、AVコネクタ16を介してモニタ2へ出力する。これによって、モニタ用ゲーム画像がモニタ2に表示されるとともに、モニタ用ゲーム音声がスピーカ2aから出力される。
次に、CPU10は、端末装置6へ端末用ゲーム画像および端末用ゲーム音声を送信し(ステップ50)、次のステップに処理を進める。例えば、CPU10は、VRAM34に記憶された端末用ゲーム画像のデータおよびDSP33によって生成された端末用ゲーム音声のデータは、CPU10によってコーデックLSI27に送られ、コーデックLSI27によって所定の圧縮処理が行われる。さらに、圧縮処理が施された端末用ゲーム画像のデータおよび端末用ゲーム音声のデータは、コーデックLSI27によって端末通信モジュール28に送られ、アンテナ29を介して端末通信モジュール28によって端末装置6へ送信される。ゲーム装置本体5から送信された端末用ゲーム画像のデータおよび端末用ゲーム音声のデータは、端末装置6の無線モジュール610によって受信され、コーデックLSI606によって所定の伸張処理が行われる。そして、伸張処理が行われた端末用ゲーム画像のデータは、LCD61に出力され、伸張処理が行われた端末用ゲーム音声のデータ音声データは、サウンドIC608に出力される。これによって、端末用ゲーム画像がLCD61に表示されるとともに、端末用ゲーム音声がスピーカ607から出力される。
次に、CPU10は、ゲームを終了するか否かを判定する(ステップ51)。ゲームを終了する条件としては、例えば、ゲームオーバーやゲームクリアとなる条件が満たされたことや、ユーザがゲームを終了する操作を行ったこと等がある。CPU10は、ゲームを終了しない場合に上記ステップ42に戻って処理を繰り返し、ゲームを終了する場合に当該フローチャートによる処理を終了する。以降、ステップ42〜ステップ51の一連の処理は、ステップ51でゲームを終了すると判定されるまで繰り返し実行される。
上述した処理によれば、端末装置6の姿勢や動きによる操作、端末装置6のタッチパネル62へのタッチ操作、およびボード型コントローラ9に加える荷重による操作によって、仮想世界の複数オブジェクト(針オブジェクトおよび布オブジェクト)を制御することが可能となっている。例えば、端末装置6の姿勢や動きによる操作によって第1オブジェクト(針オブジェクト)を仮想世界において回転させる制御が可能であるとともに、タッチパネル62へのドラッグ操作やボード型コントローラ9に加える荷重による操作によって第2オブジェクト(布オブジェクト)を仮想世界において移動させるような制御も可能となっている。このように、上述した処理によれば、仮想世界に複数のオブジェクトが登場する場合に、当該オブジェクトに対するユーザ操作を多様にすることが可能となる。
また、上述した処理によれば、ユーザが端末装置6を卓上でロール回転させることによって、布オブジェクトに対して針オブジェクトを相対的に逆回転させてLCD61に表示している。また、タッチパネル62へのタッチ操作に追従するように、布オブジェクトを移動させてLCD61に表示している。これによって、ミシンで裁縫する布のように端末装置6を取り扱い、ミシンで裁縫する布をタッチ操作で移動しているようなリアリティある裁縫をシミュレーションする情報処理を実現している。
さらに、上述したゲーム例では、ボード型コントローラ9上でユーザが動作することに応じて、布オブジェクトが針オブジェクトの後方向へ移動する。つまり、ユーザは、LCD61に表示される画像によってミシンを操作しているかのような感覚が与えられることに加えて、さらに自分自身がミシンの踏板を踏んでいるような操作感覚が与えられるため、さらにミシンで裁縫する作業を端末装置6およびボード型コントローラ9を用いて行っているかのようなリアリティある裁縫をシミュレーションする情報処理を実現することができる。
また、上述したゲーム例では、端末装置6のLCD61に表示されるゲーム画像と、モニタ2に表示されるゲーム画像とは、何れも同じ仮想世界の様子を示す画像であるが、当該仮想世界を見る視点や範囲が異なる画像である。したがって、ユーザは、2つの表示画面に表示された異なる視界や表示範囲となった仮想世界を見ることが可能となり、ゲーム状況等に応じて適宜好適なゲーム画像を見ることが可能となる。また、上述したゲーム例では、ユーザが端末装置6を卓上で動かして操作を行い、実空間における端末装置6の姿勢や位置に応じて針オブジェクトの方向を変化させるとともに、LCD61に表示される画像も当該変化に応じて変化させることもできる。したがって、端末装置6を動かしながらLCD61に表示される画像を見るユーザに、仮想世界の臨場感を与えることができる。その一方で、LCD61に表示される画像だけを見ていると仮想世界全体に対する位置や針オブジェクトの周囲の状況の把握が難しくなることも考えられるが、モニタ2に相対的に広い範囲の仮想世界を表示することによって、このような問題を解消することができる。
なお、上述したゲーム例では、モニタ2に表示する仮想世界の画像を生成するための第2仮想カメラを、針オブジェクトの方向に応じて回転させて設定しているが、当該第2仮想カメラを仮想世界に固定して設定してもかまわない。
また、図10A、図11A、図12A、図13A、および図15Aに示した一例では、モニタ2に針オブジェクトが表示されていない例を示しているが、布オブジェクト上に針オブジェクトが配置された状態でモニタ2に表示してもかまわない。例えば、仮想世界に第2仮想カメラを配置し、当該仮想世界に針オブジェクトおよび布オブジェクトをそれぞれ配置して、当該第1仮想カメラから見た仮想世界を計算することによって得られる3次元のCG画像によってモニタ2に表示する仮想世界画像を生成することによって、針オブジェクトも表示された仮想世界の画像をモニタ2に表示することができる。
また、布オブジェクトが針オブジェクトによって裁縫されている期間においては、端末装置6に振動を与えてもかまわない。上述したように、端末装置6にはバイブレータ619が設けられており、ゲーム装置本体5から送信される制御データに応じて端末装置6に振動を与えることができる。例えば、CPU10は、上記ステップ132における処理において算出された裁縫速度が0より大きい場合、当該裁縫速度の大きさに応じて端末装置6に与える振動の周期や大きさを設定する。そして、CPU10は、上記ステップ50において、設定された振動を示す制御データを生成し、当該制御データを端末装置6へ送信することによって、裁縫速度に応じた振動を端末装置6に与えることが可能となる。このように、布オブジェクトが針オブジェクトによって裁縫されている期間において、裁縫速度に応じた振動を端末装置6に与えることによって、ミシンで布を裁縫する際に生じる振動が端末装置6に生じているかのような感覚をユーザに与えることができる。
また、上述した実施形態では、仮想カメラから見たゲーム空間を計算することによって得られる3次元のCG画像等がLCD61やモニタ2に表示されているが、他の画像処理によって生成された仮想世界の画像をLCD61やモニタ2に表示してもかまわない。例えば、針オブジェクトや布オブジェクトが2次元画像で表現された2次元の仮想世界画像を、LCD61やモニタ2に表示してもかまわない。
また、ゲームシステム1は、端末装置6およびボード型コントローラ9を操作手段として、上記で説明したように種々のゲームを行うことが可能である。端末装置6は、可搬形のディスプレイや第2のディスプレイとしても使用することができる一方で、本体の動きによる操作、タッチ操作、ボタン操作等による入力を行うコントローラとしても使用することができ、ゲームシステム1によれば、幅広いゲームを実施することが可能となる。つまり、端末装置6は、表示装置として機能するとともに、操作装置としても機能するものであるため、モニタ2およびコントローラ7を使用せずに端末装置6を表示手段として使用し、端末装置6およびボード型コントローラ9を操作手段として使用するようなゲームシステムのような形態もあり得る。さらに、端末装置6は、表示装置として機能するとともに、操作装置としても機能するものであるため、モニタ2、コントローラ7、およびボード型コントローラ9を使用せずに端末装置6を表示手段として使用し、端末装置6を操作手段として使用するようなゲームシステムのような形態もあり得る。
また、上記実施形態においては、端末装置6は、ゲーム処理を実行しない、いわゆるシンクライアント端末として機能するものであった。しかしながら、端末装置6は、上記実施形態においてゲーム装置本体5によって実行される一連のゲーム処理のうち、少なくとも一部の処理が端末装置6によって実行されてもよい。一例として、一部の処理(例えば、端末用ゲーム画像の生成処理)を端末装置6が実行するようにしてもよい。他の例として、ゲーム装置本体5によって実行される一連のゲーム処理全てを端末装置6が実行するようにしてもよい。この場合、端末装置6は、表示装置として機能するとともに、ゲーム処理を実行する処理装置としても機能するものであるため、モニタ2、ゲーム装置本体5、およびコントローラ7を使用せずに端末装置6を表示手段として使用し、ボード型コントローラ9を操作手段として使用し、端末装置6を処理手段として使用するようなゲームシステムのような形態もあり得る。当該ゲームシステムでは、端末装置6およびボード型コントローラ9のみが無線または有線によって接続され、ボード型コントローラ9からボード操作データを端末装置6へ出力することによって、種々のゲームを行うことができる。また、ボード型コントローラ9も使用しない場合、端末装置6を表示手段、操作手段、および処理手段として使用するような形態もあり得ることは言うまでもない。
また、上記実施形態においては、端末装置6の姿勢および/または動き(位置や姿勢そのもの、あるいは、位置や姿勢の変化を含む)を算出するために用いられる姿勢データ(例えば、磁気センサ602、加速度センサ603、およびジャイロセンサ604から出力される少なくとも1つのデータ)を端末装置6からゲーム装置本体5へ出力され、ゲーム装置本体5における情報処理によって端末装置6の姿勢および/または動きが算出されている。しかしながら、ゲーム装置本体5において算出されている端末装置6の姿勢および/または動きを、端末装置6において算出してもかまわない。この場合、端末装置6で算出された端末装置6の姿勢および/または動きを示すデータ(すなわち、上記姿勢データを用いて算出された、端末装置6の位置や姿勢そのもの、あるいは、位置や姿勢の変化を示すデータ)が、端末装置6からゲーム装置本体5へ出力され、ゲーム装置本体5における情報処理において当該データが利用されることになる。
また、上述した説明では、端末装置6とゲーム装置本体5との間およびボード型コントローラ9とゲーム装置本体5との間がそれぞれ無線通信によって接続された態様を用いたが、他の態様によって装置間の無線通信が行われてもかまわない。第1の例として、端末装置6が他の無線通信の中継装置として機能する。この場合、ボード型コントローラ9のボード操作データが端末装置6へ無線送信され、受信したボード操作データと共に端末装置6の端末操作データを、端末装置6がゲーム装置本体5へ無線送信する。この場合、端末装置6とゲーム装置本体5とが無線通信によって直接的に接続されるが、ボード型コントローラ9は、端末装置6を介してゲーム装置本体5と無線通信によって接続されることになる。第2の例として、ボード型コントローラ9が他の無線通信の中継装置として機能する。この場合、端末装置6の端末操作データがボード型コントローラ9へ無線送信され、受信した端末操作データと共にボード型コントローラ9のボード操作データを、ボード型コントローラ9がゲーム装置本体5へ無線送信する。この場合、ボード型コントローラ9とゲーム装置本体5とが無線通信によって直接的に接続されるが、端末装置6は、ボード型コントローラ9を介してゲーム装置本体5と無線通信によって接続されることになる。なお、他の装置が中継してゲーム装置本体5に操作データを送信する場合、ケーブルを介して当該操作データを生成する装置と当該操作データを中継する他の装置との間を電気的に接続してもかまわない。
また、端末装置6および/またはボード型コントローラ9と、ゲーム装置本体5とがケーブルを介して電気的に接続されてもかまわない。この場合、端末装置6および/またはボード型コントローラ9に接続されたケーブルをゲーム装置本体5の接続端子に接続する。第1の例として、端末装置6とゲーム装置本体5とが第1のケーブルを介して電気的に接続され、ボード型コントローラ9とゲーム装置本体5とが第2のケーブルを介して電気的に接続される。第2の例として、端末装置6とゲーム装置本体5との間がケーブルを介して電気的に接続される。この場合、ボード型コントローラ9のボード操作データは、端末装置6へ無線送信された後に上記ケーブルを介してゲーム装置本体5に送信されてもいいし、ボード型コントローラ9から直接ゲーム装置本体5に無線送信されてもよい。第3の例として、ボード型コントローラ9とゲーム装置本体5との間がケーブルを介して電気的に接続される。この場合、端末装置6の端末操作データは、ボード型コントローラ9へ無線送信された後に上記ケーブルを介してゲーム装置本体5に送信されてもいいし、端末装置6から直接ゲーム装置本体5に無線送信されてもよい。
また、上記実施形態においては、ゲームシステム1が端末装置6およびボード型コントローラ9をそれぞれ1つ有する構成であったが、ゲームシステム1は、複数組の端末装置6およびボード型コントローラ9を有する構成であってもよい。すなわち、ゲーム装置本体5は、複数組の端末装置6およびボード型コントローラ9とそれぞれ無線通信可能であり、ゲーム画像のデータとゲーム音声のデータと制御データとを各端末装置6へ送信し、端末操作データとカメラ画像データとマイク音データとボード操作データとを各端末装置6およびボード型コントローラ9から受信するものであってもよい。なお、ゲーム装置本体5は、複数の端末装置6およびボード型コントローラ9のそれぞれと無線通信を行うが、このとき、ゲーム装置本体5は、各端末装置6およびボード型コントローラ9との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
上記のように複数組の端末装置6およびボード型コントローラ9を有する場合には、ゲームシステム1を用いてより多くの種類のゲームを行うことができる。例えば、ゲームシステム1が2組の端末装置6およびボード型コントローラ9を有する場合には、2人のユーザが同時にゲームを行うことができる。また、ゲームシステム1が2組の端末装置6およびボード型コントローラ9を有する場合には、ゲームシステム1は3つの表示装置を有することになるので、3人のユーザのそれぞれのためのゲーム画像を生成し、各表示装置に表示させることができる。
また、上述した説明では、ボード型コントローラ9に複数の荷重センサ94を設けているが、上記処理においてはボード型コントローラ9に加わっている荷重の重心位置の情報が不要であるので、ボード型コントローラ9の前後にそれぞれ1つの荷重センサ94をボード型コントローラ9に設けてもかまわない。また、ボード型コントローラ9の前方および後方を区別せずに、ボード型コントローラ9へ加わる荷重に応じて(例えば、荷重の有無や荷重の値に応じて)、裁縫処理を行う場合、荷重センサ94を少なくとも1つボード型コントローラ9に設けてもかまわない。
また、上記実施例では、据置型のゲーム装置3を用いて説明したが、携帯型のゲーム装置や一般的なパーソナルコンピュータ等の情報処理装置で本発明の情報処理プログラムを実行して、本発明を実現してもかまわない。また、他の実施形態では、ゲーム装置に限らず任意の携帯型電子機器、例えば、PDA(Personal Digital Assistant)や携帯電話、パーソナルコンピュータ、カメラ等であってもよい。何れの装置であっても、当該装置と端末装置6およびボード型コントローラ9とを無線または有線で接続することによって、本発明を実現することができる。
また、上述した説明ではゲーム処理をゲーム装置本体5で行う例を用いたが、上記ゲーム処理における処理ステップの少なくとも一部をゲームシステム1の外部に設けられた他の装置で行ってもかまわない。例えば、ゲーム装置本体5が他の装置(例えば、サーバや他のゲーム装置)と通信可能に構成されている場合、上記ゲーム処理における処理ステップは、ゲーム装置本体5および当該他の装置が協働することによって実行してもよい。一例として、他の装置において、オブジェクトおよび仮想世界等を設定する処理が行われ、ゲーム装置本体5からオブジェクトの動作や姿勢に関するデータが他の装置へ送信されて、上記ゲーム処理が行われることが考えられる。そして、他の装置で生成された仮想世界を示す画像データがゲーム装置本体5へ送信され、当該仮想世界がモニタ2やLCD61に表示される。このように、上記ゲーム処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述したゲーム処理と同様の処理が可能となる。なお、上記情報処理における処理ステップの少なくとも一部をボード型コントローラ9(マイコン100)で行ってもよい。また、上述したゲーム処理は、少なくとも1つの情報処理装置により構成される情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施形態においては、ゲーム装置本体5のCPU10が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置本体5が備える専用回路によって上記処理の一部または全部が行われてもよい。
また、上述したゲーム装置本体5の形状や、端末装置6、コントローラ7、およびボード型コントローラ9の形状および各種操作ボタンやセンサの形状、数、および設置位置等は、単なる一例に過ぎず他の形状、数、および設置位置であっても、本発明を実現できることは言うまでもない。また、上述した情報処理で用いられる処理順序、設定値、表示態様、判定に用いられる値等は、単なる一例に過ぎず他の順序、表示態様、値であっても、本発明を実現できることは言うまでもない。
また、上記情報処理プログラムは、光ディスク4等の外部記憶媒体を通じてゲーム装置本体5に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置本体5に供給されてもよい。また、情報処理プログラムは、ゲーム装置本体5内部の不揮発性記憶装置に予め記録されていてもよい。なお、情報処理プログラムを記憶する情報記憶媒体としては、CD−ROM、DVD、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープなどでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、不揮発性半導体メモリや揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。