JP5302516B2 - 音再生プログラム、音再生装置、音再生システムおよび音再生方法 - Google Patents

Description

本発明は、音再生プログラムおよび音再生装置に関し、より特定的には、表示装置に表示されたオブジェクト同士の衝突に応じて音が再生される音再生プログラムおよび音再生装置に関する。

従来、表示装置に表示されたオブジェクト同士の衝突に応じて音が再生される音再生装置がある。例えば、プレイヤが操作するプレイヤオブジェクトが所定のアイテムに仮想世界において衝突（接触）すると「ド」の音階の音が再生され、次のアイテムに衝突すると「レ」の音階の音が再生されるアクションゲームを実行するゲーム装置がある。このアクションゲームでは、アイテムが発音オブジェクトとして機能しており、仮想世界に配置された発音オブジェクトとプレイヤオブジェクトとを連続して衝突させると、当該衝突毎に効果音の音階が「ド」→「レ」→「ミ」→「ファ」→「ソ」→「ラ」→「シ」→「ド」と順に高く再生される。

また、画像と楽曲とを組み合わせたパズルゲームを提供するパズルゲーム装置が開示されている（例えば、特許文献１参照）。上記パズルゲームでは、１画面の画像を複数に分割した部分画像と、１曲の楽曲を表す楽曲データを当該部分画像の数と同数に分割して当該部分画像にそれぞれ割り当てた部分楽曲とを組み合わせている。そして、パズルのピースとして上記部分画像を使用し、組み合わされたピースに基づいた楽曲を復元して再生している。
特開平６−３４３７６４号公報

しかしながら、上述したアクションゲームやパズルゲームでは、プレイヤが操作するプレイヤオブジェクトの速度や移動方向等の動作やプレイヤオブジェクトの種類や行動種類等の状態が変化しても再生する音が変化しないため、再生される音のバリエーションが乏しい。例えば、上記アクションゲームで再生される効果音の代わりに上記特許文献１の部分楽曲を適用したゲームを仮定した場合であっても、プレイヤが操作するプレイヤオブジェクトの動作や状態が変化しても、再生する音が予め設定された部分楽曲から変化することはないため、結果的に再生される音のバリエーションが乏しくなる。

さらに、上述したように上記アクションゲームと上記特許文献１のゲームとを単純に組み合わせた場合、単音の効果音に比べて、部分楽曲を繋いで再生する際に不都合が生じる。具体的には、プレイヤが操作するプレイヤオブジェクトがアイテムに対して連続して衝突する際に、あるアイテムに衝突してから次のアイテムに衝突するまでの時間がプレイヤオブジェクトの移動速度に応じて変化する。したがって、プレイヤオブジェクトの移動速度が速い場合、あるアイテムとの衝突に応じて再生される部分楽曲の末部と次のアイテムとの衝突に応じて再生される部分楽曲の初部とが重畳して再生されてしまい、不協和な音楽が再生されることが考えられる。一方、プレイヤオブジェクトの移動速度が遅い場合、あるアイテムとの衝突に応じて再生される部分楽曲の末部と次のアイテムとの衝突に応じて再生される部分楽曲の初部との間に無音状態が生じてしまい、本来の楽曲が途中で途切れた状態で再生されることが考えられる。

それ故に、本発明の目的は、ユーザが操作するオブジェクトの状態に応じて、バリエーションに富んだ音を適宜再生することが可能な音再生プログラムおよび音再生装置を提供することである。

上記の目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号やステップ番号等は、本発明の理解を助けるために後述する実施形態との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。

第１の発明は、表示装置（２）に表示された操作対象オブジェクト（ＰＣ）を、ユーザの操作入力に応じて動作させる処理を実行する装置（５）のコンピュータ（１０）で実行される音再生プログラムである。音再生プログラムは、表示制御手段（ステップ４１および４４を実行するＣＰＵ１０；以下、単にステップ番号のみ記載する）、データ取得手段（Ｓ４２）、オブジェクト移動制御手段（Ｓ４３、Ｓ４４）、衝突判定手段（Ｓ４６）、対象音設定手段（Ｓ５３）、再生条件決定手段（Ｓ５４）、および再生制御手段（Ｓ５５）として、コンピュータを機能させる。表示制御手段は、操作対象オブジェクトおよび少なくとも１つの発音オブジェクト（Ｉ）を表示装置に表示する。データ取得手段は、操作入力を示す操作データ（Ｄａ）を取得する。オブジェクト移動制御手段は、操作対象オブジェクトを操作データに応じて移動させる。衝突判定手段は、操作対象オブジェクトと発音オブジェクトとの衝突を判定する。対象音設定手段は、衝突判定手段が衝突を判定した場合に再生対象となる音（部分楽曲）を示す対象音データ（Ｄｆａ１〜Ｄｆａｎ）を、当該衝突判定の対象の発音オブジェクトに対して設定する。再生条件決定手段は、衝突判定手段が衝突を判定した時点または当該時点の後において、対象音設定手段が設定した対象音データを再生する再生条件（ｐ）を、少なくとも操作対象オブジェクトの状態（ｖ）に応じて決定する。再生制御手段は、再生条件決定手段が決定した再生条件を用いて、対象音設定手段が設定した対象音データを再生する。

なお、上記再生対象となる音は、音全般のことを意味し、例えば音楽、効果音、自然音、および会話等の発音に関するあらゆる音が含まれる。また、上記再生条件を決定するための操作対象オブジェクトの状態には、操作対象オブジェクトの移動速度、種類、動作状態、感情状態、姿勢状態、形状状態、発音オブジェクトと衝突する状態、および発音オブジェクトから操作対象オブジェクトに与えられた状態等が含まれる。さらに、対象音データを再生する再生条件には、部分音データを再生する際の再生テンポ、音量、音程、音調、音色、音の歪み、音の残響、音の揺らぎ、再生方向、再生速度、スピーカバランス、演奏楽器数、演奏楽器種類、奏法、ビート数、各種エフェクト等が含まれる。

第２の発明は、上記第１の発明において、再生条件決定手段は、衝突した操作対象オブジェクトと発音オブジェクトとの相対的な衝突状態を操作対象オブジェクトの状態として、再生条件を決定する。

第３の発明は、上記第１または第２の発明において、再生条件決定手段は、操作対象オブジェクトの移動速度（ｖ）に応じて対象音データを再生するテンポ（ｐ）を算出し、当該テンポを再生条件として決定する。

第４の発明は、上記第３の発明において、表示制御手段は、複数の発音オブジェクトを表示装置に適宜表示する。音再生プログラムは、衝突予測手段（Ｓ４７、Ｓ４８）として、さらにコンピュータを機能させる。衝突予測手段は、操作対象オブジェクトが次に衝突する発音オブジェクトを予測する。再生条件決定手段は、衝突判定手段が衝突を判定した時点において、衝突判定手段が衝突を判定した発音オブジェクトから衝突予測手段が予測する発音オブジェクトまでの距離（ｄ）を用いて、当該時点の移動速度で当該距離を移動する際の予測所要時間（ｔ）に応じたテンポを算出して、当該テンポを再生条件として決定する。

第５の発明は、上記第４の発明において、再生条件決定手段は、さらに衝突判定手段が衝突を判定した時点の後において、操作対象オブジェクトの位置から衝突予測手段が予測する発音オブジェクトまでの残距離（ｄｒｅ）を用いて、再生制御手段が再生している対象音データを再生終了するまでの再生残り時間（ｍｒｅ）が、現時点の移動速度で当該残距離を移動する際の予測所要残時間に応じたテンポを算出して、当該テンポに再生条件を変更する。

第６の発明は、上記第１〜第５の発明の何れかにおいて、部分音データ生成手段として、さらにコンピュータを機能させる。部分音データ生成手段は、１つの音データ（Ｄｆａ）を分割して複数の部分音データ（Ｄｆａ１〜Ｄｆａｎ）を生成し、当該分割された音データの再生順に応じて当該部分音データをメモリ（１２、３５）に格納する。対象音設定手段は、衝突判定手段が衝突を判定するごとに順次再生順に部分音データを選択し、衝突判定の対象の発音オブジェクトに、選択した当該部分音データを対象音データとして設定する。

第７の発明は、上記第１〜第５の発明の何れかにおいて、部分音データ生成手段として、さらにコンピュータを機能させる。部分音データ生成手段は、１つの音データを分割して複数の部分音データを生成し、当該分割された音データの再生順に応じて当該部分音データを発音オブジェクトにそれぞれ関連付けてメモリに格納する。対象音設定手段は、衝突判定手段が衝突を判定するごとに、衝突判定の対象の発音オブジェクトに、部分音データ生成手段によって当該発音オブジェクトに関連付けられた部分音データを対象音データとして設定する。

第８の発明は、表示装置に表示された操作対象オブジェクトを、ユーザの操作入力に応じて動作させる処理を実行する音再生装置（５）である。音再生装置は、表示制御手段、データ取得手段、オブジェクト移動制御手段、衝突判定手段、対象音設定手段、再生条件決定手段、および再生制御手段を備える。表示制御手段は、操作対象オブジェクトおよび少なくとも１つの発音オブジェクトを表示装置に表示する。データ取得手段は、操作入力を示す操作データを取得する。オブジェクト移動制御手段は、操作対象オブジェクトを操作データに応じて移動させる。衝突判定手段は、操作対象オブジェクトと発音オブジェクトとの衝突を判定する。対象音設定手段は、衝突判定手段が衝突を判定した場合に再生対象となる音を示す対象音データを、当該衝突判定の対象の発音オブジェクトに対して設定する。再生条件決定手段は、衝突判定手段が衝突を判定した時点または当該時点の後において、対象音設定手段が設定した対象音データを再生する再生条件を、少なくとも操作対象オブジェクトの状態に応じて決定する。再生制御手段は、再生条件決定手段が決定した再生条件を用いて、対象音設定手段が設定した対象音データを再生する。

上記第１の発明によれば、ユーザによって操作可能な操作対象オブジェクトの状態に応じて、対象音データを再生する再生条件を変化させるため、ユーザの操作方法に応じてバリエーションに富んだ音を再生することが可能となる。ここで、出力される音は、対象音データの再生条件を変化させて生成されるため、予め準備する対象音データの種類や数を増加させることなく多様な音再生を実現できる。

上記第２の発明によれば、衝突した操作対象オブジェクトと発音オブジェクトとの相対的な衝突状態を当該操作対象オブジェクトの状態として再生条件を変化させるため、操作対象オブジェクトと発音オブジェクトとの衝突の形態に応じた多様な音再生が実現できる。

上記第３の発明によれば、操作対象オブジェクトが複数の発音オブジェクトと連続的に衝突することにより対象音データが連続再生される場合、移動速度に応じて再生テンポを調整することによって、前に再生される対象音データの音の末部と次に再生される対象音データの初部とが重畳して再生されることを抑制することができる。また、移動速度に応じて再生テンポを調整することによって、前に再生される対象音データの音の末部と次に再生される対象音データの初部との間に、意図しない休符が生じることを抑制することができる。

上記第４の発明によれば、操作対象オブジェクトが複数の発音オブジェクトと連続的に衝突することにより対象音データが連続再生される場合、次の衝突までの予測所要時間に応じた再生テンポに調整することによって、より適切な再生テンポで対象音データを再生することができる。

上記第５の発明によれば、発音オブジェクトとの衝突から次の発音オブジェクトとの衝突まで期間において操作対象オブジェクトの移動速度が変化した場合でも、衝突毎に再生される対象音データの再生期間をスムーズに繋げた音再生が可能となる。

上記第６の発明によれば、１つの音データを分割して生成された複数の部分音データに対して、衝突判定毎に順次音データの再生順に部分音データを再生対象として選択される。したがって、ユーザは、発音オブジェクトとの衝突順序を考慮することなく連続して発音オブジェクトに操作対象オブジェクトを衝突させることによって、結果的に１つの音データをその再生順に再生することができる。

上記第７の発明によれば、例えば楽曲などの音データを分割して各発音オブジェクトに関連付けられるため、衝突判定毎に関連付けられた部分音データを再生対象として選択される。したがって、ユーザは、１つの音データをその再生順に再生するためには、発音オブジェクトとの衝突順序を考慮しながら連続して発音オブジェクトに操作対象オブジェクトを衝突させることが必要となり、より戦略性に富んだゲーム要素を含んだ音再生処理が可能となる。

本発明の音再生装置によれば、上述した音再生プログラムと同様の効果を得ることができる。

図１を参照して、本発明の一実施形態に係る音再生プログラムを実行する装置について説明する。以下、説明を具体的にするために、当該装置の一例の据置型のゲーム装置本体５を含むゲームシステムについて説明する。なお、図１は据置型のゲーム装置３を含むゲームシステム１の外観図であり、図２はゲーム装置本体５のブロック図である。以下、当該ゲームシステム１について説明する。

図１において、ゲームシステム１は、表示手段の一例の家庭用テレビジョン受像機（以下、モニタと記載する）２と、当該モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。モニタ２は、ゲーム装置本体５から出力された音声信号を音声出力するためのスピーカ２ａを備える。また、ゲーム装置３は、本願発明の音再生プログラムの一例であるゲームプログラムを記録した光ディスク４と、当該光ディスク４のゲームプログラムを実行してゲーム画面をモニタ２に表示出力させるためのコンピュータを搭載したゲーム装置本体５と、ゲーム画面に表示されたキャラクタ等を操作するゲームに必要な操作情報をゲーム装置本体５に与えるためのコントローラ７とを備えている。

また、ゲーム装置本体５は、無線コントローラモジュール１９（図２参照）を内蔵する。無線コントローラモジュール１９は、コントローラ７から無線送信されるデータを受信し、ゲーム装置本体５からコントローラ７へデータを送信して、コントローラ７とゲーム装置本体５とを無線通信によって接続する。さらに、ゲーム装置本体５には、当該ゲーム装置本体５に対して交換可能に用いられる情報記憶媒体の一例の光ディスク４が脱着される。

また、ゲーム装置本体５には、セーブデータ等のデータを固定的に記憶するバックアップメモリとして機能するフラッシュメモリ１７（図２参照）が搭載される。ゲーム装置本体５は、光ディスク４に記憶されたゲームプログラム等を実行することによって、その結果をゲーム画像としてモニタ２に表示する。また、ゲームプログラム等は、光ディスク４に限らず、フラッシュメモリ１７に予め記録されたものを実行するようにしてもよい。さらに、ゲーム装置本体５は、フラッシュメモリ１７に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ２に表示することもできる。そして、ゲーム装置本体５のプレイヤは、モニタ２に表示されたゲーム画像を見ながら、コントローラ７を操作することによって、ゲーム進行を楽しむことができる。

コントローラ７は、無線コントローラモジュール１９を内蔵するゲーム装置本体５へ、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース；登録商標）の技術を用いて操作情報等の送信データを無線送信する。コントローラ７は、主にモニタ２の表示画面に表示されるオブジェクト等を操作するための操作手段である。コントローラ７は、片手で把持可能な程度の大きさのハウジングと、当該ハウジングの表面に露出して設けられた複数個の操作ボタン（十字キーやスティック等を含む）とが設けられている。また、後述により明らかとなるが、コントローラ７は、当該コントローラ７から見た画像を撮像する撮像情報演算部７４を備えている。また、撮像情報演算部７４の撮像対象の一例として、モニタ２の表示画面近傍に２つのＬＥＤモジュール（以下、マーカと記載する）８Ｌおよび８Ｒが設置される。これらマーカ８Ｌおよび８Ｒは、それぞれモニタ２の前方に向かって例えば赤外光を出力する。また、コントローラ７は、ゲーム装置本体５の無線コントローラモジュール１９から無線送信された送信データを通信部７５で受信して、当該送信データに応じた音や振動を発生させることもできる。

次に、図２を参照して、ゲーム装置本体５の内部構成について説明する。図２は、ゲーム装置本体５の構成を示すブロック図である。ゲーム装置本体５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ／Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１３、ディスクドライブ１４、およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。

ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間のデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については、後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置本体５の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ３５または外部メインメモリ１２に読み出したデータを書き込む。

また、システムＬＳＩ１１には、入出力プロセッサ３１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）３２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３３、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３４、および内部メインメモリ３５が設けられる。図示は省略するが、これらの構成要素３１〜３５は、内部バスによって互いに接続される。

ＧＰＵ３２は、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ３４は、ＧＰＵ３２がグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ３２は、ＶＲＡＭ３４に記憶されたデータを用いて画像データを作成する。

ＤＳＰ３３は、オーディオプロセッサとして機能し、内部メインメモリ３５や外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。例えば、ＤＳＰ３３は、ゲームプログラム実行時にＣＰＵ１０において処理されるサウンドデータ（例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データ）等を処理するものであり、そのサウンドデータ等が内部メインメモリ３５や外部メインメモリ１２に記憶される。そして、スピーカ２ａから音を出力させる場合、ＤＳＰ３３は、上記サウンドデータを読み出し、ＡＶ−ＩＣ１５およびＡＶコネクタ１６を介して、モニタ２に備えるスピーカ２ａに出力させる。また、コントローラ７に搭載されたスピーカ７０６（図７参照）から音を出力させる場合、ＤＳＰ３３は、上記サウンドデータを読み出し、無線コントローラモジュール１９およびアンテナ２３を介して、音声データをコントローラ７に送信する。このように、ＭＩＤＩデータに基づいて音楽を演奏する場合、ＤＳＰ３３および内部メインメモリ３５や外部メインメモリ１２がＭＩＤＩ音源として機能する。

上述のように生成された画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、ＡＶコネクタ１６を介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２ａに出力する。これによって、画像がモニタ２に表示されるとともに音がスピーカ２ａから出力される。

入出力プロセッサ（Ｉ／Ｏプロセッサ）３１は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ３１は、フラッシュメモリ１７、無線通信モジュール１８、無線コントローラモジュール１９、拡張コネクタ２０、および外部メモリカード用コネクタ２１に接続される。無線通信モジュール１８にはアンテナ２２が接続され、無線コントローラモジュール１９にはアンテナ２３が接続される。

入出力プロセッサ３１は、無線通信モジュール１８およびアンテナ２２を介してネットワークに接続し、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。入出力プロセッサ３１は、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、無線通信モジュール１８およびアンテナ２２を介して当該データをネットワークに送信する。また、入出力プロセッサ３１は、他のゲーム装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２、および無線通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０は、ゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置本体５と他のゲーム装置や各種サーバとの間で送受信されるデータの他、ゲーム装置本体５を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。

また、入出力プロセッサ３１は、アンテナ２３および無線コントローラモジュール１９を介して、コントローラ７から送信される操作データ等を受信し、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。なお、内部メインメモリ３５には、外部メインメモリ１２と同様に、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりしてもよく、ＣＰＵ１０のワーク領域やバッファ領域として用いられてもかまわない。

さらに、入出力プロセッサ３１には、拡張コネクタ２０および外部メモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、他のコントローラのような周辺機器を接続したり、有線の通信用コネクタを接続することによって無線通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。外部メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ３１は、拡張コネクタ２０や外部メモリカード用コネクタ２１を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。

また、ゲーム装置本体５（例えば、前部主面）には、当該ゲーム装置本体５の電源ボタン２４、ゲーム処理のリセットボタン２５、光ディスク４を脱着する投入口、およびゲーム装置本体５の投入口から光ディスク４を取り出すイジェクトボタン２６等が設けられている。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、ゲーム装置本体５の各構成要素に対して、図示しないＡＣアダプタを経て電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置本体５の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。

図３および図４を参照して、コントローラ７について説明する。なお、図３は、コントローラ７の上面後方から見た斜視図である。図４は、コントローラ７を下面前方から見た斜視図である。

図３および図４において、コントローラ７は、例えばプラスチック成型によって形成されたハウジング７１を有しており、当該ハウジング７１に複数の操作部７２が設けられている。ハウジング７１は、その前後方向を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。

ハウジング７１上面の中央前面側に、十字キー７２ａが設けられる。この十字キー７２ａは、十字型の４方向プッシュスイッチであり、４つの方向（前後左右）に対応する操作部分が十字の突出片にそれぞれ９０°間隔で配置される。プレイヤが十字キー７２ａのいずれかの操作部分を押下することによって前後左右いずれかの方向を選択される。例えばプレイヤが十字キー７２ａを操作することによって、仮想ゲーム世界に登場するプレイヤキャラクタ等の移動方向を指示したり、複数の選択肢から選択指示したりすることができる。

なお、十字キー７２ａは、上述したプレイヤの方向入力操作に応じて操作信号を出力する操作部であるが、他の態様の操作部でもかまわない。例えば、十字方向に４つのプッシュスイッチを配設し、プレイヤによって押下されたプッシュスイッチに応じて操作信号を出力する操作部を設けてもかまわない。さらに、上記４つのプッシュスイッチとは別に、上記十字方向が交わる位置にセンタスイッチを配設し、４つのプッシュスイッチとセンタスイッチとを複合した操作部を設けてもかまわない。また、ハウジング７１上面から突出した傾倒可能なスティック（いわゆる、ジョイスティック）を倒すことによって、傾倒方向に応じて操作信号を出力する操作部を上記十字キー７２ａの代わりに設けてもかまわない。さらに、水平移動可能な円盤状部材をスライドさせることによって、当該スライド方向に応じた操作信号を出力する操作部を、上記十字キー７２ａの代わりに設けてもかまわない。また、タッチパッドを、上記十字キー７２ａの代わりに設けてもかまわない。

ハウジング７１上面の十字キー７２ａより後面側に、複数の操作ボタン７２ｂ〜７２ｇが設けられる。操作ボタン７２ｂ〜７２ｇは、プレイヤがボタン頭部を押下することによって、それぞれの操作ボタン７２ｂ〜７２ｇに割り当てられた操作信号を出力する操作部である。例えば、操作ボタン７２ｂ〜７２ｄには、１番ボタン、２番ボタン、およびＡボタン等としての機能が割り当てられる。また、操作ボタン７２ｅ〜７２ｇには、マイナスボタン、ホームボタン、およびプラスボタン等としての機能が割り当てられる。これら操作ボタン７２ａ〜７２ｇは、ゲーム装置本体５が実行するゲームプログラムに応じてそれぞれの操作機能が割り当てられる。なお、図３に示した配置例では、操作ボタン７２ｂ〜７２ｄは、ハウジング７１上面の中央前後方向に沿って並設されている。また、操作ボタン７２ｅ〜７２ｇは、ハウジング７１上面の左右方向に沿って操作ボタン７２ｂおよび７２ｄの間に並設されている。そして、操作ボタン７２ｆは、その上面がハウジング７１の上面に埋没しており、プレイヤが不意に誤って押下することのないタイプのボタンである。

また、ハウジング７１上面の十字キー７２ａより前面側に、操作ボタン７２ｈが設けられる。操作ボタン７２ｈは、遠隔からゲーム装置本体５の電源をオン／オフする電源スイッチである。この操作ボタン７２ｈも、その上面がハウジング７１の上面に埋没しており、プレイヤが不意に誤って押下することのないタイプのボタンである。

また、ハウジング７１上面の操作ボタン７２ｃより後面側に、複数のＬＥＤ７０２が設けられる。ここで、コントローラ７は、他のコントローラ７と区別するためにコントローラ種別（番号）が設けられている。例えば、ＬＥＤ７０２は、コントローラ７に現在設定されている上記コントローラ種別をプレイヤに通知するために用いられる。具体的には、無線コントローラモジュール１９からコントローラ７へ、複数のＬＥＤ７０２のうち、上記コントローラ種別に対応するＬＥＤを点灯させるための信号が送信される。

また、ハウジング７１上面には、操作ボタン７２ｂおよび操作ボタン７２ｅ〜７２ｇの間に後述するスピーカ（図５に示すスピーカ７０６）からの音を外部に放出するための音抜き孔が形成されている。

一方、ハウジング７１下面には、凹部が形成されている。ハウジング７１下面の凹部は、プレイヤがコントローラ７の前面をマーカ８Ｌおよび８Ｒに向けて片手で把持したときに、当該プレイヤの人差し指や中指が位置するような位置に形成される。そして、上記凹部の傾斜面には、操作ボタン７２ｉが設けられる。操作ボタン７２ｉは、例えばＢボタンとして機能する操作部である。

また、ハウジング７１前面には、撮像情報演算部７４の一部を構成する撮像素子７４３が設けられる。ここで、撮像情報演算部７４は、コントローラ７が撮像した画像データを解析してその中で輝度が高い場所を判別してその場所の重心位置やサイズなどを検出するためのシステムであり、例えば、最大２００フレーム／秒程度のサンプリング周期であるため比較的高速なコントローラ７の動きでも追跡して解析することができる。この撮像情報演算部７４の詳細な構成については、後述する。また、ハウジング７０の後面には、コネクタ７３が設けられている。コネクタ７３は、例えばエッジコネクタであり、例えば接続ケーブルと嵌合して接続するために利用される。

次に、図５および図６を参照して、コントローラ７の内部構造について説明する。なお、図５は、コントローラ７の上筐体（ハウジング７１の一部）を外した状態を後面側から見た斜視図である。図６は、コントローラ７の下筐体（ハウジング７１の一部）を外した状態を前面側から見た斜視図である。ここで、図６に示す基板７００は、図５に示す基板７００の裏面から見た斜視図となっている。

図５において、ハウジング７１の内部には基板７００が固設されており、当該基板７００の上主面上に操作ボタン７２ａ〜７２ｈ、加速度センサ７０１、ＬＥＤ７０２、およびアンテナ７５４等が設けられる。そして、これらは、基板７００等に形成された配線（図示せず）によってマイコン７５１等（図６、図７参照）に接続される。また、無線モジュール７５３（図７参照）およびアンテナ７５４によって、コントローラ７がワイヤレスコントローラとして機能する。なお、ハウジング７１内部には図示しない水晶振動子が設けられており、後述するマイコン７５１の基本クロックを生成する。また、基板７００の上主面上に、スピーカ７０６およびアンプ７０８が設けられる。

また、加速度センサ７０１は、操作ボタン７２ｄの左側の基板７００上（つまり、基板７００の中央部ではなく周辺部）に設けられる。したがって、加速度センサ７０１は、コントローラ７の長手方向を軸とした回転に応じて、重力加速度の方向変化に加え、遠心力による成分が含まれる加速度を検出することができるので、所定の演算により、検出される加速度データからコントローラ７の動きを良好な感度でゲーム装置本体５等が判定することができる。例えば、コントローラ７は、３軸の加速度センサ７０１を備えている。この３軸の加速度センサ７０１は、３方向、すなわち、上下方向、左右方向、および前後方向で直線加速度を検知する。そして、加速度センサ７０１でそれぞれ検知された加速度を示すデータは、通信部７５に出力される。

一方、図６において、基板７００の下主面上の前端縁に撮像情報演算部７４が設けられる。撮像情報演算部７４は、コントローラ７の前方から順に赤外線フィルタ７４１、レンズ７４２、撮像素子７４３、および画像処理回路７４４によって構成されており、それぞれ基板７００の下主面に取り付けられる。また、基板７００の下主面上の後端縁にコネクタ７３が取り付けられる。さらに、基板７００の下主面上にサウンドＩＣ７０７およびマイコン７５１が設けられている。サウンドＩＣ７０７は、基板７００等に形成された配線によってマイコン７５１およびアンプ７０８と接続され、ゲーム装置本体５から送信されたサウンドデータに応じてアンプ７０８を介してスピーカ７０６に音声信号を出力する。

そして、基板７００の下主面上には、バイブレータ７０４が取り付けられる。バイブレータ７０４は、例えば振動モータやソレノイドである。バイブレータ７０４は、基板７００等に形成された配線によってマイコン７５１と接続され、ゲーム装置本体５から送信された振動データに応じてその作動をオン／オフする。バイブレータ７０４が作動することによってコントローラ７に振動が発生するので、それを把持しているプレイヤの手にその振動が伝達され、いわゆる振動対応ゲームが実現できる。ここで、バイブレータ７０４は、ハウジング７１のやや前方寄りに配置されるため、プレイヤが把持している状態において、ハウジング７１が大きく振動することになり、振動を感じやすくなる。

次に、図７を参照して、コントローラ７の内部構成について説明する。なお、図７は、コントローラ７の構成を示すブロック図である。

図７において、コントローラ７は、上述した操作部７２、撮像情報演算部７４、加速度センサ７０１、バイブレータ７０４、スピーカ７０６、サウンドＩＣ７０７、およびアンプ７０８の他に、その内部に通信部７５を備えている。

撮像情報演算部７４は、赤外線フィルタ７４１、レンズ７４２、撮像素子７４３、および画像処理回路７４４を含んでいる。赤外線フィルタ７４１は、コントローラ７の前方から入射する光から赤外線のみを通過させる。レンズ７４２は、赤外線フィルタ７４１を透過した赤外線を集光して撮像素子７４３へ出射する。撮像素子７４３は、例えばＣＭＯＳセンサやあるいはＣＣＤのような固体撮像素子であり、レンズ７４２が集光した赤外線を撮像する。したがって、撮像素子７４３は、赤外線フィルタ７４１を通過した赤外線だけを撮像して画像データを生成する。撮像素子７４３で生成された画像データは、画像処理回路７４４で処理される。具体的には、画像処理回路７４４は、撮像素子７４３から得られた画像データを処理して高輝度部分を検知し、それらの位置座標や面積を検出した結果を示す処理結果データを通信部７５へ出力する。なお、これらの撮像情報演算部７４は、コントローラ７のハウジング７１に固設されており、ハウジング７１自体の方向を変えることによってその撮像方向を変更することができる。

通信部７５は、マイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）７５１、メモリ７５２、無線モジュール７５３、およびアンテナ７５４を含んでいる。マイコン７５１は、処理の際にメモリ７５２を記憶領域として用いながら、送信データを無線送信する無線モジュール７５３を制御する。また、マイコン７５１は、アンテナ７５４を介して無線モジュール７５３が受信したゲーム装置本体５からのデータに応じて、サウンドＩＣ７０７およびバイブレータ７０４の動作を制御する。サウンドＩＣ７０７は、通信部７５を介してゲーム装置本体５から送信されたサウンドデータ等を処理する。また、マイコン７５１は、通信部７５を介してゲーム装置本体５から送信された振動データ（例えば、バイブレータ７０４をＯＮまたはＯＦＦする信号）等に応じて、バイブレータ７０４を作動させる。

コントローラ７に設けられた操作部７２からの操作信号（キーデータ）、加速度センサ７０１からの３軸方向の加速度信号（加速度データ）、および撮像情報演算部７４からの処理結果データは、マイコン７５１に出力される。マイコン７５１は、入力した各データ（キーデータ、加速度データ、処理結果データ）を無線コントローラモジュール１９へ送信する送信データとして一時的にメモリ７５２に格納する。ここで、通信部７５から無線コントローラモジュール１９への無線送信は、所定の周期毎に行われるが、ゲームの処理は１／６０秒を単位として行われることが一般的であるので、それよりも短い周期で送信を行うことが必要となる。具体的には、ゲームの処理単位は１６．７ｍｓ（１／６０秒）であり、ブルートゥース（登録商標）で構成される通信部７５の送信間隔は５ｍｓである。マイコン７５１は、無線コントローラモジュール１９への送信タイミングが到来すると、メモリ７５２に格納されている送信データを一連の操作情報として出力し、無線モジュール７５３へ出力する。そして、無線モジュール７５３は、例えばブルートゥース（登録商標）の技術を用いて、操作情報を示す電波信号を所定周波数の搬送波を用いてアンテナ７５４から放射する。つまり、コントローラ７に設けられた操作部７２からのキーデータ、加速度センサ７０１からの加速度データ、および撮像情報演算部７４からの処理結果データがコントローラ７から送信される。そして、ゲーム装置本体５の無線コントローラモジュール１９でその電波信号を受信し、ゲーム装置本体５で当該電波信号を復調や復号することによって、一連の操作情報（キーデータ、加速度データ、および処理結果データ）を取得する。そして、ゲーム装置本体５のＣＰＵ１０は、取得した操作情報とゲームプログラムとに基づいて、ゲーム処理を行う。なお、ブルートゥース（登録商標）の技術を用いて通信部７５を構成する場合、通信部７５は、他のデバイスから無線送信された送信データを受信する機能も備えることができる。

次に、ゲーム装置本体５が行う具体的な処理を説明する前に、図８〜図１０を参照してゲーム装置本体５で行う音再生処理の概要について説明する。後述する音再生処理の一例は、２次元または３次元の仮想ゲーム世界に操作対象オブジェクトの一例であるプレイヤキャラクタＰＣおよび発音オブジェクトの一例であるアイテムＩ等が登場し、当該プレイヤキャラクタＰＣとアイテムＩとの衝突に応じて音が発生するアクションゲームに適用した例である。この場合、ゲーム画像を生成するための仮想カメラやプレイヤキャラクタＰＣの移動に関する座標変換処理や、アイテムＩや敵キャラクタ等のノンプレイヤキャラクタ（ＮＰＣ）を配置したり移動させたりするＮＰＣ制御処理等、ゲームを進行する上で必要となる周知の処理が行われる。

図８において、仮想ゲーム世界には、プレイヤキャラクタＰＣおよびｎ個のアイテムＩ１〜Ｉｎ（以下、アイテムＩと総称することがある）が配置されている。プレイヤキャラクタＰＣは、プレイヤがコントローラ７を操作することに応じて仮想ゲーム世界を移動する操作対象オブジェクトであり、例えばゴール地点へ到達する等のミッションクリアを目指す。例えば、プレイヤキャラクタＰＣは、プレイヤが把持するコントローラ７の操作に応じて動作し、敵オブジェクトを倒したり、アイテムＩを取得したりしながら仮想ゲーム世界に構築されたゲームフィールド上を移動する。このとき、プレイヤキャラクタＰＣの移動速度は、例えば、コントローラ７に配設された特定ボタンの押動操作の有無または押動時間、加速度センサ７０１により検出された加速度データから算出されるコントローラ７自体の動きや傾き等によって、動的に変化する。また、プレイヤキャラクタＰＣの移動速度は、プレイヤがジョイスティック等を装備した入力装置を操作するときは、当該ジョイスティックの傾き量等によって動的に変化する。

アイテムＩは、プレイヤキャラクタＰＣが衝突することで取得可能であり、アイテムＩを取得することでプレイヤキャラクタＰＣの助けとなったりゲーム得点が加算されたりし、仮想ゲーム世界において静止または移動可能な状態で適宜配置される。例えば、アイテムＩは、ゲームフィールド上の所定位置に複数並設して配置される。そして、プレイヤキャラクタＰＣがアイテムＩと衝突すると、アイテムＩ群に関連付けて予め用意された楽曲の音データに基づいてその楽曲が出力される。すなわち、これらアイテムＩは、本発明における発音オブジェクトとして機能する。本実施例では、ゲームフィールド上に所定の間隔を空けて複数のアイテムＩを連続的に配置しており、これらのアイテムＩと１つずつ衝突していくと、１つの楽曲を表す音データが例えば１小節ずつ順番に部分再生されてスピーカ２ａから出力される。

また、仮想ゲーム世界には、プレイヤキャラクタＰＣおよびアイテムＩの他、プレイヤのミッションクリアを邪魔する敵オブジェクト等が静止または移動可能な状態で適宜配置される。これらのプレイヤキャラクタＰＣ、アイテムＩ、および敵オブジェクトは、例えば複数のポリゴンデータおよびテクスチャデータを組み合わせて、仮想ゲーム世界に配置されている。また、プレイヤキャラクタＰＣおよびアイテムＩは、他のオブジェクトとの衝突判定のために不可視の円柱または球形状等で形成された衝突判定領域をそれぞれ持っている。

図８においては、上述したアクションゲームの３次元仮想ゲーム世界の座標空間を、任意の視点座標系を有する仮想カメラから撮影した状態を示すゲーム画面が示されている。このアクションゲームでは、プレイヤが仮想ゲーム世界に配置されたプレイヤキャラクタＰＣを操作し、プレイヤキャラクタＰＣと複数のアイテムＩとが順次衝突（接触）することによって衝突したアイテムＩを次々と取得する。例えば、図８に示したゲーム例においては、プレイヤキャラクタＰＣが移動速度ｖで画面右方向へ進むことによって、アイテムＩ１〜Ｉｎと次々に衝突する。

図９および図１０に示すように、プレイヤキャラクタＰＣとアイテムＩとが衝突したとき、スピーカ２ａ等から当該衝突に応じた音が出力される。具体的には、予め用意された楽曲の音データを分割して複数の部分音データＤｆａ１〜Ｄｆａｎが生成されている。そして、上記衝突に応じて、複数の部分音データＤｆａ１〜Ｄｆａｎから選択されたデータが再生対象となる。例えば、図９においては、プレイヤキャラクタＰＣとアイテムＩ１とが衝突することに応じて部分音データＤｆａ１が再生対象として選択され、当該部分音データＤｆａ１に基づいた音がスピーカ２ａから出力されている。そして、アイテムＩ１と近接するアイテムＩ２を２個目、アイテムＩ３を３個目としてプレイヤキャラクタＰＣが連続して衝突する場合は、対応する部分音データＤｆａ２およびＤｆａ３が順次再生対象となる。図１０においては、プレイヤキャラクタＰＣと３個目のアイテムＩ３とが衝突することに応じて部分音データＤｆａ３が再生対象として選択され、当該部分音データＤｆａ３に基づいた音がスピーカ２ａから出力されている。

所定の間隔を空けて連続して配置された複数のアイテムＩを１つのアイテム群として、１つの楽曲を表す音データを当該アイテム群に属するアイテム数と同数に分割して部分音データを作成してもかまわない。この場合、プレイヤキャラクタＰＣと上記アイテム群に属するアイテムＩの全てとが衝突することによって、１つの楽曲が再生されて出力されることになる。ここで、アイテムＩとの衝突に応じて選択される部分音データは、各アイテムＩに予め関連付けられた固有のデータでもいいし、衝突毎に上記楽曲の演奏順に選択されてもかまわない。前者の場合、プレイヤキャラクタＰＣがアイテムＩに衝突する順序に応じて再生対象となる部分音データが変化することになる。つまり、プレイヤキャラクタＰＣがアイテムＩに対して正しい衝突順序で衝突しない限り、楽曲が正しい演奏順序で再生されない。一方、後者の場合、プレイヤキャラクタＰＣがアイテムＩに衝突する順序が変わっても再生対象となる部分音データが楽曲の再生順序で選択されることになる。つまり、プレイヤキャラクタＰＣがアイテムＩに対して無作為に衝突しても、楽曲が正しい演奏順序で再生される。

プレイヤキャラクタＰＣが連続して複数のアイテムＩと衝突することによって、１つの楽曲の断片が順次再生対象となり、結果として１つの完成された楽曲として出力される。本実施例のアクションゲームでは、このような仕組みに基づいて、部分音データＤｆａ１〜Ｄｆａｎを再生する条件（例えば、再生パラメータの１つである再生テンポ）を、プレイヤキャラクタＰＣの状態（例えば、仮想ゲーム世界中の移動速度）によって変化させる。具体的には、プレイヤキャラクタＰＣの移動速度が速い状態（例えばダッシュ状態）でアイテムＩと衝突した場合、再生テンポを速くする。一方、プレイヤキャラクタＰＣの移動速度が遅い状態（例えばゆっくり移動する状態）でアイテムＩと衝突した場合、再生テンポを遅くする。なお、上述したプレイヤキャラクタＰＣの移動速度は、仮想ゲーム世界に設定された座標系でのプレイヤキャラクタＰＣの絶対速度を示すが、衝突するアイテムＩとプレイヤキャラクタＰＣとの間の相対速度を用いて部分音データＤｆａ１〜Ｄｆａｎを再生する再生テンポを変化させてもかまわない。

このように、プレイヤキャラクタＰＣの状態に応じて部分音データＤｆａ１〜Ｄｆａｎを再生する条件が変化するため、インタラクティブ性に富んだ興趣ある音再生が実現できる。また、プレイヤキャラクタＰＣの移動速度が仮想ゲーム世界中で多様に変化する条件下で、連続してアイテムＩと衝突した際にそれぞれ再生対象となる楽曲の各断片の再生が、極端に重複したり、極端な時間的空白が発生したりすることが少なくなる。したがって、設定された楽曲がスムーズに連結されることになる。つまり、プレイヤキャラクタＰＣがアイテムＩと連続衝突することに応じて、１つの楽曲の１部を構成する部分楽曲が順次連続再生される場合、プレイヤキャラクタＰＣの移動速度が速すぎて、前の部分楽曲の末部と次の部分楽曲の初部とが重畳して再生されることを抑制できる。一方、プレイヤキャラクタＰＣの移動速度が遅すぎて、前の部分楽曲の最後と次の部分楽曲の最初との間に意図しない休符が生じることも抑制できる。なお、部分楽曲を再生する順序を考慮しない場合、プレイヤキャラクタＰＣとアイテムＩとの衝突毎に、上記部分音データが無作為に選択されてもかまわない。また、アイテムＩは、不可視でもかまわない。

次に、ゲームシステム１において行われるゲーム処理の詳細を説明する。まず、図１１を参照して、ゲーム処理において用いられる主なデータについて説明する。なお、図１１は、ゲーム装置本体５の外部メインメモリ１２および／または内部メインメモリ３５（以下、２つのメインメモリを総称して、単にメインメモリと記載する）に記憶される主なデータを示す図である。

図１１に示すように、メインメモリには、キーデータＤａ、プレイヤキャラクタ位置データＤｂ、アイテム位置データＤｃ、プレイヤキャラクタ移動速度データＤｄ、距離データＤｅ、音データＤｆ、対象音データＤｇ、再生テンポデータＤｈ、および画像データＤｉ等が記憶される。なお、メインメモリには、図１１に示す情報に含まれるデータの他、ゲームに登場する他のオブジェクト等に関するデータ（位置データや画像データ等）や仮想ゲーム世界に関するデータ（背景のデータ等）等、ゲーム処理に必要なデータが記憶される。

キーデータＤａは、コントローラ７に設けられた操作部７２に対する押動操作に応じたデータであり、コントローラ７から送信データとして送信されてくる一連の操作情報に含まれるキーデータが格納される。このキーデータＤａには、例えばプレイヤが十字キー７２ａを押動している状況を示すデータが含まれる。なお、ゲーム装置本体５に備える無線コントローラモジュール１９は、コントローラ７から所定周期（例えば、１／２００秒毎）に送信される操作情報に含まれるキーデータを受信し、無線コントローラモジュール１９に備える図示しないバッファに蓄えられる。その後、上記バッファに蓄えられた最新のキーデータがゲーム処理周期である１フレーム毎（例えば、１／６０秒毎）に読み出されて、メインメモリのキーデータＤａが更新される。

また、後述する処理フローでは、キーデータＤａがゲーム処理周期である１フレーム毎に更新される例を用いて説明するが、他の処理周期で更新されてもかまわない。例えば、コントローラ７からの送信周期毎にキーデータＤａを更新し、当該更新されたキーデータをゲーム処理周期毎に利用する態様でもかまわない。この場合、キーデータＤａを更新する周期と、ゲーム処理周期とが異なることになる。

プレイヤキャラクタ位置データＤｂは、仮想ゲーム世界におけるプレイヤキャラクタＰＣの位置を示すデータである。例えば、プレイヤキャラクタ位置データＤｂは、仮想ゲーム世界に設定された座標系に基づいた位置座標を示すデータが格納される。アイテム位置データＤｃは、仮想ゲーム世界における複数のアイテムＩの位置をそれぞれ示すデータである。例えば、アイテム位置データＤｃは、仮想ゲーム世界に設定された座標系に基づいた位置座標をアイテムＩ毎に示すデータが格納される。

プレイヤキャラクタ移動速度データＤｄは、仮想ゲーム世界におけるプレイヤキャラクタＰＣの移動速度ｖを示すデータである。例えば、プレイヤキャラクタ移動速度データＤｄは、プレイヤキャラクタＰＣが上記ゲーム処理周期である１フレーム毎に仮想ゲーム世界を移動する距離を移動速度ｖとし、当該移動速度ｖを示すデータが格納される。

距離データＤｅは、プレイヤキャラクタＰＣと衝突したアイテムＩと、次に衝突が予測される別のアイテムＩとの間の距離ｄを示すデータである。例えば、距離データＤｅは、プレイヤキャラクタＰＣと衝突したアイテムＩと、次に衝突が予測される別のアイテムＩとの間の仮想ゲーム世界における直線距離ｄを示すデータが格納される。

音データＤｆは、例えばＭＩＤＩ形式の音源制御データで構成され、複数の楽曲をそれぞれ示す楽曲データＤｆａ、Ｄｆｂ、…を含んでいる。そして、各楽曲データＤｆａ、Ｄｆｂ、…は、それぞれ複数の部分音データに分割されている。例えば、楽曲Ａを示す楽曲データＤｆａは、当該楽曲Ａを所定の数で分割した部分楽曲をそれぞれ示す部分音データＤｆａ１、Ｄｆａ２、…が含まれる。また、楽曲Ｂを示す楽曲データＤｆｂは、当該楽曲Ｂを所定の数で分割した部分楽曲をそれぞれ示す部分音データＤｆｂ１、Ｄｆｂ２、…が含まれる。

ここで、音データＤｆは、複数の楽器をＭＩＤＩチャンネルと称する複数のトラック（チャンネル）に割り当てたデータ構成（例えば、シーケンスデータ）でもよい。この場合、音データＤｆは、ＤＳＰ３３およびメインメモリ（音源）によって複数の楽器による音再生を行うために利用される。上記音源は、楽器それぞれに対応する音色を有しており、トラック毎に異なる音色を割り当てて、指定されたトラック番号に応じた音色の楽音をスピーカ２ａから発生する。そして、上記音源は、ＣＰＵ１０から指示される演奏パラメータに基づいて指定された再生テンポで発音する。具体的には、音データＤｆは、複数のトラックに対して、トラック演奏データがそれぞれ記述されている。トラック演奏データは、各楽器の発音開始（ノートオン）および発音停止（ノートオフ）を示す情報、音の高さを示す情報、発音の強さを示す情報等を含む音符的な情報である。ＤＳＰ３３およびメインメモリは、再生テンポとトラック演奏データ（部分音データ）が指示されることによって、所定の音色の楽音を発生することができる。なお、音データＤｆが有するトラック数は、１つの楽器を１つのＭＩＤＩチャンネルに割り当てたデータ構成であってもかまわない。

対象音データＤｇは、プレイヤキャラクタＰＣとアイテムＩとの衝突に応じて決定された再生対象となった部分音データを示している。例えば、対象音データＤｇは、プレイヤキャラクタＰＣとアイテムＩとの衝突に応じて、音データＤｆに含まれる部分音データから再生対象が選択され、選択された再生対象を一意に示すデータ（例えば、部分音データのデータ番号）が記述される。

再生テンポデータＤｈは、選択された再生対象（部分音データ）を再生するテンポｐを示すデータである。例えば、再生テンポデータＤｈは、プレイヤキャラクタＰＣの移動速度ｖ等に応じて算出された再生テンポｐを示すデータが格納される。

画像データＤｉは、プレイヤキャラクタ画像データＤｉ１およびアイテム画像データＤｉ２等を含んでいる。プレイヤキャラクタ画像データＤｉ１およびアイテム画像データＤｉ２は、それぞれ仮想ゲーム世界にプレイヤキャラクタＰＣおよびアイテムＩを配置してゲーム画像を生成するための画像データ（例えば、ポリゴンデータやテクスチャデータ）である。

次に、図１２を参照して、ゲーム装置本体５において行われるゲーム処理の詳細を説明する。なお、図１２は、ゲーム装置本体５において実行されるゲーム処理の流れを示すフローチャートである。なお、図１２に示すフローチャートにおいては、ゲーム処理のうち、プレイヤキャラクタＰＣとアイテムＩとが衝突することに応じて、音を再生する処理について説明し、本願発明と直接関連しない他のゲーム処理については詳細な説明を省略する。また、図１２では、ＣＰＵ１０が実行する各ステップを「Ｓ」と略称する。

ゲーム装置本体５の電源が投入されると、ゲーム装置本体５のＣＰＵ１０は、ＲＯＭ／ＲＴＣ１３に記憶されている起動用のプログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。図１２に示すフローチャートは、以上の処理が完了した後に行われるゲーム処理を示すフローチャートである。

図１２において、ＣＰＵ１０は、ゲーム初期設定処理を行い（ステップ４１）、次のステップに処理を進める。例えば、上記ステップ４１におけるゲーム初期設定処理では、ポリゴンにテクスチャマッピングして形成されるゲームフィールドオブジェクトを３次元空間座標系に配置してゲームフィールドを構築する。そして、複数のアイテムＩおよびプレイヤキャラクタＰＣをゲームフィールドの所定位置に配置してモニタ２に表示し、各配置位置を示すデータをプレイヤキャラクタ位置データＤｂおよびアイテム位置データＤｃに格納する。これらアイテムＩは、例えばプレイヤキャラクタＰＣが通過可能な順路等に沿って連続的に配置される。また、連続的に連なるアイテムＩ群は、衝突の際に再生される１つの楽曲データ（例えば、楽曲データＤｆａ）が音データＤｆから選択されて関連付けられている。なお、ＣＰＵ１０は、ステップ４１を実行することにより、操作対象オブジェクトとは異なる少なくとも１つの発音オブジェクトを仮想世界に配置する発音オブジェクト配置手段として機能する。

なお、連続的に配置された同じアイテムＩ群内の各アイテムＩの配置間隔は、プレイヤキャラクタＰＣの移動速度と各アイテムＩに対応して再生する部分楽曲の再生時間とを考慮した距離に設定するのが好ましい。具体的には、アイテムＩが連続的に配置された順路をプレイヤキャラクタＰＣが普通の速度で移動して次々と衝突した場合に、前の部分楽曲の再生が終了するタイミングで次のアイテムＩに衝突するような配置間隔で、同じアイテムＩ群内の各アイテムＩを配置するのが好ましい。

次に、ＣＰＵ１０は、キーデータを取得して（ステップ４２）、次のステップに処理を進める。例えば、ＣＰＵ１０は、コントローラ７から受信した最新の操作情報に含まれるキーデータを用いて、メインメモリのキーデータＤａを更新する。

次に、ＣＰＵ１０は、上記ステップ４２で取得したキーデータを用いて、プレイヤキャラクタＰＣの移動速度ｖおよび移動方向を決定し（ステップ４３）、次のステップに処理を進める。例えば、ＣＰＵ１０は、特定ボタンの押動操作の有無や押動継続時間に応じて、プレイヤキャラクタＰＣの移動速度ｖおよび移動方向を決定し、当該移動速度ｖをプレイヤキャラクタ移動速度データＤｄに格納する。

次に、ＣＰＵ１０は、上記ステップ４３で決定された移動速度ｖおよび移動方向に応じて、プレイヤキャラクタＰＣを仮想ゲーム世界内で移動させ（ステップ４４）、次のステップに処理を進める。例えば、ＣＰＵ１０は、現在のプレイヤキャラクタＰＣの位置を、上記ステップ４３で決定された移動方向に移動速度ｖの距離分だけ移動させた位置を算出して、当該位置を示す座標を用いてプレイヤキャラクタ位置データＤｂを更新する。そして、ＣＰＵ１０は、算出された位置にプレイヤキャラクタＰＣを配置して、モニタ２に表示する。

次に、ＣＰＵ１０は、ゲームを終了するか否かを判断する（ステップ４５）。ゲームを終了する条件としては、例えば、ゲームオーバーとなる条件が満たされたことや、プレイヤがゲームを終了する操作を行ったこと等がある。ＣＰＵ１０は、ゲームを終了しない場合に次のステップ４６に処理を進め、ゲームを終了する場合に当該フローチャートによる処理を終了する。

ステップ４６において、ＣＰＵ１０は、プレイヤキャラクタＰＣと何れか１つのアイテムＩとが新たに衝突したか否かを判断する。そして、ＣＰＵ１０は、プレイヤキャラクタＰＣと何れか１つのアイテムＩとが新たに衝突した場合、次のステップ４７に処理を進める。一方、ＣＰＵ１０は、プレイヤキャラクタＰＣが何れのアイテムＩとも新たに衝突していない場合、次のステップ５６に処理を進める。例えば、上記ステップ４６において、ＣＰＵ１０は、プレイヤキャラクタＰＣに設定されている衝突判定領域とアイテムＩに設定されている衝突判定領域とを用いて、プレイヤキャラクタＰＣと何れか１つのアイテムＩとの衝突判定を行う。なお、ＣＰＵ１０は、プレイヤキャラクタＰＣの位置を示す座標とそれぞれのアイテムＩの位置を示す座標とを用いて、プレイヤキャラクタＰＣと何れか１つのアイテムＩとの衝突判定を行ってもかまわない。また、他の衝突判定方式を用いて、プレイヤキャラクタＰＣと何れか１つのアイテムＩとが新たに衝突したか否かを判断してもかまわない。

ステップ４７において、ＣＰＵ１０は、次にプレイヤキャラクタＰＣが衝突するアイテムＩを予測し、次のステップに処理を進める。一例として、図１３に示すように、ＣＰＵ１０は、上記ステップ４６で衝突判定されたアイテムＩを除いて、現在のプレイヤキャラクタＰＣの位置を基準として最も近い位置に配置されているアイテムＩを、次にプレイヤキャラクタＰＣが衝突するアイテムＩであると予測する。他の例として、ＣＰＵ１０は、上記ステップ４６で衝突判定されたアイテムＩと隣接する別のアイテムＩを、次にプレイヤキャラクタＰＣが衝突するアイテムＩであると予測する。一方、次にプレイヤキャラクタＰＣが衝突するアイテムＩが予測できないこともあり得る。例えば、上記ステップ４６において、連続的に配置されたアイテムＩ群の中で最後に未衝突状態で残ったアイテムＩと衝突判定された場合、ＣＰＵ１０は、プレイヤキャラクタＰＣが次に衝突すると予測できるアイテムＩが存在しないと判断する。

次に、ＣＰＵ１０は、上記ステップ４７の処理において、次にプレイヤキャラクタＰＣが衝突するアイテムＩを予測できたか否かを判断する（ステップ４８）。そして、ＣＰＵ１０は、次にプレイヤキャラクタＰＣが衝突するアイテムＩを予測できた場合、次のステップ４９に処理を進める。一方、ＣＰＵ１０は、次にプレイヤキャラクタＰＣが衝突するアイテムＩを予測できなかった場合、次のステップ５０に処理を進める。

ステップ４９において、ＣＰＵ１０は、上記ステップ４６において衝突判定されたアイテムＩと、上記ステップ４７において次に衝突することが予測されるアイテムＩとの間の距離ｄを算出し、次のステップ５１に処理を進める。例えば、図１３に示すように、ＣＰＵ１０は、アイテム位置データＤｃを参照して、衝突したアイテムＩの位置を示す座標から衝突予測されるアイテムＩの位置を示す座標までの距離ｄを算出し、当該距離ｄを示すデータを距離データＤｅに格納する。

一方、ステップ５０において、ＣＰＵ１０は、所定の距離を距離ｄに設定して、次のステップ５１に処理を進める。一例として、ＣＰＵ１０は、予め決められた固定値を距離ｄに設定して、当該距離ｄを示すデータを距離データＤｅに格納する。他の例として、ＣＰＵ１０は、前回の上記ステップ４９の処理で算出された距離ｄを、そのまま当該ステップ５０で設定する距離ｄとして設定する。この場合、距離データＤｅに格納されている距離ｄをそのまま維持する処理となる。

ステップ５１において、ＣＰＵ１０は、上記ステップ４３で決定されたプレイヤキャラクタＰＣの移動速度ｖが所定の範囲内の値であるか否かを判断する。そして、ＣＰＵ１０は、移動速度ｖが所定の範囲内である場合、次のステップ５３に処理を進める。一方、ＣＰＵ１０は、移動速度ｖが所定の範囲外である場合、次のステップ５２に処理を進める。例えば、移動速度ｖが速度下限Ｖｍｉｎ以上で速度上限Ｖｍａｘ以下であれば、ＣＰＵ１０は、移動速度ｖが所定の範囲内であると判断する。ここで、速度下限Ｖｍｉｎは０より大きい正の値（Ｖｍｉｎ＞０）であり、速度上限Ｖｍａｘは速度下限Ｖｍｉｎより大きな値（Ｖｍａｘ＞Ｖｍｉｎ）である。

ステップ５２において、ＣＰＵ１０は、上記ステップ４３で決定されたプレイヤキャラクタＰＣの移動速度ｖを上記所定の範囲内に変更し、プレイヤキャラクタ移動速度データＤｄを更新して、次のステップ５３に処理を進める。例えば、ＣＰＵ１０は、移動速度ｖが速度下限Ｖｍｉｎより小さい場合、移動速度ｖを速度下限Ｖｍｉｎに変更してプレイヤキャラクタ移動速度データＤｄを更新する。また、ＣＰＵ１０は、移動速度ｖが速度上限Ｖｍａｘより大きい場合、移動速度ｖを速度上限Ｖｍａｘに変更してプレイヤキャラクタ移動速度データＤｄを更新する。

ステップ５３において、ＣＰＵ１０は、上記ステップ４６において衝突判定されたアイテムＩに対応する再生対象（部分音データ）を決定し、次のステップに処理を進める。一例として、ＣＰＵ１０は、所定の間隔を空けて連続して配置された複数のアイテムＩを１つのアイテム群として、当該アイテム群に対して１つの楽曲（例えば、図１１に示す楽曲Ａの楽曲データＤｆａ）を割り当てる。そして、ＣＰＵ１０は、プレイヤキャラクタＰＣが当該アイテム群に属するアイテムＩと衝突する毎に、割り当てた楽曲の再生順に当該楽曲の部分楽曲（例えば、部分音データＤｆａ１）を順次選択して、衝突判定されたアイテムＩの再生対象として決定する。

次に、ＣＰＵ１０は、距離ｄおよび移動速度ｖを用いて、上記ステップ５３で決定された再生対象に対する再生テンポｐを算出し、当該再生テンポｐを再生テンポデータＤｈに格納して（ステップ５４）、次のステップに処理を進める。以下、再生テンポｐの算出例について説明する。

上記ステップ５４においては、プレイヤキャラクタＰＣが衝突したアイテムＩから次の衝突が予測されるアイテムＩまでの距離ｄを移動速度ｖで移動する場合、前者のアイテムＩの衝突時点で部分音データの再生を開始して後者のアイテムＩとの衝突時点で当該部分音データの再生が終了するような再生テンポｐを算出する。まず、プレイヤキャラクタＰＣが距離ｄの移動に必要な予測所要時間ｔ（フレーム数）は、
ｔ＝ｄ／ｖ
となる。一方、１フレーム毎に再生する部分音データの再生時間ｌを、例えば処理上の最小単位であるｔｉｃｋ値で示すと、
ｌ＝ｍ／ｔ
となる。ここで、ｍは再生対象となっている部分音データの再生長（ｔｉｃｋ）である。例えば、再生処理において１拍（四分音符）分に相当するタイムベースが４８０（ｔｉｃｋ／四分音符）で、部分音データが２拍分の長さであれば、ｍ＝９６０（ｔｉｃｋ）となる。また、１フレーム毎に再生する四分音符の数ｑ（個／フレーム）は、
ｑ＝ｌ／ｂ
となる。ここで、ｂは再生処理において１拍（四分音符）分に相当するタイムベースであり、例えばｂ＝４８０（ｔｉｃｋ／四分音符）である。また、１秒間に再生する四分音符の数ｓ（個／秒）は、
ｓ＝ｑ＊ｆ
となる。ここで、ｆは、ゲーム処理におけるフレームレートであり、１秒間に対するフレーム数（例えば、６０フレーム／秒）で示される。そして、１分間に再生する四分音符の数、すなわち再生テンポｐは、
ｐ＝ｓ＊６０
となる。これらの式から、再生テンポｐは、
ｐ＝（ｍ／（ｄ／ｖ））／ｂ＊ｆ＊６０
で算出される。なお、上述した各単位や数値は、説明を具体的にするために用いた一例であり、再生テンポｐを算出する際に他の処理単位や数値を用いてもかまわない。

次に、ＣＰＵ１０は、再生テンポデータＤｈに格納されている再生テンポｐを用いて、再生対象の音再生処理を行い（ステップ５５）、上記ステップ４２に戻って処理を繰り返す。例えば、ＣＰＵ１０は、設定されている再生テンポｐに基づいて制御し、現在再生対象として選択されている部分音データ（すなわち、対象音データＤｇで指定されるデータ）を演奏対象にして演奏する。具体的には、ＣＰＵ１０は、再生テンポデータＤｈに格納されている再生テンポｐによって、拍タイミング等を設定する。また、ＣＰＵ１０は、対象音データＤｇで指定される部分音データから情報を読み出す。そして、音源（ＤＳＰ３３およびメインメモリ）は、読み出された部分音データに予め設定された音色を割り当て、設定された拍タイミング等の演奏パラメータに基づいてスピーカ２ａから音を出力する。これによって、プレイヤキャラクタＰＣがアイテムＩに衝突することに応じた所定の部分楽曲が、再生テンポｐで指定されたタイミングで演奏される。

一方、上記ステップ４６においてプレイヤキャラクタＰＣが何れのアイテムＩとも新たに衝突していない場合、ＣＰＵ１０は、アイテムＩとの衝突に応じた再生対象に対する音再生処理中か否かを判断する（ステップ５６）。そして、ＣＰＵ１０は、上記音再生処理中である場合、上記ステップ５５に進んで処理を繰り返す。一方、ＣＰＵ１０は、上記音再生処理中でない場合、上記ステップ４２に進んで処理を繰り返す。ここで、当該ステップ５６で判断する音再生処理は、上記ステップ５５の処理で行われている音再生処理を意味している。したがって、ステップ５６においては、上記ステップ５５の音再生処理において再生している部分音データが再生中である場合、音再生処理中であると判断される。一方、上記ステップ５５の音再生処理において再生している部分音データの再生が終了している場合、音再生処理中ではないと判断される。

次に、図１４および図１５を参照して、上述した処理手順に基づいて再生される部分音データの再生期間の一例について説明する。なお、図１４は、８つの部分音データＤｆａ１〜Ｄｆａ８に対して、再生テンポ一定でそれぞれ再生する再生期間と、アイテムＩとの衝突時に再生テンポを調整してそれぞれ再生する再生期間とを比較した図である。図１５は、１つの楽曲を分割して生成された８つの部分音データＤｆａ１〜Ｄｆａ８の一例を示す図である。

図１４では、８つのアイテムＩ１〜Ｉ８との衝突に対応して、それぞれ８つの部分音データＤｆａ１〜Ｄｆａ８が再生される一例を用いている。図１４の最上段に記載されたグラフは、縦軸をプレイヤキャラクタＰＣの移動速度ｖ、横軸を時間ｔとして、プレイヤキャラクタＰＣの移動速度ｖの変化を折れ線グラフで示している。なお、グラフ中の矢印は、プレイヤキャラクタＰＣとアイテムＩ１〜Ｉ８とがそれぞれ衝突したタイミングを示している。図１４の中段に記載されたグラフは、上記アイテムＩ１〜Ｉ８と衝突したタイミングに応じて、８つの部分音データＤｆａ１〜Ｄｆａ８をそれぞれ再生テンポ一定で再生する再生期間を示している。また、図１４の最下段に記載されたグラフは、アイテムＩ１〜Ｉ８との衝突時に移動速度ｖに応じて再生テンポｐを調整して、８つの部分音データＤｆａ１〜Ｄｆａ８をそれぞれ再生する再生期間を示している。

図１４に示すように、プレイヤキャラクタＰＣの移動速度ｖが多様に変化するとき、部分音データＤｆａ１〜Ｄｆａ８を再生テンポ一定で再生すると、部分音データが重複して再生されたり、何れの部分音データも再生されない時間的な空白が生じたりする。具体的には、図１４に示すＡ区間では、部分音データＤｆａ４と部分音データＤｆａ５とが重複して再生される、または部分音データＤｆａ５と部分音データＤｆａ６とが重複して再生される。また、図１４に示すＢ区間では、部分音データＤｆａ７の再生が終了した後から次の部分音データＤｆａ８の再生が開始されるまでの間に、何れの部分音データも再生されない期間が生じている。

一方、上述した処理手順のように、アイテムＩ１〜Ｉ８との衝突時に移動速度ｖに応じて再生テンポｐを調整して、部分音データＤｆａ１〜Ｄｆａ８をそれぞれ再生すると、部分音データが極端に重複して再生されたり、何れの部分音データも再生されない時間的な空白が極端に生じたりすることがなくなる。具体的には、上記Ａ区間では、部分音データＤｆａ４および部分音データＤｆａ５の再生期間が再生テンポｐの調整により短縮されているため、部分音データＤｆａ４と部分音データＤｆａ５とが重複した再生、および部分音データＤｆａ５と部分音データＤｆａ６とが重複した再生が生じていない。また、上記Ｂ区間では、部分音データＤｆａ７の再生期間が再生テンポｐの調整により伸長されているため、部分音データＤｆａ７の再生期間と部分音データＤｆａ８の再生期間とが連続して繋がっている。

このように、上記実施形態に係るゲーム装置３は、プレイヤが操作するプレイヤキャラクタＰＣがアイテムＩに衝突する際に、再生テンポｐが可変となるためバリエーションに富んだ音を再生することが可能となる。ここで、出力される音は、予め格納された音データの再生条件（再生テンポｐ）を変化させて生成されるため、予め準備する音データの種類や数を増加させることなく多様な音再生を実現できる。また、上記実施形態に係るゲーム装置３は、プレイヤキャラクタＰＣが連続してアイテムＩと衝突する場合、衝突から次の衝突までの予測所要時間が前者の衝突に応じて再生される部分音データの再生時間となるように再生テンポｐが調整される。したがって、衝突に応じて次々再生される部分楽曲が互いに重複したり、不必要な無音区間が生じたりすることなく、複数の部分楽曲をスムーズに繋げた楽曲を再生することが可能となる。

なお、このような部分楽曲毎の再生期間をスムーズに接続する技術は、整列して配置されたアイテムＩの途中からプレイヤキャラクタＰＣが衝突開始しても適用できる。また、この技術で使用する楽曲は、複数パート（複数トラック）を有する楽曲でもいいし、単数パートを有する楽曲でもかまわない。

また、上述した処理手順では、プレイヤキャラクタＰＣとアイテムＩとの衝突時点でのみ再生テンポｐの調整を行っているが、当該時点の後において再生テンポｐの調整を行ってもかまわない。この場合、図１２に示したフローチャートにおいて、上記ステップ５６でＹｅｓのとき（つまり、音再生処理中）、再生テンポｐを調整する。具体的には、ＣＰＵ１０は、その時点のプレイヤキャラクタＰＣの移動速度ｖ（速度下限Ｖｍｉｎ以上かつ速度上限Ｖｍａｘ以下の範囲内に調整されたもの）、その時点のプレイヤキャラクタＰＣの位置から衝突予測されるアイテムＩまでの残距離ｄｒｅ、および再生対象となっている部分音データにおいてその時点での再生残時間ｍｒｅを用いて、再生テンポｐを算出する。そして、上記ステップ５５において、算出された再生テンポｐを用いて、再生対象の再生残時間ｍｒｅに対する音再生処理が行われる。なお、衝突時点の後に行う再生テンポｐの調整処理は、上記音再生処理中にプレイヤキャラクタＰＣの移動速度ｖが変化したときのみに行ってもかまわない。

以下、図１６を参照して、プレイヤキャラクタＰＣとアイテムＩとの衝突時点に加えて、さらに当該時点の後においても再生テンポｐの調整を行う態様での再生期間の一例について説明する。なお、図１６は、８つの部分音データＤｆａ１〜Ｄｆａ８に対して、アイテムＩとの衝突時点にのみ再生テンポを調整してそれぞれ再生する再生期間と、アイテムＩとの衝突時点および当該時点の後に再生テンポを調整してそれぞれ再生する再生期間とを比較した図である。

図１６では、図１４と同様に８つのアイテムＩ１〜Ｉ８との衝突に対応して、それぞれ８つの部分音データＤｆａ１〜Ｄｆａ８が再生される一例を用いている。図１６の最上段に記載されたグラフは、図１４と同様に縦軸をプレイヤキャラクタＰＣの移動速度ｖ、横軸を時間ｔとして、プレイヤキャラクタＰＣの移動速度ｖの変化を折れ線グラフで示している。図１６の中段に記載されたグラフは、アイテムＩ１〜Ｉ８との衝突時点にのみ移動速度ｖに応じて再生テンポｐを調整して、８つの部分音データＤｆａ１〜Ｄｆａ８をそれぞれ再生する再生期間を示している。また、図１６の最下段に記載されたグラフは、アイテムＩ１〜Ｉ８との衝突時点および当該時点の後に移動速度ｖに応じて再生テンポｐを調整して、８つの部分音データＤｆａ１〜Ｄｆａ８をそれぞれ再生する再生期間を示している。

図１６に示すように、プレイヤキャラクタＰＣの移動速度ｖが多様に変化するとき、アイテムＩとの衝突から次のアイテムＩとの衝突までの期間に移動速度ｖが変化することがある（例えば、アイテムＩ３との衝突からアイテムＩ４との衝突までの期間や、アイテムＩ６との衝突からアイテムＩ７との衝突までの期間）。このような場合、アイテムＩとの衝突時点のみ再生テンポｐの調整を行うと、部分音データが重複して再生されたり、何れの部分音データも再生されない時間的な空白が生じたりすることが考えられる。具体的には、図１６に示すＣ区間では、移動速度ｖが変化したときに再生されている部分音データＤｆａ３の末部と次の部分音データＤｆａ４の初部とが重複して再生される。また、図１６に示すＤ区間では、移動速度ｖが変化したときに再生されている部分音データＤｆａ６の再生が終了した後から次の部分音データＤｆａ７の再生が開始されるまで、何れの部分音データも再生されない期間が生じている。

一方、アイテムＩ１〜Ｉ８との衝突時点の後にも移動速度ｖの変化に応じて再生テンポｐを調整して、部分音データＤｆａ１〜Ｄｆａ８をそれぞれ再生すると、移動速度ｖの変化期間においても部分音データが重複して再生されたり、何れの部分音データも再生されない時間的な空白が極端に生じたりすることがなくなる。具体的には、上記Ｃ区間では、部分音データＤｆａ３の再生期間が移動速度ｖの変化に応じて調整された再生テンポｐによって短縮されているため、部分音データＤｆａ３と部分音データＤｆａ４とが重複した再生が生じていない。また、上記Ｄ区間では、部分音データＤｆａ６の再生期間が移動速度ｖの変化に応じて調整された再生テンポｐによって伸長されているため、部分音データＤｆａ６の再生期間と部分音データＤｆａ７の再生期間とが連続して繋がっている。

また、上述した処理手順では、ＣＰＵ１０は、プレイヤキャラクタＰＣが同じアイテム群に属するアイテムＩと衝突する毎に、割り当てた楽曲の再生順に当該楽曲の部分楽曲を順次選択して、衝突判定されたアイテムＩの再生対象として決定する例を示したが、他の態様によってアイテムＩの再生対象を決定してもかまわない。例えば、配置されるアイテムＩ毎に予め固定的に部分楽曲を関連付けて管理する。この場合、プレイヤキャラクタＰＣがアイテムＩに衝突する順序に応じて、部分楽曲が再生される順序が変わることになる。

例えば、図１７に示すように、アイテムＩ１〜Ｉｎが連続的に配置されたアイテム群に対して、１つの楽曲をｎ分割した部分音データＤｆａ１〜Ｄｆａｎが設定されている。そして、アイテムＩ１〜Ｉｎと部分音データＤｆａ１〜Ｄｆａｎとは、予め固定的に関連付けられている。具体的には、アイテムＩ１と部分音データＤｆａ１、アイテムＩ２と部分音データＤｆａ２、アイテムＩ３と部分音データＤｆａ３、…アイテムＩｎと部分音データＤｆａｎとがそれぞれ固定的に予め関連付けられている。そして、プレイヤキャラクタＰＣが、上記アイテム群の先頭から４番目のアイテムＩ４に最初に衝突した状態を考える。この場合、ＣＰＵ１０は、アイテムＩ４に対して固定的に関連付けられた部分音データＤｆａ４を再生対象として決定する。つまり、当該態様では、アイテム群に割り当てられた楽曲の曲頭から再生順に部分楽曲を順次再生するためには、アイテムＩ１から昇順にアイテムＩｎまで衝突させることが必要となる。

一方、上述した処理手順のように、プレイヤキャラクタＰＣがアイテムＩと衝突する毎に、アイテム群に割り当てた楽曲の再生順に当該楽曲の部分楽曲を順次再生する態様では、最初にアイテムＩ４と衝突した時点で部分音データＤｆａ１が再生対象として決定される。つまり、アイテム群に割り当てられた楽曲の曲頭から再生順に部分楽曲を順次再生するためには、アイテムＩ１〜Ｉｎに対して任意の順番で衝突させればよい。

また、プレイヤキャラクタＰＣ（操作対象オブジェクト）とアイテムＩ（発音オブジェクト）とが衝突することに応じて再生する対象は、上述した楽曲データとは異なった他の音データでもかまわない。例えば、人の会話や動物の鳴き声等を予め録音した録音データや、各種ゲームで用いられるような効果音を示す効果音データでもかまわない。衝突判定に応じて再生対象となる音は、音楽、効果音、自然音、会話等の発音に関するあらゆる音でもよく、音全般のことを意味している。そして、衝突判定に応じて再生対象となるこれらの音を示すデータが、本発明の対象音データに相当する。

また、上述した実施例では、プレイヤキャラクタＰＣの移動速度ｖに応じて、部分音データを再生する再生テンポｐを変化させて決定する例を示したが、当該部分音データを再生する他の再生条件を変化させてもかまわない。例えば、部分音データを再生して出力する際の音量、音程、音調、音色、音の歪み、音の残響、音の揺らぎ、再生方向（順再生、逆再生）、再生速度、スピーカバランス、演奏楽器数、演奏楽器種類、奏法、ビート数、各種エフェクト等の再生条件を変化させてもかまわない。一例として、再生条件として音量が変化する場合、アイテムＩに衝突するプレイヤキャラクタＰＣの移動速度ｖが漸増的に速くなれば、部分音データを再生して出力する音量を漸増的に大きくする。他の例として、再生条件として音程が変化する場合、アイテムＩに衝突するプレイヤキャラクタＰＣの移動速度ｖが所定の速度以上速くなれば、部分音データを１オクターブ上げた音程で出力する。

また、上述した実施例では、プレイヤキャラクタＰＣがアイテムＩに衝突する移動速度ｖに応じて、部分音データを再生する再生条件を変化させて決定する例を示したが、仮想世界におけるプレイヤキャラクタＰＣの他の状態に応じて当該再生条件を変化させてもかまわない。例えば、仮想世界におけるプレイヤキャラクタＰＣの種類（キャラクタ名称やキャラクタ能力等）、動作状態（歩いている状態、走っている状態、停止している状態、泳いでいる状態、飛行している状態、回転している状態等）、感情状態（喜怒哀楽状態等、姿勢状態（起立姿勢、倒伏姿勢、着座姿勢、傾倒姿勢等）、形状状態（拡大状態、縮小状態、角形、球形等）、アイテムＩと衝突する状態（衝突方向、衝突角度、衝突位置、衝突時の相対速度）、およびアイテムＩからプレイヤキャラクタＰＣに与えられた状態（跳ね返えす、透過させる、衝突した一方が破壊される、めり込ませる等）等のプレイヤキャラクタＰＣの状態に応じて、上記再生条件を変化させてもかまわない。プレイヤキャラクタＰＣとアイテムＩとが衝突する状態（衝突方向）に応じて再生条件を変化させる場合、第１の例として、プレイヤキャラクタＰＣが背部からアイテムＩに衝突したとき、部分音データを逆再生して出力する。第２の例として、プレイヤキャラクタＰＣの上部とアイテムＩの下部が衝突（例えば、アイテムＩを突き上げる）したとき、部分音データの音程を高くして出力する。第３の例として、プレイヤキャラクタＰＣの下部とアイテムＩの上部が衝突（例えば、アイテムＩを踏みつぶす）したとき、部分音データの音程を低くして出力する。

また、音データＤｆに格納される楽曲は、プレイヤが任意に設定可能に構成してもかまわない。例えば、プレイヤがＣＤやＤＶＤ等の記録媒体に格納された楽曲から選曲した好みの楽曲を、上記ゲーム処理で取扱可能なデータ形式で読み込ませ、当該楽曲を音データＤｆの楽曲データの１つとして格納してもかまわない。この場合、読み込ませた楽曲データを複数の部分音データに分割し、それぞれの部分音データを予め発音オブジェクト（アイテムＩ）に関連付けて格納する、または発音オブジェクトとの衝突毎に選択可能に部分音データを格納する。

また、複数の部分音データを再生した結果に応じて、その再生結果を評価する処理を追加してもかまわない。例えば、上述した音再生処理では、アイテムＩとの衝突に応じて複数の部分音データを連続的に再生することが可能であり、結果的に１つの楽曲を再生した再生テンポ、再生時間、再生順序等が変化する。これら再生テンポ、再生時間、再生順序等の基準値を予め楽曲に応じて設定し、当該基準値と実際に再生された値との比較に基づいて算出される点数をモニタ２に表示することによって、一般的な音楽ゲームとしての機能も兼ね備えることができる。

また、上述したフローチャートによる処理動作では、コントローラ７から送信されるキーデータが示す特定ボタンの押動操作の有無や押動継続時間に応じて、プレイヤキャラクタＰＣを移動させる一例を用いたが、上述したように他の操作情報を用いてプレイヤキャラクタＰＣを移動させてもかまわない。例えば、加速度センサ７０１により検出された加速度データから算出されるコントローラ７自体の動きや傾き等によって、プレイヤキャラクタＰＣを移動させてもかまわない。この場合、コントローラ７から送信データとして送信されてくる一連の操作情報に含まれる加速度データを用いて、プレイヤキャラクタＰＣの移動制御を行えばよい。また、プレイヤが操作する入力装置にジョイスティックが創部されている場合は、当該ジョイスティックの傾き方向および傾き量に応じてプレイヤキャラクタＰＣの移動方向および移動速度を決定してもかまわない。この場合、コントローラ７から送信データとして送信されてくる一連の操作情報に含まれるジョイスティック操作に対応するキーデータを用いて、プレイヤキャラクタＰＣの移動制御を行えばよい。

また、上述した説明では、コントローラ７に対する操作に応じて処理を行う据置型のゲーム装置本体５に本願発明を適用した例を説明したが、携帯ゲーム装置にも適用することができる。例えば、携帯ゲーム装置の本体に設けられた操作ボタンに対する操作に応じて、上述した音再生処理を実行する。このように本願発明を適用することで、携帯ゲーム装置等においても、本発明の音再生処理を実現することができる。

また、上述した説明では、据置型や携帯型のゲーム装置に本願発明を適用した例を説明したが、入力装置によって操作される一般的なパーソナルコンピュータ等の情報処理装置や携帯型の情報処理装置にも適用することができる。例えば、前者の情報処理装置では、入力装置から出力されるキーデータに応じて、情報処理装置が表示している所定のオブジェクトを操作し、他のオブジェクトとの衝突に応じて音再生処理をする等、入力装置から得られる操作情報に基づいて様々な処理を行うことができる。また、後者の情報処理装置は、本体に操作ボタンを搭載し、当該操作ボタンから出力されるキーデータに応じてオブジェクトの状態を変化させて音再生処理を実行する情報処理装置であればよく、例えば一般的なパーソナルコンピュータ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等のデバイスにも適用することができる。

例えば、他の電話機との間で無線通信する通信部を備えた携帯電話機の場合には、携帯電話機本体に各種操作ボタンが搭載されている。この場合、携帯電話機の特定のボタン操作に応じて、携帯電話機に搭載された表示装置に表示されたオブジェクトの状態を変化させる。そして、当該オブジェクトと他のオブジェクトとの衝突に応じて、上述した音再生処理を実行する。このように本願発明を適用することで、携帯電話機等でゲームを行うには好適である。

また、上述した説明では、コントローラ７とゲーム装置本体５とが無線通信によって接続された態様を用いたが、コントローラ７とゲーム装置本体５とがケーブルを介して電気的に接続されてもかまわない。この場合、コントローラ７に接続されたケーブルをゲーム装置本体５の接続端子に接続する。

また、上述した説明では、主にモニタ２に備えられたスピーカ２ａから音を出力する態様を説明したが、他のスピーカから音を出力してもかまわない。例えば、コントローラ７に備えられたスピーカ７０６から、上述した音再生処理が行われた音を出力してもかまわない。

また、上述したコントローラ７の形状や、それらに設けられている操作部７２の形状、数、および設置位置等は、単なる一例に過ぎず他の形状、数、および設置位置であっても、本発明を実現できることは言うまでもない。また、上述した処理で用いられる係数および判定値等は、単なる一例に過ぎず他の値であっても、本発明を実現できることは言うまでもない。

また、本発明の音再生プログラムは、光ディスク４等の外部記憶媒体を通じてゲーム装置本体５に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置本体５に供給されてもよい。また、音再生プログラムは、ゲーム装置本体５内部の不揮発性記憶装置に予め記録されていてもよい。なお、音再生プログラムを記憶する情報記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体の他に、不揮発性半導体メモリでもよい。

以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

本発明に係る音再生プログラムおよび音再生装置は、操作対象オブジェクトへの操作に応じて多様な音再生を実現することができ、操作内容に応じた楽曲データの再生を伴うゲームプログラムやゲーム装置、コンピュータ上で動作する音楽再生プログラムや音楽再生装置、電子楽器等、様々なゲーム処理や情報処理を行うプログラムおよび装置として有用である。

本発明の一実施形態に係るゲームシステム１を説明するための外観図 図１のゲーム装置本体５の機能ブロック図 図１のコントローラ７の上面後方から見た斜視図 図３のコントローラ７を下面前方から見た斜視図 図３のコントローラ７の上筐体を外した状態を示す斜視図 図４のコントローラ７の下筐体を外した状態を示す斜視図 図３のコントローラ７の構成を示すブロック図 本発明の一実施形態に係るゲーム処理を行う際に表示されるゲーム画像の一例を示す図 図８のゲーム処理において、プレイヤキャラクタＰＣとアイテムＩ１とが衝突した際の処理の一例を示す図 図８のゲーム処理において、プレイヤキャラクタＰＣとアイテムＩ３とが衝突した際の処理の一例を示す図 ゲーム装置本体５のメインメモリに記憶される主なデータを示す図 ゲーム装置本体５において実行されるゲーム処理の流れを示すフローチャート 衝突判定されたアイテムＩ、衝突予測されるアイテムＩ、および距離ｄの一例を説明するための概要図 ８つの部分音データＤｆａ１〜Ｄｆａ８に対して、再生テンポ一定でそれぞれ再生する再生期間と、アイテムＩとの衝突時に再生テンポを調整してそれぞれ再生する再生期間とを比較した図 １つの楽曲を分割して生成された８つの部分音データＤｆａ１〜Ｄｆａ８の一例を示す図 ８つの部分音データＤｆａ１〜Ｄｆａ８に対して、アイテムＩとの衝突時点にのみ再生テンポを調整してそれぞれ再生する再生期間と、アイテムＩとの衝突時点および当該時点の後に再生テンポを調整してそれぞれ再生する再生期間とを比較した図 配置されるアイテムＩ毎に予め固定的に部分楽曲を関連付けて管理された場合に、プレイヤキャラクタＰＣとアイテムＩ４とが衝突した際の処理の一例を示す図

符号の説明

１…ゲームシステム
２…モニタ
２ａ、７０６…スピーカ
３…ゲーム装置
４…光ディスク
５…ゲーム装置本体
１０…ＣＰＵ
１１…システムＬＳＩ
１２…外部メインメモリ
１３…ＲＯＭ／ＲＴＣ
１４…ディスクドライブ
１５…ＡＶ−ＩＣ
１６…ＡＶコネクタ
１７…フラッシュメモリ
１８…無線通信モジュール
１９…無線コントローラモジュール
２０…拡張コネクタ
２１…外部メモリカード用コネクタ
２２、２３…アンテナ
２４…電源ボタン
２５…リセットボタン
２６…イジェクトボタン
３１…入出力プロセッサ
３２…ＧＰＵ
３３…ＤＳＰ
３４…ＶＲＡＭ
３５…内部メインメモリ
７…コントローラ
７１…ハウジング
７２…操作部
７３…コネクタ
７４…撮像情報演算部
７４１…赤外線フィルタ
７４２…レンズ
７４３…撮像素子
７４４…画像処理回路
７５…通信部
７５１…マイコン
７５２…メモリ
７５３…無線モジュール
７５４…アンテナ
７００…基板
７０１…加速度センサ
７０２…ＬＥＤ
７０４…バイブレータ
７０７…サウンドＩＣ
７０８…アンプ
８…マーカ

Claims (10)

1. 表示装置に表示された操作対象オブジェクトを、ユーザの操作入力に応じて動作させる処理を実行する装置のコンピュータで実行される音再生プログラムであって、
   前記コンピュータを、
   前記操作対象オブジェクトおよび少なくとも１つの発音オブジェクトを前記表示装置に表示する表示制御手段と、
   前記操作入力を示す操作データを取得するデータ取得手段と、
   前記操作対象オブジェクトを前記操作データに応じて移動させるオブジェクト移動制御手段と、
   前記操作対象オブジェクトと前記発音オブジェクトとの衝突を判定する衝突判定手段と、
   前記衝突判定手段が前記衝突を判定した場合に再生対象となる音を示す対象音データを、当該衝突判定の対象の前記発音オブジェクトに対して設定する対象音設定手段と、
   前記衝突判定手段が前記衝突を判定した時点または当該時点の後において、前記対象音設定手段が設定した対象音データを再生する再生条件を、少なくとも前記操作対象オブジェクトの状態に応じて決定する再生条件決定手段と、
   前記再生条件決定手段が決定した再生条件を用いて、前記対象音設定手段が設定した対象音データを再生する再生制御手段として機能させる、音再生プログラム。
2. 前記再生条件決定手段は、衝突した前記操作対象オブジェクトと前記発音オブジェクトとの相対的な衝突状態を前記操作対象オブジェクトの状態として、前記再生条件を決定する、請求項１に記載の音再生プログラム。
3. 前記再生条件決定手段は、前記操作対象オブジェクトの移動速度に応じて前記対象音データを再生するテンポを算出し、当該テンポを前記再生条件として決定する、請求項１または２に記載の音再生プログラム。
4. 前記表示制御手段は、複数の前記発音オブジェクトを前記表示装置に適宜表示し、
   前記音再生プログラムは、前記操作対象オブジェクトが次に衝突する前記発音オブジェクトを予測する衝突予測手段として、さらに前記コンピュータを機能させ、
   前記再生条件決定手段は、前記衝突判定手段が前記衝突を判定した時点において、前記衝突判定手段が前記衝突を判定した前記発音オブジェクトから前記衝突予測手段が予測する前記発音オブジェクトまでの距離を用いて、当該時点の前記移動速度で当該距離を移動する際の予測所要時間に応じた前記テンポを算出して、当該テンポを前記再生条件として決定する、請求項３に記載の音再生プログラム。
5. 前記再生条件決定手段は、さらに前記衝突判定手段が前記衝突を判定した時点の後において、前記操作対象オブジェクトの位置から前記衝突予測手段が予測する前記発音オブジェクトまでの残距離を用いて、前記再生制御手段が再生している前記対象音データを再生終了するまでの再生残り時間が、現時点の前記移動速度で当該残距離を移動する際の予測所要残時間に応じた前記テンポを算出して、当該テンポに前記再生条件を変更する、請求項４に記載の音再生プログラム。
6. １つの音データを分割して複数の部分音データを生成し、当該分割された音データの再生順に応じて当該部分音データをメモリに格納する部分音データ生成手段として、さらに前記コンピュータを機能させ、
   前記対象音設定手段は、前記衝突判定手段が前記衝突を判定するごとに順次前記再生順に前記部分音データを選択し、前記衝突判定の対象の前記発音オブジェクトに、選択した当該部分音データを前記対象音データとして設定する、請求項１乃至５の何れかに記載の音再生プログラム。
7. １つの音データを分割して複数の部分音データを生成し、当該分割された音データの再生順に応じて当該部分音データを前記発音オブジェクトにそれぞれ関連付けてメモリに格納する部分音データ生成手段として、さらに前記コンピュータを機能させ、
   前記対象音設定手段は、前記衝突判定手段が前記衝突を判定するごとに、前記衝突判定の対象の前記発音オブジェクトに、前記部分音データ生成手段によって当該発音オブジェクトに関連付けられた前記部分音データを前記対象音データとして設定する、請求項１乃至５の何れかに記載の音再生プログラム。
8. 表示装置に表示された操作対象オブジェクトを、ユーザの操作入力に応じて動作させる処理を実行する音再生装置であって、
   前記操作対象オブジェクトおよび少なくとも１つの発音オブジェクトを前記表示装置に表示する表示制御手段と、
   前記操作入力を示す操作データを取得するデータ取得手段と、
   前記操作対象オブジェクトを前記操作データに応じて移動させるオブジェクト移動制御手段と、
   前記操作対象オブジェクトと前記発音オブジェクトとの衝突を判定する衝突判定手段と、
   前記衝突判定手段が前記衝突を判定した場合に、当該衝突判定の対象の前記発音オブジェクトに対して設定する対象音設定手段と、
   前記衝突判定手段が前記衝突を判定した時点または当該時点の後において、前記対象音設定手段が設定した対象音データを再生する再生条件を、少なくとも前記操作対象オブジェクトの状態に応じて決定する再生条件決定手段と、
   前記再生条件決定手段が決定した再生条件を用いて、前記対象音設定手段が設定した対象音データを再生する再生制御手段とを備える、音再生装置。
9. 表示装置に表示された操作対象オブジェクトを、ユーザの操作入力に応じて動作させる処理を実行する音再生システムであって、
   前記操作対象オブジェクトおよび少なくとも１つの発音オブジェクトを前記表示装置に表示する表示制御手段と、
   前記操作入力を示す操作データを取得するデータ取得手段と、
   前記操作対象オブジェクトを前記操作データに応じて移動させるオブジェクト移動制御手段と、
   前記操作対象オブジェクトと前記発音オブジェクトとの衝突を判定する衝突判定手段と、
   前記衝突判定手段が前記衝突を判定した場合に再生対象となる音を示す対象音データを、当該衝突判定の対象の前記発音オブジェクトに対して設定する対象音設定手段と、
   前記衝突判定手段が前記衝突を判定した時点または当該時点の後において、前記対象音設定手段が設定した対象音データを再生する再生条件を、少なくとも前記操作対象オブジェクトの状態に応じて決定する再生条件決定手段と、
   前記再生条件決定手段が決定した再生条件を用いて、前記対象音設定手段が設定した対象音データを再生する再生制御手段とを備える、音再生システム。
10. 表示装置に表示された操作対象オブジェクトを、ユーザの操作入力に応じて動作させる処理を実行する音再生装置のコンピュータが実行する音再生方法であって、
    前記操作対象オブジェクトおよび少なくとも１つの発音オブジェクトを前記表示装置に表示する表示制御ステップと、
    前記操作入力を示す操作データを取得するデータ取得ステップと、
    前記操作対象オブジェクトを前記操作データに応じて移動させるオブジェクト移動制御ステップと、
    前記操作対象オブジェクトと前記発音オブジェクトとの衝突を判定する衝突判定ステップと、
    前記衝突判定ステップにおいて前記衝突を判定した場合に再生対象となる音を示す対象音データを、当該衝突判定の対象の前記発音オブジェクトに対して設定する対象音設定ステップと、
    前記衝突判定ステップが前記衝突を判定した時点または当該時点の後において、前記対象音設定ステップにおいて設定した対象音データを再生する再生条件を、少なくとも前記操作対象オブジェクトの状態に応じて決定する再生条件決定ステップと、
    前記再生条件決定ステップにおいて決定した再生条件を用いて、前記対象音設定ステップにおいて設定した対象音データを再生する再生制御ステップとを含む、音再生方法。

Images