JP4557899B2 - サウンド処理プログラムおよびサウンド処理装置 - Google Patents

Description

本発明は、サウンド処理プログラムおよびサウンド処理装置に関し、より特定的には、パーソナルコンピュータやゲーム装置等の装置を利用して模擬的に楽器を演奏する電子楽器を実現するサウンド処理プログラムおよびサウンド処理装置に関する。

従来、パーソナルコンピュータやゲーム装置等を利用して模擬的に楽器を演奏する電子楽器を実現する装置がある。これら装置は、マウス等のポインティングデバイスやコントローラ等の操作手段からの出力に応じて演奏が行われ、何れも本来の楽器の演奏形態とは異なる入力方法を用いてサウンドを出力している。

例えば、表示装置に弦楽器のフィンガーボードを表示して、弦楽器を演奏する奏法の情報を入力する装置がある（例えば、特許文献１参照）。フィンガーボードは、模擬的なギターのフレットと弦とが表示されている。そして、ギター特有の奏法であるチョーキングに関する演奏の情報を入力するとき、マウスを用いてチョーキングしたい弦をチョーキング奏法するように画像上で操作して、当該チョーキング奏法の情報を入力することができるようにしている。ここで、チョーキングとは、ある音から半音〜１音半だけ音程を上げるギターテクニックであり、少なくとも１本の弦を一般的に同じフレット内で押さえたまま上下させる奏法である。また、演奏操作面および演奏操作子を用いて入力を行い、当該入力に応じて演奏情報を生成する電子楽器もある（例えば、特許文献２参照）。
特開平１０−２８２９５６号公報 特開平４−９８２９７号公報

しかしながら、上記特許文献１で開示された装置は、チョーキング奏法の情報をマウスで入力することに特化しており、実際にマウスを用いてギターの弦を弾くような模擬的な演奏をシミュレートして、ユーザに電子楽器演奏の楽しみを提供するものではない。また上記特許文献２で開示された装置は、ユーザが演奏するために用いる主体は鍵盤であって、演奏操作面および演奏操作子を用いた入力による模擬的な電子楽器演奏の楽しみを演奏者に与えることを意図したものではない。さらに、上記特許文献１および上記特許文献２で開示された装置を組み合わせたものを仮定しても、電子楽器に演奏させるための演奏情報を入力することだけにとどまるものであり、ユーザに対して模擬的な電子楽器演奏の楽しみを提供するものにはならない。

それ故に、本発明の目的は、上述した課題の少なくとも１つを解決するものであり、パーソナルコンピュータやゲーム装置等の表示画面に楽器の一部を模した画像を表示し、ポインティングデバイスやコントローラ等の操作手段を使用してあたかも表示画面に表示されている楽器を演奏しているような操作環境を実現するサウンド処理プログラムおよびサウンド処理装置を提供することである。

上記の目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号やステップ番号（ステップをＳと略称しステップ番号のみを記載する）等は、本発明の理解を助けるために後述する実施形態との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。

第１の発明は、プレイヤの操作に応じた入力装置（１４、１５）からの操作入力に応じて操作されるサウンド処理装置（１）を音楽演奏装置として機能させるサウンド処理プログラムである。サウンド処理プログラムは、領域設定ステップ（Ｓ５１）、演奏指標表示制御ステップ（Ｓ５３）、操作履歴記憶ステップ（Ｓ５２）、領域検出ステップ（Ｓ５５、Ｓ５７〜Ｓ６０、Ｓ６２、Ｓ７６、Ｓ８０、Ｓ８２）、サウンド出力情報生成ステップ（Ｓ７２、Ｓ７３、Ｓ７７、Ｓ７８）、およびサウンド出力制御ステップ（Ｓ７４、Ｓ７９）を、サウンド処理装置のコンピュータ（２１）に実行させる。領域設定ステップは、表示画面（１２）に表示される画像に対して、複数の領域（Ａ）を設定する。演奏指標表示制御ステップは、設定された複数の領域の範囲をそれぞれ示し、メモリ（２４）に記憶された演奏指標（ＳＴ１〜ＳＴ６）を表示画面に表示する。操作履歴記憶ステップは、入力装置からの操作入力の履歴をメモリに記憶する（Ｄａ）。領域検出ステップは、操作入力に応じて指定される領域を検出する。サウンド出力情報生成ステップは、操作入力の履歴に基づいて、複数の領域の何れかの領域を指定してから他の領域を指定する操作入力が領域検出ステップで検出されたことに応じて、サウンド出力情報を生成する。サウンド出力制御ステップは、サウンド出力情報に応じて、スピーカ（３０ａ、３０ｂ）からサウンドを出力する。

第２の発明は、上記第１の発明において、領域設定ステップでは、並列に隣接させて複数の領域が設定される（図４）。演奏指標表示制御ステップでは、隣接する領域間の境界を示す演奏指標が表示画面に表示される。

第３の発明は、上記第２の発明において、領域設定ステップでは、隣接する領域間の境界付近に所定幅（Ｄｍａｘ）の境界範囲がそれぞれ設定される。領域検出ステップでは、操作入力が境界範囲内または境界範囲外を指定していることがさらに検出される（Ｓ７６）。サウンド出力情報生成ステップでは、操作入力の履歴に基づいて、複数の領域の何れかの領域を指定してからその領域と隣接する他の領域との境界に設定された境界範囲を越えて他の領域を指定する操作入力が領域検出ステップで検出されたことに応じて（Ｓ７６でＹｅｓ）、サウンド出力情報が生成される（Ｓ７７、Ｓ７８）。

第４の発明は、上記第２の発明において、サウンド処理プログラムは、操作入力検出ステップ（Ｓ５４）を、さらにコンピュータに実行させる。操作入力検出ステップは、入力装置からの操作入力の有無を検出する。領域設定ステップでは、隣接する領域間の境界付近に所定幅の境界範囲がそれぞれ設定される。領域検出ステップでは、操作入力が境界範囲内または境界範囲外を指定していることがさらに検出される。サウンド出力情報生成ステップでは、操作入力の履歴に基づいて、複数の領域の何れかの領域を指定してからその領域と隣接する他の領域との境界を越えて他の領域内に設定された境界範囲内を指定する操作入力が領域検出ステップで検出された後、操作入力検出ステップでその操作入力が無くなったことが検出されたことに応じて（Ｓ７１でＹｅｓ）、サウンド出力情報が生成される（Ｓ７２、Ｓ７３）。

第５の発明は、上記第３または第４の発明において、演奏指標表示制御ステップでは、操作入力に応じて、演奏指標を境界範囲内で変形させて表示画面に表示される。

第６の発明は、上記第１の発明において、サウンド出力情報生成ステップでは、複数の領域の何れかの領域が指定されてから他の領域が指定されたとき、それら領域の組み合わせに応じて再生するサウンドの音程が決定される。

第７の発明は、上記第２の発明において、サウンド出力情報生成ステップでは、複数の領域の何れかの領域が指定されてから他の領域が指定されたとき、それら領域の境界に表示されている演奏指標の種別に応じて再生するサウンドの音程が決定される。

第８の発明は、上記第１の発明において、入力装置は、プレイヤの操作に応じて表示画面の座標系に基づいた入力座標を操作入力として出力するポインティングデバイス（１５）を含む。領域設定ステップでは、並列に隣接させて複数の領域が設定される。演奏指標は、楽器の一部を模した画像（弦画像）であり、隣接する領域間の境界上にそれぞれ配置される。操作履歴記憶ステップでは、ポインティングデバイスから出力される入力座標の履歴がメモリに記憶される。領域検出ステップでは、入力座標が示す位置を含む領域が操作入力に応じて指定される領域として検出される。サウンド出力情報生成ステップでは、入力座標の履歴に基づいて、その入力座標が示す位置を含む領域が変化したことを領域検出ステップで検出されたことに応じて、それらの領域間の境界に配置された演奏指標の種別に応じてサウンド出力情報が生成される。なお、ポインティングデバイスは、画面上での入力位置や座標を指定する入力装置であり、例えば、タッチパネル、マウス、トラックパッド、トラックボールなどで実現される。

第９の発明は、上記第８の発明において、サウンド出力情報生成ステップでは、入力座標の移動速度に応じて、再生するサウンドの音量が決定される（Ｓ７３、Ｓ７８）。

第１０の発明は、上記第８の発明において、ポインティングデバイスは、表示画面を覆うタッチパネル（１５）である。操作履歴記憶ステップでは、プレイヤがタッチパネルをタッチ操作したタッチ座標の履歴がメモリに記憶される。領域検出ステップでは、タッチ座標が示す位置と重なる領域が操作入力に応じて指定される領域として検出される。サウンド出力情報生成ステップでは、タッチ座標の履歴に基づいて、そのタッチ座標が示す位置と重なる領域が変化したことを領域検出ステップで検出されたことに応じて、サウンド出力情報が生成される。

第１１の発明は、上記第８の発明において、入力装置は、ポインティングデバイスとそのポインティングデバイスとは別の操作部（１４ａ、１４Ｌ）とを含む。サウンド処理プログラムは、操作信号取得ステップ（Ｓ５２）を、さらにコンピュータに実行させる。操作信号取得ステップは、操作部からの操作信号を取得する（Ｄｂ）。サウンド出力情報生成ステップでは、入力座標が示す位置を含む領域が変化したとき、それら領域の組み合わせに応じて音程が設定され、さらに取得した操作信号に応じてその音程を変化させて再生するサウンドの音程が決定される。

第１２の発明は、プレイヤの操作に応じた入力装置からの操作入力に応じて操作されるサウンド処理装置である。サウンド処理装置は、記憶手段、領域設定手段、演奏指標表示制御手段、操作履歴記憶手段、領域検出手段、サウンド出力情報生成手段、およびサウンド出力制御手段を備える。領域設定手段は、表示画面に表示される画像に対して、複数の領域を設定する。演奏指標表示制御手段は、設定された複数の領域の範囲をそれぞれ示し、記憶手段に記憶された演奏指標を表示画面に表示する。操作履歴記憶手段は、入力装置からの操作入力の履歴を記憶手段に記憶する。領域検出手段は、操作入力に応じて指定される領域を検出する。サウンド出力情報生成手段は、操作入力の履歴に基づいて、複数の領域の何れかの領域を指定してから他の領域を指定する操作入力を領域検出手段が検出したことに応じて、サウンド出力情報を生成する。サウンド出力制御手段は、サウンド出力情報に応じて、スピーカからサウンドを出力する。

上記第１の発明によれば、何れかの領域が指定されたことに応じてサウンドを再生するのではなく、指定された領域が変化する操作に合わせてサウンドが再生される。したがって、上記領域を表示画面に表示し、ポインティングデバイスやコントローラ等の入力装置を使用してあたかも表示画面に表示されている弦楽器等の楽器を演奏しているような操作環境を実現することができる。

上記第２の発明によれば、領域間に配置された演奏指標を弾いてサウンドが再生されるような操作環境を提供できる。

上記第３および第４の発明によれば、領域間の境界を示す演奏指標が所定の範囲でたわむような設定となるため、演奏指標にリアルな弦のような性質を与えることができ、よりリアルな操作環境を提供できる。

上記第５の発明によれば、領域間の境界を示す演奏指標が操作入力に応じて所定の範囲でたわむように変形して表示されるため、演奏指標をリアルな弦のように表現することができる。

上記第６および第７の発明によれば、領域の組み合わせや演奏指標の種別に応じて音程が変化するため、弦楽器においてそれぞれ発する音の音程が異なる複数弦を表現できる。

上記第８の発明によれば、ポインティングデバイスを操作入力に使用するので、画像として表示されている演奏指標（楽器）を直接操作するかのような環境を実現でき、よりリアルな楽器を演奏しているような操作環境を提供できる。

上記第９の発明によれば、実際の弦楽器において弦を弾く強さによって発する音の音量が変化するような現象を模擬的に表現することができる。

上記第１０の発明によれば、タッチパネルを操作入力に使用するので、画像として表示されている演奏指標（楽器）を直接触れているかのような環境を実現でき、さらにリアルな楽器を演奏しているような操作環境を提供できる。

上記第１１の発明によれば、ポインティングデバイスによる操作と他の操作部による操作とに応じて、再生するサウンドの音程が変化するため、再生するサウンドのバリエーションが豊富になる。

また、本発明のサウンド処理装置によれば、上述したサウンド処理プログラムと同様の効果を得ることができる。

図面を参照して、本発明の一実施形態に係るサウンド処理プログラムを実行するサウンド処理装置について説明する。本発明のサウンド処理プログラムは、表示装置に表示可能な任意のコンピュータシステムで実行されることによって適用することができるが、情報処理装置の一例としてゲーム装置１で実行されるゲームプログラムに含まれるサウンド処理プログラムを用いて説明する。なお、図１は、本発明のゲームプログラムを実行するゲーム装置１の外観図である。ここでは、ゲーム装置１の一例として、携帯ゲーム装置を示す。

図１において、ゲーム装置１は、第１のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１１および第２のＬＣＤ１２を含む。ハウジング１３は、上側ハウジング１３ａと下側ハウジング１３ｂとによって構成されており、第１のＬＣＤ１１は上側ハウジング１３ａに収納され、第２のＬＣＤ１２は下側ハウジング１３ｂに収納される。第１のＬＣＤ１１および第２のＬＣＤ１２の解像度は、いずれも２５６ｄｏｔ×１９２ｄｏｔである。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を利用することができる。また、第１のＬＣＤ１１および第２のＬＣＤ１２は、任意の解像度のものを利用することができる。

上側ハウジング１３ａには、後述する１対のスピーカ（図２の３０ａ、３０ｂ）からの音を外部に放出するための音抜き孔１８ａ、１８ｂが形成されている。

下側ハウジング１３ｂには、入力装置として、十字スイッチ１４ａ、スタートスイッチ１４ｂ、セレクトスイッチ１４ｃ、Ａボタン１４ｄ、Ｂボタン１４ｅ、Ｘボタン１４ｆ、Ｙボタン１４ｇ、電源スイッチ１４ｈ、Ｌボタン１４Ｌ、およびＲボタン１４Ｒが設けられている。また、さらなる入力装置として、第２のＬＣＤ１２の画面上にタッチパネル１５が装着されている。また、下側ハウジング１３ｂには、メモリカード１７やスティック１６を収納するための挿入口も設けられている。

タッチパネル１５としては、例えば抵抗膜方式や光学式（赤外線方式）や静電容量結合式等、任意の方式のものを利用することができる。タッチパネル１５は、その表面をスティック１６で触れると、その接触位置に対応する座標データを出力する機能を有するポインティングデバイスの一例である。なお、以下ではプレイヤがタッチパネル１５をスティック１６で操作するものとして説明を行うが、スティック１６の代わりにペン（スタイラスペン）や指でタッチパネル１５を操作することももちろん可能である。本実施形態では、タッチパネル１５として、第２のＬＣＤ１２の解像度と同じく２５６ｄｏｔ×１９２ｄｏｔの解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１５の解像度と第２のＬＣＤ１２との解像度が一致している必要はない。

メモリカード１７は、ゲームプログラム等を記録した記録媒体であり、下部ハウジング１３ｂに設けられた挿入口に着脱自在に装着される。

次に、図２を参照して、ゲーム装置１の内部構成を説明する。なお、図２は、ゲーム装置１の内部構成を示すブロック図である。

図２において、ハウジング１３に収納される電子回路基板２０には、ＣＰＵコア２１が実装される。ＣＰＵコア２１には、バス２２を介して、コネクタ２３が接続されるとともに、入出力インターフェース回路（図面ではＩ／Ｆ回路と記す）２５、第１ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６、第２ＧＰＵ２７、ＲＡＭ２４、ＬＣＤコントローラ３１、およびワイヤレス通信部３３が接続される。コネクタ２３には、メモリカード１７が着脱自在に接続される。メモリカード１７は、ゲームプログラムを記憶するＲＯＭ１７ａと、バックアップデータを書き換え可能に記憶するＲＡＭ１７ｂを搭載する。メモリカード１７のＲＯＭ１７ａに記憶されたゲームプログラムは、ＲＡＭ２４にロードされ、ＲＡＭ２４にロードされたゲームプログラムがＣＰＵコア２１によって実行される。ＲＡＭ２４には、ゲームプログラムの他にも、適宜、ＣＰＵコア２１がプログラムを実行して得られる一時的なデータを生成するためのデータ等が記憶される。Ｉ／Ｆ回路２５には、タッチパネル１５、右スピーカ３０ａ、左スピーカ３０ｂ、および図１の十字スイッチ１４ａやＡボタン１４ｄ等から成る操作スイッチ部１４が接続される。右スピーカ３０ａおよび左スピーカ３０ｂは、音抜き孔１８ａおよび１８ｂの内側にそれぞれ配置され、ＣＰＵコア２１が生成したサウンド出力情報に応じたサウンドを再生する。

第１ＧＰＵ２６には、第１ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）２８が接続され、第２ＧＰＵ２７には、第２ＶＲＡＭ２９が接続される。第１ＧＰＵ２６は、ＣＰＵコア２１からの指示に応じて、ＲＡＭ２４に記憶されている表示画像を生成するためのデータに基づいて第１の表示画像を生成し、第１ＶＲＡＭ２８に描画する。第２ＧＰＵ２７は、同様にＣＰＵコア２１からの指示に応じて第２の表示画像を生成し、第２ＶＲＡＭ２９に描画する。第１ＶＲＡＭ２８および第２ＶＲＡＭ２９は、ＬＣＤコントローラ３１に接続されている。

ＬＣＤコントローラ３１は、レジスタ３２を含む。レジスタ３２は、ＣＰＵコア２１からの指示に応じて０または１の値を記憶する。ＬＣＤコントローラ３１は、レジスタ３２の値が０の場合は、第１ＶＲＡＭ２８に描画された第１のゲーム画像を第１のＬＣＤ１１に出力し、第２ＶＲＡＭ２９に描画された第２のゲーム画像を第２のＬＣＤ１２に出力する。また、レジスタ３２の値が１の場合は、第１ＶＲＡＭ２８に描画された第１のゲーム画像を第２のＬＣＤ１２に出力し、第２ＶＲＡＭ２９に描画された第２のゲーム画像を第１のＬＣＤ１１に出力する。

ワイヤレス通信部３３は、他のゲーム装置のワイヤレス通信部３３との間で、ゲーム処理に利用されるデータやその他のデータをやりとりする機能を有しており、一例としてＩＥＥＥ８０２．１１の無線ＬＡＮ規格に則った無線通信機能を提供する。そして、ワイヤレス通信部３３は、受信したデータをＣＰＵコア２１に出力する。また、ワイヤレス通信部３３は、ＣＰＵコア２１から指示されたデータを他のゲーム装置へ送信する。

なお、本発明のゲームプログラムは、メモリカード１７等の外部記憶媒体を通じてコンピュータシステムに供給されるだけでなく、有線または無線の通信回線を通じてコンピュータシステムに供給されてもよい。また、ゲームプログラムは、コンピュータシステム内部の不揮発性記憶装置に予め記録されていてもよい。なお、ゲームプログラムを記憶する情報記憶媒体としては、上記不揮発性半導体メモリに限らず、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体でもよい。

次に、図３〜図６を参照して、ゲーム装置１で実行されるゲームプログラムによる具体的な処理動作を説明する前に、当該処理動作によって第１のＬＣＤ１１および第２のＬＣＤ１２に表示される表示形態例や処理例等について説明する。以下の説明においては、説明を具体的にするために、弦楽器をゲーム装置１で模擬的に演奏する形態を用い、特に６弦ギターを模擬的に演奏する例を用いる。なお、図３は、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図４は、第２のＬＣＤ１２に表示されるゲーム画像に対して設定される各領域や位置座標を説明するための図である。図５および図６は、第２のＬＣＤ１２に表示された領域間を横切るようなスライド操作をタッチパネル１５に対して行った際の処理を説明するための図である。

図３において、ゲーム装置１の第１のＬＣＤ１１および第２のＬＣＤ１２には、それぞれゲーム画像が表示される。そして、本発明に関わる演奏指標を表示する画像は、第２のＬＣＤ１２に表示されるため、以下、第２のＬＣＤ１２に表示される画像を単に演奏指標画像と記載する。また、第１のＬＣＤ１１には、プレイヤの操作入力に応じて本ゲーム装置１で模擬的な演奏をする楽器を演奏するようなキャラクタ画像や、操作スイッチ部１４によって選択可能な音程を示す画像が表示される。

第２のＬＣＤ１２には、演奏指標としてギターの６本の弦を示した弦画像ＳＴ１〜ＳＴ６が表示される。弦画像ＳＴ１〜ＳＴ６は、それぞれギターの第１弦〜第６弦を演奏指標として示している。例えば、弦画像ＳＴ１〜ＳＴ６は、ギターの第１弦〜第６弦がゲーム装置１に対して縦方向（紙面上下方向）に張られたように並列して第２のＬＣＤ１２に表示される。なお、弦画像ＳＴ１〜ＳＴ６は、ギターの第１弦〜第６弦の上端から下端までの少なくとも一部が第２のＬＣＤ１２に表示される。図３の例では、ギターをストロークしたりピッキングしたりするギターボディ部の第１弦〜第６弦を示す弦画像ＳＴ１〜ＳＴ６が第２のＬＣＤ１２に表示される。具体的には、右から順に第１弦〜第６弦を示す弦画像ＳＴ１〜ＳＴ６が第２のＬＣＤ１２に表示される。

ゲーム装置１のプレイヤは、第２のＬＣＤ１２の表面に設けられたタッチパネル１５をタッチ操作することによって、弦画像ＳＴ１〜ＳＴ６の何れかとタッチ位置とが重なったとき、重なった弦画像ＳＴ１〜ＳＴ６が示すギターの弦を鳴らす対象とした演奏が可能となる。なお、以下の説明において、演奏の対象となった弦画像ＳＴ１〜ＳＴ６の何れかを対象弦画像ＳＴと記載することがある。そして、対象弦画像ＳＴを左右にドラッグするようなタッチ操作（以下、スライド操作と記載する）をタッチパネル１５に入力した場合、対象弦画像ＳＴがそのスライド操作によって引っ張られたように変形する。図３においては、第３弦を示す弦画像ＳＴ３が対象弦画像ＳＴであり、スティック１６による右方向へのスライド操作に応じて対象弦画像ＳＴの中央部が右へ引っ張られたように変形している。そして、対象弦画像ＳＴに対して、その変形限界（張力限界値Ｄｍａｘ）を超えるスライド操作を行ったとき、当該対象弦画像ＳＴが弾かれたように表現され、その弦に応じたサウンドが右スピーカ３０ａおよび左スピーカ３０ｂから再生される。

第１のＬＣＤ１１には、タッチパネル１５に対するタッチ操作に応じて、ギターを演奏するキャラクタを表現するキャラクタ画像ＰＣが表示される。また、第１のＬＣＤ１１には、コード選択キー表示ＣＫが表示され、十字キー１４ａの上下左右方向に応じて選択可能なギターコードが表示される。例えば、図３の例では、十字キー１４ａの上方向を押下することによってギターコードＡｍが、十字キー１４ａの右方向を押下することによってギターコードＤｍが、十字キー１４ａの下方向を押下することによってギターコードＧが、十字キー１４ａの左方向を押下することによってギターコードＦが選択され、十字キー１４ａの何れの方向も押下しないことによってギターコードＣが選択されることが示されている。そして、上述したように、プレイヤがタッチパネル１５をスライド操作することによって、何れかの弦画像ＳＴ１〜ＳＴ６を弾くような操作をした場合、十字キー１４ａで選択されているギターコードに応じた音程で各弦が弾かれたサウンドを再生する。つまり、タッチパネル１５を操作して弦が弾かれたとき、十字キー１４ａで選択された音程のサウンドが再生されることになる。

図４において、上述したタッチパネル１５を用いた演奏を実現するために、演奏指標画像に弦位置座標ｘｓｔや複数の領域Ａが設定される。第２のＬＣＤ１２に演奏指標画像を表示するための画面座標系には、その左右方向（つまり、弦画像ＳＴ１〜ＳＴ６が張られて表示される上下方向とは垂直となる方向）にｘ軸座標が設定される。そして、ｘ軸座標の右方向をｘ軸正方向とする。なお、当該画面座標系には、ｘ軸座標の垂直方向となる上下方向にｙ軸座標が設定されるが、以下の説明においてｙ軸座標を用いないため詳細な説明を省略する。

弦画像ＳＴ１〜ＳＴ６は、ｘ軸座標に対してそれぞれ弦位置座標ｘｓｔ１〜ｘｓｔ６に配置されて表示される。そして、演奏指標画像は、６つの弦画像ＳＴ１〜ＳＴ６によって７つの領域Ａに分割される。具体的には、第２のＬＣＤ１２の表示画面右端から弦画像ＳＴ１までの間に領域Ａ０１が設定される。弦画像ＳＴ１から弦画像ＳＴ２までの間に領域Ａ１２が設定される。弦画像ＳＴ２から弦画像ＳＴ３までの間に領域Ａ２３が設定される。弦画像ＳＴ３から弦画像ＳＴ４までの間に領域Ａ３４が設定される。弦画像ＳＴ４から弦画像ＳＴ５までの間に領域Ａ４５が設定される。弦画像ＳＴ５から弦画像ＳＴ６までの間に領域Ａ５６が設定される。弦画像ＳＴ６から第２のＬＣＤ１２の表示画面左端までの間に領域Ａ６７が設定される。図４から明らかなように、７つの領域Ａは、ｘ軸方向に並列した矩形領域で形成されるため、ｘ軸座標を指定するだけで何れかの領域Ａを示すことができる。

また、弦画像ＳＴ１〜ＳＴ６の左右一定範囲には、それぞれ張力限界範囲が設定される。具体的には、弦画像ＳＴ１〜ＳＴ６に対して、それぞれｘ軸正方向側の長さＤｍａｘ以内およびｘ軸負方向側の長さＤｍａｘ以内となる範囲が張力限界範囲となる。張力限界範囲は、弦画像ＳＴ１〜ＳＴ６が対象弦画像ＳＴとなった場合に、スライド操作に応じて引っ張られた変形が可能な範囲を示している。つまり、弦画像ＳＴ１〜ＳＴ６が左右に変形可能な最大変形量が、左右にそれぞれ長さＤｍａｘとなる。

また、タッチパネル１５をタッチ操作した際に出力されるタッチ座標ＴＰ（ＴＸ，ＴＹ）は、所定の関数を用いて当該タッチ座標ＴＰ（ＴＸ，ＴＹ）と重なる画面座標系の位置座標ｔｐ（ｘｔ，ｙｔ）に座標変換される。以下、画面座標系に変換後の位置座標ｔｐ（ｘｔ，ｙｔ）をタッチ座標ｔｐ（ｘｔ，ｙｔ）と呼ぶ。図４の例では、プレイヤはスティック１６を用いて領域Ａ４５上を右方向（ｘ軸正方向；図示白抜き矢印方向）へスライド操作するタッチ操作をしており、当該領域Ａ４５内にタッチ座標ｔｐが設定されている。

図５において、図４に示したタッチ操作の状態からさらに右方向へのスライド操作を行うと、やがて領域Ａ４５の右端に配置されている弦画像ＳＴ４とタッチ座標ｔｐとが重なる。つまり、タッチ座標ｔｐのｘ座標ｔｘ（以下、単にタッチｘ座標ｔｘと記載する）と弦画像ＳＴ４の弦位置座標ｘｓｔ４とが等しくなる。そして、さらに右方向へのスライド操作を行うと、タッチｘ座標ｔｘが弦画像ＳＴ４の右側に設定された張力限界範囲を超えない（ｔｘ≦ｘｓｔ４＋Ｄｍａｘ）限り、弦画像ＳＴ４がそのスライド操作によって右へ引っ張られるように変形していく。図５に示される弦画像ＳＴ４のように、タッチ座標ｔｐと重なった後に当該タッチ座標ｔｐの移動に応じて変形していくような状態を拘束状態（ＨＯＬＤ）と記載する。一方、他の弦画像ＳＴ１〜ＳＴ３、ＳＴ５、およびＳＴ６は、タッチ座標ｔｐの影響を受けておらず、このような状態を自由状態（ＦＲＥＥ）と記載する。例えば、図４に示した弦画像ＳＴ１〜ＳＴ６は、全て自由状態である。

図６において、図５に示したタッチ操作の状態からさらに右方向へのスライド操作を行うと、タッチｘ座標ｔｘが弦画像ＳＴ４の右側に設定された張力限界範囲を超える（ｔｘ＞ｘｓｔ４＋Ｄｍａｘ）。そのとき、弦画像ＳＴ４がタッチ操作による拘束から放たれて弾かれたように表現され、第４弦に応じたサウンドが右スピーカ３０ａおよび左スピーカ３０ｂから再生される。その際の音程は、十字キー１４ａで選択されているギターコードによって決定される。そして、弦画像ＳＴ４は、拘束状態から自由状態に変化する。

上述した説明では、右方向へのスライド操作を用いたが、左方向へのスライド操作でも弦画像ＳＴ１〜ＳＴ６の張力限界範囲を超えるとき、その弦に応じたサウンドが再生される。このように、タッチパネル１５に対する左右のスライド操作が弦画像ＳＴ１〜ＳＴ６の張力限界範囲を超えるとき、それぞれの弦に応じたサウンドが再生される。ここで、何れかの弦画像ＳＴ１〜ＳＴ６をスライド操作によって左右に引っ張った拘束状態（例えば、図５に示した状態）にして、タッチパネル１５からタッチオフしたときも、その弦に応じたサウンドが再生される。したがって、演奏指標画像に設定された７つの領域Ａに対してある領域Ａから張力限界値Ｄｍａｘを超えた他の領域Ａまで横断するスライド操作、またはある領域Ａから張力限界値Ｄｍａｘを超えない他の領域Ａ内まで横断するスライド操作の後にタッチオフする操作を行ったとき、それらの領域間に配置されている弦に応じたサウンドが再生される。つまり、複数の領域が設定された画面において、同一領域内をタッチ操作しただけではサウンドが再生されず、タッチ操作する領域が変わるようなスライド操作をした場合にサウンドが再生されることになる。このようなタッチ操作によってサウンドが再生されることによって、第２のＬＣＤ１２に表示された弦がタッチパネル１５を用いて弾くような操作を実現することができ、あたかも弦楽器を演奏しているかのような環境を実現することができる。

次に、図７〜図９を参照して、ゲーム装置１で実行されるゲームプログラムによる具体的な処理動作について説明する。なお、図７は、ゲームプログラムを実行することに応じて、ＲＡＭ２４に記憶される各種プログラムや各種データの一例を示す図である。図８は、当該ゲームプログラムを実行することによってゲーム装置１がゲーム処理を行う前半の動作を示すフローチャートである。図９は、当該ゲームプログラムを実行することによってゲーム装置１がゲーム処理を行う後半の動作を示すフローチャートである。なお、これらの処理を実行するためのプログラムは、ＲＯＭ１７ａに格納されたゲームプログラムに含まれており、ゲーム装置１の電源がオンになったときに、ＲＯＭ１７ａからＲＡＭ２４に読み出されて、ＣＰＵコア２１によって実行される。また、後述するステップ５５〜ステップ８３の処理は、６つの弦毎に並行して行われる処理である。したがって、ステップ５５〜ステップ８３の処理は、各弦の設定状態に応じて異なった処理となることがある。

図７において、ＲＡＭ２４には、ＲＯＭ１７ａから読み出されたプログラムやゲーム処理において生成される一時的なデータが記憶される。図７において、ＲＡＭ２４のプログラム記憶領域２４ａには、ゲーム処理プログラムＰａ、画像処理プログラムＰｂ、タッチ検出プログラムＰｃ、タッチ座標検出プログラムＰｄ、タッチ−弦間距離算出プログラムＰｅ、弦状態設定プログラムＰｆ、音量・音程決定プログラムＰｇ、タッチ領域検出プログラムＰｈ、およびタッチ履歴記録プログラムＰｉ等が記憶される。

ゲーム処理プログラムＰａは、ゲーム処理全体を定義するプログラムである。このゲーム処理プログラムＰａの実行開始によってゲーム処理が開始される。画像処理プログラムＰｂは、後述する画像データＤｉに基づいて、第１のＬＣＤ１１および第２のＬＣＤ１２に弦画像ＳＴ１〜ＳＴ６、キャラクタ画像ＰＣ、およびコード選択キー表示ＣＫ等の画像（図３参照）を表示制御する処理を定義する。タッチ検出プログラムＰｃは、プレイヤがタッチパネル１５をタッチ操作しているか否かを検出する処理を定義する。タッチ座標検出プログラムＰｄは、プレイヤがタッチパネル１５をタッチ操作しているタッチ座標ｔｐを検出する処理を定義する。タッチ−弦間距離算出プログラムＰｅは、タッチ座標ｔｐから各弦位置座標ｘｓｔ１〜ｘｓｔ６までの距離を算出する処理を定義する。また、タッチ−弦間距離算出プログラムＰｅは、算出された距離の正負に基づいて、弦画像ＳＴ１〜ＳＴ６をそれぞれ基準としたタッチ座標ｔｐの方向を区別する処理を定義する。弦状態設定プログラムＰｆは、各弦を拘束状態または自由状態に設定する処理を定義する。音量・音程決定プログラムＰｇは、弦が弾かれた際に再生するサウンドの音量および音程を決定する処理を定義する。タッチ領域検出プログラムＰｈは、タッチ座標ｔｐが配置されている領域Ａを検出する処理を定義する。タッチ履歴記録プログラムＰｉは、検出されたタッチ座標ｔｐの履歴をデータ記録領域２４ｂに記録する処理を定義する。

ＲＡＭ２４のデータ記憶領域２４ｂには、タッチ座標データＤａ、キー操作データＤｂ、弦位置座標データＤｃ、領域データＤｄ、タッチおよび弦間方向データＤｅ、タッチおよび弦間距離データＤｆ、弦状態データＤｇ、サウンドデータＤｈ、および画像データＤｉ等が格納される。

タッチ座標データＤａは、プレイヤがタッチパネル１５をタッチ操作しているタッチ座標ｔｐを示すデータであり、過去数フレーム分のタッチ座標ｔｐの履歴が格納される。ここで、フレームとは、ゲーム装置１がゲーム処理する時間単位（例えば、１／６０秒）である。そして、タッチ座標データＤａには、現フレームで取得したタッチ座標ｔｐ１、前フレームで取得したタッチ座標ｔｐ０、前々フレームで取得したタッチ座標ｔｐ００が少なくとも格納される。キー操作データＤｂは、操作スイッチ部１４から出力された操作信号または当該操作信号に基づいて演算されたパラメータが適宜格納される。弦位置座標データＤｃは、画面座標系における弦画像ＳＴ１〜ＳＴ６の位置をそれぞれ示す弦位置座標ｘｓｔ１〜ｘｓｔ６を示すデータである。領域データＤｄは、画面座標系における複数の領域Ａの位置をそれぞれ示すデータである。

タッチおよび弦間方向データＤｅは、弦画像ＳＴ１〜ＳＴ６をそれぞれ基準としてタッチ座標ｔｐが位置する方向を示す方向データｔｐ＿ｄｉｒを格納する。具体的には、弦画像に対して右側（ｘ軸正方向側）にタッチ座標ｔｐが位置しているとき、方向データｔｐ＿ｄｉｒ＝１に設定される。弦画像に対して左側（ｘ軸負方向側）にタッチ座標ｔｐが位置しているとき、方向データｔｐ＿ｄｉｒ＝−１に設定される。そして、タッチ座標ｔｐが存在しない（つまり、タッチされていない）とき、方向データｔｐ＿ｄｉｒ＝０に設定される。なお、方向データｔｐ＿ｄｉｒは、弦画像ＳＴ１〜ＳＴ６毎に設定され、タッチおよび弦間方向データＤｅとしてそれぞれ格納される。タッチおよび弦間距離データＤｆは、弦画像ＳＴ１〜ＳＴ６をそれぞれ基準としてタッチ座標ｔｐが位置する距離を示す距離データｄｘを格納する。具体的には、距離データｄｘは、タッチｘ座標ｔｘから各弦位置座標ｘｓｔ１〜ｘｓｔ６を減算することによって得られる値であり、弦画像に対して右側（ｘ軸正方向側）にタッチ座標ｔｐが位置しているときに正の値を示し、弦画像に対して左側（ｘ軸負方向側）にタッチ座標ｔｐが位置しているときに負の値を示す。なお、距離データｄｘも弦画像ＳＴ１〜ＳＴ６毎に設定され、タッチおよび弦間距離データＤｆとしてそれぞれ格納される。弦状態データＤｇは、各弦が拘束状態（ｓｔａｔ＝ＨＯＬＤ）か自由状態（ｓｔａｔ＝ＦＲＥＥ）かを設定するデータであり、弦画像ＳＴ１〜ＳＴ６毎に格納される。

サウンドデータＤｈは、決定された音程に応じて再生するサウンドの再生ピッチを設定したり、決定された音量に応じて再生するサウンドのボリュームを設定したりすることによって、右スピーカ３０ａおよび左スピーカ３０ｂからサウンドを再生するためのデータである。画像データＤｉは、弦画像ＳＴ１〜ＳＴ６、キャラクタ画像ＰＣ、およびコード選択キー表示ＣＫ等の画像をゲーム画面に表示するための画像データである。

まず、ゲーム装置１の電源（図示せず）がＯＮされると、ＣＰＵコア２１によってブートプログラム（図示せず）が実行され、これによりメモリカード１７に格納されているゲームプログラムがＲＡＭ２４にロードされる。当該ロードされたゲームプログラムに含まれるゲーム処理プログラムＰａがＣＰＵコア２１で実行されることによって、図８および図９に示すステップ（図８および図９では「Ｓ」と略称する）が実行される。

図８において、ＣＰＵコア２１は、ゲームの初期設定を行って（ステップ５１）、処理を次のステップに進める。例えば、ＣＰＵコア２１がステップ５１で行う初期設定として、弦位置座標データＤｃおよび領域データＤｄが設定されて演奏指標画像に含まれる弦画像ＳＴ１〜ＳＴ６や領域Ａが設定される。また、十字キー１４ａの操作によって選択可能なギターコードが設定される。

次に、ＣＰＵコア２１は、タッチ座標検出プログラムＰｄおよびタッチ履歴記録プログラムＰｉに基づいて、プレイヤの操作に応じたタッチパネル１５からのタッチ入力を取得して、タッチパネル１５をタッチしている画面座標系のタッチ位置を示すタッチ座標ｔｐ（ｔｘ，ｔｙ）をタッチ座標データＤａとしてＲＡＭ２４に記憶し（ステップ５２）、処理を次のステップに進める。また、ステップ５２において、ＣＰＵコア２１は、操作スイッチ部１４から出力された操作信号または当該操作信号に基づいて演算されたパラメータも取得してキー操作データＤｂとしてＲＡＭ２４に記憶する。

次に、ＣＰＵコア２１は、画像処理プログラムＰｂに基づいて、ゲーム・画像処理を行って（ステップ５３）、処理を次のステップに進める。ＣＰＵコア２１は、図３〜図６を用いて説明した画像（弦画像ＳＴ１〜ＳＴ６、キャラクタ画像ＰＣ、およびコード選択キー表示ＣＫ等）を、現在のゲーム進行状況（例えば、それぞれの弦の状態、サウンド再生状況、キー操作状況等）に応じて第１のＬＣＤ１１および第２のＬＣＤ１２に表示する処理を行う。

次に、ＣＰＵコア２１は、タッチ検出プログラムＰｃに基づいて、タッチパネル１５がタッチされているか否かを判断する（ステップ５４）。そして、ＣＰＵコア２１は、タッチパネル１５がタッチされている場合、処理を次のステップ５５に進める。一方、ＣＰＵコア２１は、タッチパネル１５がタッチされていない場合、処理を次のステップ５６に進める。

ステップ５４において、ＣＰＵコア２１は、タッチ−弦間距離算出プログラムＰｅに基づいて、各弦に対する距離データｄｘをそれぞれ算出してタッチおよび弦間距離データＤｆとして格納して、処理を次のステップに進める。ここで、距離データｄｘは、上記ステップ５２で得られたタッチ座標ｔｐのｘ座標（タッチｘ座標ｔｘ）から各弦位置座標ｘｓｔ１〜ｘｓｔ６を減算することによって得られる。なお、図４から明らかなように、弦位置座標ｘｓｔに対して右側（ｘ軸正方向側）にタッチ座標ｔｐが位置しているときはｄｘ＞０であり、弦位置座標ｘｓｔに対して左側（ｘ軸負方向側）にタッチ座標ｔｐが位置しているときはｄｘ＜０である。例えば、図４で示した位置のタッチ座標ｔｐが取得された場合、弦画像ＳＴ４に対してタッチ座標ｔｐがｘ軸負方向側に配置されているため、弦画像ＳＴ４に対して距離データｄｘ＝ｔｘ−ｘｓｔ４＜０が格納される。一方、弦画像ＳＴ５に対してタッチ座標ｔｐがｘ軸正方向側に配置されているため、弦画像ＳＴ５に対して距離データｄｘ＝ｔｘ−ｘｓｔ５＞０が格納される。

次に、ＣＰＵコア２１は、各弦に設定されている方向データｔｐ＿ｄｉｒがそれぞれ０か否かを判断する（ステップ５７）。そして、ＣＰＵコア２１は、タッチ領域検出プログラムＰｈに基づいて、方向データｔｐ＿ｄｉｒ＝０である場合、距離データｄｘ≧０（ステップ５８でＹｅｓ）に設定されている弦の方向データｔｐ＿ｄｉｒを１に設定してタッチおよび弦間方向データＤｅとして格納し（ステップ５９）、処理を次のステップ６１に進める。また、ＣＰＵコア２１は、タッチ領域検出プログラムＰｈに基づいて、方向データｔｐ＿ｄｉｒ＝０である場合、距離データｄｘ＜０（ステップ５８でＮｏ）に設定されている弦の方向データｔｐ＿ｄｉｒを−１に設定してタッチおよび弦間方向データＤｅとして格納し（ステップ６０）、処理を次のステップ６１に進める。一方、ＣＰＵコア２１は、方向データｔｐ＿ｄｉｒ≠０である場合、そのまま処理を次のステップ６１に進める。

一方、上記ステップ５４において、タッチパネル１５がタッチされていない場合、ＣＰＵコア２１は、タッチおよび弦間方向データＤｅとして格納されている全ての弦の方向データｔｐ＿ｄｉｒを０に設定して（ステップ５６）、処理を次のステップ６１に進める。このように、タッチパネル１５がタッチされていない場合、全ての弦の方向データｔｐ＿ｄｉｒは０に設定される。つまり、上記ステップ５７において、タッチパネル１５がタッチされているにもかかわらず方向データｔｐ＿ｄｉｒ＝０であるときは、タッチパネル１５がタッチされて最初の処理であるとき（つまり、前フレームにおいてタッチ座標が取得されていない）である。したがって、上記ステップ５８〜ステップ６０の処理は、タッチパネル１５がタッチされた最初のタッチ座標ｔｐが、各弦に対して左右どちらに位置しているか設定する処理となる。

ステップ６１において、ＣＰＵコア２１は、弦状態設定プログラムＰｆに基づいて、各弦の状態が自由状態か否かを判断する。そして、ＣＰＵコア２１は、弦状態データＤｇが自由状態（ｓｔａｔ＝ＦＲＥＥ）に設定されている弦については、ステップ６２に進めて処理を行う。一方、ＣＰＵコア２１は、弦状態データＤｇが拘束状態（ｓｔａｔ＝ＨＯＬＤ）に設定されている弦については、ステップ７１（図９）に進めて処理を行う。

ステップ６２において、ＣＰＵコア２１は、タッチ領域検出プログラムＰｈに基づいて、ｔｐ＿ｄｉｒ＊ｄｘが０未満か否かを自由状態に設定された弦について判定する。そして、ＣＰＵコア２１は、弦状態設定プログラムＰｆに基づいて、ｔｐ＿ｄｉｒ＊ｄｘが０未満となった弦に対して弦状態データＤｇを拘束状態（ｓｔａｔ＝ＨＯＬＤ）に設定して（ステップ６３）、上記ステップ５２に戻って処理を繰り返す。一方、ＣＰＵコア２１は、ｔｐ＿ｄｉｒ＊ｄｘが０以上である場合、そのまま上記ステップ５２に戻って処理を繰り返す。

ここで、上述したように方向データｔｐ＿ｄｉｒは、タッチパネル１５がタッチされて最初の処理であるとき、距離データｄｘ≧０ではｔｐ＿ｄｉｒ＝１、距離データｄｘ＜０ではｔｐ＿ｄｉｒ＝−１に設定され、タッチパネル１５がタッチされていないときにｔｐ＿ｄｉｒ＝０に設定される。したがって、方向データｔｐ＿ｄｉｒが設定された初期やタッチパネル１５からタッチオフされているときは、ｔｐ＿ｄｉｒ＊ｄｘが正の値または０となるため上記ステップ６２ではｔｐ＿ｄｉｒ＊ｄｘが０以上であると判断される。一方、タッチパネル１５がタッチされている場合、上記ステップ５５が実行されて距離データｄｘが逐次算出される。そして、上述したように、距離データｄｘは、弦位置座標ｘｓｔに対するｘ軸正方向側と負方向側とによって、その正負が入れ替わるパラメータである。したがって、プレイヤがタッチパネル１５に対して、何れかの弦画像ＳＴ１〜ＳＴ６上を越えるようなスライド操作を行った場合、距離データｄｘの正負が入れ替わることになる。このとき、ｔｐ＿ｄｉｒ＊ｄｘが０未満と判断される。つまり、上記ステップ６２の処理は、自由状態（ｓｔａｔ＝ＦＲＥＥ）に設定されている弦画像ＳＴ１〜ＳＴ６上を越えるようなスライド操作が行われたか否かを判定し、越えた弦を拘束状態に設定していることになる。

弦状態データＤｇが拘束状態（ｓｔａｔ＝ＨＯＬＤ）に設定されている弦については、ステップ７１（図９参照）が実行される。ステップ７１において、ＣＰＵコア２１は、拘束状態の弦に設定されている方向データｔｐ＿ｄｉｒが０か否かを判断する。そして、ＣＰＵコア２１は、方向データｔｐ＿ｄｉｒが０である場合、処理を次のステップ７２に進める。一方、ＣＰＵコア２１は、方向データｔｐ＿ｄｉｒが０でない場合、処理を次のステップ７６に進める。なお、ステップ７２以降は、プレイヤが張力限界値Ｄｍａｘを超えない状態でタッチオフしたときに行われる処理であり、以下の説明では、まずステップ７６以降の処理について説明する。

ステップ７６において、ＣＰＵコア２１は、タッチ領域検出プログラムＰｈに基づいて、拘束状態に設定されている弦について、｜ｄｘ｜＞｜Ｄｍａｘ｜であるか否かを判断する。そして、ＣＰＵコア２１は、｜ｄｘ｜＞｜Ｄｍａｘ｜である場合、処理を次のステップ７７に進める。一方、ＣＰＵコア２１は、｜ｄｘ｜≦｜Ｄｍａｘ｜である場合、処理を次のステップ８２に進める。なお、拘束状態に設定されている弦について、｜ｄｘ｜＞｜Ｄｍａｘ｜となることは、図６に示したようにプレイヤが張力限界範囲を超える領域まで何れかの弦画像ＳＴ１〜ＳＴ６をスライド操作したときである。

ステップ７７において、ＣＰＵコア２１は、音量・音程決定プログラムＰｇに基づいて、拘束状態に設定されている弦の種類および格納されているキー操作データＤｂが示すキー操作に応じて、再生するサウンドの音程を決定し、処理を次のステップに進める。具体的には、拘束状態に設定されている弦がギターの第１弦〜第６弦のうちどれか、およびプレイヤがキー操作によってどのギターコードを選択しているかに応じて、再生するサウンドの音程を決定する。

次に、ＣＰＵコア２１は、音量・音程決定プログラムＰｇに基づいて、タッチ座標データＤａとして格納されている過去のタッチ座標ｔｐの履歴に基づいて、再生するサウンドの音量を決定し（ステップ７８）、処理を次のステップに進める。具体的には、ＣＰＵコア２１は、現フレームの処理において取得したタッチ座標ｔｐのｘ座標値（ｔｐ１のｘｔ）と前フレームの処理において取得したタッチ座標ｔｐのｘ座標値（ｔｐ０のｘｔ）とをＲＡＭ２４から抽出し、｜（ｔｐ１のｘｔ）−（ｔｐ０のｘｔ）｜を算出する。そして、ＣＰＵコア２１は、算出結果に基づいて、再生するサウンドの音量を決定する。ここで、｜（ｔｐ１のｘｔ）−（ｔｐ０のｘｔ）｜は、タッチ座標ｔｐが移動したｘ軸方向の速度を示しており、ＣＰＵコア２１は、スライド操作する速度に応じて音量を決定していることになる。

次に、ＣＰＵコア２１は、上記ステップ７７で決定された音程、上記ステップ７８で決定された音量、およびサウンドデータＤｈを用いてサウンド出力情報を生成し、当該サウンド出力情報に応じて右スピーカ３０ａおよび左スピーカ３０ｂからサウンドを再生する（ステップ７９）。そして、ＣＰＵコア２１は、拘束状態に設定されている弦のタッチおよび弦間方向データＤｅを方向データｔｐ＿ｄｉｒの正負を反転させて設定し（ステップ８０）、弦状態データＤｇを自由状態（ｓｔａｔ＝ＦＲＥＥ）に設定して（ステップ８１）、上記ステップ５２（図８）に戻って処理を繰り返す。

一方、ＣＰＵコア２１は、上記ステップ７６において｜ｄｘ｜≦｜Ｄｍａｘ｜である場合、タッチ領域検出プログラムＰｈに基づいて、ｔｐ＿ｄｉｒ＊ｄｘが０より大きいか否かを拘束状態に設定された弦について判定する（ステップ８２）。ここで、上記ステップ６２およびステップ６３の処理で説明したように、ｔｐ＿ｄｉｒ＊ｄｘが０未満となった弦が拘束状態に設定される。したがって、弦が拘束状態にありながらｔｐ＿ｄｉｒ＊ｄｘが０より大きくなる場合は、弦画像ＳＴ１〜ＳＴ６上を越えるようなスライド操作をした後、当該弦画像の張力限界範囲を超える前に引き返すようなスライド操作を行って、越える前に位置していた元の領域Ａ内まで戻ったときである。つまり、プレイヤは、弦画像ＳＴ１〜ＳＴ６の何れかをタッチしたが、弾かずに弦を戻して弦をそっと離すようなスライド操作をしたときに生じる現象である。弦が拘束状態にありながらｔｐ＿ｄｉｒ＊ｄｘが０より大きくなる場合（ステップ８２でＹｅｓ）、ＣＰＵコア２１は、サウンドを再生する処理を行わずに拘束状態に設定されている弦の弦状態データＤｇを自由状態（ｓｔａｔ＝ＦＲＥＥ）に設定して（ステップ８３）、上記ステップ５２（図８）に戻って処理を繰り返す。一方、ＣＰＵコア２１は、ｔｐ＿ｄｉｒ＊ｄｘが０以下である場合、そのまま上記ステップ５２に戻って処理を繰り返す。

一方、上記ステップ７１において、弦状態データＤｇが拘束状態に設定されている弦に設定されている方向データｔｐ＿ｄｉｒが０である場合、ステップ７２が実行される。ここで、拘束状態に設定されている弦の方向データｔｐ＿ｄｉｒが０である状態は、プレイヤが張力限界値Ｄｍａｘを超えない状態でタッチオフしたときに生じる。

ステップ７２において、ＣＰＵコア２１は、音量・音程決定プログラムＰｇに基づいて、拘束状態に設定されている弦の種類および格納されているキー操作データＤｂが示すキー操作に応じて、再生するサウンドの音程を決定し、処理を次のステップに進める。なお、ステップ７２の処理は、上述したステップ７７の処理と同様であるため、詳細な説明を省略する。

次に、ＣＰＵコア２１は、音量・音程決定プログラムＰｇに基づいて、タッチ座標データＤａとして格納されている過去のタッチ座標ｔｐの履歴に基づいて、再生するサウンドの音量を決定し（ステップ７３）処理を次のステップに進める。ここで、ステップ７３を実行するときはタッチパネル１５にタッチ操作が行われていないため、現フレームの処理においてタッチ座標ｔｐを取得していない。したがって、ＣＰＵコア２１は、前フレームの処理において取得したタッチ座標ｔｐのｘ座標値（ｔｐ０のｘｔ）と前々フレームの処理において取得したタッチ座標ｔｐのｘ座標値（ｔｐ００のｘｔ）とをＲＡＭ２４から抽出し、｜（ｔｐ０のｘｔ）−（ｔｐ００のｘｔ）｜を算出する。

次に、ＣＰＵコア２１は、上記ステップ７２で決定された音程、上記ステップ７３で決定された音量、およびサウンドデータＤｈを用いてサウンド出力情報を生成し、当該サウンド出力情報に応じて、右スピーカ３０ａおよび左スピーカ３０ｂからサウンドを再生する（ステップ７４）。そして、ＣＰＵコア２１は、拘束状態に設定されている弦の弦状態データＤｇを自由状態（ｓｔａｔ＝ＦＲＥＥ）に設定して（ステップ７５）、上記ステップ５２（図８）に戻って処理を繰り返す。なお、ステップ７４およびステップ７５の処理は、上述したステップ７９およびステップ８１の処理と同様であるため、詳細な説明を省略する。このように、ステップ７２〜ステップ７５の処理によって、何れかの弦画像ＳＴ１〜ＳＴ６をスライド操作によって左右に引っ張った拘束状態にして、タッチパネル１５からタッチオフしたときも、その弦に応じたサウンドが再生される。

このように、ゲーム装置１で実行されるサウンド処理では、タッチパネル１５を用いて何れかの領域をタッチ操作したことに応じてサウンドを再生するのではなく、タッチ操作する領域が変化するスライド操作、すなわち領域間の境界を越えるようなスライド操作に合わせてサウンドが再生される。したがって、上記領域間の境界に弦楽器の弦画像ＳＴ１〜ＳＴ６を配置した楽器の一部を模した画像を表示し、ポインティングデバイスやコントローラ等の操作手段を使用してあたかも表示画面に表示されている楽器を演奏しているような操作環境を実現することができる。ここで、第２のＬＣＤ１２に表示される演奏指標は弦画像ＳＴ１〜ＳＴ６であり、当該弦画像ＳＴ１〜ＳＴ６がそれぞれ上記複数領域の境界を示す表示となっている。

また、上述した説明では、弦画像ＳＴ１〜ＳＴ６が変形可能な範囲（張力限界範囲、境界範囲）を領域Ａ間に設け、弦画像ＳＴ１〜ＳＴ６がスライド操作に応じて引っ張られるような表示を第２のＬＣＤ１２に行っている。そして、弦画像ＳＴ１〜ＳＴ６の変形可能範囲を超えるスライド操作が行われたとき、あるいは弦画像ＳＴ１〜ＳＴ６が変形した状態でタッチオフされたときに、変形していた弦に対するサウンドが再生される。つまり、第２のＬＣＤ１２に表示されている弦画像ＳＴ１〜ＳＴ６を弾くようなタッチ操作をしたときにサウンドが再生されるため、あたかも表示画面に表示されている弦を変形させて弾いているような操作感覚を味わうことができる。

なお、このような弦の変形に関する効果を期待しないときは、弦画像ＳＴ１〜ＳＴ６の張力限界範囲（張力限界値Ｄｍａｘ）を設けなくてもかまわない。例えば、図４等で示したように、隣接して形成される複数の領域Ａ０１、Ａ１２、Ａ２３、Ａ３４、Ａ４５、Ａ５６、およびＡ６７に対して、他の領域Ａ内にタッチ座標ｔｐが移るようなスライド操作に応じて即刻サウンドを再生する処理を行ってもかまわない。また、上記複数の領域の間に所定の隙間を形成してもかまわない。この場合も、ある領域内から他の領域内にタッチ座標ｔｐが移るようなスライド操作に応じて、サウンドを再生する処理が行われる。

また、上述した説明では、第２のＬＣＤ１２に表示される演奏指標画像として演奏指標である弦画像ＳＴ１〜ＳＴ６を縦方向に並列させて表示したが、他の方向に弦画像ＳＴ１〜ＳＴ６を並列させて表示してもかまわない。例えば、第２のＬＣＤ１２に表示される演奏指標画像として弦画像ＳＴ１〜ＳＴ６を横方向や斜め方向に並列させて表示しても、同様に本発明を実現できることは言うまでもない。

また、第２のＬＣＤ１２に表示される演奏指標は、６本の弦画像ＳＴ１〜ＳＴ６でなくてもかまわない。上述したように弦画像ＳＴ１〜ＳＴ６は、複数領域の境界を示す表示であるとも考えることができ、本発明はサウンドを再生するスライド操作を検出するための領域Ａが複数設定されていれば実現可能である。したがって、隣接する２つの領域Ａを設定する場合、それら領域Ａの境界に１本の弦画像を第２のＬＣＤ１２に表示すれば、同様に本発明を実現することができる。また、上記複数の領域の境界を示す演奏指標は、２〜５本や７本以上の弦画像であってもかまわない。さらに、上記複数の領域の境界を示す演奏指標は、弦を模したような直線に限らず、曲線や閉曲線であってもかまわない。

また、上述した説明では、弾かれた弦の種類に応じて、再生されるサウンドの音程が決定されるが、スライド操作で変化した領域の組み合わせによって再生されるサウンドの音程を決定してもかまわない。

また、上述した説明では、弾かれた弦の種類と十字キー１４ａによるキー操作に応じて、再生されるサウンドの音程が決定されるが、さらに他のキー操作に応じて再生するサウンドの音程を変化させてもかまわない。例えば、プレイヤがＬボタン１４Ｌを押下しながら演奏した場合、再生されるサウンドの音程をさらに半音〜１音半上げて再生してもかまわない。これによって、いわゆるチョーキング奏法による音楽演奏がゲーム装置１を用いて可能となる。

また、上述した実施形態では、２画面分の液晶表示部の一例として、物理的に分離された第１のＬＣＤ１１および第２のＬＣＤ１２を互いに上下に配置した場合（上下２画面の場合）を説明した。しかしながら、２画面分の表示画面の構成は、他の構成でもかまわない。例えば、下側ハウジング１３ｂの一方主面に第１のＬＣＤ１１および第２のＬＣＤ１２を左右に配置してもかまわない。また、第２のＬＣＤ１２と横幅が同じで縦の長さが２倍のサイズからなる縦長サイズのＬＣＤ（すなわち、物理的には１つで、表示サイズが縦に２画面分あるＬＣＤ）を下側ハウジング１３ｂの一方主面に配設して、ゲーム画像と演奏指標画像とを上下に表示（すなわち上下の境界部分無しに隣接して表示）するように構成してもよい。また、第２のＬＣＤ１２と縦幅が同じで横の長さが２倍のサイズからなる横長サイズのＬＣＤを下側ハウジング１３ｂの一方主面に配設して、横方向にゲーム画像と演奏指標画像とを左右に表示（すなわち左右の境界部分無しに隣接して表示）するように構成してもよい。すなわち、物理的に１つの画面を２つに分割して使用することによりゲーム画像と演奏指標画像とを表示してもかまわない。いずれの画像の形態に対しても、演奏指標画像が表示される画面上にタッチパネル１５を配設すれば、同様に本発明を実現することができる。また、物理的に１つの画面を２つに分割して使用することによりゲーム画像と演奏指標画像とを表示する場合、当該画面全面にタッチパネル１５を配設してもかまわない。

また、上述した実施例では、ゲーム装置１にタッチパネル１５が一体的に設けられているが、ゲーム装置とタッチパネルとを別体にして構成しても、本発明を実現できることは言うまでもない。また、第１のＬＣＤ１１の上面にタッチパネル１５を設けて第１のＬＣＤ１１に演奏指標画像を表示しても良い。さらに、上記実施例では表示画面を２つ（第１のＬＣＤ１１、第２のＬＣＤ１２）を設けたが、表示画面は１つであってもかまわない。すなわち、上記実施例において、第１のＬＣＤ１１設けず単に演奏指標画像を表示する第２のＬＣＤ１２のみを表示画面としてタッチパネル１５を設けるように構成してもよい。また、上記実施例において、第２のＬＣＤ１２を設けずに演奏指標画像を表示する第１のＬＣＤ１１の上面にタッチパネル１５を設けても良い。

また、上記実施例では、ゲーム装置１の入力手段としてタッチパネルを用いたが、他のポインティングデバイスを用いてもかまわない。ここで、ポインティングデバイスは、画面上での入力位置や座標を指定する入力装置であり、例えば、マウス、トラックパッド、トラックボールなどを入力手段として使用し、入力手段から出力される出力値から計算された画面座標系の位置情報を用いれば、本発明を同様に実現することができる。また、上述したプレイヤが直接的に演奏指標画像を触っているような効果を期待しない場合は、ポインティングデバイス以外の入力装置（例えば、方向指示キーやジョイスティック等）によって指示される領域を検出して本発明を実現してもかまわない。この場合、ポインティングデバイスによる操作が不可能なゲーム装置でも、本発明を実現することができる。

また、上記実施例では、携帯型のゲーム装置１を用いて説明しているが、据置型のゲーム装置や一般的なパーソナルコンピュータ等の情報処理装置で本発明のサウンド処理プログラムを実行して、本発明を実現してもかまわない。

本発明のサウンド処理プログラムおよびサウンド処理装置は、パーソナルコンピュータやゲーム装置等の表示画面に楽器の一部を模した画像を表示し、ポインティングデバイスやコントローラ等の操作手段を使用してあたかも表示画面に表示されている楽器を演奏しているような操作環境を実現することができ、電子楽器等を実現する装置やその装置で実行されるプログラム等として有用である。

本発明のゲームプログラムを実行するゲーム装置１の外観図 図１のゲーム装置１の内部構成を示すブロック図 第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図 第２のＬＣＤ１２に表示されるゲーム画像に対して設定される各領域や位置座標を説明するための図 第２のＬＣＤ１２に表示された領域間を横切るようなスライド操作をタッチパネル１５に対して行った際の処理を説明するための図 第２のＬＣＤ１２に表示された領域間を横切るようなスライド操作をタッチパネル１５に対して行った際の処理を説明するための図 ＲＡＭ２４に記憶される各種プログラムや各種データの一例を示す図 ゲームプログラムを実行することによってゲーム装置１がゲーム処理を行う前半の動作を示すフローチャート ゲームプログラムを実行することによってゲーム装置１がゲーム処理を行う後半の動作を示すフローチャート

符号の説明

１ ゲーム装置
１１ 第１のＬＣＤ
１２ 第２のＬＣＤ
１３ ハウジング
１３ａ 上側ハウジング
１３ｂ 下側ハウジング
１４ 操作スイッチ部
１４ａ 十字スイッチ
１４ｂ スタートスイッチ
１４ｃ セレクトスイッチ
１４ｄ Ａボタン
１４ｅ Ｂボタン
１４ｆ Ｘボタン
１４ｇ Ｙボタン
１４ｈ 電源スイッチ
１４Ｌ Ｌボタン
１４Ｒ Ｒボタン
１５ タッチパネル
１６ スティック
１７ メモリカード
１７ａ ＲＯＭ
１７ｂ ＲＡＭ
１８ａ、１８ｂ 音抜き孔
２０ 電子回路基板
２１ ＣＰＵコア
２２ バス
２３ コネクタ
２４ ＲＡＭ
２５ Ｉ／Ｆ回路
２６ 第１ＧＰＵ
２７ 第２ＧＰＵ
２８ 第１ＶＲＡＭ
２９ 第２ＶＲＡＭ
３０ａ 右スピーカ
３０ｂ 左スピーカ
３１ ＬＣＤコントローラ
３２ レジスタ
３３ ワイヤレス通信部

Claims (9)

1. プレイヤの操作に応じた入力装置からの操作入力に応じて操作されるサウンド処理装置を音楽演奏装置として機能させるサウンド処理プログラムであって、
   前記サウンド処理装置のコンピュータに、
   表示画面に表示される画像に対して、複数の領域を設定する領域設定ステップと、
   前記設定された複数の領域の範囲をそれぞれ示し、メモリに記憶された演奏指標を前記表示画面に表示する演奏指標表示制御ステップと、
   前記入力装置からの操作入力の履歴をメモリに記憶する操作履歴記憶ステップと、
   前記操作入力に応じて指定される前記領域を検出する領域検出ステップと、
   前記操作入力の履歴に基づいて、前記複数の領域の何れかの領域を指定してから他の領域を指定する前記操作入力が前記領域検出ステップで検出されたことに応じて、サウンド出力情報を生成するサウンド出力情報生成ステップと、
   前記サウンド出力情報に応じて、スピーカからサウンドを出力するサウンド出力制御ステップと、
   前記入力装置からの操作入力の有無を検出する操作入力検出ステップとを実行させ、
   前記領域設定ステップでは、並列に隣接させて前記複数の領域が設定されるとともに、当該隣接する領域間の境界付近に所定幅の境界範囲がそれぞれ設定され、
   前記演奏指標表示制御ステップでは、前記隣接する領域間の境界を示す演奏指標が前記表示画面に表示され、
   前記領域検出ステップでは、前記操作入力が前記境界範囲内または前記境界範囲外を指定していることがさらに検出され、
   前記サウンド出力情報生成ステップでは、前記操作入力の履歴に基づいて、前記複数の領域の何れかの領域を指定してから当該領域と隣接する他の領域との境界に設定された境界範囲を越えて当該他の領域を指定する前記操作入力が前記領域検出ステップで検出されたことに応じて、サウンド出力情報が生成され、
   前記サウンド出力情報生成ステップでは、前記操作入力の履歴に基づいて、前記複数の領域の何れかの領域を指定してから当該領域と隣接する他の領域との境界を越えて当該他の領域内に設定された境界範囲内を指定する前記操作入力が前記領域検出ステップで検出された後、前記操作入力検出ステップで当該操作入力が無くなったことが検出されたことに応じて、サウンド出力情報が生成される、サウンド処理プログラム。
2. 前記演奏指標表示制御ステップでは、前記操作入力が指定する位置に応じて、前記演奏指標を前記境界範囲内で変形させて前記表示画面に表示される、請求項１に記載のサウンド処理プログラム。
3. 前記サウンド出力情報生成ステップでは、前記複数の領域の何れかの領域が指定されてから他の領域が指定されたとき、それら領域の組み合わせに応じて再生するサウンドの音程が決定される、請求項１に記載のサウンド処理プログラム。
4. 前記サウンド出力情報生成ステップでは、前記複数の領域の何れかの領域が指定されてから他の領域が指定されたとき、それら領域の境界に表示されている演奏指標の種別に応じて再生するサウンドの音程が決定される、請求項１に記載のサウンド処理プログラム。
5. 前記入力装置は、プレイヤの操作に応じて前記表示画面の座標系に基づいた入力座標を前記操作入力として出力するポインティングデバイスを含み、
   前記演奏指標は、楽器の一部を模した画像であり、前記隣接する領域間の境界上にそれぞれ配置され、
   前記操作履歴記憶ステップでは、前記ポインティングデバイスから出力される前記入力座標の履歴がメモリに記憶され、
   前記領域検出ステップでは、前記入力座標が示す位置を含む領域が前記操作入力に応じて指定される領域として検出され、
   前記サウンド出力情報生成ステップでは、前記入力座標の履歴に基づいて、当該入力座標が示す位置を含む領域が変化したことを前記領域検出ステップで検出されたことに応じて、それらの領域間の境界に配置された演奏指標の種別に応じてサウンド出力情報が生成される、請求項１に記載のサウンド処理プログラム。
6. 前記サウンド出力情報生成ステップでは、前記入力座標の移動速度に応じて、再生するサウンドの音量が決定される、請求項５に記載のサウンド処理プログラム。
7. 前記ポインティングデバイスは、前記表示画面を覆うタッチパネルであり、
   前記操作履歴記憶ステップでは、プレイヤが前記タッチパネルをタッチ操作したタッチ座標の履歴がメモリに記憶され、
   前記領域検出ステップでは、前記タッチ座標が示す位置と重なる領域が前記操作入力に応じて指定される領域として検出され、
   前記サウンド出力情報生成ステップでは、前記タッチ座標の履歴に基づいて、当該タッチ座標が示す位置と重なる領域が変化したことを前記領域検出ステップで検出されたことに応じて、サウンド出力情報が生成される、請求項５に記載のサウンド処理プログラム。
8. 前記入力装置は、前記ポインティングデバイスと当該ポインティングデバイスとは別の操作部とを含み、
   前記サウンド処理プログラムは、前記操作部からの操作信号を取得する操作信号取得ステップを、さらに前記コンピュータに実行させ、
   前記サウンド出力情報生成ステップでは、前記入力座標が示す位置を含む領域が変化したとき、それら領域の組み合わせに応じて音程が設定され、さらに取得した操作信号に応じて当該音程を変化させて再生するサウンドの音程が決定される、請求項５に記載のサウンド処理プログラム。
9. プレイヤの操作に応じた入力装置からの操作入力に応じて操作されるサウンド処理装置であって、
   記憶手段と、
   表示画面に表示される画像に対して、複数の領域を設定する領域設定手段と、
   前記設定された複数の領域の範囲をそれぞれ示し、前記記憶手段に記憶された演奏指標を前記表示画面に表示する演奏指標表示制御手段と、
   前記入力装置からの操作入力の履歴を前記記憶手段に記憶する操作履歴記憶手段と、
   前記操作入力に応じて指定される前記領域を検出する領域検出手段と、
   前記操作入力の履歴に基づいて、前記複数の領域の何れかの領域を指定してから他の領域を指定する前記操作入力を前記領域検出手段が検出したことに応じて、サウンド出力情報を生成するサウンド出力情報生成手段と、
   前記サウンド出力情報に応じて、スピーカからサウンドを出力するサウンド出力制御手段と、
   前記入力装置からの操作入力の有無を検出する操作入力検出手段とを備え、
   前記領域設定手段は、並列に隣接させて前記複数の領域を設定するとともに、当該隣接する領域間の境界付近に所定幅の境界範囲をそれぞれ設定し、
   前記演奏指標表示制御手段は、前記隣接する領域間の境界を示す演奏指標を前記表示画面に表示し、
   前記領域検出手段は、前記操作入力が前記境界範囲内または前記境界範囲外を指定していることをさらに検出し、
   前記サウンド出力情報生成手段は、前記操作入力の履歴に基づいて、前記複数の領域の何れかの領域を指定してから当該領域と隣接する他の領域との境界に設定された境界範囲を越えて当該他の領域を指定する前記操作入力が前記領域検出手段で検出されたことに応じて、サウンド出力情報を生成し、
   前記サウンド出力情報生成手段は、前記操作入力の履歴に基づいて、前記複数の領域の何れかの領域を指定してから当該領域と隣接する他の領域との境界を越えて当該他の領域内に設定された境界範囲内を指定する前記操作入力が前記領域検出手段で検出された後、前記操作入力検出手段で当該操作入力が無くなったことが検出されたことに応じて、サウンド出力情報を生成する、サウンド処理装置。

Images