JP5578701B2

JP5578701B2 - 楽音生成プログラム、楽音生成装置、楽音生成システム、および、楽音生成方法

Info

Publication number: JP5578701B2
Application number: JP2009250671A
Authority: JP
Inventors: 洋一山田; 潤也長田; 有紗保坂; 英二青沼; 透峰岸; 大貴岩本
Original assignee: Nintendo Co Ltd
Current assignee: Nintendo Co Ltd
Priority date: 2009-10-30
Filing date: 2009-10-30
Publication date: 2014-08-27
Anticipated expiration: 2029-10-30
Also published as: US20110105230A1; US8556717B2; JP2011095594A

Description

本発明は、楽音生成プログラム、楽音生成装置、楽音生成システム、および、楽音生成方法に関し、例えば、ユーザの操作に応じて楽音を生成する楽音生成プログラム、楽音生成装置、楽音生成システム、および、楽音生成方法に関する。

従来、ユーザによって指示された画面上の位置に応じて楽音を発生させるものが知られている。例えば、特許文献１には、ＬＣＤに鍵盤が表示され、当該ＬＣＤを覆うように設けられたタッチパネルへのユーザのペンによる入力に応じて、どの鍵が押されたかを検出して、押された鍵に対応する音程の楽音をスピーカにより出力する電子機器が開示されている。

特開２００２−２２９５６３号公報

しかしながら、上記のような電子機器は、ピアノのように、演奏者に対して固定的に設置された状態で演奏される楽器を模擬するのには適しているが、パンフルートやハーモニカのように、演奏者が楽器を上下方向または左右方向に動かしながら演奏するような楽器を模擬する場合には、直感的な操作感が得られない。

それゆえに本発明は、例えば、パンフルートやハーモニカのように演奏者が楽器を上下方向または左右方向に動かしながら演奏するような楽器を模擬する場合でも、ユーザによる直感的な操作が可能な楽音生成装置を提供することを目的とする。

上記目的を達成するために、本発明は以下の構成を採用した。

本発明の楽音生成プログラムは、ユーザの入力操作に応じて楽音信号を生成するための楽音生成プログラムであって、情報処理装置のコンピュータを、表示制御手段、移動制御手段、検出手段、入力判定手段、および生成手段として機能させる。

上記表示制御手段は、複数の音程のそれぞれに対応した複数の画像を画面に表示させる。上記移動制御手段は、第１の入力手段を通じて入力されるユーザによる第１の入力に応じて、上記表示制御手段により上記画面に表示される上記複数の画像の位置を移動させる。上記検出手段は、上記移動制御手段により移動する上記複数の画像の少なくとも１つの画像が上記画面上に固定された所定の有効位置に位置することを検出する。上記入力判定手段は、第２の入力手段を通じて入力されるユーザによる第２の入力が行われているか否かを判定する。上記生成手段は、上記入力判定手段による判定結果が肯定である場合の上記検出手段により上記画面上の上記有効位置にあることが検出された上記少なくとも１つの画像に基づいて、当該少なくとも１つの画像に対応した音程の楽音信号を生成する。

また、上記移動制御手段は、上記第１の入力に応じて、上記複数の画像を１つのまとまりとして移動させてもよい。

また、上記表示制御手段は、上記複数の画像を音程の順となるように並べて上記画面に表示させてもよい。

また、上記第１の入力手段がポインティングデバイスであり、上記移動制御手段は、上記ポインティングデバイスによる画面上の指示位置をユーザが移動させることに応じて、上記複数の画像の位置を移動させてもよい。

また、上記第１の入力手段が、上記画面上に設けられたタッチパネルであってもよい。これにより、ユーザが実際に楽器を移動させているかのような直感的な操作が可能となる。

また、上記第２の入力手段がマイクロフォンであり、上記入力判定手段は、ユーザによる上記マイクロフォンへの入力が行われているか否かを判定してもよい。

また、上記有効位置は、上記マイクロフォンから最も近い上記画面上の点を含んでもよい。これにより、より直観的な操作が可能となる。

なお、上記楽音生成プログラムは、上記コンピュータを、上記検出手段により上記画面上の上記有効位置にあることが検出された上記少なくとも１つの画像に対応する音程が、記憶手段に記憶されている楽譜データで指定されている音程と一致しているか否かを判定する音程判定手段としてさらに機能させてもよい。そして、上記生成手段は、（１）上記音程判定手段による判定結果が肯定であるときには、上記第２の入力に基づく入力値（例えば、後述する実施形態における、マイク入力の入力継続時間、マイク入力の振幅、など）が第１の閾値以上であることを条件として、上記少なくとも１つの画像に対応する音程の楽音信号を生成し、（２）上記音程判定手段による判定結果が否定であるときには、上記入力値が上記第１の閾値より大きい第２の閾値以上であることを条件として、上記少なくとも１つの画像に対応する音程の楽音信号を生成してもよい。これにより、ユーザが楽譜データと同じ楽音信号を生成しようとする場合の誤操作を防止することができると同時に、ユーザが楽譜データとは異なる楽音信号を生成することも可能になる。

また、上記表示制御手段は、上記有効位置に所定の標識を表示する標識表示制御手段を含んでもよい。これにより、ユーザが有効位置を容易に認識することができ、操作性が向上する。

また、上記表示制御手段は、上記検出手段により上記画面上の上記有効位置にあることが検出された上記少なくとも１つの画像に応じて、上記標識の色を変更する標識色変更手段を含んでもよい。これにより、有効位置に位置する画像をユーザが容易に認識することができ、操作性が向上する。

また、上記楽音生成プログラムは、上記第１の入力または上記第２の入力に応じて、上記有効位置の大きさを変更する変更手段として上記コンピュータをさらに機能させてもよい。これにより、より多彩な楽音信号を生成することが可能となる。

なお、上記楽音生成プログラムは、コンピュータ読み取り可能な記憶媒体（例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなど）に格納されてもよい。

本発明の楽音生成装置は、ユーザの入力操作に応じて楽音信号を生成する楽音生成装置であって、表示制御手段、移動制御手段、検出手段、入力判定手段、および生成手段を備える。

上記表示制御手段は、複数の音程のそれぞれに対応した複数の画像を画面に表示させる。上記移動制御手段は、第１の入力手段を通じて入力されるユーザによる第１の入力に応じて、上記表示制御手段により上記画面に表示される上記複数の画像の位置を移動させる。上記検出手段は、上記移動制御手段により移動する上記複数の画像の少なくとも１つの画像が上記画面上に固定された所定の有効位置に位置することを検出する。上記入力判定手段は、第２の入力手段を通じて入力されるユーザによる第２の入力が行われているか否かを判定する。上記生成手段は、上記入力判定手段による判定結果が肯定である場合の上記検出手段により上記画面上の上記有効位置にあることが検出された上記少なくとも１つの画像に基づいて、当該少なくとも１つの画像に対応した音程の楽音信号を生成する。
また、本発明は、上記各手段を備える楽音生成システムや、上記各手段で行われる動作を含む楽音生成方法の形態で実施されてもよい。

本発明によれば、例えば、パンフルートやハーモニカのように演奏者が楽器を上下方向または左右方向に動かしながら演奏するような楽器を模擬する場合でも、ユーザによる直感的な操作が可能となる。

本発明の一実施形態に係るゲーム装置の外観図ゲーム装置の内部構成図ゲームプレイ中に表示される画像の一例を示す図ユーザによるタッチ操作の一例を示す図ユーザによるタッチ操作の一例を示す図ユーザによるタッチ操作の一例を示す図ユーザによるタッチ操作の一例を示す図ＲＡＭのメモリマップの一例を示す図ＣＰＵコアによって実行される処理の流れを示す図特定の入力操作に対する出力楽音信号の一例を示す図特定の入力操作に対する出力楽音信号の一例を示す図変形例においてゲームプレイ中に表示される画像の一例を示す図有効位置表示画像の幅を決定するためのパラメータの一例を示す図変形例において特定の入力操作に対する出力楽音信号の一例を示す図変形例において特定の入力操作に対する出力楽音信号の一例を示す図

以下、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係るゲーム装置の外観図である。ただし、本発明は、携帯型のゲーム装置に限らず、据置型のゲーム装置にも適用可能である。さらに、本発明はゲーム装置に限らず、映像コンテンツ表示機能を有する任意の情報処理装置（例えば、パーソナルコンピュータや携帯電話やテレビジョン受像器やＤＶＤプレイヤ等）に適用可能である。

図１において、ゲーム装置１０は、第１のＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶表示装置）１１および第２のＬＣＤ１２を含む。ハウジング１３は上側ハウジング１３ａと下側ハウジング１３ｂとによって構成されている。第１のＬＣＤ１１は上側ハウジング１３ａに収納され、第２のＬＣＤ１２は下側ハウジング１３ｂに収納される。第１のＬＣＤ１１および第２のＬＣＤ１２の解像度はいずれも２５６ｄｏｔ×１９２ｄｏｔである。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用することができる。また任意の解像度のものを利用することができる。

上側ハウジング１３ａには、後述する１対のスピーカ（図３の３０ａおよび３０ｂ）からの音を外部に放出するための音抜き孔１８ａおよび１８ｂが形成されている。また、上側ハウジング１３ａと下側ハウジング１３ｂとを開閉可能に接続するヒンジ部にはマイクロフォン用孔３３が設けられている。

下側ハウジング１３ｂには、入力装置として、十字スイッチ１４ａ、スタートスイッチ１４ｂ、セレクトスイッチ１４ｃ、Ａボタン１４ｄ、Ｂボタン１４ｅ、Ｘボタン１４ｆ、およびＹボタン１４ｇが設けられている。また、下側ハウジング１３ｂの側面には、図示しないＬボタンおよびＲボタンが設けられている。また、さらなる入力装置として、第２のＬＣＤ１２の画面上にタッチパネル１５が装着されている。下側ハウジング１３ｂの側面には、電源スイッチ１９、メモリカード１７を接続するための挿入口３５（図１に示す一点鎖線）、スティック１６を収納するための挿入口３６（図１に示す点線）が設けられている。

タッチパネル１５としては、例えば抵抗膜方式や光学式（赤外線方式）や静電容量結合式など、任意の方式のものを利用することができる。タッチパネル１５は、スティック１６に限らず指で操作することも可能である。本実施形態では、タッチパネル１５として、第２のＬＣＤ１２の解像度と同じく２５６ｄｏｔ×１９２ｄｏｔの解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１５の解像度と第２のＬＣＤ１２の解像度が一致している必要はない。

メモリカード１７は、ゲームプログラムを記憶するＲＯＭ１７ａと、バックアップデータを書き換え可能に記憶するフラッシュ１７ｂを搭載し、下側ハウジング１３ｂに設けられた挿入口３５に着脱自在に装着される。図１では省略するが、挿入口３５の奥部には、メモリカード１７の挿入方向先端部に設けられるコネクタと接合するためのコネクタ２３（図２参照）が設けられている。メモリカード１７が挿入口３５に挿入されると、コネクタ同士が接合され、ゲーム装置１０のＣＰＵコア２１（図２参照）がメモリカード１７にアクセス可能となる。

次に、図２を参照してゲーム装置１０の内部構成を説明する。図２は、ゲーム装置１０の内部構成を示すブロック図である。図２において、ハウジング１３に収納される電子回路基板２０には、ＣＰＵコア２１が実装される。ＣＰＵコア２１には、バス２２を介して、コネクタ２３が接続されるとともに、入出力インターフェース回路（図面ではＩ／Ｆ回路と記す）２５、第１ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２６、第２ＧＰＵ２７、ＲＡＭ２４、およびＬＣＤコントローラ３１、およびワイヤレス通信部３４が接続される。コネクタ２３には、メモリカード１７が着脱自在に接続される。Ｉ／Ｆ回路２５には、タッチパネル１５、左スピーカ３０ａ、右スピーカ３０ｂ、図１の十字スイッチ１４ａやＡボタン１４ｄ等から成る操作スイッチ部１４、およびマイクロフォン３７が接続される。左スピーカ３０ａと右スピーカ３０ｂは、音抜き孔１８ａ、１８ｂの内側にそれぞれ配置される。マイクロフォン３７は、マイクロフォン用孔３３の内側に配置される。

第１ＧＰＵ２６には、第１ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）２８が接続され、第２ＧＰＵ２７には、第２ＶＲＡＭ２９が接続される。第１ＧＰＵ２６は、ＣＰＵコア２１からの指示に応じて第１の表示画像を生成し、第１ＶＲＡＭ２８に描画する。第２ＧＰＵ２７は、同様にＣＰＵコア２１からの指示に応じて第２の表示画像を生成し、第２ＶＲＡＭ２９に描画する。第１ＶＲＡＭ２８および第２ＶＲＡＭ２９はＬＣＤコントローラ３１に接続されている。

ＬＣＤコントローラ３１はレジスタ３２を含む。レジスタ３２はＣＰＵコア２１からの指示に応じて０または１の値を記憶する。ＬＣＤコントローラ３１は、レジスタ３２の値が０の場合は、第１ＶＲＡＭ２８に描画された第１の表示画像を第１のＬＣＤ１１に出力し、第２ＶＲＡＭ２９に描画された第２の表示画像を第２のＬＣＤ１２に出力する。また、レジスタ３２の値が１の場合は、第１ＶＲＡＭ２８に描画された第１の表示画像を第２のＬＣＤ１２に出力し、第２ＶＲＡＭ２９に描画された第２の表示画像を第１のＬＣＤ１１に出力する。

ワイヤレス通信部３４は、他のゲーム装置のワイヤレス通信部との間で、データを送受信する機能を有している。また、ゲーム装置１０は、ワイヤレス通信部３４を介してインターネット等の広域ネットワークに接続することが可能であり、ネットワークを介して他のゲーム装置との間で通信を行うことも可能である。

本実施形態では、ゲーム装置１０のＣＰＵコア２１は、メモリカード１７のＲＯＭ１７ａ等からＲＡＭ２４にロードされた楽音生成プログラムを実行する。以下、図３〜図７を参照して、楽音生成プログラムに基づくゲーム装置１０の動作の概要を説明する。

図３は、楽音生成プログラムに基づいて第１のＬＣＤ１１および第２のＬＣＤ１２に表示される初期画像を示している。図３において、第１のＬＣＤ１１には、楽譜４０とキャラクタ４１が表示され、第２のＬＣＤ１２には、パンフルート４２が表示される。

楽譜４０は、演奏すべき楽曲の楽譜を示す画像である。キャラクタ４１は、仮想ゲーム世界においてパンフルートを演奏するキャラクタを示す画像である。

パンフルート４２は、互いに異なる音程に対応する６本のパイプ（第１パイプ４２ａ〜第６パイプ４２ｆ）で構成されている。本実施形態では、第１パイプ４２ａは音程「Ａ」に対応し、第２パイプ４２ｂは音程「Ｂ」に対応し、第３パイプ４２ｃは音程「Ｃ」に対応し、第４パイプ４２ｄは音程「Ｄ」に対応し、第５パイプ４２ｅは音程「Ｅ」に対応し、第６パイプ４２ｆは音程「Ｆ」に対応している（図８参照）。これらの６本のパイプは、それぞれ異なる色で表示されている。本実施形態では、第１パイプ４２ａは「白」で表示され、第２パイプ４２ｂは「赤」で表示され、第３パイプ４２ｃは「青」で表示され、第４パイプ４２ｄは「緑」で表示され、第５パイプ４２ｅは「黄」で表示され、第６パイプ４２ｆは「黒」で表示される（図８参照）。

ユーザがタッチパネル１５上の任意の点をスティック１６でタッチすると、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画像が、図４に示すような画像に変化する。すなわち、パンフルート４２の表示位置が、図３に示した初期位置から、図４に示すような演奏位置（初期位置よりも画面の上方向に少しずれた位置）へと変化する。さらに、画面の垂直方向に延びる線状の有効位置表示画像４３が表示される。有効位置表示画像４３の詳細については後述する。なお、ユーザがタッチパネル１５からスティック１６を離すと、第１のＬＣＤ１１および第２のＬＣＤ１２の表示画像は、図３に示した初期画像に戻る。

ユーザは、タッチパネル１５をスティック１６でタッチしたまま、タッチ位置を画面の水平方向にずらす（以下、このような操作を“スライド操作”と称す）ことによって、第１のＬＣＤ１１および第２のＬＣＤ１２に表示されているパンフルート４２の位置を画面の水平方向に移動させることができる。

図５は、図４の状態からユーザが画面の右方向にスライド操作をしたときの様子を示している。ユーザが画面の右方向にスライド操作を行うと、それに応じてパンフルート４２が画面の右方向に移動する。パンフルート４２の移動量は、スライド操作の移動量に比例する。

なお、有効位置表示画像４３の色は、有効位置表示画像４３と重なって表示されているパイプと同じ色となる。したがって、図５の状態においては、有効位置表示画像４３の色は、有効位置表示画像４３と重なって表示されている第２パイプ４２ｂと同じ「赤」となる。

図５の状態において、ユーザがマイクロフォン用孔３３に向けて息を吹きかけると、その時点で有効位置表示画像４３と重なって表示されている第２パイプ４２ｂに対応する音程「Ｂ」の楽音が、音抜き孔１８ａ、１８ｂを通じて出力される。すなわち、ユーザがマイクロフォン用孔３３に向けて息を吹きかけると、その時点で有効位置表示画像４３と重なって表示されているパイプに対応する音程の楽音が出力される。

なお、本実施形態では、図３のようにユーザがスティック１６でタッチパネル１５をタッチしていない状態では、ユーザがマイクロフォン用孔３３に向けて息を吹きかけたとしても楽音は出力されない。

図６は、図５の状態からユーザが画面の左方向にスライド操作をしたときの様子を示している。ユーザが画面の左方向にスライド操作を行うと、それに応じてパンフルート４２が画面の左方向に移動する。パンフルート４２の移動量は、スライド操作の移動量に比例する。

なお、有効位置表示画像４３の色は、有効位置表示画像４３と重なって表示されている第３パイプ４２ｃと同じ「青」となる。

図６の状態において、ユーザがマイクロフォン用孔３３に向けて息を吹きかけると、その時点で有効位置表示画像４３と重なって表示されている第３パイプ４２ｃに対応する音程「Ｃ」の楽音が、音抜き孔１８ａ、１８ｂを通じて出力される。

図７は、図６の状態からユーザがさらに画面の左方向にスライド操作をしたときの様子を示している。ユーザがさらに画面の左方向にスライド操作を行うと、それに応じてパンフルート４２が図６の状態からさらに画面の左方向に移動する。

なお、有効位置表示画像４３の色は、有効位置表示画像４３と重なって表示されている第６パイプ４２ｆと同じ「黒」となる。

図７の状態において、ユーザがマイクロフォン用孔３３に向けて息を吹きかけると、その時点で有効位置表示画像４３と重なって表示されている第６パイプ４２ｆに対応する音程「Ｆ」の楽音が、音抜き孔１８ａ、１８ｂを通じて出力される。

以上のように、ユーザは、有効位置表示画像４３によって示される位置に所望の音程に対応するパイプが来るようにスライド操作によってパンフルート４２を移動させて、マイクロフォン用孔３３に向けて息を吹きかけることにより、所望の音程の楽音を出力させることができる。

なお、ユーザが楽譜４０の通りに正しく楽曲を演奏できたか否かをゲーム装置１０が判定して、その判定結果に応じて仮想ゲーム世界に所定のイベント（例えば、キャラクタ４１が褒美を獲得するなど）を発生させるようにしてもよい。

次に、楽音生成プログラムに基づくゲーム装置１０の動作について、さらに詳細に説明する。

図８は、楽音生成プログラムの実行時にＲＡＭ２４に格納されているプログラムおよびデータの一部を示している。ＲＡＭ２４には、楽音生成プログラム、パンフルートデータ、画像データ、楽譜データ、楽音データなどが格納されている。

パンフルートデータには、第１パイプ４２ａ〜第６パイプ４２ｆの各パイプの音程、色、位置（仮想ゲーム空間における位置）を示すデータが含まれている。なお、各パイプの位置は、前述のスライド操作に応じて更新される。

画像データには、パンフルート画像、有効位置表示画像、キャラクタ画像、楽譜画像が含まれている。

楽譜データは、ユーザが演奏すべき楽曲を示すデータ（例えば、複数の音程を時系列で並べたデータ）である。

楽音データは、パンフルートの音色の楽音信号を生成するためのデータである。

次に、図９のフローチャートを参照して、楽音生成プログラムに基づくゲーム装置１０のＣＰＵコア２１の処理の流れを説明する。

楽音生成プログラムの実行が開始されると、ＣＰＵコア２１は、まずステップＳ１０において初期処理を行う。この初期処理には、例えば、図３に示した初期画面を表示する処理や、後述の入力継続時間カウンタに初期値として０をセットする処理などが含まれる。その後、処理はステップＳ１２に進む。

ステップＳ１２では、ＣＰＵコア２１は、タッチパネル１５からの信号に基づいて、タッチ入力があるか否か（すなわち、ユーザがスティック１６や指などでタッチパネル１５にタッチしているか否か）を判定する。そして、タッチ入力がある場合には処理はステップＳ１８に進み、タッチ入力が無い場合には処理はステップＳ１４に進む。

ステップＳ１４では、ＣＰＵコア２１は、パンフルート４２を前述の初期位置（図３参照）に表示する。その後、処理はステップＳ１６に進む。

ステップＳ１６では、ＣＰＵコア２１は、入力継続時間カウンタを０にリセットする。入力継続時間カウンタとは、有効位置表示画像４３と重なっているパイプが変化しない状態でユーザがマイクロフォン用孔３３に継続的に息を吹きかけている時間を計測するためのタイマであって、そのカウント値はＲＡＭ２４に記憶され、ＣＰＵコア２１によって更新される（後述のステップＳ４０）。その後、処理はステップＳ１２に戻る。

ステップＳ１８では、ＣＰＵコア２１は、パンフルート４２を前述の演奏位置（図４〜図７参照）に表示する。その後、処理はステップＳ２０に進む。

ステップＳ２０では、ＣＰＵコア２１は、タッチパネル１５からの信号に基づいて検出されるタッチ位置（２次元座標値）を、ＲＡＭ２４に記憶する。その後、処理はステップＳ２２に進む。

ステップＳ２２では、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている最新のタッチ位置と、その直前のタッチ位置とに基づいて、画面の水平方向に関するタッチ位置の移動量を計算する。その後、処理はステップＳ２４に進む。

ステップＳ２４では、ＣＰＵコア２１は、ステップＳ２２で計算されたタッチ位置の移動量に応じて、仮想ゲーム空間においてパンフルート４２を移動させる。具体的には、例えば、ステップＳ２２で計算されたタッチ位置の移動量に応じて、ＲＡＭ２４に記憶されているパンフルートデータ（図８参照）における各パイプの位置（Ｘａ〜Ｘｆ）を更新する。その後、処理はステップＳ２６に進む。

ステップＳ２６では、ＣＰＵコア２１は、ステップＳ２４で更新された各パイプの位置（Ｘａ〜Ｘｆ）に基づいて、第１パイプ４２ａ〜第６パイプ４２ｆのうち、有効位置に位置しているパイプ（すなわち、有効位置表示画像４３と重なって表示されているパイプ）を特定し、そのパイプを識別するための情報をＲＡＭ２４に記憶する。その後、処理はステップＳ２８に進む。

ステップＳ２８では、ＣＰＵコア２１は、ステップＳ２４でパンフルート４２を移動させた結果、有効位置に位置するパイプが変化したか否か（すなわち、或るパイプから別のパイプに変化したか否か）を判定する。そして、有効位置に位置するパイプが変化した場合には、処理はステップＳ３０に進み、有効位置に位置するパイプが変化していない場合には処理はステップＳ３２に進む。

ステップＳ３０では、ＣＰＵコア２１は、入力継続時間カウンタを０にリセットする。その後、処理はステップＳ３２に進む。

ステップＳ３２では、ＣＰＵコア２１は、有効位置に位置するパイプに応じて、有効位置表示画像４３の色を決定する。具体的には、ＲＡＭ２４に記憶されているパンフルートデータ（図８参照）に基づいて、有効位置に位置するパイプの色を取得し、当該パイプと同じ色に、有効位置表示画像４３の色を決定する。その後、処理はステップＳ３４に進む。

ステップＳ３４では、ＣＰＵコア２１は、ステップＳ３２で決定された色で、有効位置表示画像４３を表示する。

ステップＳ３６では、マイクロフォン３７からの入力信号に基づいて、マイク入力があるか否か（すなわち、ユーザがマイクロフォン用孔３３に息を吹きかけているか否か）を判定する。そして、マイク入力がある場合には処理はステップＳ４０に進み、マイク入力が無い場合には処理はステップＳ３８に進む。

なお、マイク入力があるか否かを判定するための手法としては、種々の手法が考えられる。例えば、マイクロフォン３７からの入力信号の振幅（すなわち、マイク入力の音量）に基づいて判定しても良い。また、マイクロフォン３７からの入力信号の波形の特徴を分析することによって、ユーザがマイクロフォン用孔３３に息を吹きかけているのか、それとも単に言葉を発しているのかを判別し、ユーザがマイクロフォン用孔３３に息を吹きかけている場合にのみ、マイク入力があると判定してもよい（例えば、特開２００６−１４５８５１号公報の段落［００８５］〜［００９６］を参照）。

ステップＳ３８では、ＣＰＵコア２１は、入力継続時間カウンタを０にリセットする。その後、処理はステップＳ１２に戻る。

ステップＳ４０では、ＣＰＵコア２１は、入力継続時間カウンタをカウントアップ（例えば、カウント値をインクリメント）する。その後、処理はステップＳ４２に進む。

ステップＳ４２では、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている楽譜データを参照して、有効位置に位置するパイプの音程が、楽譜に規定されている音程（すなわち、その時点においてユーザが演奏すべき音程）と一致するか否かを判定する。そして、それらの音程が一致する場合には処理はステップＳ４４に進み、一致しない場合には処理はステップＳ４６に進む。

ステップＳ４４では、ＣＰＵコア２１は、入力継続時間カウンタのカウント値が、予め定められた第１閾値ΔＴ１以上か否かを判定する。そして、入力継続時間カウンタのカウント値が第１閾値ΔＴ１以上である場合には処理はステップＳ４８に進み、そうでない場合には処理はステップＳ１２に戻る。なお、第１閾値ΔＴ１は、０以上の値であればよい。

ステップＳ４６では、ＣＰＵコア２１は、入力継続時間カウンタのカウント値が、予め定められた第２閾値ΔＴ２以上か否かを判定する。なお、当該第２閾値ΔＴ２は、上記第１閾値ΔＴ１よりも大きい値である。そして、入力継続時間カウンタのカウント値が第２閾値ΔＴ２以上である場合には処理はステップＳ４８に進み、そうでない場合には処理はステップＳ１２に戻る。

ステップＳ４８では、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている楽音データに基づいて、有効位置に位置するパイプの音程に対応する楽音信号を生成し、左スピーカ３０ａおよび右スピーカ３０ｂへ出力する。その後、処理はステップＳ１２に戻る。

なお、本実施形態では、ステップＳ４２の判定結果に応じて、ステップＳ４４およびステップＳ４６で利用する閾値（第１閾値ΔＴ１、第２閾値ΔＴ２）の大きさを変えている。以下、図１０および図１１を参照して、その意義について説明する。

まず、図１０を参照して、ユーザが楽譜通りに演奏を行う場合について説明する。ここでは、楽譜には音程「Ｂ」→音程「Ｃ」→音程「Ｆ」の順に音程が並んでおり、ユーザがこの通りに演奏するものとする。

ユーザは、まず時刻ｔ１で、音程「Ｂ」の楽音信号を出力させるための準備として、音程「Ｂ」に対応する第２パイプ４２ｂを有効位置へと移動させる。そして、時刻ｔ２で、ユーザはマイクロフォン用孔３３へ息を吹きかけ始める。その結果、時刻ｔ２から入力継続時間カウンタのカウントアップが開始される。このとき、演奏すべき楽譜の音程（ここでは「Ｂ」）と、有効位置に位置するパイプの音程（ここでは「Ｂ」）とが一致しているので、時刻ｔ２から第１閾値ΔＴ１に相当する時間が経過した時点で、音程「Ｂ」の楽音信号の出力が開始される。

その後、ユーザはマイクロフォン用孔３３へ継続的に息を吹きかけつつ、時刻ｔ３で、音程「Ｃ」に対応する第３パイプ４２ｃを有効位置へと移動させる。その結果、時刻ｔ３で入力継続時間カウンタがリセットされて、再びカウントアップが開始される。このとき、演奏すべき楽譜の音程（ここでは「Ｃ」）と、有効位置に位置するパイプの音程（ここでは「Ｃ」）とが一致しているので、時刻ｔ３から第１閾値ΔＴ１に相当する時間が経過した時点で、音程「Ｃ」の楽音信号の出力が開始される。

その後、ユーザはマイクロフォン用孔３３へ継続的に息を吹きかけつつ、時刻ｔ６で、音程「Ｆ」に対応する第６パイプ４２ｆを有効位置へと移動させる。しかしながら、ユーザがスライド操作によって第６パイプ４２ｆを有効位置へと移動させる過程で、第４パイプ４２ｄおよび第５パイプ４２ｅが有効位置を素早く横切ることになる。具体的には、時刻ｔ４〜ｔ５の期間は、第４パイプ４２ｄが有効位置に位置することになり、時刻ｔ５〜ｔ６の期間は、第５パイプ４２ｅが有効位置に位置することになる。

ここで、時刻ｔ４〜ｔ５の期間および時刻ｔ５〜ｔ６の期間は、いずれも、第１閾値ΔＴ１に対応する時間よりも長く、且つ第２閾値ΔＴ２に対応する時間よりも短いものとする。この場合、もし仮に、時刻ｔ４から第１閾値ΔＴ１に相当する時間が経過した時点で音程「Ｄ」の楽音信号の出力が開始されてしまうとすると、ユーザの意図に反して音程「Ｄ」の楽音信号が出力されることになってしまい、操作性が良くないという印象をユーザに与えてしまう。しかしながら、本実施形態によれば、演奏すべき楽譜の音程（ここでは「Ｃ」）と、有効位置に位置するパイプの音程（ここでは「Ｄ」）とが一致していないので、時刻ｔ４から第２閾値ΔＴ２に相当する時間が経過しない限り、音程「Ｄ」の楽音信号は出力されない。その結果、ユーザの意図に反して音程「Ｄ」の楽音信号が出力されてしまうことはない。時刻ｔ５〜ｔ６の期間についても同様に、ユーザの意図に反して音程「Ｅ」の楽音信号が出力されてしまうことはない。

次に、図１１を参照して、ユーザが意図的に楽譜と異なる演奏を行う場合について説明する。ここでは、楽譜には音程「Ｂ」→音程「Ｃ」→音程「Ｆ」の順に音程が並んでおり、ユーザは音程「Ｂ」→音程「Ｃ」→音程「Ｄ」の順に演奏するものとする。

その後、ユーザはマイクロフォン用孔３３へ継続的に息を吹きかけつつ、時刻ｔ６で、音程「Ｄ」に対応する第４パイプ４２ｄを有効位置へと移動させる。その結果、時刻ｔ６で入力継続時間カウンタがリセットされて、再びカウントアップが開始される。このとき、演奏すべき楽譜の音程（ここでは「Ｆ」）と、有効位置に位置するパイプの音程（ここでは「Ｄ」）とが一致していないので、時刻ｔ６から第２閾値ΔＴ２に相当する時間が経過した時点で、音程「Ｄ」の楽音信号の出力が開始される。

このように、楽譜の音程と、ユーザが演奏したいと思う音程とが一致していない場合でも、第２閾値ΔＴ２に相当する時間が経過した時点で、ユーザが演奏したいと思う音程に対応する楽音信号の出力が開始される。よって、ユーザは、楽譜通りに演奏するだけでなく、任意にアレンジして楽曲を演奏することが可能となる。

以上のように、ステップＳ４２の判定結果に応じて、ステップＳ４４およびステップＳ４６で利用する閾値（第１閾値ΔＴ１、第２閾値ΔＴ２）の大きさを変えることによって、（１）楽譜通りに演奏するときの操作性を向上させることと、（２）楽譜にとらわれずに演奏可能にすること、の両方を実現している。

以上のように、本実施形態によれば、ユーザはタッチパネル１５を利用したスライド操作によってパンフルート４２を画面の水平方向に移動させることができ、音を鳴らしたいパイプを有効位置に移動させた状態でマイクロフォン用孔３３へ息を吹きかけることによって、そのパイプに対応する音程の楽音信号を出力させることができる。したがって、ユーザはあたかも本当にパンフルートを演奏しているかのような直感的な操作によって、パンフルートの音色の楽音信号を出力させることができる。

なお、より直感的な操作を可能にするために、有効位置は、マイクロフォン用孔３３の位置（すなわちマイクロフォン３７の位置）の位置から最も近い画面上の点を含むことが好ましい。例えば、本実施形態のように、有効位置が線状である場合には、マイクロフォン用孔３３の位置から最も近い画面上の点を通るように有効位置が設定されるのが好ましい（図４参照）。これにより、ユーザは、マイクロフォン用孔３３に向けて息を吹きかけることで、あたかも有効位置に位置するパイプに向けて息を吹きかけている感覚を得ることができ、より直感的な操作が可能となる。

また、本実施形態によれば、ユーザはタッチパネル１５を利用したスライド操作によってパンフルート４２を画面の水平方向に移動させることができるので、１画面内に収まらないような、多数のパイプを有する横長のパンフルートであっても演奏することが可能である。

また、本実施形態によれば、ユーザは有効位置の近傍だけを見て演奏することができるので、演奏中に視線をあちこちに移動させる必要が無いので、操作が楽であり、操作ミスも減る。このような効果は、画面が横長のワイド画面である場合には、より顕著となる。

また、本実施形態によれば、有効位置を示す標識（有効位置表示画像４３）が表示されるので、ユーザは有効位置を容易に把握することができる。また、有効位置に位置するパイプの色に応じて、有効位置表示画像４３の色が変化するので、ユーザは、有効位置に位置するパイプがどのパイプであるかを、有効位置表示画像４３の色に基づいて、容易に把握することができる。なお、同様の効果を達成するために、有効位置表示画像４３の色を変更する代わりに、有効位置に位置するパイプを、他のパイプと区別するために強調表示（例えば、そのパイプだけ色を変更したり、輪郭線を太くしたり、など）するようにしてもよい。

なお、上記実施形態は単なる一例に過ぎず、種々の変形例が考えられる。以下、上記実施形態の種々の変形例について説明する。

本実施形態では、第１のＬＣＤ１１と第２のＬＣＤ１２の２つの画面を利用しているが、他の実施例では、１つの画面だけを利用するようにしてもよい。

本実施形態では、タッチパネル１５を利用してパンフルート４２を移動させているが、タッチパネル１５の代わりに、別の入力装置を利用してパンフルート４２を移動させてもよい。例えば、画面上の位置を指示することのできるポインティングデバイス（マウス、トラックボール、タッチパネル、タッチパッドなど）を利用してパンフルート４２を移動させてもよいし、十字スイッチ１４ａのように方向を指示することのできる入力装置を利用してパンフルート４２を移動させてもよい。

本実施形態では、マイク入力があったことに応じて楽音信号を生成しているが、他の実施例では、マイク入力の代わりに、別の入力装置からの入力を利用して楽音信号を生成するようにしてもよい。例えば、所定のボタン操作（例えば、Ａボタン１４ｄの押下）があったことに応じて楽音信号を生成するようにしてもよい。

本実施形態では、パンフルートを演奏する場合について説明したが、本発明はパンフルートに限らず、他の任意の楽器（架空の楽器であってもよい）にも適用できる。特に、パンフルートやハーモニカのように、演奏者が楽器を上下方向または左右方向に動かしながら演奏するような楽器に本発明は好適である。

本実施形態では、楽譜４０およびキャラクタ４１を表示しているが、他の実施例では、楽譜４０やキャラクタ４１が表示されなくてもよい。

本実施形態では、有効位置に位置するパイプの色に応じて、有効位置表示画像４３の色を変化させているが、他の実施例では、有効位置表示画像４３の色は固定であってもよい。また、６本のパイプの色も同一であってもよい。また、有効位置表示画像４３が表示されなくてもよい。

本実施形態では、基本的に楽譜データに基づいてユーザがパンフルートを演奏しているが、他の実施例では、楽譜データが存在せず、ユーザが完全に自由にパンフルートを演奏できるようにしてもよい。

本実施形態では、ステップＳ４２の判定結果に応じて、ステップＳ４４およびステップＳ４６で利用する閾値（第１閾値ΔＴ１、第２閾値ΔＴ２）の大きさを変えているが、これは必須ではなく、共通の閾値を用いるようにしてもよい。

本実施形態では、ユーザの左右方向のスライド操作に応じて、パンフルートを画面の水平方向に移動させているが、他の実施例では、ユーザの上下方向のスライド操作に応じて、楽器を画面の垂直方向に移動させてもよい。さらには、ユーザの任意の方向のスライド操作に応じて、楽器を画面の任意の方向に移動させてもよい。

本実施形態では、有効位置を固定にしているが、これは必須ではなく、例えば、演奏の開始前に、ユーザが所望の位置に有効位置を変更することができるようにしてもよい。

本実施形態では、有効位置が線状であるが、これは必須ではなく、図１２に示すように、有効位置（もしくは有効領域）の幅（すなわち、有効位置表示画像４３の幅ΔＷ）を大きくし、同時に複数のパイプが有効位置に位置し得るようにしてもよい。この場合、有効位置に位置する複数のパイプ（図１２の例では第２パイプ４２ｂ、第３パイプ４２ｃ、第４パイプ４２ｃ）に対応する複数の音程を合成した楽音信号が出力されるようにしてもよい。また、有効位置の大きさ（幅や高さなど）を、ユーザの入力操作（マイク入力やタッチ入力やボタン入力）に応じて変更するようにしてもよい。例えば、図１３に示すように、マイクロフォン３７から入力される信号の振幅が予め定められた閾値Ｔｈ１から閾値Ｔｈ２まで増加するのに要した時間ΔＳが長い（すなわち、ユーザが比較的ゆっくりと息を吹きかけている）ほど、有効位置の幅を大きくするようにしてもよい。また例えば、ユーザが前述のスライド操作を行っているときのタッチ位置が、タッチパネル１５の上端に近いほど、有効位置の幅を大きくするようにしてもよい。

本実施形態では、マイク入力の継続時間が所定の閾値以上になったかどうかを判定して、マイク入力の継続時間が所定の閾値以上になった場合に、有効位置に位置するパイプの音程に対応する楽音信号を出力しているが、他の実施例では、他の条件の判定結果に応じて有効位置に位置するパイプの音程に対応する楽音信号を出力するようにしてもよい。例えば、マイク入力（マイクロフォン３７からの入力信号）の振幅が所定の振幅閾値以上になった場合に、有効位置に位置するパイプの音程に対応する楽音信号を出力するようにしてもよい。この場合、本実施形態と同様に、ステップＳ４２の判定結果に応じて、その振幅閾値の大きさを変えるようにしてもよい。例えば、図１４に示すように、演奏すべき楽譜の音程と、有効位置に位置するパイプの音程とが一致している場合には、マイク入力の振幅が第１の振幅閾値Ａ１以上になったときに楽音信号を出力し、演奏すべき楽譜の音程と、有効位置に位置するパイプの音程とが一致していない場合には、マイク入力の振幅が第１振幅閾値Ａ１よりも大きい第２振幅閾値Ａ２以上になったときに楽音信号を出力してもよい。これにより、図１４に示すように、ユーザが楽譜通りに演奏しようとしているときには、ユーザの意図に反した音程の楽音信号が誤って出力されてしまうのを防止することができるとともに、図１５に示すように、楽譜の音程と、ユーザが演奏したいと思う音程とが一致していない場合でも、ユーザが演奏したいと思う音程に対応する楽音信号を出力することができる。

本実施形態では、１台のゲーム装置１０が単独で楽音生成装置として機能しているが、これは必須ではなく、複数の情報処理装置が協働することによって楽音生成装置として機能してもよい。例えば、第１の情報処理装置が、パンフルート等を画面に表示する役割と、タッチ入力およびマイク入力を受け付ける役割を担い、第２の情報処理装置が、第１の情報処理装置からの指示に応じて楽音信号を生成する役割を担うようにしてもよい。

１０ゲーム装置
１１第１のＬＣＤ
１２第２のＬＣＤ
１３ハウジング
１３ａ上側ハウジング
１３ｂ下側ハウジング
１４操作スイッチ部
１４ａ十字スイッチ
１４ｂスタートスイッチ
１４ｃセレクトスイッチ
１４ｄＡボタン
１４ｅＢボタン
１４ｆＸボタン
１４ｇＹボタン
１５タッチパネル
１６スティック
１７メモリカード
１７ａＲＯＭ
１７ｂフラッシュ
１８ａ、１８ｂ音抜き孔
１９電源スイッチ
２０電子回路基板
２１ＣＰＵコア
２２バス
２３コネクタ
２４ＲＡＭ
２５Ｉ／Ｆ回路
２６第１ＧＰＵ
２７第２ＧＰＵ
２８第１ＶＲＡＭ
２９第２ＶＲＡＭ
３０ａ右スピーカ
３０ｂ左スピーカ
３１ＬＣＤコントローラ
３２レジスタ
３３マイクロフォン用孔
３４ワイヤレス通信部
３５挿入口
３６挿入口
３７マイクロフォン
４０楽譜
４１キャラクタ
４２パンフルート
４２ａ〜４２ｆ第１パイプ〜第６パイプ
４３有効位置表示画像

Claims

ユーザの入力操作に応じて楽音信号を生成するための楽音生成プログラムであって、
情報処理装置のコンピュータを、
複数の音程のそれぞれに対応した複数の画像を画面に表示させる表示制御手段、
第１の入力手段を通じて入力されるユーザによる第１の入力に応じて、前記表示制御手段により前記画面に表示される前記複数の画像の位置を移動させる移動制御手段、
前記移動制御手段により移動する前記複数の画像の少なくとも１つの画像が前記画面上に固定された所定の有効位置に位置することを検出する検出手段、
第２の入力手段を通じて入力されるユーザによる第２の入力が行われているか否かを判定する入力判定手段、および
前記入力判定手段による判定結果が肯定である場合の前記検出手段により前記画面上の前記有効位置にあることが検出された前記少なくとも１つの画像に基づいて、当該少なくとも１つの画像に対応した音程の楽音信号を生成する生成手段として機能させる楽音生成プログラム。
前記移動制御手段は、前記第１の入力に応じて、前記複数の画像を１つのまとまりとして移動させる、請求項１に記載の楽音生成プログラム。
前記表示制御手段は、前記複数の画像を音程の順となるように並べて前記画面に表示させる、請求項１または２に記載の楽音生成プログラム。
前記第１の入力手段がポインティングデバイスであり、
前記移動制御手段は、前記ポインティングデバイスによる画面上の指示位置をユーザが移動させることに応じて、前記複数の画像の位置を移動させる、請求項１ないし３の何れかに記載の楽音生成プログラム。
前記第１の入力手段が、前記画面上に設けられたタッチパネルである、請求項４に記載の楽音生成プログラム。
前記第２の入力手段がマイクロフォンであり、
前記入力判定手段は、ユーザによる前記マイクロフォンへの入力が行われているか否かを判定する、請求項１ないし５の何れかに記載の楽音生成プログラム。
前記有効位置は、前記マイクロフォンから最も近い前記画面上の点を含む、請求項６に記載の楽音生成プログラム。
前記コンピュータを、
前記検出手段により前記画面上の前記有効位置にあることが検出された前記少なくとも１つの画像に対応する音程が、記憶手段に記憶されている楽譜データで指定されている音程と一致しているか否かを判定する音程判定手段としてさらに機能させ、
前記生成手段は、
前記音程判定手段による判定結果が肯定であるときには、前記第２の入力に基づく入力値が第１の閾値以上であることを条件として、前記少なくとも１つの画像に対応する音程の楽音信号を生成し、
前記音程判定手段による判定結果が否定であるときには、前記入力値が前記第１の閾値より大きい第２の閾値以上であることを条件として、前記少なくとも１つの画像に対応する音程の楽音信号を生成する、請求項１に記載の楽音生成プログラム。
前記表示制御手段は、前記有効位置に所定の標識を表示する標識表示制御手段を含む、請求項１ないし８の何れかに記載の楽音生成プログラム。
前記表示制御手段は、前記検出手段により前記画面上の前記有効位置にあることが検出された前記少なくとも１つの画像に応じて、前記標識の色を変更する標識色変更手段を含む、請求項９に記載の楽音生成プログラム。
前記第１の入力または前記第２の入力に応じて、前記有効位置の大きさを変更する変更手段として前記コンピュータをさらに機能させる、請求項１に記載の楽音生成プログラム。
ユーザの入力操作に応じて楽音信号を生成する楽音生成装置であって、
複数の音程のそれぞれに対応した複数の画像を画面に表示させる表示制御手段、
第１の入力手段を通じて入力されるユーザによる第１の入力に応じて、前記表示制御手段により前記画面に表示される前記複数の画像の位置を移動させる移動制御手段、
前記移動制御手段により移動する前記複数の画像の少なくとも１つの画像が前記画面上に固定された所定の有効位置に位置することを検出する検出手段、
第２の入力手段を通じて入力されるユーザによる第２の入力が行われているか否かを判定する入力判定手段、および
前記入力判定手段による判定結果が肯定である場合の前記検出手段により前記画面上の前記有効位置にあることが検出された前記少なくとも１つの画像に基づいて、当該少なくとも１つの画像に対応した音程の楽音信号を生成する生成手段を備える楽音生成装置。
ユーザの入力操作に応じて楽音信号を生成する楽音生成システムであって、
複数の音程のそれぞれに対応した複数の画像を画面に表示させる表示制御手段、
第１の入力手段を通じて入力されるユーザによる第１の入力に応じて、前記表示制御手段により前記画面に表示される前記複数の画像の位置を移動させる移動制御手段、
前記移動制御手段により移動する前記複数の画像の少なくとも１つの画像が前記画面上に固定された所定の有効位置に位置することを検出する検出手段、
第２の入力手段を通じて入力されるユーザによる第２の入力が行われているか否かを判定する入力判定手段、および
前記入力判定手段による判定結果が肯定である場合の前記検出手段により前記画面上の前記有効位置にあることが検出された前記少なくとも１つの画像に基づいて、当該少なくとも１つの画像に対応した音程の楽音信号を生成する生成手段を備える楽音生成システム。
ユーザの入力操作に応じて楽音信号を生成し、コンピュータ処理により以下の各ステップが実現される楽音生成方法であって、
複数の音程のそれぞれに対応した複数の画像を画面に表示させる表示制御ステップ、
第１の入力手段を通じて入力されるユーザによる第１の入力に応じて、前記表示制御ステップにおいて前記画面に表示される前記複数の画像の位置を移動させる移動制御ステップ、
前記移動制御ステップにおいて移動する前記複数の画像の少なくとも１つの画像が前記画面上に固定された所定の有効位置に位置することを検出する検出ステップ、
第２の入力手段を通じて入力されるユーザによる第２の入力が行われているか否かを判定する入力判定ステップ、および
前記入力判定ステップにおいて判定結果が肯定である場合、前記検出ステップにおいて前記画面上の前記有効位置にあることが検出された前記少なくとも１つの画像に基づいて、当該少なくとも１つの画像に対応した音程の楽音信号を生成する生成ステップを含む楽音生成方法。