JP5598490B2 - 演奏装置、方法及びプログラム - Google Patents

Description

本発明は、演奏装置、方法及びプログラムに関する。

従来、演奏者の演奏動作を検知すると、演奏動作に応じた楽音を発音する演奏装置が提案されている。例えば、スティック状の部材のみで打楽器音を発音する演奏装置が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムのような打楽器を打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。

このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。

特許第３５９９１１５号公報

しかしながら、特許文献１に記載の楽器ゲーム装置では、仮想的な楽器セットは撮像画面、つまり仮想的な二次元平面上に配置されているため、例えばドラムセット等の立体的な配置を反映させることができなかった。そのため、演奏者は、リアルな演奏感覚を得ることができなかった。

また、特許文献１に記載の楽器ゲーム装置のように、二次元平面であるディスプレイに表示された仮想的な楽器セットのレイアウト（配置）を変更しようする場合、ディスプレイにタッチパネル機能を設け、このタッチパネルを接触操作することで仮想的な楽器の指定、及び表示位置の変更が比較的簡単に可能になる。
しかしながら、仮想的な楽器セットが立体表示可能でかつ、そのレイアウトがディスプレイの上下左右方向だけでなく、高さ方向も反映したものである場合、レイアウトを変更すると、仮想的な楽器の水平方向への移動と高さ方向とを同一画面領域内で行うことになり、操作が困難となる。

本発明は、このような状況に鑑みてなされたものであり、仮想的な楽器セットの配置を立体的な配置とすることにより、演奏者がリアルな演奏感覚を得ることができる演奏装置、方法及びプログラムを提供することを目的とする。

また、タッチパネル機能等により、立体的な仮想楽器セットのレイアウトを変更する際に、仮想的な楽器の水平方向への移動と高さ方向の変更操作とを容易に行うことができる演奏装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の演奏装置は、
予め定められた仮想平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶するメモリと、
演奏者が保持可能な演奏部材の、演奏操作時におけるピッチ角を検出するピッチ角センサと、
前記演奏部材を、所定の撮像平面上における被写体として撮像画像を撮像すると共に、当該撮像平面を前記仮想平面として前記演奏部材の位置座標を検出する撮像装置と、
所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させる表示制御手段と、
前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記メモリに記憶されたレイアウト情報に基づいて前記仮想平面上に配置された複数の領域のいずれかに属するか否かを判別する第１判別手段と、
前記第１判別手段により領域に属すると判別された場合に、前記ピッチ角センサにより検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別する第２判別手段と、
前記第２判別手段により当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
前記第２判別手段により前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を前記所定の表示手段に表示するピッチ角表示手段と、
を備える、ことを特徴とする。

また、上記目的を達成するため、本発明の一態様の方法は、
予め定められた仮想平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶するメモリと、演奏者が保持可能な演奏部材の、演奏操作時におけるピッチ角を検出するピッチ角センサと、前記演奏部材を、所定の撮像平面上における被写体として撮像画像を撮像すると共に、当該撮像平面を前記仮想平面として前記演奏部材の位置座標を検出する撮像装置と、を有する演奏装置に用いられる方法であって、前記演奏装置が、
所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させ、
前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記メモリに記憶されたレイアウト情報に基づいて前記仮想平面上に配置された複数の領域のいずれかに属するか否かを判別し、
前記領域に属すると判別された場合に、前記ピッチ角センサにより検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別し、
当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示し、
前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を前記所定の表示手段に表示する、ことを特徴とする。
さらに、上記目的を達成するため、本発明の一態様のプログラムは、
予め定められた仮想平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶するメモリと、演奏者が保持可能な演奏部材の、演奏操作時におけるピッチ角を検出するピッチ角センサと、前記演奏部材を、所定の撮像平面上における被写体として撮像画像を撮像すると共に、当該撮像平面を前記仮想平面として前記演奏部材の位置座標を検出する撮像装置と、を有する演奏装置に用いられるコンピュータに、
所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させる表示制御ステップと、
前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記メモリに記憶されたレイアウト情報に基づいて前記仮想平面上に配置された複数の領域のいずれかに属するか否かを判別する第１判別ステップと、
前記第１判別ステップにより領域に属すると判別された場合に、前記ピッチ角センサにより検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別する第２判別ステップと、
前記第２判別ステップにより当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
前記第２判別ステップにより前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を前記所定の表示手段に表示するピッチ角表示ステップと、
を実行させることを特徴とする。

本発明によれば、仮想的な楽器セットを立体的な配置とすることにより、演奏者がよりリアルな演奏感覚を得ることができる。

また、本発明によれば、立体的な仮想楽器セットのレイアウトを変更する際に、仮想的な楽器の水平方向への移動と高さ方向の移動とを伴うレイアウト変更操作を容易に行うことができる。

本発明の演奏装置の一実施形態の概要を示す図である。 上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。 上記スティック部の斜視図である。 上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。 上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。 本発明の演奏装置の一実施形態に係るセットレイアウト情報を示す図である。 上記セットレイアウト情報が示す概念を仮想平面上で可視化した図である。 上記スティック部の処理の流れを示すフローチャートである。 上記カメラユニット部の処理の流れを示すフローチャートである。 上記センターユニット部の処理の流れを示すフローチャートである。 ショット結果の表示例をピッチ角に基づいて示す図である。 ショット結果の表示例をヨー角に基づいて示す図である。 セットレイアウト情報を調整するための画面を示す図である。 セットレイアウト情報を調整するための画面を示す図である。 セットレイアウト情報を調整するための画面を示す図である。 セットレイアウト情報を調整するための画面を示す図である。 セットレイアウト情報を調整するための画面を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態のセンターユニット部３０は、携帯電話等の小型携帯端末である。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろしたりする動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。

カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。

センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。

次に、このような本実施形態の演奏装置１の構成について具体的に説明する。

［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。

［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。

ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。

ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ｒのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｌのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。

図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。

モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。

さらに、モーションセンサ部１４のセンサ値には、演奏者がスティック部１０を持ったときの長手方向と水平面とのなす角である「ピッチ角」及び、当該長手方向と、水平面と直交する面とのなす角である「ヨー角」を検出するために必要なデータも含まれる。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり 、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ｒのマーカー特徴情報と、スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ｒのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｌのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ｒ及びスティック部１０Ｌとの間で無線通信を行うこととしてもよい。

スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。

［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。

ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ｒ、１０Ｌのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。

ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ｒ、１０Ｌの夫々のマーカー特徴情報も併せて格納する。

イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、タッチパネル制御回路３８と、を含んで構成される。

ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。

ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。

音色データ等の格納方法としては、例えば、図６にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、高さ（後述する仮想平面からの鉛直上向き方向の距離）、サイズ（仮想パッドの形状及び径など）、音色（波形データ）などが対応づけられて格納されている。
なお、本実施形態においては、上述の高さは、仮想平面からの鉛直上向き方向の距離をおいて仮想的に配置された仮想パッドをスティック部１０でショットしようとする場合に、このショットを可能とするスティック部１０のピッチ角範囲に対応している。

ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図６参照）が示す概念を仮想平面上で可視化した図である。
図７は、８個の仮想パッド８１〜８８が仮想平面上に配置されている様子を示しており、仮想パッド８１〜８８には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッド、第１２パッド、第１３パッドの８つが対応している。さらに、位置データ、サイズデータ及び高さデータに基づいて仮想パッド８１〜８８が配置されている。さらにまた、各仮想パッドに音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が仮想パッド８１〜８８に対応する領域に属し、かつ、ショット検出時におけるスティック部１０のピッチ角が仮想パッド８１〜８８の夫々について定められたピッチ角の範囲に属した場合、仮想パッド８１〜８８に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１〜８８の配置と共に後述する表示装置３５１に表示する。
また、本実施形態において、この仮想平面での位置座標は、カメラユニット部２０の撮像画像での位置座標と一致するものとする。

図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出されたセットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。なお、表示装置３５１は、後述するタッチパネル３８１を備えている。

音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。

タッチパネル制御回路３８は、タッチパネル３８１と接続され、タッチパネル３８１での接触操作を検出し、検出信号を出力する。この接触操作に応じて、ＣＰＵ３１は、仮想パッドの位置、サイズ、及び高さを調整する。なお、タッチパネル３８１は、接触操作を検出したら、検出したことを示す信号をタッチパネル制御回路３８に出力する。

［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。

［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。

本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。

続いて、ＣＰＵ１１は、ステップＳ１乃至ステップＳ３の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。

［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。

続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ｒのマーカー部１５（第１マーカー）及びスティック部１０Ｌのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。

続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。

［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。

図１０を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。

続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２４）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ２５）。ショットなしと判断した場合には、ＣＰＵ３１は、処理をステップＳ２１に移行させる。
ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報に基づいて、マーカー検出情報に含まれる位置座標が仮想パッド８１〜８８のいずれかに属するか否かを判断する。属すると判断された場合には、ＲＡＭ３３に格納された姿勢情報に含まれるピッチ角が、属すると判断された仮想パッドに対応するピッチ角の範囲に属するか否かを、ＲＡＭ３３に読み出されたセットレイアウト情報に基づいて判断する。この判断でも属すると判断された場合には、先の判断で属すると判断された仮想パッドに対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。

続いて、ＣＰＵ３１は、ショットタイミングにおけるショット結果を表示する（ステップＳ２６）。ショット結果の表示については、図１１及び図１２を参照して後述する。ステップＳ２６の処理が終了すると、ＣＰＵ３１は、センターユニット部処理を終了する。

［ショット結果の表示例］
図１１は、ショット結果の表示例をピッチ角に基づいて示す図であり、演奏者が仮想パッド８１又は仮想パッド８５をショットしようと試みたが、仮想パッド８１又は仮想パッド８５に対応する音色で発音されなかった場合の表示例が示されている。図１１（ａ）では、ショットタイミングでのスティック部１０のピッチ角がスティック部１０自体の姿勢を表示することにより示されている。図１１（ｂ）では、ショットタイミングでのスティック部１０のピッチ角が何度であるかが具体的な数値で示されている。
演奏者は、これらの表示を見ることにより、仮想パッド８１又は仮想パッド８５をショットするためには、どのくらいのピッチ角でショットすればよいのか等を学習することができる。例えば、仮想パッド８１をショットするためには、ピッチ角を０°〜１５°の範囲にすること、仮想パッド８５をショットするためには、ピッチ角を４５°〜６０°の範囲にすること、及び今回のピッチ角が３０°であったこと等を学習できる。

図１２は、ショット結果の表示例をヨー角に基づいて示す図である。図１２によれば、ショットタイミングにおいてスティック部１０は仮想パッド８４をショットしたことを示しており、さらに、スティック部１０の水平面と直交する面との角度がＲＡＭ３３に格納された姿勢情報のヨー角として、スティック部１０自体の姿勢を表示することにより示されている。演奏者は、この表示を見ることで、例えば、仮想パッド８３をショットするためには、ヨー角をどのくらい調節すればよいのか等を学習できる。

［セットレイアウト情報の位置、サイズ及び高さの調整］
図１３〜図１７の説明において、上述したタッチパネル３８１における接触操作に基づいて、ＣＰＵ３１が、仮想パッド８１〜８８等の画像を、表示回路３５を介して表示装置３５１に表示する。

図１３は、セットレイアウト情報の位置、サイズ、及び高さに基づいて、仮想パッド８１〜８８の配置が表示装置３５１に表示された様子を示す図である。演奏者は、各仮想パッドの表示領域を指でタッチしてドラッグすることによって、左右方向及び高さ方向を調整できる。これにより、各仮想パッドの左右方向及び高さ方向の調整を直感的で分かり易く行うことができる。

しかし、この方法では、表示装置３５１の一画像領域で左右方向及び高さ方向を調整するため、携帯電話等の小型携帯端末であるセンターユニット３０の表示装置３５１のような小さな画面では、タッチ操作が複雑になり、誤操作によるミスが起こり易い。そこで、表示装置３５１の画像領域を２つの領域に分けてセットレイアウト情報の変更を行う方法、図１４〜図１７を参照して説明する。

図１４は、セットレイアウト情報の位置、サイズ及び高さに基づいて、仮想パッド８１〜８８の夫々の配置が表示装置３５１に表示された様子を示す図である。表示装置３５１の表示領域は、配置表示領域３６１及び高さ表示領域３６２に分かれている。配置表示領域３６１には、セットレイアウト情報の位置、サイズに基づいた仮想パッド８１〜８８の夫々の配置が表示され、高さ表示領域３６２には、仮想パッド８５〜８８の夫々に対応する高さ調整アイコン９５〜９８が表示されている。
例えば、仮想パッド８５を例として説明すると、演奏者は、仮想パッド８５の領域をタッチして左右方向にドラッグすることで仮想パッド８５の位置を左右方向に移動させる調整を行うことができ、仮想パッド８５に対応する高さ調整アイコン９５をタッチして高さ方向にドラッグすることで仮想パッド８５の高さを調整できる。なお、他の仮想パッドについても以降の説明を含めて同様である。

また、図１５に示すように、仮想パッド８５の領域をタッチして左方向へドラッグして仮想パッド８５の位置が移動した場合、それに追従するように高さ調整アイコン９５の位置も移動する。

さらに、図１６に示すように、仮想パッド８５の領域を２本の指でタッチして互いに離反する方向に２本の指を移動させて、仮想パッド８５のサイズが大きくなった場合、それに追従するように高さ調整アイコン９５の幅も大きくなる。また、図示していないが、２本の指を互いに近づける方向に移動させると、仮想パッド８５のサイズは小さくなり、それに追従するように高さ調整アイコン９５の幅も小さくなる。

さらにまた、図１７に示すように、仮想パッド８１〜８８は、仮想パッド８１〜８４と仮想パッド８５〜８８との２つのグループに分かれており、仮想パッド８１〜８４のいずれかがタッチされることにより、仮想パッド８１〜８４の夫々に対応する高さ調整アイコン９１〜９４が表示され、仮想パッド８１〜８４の高さを調整できる。その後、仮想パッド８５〜８８のいずれかがタッチされることにより、高さ調整アイコン９５〜９８が表示され、仮想パッド８５〜８８の高さを再び調整できる。このように、仮想パッドのグループ毎に高さ調整アイコンの表示を切り替えることができる。なお、仮想パッドのグループ数は３つ以上であってもよい。

以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、ＣＰＵ３１は、スティック部１０によるショットタイミングにおいて、スティック部１０の位置座標が、セットレイアウト情報に基づいて配置された仮想パッド８１〜８８のいずれかに属したか否かを判別し、属すると判別された場合に、スティック部１０のピッチ角が、当該仮想パッドに対応する高さに応じた所定範囲に属するか否かを判別し、当該所定範囲に属すると判別された場合に、当該仮想パッドに対応する音色の楽音の発音を指示する。
よって、セットレイアウト情報の各仮想パッドにピッチ角等の情報を対応させることにより、演奏者がリアルな演奏感覚を得ることができる。

また、本実施形態においては、ＣＰＵ３１は、スティック部１０によるショットタイミングにおいて、スティック部１０のピッチ角を報知する。
よって、演奏者は、ショットタイミングにおけるピッチ角を確認できる。

また、本実施形態においては、ＣＰＵ３１は、スティック部１０によるショットタイミングにおいて、スティック部１０のピッチ角が仮想パッド８１〜８８の夫々に対応する所定範囲に属すると判別されなかった場合にスティック部１０のピッチ角を報知する。
よって、演奏者は、ショットタイミングにおけるピッチ角を確認することで、ピッチ角をどのように修正すれば的確に狙った仮想パッドをショットできるか学習できる。

また、本実施形態においては、仮想パッド８１〜８８夫々の領域の配置を表示する配置表示領域３６１と、仮想パッド８１〜８８夫々の高さを示す高さ調整アイコン９１〜９８を表示する高さ表示領域３６２と、を同一画面上の異なる領域に表示する表示装置３５１と、表示装置３５１における接触操作を検出して、検出したことを示す信号を出力するタッチパネル３８１と、を備え、ＣＰＵ３１は、タッチパネル３８１から配置表示領域３６１における接触操作を検出したことを示す信号を受信した場合に、配置表示領域３６１における接触位置と、配置表示領域３６１に表示された仮想パッド８１〜８８夫々の領域の配置とに基づいて、仮想パッド８１〜８８のうちいずれかの領域の配置を調整し、タッチパネル３８１から高さ表示領域３６２における接触操作を検出したことを示す信号を受信した場合に、高さ表示領域３６２における接触位置と、高さ表示領域３６２に表示された高さ調整アイコン９１〜９８とに基づいて仮想パッド８１〜８８のうちいずれかの高さを調整する。
よって、高さやピッチ角等の立体的な情報を有するレイアウト情報を変更する際に、仮想パッドの左右方向への移動と高さ方向の調整とを画面上の異なる領域で行うことにより、レイアウト情報の変更操作を容易に行うことができる。

また、本実施形態においては、高さ表示領域３６２に表示された高さ調整アイコン９１〜９８は、配置表示領域３６１に表示された仮想パッド８１〜８８夫々の領域の配置に対応して表示される。
よって、演奏者は、どの高さ調整アイコンをタッチして仮想パッドの高さを調整すればよいか容易に把握できる。

また、本実施形態においては、高さ表示領域３６２に表示された高さ調整アイコン９１〜９８は、配置表示領域３６１に表示された仮想パッド８１〜８８夫々の領域の配置が調整された場合、この調整された配置に追従して表示される。
よって、演奏者は、仮想パッドの配置が調整された場合であっても、どの高さ調整アイコンをタッチして仮想パッドの高さを調整すればよいか容易に把握できる。

以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

即ち、本発明が適用される演奏装置は、上記実施形態に特に限定されず、次のような構成を有するように各種各様の実施形態を取ることができる。
即ち、演奏装置は、
演奏者が保持可能な演奏部材と、
演奏操作時における前記演奏部材のピッチ角を検出するピッチ角検出手段と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶する記憶手段と、
前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記記憶手段に記憶されたレイアウト情報に基づいて前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する第１判別手段と、
前記第１判別手段により領域に属すると判別された場合に、前記ピッチ角検出手段により検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別する第２判別手段と、
前記第２判別手段により当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、を備える、ように構成することができる。
このような構成を有する演奏装置では、レイアウト情報の複数の領域夫々にピッチ角範囲の情報を対応させることにより、演奏者がリアルな演奏感覚を得ることができる。

さらに、演奏装置は、
前記演奏部材により前記演奏操作がなされたタイミングにおいて、前記演奏部材のピッチ角を報知する報知手段をさらに備える、ように構成することもできる。
よって、演奏者は、演奏操作時におけるピッチ角を確認できる。

さらに、演奏装置は、
前記報知手段は、前記第２判別手段により前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を報知する、ように構成することもできる。
よって、演奏者は、演奏操作時におけるピッチ角を確認することで、ピッチ角をどのように修正すれば的確に狙った領域を演奏できるか学習できる。

また、演奏装置は、
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面上に配置される複数の領域夫々の位置及び当該複数の領域夫々を立体表示する場合の高さに対応する高さデータを含むレイアウト情報を記憶する記憶手段と、
当該レイアウト情報の複数の領域夫々の前記撮像平面における配置と、当該レイアウト情報の複数の領域夫々の高さとを調整するレイアウト情報調整手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させるとともに、前記表示手段の高さ表示領域に前記複数の領域夫々を立体表示した場合の高さを示す画像を表示させる表示制御手段と、
前記表示手段上における接触操作を検出するタッチパネルと、
を備え、
前記レイアウト情報調整手段は、
前記配置表示領域の画面上にて接触操作を検出した場合に、前記配置表示領域における接触位置と、前記配置表示領域に表示された前記複数の領域夫々の前記撮像平面上における位置とに基づいて、前記複数の領域のいずれかの前記撮像平面上の位置を調整する配置調整手段と、
前記高さ表示領域の画面上にて接触操作を検出した場合に、前記高さ表示領域における接触位置と、前記高さ表示領域に表示された前記複数の領域夫々を立体表示した場合の高さを示す画像の位置とに基づいて、前記複数の領域のいずれかの高さを示す画像の位置を調整する高さ調整手段と、を備える、ように構成することができる。
このような演奏装置では、高さのような立体的な情報を有するレイアウト情報を変更する際に、領域の左右方向への移動と高さ方向の調整とを表示手段の異なる領域で行うことにより、レイアウト情報の変更操作を容易に行うことができる。

さらに、演奏装置は、
前記高さ表示領域に表示された前記複数の領域夫々の高さを示す画像は前記高さ表示領域内でかつ、前記配置表示領域に表示された前記複数の領域夫々の配置に対応した位置に表示される、ように構成することもできる。
よって、演奏者は、複数の領域夫々を立体表示した場合の高さを示す画像のうちどの画像を接触操作すれば所望の領域について高さを調整できるのかを容易に把握できる。

上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
演奏操作時における前記演奏部材のピッチ角を検出するピッチ角検出手段と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶する記憶手段と、
前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記記憶手段に記憶されたレイアウト情報に基づいて前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する第１判別手段と、
前記第１判別手段により領域に属すると判別された場合に、前記ピッチ角検出手段により検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別する第２判別手段と、
前記第２判別手段により当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、を備える、
ことを特徴とする演奏装置。
［付記２］
前記演奏部材により前記演奏操作がなされたタイミングにおいて、前記演奏部材のピッチ角を報知する報知手段をさらに備える、
ことを特徴とする付記１に記載の演奏装置。
［付記３］
前記報知手段は、前記第２判別手段により前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を報知する、
ことを特徴とする付記２に記載の演奏装置。
［付記４］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、前記撮像画像平面に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
演奏操作時における前記演奏部材のピッチ角を検出するステップと、
前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記記憶手段に記憶されたレイアウト情報に基づいて前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、前記検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別するステップと、
当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示するステップと、
を実行させるプログラム。
［付記５］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面上に配置される複数の領域夫々の位置及び当該複数の領域夫々を立体表示する場合の高さに対応する高さデータを含むレイアウト情報を記憶する記憶手段と、
当該レイアウト情報の複数の領域夫々の前記撮像平面における配置と、当該レイアウト情報の複数の領域夫々の高さとを調整するレイアウト情報調整手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させるとともに、前記表示手段の高さ表示領域に前記複数の領域夫々を立体表示した場合の高さを示す画像を表示させる表示制御手段と、
前記表示手段上における接触操作を検出するタッチパネルと、
を備え、
前記レイアウト情報調整手段は、
前記配置表示領域の画面上にて接触操作を検出した場合に、前記配置表示領域における接触位置と、前記配置表示領域に表示された前記複数の領域夫々の前記撮像平面上における位置とに基づいて、前記複数の領域のいずれかの前記撮像平面上の位置を調整する配置調整手段と、
前記高さ表示領域の画面上にて接触操作を検出した場合に、前記高さ表示領域における接触位置と、前記高さ表示領域に表示された前記複数の領域夫々を立体表示した場合の高さを示す画像の位置とに基づいて、前記複数の領域のいずれかの高さを示す画像の位置を調整する高さ調整手段と、を備える、
ことを特徴とする演奏装置。
［付記６］
前記高さ表示領域に表示された前記複数の領域夫々の高さを示す画像は前記高さ表示領域内でかつ、前記配置表示領域に表示された前記複数の領域夫々の配置に対応した位置に表示される、
ことを特徴とする付記５に記載の演奏装置。

１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、３８・・・タッチパネル制御回路、３８１・・・タッチパネル、８１〜８８・・・仮想パッド、９１〜９８・・・高さ調整アイコン、３６１・・・配置表示領域、３６２・・・高さ表示領域

Claims (6)

1. 予め定められた仮想平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶するメモリと、
   演奏者が保持可能な演奏部材の、演奏操作時におけるピッチ角を検出するピッチ角センサと、
   前記演奏部材を、所定の撮像平面上における被写体として撮像画像を撮像すると共に、当該撮像平面を前記仮想平面として前記演奏部材の位置座標を検出する撮像装置と、
   所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させる表示制御手段と、
   前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記メモリに記憶されたレイアウト情報に基づいて前記仮想平面上に配置された複数の領域のいずれかに属するか否かを判別する第１判別手段と、
   前記第１判別手段により領域に属すると判別された場合に、前記ピッチ角センサにより検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別する第２判別手段と、
   前記第２判別手段により当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
   前記第２判別手段により前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を前記所定の表示手段に表示するピッチ角表示手段と、
   を備える、
   ことを特徴とする演奏装置。
2. 前記レイアウト情報はさらに、前記複数の領域夫々を立体表示する場合の高さに対応する高さデータを含み、
   前記表示制御手段はさらに、前記所定の表示手段の高さ表示領域に前記複数の領域夫々を立体表示した場合の高さを示す画像を表示させる表示制御手段を有する、請求項１記載の演奏装置。
3. 前記演奏装置はさらに、
   前記レイアウト情報の複数の領域夫々の前記撮像平面における配置と、当該レイアウト情報の複数の領域夫々の高さとを調整するレイアウト情報調整手段を有する、請求項２記載の演奏装置。
4. 前記演奏装置はさらに、前記表示手段上における接触操作を検出するタッチパネルを備え、
   前記レイアウト情報調整手段は、
   前記配置表示領域の画面上にて接触操作を検出した場合に、前記配置表示領域における接触位置と、前記配置表示領域に表示された前記複数の領域夫々の前記撮像平面上における位置とに基づいて、前記複数の領域のいずれかの前記撮像平面上の位置を調整する配置調整手段と、
   前記高さ表示領域の画面上にて接触操作を検出した場合に、前記高さ表示領域における接触位置と、前記高さ表示領域に表示された前記複数の領域夫々を立体表示した場合の高さを示す画像の位置とに基づいて、前記複数の領域のいずれかの高さを示す画像の位置を調整する高さ調整手段と、
   を備える、請求項３に記載の演奏装置。
5. 予め定められた仮想平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶するメモリと、演奏者が保持可能な演奏部材の、演奏操作時におけるピッチ角を検出するピッチ角センサと、前記演奏部材を、所定の撮像平面上における被写体として撮像画像を撮像すると共に、当該撮像平面を前記仮想平面として前記演奏部材の位置座標を検出する撮像装置と、を有する演奏装置に用いられる方法であって、前記演奏装置が、
   所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させ、
   前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記メモリに記憶されたレイアウト情報に基づいて前記仮想平面上に配置された複数の領域のいずれかに属するか否かを判別し、
   前記領域に属すると判別された場合に、前記ピッチ角センサにより検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別し、
   当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示し、
   前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を前記所定の表示手段に表示する、方法。
6. 予め定められた仮想平面上に配置された複数の領域及び当該複数の領域夫々に対応するピッチ角範囲を含むレイアウト情報を記憶するメモリと、演奏者が保持可能な演奏部材の、演奏操作時におけるピッチ角を検出するピッチ角センサと、前記演奏部材を、所定の撮像平面上における被写体として撮像画像を撮像すると共に、当該撮像平面を前記仮想平面として前記演奏部材の位置座標を検出する撮像装置と、を有する演奏装置に用いられるコンピュータに、
   所定の表示手段の配置表示領域に前記複数の領域夫々の前記撮像平面上の配置を表示させる表示制御ステップと、
   前記演奏部材により演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記メモリに記憶されたレイアウト情報に基づいて前記仮想平面上に配置された複数の領域のいずれかに属するか否かを判別する第１判別ステップと、
   前記第１判別ステップにより領域に属すると判別された場合に、前記ピッチ角センサにより検出された前記演奏部材のピッチ角が、当該領域に対応するピッチ角範囲に属するか否かを判別する第２判別ステップと、
   前記第２判別ステップにより当該領域に対応するピッチ角範囲に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
   前記第２判別ステップにより前記ピッチ角範囲に属すると判別されなかった場合に前記演奏部材のピッチ角を前記所定の表示手段に表示するピッチ角表示ステップと、
   を実行させるプログラム。

Images