JP6098081B2 - 演奏装置、演奏方法及びプログラム - Google Patents

Description

本発明は、ユーザの演奏動作に応じて楽音を発生する演奏装置に係り、特に実存しない仮想的な楽器（エア楽器と称す）に対するユーザの演奏動作に応じて楽音を発生する演奏装置と、そのエア楽器の演奏方法及びプログラムに関する。

従来、エア楽器に対するユーザの演奏動作に応じて楽音を発生する演奏装置として、「エアドラム」を演奏するための装置が知られている。これは、スティック部材に加速度センサを設けておき、演奏者であるユーザがそのスティック部材を振り下ろす動作を検出して、そのスティック部材で叩いた楽器に対応した楽音を発生するものである。

このエアドラムでは、演奏者の演奏動作をカメラで撮影し、その撮影画像をドラムセットの仮想画像と合成してモニタ画面に表示し、スティック部材の振り下ろし動作とドラムセットの各楽器との位置関係を視覚的に把握できるようにした技術が知られている（例えば、特許文献１参照）。

特許第３５９９１１５号公報

エア楽器では、演奏者は実際に楽器がない状態で演奏動作を行う。この場合、よりリアリティさを要求するために、モニタ画面を見ないで演奏することが好ましく、そのときにエア楽器に対する打点のずれが生じ易い。

すなわち、エアドラムでは、何もない空間にドラムセットの各楽器をスティック部材で叩くといった演奏動作を行う。したがって、演奏に不慣れなユーザや長時間の演奏で手が疲れてくると、各楽器を叩く位置つまり打点にずれが生じる。このような打点ずれが生じると、意図していた楽器の音が鳴らない、あるいは、別の楽器の音が鳴ってしまう。

本発明は上記のような点に鑑みなされたもので、エア楽器に対する打点ずれを防いで、誰でも簡単にエア楽器を正しく演奏することのできる演奏装置、演奏方法及びプログラムを提供することを目的とする。

本発明に係る演奏装置は、演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材と、この演奏部材が存在する撮像空間を撮影する撮影手段と、上記演奏部材の動きを検出する演奏部材検出手段と、上記撮影手段によって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段と、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を測定し、その測定結果に基づいて上記エア楽器の基準位置を設定する基準位置設定手段と、上記基準位置設定手段によって設定された前記基準位置よりも所定量以上ずれている状態を、上記エア楽器に対する上記演奏部材の打点ずれとして検出する打点ずれ検出手段と、この打点ずれ検出手段によって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告手段とを具備したことを特徴とする。

本発明によれば、演奏中の打点ずれを検出して警告するので、エア楽器に対する打点ずれを防いで、誰でも簡単にエア楽器を正しく演奏することができる。

図１は本発明の一実施形態に係る演奏装置の概要を説明するための図であり、図１（ａ）は演奏装置のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットとの位置関係を示す図である。 図２は同実施形態における演奏装置のスティック部のハードウェア構成を示すブロック図である。 図３は同実施形態における演奏装置のスティック部の外観構成を示す斜視図である。 図４は同実施形態における演奏装置のカメラユニット部のハードウェア構成を示すブロック図である。 図５は同実施形態における演奏装置のセンターユニット部のハードウェア構成を示すブロック図である。 図６は同実施形態における演奏装置のスティック部の処理を示すフローチャートである。 図７は同実施形態における演奏装置のスティック部を用いて演奏動作を行った場合のモーションセンサ部の垂直方向の加速度に関する出力の変化を表わした図である。 図８は同実施形態における演奏装置のカメラユニット部の処理を示すフローチャートである。 図９は同実施形態における演奏装置のセンターユニット部の処理を示すフローチャートである。 図１０は同実施形態における演奏装置のセンターユニット部の打点ずれ処理を示すフローチャートである。 図１１は同実施形態における演奏装置のセンターユニット部による設定画面上で演奏者が打点の基準位置を指定する場合の処理を示すフローチャートである。 図１２は同実施形態における基準位置設定画面の一例を示す図である。 図１３は同実施形態における基準位置テーブルの一例を示す図である。 図１４は同実施形態における基準位置設定画面で各楽器の基準位置を自動設定する場合の例を示す図である。 図１５は同実施形態における演奏装置のセンターユニット部によるリハーサルの演奏で打点の基準位置を自動設定する場合の処理を示すフローチャートである。 図１６は同実施形態における演奏装置の打点ずれの検出方法を説明するための図である。 図１７は同実施形態における演奏装置の打点ずれの警告メッセージの一例を示す図である。 図１８は同実施形態における演奏装置の打点ずれを修正するための矢印マークの表示例を示す図である。 図１９は同実施形態における演奏装置のスティック部に打点ずれを警告する場合の一例を示す図であり、図１９（ａ）はスティック部の先端に設けられたマーカー部の点灯制御による警告例、同図（ｂ）はスティック部の本体部分に警告用の表示を行う例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

［演奏装置１の概要］
図１は本発明の一実施形態に係る演奏装置１の概要を説明するための図であり、図１（ａ）は演奏装置１のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットＤとの位置関係を示す図である。

本実施形態における演奏装置１は、エア楽器として「エアドラム」を演奏するための装置である。この演奏装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、モニタ部４０とを備えて構成される。

なお、本実施形態では、２本のスティックを用いた仮想的なドラム演奏を想定しているため、２つのスティック部１０Ａ、１０Ｂを備える。しかし、スティック部の数は、これに限られず、１つとしてもよく、３つ以上としてもよい。以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の部材からなる。このスティック部１０は、演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材として用いられる。本実施形態において、演奏者であるユーザは、スティック部１０の一端（根元側）を持ち、手首などを中心としたスティック部１０の振り上げ／振り下ろしの演奏動作によりエアドラムの演奏を行う。

このようなスティック部１０を用いた演奏者の演奏動作を検出するため、スティック部１０の他端（先端側）には、加速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらのセンサによって検出された演奏者の演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。

また、スティック部１０の先端側には、マーカー部１５（図２参照）が設けられている。このマーカー部１５は、ＬＥＤ（light emitting diode）等の発光体からなり、スティック部１０の動きを検出するために用いられる。

カメラユニット部２０は、光学式のカメラ（撮像装置）からなり、スティック部１０を用いてエアドラムを演奏する演奏者を所定のフレームレートで撮影する。より詳しくは、カメラユニット部２０は、演奏者が持つスティック部１０が存在する撮像空間を撮影する。また、カメラユニット部２０は、その撮影画像からスティック部１０の先端部に設けられたマーカー部１５の位置座標を特定し、センターユニット部３０に送信する。

センターユニット部３０は、演奏装置１の制御本体に相当する。センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて所定の楽音を発生する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（ｂ）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データとノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が叩いた楽器を特定し、その楽器に対応する楽音を発生する。

また、モニタ部４０の画面には、カメラユニット部２０によって撮影された演奏中のユーザと仮想ドラムセットＤとが合成表示される。ユーザはこのモニタ部４０の画面を見ながら、仮想ドラムセットＤを構成する各楽器に対応する位置をスティック部１０で叩いて演奏することができる。

なお、ここで言う「楽器」とは、スティックで叩いて音を鳴らす楽器つまり打楽器（ドラムセットのシンバル，タム等）のことである。また、図１に示したモニタ部４０はセンターユニット部３０に任意接続である。演奏中に仮想ドラムセットＤの各楽器の位置を確認する必要がなければ、モニタ部４０は不要である。

以下、演奏装置１の構成ついて具体的に説明する。

［スティック部１０の構成］
図２は演奏装置１のスティック部１０のハードウェア構成を示すブロック図、図３はスティック部１０の外観構成を示す斜視図である。

スティック部１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６とを備える。

ＣＰＵ１１は、スティック部１０に関する制御として、主として演奏部材であるスティック部１０の動きを検出するための演奏部材検出機能１１ａを備える。この演奏部材検出機能１１ａには、後述する姿勢検知、ショット検出及びアクション検出などを含む。また、ＣＰＵ１１は、データ通信部１６を介してセンターユニット部３０との間の通信制御を行う。

ＲＯＭ１２には、ＣＰＵ１１が実行する各種処理に対応したプログラム１２ａとマーカー特徴情報１２ｂが記憶されている。ここで、本実施形態では、エアドラムの演奏に２本のスティック部１０Ａ，１０Ｂを用いるため、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別する必要がある。

マーカー特徴情報１２ｂは、この第１マーカーと第２マーカーとを区別するための情報であり、例えば発光時の形状、大きさ、色相、彩度、輝度、発光時の点減スピードなどが規定されている。スティック部１０Ａとスティック部１０Ｂでは、ＣＰＵ１１がそれぞれに異なるマーカー特徴情報１２ｂをＲＯＭ１２から読み出してマーカー部１５の発光制御を行う。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、ＣＰＵ１１の処理において取得又は生成されたデータを記憶する。

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサからなり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を実現するためのセンサとしては、例えば加速度センサ、角速度センサ、磁気センサなどを用いることができる。

（加速度センサ）
加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向の夫々に生じた加速度を出力する３軸センサを用いることができる。図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。このとき、加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の夫々の成分の加速度を取得するとともに、夫々の加速度を合成したセンサ合成値を算出することとしてもよい。

ここで、演奏者はスティック部１０の一端（根元側）を保持し、手首や腕などを中心とした振り上げ／振り下ろし動作を行う。スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出する。スティック部１０が動いている場合には、加速度センサは、当該動きの加速度と重力加速度１Ｇとのセンサ合成値を算出する。

なお、センサ合成値は、例えばＸ軸、Ｙ軸、Ｚ軸の成分の加速度の夫々の２乗の総和の平方根を算出することで得られる。

（角速度センサ）
角速度センサとしては、例えばジャイロスコープを備えたセンサを用いることができる。ここで、図３を参照して、角速度センサは、スティック部１０のＹ軸方向の回転角３０１やスティック部１０のＸ軸方向の回転角３１１を出力する。

Ｙ軸方向の回転角３０１は、演奏者がスティック部１０を持ったとき、演奏者からみた前後軸の回転角であり、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度３０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。

Ｘ軸方向の回転角３１１は、演奏者がスティック部１０を持ったとき、演奏者からみた左右軸の回転角であり、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度３１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。

なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角３１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。

（磁気センサ）
磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の夫々について出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なる。このため、これらの成分から、ＣＰＵ１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。

モーションセンサ部１４（詳細には、モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１）は、上述したセンサ値に基づいてスティック部１０の動き（演奏者の演奏動作と換言することもできる）を検出する。

加速度センサを例にして説明すると、ＣＰＵ１１は、加速度センサが出力する加速度（又はＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検出する。また、ＣＰＵ１１は、後述するように、モーションセンサ部１４からのセンサ値に基づいて、スティック部１０の振り下ろし動作や振り上げ動作を検出する。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられたＬＥＤなどの発光体からなり、ＣＰＵ１１の制御下で発光／消灯する。具体的には、マーカー部１５は、ＣＰＵ１１がＲＯＭ１２から読み出したマーカー特徴情報１２ｂに基づいて発光する。この場合、スティック部１０Ａのマーカー特徴情報１２ｂと、スティック部１０Ｂのマーカー特徴情報１２ｂとは異なるため、カメラユニット部２０では、スティック部１０Ａのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｂのマーカー部（第２マーカー）の位置座標とを区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。

なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間や、モニタ部４０との間で無線通信を行うこととしてもよい。また、無線通信として、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いてもよい。

［カメラユニット部２０の構成］
図４は演奏装置１のカメラユニット部２０のハードウェア構成を示すブロック図である。

カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、マーカー検出部２４と、データ通信部２５とを備える。

ＣＰＵ２１は、カメラユニット部２０に関する制御として、主として撮影画像からスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標データを算出する制御を行う。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する。

ＲＯＭ２２には、ＣＰＵ２１が実行する各種処理に対応したプログラムが記憶されている。ＲＡＭ２３は、マーカー検出部２４が検出したマーカー部１５の位置座標データなど、処理において取得又は生成された値を記憶する。また、ＲＡＭ２３には、センターユニット部３０から与えられたスティック部１０Ａ、１０Ｂの夫々のマーカー特徴情報１２ｂなどが記憶される。

マーカー検出部２４は、撮像手段として用いられ、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮影する。また、マーカー検出部２４は、フレームごとの画像データをＣＰＵ２１に出力する。

なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定する機能を備えている。このマーカー部１５の位置座標の特定については、マーカー検出部２４で行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、マーカー部１５のマーカー特徴情報１２ｂについても、マーカー検出部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部２５は、スティック部１０やモニタ部４０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
図５は演奏装置１のセンターユニット部３０のハードウェア構成を示すブロック図である。

センターユニット部３０は、演奏装置１の制御装置として用いられる。このセンターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７とを備える。

ＣＰＵ３１は、センターユニット部３０に備えられた各機能を実現するための制御を行う。特に、本発明に関わる機能として、ＣＰＵ３１には、楽音発生制御機能３１ａと、打点ずれ検出機能３１ｂと、警告機能３１ｃと、基準位置測定機能３１ｄとが備えられている。

楽音発生制御機能３１ａは、カメラユニット部２０によって撮影された画像中のスティック部１０のマーカー部１５の位置座標とエアドラムの各楽器に相当する位置の位置座標との関係から、演奏者がスティック部１０でエアドラムを叩いている位置を判断し、スティック部１０の動きに合わせて当該位置に対応した楽音を発生する。

打点ずれ検出機能３１ｂは、エアドラムの各楽器に対するスティック部１０の打点ずれを検出する。

警告機能３１ｃは、打点ずれ検出機能３１ｂによって検出されたスティック部１０の打点ずれに応じて演奏者に対して警告する。

基準位置測定機能３１ｄは、スティック部１０でエアドラムの各楽器を叩くときの基準位置を設定する。詳しくは、基準位置測定機能３１ｄは、基準位置設定用の設定画面を表示する設定画面表示機能３１ｄ−１を有し、この設定画面の中で演奏者が指定した位置を基準位置として設定する。また、基準位置測定機能３１ｄは、リハーサル演奏モードを設定するモード設定機能３１ｄ−２を有し、このリハーサル演奏モードで演奏者がスティック部１０でエアドラムの各楽器を叩いた位置を測定し、その測定結果に基づいて基準位置を設定する。

また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。

ＲＯＭ３２は、ＣＰＵ３１が実行する各種処理に対応したプログラム３２ａを記憶している。また、ＲＯＭ３２には、波形テーブル３２ｂが設けられている。この波形テーブル３２ｂには、種々の音色の波形データ、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなどの打楽器の波形データが位置座標などと対応付けて記憶されている。ＣＰＵ３１は、ショット検出時（ノートオンイベント受信時）にマーカー部１５の位置座標に基づいて、ＲＯＭ３２の波形テーブル３２ｂから該当する波形データを読み出すことで、演奏者の演奏動作に応じた楽音を音源装置３６を通じて発生する。なお、波形データは、音源装置３６内に備えられた波形ＲＯＭから読み出されるように構成しても良い。

ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）や、カメラユニット部２０から受信したマーカー部１５の位置座標など、処理において取得・生成された値を記憶する。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、楽音の音量や音色の変更、表示装置３５１の表示の切り替えなどが含まれる。

また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。表示装置３５１には、各種メニュー画面の他、カメラユニット部２０で撮影された画像とエア楽器の仮想画像との合成画像などが表示される。なお、この表示装置３５１に表示されるデータを無線通信によりモニタ部４０に送って、そのモニタ部４０の画面で拡大表示して確認することも可能である。

音源装置３６は、ＣＰＵ３１からの指示に従って、ＲＯＭ３２の波形テーブル３２ｂから波形データを読み出して、その波形データから楽音データを生成するとともに当該楽音データをアナログ信号に変換し、図示しないスピーカから出力する。

また、データ通信部３７は、スティック部１０、カメラユニット部２０、モニタ部４０との間で所定の無線通信（例えば、赤外線通信）を行う。

ここで、本発明に関する処理を説明する前に、理解を容易にするために、演奏装置１の基本的な動作について説明する。

［スティック部１０の処理］
図６は演奏装置１のスティック部１０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、スティック部１０のＣＰＵ１１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

まず、スティック部１０のＣＰＵ１１は、ＲＯＭ１２に格納されているマーカー特徴情報１２ｂを読み出す（ステップＳ１１）。この場合、スティック部１０Ａ，１０ＢのＣＰＵ１１が夫々に異なるマーカー特徴情報１２ｂを読み出す。異なるマーカー特徴情報１２ｂの読み出しは、任意の方法で行うことができる。例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよい。また、スティック部１０Ａ、１０Ｂ毎に予め１つのマーカー特徴情報１２ｂを対応付けておき、スティック部１０Ａ、１０ＢのＣＰＵ１１が夫々に対応付けられた独自のマーカー特徴情報１２ｂを読み出すこととしてもよい。

ＣＰＵ１１は、ＲＯＭ１２から読み出したマーカー特徴情報１２ｂをＲＡＭ１３に一旦格納した後、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ１２）。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを夫々区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報１２ｂをセンターユニット部３０に送信するものとする。

次に、ＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１３）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を行う（ステップＳ１４）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０の傾き、ロール角及びピッチ角の変位などを検知する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいてショット検出処理を行う（ステップＳ１５）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器を演奏する動作と同様の動作を行う。

すなわち、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そして、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティックを打ちつける瞬間又はそのわずかに手前に楽音を発生することとしている。

ここで、図７を参照して、スティック部１０を用いた楽音の発音タイミングの一例について説明する。

図７はスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度に関する出力の変化を表わした図である。なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味する。これは、Ｙ軸成分の加速度から分解し算出することとしてもよい。あるいは、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図７において、プラスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、マイナスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。

スティック部１０が静止している状態（ａで表わされる部分）であっても、スティック部１０には重力加速度が加わっている。このため、静止するスティック部１０のモーションセンサ部１４は、重力加速度に逆らう形で垂直上向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。

静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対して、さらに逆らう方向に動作することになる。このため、スティック部１０に加わる加速度はマイナス方向に増加する。その後、静止させようとして持ち上げる速度を減少させると、上向きの加速度が減少し、モーションセンサ部１４で検出されるスティック部１０のマイナス方向の加速度は減少する（ｂで表わされる部分）。そして、振り上げ動作が最高点に到達した時点での加速度は重力加速度のみになる（ｂとｃの境目付近で表される部分）。

振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、下向き方向に動作することになる。従って、スティック部１０に加わる加速度は、重力加速度に逆らって検出されていたマイナス方向の加速度よりもプラス方向に増加する。その後、演奏者はショットに向けて、下向き方向の加速度を減少させていくので、スティック部１０に加わる加速度はマイナス方向に増加する。この間、振り下ろし動作が最高速に到達するタイミングを経てスティック部１０には、再び重力加速度のみが加わる状態となる（ｃで表わされる部分）。

この後、演奏者がショットに向けて、スティック部１０に対してさらに振り上げ方向の加速度を加えると、加わる加速度はマイナス方向に増加する。そしてショットが終わると、スティック部１０は再び静止し、重力加速度に逆らう形のマイナス方向の加速度が検出される状態に戻る（ｄで表わされる部分）。

本実施形態においては、演奏者が仮想的な楽器の面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ方向の加速度が加えられた瞬間を検出する。つまり、図７のｄで表わされる部分において、振り下ろし状態から、言い換えれば加わる加速度が重力加速度のみから、さらにマイナス方向に所定値だけ増加したＡ点を、ショット検出のタイミングとしている。

このショット検出のタイミングを発音タイミングとし、上述したような発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発生される。

図６に戻り、ステップＳ１５に示すショット検出処理では、上述のようにモーションセンサ情報（例えば、加速度センサのＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、例えばショットの強さや加速度の大きさ等に応じて、楽音の音量や音色、ベロシティやエンベロープ等の種々の情報を含めることとしてもよい。なお、楽音の音量は、例えばセンサ合成値の最大値から求めることができる。

また、ＣＰＵ１１は、モーションセンサ情報に基づいて、演奏者の所定の動作（アクション）を示す情報（以下、アクション情報と呼ぶ）を検出する処理、すなわち、アクション検出処理を行う（ステップＳ１６）。なお、ここでアクション動作とは、ユーザがスティックを用いて行う、ショット以外の動作をいい、例えば、ユーザが撮像空間内で、スティックのマーカーが所定の形状を描くように動かした場合や、ある位置でダブルクリックのような動作をさせた場合を検出する。そして、例えばユーザがスティックを横にスライドさせた場合には、ページをめくるようにドラムセットを入れ替えるなどのように用いる事ができる。

ＣＰＵ１１は、ステップＳ１４〜Ｓ１６の処理で検出した情報、すなわち、姿勢情報、ショット情報及びアクション情報を、データ通信部１６を介してセンターユニット部３０に送信して（ステップＳ１７）、ステップＳ１３の処理に戻る。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを区別するためのスティック識別情報と対応付けて、姿勢情報、ショット情報及びアクション情報をセンターユニット部３０に送信する。

［カメラユニット部２０の処理］
図８は演奏装置１のカメラユニット部２０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、カメラユニット部２０のＣＰＵ２１がＲＯＭ２２に記憶されたプログラム２２ａを読み出すことにより実行される。

カメラユニット部２０のＣＰＵ２１は、マーカー検出条件取得処理を行う（ステップＳ２１）。この処理では、ＣＰＵ２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得し、ＲＡＭ２３に格納する。

なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５の夫々を検出するための条件であり、マーカー特徴情報１２ｂから生成される（後述する図９のステップＳ３１，Ｓ３２参照）。ここで、上述したようにマーカー特徴情報１２ｂとして、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。

次に、ＣＰＵ２１は、マーカー検出条件設定処理を行う（ステップＳ２２）。この処理では、ＣＰＵ２１は、マーカー検出条件情報に基づいて、スティック部１０Ａ，１０Ｂのマーカー部１５を検出するための各種設定を行う。

次に、ＣＰＵ２１は、第１マーカー検出処理及び第２マーカー検出処理を行う（ステップＳ２３，Ｓ２４）。これらの処理では、ＣＰＵ２１は、マーカー検出部２４が検出した、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検知情報を取得してＲＡＭ２３に格納する。このとき、マーカー検出部２４は、発光中のマーカー部１５について、マーカー検知情報を検出する。

ＣＰＵ２１は、ステップＳ２３及びステップＳ２４で取得したマーカー検知情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ２５）、ステップＳ２３の処理に戻る。

［センターユニット部３０の処理］
図９は演奏装置１のセンターユニット部３０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ３２に記憶されたプログラム３２ａを読み出すことにより実行される。

センターユニット部３０のＣＰＵ３１は、マーカー特徴情報１２ｂをスティック部１０から受信してＲＡＭ３３に格納する（ステップＳ３１）。ＣＰＵ３１は、このマーカー特徴情報とスイッチ３４１を介して設定された検出条件からマーカー検出条件情報を生成し、データ通信部３７を介してカメラユニット部２０に送信する（ステップＳ３２）。

次に、ＣＰＵ３１は、カメラユニット部２０から第１マーカー及び第２マーカー夫々のマーカー検知情報を受信し、ＲＡＭ３３に格納する（ステップＳ３３）。また、ＣＰＵ３１は、スティック部１０Ａ、１０Ｂの夫々から、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報を受信し、ＲＡＭ３３に格納する（ステップＳ３４）。

ここで、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ３５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット処理を行う（ステップＳ３６）。ショット処理では、ＣＰＵ３１は、ＲＯＭ３２の波形テーブル３２ｂからマーカー検知情報に含まれる位置座標、サイズ及び角度などに対応する波形データを読み出し、ノートオンイベントに含まれる音量データとともに音源装置３６に出力する。これにより、音源装置３６では、受け取った波形データに基づいて該当する楽音を発生する。

一方、ステップＳ３６の後、又はステップＳ３５でＮＯと判断した場合には、ＣＰＵ３１は、スティック部１０から受信したアクション情報に基づいて、アクションありか否かを判断する（ステップＳ３５）。このとき、アクションありと判断した場合には、ＣＰＵ３１は、受信したアクション情報に基づくアクション処理を行い（ステップＳ３８）、ステップＳ３３の処理に戻る。また、アクションなしと判断した場合には、ＣＰＵ３１は、ステップＳ３３の処理に戻る。

以上が演奏装置１の基本的な動作である。
なお、上記各フローチャートでは説明を省略したが、演奏中にカメラユニット部２０で撮影した演奏者の画像をセンターユニット部３０に送ることにより、センターユニット部３０で、その撮影画像と図１（ｂ）に示した仮想ドラムセットＤの画像とを合成し、その合成画像をモニタ部４０に転送して表示することも可能である。

演奏者は、このモニタ部４０に表示された合成画像で仮想ドラムセットＤの各楽器の位置を確認しながら演奏することができる。ただし、モニタ部４０を見ながらの演奏ではゲーム的であるため、リアリティ性を求める場合にはモニタ部４０を見ないで演奏することが好ましい。つまり、あたかも目の前にドラムセットがあるものとして、スティック部１０を持って演奏するスタイルが好ましい。

ここで、何もない空間にドラムセットの各楽器をスティック部１０で叩くといった演奏動作は難しく、演奏中に各楽器を叩く位置（打点）がずれて、音が鳴らない、あるいは、別の楽器の音が鳴ってしまうことがある。

以下では、このような打点ずれに関する処理について説明する。

図１０は演奏装置１のセンターユニット部３０の打点ずれ処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

まず、演奏を開始するに際し、センターユニット部３０のＣＰＵ３１は、ドラムセットの各楽器に対する打点の基準位置を設定しておく（ステップＳ４１）。通常は、各楽器の中心位置が打点の基準位置として定められるが、演奏者であるユーザの操作性を考慮して、各楽器に予め設定された演奏エリア内で打点の基準位置を任意に設定可能としている。

このときの基準位置の設定方法として、以下のような２つの方法がある。

（１）設定画面上で演奏者が打点の基準位置を指定する方法
（２）リハーサルの演奏で打点の基準位置を自動設定する方法
どちらの方法を使用するのかは予め決められているか、あるいは、演奏者がスイッチ３４１の操作により任意に選択できるものとする。

図１１はセンターユニット部３０の設定画面上で演奏者が打点の基準位置を指定する場合の処理を示すフローチャートであり、上記（１）の基準位置の設定方法に対応している。

センターユニット部３０のＣＰＵ３１は、図１２に示すような基準位置設定画面４１をモニタ部４０に表示する（ステップＳ５１）。なお、モニタ部４０を使用しない場合には、センターユニット部３０に設けられた表示装置３５１に表示することでも良い。

この基準位置設定画面４１には、仮想ドラムセットＤを構成する複数の楽器（この例では、楽器Ａ，楽器Ｂ，楽器Ｃ，楽器Ｄ）の演奏エリア４２ａ，４２ｂ，４２ｃ，４２ｄが表示されている。図中のＰ１，Ｐ２，Ｐ３，Ｐ４はこれらの楽器Ａ〜Ｄの中心位置を示す。

ここで、演奏者はスティック部１０を用いて、各楽器に対する打点の基準位置を指定していく。詳しくは、まず、基準位置設定画面４１上の各楽器Ａ〜Ｄの中の任意の楽器をスティック部１０で叩くことで、設定対象楽器として選択した後（ステップＳ５２）、再度スティック部１０で当該楽器の演奏エリア内で自分が叩きやすい位置を叩くことで、その位置を基準位置として指定する（ステップＳ５３）。

なお、スティック部１０で叩いた楽器と位置は、カメラユニット部２０で撮影された画像中のスティック部１０のマーカー部１５の位置座標と仮想ドラムセットＤの位置座標との関係から得られる。図中のＱ１，Ｑ２，Ｑ３，Ｑ４は演奏者が指定した基準位置を示す。

ＣＰＵ３１は、基準位置設定画面４１上で演奏者が指定した基準位置Ｑ１，Ｑ２，Ｑ３，Ｑ４の座標データを取得し、図１３に示すような基準位置テーブル４３に楽器の種類と対応付けて記憶する（ステップＳ５４）。この基準位置テーブル４３は、センターユニット部３０のＲＡＭ３３に設けられており、予め各楽器Ａ〜Ｄ毎に設定された演奏エリアＥａ〜Ｅｄの座標データと，中心位置Ｐ１〜Ｐ４の座標データを有する。

所定の操作により設定終了の指示があるまでの間、上記の処理を繰り返し行うことで、各楽器に対する打点の基準位置を設定する（ステップＳ５５）。

このように、基準位置設定画面４１を表示することで、演奏者が基準位置設定画面４１を見ながら、エアドラムを構成する各楽器に対する基準位置を簡単に設定することができる。

なお、図１１のフローチャートでは、各楽器の打点の基準位置を個々に設定するものとしたが、例えば各楽器の中の任意の楽器に対する打点の基準位置を設定した後、その設定された基準位置を元に残りの楽器の基準位置を自動設定するようにしても良い。

すなわち、図１４に示すように、例えば演奏者の指示により、楽器Ａの演奏エリア４２ａの中に打点の基準位置Ｑ１が設定されたとする。通常、各楽器の演奏エリアの中で演奏者が叩く位置はだいたい同じ位置と考えられる。そこで、楽器Ａに設定された基準位置Ｑ１と中心位置Ｐ１との位置関係をそのまま他の楽器Ｂ，Ｃ，Ｄに適用して、それぞれの基準位置Ｑ２，Ｑ３，Ｑ４を設定する。

詳しくは、楽器Ａの演奏エリア４２ａの中心位置Ｐ１の座標データ（ｘｐ１，ｘｐ２）と、演奏者が指定した基準位置Ｑ１の座標データ（ｘｑ１，ｘｑ２）とに基づき、Ｐ１からＱ１へのベクトルＶ１を求める。このベクトルＶ１を楽器Ｂの演奏エリア４２ｂに適用し、中心位置Ｐ２からベクトルＶ１の方向に移動させた位置を楽器Ｂの基準位置Ｑ２とする。楽器Ｃ，Ｄについても同様である。

なお、自動設定した基準位置Ｑ２，Ｑ３，Ｑ４については、演奏者に確認させ、必要に応じて微調整を行うようにしてもよい。これにより、楽器毎に違う場所を叩きたいという要求に応えることができる。

また、ここではｘ，ｙ軸方向の基準位置を想定して説明したが、例えば基準位置設定画面４１に仮想ドラムセットＤを３次元で表示することで、ｚ軸方向（高さ方向）を含めて基準位置を設定できるようにしてもよい。

図１５はセンターユニット部３０のリハーサルの演奏で打点の基準位置を自動設定する場合の処理を示すフローチャートであり、上記（２）の基準位置設定方法に対応している。

センターユニット部３０のＣＰＵ３１は、リハーサル演奏モードを設定して、所定の音楽を音源装置３６から流す（ステップＳ６１）。このリハーサル演奏モードで流す音楽は、予め用意された音楽でもよいし、演奏者が任意に選んだものであってもよい。演奏者は、この音楽に合わせてスティック部１０を用いて仮想ドラムセットＤの各楽器（打楽器）を叩いてドラム演奏を開始する（ステップＳ６２）。

ここで、ＣＰＵ３１は、リハーサル演奏中に演奏者が各楽器をスティック部１０で叩いた位置つまり打点を計測する（ステップＳ６３）。このとき計測された打点の座標データは楽器の種類に対応付けられてＲＡＭ３３の所定の領域に格納される。

演奏が終了すると（ステップＳ６４のＹＥＳ）、ＣＰＵ３１は、上記ＲＡＭ３３の所定の領域に記憶された各楽器の打点の座標データを集計し、各楽器毎に最も頻度の高い打点を基準位置として設定し（ステップＳ６５）、その基準位置の座標データを図１３に示した基準位置テーブル４３に楽器の種類と対応付けて記憶する（ステップＳ６６）。

このように、リハーサル演奏により各楽器に対する基準位置を自動的に設定することができる。この場合、各楽器毎に演奏者が最も多く叩いた位置が基準位置として設定されるので、演奏者が各楽器を叩くときのクセを基準位置に反映させて、実際の演奏時に打点ずれを正しく検出することができる。

なお、図１５のフローチャートでは、各楽器毎に演奏者が最も多く叩いた位置を基準位置として設定したが、各楽器毎に測定結果として得られる各位置の座標データを平均化し、その平均化された位置を基準位置として設定することでもよい。このように平均化した位置を基準位置としておくことでも、演奏者が各楽器を叩くときのクセを基準位置に反映させて、実際の演奏時に打点ずれを正しく検出することができる。

図１０に戻って、演奏者固有の打点の基準位置が設定されると、予め選択された音楽が流れ、エアドラムの演奏が開始される（ステップＳ４２）。このとき、ＣＰＵ３１は、演奏者がスティック部１０で叩いた楽器を特定すると共にその楽器を叩いた位置つまり打点をリアルタイムで計測する（ステップＳ４３）。上述したように、スティック部１０で叩いた楽器と位置は、カメラユニット部２０で撮影された画像中のスティック部１０のマーカー部１５の位置座標と仮想ドラムセットＤの位置座標との関係から得られる。

そして、ＣＰＵ３１は、演奏中に計測された位置と図１３の基準位置テーブル４３に記憶された当該楽器の基準位置とを比較し（ステップＳ４４）、所定量以上のずれが生じているか否かを判断する（ステップＳ４５）。

詳しくは、図１６に示すように、演奏時に各楽器毎に基準位置（この例では、楽器Ａの基準位置Ｑ１）を中心に複数の同心状の小エリア４４が設定される。そして、演奏者がスティック部１０で叩いた位置と小エリア４４との位置関係から基準位置とのずれを判断する。この場合、例えば内側から３番目の小エリア４４ａより外側に打点が存在する場合に所定量以上のずれと判断する。あるいは単に、演奏者がスティック部１０で叩いた位置と楽器Ａの基準位置Ｑ１との距離を算出して、この距離に基づいて、楽器の基準位置からのずれを判断するようにしても良い。

このようにして所定量以上のずれが検出された場合（ステップＳ４５のＹＥＳ）、ＣＰＵ３１は、打点がずれている旨を演奏者に対して警告する（ステップＳ４６）。このときの警告方法としては、例えば図１７に示すようなメッセージ画面４５をモニタ部４０に表示する方法がある。

このようなメッセージ画面４５を表示することで、演奏者に打点がずれていることを視覚的に知らせて、速やかに修正させることができる。なお、モニタ部４０を使用していない場合にはセンターユニット部３０の表示装置３５１に表示するものとする。また、音声で打点がずれている旨を警告することでもよいが、演奏中であるため、演奏者のみに聞こえるようにヘッドフォン等を通して音声出力することが好ましい。

また、図１８に示すように、演奏者が演奏状態を視認可能な画面（モニタ部４０または表示装置３５１の画面）に打点のずれを修正する方向の矢印マーク４６を表示したり、ずれを修正するためのガイド４７を表示することでもよい。このような矢印マーク４６やガイド４７の表示により、演奏者はどちらに修正していいのかを把握することができる。

また、図１９に示すように、演奏者が持つスティック部１０の構造を工夫して、打点のずれを演奏者に知らせるようにしてもよい。

図１９（ａ）はスティック部１０の先端に設けられたマーカー部１５の点灯制御による警告例である。演奏中に打点がずれた場合に、スティック部１０のマーカー部１５を点滅あるいは色を変えて点灯する。さらに、図１９（ａ）の例のように、マーカー部１５に方向性を有する発光部５１を設け、打点がずれている方向が分かるように、発光部５１を点灯、点滅あるいは色を変えて点灯することでもよい。

図１９（ｂ）はスティック部１０の本体部分に警告用の表示を行う例である。演奏中に打点がずれた場合に、スティック部１０の本体部分に矢印マーク５２を表示し、打点がずれている方向を演奏者に知らせる。この場合、矢印マーク５２で表示される矢印の方向としては、ずれた方向を示しても良いし、あるいは、戻すべき方向を矢印マーク５２で示すようにしても良い。

このように、スティック部１０のマーカー部１５の点灯制御やスティック部１０に対するマーク表示によって打点ずれを警告する構成とすれば、演奏者がモニタ画面を見ないで演奏しているときでも打点ずれに気づいて修正することができる。

さらに、例えばスティック部１０にバイブレータ機能を設けておき、演奏中に打点がずれた場合にスティック部１０を震動させて、演奏者に知らせることでもよい。このような構成とすれば、演奏者はスティック部１０の震動を感じることで打点ずれに気づいて修正することができる。

演奏が終了するまでの間、このような処理を繰り返し行われ、所定量以上の打点ずれが検出された場合に、上述した方法により演奏者に対して警告がなされる（ステップＳ４７）。

このように、演奏者がスティック部１０を用いてエアドラムを演奏中に、そのエアドラムを構成する各楽器に対する打点が本来叩く位置（基準位置）からずれている場合に、その状態が検出されて警告が発せられる。

したがって、演奏者はその警告に従って打点のミスを速やかに修正して演奏を続けることができる。また、このような打点ずれの警告機能を演奏装置１に備えておくことで、エアドラムに不慣れな演奏者であっても上達することができ、モニタ部４０を見なくても、スティック部１０だけを用いてリアルな演奏を行うことができるようになる。

さらに、各楽器を叩くときの基準位置を任意に設定できるので、演奏者のクセなどで各楽器を叩く位置が微妙に違う場合にも対応でき、演奏中に各楽器に対する打点ずれを正しく検出して警告することができる。

なお、上記実施形態では、仮想的な打楽器としてエアドラムを例にして説明したが、本発明はこれに限られるものではなく、スティック部１０の振り下ろし／振り上げ動作で楽音を発生する楽器であれば、例えば木琴などの他の楽器に適用することができる。

また、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。

例えば、スティック部１０のＣＰＵ１１が行うこととしているショット検出処理（図６）などを、センターユニット部３０のＣＰＵ３１で行うこととしてもよい。また、センターユニット部３０のＣＰＵ３１が行うこととしている打点ずれ処理（図１０）などを、スティック部１０のＣＰＵ１１で行うこととしてもよい。

さらにまた、打点ずれを演奏者に警告する際、そのずれ量に応じて警告の方法を変化させても良い。例えば、図１０のステップＳ４５において、ずれ量を複数のしきい値と比較し、ずれ量に応じて、例えば警告メッセージを変化させたり、ＬＥＤやメッセージ表示の色を変化させたり、ＬＥＤの明滅パターンを変化させたり、モニター音を変化させたり、バイブレータパターンを変化させたり、矢印の表示形状や表示個数を変化させるなど、種々の方法が考えられる。

要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材と、
この演奏部材が存在する撮像空間を撮影する撮影手段と、
上記演奏部材の動きを検出する演奏部材検出手段と、
上記撮影手段によって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段と、
上記エア楽器に対する上記演奏部材の打点ずれを検出する打点ずれ検出手段と、
この打点ずれ検出手段によって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告手段と
を具備したことを特徴とする演奏装置。

［２］
上記演奏部材で上記エア楽器を叩くときの基準位置を設定する基準位置設定手段を備え、
上記打点ずれ検出手段は、
演奏中に上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を測定し、その測定された位置が上記基準位置設定手段によって設定された基準位置よりも所定量以上ずれている状態を検出することを特徴とする［１］記載の演奏装置。

［３］
上記基準位置設定手段は、
基準位置設定用の設定画面を表示する設定画面表示手段を有し、
この設定画面表示手段によって表示された設定画面の中で上記演奏者が指定した位置を上記エア楽器の基準位置として設定することを特徴とする［２］記載の演奏装置。

［４］
上記基準位置設定手段は、
リハーサル演奏モードを設定するモード設定手段を有し、
このモード設定手段によって設定されたリハーサル演奏モードで上記演奏者が上記演奏部材で上記エア楽器を叩いた位置を測定し、その測定結果に基づいて上記エア楽器の基準位置を設定することを特徴とする［２］記載の演奏装置。

［５］
上記基準位置設定手段は、
上記測定結果として得られた複数の位置の中で最も頻度の高い位置を上記エア楽器の基準位置として設定することを特徴とする［４］記載の演奏装置。

［６］
上記基準位置設定手段は、
上記測定結果として得られた複数の位置を平均化した位置を上記エア楽器の基準位置として設定することを特徴とする［４］記載の演奏装置。

［７］
上記警告手段は、
上記演奏者が視認可能なモニタ画面に上記演奏部材の打点ずれを警告するメッセージを表示することを特徴とする［１］記載の演奏装置。

［８］
上記警告手段は、
上記演奏者が視認可能なモニタ画面に上記演奏部材の打点ずれを修正する方向を示すマークを表示することを特徴とする［１］記載の演奏装置。

［９］
上記警告手段は、
上記演奏者が持つ上記演奏部材の特定部分の点灯を制御して上記演奏部材の打点ずれを知らせることを特徴とする［１］記載の演奏装置。

［１０］
上記警告手段は、
上記演奏者が持つ上記演奏部材に上記演奏部材の打点ずれを修正する方向を示すマークを表示することを特徴とする［１］記載の演奏装置。

［１１］
上記警告手段は、
上記演奏者が持つ上記演奏部材を震動させて上記演奏部材の打点ずれを知らせることを特徴とする［１］記載の演奏装置。

［１２］
コンピュータによって実行されるエア楽器の演奏方法であって、
演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材が存在する撮像空間を撮影する撮影ステップと、
上記演奏部材の動きを検出する演奏部材検出ステップと、
上記撮影ステップによって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出ステップによって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御ステップと、
上記エア楽器に対する上記演奏部材の打点ずれを検出する打点ずれ検出ステップと、
この打点ずれ検出ステップによって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告ステップと
を備えたことを特徴とする演奏方法。

［１３］
コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
上記コンピュータを、
演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材が存在する撮像空間を撮影する撮影手段、
上記演奏部材の動きを検出する演奏部材検出手段、
上記撮影手段によって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段、
上記エア楽器に対する上記演奏部材の打点ずれを検出する打点ずれ検出手段、
この打点ずれ検出手段によって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告手段
として機能させるためのコンピュータ読み取り可能なプログラム。

１…演奏装置、１０…スティック部、１１…ＣＰＵ、１１ａ…演奏部材検出機能、１２…ＲＯＭ、１２ａ…プログラム、１２ｂ…マーカー特徴情報、１３…ＲＡＭ、１４…モーションセンサ部、１５…マーカー部、１６…データ通信部、２０…カメラユニット部、２１…ＣＰＵ、２２…ＲＯＭ、２２ａ…プログラム、２３…ＲＡＭ、２４…マーカー検出部、２５…データ通信部、３０…センターユニット、３１…ＣＰＵ、３１ａ…楽音発生制御機能、３１ｂ…打点ずれ検出機能、３１ｃ…警告機能、３１ｄ…基準位置測定機能、３１ｄ−１…設定画面表示機能、３１ｄ−２…モード設定機能、３２…ＲＯＭ、３２ａ…プログラム、３２ｂ…波形テーブル、３３…ＲＡＭ、３４…スイッチ操作検出回路、３４１…スイッチ、３５…表示回路、３５１…表示装置、３６…音源装置、３７…データ通信部、４０…モニタ部、４１…基準位置設定画面、４２ａ，４２ｂ，４２ｃ，４２ｄ…演奏エリア、４３…基準位置テーブル、４４…小エリア、４５…メッセージ画面、４６…矢印マーク、４７…ガイド、５１…発光部、５２…矢印マーク。

Claims (12)

1. 演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材と、
   この演奏部材が存在する撮像空間を撮影する撮影手段と、
   上記演奏部材の動きを検出する演奏部材検出手段と、
   上記撮影手段によって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段と、
   上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を測定し、その測定結果に基づいて上記エア楽器の基準位置を設定する基準位置設定手段と、
   上記基準位置設定手段によって設定された前記基準位置よりも所定量以上ずれている状態を、上記エア楽器に対する上記演奏部材の打点ずれとして検出する打点ずれ検出手段と、
   この打点ずれ検出手段によって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告手段と
   を具備したことを特徴とする演奏装置。
2. 上記基準位置設定手段は、
   基準位置設定用の設定画面を表示する設定画面表示手段を有し、
   この設定画面表示手段によって表示された設定画面の中で上記演奏者が指定した位置を上記エア楽器の基準位置として設定することを特徴とする請求項１記載の演奏装置。
3. 上記基準位置設定手段は、
   リハーサル演奏モードを設定するモード設定手段を有し、
   このモード設定手段によって設定されたリハーサル演奏モードで上記演奏者が上記演奏部材で上記エア楽器を叩いた位置を測定し、その測定結果に基づいて上記エア楽器の基準位置を設定することを特徴とする請求項１〜２のいずれかに記載の演奏装置。
4. 上記基準位置設定手段は、
   上記測定結果として得られた複数の位置の中で最も頻度の高い位置を上記エア楽器の基準位置として設定することを特徴とする請求項１〜３のいずれかに記載の演奏装置。
5. 上記基準位置設定手段は、
   上記測定結果として得られた複数の位置を平均化した位置を上記エア楽器の基準位置として設定することを特徴とする請求項１〜３のいずれかに記載の演奏装置。
6. 上記警告手段は、
   上記演奏者が視認可能なモニタ画面に上記演奏部材の打点ずれを警告するメッセージを表示することを特徴とする請求項１記載の演奏装置。
7. 上記警告手段は、
   上記演奏者が視認可能なモニタ画面に上記演奏部材の打点ずれを修正する方向を示すマークを表示することを特徴とする請求項１記載の演奏装置。
8. 上記警告手段は、
   上記演奏者が持つ上記演奏部材の特定部分の点灯を制御して上記演奏部材の打点ずれを知らせることを特徴とする請求項１記載の演奏装置。
9. 上記警告手段は、
   上記演奏者が持つ上記演奏部材に上記演奏部材の打点ずれを修正する方向を示すマークを表示することを特徴とする請求項１記載の演奏装置。
10. 上記警告手段は、
    上記演奏者が持つ上記演奏部材を震動させて上記演奏部材の打点ずれを知らせることを特徴とする請求項１記載の演奏装置。
11. コンピュータによって実行されるエア楽器の演奏方法であって、
    演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材が存在する撮像空間を撮影する撮影ステップと、
    上記演奏部材の動きを検出する演奏部材検出ステップと、
    上記撮影ステップによって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出ステップによって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御ステップと、
    上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を測定し、その測定結果に基づいて上記エア楽器の基準位置を設定する基準位置設定ステップと、
    上記基準位置設定ステップによって設定された前記基準位置よりも所定量以上ずれている状態を、上記エア楽器に対する上記演奏部材の打点ずれとして検出する打点ずれ検出ステップと、
    この打点ずれ検出ステップによって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告ステップと
    を備えたことを特徴とする演奏方法。
12. コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
    上記コンピュータを、
    演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材が存在する撮像空間を撮影する撮影手段、
    上記演奏部材の動きを検出する演奏部材検出手段、
    上記撮影手段によって撮影された画像中の上記演奏部材の位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段、
    上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を測定し、その測定結果に基づいて上記エア楽器の基準位置を設定する基準位置設定手段、
    上記基準位置設定手段によって設定された前記基準位置よりも所定量以上ずれている状態を、上記エア楽器に対する上記演奏部材の打点ずれとして検出する打点ずれ検出手段、
    この打点ずれ検出手段によって検出された上記演奏部材の打点ずれに応じて上記演奏者に対して警告する警告手段
    として機能させるためのコンピュータ読み取り可能なプログラム。

Images