JP6094111B2 - 演奏装置、演奏方法及びプログラム - Google Patents

Description

本発明は、ユーザの演奏動作に応じて楽音を発生する演奏装置に係り、特に実存しない仮想的な楽器（エア楽器と称す）に対するユーザの演奏動作に応じて楽音を発生する演奏装置と、そのエア楽器の演奏方法及びプログラムに関する。

従来、エア楽器に対するユーザの演奏動作に応じて楽音を発生する演奏装置として、「エアドラム」を演奏するための装置が知られている。これは、スティック部材に加速度センサを設けておき、演奏者であるユーザがそのスティック部材を振り下ろす動作を検出して、そのスティック部材で叩いた楽器に対応した楽音を発生するものである。

このエアドラムでは、演奏者の演奏動作をカメラで撮影し、その撮影画像をドラムセットの仮想画像と合成してモニタ画面に表示し、スティック部材の振り下ろし動作とドラムセットの各楽器との位置関係を視覚的に把握できるようにした技術が知られている（例えば、特許文献１参照）。

特許第３５９９１１５号公報

上述したエアドラムでは、演奏者のスティック部材の握り位置が演奏中に徐々にずれて、軸周りに回転（ロール回転）することがある。スティック部材が軸周りに回転すると、加速度センサの検出方向が実際のスティック部材の動きの向きと違ってしまう。このため、演奏者がスティック部材を楽器に向かって振り下ろしても、そのときのスティック部材の動作方向が誤検出されて意図した楽音が出力されないことがある。

なお、撮影画像上でスティック部材の動きを追跡する方法であれば、スティック部材の回転状態に関係なく、スティック部材が叩いた楽器の音を鳴らすことができる。しかしながら、スティック部材の演奏動作は早いため、画像処理が追いつかず、音を鳴らすタイミングが遅くなってしまう。

本発明は上記のような点に鑑みなされたもので、演奏者が持つ演奏部材の動作方向を正しく検出してエア楽器の楽音を発生することのできる演奏装置、演奏方法及びプログラムを提供することを目的とする。

本発明に係る演奏装置は、演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、上記演奏部材が存在する撮像空間を撮影する撮影手段と、上記演奏部材の動きを検出するためのセンサと、上記撮影手段によって撮影された画像から得られる上記演奏部材の動きと上記センサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出手段と、上記回転検出手段によって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知手段とを具備したことを特徴とする。

本発明によれば、演奏者が持つ演奏部材の動作方向を正しく検出してエア楽器の楽音を発生することができる。

図１は本発明の一実施形態に係る演奏装置の概要を説明するための図であり、図１（ａ）は演奏装置のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットとの位置関係を示す図である。 図２は同実施形態における演奏装置のスティック部のハードウェア構成を示すブロック図である。 図３は同実施形態における演奏装置のスティック部の外観構成を示す斜視図である。 図４は同実施形態における演奏装置のカメラユニット部のハードウェア構成を示すブロック図である。 図５は同実施形態における演奏装置のセンターユニット部のハードウェア構成を示すブロック図である。 図６は同実施形態における演奏装置のスティック部の処理を示すフローチャートである。 図７は同実施形態における演奏装置のスティック部を用いて演奏動作を行った場合のモーションセンサ部の垂直方向の加速度に関する出力の変化を表わした図である。 図８は同実施形態における演奏装置のカメラユニット部の処理を示すフローチャートである。 図９は同実施形態における演奏装置のセンターユニット部の処理を示すフローチャートである。 図１０は同実施形態における演奏装置のスティック部の向きと加速度センサの検出方向との関係を説明するための図である。 図１１は同実施形態における演奏装置のカメラユニット部と演奏者との位置関係を説明するための図である。 図１２は同実施形態における演奏装置のセンターユニット部のスティック回転対応処理を示すフローチャートである。 図１３は同実施形態における演奏装置のセンターユニット部の初期設定処理を示すフローチャートである。 図１４は同実施形態における演奏装置のセンターユニット部の比較処理を示すフローチャートである。 図１５は同実施形態における撮影画像の画素数とマーカー部の移動距離との対応関係を記憶したテーブルの一例を示す図である。 図１６は同実施形態における撮影画像上のマーカー移動距離と加速度センサ上のマーカー移動距離との関係を示す図である。 図１７は同実施形態における加速度センサにて検出されるスティック部の基準方向の移動距離の長さを模式的に表した図であり、図１７（ａ）はスティック部の向きが正常のとき、同図（ｂ）はスティック部が回転しているとき、同図（ｃ）はスティック部がさらに度回転しているとき、同図（ｄ）はスティック部が４５度回転しているときの移動距離の長さをそれぞれ表している。 図１８は同実施形態における演奏装置の通知メッセージの一例を示す図である。 図１９は同実施形態におけるカメラユニット部に設けられたランプの一例を示す図である。 図２０は同実施形態におけるスティック部に設けられたマーカー部とバイブレータ機能の一例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

［演奏装置１の概要］
図１は本発明の第１の実施形態に係る演奏装置１の概要を説明するための図であり、図１（ａ）は演奏装置１のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットＤとの位置関係を示す図である。

本実施形態における演奏装置１は、エア楽器として「エアドラム」を演奏するための装置である。この演奏装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、モニタ部４０とを備えて構成される。

なお、本実施形態では、２本のスティックを用いた仮想的なドラム演奏を想定しているため、２つのスティック部１０Ａ、１０Ｂを備える。しかし、スティック部の数は、これに限られず、１つとしてもよく、３つ以上としてもよい。以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の部材からなる。このスティック部１０は、演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材として用いられる。演奏者であるユーザは、スティック部１０の一端（根元側）を持ち、手首などを中心としたスティック部１０の振り上げ／振り下ろしの演奏動作によりエアドラムの演奏を行う。

このようなスティック部１０を用いた演奏者の演奏動作を検出するため、スティック部１０の他端（先端側）には、加速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらのセンサによって検出された演奏者の演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。

また、スティック部１０の先端側には、マーカー部１５（図２参照）が設けられている。このマーカー部１５は、ＬＥＤ（light emitting diode）等の発光体からなり、スティック部１０の動きを検出するために用いられる。

カメラユニット部２０は、光学式のカメラ（撮像装置）からなり、スティック部１０を用いてエアドラムを演奏する演奏者を所定のフレームレートで撮影する。より詳しくは、カメラユニット部２０は、演奏者が持つスティック部１０が存在する撮像空間を撮影する。カメラユニット部２０は、その撮影画像からスティック部１０の先端部に設けられたマーカー部１５の位置座標を特定し、センターユニット部３０に送信する。

センターユニット部３０は、演奏装置１の制御本体に相当する。センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて所定の楽音を発生する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（ｂ）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データとノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が叩いた楽器を特定し、その楽器に対応する楽音を発生する。

また、モニタ部４０の画面には、カメラユニット部２０によって撮影された演奏中のユーザと仮想ドラムセットＤとが合成表示される。ユーザはこのモニタ部４０の画面を見ながら、仮想ドラムセットＤを構成する各楽器に対応する位置をスティック部１０で叩いて演奏することができる。

なお、ここで言う「楽器」とは、スティックで叩いて音を鳴らす楽器つまり打楽器（ドラムセットのシンバル，タム等）のことである。また、図１に示したモニタ部４０はセンターユニット部３０に任意接続である。演奏中に仮想ドラムセットＤの各楽器の位置を確認する必要がなければ、モニタ部４０は不要である。

以下、演奏装置１の構成ついて具体的に説明する。

［スティック部１０の構成］
図２は演奏装置１のスティック部１０のハードウェア構成を示すブロック図、図３はスティック部１０の外観構成を示す斜視図である。

スティック部１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６とを備える。

ＣＰＵ１１は、スティック部１０に関する制御として、後述する姿勢検知、ショット検出及びアクション検出などを行う。また、ＣＰＵ１１は、データ通信部１６を介してセンターユニット部３０との間の通信制御を行う。

ＲＯＭ１２には、ＣＰＵ１１が実行する各種処理に対応したプログラム１２ａとマーカー特徴情報１２ｂが記憶されている。ここで、本実施形態では、エアドラムの演奏に２本のスティック部１０Ａ，１０Ｂを用いるため、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別する必要がある。

マーカー特徴情報１２ｂは、この第１マーカーと第２マーカーとを区別するための情報であり、例えば発光時の形状、大きさ、色相、彩度、輝度、発光時の点減スピードなどが規定されている。スティック部１０Ａとスティック部１０Ｂでは、ＣＰＵ１１がそれぞれに異なるマーカー特徴情報１２ｂをＲＯＭ１２から読み出してマーカー部１５の発光制御を行う。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、ＣＰＵ１１の処理において取得又は生成されたデータを記憶する。

モーションセンサ部１４は、スティック部１０の状態を検出するための各種センサからなり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を実現するためのセンサとしては、例えば加速度センサ、角速度センサ、磁気センサなどを用いることができる。

（加速度センサ）
加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向の夫々に生じた加速度を出力する３軸センサを用いることができる。図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。このとき、加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の夫々の成分の加速度を取得するとともに、夫々の加速度を合成したセンサ合成値を算出することとしてもよい。

ここで、演奏者はスティック部１０の一端（根元側）を保持し、手首や腕などを中心とした振り上げ／振り下ろし動作を行う。スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出する。スティック部１０が動いている場合には、加速度センサは、当該動きの加速度と重力加速度１Ｇとのセンサ合成値を算出する。

なお、センサ合成値は、例えばＸ軸、Ｙ軸、Ｚ軸の成分の加速度の夫々の２乗の総和の平方根を算出することで得られる。

（角速度センサ）
角速度センサとしては、例えばジャイロスコープを備えたセンサを用いることができる。ここで、図３を参照して、角速度センサは、スティック部１０のＹ軸方向の回転角３０１やスティック部１０のＸ軸方向の回転角３１１を出力する。

Ｙ軸方向の回転角３０１は、演奏者がスティック部１０を持ったとき、演奏者からみた前後軸の回転角であり、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度３０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。

Ｘ軸方向の回転角３１１は、演奏者がスティック部１０を持ったとき、演奏者からみた左右軸の回転角であり、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度３１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。

なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角３１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。

（磁気センサ）
磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の夫々について出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なる。このため、これらの成分から、ＣＰＵ１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。

モーションセンサ部１４（詳細には、モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１）は、上述したセンサ値に基づいてスティック部１０の動き（演奏者の演奏動作と換言することもできる）を検出する。

加速度センサを例にして説明すると、ＣＰＵ１１は、加速度センサが出力する加速度（又はＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検出する。また、ＣＰＵ１１は、後述するように、モーションセンサ部１４からのセンサ値に基づいて、スティック部１０の振り下ろし動作や振り上げ動作を検出する。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられたＬＥＤなどの発光体からなり、ＣＰＵ１１の制御下で発光／消灯する。具体的には、マーカー部１５は、ＣＰＵ１１がＲＯＭ１２から読み出したマーカー特徴情報１２ｂに基づいて発光する。この場合、スティック部１０Ａのマーカー特徴情報１２ｂと、スティック部１０Ｂのマーカー特徴情報１２ｂとは異なるため、カメラユニット部２０では、スティック部１０Ａのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｂのマーカー部（第２マーカー）の位置座標とを区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。

なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間や、モニタ部４０との間で無線通信を行うこととしてもよい。また、無線通信として、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いてもよい。

［カメラユニット部２０の構成］
図４は演奏装置１のカメラユニット部２０のハードウェア構成を示すブロック図である。

カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、マーカー検出部２４と、データ通信部２５とを備える。

ＣＰＵ２１は、カメラユニット部２０に関する制御として、主として撮影画像からスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標データを算出する制御を行う。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する。

ＲＯＭ２２には、ＣＰＵ２１が実行する各種処理に対応したプログラムが記憶されている。ＲＡＭ２３は、マーカー検出部２４が検出したマーカー部１５の位置座標データなど、処理において取得又は生成された値を記憶する。また、ＲＡＭ２３には、センターユニット部３０から与えられたスティック部１０Ａ、１０Ｂの夫々のマーカー特徴情報１２ｂなどが記憶される。

マーカー検出部２４は、撮像手段として用いられ、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮影する。また、マーカー検出部２４は、フレームごとの画像データをＣＰＵ２１に出力する。

なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定する機能を備えている。このマーカー部１５の位置座標の特定については、マーカー検出部２４で行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、マーカー部１５のマーカー特徴情報１２ｂについても、マーカー検出部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部２５は、スティック部１０やモニタ部４０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
図５は演奏装置１のセンターユニット部３０のハードウェア構成を示すブロック図である。

センターユニット部３０は、演奏装置１の制御装置として用いられる。このセンターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７とを備える。

ＣＰＵ３１は、センターユニット部３０に備えられた各機能を実現するための制御を行う。特に、本発明に関わる機能として、ＣＰＵ３１には、第１の移動距離算出検出機能３１ａと、第２の移動距離算出検出機能３１ｂと、回転検出機能３１ｃと、楽音発生制御部３１ｄと、通知機能３１ｅとを備える。

第１の移動距離算出検出機能３１ａは、カメラユニット部２０のマーカー検出部２４によって検出された撮影画像上のマーカー部１５の移動距離を算出する。第２の移動距離算出検出機能３１ｂは、スティック部１０に設けられたモーションセンサ部１４の検出信号に基づいてスティック部１０のマーカー部１５の移動距離を算出する。

回転検出機能３１ｃは、撮影画像から得られるスティック部１０の動きとモーションセンサ部１４によって得られるスティック部１０の動きとを比較してスティック部１０の軸周りの回転状態を検出する。

より詳しくは、回転検出機能３１ｃは、第１の移動距離算出検出機能３１ａによって算出された撮影画像上のマーカー部１５の移動距離から実際の移動距離を求め、その移動距離と第２の移動距離算出検出機能３１ｂによって算出された移動距離とを対応付けて比較して、両者の移動距離が所定値以上異なっている場合にスティック部１０が軸周りに回転している状態と判断する。なお、実際には、両者の移動距離の差分を所定のしきい値と比較する等して、両者の移動距離が一致するか否かを判断する。

楽音発生制御部３１ｄは、回転検出機能３１ｃによってスティック部１０の軸周りの回転状態が検出された場合に、撮影画像中のスティック部１０のマーカー部１５の位置座標に基づいてエア楽器に対するスティック部１０の位置を判断し、対応する所定の楽音を発生する。

通知機能３１ｅは、楽音発生制御部３１ｄによる楽音の発生に伴い、次の演奏動作に備えてスティック部１０が軸周りに回転している旨を演奏者に知らせる。通知方法としては、後述するようにモニタ画面にメッセージ表示を行う方法などがある。

なお、第１の移動距離算出検出機能３１ａをカメラユニット部２０のＣＰＵ２１またはマーカー検出部２４に設けておき、その第１の移動距離算出検出機能３１ａによって算出された移動距離をセンターユニット部３０に送信することでもよい。また、第２の移動距離算出検出機能３１ｂをスティック部１０のＣＰＵ１１に設けておき、その第２の移動距離算出検出機能３１ｂによって算出された移動距離をセンターユニット部３０に送信することでもよい。

また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。

ＲＯＭ３２は、ＣＰＵ３１が実行する各種処理に対応したプログラム３２ａを記憶している。また、ＲＯＭ３２には、波形テーブル３２ｂが設けられている。この波形テーブル３２ｂには、種々の音色の波形データ、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなどの打楽器の波形データが位置座標などと対応付けて記憶されている。ＣＰＵ３１は、ショット検出時（ノートオンイベント受信時）にマーカー部１５の位置座標に基づいて、ＲＯＭ３２の波形テーブル３２ｂから該当する波形データを読み出すことで、演奏者の演奏動作に応じた楽音を音源装置３６を通じて発生する。なお、波形データは、音源装置３６内に備えられた波形ＲＯＭから読み出されるように構成しても良い。

ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）や、カメラユニット部２０から受信したマーカー部１５の位置座標など、処理において取得・生成された値を記憶する。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、楽音の音量や音色の変更、表示装置３５１の表示の切り替えなどが含まれる。

また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。表示装置３５１には、各種メニュー画面の他、カメラユニット部２０で撮影された画像とエア楽器の仮想画像との合成画像などが表示される。なお、この表示装置３５１に表示されるデータを無線通信によりモニタ部４０に送って、そのモニタ部４０の画面で拡大表示して確認することも可能である。

音源装置３６は、ＣＰＵ３１からの指示に従って、ＲＯＭ３２の波形テーブル３２ｂから波形データを読み出して、その波形データから楽音データを生成するとともに当該楽音データをアナログ信号に変換し、図示しないスピーカから出力する。

また、データ通信部３７は、スティック部１０、カメラユニット部２０、モニタ部４０との間で所定の無線通信（例えば、赤外線通信）を行う。

ここで、本発明に関する処理を説明する前に、理解を容易にするために、演奏装置１の基本的な動作について説明する。

［スティック部１０の処理］
図６は演奏装置１のスティック部１０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、スティック部１０のＣＰＵ１１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

まず、スティック部１０のＣＰＵ１１は、ＲＯＭ１２に格納されているマーカー特徴情報１２ｂを読み出す（ステップＳ１１）。この場合、スティック部１０Ａ，１０ＢのＣＰＵ１１が夫々に異なるマーカー特徴情報１２ｂを読み出す。異なるマーカー特徴情報１２ｂの読み出しは、任意の方法で行うことができる。例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよい。また、スティック部１０Ａ、１０Ｂ毎に予め１つのマーカー特徴情報１２ｂを対応付けておき、スティック部１０Ａ、１０ＢのＣＰＵ１１が夫々に対応付けられた独自のマーカー特徴情報１２ｂを読み出すこととしてもよい。

ＣＰＵ１１は、ＲＯＭ１２から読み出したマーカー特徴情報１２ｂをＲＡＭ１３に一旦格納した後、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ１２）。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを夫々区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報１２ｂをセンターユニット部３０に送信するものとする。

次に、ＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１３）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を行う（ステップＳ１４）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０の傾き、ロール角及びピッチ角の変位などを検知する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいてショット検出処理を行う（ステップＳ１５）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器を演奏する動作と同様の動作を行う。

すなわち、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そして、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティックを打ちつける瞬間又はそのわずかに手前に楽音を発生することとしている。

ここで、図７を参照して、スティック部１０を用いた楽音の発音タイミングの一例について説明する。

図７はスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度に関する出力の変化を表わした図である。なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味する。これは、Ｙ軸成分の加速度から分解し算出することとしてもよい。あるいは、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図７において、プラスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、マイナスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。

スティック部１０が静止している状態（ａで表わされる部分）であっても、スティック部１０には重力加速度が加わっている。このため、静止するスティック部１０のモーションセンサ部１４は、重力加速度に逆らう形で垂直上向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。

静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対して、さらに逆らう方向に動作することになる。このため、スティック部１０に加わる加速度はマイナス方向に増加する。その後、静止させようとして持ち上げる速度を減少させると、上向きの加速度が減少し、モーションセンサ部１４で検出されるスティック部１０のマイナス方向の加速度は減少する（ｂで表わされる部分）。そして、振り上げ動作が最高点に到達した時点での加速度は重力加速度のみになる（ｂとｃの境目付近で表される部分）。

振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、下向き方向に動作することになる。従って、スティック部１０に加わる加速度は、重力加速度に逆らって検出されていたマイナス方向の加速度よりもプラス方向に増加する。その後、演奏者はショットに向けて、下向き方向の加速度を減少させていくので、スティック部１０に加わる加速度はマイナス方向に増加する。この間、振り下ろし動作が最高速に到達するタイミングを経てスティック部１０には、再び重力加速度のみが加わる状態となる（ｃで表わされる部分）。

この後、演奏者がショットに向けて、スティック部１０に対してさらに振り上げ方向の加速度を加えると、加わる加速度はマイナス方向に増加する。そしてショットが終わると、スティック部１０は再び静止し、重力加速度に逆らう形のマイナス方向の加速度が検出される状態に戻る（ｄで表わされる部分）。

本実施形態においては、演奏者が仮想的な楽器の面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ方向の加速度が加えられた瞬間を検出する。つまり、図７のｄで表わされる部分において、振り下ろし状態から、言い換えれば加わる加速度が重力加速度のみから、さらにマイナス方向に所定値だけ増加したＡ点を、ショット検出のタイミングとしている。

このショット検出のタイミングを発音タイミングとし、上述したような発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発生される。

図６に戻り、ステップＳ１５に示すショット検出処理では、上述のようにモーションセンサ情報（例えば、加速度センサのＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、例えばショットの強さや加速度の大きさ等に応じて、楽音の音量や音色、ベロシティやエンベロープ等の種々の情報を含めることとしてもよい。なお、楽音の音量は、例えばセンサ合成値の最大値から求めることができる。

また、ＣＰＵ１１は、モーションセンサ情報に基づいて、演奏者の所定の動作（アクション）を示す情報（以下、アクション情報と呼ぶ）を検出する処理、すなわち、アクション検出処理を行う（ステップＳ１６）。なお、ここでアクション動作とは、ユーザがスティックを用いて行う、ショット以外の動作をいい、例えば、ユーザが撮像空間内で、スティックのマーカーが所定の形状を描くように動かした場合や、ある位置でダブルクリックのような動作をさせた場合を検出する。そして、例えばユーザがスティックを横にスライドさせた場合には、ページをめくるようにドラムセットを入れ替えるなどのように用いる事ができる。

ＣＰＵ１１は、ステップＳ１４〜Ｓ１６の処理で検出した情報、すなわち、姿勢情報、ショット情報及びアクション情報を、データ通信部１６を介してセンターユニット部３０に送信して（ステップＳ１７）、ステップＳ１３の処理に戻る。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを区別するためのスティック識別情報と対応付けて、姿勢情報、ショット情報及びアクション情報をセンターユニット部３０に送信する。

［カメラユニット部２０の処理］
図８は演奏装置１のカメラユニット部２０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、カメラユニット部２０のＣＰＵ２１がＲＯＭ２２に記憶されたプログラム２２ａを読み出すことにより実行される。

カメラユニット部２０のＣＰＵ２１は、マーカー検出条件取得処理を行う（ステップＳ２１）。この処理では、ＣＰＵ２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得し、ＲＡＭ２３に格納する。

なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５の夫々を検出するための条件であり、マーカー特徴情報１２ｂから生成される（後述する図９のステップＳ３１，Ｓ３２参照）。ここで、上述したようにマーカー特徴情報１２ｂとして、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。

次に、ＣＰＵ２１は、マーカー検出条件設定処理を行う（ステップＳ２２）。この処理では、ＣＰＵ２１は、マーカー検出条件情報に基づいて、スティック部１０Ａ，１０Ｂのマーカー部１５を検出するための各種設定を行う。

次に、ＣＰＵ２１は、第１マーカー検出処理及び第２マーカー検出処理を行う（ステップＳ２３，Ｓ２４）。これらの処理では、ＣＰＵ２１は、マーカー検出部２４が検出した、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検知情報を取得してＲＡＭ２３に格納する。このとき、マーカー検出部２４は、発光中のマーカー部１５について、マーカー検知情報を検出する。

ＣＰＵ２１は、ステップＳ２３及びステップＳ２４で取得したマーカー検知情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ２５）、ステップＳ２３の処理に戻る。

［センターユニット部３０の処理］
図９は演奏装置１のセンターユニット部３０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ３２に記憶されたプログラム３２ａを読み出すことにより実行される。

センターユニット部３０のＣＰＵ３１は、マーカー特徴情報１２ｂをスティック部１０から受信してＲＡＭ３３に格納する（ステップＳ３１）。ＣＰＵ３１は、このマーカー特徴情報とスイッチ３４１を介して設定された検出条件からマーカー検出条件情報を生成し、データ通信部３７を介してカメラユニット部２０に送信する（ステップＳ３２）。

次に、ＣＰＵ３１は、カメラユニット部２０から第１マーカー及び第２マーカー夫々のマーカー検知情報を受信し、ＲＡＭ３３に格納する（ステップＳ３３）。また、ＣＰＵ３１は、スティック部１０Ａ、１０Ｂの夫々から、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報を受信し、ＲＡＭ３３に格納する（ステップＳ３４）。

ここで、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ３５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット処理を行う（ステップＳ３６）。ショット処理では、ＣＰＵ３１は、ＲＯＭ３２の波形テーブル３２ｂからマーカー検知情報に含まれる位置座標、サイズ及び角度などに対応する波形データを読み出し、ノートオンイベントに含まれる音量データとともに音源装置３６に出力する。これにより、音源装置３６では、受け取った波形データに基づいて該当する楽音を発生する。

一方、ステップＳ３６の後、又はステップＳ３５でＮＯと判断した場合には、ＣＰＵ３１は、スティック部１０から受信したアクション情報に基づいて、アクションありか否かを判断する（ステップＳ３５）。このとき、アクションありと判断した場合には、ＣＰＵ３１は、受信したアクション情報に基づくアクション処理を行い（ステップＳ３８）、ステップＳ３３の処理に戻る。また、アクションなしと判断した場合には、ＣＰＵ３１は、ステップＳ３３の処理に戻る。

以上が演奏装置１の基本的な動作である。
なお、上記各フローチャートでは説明を省略したが、演奏中にカメラユニット部２０で撮影した演奏者の画像をセンターユニット部３０に送ることにより、センターユニット部３０で、その撮影画像と図１（ｂ）に示した仮想ドラムセットＤの画像とを合成し、その合成画像をモニタ部４０に転送して表示することも可能である。

演奏者は、このモニタ部４０に表示された合成画像で仮想ドラムセットＤの各楽器の位置を確認しながら演奏することができる。ただし、モニタ部４０を見ながらの演奏ではゲーム的であるため、リアリティ性を求める場合にはモニタ部４０を見ないで演奏することが好ましい。つまり、あたかも目の前にドラムセットがあるものとして、スティック部１０を持って演奏するスタイルが好ましい。

ここで、図１０に示すように、モーションセンサ部１４として３軸の加速度センサ１４ａがスティック部１０の先端部に設けられているものとする。エアドラムを演奏する場合に、まず、スティック部１０に設けられた操作ボタン１７を操作して、スティック部１０の演奏動作に対する加速度センサ１４ａの基準方向（例えばＺ軸方向）を決めておく。これにより、演奏者がスティック部１０を移動させたときに、そのときの動作方向を加速度センサ１４ａによって正しく検出することができる。

ところが、演奏中にスティック部１０が軸周りに回転（ロール回転）することがある。このような場合、加速度センサ１４ａの検出方向が実際のスティック部１０の向きと違ってしまい、演奏者がスティック部１０を楽器に向かって振り下ろしても、スティック部１０の動作方向が誤検出されて、意図した楽音が出力されないことがある。

以下では、このようなスティック部１０の回転に関する処理について説明する。

いま、図１１に示すように、カメラユニット部２０から所定の距離Ｔだけ離れた位置で演奏者がスティック部１０を用いてドラム演奏を行うものとし、そのときにカメラユニット部２０の撮影範囲２０ｂ内で撮影された演奏者の画像がセンターユニット部３０にリアルタイムで送られているとする。

図１２は演奏装置１のセンターユニット部３０のスティック回転対応処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

まず、センターユニット部３０のＣＰＵ３１は、初期設定として加速度センサ１４ａの基準方向の設定処理を行う（ステップＳ４１）。

詳しくは、図１３に示すように、演奏者がスティック部１０を基準方向（Ｚ軸方向）に振るときの向きを決めておく（ステップＳ４１−１）。具体的には、例えばスティック部に所定の目印等が付され、演奏者がこの目印等を用いて所定の回転向きにスティックを合わせて保持することで、初期のスティック部１０の向きを基準方向に合わせる。

続いて、演奏者が操作ボタン１７を操作することにより、このときのスティック部１０の向きを確定すると（ステップＳ４１−２のＹＥＳ）、ＣＰＵ３１はそのときの加速度センサ１４ａの出力値に応じて、そのスティック部１０の向きと加速度センサ１４ａの基準方向とを対応付けて、例えばＲＡＭ３３の所定の領域に記憶する（ステップＳ４１−３）。ここで、加速度センサ１４ａは、上述のように静止時においても重力方向に重力加速度１Ｇに相当する値を検出するので、この加速度センサから検出された値に基づき、スティック１０の向きと加速度センサの基準方向との対応付けをはかる。

このように、初期設定によりスティック部１０の向きと加速度センサ１４ａの基準方向とを対応付けておくことにより、以後、演奏者がスティック部１０を動かしたときに、そのときのスティック部１０の動作方向が正しく検出される。

ここで、所定の操作によりエアドラムの演奏が開始されると（ステップＳ４２のＹＥＳ）、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０のマーカー検出部２４から撮影画像上のスティック部１０のマーカー部１５の位置座標を取得する（ステップＳ４３）。

なお、本実施形態では、カメラユニット部２０側でマーカー検出処理を行う構成としているが、センターユニット部３０のＣＰＵ３１がカメラユニット部２０から撮影画像を受信し、その撮影画像からマーカー部１５の位置座標を検出することでもよい。また、実際にはスティック部１０として２本のスティック部１０Ａ，１０Ｂを用いて演奏するので、スティック部１０Ａ，１０Ｂのそれぞれについて、マーカー部１５Ａ，１５Ｂの位置座標を検出するものとする。

撮影画像上のマーカー部１５の位置座標が得られると、ＣＰＵ３１は、その位置座標を追跡することで、マーカー部１５が下方向（Ｚ軸方向）へ移動している状態であるか否かを判断する（ステップＳ４４）。マーカー部１５が下方向以外に移動している状態であれば（ステップＳ４４のＮＯ）、ＣＰＵ３１は、演奏者が発音指示（ノートオン）以外の演奏動作として例えば他の楽器位置へのスティックの移動等のためにスティック部１０を移動させているだけで、楽器を叩く動作でないと判断し、ここでの処理を終える。

マーカー部１５が下方向へ移動している状態であれば（ステップＳ４４のＹＥＳ）、ＣＰＵ３１は、エアドラムの各楽器の演奏エリアに入ったか否かを判断する（ステップＳ４５）。これは、撮影画像中のマーカー部１５の位置座標と予め与えられているエアドラムの各楽器の位置座標との関係から判断する。マーカー部１５が演奏エリアに入っていない場合には（ステップＳ４５のＮＯ）、ＣＰＵ３１は、スティック部１０が例えば楽器の横を通過しただけと判断し、ここでの処理を終える。

一方、マーカー部１５が演奏エリアに入った場合（ステップＳ４４のＹＥＳ）、ＣＰＵ３１は、撮影画像上のマーカー部１５の下方向（Ｚ軸方向）に関する移動距離Ｄ０を算出する（ステップＳ４６）。この場合、図７で説明したように、加速度センサ１４ａの信号変化に基づいて演奏者がスティック部１０を振り上げてから楽器に向かって振り下ろしたときのタイミングを判断し、その間に撮影画像上で検出されるマーカー部１５の移動距離Ｄ０を求める。

また、ＣＰＵ３１は、加速度センサ１４ａの信号に基づいてマーカー部１５の下方向（Ｚ軸方向）に関する移動距離Ｌ０を算出する（ステップＳ４７）。この場合、演奏者がスティック部１０を振り上げてから楽器に向かって振り下ろしたときに得られた加速度を２回時間積分することで、その間のマーカー部１５の移動距離Ｌ０を求めることができる。

このようにして、撮影画像上のマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０が得られると、ＣＰＵ３１は移動距離Ｄ０と移動距離Ｌ０とを比較する（ステップＳ４８）。

詳しくは、図１４のフローチャートに示すように、ＣＰＵ３１は、撮影画像上のマーカー部１５の移動距離分の画素数をカウントし（ステップＳ４８−１）、そのカウントした画素数を実際の移動距離Ｄ０に変換する（ステップＳ４８−２）。この場合、図１１に示したように、カメラユニット部２０から所定の距離Ｔだけ離れた位置で撮影を行うものとすれば、その撮影画像の画素数からマーカー部１５の移動距離Ｄ０を計算により求めることができる。

なお、図１５に示すように、上記所定距離Ｔで撮影したときに得られる撮影画像の画素数とマーカー部１５の移動距離との対応関係を記憶したテーブル３８を用意しておけば、その都度、画素数からマーカー部１５の移動距離を計算しなくとも、テーブル３８を参照するだけで移動距離Ｄ０を得ることができる。このテーブル３８は、例えばセンターユニット部３０のＲＡＭ３３に設けられる。

ＣＰＵ３１は、このようにして撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０とを比較する（ステップＳ４８−３）。

ここで、図１６に示すように、演奏者がスティック部１０の先端部に設けられたマーカー部１５を下方向（Ｚ軸方向）に振り下ろしたときに、スティック部１０が正しい向きで保持されていてスティック部１０に設けられた加速度センサ１４ａが正しい方向の加速度を検出していれば、撮影画像の画素数から求めたマーカー部１５の下方向（Ｚ軸方向）に関する移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の下方向（Ｚ軸方向）に関する移動距離Ｌ０とは一致する。

ところが、演奏中にスティック部１０の握り位置がずれるなどしてスティック部１０が軸周りに回転した状態にあると、加速度センサ１４ａによって検出されるスティック部１０の加速度が、正しい方向の値からずれた値となってしまう。このために、撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０とが一致しなくなる。しがって、撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０とを比較することで、スティック部１０が軸周りに回転した状態にあるか否かを判断することができる。

なお、この移動距離Ｄ０およびＬ０の算出と比較は、演奏者がスティック部１０を振り上げてから楽器に向かって振り下ろすまでの区間で、累積値を用いても良い。また、各単位時間ごとに移動距離の絶対値を算出して絶対値の累積値を用いる方法や、各単位時間ごとに比較を行う方法、所定の着目区間を別途設けてその区間について比較を行う方法など、種々の方法が可能である。

図１７は、演奏者がスティック部１０を基準方向（Ｚ軸方向）に振り下ろしたときに、加速度センサ１４ａにて検出されるスティック部１０の基準方向（上記の説明では下方向（Ｚ軸方向）を基準方向とした例で説明している）の移動距離Ｌ０の長さを模式的に表している。

図１７（ａ）に示すように、スティック部１０の向きが正常であれば（つまり、加速度センサ１４ａの基準方向を初期設定したときの向きと同じであれば）、加速度センサ１４ａにて検出されるスティック部１０の基準方向の移動距離Ｌ０は撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と同じである。

一方、スティック部１０が軸周りに回転していると、同図（ｂ）のように、加速度センサ１４ａにて検出されるスティック部１０の基準方向の移動距離Ｌ０は正常時よりも短くなる。スティック部１０がさらに回転している状態であれば、同図（ｃ）のように移動距離Ｌ０は正常時よりもさらに短くなる。

また、スティック部１０の回転により加速度センサ１４ａの検出方向が９０度ずれた状態になると、演奏者がスティック部１０を基準方向に振り下ろしても、その方向の動きが検出されない。したがって、加速度センサ１４ａの基準方向の出力レベルはゼロとなり、同図（ｄ）のように移動距離Ｌ０もゼロとなる。

図１２に戻って、撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０が一致した場合には（ステップＳ４９のＹＥＳ）、ＣＰＵ３１は、スティック部１０が正しい向きで振り下ろされたと判断し、上記ステップＳ４５で撮影画像上のマーカー位置から求めた演奏エリアに対応した楽音を発生する（ステップＳ５０）。

一方、撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０が一致しない場合には（ステップＳ４９のＹＥＳ）、ＣＰＵ３１は、スティック部１０が正しい向きで振り下ろされていないと判断する。つまり、スティック部１０が軸周りに回転している状態にあると判断する。この場合、ＣＰＵ３１は、上記ステップＳ４５で撮影画像上のマーカー位置から求めた演奏エリアに対応した楽音を発生する（ステップＳ５１）。

なお、上記でいう「一致」とは、完全に同一の値となる場合のみをいうとは限らない。すなわち、誤差や許容範囲の程度を考慮して、撮影画像の画素数から求めたマーカー部１５の移動距離Ｄ０と加速度センサ１４ａから求めたマーカー部１５の移動距離Ｌ０の差分が、あるしきい値以上になったか否かで、差分が大きくなった場合にステップＳ５１の処理へ進むように構成しても良いのは当然である。

なお、この際、ステップＳ５１における楽音の発生を、加速度センサ１４ａの基準方向の出力レベルに応じた音量で発音させるようにする事も可能である。すなわち、スティック部１０が軸周りに回転している状態にあるとき、加速度センサ１４ａの基準方向の出力レベルが通常よりも小さくなる。したがって、加速度センサ１４ａの基準方向の出力レベルに基づいて音量を制御することで、演奏者にスティック部１０が軸周りに回転している状態を音量の大きさから聴覚的に警告することができる。

さらに、ＣＰＵ３１は、スティック部１０が軸周りに回転している状態にあることを所定の方法で通知する（ステップＳ５２）。なお、このときスティック部１０が振り下ろされて楽音が鳴っているので、次の演奏動作に備えての通知となる。

また、このときの通知方法としては、例えば図１８に示すようなメッセージ画面４１をモニタ部４０に表示する方法がある。このメッセージ画面４１には、「スティックが回転しています。スティックを持ち直して下さい。」といったようなメッセージが書かれている。

このようなメッセージ画面４１を表示することで、演奏者にスティック部１０が軸周りに回転している状態を視覚的に知らせることができる。これにより、演奏者は、スティック部１０を持ち直して、正して向きにして演奏を続けることができる。

また、センターユニット部３０の表示装置３５１に表示することも可能である。また、音声メッセージで通知することでもよいが、演奏中であるため、演奏者のみに聞こえるようにモニター用のヘッドフォン等を通して音声出力することが好ましい。

また、別の方法として、図１９に示すように、例えばカメラユニット部２０に２つのランプ２６，２７を設けておき、スティック部１０の回転状態に応じてランプ２６，２７を点灯制御することでもよい。ランプ２６は、例えば緑色のＬＥＤからなり、スティック部１０の向きが正しい状態にあるとき、つまり、スティック部１０の向きと加速度センサ１４ａの基準方向にずれがないときに点灯される。ランプ２７は、例えば赤色のＬＥＤからなり、スティック部１０が軸周りに回転した状態にあるとき、つまり、スティック部１０の向きと加速度センサ１４ａの基準方向にずれがある場合に点灯される。このランプ２６，２７は、演奏者が演奏中に容易に視認できるようにカメラユニット部２０の正面などに設けておくことが好ましい。

このように、カメラユニット部２０に設けられたランプ２６，２７の点灯状態からスティック部１０の向きを把握することができ、ランプ２７が点灯している場合には、スティック部１０を持ち直すなどして、スティック部１０の向きを正して演奏を続けることができる。

また、別の方法として、図２０に示すように、スティック部１０の先端部に設けられた発光体であるマーカー部１５の点灯制御により、例えば点滅や色を変えて表示するなどして演奏者に知らせることでもよい。このような構成とすれば、演奏者はマーカー部１５の点灯状態からスティック部１０の向きを把握することができ、マーカー部１５が点滅あるいは別の色で点灯している場合には、スティック部１０を持ち直すなどして、スティック部１０の向きを正して演奏を続けることができる。

さらに、例えばスティック部１０にバイブレータ機能１８を設けておき、演奏中にスティック部１０が軸周りに回転したらスティック部１０を震動させて、演奏者に知らせることでもよい。このような構成とすれば、演奏者はスティック部１０の震動を感じることで、スティック部１０の向きが正しくないことに気づいて修正することができる。

また、スティック部１０に警告表示部１９１を設け、演奏中にスティック部１０が軸周りに回転した場合の警告を、この警告表示部１９１によって行うことも可能である。この場合、警告表示部１９１としては、単なるＬＥＤランプを点灯あるいは点滅させるようにしても良いし、メッセージを表示できる液晶表示部を備えることとしても良い。

演奏が終了するまでの間、このような処理が繰り返し行われ、スティック部１０が軸周りに回転している状態が検出された場合には、上述した方法により演奏者に対して通知がなされる。

以上のように、本実施形態によれば、撮影画像とセンサを併用することで、スティック部１０の回転によりセンサが正しく動作方向を検出できない状態にあっても、撮影画像上のマーカー位置からスティック部１０の位置を判断して所定の楽音を鳴らすことができる。

ここで、撮影画像だけでもスティック部１０の位置を判断して楽音を発生することが可能ではある。しかし、スティック部１０の演奏動作は早いため、撮影画像だけでは処理が追いつかず、音を鳴らすタイミングが遅くなってしまう問題がある。本実施形態では、このような観点から撮影画像とセンサを併用しており、スティック部１０の向きが正しい状態であればセンサ出力を元に適切なタイミングで音を鳴らし、スティック部１０が回転していれば撮影画像上で位置判断して音を鳴らし、そのときに演奏者に警告を行ってスティック部１０の向きを修正させることができる。

なお、スティック部１０に設けられる方向検出用のセンサとして、加速度センサ１４ａを例にして説明したが、例えば角速度センサなどの他のセンサでも同様であり、撮影画像との併用により同様の効果が得られる。

また、上記実施形態では、仮想的な打楽器としてエアドラムを例にして説明したが、本発明はこれに限られるものではなく、スティック部１０の振り下ろし／振り上げ動作で楽音を発生する楽器であれば、例えば木琴などの他の楽器に適用することができる。

また、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。例えば、スティック部１０のＣＰＵ１１が行うこととしているショット検出処理（図６）などを、センターユニット部３０のＣＰＵ３１で行うこととしてもよい。

さらに、スティック部１０の軸周りの回転状態を演奏者に警告する際、その回転量に応じて警告の方法を変化させても良い。例えば、図１２のステップＳ４８からＳ４９において、撮影画像上のマーカーの移動距離とセンサ上のマーカーの移動距離との差分を複数のしきい値と比較する。その比較結果に応じて（移動距離の差分量に応じて）、例えば警告メッセージを変化させたり、ＬＥＤやメッセージ表示の色を変化させたり、ＬＥＤの明滅パターンを変化させたり、モニター音を変化させたり、バイブレータパターンを変化させたり、矢印の表示形状や表示個数を変化させるなど、種々の方法が考えられる。

要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、
上記演奏部材が存在する撮像空間を撮影する撮影手段と、
上記演奏部材の動きを検出するためのセンサと、
上記撮影手段によって撮影された画像から得られる上記演奏部材の動きと上記センサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出手段と、
上記回転検出手段によって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知手段と
を具備したことを特徴とする演奏装置。

［２］
上記回転検出手段によって上記演奏部材の軸周りの回転状態が検出された場合に、上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標に基づいて上記エア楽器に対する上記演奏部材の位置を判断し、対応する所定の楽音を発生する楽音発生制御手段をさらに具備したことを特徴とする［１］記載の演奏装置。

［３］
上記撮影画像から上記演奏部材の上記マーカーを検出するマーカー検出手段と、
このマーカー検出手段によって検出された上記撮影画像上の上記マーカーの移動距離を算出する第１の移動距離算出手段と、
上記センサの検出信号に基づいて上記演奏部材の上記マーカーの移動距離を算出する第２の移動距離算出手段とを備え、
上記回転検出手段は、
上記第１の移動距離算出手段によって算出された上記撮影画像上の上記マーカーの移動距離と上記第２の移動距離算出手段によって算出された移動距離とを対応付けて比較して、両者の移動距離が所定値以上異なっている場合に上記演奏部材が軸周りに回転している状態と判断することを特徴とする［１］または［２］記載の演奏装置。

［４］
上記撮影画像上の画素数と実際の移動距離との対応関係を記憶したテーブル手段を備え、
上記回転検出手段は、
上記テーブル手段を参照して、上記第１の移動距離算出手段によって算出された上記撮影画像上の上記マーカーの移動距離と上記第２の移動距離算出手段によって算出された移動距離との変換を行って比較することを特徴とする［３］記載の演奏装置。

［５］
上記通知手段は、
上記演奏者が視認可能なモニタ画面にメッセージを表示して、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする［１］乃至［３］のいずれかに記載の演奏装置。

［６］
上記通知手段は、
上記撮影手段に設けられた発光部の点灯制御により、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする［１］乃至［３］のいずれかに記載の演奏装置。

［７］
上記通知手段は、
上記演奏部材の特定部分に設けられた発光部の点灯制御により、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする［１］乃至［３］のいずれかに記載の演奏装置。

［８］
上記通知手段は、
上記演奏者が持つ上記演奏部材を震動させて、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする［１］乃至［３］のいずれかに記載の演奏装置。

［９］
上記通知手段は、
上記演奏部材の特定部分に設けられた表示部メッセージを表示して、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする［１］乃至［３］のいずれかに記載の演奏装置。

［１０］
上記楽音発生制御手段は、上記センサから得られる上記演奏部材の動き方向の信号レベルに応じた音量で所定の楽音を発生することを特徴とする［２］記載の演奏装置。

［１１］
コンピュータによって実行されるエア楽器の演奏方法であって、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影ステップと、
この撮影ステップによって撮影された画像から得られる上記演奏部材の動きと上記演奏部材に設けられたセンサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出ステップと、
この回転検出ステップによって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知ステップと
を備えたことを特徴とする演奏方法。

［１２］
上記回転検出ステップによって上記演奏部材の軸周りの回転状態が検出された場合に、上記撮影ステップによって撮影された画像中の上記演奏部材の上記マーカーの位置座標に基づいて上記エア楽器に対する上記演奏部材の位置を判断し、対応する所定の楽音を発生する楽音発生制御ステップをさらに備えたことを特徴とする［１１］記載の演奏方法。

［１３］
コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
上記コンピュータを、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影手段、
この撮影手段によって撮影された画像から得られる上記演奏部材の動きと上記演奏部材に設けられたセンサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出手段、
この回転検出手段によって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知手段
として機能させるためのコンピュータ読取り可能なプログラム。

［１４］
上記コンピュータを、
上記回転検出手段によって上記演奏部材の軸周りの回転状態が検出された場合に、上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標に基づいて上記エア楽器に対する上記演奏部材の位置を判断し、対応する所定の楽音を発生する楽音発生制御手段として機能させるための［１３］記載のコンピュータ読取り可能なプログラム。

１…演奏装置、１０…スティック部、１１…ＣＰＵ、１２…ＲＯＭ、１２ａ…プログラム、１２ｂ…マーカー特徴情報、１３…ＲＡＭ、１４…モーションセンサ部、１５…マーカー部、１６…データ通信部、１７…操作ボタン、１８…バイブレータ機能、１９１…警告表示部、２０…カメラユニット部、２０ａ…撮影レンズ、２０ｂ…撮影範囲、２１…ＣＰＵ、２２…ＲＯＭ、２２ａ…プログラム、２３…ＲＡＭ、２４…マーカー検出部、２５…データ通信部、２６，２７…ランプ、３０…センターユニット、３１…ＣＰＵ、３１ａ…第１の移動距離算出検出機能、３１ｂ…第２の移動距離算出検出機能、３１ｃ…回転検出機能、３１ｄ…楽音発生制御部、３１ｅ…通知機能、３２…ＲＯＭ、３２ａ…プログラム、３２ｂ…波形テーブル、３３…ＲＡＭ、３４…スイッチ操作検出回路、３４１…スイッチ、３５…表示回路、３５１…表示装置、３６…音源装置、３７…データ通信部、３８…テーブル、４０…モニタ部、４１…メッセージ画面。

Claims (14)

1. 演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、
   上記演奏部材が存在する撮像空間を撮影する撮影手段と、
   上記演奏部材の動きを検出するためのセンサと、
   上記撮影手段によって撮影された画像から得られる上記演奏部材の動きと上記センサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出手段と、
   上記回転検出手段によって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知手段と
   を具備したことを特徴とする演奏装置。
2. 上記回転検出手段によって上記演奏部材の軸周りの回転状態が検出された場合に、上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標に基づいて上記エア楽器に対する上記演奏部材の位置を判断し、対応する所定の楽音を発生する楽音発生制御手段をさらに具備したことを特徴とする請求項１記載の演奏装置。
3. 上記撮影画像から上記演奏部材の上記マーカーを検出するマーカー検出手段と、
   このマーカー検出手段によって検出された上記撮影画像上の上記マーカーの移動距離を算出する第１の移動距離算出手段と、
   上記センサの検出信号に基づいて上記演奏部材の上記マーカーの移動距離を算出する第２の移動距離算出手段とを備え、
   上記回転検出手段は、
   上記第１の移動距離算出手段によって算出された上記撮影画像上の上記マーカーの移動距離と上記第２の移動距離算出手段によって算出された移動距離とを対応付けて比較して、両者の移動距離が所定値以上異なっている場合に上記演奏部材が軸周りに回転している状態と判断することを特徴とする請求項１または２記載の演奏装置。
4. 上記撮影画像上の画素数と実際の移動距離との対応関係を記憶したテーブル手段を備え、
   上記回転検出手段は、
   上記第１の移動距離算出手段によって算出された上記撮影画像上の上記マーカーの移動距離分の画素数をカウントし、上記カウントされた上記画素数から上記テーブル手段を参照して上記実際の移動距離を取得することを特徴とする請求項３記載の演奏装置。
5. 上記通知手段は、
   上記演奏者が視認可能なモニタ画面にメッセージを表示して、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする請求項１乃至３のいずれかに記載の演奏装置。
6. 上記通知手段は、
   上記撮影手段に設けられた発光部の点灯制御により、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする請求項１乃至３のいずれかに記載の演奏装置。
7. 上記通知手段は、
   上記演奏部材の特定部分に設けられた発光部の点灯制御により、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする請求項１乃至３のいずれかに記載の演奏装置。
8. 上記通知手段は、
   上記演奏者が持つ上記演奏部材を震動させて、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする請求項１乃至３のいずれかに記載の演奏装置。
9. 上記通知手段は、
   上記演奏部材の特定部分に設けられた表示部メッセージを表示して、上記演奏部材が軸周りに回転している旨を上記演奏者に知らせることを特徴とする請求項１乃至３のいずれかに記載の演奏装置。
10. 上記楽音発生制御手段は、上記センサから得られる上記演奏部材の動き方向の信号レベルに応じた音量で所定の楽音を発生することを特徴とする請求項２記載の演奏装置。
11. コンピュータによって実行されるエア楽器の演奏方法であって、
    演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影ステップと、
    この撮影ステップによって撮影された画像から得られる上記演奏部材の動きと上記演奏部材に設けられたセンサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出ステップと、
    この回転検出ステップによって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知ステップと
    を備えたことを特徴とする演奏方法。
12. 上記回転検出ステップによって上記演奏部材の軸周りの回転状態が検出された場合に、
    上記撮影ステップによって撮影された画像中の上記演奏部材の上記マーカーの位置座標に基づいて上記エア楽器に対する上記演奏部材の位置を判断し、対応する所定の楽音を発生する楽音発生制御ステップをさらに備えたことを特徴とする請求項１１記載の演奏方法。
13. コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
    上記コンピュータを、
    演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影手段、
    この撮影手段によって撮影された画像から得られる上記演奏部材の動きと上記演奏部材に設けられたセンサによって得られる上記演奏部材の動きとを比較して上記演奏部材の軸周りの回転状態を検出する回転検出手段、
    この回転検出手段によって検出された上記演奏部材の軸周りの回転状態に応じて警告を上記演奏者に通知する通知手段
    として機能させるためのコンピュータ読取り可能なプログラム。
14. 上記コンピュータを、
    上記回転検出手段によって上記演奏部材の軸周りの回転状態が検出された場合に、上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標に基づいて上記エア楽器に対する上記演奏部材の位置を判断し、対応する所定の楽音を発生する楽音発生制御手段として機能させるための請求項１３記載のコンピュータ読取り可能なプログラム。

Images