JP6098082B2 - 演奏装置、演奏方法及びプログラム - Google Patents

Description

本発明は、ユーザの演奏動作に応じて楽音を発生する演奏装置に係り、特に実存しない仮想的な楽器（エア楽器と称す）に対するユーザの演奏動作に応じて楽音を発生する演奏装置と、そのエア楽器の演奏方法及びプログラムに関する。

従来、エア楽器に対するユーザの演奏動作に応じて楽音を発生する演奏装置として、「エアドラム」を演奏するための装置が知られている。これは、スティック部材に加速度センサを設けておき、演奏者であるユーザがそのスティック部材を振り下ろす動作を検出して、そのスティック部材で叩いた楽器に対応した楽音を発生するものである。

このエアドラムでは、演奏者の演奏動作をカメラで撮影し、その撮影画像をドラムセットの仮想画像と合成してモニタ画面に表示し、スティック部材の振り下ろし動作とドラムセットの各楽器との位置関係を視覚的に把握できるようにした技術が知られている（例えば、特許文献１参照）。

特許第３５９９１１５号公報

上述したエアドラムにおいて、スティック部材が叩いている位置は、スティック部材の先端部に設けられたマーカー（発光体）を撮影画像上で認識することで得られる。マーカー部分は、スティックの先端部分に応じて縦長の形状とすることが一般的で、スティック部材を撮影する方向によっては、マーカー部分を撮影した撮影画像上での面積が大きく変わってしまう。特に、カメラの設置位置や演奏者のスティック部材の持ち方によっては、マーカーを正しく認識できないことがある。このような場合、加速度センサによってスティック部材を振り下ろしている動きは分かっても、エアドラムのどこを叩いているのか分からないため、楽音を発生することができない。

なお、スティック部材の先端部分を大きくしたり、球体形状にすれば、カメラに対する向きが多少悪くても認識できる。しかし、ドラム演奏は細長い棒状のスティックを使用するものであるため、スティック部材の形状を変えることは美観的に好ましくない。

本発明は上記のような点に鑑みなされたもので、演奏部材としての形状を損なうことなく、演奏部材の動きを正しく捕らえて楽音を発生することのできる演奏装置、演奏方法及びプログラムを提供することを目的とする。

本発明に係る演奏装置は、演奏者が持つ演奏部材であって、前記演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、上記演奏部材と離間して配置され、上記演奏部材が存在する撮像空間を撮影する撮影手段と、上記演奏部材の動きを検出する演奏部材検出手段と、上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段と、上記演奏者が上記演奏部材を振り下ろし中にあるか否かを判断する振り下ろし中判断手段と、上記撮影手段に対する上記演奏部材の上記マーカーの向きを、上記撮影手段によって撮影された上記画像中の上記マーカーの大きさから判断する向き判断手段と、この向き判断手段によって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を、上記振り下ろし中判断手段により振り下ろし中であると判断された場合に上記演奏者に通知するとともに、上記振り下ろし中判断手段により振り下ろし中でないと判断された場合に上記演奏者に通知しない通知手段とを具備したことを特徴とする。

本発明によれば、演奏部材としての形状を損なうことなく、演奏部材の動きを正しく捕らえて楽音を発生することができる。

図１は本発明の第１の実施形態に係る演奏装置の概要を説明するための図であり、図１（ａ）は演奏装置のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットとの位置関係を示す図である。 図２は同実施形態における演奏装置のスティック部のハードウェア構成を示すブロック図である。 図３は同実施形態における演奏装置のスティック部の外観構成を示す斜視図である。 図４は同実施形態における演奏装置のカメラユニット部のハードウェア構成を示すブロック図である。 図５は同実施形態における演奏装置のセンターユニット部のハードウェア構成を示すブロック図である。 図６は同実施形態における演奏装置のスティック部の処理を示すフローチャートである。 図７は同実施形態における演奏装置のスティック部を用いて演奏動作を行った場合のモーションセンサ部の垂直方向の加速度に関する出力の変化を表わした図である。 図８は同実施形態における演奏装置のカメラユニット部の処理を示すフローチャートである。 図９は同実施形態における演奏装置のセンターユニット部の処理を示すフローチャートである。 図１０は同実施形態における演奏装置のカメラユニット部と演奏者との位置関係を説明するための図である。 図１１は同実施形態における演奏装置のセンターユニット部のマーカー向き対応処理を示すフローチャートである。 図１２は同実施形態におけるスティック部のマーカー部がカメラユニット部に正しく向けられている状態を示す図である。 図１３は同実施形態におけるスティック部のマーカー部がカメラユニット部に正しく向けられていない状態を示す図である。 図１４は同実施形態における演奏装置の通知メッセージの一例を示す図である。 図１５は同実施形態におけるカメラユニット部に設けられたランプの一例を示す図である。 図１６は同実施形態におけるスティック部に設けられたマーカー部とバイブレータ機能の一例を示す図である。 図１７は本発明の第２の実施形態に係る演奏装置のセンターユニット部のマーカー向き対応処理を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。

（第１の実施形態）
［演奏装置１の概要］
図１は本発明の第１の実施形態に係る演奏装置１の概要を説明するための図であり、図１（ａ）は演奏装置１のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットＤとの位置関係を示す図である。

本実施形態における演奏装置１は、エア楽器として「エアドラム」を演奏するための装置である。この演奏装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、モニタ部４０とを備えて構成される。

なお、本実施形態では、２本のスティックを用いた仮想的なドラム演奏を想定しているため、２つのスティック部１０Ａ、１０Ｂを備える。しかし、スティック部の数は、これに限られず、１つとしてもよく、３つ以上としてもよい。以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の部材からなる。このスティック部１０、演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材として用いられる。本実施形態において、演奏者であるユーザは、スティック部１０の一端（根元側）を持ち、手首などを中心としたスティック部１０の振り上げ／振り下ろしの演奏動作によりエアドラムの演奏を行う。

このようなスティック部１０を用いた演奏者の演奏動作を検出するため、スティック部１０の他端（先端側）には、加速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらのセンサによって検出された演奏者の演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。

また、スティック部１０の先端側には、マーカー部１５（図２参照）が設けられている。このマーカー部１５は、ＬＥＤ（light emitting diode）等の発光体からなり、スティック部１０の動きを検出するために用いられる。

カメラユニット部２０は、光学式のカメラ（撮像装置）からなり、スティック部１０を用いてエアドラムを演奏する演奏者を所定のフレームレートで撮影する。より詳しくは、カメラユニット部２０は、演奏者が持つスティック部１０が存在する撮像空間を撮影する。カメラユニット部２０は、その撮影画像からスティック部１０の先端部に設けられたマーカー部１５の位置座標を特定し、センターユニット部３０に送信する。

センターユニット部３０は、演奏装置１の制御本体に相当する。センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて所定の楽音を発生する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（ｂ）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データとノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が叩いた楽器を特定し、その楽器に対応する楽音を発生する。

また、モニタ部４０の画面には、カメラユニット部２０によって撮影された演奏中のユーザと仮想ドラムセットＤとが合成表示される。ユーザはこのモニタ部４０の画面を見ながら、仮想ドラムセットＤを構成する各楽器に対応する位置をスティック部１０で叩いて演奏することができる。

なお、ここで言う「楽器」とは、スティックで叩いて音を鳴らす楽器つまり打楽器（ドラムセットのシンバル，タム等）のことである。また、図１に示したモニタ部４０はセンターユニット部３０に任意接続である。演奏中に仮想ドラムセットＤの各楽器の位置を確認する必要がなければ、モニタ部４０は不要である。

以下、演奏装置１の構成ついて具体的に説明する。

［スティック部１０の構成］
図２は演奏装置１のスティック部１０のハードウェア構成を示すブロック図、図３はスティック部１０の外観構成を示す斜視図である。

スティック部１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６とを備える。

ＣＰＵ１１は、スティック部１０に関する制御として、主として演奏部材であるスティック部１０の動きを検出するための演奏部材検出機能１１ａを備える。この演奏部材検出機能１１ａには、後述する姿勢検知、ショット検出及びアクション検出などを含む。また、ＣＰＵ１１は、データ通信部１６を介してセンターユニット部３０との間の通信制御を行う。

ＲＯＭ１２には、ＣＰＵ１１が実行する各種処理に対応したプログラム１２ａとマーカー特徴情報１２ｂが記憶されている。ここで、本実施形態では、エアドラムの演奏に２本のスティック部１０Ａ，１０Ｂを用いるため、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別する必要がある。

マーカー特徴情報１２ｂは、この第１マーカーと第２マーカーとを区別するための情報であり、例えば発光時の形状、大きさ、色相、彩度、輝度、発光時の点減スピードなどが規定されている。スティック部１０Ａとスティック部１０Ｂでは、ＣＰＵ１１がそれぞれに異なるマーカー特徴情報１２ｂをＲＯＭ１２から読み出してマーカー部１５の発光制御を行う。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、ＣＰＵ１１の処理において取得又は生成されたデータを記憶する。

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサからなり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を実現するためのセンサとしては、例えば加速度センサ、角速度センサ、磁気センサなどを用いることができる。

（加速度センサ）
加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向の夫々に生じた加速度を出力する３軸センサを用いることができる。図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。このとき、加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の夫々の成分の加速度を取得するとともに、夫々の加速度を合成したセンサ合成値を算出することとしてもよい。

ここで、演奏者はスティック部１０の一端（根元側）を保持し、手首や腕などを中心とした振り上げ／振り下ろし動作を行う。スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出する。スティック部１０が動いている場合には、加速度センサは、当該動きの加速度と重力加速度１Ｇとのセンサ合成値を算出する。

なお、センサ合成値は、例えばＸ軸、Ｙ軸、Ｚ軸の成分の加速度の夫々の２乗の総和の平方根を算出することで得られる。

（角速度センサ）
角速度センサとしては、例えばジャイロスコープを備えたセンサを用いることができる。ここで、図３を参照して、角速度センサは、スティック部１０のＹ軸方向の回転角３０１やスティック部１０のＸ軸方向の回転角３１１を出力する。

Ｙ軸方向の回転角３０１は、演奏者がスティック部１０を持ったとき、演奏者からみた前後軸の回転角であり、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度３０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。

Ｘ軸方向の回転角３１１は、演奏者がスティック部１０を持ったとき、演奏者からみた左右軸の回転角であり、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度３１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。

なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角３１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。

（磁気センサ）
磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の夫々について出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なる。このため、これらの成分から、ＣＰＵ１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。

モーションセンサ部１４（詳細には、モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１）は、上述したセンサ値に基づいてスティック部１０の動き（演奏者の演奏動作と換言することもできる）を検出する。

加速度センサを例にして説明すると、ＣＰＵ１１は、加速度センサが出力する加速度（又はＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検出する。また、ＣＰＵ１１は、後述するように、モーションセンサ部１４からのセンサ値に基づいて、スティック部１０の振り下ろし動作や振り上げ動作を検出する。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられたＬＥＤなどの発光体からなり、ＣＰＵ１１の制御下で発光／消灯する。具体的には、マーカー部１５は、ＣＰＵ１１がＲＯＭ１２から読み出したマーカー特徴情報１２ｂに基づいて発光する。この場合、スティック部１０Ａのマーカー特徴情報１２ｂと、スティック部１０Ｂのマーカー特徴情報１２ｂとは異なるため、カメラユニット部２０では、スティック部１０Ａのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｂのマーカー部（第２マーカー）の位置座標とを区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。

なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間や、モニタ部４０との間で無線通信を行うこととしてもよい。また、無線通信として、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いてもよい。

［カメラユニット部２０の構成］
図４は演奏装置１のカメラユニット部２０のハードウェア構成を示すブロック図である。

カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、マーカー検出部２４と、データ通信部２５とを備える。

ＣＰＵ２１は、カメラユニット部２０に関する制御として、主として撮影画像からスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標データを算出する制御を行う。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する。

ＲＯＭ２２には、ＣＰＵ２１が実行する各種処理に対応したプログラムが記憶されている。ＲＡＭ２３は、マーカー検出部２４が検出したマーカー部１５の位置座標データなど、処理において取得又は生成された値を記憶する。また、ＲＡＭ２３には、センターユニット部３０から与えられたスティック部１０Ａ、１０Ｂの夫々のマーカー特徴情報１２ｂなどが記憶される。

マーカー検出部２４は、撮像手段として用いられ、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮影する。また、マーカー検出部２４は、フレームごとの画像データをＣＰＵ２１に出力する。

なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定する機能を備えている。このマーカー部１５の位置座標の特定については、マーカー検出部２４で行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、マーカー部１５のマーカー特徴情報１２ｂについても、マーカー検出部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

さらに、カメラユニット部２０には、本発明に関わる機能として、撮影画像におけるスティック部１０のマーカー部１５に対応した部分の画素数を検出するマーカー画素数検出機能２１ａを備えている。このマーカー画素数検出機能２１ａは、カメラユニット部２０に対するマーカー部１５の向きを判断するときに用いられる。このマーカー画素数検出機能２１ａについても、マーカー検出部２４に設けられていてもよいし、ＣＰＵ２１に設けられていてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部２５は、スティック部１０やモニタ部４０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
図５は演奏装置１のセンターユニット部３０のハードウェア構成を示すブロック図である。

センターユニット部３０は、演奏装置１の制御装置として用いられる。このセンターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７とを備える。

ＣＰＵ３１は、センターユニット部３０に備えられた各機能を実現するための制御を行う。特に、本発明に関わる機能として、ＣＰＵ３１には、楽音発生制御機能３１ａと、向き判断機能３１ｂと、通知機能３１ｃとが備えられている。

楽音発生制御機能３１ａは、カメラユニット部２０によって撮影された画像中のスティック部１０のマーカー部１５の位置座標とエアドラムの各楽器に相当する位置の位置座標との関係から、演奏者がスティック部１０でエアドラムを叩いている位置を判断し、スティック部１０の動きに合わせて当該位置に対応した楽音を発生する。

向き判断機能３１ｂは、カメラユニット部２０に対するスティック部１０のマーカー部１５の向きを判断する。詳しくは、向き判断機能３１ｂは、マーカー画素数検出機能２１ａによって検出される撮影画像中のマーカー部１５の画素数を用い、その画像数が所定値以下の場合に、スティック部１０のマーカー部１５がカメラユニット部２０に正しく向けられていないと判断する。

通知機能３１ｃは、向き判断機能３１ｂによって判断されたカメラユニット部２０に対するカメラユニット部２０のマーカー部１５の向きに応じて警告を演奏者に通知する。通知方法としては、後述するようにモニタ画面にメッセージ表示を行う方法などがある。

また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。

ＲＯＭ３２は、ＣＰＵ３１が実行する各種処理に対応したプログラム３２ａを記憶している。また、ＲＯＭ３２には、波形テーブル３２ｂが設けられている。この波形テーブル３２ｂには、種々の音色の波形データ、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなどの打楽器の波形データが位置座標などと対応付けて記憶されている。ＣＰＵ３１は、ショット検出時（ノートオンイベント受信時）にマーカー部１５の位置座標に基づいて、ＲＯＭ３２の波形テーブル３２ｂから該当する波形データを読み出すことで、演奏者の演奏動作に応じた楽音を音源装置３６を通じて発生する。なお、波形データは、音源装置３６内に備えられた波形ＲＯＭから読み出されるように構成しても良い。

ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）や、カメラユニット部２０から受信したマーカー部１５の位置座標など、処理において取得・生成された値を記憶する。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、楽音の音量や音色の変更、表示装置３５１の表示の切り替えなどが含まれる。

また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。表示装置３５１には、各種メニュー画面の他、カメラユニット部２０で撮影された画像とエア楽器の仮想画像との合成画像などが表示される。なお、この表示装置３５１に表示されるデータを無線通信によりモニタ部４０に送って、そのモニタ部４０の画面で拡大表示して確認することも可能である。

音源装置３６は、ＣＰＵ３１からの指示に従って、ＲＯＭ３２の波形テーブル３２ｂから波形データを読み出して、その波形データから楽音データを生成するとともに当該楽音データをアナログ信号に変換し、図示しないスピーカから出力する。

また、データ通信部３７は、スティック部１０、カメラユニット部２０、モニタ部４０との間で所定の無線通信（例えば、赤外線通信）を行う。

ここで、本発明に関する処理を説明する前に、理解を容易にするために、演奏装置１の基本的な動作について説明する。

［スティック部１０の処理］
図６は演奏装置１のスティック部１０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、スティック部１０のＣＰＵ１１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

まず、スティック部１０のＣＰＵ１１は、ＲＯＭ１２に格納されているマーカー特徴情報１２ｂを読み出す（ステップＳ１１）。この場合、スティック部１０Ａ，１０ＢのＣＰＵ１１が夫々に異なるマーカー特徴情報１２ｂを読み出す。異なるマーカー特徴情報１２ｂの読み出しは、任意の方法で行うことができる。例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよい。また、スティック部１０Ａ、１０Ｂ毎に予め１つのマーカー特徴情報１２ｂを対応付けておき、スティック部１０Ａ、１０ＢのＣＰＵ１１が夫々に対応付けられた独自のマーカー特徴情報１２ｂを読み出すこととしてもよい。

ＣＰＵ１１は、ＲＯＭ１２から読み出したマーカー特徴情報１２ｂをＲＡＭ１３に一旦格納した後、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ１２）。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを夫々区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報１２ｂをセンターユニット部３０に送信するものとする。

次に、ＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１３）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を行う（ステップＳ１４）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０の傾き、ロール角及びピッチ角の変位などを検知する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいてショット検出処理を行う（ステップＳ１５）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器を演奏する動作と同様の動作を行う。

すなわち、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そして、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティックを打ちつける瞬間又はそのわずかに手前に楽音を発生することとしている。

ここで、図７を参照して、スティック部１０を用いた楽音の発音タイミングの一例について説明する。

図７はスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度に関する出力の変化を表わした図である。なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味する。これは、Ｙ軸成分の加速度から分解し算出することとしてもよい。あるいは、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図７において、プラスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、マイナスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。

スティック部１０が静止している状態（ａで表わされる部分）であっても、スティック部１０には重力加速度が加わっている。このため、静止するスティック部１０のモーションセンサ部１４は、重力加速度に逆らう形で垂直上向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。

静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対して、さらに逆らう方向に動作することになる。このため、スティック部１０に加わる加速度はマイナス方向に増加する。その後、静止させようとして持ち上げる速度を減少させると、上向きの加速度が減少し、モーションセンサ部１４で検出されるスティック部１０のマイナス方向の加速度は減少する（ｂで表わされる部分）。そして、振り上げ動作が最高点に到達した時点での加速度は重力加速度のみになる（ｂとｃの境目付近で表される部分）。

振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、下向き方向に動作することになる。従って、スティック部１０に加わる加速度は、重力加速度に逆らって検出されていたマイナス方向の加速度よりもプラス方向に増加する。その後、演奏者はショットに向けて、下向き方向の加速度を減少させていくので、スティック部１０に加わる加速度はマイナス方向に増加する。この間、振り下ろし動作が最高速に到達するタイミングを経てスティック部１０には、再び重力加速度のみが加わる状態となる（ｃで表わされる部分）。

この後、演奏者がショットに向けて、スティック部１０に対してさらに振り上げ方向の加速度を加えると、加わる加速度はマイナス方向に増加する。そしてショットが終わると、スティック部１０は再び静止し、重力加速度に逆らう形のマイナス方向の加速度が検出される状態に戻る（ｄで表わされる部分）。

本実施形態においては、演奏者が仮想的な楽器の面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ方向の加速度が加えられた瞬間を検出する。つまり、図７のｄで表わされる部分において、振り下ろし状態から、言い換えれば加わる加速度が重力加速度のみから、さらにマイナス方向に所定値だけ増加したＡ点を、ショット検出のタイミングとしている。

このショット検出のタイミングを発音タイミングとし、上述したような発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発生される。

図６に戻り、ステップＳ１５に示すショット検出処理では、上述のようにモーションセンサ情報（例えば、加速度センサのＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、例えばショットの強さや加速度の大きさ等に応じて、楽音の音量や音色、ベロシティやエンベロープ等の種々の情報を含めることとしてもよい。なお、楽音の音量は、例えばセンサ合成値の最大値から求めることができる。

また、ＣＰＵ１１は、モーションセンサ情報に基づいて、演奏者の所定の動作（アクション）を示す情報（以下、アクション情報と呼ぶ）を検出する処理、すなわち、アクション検出処理を行う（ステップＳ１６）。なお、ここでアクション動作とは、ユーザがスティックを用いて行う、ショット以外の動作をいい、例えば、ユーザが撮像空間内で、スティックのマーカーが所定の形状を描くように動かした場合や、ある位置でダブルクリックのような動作をさせた場合を検出する。そして、例えばユーザがスティックを横にスライドさせた場合には、ページをめくるようにドラムセットを入れ替えるなどのように用いる事ができる。

ＣＰＵ１１は、ステップＳ１４〜Ｓ１６の処理で検出した情報、すなわち、姿勢情報、ショット情報及びアクション情報を、データ通信部１６を介してセンターユニット部３０に送信して（ステップＳ１７）、ステップＳ１３の処理に戻る。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを区別するためのスティック識別情報と対応付けて、姿勢情報、ショット情報及びアクション情報をセンターユニット部３０に送信する。

［カメラユニット部２０の処理］
図８は演奏装置１のカメラユニット部２０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、カメラユニット部２０のＣＰＵ２１がＲＯＭ２２に記憶されたプログラム２２ａを読み出すことにより実行される。

カメラユニット部２０のＣＰＵ２１は、マーカー検出条件取得処理を行う（ステップＳ２１）。この処理では、ＣＰＵ２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得し、ＲＡＭ２３に格納する。

なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５の夫々を検出するための条件であり、マーカー特徴情報１２ｂから生成される（後述する図９のステップＳ３１，Ｓ３２参照）。ここで、上述したようにマーカー特徴情報１２ｂとして、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。

次に、ＣＰＵ２１は、マーカー検出条件設定処理を行う（ステップＳ２２）。この処理では、ＣＰＵ２１は、マーカー検出条件情報に基づいて、スティック部１０Ａ，１０Ｂのマーカー部１５を検出するための各種設定を行う。

次に、ＣＰＵ２１は、第１マーカー検出処理及び第２マーカー検出処理を行う（ステップＳ２３，Ｓ２４）。これらの処理では、ＣＰＵ２１は、マーカー検出部２４が検出した、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検知情報を取得してＲＡＭ２３に格納する。このとき、マーカー検出部２４は、発光中のマーカー部１５について、マーカー検知情報を検出する。

ＣＰＵ２１は、ステップＳ２３及びステップＳ２４で取得したマーカー検知情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ２５）、ステップＳ２３の処理に戻る。

［センターユニット部３０の処理］
図９は演奏装置１のセンターユニット部３０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ３２に記憶されたプログラム３２ａを読み出すことにより実行される。

センターユニット部３０のＣＰＵ３１は、マーカー特徴情報１２ｂをスティック部１０から受信してＲＡＭ３３に格納する（ステップＳ３１）。ＣＰＵ３１は、このマーカー特徴情報とスイッチ３４１を介して設定された検出条件からマーカー検出条件情報を生成し、データ通信部３７を介してカメラユニット部２０に送信する（ステップＳ３２）。

次に、ＣＰＵ３１は、カメラユニット部２０から第１マーカー及び第２マーカー夫々のマーカー検知情報を受信し、ＲＡＭ３３に格納する（ステップＳ３３）。また、ＣＰＵ３１は、スティック部１０Ａ、１０Ｂの夫々から、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報を受信し、ＲＡＭ３３に格納する（ステップＳ３４）。

ここで、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ３５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット処理を行う（ステップＳ３６）。ショット処理では、ＣＰＵ３１は、ＲＯＭ３２の波形テーブル３２ｂからマーカー検知情報に含まれる位置座標、サイズ及び角度などに対応する波形データを読み出し、ノートオンイベントに含まれる音量データとともに音源装置３６に出力する。これにより、音源装置３６では、受け取った波形データに基づいて該当する楽音を発生する。

一方、ステップＳ３６の後、又はステップＳ３５でＮＯと判断した場合には、ＣＰＵ３１は、スティック部１０から受信したアクション情報に基づいて、アクションありか否かを判断する（ステップＳ３５）。このとき、アクションありと判断した場合には、ＣＰＵ３１は、受信したアクション情報に基づくアクション処理を行い（ステップＳ３８）、ステップＳ３３の処理に戻る。また、アクションなしと判断した場合には、ＣＰＵ３１は、ステップＳ３３の処理に戻る。

以上が演奏装置１の基本的な動作である。
なお、上記各フローチャートでは説明を省略したが、演奏中にカメラユニット部２０で撮影した演奏者の画像をセンターユニット部３０に送ることにより、センターユニット部３０で、その撮影画像と図１（ｂ）に示した仮想ドラムセットＤの画像とを合成し、その合成画像をモニタ部４０に転送して表示することも可能である。

演奏者は、このモニタ部４０に表示された合成画像で仮想ドラムセットＤの各楽器の位置を確認しながら演奏することができる。ただし、モニタ部４０を見ながらの演奏ではゲーム的であるため、リアリティ性を求める場合にはモニタ部４０を見ないで演奏することが好ましい。つまり、あたかも目の前にドラムセットがあるものとして、スティック部１０を持って演奏するスタイルが好ましい。

ここで、図１０に示すように、スティック部１０が叩いている位置は、スティック部１０の先端部に設けられたマーカー部１５（発光体）を撮影画像上で認識することで得られる。しかしながら、カメラユニット部２０の設置位置や演奏者のスティック部１０の持ち方の関係で、カメラユニット部２０の撮影レンズ２０ａに対してマーカー部１５が真正面に向くことがある。このような場合、撮影画像上におけるマーカー部１５の範囲が小さくなるため、撮影条件によっては、マーカー部１５を正しく認識できないことがある。

以下では、このようなスティック部１０のマーカー部１５の向きに関する処理について説明する。

図１１は演奏装置１のセンターユニット部３０のマーカー向き対応処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

いま、図１０に示すように、カメラユニット部２０から所定の距離Ｔだけ離れた位置で演奏者がスティック部１０を用いてドラム演奏を行うものとし、そのときにカメラユニット部２０で撮影された画像がセンターユニット部３０にリアルタイムで送られているとする。

所定の操作によりエアドラムの演奏が開始されると（ステップＳ４１のＹＥＳ）、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から撮影画像と共に送られて来るスティック部１０のマーカー部１５の画素数Ｐを取得する（ステップＳ４２）。

なお、本実施形態では、マーカー部１５の画素数Ｐの検出処理をカメラユニット部２０で行う構成としているが、センターユニット部３０のＣＰＵ３１がカメラユニット部２０から受信した撮影画像からマーカー部１５の画素数Ｐを検出することでもよい。また、実際にはスティック部１０として２本のスティック部１０Ａ、１０Ｂを用いて演奏するので、スティック部１０Ａ、１０Ｂのそれぞれについて、マーカー部１５Ａ，１５Ｂに対応した部分の画素数Ｐを検出するものとする。

マーカー部１５の画素数Ｐが得られると、ＣＰＵ３１は、その画素数Ｐが予め設定された基準値Ｐｘ以下であるか否かを判断する（ステップＳ４３）。上記基準値Ｐｘは、カメラユニット部２０の撮影能力（ＣＣＤの画素数等）やマーカー部１５のサイズ、さらにはカメラユニット部２０と演奏者（スティック部１０）との距離Ｔなどに応じて決められる。

ここで、図１２に示すように、カメラユニット部２０の撮影レンズ２０ａの光軸Ｌｏに対して、スティック部１０の傾き角度θが所定角度以上あれば、マーカー部１５を投影したときの画像の画素数Ｐが基準値Ｐｘより大きな値となる。これに対し、図１３に示すように、演奏者がスティック部１０の先端部を撮影レンズ２０ａに向けた状態にあって、スティック部１０の傾き角度θが所定角度より小さくなると、画素数Ｐが基準値Ｐｘより小さな値となる。このように、撮影画像中におけるマーカー部１５の画素数を検出することで、カメラユニット部２０に対してマーカー部１５がどのように向けられているのかを判断することができる。

画素数Ｐが基準値Ｐｘ以下になったとき（ステップＳ４３のＹＥＳ）、ＣＰＵ３１は、演奏者がスティック部１０を振り下ろし中にあるか否かを判断する（ステップＳ４４）。上述したように、スティック部１０の動きは、加速度センサ等からなるモーションセンサ部１４によって検出される（図７参照）。

スティック部１０を振り下ろし中であった場合（ステップＳ４４のＹＥＳ）、ＣＰＵ３１は、演奏者がエアドラムを構成する各楽器のいずれかを叩こうとしている状態（つまりショット直前の状態）にあると判断し、そのときにスティック部１０の先端部つまりマーカー部１５がカメラユニット部２０の撮影レンズ２０ａに向けられていない旨を演奏者に通知する（ステップＳ４５）。

このときの通知方法としては、例えば図１４に示すようなメッセージ画面４１をモニタ部４０に表示する方法がある。このメッセージ画面４１には、「マーカーを判別できません。スティックの向きまたはカメラの向きを調整して下さい。」といったようなメッセージが書かれている。

このようなメッセージ画面４１を表示することで、演奏者にスティック部１０のマーカー部１５の向きが正しくない状態を視覚的に知らせることができる。これにより、演奏者は、身体の向きを変えたり、カメラユニット部２０の設置位置や向きを変えたり、スティック部１０の持ち方や打ち方を変えるなどして、マーカー部１５のカメラユニット部２０に対する向きを正して演奏を続けることができる。

なお、モニタ部４０を使用していない場合にはセンターユニット部３０の表示装置３５１に表示するものとする。また、音声でマーカー部１５の向きが正しくない旨を通知することでもよいが、演奏中であるため、演奏者のみに聞こえるようにヘッドフォン等を通して音声出力することが好ましい。

また、別の方法として、図１５に示すように、例えばカメラユニット部２０に２つのランプ２６，２７を設けておき、スティック部１０のマーカー部１５の向きに応じてランプ２６，２７を点灯制御することでもよい。ランプ２６は、例えば緑色のＬＥＤからなり、カメラユニット部２０に対してスティック部１０のマーカー部１５の向きが正しい状態にあるとき、つまり、撮影画像上で認識可能な状態のときに点灯される。ランプ２７は、例えば赤色のＬＥＤからなり、カメラユニット部２０に対してスティック部１０のマーカー部１５の向きが正しくない状態のとき、つまり、撮影画像上で認識が困難状態のときに点灯される。このランプ２６，２７は、演奏者が演奏中に容易に視認できるようにカメラユニット部２０の正面などに設けておくことが好ましい。

このように、カメラユニット部２０に設けられたランプ２６，２７の点灯状態からマーカー部１５が正しくカメラユニット部２０に向いているか否かを判断することができ、ランプ２７が点灯している場合には、速やかに身体の向きを変えるなどして、マーカー部１５のカメラユニット部２０に対する向きを正して演奏を続けることができる。

また、別の方法として、図１６に示すように、スティック部１０の先端部に設けられた発光体であるマーカー部１５の点灯制御により、例えば点滅や色を変えて表示するなどして演奏者に知らせることでもよい。このような構成とすれば、演奏者はマーカー部１５の点灯状態からマーカー部１５が正しくカメラユニット部２０に向いているか否かを判断することができ、マーカー部１５が点滅あるいは別の色で点灯している場合には、速やかに身体の向きを変えるなどして、マーカー部１５の向きを正して演奏を続けることができる。

あるいは、スティック部１０に小さなモニタ画面を設け、演奏中にマーカー部１５の向きが正しくない場合に、モニタ画面にメッセージを表示あるいは発光色を変化させる等することによって演奏者に知らせるようにしてもよい。

さらに、例えばスティック部１０にバイブレータ機能１７を設けておき、演奏中にマーカー部１５の向きが正しくない場合にスティック部１０を震動させて、演奏者に知らせることでもよい。このような構成とすれば、演奏者はスティック部１０の震動を感じることでマーカー部１５の向きが正しくないことに気づいて修正することができる。

一方、マーカー部１５の画素数Ｐが基準値Ｐｘより多く、マーカー部１５が正しく向けられている状態のとき（ステップＳ４３のＮＯ）、あるいは、演奏者がスティック部１０を振り下ろしていない状態のときには（ステップＳ４４のＮＯ）、このような通知はなされない。

演奏が終了するまでの間、このような処理が繰り返し行われ、スティック部１０のマーカー部１５がカメラユニット部２０に正しく向いていない状態が検出された場合に、上述した方法により演奏者に対して通知がなされる。これにより、演奏者は演奏中に身体の向きや、スティック部１０の持ち方や打ち方を変えるなどして、マーカー部１５の向きを正して演奏を続けることができる。また、リハーサル演奏を行えば、そのリハーサル演奏中に受けた通知に従ってカメラユニット部２０の向きを調整するなどして本番に備えることができる。

また、演奏者がスティック部１０を振り下ろし中のとき、つまり、エアドラムを構成する各楽器のいずれかを叩こうとしている直前の状態にあることを条件にして通知を行うので、例えば演奏者がスティック部１０を振り回しているときなど、演奏に全く関係ない動きをしているときに通知せずに演奏を続けることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

上記第１の実施形態では、スティック部１０を振り下ろし中であるときに通知するものとして説明したが、第２の実施形態では、さらにスティック部１０の動作速度を通知条件に加えている。

演奏装置１の基本的な構成は上記第１の実施形態と同様であるため、以下では、図１７を参照して演奏装置１の処理動作について説明する。

図１７は本発明の第２の実施形態に係る演奏装置１のセンターユニット部３０のマーカー向き対応処理を示すフローチャートである。上記第１の実施形態と同様に、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

図１７において、ステップＳ５１〜Ｓ５４までの処理は、上記第１の実施形態における図１１のステップＳ４１〜Ｓ４４までの処理と同様である。

すなわち、演奏開始に伴い、カメラユニット部２０で撮影された画像から演奏者が持つスティック部１０のマーカー部１５に対応した部分の画素数Ｐが検出される（ステップＳ５１，Ｓ５２）。この画素数Ｐが予め設定された基準値Ｐｘ以下であった場合（ステップＳ５３のＹＥＳ）、カメラユニット部２０に対してスティック部１０のマーカー部１５が正しく向けられていないものと判断される。

ここで、第２の実施形態では、マーカー部１５の向きが正しくないことを通知する際に、演奏者がスティック部１０を振り下ろし中であると共に、スティック部１０を所定速度Ｖｘ以上で動かしていることを条件とする。

なお、スティック部１０の動作速度は、スティック部１０に設けられた加速度センサなどを用いて検出できる。すなわち、図７で説明したように、加速度センサの出力信号の変化からスティック部１０の振り上げから振り下ろしまでの動作を検出し、その間の加速度を積分することで動作速度を求める。

また、上記所定速度Ｖｘは、スティック部１０のマーカー部１５がカメラユニット部２０の正面に向けられている状態で、撮影画像上でマーカー部１５の移動を認識可能な速度であり、この速度を超えてマーカー部１５が動いていると、認識精度が低下してしまい、ロスト状態となる。

そこで、演奏者がスティック部１０を振り下ろし中にあり、さらに、そのときの動きが所定速度Ｖｘ以上であった場合に（ステップＳ５５のＹＥＳ）、センターユニット部３０のＣＰＵ３１は、演奏者がスティック部１０を早く動かしながら、エアドラムを構成する各楽器のいずれかを叩こうとしている状態（つまりショット直前の状態）にあると判断し、そのときにスティック部１０の先端部つまりマーカー部１５がカメラユニット部２０の撮影レンズ２０ａに向けられていない旨を演奏者に通知する（ステップＳ５６）。

このときの通知方法としては、上記第１の実施形態と同様であり、例えば図１４に示したようなメッセージ画面４１をモニタ部４０に表示する方法の他、図１５に示したようにカメラユニット部２０のランプ２６，２７を点灯制御する方法、図１６に示したようにスティック部１０のマーカー部１５を点灯制御する方法や、別途のモニターを有する方法、あるいはバイブレータ機能１７を用いて通知する方法などがある。

一方、マーカー部１５の画素数Ｐが基準値Ｐｘより多く、マーカー部１５が正しく向けられている状態のとき（ステップＳ５３のＮＯ）、あるいは、演奏者がスティック部１０を振り下ろしてない状態のときには（ステップＳ５４のＮＯ）、このような通知はなされない。

さらに、スティック部１０の動作速度が所定速度Ｖｘより遅いときには（ステップＳ５５のＮＯ）、マーカー部１５が正しく向けられていなくとも、通知はなされない。これは、演奏者がスティック部１０をゆっくり動かしている状態であれば、マーカー部１５の向きが多少悪くても画像認識でき、演奏者がどこを叩いているのかを判断して所定の楽音を発生できるからである。なお、カメラユニット部２０の撮影範囲２０ｂを外れて、スティック部１０を所定速度Ｖｘより遅く動かしている場合は例外であり、メッセージ表示等の何らかの方法で撮影範囲２０ｂを外れていることを直ちに警告するものとする。

このように、カメラユニット部２０に対するスティック部１０のマーカー部１５の向きが正しくない状態が検出された場合に、演奏者がスティック部１０を振り下ろし中にあって、かつ、所定速度Ｖｘ以上で動かしているときにのみ通知が行われる。したがって、演奏者がスティック部１０をゆっくり動かしているときには、通知なしで演奏を続けることができる。

なお、カメラユニット部２０に対するマーカー部１５の向きの問題を解決する方法として、例えばスティック部１０の先端部を大きくしたり、球体状にすることが考えられる。しかし、ドラム演奏に用いる細長いスティックとは形状を異にしてしまうため、スティック部１０の形状を変える方法は好ましくない。これに対し、本実施形態では、演奏中にマーカー部１５の向きを判断して通知する方法を用いているため、ドラム演奏用のスティックとしての形状を損なうことなく、スティック部１０の動きを正しく捕らえて楽音を発生することができる。

なお、上記各実施形態では、仮想的な打楽器としてエアドラムを例にして説明したが、本発明はこれに限られるものではなく、スティック部１０の振り下ろし／振り上げ動作で楽音を発生する楽器であれば、例えば木琴などの他の楽器に適用することができる。

また、上記各実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。

例えば、スティック部１０のＣＰＵ１１が行うこととしているショット検出処理（図６）などを、センターユニット部３０のＣＰＵ３１で行うこととしてもよい。また、センターユニット部３０のＣＰＵ３１が行うこととしているマーカー向き対応処理（図１１，図１７）などを、スティック部１０のＣＰＵ１１で行うこととしてもよい。

さらに、スティック部１０とカメラユニット部２０との向きの不具合を演奏者に警告する際、その向きの程度に応じて警告の方法を変化させても良い。例えば、図１１のステップＳ４３や図１７ステップＳ５３において、撮影画像中のマーカー部分の画素数を複数のしきい値と比較し、その比較結果に応じて、例えば警告メッセージを変化させたり、ＬＥＤやメッセージ表示の色を変化させたり、ＬＥＤの明滅パターンを変化させたり、モニタ音を変化させたり、バイブレータパターンを変化させたり、矢印の表示形状や表示個数を変化させるなど、種々の方法が考えられる。

また、上記各実施形態では、マーカー部１５のロストが検出された場合に、スティック部１０が振り下ろされたときに警告を発するものとして説明したが（図１１のステップＳ４４，図１７のステップＳ５４参照）、スティック部１０の振り下ろし動作に関係なく、マーカーがロストしている場合にその都度警告を発するようにしてもよい。このようにすれば、演奏中にカメラユニット部２０に対するマーカー部１５の向きを常に把握しながら演奏を行うことができる。

要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、
上記演奏部材が存在する撮像空間を撮影する撮影手段と、
上記演奏部材の動きを検出する演奏部材検出手段と、
上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段と、
上記撮影手段に対する上記演奏部材の上記マーカーの向きを判断する向き判断手段と、
この向き判断手段によって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を上記演奏者に通知する通知手段と
を具備したことを特徴とする演奏装置。

［２］
上記撮影画像における上記演奏部材の上記マーカーに対応した部分の画素数を検出するマーカー画素数検出手段を備え、
上記向き判断手段は、
上記マーカー画素数検出手段によって検出された上記マーカー部分の画素数が予め設定された基準値以下の場合に上記演奏部材の上記マーカーが上記撮影手段に正しく向けられていない旨の警告を通知することを特徴とする［１］記載の演奏装置。

［３］
上記通知手段は、
上記演奏部材検出手段によって検出された上記演奏部材の動きが楽器を鳴らす直前の状態であったときに、上記演奏者に通知を行うことを特徴とする［１］または［２］記載の演奏装置。

［４］
上記通知手段は、
上記演奏部材検出手段によって検出された上記演奏部材の動きが楽器を鳴らす直前の状態であり、さらに、予め設定された速度以上で上記演奏部材が動いているときに、上記演奏者に通知を行うことを特徴とする［１］または［２］記載の演奏装置。

［５］
上記通知手段は、
上記演奏者が視認可能なモニタ画面に上記演奏部材の上記マーカーが上記撮影手段に向けられていない旨のメッセージを表示することを特徴とする［１］記載の演奏装置。

［６］
上記通知手段は、
上記撮影手段に設けられた発光部の点灯制御により、上記マーカーが上記撮影手段に向けられていない旨を通知することを特徴とする［１］記載の演奏装置。

［７］
上記通知手段は、
上記演奏部材の特定部分に設けられた発光部の点灯制御により、上記マーカーが上記撮影手段に向けられていない旨を通知することを特徴とする［１］記載の演奏装置。

［８］
上記通知手段は、
上記演奏者が持つ上記演奏部材を震動させて上記マーカーが上記撮影手段に向けられていない旨を通知することを特徴とする［１］記載の演奏装置。

［９］
上記演奏部材は、
長手方向に延びるスティック状の部材からなり、その先端部に上記マーカーが設けられていることを特徴とする［１］記載の演奏装置。

［１０］
コンピュータによって実行されるエア楽器の演奏方法であって、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影手段で撮影する撮影ステップと、
上記演奏部材の動きを検出する演奏部材検出ステップと、
上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出ステップによって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御ステップと、
上記撮影手段に対する上記演奏部材の上記マーカーの向きを判断する向き判断ステップと、
この向き判断ステップによって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を上記演奏者に通知する通知ステップと
を備えたことを特徴とする演奏方法。

［１１］
コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
上記コンピュータを、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影手段、
上記演奏部材の動きを検出する演奏部材検出手段、
上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段、
上記撮影手段に対する上記演奏部材の上記マーカーの向きを判断する向き判断手段と、
この向き判断手段によって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を上記演奏者に通知する通知手段
として機能させるためのコンピュータ読み取り可能なプログラム。

１…演奏装置、１０…スティック部、１１…ＣＰＵ、１１ａ…演奏部材検出機能、１２…ＲＯＭ、１２ａ…プログラム、１２ｂ…マーカー特徴情報、１３…ＲＡＭ、１４…モーションセンサ部、１５…マーカー部、１６…データ通信部、１７…バイブレータ機能、２０…カメラユニット部、２０ａ…撮影レンズ、２０ｂ…撮影範囲、２１…ＣＰＵ、２１ａ…マーカー画素数検出機能、２２…ＲＯＭ、２２ａ…プログラム、２３…ＲＡＭ、２４…マーカー検出部、２５…データ通信部、２６，２７…ランプ、３０…センターユニット、３１…ＣＰＵ、３１ａ…楽音発生制御機能、３１ｂ…向き判断機能、３１ｃ…通知機能、３２…ＲＯＭ、３２ａ…プログラム、３２ｂ…波形テーブル、３３…ＲＡＭ、３４…スイッチ操作検出回路、３４１…スイッチ、３５…表示回路、３５１…表示装置、３６…音源装置、３７…データ通信部、４０…モニタ部、４１…メッセージ画面。

Claims (11)

1. 演奏者が持つ演奏部材であって、前記演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、
   上記演奏部材と離間して配置され、上記演奏部材が存在する撮像空間を撮影する撮影手段と、
   上記演奏部材の動きを検出する演奏部材検出手段と、
   上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段と、
   上記演奏者が上記演奏部材を振り下ろし中にあるか否かを判断する振り下ろし中判断手段と、
   上記撮影手段に対する上記演奏部材の上記マーカーの向きを、上記撮影手段によって撮影された上記画像中の上記マーカーの大きさから判断する向き判断手段と、
   この向き判断手段によって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を、上記振り下ろし中判断手段により振り下ろし中であると判断された場合に上記演奏者に通知するとともに、上記振り下ろし中判断手段により振り下ろし中でないと判断された場合に上記演奏者に通知しない通知手段と
   を具備したことを特徴とする演奏装置。
2. 上記撮影画像における上記演奏部材の上記マーカーに対応した部分の画素数を検出するマーカー画素数検出手段を備え、
   上記向き判断手段は、
   上記マーカー画素数検出手段によって検出された上記マーカー部分の画素数が予め設定された基準値以下の場合に上記演奏部材の上記マーカーが上記撮影手段に正しく向けられていない旨の警告を通知することを特徴とする請求項１記載の演奏装置。
3. 上記通知手段は、
   上記演奏部材検出手段によって検出された上記演奏部材の動きが楽器を鳴らす直前の状態であったときに、上記演奏者に通知を行うことを特徴とする請求項１または２記載の演奏装置。
4. 上記通知手段は、
   上記演奏部材検出手段によって検出された上記演奏部材の動きが楽器を鳴らす直前の状態であり、さらに、予め設定された速度以上で上記演奏部材が動いているときに、上記演奏者に通知を行うことを特徴とする請求項１または２記載の演奏装置。
5. 上記通知手段は、
   上記演奏者が視認可能なモニタ画面に上記演奏部材の上記マーカーが上記撮影手段に向けられていない旨のメッセージを表示することを特徴とする請求項１記載の演奏装置。
6. 上記通知手段は、
   上記撮影手段に設けられた発光部の点灯制御により、上記マーカーが上記撮影手段に向けられていない旨を通知することを特徴とする請求項１記載の演奏装置。
7. 上記通知手段は、
   上記演奏部材の特定部分に設けられた発光部の点灯制御により、上記マーカーが上記撮影手段に向けられていない旨を通知することを特徴とする請求項１記載の演奏装置。
8. 上記通知手段は、
   上記演奏者が持つ上記演奏部材を震動させて上記マーカーが上記撮影手段に向けられていない旨を通知することを特徴とする請求項１記載の演奏装置。
9. 上記演奏部材は、
   長手方向に延びるスティック状の部材からなり、その先端部に上記マーカーが設けられていることを特徴とする請求項１記載の演奏装置。
10. コンピュータによって実行されるエア楽器の演奏方法であって、
    演奏者が持つ演奏部材であって、前記演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を上記演奏部材と離間して配置される撮影手段で撮影する撮影ステップと、
    上記演奏部材の動きを検出する演奏部材検出ステップと、
    上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出ステップによって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御ステップと、
    上記演奏者が上記演奏部材を振り下ろし中にあるか否かを判断する振り下ろし中判断ステップと、
    上記撮影手段に対する上記演奏部材の上記マーカーの向きを、上記撮影手段によって撮影された上記画像中の上記マーカーの大きさから判断する向き判断ステップと、
    この向き判断ステップによって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を、上記振り下ろし中判断ステップにより振り下ろし中であると判断された場合に上記演奏者に通知するとともに、上記振り下ろし中判断ステップにより振り下ろし中でないと判断された場合に上記演奏者に通知しない通知ステップと
    を備えたことを特徴とする演奏方法。
11. コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
    上記コンピュータを、
    演奏者が持つ演奏部材であって、前記演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と離間して配置され、上記演奏部材が存在する撮像空間を撮影する撮影手段、
    上記演奏部材の動きを検出する演奏部材検出手段、
    上記撮影手段によって撮影された画像中の上記演奏部材の上記マーカーの位置座標と上記エア楽器に相当する位置の位置座標との関係から、上記演奏者が上記演奏部材で上記エア楽器を叩いている位置を判断し、上記演奏部材検出手段によって検出された上記演奏部材の動きに合わせて当該位置に対応した楽音を発生する楽音発生制御手段、
    上記演奏者が上記演奏部材を振り下ろし中にあるか否かを判断する振り下ろし中判断手段、
    上記撮影手段に対する上記演奏部材の上記マーカーの向きを、上記撮影手段によって撮影された上記画像中の上記マーカーの大きさから判断する向き判断手段、
    この向き判断手段によって判断された上記撮影手段に対する上記演奏部材の上記マーカーの向きに応じた警告を、上記振り下ろし中判断手段により振り下ろし中であると判断された場合に上記演奏者に通知するとともに、上記振り下ろし中判断手段により振り下ろし中でないと判断された場合に上記演奏者に通知しない通知手段
    として機能させるためのコンピュータ読み取り可能なプログラム。

Images