JP5573899B2

JP5573899B2 - 演奏装置

Info

Publication number: JP5573899B2
Application number: JP2012179920A
Authority: JP
Inventors: 裕二田畑
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-08-23
Filing date: 2012-08-14
Publication date: 2014-08-20
Anticipated expiration: 2032-08-14
Also published as: US9018507B2; US20130047823A1; JP2013061637A

Description

本発明は、電子音を発音する演奏装置及びこの演奏装置に用いられる発光制御装置に関する。

従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られており、この演奏装置では、スティック状の部材にセンサを設け、演奏者が部材を手で保持して振ることで、センサが演奏動作を検知し、打楽器音を発音する。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。

このような演奏装置について、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像するとともに、当該演奏動作と楽器セットを示す仮想画像とを合成した合成画像をモニタ上に表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。

特許第３５９９１１５号公報（図１）

ところで、演奏者を撮像し楽音を発音する演奏装置では、撮像画像から演奏部材を識別可能にしなければならない。より具体的には、撮像画像において、演奏部材のうち仮想的な楽器と接する部分の位置座標を特定しなければならない。
この点、特許文献１に記載の楽器ゲーム装置では、演奏者が用いるペンライトの先端にランプを設け（図４）、このランプの位置座標を特定することで、仮想的な楽器と接する部分を区別することとしている。

そのため、演奏部材（ペンライト）には、ランプを点灯するための電源が求められるが、演奏場所や演奏スペースに制約を受けないといった上述の特徴を実現するためには、有線で電源を供給するのではなく、演奏部材の内部にバッテリなどの電源を設ける必要がある。また、演奏部材は、演奏者が保持して演奏するという特質上、その重さを一定に抑える必要があり、長時間の利用を可能とするために、大型のバッテリ設けるといった単純な方法は、好ましくない。
この点について、特許文献１の楽器ゲーム装置では、このランプの点灯制御について何ら考慮されておらず、演奏部材の消費電力の低減の観点から更なる改良が求められる。

本発明は、このような要望に鑑みてなされたものであり、演奏部材の発光部の撮像空間における位置座標に基づいて楽音を発音する演奏装置において、演奏部材の消費電力の低減を実現する演奏装置及び発光制御装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様の演奏装置は、演奏者に保持され、発光及び消灯する発光部を備える演奏部材と、前記演奏部材を保持する前記演奏者が存在する撮像空間の画像を撮像する撮像装置と、前記撮像装置が撮像した前記撮像空間における発光中の前記発光部の位置座標に基づいて発音する発音装置と、を備える演奏装置であって、前記演奏部材に、前記演奏者による前記演奏部材の振り下ろし動作の開始及び終了を検知する検知手段と、前記検知手段が前記振り下ろし動作の開始を検知したタイミングで、前記発光部を発光させる発光制御を実行し、前記検知手段が前記振り下ろし動作の終了を検知したタイミングで、前記発光部を消灯させる消灯制御を実行する発光消灯制御手段と、を備えることを特徴とする。

本発明によれば、演奏部材の発光部の撮像空間における位置座標に基づいて楽音を発音する演奏装置において、演奏部材の消費電力を低減することができる。

本発明の演奏装置の一実施形態の概要を示す図である。上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。上記スティック部の斜視図である。上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。上記スティック部の処理の流れを示すフローチャートである。モーションセンサ部の垂直方向の加速度に関する出力の変化を表わした図である。上記スティック部の処理の流れを示すフローチャートである。上記カメラユニット部の処理の流れを示すフローチャートである。上記センターユニット部の処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）を参照して、本発明の演奏装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ａ、１０Ｂを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の部材であり、本発明の演奏部材に相当する。演奏者は、スティック部１０の一端（根元側）を手に持ち手首などを中心とした振り上げ振り下ろし動作を行うことで、演奏動作を行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサなどの各種センサが設けられており（後述のモーションセンサ部１４）、各種センサが検知した演奏動作に基づいて、スティック部１０は、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。

カメラユニット部２０は、スティック部１０を保持して演奏動作を行う演奏者の動画を所定のフレームレートで撮像する光学式のカメラであり、本発明の撮像装置に相当する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、センターユニット部３０に送信する。

センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データとノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が打撃した楽器を特定し、当該楽器に対応する楽音を発音する。

このような、演奏装置１において、本実施形態のスティック部１０は、消費電力の低減しつつマーカー部１５の発光制御及び消灯制御を行う。具体的には、演奏装置１では、スティック部１０が仮想的な楽器を打撃した際に楽音を発音する必要があるが、一般的に打楽器では、スティック部１０による打撃は、スティック部１０の振り下ろし時に行われ、スティック部１０の振り上げ時には行われない。
そこで、本実施形態のスティック部１０は、振り下ろし動作の開始を検知することを条件に、マーカー部１５の発光制御を行い、その後、振り下ろし動作の終了や振り上げ動作の開始を検知することを条件に、マーカー部１５の消灯制御を行うことで、消費電力の低減を実現する。なお、発光制御とは、マーカー部１５を発光させる制御及び発光している状態を維持する制御をいう。ただし、発光している状態とは、常時発光している状態のみならず、点滅のように一時的に消灯している状態を含む。また、消灯制御とは、マーカー部１５の発光を消灯する制御及び消灯している状態を維持する制御をいう。
以下、本発明の実施形態について具体的に説明する。

［演奏装置１の構成］
初めに、図２〜図５を参照して、本発明の演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。図２は、スティック部１０のハードウェア構成を示すブロック図であり、図３は、スティック部１０の斜視図であり、図４は、カメラユニット部２０のハードウェア構成を示すブロック図であり、図５は、センターユニット部３０のハードウェア構成を示すブロック図である。

［スティック部１０の構成］
図２を参照して、スティック部１０は、ＣＰＵ１１（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、を含んで構成される。

ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を行う。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を行う。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を行う。

ＲＯＭ１２は、ＣＰＵ１１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＡのＣＰＵ１１及びスティック部１０ＢのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を行う。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。

加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向の夫々に生じた加速度を出力する３軸センサを用いることができる。なお、Ｘ軸、Ｙ軸、Ｚ軸について、図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。このとき、加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の夫々の成分の加速度を取得するとともに、夫々の加速度を合成したセンサ合成値を算出することとしてもよい。ここで、演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して回転運動を生じさせるところ、スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出し、スティック部１０が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度１Ｇよりも大きな値を算出する。なお、センサ合成値は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の成分の加速度の夫々の２乗の総和の平方根を算出することで得られる。

また、角速度センサとしては、例えば、ジャイロスコープを備えたセンサを用いることができる。ここで、図３を参照して、角速度センサは、スティック部１０のＹ軸方向の回転角３０１やスティック部１０のＸ軸方向の回転角３１１を出力する。
ここで、Ｙ軸方向の回転角３０１は、演奏者がスティック部１０を持ったとき、演奏者からみた前後軸の回転角であるため、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度３０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。
また、Ｘ軸方向の回転角３１１は、演奏者がスティック部１０を持ったとき、演奏者からみた左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度３１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角３１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。

また、磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の夫々について出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なるため、これらの成分から、ＣＰＵ１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。

モーションセンサ部１４（詳細には、モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１）は、このような様々なセンサを用いて、演奏者が持っているスティック部１０の状態（演奏者の演奏状態と換言することもできる）を検知する。一例としては、ＣＰＵ１１は、加速度センサが出力する加速度（又はセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検知する。また、ＣＰＵ１１は、後述するように、各センサからが出力したセンサ値に基づいて、スティック部１０の振り下ろし動作や振り上げ動作を検知する。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた、例えば、ＬＥＤなどの発光体であり、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１がＲＯＭ１２から読み出したマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ａのマーカー特徴情報と、スティック部１０Ｂのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ａのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｂのマーカー部（第２マーカー）の位置座標とを区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間で無線通信を行うこととしてもよい。

［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、マーカー検出部２４と、データ通信部２５と、を含んで構成される。

ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、マーカー検出部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標データを算出する制御を行う。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を行う。

ＲＯＭ２２は、ＣＰＵ２１の実行する各種処理の処理プログラムを格納する。ＲＡＭ２３は、マーカー検出部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ａ、１０Ｂの夫々のマーカー特徴情報も併せて格納する。

マーカー検出部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、マーカー検出部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定することとしているが、マーカー部１５の位置座標の特定については、マーカー検出部２４で行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、マーカー検出部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部２５は、スティック部１０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。

ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを行う。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。

ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データを、位置座標などと対応付けて格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標に対応付けてＲＯＭ３２に格納された波形データを、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。

ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）や、カメラユニット部２０から受信したマーカー部１５の位置座標など、処理において取得され又は生成された値を格納する。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。

音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成するとともに、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。

［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図６〜図１０を参照して、演奏装置１の処理について説明する。図６は、スティック部１０の処理を示すフローチャートであり、図７は、スティック部１０のショット検出タイミング（ノートオンイベント生成タイミング）を示す図であり、図８は、スティック部１０のマーカー点灯処理を示すフローチャートである。また、図９は、カメラユニット部２０の処理を示すフローチャートであり、図１０は、センターユニット部３０の処理を示すフローチャートである。

［スティック部１０の処理］
図６を参照して、スティック部１０のＣＰＵ１１は、ＲＯＭ１２に格納されているマーカー特徴情報を読み出す（ステップＳ１）。この処理では、スティック部１０Ａ，１ＢのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出す。異なるマーカー特徴情報の読み出しは、任意の方法で行うことができ、例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよく、また、個々のスティック部１０毎に予め１のマーカー特徴情報を対応付けておき、スティック部１０Ａ、１０ＢのＣＰＵ１１は、夫々対応付けられた独自のマーカー特徴情報を読み出すこととしてもよい。

ＣＰＵ１１は、マーカー特徴情報を読み出すと、当該マーカー特徴情報をＲＡＭ１３に格納するとともに、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ２）。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを夫々区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報をセンターユニット部３０に送信する。

続いて、ＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ３）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を行う（ステップＳ４）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０の傾き、ロール角及びピッチ角の変位などを検知する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を行う（ステップＳ５）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打つ動作と同様の動作を行う。このような（演奏）動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティックを打ちつける瞬間或いはそのわずかに手前に楽音を発音することとしている。

ここで、図７を参照して、スティック部１０を用いた楽音の発音タイミングの一例について説明する。図７は、スティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度に関する出力の変化を表わした図である。なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Ｙ軸成分の加速度から分解し算出することとしてもよく、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図７において、プラスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、マイナスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。

スティック部１０が静止している状態（図７のａで表わされる部分）であっても、スティック部１０には重力加速度が加わっているため、静止するスティック部１０のモーションセンサ部１４は、重力加速度に逆らう形で垂直上向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。
静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対して、さらに逆らう方向に動作することになる。このため、スティック部１０に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、上向きの加速度が減少し、モーションセンサ部１４で検出されるスティック部１０のマイナス方向の加速度は減少する（図７のｂで表わされる部分）。そして、振り上げ動作が最高点に到達した時点での加速度は重力加速度のみになる（図７のｂとｃの境目付近で表わされる部分）。

振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、下向き方向に動作することになる。従って、スティック部１０に加わる加速度は、重力加速度に逆らって検出されていたマイナス方向の加速度よりもプラス方向に増加する。その後、演奏者はショットに向けて、下向き方向の加速度を減少させていくので、スティック部１０に加わる加速度はマイナス方向に増加する。この間、振り下ろし動作が最高速に到達するタイミングを経てスティック部１０には、再び重力加速度のみが加わる状態となる。（図７のｃで表わされる部分）
この後、演奏者がショットに向けて、スティック部１０に対してさらに振り上げ方向の加速度を加えると、加わる加速度はマイナス方向に増加する。そしてショットが終わると、スティック部１０は再び静止し、重力加速度に逆らう形のマイナス方向の加速度が検出される状態に戻る（図７のｄで表わされる部分）。

本実施形態においては、演奏者が仮想的な楽器の面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ方向の加速度が加えられた瞬間を検出する。つまり、図７のｄで表わされる部分において、振り下ろし状態から、言い換えれば加わる加速度が重力加速度のみから、さらにマイナス方向に所定値だけ増加したＡ点を、ショット検出のタイミングとしている。
このショット検出のタイミングを発音タイミングとし、上述したような発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音する。
図６に戻り、ステップＳ５に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、演奏者の所定の動作（アクション）を示す情報（以下、アクション情報と呼ぶ）を検出する処理、すなわち、アクション検出処理を行う（ステップＳ６）。続いて、ＣＰＵ１１は、ステップＳ４〜ステップＳ６の処理で検出した情報、すなわち、姿勢情報、ショット情報及びアクション情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ７）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、姿勢情報、ショット情報及びアクション情報をセンターユニット部３０に送信する。

続いて、ＣＰＵ１１は、マーカー点消灯処理を行い（ステップＳ８）、ステップＳ３の処理に移し、それ以降の処理を繰り返し実行する。ここで、マーカー点消灯処理については、図８で詳細に説明するが、ＣＰＵ１１は、モーションセンサ情報などに基づいて、マーカー部１５の点灯又は消灯を制御する。

［マーカー点消灯処理］
続いて、図８を参照して、マーカー点消灯処理について説明する。
初めに、スティック部１０のＣＰＵ１１は、モーションセンサ情報や姿勢情報、ショット情報及びアクション情報などに基づいて、振り下ろしを検出したか否かを判断する（ステップＳ１１）。このとき、振り下ろしを検出した場合には、ＣＰＵ１１は、マーカー部１５の点灯処理を行い（ステップＳ１２）、マーカー点消灯処理を終了する。

他方、振り下ろしを検出しない場合には、ＣＰＵ１１は、モーションセンサ情報や姿勢情報、ショット情報及びアクション情報などに基づいて、振り上げを検出したか否かを判断する（ステップＳ１３）。このとき、振り上げを検出した場合には、ＣＰＵ１１は、マーカー部１５の消灯処理を行い（ステップＳ１４）、マーカー点消灯処理を終了する。他方、振り上げを検出しない場合には、ＣＰＵ１１は、マーカー点消灯処理を終了する。

ここで、ステップＳ１１及びステップＳ１３の振り下ろし及び振り上げの検出は、任意の方法により行うことができ、例えば、スティック部１０の垂直方向の加速度を用いることができる。モーションセンサ部１４の垂直方向の加速度の変化が図７に示すような変化を表わした場合を例にとり、以下、ＣＰＵ１１による振り下ろし及び振り上げの検出について説明する。

振り上げ動作の開始は、ショット検出のタイミングとする。すなわち、図７のｄで表わされる部分において、加わる加速度が重力加速度のみの状態から、さらにマイナス方向に所定値だけ増加したＡ点とする。もちろん、振り上げ動作の開始とショット検出のタイミングとを同一とせず、両者のタイミングの間にタイムラグを設けることも可能である。

また、振り下ろし動作の開始は、図７のｃで表わされる部分において、加わる加速度が重力加速度のみの状態から、プラス方向に所定値だけ増加したＢ点とする。ここで、通常打楽器等の演奏操作においては、振り下ろし動作から直ちに振り上げ動作を行うのが常である。そのため、本実施形態においては、振り下ろし動作の終了と、振り上げ動作の開始と、を同一タイミングとしている。すなわち、振り下ろし動作は、図７のＢ点のタイミングで開始し、Ａ点のタイミングで終了する。もちろん、振り下ろし動作の終了と振り上げ動作の開始との間にタイムラグを設けることも可能である。

なお、本実施形態では、モーションセンサ部１４（加速度センサ）が検出する垂直方向の加速度に基づいて、振り下ろし及び振り上げ動作を検出することとしているが、振り下ろし及び振り上げ動作の検出には、スティック部１０の姿勢情報を用いることとしてもよい。ここで、姿勢情報としては、ピッチ角の変位を用いることができ、例えば、ＣＰＵ１１は、ピッチ角が下方向に変位した場合に、振り下ろし開始を検出し、ピッチ角が上方向に変位した場合やピッチ各の下方向の変位が終了した場合に、振り上げ開始を検出する。

また、振り下ろし及び振り上げ動作の検出は、カメラユニット部２０が行うこととしてもよい。すなわち、カメラユニット部２０が撮像した動画から演奏者の手の動きを判別し、振り下ろし及び振り上げ動作を検出することとしてもよく、スティック部１０は、カメラユニット部２０からこれら検出情報を受信することとしてもよい。

このように、ステップＳ１１及びステップＳ１３の振り下ろし及び振り上げ動作の検出は、様々な方法により行うことができる。
なお、スティック部１０とカメラユニット部２０とは非同期であるため、マーカー部１５が消灯するタイミングによっては、カメラユニット部２０が適切な撮像を行えない場合がある。そこで、スティック部１０では、マーカー部１５の消灯タイミングを、カメラユニット部２０の撮影１フレーム分だけ遅延することとしてもよい。これにより、カメラユニット部２０では、スティック部１０とカメラユニット部２０との非同期により生じる、タイミングずれに関わらず、ショットタイミング時のマーカー部１５の位置座標を特定することができる。

［カメラユニット部２０の処理］
図９を参照して、カメラユニット部２０のＣＰＵ２１は、マーカー検出条件取得処理を行う（ステップＳ２１）。この処理では、ＣＰＵ２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得し、ＲＡＭ２３に格納する。なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５の夫々を検出するための条件であり、マーカー特徴情報から生成される（図１０のステップＳ３１，ステップＳ３２参照）。ここで、上述のようにマーカー特徴情報として、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。続いて、ＣＰＵ２１は、マーカー検出条件設定処理を行う（ステップＳ２２）。この処理では、ＣＰＵ２１は、マーカー検出条件情報に基づいて、マーカー検出部２４の各種設定を行う。

続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ２３）及び第２マーカー検出処理（ステップＳ２４）を行う。これらの処理では、ＣＰＵ２１は、マーカー検出部２４が検出した、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検知情報を、取得しＲＡＭ２３に格納する。このとき、マーカー検出部２４は、発光中のマーカー部１５について、マーカー検知情報を検出する。

続いて、ＣＰＵ２１は、ステップＳ２３及びステップＳ２４で取得したマーカー検知情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ２５）、ステップＳ２３の処理に移る。

［センターユニット部３０の処理］
図１０を参照して、センターユニット部３０のＣＰＵ３１は、マーカー特徴情報をスティック部１０から受信し、ＲＡＭ３３に格納する（ステップＳ３１）。続いて、ＣＰＵ３１は、マーカー特徴情報及びスイッチ３４１を介して設定された検出条件から、マーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に送信する（ステップＳ３２）。

続いて、ＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検知情報を受信し、ＲＡＭ３３に格納する（ステップＳ３３）。また、ＣＰＵ３１は、スティック部１０Ａ、１０Ｂの夫々から、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報を受信し、ＲＡＭ３３に格納する（ステップＳ３４）。

続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ３５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット処理を行う（ステップＳ３６）。ショット処理では、ＣＰＵ３１は、ＲＯＭ３２から、マーカー検知情報に含まれる位置座標、サイズ及び角度などに対応する波形データを読み出し、ノートオンイベントに含まれる音量データとともに音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。

ステップＳ３６の後、又はステップＳ３５でＮＯと判断した場合には、ＣＰＵ３１は、スティック部１０から受信したアクション情報に基づいて、アクションありか否かを判断する（ステップＳ３７）。このとき、アクションありと判断した場合には、ＣＰＵ３１は、受信したアクション情報に基づくアクション処理を行い（ステップＳ３８）、ステップＳ３３の処理に移る。他方、アクション無しと判断した場合には、ＣＰＵ３１は、ステップＳ３３の処理に移る。

以上、本実施形態の演奏装置１の構成及び処理について説明した。このような演奏装置１によれば、マーカー部１５の位置座標データを必要とする事象（ショット）の発生を予測して、マーカー部１５を予め点灯し、当該事象終了時には、マーカー部１５の点灯を終了する。これにより、マーカー部１５の位置座標データが必要な時間帯のみマーカー部１５を点灯させるため、常時点灯する場合に比べてスティック部１０の消費電力を低減することができ、スティック部１０の長時間駆動及び軽量化を実現することができる。
また、事象（ショット）発生と連動したマーカー部１５の点消灯動作により、視覚的な演出効果が期待でき、スティック部１０を用いた演奏のパフォーマンスの向上を図ることができる。

以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。

また、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。例えば、スティック部１０のＣＰＵ１１が行うこととしているショット検出などの処理を、センターユニット部３０で行うこととしてもよい。

また、上記実施形態では、スティック部１０の有するマーカー部１５の発光制御について説明したが、スティック部１０に限らず、発光部を有するその他の部材に対して本発明の発光制御を行うこととしてもよい。すなわち、本発明は、発光部を有する部材に与えられる動作の開始及び終了を検知し、動作の開始の検出に応答して発光部を点灯するとともに、動作の終了の検出に応答して発光部を消灯させる発光制御装置に適用することができる。このとき、動作の開始及び終了の検知は、各種センサ（モーションセンサ部）が検出した値に基づいてＣＰＵ（検知手段）が行うことができ、また、動作の開始及び終了に応答した発光制御もＣＰＵ（制御手段）が行うことができる。

また、上記実施形態では、振り下ろし動作の開始と終了を検出し、マーカーを点消灯する制御について説明しているが、これに替えて、マーカーの輝度を制御するようにしても良い。例えば、振り下ろし動作の開始を検出したタイミングでマーカーを高輝度発光させ、振り下ろし動作の終了を検出したタイミングでマーカーを低輝度に戻すことにより、上記の実施形態と同様の効果を得ることができる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者に保持され、発光及び消灯する発光部を備える演奏部材と、前記演奏部材を保持する前記演奏者が存在する撮像空間の画像を撮像する撮像装置と、前記撮像装置が撮像した前記撮像空間における発光中の前記発光部の位置座標に基づいて発音する発音装置と、を備える演奏装置であって、
前記演奏者による前記演奏部材の振り下ろし動作の開始及び終了を検知する検知手段と、
前記検知手段が前記振り下ろし動作の開始を検知したタイミングで、前記発光部を発光させる発光制御を実行し、前記検知手段が前記振り下ろし動作の終了を検知したタイミングで、前記発光部を消灯させる消灯制御を実行する発光消灯制御手段と、
を備えることを特徴とする演奏装置。
［付記２］
前記演奏部材は、前記演奏部材の垂直方向の加速度を検出する加速度センサを備え、
前記検知手段は、前記加速度センサが検出した前記加速度に基づいて、前記振り下ろし動作の開始及び終了を検知する、
付記１に記載の演奏装置。
［付記３］
前記検知手段は、前記加速度センサが検出した重力方向への加速度に基づいて前記振り下ろし動作の開始を検知し、前記加速度センサが検出した重力と対向する方向への加速度に基づいて前記振り下ろし動作の終了を検知する、
付記２に記載の演奏装置。
［付記４］
前記演奏部材と、前記撮像装置と、前記発音装置とが、無線通信可能に接続された、
ことを特徴とする付記１から３の何れかに記載の演奏装置。
［付記５］
発光部を有する部材に与えられる動作の開始及び終了を検知する検知手段と、
前記検知手段による動作の開始の検出に応答して前記発光部を点灯するとともに、前記検知手段による動作の終了の検出に応答して前記発光部を消灯させる制御手段と、
を有する発光制御装置。

１・・・演奏装置（演奏装置）、１０・・・スティック部（演奏部材）、１１・・・ＣＰＵ（検知手段、発光消灯制御手段）、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部（検知手段、加速度センサ）、１５・・・マーカー部（発光部）、１６・・・データ通信部、２０・・・カメラユニット部（撮像装置）、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・マーカー検出部、２５・・・データ通信部、３０・・・センターユニット（発音装置）、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部

Claims

演奏者に保持され、発光及び消灯する発光部を備える演奏部材と、前記演奏部材を保持する前記演奏者が存在する撮像空間の画像を撮像する撮像装置と、前記撮像装置が撮像した前記撮像空間における発光中の前記発光部の位置座標に基づいて発音する発音装置と、を備える演奏装置であって、
前記演奏部材に、
前記演奏者による前記演奏部材の振り下ろし動作の開始及び終了を検知する検知手段と、
前記検知手段が前記振り下ろし動作の開始を検知したタイミングで、前記発光部を発光させる発光制御を実行し、前記検知手段が前記振り下ろし動作の終了を検知したタイミングで、前記発光部を消灯させる消灯制御を実行する発光消灯制御手段と、
を備えることを特徴とする演奏装置。
前記演奏部材は、前記演奏部材の垂直方向の加速度を検出する加速度センサを備え、
前記検知手段は、前記加速度センサが検出した前記加速度に基づいて、前記振り下ろし動作の開始及び終了を検知する、
請求項１に記載の演奏装置。
前記検知手段は、前記加速度センサが、前記加速度が重力加速度より重力方向に所定値増加したと検出した場合に前記振り下ろし動作の開始を検知し、前記加速度センサが、前記加速度が重力加速度より重力と対向する方向に所定値増加したと検出した場合に前記振り下ろし動作の終了を検知する、
請求項２に記載の演奏装置。
前記演奏部材と、前記撮像装置と、前記発音装置とが、無線通信可能に接続された、
ことを特徴とする請求項１から３の何れかに記載の演奏装置。
請求項１に記載の発光消灯制御手段に換えて前記検知手段が前記振り下ろし動作の開始を検知したタイミングで、前記発光部を高輝度発光させ、前記検知手段が前記振り下ろし動作の終了を検知したタイミングで、前記発光部を低輝度にすることを特徴とする発光消灯制御手段を備える請求項１から４の何れかに記載の演奏装置。