JP5974567B2 - 楽音発生装置 - Google Patents
楽音発生装置 Download PDFInfo
- Publication number
- JP5974567B2 JP5974567B2 JP2012061690A JP2012061690A JP5974567B2 JP 5974567 B2 JP5974567 B2 JP 5974567B2 JP 2012061690 A JP2012061690 A JP 2012061690A JP 2012061690 A JP2012061690 A JP 2012061690A JP 5974567 B2 JP5974567 B2 JP 5974567B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- performance
- stick
- marker
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
例えば打楽器等の現実の楽器は、重量も重く、設置に広いスペースを要することから、自宅等で手軽に演奏や練習を行うことが難しい。
この点、演奏者の演奏動作を検知し、これに応じた楽音を発生させて、仮想の楽器演奏を行う楽音発生装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音させることができるため、演奏場所や演奏スペースに制約を受けずに手軽に演奏を楽しむことができる。
演奏エリアを外してしまうと、楽音が発音されず、演奏が中断されてしまうため、演奏になれていない初心者等には楽器演奏を十分に楽しむことができないという問題があった。
演奏操作子と、
前記演奏操作子本体に与えられる演奏操作の状態を検知する状態検知手段と、
演奏操作時における前記演奏操作子の位置が所定の演奏エリアに含まれる場合に、楽音を発音する楽音発生手段に対して発音指示を与える発音指示手段と、
前記状態検知手段により検知された前記演奏操作の状態に基づいて、演奏速度を検出する演奏速度検出手段と、
この演奏速度検出手段によって検出された前記演奏速度が所定の閾値以上である場合は、前記所定の演奏エリアのサイズを拡大し、前記演奏速度が所定の閾値以上で無い場合であって前記所定の演奏エリアのサイズが初期サイズである場合は、前記所定の演奏エリアのサイズを維持し、前記演奏速度が所定の閾値以上で無い場合であって前記所定の演奏エリアのサイズが初期サイズより大きいサイズである場合は、前記所定の演奏エリアのサイズを前記初期サイズに縮小するエリアサイズ変更手段と、
を備えていることを特徴とする。
まず、図1(A)及び図1(B)を参照して、本発明に係る楽音発生装置の一実施形態の概要について説明する。
図1(A)は、本実施形態に係る楽音発生装置の装置構成の概要を示す図である。
図1(A)に示すように、本実施形態の楽音発生装置1は、スティック部10A、10Bと、カメラユニット部20と、センターユニット部30と、を含んで構成されている。なお、本実施形態の楽音発生装置1は、2本のスティックを用いた仮想的なドラム演奏を実現するため、2つのスティック部10A、10Bを備えることとしているが、スティック部の数はこれに限られず、1つとしてもよく、3つ以上としてもよい。なお、以下では、スティック部10A、10Bを区別しない場合には、両者を総称して「スティック部10」と称する。
このような演奏者の演奏動作を検知するため、本実施形態では、スティック部10の他端(先端側)に、加速度センサなどの各種センサ(後述のモーションセンサ部14、図2参照)が設けられている。本実施形態において、モーションセンサ部14は、演奏者の演奏動作に基づくスティック部10(演奏操作子)の状態を検知する状態検知手段として機能する。
各種センサによって検知された検知結果(例えば各種センサによって取得された生データ等)が、センターユニット部30に送信されるようになっている。
また、スティック部10の先端側には、マーカー部15が設けられており、撮像時にカメラユニット部20がスティック部10の先端を容易に判別可能であるように構成されている。
本実施形態では、カメラユニット部20は、状態検知手段としての撮像部24によって取得された画像からスティック部10のマーカー部15の位置を検出することによって、演奏者の演奏動作に基づくスティック部10(演奏操作子)の状態としてスティック部10の演奏動作時における操作位置を検出する。
具体的には、センターユニット部30は、その記憶手段であるROM(後述する)等に、カメラユニット部20の撮像空間に対応付けて、図1(B)に示すような仮想のドラムセットDの位置座標データを記憶している。センターユニット部30は、当該仮想のドラムセットDの位置座標データとモーションセンサ部14による検知結果受信時におけるマーカー部15の位置座標データとに基づいて、スティック部10が打撃した楽器を特定し、当該楽器に対応する所定の楽音を発音させる。
また、本実施形態では、センターユニット部30は、状態検知手段であるモーションセンサ部14により検知されたスティック部10(演奏操作子)の状態に基づいて、演奏の速度(テンポ)を検出し、この検出結果に基づいて、演奏エリア5の大きさ(エリアサイズ)を変更するようになっている。
以下、本実施形態に係る楽音発生装置1について具体的に説明する。
まず、図2から図5を参照して、本実施形態における楽音発生装置1を構成するスティック部10、カメラユニット部20及びセンターユニット部30の構成について詳細に説明する。
図2は、スティック部10のハードウェア構成を示すブロック図であり、図3は、スティック部10の斜視図であり、図4は、カメラユニット部20のハードウェア構成を示すブロック図であり、図5は、センターユニット部30のハードウェア構成を示すブロック図である。
図2に示すように、スティック部10は、CPU(Central Processing Unit)等で構成されるスティック制御部11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、モーションセンサ部14と、マーカー部15と、データ通信部16と、を含んで構成されている。また、スティック部10は、各部に電源を供給する図示しない電源部を備えている。
また、ROM12は、マーカー部15の発光制御に用いるマーカー特徴情報を格納している。
ここで、マーカー特徴情報とは、同じ撮像空間に複数のマーカー部15が存在している場合に、各マーカー部15(本実施形態では、スティック部10Aの第1マーカーとスティック部10Bの第2マーカー)を区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。スティック部10が複数ある場合には、各スティック部10はそれぞれ異なるマーカー特徴情報を有しており、各マーカー特徴情報にしたがった発光制御が行われるようになっている。
例えば、モーションセンサ部14から検知結果としてのセンサ値(以下、これを「モーションセンサデータ」と称する。)が出力されると、このモーションセンサデータを、データ通信部16を介してセンターユニット部30に送信する等、センターユニット部30との間の通信制御を行う。
また、スティック制御部11は、マーカー特徴情報をROM12から読み出し、当該マーカー特徴情報にしたがって、マーカー部15の発光制御を行う。前述のように、複数のスティック部10A,10Bがある場合には、各スティック部10A,10Bはそれぞれ異なるマーカー特徴情報にしたがった発光制御が行われる。これは、カメラユニット部20の撮像部24によって撮像された画像から、スティック部10Aのマーカー部15(第1マーカー)と、スティック部10Bのマーカー部15(第2マーカー)とを区別して検出できるようにするためである。すなわち、スティック部10が複数ある場合に、マーカー部15が同じように発光すると、カメラユニット部20で撮影した際に、各マーカー部15がいずれのスティック部10のものであるか判別できないおそれがある。このため、スティック部10Aのスティック制御部11及びスティック部10Bのスティック制御部11がそれぞれ異なるマーカー特徴情報を読み出し、これにしたがってマーカー部15の発光制御を行うことで、各マーカー部15の発光を異ならせ、両者の区別を容易としている。
なお、スティック制御部11によって行われる制御はこれに限定されず、例えば、センターユニット部30からの指示又はモーションセンサ部14による検知結果であるセンサ値(モーションセンサデータ)等に基づいて、マーカー部15の点灯/消灯等の発光制御を行うようにしてもよい。
ここで、モーションセンサ部14によって検知される演奏者の演奏動作に基づく演奏操作子の状態とは、スティック部10(演奏操作子)の演奏動作時における振り下ろし速度や、操作位置等である。
モーションセンサ部14は、検知結果として所定のセンサ値(モーションセンサデータ)を出力する。
モーションセンサ部14によって検知された検知結果(モーションセンサデータ)は、データ通信部16を介してセンターユニット部30に送信される。
ここで、モーションセンサ部14を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサ等を用いることができる。
本実施形態において、楽音発生装置1を用いて演奏を行う場合、演奏者は、スティック部10の一端(根元側)を保持し、手首などを中心としてスティック部10の他端(先端側)を上下動させる振り上げ振り下ろし動作を行うことで、スティック部10に対して回転運動を生じさせる。ここで、スティック部10が静止している場合には、加速度センサは、センサ合成値として重力加速度1Gに相当する値を算出し、スティック部10が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度1Gよりも大きな値を算出する。なお、センサ合成値は、例えば、X軸、Y軸、Z軸の成分の加速度のそれぞれの2乗の総和の平方根を算出することで得られる。
ここで、Y軸方向の回転角501は、演奏者がスティック部10を持ったとき、演奏者から見た前後軸の回転角であるため、ロール角と称することができる。ロール角は、X−Y平面が、どの程度X軸に対して傾けられたかを示す角度502に対応し、演奏者がスティック部10を手に持って、手首を軸にして左右に回転させることにより生じる。
また、X軸方向の回転角511は、演奏者がスティック部10を持ったとき、演奏者から見た左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、X−Y平面が、どの程度Y軸に対して傾けられたかを示す角度512に対応し、演奏者がスティック部10を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Z軸方向の回転角も併せて出力することとしてもよい。このとき、Z軸方向の回転角は、基本的にはX軸方向の回転角511と同じ性質を有し、演奏者がスティック部10を手に持って、手首を左右方向に振ることにより生じるピッチ角である。
演奏者がスティック部10を用いて演奏を行う場合、一般には、現実の楽器(例えば、ドラム)を打つ動作と同様の動作を行う。このような(演奏)動作では、演奏者は、まずスティック部10を振り上げ、それから仮想的な楽器の打面(演奏面)に向かって振り下ろす。そして実際には打面が存在していないため、演奏者は、スティック部10を仮想的な楽器に打ちつける寸前に、スティック部10の動作を止めようとする力を働かせる。
図6は、このようなスティック部10を用いて演奏動作を行った場合のモーションセンサ部14の垂直方向の加速度の変化を表わした図であり、スティック部10からセンターユニット部30に送信されるモーションセンサデータの一例を示すものである。
なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Y軸成分の加速度から分解し算出することとしてもよく、Z軸方向の加速度(ロール角によってはX軸方向の加速度)から分解し算出することとしてもよい。また、図6において、マイナスの加速度は、スティック部10に加わる下向き方向の加速度を示し、プラスの加速度は、スティック部10に加わる上向き方向の加速度を示す。
次に、図6中bで示す区間のように、スティック部10が静止している状態において、振り上げ動作に伴い演奏者がスティック部10を持ち上げると、重力加速度に対してより逆らう方向に動作することになるため、スティック部10に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、加速度は、マイナス方向からプラスの方向に転換し、振り上げ動作が最高速に到達した時点(図6中のp1参照)での加速度は重力加速度のみ(すなわち、重力加速度1G)になる。
この後、図6中dで示す区間のように、再びスティック部10に対して振り上げ動作を行うと、加わる加速度はマイナス方向に増加し、振り上げ動作を静止させようとすると、加わる加速度はマイナス方向からプラス方向に転じる。
演奏動作が続いている間、演奏者によるスティック部10の振り上げ振り下ろし動作にしたがって、図6に示したような加速度の変化が繰り返され、この加速度の変化がモーションセンサ部14によって検知される。
具体的には、マーカー部15は、スティック制御部11がROM12から読み出したマーカー特徴情報に基づいて発光する。前述のように、スティック部10Aのマーカー特徴情報と、スティック部10Bのマーカー特徴情報とは異なるように設定されている。このため、後述するように、カメラユニット部20は、スティック部10Aのマーカー部(第1マーカー)とスティック部10Bのマーカー部(第2マーカー)とを判別することができ、それぞれの位置座標を、いずれのスティック部10のものかを区別して取得することができる。
次に、図4を参照して、カメラユニット部20の構成について説明する。
カメラユニット部20は、CPU等で構成されるカメラ制御部21と、ROM22と、RAM23と、撮像部24と、データ通信部25と、を含んで構成される。また、カメラユニット部20は、各部に電源を供給する図示しない電源部を備えている。
RAM23は、撮像部24により得られたマーカー部15の位置を示すデータ(演奏動作を行う演奏者の画像等)、この位置を示すデータから算出されたスティック部10A、10Bのマーカー部15(第1マーカー及び第2マーカー)のそれぞれの位置座標のデータ等、処理において取得され又は生成された値を格納する。
また、RAM23は、センターユニット部30から送信されるマーカー検出条件情報を格納する。マーカー検出条件情報とは、スティック部10A,10Bのマーカー部15のそれぞれを区別して検出するための条件であり、センターユニット部30の本体制御部31によりマーカー特徴情報から生成されるものである。
本実施形態では、カメラ制御部21は、例えば、撮像部24により得られたマーカー部15の位置を示すデータ(すなわち、スティック部10を持って演奏動作を行う演奏者の画像等、少なくともマーカー部15を含むスティック部10周辺を撮像した画像のデータ)及びマーカー検出条件情報に基づいて、スティック部10A、10Bのマーカー部15(第1マーカー及び第2マーカー)のそれぞれの位置座標を算出するマーカー位置検出処理を行う。
すなわち、カメラ制御部21は、撮像部24によって得られた画像からスティック部10のマーカー部15を検出して、その空間上の位置座標(撮像空間内におけるスティック部10のマーカー部15の位置座標)を特定する。また、複数のスティック部10A,10Bのマーカー部15が検出された場合には、カメラ制御部21は、RAM23からマーカー検出条件情報を読み出して、各マーカー部15がスティック部10Aのマーカー部15(第1マーカー)であるか、スティック部10Bのマーカー部15(第1マーカー及び第2マーカー)であるかを判別する。
また、カメラ制御部21は、算出されたスティック部10A、10Bのマーカー部15(第1マーカー及び第2マーカー)のそれぞれの位置座標のデータ(すなわち、第1マーカー及び第2マーカーの判別結果を伴う各マーカー部15の位置座標のデータ。以下、これを「マーカー検出位置情報」という。)を、データ通信部25を介してセンターユニット部30に送信する通信制御を行う。
なお、データ通信部16は、スティック部10との間で無線通信を行うこととしてもよい。また、データ通信部25による通信方式は無線通信に限定されない。例えばカメラユニット部20とセンターユニット部30等とをケーブルにより接続し、データ通信部25により有線通信を行う構成としてもよい。
次に、図5を参照して、センターユニット部30の構成について説明する。
センターユニット部30は、CPU等で構成される本体制御部31と、ROM32と、RAM33と、スイッチ操作検出回路34と、表示回路35と、発音部36と、データ通信部37と、を含んで構成される。また、センターユニット部30は、各部に電源を供給する図示しない電源部を備えている。
また、ROM32は、種々の音色の波形データ(すなわち各楽器の音源データ)、例えば、バスドラム、ハイハット、スネア、シンバル、タムなど本実施形態において想定される仮想のドラムセットD(図1(B)参照)を構成する打楽器の波形データを、各楽器の空間上の演奏エリア5(図2等参照)の位置座標等と対応付けて格納している。なお、ROM32に格納されている音色の波形データは、これら打楽器に限定されず、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器の音色の波形データがROM32に格納されていてもよい。
また、RAM33は、スティック部10A,10Bから送信されたスティック部10Aのマーカー部15(第1マーカー)、スティック部10Bのマーカー部15(第1マーカー及び第2マーカー)のそれぞれのマーカー特徴情報を格納している。
本実施形態では、本体制御部31は、機能的に見た場合、発音制御部311、演奏速度検出部312、エリアサイズ変更部313等を備えている。これら発音制御部311、演奏速度検出部312、エリアサイズ変更部313等としての機能は、CPUとROM32等に記憶されたプログラムとの共働によって実現される。
すなわち、発音制御部311は、状態検知手段であるモーションセンサ部14によって検知されたスティック部10(演奏操作子)の状態に関する検知結果(モーションセンサデータ)及びカメラユニット部20から送られるマーカー検出位置情報に対応して、発音手段である発音部36に対して所定の楽音を発音するように発音指示の信号(ノートオンイベント)を与える。ここで、ノートオンイベント(発音指示信号)には、ショットタイミング(発音タイミング)、音量、音色(すなわち楽器の種類)等の情報が含まれる。
前述のように、図6は、スティック部10を用いて演奏動作を行った場合のモーションセンサ部14の垂直方向の加速度の変化を表わした図である。
演奏者は、仮想的な楽器にスティック部10を打ちつけた瞬間に楽音が発生することを想定しているため、楽音発生装置1においても、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の打面にスティック部を打ちつける瞬間又はそのわずかに手前で楽音を発音させることとしている。
そして、発音制御部311は、このショットタイミングが検出されたときに発音を行うようにノートオンイベント(発音指示信号)を生成する。
そして、発音制御部311は、こうした演奏者の演奏動作に応じたノートオンイベントを生成する。すなわち、モーションセンサデータ及びマーカー検出位置情報に基づいて、どの楽器が、どの程度の速さ、強さで、どのタイミングで叩かれたか等を判断し、この判断結果に合致する楽器種類(音色)に対応する波形データをROM33から読み出すとともに、この所定の楽音を、叩かれた速さや強さに対応する音量で、所定のショットタイミングで発音させるように発音指示信号(ノートオンイベント)を発音部36に出力する。
本実施形態の楽音発生装置1は、通常の演奏モードの他に必要に応じて演奏エリア5の大きさ(エリアサイズ)を変更する処理が行われる練習モードを選択可能となっており、この練習モードが選択されたときには、演奏速度検出部312は、演奏動作間の時間間隔、すなわち各ショットの時間差(図7において「時間差st」)に基づいて演奏の速度を検出するようになっている。
具体的には、演奏速度検出部312は、当該ショットと前回のショットとの時間差(図7において「時間差st」)を検出し、検出された時間差をRAM33等に記憶させる。そして、演奏速度検出部312は、RAM33等に記憶(蓄積)されている直近の所定数分(例えば10)の時間差(すなわち、例えば図7において時刻aの時点であれば「時間差st1」から「時間差st10」)について移動平均値を算出する。なお、演奏速度検出部312が移動平均値を算出するためにどの程度の数のショット間の時間差を用いるか(すなわち、上記「所定数」をいくつとするか)は特に限定されないが、多くの時間差を用いて移動平均値を算出する方がより正確に演奏速度(演奏のテンポ)を検出することができる。
エリアサイズ変更部313は、演奏速度検出部312によって算出された移動平均値が所定の閾値以下であると判断したときに、図8に示すように、演奏エリア5の大きさ(エリアサイズ)を拡大する。また、算出された移動平均値が所定の閾値を超えていると判断したときには、演奏エリア5の大きさ(エリアサイズ)を維持するか又は縮小する。なお、どの程度の大きさにエリアサイズを変更するかは特に限定されず、仮想の演奏エリア5同士の重なり合いが大きくなり過ぎない程度の範囲で適宜設定することが可能である。
なお、本実施形態では、エリアサイズとして、エリアサイズ変更処理前の初期サイズと拡大後のサイズの2段階で演奏エリア5のエリアサイズを変更するようになっており、ここでいうエリアサイズの縮小とは、一旦エリアサイズが拡大された後のもとの初期サイズへの復帰を意味する。
エリアサイズ変更部313が演奏エリア5のエリアサイズを変更するか否かを判断する際の所定の閾値をどの程度に設定するかは特に限定されず、適宜定めることができる。また、事後的に演奏者等によって閾値の調整を行うことができるようにしてもよい。
図7に示すように、時刻aの時点では、演奏の速度(テンポ)は徐々に速くなっているが、演奏速度検出部312が、当該時刻aにおけるショットと前回のショットとの時間差st10から過去に10個分遡って時間差の移動平均値(すなわち、時間差st1から時間差st10の移動平均値)を算出したときには、時間差st1から時間差st3の値が大きいために移動平均値が大きくなる。エリアサイズ変更部313は、この移動平均値が所定の閾値を超えていると判断する場合、時刻aにおいて演奏エリア5のサイズが初期サイズのままであれば、エリアサイズ変更部313は、現在の演奏エリア5のエリアサイズ(すなわち初期サイズ)をそのまま維持する。
これに対して、時刻bの時点では、演奏のテンポの速い状態が続いており、演奏速度検出部312が、当該時刻bにおけるショットと前回のショットとの時間差st13から過去に10個分遡って時間差の移動平均値(すなわち、時間差st4から時間差st13の移動平均値)を算出したときには、全ての時間差stの値が小さく移動平均値が小さくなる。エリアサイズ変更部313は、この移動平均値が所定の閾値以下となったと判断する場合、現在の演奏エリア5のエリアサイズを拡大する。
また、その後演奏のテンポが遅くなり、時刻cの時点では、演奏速度検出部312が、当該時刻cにおけるショットと前回のショットとの時間差st15から過去に10個分遡って時間差の移動平均値(すなわち、時間差st6から時間差st15の移動平均値)を算出したとき、時間差st14及び時間差st15の値が大きいために移動平均値が大きくなる。エリアサイズ変更部313がこの移動平均値が所定の閾値を超えたと判断する場合、演奏エリア5のエリアサイズは時刻bにおいてすでに拡大されているため、エリアサイズ変更部313は、現在の演奏エリア5のエリアサイズを初期サイズまで縮小する。
本実施形態では、本体制御部31は、データ通信部37を介して、スティック部10からモーションセンサデータを受信するとともに、カメラユニット部20から第1マーカー及び第1マーカーのマーカー検出位置情報を受信する。
また、本体制御部31は、マーカー特徴情報に基づいてマーカー検出条件情報を生成し、データ通信部37を介して、カメラユニット部20に対して、マーカー検出条件情報を送信する。
また、データ通信部37は、スティック部10及びカメラユニット部20との間で所定の無線通信(例えば、赤外線通信)を行う。
表示装置351は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)等で構成された表示手段である。
楽音データ生成部361は、発音制御部311からの発音指示にしたがって、ROM32から波形データを読み出し、楽音データを生成するとともに、生成した楽音データをアナログ信号に変換する機能部である。
音声出力部362は、例えばスピーカ等であり、楽音データ生成部361において生成された楽音データに基づく楽音を発音させるものである。なお、音声出力部362は、スピーカに限定されず、ヘッドホン等に音声を出力させる出力端子等であってもよい。
次に、図9から図11を参照して、楽音発生装置1の処理について説明する。
図9は、スティック部10の処理を示すフローチャートであり、図10は、カメラユニット部20の処理を示すフローチャートであり、図11は、センターユニット部30の処理を示すフローチャートである。
図9に示すように、スティック部10のスティック制御部11は、ROM12に格納されているマーカー特徴情報を読み出す(ステップS1)。この処理では、スティック部10A,10Bのスティック制御部11は、それぞれ異なるマーカー特徴情報を読み出す。異なるマーカー特徴情報の読み出しは、任意の方法で行うことができ、例えば、スティック部10A、10Bが直接又はセンターユニット部30を介して通信することで行うこととしてもよく、また、個々のスティック部10毎に予め1のマーカー特徴情報を対応付けておき、スティック部10A、10Bのスティック制御部11は、それぞれ対応付けられた独自のマーカー特徴情報を読み出すこととしてもよい。
また、スティック制御部11は、マーカー特徴情報にしたがってマーカー部15を点灯させる(ステップS3)。
スティック制御部11は、演奏動作が終了したか否かを判断し(ステップS6)、演奏動作が終了したと判断する場合(ステップS6;YES)には、マーカー部15を消灯させる(ステップS7)。なお、スティック制御部11が演奏動作終了と判断するのは、例えばモーションセンサ部14が出力するセンサ値に一定以上の変化があるか否かや、スティック部のスイッチ(図示せず)がOFFとされた場合、センターユニット部30から演奏終了の信号が送信された場合等である。他方、スティック制御部11が、演奏動作が終了していないと判断する場合(ステップS6;NO)には、ステップS4に戻って処理を繰り返す。
図10に示すように、カメラユニット部20のカメラ制御部21は、センターユニット部30から送信されるマーカー検出条件情報を取得して、RAM23に格納する。(ステップS11)。なお、マーカー検出条件情報とは、スティック部10A,10Bのマーカー部15のそれぞれを検出するための条件であり、マーカー特徴情報から生成される(図11のステップS23,ステップS24参照)。マーカー特徴情報としては、上述のように、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。
続いて、カメラ制御部21は、マーカー検出条件情報に基づいて、撮像部24の各種設定を行う(ステップS12)。
カメラ制御部21は、演奏動作が終了したか否かを判断し(ステップS16)、演奏動作が終了したと判断する場合(ステップS16;YES)には、処理を終了し、演奏動作が終了していないと判断する場合(ステップS16;NO)には、ステップS13に戻って処理を繰り返す。
図11に示すように、まず、楽音発生装置1の電源がONとなると、センターユニット部30の本体制御部31は、時間経過の計時をスタートする(ステップS21)。また、スイッチ341からの入力操作によって通常の演奏モード又は練習モードが設定される(ステップS22)。なお、モード設定はスイッチ341からの入力で行われる場合に限定されない。また、モード設定について何も入力がない場合には通常の演奏モードとし、練習モードとする場合のみその旨の入力操作が行われるようにしてもよい。
センターユニット部30の本体制御部31は、マーカー特徴情報をスティック部10から受信し、RAM33に格納する(ステップS23)。続いて、本体制御部31は、マーカー特徴情報及びスイッチ341を介して設定された検出条件から、マーカー検出条件情報を生成し、データ通信部37を介して、カメラユニット部20に送信する(ステップS24)。
他方、ショットありと判断した場合(ステップS27;YES)には、本体制御部31は、さらに、モード設定として練習モードが設定されているか否かを判断する(ステップS28)。そして、練習モードが設定されていると判断した場合(ステップS28;YES)には、本体制御部31(演奏速度検出部312)は、当該ショットと前回のショットとの時間差(図7において「時間差st」)を検出し(ステップS29)、検出された時間差をRAM33等に記憶させる(ステップS30)。そして、演奏速度検出部312は、RAM33等に記憶されている所定数分(例えば10)の時間差stについて移動平均値を算出する(ステップS31)。
他方、算出された移動平均値が所定の閾値以下でないと判断した場合(ステップS32;NO)には、エリアサイズ変更部313は、さらに、現在の演奏エリア5のサイズが初期サイズ(拡大前の当初のサイズ)であるか否かを判断する(ステップS34)。そして、現在の演奏エリア5のサイズが初期サイズでない(すなわちすでにエリアサイズが拡大されている)と判断した場合(ステップS34;NO)には、エリアサイズ変更部313は、演奏エリア5のサイズを初期サイズまで縮小する(ステップS35、例えば図7の時刻cの時点参照)。また、現在の演奏エリア5のサイズが初期サイズであると判断した場合(ステップS34;YES)には、エリアサイズ変更部313は、演奏エリア5のサイズをそのまま維持する(ステップS36、例えば図7の時刻aの時点参照)。
所定の楽音が発音された場合、またはショットの操作位置が所定の演奏エリア5でないと判断して(ステップS37;NO)発音指示を行わなかった場合には、本体制御部31は、常に演奏動作が終了したか否かを判断し(ステップS39)、演奏動作が終了したと判断した場合(ステップS39;YES)には、楽音発生処理を終了する。また、演奏動作が終了していないと判断した場合(ステップS39;NO)には、ステップS25に戻って処理を繰り返す。
また、実際に打ちミスを生じていなくても演奏の速度が速くなった場合に演奏エリアを拡大するため、打ちミスによる演奏の中断を未然に防ぐことができる。
また、本実施形態では、演奏動作間の時間間隔に基づいて演奏の速度を検出するため、各ショット間の時間差の移動平均値を算出することで、容易に演奏速度の検出を行うことができる。
また、本実施形態では、練習モードのみでなく、正確なショットを行った場合(すなわち操作位置がすなわち初期サイズの演奏エリア5内である場合)のみ所定の楽音を発音させる通常の演奏を行うモードも備えている。このため、演奏に習熟した者であれば、この通常の演奏モードを選択して演奏を行うことで、正しい操作位置をマスターすることができ、演奏の習熟度に合わせて、正確な演奏ができるように補助することができる。
この場合には、例えば、磁気センサ等のモーションセンサ部14は、スティック部10の先端が向いている方向や角度等から、スティック部10の演奏動作時における操作位置を検知する。
例えば、カメラユニット部20の撮像部24が、モーションセンサ部14に代わって、又はモーションセンサ部14とともに、演奏者の演奏動作に基づく演奏操作子の状態を検知する状態検知手段として機能してもよい。この場合には、例えば、マーカー検出位置情報等に基づいて、演奏者の演奏動作に基づくスティック部10(演奏操作子)の状態としてのショットタイミングのテンポ(演奏速度)を検出する。
すなわち、図12に示すように、現在時刻から所定時間遡った間に何回の演奏動作が行われたか、すなわち何回ショットが行われたかのショットデータの数が、所定の閾値以上である場合に、演奏速度検出手段が演奏速度が速くなったと判断して、エリアサイズ変更手段が演奏エリア5のエリアサイズを拡大するように構成してもよい。この場合、所定時間をどの程度とするか、所定時間内に何回以上の演奏動作があったときにエリアサイズを拡大するかは、特に限定されず、適宜設定することができる。また、演奏者等によって事後的に設定を変更できるようにしてもよい。
このように構成した場合にも、所定時間内の演奏動作の回数をカウントするだけで演奏の速度を検出するため、容易に演奏速度の検出を行うことができる。
例えば、モーションセンサ部14や撮像部24等の状態検知手段により検知されたスティック部10(演奏操作子)の状態に基づいて、演奏動作のばらつき度合を検出するばらつき検出手段をさらに備え、エリアサイズ変更部313は、演奏速度検出手段による検出結果に加えてばらつき検出手段による検出結果を加味し、両検出結果に基づいて、演奏エリア5のエリアサイズを変更するか否かの判断を行うようにしてもよい。
この場合、ばらつき検出手段は、例えばカメラユニット部20から受信した第1マーカー及び第1マーカーのマーカー検出位置情報により特定されるショットタイミングにおけるスティック部10(演奏操作子)の先端部の位置(これを以下「操作位置」という)の座標情報を取得して、スティック部10(演奏操作子)の演奏動作時における実際の操作位置が、所定の演奏エリア5内に設定されている操作目標位置(例えば演奏エリア5の中心点)からどの程度ずれているかのずれ量のばらつきを、演奏動作のばらつき度合として検出する。そして、演奏速度が速く、演奏動作のばらつき度合いも大きくなっていると判断される場合に、エリアサイズ変更部313が演奏エリア5を拡大する。なお、ばらつき度合いの判断手法はここに例示したものに限定されない。例えば、スティック部10(演奏操作子)の演奏動作時における移動速度(振り上げ振り下ろし速度)のばらつきを、演奏動作のばらつき度合として検出してもよい。
演奏エリア5を拡大すると、打ちミス(操作ミス)を減少させることができる一方で、互いに隣り合う仮想の演奏エリア同士が重なり合って、いずれの楽器を演奏しようとした演奏動作であるのか判別しにくくなるおそれもある。この点、演奏速度に加えて演奏動作のばらつき度合いをも考慮して演奏エリア5のエリアサイズを拡大するか否かを判断する構成とした場合には、演奏速度が速くなっても実際には演奏動作にばらつきがなく、打ちミスを生じるおそれがないような場合には、不必要な演奏エリア5の拡大が行われずに済む。これにより、例えば演奏に習熟した者が演奏速度の速い曲を演奏するような場合に、演奏エリア5の重なり合いを防ぐことができる。
例えば、一旦演奏エリア5のサイズを拡大した後は、当該ショットが行われた後にすぐに初期のエリアサイズに戻すようにしてもよい。前述のように、演奏エリア5を拡大すると、互いに隣り合う仮想の演奏エリア同士が重なり合って、いずれの楽器を演奏しようとした演奏動作であるのか判別しにくくなるおそれもある。この点、ショット後にエリアサイズを初期サイズに戻すようにすれば、エリアサイズを拡大しておく時間を打ちミスを生じるおそれのある最小限の時間に止めることができる。
この場合には、例えばショット間の時間差の程度に複数の閾値を設定したり、所定時間内のショットデータ数に応じて段階的なレベル分けを行う等により、演奏速度の速さの程度や、演奏動作のばらつき度合い等に基づいて、段階的にエリアサイズの拡大・縮小を行う。
また、演奏の習熟度に応じたレベル分けを行い、例えば習熟度初級を選択すれば演奏エリア5のエリアサイズの拡大率が大きくなって、より広い範囲での打ちミスをサイズ変更後の演奏エリア5内に収めて救済することができ、習熟度上級を選択するとエリアサイズの拡大率が小さくなって、初期サイズから僅かに外れた打ちミスのみを救済するというように、習熟度に応じて段階的にエリアサイズの拡大・縮小を行ってもよい。
このようにした場合には、必要な限度だけ演奏エリア5のエリアサイズを変更することができる。
すなわち、例えば、スティック部10(演奏操作子)のスティック制御部11が発音制御手段、演奏速度検出手段、エリアサイズ変更手段として機能し、スティック制御部11において各種センサの検知結果の分析等が行われてもよい。この場合には、状態検知手段としてのモーションセンサ部14の検知結果(各種センサの生データ等)ではなく、各種センサの検知結果に基づいたノートオンイベント(発音指示の信号)がセンターユニット部30に送信される。
また、例えばセンターユニット部30の本体制御部31において、カメラユニット部20の撮像部24が検出したマーカー部15の位置を示すデータ(すなわち、演奏者等を撮像した画像のデータ)及びマーカー特徴情報に基づいて、スティック部10A、10Bのマーカー部15(第1マーカー及び第2マーカー)のそれぞれの位置座標を算出する処理を行ってもよい。この場合には、カメラユニット部20は、単に画像を撮像してセンターユニット部30に送信すれば足りるため、カメラユニット部20のRAM23にスティック部10A、10Bのそれぞれのマーカー部15を識別するためのマーカー検出条件情報を格納しておく必要はない。
また、本実施形態では、スティック部10に平行な軸の回りの回転はしないものとして説明したが、これらの回転等についても角加速度センサ等により計測して対応するようにしてもよい。
楽音発生装置1は、演奏操作子で空間を叩く演奏動作を行うことで所定の楽器の音を発音させるものであり、実際に演奏操作子を楽器の打面に打ち付けるものではないため、携帯端末装置等の精密な電子機器を演奏操作子として用いた場合でも、演奏操作子が破損するおそれがない。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
[請求項1]
演奏操作子と、
前記演奏操作子本体に与えられる演奏操作の状態を検知する状態検知手段と、
演奏操作時における前記演奏操作子の位置が所定の演奏エリアに含まれる場合に、楽音を発音する楽音発生手段に対して発音指示を与える発音指示手段と、
前記状態検知手段により検知された前記演奏操作の状態に基づいて、演奏速度を検出する演奏速度検出手段と、
この演奏速度検出手段による検出結果に基づいて、前記所定の演奏エリアの大きさを変更するエリアサイズ変更手段と、
を備えていることを特徴とする楽音発生装置。
[請求項2]
前記状態検知手段は、演奏操作の状態として当該演奏操作が与えられる時間間隔を検知し、
前記演奏速度検出手段は、当該時間間隔に基づいた前記演奏速度を検出することを特徴とする請求項1に記載の楽音発生装置。
[請求項3]
前記状態検知手段は、演奏操作の状態として所定時間内に当該演奏操作が行われた回数を検知し、
前記演奏速度検出手段は、前記所定時間内に演奏操作が行われた回数に基づいて前記演奏速度を検出するものであることを特徴とする請求項1に記載の楽音発生装置。
[請求項4]
演奏操作時における前記演奏操作子の位置を、前記演奏操作のばらつき度合として検出するばらつき検出手段をさらに備え、
前記エリアサイズ変更手段は、前記演奏速度検出手段による検出結果及び前記ばらつき検出手段による検出結果に基づいて、前記所定の演奏エリアの大きさを変更することを特徴とする請求項1から請求項3のいずれか一項に記載の楽音発生装置。
10 スティック部
14 モーションセンサ部
15 マーカー部
20 カメラユニット部
24 撮像部
30 センターユニット部
31 本体制御部
36 発音部
311 発音制御部
312 演奏速度検出部
313 エリアサイズ変更部
D ドラムセット
Claims (4)
- 演奏操作子と、
前記演奏操作子本体に与えられる演奏操作の状態を検知する状態検知手段と、
演奏操作時における前記演奏操作子の位置が所定の演奏エリアに含まれる場合に、楽音を発音する楽音発生手段に対して発音指示を与える発音指示手段と、
前記状態検知手段により検知された前記演奏操作の状態に基づいて、演奏速度を検出する演奏速度検出手段と、
この演奏速度検出手段によって検出された前記演奏速度が所定の閾値以上である場合は、前記所定の演奏エリアのサイズを拡大し、前記演奏速度が所定の閾値以上で無い場合であって前記所定の演奏エリアのサイズが初期サイズである場合は、前記所定の演奏エリアのサイズを維持し、前記演奏速度が所定の閾値以上で無い場合であって前記所定の演奏エリアのサイズが初期サイズより大きいサイズである場合は、前記所定の演奏エリアのサイズを前記初期サイズに縮小するエリアサイズ変更手段と、
を備えていることを特徴とする楽音発生装置。 - 前記状態検知手段は、演奏操作の状態として当該演奏操作が与えられる時間間隔を検知し、
前記演奏速度検出手段は、当該時間間隔に基づいた前記演奏速度を検出することを特徴とする請求項1に記載の楽音発生装置。 - 前記状態検知手段は、演奏操作の状態として所定時間内に当該演奏操作が行われた回数を検知し、
前記演奏速度検出手段は、前記所定時間内に演奏操作が行われた回数に基づいて前記演奏速度を検出するものであることを特徴とする請求項1に記載の楽音発生装置。 - 演奏操作時における前記演奏操作子の位置を、前記演奏操作のばらつき度合として検出するばらつき検出手段をさらに備え、
前記エリアサイズ変更手段は、前記演奏速度検出手段による検出結果及び前記ばらつき検出手段による検出結果から、前記演奏速度が速く且つ前記演奏操作のばらつき度合いが大きいと判断された場合、前記所定の演奏エリアのサイズを拡大することを特徴とする請求項1から請求項3のいずれか一項に記載の楽音発生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061690A JP5974567B2 (ja) | 2012-03-19 | 2012-03-19 | 楽音発生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061690A JP5974567B2 (ja) | 2012-03-19 | 2012-03-19 | 楽音発生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013195622A JP2013195622A (ja) | 2013-09-30 |
JP5974567B2 true JP5974567B2 (ja) | 2016-08-23 |
Family
ID=49394655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012061690A Active JP5974567B2 (ja) | 2012-03-19 | 2012-03-19 | 楽音発生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5974567B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3599115B2 (ja) * | 1993-04-09 | 2004-12-08 | カシオ計算機株式会社 | 楽器ゲーム装置 |
US6388183B1 (en) * | 2001-05-07 | 2002-05-14 | Leh Labs, L.L.C. | Virtual musical instruments with user selectable and controllable mapping of position input to sound output |
JP4144269B2 (ja) * | 2002-06-28 | 2008-09-03 | ヤマハ株式会社 | 演奏処理装置 |
JP2006068125A (ja) * | 2004-08-31 | 2006-03-16 | Namco Ltd | プログラム、情報記憶媒体及びゲーム装置 |
JP2006220938A (ja) * | 2005-02-10 | 2006-08-24 | Yamaha Corp | 音響制御装置 |
JP2007121355A (ja) * | 2005-10-25 | 2007-05-17 | Rarugo:Kk | 演奏システム |
JP5210229B2 (ja) * | 2009-03-31 | 2013-06-12 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP2011141460A (ja) * | 2010-01-08 | 2011-07-21 | Toshihiko Mizukami | タッチパネル入力制御装置、およびプログラム |
JP2012022242A (ja) * | 2010-07-16 | 2012-02-02 | Yamaha Corp | 楽音再生装置およびプログラム |
-
2012
- 2012-03-19 JP JP2012061690A patent/JP5974567B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013195622A (ja) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5533915B2 (ja) | 習熟度判定装置、習熟度判定方法及びプログラム | |
JP5966465B2 (ja) | 演奏装置、プログラム及び演奏方法 | |
JP6024136B2 (ja) | 演奏装置、演奏方法及びプログラム | |
JP6127367B2 (ja) | 演奏装置及びプログラム | |
JP5573899B2 (ja) | 演奏装置 | |
JP5664581B2 (ja) | 楽音発生装置、楽音発生方法及びプログラム | |
JP2013182195A (ja) | 演奏装置及びプログラム | |
US8710345B2 (en) | Performance apparatus, a method of controlling the performance apparatus and a program recording medium | |
JP2013195645A (ja) | 演奏装置、方法及びプログラム | |
JP5549698B2 (ja) | 演奏装置、方法及びプログラム | |
JP6111526B2 (ja) | 楽音発生装置 | |
JP5974567B2 (ja) | 楽音発生装置 | |
JP6094111B2 (ja) | 演奏装置、演奏方法及びプログラム | |
JP5861517B2 (ja) | 演奏装置及びプログラム | |
JP6098083B2 (ja) | 演奏装置、演奏方法及びプログラム | |
JP6098081B2 (ja) | 演奏装置、演奏方法及びプログラム | |
JP2013044889A (ja) | 演奏装置 | |
JP5935399B2 (ja) | 楽音発生装置 | |
JP2013195626A (ja) | 楽音発生装置 | |
JP6098082B2 (ja) | 演奏装置、演奏方法及びプログラム | |
JP5942627B2 (ja) | 演奏装置、方法及びプログラム | |
JP2013044951A (ja) | 操作子および演奏装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160704 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5974567 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |