JP4244916B2

JP4244916B2 - 演奏動作予測に基づく発音制御方法および電子楽器

Info

Publication number: JP4244916B2
Application number: JP2004353404A
Authority: JP
Inventors: 力小林
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2004-12-06
Filing date: 2004-12-06
Publication date: 2009-03-25
Anticipated expiration: 2024-12-06
Also published as: JP2006162904A

Description

本発明は、電子楽器の演奏者の演奏動作を予測し、予測結果に基づいて楽音発生を制御する技術に関する。

近年の通信ネットワークの発達により、地理的に離れた地点にあり通信ネットワークを介して接続された複数の電子楽器端末により合奏（セッション）を行うことができる合奏システムに対するニーズが高まっている。このような合奏システムにおいて、合奏に参加する複数の者が１つの楽曲の各演奏パートを各々担当するものとすると、各参加者が合奏音を聞くためには、各参加者の電子楽器端末において生成される演奏情報（音高、音量、音色等）が逐次他の全ての参加者の電子楽器端末に送信されなければならない。このようにすることで初めて、各参加者の電子楽器端末では、楽曲を構成する全てのパートの演奏情報が得られ、その演奏情報に従って合奏を行うことが可能となる。

しかしながら、このように各パートの演奏情報を各電子楽器端末に行き渡らせるだけでは、各電子楽器端末において正常な合奏を行うことはできない。合奏というのは、他の合奏者の音を聞きつつ自分の楽器を演奏するものであるから、演奏情報に従って各パートの演奏が行われる際に、各パートの発音タイミングの同期が取れている必要がある。ここで、同一の場所で行なわれる通常の合奏では合奏参加者が演奏した音は直ちに合奏参加者全員の耳に届くので、通常各パートの発音タイミングに問題は生じることは考えられない。ところが、例えば通信ネットワークを介して楽器Aと楽器Bとを接続して合奏を行う場合、楽器Aにおいて演奏情報を送信してから電子楽器Bに届くまでには必ずある有限の時間がかかるため、楽器Bの演奏者にはその演奏音が遅れて聞こえることになる。楽器Bの演奏者はこの遅れて届いた音に合わせて演奏を行うことになるが、楽器Bの演奏情報が楽器Aに届くまでには再び遅れが生じる。この結果、楽器AおよびBにおいて同時に発音されなければならない各パートの音の発音タイミングにずれが生じる。インターネット等の汎用通信網を利用した場合、このずれは数１０ミリ秒〜１秒になることがあり、これでは正常な合奏を成立させることは困難である。このように、通信ネットワークを介して合奏を行う場合は、不可避的に発生するネットワーク遅延を考慮する必要がある。

このような背景の下、ネットワークに接続された２地点における電子楽器端末を用いて、通信遅延を補償して演奏を記録および再生する技術がある（例えば特許文献１を参照）。具体的には、Ａ地点で伴奏信号に時刻情報を付加してＢ地点に送信し、Ｂ地点において当該伴奏信号に合わせて演奏された演奏信号に時刻情報を付加してＡ地点に送り返し、Ａ地点でこれを受信すると付加された時刻情報に基づいて両地点における演奏の発音タイミングを修正して記録するというものである。しかし、特許文献１の技術では、単に、演奏相手から遅れて届いた演奏情報に合わせて自楽器端末の演奏音の発音タイミングを遅らせているにすぎず、これではリアルタイムで演奏を同期させることはできない。

特開平７−１２１１６１号公報

本発明は、上述した背景に鑑みてなされたものであり、通信遅延の発生する環境において合奏を実現するための方法及び電子楽器を提供することを目的とする。

本発明は、ユーザによって操作される操作子により打撃される打撃面を有する電子楽器であって、前記操作子が前記打撃面に到達する以前における前記操作子の運動状態を検出する検出手段と、前記検出手段によって検出された運動状態に基づき、前記打撃面への到達時の前記操作子の運動状態を予測する予測手段と、前記予測手段において予測された運動状態に従って演奏情報を生成する生成手段と、通信ネットワークの遅延量を取得する取得手段と、前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段とを有する電子楽器を提供する。本発明の電子楽器によれば、予測した運動状態を用いて前記操作子が前記打撃面に到達する前に演奏情報を生成され、これを外部の電子楽器等に提供することができる。すなわち、演奏動作の完了に先立って演奏情報を生成するので、当該演奏情報の提供タイミングを通信遅延を補償するように制御することが可能である。

好ましい態様において、本発明は、ユーザによって操作される操作子により打撃される打撃面を有する電子楽器であって、前記操作子が前記打撃面に到達する以前のある時刻において、前記操作子の位置および速度を検出する検出手段と、前記検出手段によって検出された位置及び速度に基づき、前記操作子が前記打撃面に到達する時刻および到達時の速度を予測する予測手段と、前記予測手段において予測された時刻および速度に従って演奏情報を生成する生成手段と、通信ネットワークの遅延量を取得する取得手段と、前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段とを有する電子楽器を提供する。

他の好ましい態様において、本発明は、ユーザによって操作される操作子により打撃される打撃面を有する電子楽器であって、前記操作子の位置を検出する検出手段と、前記検出手段によって検出された複数の位置と当該位置の検出時刻とに基づいて前記操作子の速度を算出する算出手段と、前記検出手段にて検出された前記操作子の位置に基づき、前記操作子が所定の領域内に進入したか否かを判定する判定手段と、前記判定手段にて前記操作子が前記所定の領域内に進入したと判定された場合のみ、前記算出手段によって算出された速度に基づいて前記操作子が前記打撃面に到達する時刻を予測する予測手段と、前記予測手段において予測された時刻および前記算出手段によって算出された速度から、それぞれ発音タイミングおよびベロシティを決定することにより演奏情報を生成する生成手段と、通信ネットワークの遅延量を取得する取得手段と、前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段とを有する電子楽器を提供する。

本発明は、他の観点において、ユーザによって操作される操作子により打撃される打撃面を有する電子楽器において演奏情報を生成する方法であって、前記操作子が前記打撃面に到達する以前における前記操作子の運動状態を検出する運動状態検出ステップと、前記運送状態検出ステップにおいて検出された運動状態に基づき、前記打撃面に到達時の前記操作子の運動状態を予測する運動状態予測ステップと、前記運動状態予測ステップにおいて予測された運動状態に従って演奏情報を生成する生成ステップと、通信ネットワークの遅延量を取得する取得ステップと、前記生成ステップにおいて生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定ステップと、前記決定ステップにおいて決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信ステップとを有する演奏情報生成方法を提供する。

以下、図面を参照して本発明の実施例を説明する。図１は、本発明の一実施例に係る電子打楽器１の機能構成を示すものであって、まずこの図を用いて電子打楽器１の構成および動作の概略を説明する。この電子打楽器１は、ユーザに把持されるドラムスティック（以下、単にスティックという）と、打撃面を含む打楽器本体から構成される。なお、以下では、電子打楽器１と電子楽器Ｘとを用いて合奏を行うことを考える。

図１に示すように、電子打楽器１は、制御部１０、位置検出部１１、打撃検出部１２、発音部１３、記憶部１４、通信部１５、タイマ１６、および各部を接続するバス１７から構成される本体部と、ユーザに把持されるスティック１８とから構成される。制御部１０は、ＣＰＵその他の各種演算プロセッサからなり、電子打楽器１の各部を制御するとともに、電子打楽器１の各部から得た情報に基づき、発生させる楽音の演奏情報（発音タイミングおよびベロシティ）を決定する。位置検出部１１は、センサ装置を備え、スティック１８の位置を検出し制御部１０へ供給する。打撃検出部１２は、打撃面に備え付けられた圧力センサ等のセンサデバイスおよびセンサ信号の解析回路から構成され、スティックが打撃面に接触したタイミングや接触した際に打撃面に加えられた圧力等などの情報を検出して制御部１０に供給する。発音部１３は、ＤＳＰ（Digital signal processor）等の音声信号処理回路およびスピーカ等の楽音発生装置を有し、制御部１０からの指示に従って楽音を発生させる。一般的な電子打楽器は、打撃検出部１２、制御部１０、および発音部１３で構成される。

記憶部１４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、あるいはＨＤＤ等の記憶装置であって、演奏情報を決定するために必要なデータを格納する。通信部１５は、通信インタフェース等を有し、制御部１０の指示の下、電子打楽器１で生成した演奏情報を通信回線を介して他の電子楽器に送信する一方、他の電子楽器が生成した演奏情報を受信する。これにより、ネットワークを介して複数の電子楽器を互いに接続し演奏情報を授受することにより、自身の電子楽器の演奏に基づく音を他の電子楽器上で発音させたり、逆に他の楽器の演奏音を自身の電子楽器で発音させるすことが可能となる。タイマ１６は、発音タイミング等を決定する上で基準となる時刻を生成するための計時機構である。

次に、図２(a)〜(c)を用いて、位置検出部１１がスティック１８の位置を検出する方法について説明する。図２(a)は、ユーザが電子打楽器１を用いて演奏を行っている様子を示したものである。同図に示すように、スティック１８の先端部（チップ）には磁石２０が埋め込まれている。図２(b)および(c)は、それぞれ位置検出部１１の俯瞰図および側面図である。位置検出部１１は、打撃面２２の四隅にそれぞれ備え付けられた磁気センサ２１と、それぞれのセンサからの電気信号を解析するための解析回路（図示せず）を有する。今、ユーザに把持されたスティックが打撃面２２の上方に位置しているものとすると、それぞれの磁気センサ２１はスティックに埋め込まれた磁石２０の位置に応じた強さの電気信号を出力する。電気信号の強さは磁気センサ２１と磁石２０までの距離を表す指標となるので、磁気センサ２１によって磁石２０から磁気センサ２１までの計４つの距離が算出されることになる。解析回路は全ての磁気センサ２１の設置位置を予め把握しており、これらの位置と算出された距離とから、磁石２０（すなわちスティック１８の先端部）の三次元空間内の一点を決定する。以下では、説明の便宜上、このように決定した３次元空間内の一点を「スティック１８の位置」と称することとする。

次に、図３を用いて、検出したスティック１８の位置に基づいて演奏情報を生成する方法について説明する。まず、ある時刻において、上述したようにスティック１８の位置を検出すると、その情報を記憶部１０のＲＡＭ等に記憶する（ステップＳ１００）。続いて、ステップＳ１０１において、記憶された位置情報が所定の数だけ蓄積されているか否かを判定する。所定数蓄積されていない場合は(ステップＳ１０１、ＮＯ）、ステップＳ１００に戻り再び位置情報を取得して記憶する。このように、所定数の位置情報が蓄積（バッファリング）されると（ステップＳ１０１、ＹＥＳ）、ステップＳ１０２へ進み、演奏情報の生成処理に入るべきか否かを決定する。具体的には、以下の判定を行う。

まず、得られた位置情報から、スティック１８と打撃面２２との距離が所定値以下になっているか否かを判定する。以下、説明の便宜上、打撃面２２の上部に位置し打撃面２２までの距離が当該所定値であると定義される仮想的な面を考え、これを「判定面」と称する。すなわち、スティック１８がこの判定面に対して打撃面側に位置するか否かを確かめる。この判定面を用いる理由は、例えば演奏者の頭上にスティック１８がある場合であって当該位置に基づいてスティック１８の打撃面２２までの到達時間や到達時の速度等を予測するとすれば、誤差が大きくなり精度の高い予測が困難だからである。加えて、例えば、演奏者がスティック１８が胸元付近に到達したときに打撃動作を中止する可能性もあり、このような場合に演奏情報の生成が誤って行われないようにすべきだからである。このように、誤動作を防止して高精度にスティック１８の挙動を予測するために、スティック１８が判定面の下部に位置したときのみ、演奏情報生成処理を開始することとしたのである。更に、得られた位置情報からスティック１８のＺ座標（垂直位置）が時間とともに減少傾向にあるか否かを判定し、減少傾向にある場合のみ演奏情報生成処理を開始する。すなわち、スティック１８が上方から下方へ移動しているのか、逆に下方から上方へ移動したのかを判定する。上方から下方へ移動していると判定した場合は、演奏者が打撃面２２に向けてスティック１８を振り下ろしている最中であるので演奏情報生成処理を開始する。下方から上方へ移動している場合は、打撃後の動作の最中であると考えられ次の打撃が行われるか否かは判断できないので、演奏情報生成処理は行わない。次に、得られた位置情報からスティック１８の速度を算出し、速度がある閾値を越えているか否かを判定し、閾値以上の場合のみ演奏情報生成処理を開始する。通常、打撃面２２からの所定距離における演奏動作中のスティック１８の速度は一定以上の値をとっていると考えられ、これよりもゆっくりとスティック１８が動いている場合には、演奏者には打撃を行う意思がないかまたは演奏者が打撃の体勢に入っていないと推定されるので、演奏情報生成処理を行なわないこととしたのである。

このようにしてユーザが演奏動作に入っていることが認められ、演奏情報生成処理を開始することが決定されると、（ステップＳ１０２、ＹＥＳ）、得られた位置情報から、現在のスティック１８の位置から打撃面２２に到達すると予測される時間（以下、予測到達時間という）および打撃面到達時におけるスティック１８の速度（以下、予測速度という）を決定する（ステップＳ１０３）。例えば、最も単純には、スティック１８の加速度はゼロであると近似することができる。この場合、スティック１８の速度は常に一定であり、当該位置で検知した速度は予測速度に等しい。予測到達時刻については、一例としては、スティック１８先端部の進行方向が打撃面２２に対してほぼ垂直とみなし、当該位置から打撃面２２までの距離をこの速度で除することにより算出することができる。例えば、判定面上に打撃面２２から判定面までの距離が「１５ｃｍ」で、判定面上で演奏情報生成処理を開始し、この位置で検出したスティック１８の速度が「３ｍ／ｓ」であったならば、予測される到達時間は５０ｍｓ後と算出される。従って、電子楽器１から実際に発音されるタイミングは「５０ｍｓ後」と決定される。

記憶部１４は、一例として図４に示す、スティック１８の速度の値とこれに対応するベロシティ値を対応付けて記憶したテーブルを有している。例えば予測速度が「２．５ｍ／ｓ」ならば、制御部１０はこのテーブルを参照してベロシティ値を「１００」と決定する。このようにして、予測到達時刻から当該演奏に対応して発音すべき楽音の発音タイミングが、予測速度から当該発音すべき楽音のベロシティ値がそれぞれ決定されると、電子楽器Ｘに送信すべき演奏情報が生成される（ステップＳ１０４）。

続いてステップＳ１０５に進み、当該演奏情報を送信すべきタイミングを決定する（ステップＳ１０５）。具体的には、制御部１０は、記憶部１４に格納されているネットワークの遅延量を参照し、この遅延量にしたがった送信時刻を決定する。制御部１０は、決定した時刻が到来すると当該演奏情報を送信する（ステップＳ１０６）。

上述した送信時刻の決定について、図５を用いて詳細に説明する。いま時刻ｔ＝０において、予測到達時刻および予測速度が算出され（ステップＳ２０１）、このときの予測到達時刻をｔ２とする。また、記憶部１４から読み出したネットワークの遅延量がΔＴであるとする。この遅延量ΔＴは、送信した演奏情報が合奏相手である電子楽器に受信され、再び電子打楽器１に戻ってくるまでの時間のことである。いま送信時刻をｔ１とすると、合奏を成立させるためには、予測演奏動作に基づいて生成した演奏情報がネットワークを介して合奏相手から戻ってくる時刻が、実際の演奏が行なわれると予想される時刻に等しくなっていなければならないことから、ｔ２＝ｔ１+ΔＴの関係が成り立つ。よって、送信時刻ｔ１は、ｔ１＝ｔ２−ΔＴにより求めることができる。なお、ｔ２＜ΔＴ、すなわちネットワークの遅延量がスティックの予測到達時刻時間よりも大きい場合は、ｔ１＝０とする。すなわち、即座に演奏情報の送信を行い、ネットワーク遅延による演奏情報の提供の遅れが最小限となるようにする。

このようにして決定した時刻ｔ１において送信された演奏情報は（ステップＳ２０２）、ネットワークの遅延ΔＴ／２を考慮すれば、時刻ｔ１＋ΔＴ／２に電子楽器Ｘにおいて受信される（ステップＳ２０３）。電子楽器Ｘにおいては、演奏情報を受信すると当該演奏情報に従って楽音生成処理が行なわれ、電子打楽器１の音が発音される。電子楽器Ｘの演奏者はこの演奏音にあわせて電子楽器Ｘで演奏を行うとともに、自身の楽器による演奏を表す演奏情報を生成して電子打楽器１へ送信する（ステップＳ２０３）。ネットワークの遅延ΔＴ／２を再び考慮すると、時刻ｔ１+ΔＴ／２＋ΔＴ／２＝ｔ２において、電子打楽器１は電子楽器Ｘからの演奏情報を受信し、その演奏情報に従って発音処理を行う（ステップＳ２０４）。このとき、スティック１８は打撃面２２に到達し、その結果、打撃検出部１２、制御部１０、発音部１３においてそれぞれ処理が行われ、本来の電子打楽器１内の演奏情報処理およびそれに基づく楽音生成処理が行なわれる。このようにして、電子打楽器１にて演奏した楽音(例えば伴奏音）と電子楽器Ｘにて演奏された楽音（例えばエレキギターによるメロディ音）とが、電子打楽器１において同時刻に発音されることになる。図５から明らかのなように、電子打楽器１の演奏者および電子楽器Ｘの演奏者の両者ともに、通信遅延差を意識することなく演奏を行なっている。このように本実施例によれば、通信遅延の存在する環境においても合奏が成立する。

以上説明したように、本実施例によれば、スティック１８の到達時刻および予測速度を予測し、この予測に基づいて、演奏動作の完了前に、演奏情報を生成し、通信ネットワークの遅延量に合わせたタイミングで合奏相手に提供することができるので、通信ネットワークで接続され地理的に離れた複数の電子機器であっても、不可避的に発生する通信遅延に関係なく、正常に合奏を行うことが可能となる。

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、変形や修正を行うことが可能である。以下にその一例を示す。

電子打楽器１において発音される楽音については、実際の演奏に基づいて演奏情報生成処理がなされていた。すなわち、演奏情報生成処理時刻（発音タイミング）はスティック１８が打撃面２２に到達した時点であって、ベロシティ値は打撃面２２に取り付けられたセンサ機能により検知された情報に基づき決定される。しかしながら、電子楽器Ｘに送信する演奏情報（すなわち予測到達時刻および予測速度）に基づいて楽音生成処理を行ってもよい。すなわち、電子打楽器１の演奏者は、実際に演奏した音ではなく、予測演奏動作に基づいて生成された音を聞くことになるが、予測誤差が大きくならない限り、これら予測値に基づいて演奏情報生成処理を行なっても発音タイミングに違和感を覚えることはない。

演奏情報の生成処理を開始する判定条件については、上記実施例に限定されることなく自由に設定することができる。例えば、判定面の設定方法については、ネットワーク遅延量が大きい場合は判定面の高さを大きくすることにより演奏情報を先送りする時間を確保し、遅延量が小さい場合には判定面の高さを低くして予測精度を向上させるのが好ましい。

また、上述したセンサの種類や数は任意である。例えば、位置を測定するセンサと速度を検出するセンサを別途に設けても良い。例えば、電子打楽器１の本体部に設けられた磁気センサ２１に加えて、重力センサや加速度センサをスティック１８に設ける。そして、スティック１８において取得した速度等の情報を無線通信によって電子打楽器１の本体部に送信し、電子打楽器１においてこれらの情報を用いて予測時間および予測速度を計算する。例えば、予測精度を優先するならセンサの数やバッファリング数を多くし、演算量および演算時間を優先するなら、センサの数、バッファリング数、およびテーブルのデータ量を少なくしてもよい。また、センサの取り付け位置もスティック１８の先端部（チップ）に限定されるものではない。例えば、スティック１８の他の部位にもセンサを設ければ、スティック１８の角度や角速度といった情報を得ることができるので、これらの情報を用いて予測到達時刻等をより高精度に算出することができる。さらに、例えば、判定面を２つ設定し、打撃検出面からの距離が大きい判定面を通過したら演奏情報生成処理を開始し、もう一方の判定面に到達するまでスティック１８の位置、速度、加速度等を検出し続ける。すなわち、一定期間、スティック１８の挙動を検出するのである。このように、スティック１８の運動状態に関する情報の収集量を多くすれば、予測精度をさらに向上させることが可能となる。また、上述した実施例においては、スティック１８が判定面に対して打撃面側に位置するときのみ演奏情報生成処理を開始することとしたが、これに限らず、スティック１８が判定面上または判定面から所定の距離に位置する場合のみ演奏情報生成処理を開始するように構成してもよい。また、演奏情報生成処理の開始を判定するための判定面と、その位置でのスティック１８の速度等を検出するための判定面を別途に設けてもよい。また、上記実施例において、判定面を打撃面から所定の距離にある面として定義したが、これに限らず、例えば、打撃面の中心から等距離にある面（すなわち半球面）として判定面を定義し、スティックがこの半球面内に進入したことを検知したら楽音生成処理を開始してもよい。

また、予測到達時刻や予測速度の算出アルゴリズムも、上記実施例で示したものに限らない。上記実施例においては、スティック１８の加速度はゼロであって、検出位置におけるスティック１８先端部の進行方向は打撃面２２に対し垂直であると近似したが、検出位置での速度に加えて加速度を算出し、この加速度を用いて予測速度を計算してもよい。あるいは、加速度を直接算出しなくても、位置および速度に対応づけて予測到達時刻及び予測速度を記憶したテーブルを記憶部１３に格納し、このテーブルを参照して予測到達時刻及び予測速度を決定してもよい。

さらに、かかるテーブルに格納されるデータ内容は、ユーザが自由に設定することも可能である。例えば、ユーザが使用可能なスティック１８の種類（先端部の形状、全体の重量等）に合わせて、それぞれベロシティの値が異なるテーブルを複数個備えていてもよい。スティック１８が異なれば到達時刻や到達時の速度は微妙に変化し得るからである。この場合、ユーザがスティック１８の種類を指定すると、制御部１０はそのスティックに応じたテーブルを読み出して使用する。

また、上述した実施例においては、磁石２０をスティック１８に設ける一方、磁気センサ２１および磁気センサからの出力信号を解析する解析回路を電子打機器１の本体部に設けた構成としたが、これに限らず、例えば、磁石２０を打撃面２２の四隅に設置し、スティック１８に磁気センサおよび解析回路を含む位置検出部１１に設けてもよい。この場合、スティック１８にて距離や速度が算出され、この距離や速度の情報をスティック１８に埋め込まれた無線送信回路を用いて、電子打楽器１の発音部１３あるいは外部のスピーカシステム等の楽音生成装置に無線送信してもよい。

上述した演奏情報の送信時刻決定にあっては、演奏情報の生成タイミングと楽音の発生タイミングは同時であるとみなしたが、厳密にいえば予測到達時刻や予測速度の計算は有限の時間を要するので、さらに高精度の遅延補正が要求される場合等においては、演奏情報生成処理を開始してから楽音生成処理に移るまでのタイムラグを考慮して楽音情報の送信時刻を決定してもよい。

遅延量の取得方法としては、例えば、合奏を開始する直前に、ＴＣＰ／ＩＰネットワークにおいて用いられるネットワーク診断プログラムであるping（Packet INternet Groper）を用いて測定することとしてもよい。さらに、このようにして測定した遅延量を用いて実際に演奏を行い、スティック１８が実際に打撃面２２に到達して生成される楽音の発生タイミングと、演奏相手から受信した自己の演奏情報に基づいて発音された楽音の発音タイミングを比較し、適切な値であるかチェックしてもよい。取得した遅延量が実際のネットワーク遅延状態を正しく反映した物であれば両者は同時に発音され、そうでないならば発音タイミングがずれることになる。なお、相手から受信した演奏情報と比較するのは、予測した演奏情報に基づいて発音された楽音であってもよい。

また、タイミングのずれの検出は、演奏者が実際に聴いた音を用いて行い、手動で遅延量を補正してもよい。この場合、発音タイミングのずれが認識できなくなるまでこの作業を繰り返す。あるいは、この修正作業を電子打楽器１に行わせてもよい。例えば、相手の電子楽器から演奏情報を受信した時刻とスティック１８が打撃面２２に到達した時刻とを比較し、時刻にずれがある場合、遅延量を所定値だけ変更して演奏情報を送信して比較作業を行う。これを繰り返し、ずれがなくなったら遅延量の修正を終了する。

更に、上述の遅延量の修正作業を演奏前だけでなく、例えば演奏中に逐次行ってもよい。例えば、所定の時間間隔で、演奏を行なっている演奏情報を用いて電子打楽器１に上述した比較作業を実行させる。そして、時刻のずれがある閾値を越えたら遅延量を補正し、以後の演奏情報の送信タイミングの決定にあたっては補正後の遅延量を用いることとしてもよい。遅延量の補正方法の一例としては、予測到達時刻の算出時点からスティック１８が打撃面２２に達するまでの時間をα、演奏情報がネットワークを介して合奏相手から戻ってくるまでの時間をβ、時刻ｎに記憶部１４に記憶されている遅延量をΔT_n、誤差許容量をCとすると、｜α−β｜＞Cとなったとき、新たな遅延量ΔT_n+1をΔT_n+1＝（ΔT_n+β）／２に再設定する。このように遅延量ΔTを変動可能な構成とすれば、ネットワーク状態が時間的に変動する環境であっても、合奏を成立させることができる。

また、上記実施例においては、電子打楽器１を利用してネットワークを介して合奏を行うことを考えたが、電子打楽器１を単独で使用することも可能である。例えば、スティック１８が実際に打撃面２２に到達したときに演奏情報生成処理を行うのではなく、算出した予測到達時間および予測速度から所望の値だけ補正して演奏情報を作成し、これに基づき発音を行う。このとき、打撃面２２への実際の到達に基づいて演奏情報を生成することは行わない。こうすれば、ユーザの好みに応じて発音タイミングやベロシティ等を自由に調整することができる。
勿論、予測到達時間よりも早いタイミングで楽音生成処理を行うだけでなく、予測到達時間よりも遅いタイミングで楽音生成処理を行うことも可能である。あるいは、判定面におけるスティック１８の情報に基づいて予測した到達時刻及び速度と、打撃検出部１２が検出した打撃面２２への到達時刻および到達時の速度との両者に基づいて楽音を発生させてもよい。このように予測値を用いて演奏情報を生成することで、従来のアコースティック打楽器や電子打楽器になかった発音特性を自由に作り出すことが可能である。

また、次のような使用方法も考えられる。一般に、打楽器で一定のリズムおよび一定の強さで正確にリズムを刻むためには、常に一定のスティック動作（ストローク動作）を行うことが必要とされる。換言すれば、一定の演奏フォームを保ち続けるのが理想である。ところが、演奏者本人には、自身のフォームの乱れに気が付くことはなかなか難しい。そこで、演奏フォームを矯正するために電子打楽器１を使用するのである。つまり、演奏フォームが一定ならばスティック１８は常に同じ挙動を繰り返すはずであるから、当然、判定面におけるスティック１８の速度も常に一定となっているはずであり、結果的に予測到達時刻および予測速度に基づいて発生される楽音も常に一定となるはずである。ところが、演奏フォームが乱れると、たとえ実際に打撃面に生成されるタイミングや速度が一定であったとしても、判定面におけるスティック１８の速度等にバラツキが出る結果、生成される楽音にもバラツキが出ることになる。よって、演奏者は楽音を聞けば自身のフォームの乱れに気が付く。判定面を様々に変えてこのような練習を繰り返すことで、規則正しい演奏フォームが身に付くものと期待される。

また、本発明は太鼓やドラム等の電子打楽器に好適であるが、これらに限られるものではない。例えば、フットペダルを操作することにより演奏を行うドラムやシンバル等の打楽器は勿論のこと、電子ピアノ等の打鍵機構を有する電子楽器にも本発明は適用可能である。この場合、例えば演奏動作を予測すべき各鍵のハンマの先端部に磁石２０を取り付け、ハンマの打撃面に磁気センサ２１を取り付けておけばよい。あるいは、判定面に光学シャッタを取り付け、判定面を通過するハンマのタイミングおよび速度を検出してもよい。要は、実際に演奏が行われ（すなわち、スティックやハンマが打撃面へ到達して）演奏情報生成処理および発音処理が行われる前に、ハンマ等の操作子の位置や速度といった情報が取得できればよい。

本発明に係る電子打楽器１の構成図である。電子打楽器１を用いてユーザが演奏する様子を示した図である。位置検出部１１の俯瞰図である。位置検出部１１の側面図である電子打楽器１の動作例を示すフロー図である。記憶部１３に格納されるテーブルの例である。電子打楽器１の動作例を示すシーケンス図である。

符号の説明

１・・・電子打楽器、１０・・・制御部、１１・・・位置検出部、１２・・・打撃検出部、１３・・・発音部、１４・・・記憶部、１５・・・通信部、１６・・・タイマ、１７・・・バス、１８・・・スティック、２０・・・磁石、２１・・・磁気センサ、２２・・・打撃面。

Claims

ユーザによって操作される操作子により打撃される打撃面を有する電子楽器であって、
前記操作子が前記打撃面に到達する以前における前記操作子の運動状態を検出する検出手段と、
前記検出手段によって検出された運動状態に基づき、前記打撃面への到達時の前記操作子の運動状態を予測する予測手段と、
前記予測手段において予測された運動状態に従って演奏情報を生成する生成手段と、
通信ネットワークの遅延量を取得する取得手段と、
前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、
前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段と
を有する電子楽器。
ユーザによって操作される操作子の演奏動作の最中における運動状態を検出する検出手段と、
前記検出手段によって検出された運動状態に基づき、前記演奏動作の完了時の前記操作子の運動状態を予測する予測手段と、
前記予測手段において予測された運動状態に従って演奏情報を生成する生成手段と、
通信ネットワークの遅延量を取得する取得手段と、
前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、
前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段と
を有する電子楽器。
ユーザによって操作される操作子により打撃される打撃面を有する電子楽器であって、
前記操作子が前記打撃面に到達する以前のある時刻において、前記操作子の位置および速度を検出する検出手段と、
前記検出手段によって検出された位置及び速度に基づき、前記操作子が前記打撃面に到達する時刻および到達時の速度を予測する予測手段と、
前記予測手段において予測された時刻および速度に従って演奏情報を生成する生成手段と、
通信ネットワークの遅延量を取得する取得手段と、
前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、
前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段と
を有する電子楽器。
ユーザによって操作される操作子により打撃される打撃面を有する電子楽器であって、
前記操作子の位置を検出する検出手段と、
前記検出手段によって検出された複数の位置と当該位置の検出時刻とに基づいて前記操作子の速度を算出する算出手段と、
前記検出手段にて検出された前記操作子の位置に基づき、前記操作子が所定の領域内に進入したか否かを判定する判定手段と、
前記判定手段にて前記操作子が前記所定の領域内に進入したと判定された場合のみ、前記算出手段によって算出された速度に基づいて前記操作子が前記打撃面に到達する時刻を予測する予測手段と、
前記予測手段において予測された時刻および前記算出手段によって算出された速度から、それぞれ発音タイミングおよびベロシティを決定することにより演奏情報を生成する生成手段と、
通信ネットワークの遅延量を取得する取得手段と、
前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、
前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段と
を有する電子楽器。
前記検出手段は前記打撃面に備えられるセンサを有し、前記センサは前記操作子に内包される被検出部材を感知することにより前記操作子の位置を検出する
ことを特徴とする請求項１、３または４のいずれかに記載の電子楽器。
前記操作子はその先端部に前記被検出部材が埋め込まれたドラムスティックである
ことを特徴とする請求項５に記載の電子楽器。
前記センサは前記打撃面に少なくとも２つ備えられた磁気センサを含み、前記非検出部材は磁石である
ことを特徴とする請求項６に記載の電子楽器。
ユーザによって操作される操作子により打撃される打撃面を有する電子楽器において演奏情報を生成する方法であって、
前記操作子が前記打撃面に到達する以前における前記操作子の運動状態を検出する運動状態検出ステップと、
前記運送状態検出ステップにおいて検出された運動状態に基づき、前記打撃面に到達時の前記操作子の運動状態を予測する運動状態予測ステップと、
前記運動状態予測ステップにおいて予測された運動状態に従って演奏情報を生成する生成ステップと、
通信ネットワークの遅延量を取得する取得ステップと、
前記生成ステップにおいて生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定ステップと、
前記決定ステップにおいて決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信ステップと
を有する演奏情報生成方法。
ユーザによって操作される操作子の演奏動作の最中における運動状態を検出する運動状態検出ステップと、
前記運送状態検出ステップにおいて検出された運動状態に基づき、前記演奏動作の完了時の前記操作子の運動状態を予測する運動状態予測ステップと、
前記運動状態予測ステップにおいて予測された運動状態に従って演奏情報を生成する生成ステップと、
通信ネットワークの遅延量を取得する取得ステップと、
前記生成ステップにおいて生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定ステップと、
前記決定ステップにおいて決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信ステップと
を有する演奏情報生成方法。