JP4868045B2 - 楽音制御システム - Google Patents

Description

本発明は、ユーザの動作や身体状態を反映した楽音制御を行う楽音制御システムに関する。

オーディオ機器等の楽音発生装置では、音色、音高、音量および効果といった４つの演奏パラメータが決まると、所望の楽音を発音することができる。ＭＩＤＩ（Musical Instrument Digital Interface）楽器等の楽音発生装置では、楽曲データに基づいた楽曲の演奏再生が行われ、ユーザは当該ＭＩＤＩ楽器の操作摘みやボタン等を操作することにより、音量等の演奏パラメータを調整していた。

特開平５−１０８０６４号公報 特開平１０−６３２６４号公報

上述したようにＭＩＤＩ楽器等の楽音発生装置では、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整している。ユーザが楽音発生装置により再生された演奏を所望の音量等で聴く場合には、操作摘みによる演奏パラメータの調整方法は有効である。しかしながら、従来の楽音発生装置では、楽曲データに基づいて忠実に楽曲の演奏再生する機能をユーザに提供することはできても、ユーザが楽曲演奏に積極的に参加できるといった娯楽性をユーザに提供することはできない。そこで、ユーザの体の一部に動作検出センサを取り付け、これらのセンサがユーザの身体の動きを検出し、その検出結果に応じて楽曲演奏を行うシステムが考えられる。このようなシステムを用いることにより、ユーザは音楽に合わせて踊るといった動作を行うわけではなく、ユーザが動くことによりＭＩＤＩデータ等に基づく楽曲演奏制御を行うことができ、新しい参加型音楽エンターテイメントをユーザに提供することができる。特に、複数のユーザが体の一部に動作検出センサを取り付け、各ユーザの動きを反映して１つの楽曲演奏等の楽音発生を制御することができれば、より娯楽性に優れた音楽エンターテイメントとなると考えられる。

ところで、上記のような複数のユーザの動きを検出し、複数の動作検出結果に応じて楽曲演奏を行うといったシステムでは、あるユーザが動作している時に他のユーザが疲労により動作を休止したりするといった状態で、両ユーザの動作に応じて楽音発生制御を行うと、動いていないユーザの動作（無動作）も楽曲演奏に反映されてしまうことになる。また、あるユーザの動きが他の複数のユーザと比較して大きくずれている場合には、ずれているユーザの動きが楽曲演奏に反映されてしまい、他のユーザが意図するような楽曲演奏を行えなくなる場合もある。

本発明は、上記の事情を考慮してなされたものであり、複数のユーザもしくはあるユーザの複数の部位の動作や身体状態を反映した楽音制御を行う際に、楽音制御に適した動作や身体状態のみを反映させて楽音制御を行うことができる楽音制御システムを提供することを目的とする。

上記課題を解決するため、本発明に係る楽音制御システムは、操作者に携帯可能な手段であって、当該手段を携帯する操作者の複数の方向における動作の加速度を検出し、当該動作検出結果を送信する複数の動作検出手段と、複数の前記動作検出手段の各々から送信される動作検出結果を受信する受信手段と、前記受信手段によって受信された複数の動作検出結果の中から、当該動作検出結果によって示される複数の方向における動作の加速度から求められる合成加速度の絶対値が予め設定された範囲内に収まる動作検出結果を抽出し、抽出した動作検出結果によって示される複数の方向における動作の加速度を相互比較した結果に基づいて楽音発生装置から発生される楽音を制御する制御手段とを具備することを特徴としている。

この構成によれば、複数の操作者等によって携帯される動作検出手段から、操作者の動作が検出され、複数の動作検出手段から送信される動作検出結果に応じて楽音制御を行うことができる。このような楽音制御の際に、複数の動作検出手段から送信される動作検出結果から予め設定された条件に合致するものだけが抽出され、抽出された動作検出結果のみを考慮した楽音制御がなされる。したがって、楽音制御に適さない操作者の動き等を楽音制御から排除することができる。

本発明の一実施形態に係る楽音発生システムの概略機能構成を示すブロック図である。 前記楽音発生システムの構成要素である動作検出端末のハードウェア構成例を示すブロック図である。 前記動作検出端末の外観を示す図である。 前記楽音発生システムの構成要素である楽音発生装置のハードウェア構成例を示すブロック図である。 前記楽音発生システムによる解析抽出処理およびパラメータ決定処理の一例を説明するための図である。 前記楽音発生システムによる解析抽出処理およびパラメータ決定処理の他の例を説明するための図である。 前記楽音発生システムの変形例による解析抽出処理の内容を説明するための図である。 前記楽音発生システムの他の変形例による解析抽出処理およびパラメータ決定処理を説明するための図である。

以下、図面を参照して本発明の実施形態について説明する。
Ａ．楽音発生システム
まず、図１は、本発明の一実施形態に係る楽音発生システムの概略機能構成を示す図である。同図に示すように、楽音発生システム３は、楽音発生装置４と、複数（ｎ個）の動作検出端末５−１〜動作検出端末５−ｎとを備えている。

複数の動作検出端末５−１〜動作検出端末５−ｎの各々は、複数の操作者の手に把持される、もしくは身体の一部に装着される等といったように操作者に携帯可能な端末である。使用時には、動作検出端末５−１〜動作検出端末５−ｎの各々は、操作者に携帯され、携帯している操作者の動きを検出する動作センサＭＳを備えている。ここで、動作センサＭＳとしては、３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサまたは歪み検出器等の公知の種々の動作検出センサを用いることができる。また、動作検出端末５−１〜動作検出端末５−ｎは、楽音発生装置４にデータを無線送信するための無線送信部２０を搭載しており、上述したように動作センサＭＳにより検出された操作者の動きに応じた動作検出結果Ｕ１〜Ｕｎを逐次楽音発生装置４に無線送信する。この際、楽音発生装置４において、どの動作検出端末から送信された動作検出結果であるかを識別できるようにするために、無線送信部２０は動作検出結果にＩＤナンバを付加して送信する。なお、動作検出端末５−１〜動作検出端末５−ｎは、１人の操作者が一つの動作検出端末を携帯するようにしてもよいし、１人の操作者の複数の部位（例えば、左右の手足）の各々に動作検出端末を装着等するようにしてもよい。１人の操作者の複数の部位に装着等する場合には、動作センサＭＳのみを複数の部位に装着し、各々の動作センサＭＳからの動作検出結果を１つの無線送信部２０がまとめて楽音発生装置４に送信するようにしてもよい。この場合、各動作センサＭＳの動作検出結果を楽音発生装置４側で識別できるようにするために送信データにどのセンサの検出結果であるかを示すヘッダ等を付加する必要がある。

楽音発生装置４は、無線受信部２２と、情報抽出解析部２３と、演奏パラメータ決定部２４と、楽音発生部２５と、サウンドスピーカシステム２６とを備えている。無線受信部２２は、動作検出端末５−１〜動作検出端末５−ｎから無線送信される動作検出結果Ｕ１〜Ｕｎを受信し、受信した動作検出結果を情報抽出解析部２３に出力する。情報抽出解析部２３は、無線受信部２２から供給された複数の動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果に対して所定の解析処理を行い、複数の動作検出結果の中から予め設定された条件に合致する動作検出結果に対応する解析結果のみを抽出して演奏パラメータ決定部２４に出力する。演奏パラメータ決定部２４は、情報抽出解析部２３から供給される動作検出結果の解析結果に応じて楽音の演奏パラメータ、例えば、楽音の音量、テンポ、音色、音高等のパラメータを決定する。楽音発生部２５は、予め記憶している楽曲データ（例えば、ＭＩＤＩデータなど）等に基づいて楽音信号を生成する。楽音発生部２５は、この楽音信号生成の際に、上述した演奏パラメータ決定部２４によって決定された楽音の演奏パラメータに応じて楽音信号を生成し、生成しした楽音信号をサウンドスピーカシステム２６に出力する。サウンドスピーカシステム２６は、楽音発生部２５から供給された楽音信号に応じた楽音を発音し、これによりＭＩＤＩデータ等の楽曲データに基づく楽曲の演奏再生が行われる。楽音発生システム３は、上記のような機能を備えることにより、単なる楽曲データに忠実な演奏再生ではなく、動作検出端末５−１〜動作検出端末５−ｎを携帯した操作者の動きを反映したオリジナルの楽曲の演奏再生をするといったことも可能となっている。

Ｂ．動作検出端末の構成
図２は、動作検出端末５−１の構成例を示すブロック図である。なお、他の動作検出端末５−２〜５−ｎも動作検出端末５−１と同様の構成であるため、以下においては、動作検出端末５−１の構成についてのみ説明する。
同図に示すように、動作検出端末５−１は、動作センサＭＳの外に信号処理及び送信装置を備え、信号処理及び送信装置は、送信機中央処理装置（送信機ＣＰＵ（Central Processing Unit））Ｔ０、メモリＴ１、高周波トランスミッタＴ２、表示ユニットＴ３、送信用電力増幅器Ｔ５、操作スイッチＴ６等から構成される。動作センサＭＳは、演奏参加者である操作者が手に把持したり或いは操作者の身体の任意箇所に取り付けたりすることができる構造であるが、その外観構造例に関しての詳細は後述する。例えば、動作センサＭＳを手持ちタイプにする場合、信号処理及び送信装置を動作センサＭＳと共にセンサ筐体内に組み込むことができる（図３参照）。

送信機ＣＰＵＴ０は、メモリＴ１に記録された送信機動作プログラムに基づいて、動作センサＭＳ、高周波トランスミッタＴ２、表示ユニットＴ３を制御する。動作センサＭＳからの動作検出結果を示す信号は、送信機ＣＰＵＴ０により、ＩＤナンバの付加処理等の所定の処理が施され、高周波トランスミッタＴ２に伝送され、さらに、送信用電力増幅器Ｔ５で増幅された上、送信アンテナＴＡを介して楽音発生装置４側に無線送信される。つまり、送信機ＣＰＵＴ０、メモリＴ１、高周波トランスミッタＴ２、送信用電力増幅器Ｔ５および送信アンテナＴＡは、図１に示す無線送信部２０を構成している。表示ユニットＴ３は、例えば、７セグメント形式のＬＥＤ（Light Emitting Diode）又はＬＣＤ（Liquid Crystal Display）表示器や１個乃至複数個のＬＥＤ発光器等を備え、センサナンバ、動作中、電源アラーム等の各種情報を表示する。操作スイッチＴ６は、当該動作検出端末５−１の電源のオン／オフやモード設定等の各種設定を行うために用いられるスイッチである。これらの各構成要素には、図示せぬ電池電源から駆動電力が供給されるが、このような電池電源としては、一次電池を用いるようにしてもよいし、充電可能な二次電池を用いるようにしてもよい。

ここで、図３は動作検出端末５−１の外観の構成例を示す図である。同図は、バトン形の手持ちタイプの外観構成例である。この動作検出端末５−１は、操作部及び表示部を除く図２に示す諸装置を内蔵している。内蔵される動作センサＭＳには、例えば、３次元加速度センサや３次元速度センサ等の３次元センサが用いられ、この動作検出端末５−１を演奏参加者が手に持って操作することにより、その操作の方向、大きさおよび速度に応じた動作検出結果を出力することができる。この動作検出端末５−１の外観構造は、図３に示すように、両端側が大径で中央側が小径のテーパ状をなす基部（図示左寄り）及び端部（図示右寄り）から成り，基部は、平均径が端部より小さく手で握りやすくなっており、把持部として機能する。底部（図示左端）外面には表示ユニットＴ３のＬＥＤ表示器ＴＤや電池電源の電源スイッチＴＳが設けられ、中央部外面には操作スイッチＴ６が設けられ、端部の先端近傍には表示ユニットＴ３の複数個のＬＥＤ発光器ＴＬが設けられる。

図３に示すバトン形の動作検出端末５−１は、演奏参加者がバトンの基部を手で握って操作すると、内蔵された３次元センサから操作方向と操作力に応じた動作検出結果が出力される。例えば、操作スイッチＴ６の取付方向にｘ方向の検出軸を合わせて３次元加速度センサが内蔵されている場合、バトンを操作スイッチＴ６の取付位置が上になるように持って上下に振ると、振り加速度（力）に応じたＸ方向の加速度αｘを表わす信号出力が発生し、バトンを左右（紙面に垂直方向）に振ると、振り加速度（力）に応じたｙ方向の加速度αｙを表わす信号出力が発生し、バトンを前後（紙面の左右）に突いたり引いたりすると、突き加速度或いは引き加速度に応じたｚ方向の加速度αｚを表わす信号出力が発生する。このように発生した信号出力である動作検出結果が上述した無線送信機能により楽音発生装置４側に送信される。

Ｃ．楽音発生装置
次に、図４は、楽音発生装置４のハードウェア構成例を示すブロック図である。同図に示すように、この楽音発生装置４は、本体中央処理装置（本体ＣＰＵ）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、外部記憶装置１３、タイマ１４、第１及び第２の検出回路１５、１６、表示回路１７、音源回路１８、効果回路１９、受信処理回路１０ａ等を備え、これらの各装置１０〜１０ａは、バス１０ｂを介して互いに接続されている。楽音発生装置４全体を制御する本体ＣＰＵ１０は、テンポクロックや割り込みクロックの発生等に利用されるタイマ１４による時間管理の下、所定のプログラムに従って種々の制御を行うものであり、複数の動作検出端末５−１〜動作検出端末５−ｎから送信される動作検出結果の抽出、演奏パラメータの決定、演奏データ変更及び再生制御に関する演奏制御プログラムを中枢的に遂行する。ＲＯＭ１１には、楽音発生装置４を制御するための所定の制御プログラムが記憶されており、これらの制御プログラムには、動作検出結果の抽出、演奏パラメータ決定、演奏データ変更及び再生制御に関する演奏制御プログラム、各種データ／テーブル等を含ませることができる。ＲＡＭ１２は、これらの処理に際して必要なデータやパラメータを記憶し、また、処理中の各種データを一時記憶するためのワーク領域として用いられる。

第１の検出回路１５にはキーボード１０ｅが接続され、第２の検出回路１６には、マウス等のポインティングデバイス１０ｆが接続され、表示回路１７にはディスプレイ１０ｇが接続される。これにより、ディスプレイ１０ｇに表示される各種画面を視認しつつキーボード１０ｅやポインティングデバイス１０ｆを操作し、楽音発生装置４での演奏データ制御に必要な各種モードの設定、複数の動作検出端末５−１〜動作検出端末５−ｎを識別するＩＤナンバに対応する処理・機能の割り当て、演奏トラックへの音色（音源）・設定等、種々の設定操作を行うことができる。受信処理回路１０ａには、アンテナ分配回路１０ｈが接続され、このアンテナ分配回路１０ｈは、例えば、多チャンネル高周波レシーバで構成され、複数の動作検出端末５−１〜動作検出端末５−ｎからの運動情報を受信アンテナＲＡを介して受信する。受信処理回路１０ａは、受信信号を楽音発生装置４で処理可能な情報に変換して装置に取り込み、ＲＡＭ１２の所定領域に格納する。つまり、受信処理回路１０ａアンテナ分配回路１０ｈおよび受信アンテナＲＡは、図１に示す無線受信部２２を構成している。

本体ＣＰＵ１０は、上述した演奏制御プログラムにしたがった演奏処理を行い、各動作検出端末５−１〜動作検出端末５−ｎを所持する操作者の身体の動作を表わす動作検出結果を解析し、予め設定された条件に合致する動作検出結果に対応する解析結果に基づいて演奏パラメータを決定する。すなわち、これらの各構成要素が図１に示す情報抽出解析部２３および演奏パラメータ決定部２４を構成している。なお、ここでの動作検出結果の抽出や演奏パラメータの決定等の処理についての詳細は後述する。ＤＳＰ（Digital Signal Processing）等で構成される効果回路１９は、音源回路１８及び本体ＣＰＵ１０と共に、図１に示す楽音発生部２５の機能を実現するものであり、設定された演奏パラメータに基づいて、演奏される演奏データを制御することにより、演奏参加者の動きに応じて演出処理された演奏データを生成する。サウンドスピーカシステム２６は、このように演出処理された演奏データに基づく楽音信号に応じて演奏楽音を放音する。外部記憶装置１３は、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク・リード・オンリイ・メモリ（ＣＤ−ＲＯＭ）ドライブ、フロッピィデイスクドライブ（ＦＤＤ）、光磁気（ＭＯ）ディスクドライブ、ディジタル多目的ディスク（ＤＶＤ）ドライブ等の記憶装置から成り、各種制御プログラムや楽曲データ等の各種データを記憶することができる。従って、動作検出結果の抽出、演奏パラメータ決定、演奏データ変更及び再生制御に必要な演奏処理プログラムや各種データ等は、ＲＯＭ１１を利用するだけでなく、外部記憶装置１３からＲＡＭ１２内に読み込むことができ、必要に応じて、処理結果を外部記憶装置１３に記録しておくこともできる。

Ｄ．解析抽出処理およびパラメータ決定処理
上述したように、楽音発生システム３では、無線受信部２２により受信された各動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果に対して報解析部２３が所定の解析処理を行い、予め設定された条件に合致する動作検出結果に対応した解析結果に基づいて演奏パラメータ決定部２４が演奏パラメータを決定している。ここで、動作検出結果をどのように解析し、どのような動作検出結果に対応する解析結果を抽出し、抽出した解析結果をどのようにして演奏パラメータ決定に利用するかは任意であり、使用する動作検出端末５−１〜動作検出端末５−ｎの形状タイプ（バトン形タイプや、足などに装着するタイプ）や、動作検出端末５−１〜動作検出端末５−ｎが搭載する動作センサＭＳの種類（２次元センサや３次元センサ）などに応じて適宜設定するようにすればよい。以下においては、動作センサＭＳとして３次元センサを用いた場合の解析抽出処理例およびパラメータ決定処理例について説明する。

まず、図５を参照しながら、複数の動作検出端末５−１〜動作検出端末５−ｎの動作センサＭＳ（ここでは、三次元センサとする）から供給される動作検出結果に応じて、予め用意されたＭＩＤＩデータにしたがった楽曲演奏の音量を制御する場合について説明する。動作センサＭＳとして三次元センサを搭載した動作検出端末５−１〜動作検出端末５−ｎを用いる場合、各動作検出端末５−１〜動作検出端末５−ｎにおける動作センサＭＳのｘ軸検出部、ｙ軸検出部およびｚ軸検出部から、それぞれ、ｘ（上下）方向の加速度αｘ、ｙ（左右）方向の加速度αｙおよびｚ（前後）方向の加速度αｚを表わす動作検出結果信号が各動作検出端末５−１〜動作検出端末５−ｎそれぞれのＩＤナンバが付加されて楽音発生装置４に無線出力される。楽音発生装置４では、予め設定されたＩＤナンバがこれらの信号に付加されていることを確認すると、動作検出結果信号に含まれる各軸の加速度が無線受信部２２を介して情報抽出解析部２３に出力される。

情報抽出解析部２３においては、動作検出端末５−１〜動作検出端末５−ｎから送信された動作検出結果Ｕ１，Ｕ２……Ｕｎに含まれる各軸加速度が解析され、次式（１）で表わされる加速度の絶対値｜α｜が各動作検出端末５−１〜動作検出端末５−ｎ毎に求められる。

｜α｜＝（αｘ＊αｘ＋αｙ＊αｙ＋αｚ＊αｚ）^1/2 ……（１）

情報抽出解析部２３は、各動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果に基づいて求めた加速度の絶対値｜α｜が予め設定されている値の範囲内にあるか否かを判別する。そして、情報抽出解析部２３は、予め設定された範囲内に属する加速度の絶対値｜α｜のみを抽出し、抽出した加速度の絶対値｜α｜のみを演奏パラメータ決定部２４に出力する。ここで、予め設定しておく絶対値の範囲としては、例えば動作検出端末がほとんど動かされていない状態での動作センサＭＳの検出結果によって求められる加速度の絶対値がαｓであり、動作検出端末を非常に大きく、かつ早く動かした時に動作センサＭＳの検出結果によって求められる加速度の絶対値がαｂである場合には、αｓ＜絶対値｜α｜＜αｂといった範囲に設定すればよい。このような範囲に設定した場合、ほとんど動作していない操作者が所持する動作検出端末や、必要以上に大きく且つ早く動作している操作者の所持する動作検出端末を除いた動作検出端末からの動作検出結果から求められた絶対値｜α｜のみを抽出することができる。

演奏パラメータ決定部２４には、上述したように情報抽出解析部２３によって抽出された加速度の絶対値｜α｜のみが供給され、演奏パラメータ決定部２４は供給された加速度の絶対値｜α｜の平均値を算出する。そして、算出した平均値に基づいた音量で楽音発生がなされるような演奏パラメータを決定し、決定した演奏パラメータを楽音発生部２５に出力する。楽音発生部２５は、予め記憶されている楽曲データ（例えば、ＭＩＤＩデータ）にしたがって楽音信号を生成し、生成した楽音信号を演奏パラメータ決定部２４から供給される音量を制御するための演奏パラメータにしたがって振幅変調処理を行い、振幅調整後、すなわち音量調整後の楽音信号をサウンドスピーカシステム２６に出力する。この結果、サウンドスピーカシステム２６によってＭＩＤＩデータ等の楽曲データに基づいた楽曲演奏が、演奏パラメータ決定部２４が決定した演奏パラメータにしたがった音量で実行される。なお、上記の処理例では、情報抽出解析部２３によって抽出された加速度の絶対値｜α｜の平均値を用いて音量を制御するようにしていたが、抽出された絶対値｜α｜の平均値に応じてＭＩＤＩデータ等に基づく楽曲演奏のテンポを制御するようにしてもよい。この場合、抽出された加速度の絶対値｜α｜の平均値が大きければ、大きいほど演奏テンポを早くするといった制御を行う等の制御手法を採用することができる。

また、図６に示すように、上記処理例と同様に各動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果に基づいて求めた加速度の絶対値｜α｜が予め設定されている値の範囲内にあるか否かを判別して予め設定された範囲内に属する加速度の絶対値｜α｜のみを抽出した後、情報抽出解析部２３が抽出した加速度の絶対値｜α｜に対応する動作検出結果のみについてその動きの解析を行い、当該解析結果に応じて楽音発生制御を行うようにしてもよい。すなわち、情報抽出解析部２３は、上記例と同様に抽出した加速度の絶対値｜α｜に対応する動作検出結果に示される加速度αｘ、αｙと、加速度αｚとを比較する。例えば、
αｘ＜αｚ、且つ、αｙ＜αｚ
の関係が成立するとき、つまり、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより大きいときは、バトンを突く「突き動作」であると判別する。
逆に、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより小さいときには、バトンにより空気を切りさく「切り動作」であると判別する。この場合、さらに、ｘ、ｙ方向加速度αｘ,αｙの値を互いに比較することにより、「切り動作」の方向が「たて」（ｘ）なのか「よこ」（ｙ））なのかを判別することができる。

また、各軸ｘ、ｙ、ｚ方向成分相互の比較だけでなく、各方向成分αｘ、αｙ、αｚ自体の大きさと所定のしきい値とを比較し、しきい値以上であれば、これらの動作を組み合わせた「組合せ動作」であると判別することができる。例えば、αｚ＞αｘ、αｙ、且つ、αｘ＞「ｘ成分のしきい値」であれは「たて（ｘ方向）に切りつつ、突く動作」と判別し、αｚ＜αｘ、αｙ、αｘ＞「ｘ成分のしきい値」且つ、αｙ＞「ｙ成分のしきい値」であれば、「斜め（ｘ、ｙ両方向）切り動作」であると判別する。さらに、Ｘ方向およびｙ方向の加速度αｘ、αｙの値が、円軌跡を描くように相対的に変化して行く現象を検出することにより、バトンをぐるぐると回す「回し動作」を判別することができる。

演奏パラメータ決定部２４は、上記のような情報解析部２３による解析処理の判定結果（突き動作や切り動作等）に基づいて演奏パラメータを次のように制御する。例えば、「たて（ｘ方向）切り動作」の周期に応じてテンポを制御する。これとは別に、「たて切り動作」が素早く小さい動作であればアーティキュレーションを与え、ゆっくりと大きい動作であればピッチ（音高）を下げる。また、「よこ（ｙ方向）切り動作」の判別によりスラー効果を与える。「突き動作」を判別したときは、そのタイミングで、楽音発生タイミングを縮めてスタッカート効果を与えたり、大きさに応じた単発音（打楽器音、掛け声等）を楽音演奏に挿入し、「突き動作」との「組み合わせ動作」を判別したときは、上述の制御を併用する。また、「回し動作」を判別したときは、周期が大きい場合は大きさに応じて残響効果を高めたり、周期が小さい場合は周期に応じてトリルを発生させるように制御する。

このような情報抽出解析部２３による解析抽出処理、および演奏パラメータ決定部２４による演奏パラメータ決定処理に応じて楽音発生部２５が生成する楽音信号が制御され、制御された楽音信号がサウンドスピーカシステム２６から放音されて楽曲演奏がなされる。

上述した解析抽出処理およびパラメータ決定処理を含む楽音発生処理では、動作検出端末５−１〜動作検出端末５−ｎといった複数の端末から送信される動作検出結果に応じた楽音発生制御を行う場合に、上記のように情報抽出解析部２３が予め設定された条件に合致する動作検出結果に対応した解析結果である加速度の絶対値｜α｜のみを抽出し、抽出した加速度の絶対値｜α｜のみを用いて楽音制御を行うようにしている。したがって、複数の操作者が動作検出端末５−１〜動作検出端末５−ｎの各々を携帯して楽曲演奏を制御する場合に、ある操作者が疲労等に起因して動作を休止した場合や、その楽曲演奏に適しない変則的な動作を行っている場合にも、その休止している操作者や変則動作をしている操作者の動作は楽曲演奏には反映されず、その楽曲にある程度の範囲内で適合した動作をしている操作者の動きのみが楽音発生制御に反映されることになる。したがって、複数の操作者の動きを反映した楽曲演奏を行う際に、一部の操作者の変則的な動作等によって楽音発生が異常なものとなってしまうことを抑制することができる。なお、どのような動作が変則動作等に該当するかは、制御対象となる演奏パラメータ、演奏する楽曲内容、どのようにして演奏パラメータを決定するかといった処理によって異なるものであり、各々の状況に応じた最適な抽出条件を設定しておくようにすればよい。

Ｅ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
（変形例１）
上述した実施形態では、各動作検出端末５−１〜動作検出端末５−ｎから送信される動作検出結果の中から、情報抽出解析部２３が予め設定された条件に合致する動作検出結果のみを抽出し、抽出した動作検出結果のみを反映したＭＩＤＩデータ等の楽曲データに基づく楽曲演奏制御を行っていたが、予め用意されている楽曲データに基づく楽曲演奏制御以外にも、抽出した動作検出結果に基づいて波の音、打楽器音、手拍子音等の単発音の楽音発生を制御するようにしてもよい。

（変形例２）
また、上述した実施形態では、各動作検出端末５−１〜動作検出端末５−ｎから送信される動作検出結果に示される各軸の加速度の絶対値｜α｜が予め設定された範囲内に収まる動作検出結果のみを抽出し、抽出した動作検出結果のみを反映した楽音発生制御を行っていたが、他の予め設定された条件に合致する動作検出結果のみを抽出して楽音発生制御を行うようにしてもよい。例えば、上記実施形態と同様に求めた動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果に応じて求めた加速度の絶対値｜α｜を、予め設定された基準値と比較し、この基準値に最も近い値の絶対値｜α｜に対応する動作検出結果のみを抽出して楽音発生制御に用いるようにしてもよい。ここで、当該基準値を楽曲演奏を行う際の理想の値に設定しておけば、複数の操作者の動作によって生成された動作検出結果の中から、理想の演奏内容に最も近い制御が可能な動作検出結果が抽出されて楽音発生制御がなされることになる。また、上記のように基準値に最も近い加速度の絶対値｜α｜に対応する動作検出結果だけではなく、基準値に近い値を有する所定数（例えば、３つ）の加速度の絶対値｜α｜に対応する動作検出結果を抽出して楽音発生制御を行うようにしてもよい。ここで、基準値を楽曲演奏を行う際の理想の値に設定しておけば、複数の操作者の動作によって生成された動作検出結果の中から、理想の演奏内容に近い制御が可能な所定数の動作検出結果、すなわち理想の動きに近い動きを行った所定数の操作者の動きが抽出されて楽音発生制御がなされることになる。また、上記のように基準値を設定する以外にも、加速度の絶対値｜α｜が単に最も大きい値（もしくは値が大きい方から所定数分）となる動作検出結果を抽出して楽音発生制御に用いるようにしてもよいし、加速度の絶対値｜α｜が最も小さい値（もしくは値が小さい方から所定数分）となる動作検出結果を用いて楽音発生制御を行うようにしてもよい。

（変形例３）
また、上述した実施形態では、各動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果に応じて求めた加速度の絶対値｜α｜が予め設定された条件に合致する動作検出結果を抽出して楽音発生制御を行うようにしていたが、動作検出端末５−１〜動作検出端末５−ｎからの動作検出結果から加速度の絶対値｜α｜以外の解析結果を取得し、当該解析結果が予め設定された条件に合致する動作検出結果を抽出するようにしてもよい。例えば、動作検出端末５−１〜動作検出端末５−ｎから送信される動作検出結果を示す信号波形の周期が予め設定された範囲内にある動作検出結果を抽出して楽音発生を制御するようにしてもよい。各動作検出端末５−１〜動作検出端末５−ｎの動作検出結果である動作センサＭＳの所定の軸（例えばＸ軸）のセンサ出力信号波形の中から、その波形の周期が予め設定された範囲内にある動作検出端末５−１〜動作検出端末５−ｎのセンサ出力信号のみを抽出し、抽出したセンサ出力信号波形の周期を用いて波の音等の単発音の発生タイミングを制御するようにしてもよい。より具体的に例示すると、ある動作検出端末の動作センサＭＳのセンサ出力信号レベルが図７に示すように推移する場合には、当該センサ出力信号レベルと所定のしきい値とを比較し、しきい値を越えるレベル値を有するタイミングＴ１，Ｔ２，Ｔ３の間隔を周期として検出する。このように検出されるタイミングＴ１，Ｔ２，Ｔ３等は、動作検出端末５−１〜動作検出端末５−ｎを操作者が大きく動かした時のタイミングであり、上記検出される周期は大きく動かすタイミングの周期を表すことになる。そして、これらの検出された周期（Ｔ２−Ｔ１）、（Ｔ３−Ｔ２）等が予め設定された範囲内にある場合には、このセンサ出力信号波形の周期が楽音発生制御に用いられることになる。このように抽出されたセンサ出力信号波形の周期を楽音発生制御に用いる手法としては、抽出された１または複数のセンサ出力信号波形の周期の平均値を求め、求めた平均周期毎に波の音や打楽器音などの単発音を発生させるといった楽音発生制御を行うことができる。なお、上述した予め設定しておく周期の抽出範囲としては、楽音の制御内容に応じて適宜決定すればよいが、上記のように波の音を発生させる場合には、４秒〜８秒といった範囲内の比較的ゆっくりとした周期に設定すればよい。また、センサ出力信号波形の周期に応じてＭＩＤＩデータ等に基づく楽曲演奏のテンポを制御する場合には、０．５秒〜１秒といった範囲に設定すればよい。

（変形例４）
また、上述した実施形態や様々な変形例においては、各動作検出端末５−１〜動作検出端末５−ｎから送信される動作検出結果の中から、情報抽出解析部２３が予め設定された条件に合致する動作検出結果のみを抽出し、抽出した動作検出結果のみを反映したＭＩＤＩデータ等の楽曲データに基づく楽曲演奏制御を行っているが、図８に示すように、この楽音発生制御の際に現在抽出している動作検出結果の送信元の動作検出端末に対し、現在その端末の動作が楽音制御に採用されている旨を示す採用情報を送信する構成としてもよい。同図に示すように、この楽音発生システムは、上記実施形態における楽音発生システム３の構成に、楽音発生装置４側に無線送信部４００が設けられ、動作検出端末５−１〜動作検出端末５−ｎ側に無線受信部４０１が設けられた構成となっている。楽音発生装置４側に設けられる無線送信部４００は、上述した実施形態における情報抽出解析部２３によって抽出された加速度の絶対値｜α｜に対応する動作検出結果の送信元を特定し、特定した送信元の動作検出端末を識別するためのＩＤナンバを含んだ採用情報Ｓを無線送信する。動作検出端末５−１〜動作検出端末５−ｎは、上述したように楽音発生装置４の無線送信部４００から無線送信される採用情報Ｓを受信する無線受信部４０１を有しており、各動作検出端末５−１〜動作検出端末５−ｎでは、無線受信部４０１が受信した採用情報Ｓに自端末を識別するＩＤナンバが含まれているか否かを判別する。そして、自端末のＩＤナンバが含まれている場合には現在自端末が送信した動作検出結果が採用されていると判別し、例えば表示ユニットＴ３（図２参照）を発光させる等の、その旨を操作者に報知するための処理を行う。このようにすることで、動作検出端末５−１〜動作検出端末５−ｎの各々を複数の操作者が携帯している場合には、各操作者は表示ユニットＴ３の発光状態を確認することにより、自身が携帯している動作検出端末の検出結果が楽音制御に採用されているか否かを知ることができる。なお、上記のように表示ユニットＴ３を発光させるといった手法で、現在楽音制御に採用されている動作検出端末を操作者に報知するようにしてもよいが、動作検出端末５−１〜動作検出端末５−ｎ内に振動モータ等を搭載し、楽音発生装置４から無線送信される採用情報Ｓに基づいて自端末が採用されていると判別した場合に振動モータを駆動して操作者に報知するようにしてもよく、視覚、触覚、聴覚等を利用した様々な報知方法を用いることができる。また、上記の例では、楽音発生装置４の無線送信部４００は特定した送信元を識別するためのＩＤナンバを含んだ採用情報Ｓを全ての動作検出端末５−１〜動作検出端末５−ｎに送信し、動作検出端末５−１〜動作検出端末５−ｎ側で自端末が採用中であるか否かを判別するようにしていたが、各々動作検出端末５−１〜動作検出端末５−ｎ宛てに楽音発生装置４から個別に無線送信できるような無線送受信機能を用いた場合には、無線送信部４００からは、情報抽出解析部２３による抽出処理によって特定される送信元の動作検出端末のみに採用情報Ｓを送信するようにしてもよい。

（変形例５）
また、上述した実施形態では、三次元加速度センサ等から構成される動作センサＭＳが操作者の動作に応じて取得した動作検出結果を用いて楽音発生制御を行うようにしていたが、このような動作センサＭＳに代えて、脈拍、体温、皮膚間抵抗、脳波、呼吸および眼球移動等の人の身体情報を検出する身体情報検出センサを用いるようにし、当該身体情報検出センサによって検出された身体検出結果に基づいて、楽音発生装置４が楽音発生を制御するようにしてもよい。この場合にも、身体情報検出センサによって検出された身体検出結果に示される身体情報が所定の範囲（例えば、脈拍の場合には、通常の一般的な脈拍数の範囲）にあるもののみを抽出し、抽出した身体検出結果に応じた楽音発生を行うようにすればよい。

（変形例６）
上述した実施形態においては、動作検出端末５−１〜５−ｎに搭載される動作センサＭＳの検出結果を楽音発生装置４に対して無線送信するようにしていたが、これに限らず、動作検出端末５−１〜５−ｎと楽音発生装置４を信号ケーブル等で接続し、当該信号ケーブルを介して動作検出端末５−１〜５−ｎから楽音発生装置４に対して動作センサＭＳの検出結果を送信するようにしてもよい。

（変形例７）
なお、上述したような解析抽出や演奏パラメータ決定の処理をコンピュータに実行させるためのプログラムを記録したＣＤ−ＲＯＭやフロッピー（登録商標）ディスク等の様々な記録媒体をユーザに提供するようにしてもよいし、インターネット等の伝送媒体を介してユーザに提供するようにしてもよい。

３……楽音発生システム、４……楽音発生装置、５−１〜５−ｎ……動作検出端末、２０……無線送信部、２２……無線受信部、２３……情報抽出解析部、２４……演奏パラメータ決定部、２５……楽音発生部、２６……サウンドスピーカシステム、ＭＳ……動作センサ

Claims (3)

1. 操作者に携帯可能な手段であって、当該手段を携帯する操作者の複数の方向における動作の加速度を検出し、当該動作検出結果を送信する複数の動作検出手段と、
   複数の前記動作検出手段の各々から送信される動作検出結果を受信する受信手段と、
   前記受信手段によって受信された複数の動作検出結果の中から、当該動作検出結果によって示される複数の方向における動作の加速度から求められる合成加速度の絶対値が予め設定された範囲内に収まる動作検出結果を抽出し、抽出した動作検出結果によって示される複数の方向における動作の加速度を相互比較した結果に基づいて楽音発生装置から発生される楽音を制御する制御手段と
   を具備することを特徴とする楽音制御システム。
2. 操作者に携帯可能な手段であって、当該手段を携帯する操作者の或る方向における動作を検出し、当該動作検出結果を送信する複数の動作検出手段と、
   複数の前記動作検出手段の各々から送信される動作検出結果を受信する受信手段と、
   前記受信手段によって受信された複数の動作検出結果の中から、当該動作検出結果によって示される或る方向における動作の周期が予め設定された範囲内に収まる動作検出結果を抽出し、抽出した動作検出結果によって示される或る方向における動作の周期に基づいて楽音発生装置から発生される楽音を制御する制御手段と
   を具備することを特徴とする楽音制御システム。
3. 操作者に携帯可能な手段であって、当該手段を携帯する操作者の脈拍、体温、皮膚間抵抗、脳波、呼吸又は眼球移動の身体情報を検出し、当該身体情報を含む身体検出結果を送信する複数の身体情報検出手段と、
   複数の前記身体情報検出手段の各々から送信される身体検出結果を受信する受信手段と、
   前記受信手段によって受信された複数の身体検出結果の中から、当該身体検出結果に含まれる身体情報が予め設定された範囲内に収まる身体検出結果を抽出し、抽出した身体検出結果に含まれる身体情報に基づいて楽音発生装置から発生される楽音を制御する制御手段と
   を具備することを特徴とする楽音制御システム。

Images