JP3646600B2 - 演奏インターフェイス - Google Patents
演奏インターフェイス Download PDFInfo
- Publication number
- JP3646600B2 JP3646600B2 JP2000002078A JP2000002078A JP3646600B2 JP 3646600 B2 JP3646600 B2 JP 3646600B2 JP 2000002078 A JP2000002078 A JP 2000002078A JP 2000002078 A JP2000002078 A JP 2000002078A JP 3646600 B2 JP3646600 B2 JP 3646600B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- motion
- group
- state
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、演奏インターフェイス、より詳細には、演奏参加者と電子楽器や楽音再生装置等の楽音発生装置との間に介在し、演奏参加者の動作に応じて楽音発生装置を多彩に制御することができる演奏インターフェイスに関する。
【０００２】
【従来の技術】
一般に、電子楽器においては、音色、音高、音量及び効果の４つの演奏パラメータが決まると所望の楽音を発音することができ、ＣＤ、ＭＤ、ＤＶＤ、ＤＡＴや、ＭＩＤＩ（Musical Instrument Digital Interface）ソース等の音響情報を再生する楽音再生装置では、テンポ、音量及び効果の３つの演奏パラメータが決まると所望の楽音を再生することができる。従って、操作者と電子楽器や楽音再生装置等の楽音発生装置との間に演奏インターフェイスを設け、操作者の操作により演奏インターフェイスを用いて上述の４或いは３演奏パラメータを決定するようにすれば、操作者の操作に応じた所望の楽音を出力することができる。
【０００３】
従来、この種のインターフェイスとして、既に、操作者の動きに応じて電子楽器や楽音再生装置から出力される楽音の演奏パラメータを制御するものが提案されている。しかしながら、操作者が一人に限られたり、楽音発生装置やその演奏パラメータが１つであるので、多くの人が参加したり多彩な楽音出力を楽しんだりすることができなかった。
【０００４】
【発明が解決しようとする課題】
この発明は、演奏参加者の動きや身体状態に応じて電子楽器等の楽音発生装置の演奏パラメータを制御する演奏インターフェイスに多彩な機能を与えることにより、音楽アンサンブル、演劇、音楽教育の現場、スポーツ、イベント、コンサート、テーマパーク、さらには、音楽ゲーム用の新しい楽音コントローラとして、幼児から老人まで、だれにでも容易に楽音演出に参加することができ演奏を楽しむことができる新しいタイプの演奏インターフェイスを提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の一つの特徴に従うと、複数の操作者それぞれの動作に基づく運動を検出し、対応する運動検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の運動検出器と、これらの運動検出器についてグループ設定を行うグループ設定手段と、このグループ設定に基づいて、複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均データ値を求める身体情報解析手段と、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段とを具備する演奏インターフェイス（請求項１）が提供される。
【０００６】
この発明の別の特徴に従うと、複数の操作者それぞれの身体状態を検出し、対応する状態検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の状態検出器と、これらの状態検出器についてグループ設定を行うグループ設定手段と、このグループ設定に基づいて、状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均データ値を求める身体情報解析手段と、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段とを具備する演奏インターフェイス（請求項２）が提供される。
【０００７】
この発明の別の特徴に従うと、複数の操作者それぞれの動作に基づく運動を検出し、対応する運動検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の運動検出器と、複数の操作者それぞれの身体状態を検出し、対応する状態検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の状態検出器と、これらの運動検出器及び状態検出器についてグループ設定を行うグループ設定手段と、このグループ設定に基づいて、複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均運動データ値を求めると共に、状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均状態データ値を求める身体情報解析手段と、求められた各グループの平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段とを具備する演奏インターフェイス（請求項３）が提供される。
【０００８】
この発明による演奏インターフェイスにおいて、パラメータは、楽音の音量、テンポ、タイミング、効果或いは音高を制御するためのパラメータとすることができる（請求項４）。また、運動検出器は、操作者の動作に基づき、所定方向の運動、或いは、直交する２方向又は３方向の運動を検出して、対応する１方向成分乃至３方向成分から成る運動検出信号を出力する１次元センサ乃至３次元センサを用いることができる（請求項５）。
【０００９】
〔発明の作用〕
この発明の一つの特徴によれば、演奏インターフェイスは、操作者により所持可能な或いは操作者に設置可能な複数の運動検出器と、楽音発生装置から発生される楽音を制御するためのパラメータを生成する本体システムとにより構成される。ここで、楽音制御パラメータは、例えば、楽音の音量、テンポ、タイミング、効果或いは音高を制御する。運動検出器は、例えば、１次元乃至３次元センサであり、操作者の動作に基づく運動を検出し、対応する運動検出信号を出力する。本体システムは、これらの運動検出器についてグループ設定を行うグループ設定手段を備え、各運動検出器からの運動検出信号（身体情報）を受信すると、身体情報解析手段により、このグループ設定に基づいて、複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均データ値を求める。そして、制御手段により、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する。
【００１０】
このように、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）が各運動検出器を動かしたときの夫々の動きに応じた運動検出信号（身体情報）が本体システムに伝えられる。本体システムでは、予め設定されたグループ毎に運動検出信号の平均データ値を求め、このグループ毎の平均データ値に従って、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動きに応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。
【００１１】
この発明の別の特徴によれば、演奏インターフェイスは、操作者により所持可能な或いは操作者に設置可能な複数の状態検出器と、楽音発生装置から発生される楽音を制御するためのパラメータを生成する本体システムとにより構成される。状態検出器は、例えば、脈拍、体温、皮膚間抵抗、脳波、呼吸数、眼球の視点移動等、操作者の身体状態を検出し、対応する状態検出信号〔状態情報（生体情報、生理情報）〕を出力する。本体システムは、これらの状態検出器についてグループ設定を行うグループ設定手段を備え、各状態検出器からの状態検出信号（身体情報）を受信すると、身体情報解析手段により、このグループ設定に基づいて、複数の状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均データ値を求める。そして、制御手段により、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する。
【００１２】
このように、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の身体状態にそれぞれ対応する状態検出器の状態検出信号（身体情報）が本体システムに伝えられる。本体システムでは、グループ毎に状態検出信号の平均データ値を求め、得られたグループ毎の状態検出信号の平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の身体状態をグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【００１３】
この発明の他の特徴によれば、演奏インターフェイスは、操作者により所持可能な或いは操作者に設置可能な複数の運動検出器及び状態検出器と、楽音発生装置から発生される楽音を制御するためのパラメータを生成する本体システムとにより構成される。本体システムは、これら運動検出器及び状態検出器についてグループ設定を行うグループ設定手段を備え、これらの運動検出器及び状態検出器からの検出信号（身体情報）を受信すると、身体情報解析手段により、このグループ設定に基づいて、これらの検出信号をグループ分けし、グループ毎に当該運動検出信号及び状態検出信号を単純平均或いは重み付け平均した平均運動データ値及び平均状態データ値を求める。そして、制御手段により、求められた各グループの平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する。
【００１４】
このように、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の動作及び身体状態にそれぞれ対応する運動検出信号及び状態検出信号（身体情報）が本体システムに伝えられる。本体システムでは、グループ毎に運動検出信号及び状態検出信号を平均した平均運動データ値及び平均状態データ値を求め、得られたグループ毎の平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動作及び身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の動作だけでなく身体状態をもグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【００１５】
つまり、この発明の演奏インターフェイスによれば、複数の操作者が運動検出器を動かしたときの夫々の運動検出信号の内容から操作者の動きをグループ毎に平均化して解析したり、複数の操作者の身体状態を表わす状態検出信号の内容から操作者の身体状態をグループ毎に平均化して総合的に解析し、これらの平均化解析結果に応じて演奏制御情報を生成するように構成されているので、複数の操作者のグループ毎の動きに応じて多彩な楽音制御を行ったり、各グループ操作者の身体状態を総合的に考慮して楽音制御を行い、楽曲演奏を一層多様に演出することができる。また、演奏参加者のグループ毎の動作（身振り）情報や状態（生体、生理）情報等の身体情報に応じて楽音発生装置の演奏パラメータを制御する機能をもたせているので、演奏参加者の身振りや生体状況に応じて演出された楽音を出力することができ、だれにでも容易に楽音の演出に参加することができる。
【００１６】
このような身体情報を取得するには、例えば、動作（身振り）情報については１次元乃至３次元の速度センサや加速度センサ等を用い、また、状態情報については、脈拍や皮膚間抵抗等の計測出力を発生する生体情報センサを用い、取得された身体情報によって楽音発生装置の２つ以上の演奏パラメータを制御する。
【００１７】
この発明の１つの実施態様では、また、複数の演奏参加者が、同時に、電子楽器や楽音作成装置等の楽音発生装置を共有し制御するようなシステムにすることができる。具体的には、一人乃至複数の演奏参加者が、１次元乃至３次元センサ或いは生体情報センサを所定の身体部位（例えば、手や足）に設置し、センサによる検出データを無線で楽音発生装置の受信機にワイヤレス送信し、楽音発生装置側では検出データの解析を行い解析結果に基づいて楽音発生装置の演奏パラメータを制御する。
【００１８】
この発明の１つの実施態様においては、演奏インターフェイスの身体情報入力手段として１次元乃至３次元センサを利用し、楽音発生装置の２つ以上の演奏パラメータを制御したり、或いは、身体情報として生体情報を入力して何らかの演奏パラメータを制御する。さらに、１次元乃至３次元センサ出力と生体情報とを同時に利用して演奏パラメータを制御することもできる。
【００１９】
この発明の別の実施態様においては、演奏インターフェイスの身体情報入力手段として１次元乃至３次元センサを用い、出力される楽音のテンポを制御する。この場合、１次元乃至３次元センサ出力の周期性を演奏パラメータとして利用する。また、生体情報を入力して楽音のテンポを制御することもでき、３次元センサ出力と生体情報を同時に利用して演奏パラメータを制御することもできる。
【００２０】
この発明の他の実施態様においては、２つ（例えば、両手）或いは一方（例えば、片方の手）の１次元乃至３次元センサ等の動作センサや他の状態センサを含む身体情報検出センサによる複数の演奏参加者からの検出データについて、任意に選んだ複数個の検出データを単純平均又は重み付け平均した平均値、全数個の検出データを単純平均又は重み付け平均した平均値、若しくは、或る時間範囲の中で時刻的に最後又は最初のデータ値等、所定の規則で選択された特徴的データ値を算出し、算出されたデータ値を利用して演奏パラメータを制御する。
【００２１】
この発明は、純音楽的な楽曲演奏だけでなく、種々の楽音演奏環境に適用することができる。この発明の適用環境には、例えば、次のようなものがある：
（１）楽曲演奏のコントロール（指揮モード＝プロモード、セミオートモード）。
（２）伴奏音、外部音コントロール
各種打楽器音、ベル、自然音を内蔵若しくは外部の音源を利用して、複数人又は１人で楽曲演奏をコントロールする。例えば、所定演奏トラックの音源をハンドベル、和楽器、ガムラン、パーカッション（アンサンブル）等の音とし、楽曲（主旋律演奏トラック）中に挿入する。
（３）複数人による演奏（音楽アンサンブル）
複数人がそれぞれセンサを持ち、２人以上からのセンサ出力値について、単純平均或いは重み付け平均した平均値データ、若しくは、或る時間範囲の中で時刻的に最後又は最初のデータ等、所定の規則で選択されたデータを基にして、楽曲演奏をコントロールする。
（利用例）音楽教育の現場における楽曲演奏＝例えば、先生がマスターセンサを持ち、楽曲のテンポ及び音量をコントロールする。生徒は子機センサにより、ハンドベル的な機能、日本古来（和楽）の太鼓やかねなど（更に、自然の風や水の音を同時に発音させて）、種々の選択音を楽曲中に入れて行く（先生と生徒が楽音演奏に互いに参加意識を持ちながら楽しく授業を行う）。
（４）タップダンスの伴奏。
（５）遠隔地間でのネットワーク音楽演奏（映像併用）（音楽ゲーム）
異なる場所の人間が通信ネットワークを通じて同時に楽曲演奏をコントロールする。例えば、遠隔地の人間がネットワークを通じて音楽教室などで映像を見ながら、同時に、楽音演奏を演出する。
（６）ゲームにおける興奮状態応答楽音コントロール。
（７）ジョギング、エアロビクス等、スポーツにおける背景音楽（ＢＧＭ）コントロール（バイオモード、健康モード）
例えば、心拍数にテンポを合わせて聞いたり、ジョギング、エアロビクス等の動作と心拍数などを考慮にして、或る設定心拍数を超えると、音楽のテンポや音量等を自然に下げる。
（８）演劇。
演劇時に、剣術の舞の時の剣の立ち回りに応じて、切れる音、風きり音などの効果音の発音をコントロールする。
（９）イベント。
各種イベントにおける、例えば、参加型リモコン、参加型コントローラ、参加型入力装置、参加型Ｇａｍｅなど。
（１０）コンサート。
コンサート会場にて、演奏者が曲のメインコントロール（テンポ、ダイナミックス等）を行ない、視聴者はサブコントロール部をもって、ＬＥＤ等で発光する光に合わせて簡単に手拍子のように音楽演奏に参加できる演出を行う。
（１１）テーマパーク。
テーマパークでのパレードにおいて、曲の演奏をコントロールしたり、発光装置による光の演出をコントロールする。
【００２２】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例について詳述する。なお、以下の実施例は、単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００２３】
〔システム全体の構成〕
図１には、この発明の一実施例による演奏インターフェイスを含む演奏システム全体の概略的な構成が示されている。この例では、システムは、複数の身体情報検出送信機１Ｔ１〜１Ｔｎ、情報受信及び楽音コントローラ１Ｒと楽音再生部１Ｓとから成る本体システム１Ｍ、ホストコンピュータ２、サウンドシステム３及びスピーカシステム４により構成されており、身体情報検出送信機１Ｔ１〜１Ｔｎと情報受信及び楽音コントローラ１Ｒとにより演奏インターフェイスが構成される。
【００２４】
複数の身体情報検出送信機１Ｔ１〜１Ｔｎは、動作センサＭＳ１〜ＭＳｎ及び状態センサＳＳ１〜ＳＳｎの双方或いは何れか一方を備え、両センサＭＳａ，ＳＳａ（ａ＝１〜ｎ）は、演奏情報の演出に参加する複数の操作者各人の手で把持されるか、或いは、各演奏参加者の身体の所定部位に取り付けられる。各動作センサＭＳａは、各演奏参加者の身振りや動きを検出しこれに応じて動作信号を出力するものであり、例えば、３次元加速度センサや３次元速度センサ等の所謂「３次元センサ」（ｘ，ｙ，ｚ）などの外、２次元センサ（ｘ，ｙ）、歪み検出器、で構成することができる。また、状態センサＳＳａは、各参加者の身体の脈拍（脈波）、皮膚間抵抗、脳波、呼吸、瞳の動き等を計測して得られる状態信号を出力する所謂「生体情報センサ」である。
【００２５】
複数の身体情報検出送信機１Ｔ１〜１Ｔｎは、それぞれ、信号処理及び送信装置（図示せず）を介して、身体情報センサＭＳ１〜ＭＳｎ，ＳＳ１〜ＳＳｎからの動作信号及び状態信号を検出信号として情報受信及び楽音コントローラ１Ｒに送信する。情報受信及び楽音コントローラ１Ｒは、受信処理部ＲＰ、情報解析部ＡＮ及び演奏パラメータ決定部ＰＳを有し、パーソナルコンピュータ（ＰＣ）で構成されるホストコンピュータ２と交信可能であり、ホストコンピュータ２と連繋して演奏パラメータ制御のためのデータ処理を行う。
【００２６】
つまり、情報受信及び楽音コントローラ１Ｒは、身体情報検出送信機１Ｔ１〜１Ｔｎから検出信号を受信すると、受信処理部ＲＰにおいては、所定の条件の下で対応データが抽出され、抽出された動作データ或いは状態データは検出データとして情報解析部ＡＮに手渡される。情報解析部ＡＮでは、例えば、検出信号の繰返し周期から身体テンポを検出する等、検出データの解析が行われる。そして、演奏パラメータ決定部ＰＳは、検出データの解析結果に基づいて楽音の演奏パラメータを決定する。
【００２７】
楽音再生部１Ｓは、演奏データ制御部ＭＣ及び音源部ＳＢを有し、例えば、ＭＩＤＩ形式の演奏データに基づいて楽音信号を生成する。演奏データ制御部ＭＣは、本体システム１Ｍで生成される演奏データ或いは予め用意された演奏データを、演奏パラメータ決定部ＰＳで設定された演奏パラメータに応じて変更する。そして、音源部ＳＢは、変更された演奏データに基く楽音信号を生成し、サウンドシステム３に送信し、スピーカシステム４より、対応する楽音を放音する。
【００２８】
この発明の一実施例による演奏インターフェイス（１Ｔ１〜１Ｔｎ・１Ｍ）においては、このような構成によって、操作者が動作センサＭＳ１〜ＭＳｎを動かすと、情報解析部ＡＮが、動作センサＭＳ１〜ＭＳｎの検出データから操作者の動きを解析する。演奏パラメータ決定部ＰＳは、この解析結果に応じて演奏パラメータを決定し、楽音再生部１Ｓは演奏パラメータに基づく楽音演奏データを生成する。従って、動作センサの動きを反映して所望に制御された楽音がサウンド及びスピーカシステム３，４を介して放音される。情報解析部ＡＮは、また、運動センサＭＳ１〜ＭＳｎの運動解析と同時に、状態センサＳＳ１〜ＳＳｎからの状態情報（生体情報、生理情報）から操作者の身体状態を解析し、これらの解析結果に応じた演奏パラメータを生成する。従って、操作者の動きに応じるだけでなく、操作者の身体状態を考慮して、楽曲演奏を多様に制御することができる。
【００２９】
〔身体情報検出送信機の構成〕
図２は、この発明の一実施例による身体情報検出送信機の一構成例を示す。各身体情報検出送信機１Ｔａ（ａ＝１〜ｎ）は、動作センサＭＳａや状態センサＳＳａといった身体情報センサの外に信号処理及び送信装置を備え、信号処理及び送信装置は、送信機中央処理装置（送信機ＣＰＵ）Ｔ０、メモリＴ１、高周波トランスミッタＴ２、表示ユニットＴ３、充電コントローラＴ４、送信用電力増幅器Ｔ５、操作スイッチＴ６等から構成される。動作センサＭＳａは、演奏参加者が手に持ったり或いは演奏参加者の任意箇所に取り付けたりすることができる構造である。動作センサＭＳａを手持ちタイプにする場合、信号処理及び送信装置を動作センサＭＳａと共にセンサ筐体内に組み込むことができる。また、状態センサＳＳａは、検出すべき状態に応じて身体の所定箇所に取り付られる。
【００３０】
送信機ＣＰＵＴ０は、メモリＴ１に記録された送信機動作プログラムに基づいて、動作センサＭＳａ、状態センサＳＳａ、高周波トランスミッタＴ２、表示ユニットＴ３及び充電コントローラＴ４の動作を制御する。身体情報センサＭＳａ，ＳＳａからの検出信号は、送信機ＣＰＵＴ０により、ＩＤナンバの付加処理等所定の処理が施され、高周波トランスミッタＴ２に伝送され、さらに、送信用電力増幅器Ｔ５で増幅された上、送信アンテナＴＡを介して本体システム１Ｍ側に送信される。
【００３１】
表示ユニットＴ３は、例えば、７セグメント形式のＬＥＤ又はＬＣＤ表示器や、１個乃至複数個のＬＥＤ発光器（何れも図示せず）を備え、ＬＥＤ表示器には、センサナンバ、動作中、電源アラーム等を表示する。ＬＥＤ発光器は、例えば、操作スイッチＴ６の操作状態に応じて、常時発光させるか、或いは、送信機ＣＰＵＴ０の制御により動作センサＭＳａの検出出力に応じて点滅させる。操作スイッチＴ６は、ＬＥＤ発光器の点滅制御に用いる外に、モード設定等、種々の設定を行うのにも用いられる。充電コントローラＴ４は、ＡＣアダプタＴ７に商用電源を接続したとき電池電源Ｔ８の充電を制御し、電池電源Ｔ８に備えられた電源スイッチ（図示せず）のオンにより電池電源Ｔ８から送信機各部に電源供給がなされる。
【００３２】
〔本体システムの構成〕
図３は、この発明の一実施例による本体システムのハードウエア構成のブロック図である。この例では、本体システム１Ｍは、本体中央処理装置（本体ＣＰＵ）１０、読出専用メモリ（ＲＯＭ）１１、ランダムアクセスメモリ（ＲＡＭ）１２、外部記憶装置１３，タイマ１４，第１及び第２の検出回路１５，１６、表示回路１７、音源回路１８、効果回路１９、受信処理回路１Ａ等を備え、これらの装置１０〜１Ａは、バス１Ｂを介して互いに接続されている。バス１Ｂには、ホストコンピュータ２と通信するための通信インターフェイス（Ｉ／Ｆ）１Ｃが接続され、さらに、ＭＩＤＩインターフェイス（Ｉ／Ｆ）１Ｄが接続される。
【００３３】
本体システム１Ｍ全体を制御する本体ＣＰＵ１０は、テンポクロックや割込みクロックの発生等に利用されるタイマ１４による時間管理の下、所定のプログラムに従って種々の制御を行い、特に、この発明による演奏パラメータ決定や演奏データ変更及び再生制御に関する演奏インターフェイス処理プログラムを中枢的に遂行する。ＲＯＭ１１には、本体システム１Ｍを制御するための所定の制御プログラムが記憶されており、これらの制御プログラムには、演奏パラメータ決定や演奏データ変更及び再生制御に関する演奏インターフェイス処理プログラム、、各種データ／テーブル等を含ませることができる。ＲＡＭ１２は、これらの処理に際して必要なデータやパラメータを記憶し、また、処理中の各種データを一時記憶するためのワーク領域として用いられる。
【００３４】
第１の検出回路１５にはキーボード１Ｅが接続され、第２の検出回路１６には、マウス等のポインティングデバイス１Ｆが接続され、表示回路１７にはディスプレイ１Ｇが接続される。これにより、ディスプレイ１Ｇに表示される各種画面を視認しつつキーボード１Ｅやポインティングデバイス１Ｆを操作し、本体システム１Ｍでの演奏データ制御に必要な各種モードの設定、ＩＤナンバに対応する処理・機能の割当て、演奏トラックへの音色（音源）設定等、種々の設定操作を行うことができる。
【００３５】
この発明によると、受信処理回路１Ａにはアンテナ分配回路１Ｈが接続され、このアンテナ分配回路１Ｈは、例えば、多チャンネル高周波レシーバで構成され、複数の身体情報検出送信機１Ｔ１〜１Ｔｎからの動作信号及び状態信号を受信アンテナＲＡを介して受信する。受信処理回路１Ａは、受信信号を本体システム１Ｍで処理可能な動作データ及び状態データに変換してシステム内に取り込み、ＲＡＭ１２の所定領域に格納する。
【００３６】
本体ＣＰＵ１０による演奏インターフェイス処理機能により、各演奏参加者の身体の動作及び状態を表わす動作データ及び状態データを解析し、解析結果に基づいて演奏パラメータを決定する。ＤＳＰ等で構成される効果回路１９は、音源回路１８及び本体ＣＰＵ１０と共に、音源部ＳＢの機能を実現するものであり、設定された演奏パラメータに基づいて、演奏される演奏データを制御することにより、演奏参加者の身体情報に応じて演出処理された演奏データを生成する。そして、効果回路１９に接続されるサウンドシステム３は、スピーカシステム４を介して、演出処理された演奏データに基づく楽音信号に応じて演奏楽音を放音する。
【００３７】
なお、外部記憶装置１３は、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）ドライブ、フロッピィディスクドライブ（ＦＤＤ）、光磁気（ＭＯ）ディスクドライブ、ディジタル多目的ディスク（ＤＶＤ）ドライブ等の記憶装置から成り、各種制御プログラムや各種データを記憶することができる。従って、演奏パラメータ決定や演奏データ変更及び再生制御に必要な演奏インターフェイス処理プログラム、各種データ等は、ＲＯＭ１１を利用するだけでなく、外部記憶装置１３からＲＡＭ１２内に読み込むことができ、必要に応じて、処理結果を外部記憶装置１３に記録しておくこともできる。さらに、外部記憶装置１３、特に、ＣＤ−ＲＯＭ、ＦＤ、ＭＯ、ＤＶＤ等のメディアには、例えば、ＭＩＤＩ形式の種々の演奏楽曲データはＭＩＤＩファイルとして格納されており、これを利用して、所望の演奏楽曲データを本体システム内に取り込むことができる。
【００３８】
また、このような処理プログラムや演奏楽曲データは、通信Ｉ／Ｆ１Ｃ及び通信ネットワークを介して接続されるホストコンピュータ２から、本体システム１Ｍに取り込み、或いは、ホストコンピュータ２に送り出したりすることができる。例えば、音源ソフトウエアや、演奏楽曲データ等のソフトウエアは、通信ネットワークを通じて配信できるようにする。さらに、ＭＩＤＩＩ／Ｆ１Ｄに接続される他のＭＩＤＩ機器１Ｊと通信し、演奏データ等を受信してこれを利用したり、或いは、逆に、この発明の演奏インターフェイス機能により演出処理された演奏データを送り出す。これによって、本体システム１Ｍの音源部（図１：ＳＢ、図３：１８・１９）を省略し、音源部の機能を他のＭＩＤＩ機器１Ｊに与えることができる。
【００３９】
〔動作センサの構成例〕
図４及び図５は、この発明の演奏インターフェイスに使用可能な身体情報検出機構の例を示す。図４（１）は、バトン形の手持ちタイプの身体情報検出送信機の例である。この身体情報検出送信機は、操作部及び表示部を除く図２の諸装置を内蔵している（状態センサＳＳａを備えていない。）。内蔵される動作センサＭＳａには、例えば、３次元加速度センサや３次元速度センサ等の３次元センサが用いられ、このバトン形送信機を演奏参加者が手に持って操作することにより操作の方向及び大きさに応じた動作信号を出力することができる。
【００４０】
この送信機の外観構造は、図示のように、両端側が大径で中央側が小径のテーパ状をなす基部（図示左寄り）及び端部（図示右寄り）から成り、基部は、平均径が端部より小さく手で握りやすくなっており、把持部として機能する。底部（図示左端）外面には表示ユニットＴ３のＬＥＤ表示器ＴＤ及び電池電源Ｔ８の電源スイッチＴＳが設けられ、中央部外面には操作スイッチＴ６が設けられ、端部の先端近傍には表示ユニットＴ３の複数個のＬＥＤ発光器ＴＬが設けられる。
【００４１】
図４（１）に示すバトン形送信機は、演奏参加者がバトンの基部を手で握って操作すると、内蔵された３次元センサから操作方向と操作力に応じた動作信号が出力される。例えば、操作スイッチＴ６の取付方向にｘ方向の検出軸を合わせて３次元加速度センサが内蔵されている場合、バトンを操作スイッチＴ６の取付位置が上になるように持って上下に振ると、振り加速度（力）に応じたｘ方向の加速度αｘを表わす信号出力が発生し、バトンを左右（紙面に垂直）に振ると、振り加速度（力）に応じたｙ方向の加速度αｙを表わす信号出力が発生し、バトンを前後（紙面の左右）に突いたり引いたりすると、突き加速度或いは引き加速度に応じたｚ方向の加速度αｚを表わす信号出力が発生する。
【００４２】
図４（２）は、シューズの踵部分に動作センサを埋め込んだシューズ形の例を示す。動作センサＭＳａは、例えば、歪み検出器（垂直ｘ軸方向の１次元センサ）或いは２次乃至３次元センサ（左右ｙ軸方向乃至つま先ｚ軸方向）であり、シューズの踵部分に埋め込まれる。また、この例では、図２の身体情報検出送信機１Ｔａのうちセンサ部を除く諸装置は、例えば、腰ベルトに取り付けた信号処理及び送信機装置（図示せず）に組み込まれ、動作センサＭＳａの動作検出出力はワイヤ（図示せず）を介して検出処理及び送信機装置に入力されるようになっている。このようなシューズ形の動作センサは、例えば、ラテン音楽等の演奏でタップダンスをする際に、検出信号の周期に応じて演奏楽曲のテンポを制御したり、検出タイミングに応じて打楽器音量の増大やタップ音の挿入（特定演奏トラックを利用）を行ったりするのに用いることができる。
【００４３】
一方、状態センサＳＳａは、手に持って状態情報を取得し得る場合は上述のバトン形に類似した手持ちタイプで実施することもできるが、通常は、取得したい状態情報の種類に対応する身体状態検知部位に取り付け、状態センサＳＳａの状態検出出力を、ワイヤを介して、演奏参加者の他の所要部位（胴衣、帽子、眼鏡、首輪、腰ベルト等々）に設けられた信号処理及び送信機装置に与えるように構成する。
【００４４】
図５は、身体情報検出機構の他の構成例を示す。この例では、指輪タイプの身体情報センサＩＳ及び信号処理及び送信機装置ＴＴａにより身体情報検出送信機１Ｔａが構成される。身体情報センサＩＳは、例えば、２次元乃至３次元センサや歪み検出器のような動作センサＭＳａ、或いは、脈拍（脈波）検出器のような状態センサＳＳａを用いることができ、図示のように、１つの指（人指し指）だけでなく、複数の指に設置することができる。図２の身体情報検出送信機１Ｔａのうちセンサ部を除く諸装置は、腕輪形で支持される検出処理及び送信機装置ＴＴａに組み込まれ、身体情報センサＩＳの検出出力はワイヤ（図示せず）を介して信号処理及び送信機装置ＴＴａに入力される。
【００４５】
信号処理及び送信機装置ＴＴａには、図４（１）と同様に、ＬＥＤ表示器ＴＤ、電源スイッチＴＳ及び操作スイッチＴ６が設けられるが、ＬＥＤ発光器ＴＬは備えていない。なお、身体情報センサＩＳに動作センサＭＳａを用いる場合は必要に応じて身体状態の検知が可能な他の部位に状態センサＳＳａを設け、また、身体情報センサＩＳに状態センサＳＳａを用いる場合には、必要に応じて、動作センサＭＳａ〔例えば、図４（２）のような動作センサＭＳａ〕を動作の検知が可能な他の部位に設けるようにすることができる。
【００４６】
〔センサデータのフォーマット〕
この発明の一実施例においては、動作センサや状態センサの検出信号が表わすデータには、各センサのＩＤナンバが付与され、本体システム１Ｍ側でセンサを識別し、対応する処理を行うのに用いられる。図６は、センサデータのフォーマット例を示す。ＩＤナンバは、最上位５ビット（ビット０〜４）が使用され、最大３２個の番号を付与することができる。
【００４７】
次の３ビット（ビット５〜７）は、スイッチ（ＳＷ）ビットであり、モード指定、スタート／ストップ、曲選択、頭出し等、最大８種の各種指定を行うのに用いることができ、本体システム１Ｍ側でＩＤナンバ毎に設定されるスイッチテーブルに従って解読される。このＳＷビットは、操作スイッチＴ６により全ビットを指定したり、一部ビットのみセット可能とし残りをセンサ毎に予め設定しておいたり、或いは、全ビットを予め設定しておくこともできる。通常は、操作スイッチＴ６により少なくとも第１ＳＷビットＡ（ビット５）をプレイモードオン（Ａ＝“１”）／オフ（Ａ＝“０”）を指定することができるようにしておくのが好ましい。
【００４８】
次の３つのバイト（＝８ビット）は、データバイトであり、３次元センサを用いる場合は、図示のように、ｘ軸データ（ビット８〜１５）、ｙ軸データ（ビット１６〜２３）及びｚ軸データ（ビット２４〜３１）が割り当てられ、２次元センサの場合は第３データバイト（ビット２４〜３１）を拡張データ領域として用いることができ、１次元センサの場合は第２及び第３データバイト（ビット１６〜３１）を拡張データ領域として用いることができる。また、他の種類の情報センサに対しては、それぞれの検出態様に応じたデータ値をこれらのデータバイトに割り当てることができる。
【００４９】
〔動作センサの利用＝複数解析出力の利用〕
この発明の一実施例においては、演奏参加者が操作体を操作することにより生じる動作センサ出力を処理して得られる複数の解析出力によって、楽曲演奏に所望の制御を加えることができる。例えば、動作センサとして１方向のみの加速度（力）を検出する１次元加速度センサを用いる場合には、図７に示すような基本構成によって、楽曲演奏に関わる複数の演奏パラメータを制御することができる。ここで、１次元加速度センサＭＳａは、例えば、図４（１）に示されるバトン形構造の身体情報検出送信機において、所定の一方向（例えば、上下ｘ軸方向）成分のみの加速度（力）を検出する加速度検出器（ｘ軸検出部）Ｓａを内臓した操作体として構成されている。
【００５０】
図７において、演奏参加者がこのような操作体を手に持って振るなどの操作をすると、１次元加速度センサＭＳａは、その操作加速度（力）のうち所定の一方向（ｘ軸方向）成分のみの加速度αを表わす検出信号Ｍａを本体システム１Ｍに出力する。本体システム１Ｍでは、予め設定されたＩＤナンバがこの検出信号に付加されていることを確認すると、低域通過、高域除去等によりノイズ成分を除去し有効成分を通す帯域通過フィルタ機能、及び、重力分除去のための直流カット機能を有する受信処理部ＲＰを介して、加速度αを表わす有効データが情報解析部ＡＮに手渡される。
【００５１】
情報解析部ＡＮは、この加速度データを解析し、絶対加速度｜α｜の時間経過波形｜α｜（ｔ）のローカルピークの発生時刻を表わすピーク時点Ｔｐ、ローカルピークの高さを表わすピーク値Ｖｐ、次式（１）で表わされローカルピークの鋭さを示すピークＱ値Ｑｐ、ローカルピーク間の時間間隔を表わすピークインターバル、ローカルピーク間の谷の深さ、ピークの高周波成分の強さ、加速度α（ｔ）のローカルピークの極性等を抽出する：
【数１】
ここで、ｗは、加速度波形α（ｔ）のローカルピークにおける高さがピーク値Ｖｐの半分である点の時間幅である。
【００５２】
演奏パラメータ決定部ＰＳは、これらの検出出力Ｔｐ，Ｖｐ，Ｑｐ，…に応じて、拍タイミングＢＴ、ダイナミクス（ベロシティやボリューム）ＤＹ、或いは、アーティキュレーションＡＲ、音高（ピッチ）、音色等、種々の演奏パラメータを決定し、楽音再生部１Ｓの演奏データ制御部において、決定された演奏パラメータに基づいて演奏データを制御し、サウンドシステム３を介して楽音演奏の出力を行う。例えば、ピーク発生時刻（時点）Ｔｐに応じて拍タイミングＢＴを制御し、ピーク値Ｖｐに応じてダイナミクスＤＹを制御し、ピークＱ値Ｑｐに応じてアーティキュレーションＡＲを制御し、また、ローカルピークの極性に応じて表拍か裏拍かを決定し拍番号の弁別を行う。
【００５３】
図８は、１次元加速度センサＭＳａを手に持って指揮操作した場合における手振り動作の軌跡例及び加速度データαの波形例を極めて概略的に示しており、縦軸の加速度値“α（ｔ）”は加速度データαの絶対値（極性なし）つまり絶対加速度“｜α｜（ｔ）”を表わしている。図８（１）は、２ビートのエスプレシヴォ（espressivo=expressively;「表情豊かに」）指揮動作時における動作軌跡例（ａ）及び加速度波形例（ａ）を示し、この軌跡例（ａ）では、黒丸で示す動作点Ｐ１，Ｐ２で指揮動作を停止せず、常に滑らかに柔らかく動いている。一方、図８（２）は、２ビートのスタッカート（staccato ;「音を明確に分離して」）指揮動作時における動作軌跡例（ｂ）及び加速度波形例（ｂ）を示し、この軌跡例（ｂ）は、×印で示す動作点Ｐ３，Ｐ４で一時停止し、素早く鋭い指揮動作を表わしている。
【００５４】
従って、このような指揮動作に相応して、例えば、ピーク発生時刻（時点）Ｔｐ＝ｔ１，ｔ２，ｔ３，…；ｔ４，ｔ５，ｔ６，…により拍タイミングＢＴを決定し、ピーク値ＶｐによりダイナミクスＤＹを決定し、また、ローカルピークのＱ値Ｑｐによりアーティキュレーション・パラメータＡＲを決定する。つまり、図８（１）のエスプレシヴォ動作時及び図８（２）のスタッカート動作では、ピーク値Ｖｐにはあまり差がないが、ローカルピークのＱ値は十分に異なるので、このＱ値Ｑｐを用いてスタッカートからエスプレシヴォの間のアーティキュレーションの程度を制御するのである。このアーティキュレーション・パラメータＡＲの使い方については、以下に、もう少し詳しく説明しよう。
【００５５】
ＭＩＤＩ曲データは、多数の楽音について、音高情報等と共に、発音開始タイミング及び消音開始（発音停止）タイミングを表わす情報を有している。この発音の開始から停止までの時間、即ち、音が鳴っている時間長を、「ゲートタイム」と呼んでいる。このゲートタイムＧＴを曲データのゲートタイム値より短くすることにより、つまり、曲データゲートタイムＧＴ０に乗算する係数Ａｇｔを用いて説明すると、例えば、Ａｇｔ＝０．５としゲートタイムＧＴ０の０．５倍とすることにより、スタッカート的な演奏が得られる。また、逆に、例えば、ａ＝１．８即ち１．８倍として、曲データ本来のゲートタイム値より長くすると、エスプレシヴォ的な演奏が得られる。
【００５６】
そこで、このゲートタイム係数Ａｇｔをアーティキュレーション・パラメータＡＲとして採用しローカルピークのＱ値Ｑｐに応じて変化させる。例えば、次式（２）に示すように、ローカルピークのＱ値Ｑｐの線形変換を行い、このようにＱ値Ｑｐに応じて変化する係数Ａｇｔを用いてゲートタイムＧＴを調整することにより、アーティキュレーションＡＲを制御することができる：
Ａｇｔ ＝ ｋ１×Ｑｐ ＋ ｋ２ ……（２）
【００５７】
演奏パラメータの制御にはピークＱ値Ｑｐの外に、図８の各波形例（ａ），（ｂ）に示される絶対加速度｜α｜の時間波形における谷の深さや、高周波成分の強さ等を使ったり、これらを併用してもよい。図示の軌跡例（ｂ）では、一時停止の時間が軌跡例（ａ）よりも長く、波形の谷は深く、値がより“０”に近い。また、軌跡例（ｂ）では、動作が軌跡例（ａ）よりも鋭いので、高周波成分が軌跡例（ａ）よりも強い。
【００５８】
さらに、ピークＱ値Ｑｐによって、例えば、音色を制御することができる。一般に、シンセサイザでは、音波形の包絡線形状を、アタック（立上り）部Ａ、ディケイ部Ｄ、サスティンＳ及びリリースＲで決めるが、アタック部Ａの立上り速さ（傾斜）が低いと柔らかい音色になり、逆に高いと鋭い音色になる傾向がある。そこで、１次元加速度センサＭＳａを装着した操作体を演奏参加者が手振り操作した場合、手振り動作加速度（αｘ）の時間波形におけるローカルピークのＱ値によって、このアタック部Ａの立上り速さを制御することにより等価的な音色をコントロールすることができる。
【００５９】
なお、この例では音波形の包絡線形状ＡＤＳＲの一部を制御して等価的に音色をコントロールするようにしたが、例えば、ダブルベースの音色からバイオリンの音色へというように、音色自体（所謂“ボイス”）を切り替えてもよいし、この方法をＡＤＳＲ制御による方法と併用してもよい。また、原因情報として、ローカルピークのＱ値だけでなく、波形の高周波成分の強さや他の情報を用いてもよい。
【００６０】
また、検出出力に応じてリバーブ等の効果（所謂“エフェクト”）パラメータを制御することもできる。例えば、ローカルピークのＱ値を利用してリバーブ時間を制御する。このＱ値が高いということは、演奏参加者が操作体を鋭く振る動作に対応するが、このようなキビキビとした鋭い動作ではリバーブを短くして音の歯切れをよくする。逆に、Ｑ値が低いときは、リバーブを長くして緩やかでゆったりとした音にする。もちろん、意図的にこの関係を逆にしたり、別の効果パラメータ（例えば、音源部ＳＢのフィルタカットオフ周波数など）を制御したり、これら複数の効果パラメータを制御するようにしても良い。この場合も、原因情報として、ローカルピークのＱ値だけに限定されず、波形の高周波成分の強さや他の情報を用いることができる。
【００６１】
さらに、ピークインターバルを利用してローカルピーク発生時点で打楽器音を発生させる打楽器発音モードを演出することができる。この打楽器発音モードにおいては、抽出されたピークインターバルが長いときは、例えば、ベースドラムのような低い音高の打楽器を鳴らし、素早い振り動作でピークインターバルが短いときは、例えば、トライアングルのような高い音高の打楽器を鳴らす。もちろん、逆の関係にしてもよいし、音色（ボイス）を切り替えるのではなく、１つの音色のままピッチ（音高）のみを連続的或いは段階的に変化させてもよい。さらに、音色（ボイス）は、２種ではなく、多種のものが移り変わっていくようにしたり、或いは、音量クロスフェードを行いながら徐々に変化するようにしてもよい。また、ピッチインターバルの利用については、打楽器に限定しないで、例えば、ダブルベースからバイオリンへというように、弦楽器音色を変化させると共に音高も変化させるというように、他の楽器の音色及び音高を変えるようにしてもよい。
【００６２】
〔複数の動作センサ出力の利用〕
この発明の一実施例においては、また、演奏参加者が操作体を操作することにより生じる複数の動作センサ出力を処理することによって、楽曲演奏に所望の制御を加えることができる。このような動作センサには、例えば、図４（１）に示すようなバトン形構造体にｘ軸及びｙ軸検出部を備える２次元センサ、或いは、更にｚ軸検出部を備える３次元センサを内蔵させたものを用いるのが好適である。この動作センサが装着された操作体を握って、ｘ軸乃至ｙ軸方向、更には、ｚ軸方向に操作すると、各軸センサの動作検出出力は解析され操作（動き）種別が判定され、その判定結果に応じて楽曲の複数の演奏パラメータ、例えば、テンポ、音量等が制御される。従って、演奏参加者は、楽曲演奏に対して指揮者のように振る舞うことができる（指揮モード）。
【００６３】
指揮モードの場合、指定された制御可能な複数の演奏パラメータを常にセンサの動作検出出力により制御するモード（プロモード）と、センサ出力がある場合はセンサ出力で演奏パラメータを制御するが、センサ出力が無い場合にはオリジナルのＭＩＤＩデータのまま再生するモード（セミオートモード）に設定することができる。
【００６４】
ここで、指揮動作のための動作センサとして２次元センサを用いると、１次元センサを用いる場合と同様に、種々の解析を行いこれに応じて種々の演奏パラメータを制御することができ、しかも、１次元センサに比べて、振り動作をより忠実に反映する解析出力が得られる。例えば、上述の２次元加速度センサを装着した操作体（指揮棒）を持って、図７及び図８の１次元センサと同様に手振り動作を行うと、２次元センサのｘ軸及びｙ軸検出部から、それぞれ、ｘ軸（上下／縦）方向の加速度αｘ及びｙ軸（左右／横）方向の加速度αｙを表わす信号が本体システム１Ｍに出力される。本体システム１Ｍでは、各軸の加速度データが受信処理部を介して情報解析部に手渡されて各軸加速度データが解析され、次式（３）で表わされる絶対加速度即ち加速度の絶対値｜α｜が求められる：
【数２】
【００６５】
図９は、ｘ軸及びｙ軸用に２個の加速度検出器（静電型加速度センサ：東プレ“TPR70G-100”）を用いた２次元加速度センサを指揮棒に装着し、演奏操作者がこの指揮棒を右手で持ち指揮操作した場合に得られた手振り動作の軌跡及び加速度波形の一例を示す。指揮軌跡は、２次元の動作軌跡として表され、図９（１）に示すように、例えば、（ａ）２ビートのエスプレシヴォ指揮動作、（ｂ）２ビートのスタッカート指揮動作、（ｃ）２ビートのエスプレシヴォ指揮動作及び（ｄ）３ビートのスタッカート指揮動作における軌跡が得られる。図中、“（１）”〜“（３）”は振り動作（拍打動作）区分を表わし、（ａ）及び（ｂ）は「２つ振り」（２ビート）であり、（ｃ）及び（ｄ）は「３つ振り」（３ビート）である。また、図９（２）は、演奏操作者の指揮動作による各軌跡例（ａ）〜（ｄ）に対応してセンサの各軸検出器から得られる検出出力を表わしている。
【００６６】
ここで、各軸検出器の検出出力は、前述した１次元センサの場合と同様に、本体システム１Ｍの受信処理部で指揮動作認識に不要な周波数成分を除去する帯域通過フィルタに通す。もし、机等にセンサを固定しても地球の重力のため加速度センサ出力αｘ，αｙ，｜α｜はゼロにならないが、この成分も、指揮認識には不要なので直流カットフィルタにて除去する。指揮動作の方向は２次元加速度センサの検出出力の符号や強さとして現われ、振り動作（拍打動作）の発生タイミングは加速度絶対値｜α｜のローカルピークとして現われ、このローカルピークは、演奏の拍打タイミングをとるのに利用される。従って、拍番号の弁別には、正負の値を取る２次元の加速度データαｘ，αｙを活用するが、拍打タイミング検出には加速度絶対値｜α｜のみを使う。
【００６７】
拍打動作発生時の加速度αｘ，αｙは、実際には、拍打動作方向により極性も強さも大きく変化し、多くの疑似ピークを含む複雑な波形であるので、このままでは拍打タイミングを安定して得ることは困難である。そこで、前述したように、加速度絶対値から不要な高周波数成分を除去する１２次の移動平均フィルタを通す。図９（２）の（ａ）〜（ｄ）は、この２つのフィルタで構成する帯城通過フィルタを通過後の加速度波形例を示しており、それぞれ、図９（１）の各軌跡図（ａ）〜（ｄ）に従って丁寧に指揮した際の信号である。図９（２）の右側に示される各波形は、２次元の加速度信号αｘ，αｙの１周期分のベクトル軌跡を表わす。左側に示される各波形は、加速度絶対値｜α｜の時間域波形｜α｜（ｔ）の３秒分を表わし、各ローカルピークが拍打動作に対応している。
【００６８】
なお、拍打動作検出のためローカルピークを抽出する場合には、疑似ピークの検出や、拍打ピークの検出洩れなどの誤検出を回避する必要があるので、このためには音声の高時間分解能ピッチ検出の技法などを適当な手法を適用すべきである。また、加速度αｘ，αｙは、図９（２）の右側に観られるように正負の値を取るが、人間の指揮動作では常に手が微妙に動き続けており完全には静止しない。このため、加速度αｘ，αｙの両方が同時にゼロとなって原点に静止する時はなく、従って、その時間域波形｜α｜（ｔ）も図９（２）の左側に示されるように、指揮中はゼロにならない。
【００６９】
〔３次元センサ使用モード＝３軸処理〕
検出軸を更に増やして動作センサＭＳａとして３次元センサを用いる場合は、このセンサの操作（動き）を解析し、その多様な操作を解析することにより、操作に対応する多種多彩な演奏制御を行うことができる。図１０は、３次元センサを使用して楽曲演奏の演出を行う場合の機能ブロック図を示す。 図１０の３次元センサ使用モードでは、図４（１）で説明したバトン形検出送信機１Ｔａに３次元センサＭＳａが内蔵され、このバトン形検出送信機１Ｔａを演奏参加者が片手或いは両手に持って操作することにより、操作方向と操作力に応じた動作信号を出力することができる。
【００７０】
３次元センサとして３次元加速度センサを用いる場合には、バトン形身体情報検出送信機１Ｔａにおける３次元センサＭＳａのｘ軸、ｙ軸及びｚ軸検出部ＳＸ，ＳＹ，ＳＺから、それぞれ、ｘ（上下）方向の加速度αｘ、ｙ（左右）方向の加速度αｙ及びｚ（前後）方向の加速度αｚを表わす信号Ｍｘ，Ｍｙ，Ｍｚが本体システム１Ｍに出力される。本体システム１Ｍでは、予め設定されたＩＤナンバがこれらの信号に付加されていることを確認すると、各軸の加速度データが受信処理部ＲＰを介して情報解析部ＡＮに手渡される。情報解析部ＡＮにおいては、各軸加速度データが解析され、まず、次式（４）で表わされる加速度の絶対値｜α｜が求められる：
【数３】
【００７１】
次に、加速度αｘ, αｙと加速度αｚとを比較する。例えば、
αｘ ＜ αｚ、且つ、αｙ ＜ αｚ …（５）
の関係が成立するとき、つまり、ｚ方向加速度αｚがｘ，ｙ方向加速度αｘ，αｙより大きいときは、バトンを突く「突き動作」であると判別する。
【００７２】
逆に、ｚ方向加速度αｚがｘ，ｙ方向加速度αｘ，αｙより小さいときには、バトンにより空気を切りさく「切り動作」であると判別する。この場合、さらに、ｘ，ｙ方向加速度αｘ，αｙの値を互いに比較することにより、「切り動作」の方向が「たて」（ｘ）なのか「よこ」（ｙ）なのかを判別することができる。
【００７３】
また、各軸ｘ，ｙ，ｚ方向成分相互の比較だけでなく、各方向成分αｘ, αｙ，αｚ自体の大きさと所定の閾値とを比較し、閾値以上であれば、これらの動作を組み合わせた「組合せ動作」であると判別することができる。例えば、αｚ＞αｘ，αｙ且つαｘ＞「ｘ成分の閾値」であれば「たて（ｘ方向）に切りつつ、突く動作」と判別し、αｚ＜αｘ，αｙ、αｘ＞“ｘ成分の閾値”且つαｙ＞“ｙ成分の閾値”であれば「斜め（ｘ，ｙ両方向）切り動作」であると判別する。さらに、ｙ方向加速度αｘ，αｙの値が、円軌跡を描くように相対的に変化して行く現象を検出することにより、バトンをぐるぐると回す「回し動作」を判別することができる。
【００７４】
演奏パラメータ決定部ＰＳでは、これらの判別出力に応じて種々の演奏パラメータを決定し、楽音再生部１Ｓの演奏データ制御部において、決定された演奏パラメータに基づいて演奏データを制御し、サウンドシステム３を介して楽音演奏の出力を行う。例えば、加速度絶対値｜α｜或いは各方向成分αｘ, αｙ，αｚのうち最大を示す成分の大きさに応じて演奏データの音量を制御する。また、解析部ＡＮでの判定結果に基づいて他の演奏パラメータを制御する。
【００７５】
例えば、「たて（ｘ方向）切り動作」の周期に応じてテンポを制御する。これとは別に、「たて切り動作」が短かく高い値であればアーティキュレーションを与え、長く低い値であればピッチ（音高）を下げる。また、「よこ（ｙ方向）切り動作」の判別によりスラー効果を与える。「突き動作」を判別したときは、そのタイミングで、楽音発生タイミングを縮めてスタッカート効果を与えたり、大きさに応じた単発音（打楽器音、掛け声等）を楽音演奏に挿入し、「突き動作」との「組合せ動作」を判別したときは、上述の制御を併用する。また、「回し動作」を判別したときは、周期が大きい場合は大きさに応じて残響効果を高めたり、周期が小さい場合は周期に応じてトリルを発生させるように制御する。
【００７６】
もちろん、１次元センサや２次元センサを用いる場合に説明した制御と同様の制御を行うこともできる。すなわち、３次元加速度センサにおいて、式（３）で表わされるｘ−ｙ平面上に投影される絶対加速度を“ｘ−ｙ絶対加速度｜αｘｙ｜”としたとき、ｘ−ｙ絶対加速度｜αｘｙ｜の時間経過波形｜αｘｙ｜（ｔ）のローカルピークの発生時点、ローカルピーク値、ローカルピークの鋭さを示すピークＱ値、ローカルピーク間の時間間隔を表わすピークインターバル、ローカルピーク間の谷の深さ、ピークの高周波成分の強さ、加速度α（ｔ）のローカルピークの極性等を抽出し、ピーク発生時刻に応じて演奏楽曲の拍タイミングを制御し、ローカルピーク値に応じてダイナミクスを制御し、ピークＱ値Ｑｐに応じてアーティキュレーションＡＲを制御する、等々を行う。また、式（５）が成り立って「突き動作」と判別されたときには、これらの制御に並行して、単発音（打楽器音、掛け声等）を楽音演奏に挿入したり、或いは、ｚ方向加速度αｚの大きさに応じて音色変化やリバーブ効果を与えたり、ｘ−ｙ絶対加速度｜αｘｙ｜により制御しない他の演奏制御を行うのである。
【００７７】
なお、１次元乃至３次元センサを刀剣内に設置しておき、演劇などにおいて、音楽伴奏を伴う剣術の舞のとき、刀剣の立ち回りによる各軸検出出力に応じて、切れる音（ｘ軸又はｙ軸）、風きり音（ｙ軸又はｘ軸）、更には、突き音（ｚ軸）などの効果音の発音をコントロールするのに利用することができる。
【００７８】
〔動作センサの他の利用例〕
なお、１次元乃至３次元加速度センサにおいて、センサの各軸出力を積分するか或いは加速度センサの代りに速度センサを用いれば、センサの操作（動き）速度に応じて、同様に、動作を判別し演奏パラメータを制御することができる。また、加速度センサの各軸積分出力を更に積分するか或いは速度センサの各軸出力を積分することにより、センサの操作（動き）位置を推測し、この推測位置に応じて別の演奏パラメータを制御（例えば、ｘ方向の高さに応じて音高を制御）することができる。また、１次元乃至３次元センサのような動作センサを図４（１）のようなバトン形の操作体として２個用意し、これらの操作体を一人の操作者が左右の手でそれぞれ操作することにより、楽曲演奏に対して左右別個の制御を加えることができる。例えば、楽曲の演奏トラック（パート）を２分し、左右の動作解析に基づいて各群演奏トラック（パート）を個別的に制御する。
【００７９】
〔状態センサの使用＝バイオモード〕
この発明の一実施例によると、生体情報を検出処理することにより、演奏参加者の状態を演奏楽音に反映させて音楽演奏を楽しむことができる。例えば、複数の参加者が音楽の演奏を聞きつつエアロビクス等の運動を集団で行うような場合に、図５の情報センサＩＳとして脈拍（脈波）検出器を用い、運動をしている人達に脈拍検出器を取り付けて心拍数を検出し、予め設定した所定の心拍数を超えると、参加者の健康を考えて、演奏している音楽のテンポを自然に下げるようにする。これにより、エアロビクス等の動作と心拍数等の身体状態とを考慮した音楽演奏が実現される。なお、この場合、心拍数等の計測データの平均値に応じて演奏テンポを制御するものとし、平均値の算出に当っては、心拍数の多いものほど大きい重み付けを加えて平均値を算出するのが好ましい。また、テンポの低下に伴い、音量を減少させるようにしてもよい。
【００８０】
上述の例の場合、心拍数の上昇率が、予め指定した所定の範囲内に収まっているときは、スピーカ４から楽音を鳴らすと共に表示ユニットのＬＥＤ発光器を光らせて通常状態であることを意識させるが、この範囲から逸脱すれば楽音の発生や発光を停止させるというように、身体の状態に応じた演奏停止機能を付加することができる。また、心拍数に代えて他の同等の生体情報を用いることができ、例えば、呼吸数を用いても同等の効果が得られる。呼吸数のセンサとしては、胸部、腹部に圧力センサを取り付けたり、空気の動きを検出する温度センサを鼻の穴等に取り付ける方法がある。
【００８１】
生体情報に応答させる他の例としては、生体情報から興奮状態（脈拍や呼吸数の増大、皮膚間抵抗の減少、血圧や体温の上昇等）を解析し、その結果得られる興奮状態の高まりに応じて演奏テンポや音量を速める等、上述の健康を考慮した例とは逆方向に演奏パラメータを制御する興奮度応答の楽音制御を行う方法がある。この方法は、複数人が参加する種々のゲームのＢＧＭ演奏や、複数の参加者がホールで踊りながら楽しむ音楽演奏に適しており、興奮度は、例えば、複数の参加者の平均値から算出される。
【００８２】
〔動作・状態併用モード〕
この発明の一実施例によると、動作センサ及び状態センサを併用して演奏参加者の動作及び生体情報を検出処理することにより、演奏参加者の複数種類の状態を演奏楽音に反映させ、多彩な音楽演奏を演出することができる。図１１は、このように動作センサ及び状態センサを併用して楽曲演奏の演出を行う場合の機能ブロック図を示す。この例では、動作センサＭＳａには、既に説明したｘ軸及びｙ軸検出部ＳＸ，ＳＹを備える２次元センサが用いられているが、必要に応じて、１次元センサ又は３次元センサを用いることができる。この動作センサＭＳａは、図４（１）に示すようなバトン形構造体に内蔵され、例えば、演奏操作者の右手で振ることにより楽曲演奏の指揮動作を行う。また、状態センサＳＳａは、視点（視線）追跡部（Eye Tracking System ）ＳＥ及び呼吸検出部（Breath Sensor ）ＳＢが用いられ、それぞれ、演奏参加者の所定の身体部位に取り付けられ、例えば、演奏操作者の視線追跡及び呼吸検出を行う。
【００８３】
２次元動作センサＭＳａのｘ軸及びｙ軸検出部ＳＸ，ＳＹ、並びに、状態センサＳＳａの視点追跡部ＳＥ及び呼吸検出部ＳＢからの検出信号は、それぞれ、個別のＩＤナンバが付与されており、それぞれの信号処理及び送信部を介して本体システム１Ｍに出力される。本体システム１Ｍは、予め設定されたＩＤナンバの付与を確認すると、受信処理部ＲＰでは、２次元動作センサＭＳａ、視点追跡部ＳＥ及び呼吸検出部ＳＢからの検出信号を処理し、対応する２次元動作データＤｍ、視点位置データＤｅ及び呼吸データＤｂを、ＩＤナンバに応じて情報解析部ＡＮの各解析ブロックＡＭ，ＡＥ，ＡＢに与える。動作解析ブロックＡＭでは、動作データＤｍを解析して、データ値の大きさ、ビートタイミング、ビート番号及びアーティキュレーションを認識し、視点解析ブロックＡＥでは、視点位置データＤｅを解析して注視エリア（watching area ）を検出し、呼吸解析ブロックＡＢでは、呼吸データＤｂを解析して呼気及び吸気状態を検出する。
【００８４】
次の演奏パラメータ決定部ＰＳでは、第１データ処理ブロックＰＡにおいて、演奏データメディア（外部記憶装置１３）内のＭＩＤＩファイルからＳＷビット（ビット５〜７：図６）に応じて選択された演奏データの楽譜上におけるビート位置を推測すると共に、現在設定されている演奏テンポからビート発生時点を予測し、推測されたビート位置、予測されたビート発生時点、並びに、動作解析ブロックＡＭからのデータ値の大きさ、ビートタイミング、ビート番号及びアーティキュレーションを統合処理する。第２データ処理ブロックＰＢにおいては、統合処理された結果に基づいて、音量、演奏テンポ及び各楽音発生タイミングを決定すると共に、視点解析ブロックＡＥで検出された注視エリアに応じて特定の演奏パートを指示し、また、呼吸解析ブロックＡＢで検出された呼気及び吸気状態に基づいてブレスによる制御を決定する。そして、楽音再生部１Ｓにおいて、決定された各演奏パラメータに基づいて演奏データを制御し、サウンドシステム３を介して所望の楽音演奏を行う。
【００８５】
〔複数の演奏操作者による動作モード〕
この発明の一実施例によると、複数の身体情報検出送信機を複数の演奏操作者により操作して楽曲演奏を制御することができる。ここで、各演奏操作者は、１以上の身体情報検出送信機を操作することができ、各身体情報検出送信機には、これまで図４〜図１１等を用いて説明した動作センサ乃至状態センサ（バイオモードや動作・状態併用モードを含む）の構成を採ることができる。
【００８６】
〔アンサンブルモード〕
例えば、複数の身体情報検出送信機を１台のマスター機と複数台の子機により構成し、マスター機の身体情報検出信号に応じて或る演奏パラメータを制御すると共に、子機の身体情報検出信号により他の演奏パラメータを制御するアンサンブルモードとすることができる。図１２は、この発明の一実施例によるアンサンブルモードでの機能ブロック図を示す。１台のマスター機１Ｔ１と複数台の子機１Ｔ２〜１Ｔｎ（例えば、ｎ＝２４）は、例えば、マスター機１Ｔ１の身体情報検出信号に応じて演奏パラメータの内のテンポや音量を制御すると共に、子機１Ｔ２〜１Ｔｎの身体情報検出信号により音色を制御する。この場合、各身体情報検出送信機１Ｔａ（ａ＝１〜ｎ）は、図４（１）のバトン形にして動作を検出し動作信号Ｍａ（ａ＝１〜ｎ）を送信するように構成するのが好ましい。
【００８７】
図１２において、身体情報検出送信機１Ｔ１〜１Ｔｎからの動作信号Ｍ１〜Ｍｎ（ｎ＝２４）は、本体システム１Ｍの情報受信及び楽音コントローラ１Ｒにおける受信処理部ＲＰで選択受信処理がなされる。つまり、これらの動作信号Ｍ１〜Ｍｎは、受信処理部ＲＰのセレクタＳＬにおいて、動作信号Ｄ１〜Ｄｎに付加されているＩＤナンバを、予め設定された「ＩＤナンバ割当て」（「ＩＤナンバ毎のグループ設定」を含む。）に応じて識別することにより、マスター機１Ｔ１からの動作信号Ｍ１と子機１Ｔ２〜１Ｔｎからの動作信号Ｍ２〜Ｍｎとに選別処理されて、それぞれ、マスター動作信号Ｍ１に対応するマスターデータＭＤと、子機動作信号Ｍ２〜Ｍｎに対応する子機データとに分離され、これらの子機データは、さらに、第１〜第ｍグループＳＤ１〜ＳＤｍに分別される。
【００８８】
例えば、ＩＤナンバ“０”のマスター機１Ｔ１において、操作スイッチＴ６を操作することにより、図６の第１ＳＷビットＡをプレイモード・オン（Ａ＝“１”）にセットし、「グループ／個別モード」を指定する第２ＳＷビットＢをグループモード指定（Ｂ＝“１”）か個別モード指定（Ｂ＝“０”）かにセットし、「全体／一部先導モード」を指定する第３ＳＷビットＣを全体先導モード指定（Ｃ＝“１”）か一部先導モード指定（Ｃ＝“０”）かにセットしているものとする。一方、ＩＤナンバ“１”〜“２３（＝ｎ−１）”の子機１Ｔ２〜１Ｔ２４（＝ｎ）においては、操作スイッチＴ６の操作により、第１ＳＷビットＡをプレイモード・オン（Ａ＝“１”）にセットしているだけであり、第２及び第３ＳＷビットＡは任意値（Ｂ＝“Ｘ”，Ｃ＝“Ｘ”。“Ｘ”は任意値を表わす。）であるとする。
【００８９】
これに対して、セレクタＳＬは、「ＩＤナンバ割当て」を参照することにより、マスター機１Ｔ１からの動作信号Ｍ１については、この信号に付加されているＩＤナンバ“０”からマスター機１Ｔ１からのものと判別し、対応するマスターデータＭＤを出力し、子機１Ｔ２〜１Ｔｎからの動作信号Ｍ２〜Ｍｎについては、ＩＤナンバ“１”〜“２３”により子機１Ｔ２〜１Ｔｎからのものと判別し、対応する子機データを選択する。この際、これらの子機データは、さらに、「ＩＤナンバ毎のグループ設定」に応じて、第１〜第ｍグループＳＤ１〜ＳＤｍ毎に分別されて出力される。なお、「ＩＤナンバ毎のグループ設定」によるグループ分別は、本体システム１Ｍでの設定内容に応じて変化し、１つのグループに複数の子機データが含まれることもあれば、１つのグループに１つの子機データしかないこともあり、また、全部で１グループしかない場合もある。
【００９０】
マスターデータＭＤ及び第１〜第ｍグループＳＤ１〜ＳＤｍの子機データは、情報解析部ＡＮに手渡される。マスターデータ解析ブロックＭＡではマスターデータＭＤが情報解析され、第２及び第３ＳＷビットＢ，Ｃの内容が調べられると共に、データ値の大きさや周期等が判定される。例えば、マスターデータＭＤの第２ＳＷビットＢにより「グループモード」と「個別モード」の何れが指定されているかを調べ、第３ＳＷビットＣにより「全体先導モード」と「一部先導モード」の何れが指定されているかを調べる。また、マスターデータＭＤのデータバイトの内容により、データの示す動作内容、各内容の大きさ、周期等が判定される。
【００９１】
また、子機データ解析ブロックＳＡでは、第１〜第ｍグループＳＤ１〜ＳＤｍに含まれる子機データが情報解析され、マスターデータＭＤの第２ＳＷビットＢにより指定されたモードに応じて、データ値の大きさや周期等が判定される。例えば、「グループモード」が設定されていれば、各グループＳＤ１〜ＳＤｍに属する子機データの大きさや周期の平均値が算出され、「個別モード」が設定されていれば、子機データの個々の大きさや周期が算出される。
【００９２】
次段の演奏パラメータ決定部ＰＳは、マスターデータ解析ブロックＭＡ及び子機データ解析ブロックＳＡに対応して、主設定ブロックＭＰ及び副設定ブロックＡＰで構成され、メディア（外部記憶装置１３）に記録されたＭＩＤＩファイルから選択された演奏データについて、各演奏トラックの演奏パラメータを決定する。まず、主設定ブロックＭＰにおいては、マスターデータ解析ブロックＭＡでの判定結果に基づいて、所定の演奏トラックの演奏パラメータを決定する。例えば、第３ＳＷビットＣにより「全体先導モード」が指定されている場合は、全演奏トラック（ｔｒ）について、データ値の大きさの判定結果に応じて音量パラメータ値を決定し、周期の判定結果に応じてテンポパラメータ値を設定する。また、「一部先導モード」が指定されている場合には、このモードに対応して予め設定された第１の演奏トラック（ｔｒ）（１以上の演奏トラック。例えば、メロディ音トラック）について、同様に、各判定結果に応じた音量パラメータ値及びテンポパラメータ値の決定を行う。
【００９３】
一方、副設定ブロックＡＰでは、第３ＳＷビットＣにより指定されているモードに対応する演奏トラックについて、予め設定された音色を設定すると共に、子機データ解析ブロックＳＡでの判定結果に基づいて演奏パラメータを決定する。例えば、「全体先導モード」が指定されている場合は、このモードに対応して予め設定された所定の演奏トラック（例えば、伴奏音トラック又は効果音トラックの全て）に所定の音色パラメータを設定すると共に、これらの演奏トラックの演奏パラメータを、マスターデータの判定結果による設定に加え、子機データの判定結果に応じて変更する（すなわち、子機データ値の大きさに応じて音量パラメータ値を更に変更し、子機データの周期に応じてテンポパラメータ値を更に変更する。）。この場合、音量パラメータ値については、マスターデータ判定結果による変量との乗算により算出し、テンポパラメータについては、マスターデータ解析出力による変量との算術平均により算出することが好ましい。また、「一部先導モード」が指定されている場合には、このモードに対応して予め設定された第２の演奏トラック（例えば、第１の演奏トラック以外の演奏トラック）について、各判定結果に応じて、独自に、音量パラメータ値及びテンポパラメータ値の決定を行う。
【００９４】
楽音再生部１Ｓは、上述のようにして決定された演奏パラメータに基づいて、ＭＩＤＩファイルからの選択演奏データの各演奏トラックの演奏パラメータとして採用し、また、各演奏トラックには予め設定された音色（音源）を割り当てる。これにより、演奏参加者の動作に対応した所定音色の楽音を発生することができる。
【００９５】
例えば、音楽教室等において、先生が一本のマスター機１Ｔ１を持って、演奏データ曲の主旋律の音量やテンポをコントロールし、複数の生徒がそれぞれ子機１Ｔ２〜１Ｔｎを持って、それぞれの子機操作に応じた音量やテンポの伴奏曲音や打楽器音等を発生する等、種々の態様で演奏を楽しむことができる。この場合、打楽器音として、音色選択により太鼓、かね等に設定するだけでなく、さらに、自然の風や水の音等、別種の音源を予め用意しておけば、これらの音源をも演奏トラックに指定可能とすることにより、曲の進行中に太鼓の音やかねの音、自然の風や水の音等を同時に発音させることができる。従って、誰でも参加できる多様な演奏形態を楽しむことができる。
【００９６】
また、マスター機１Ｔ１及び子機１Ｔ２〜１Ｔｎにおいて、操作スイッチＴ６の操作によりＬＥＤ発光器ＴＬを常時発光させるか或いは動作センサＭＳａの検出出力に応じて点滅させることができる。これにより、楽曲演奏の進行に合わせてバトンからＬＥＤ光が揺動したり点滅するので、楽曲演出だけでなく、視覚的な演出効果を楽しむことができる。
【００９７】
〔複数操作者による種々の楽曲演奏制御〕
なお、複数の身体情報検出送信機１Ｔ１〜１Ｔｎについては、マスター機１Ｔ１をなくする（即ち、マスター機と子機の区別をせず全て子機とする）構成とすることができることはいうまでもない。最も簡単な例は、二人の操作者にそれぞれ身体情報検出送信機を設け、デュエットで楽曲演奏を制御する場合であり、各操作者には、１つの身体情報検出送信機を設けてもよいし、複数の身体情報検出送信機を設けてもよい。例えば、図４（１）のようなバトン形の動作センサを各操作者が２つずつもち、楽曲の演奏トラック（パート）を各人が２分し更に左右の手操作で２分して計４つに分け、計４つの動作センサにより、対応する演奏トラック（パート）を個別的に制御するように構成することができる。
【００９８】
さらに、複数操作者により楽曲演奏を制御する例としては、遠隔地間でのネットワーク音楽演奏や音楽ゲームがある。例えば、音楽教室などの異なる場所で、参加者は、通信ネットワークを通じて映像を見ながら、参加者にそれぞれ設けた身体情報検出送信機で楽曲演奏をコントロールすることによって、同時に、楽音演奏の演出に参加することができる。また、各種イベントにおいては、複数のイベント参加者にそれぞれ身体情報検出送信機を設け、各身体情報検出出力により楽曲演奏のコントロールへの参加を実現することができる。
【００９９】
別の例としては、コンサート会場において、１以上の演奏者が、主制御用身体情報検出送信機により、楽曲のテンポやダイナミクス等を制御して楽曲のメインコントロールを行ない、複数の視聴者が、副制御用身体情報検出送信機を持ちＬＥＤ等で発光する光に合わせて手拍子のような音を挿入制御するサブコントロールを行うことで、音楽演奏に参加できる演出を実現することができる。さらに、テーマパークでのパレードにおいては、複数のパレード参加者が、同様に、メインコントロールで楽曲の演奏パラメータを制御したり、サブコントロールで歓声音の挿入制御や発光装置による光の演出をすることができる。
【０１００】
【発明の効果】
以上のように、この発明による演奏インターフェイスでは、複数の操作者（演奏参加者）が各運動検出器を動かしたときの夫々の動きに応じた運動検出信号（身体情報）が本体システムに伝えられ、本体システムでは、予め設定されたグループ毎に運動検出信号の平均データ値を求め、このグループ毎の平均データ値に従って、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動きに応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。
【０１０１】
また、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の身体状態にそれぞれ対応する状態検出器の状態検出信号（身体情報）が本体システムに伝えられ、本体システムでは、グループ毎に状態検出信号の平均データ値を求め、得られたグループ毎の状態検出信号の平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の身体状態をグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【０１０２】
さらに、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の動作及び身体状態にそれぞれ対応する運動検出信号及び状態検出信号（身体情報）が本体システムに伝えられ、本体システムでは、グループ毎に運動検出信号及び状態検出信号を平均した平均運動データ値及び平均状態データ値を求め、得られたグループ毎の平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動作及び身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の動作だけでなく身体状態をもグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による演奏インターフェイスを含む演奏システム全体の概略的な構成を示すブロック図である。
【図２】図２は、この発明の一実施例による身体情報検出送信機の一構成例を示すブロック図である。
【図３】図３は、この発明の一実施例による本体システムのハードウエア構成を示すブロック図である。
【図４】図４は、この発明の演奏インターフェイスに使用可能な身体情報検出機構の例を示す図であり、図４（１）は、バトン形の手持ちタイプの身体情報検出送信機の例を示し、図４（２）は、シューズ形の例を示す。
【図５】図５は、この発明の演奏インターフェイスに使用可能な身体情報検出機構の他の構成例を示す図である。
【図６】図６は、この発明の一実施例にお一いて使用されるセンサデータのフォーマット例を示す。
【図７】図７は、この発明の一実施例による１動作センサ（１次元センサ）出力による複数の解析出力を利用するシステムの機能ブロック図を示す。
【図８】図８は、この発明の一実施例における１次元加速度センサ指揮操作時における手振り動作の軌跡例及び加速度データの波形例を極めて概略的に表わした図である。
【図９】図９は、この発明の一実施例における手振り動作の軌跡及びセンサの加速度出力波形の例を表わす図である。
【図１０】図１０は、この発明の一実施例における手振り動作の軌跡及び２次元センサの加速度出力波形の例を表わす図である。
【図１１】図１１は、この発明の一実施例による動作センサ及び状態センサ併用モード時における機能ブロック図を示す。
【図１２】図１２は、この発明の一実施例によるアンサンブルモードでの機能ブロック図を示す。
【符号の説明】
ＴＤ ＬＥＤ又はＬＣＤ表示器、
ＴＳ 電源スイッチ、
ＴＬ ＬＥＤ発光器、
ＩＳ 身体情報センサ、
ＴＴａ 信号処理及び送信機装置：
Ｍｘ，Ｍｙ，Ｍｚ；Ｍ１〜Ｍｎ 動作検出信号、
Ｓｅ，Ｓｂ 状態検出信号、
Ｄｍ マスター機動作検出データ、
Ｄｅ，Ｄｂ 状態検出データ、
ＡＭ；ＭＡ，ＳＡ 動作解析ブロック、
ＡＥ，ＡＢ 状態（視点、呼吸）解析ブロック、
ＰＡ，ＰＢ 第１及び第２データ処理ブロック、
ＭＰ，ＡＰ 主設定ブロック及び副設定ブロック。
【発明の属する技術分野】
この発明は、演奏インターフェイス、より詳細には、演奏参加者と電子楽器や楽音再生装置等の楽音発生装置との間に介在し、演奏参加者の動作に応じて楽音発生装置を多彩に制御することができる演奏インターフェイスに関する。
【０００２】
【従来の技術】
一般に、電子楽器においては、音色、音高、音量及び効果の４つの演奏パラメータが決まると所望の楽音を発音することができ、ＣＤ、ＭＤ、ＤＶＤ、ＤＡＴや、ＭＩＤＩ（Musical Instrument Digital Interface）ソース等の音響情報を再生する楽音再生装置では、テンポ、音量及び効果の３つの演奏パラメータが決まると所望の楽音を再生することができる。従って、操作者と電子楽器や楽音再生装置等の楽音発生装置との間に演奏インターフェイスを設け、操作者の操作により演奏インターフェイスを用いて上述の４或いは３演奏パラメータを決定するようにすれば、操作者の操作に応じた所望の楽音を出力することができる。
【０００３】
従来、この種のインターフェイスとして、既に、操作者の動きに応じて電子楽器や楽音再生装置から出力される楽音の演奏パラメータを制御するものが提案されている。しかしながら、操作者が一人に限られたり、楽音発生装置やその演奏パラメータが１つであるので、多くの人が参加したり多彩な楽音出力を楽しんだりすることができなかった。
【０００４】
【発明が解決しようとする課題】
この発明は、演奏参加者の動きや身体状態に応じて電子楽器等の楽音発生装置の演奏パラメータを制御する演奏インターフェイスに多彩な機能を与えることにより、音楽アンサンブル、演劇、音楽教育の現場、スポーツ、イベント、コンサート、テーマパーク、さらには、音楽ゲーム用の新しい楽音コントローラとして、幼児から老人まで、だれにでも容易に楽音演出に参加することができ演奏を楽しむことができる新しいタイプの演奏インターフェイスを提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の一つの特徴に従うと、複数の操作者それぞれの動作に基づく運動を検出し、対応する運動検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の運動検出器と、これらの運動検出器についてグループ設定を行うグループ設定手段と、このグループ設定に基づいて、複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均データ値を求める身体情報解析手段と、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段とを具備する演奏インターフェイス（請求項１）が提供される。
【０００６】
この発明の別の特徴に従うと、複数の操作者それぞれの身体状態を検出し、対応する状態検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の状態検出器と、これらの状態検出器についてグループ設定を行うグループ設定手段と、このグループ設定に基づいて、状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均データ値を求める身体情報解析手段と、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段とを具備する演奏インターフェイス（請求項２）が提供される。
【０００７】
この発明の別の特徴に従うと、複数の操作者それぞれの動作に基づく運動を検出し、対応する運動検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の運動検出器と、複数の操作者それぞれの身体状態を検出し、対応する状態検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の状態検出器と、これらの運動検出器及び状態検出器についてグループ設定を行うグループ設定手段と、このグループ設定に基づいて、複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均運動データ値を求めると共に、状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均状態データ値を求める身体情報解析手段と、求められた各グループの平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段とを具備する演奏インターフェイス（請求項３）が提供される。
【０００８】
この発明による演奏インターフェイスにおいて、パラメータは、楽音の音量、テンポ、タイミング、効果或いは音高を制御するためのパラメータとすることができる（請求項４）。また、運動検出器は、操作者の動作に基づき、所定方向の運動、或いは、直交する２方向又は３方向の運動を検出して、対応する１方向成分乃至３方向成分から成る運動検出信号を出力する１次元センサ乃至３次元センサを用いることができる（請求項５）。
【０００９】
〔発明の作用〕
この発明の一つの特徴によれば、演奏インターフェイスは、操作者により所持可能な或いは操作者に設置可能な複数の運動検出器と、楽音発生装置から発生される楽音を制御するためのパラメータを生成する本体システムとにより構成される。ここで、楽音制御パラメータは、例えば、楽音の音量、テンポ、タイミング、効果或いは音高を制御する。運動検出器は、例えば、１次元乃至３次元センサであり、操作者の動作に基づく運動を検出し、対応する運動検出信号を出力する。本体システムは、これらの運動検出器についてグループ設定を行うグループ設定手段を備え、各運動検出器からの運動検出信号（身体情報）を受信すると、身体情報解析手段により、このグループ設定に基づいて、複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均データ値を求める。そして、制御手段により、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する。
【００１０】
このように、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）が各運動検出器を動かしたときの夫々の動きに応じた運動検出信号（身体情報）が本体システムに伝えられる。本体システムでは、予め設定されたグループ毎に運動検出信号の平均データ値を求め、このグループ毎の平均データ値に従って、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動きに応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。
【００１１】
この発明の別の特徴によれば、演奏インターフェイスは、操作者により所持可能な或いは操作者に設置可能な複数の状態検出器と、楽音発生装置から発生される楽音を制御するためのパラメータを生成する本体システムとにより構成される。状態検出器は、例えば、脈拍、体温、皮膚間抵抗、脳波、呼吸数、眼球の視点移動等、操作者の身体状態を検出し、対応する状態検出信号〔状態情報（生体情報、生理情報）〕を出力する。本体システムは、これらの状態検出器についてグループ設定を行うグループ設定手段を備え、各状態検出器からの状態検出信号（身体情報）を受信すると、身体情報解析手段により、このグループ設定に基づいて、複数の状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均データ値を求める。そして、制御手段により、求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する。
【００１２】
このように、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の身体状態にそれぞれ対応する状態検出器の状態検出信号（身体情報）が本体システムに伝えられる。本体システムでは、グループ毎に状態検出信号の平均データ値を求め、得られたグループ毎の状態検出信号の平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の身体状態をグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【００１３】
この発明の他の特徴によれば、演奏インターフェイスは、操作者により所持可能な或いは操作者に設置可能な複数の運動検出器及び状態検出器と、楽音発生装置から発生される楽音を制御するためのパラメータを生成する本体システムとにより構成される。本体システムは、これら運動検出器及び状態検出器についてグループ設定を行うグループ設定手段を備え、これらの運動検出器及び状態検出器からの検出信号（身体情報）を受信すると、身体情報解析手段により、このグループ設定に基づいて、これらの検出信号をグループ分けし、グループ毎に当該運動検出信号及び状態検出信号を単純平均或いは重み付け平均した平均運動データ値及び平均状態データ値を求める。そして、制御手段により、求められた各グループの平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する。
【００１４】
このように、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の動作及び身体状態にそれぞれ対応する運動検出信号及び状態検出信号（身体情報）が本体システムに伝えられる。本体システムでは、グループ毎に運動検出信号及び状態検出信号を平均した平均運動データ値及び平均状態データ値を求め、得られたグループ毎の平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動作及び身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の動作だけでなく身体状態をもグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【００１５】
つまり、この発明の演奏インターフェイスによれば、複数の操作者が運動検出器を動かしたときの夫々の運動検出信号の内容から操作者の動きをグループ毎に平均化して解析したり、複数の操作者の身体状態を表わす状態検出信号の内容から操作者の身体状態をグループ毎に平均化して総合的に解析し、これらの平均化解析結果に応じて演奏制御情報を生成するように構成されているので、複数の操作者のグループ毎の動きに応じて多彩な楽音制御を行ったり、各グループ操作者の身体状態を総合的に考慮して楽音制御を行い、楽曲演奏を一層多様に演出することができる。また、演奏参加者のグループ毎の動作（身振り）情報や状態（生体、生理）情報等の身体情報に応じて楽音発生装置の演奏パラメータを制御する機能をもたせているので、演奏参加者の身振りや生体状況に応じて演出された楽音を出力することができ、だれにでも容易に楽音の演出に参加することができる。
【００１６】
このような身体情報を取得するには、例えば、動作（身振り）情報については１次元乃至３次元の速度センサや加速度センサ等を用い、また、状態情報については、脈拍や皮膚間抵抗等の計測出力を発生する生体情報センサを用い、取得された身体情報によって楽音発生装置の２つ以上の演奏パラメータを制御する。
【００１７】
この発明の１つの実施態様では、また、複数の演奏参加者が、同時に、電子楽器や楽音作成装置等の楽音発生装置を共有し制御するようなシステムにすることができる。具体的には、一人乃至複数の演奏参加者が、１次元乃至３次元センサ或いは生体情報センサを所定の身体部位（例えば、手や足）に設置し、センサによる検出データを無線で楽音発生装置の受信機にワイヤレス送信し、楽音発生装置側では検出データの解析を行い解析結果に基づいて楽音発生装置の演奏パラメータを制御する。
【００１８】
この発明の１つの実施態様においては、演奏インターフェイスの身体情報入力手段として１次元乃至３次元センサを利用し、楽音発生装置の２つ以上の演奏パラメータを制御したり、或いは、身体情報として生体情報を入力して何らかの演奏パラメータを制御する。さらに、１次元乃至３次元センサ出力と生体情報とを同時に利用して演奏パラメータを制御することもできる。
【００１９】
この発明の別の実施態様においては、演奏インターフェイスの身体情報入力手段として１次元乃至３次元センサを用い、出力される楽音のテンポを制御する。この場合、１次元乃至３次元センサ出力の周期性を演奏パラメータとして利用する。また、生体情報を入力して楽音のテンポを制御することもでき、３次元センサ出力と生体情報を同時に利用して演奏パラメータを制御することもできる。
【００２０】
この発明の他の実施態様においては、２つ（例えば、両手）或いは一方（例えば、片方の手）の１次元乃至３次元センサ等の動作センサや他の状態センサを含む身体情報検出センサによる複数の演奏参加者からの検出データについて、任意に選んだ複数個の検出データを単純平均又は重み付け平均した平均値、全数個の検出データを単純平均又は重み付け平均した平均値、若しくは、或る時間範囲の中で時刻的に最後又は最初のデータ値等、所定の規則で選択された特徴的データ値を算出し、算出されたデータ値を利用して演奏パラメータを制御する。
【００２１】
この発明は、純音楽的な楽曲演奏だけでなく、種々の楽音演奏環境に適用することができる。この発明の適用環境には、例えば、次のようなものがある：
（１）楽曲演奏のコントロール（指揮モード＝プロモード、セミオートモード）。
（２）伴奏音、外部音コントロール
各種打楽器音、ベル、自然音を内蔵若しくは外部の音源を利用して、複数人又は１人で楽曲演奏をコントロールする。例えば、所定演奏トラックの音源をハンドベル、和楽器、ガムラン、パーカッション（アンサンブル）等の音とし、楽曲（主旋律演奏トラック）中に挿入する。
（３）複数人による演奏（音楽アンサンブル）
複数人がそれぞれセンサを持ち、２人以上からのセンサ出力値について、単純平均或いは重み付け平均した平均値データ、若しくは、或る時間範囲の中で時刻的に最後又は最初のデータ等、所定の規則で選択されたデータを基にして、楽曲演奏をコントロールする。
（利用例）音楽教育の現場における楽曲演奏＝例えば、先生がマスターセンサを持ち、楽曲のテンポ及び音量をコントロールする。生徒は子機センサにより、ハンドベル的な機能、日本古来（和楽）の太鼓やかねなど（更に、自然の風や水の音を同時に発音させて）、種々の選択音を楽曲中に入れて行く（先生と生徒が楽音演奏に互いに参加意識を持ちながら楽しく授業を行う）。
（４）タップダンスの伴奏。
（５）遠隔地間でのネットワーク音楽演奏（映像併用）（音楽ゲーム）
異なる場所の人間が通信ネットワークを通じて同時に楽曲演奏をコントロールする。例えば、遠隔地の人間がネットワークを通じて音楽教室などで映像を見ながら、同時に、楽音演奏を演出する。
（６）ゲームにおける興奮状態応答楽音コントロール。
（７）ジョギング、エアロビクス等、スポーツにおける背景音楽（ＢＧＭ）コントロール（バイオモード、健康モード）
例えば、心拍数にテンポを合わせて聞いたり、ジョギング、エアロビクス等の動作と心拍数などを考慮にして、或る設定心拍数を超えると、音楽のテンポや音量等を自然に下げる。
（８）演劇。
演劇時に、剣術の舞の時の剣の立ち回りに応じて、切れる音、風きり音などの効果音の発音をコントロールする。
（９）イベント。
各種イベントにおける、例えば、参加型リモコン、参加型コントローラ、参加型入力装置、参加型Ｇａｍｅなど。
（１０）コンサート。
コンサート会場にて、演奏者が曲のメインコントロール（テンポ、ダイナミックス等）を行ない、視聴者はサブコントロール部をもって、ＬＥＤ等で発光する光に合わせて簡単に手拍子のように音楽演奏に参加できる演出を行う。
（１１）テーマパーク。
テーマパークでのパレードにおいて、曲の演奏をコントロールしたり、発光装置による光の演出をコントロールする。
【００２２】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例について詳述する。なお、以下の実施例は、単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００２３】
〔システム全体の構成〕
図１には、この発明の一実施例による演奏インターフェイスを含む演奏システム全体の概略的な構成が示されている。この例では、システムは、複数の身体情報検出送信機１Ｔ１〜１Ｔｎ、情報受信及び楽音コントローラ１Ｒと楽音再生部１Ｓとから成る本体システム１Ｍ、ホストコンピュータ２、サウンドシステム３及びスピーカシステム４により構成されており、身体情報検出送信機１Ｔ１〜１Ｔｎと情報受信及び楽音コントローラ１Ｒとにより演奏インターフェイスが構成される。
【００２４】
複数の身体情報検出送信機１Ｔ１〜１Ｔｎは、動作センサＭＳ１〜ＭＳｎ及び状態センサＳＳ１〜ＳＳｎの双方或いは何れか一方を備え、両センサＭＳａ，ＳＳａ（ａ＝１〜ｎ）は、演奏情報の演出に参加する複数の操作者各人の手で把持されるか、或いは、各演奏参加者の身体の所定部位に取り付けられる。各動作センサＭＳａは、各演奏参加者の身振りや動きを検出しこれに応じて動作信号を出力するものであり、例えば、３次元加速度センサや３次元速度センサ等の所謂「３次元センサ」（ｘ，ｙ，ｚ）などの外、２次元センサ（ｘ，ｙ）、歪み検出器、で構成することができる。また、状態センサＳＳａは、各参加者の身体の脈拍（脈波）、皮膚間抵抗、脳波、呼吸、瞳の動き等を計測して得られる状態信号を出力する所謂「生体情報センサ」である。
【００２５】
複数の身体情報検出送信機１Ｔ１〜１Ｔｎは、それぞれ、信号処理及び送信装置（図示せず）を介して、身体情報センサＭＳ１〜ＭＳｎ，ＳＳ１〜ＳＳｎからの動作信号及び状態信号を検出信号として情報受信及び楽音コントローラ１Ｒに送信する。情報受信及び楽音コントローラ１Ｒは、受信処理部ＲＰ、情報解析部ＡＮ及び演奏パラメータ決定部ＰＳを有し、パーソナルコンピュータ（ＰＣ）で構成されるホストコンピュータ２と交信可能であり、ホストコンピュータ２と連繋して演奏パラメータ制御のためのデータ処理を行う。
【００２６】
つまり、情報受信及び楽音コントローラ１Ｒは、身体情報検出送信機１Ｔ１〜１Ｔｎから検出信号を受信すると、受信処理部ＲＰにおいては、所定の条件の下で対応データが抽出され、抽出された動作データ或いは状態データは検出データとして情報解析部ＡＮに手渡される。情報解析部ＡＮでは、例えば、検出信号の繰返し周期から身体テンポを検出する等、検出データの解析が行われる。そして、演奏パラメータ決定部ＰＳは、検出データの解析結果に基づいて楽音の演奏パラメータを決定する。
【００２７】
楽音再生部１Ｓは、演奏データ制御部ＭＣ及び音源部ＳＢを有し、例えば、ＭＩＤＩ形式の演奏データに基づいて楽音信号を生成する。演奏データ制御部ＭＣは、本体システム１Ｍで生成される演奏データ或いは予め用意された演奏データを、演奏パラメータ決定部ＰＳで設定された演奏パラメータに応じて変更する。そして、音源部ＳＢは、変更された演奏データに基く楽音信号を生成し、サウンドシステム３に送信し、スピーカシステム４より、対応する楽音を放音する。
【００２８】
この発明の一実施例による演奏インターフェイス（１Ｔ１〜１Ｔｎ・１Ｍ）においては、このような構成によって、操作者が動作センサＭＳ１〜ＭＳｎを動かすと、情報解析部ＡＮが、動作センサＭＳ１〜ＭＳｎの検出データから操作者の動きを解析する。演奏パラメータ決定部ＰＳは、この解析結果に応じて演奏パラメータを決定し、楽音再生部１Ｓは演奏パラメータに基づく楽音演奏データを生成する。従って、動作センサの動きを反映して所望に制御された楽音がサウンド及びスピーカシステム３，４を介して放音される。情報解析部ＡＮは、また、運動センサＭＳ１〜ＭＳｎの運動解析と同時に、状態センサＳＳ１〜ＳＳｎからの状態情報（生体情報、生理情報）から操作者の身体状態を解析し、これらの解析結果に応じた演奏パラメータを生成する。従って、操作者の動きに応じるだけでなく、操作者の身体状態を考慮して、楽曲演奏を多様に制御することができる。
【００２９】
〔身体情報検出送信機の構成〕
図２は、この発明の一実施例による身体情報検出送信機の一構成例を示す。各身体情報検出送信機１Ｔａ（ａ＝１〜ｎ）は、動作センサＭＳａや状態センサＳＳａといった身体情報センサの外に信号処理及び送信装置を備え、信号処理及び送信装置は、送信機中央処理装置（送信機ＣＰＵ）Ｔ０、メモリＴ１、高周波トランスミッタＴ２、表示ユニットＴ３、充電コントローラＴ４、送信用電力増幅器Ｔ５、操作スイッチＴ６等から構成される。動作センサＭＳａは、演奏参加者が手に持ったり或いは演奏参加者の任意箇所に取り付けたりすることができる構造である。動作センサＭＳａを手持ちタイプにする場合、信号処理及び送信装置を動作センサＭＳａと共にセンサ筐体内に組み込むことができる。また、状態センサＳＳａは、検出すべき状態に応じて身体の所定箇所に取り付られる。
【００３０】
送信機ＣＰＵＴ０は、メモリＴ１に記録された送信機動作プログラムに基づいて、動作センサＭＳａ、状態センサＳＳａ、高周波トランスミッタＴ２、表示ユニットＴ３及び充電コントローラＴ４の動作を制御する。身体情報センサＭＳａ，ＳＳａからの検出信号は、送信機ＣＰＵＴ０により、ＩＤナンバの付加処理等所定の処理が施され、高周波トランスミッタＴ２に伝送され、さらに、送信用電力増幅器Ｔ５で増幅された上、送信アンテナＴＡを介して本体システム１Ｍ側に送信される。
【００３１】
表示ユニットＴ３は、例えば、７セグメント形式のＬＥＤ又はＬＣＤ表示器や、１個乃至複数個のＬＥＤ発光器（何れも図示せず）を備え、ＬＥＤ表示器には、センサナンバ、動作中、電源アラーム等を表示する。ＬＥＤ発光器は、例えば、操作スイッチＴ６の操作状態に応じて、常時発光させるか、或いは、送信機ＣＰＵＴ０の制御により動作センサＭＳａの検出出力に応じて点滅させる。操作スイッチＴ６は、ＬＥＤ発光器の点滅制御に用いる外に、モード設定等、種々の設定を行うのにも用いられる。充電コントローラＴ４は、ＡＣアダプタＴ７に商用電源を接続したとき電池電源Ｔ８の充電を制御し、電池電源Ｔ８に備えられた電源スイッチ（図示せず）のオンにより電池電源Ｔ８から送信機各部に電源供給がなされる。
【００３２】
〔本体システムの構成〕
図３は、この発明の一実施例による本体システムのハードウエア構成のブロック図である。この例では、本体システム１Ｍは、本体中央処理装置（本体ＣＰＵ）１０、読出専用メモリ（ＲＯＭ）１１、ランダムアクセスメモリ（ＲＡＭ）１２、外部記憶装置１３，タイマ１４，第１及び第２の検出回路１５，１６、表示回路１７、音源回路１８、効果回路１９、受信処理回路１Ａ等を備え、これらの装置１０〜１Ａは、バス１Ｂを介して互いに接続されている。バス１Ｂには、ホストコンピュータ２と通信するための通信インターフェイス（Ｉ／Ｆ）１Ｃが接続され、さらに、ＭＩＤＩインターフェイス（Ｉ／Ｆ）１Ｄが接続される。
【００３３】
本体システム１Ｍ全体を制御する本体ＣＰＵ１０は、テンポクロックや割込みクロックの発生等に利用されるタイマ１４による時間管理の下、所定のプログラムに従って種々の制御を行い、特に、この発明による演奏パラメータ決定や演奏データ変更及び再生制御に関する演奏インターフェイス処理プログラムを中枢的に遂行する。ＲＯＭ１１には、本体システム１Ｍを制御するための所定の制御プログラムが記憶されており、これらの制御プログラムには、演奏パラメータ決定や演奏データ変更及び再生制御に関する演奏インターフェイス処理プログラム、、各種データ／テーブル等を含ませることができる。ＲＡＭ１２は、これらの処理に際して必要なデータやパラメータを記憶し、また、処理中の各種データを一時記憶するためのワーク領域として用いられる。
【００３４】
第１の検出回路１５にはキーボード１Ｅが接続され、第２の検出回路１６には、マウス等のポインティングデバイス１Ｆが接続され、表示回路１７にはディスプレイ１Ｇが接続される。これにより、ディスプレイ１Ｇに表示される各種画面を視認しつつキーボード１Ｅやポインティングデバイス１Ｆを操作し、本体システム１Ｍでの演奏データ制御に必要な各種モードの設定、ＩＤナンバに対応する処理・機能の割当て、演奏トラックへの音色（音源）設定等、種々の設定操作を行うことができる。
【００３５】
この発明によると、受信処理回路１Ａにはアンテナ分配回路１Ｈが接続され、このアンテナ分配回路１Ｈは、例えば、多チャンネル高周波レシーバで構成され、複数の身体情報検出送信機１Ｔ１〜１Ｔｎからの動作信号及び状態信号を受信アンテナＲＡを介して受信する。受信処理回路１Ａは、受信信号を本体システム１Ｍで処理可能な動作データ及び状態データに変換してシステム内に取り込み、ＲＡＭ１２の所定領域に格納する。
【００３６】
本体ＣＰＵ１０による演奏インターフェイス処理機能により、各演奏参加者の身体の動作及び状態を表わす動作データ及び状態データを解析し、解析結果に基づいて演奏パラメータを決定する。ＤＳＰ等で構成される効果回路１９は、音源回路１８及び本体ＣＰＵ１０と共に、音源部ＳＢの機能を実現するものであり、設定された演奏パラメータに基づいて、演奏される演奏データを制御することにより、演奏参加者の身体情報に応じて演出処理された演奏データを生成する。そして、効果回路１９に接続されるサウンドシステム３は、スピーカシステム４を介して、演出処理された演奏データに基づく楽音信号に応じて演奏楽音を放音する。
【００３７】
なお、外部記憶装置１３は、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）ドライブ、フロッピィディスクドライブ（ＦＤＤ）、光磁気（ＭＯ）ディスクドライブ、ディジタル多目的ディスク（ＤＶＤ）ドライブ等の記憶装置から成り、各種制御プログラムや各種データを記憶することができる。従って、演奏パラメータ決定や演奏データ変更及び再生制御に必要な演奏インターフェイス処理プログラム、各種データ等は、ＲＯＭ１１を利用するだけでなく、外部記憶装置１３からＲＡＭ１２内に読み込むことができ、必要に応じて、処理結果を外部記憶装置１３に記録しておくこともできる。さらに、外部記憶装置１３、特に、ＣＤ−ＲＯＭ、ＦＤ、ＭＯ、ＤＶＤ等のメディアには、例えば、ＭＩＤＩ形式の種々の演奏楽曲データはＭＩＤＩファイルとして格納されており、これを利用して、所望の演奏楽曲データを本体システム内に取り込むことができる。
【００３８】
また、このような処理プログラムや演奏楽曲データは、通信Ｉ／Ｆ１Ｃ及び通信ネットワークを介して接続されるホストコンピュータ２から、本体システム１Ｍに取り込み、或いは、ホストコンピュータ２に送り出したりすることができる。例えば、音源ソフトウエアや、演奏楽曲データ等のソフトウエアは、通信ネットワークを通じて配信できるようにする。さらに、ＭＩＤＩＩ／Ｆ１Ｄに接続される他のＭＩＤＩ機器１Ｊと通信し、演奏データ等を受信してこれを利用したり、或いは、逆に、この発明の演奏インターフェイス機能により演出処理された演奏データを送り出す。これによって、本体システム１Ｍの音源部（図１：ＳＢ、図３：１８・１９）を省略し、音源部の機能を他のＭＩＤＩ機器１Ｊに与えることができる。
【００３９】
〔動作センサの構成例〕
図４及び図５は、この発明の演奏インターフェイスに使用可能な身体情報検出機構の例を示す。図４（１）は、バトン形の手持ちタイプの身体情報検出送信機の例である。この身体情報検出送信機は、操作部及び表示部を除く図２の諸装置を内蔵している（状態センサＳＳａを備えていない。）。内蔵される動作センサＭＳａには、例えば、３次元加速度センサや３次元速度センサ等の３次元センサが用いられ、このバトン形送信機を演奏参加者が手に持って操作することにより操作の方向及び大きさに応じた動作信号を出力することができる。
【００４０】
この送信機の外観構造は、図示のように、両端側が大径で中央側が小径のテーパ状をなす基部（図示左寄り）及び端部（図示右寄り）から成り、基部は、平均径が端部より小さく手で握りやすくなっており、把持部として機能する。底部（図示左端）外面には表示ユニットＴ３のＬＥＤ表示器ＴＤ及び電池電源Ｔ８の電源スイッチＴＳが設けられ、中央部外面には操作スイッチＴ６が設けられ、端部の先端近傍には表示ユニットＴ３の複数個のＬＥＤ発光器ＴＬが設けられる。
【００４１】
図４（１）に示すバトン形送信機は、演奏参加者がバトンの基部を手で握って操作すると、内蔵された３次元センサから操作方向と操作力に応じた動作信号が出力される。例えば、操作スイッチＴ６の取付方向にｘ方向の検出軸を合わせて３次元加速度センサが内蔵されている場合、バトンを操作スイッチＴ６の取付位置が上になるように持って上下に振ると、振り加速度（力）に応じたｘ方向の加速度αｘを表わす信号出力が発生し、バトンを左右（紙面に垂直）に振ると、振り加速度（力）に応じたｙ方向の加速度αｙを表わす信号出力が発生し、バトンを前後（紙面の左右）に突いたり引いたりすると、突き加速度或いは引き加速度に応じたｚ方向の加速度αｚを表わす信号出力が発生する。
【００４２】
図４（２）は、シューズの踵部分に動作センサを埋め込んだシューズ形の例を示す。動作センサＭＳａは、例えば、歪み検出器（垂直ｘ軸方向の１次元センサ）或いは２次乃至３次元センサ（左右ｙ軸方向乃至つま先ｚ軸方向）であり、シューズの踵部分に埋め込まれる。また、この例では、図２の身体情報検出送信機１Ｔａのうちセンサ部を除く諸装置は、例えば、腰ベルトに取り付けた信号処理及び送信機装置（図示せず）に組み込まれ、動作センサＭＳａの動作検出出力はワイヤ（図示せず）を介して検出処理及び送信機装置に入力されるようになっている。このようなシューズ形の動作センサは、例えば、ラテン音楽等の演奏でタップダンスをする際に、検出信号の周期に応じて演奏楽曲のテンポを制御したり、検出タイミングに応じて打楽器音量の増大やタップ音の挿入（特定演奏トラックを利用）を行ったりするのに用いることができる。
【００４３】
一方、状態センサＳＳａは、手に持って状態情報を取得し得る場合は上述のバトン形に類似した手持ちタイプで実施することもできるが、通常は、取得したい状態情報の種類に対応する身体状態検知部位に取り付け、状態センサＳＳａの状態検出出力を、ワイヤを介して、演奏参加者の他の所要部位（胴衣、帽子、眼鏡、首輪、腰ベルト等々）に設けられた信号処理及び送信機装置に与えるように構成する。
【００４４】
図５は、身体情報検出機構の他の構成例を示す。この例では、指輪タイプの身体情報センサＩＳ及び信号処理及び送信機装置ＴＴａにより身体情報検出送信機１Ｔａが構成される。身体情報センサＩＳは、例えば、２次元乃至３次元センサや歪み検出器のような動作センサＭＳａ、或いは、脈拍（脈波）検出器のような状態センサＳＳａを用いることができ、図示のように、１つの指（人指し指）だけでなく、複数の指に設置することができる。図２の身体情報検出送信機１Ｔａのうちセンサ部を除く諸装置は、腕輪形で支持される検出処理及び送信機装置ＴＴａに組み込まれ、身体情報センサＩＳの検出出力はワイヤ（図示せず）を介して信号処理及び送信機装置ＴＴａに入力される。
【００４５】
信号処理及び送信機装置ＴＴａには、図４（１）と同様に、ＬＥＤ表示器ＴＤ、電源スイッチＴＳ及び操作スイッチＴ６が設けられるが、ＬＥＤ発光器ＴＬは備えていない。なお、身体情報センサＩＳに動作センサＭＳａを用いる場合は必要に応じて身体状態の検知が可能な他の部位に状態センサＳＳａを設け、また、身体情報センサＩＳに状態センサＳＳａを用いる場合には、必要に応じて、動作センサＭＳａ〔例えば、図４（２）のような動作センサＭＳａ〕を動作の検知が可能な他の部位に設けるようにすることができる。
【００４６】
〔センサデータのフォーマット〕
この発明の一実施例においては、動作センサや状態センサの検出信号が表わすデータには、各センサのＩＤナンバが付与され、本体システム１Ｍ側でセンサを識別し、対応する処理を行うのに用いられる。図６は、センサデータのフォーマット例を示す。ＩＤナンバは、最上位５ビット（ビット０〜４）が使用され、最大３２個の番号を付与することができる。
【００４７】
次の３ビット（ビット５〜７）は、スイッチ（ＳＷ）ビットであり、モード指定、スタート／ストップ、曲選択、頭出し等、最大８種の各種指定を行うのに用いることができ、本体システム１Ｍ側でＩＤナンバ毎に設定されるスイッチテーブルに従って解読される。このＳＷビットは、操作スイッチＴ６により全ビットを指定したり、一部ビットのみセット可能とし残りをセンサ毎に予め設定しておいたり、或いは、全ビットを予め設定しておくこともできる。通常は、操作スイッチＴ６により少なくとも第１ＳＷビットＡ（ビット５）をプレイモードオン（Ａ＝“１”）／オフ（Ａ＝“０”）を指定することができるようにしておくのが好ましい。
【００４８】
次の３つのバイト（＝８ビット）は、データバイトであり、３次元センサを用いる場合は、図示のように、ｘ軸データ（ビット８〜１５）、ｙ軸データ（ビット１６〜２３）及びｚ軸データ（ビット２４〜３１）が割り当てられ、２次元センサの場合は第３データバイト（ビット２４〜３１）を拡張データ領域として用いることができ、１次元センサの場合は第２及び第３データバイト（ビット１６〜３１）を拡張データ領域として用いることができる。また、他の種類の情報センサに対しては、それぞれの検出態様に応じたデータ値をこれらのデータバイトに割り当てることができる。
【００４９】
〔動作センサの利用＝複数解析出力の利用〕
この発明の一実施例においては、演奏参加者が操作体を操作することにより生じる動作センサ出力を処理して得られる複数の解析出力によって、楽曲演奏に所望の制御を加えることができる。例えば、動作センサとして１方向のみの加速度（力）を検出する１次元加速度センサを用いる場合には、図７に示すような基本構成によって、楽曲演奏に関わる複数の演奏パラメータを制御することができる。ここで、１次元加速度センサＭＳａは、例えば、図４（１）に示されるバトン形構造の身体情報検出送信機において、所定の一方向（例えば、上下ｘ軸方向）成分のみの加速度（力）を検出する加速度検出器（ｘ軸検出部）Ｓａを内臓した操作体として構成されている。
【００５０】
図７において、演奏参加者がこのような操作体を手に持って振るなどの操作をすると、１次元加速度センサＭＳａは、その操作加速度（力）のうち所定の一方向（ｘ軸方向）成分のみの加速度αを表わす検出信号Ｍａを本体システム１Ｍに出力する。本体システム１Ｍでは、予め設定されたＩＤナンバがこの検出信号に付加されていることを確認すると、低域通過、高域除去等によりノイズ成分を除去し有効成分を通す帯域通過フィルタ機能、及び、重力分除去のための直流カット機能を有する受信処理部ＲＰを介して、加速度αを表わす有効データが情報解析部ＡＮに手渡される。
【００５１】
情報解析部ＡＮは、この加速度データを解析し、絶対加速度｜α｜の時間経過波形｜α｜（ｔ）のローカルピークの発生時刻を表わすピーク時点Ｔｐ、ローカルピークの高さを表わすピーク値Ｖｐ、次式（１）で表わされローカルピークの鋭さを示すピークＱ値Ｑｐ、ローカルピーク間の時間間隔を表わすピークインターバル、ローカルピーク間の谷の深さ、ピークの高周波成分の強さ、加速度α（ｔ）のローカルピークの極性等を抽出する：
【数１】
【００５２】
演奏パラメータ決定部ＰＳは、これらの検出出力Ｔｐ，Ｖｐ，Ｑｐ，…に応じて、拍タイミングＢＴ、ダイナミクス（ベロシティやボリューム）ＤＹ、或いは、アーティキュレーションＡＲ、音高（ピッチ）、音色等、種々の演奏パラメータを決定し、楽音再生部１Ｓの演奏データ制御部において、決定された演奏パラメータに基づいて演奏データを制御し、サウンドシステム３を介して楽音演奏の出力を行う。例えば、ピーク発生時刻（時点）Ｔｐに応じて拍タイミングＢＴを制御し、ピーク値Ｖｐに応じてダイナミクスＤＹを制御し、ピークＱ値Ｑｐに応じてアーティキュレーションＡＲを制御し、また、ローカルピークの極性に応じて表拍か裏拍かを決定し拍番号の弁別を行う。
【００５３】
図８は、１次元加速度センサＭＳａを手に持って指揮操作した場合における手振り動作の軌跡例及び加速度データαの波形例を極めて概略的に示しており、縦軸の加速度値“α（ｔ）”は加速度データαの絶対値（極性なし）つまり絶対加速度“｜α｜（ｔ）”を表わしている。図８（１）は、２ビートのエスプレシヴォ（espressivo=expressively;「表情豊かに」）指揮動作時における動作軌跡例（ａ）及び加速度波形例（ａ）を示し、この軌跡例（ａ）では、黒丸で示す動作点Ｐ１，Ｐ２で指揮動作を停止せず、常に滑らかに柔らかく動いている。一方、図８（２）は、２ビートのスタッカート（staccato ;「音を明確に分離して」）指揮動作時における動作軌跡例（ｂ）及び加速度波形例（ｂ）を示し、この軌跡例（ｂ）は、×印で示す動作点Ｐ３，Ｐ４で一時停止し、素早く鋭い指揮動作を表わしている。
【００５４】
従って、このような指揮動作に相応して、例えば、ピーク発生時刻（時点）Ｔｐ＝ｔ１，ｔ２，ｔ３，…；ｔ４，ｔ５，ｔ６，…により拍タイミングＢＴを決定し、ピーク値ＶｐによりダイナミクスＤＹを決定し、また、ローカルピークのＱ値Ｑｐによりアーティキュレーション・パラメータＡＲを決定する。つまり、図８（１）のエスプレシヴォ動作時及び図８（２）のスタッカート動作では、ピーク値Ｖｐにはあまり差がないが、ローカルピークのＱ値は十分に異なるので、このＱ値Ｑｐを用いてスタッカートからエスプレシヴォの間のアーティキュレーションの程度を制御するのである。このアーティキュレーション・パラメータＡＲの使い方については、以下に、もう少し詳しく説明しよう。
【００５５】
ＭＩＤＩ曲データは、多数の楽音について、音高情報等と共に、発音開始タイミング及び消音開始（発音停止）タイミングを表わす情報を有している。この発音の開始から停止までの時間、即ち、音が鳴っている時間長を、「ゲートタイム」と呼んでいる。このゲートタイムＧＴを曲データのゲートタイム値より短くすることにより、つまり、曲データゲートタイムＧＴ０に乗算する係数Ａｇｔを用いて説明すると、例えば、Ａｇｔ＝０．５としゲートタイムＧＴ０の０．５倍とすることにより、スタッカート的な演奏が得られる。また、逆に、例えば、ａ＝１．８即ち１．８倍として、曲データ本来のゲートタイム値より長くすると、エスプレシヴォ的な演奏が得られる。
【００５６】
そこで、このゲートタイム係数Ａｇｔをアーティキュレーション・パラメータＡＲとして採用しローカルピークのＱ値Ｑｐに応じて変化させる。例えば、次式（２）に示すように、ローカルピークのＱ値Ｑｐの線形変換を行い、このようにＱ値Ｑｐに応じて変化する係数Ａｇｔを用いてゲートタイムＧＴを調整することにより、アーティキュレーションＡＲを制御することができる：
Ａｇｔ ＝ ｋ１×Ｑｐ ＋ ｋ２ ……（２）
【００５７】
演奏パラメータの制御にはピークＱ値Ｑｐの外に、図８の各波形例（ａ），（ｂ）に示される絶対加速度｜α｜の時間波形における谷の深さや、高周波成分の強さ等を使ったり、これらを併用してもよい。図示の軌跡例（ｂ）では、一時停止の時間が軌跡例（ａ）よりも長く、波形の谷は深く、値がより“０”に近い。また、軌跡例（ｂ）では、動作が軌跡例（ａ）よりも鋭いので、高周波成分が軌跡例（ａ）よりも強い。
【００５８】
さらに、ピークＱ値Ｑｐによって、例えば、音色を制御することができる。一般に、シンセサイザでは、音波形の包絡線形状を、アタック（立上り）部Ａ、ディケイ部Ｄ、サスティンＳ及びリリースＲで決めるが、アタック部Ａの立上り速さ（傾斜）が低いと柔らかい音色になり、逆に高いと鋭い音色になる傾向がある。そこで、１次元加速度センサＭＳａを装着した操作体を演奏参加者が手振り操作した場合、手振り動作加速度（αｘ）の時間波形におけるローカルピークのＱ値によって、このアタック部Ａの立上り速さを制御することにより等価的な音色をコントロールすることができる。
【００５９】
なお、この例では音波形の包絡線形状ＡＤＳＲの一部を制御して等価的に音色をコントロールするようにしたが、例えば、ダブルベースの音色からバイオリンの音色へというように、音色自体（所謂“ボイス”）を切り替えてもよいし、この方法をＡＤＳＲ制御による方法と併用してもよい。また、原因情報として、ローカルピークのＱ値だけでなく、波形の高周波成分の強さや他の情報を用いてもよい。
【００６０】
また、検出出力に応じてリバーブ等の効果（所謂“エフェクト”）パラメータを制御することもできる。例えば、ローカルピークのＱ値を利用してリバーブ時間を制御する。このＱ値が高いということは、演奏参加者が操作体を鋭く振る動作に対応するが、このようなキビキビとした鋭い動作ではリバーブを短くして音の歯切れをよくする。逆に、Ｑ値が低いときは、リバーブを長くして緩やかでゆったりとした音にする。もちろん、意図的にこの関係を逆にしたり、別の効果パラメータ（例えば、音源部ＳＢのフィルタカットオフ周波数など）を制御したり、これら複数の効果パラメータを制御するようにしても良い。この場合も、原因情報として、ローカルピークのＱ値だけに限定されず、波形の高周波成分の強さや他の情報を用いることができる。
【００６１】
さらに、ピークインターバルを利用してローカルピーク発生時点で打楽器音を発生させる打楽器発音モードを演出することができる。この打楽器発音モードにおいては、抽出されたピークインターバルが長いときは、例えば、ベースドラムのような低い音高の打楽器を鳴らし、素早い振り動作でピークインターバルが短いときは、例えば、トライアングルのような高い音高の打楽器を鳴らす。もちろん、逆の関係にしてもよいし、音色（ボイス）を切り替えるのではなく、１つの音色のままピッチ（音高）のみを連続的或いは段階的に変化させてもよい。さらに、音色（ボイス）は、２種ではなく、多種のものが移り変わっていくようにしたり、或いは、音量クロスフェードを行いながら徐々に変化するようにしてもよい。また、ピッチインターバルの利用については、打楽器に限定しないで、例えば、ダブルベースからバイオリンへというように、弦楽器音色を変化させると共に音高も変化させるというように、他の楽器の音色及び音高を変えるようにしてもよい。
【００６２】
〔複数の動作センサ出力の利用〕
この発明の一実施例においては、また、演奏参加者が操作体を操作することにより生じる複数の動作センサ出力を処理することによって、楽曲演奏に所望の制御を加えることができる。このような動作センサには、例えば、図４（１）に示すようなバトン形構造体にｘ軸及びｙ軸検出部を備える２次元センサ、或いは、更にｚ軸検出部を備える３次元センサを内蔵させたものを用いるのが好適である。この動作センサが装着された操作体を握って、ｘ軸乃至ｙ軸方向、更には、ｚ軸方向に操作すると、各軸センサの動作検出出力は解析され操作（動き）種別が判定され、その判定結果に応じて楽曲の複数の演奏パラメータ、例えば、テンポ、音量等が制御される。従って、演奏参加者は、楽曲演奏に対して指揮者のように振る舞うことができる（指揮モード）。
【００６３】
指揮モードの場合、指定された制御可能な複数の演奏パラメータを常にセンサの動作検出出力により制御するモード（プロモード）と、センサ出力がある場合はセンサ出力で演奏パラメータを制御するが、センサ出力が無い場合にはオリジナルのＭＩＤＩデータのまま再生するモード（セミオートモード）に設定することができる。
【００６４】
ここで、指揮動作のための動作センサとして２次元センサを用いると、１次元センサを用いる場合と同様に、種々の解析を行いこれに応じて種々の演奏パラメータを制御することができ、しかも、１次元センサに比べて、振り動作をより忠実に反映する解析出力が得られる。例えば、上述の２次元加速度センサを装着した操作体（指揮棒）を持って、図７及び図８の１次元センサと同様に手振り動作を行うと、２次元センサのｘ軸及びｙ軸検出部から、それぞれ、ｘ軸（上下／縦）方向の加速度αｘ及びｙ軸（左右／横）方向の加速度αｙを表わす信号が本体システム１Ｍに出力される。本体システム１Ｍでは、各軸の加速度データが受信処理部を介して情報解析部に手渡されて各軸加速度データが解析され、次式（３）で表わされる絶対加速度即ち加速度の絶対値｜α｜が求められる：
【数２】
図９は、ｘ軸及びｙ軸用に２個の加速度検出器（静電型加速度センサ：東プレ“TPR70G-100”）を用いた２次元加速度センサを指揮棒に装着し、演奏操作者がこの指揮棒を右手で持ち指揮操作した場合に得られた手振り動作の軌跡及び加速度波形の一例を示す。指揮軌跡は、２次元の動作軌跡として表され、図９（１）に示すように、例えば、（ａ）２ビートのエスプレシヴォ指揮動作、（ｂ）２ビートのスタッカート指揮動作、（ｃ）２ビートのエスプレシヴォ指揮動作及び（ｄ）３ビートのスタッカート指揮動作における軌跡が得られる。図中、“（１）”〜“（３）”は振り動作（拍打動作）区分を表わし、（ａ）及び（ｂ）は「２つ振り」（２ビート）であり、（ｃ）及び（ｄ）は「３つ振り」（３ビート）である。また、図９（２）は、演奏操作者の指揮動作による各軌跡例（ａ）〜（ｄ）に対応してセンサの各軸検出器から得られる検出出力を表わしている。
【００６６】
ここで、各軸検出器の検出出力は、前述した１次元センサの場合と同様に、本体システム１Ｍの受信処理部で指揮動作認識に不要な周波数成分を除去する帯域通過フィルタに通す。もし、机等にセンサを固定しても地球の重力のため加速度センサ出力αｘ，αｙ，｜α｜はゼロにならないが、この成分も、指揮認識には不要なので直流カットフィルタにて除去する。指揮動作の方向は２次元加速度センサの検出出力の符号や強さとして現われ、振り動作（拍打動作）の発生タイミングは加速度絶対値｜α｜のローカルピークとして現われ、このローカルピークは、演奏の拍打タイミングをとるのに利用される。従って、拍番号の弁別には、正負の値を取る２次元の加速度データαｘ，αｙを活用するが、拍打タイミング検出には加速度絶対値｜α｜のみを使う。
【００６７】
拍打動作発生時の加速度αｘ，αｙは、実際には、拍打動作方向により極性も強さも大きく変化し、多くの疑似ピークを含む複雑な波形であるので、このままでは拍打タイミングを安定して得ることは困難である。そこで、前述したように、加速度絶対値から不要な高周波数成分を除去する１２次の移動平均フィルタを通す。図９（２）の（ａ）〜（ｄ）は、この２つのフィルタで構成する帯城通過フィルタを通過後の加速度波形例を示しており、それぞれ、図９（１）の各軌跡図（ａ）〜（ｄ）に従って丁寧に指揮した際の信号である。図９（２）の右側に示される各波形は、２次元の加速度信号αｘ，αｙの１周期分のベクトル軌跡を表わす。左側に示される各波形は、加速度絶対値｜α｜の時間域波形｜α｜（ｔ）の３秒分を表わし、各ローカルピークが拍打動作に対応している。
【００６８】
なお、拍打動作検出のためローカルピークを抽出する場合には、疑似ピークの検出や、拍打ピークの検出洩れなどの誤検出を回避する必要があるので、このためには音声の高時間分解能ピッチ検出の技法などを適当な手法を適用すべきである。また、加速度αｘ，αｙは、図９（２）の右側に観られるように正負の値を取るが、人間の指揮動作では常に手が微妙に動き続けており完全には静止しない。このため、加速度αｘ，αｙの両方が同時にゼロとなって原点に静止する時はなく、従って、その時間域波形｜α｜（ｔ）も図９（２）の左側に示されるように、指揮中はゼロにならない。
【００６９】
〔３次元センサ使用モード＝３軸処理〕
検出軸を更に増やして動作センサＭＳａとして３次元センサを用いる場合は、このセンサの操作（動き）を解析し、その多様な操作を解析することにより、操作に対応する多種多彩な演奏制御を行うことができる。図１０は、３次元センサを使用して楽曲演奏の演出を行う場合の機能ブロック図を示す。 図１０の３次元センサ使用モードでは、図４（１）で説明したバトン形検出送信機１Ｔａに３次元センサＭＳａが内蔵され、このバトン形検出送信機１Ｔａを演奏参加者が片手或いは両手に持って操作することにより、操作方向と操作力に応じた動作信号を出力することができる。
【００７０】
３次元センサとして３次元加速度センサを用いる場合には、バトン形身体情報検出送信機１Ｔａにおける３次元センサＭＳａのｘ軸、ｙ軸及びｚ軸検出部ＳＸ，ＳＹ，ＳＺから、それぞれ、ｘ（上下）方向の加速度αｘ、ｙ（左右）方向の加速度αｙ及びｚ（前後）方向の加速度αｚを表わす信号Ｍｘ，Ｍｙ，Ｍｚが本体システム１Ｍに出力される。本体システム１Ｍでは、予め設定されたＩＤナンバがこれらの信号に付加されていることを確認すると、各軸の加速度データが受信処理部ＲＰを介して情報解析部ＡＮに手渡される。情報解析部ＡＮにおいては、各軸加速度データが解析され、まず、次式（４）で表わされる加速度の絶対値｜α｜が求められる：
【数３】
次に、加速度αｘ, αｙと加速度αｚとを比較する。例えば、
αｘ ＜ αｚ、且つ、αｙ ＜ αｚ …（５）
の関係が成立するとき、つまり、ｚ方向加速度αｚがｘ，ｙ方向加速度αｘ，αｙより大きいときは、バトンを突く「突き動作」であると判別する。
【００７２】
逆に、ｚ方向加速度αｚがｘ，ｙ方向加速度αｘ，αｙより小さいときには、バトンにより空気を切りさく「切り動作」であると判別する。この場合、さらに、ｘ，ｙ方向加速度αｘ，αｙの値を互いに比較することにより、「切り動作」の方向が「たて」（ｘ）なのか「よこ」（ｙ）なのかを判別することができる。
【００７３】
また、各軸ｘ，ｙ，ｚ方向成分相互の比較だけでなく、各方向成分αｘ, αｙ，αｚ自体の大きさと所定の閾値とを比較し、閾値以上であれば、これらの動作を組み合わせた「組合せ動作」であると判別することができる。例えば、αｚ＞αｘ，αｙ且つαｘ＞「ｘ成分の閾値」であれば「たて（ｘ方向）に切りつつ、突く動作」と判別し、αｚ＜αｘ，αｙ、αｘ＞“ｘ成分の閾値”且つαｙ＞“ｙ成分の閾値”であれば「斜め（ｘ，ｙ両方向）切り動作」であると判別する。さらに、ｙ方向加速度αｘ，αｙの値が、円軌跡を描くように相対的に変化して行く現象を検出することにより、バトンをぐるぐると回す「回し動作」を判別することができる。
【００７４】
演奏パラメータ決定部ＰＳでは、これらの判別出力に応じて種々の演奏パラメータを決定し、楽音再生部１Ｓの演奏データ制御部において、決定された演奏パラメータに基づいて演奏データを制御し、サウンドシステム３を介して楽音演奏の出力を行う。例えば、加速度絶対値｜α｜或いは各方向成分αｘ, αｙ，αｚのうち最大を示す成分の大きさに応じて演奏データの音量を制御する。また、解析部ＡＮでの判定結果に基づいて他の演奏パラメータを制御する。
【００７５】
例えば、「たて（ｘ方向）切り動作」の周期に応じてテンポを制御する。これとは別に、「たて切り動作」が短かく高い値であればアーティキュレーションを与え、長く低い値であればピッチ（音高）を下げる。また、「よこ（ｙ方向）切り動作」の判別によりスラー効果を与える。「突き動作」を判別したときは、そのタイミングで、楽音発生タイミングを縮めてスタッカート効果を与えたり、大きさに応じた単発音（打楽器音、掛け声等）を楽音演奏に挿入し、「突き動作」との「組合せ動作」を判別したときは、上述の制御を併用する。また、「回し動作」を判別したときは、周期が大きい場合は大きさに応じて残響効果を高めたり、周期が小さい場合は周期に応じてトリルを発生させるように制御する。
【００７６】
もちろん、１次元センサや２次元センサを用いる場合に説明した制御と同様の制御を行うこともできる。すなわち、３次元加速度センサにおいて、式（３）で表わされるｘ−ｙ平面上に投影される絶対加速度を“ｘ−ｙ絶対加速度｜αｘｙ｜”としたとき、ｘ−ｙ絶対加速度｜αｘｙ｜の時間経過波形｜αｘｙ｜（ｔ）のローカルピークの発生時点、ローカルピーク値、ローカルピークの鋭さを示すピークＱ値、ローカルピーク間の時間間隔を表わすピークインターバル、ローカルピーク間の谷の深さ、ピークの高周波成分の強さ、加速度α（ｔ）のローカルピークの極性等を抽出し、ピーク発生時刻に応じて演奏楽曲の拍タイミングを制御し、ローカルピーク値に応じてダイナミクスを制御し、ピークＱ値Ｑｐに応じてアーティキュレーションＡＲを制御する、等々を行う。また、式（５）が成り立って「突き動作」と判別されたときには、これらの制御に並行して、単発音（打楽器音、掛け声等）を楽音演奏に挿入したり、或いは、ｚ方向加速度αｚの大きさに応じて音色変化やリバーブ効果を与えたり、ｘ−ｙ絶対加速度｜αｘｙ｜により制御しない他の演奏制御を行うのである。
【００７７】
なお、１次元乃至３次元センサを刀剣内に設置しておき、演劇などにおいて、音楽伴奏を伴う剣術の舞のとき、刀剣の立ち回りによる各軸検出出力に応じて、切れる音（ｘ軸又はｙ軸）、風きり音（ｙ軸又はｘ軸）、更には、突き音（ｚ軸）などの効果音の発音をコントロールするのに利用することができる。
【００７８】
〔動作センサの他の利用例〕
なお、１次元乃至３次元加速度センサにおいて、センサの各軸出力を積分するか或いは加速度センサの代りに速度センサを用いれば、センサの操作（動き）速度に応じて、同様に、動作を判別し演奏パラメータを制御することができる。また、加速度センサの各軸積分出力を更に積分するか或いは速度センサの各軸出力を積分することにより、センサの操作（動き）位置を推測し、この推測位置に応じて別の演奏パラメータを制御（例えば、ｘ方向の高さに応じて音高を制御）することができる。また、１次元乃至３次元センサのような動作センサを図４（１）のようなバトン形の操作体として２個用意し、これらの操作体を一人の操作者が左右の手でそれぞれ操作することにより、楽曲演奏に対して左右別個の制御を加えることができる。例えば、楽曲の演奏トラック（パート）を２分し、左右の動作解析に基づいて各群演奏トラック（パート）を個別的に制御する。
【００７９】
〔状態センサの使用＝バイオモード〕
この発明の一実施例によると、生体情報を検出処理することにより、演奏参加者の状態を演奏楽音に反映させて音楽演奏を楽しむことができる。例えば、複数の参加者が音楽の演奏を聞きつつエアロビクス等の運動を集団で行うような場合に、図５の情報センサＩＳとして脈拍（脈波）検出器を用い、運動をしている人達に脈拍検出器を取り付けて心拍数を検出し、予め設定した所定の心拍数を超えると、参加者の健康を考えて、演奏している音楽のテンポを自然に下げるようにする。これにより、エアロビクス等の動作と心拍数等の身体状態とを考慮した音楽演奏が実現される。なお、この場合、心拍数等の計測データの平均値に応じて演奏テンポを制御するものとし、平均値の算出に当っては、心拍数の多いものほど大きい重み付けを加えて平均値を算出するのが好ましい。また、テンポの低下に伴い、音量を減少させるようにしてもよい。
【００８０】
上述の例の場合、心拍数の上昇率が、予め指定した所定の範囲内に収まっているときは、スピーカ４から楽音を鳴らすと共に表示ユニットのＬＥＤ発光器を光らせて通常状態であることを意識させるが、この範囲から逸脱すれば楽音の発生や発光を停止させるというように、身体の状態に応じた演奏停止機能を付加することができる。また、心拍数に代えて他の同等の生体情報を用いることができ、例えば、呼吸数を用いても同等の効果が得られる。呼吸数のセンサとしては、胸部、腹部に圧力センサを取り付けたり、空気の動きを検出する温度センサを鼻の穴等に取り付ける方法がある。
【００８１】
生体情報に応答させる他の例としては、生体情報から興奮状態（脈拍や呼吸数の増大、皮膚間抵抗の減少、血圧や体温の上昇等）を解析し、その結果得られる興奮状態の高まりに応じて演奏テンポや音量を速める等、上述の健康を考慮した例とは逆方向に演奏パラメータを制御する興奮度応答の楽音制御を行う方法がある。この方法は、複数人が参加する種々のゲームのＢＧＭ演奏や、複数の参加者がホールで踊りながら楽しむ音楽演奏に適しており、興奮度は、例えば、複数の参加者の平均値から算出される。
【００８２】
〔動作・状態併用モード〕
この発明の一実施例によると、動作センサ及び状態センサを併用して演奏参加者の動作及び生体情報を検出処理することにより、演奏参加者の複数種類の状態を演奏楽音に反映させ、多彩な音楽演奏を演出することができる。図１１は、このように動作センサ及び状態センサを併用して楽曲演奏の演出を行う場合の機能ブロック図を示す。この例では、動作センサＭＳａには、既に説明したｘ軸及びｙ軸検出部ＳＸ，ＳＹを備える２次元センサが用いられているが、必要に応じて、１次元センサ又は３次元センサを用いることができる。この動作センサＭＳａは、図４（１）に示すようなバトン形構造体に内蔵され、例えば、演奏操作者の右手で振ることにより楽曲演奏の指揮動作を行う。また、状態センサＳＳａは、視点（視線）追跡部（Eye Tracking System ）ＳＥ及び呼吸検出部（Breath Sensor ）ＳＢが用いられ、それぞれ、演奏参加者の所定の身体部位に取り付けられ、例えば、演奏操作者の視線追跡及び呼吸検出を行う。
【００８３】
２次元動作センサＭＳａのｘ軸及びｙ軸検出部ＳＸ，ＳＹ、並びに、状態センサＳＳａの視点追跡部ＳＥ及び呼吸検出部ＳＢからの検出信号は、それぞれ、個別のＩＤナンバが付与されており、それぞれの信号処理及び送信部を介して本体システム１Ｍに出力される。本体システム１Ｍは、予め設定されたＩＤナンバの付与を確認すると、受信処理部ＲＰでは、２次元動作センサＭＳａ、視点追跡部ＳＥ及び呼吸検出部ＳＢからの検出信号を処理し、対応する２次元動作データＤｍ、視点位置データＤｅ及び呼吸データＤｂを、ＩＤナンバに応じて情報解析部ＡＮの各解析ブロックＡＭ，ＡＥ，ＡＢに与える。動作解析ブロックＡＭでは、動作データＤｍを解析して、データ値の大きさ、ビートタイミング、ビート番号及びアーティキュレーションを認識し、視点解析ブロックＡＥでは、視点位置データＤｅを解析して注視エリア（watching area ）を検出し、呼吸解析ブロックＡＢでは、呼吸データＤｂを解析して呼気及び吸気状態を検出する。
【００８４】
次の演奏パラメータ決定部ＰＳでは、第１データ処理ブロックＰＡにおいて、演奏データメディア（外部記憶装置１３）内のＭＩＤＩファイルからＳＷビット（ビット５〜７：図６）に応じて選択された演奏データの楽譜上におけるビート位置を推測すると共に、現在設定されている演奏テンポからビート発生時点を予測し、推測されたビート位置、予測されたビート発生時点、並びに、動作解析ブロックＡＭからのデータ値の大きさ、ビートタイミング、ビート番号及びアーティキュレーションを統合処理する。第２データ処理ブロックＰＢにおいては、統合処理された結果に基づいて、音量、演奏テンポ及び各楽音発生タイミングを決定すると共に、視点解析ブロックＡＥで検出された注視エリアに応じて特定の演奏パートを指示し、また、呼吸解析ブロックＡＢで検出された呼気及び吸気状態に基づいてブレスによる制御を決定する。そして、楽音再生部１Ｓにおいて、決定された各演奏パラメータに基づいて演奏データを制御し、サウンドシステム３を介して所望の楽音演奏を行う。
【００８５】
〔複数の演奏操作者による動作モード〕
この発明の一実施例によると、複数の身体情報検出送信機を複数の演奏操作者により操作して楽曲演奏を制御することができる。ここで、各演奏操作者は、１以上の身体情報検出送信機を操作することができ、各身体情報検出送信機には、これまで図４〜図１１等を用いて説明した動作センサ乃至状態センサ（バイオモードや動作・状態併用モードを含む）の構成を採ることができる。
【００８６】
〔アンサンブルモード〕
例えば、複数の身体情報検出送信機を１台のマスター機と複数台の子機により構成し、マスター機の身体情報検出信号に応じて或る演奏パラメータを制御すると共に、子機の身体情報検出信号により他の演奏パラメータを制御するアンサンブルモードとすることができる。図１２は、この発明の一実施例によるアンサンブルモードでの機能ブロック図を示す。１台のマスター機１Ｔ１と複数台の子機１Ｔ２〜１Ｔｎ（例えば、ｎ＝２４）は、例えば、マスター機１Ｔ１の身体情報検出信号に応じて演奏パラメータの内のテンポや音量を制御すると共に、子機１Ｔ２〜１Ｔｎの身体情報検出信号により音色を制御する。この場合、各身体情報検出送信機１Ｔａ（ａ＝１〜ｎ）は、図４（１）のバトン形にして動作を検出し動作信号Ｍａ（ａ＝１〜ｎ）を送信するように構成するのが好ましい。
【００８７】
図１２において、身体情報検出送信機１Ｔ１〜１Ｔｎからの動作信号Ｍ１〜Ｍｎ（ｎ＝２４）は、本体システム１Ｍの情報受信及び楽音コントローラ１Ｒにおける受信処理部ＲＰで選択受信処理がなされる。つまり、これらの動作信号Ｍ１〜Ｍｎは、受信処理部ＲＰのセレクタＳＬにおいて、動作信号Ｄ１〜Ｄｎに付加されているＩＤナンバを、予め設定された「ＩＤナンバ割当て」（「ＩＤナンバ毎のグループ設定」を含む。）に応じて識別することにより、マスター機１Ｔ１からの動作信号Ｍ１と子機１Ｔ２〜１Ｔｎからの動作信号Ｍ２〜Ｍｎとに選別処理されて、それぞれ、マスター動作信号Ｍ１に対応するマスターデータＭＤと、子機動作信号Ｍ２〜Ｍｎに対応する子機データとに分離され、これらの子機データは、さらに、第１〜第ｍグループＳＤ１〜ＳＤｍに分別される。
【００８８】
例えば、ＩＤナンバ“０”のマスター機１Ｔ１において、操作スイッチＴ６を操作することにより、図６の第１ＳＷビットＡをプレイモード・オン（Ａ＝“１”）にセットし、「グループ／個別モード」を指定する第２ＳＷビットＢをグループモード指定（Ｂ＝“１”）か個別モード指定（Ｂ＝“０”）かにセットし、「全体／一部先導モード」を指定する第３ＳＷビットＣを全体先導モード指定（Ｃ＝“１”）か一部先導モード指定（Ｃ＝“０”）かにセットしているものとする。一方、ＩＤナンバ“１”〜“２３（＝ｎ−１）”の子機１Ｔ２〜１Ｔ２４（＝ｎ）においては、操作スイッチＴ６の操作により、第１ＳＷビットＡをプレイモード・オン（Ａ＝“１”）にセットしているだけであり、第２及び第３ＳＷビットＡは任意値（Ｂ＝“Ｘ”，Ｃ＝“Ｘ”。“Ｘ”は任意値を表わす。）であるとする。
【００８９】
これに対して、セレクタＳＬは、「ＩＤナンバ割当て」を参照することにより、マスター機１Ｔ１からの動作信号Ｍ１については、この信号に付加されているＩＤナンバ“０”からマスター機１Ｔ１からのものと判別し、対応するマスターデータＭＤを出力し、子機１Ｔ２〜１Ｔｎからの動作信号Ｍ２〜Ｍｎについては、ＩＤナンバ“１”〜“２３”により子機１Ｔ２〜１Ｔｎからのものと判別し、対応する子機データを選択する。この際、これらの子機データは、さらに、「ＩＤナンバ毎のグループ設定」に応じて、第１〜第ｍグループＳＤ１〜ＳＤｍ毎に分別されて出力される。なお、「ＩＤナンバ毎のグループ設定」によるグループ分別は、本体システム１Ｍでの設定内容に応じて変化し、１つのグループに複数の子機データが含まれることもあれば、１つのグループに１つの子機データしかないこともあり、また、全部で１グループしかない場合もある。
【００９０】
マスターデータＭＤ及び第１〜第ｍグループＳＤ１〜ＳＤｍの子機データは、情報解析部ＡＮに手渡される。マスターデータ解析ブロックＭＡではマスターデータＭＤが情報解析され、第２及び第３ＳＷビットＢ，Ｃの内容が調べられると共に、データ値の大きさや周期等が判定される。例えば、マスターデータＭＤの第２ＳＷビットＢにより「グループモード」と「個別モード」の何れが指定されているかを調べ、第３ＳＷビットＣにより「全体先導モード」と「一部先導モード」の何れが指定されているかを調べる。また、マスターデータＭＤのデータバイトの内容により、データの示す動作内容、各内容の大きさ、周期等が判定される。
【００９１】
また、子機データ解析ブロックＳＡでは、第１〜第ｍグループＳＤ１〜ＳＤｍに含まれる子機データが情報解析され、マスターデータＭＤの第２ＳＷビットＢにより指定されたモードに応じて、データ値の大きさや周期等が判定される。例えば、「グループモード」が設定されていれば、各グループＳＤ１〜ＳＤｍに属する子機データの大きさや周期の平均値が算出され、「個別モード」が設定されていれば、子機データの個々の大きさや周期が算出される。
【００９２】
次段の演奏パラメータ決定部ＰＳは、マスターデータ解析ブロックＭＡ及び子機データ解析ブロックＳＡに対応して、主設定ブロックＭＰ及び副設定ブロックＡＰで構成され、メディア（外部記憶装置１３）に記録されたＭＩＤＩファイルから選択された演奏データについて、各演奏トラックの演奏パラメータを決定する。まず、主設定ブロックＭＰにおいては、マスターデータ解析ブロックＭＡでの判定結果に基づいて、所定の演奏トラックの演奏パラメータを決定する。例えば、第３ＳＷビットＣにより「全体先導モード」が指定されている場合は、全演奏トラック（ｔｒ）について、データ値の大きさの判定結果に応じて音量パラメータ値を決定し、周期の判定結果に応じてテンポパラメータ値を設定する。また、「一部先導モード」が指定されている場合には、このモードに対応して予め設定された第１の演奏トラック（ｔｒ）（１以上の演奏トラック。例えば、メロディ音トラック）について、同様に、各判定結果に応じた音量パラメータ値及びテンポパラメータ値の決定を行う。
【００９３】
一方、副設定ブロックＡＰでは、第３ＳＷビットＣにより指定されているモードに対応する演奏トラックについて、予め設定された音色を設定すると共に、子機データ解析ブロックＳＡでの判定結果に基づいて演奏パラメータを決定する。例えば、「全体先導モード」が指定されている場合は、このモードに対応して予め設定された所定の演奏トラック（例えば、伴奏音トラック又は効果音トラックの全て）に所定の音色パラメータを設定すると共に、これらの演奏トラックの演奏パラメータを、マスターデータの判定結果による設定に加え、子機データの判定結果に応じて変更する（すなわち、子機データ値の大きさに応じて音量パラメータ値を更に変更し、子機データの周期に応じてテンポパラメータ値を更に変更する。）。この場合、音量パラメータ値については、マスターデータ判定結果による変量との乗算により算出し、テンポパラメータについては、マスターデータ解析出力による変量との算術平均により算出することが好ましい。また、「一部先導モード」が指定されている場合には、このモードに対応して予め設定された第２の演奏トラック（例えば、第１の演奏トラック以外の演奏トラック）について、各判定結果に応じて、独自に、音量パラメータ値及びテンポパラメータ値の決定を行う。
【００９４】
楽音再生部１Ｓは、上述のようにして決定された演奏パラメータに基づいて、ＭＩＤＩファイルからの選択演奏データの各演奏トラックの演奏パラメータとして採用し、また、各演奏トラックには予め設定された音色（音源）を割り当てる。これにより、演奏参加者の動作に対応した所定音色の楽音を発生することができる。
【００９５】
例えば、音楽教室等において、先生が一本のマスター機１Ｔ１を持って、演奏データ曲の主旋律の音量やテンポをコントロールし、複数の生徒がそれぞれ子機１Ｔ２〜１Ｔｎを持って、それぞれの子機操作に応じた音量やテンポの伴奏曲音や打楽器音等を発生する等、種々の態様で演奏を楽しむことができる。この場合、打楽器音として、音色選択により太鼓、かね等に設定するだけでなく、さらに、自然の風や水の音等、別種の音源を予め用意しておけば、これらの音源をも演奏トラックに指定可能とすることにより、曲の進行中に太鼓の音やかねの音、自然の風や水の音等を同時に発音させることができる。従って、誰でも参加できる多様な演奏形態を楽しむことができる。
【００９６】
また、マスター機１Ｔ１及び子機１Ｔ２〜１Ｔｎにおいて、操作スイッチＴ６の操作によりＬＥＤ発光器ＴＬを常時発光させるか或いは動作センサＭＳａの検出出力に応じて点滅させることができる。これにより、楽曲演奏の進行に合わせてバトンからＬＥＤ光が揺動したり点滅するので、楽曲演出だけでなく、視覚的な演出効果を楽しむことができる。
【００９７】
〔複数操作者による種々の楽曲演奏制御〕
なお、複数の身体情報検出送信機１Ｔ１〜１Ｔｎについては、マスター機１Ｔ１をなくする（即ち、マスター機と子機の区別をせず全て子機とする）構成とすることができることはいうまでもない。最も簡単な例は、二人の操作者にそれぞれ身体情報検出送信機を設け、デュエットで楽曲演奏を制御する場合であり、各操作者には、１つの身体情報検出送信機を設けてもよいし、複数の身体情報検出送信機を設けてもよい。例えば、図４（１）のようなバトン形の動作センサを各操作者が２つずつもち、楽曲の演奏トラック（パート）を各人が２分し更に左右の手操作で２分して計４つに分け、計４つの動作センサにより、対応する演奏トラック（パート）を個別的に制御するように構成することができる。
【００９８】
さらに、複数操作者により楽曲演奏を制御する例としては、遠隔地間でのネットワーク音楽演奏や音楽ゲームがある。例えば、音楽教室などの異なる場所で、参加者は、通信ネットワークを通じて映像を見ながら、参加者にそれぞれ設けた身体情報検出送信機で楽曲演奏をコントロールすることによって、同時に、楽音演奏の演出に参加することができる。また、各種イベントにおいては、複数のイベント参加者にそれぞれ身体情報検出送信機を設け、各身体情報検出出力により楽曲演奏のコントロールへの参加を実現することができる。
【００９９】
別の例としては、コンサート会場において、１以上の演奏者が、主制御用身体情報検出送信機により、楽曲のテンポやダイナミクス等を制御して楽曲のメインコントロールを行ない、複数の視聴者が、副制御用身体情報検出送信機を持ちＬＥＤ等で発光する光に合わせて手拍子のような音を挿入制御するサブコントロールを行うことで、音楽演奏に参加できる演出を実現することができる。さらに、テーマパークでのパレードにおいては、複数のパレード参加者が、同様に、メインコントロールで楽曲の演奏パラメータを制御したり、サブコントロールで歓声音の挿入制御や発光装置による光の演出をすることができる。
【０１００】
【発明の効果】
以上のように、この発明による演奏インターフェイスでは、複数の操作者（演奏参加者）が各運動検出器を動かしたときの夫々の動きに応じた運動検出信号（身体情報）が本体システムに伝えられ、本体システムでは、予め設定されたグループ毎に運動検出信号の平均データ値を求め、このグループ毎の平均データ値に従って、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動きに応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。
【０１０１】
また、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の身体状態にそれぞれ対応する状態検出器の状態検出信号（身体情報）が本体システムに伝えられ、本体システムでは、グループ毎に状態検出信号の平均データ値を求め、得られたグループ毎の状態検出信号の平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の身体状態をグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【０１０２】
さらに、この発明の演奏インターフェイスでは、複数の操作者（演奏参加者）の動作及び身体状態にそれぞれ対応する運動検出信号及び状態検出信号（身体情報）が本体システムに伝えられ、本体システムでは、グループ毎に運動検出信号及び状態検出信号を平均した平均運動データ値及び平均状態データ値を求め、得られたグループ毎の平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御するようにしているので、複数操作者のグループ毎の全体的な動作及び身体状態に応じて楽曲演奏を多彩に制御することができ、特に、楽曲のアンサンブル演奏等を多様に楽しむことができる。また、演奏参加者の動作だけでなく身体状態をもグループ毎に総合的に考慮して音楽を演奏し、多くの人が楽音演奏を楽しむようにすることができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による演奏インターフェイスを含む演奏システム全体の概略的な構成を示すブロック図である。
【図２】図２は、この発明の一実施例による身体情報検出送信機の一構成例を示すブロック図である。
【図３】図３は、この発明の一実施例による本体システムのハードウエア構成を示すブロック図である。
【図４】図４は、この発明の演奏インターフェイスに使用可能な身体情報検出機構の例を示す図であり、図４（１）は、バトン形の手持ちタイプの身体情報検出送信機の例を示し、図４（２）は、シューズ形の例を示す。
【図５】図５は、この発明の演奏インターフェイスに使用可能な身体情報検出機構の他の構成例を示す図である。
【図６】図６は、この発明の一実施例にお一いて使用されるセンサデータのフォーマット例を示す。
【図７】図７は、この発明の一実施例による１動作センサ（１次元センサ）出力による複数の解析出力を利用するシステムの機能ブロック図を示す。
【図８】図８は、この発明の一実施例における１次元加速度センサ指揮操作時における手振り動作の軌跡例及び加速度データの波形例を極めて概略的に表わした図である。
【図９】図９は、この発明の一実施例における手振り動作の軌跡及びセンサの加速度出力波形の例を表わす図である。
【図１０】図１０は、この発明の一実施例における手振り動作の軌跡及び２次元センサの加速度出力波形の例を表わす図である。
【図１１】図１１は、この発明の一実施例による動作センサ及び状態センサ併用モード時における機能ブロック図を示す。
【図１２】図１２は、この発明の一実施例によるアンサンブルモードでの機能ブロック図を示す。
【符号の説明】
ＴＤ ＬＥＤ又はＬＣＤ表示器、
ＴＳ 電源スイッチ、
ＴＬ ＬＥＤ発光器、
ＩＳ 身体情報センサ、
ＴＴａ 信号処理及び送信機装置：
Ｍｘ，Ｍｙ，Ｍｚ；Ｍ１〜Ｍｎ 動作検出信号、
Ｓｅ，Ｓｂ 状態検出信号、
Ｄｍ マスター機動作検出データ、
Ｄｅ，Ｄｂ 状態検出データ、
ＡＭ；ＭＡ，ＳＡ 動作解析ブロック、
ＡＥ，ＡＢ 状態（視点、呼吸）解析ブロック、
ＰＡ，ＰＢ 第１及び第２データ処理ブロック、
ＭＰ，ＡＰ 主設定ブロック及び副設定ブロック。
Claims (5)
- 複数の操作者それぞれの動作に基づく運動を検出し、対応する運動検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の運動検出器と、
これらの運動検出器についてグループ設定を行うグループ設定手段と、
このグループ設定に基づいて、上記複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均データ値を求める身体情報解析手段と、
求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段と
を具備することを特徴とする演奏インターフェイス。 - 複数の操作者それぞれの身体状態を検出し、対応する状態検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の状態検出器と、
これらの状態検出器についてグループ設定を行うグループ設定手段と、
このグループ設定に基づいて、上記状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均データ値を求める身体情報解析手段と、
求められた各グループの平均データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段と
を具備することを特徴とする演奏インターフェイス。 - 複数の操作者それぞれの動作に基づく運動を検出し、対応する運動検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の運動検出器と、
複数の操作者それぞれの身体状態を検出し、対応する状態検出信号をそれぞれ出力する操作者に設置乃至所持可能な複数の状態検出器と、
これらの運動検出器及び状態検出器についてグループ設定を行うグループ設定手段と、
このグループ設定に基づいて、上記複数の運動検出器から受信される複数の運動検出信号をグループ分けし、グループ毎に当該運動検出信号を単純平均或いは重み付け平均した平均運動データ値を求めると共に、上記状態検出器から受信される複数の状態検出信号をグループ分けし、グループ毎に当該状態検出信号を単純平均或いは重み付け平均した平均状態データ値を求める身体情報解析手段と、
求められた各グループの平均運動データ値及び平均状態データ値に基づいて、当該グループに対応して楽音発生装置から発生される楽音のパラメータを制御する制御手段と
を具備することを特徴とする演奏インターフェイス。 - 前記パラメータは、楽音の音量、テンポ、タイミング、効果或いは音高を制御するためのパラメータであることを特徴とする請求項１〜３の何れか１項に記載の演奏インターフェイス。
- 前記運動検出器は、操作者の動作に基づき、所定方向の運動、或いは、直交する２方向又は３方向の運動を検出して、対応する１方向成分乃至３方向成分から成る運動検出信号を出力する１次元センサ乃至３次元センサであることを特徴とする請求項１、３又は４に記載の演奏インターフェイス。
Priority Applications (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000002078A JP3646600B2 (ja) | 2000-01-11 | 2000-01-11 | 演奏インターフェイス |
| EP01100081A EP1130570B1 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| DE60130822T DE60130822T2 (de) | 2000-01-11 | 2001-01-10 | Vorrichtung und Verfahren zur Erfassung der Bewegung eines Spielers um interaktives Musikspiel zu steuern |
| EP07110784.1A EP1837858B1 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| US09/758,632 US7183480B2 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| EP20070110770 EP1860642A3 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| EP07110789.0A EP1855267B1 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| US10/291,134 US7179984B2 (en) | 2000-01-11 | 2002-11-08 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US10/387,811 US7135637B2 (en) | 2000-01-11 | 2003-03-13 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US11/400,710 US7781666B2 (en) | 2000-01-11 | 2006-04-07 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US12/780,745 US8106283B2 (en) | 2000-01-11 | 2010-05-14 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000002078A JP3646600B2 (ja) | 2000-01-11 | 2000-01-11 | 演奏インターフェイス |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001195060A JP2001195060A (ja) | 2001-07-19 |
| JP3646600B2 true JP3646600B2 (ja) | 2005-05-11 |
Family
ID=18531225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000002078A Expired - Fee Related JP3646600B2 (ja) | 2000-01-11 | 2000-01-11 | 演奏インターフェイス |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3646600B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4391091B2 (ja) | 2003-01-17 | 2009-12-24 | ソニー株式会社 | 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体 |
| JP4158533B2 (ja) * | 2003-01-21 | 2008-10-01 | ソニー株式会社 | データの記録、送信または再生に関する方法並びに装置 |
| JP4496717B2 (ja) * | 2003-06-05 | 2010-07-07 | ソニー株式会社 | 機器制御方法および機器制御システム |
| JP2006114174A (ja) | 2004-10-18 | 2006-04-27 | Sony Corp | コンテンツ再生方法およびコンテンツ再生装置 |
| JP2006201654A (ja) * | 2005-01-24 | 2006-08-03 | Yamaha Corp | 伴奏追従システム |
| JP4757089B2 (ja) * | 2006-04-25 | 2011-08-24 | 任天堂株式会社 | 音楽演奏プログラムおよび音楽演奏装置 |
| JP5181495B2 (ja) * | 2007-02-27 | 2013-04-10 | ヤマハ株式会社 | 演奏制御装置 |
| US7839269B2 (en) * | 2007-12-12 | 2010-11-23 | Immersion Corporation | Method and apparatus for distributing haptic synchronous signals |
| JP5345809B2 (ja) * | 2008-07-25 | 2013-11-20 | 株式会社タイトー | 楽器型演奏装置及び楽器演奏システム |
| JP4572980B2 (ja) * | 2008-10-27 | 2010-11-04 | ヤマハ株式会社 | 自動演奏装置及びプログラム |
| FR2942344B1 (fr) * | 2009-02-13 | 2018-06-22 | Movea | Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire |
| JP5751699B2 (ja) * | 2011-03-30 | 2015-07-22 | 株式会社スクウェア・エニックス | 携帯型音生成装置 |
| JP6295597B2 (ja) * | 2013-10-22 | 2018-03-20 | ヤマハ株式会社 | 複数人による協調演奏を実現する装置およびシステム |
| CN109119057A (zh) * | 2018-08-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 音乐创作方法、装置及存储介质和穿戴式设备 |
-
2000
- 2000-01-11 JP JP2000002078A patent/JP3646600B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001195060A (ja) | 2001-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3646599B2 (ja) | 演奏インターフェイス | |
| US8106283B2 (en) | Apparatus and method for detecting performer's motion to interactively control performance of music or the like | |
| JP3646600B2 (ja) | 演奏インターフェイス | |
| US7012182B2 (en) | Music apparatus with motion picture responsive to body action | |
| JP4626087B2 (ja) | 楽音制御システムおよび楽音制御装置 | |
| US20080250914A1 (en) | System, method and software for detecting signals generated by one or more sensors and translating those signals into auditory, visual or kinesthetic expression | |
| EP1607936B1 (en) | System and method for generating tone in response to movement of a portable terminal | |
| US6867361B2 (en) | System and method for generating tone in response to movement of portable terminal | |
| JP2006251053A (ja) | 楽音制御装置 | |
| JP3879583B2 (ja) | 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体 | |
| Siegel | Dancing the music: Interactive dance and music | |
| JP2001350474A (ja) | 時系列データの読出制御装置、演奏制御装置および映像再生制御装置 | |
| CN108877754A (zh) | 人工智能音乐简奏系统及实现方法 | |
| JP4581202B2 (ja) | 身体情報測定方法、身体情報測定ネットワークシステムおよび身体情報測定システム | |
| Gobin et al. | Designing musical interfaces with composition in mind | |
| JP4868045B2 (ja) | 楽音制御システム | |
| JP6772640B2 (ja) | フレーズを生成する装置および方法 | |
| JP6219717B2 (ja) | 電子ハンドベルシステム | |
| JP2015126815A (ja) | 玩具および音響発生方法 | |
| Lepervanche | iGrooving: A Generative Music Mobile Application for Runners | |
| Tanaka | Performance program | |
| CA2584939A1 (en) | System, method and software for detecting signal generated by one or more sensors and translating those signals into auditory, visual or kinesthetic expression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050131 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3646600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |