JP4694705B2 - 楽音制御システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザの動作に応じて楽音を制御する楽音制御システムに関する。
【０００２】
【従来の技術】
オーディオ機器等の楽音発生装置では、音色、音高、音量および効果といった４つの演奏パラメータが決まると、所望の楽音を発音することができる。ＣＤ（Compact Disc）プレイヤーなどの楽音発生装置では、ＣＤに記録された楽曲データに基づいた楽曲の演奏再生が行われ、ユーザは当該ＣＤプレイヤーの操作摘みやボタン等を操作することにより、音量等のパラメータを調整していた。
【０００３】
【発明が解決しようとする課題】
ところで、ＣＤプレイヤー等のオーディオ再生装置では、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整している。ユーザがオーディオ再生装置により再生された演奏を所望の音量等で聴く場合には、操作摘みによる演奏パラメータの調整方法は有効である。しかしながら、従来のオーディオ再生装置では、広く市販されているＣＤ等に記録された楽曲を忠実に演奏再生する機能をユーザに提供することはできても、ユーザが楽曲演奏に積極的に参加できるといった娯楽性をユーザに提供することはできない。
【０００４】
そこで、ユーザが身につける服の様々な部分にセンサを取り付け、これらのセンサがユーザの身体の動きを検出し、その検出結果に応じて楽曲演奏を行うシステムが提案されている。このようなシステムを用いることにより、ユーザは音楽に合わせて踊るわけではなく、踊ることにより音楽を演奏することができ、新しい音楽エンターテイメントをユーザに提供することができる。
【０００５】
しかしながら、上記のような服にセンサを取り付けてユーザの動きを検出し、該検出結果に応じた楽曲演奏を行うといったシステムでは、センサが装着された部位のある方向への運動を検出する、すなわち体全体のおおまかな動きを検出することができても、体の細やかな動きを検出することができない。通常、人間にとって手は細やかに運動させやすい部位であり、足などの他の部位よりも手の動きは立体的かつ正確に動かしやすいものである。したがって、手のねじりといった動きを楽曲演奏に反映させることができれば、ユーザは容易に細やかかつ正確な動きで楽曲演奏を制御することができ、このようなシステムは、より優れた音楽エンターテイメントを提供するものと考えられる。
【０００６】
また、ユーザが楽器を演奏している間、楽器の演奏者であるユーザの何らかの運動に応じて、当該楽器演奏による楽音もしくは楽器演奏に合わせて演奏される楽音の発生を制御することができれば、単に楽器を演奏することにより発生楽音を決めるのではなく、演奏動作以外の他の動作を発生楽音に反映させることができ、新しい音楽エンターテイメントを提供することができる。この際、演奏以外の楽音制御のための動作が、楽器演奏の妨げにならないことが好ましく、動作は簡単であることが好ましい。
【０００７】
本発明は、上記の事情を考慮してなされたものであり、ユーザの容易な動きを反映した楽音発生制御を行うことができる楽音制御システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、一の態様において、ユーザの手に装着された状態で使用される動作検出端末と、制御情報生成装置とからなる楽音制御システムであって、前記動作検出端末は、第１の空間軸に対する前記手の傾きを検出する第１のセンサと、第１の空間軸と直交する第２の空間軸に対する前記手の傾きを検出する第２のセンサと、前記第１のセンサおよび前記第２のセンサからそれぞれ検出された傾き角によって表される前記ユーザの手のねじり動作を示す動作情報を送信する送信部とを有し、前記制御情報生成装置は、前記第１のセンサが検出した傾き角および前記第２のセンサが検出した傾き角の組み合わせと、楽音の音高、音色、テンポ、音量、タイミングおよび効果の少なくとも１つを制御するための演奏パラメータとを対応付けて記憶する記憶部と、前記動作情報を受信する受信部と、前記記憶部を参照し、前記受信部にて受信された動作情報に基づいて当該動作情報に対応する演奏パラメータを決定するパラメータ決定手段と、前記パラメータ決定手段にて決定された演奏パラメータに基づいて、楽音信号生成装置によって生成される楽音信号を制御するための制御情報を生成する制御情報生成手段とを有することを特徴とする楽音制御システムを提供する。
好ましい態様において、前記パラメータ決定手段は、前記第１のセンサおよび第２のセンサのそれぞれから検出された傾き角を比較し、何れか一方の傾きが他方の傾きに比べて所定割合小さい場合に、値が大きいセンサの傾き角のみに応じて演奏パラメータを決定する。
【０００９】
この構成によれば、ユーザの手のねじり動作によって発生する楽音を制御することができる。手は人間にとって容易に且つ細やかに動作させやすい部位であり、このような手の動作によって楽音発生を制御することにより、ユーザは容易な動きで楽音発生を制御することができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．第１実施形態
Ａ−１．構成
まず、図１は本発明の第１実施形態に係る楽音発生システム（楽音制御システム）の外観を示す図である。図１に示すように、楽音発生システム１００は、楽音発生装置１０と、ユーザの手に装着される動作検出端末１１とを備えている。
【００１３】
本実施形態における動作検出端末１１は、大別すると、図示のようにユーザの手の甲に装着されて使用される動作センサ部ＭＳと、動作センサ部ＭＳの検出結果を楽音発生装置１０に無線送信する無線送信ユニット１１ａとを備えており、図示の例では、無線送信ユニット１１ａはユーザの腕にバンド１１ｂによって巻き付けられて装着されている。腕に装着された無線送信ユニット１１ａと手の甲に装着された動作センサ部ＭＳとが信号線１１ｃによって接続されており、動作センサ部ＭＳの検出結果を示す信号は信号線１１ｃを介して無線送信ユニット１１ａに供給され、無線送信ユニット１１ａから楽音発生装置１０に無線送信されるようになっている。ユーザが手首をねじるといった運動を行うと、その手のねじり運動が動作センサ部ＭＳによって検出され、この検出結果が無線送信ユニット１１ａから楽音発生装置１０に無線送信される。この楽音発生システム１００では、楽音発生装置１０が、このようにユーザに手に装着された無線送信ユニット１１ａの動き、つまりユーザの手の動きに応じた楽音発生を行うようになっている。また、本実施形態では、実際に手の動作を検出する動作センサ部ＭＳと、検出結果を無線送信する無線送信ユニット１１ａとを信号線１１ｃで接続する構成とすることにより、楽音発生制御のために動作させる手の甲に装着する部品を軽量化することができ、より軽快な動作を行えるようにしている。
【００１４】
ここで、図２は動作検出端末１１の構成を示すブロック図である。同図に示すように、動作検出端末１１は、動作センサ部ＭＳと、送信機ＣＰＵ（Central Processing Unit）Ｔ０、モデムＴ２、ＦＭ（Frequency Modulation）変調器Ｔ７、表示ユニットＴ３、送信用電力増幅器Ｔ５と、操作スイッチＴ６と、送信アンテナＴＡとを備えている。
【００１５】
動作センサ部ＭＳは、当該動作検出端末１１の使用時、つまり当該楽音発生システム１００（図１参照）において楽音発生を行う時には、動作検出端末１１を予め設定された状態に装着しているユーザの手のねじり動作を検出して運動情報を生成する。ここで、動作センサ部ＭＳとしては、Ｘ軸方向およびＹ軸方向といった２軸方向の運動を検出するためのＸ軸検出部ＭＳｘおよびＹ軸検出部ＭＳｙとを有しており、各々の軸方向の運動を検出するセンサとしては、傾斜センサ、重力センサ、地磁気センサ、加速度センサ、角度センサ等を用いることができ、本実施形態では傾斜センサを用いてＸ軸方向（水平方向）およびＹ軸方向（垂直方向）のユーザの手の傾きを検出する。この検出結果は信号線１１ｃを介して無線送信ユニット１１ａの送信機ＣＰＵＴ０に送信される。
【００１６】
送信機ＣＰＵＴ０は、図示せぬメモリに記録された送信機動作プログラムに基づいて、動作センサ部ＭＳ、モデムＴ２、表示ユニットＴ３およびＦＭ変調器Ｔ７等の装置各部を制御する。動作センサ部ＭＳからの検出信号は、送信機ＣＰＵＴ０により、ＩＤナンバの付加処理等の所定の処理が施され、モデムＴ２に伝送され所定の変調方式（例えば、ＧＭＳＫ：Gaussian Filtered Minimum Shift Keying）で変調される。そして、変調された検出信号がさらにＦＭ変調器Ｔ７によってＦＭ変調された後、送信用電力増幅器Ｔ５に供給され、送信用電力増幅器Ｔ５において増幅された上、送信アンテナＴＡを介して楽音発生装置１０側に無線送信される。
【００１７】
表示ユニットＴ３は、例えば、７セグメント形式のＬＥＤ（Light Emitting Diode）又はＬＣＤ（Liquid Crystal Display）表示器や１個乃至複数個のＬＥＤ発光器等を備え、センサナンバ、動作中、電源アラーム等の各種情報を表示する。操作スイッチＴ６は、当該動作検出端末１１の電源のオン／オフやモード設定等の各種設定を行うために用いられるスイッチである。このような動作検出端末１１の各構成要素には、図示せぬ電池電源から駆動電力が供給されるが、このような電池電源としては、一次電池を用いるようにしてもよいし、充電可能な二次電池を用いるようにしてもよい。
【００１８】
次に、楽音発生装置１０の構成について図３を参照しながら説明する。同図に示すように、楽音発生装置１０は、ＣＰＵ（Central Processing Unit）３０と、ＲＡＭ（Random Access Memory）３１と、ＲＯＭ（Read only Memory）３２と、ハードディスク３３と、ディスプレイ３４と、表示用インタフェース３５と、操作部３６と、操作部用インタフェース３７と、アンテナＲＡと、アンテナ分配回路３８と、受信処理回路３９と、音源回路４１と、ＤＳＰ（Digital Signal Processing）部４０と、サウンドスピーカシステム４２とを備えている。
【００１９】
ＣＰＵ３０は、各種演算処理を行うとともに各部を制御する。ＲＡＭ３１は、ＣＰＵ３０のワークメモリとして使用される、ＲＯＭ３２は、ＣＰＵ３０に読み出されて実行されるプログラム群を格納している。ハードディスク３３は、ＣＰＵ３０に読み出されて実行される各種制御プログラム群やデータ群を格納するとともに、ＭＩＤＩ（Musical Instrument Digital Interface）データ等の保管等にも使用される。ディスプレイ３４は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ等であり、操作者に対して画像を表示する。表示用インタフェース３５は、ＣＰＵ３０から供給されたデータに応じた画像をディスプレイ３４に表示させる。操作部３６は、キーボードやマウス等であり、操作者からの指示を入力するために操作者によって操作される。操作部用インタフェース３７は、操作部３６を介して入力された指示を表すデータをＣＰＵ３０へ供給する。アンテナ分配回路３８は、アンテナＲＡを介して（図１、図２参照）から動作検出端末１１の無線送信ユニット１１ａから送信される無線信号を受信する。受信処理回路３９は、アンテナ分配回路３８により受信された無線信号をＣＰＵ３０で処理可能なデータに変換して取り込む。
【００２０】
音源回路４１は、楽音信号を生成する。ＤＳＰ部４０は、ＣＰＵ３０の制御によって決定された処理内容に従い、上記のように音源回路４１によって生成された楽音信号に対して信号処理を施し、信号処理後の楽音信号をサウンドスピーカシステム４２に出力する。サウンドスピーカシステム４２は、ＤＳＰ部４０から供給された信号処理後の楽音信号に応じた楽音をスピーカから発生させる。
【００２１】
楽音発生装置１０は、図示せぬ電源の投入や操作部３６により入力される操作者の指示に基づいてＣＰＵ３０がＲＯＭ３２やハードディスク３３に格納された楽音発生処理プログラム群を実行することにより後述する演奏パラメータ決定処理等を実行するとともに、ＣＰＵ３０が当該楽音発生装置１０の装置全体を制御し、上述した動作検出端末１１から送信される運動情報に応じた楽音発生処理を行うように構成されている。以下、この処理に着目した楽音発生装置１０の機能構成について図４を参照しながら説明する。
【００２２】
同図に示すように、当該楽音発生処理を行う場合の楽音発生装置１０の機能構成は、アンテナ分配回路３８と、受信処理回路３９と、演奏パラメータ決定部４６と、楽音信号生成部４７と、演奏パラメータ決定用テーブル４８と、サウンドスピーカシステム４２とを備えている。
【００２３】
アンテナ分配回路３８は、操作者に動かされる動作検出端末１１から無線送信されるｘ軸検出部ＭＳｘおよびｙ軸検出部ＭＳｙからの検出信号、つまりｘ軸方向の傾きθｘと、ｙ軸方向の傾きθｙとを受信し、受信処理回路３９に出力する。
【００２４】
受信処理回路３９は、アンテナ分配回路３８から供給されたｘ軸方向およびｙ軸方向の検出加速度を示す信号を所定のバンドパスフィルタに通し、演奏パラメータ決定部４６による演奏パラメータの決定に不要な周波数成分を除去する。そして、受信処理回路３９は、不要な周波数成分を除去した各軸方向の傾きθｘおよびθｙを示す信号を演奏パラメータ決定部４６に出力する。
【００２５】
演奏パラメータ決定部４６は、パラメータ決定用テーブル４８を参照し、受信処理回路３９から供給されるＸ軸方向の傾きθｘおよびＹ軸方向の傾きθｙとに基づいて音色、音高……といった楽音発生のために必要な演奏パラメータを決定する処理を行う。図５に示すように、ＲＡＭ３１やハードディスク３３等に構築される演奏パラメータ決定用テーブル４８は、手の傾きを示す各軸方向の傾きθｘ、θｙの値と、音色、音高といった楽音発生のための演奏パラメータとが対応付けて格納されており、演奏パラメータ決定部４６はこのような演奏パラメータ決定用テーブル４８を参照して演奏パラメータを決定する。例えば、図６（ａ）に示すように、手をある方向にまっすぐに伸ばした初期状態から、ユーザが図６（ｂ）に示すように、手首を斜め下側にひねる動作をすると、その動作が動作センサ部ＭＳによって検出される。このような動作をした際に受信処理回路３９から供給されるＸ軸方向の傾きθｘおよびＹ軸方向の傾きθｙが、各々「２０°」および「２０°」である場合（図５参照のテーブルの２段目の登録内容に対応）、演奏パラメータ決定部４６は、音色パラメータ「音色Ｂ」、音高パラメータ「ド」といったパラメータを演奏パラメータとして決定する。なお、演奏パラメータ決定用テーブル４８に格納される内容は、予め設定された固定値であってもよいし、ユーザが操作部３６等を操作して演奏パラメータ決定用テーブル４８の内容を任意に設定できる値であってもよい。
【００２６】
ここで、受信処理回路３９から供給されるαｘおよびαｙは、各々水平方向および垂直方向のユーザの手の傾きを示す情報であるが、楽音発生制御のためにユーザが水平方向にのみ手を傾けたい場合に手を動作させたときにも、垂直方向に若干手が傾いてしまうことがあり得る。逆に、ユーザが垂直方向にのみの手を傾けたい場合にも、水平方向に手が傾いてしまうこともある。したがって、演奏パラメータ決定部４６は、Ｘ軸方向およびＹ軸方向の傾きを比較し、いずれか一方の傾きが他方の１０％未満といった値となるような場合には、小さい値の軸方向の傾きを０°とし、大きい値の軸方向の傾きを示す情報に応じて演奏パラメータを決定する。
【００２７】
演奏パラメータ決定部４６はこのようにして決定した演奏パラメータを楽音信号生成部４７に出力する。楽音信号生成部４７は演奏パラメータ決定部４６から供給された演奏パラメータに示される音色、音高情報に応じた楽音信号を生成する。
【００２８】
このようにして楽音信号生成部４７により生成された楽音信号はサウンドスピーカシステム４２に出力され、サウンドスピーカシステム４２により当該楽音信号に応じた楽音の発生が行われる。
【００２９】
Ａ−２．楽音発生方法
次に、上記構成の楽音発生システム１００を用いてユーザが楽音発生を行う方法について説明する。まず、ユーザは当該楽音発生システム１００を構成する楽音発生装置１０および動作検出端末１１に電源を投入し、楽音発生装置１０において楽音発生を行うための楽音発生処理プログラム群を実行させる。
【００３０】
この後、ユーザは発生させたい楽音に応じて、動作検出端末１１が装着された手をねじるといった動作を行うと、演奏パラメータ決定部４６は、この手の動作に応じて演奏パラメータを生成し、楽音信号生成部４７によってこの演奏パラメータに示される音色、音高等に応じた楽音信号が生成される。この楽音信号がサウンドスピーカシステム４２に供給され、これによりユーザの手をねじり具合に応じた楽音がサウンドスピーカシステム４２から発生させられる。ユーザが手のねじり具合を時間の経過とともに順次変更するといった動作を行うと、当該手のねじり具合の変化に応じて順次演奏パラメータが演奏パラメータ決定部４６によって生成される。そして、順次生成される演奏パラメータに応じた楽音信号が楽音信号生成部４７によって生成され、順次サウンドスピーカシステム４２に供給される。この結果、時間経過とともに順次変化させたユーザの手のねじり具合に応じた楽音が順次発生することとなり、ユーザは手のひねるといった動作を時間経過とともに変化させて行うことにより順次発生する楽音の音高や音色を制御することができ、この結果楽曲演奏を行うことも可能となる。
【００３１】
以上説明したように、本実施形態では、ユーザの手の動きに応じて発生する楽音を制御することができる。手は人間の体の中でも細やかな動作を行いやすい部位であり、このような容易に細やかな動作ができる手の動きに応じた楽音発生を行うことにより、ユーザは自らの意図に応じた楽音発生を行いやすくなる。すなわち、手は細やかな動きが可能であるため、発生させる楽音（音高や音色）を対応付ける動作量の範囲（図５に示す手の傾きの角度の範囲）を細かく設定してもユーザは各々の楽音を発生させるための動作量の範囲内に手を動作させることが容易である。
【００３２】
また、このような楽音発生システム１００を用いた楽音発生方法を利用すれば、次のような新たな音楽エンターテイメントを提供することができる。まず、従来から楽器、電子楽器などでは、演奏操作子を選択操作することにより所望の楽音を発生させるようにしているが（ピアノの鍵やギターの弦など）、この楽音発生システム１００では、このような操作子の選択操作ではなく、ユーザが手をねじるといった簡易な動作で楽音発生を制御することができる。つまり、従来の楽器などでは、指による操作子の選択操作といったより優れた演奏を行うための操作性を追求しているのに対し、本実施形態によれば、このような操作性を重視した楽音発生システム（楽器等）ではなく、手の動きを反映させた楽音発生を行うといった新たな音楽エンターテイメントシステムを提供することができる。
【００３３】
また、上述したような楽音発生システム１００を用いた楽音発生の際には、所望の楽曲等を演奏する場合には、従来の楽器演奏に用いられる五線譜等の楽譜に代えて、手のねじり方向およびねじり量を時系列で記述した新しい楽曲演奏用の譜面（以下、手動作譜面という）をユーザが参照して楽曲演奏を行うといったこともできる。そして、この手動作譜面は、上述した演奏パラメータ決定用テーブル４８の設定登録内容に応じたものになるため、同じ楽曲を演奏する場合にも、当該テーブル４８の登録内容が異なると、ユーザが手を動かす内容が変更されることになる。すなわち、楽音発生システム１００を用いた楽曲演奏において、演奏パラメータ決定用テーブル４８の設定内容が異なると、同じ楽曲を演奏する場合にも異なる動作をユーザが行う必要がある。したがって、ユーザは、演奏パラメータ決定用テーブル４８の設定を適宜変更することにより、ある楽曲の演奏を行うために必要な手のねじり動作を独自に創造することもできる。また、このように独自の動きを創造した場合には、それを実行するための演奏パラメータ決定用テーブル４８の設定内容や、これに対応する手動作譜面等を他の友人等に配布するといったことも可能である。このように設定内容や譜面を配布すれば、配布された設定内容を演奏パラメータ決定用テーブル４８に登録し、譜面通りに手を動作させれば、他の人も、上記創造したユーザと同様の楽曲演奏を行うことができる。
【００３４】
また、楽音発生システム１００を用いることにより、上記のように創造することが可能な演奏パラメータ決定用テーブルの設定内容および手の動きを示す手動作譜面等をサービス提供者側からユーザに提供するといった新しいビジネスモデルの構築も可能である。具体的には、サービス提供者側で演奏パラメータ決定用テーブルの登録内容を記述したデータをＣＤ−ＲＯＭ（Compact Disc-Read only Memory）等の記憶媒体、もしくはインターネット網等を介して、楽音発生装置１０のユーザに提供するとともに、当該データに記述された登録内容が設定されている場合に、ある楽曲を演奏するための上記手動作譜面を書籍等（データとして記録した記録媒体でもよい）で提供するといったサービスの構築が可能となる。
【００３５】
Ａ−３．変形例
なお、上記第１実施形態においては、以下に例示するような種々の変形が可能である。
【００３６】
（変形例１）
上述した第１実施形態においては、ユーザの手の甲に装着した動作センサ部ＭＳがユーザの手のねじり動作を検出し、当該検出結果に応じて楽音発生を制御するようにしていたが、上記動作センサ部ＭＳと無線送信ユニット１１ａとを有する動作検出端末１１に代えて、図７に示すような棒状の動作検出端末を用いるようにしてもよい。同図に示すように、この動作検出端末２１１は外観形状がほぼ円筒状であり、図８に示すように、ユーザはこの円筒状部材の両端の各々を左右の手で握るといった予め決められた把持方法により使用する。図７に戻り、動作検出端末２１１は、円筒状の表面部にユーザの左右の手のねじりによるねじり量を検出するための歪みゲージ２１２ａ，２１２ｂが貼り付けられており、これらの歪みゲージ２１２ａ，２１２ｂは、円柱状部材の表面部の各々直交する軸方向（Ｘ軸、Ｙ軸）の歪み量を検出する。円柱状の動作検出端末２１１の内部には、上記実施形態の動作検出端末１１の無線送信ユニット１１ａと同様の構成が組み込まれており、歪みゲージ２１２ａ，２１２ｂによって検出されたＸ軸方向およびＹ軸方向の歪み量を示す情報が歪みゲージ２１２ａ，２１２ｂから楽音発生装置１０（図１および図４参照）に無線送信されるようになっている。すなわち、動作検出端末２１１は、ユーザの両手によるねじり動作によって変位する円柱状部材の表面部の歪み量を歪みゲージ２１２ａ，２１２ｂによって検出し、その手のねじり動作に応じた検出結果を楽音発生装置１０に無線送信するのである。
【００３７】
楽音発生装置１０では、上記実施形態と同様、歪みゲージ２１２ａ，２１２ｂから送信されるＸ軸方向およびＹ軸方向の歪み量で表されるユーザの手のねじり動作に応じて演奏パラメータを決定し、当該演奏パラメータに応じた楽音が発生される。上記のような予め決められた使用方法で円柱状の動作検出端末２１１を使用することにより、ユーザの左右の手によるねじり動作を検出することができ、上記実施形態と同様に手のねじり動作に応じた楽音発生を行うことができる。
【００３８】
（変形例２）
また、上述した実施形態では、手のねじり動作に応じて、演奏パラメータ決定用テーブル４８に登録されている演奏パラメータに応じた単発の楽音発生を行うようにしていたが、動作検出端末１１から供給されるユーザの手のねじり動作に応じて、予め用意されている楽曲データの再生テンポ、音量、楽音発生タイミング等を制御するようにしてもよい。例えば、予めハードディスク３３等に格納されているＭＩＤＩデータの演奏再生のテンポをユーザの手のねじり動作に応じて制御する場合には、例えば図６（ａ）に示すようにユーザの手がまっすぐ伸びた初期位置にある場合には、通常のテンポで再生し、図６（ｂ）に示す位置にユーザが手首をねじった場合には、そのねじり具合に応じて再生テンポを早くするといった手法を用いることができる。このような手法でＭＩＤＩデータの再生テンポを制御する場合には、演奏パラメータ決定用テーブル４８の音色、音高等といったパラメータに代えて、手の傾きを示す各軸方向の傾きθｘ、θｙの値に再生テンポ値を対応付けて格納するようにすればよい。もちろん、再生テンポ以外にも、音量、ダイナミクス、効果付与等の楽曲演奏に関わる他のパラメータを制御するようにしてもよい。
【００３９】
（変形例３）
また、上述した第１実施形態では、ユーザの手の甲に装着した動作センサ部ＭＳがユーザの手の動作を検出し、当該検出結果に応じて楽音発生を制御するようにしていたが、上記動作センサ部ＭＳと無線送信ユニット１１ａとを有する動作検出端末１１に代えて、図９に示すような自動二輪車のハンドル部分を模擬したハンドル模擬部材９１に設けられるアクセルグリップ型の動作検出端末９０を用いるようにしてもよい。
【００４０】
動作検出端末９０は、ハンドル模擬部材９１に対して固定される固定部（不図示）と、当該固定部を覆うように、かつ固定部に対して図中矢印で示す方向に回転自在に設けられたグリップ部９０ａとを有しており、グリップ部９０ａの内部には、初期位置からの固定部に対するグリップ部９０ａの回転量を検出する回転量検出センサが設けられている。動作検出端末９０には、図示はしないが上記実施形態の動作検出端末１１の無線送信ユニット１１ａと同様の構成が組み込まれており、これにより上記回転量検出センサによって検出されたグリップ部９０ａの回転量を示す情報が楽音発生装置１０（図１および図４参照）に無線送信されるようになっている。すなわち、動作検出端末９０は、グリップ部９０ａを握るユーザの手のねじり動作、すなわち自動二輪車のアクセル開度を調整する動作を検出し、その動作の検出結果を楽音発生装置１０に無線送信するのである。
【００４１】
楽音発生装置１０では、上記実施形態と同様、回転検出センサの回転量で表されるユーザの手のねじり動作に応じて演奏パラメータを決定し、当該演奏パラメータに応じた楽音が発生される。ここで、楽音発生装置１０に、予め自動二輪車のエンジン音をシミュレートして楽音を発生する電子音源を用意するとともに、回転量検出センサの検出角度毎に発生すべきエンジン音の音源データを格納しておけば、ユーザが手首をねじってグリップ部９０ａを回転させた量に応じたエンジン音を発生させることができ、あたかも自動二輪車を運転しているかのような音の環境をユーザに提供することができる。このような動作検出端末９０を有するハンドル模擬部材９１は、自動二輪車シミュレーションゲーム装置のユーザが操作する部材として使用すれば、ユーザはグリップ部９０ａの操作量に応じたエンジン音を聴くことができ、ユーザはより臨場感にあふれた環境下で自動二輪車シミュレーションゲームを行うことができる。
【００４２】
（変形例４）
また、上述した第１実施形態では、ある１人のユーザの手の甲に装着した動作センサ部ＭＳがユーザの手の動作を検出し、当該検出結果に応じて楽音発生を制御するようにしていたが、複数のユーザの手の動作に応じて発生楽音を制御するようにしてもよい。例えば、あるユーザの手の甲には、上述した実施形態における動作センサ部ＭＳのＸ軸検出部ＭＳｘのみを備えた動作センサ部を設け、当該動作センサ部の検出結果（あるユーザの手のＸ軸方向の傾き）を楽音発生装置１０に無線送信する。一方、別のユーザの手の甲には、上述した実施形態における動作センサ部ＭＳのＹ軸検出部ＭＳｙのみを備えた動作センサ部を設け、当該動作センサ部の検出結果（別のユーザの手のＹ軸方向の傾き）を楽音発生装置１０に送信する。そして、これら各々のユーザに装着された動作センサ部の検出結果から、楽音発生装置１０は上記実施形態と同様に演奏パラメータを決定し、楽音発生を制御するようにしてもよい。
【００４３】
Ｂ．第２実施形態
次に、本発明の第２実施形態に係る楽音発生システムについて説明する。上述した第１実施形態では、ユーザの手の甲に装着した動作センサ部ＭＳがユーザの手の動作を検出し、当該検出結果に応じて楽音発生を制御するようにしていた。これに対し、第２実施形態に係る楽音発生システムでは、上記動作センサ部ＭＳと無線送信ユニット１１ａとを有する動作検出端末１１に代えて、種々の楽器に上記動作センサ部ＭＳと無線送信ユニット１１ａと同様の構成を備えた楽器配置状態検出端末を内蔵もしくは取り付け、この楽器配置状態検出端末から送信される楽器の傾き等の配置状態に応じて発生楽音を制御する。例えば、カリンバと呼ばれるアフリカ大陸において主に使用される摘奏体鳴楽器があるが、このカリンバを利用した楽音発生システムの構成を図１０に示す。
【００４４】
同図に示すように、この楽音発生システムでは、カリンバ３００の筐体にマイクロホン３０１および楽器配置状態検出端末３０２動作が取り付けられている。楽器配置状態検出端末３０２は、上記実施形態の動作センサ部ＭＳと同様Ｘ軸およびＹ軸の傾斜角度を検出する傾斜センサを備えた動作センサ部と、上記実施形態における無線送信ユニット１１ａと同様に動作センサ部の検出結果を楽音発生装置３０３に無線送信する構成とを有している。マイクロホン３０１は、演奏者によるアコースティックのカリンバ３００の演奏によって生じる楽音を収音し、音声信号を楽音発生装置３０３に出力する。楽器配置状態検出端末３０２に内蔵された動作センサ部は、カリンバ３００が平面上に配置されたときを初期状態とするカリンバ３００のＸ軸方向（水平方向）およびＹ軸（垂直方向）に対する傾きを検出し、楽器配置状態検出端末３０２はこの検出結果を楽音発生装置３０３に送信する。
【００４５】
楽音発生装置３０３は、増幅率決定部３０３ａと、増幅部３０３ｂと、楽音発生部３０３ｃとを有している。ディジタル乗算器等で構成される増幅部３０３ｂは、上述したカリンバ３００の筐体に取り付けられたマイクロホン３０１によって生成された楽音信号を増幅率決定部３０３ａによって決定された増幅率で増幅し、増幅後の楽音信号を楽音発生部３０３ｃに出力する。増幅率決定部３０３ａは、楽器配置状態検出端末３０２から無線送信されるカリンバ３００の傾きを示す検出結果を受信し、受信した検出結果から増幅率を決定し、決定した増幅率を増幅部３０３ｂに出力する。楽音発生部３０３ｃは、アンプやスピーカシステムを有しており、増幅部３０３ｂによって増幅された楽音信号に対応した楽音、すなわちカリンバ３００の傾きに応じて音量が制御されたカリンバ３００の演奏音を放音する。このような楽音発生システムにおいて、増幅率決定部３０３ａが、検出されたカリンバ３００のＸ軸およびＹ軸の傾きが大きくなればなるほど、大きな増幅率に決定するようにすれば、演奏者がカリンバ３００を上下および左右に大きく傾ければ、傾けるほど、大きな演奏音を発生させるといったことが可能となる。このようにすることで、楽器を傾けるといった簡単な動作を行うことで楽音発生を制御することができ、楽器演奏を妨げることなく、音量制御といった発生楽音の制御を行うことができる。
【００４６】
また、上記のようなカリンバといった楽器以外にも、図１１に例示するように、アコースティックのギター４００に動作検出端末４０１を設けるようにし、演奏者によるギター４００の把持状態に応じてギター４００が発生する楽音を制御するようにしてもよい。この例では、ギター４００に上記カリンバ３００の筐体に取り付けたマイクロホン３０１および楽器配置状態検出端末３０２と同様のマイクロホンおよび楽器配置状態検出端末（不図示）を取り付け、この楽器配置状態検出端末からのギター４００のＸ軸およびＹ軸方向の傾きを示す情報と、マイクロホンによって生成されたギター４００の発生する楽音に対応する楽音信号とに基づいて楽音発生装置４０１が楽音を発生する。
【００４７】
楽音発生装置４０１は、増幅率決定部４０１ａと、増幅部４０１ｂと、楽音発生部４０１ｃとを有している。増幅部４０１ｂは、ギター４００に取り付けられたマイクロホンによって生成された楽音信号を増幅率決定部４０１ａによって決定された増幅率で増幅し、増幅後の楽音信号を楽音発生部４０１ｃに出力する。増幅率決定部４０１ａは、ギター４００に取り付けられた楽器配置状態検出端末から無線送信されるギター４００の傾きを示す検出結果を受信し、受信した検出結果から増幅率を決定し、決定した増幅率を増幅部４０１ｂに出力する。これによりアンプやスピーカシステム等から構成される楽音発生部４０１ｃは、増幅部４０１ｂによって増幅された楽音信号に対応した楽音、すなわちギター４００の傾きに応じて音量が制御されたギター４００の演奏音を放音する。したがって、演奏者はギター４００の持ち方を適宜変更することにより、楽音発生装置４０１から発生させる楽音の音量を大きくすることができる。
【００４８】
このようなカリンバ３００やギター４００といった楽器の傾き等の配置状態によって当該アコースティック楽器の発生する楽音音量を制御する以外にも、カリンバ３００やギター４００といった楽器の配置状態に応じて、予め用意されている楽曲データに応じた楽曲演奏を制御するようにしてもよい。例えば、ギター４００によるアコースティックのある楽曲の演奏と、予め用意されている上記ある楽曲のＭＩＤＩデータを楽音再生装置が再生することにより実現される演奏との合奏を行う場合に、当該ＭＩＤＩデータに応じた楽音再生装置の再生音量やテンポ等を、ギター４００の傾きといった配置状態に応じて制御するようにしてもよい。例えば、ギター４００を大きく傾ければ、楽音再生装置が再生する楽音量を大きくするといった設定をしておけば、ＭＩＤＩデータによるピアノ部分の楽曲再生の音量を大きくしたい場合には、演奏者はギター４００を演奏する際に、ギター４００を大きく傾けて持つようにすれば、ピアノ部分の演奏音を大きくするといったことが可能となる。このような演奏者の演奏と、楽曲データ等に基づく楽曲演奏とを合奏する場合にも、演奏者は自身の楽曲演奏を行いながら、容易に楽曲再生装置によって演奏される楽音を制御することができる。
【００４９】
なお、上記第２実施形態においては、傾斜センサを用いてカリンバやギターといった楽器の配置状態を検出するようにしていたが、他のセンサ、例えば地磁気センサ、重力センサ等の種々のセンサを用いて楽器の配置状態を検出するようにしてもよい。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、ユーザの容易な動きを反映した楽音発生制御を行うことができる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る楽音発生システムの概略を示す図である。
【図２】 前記楽音発生システムの構成要素である動作検出端末の構成を示すブロック図である。
【図３】 前記楽音発生システムの構成要素である楽音発生装置のハードウェア構成を示すブロック図である。
【図４】 前記楽音発生システムの機能構成を示すブロック図である。
【図５】 前記楽音発生システムの構成要素である演奏パラメータ決定用テーブルの記憶内容を説明するための図である。
【図６】 前記楽音発生システムによる楽音発生を制御するためのユーザの手の動きの一例を示す図である。
【図７】 前記楽音発生システムの変形例における動作検出端末の外観を示す図である。
【図８】 前記楽音発生システムの変形例における前記動作検出端末の使用方法を説明するための図である。
【図９】 前記楽音発生システムの他の変形例における動作検出端末の外観を示す図である。
【図１０】 本発明の第２実施形態に係る楽音発生システムの機能構成を示す図である。
【図１１】 前記第２実施形態に係る楽音発生システムの変形例の機能構成を示す図である。
【符号の説明】
１０……楽音発生装置、１１……動作検出端末、１１ａ……無線送信ユニット、３８……アンテナ分配回路、３９……受信処理回路、４２……サウンドスピーカシステム、４６……演奏パラメータ決定部、４７……楽音信号生成部、４８……演奏パラメータ決定用テーブル、２１１……動作検出端末、２１２ａ，２１２ｂ……歪みゲージ、９０……動作検出端末、９１……ハンドル模擬部材、３００……カリンバ、３０１……マイクロホン、３０２……楽器配置状態検出端末、３０３……楽音発生装置、３０３ａ……増幅率決定部、３０３ｂ……増幅部、３０３ｃ……楽音発生部、４００……ギター、４０１……楽音発生装置、４０１ａ……増幅率決定部、４０１ｂ……増幅部、４０１ｃ……楽音発生部

Claims (2)

1. ユーザの手に装着された状態で使用される動作検出端末と、制御情報生成装置とからなる楽音制御システムであって、
   前記動作検出端末は、
   第１の空間軸に対する前記手の傾きを検出する第１のセンサと、
   第１の空間軸と直交する第２の空間軸に対する前記手の傾きを検出する第２のセンサと、
   前記第１のセンサおよび前記第２のセンサからそれぞれ検出された傾き角によって表される前記ユーザの手のねじり動作を示す動作情報を送信する送信部と
   を有し、
   前記制御情報生成装置は、
   前記第１のセンサが検出した傾き角および前記第２のセンサが検出した傾き角の組み合わせと、楽音の音高、音色、テンポ、音量、タイミングおよび効果の少なくとも１つを制御するための演奏パラメータとを対応付けて記憶する記憶部と、
   前記動作情報を受信する受信部と、
   前記記憶部を参照し、前記受信部にて受信された動作情報に基づいて当該動作情報に対応する演奏パラメータを決定するパラメータ決定手段と、
   前記パラメータ決定手段にて決定された演奏パラメータに基づいて、楽音信号生成装置によって生成される楽音信号を制御するための制御情報を生成する制御情報生成手段と
   を有する
   ことを特徴とする楽音制御システム。
2. 前記パラメータ決定手段は、
   前記第１のセンサおよび第２のセンサのそれぞれから検出された傾き角を比較し、何れか一方の傾きが他方の傾きに比べて所定割合小さい場合に、値が大きいセンサの傾き角のみに応じて演奏パラメータを決定する
   ことを特徴とする楽音制御システム。

Images