JP3879583B2 - Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program - Google Patents

Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program Download PDF

Info

Publication number
JP3879583B2
JP3879583B2 JP2002130454A JP2002130454A JP3879583B2 JP 3879583 B2 JP3879583 B2 JP 3879583B2 JP 2002130454 A JP2002130454 A JP 2002130454A JP 2002130454 A JP2002130454 A JP 2002130454A JP 3879583 B2 JP3879583 B2 JP 3879583B2
Authority
JP
Japan
Prior art keywords
musical sound
operation terminal
vibration
information
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002130454A
Other languages
Japanese (ja)
Other versions
JP2003029747A (en
Inventor
善樹 西谷
聡史 宇佐
詠子 小林
晃 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002130454A priority Critical patent/JP3879583B2/en
Publication of JP2003029747A publication Critical patent/JP2003029747A/en
Application granted granted Critical
Publication of JP3879583B2 publication Critical patent/JP3879583B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、楽音発生を制御するために用いられる運動情報を生成する操作端末を用いた楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
オーディオ機器等の楽音発生装置においては、音色、音高、音量および効果といった４つの演奏パラメータが決定すると、所望の楽音を発音することが可能となる。係る楽音発生装置を利用してＣＤ（Compact Disc）等に記録された楽曲データを再生する場合、ユーザは当該楽音発生装置の操作摘み等を操作して音量等のパラメータを調整することにより、所望の楽曲を鑑賞していた。
【０００３】
【発明が解決しようとする課題】
このように、従来の楽音発生装置を使用して演奏再生等を行う場合、ユーザは単に操作摘み等を操作して音量等のパラメータを調整するのみであり、操作感触を得ることができなかった。また、係る操作により音量等のパラメータを調整していたのでは自分が演奏再生を演出しているといった満足感を得ることができず、おもしろみにかけていた。
本発明は、以上説明した事情を鑑みてなされたものであり、ユーザが操作感触を得ることがきると共に、演奏再生等に積極的に参加しているといった満足感を得ることができる楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上述した問題を解決するため、本発明に係る楽音発生制御システムは、操作者携帯可能な操作端末と楽音発生制御装置とを備え、前記操作端末は、前記操作者の操作により生じた前記操作端末の運動を検出して運動情報を生成し、前記楽音発生制御装置へ送信する手段を有し、前記楽音発生制御装置は、受信した前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信する手段を有し、前記操作端末は、受信した振動制御情報に応じた振動を発生する振動発生手段を有することを特徴とする。
【０００５】
係る楽音発生制御システムによれば、操作端末を操作するユーザの運動情報が楽音発生制御装置に受信され、該運動情報に基づき楽音発生が制御される一方、該制御内容に応じた振動が操作端末において発生する。従って、該操作端末を操作するユーザは操作感触を得ることがきると共に、演奏再生等に積極的に参加しているといった満足感を得ることができる。
【０００６】
また、本発明に係る楽音発生制御方法は、操作者携帯可能な操作端末は、前記操作者の操作により生じた前記操作端末の運動を検出して運動情報を生成し、楽音発生制御装置へ送信し、前記楽音発生制御装置は、受信した前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成し、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信し、前記操作端末は、受信した振動制御情報に応じた振動を発生することを特徴とする。
【０００７】
係る楽音発生制御方法によれば、操作端末を操作するユーザの運動情報が楽音発生制御装置に受信され、該運動情報に基づき楽音発生が制御される一方、該制御内容に応じた振動が操作端末において発生する。従って、該操作端末を操作するユーザは操作感触を得ることができると共に、演奏再生等に積極的に参加しているといった満足感を得ることができる。
【０００８】
また、本発明に係る楽音発生制御装置は、操作者携帯可能な操作端末から、操作者の操作による前記操作端末の運動を検出して生成した運動情報を受信する手段と、前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信する手段とを具備することを特徴とする。
【０００９】
係る楽音発生制御装置によれば、操作端末を操作するユーザの運動情報を受信すると、該楽音発生制御装置は該運動情報に基づいて演奏制御情報を生成すると共に該演奏制御情報に基づき振動制御情報を発生し、これを操作端末へ送信する。操作端末は受信した振動制御情報づき振動を発生し、これにより該操作端末を操作するユーザは操作感触を得ることがきると共に、演奏再生等に積極的に参加しているといった満足感を得ることができる。
【００１０】
また、本発明に係る操作端末は、操作者携帯可能な操作端末であって、前記操作者の操作により生じた当該操作端末の運動を検出して運動情報を生成する手段と、前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成し、生成した演奏制御情報に基づき振動を発生する手段と、前記演奏制御情報を前記楽音発生装置へ送信する手段とを具備することを特徴とする。
【００１１】
係る操作端末によれば、当該操作端末を操作するユーザの運動情報を生成し、該運動情報に基づいて演奏制御情報を生成すると共に該演奏制御情報に基づき振動を発生する一方、該演奏制御情報を楽音発生装置へ送信する。楽音発生装置は該演奏制御情報に基づき楽音を発生し、これにより操作端末を操作するユーザは該楽音発生に応じた操作感触を得ることがきると共に、演奏再生等に積極的に参加しているといった満足感を得ることができる。
【００１２】
【発明の実施の形態】
以下、本発明をさらに理解しやすくするため、実施の形態について説明する。かかる実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【００１３】
Ａ．第１の実施形態
Ａ−１．楽音発生制御システム１００の全体構成
図１は、第１の実施形態に係る楽音発生制御システム１００の全体構成を示す図である。
楽音発生制御システム１００は、音楽教室、学校、家、ホール等において運用されるシステムであり、楽音発生装置４と、該楽音発生装置４に対応して設けられる複数の操作端末５−Ｎ（Ｎ≧１）とを備えている。
本実施形態に係る楽音発生制御システム１００は、楽音発生装置４によって行われる楽音発生及び演奏再生（以下、楽音発生等という）を、各所に点在するユーザが演出するといったことを可能とするものである。以下、係る楽音発生制御システム１００を構成する各要素について詳細に説明する。
【００１４】
Ａ−２．楽音発生制御システム１００の機能構成
図２は、ある１つの音楽教室等に構築された楽音発生制御システム１００の機能構成を示す図である。なお、以下の説明において、操作端末５−１〜操作端末５−Ｎを特に区別する必要がない場合には、単に操作端末５という。
操作端末５は、操作者の手に把持される、もしくは身体の一部に装着される等といったように操作者に携帯可能な端末である（図３参照）。
動作センサＭＳは、操作端末５を携帯している操作者の動作に基づく運動を検出して運動情報を生成し、無線通信部２０に順次出力するセンサであり、公知の３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサまたは歪み検出器等により構成されている。
【００１５】
無線通信部２０は、楽音発生装置４との間で無線によるデータ通信を行う役割を担っている。無線通信部２０は、動作センサＭＳから操作者の動きに応じた運動情報を受け取ると、該運動情報に操作端末５を識別するためのＩＤを付加して楽音発生装置４に無線送信する一方、楽音発生装置４から当該操作端末５宛てに送信される種々の情報を受信する。
振動ユニットＵＴは、楽音発生装置４から当該操作端末５宛てに送信される駆動信号（後述）に基づいて振動を発生する。なお、振動発生のメカニズム等については後述する。
【００１６】
楽音発生装置４は、各操作端末５から送信される運動情報に基づき楽音発生等を行うと共に、楽音発生等に基づいて操作端末５に供給すべき駆動信号の生成等を行う。なお、特許請求の範囲の項に記載の楽音発生制御装置は、下記に示す無線通信部２２、情報解析部２３、演奏パラメータ決定部２４、駆動信号生成部２６を具備する装置をいい、同項に記載の楽音発生装置は、下記に示す楽音発生部２５、サウンドスピーカシステム２７を具備する装置をいう。本実施形態では、下記に示す無線通信部２２、情報解析部２３、演奏パラメータ決定部２４、楽音発生部２５、駆動信号生成部２６、サウンドスピーカシステム２７を全て搭載した楽音発生装置４を例に説明を行うが、上述したように駆動信号の生成等を行う楽音制御装置と楽音発生等を行う楽音発生装置を別体構成とすることも可能である。
【００１７】
無線通信部２２は、操作端末５から無線送信される運動情報を受信し、受信した運動情報を情報解析部２３に出力する。
情報解析部２３は、無線通信部２２から供給される運動情報に対し、後述する所定の解析処理を行い、当該解析結果を演奏パラメータ決定部２４に出力する。演奏パラメータ決定部２４は、情報解析部２３から供給される運動情報の解析結果に応じて、楽曲データ記憶部（図示略）から読み出した楽曲データ（ＭＩＤＩ(Musical Instrument Digital Interface）規格に準拠したデータ等）の演奏パラメータ、例えば楽音の音量やテンポ等のパラメータを決定し、決定した演奏パラメータに基づいて編集した楽曲データ（すなわち、ＭＩＤＩデータ）を楽音発生部２５及び駆動信号生成部２６へ出力する。
【００１８】
楽音発生部２５は、演奏パラメータ決定部２４から供給されるＭＩＤＩデータを受け取ると、該ＭＩＤＩデータに基づく楽音信号を生成し、生成した楽音信号をサウンドスピーカシステム２７に出力する。サウンドスピーカシステム２７は、楽音発生部２５から供給される楽音信号に基づいて楽音発生等を行う。
駆動信号生成部２６は、演奏パラメータ決定部２４から供給されるＭＩＤＩデータを受け取ると、該ＭＩＤＩデータに基づき上述した駆動信号を生成し、無線通信部２２へ出力する。無線通信部２２は、該駆動信号を操作端末５宛てに送信し、これにより該ＭＩＤＩデータに基づく振動が操作端末５において発生する。
【００１９】
楽音発生制御システム１００は、上記のような機能を備えることにより、楽曲データに忠実な楽音発生を行うのみならず、操作端末５を携帯する操作者の動きを反映した操作者オリジナルの楽音発生等を行うことができる。また、操作端末５を携帯する操作者は、自己の動作が楽音発生等にどのように反映されているのかを操作端末５において発生する振動を検知することにより認識することができる。
以下、このような機能を実現するための操作端末５および楽音発生装置４の構成について説明する。
【００２０】
Ａ−３−１．操作端末５の構成
図３に示すように、本実施形態に係る操作端末５は、操作者が手に把持して使用する、いわゆる手持ちタイプの操作端末であり、両端側が大径で中央側が小径のテーパ状をなす基部（図示左寄り）と端部（図示右寄り）から構成されている。 基部は、平均径が端部より小さく手で握りやすくなっており、把持部として機能する。この基部における底部（図示左端）外面にはＬＥＤ（Light Emitting Diode）表示器ＴＤや電池電源の電源スイッチＴＳが設けられ、中央部外面には操作スイッチＴ６が設けられている。一方、端部の先端近傍には、複数個のＬＥＤ発光器ＴＬが設けられている。このような形状を有する操作端末５には、各種の装置が内蔵されている。
【００２１】
図４は、操作端末５の内部構成を示すブロック図である。
ＣＰＵ（Central Processing Unit）Ｔ０は、ＲＯＭ、ＲＡＭ等により構成されたメモリＴ１に格納されている各種制御プログラムに基づいて、動作センサＭＳ、振動ユニットＵＴ等、操作端末５の各部を制御する。また、ＣＰＵＴ０は、動作センサＭＳから送出される運動情報に携帯端末５を識別するためのＩＤを付加する機能、楽音発生装置４から無線送信される駆動信号を振動ユニットＵＴに供給する機能等を備えている。
動作センサＭＳは、３次元加速度センサ等により構成され、操作者が操作端末５を手に持ち操作することにより、その操作の方向、大きさおよび速度に応じた運動情報を出力する。なお、本実施形態では、動作センサＭＳが操作端末５に内蔵されている場合を例に説明を行うが、係る動作センサＭＳを操作者の身体の任意箇所に取り付け可能な構成とすることも可能である。
送受信回路Ｔ２は、アンテナＴＡのほか、高周波トランスミッタ、電力増幅器、（ともに図示略）等を備えており、ＣＰＵＴ０から供給されるＩＤの付加された運動情報を楽音発生装置４に送信する機能、楽音発生装置４から送信される駆動信号を受信する機能等を備えている。すなわち、送受信回路Ｔ２が図２に示す無線通信部２０の機能を実現している。
【００２２】
振動ユニットＵＴは、振動制御回路ＵＴ１、振動モータＵＴ２等により構成されている。振動制御回路ＵＴ１は、無線通信部２０から出力される駆動信号に基づいて振動モータＵＴ２に印加する電圧を制御する。この振動制御回路ＵＴ１には、駆動信号の信号レベルと該振動モータＵＴ２に印可すべき電圧レベルとを対応付けたテーブル（図示略）が設けられている。振動制御回路ＵＴ１は、ＣＰＵＴ０から駆動信号を受け取ると、該テーブルを参照して振動モータＵＴ２に供給すべき電圧を決定する。振動モータＵＴ２は、振動ユニットＵＴを振動させるためのモータであり、該振動モータＵＴ２に印可する電圧を制御することにより、振動ユニットＵＴにおいて発生する振動の強弱、振動周波数、振動タイミング等を制御することが可能となっている。このように、電圧制御により振動モータＵＴ２を制御することも可能であるが、例えば入力電源を一定の電圧に変換し、出力のパルス幅によって該振動モータＵＴ２を制御(パルス幅波形制御方式:Pulse Width Modulation)することも可能である。
【００２３】
表示ユニットＴ３は、上述したＬＥＤ表示器ＴＤ、複数個のＬＥＤ発光器ＴＬ等を備え、ＣＰＵＴ０による制御の下、センサナンバ、動作中、電源アラーム等の各種情報を表示する。操作スイッチＴ６は、当該操作端末５の電源のオン／オフ切り換えや各種モード設定等を行うために用いられるスイッチである。これらの各構成要素には、図示せぬ電池電源から駆動電力が供給されるが、このような電池電源としては、一次電池を用いるようにしてもよいし、充電可能な二次電池を用いるようにしてもよい。
【００２４】
Ａ−３−２．楽音発生装置４の構成
図５は、楽音発生装置４のハードウェア構成例を示すブロック図である。
楽音発生装置４は、一般的なパーソナルコンピュータ（以下、ＰＣという）に、操作端末５と無線通信を行うための無線通信機能と、サウンドスピーカシステム２７とを搭載した装置である。
【００２５】
楽音発生装置４の各部を制御する本体ＣＰＵ１０は、テンポクロックや割り込みクロックの発生等に利用されるタイマ１４による時間管理の下、所定のプログラムに従って種々の制御を行うものであり、演奏パラメータの決定や演奏データ変更及び再生制御に関する演奏処理プログラム等を中枢的に遂行する。ＲＯＭ（Read Only Memory）１１には、楽音発生装置４を制御するための所定の制御プログラムが記憶されており、これらの制御プログラムには、演奏パラメータ決定や演奏データ変更及び再生制御に関する演奏処理プログラム、各種データ／テーブル等が格納されている。ＲＡＭ（Random Access Memory）１２は、これらの処理に際して必要なデータやパラメータを記憶し、また、処理中の各種データを一時記憶するためのワーク領域として用いられる。
【００２６】
第１の検出回路１５にはキーボード１０ｅが接続され、第２の検出回路１６には、マウス等のポインティングデバイス１０ｆが接続され、表示回路１７にはディスプレイ１０ｇが接続されている。これにより、ディスプレイ１０ｇに表示される各種画面を視認しつつキーボード１０ｅやポインティングデバイス１０ｆを操作し、楽音発生装置４において演奏データ制御に必要な各種モードの設定、操作端末５を識別するＩＤに対応する処理・機能の割り当て、演奏トラックへの音色（音源）・設定等、種々の設定操作を行うことができる。
【００２７】
送受信処理回路１０ａには、アンテナ分配回路１０ｈが接続され、このアンテナ分配回路１０ｈは、例えば、多チャンネル高周波レシーバで構成され、操作端末５からの運動情報をアンテナＲＡを介して受信する一方、本体ＣＰＵ１０において生成された駆動信号をアンテナＲＡを介して送信する。送受信処理回路１０ａは、操作端末５から受信した信号及び操作端末５へ送信する信号に対して所定の信号処理を施す。すなわち、送受信処理回路１０ａ、アンテナ分配回路１０ｈおよびアンテナＲＡが、図２に示す無線通信部２２を構成している。
【００２８】
本体ＣＰＵ１０は、上述した楽音発生プログラムに従う演奏処理を行い、操作端末５を所持する操作者の身体の動作を表わす運動情報を解析し、当該解析結果に基づいて演奏パラメータを決定すると共に、決定した演奏パラメータに基づいて操作端末５に供給すべき駆動信号等を生成する。すなわち、本体ＣＰＵ１０が図２に示す情報解析部２３、演奏パラメータ決定部２４、駆動信号生成部２６の機能を実現している。なお、運動情報の解析、演奏パラメータの決定、駆動信号の生成処理等については後述することとし、説明を続ける。
【００２９】
効果回路１９は、ＤＳＰ(Digital Signal Processor)等により構成され、音源回路１８及び本体ＣＰＵ１０と共に、図２に示す楽音発生部２５の機能を実現する。音源回路１８、効果回路１９等は、本体ＣＰＵ１０から供給される編集後の楽曲データ（ＭＩＤＩデータ）、すなわち操作者の動きに応じて演出処理されたＭＩＤＩデータに基づいて楽音信号を生成し、これをサウンドスピーカシステム２７へ出力する。
サウンドスピーカシステム２７は、これら音源回路１８、効果回路１９等から供給される楽音信号を演奏楽音として放音する。なお、本実施形態に係る音源回路１８は、複数系統のシーケンスプログラムにしたがって同時に多数のトラックに応じた楽音信号を生成することが可能となっている。
【００３０】
外部記憶装置１３は、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク・リード・オンリ・メモリ（ＣＤ−ＲＯＭ）ドライブ、フロッピィデイスクドライブ（ＦＤＤ）、光磁気（ＭＯ）ディスクドライブ、ディジタル多目的ディスク（ＤＶＤ）ドライブ等の記憶装置から成り、各種制御プログラムや楽曲データ等、各種データを記憶することが可能となっている。従って、演奏パラメータ決定や演奏データ変更及び再生制御に必要な演奏処理プログラムなどの各種プログラム等は、ＲＯＭ１１を利用するだけでなく、外部記憶装置１３からＲＡＭ１２内に読み込むことができ、必要に応じて、処理結果を外部記憶装置１３に記録しておくこともできる。
以下、動作センサＭＳとして３次元加速度センサを用いた場合の運動情報解析処理、演奏パラメータ決定処理及び駆動信号生成処理の一例について図２及び図６等を参照して説明する。
【００３１】
Ａ−４．運動情報解析処理、演奏パラメータ決定処理及び駆動信号生成処理
図６は、３次元加速度センサを使用して楽曲演奏の演出を行う場合の機能ブロック図である。
操作者が動作センサＭＳの内蔵された操作端末５を手に持って操作すると、操作方向と操作力に応じた運動情報が該操作端末５から楽音発生装置４に送信される。さらに詳述すると、操作端末５における動作センサＭＳのｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺからは、ｘ（上下）方向の加速度αｘ（ｘは、添字）、ｙ（左右）方向の加速度αｙ（ｙは、添字）およびｚ（前後）方向の加速度αｚ（ｚは、添字）を表わす信号Ｍｘ、Ｍｙ、Ｍｚが出力され、ＣＰＵＴ０によって該信号Ｍｘ、Ｍｙ、Ｍｚの各々にＩＤが付加され運動情報として楽音発生装置４に無線送信される。楽音発生装置４の無線通信部２２は、図示せぬテーブルを参照し、受け取った運動情報に付加されているＩＤと該テーブルに登録されているＩＤとを比較する。無線通信部２２は、比較の結果、運動情報に付加されているＩＤと同じＩＤが該テーブルに登録されていることを確認すると、運動情報を加速度データαｘ、αｙ、αｚとして情報解析部２３に出力する。
【００３２】
情報解析部２３においては、各軸加速度データが解析され、まず、下記式（１）で表わされる加速度の絶対値｜α｜が求められる。
｜α｜＝（αｘ＊αｘ＋αｙ＊αｙ＋αｚ＊αｚ）1/2・・・（１）
次に、加速度αｘ、αｙと、加速度αｚとを比較する。比較の結果、例えば、下記に示す（２）の関係が成立するとき、つまり、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより大きいときは、操作端末５を突く「突き動作」であると判別する。
αｘ＜αｚ、且つ、αｙ＜αｚ・・・（２）
【００３３】
逆に、ｚ方向加速度αｚが、ｘ方向加速度αｘ及びｙ方向加速度αｙより小さいときには、操作端末５により空気を切りさく「切り動作」であると判別する。この場合、さらに、ｘ、ｙ方向加速度αｘ、αｙの値を互いに比較することにより、「切り動作」の方向が「たて」（ｘ）なのか「よこ」（ｙ）)なのかを判別することができる。
【００３４】
また、各軸ｘ、ｙ、ｚ方向成分相互の比較だけでなく、各方向加速度成分αｘ、αｙ、αｚ自体の大きさと所定のしきい値とを比較し、しきい値以上であれば、これらの動作を組み合わせた「組合せ動作」であると判別することができる。例えば、αｚ＞αｘ、αｚ＞αｙ、且つ、αｘ＞「ｘ成分のしきい値」であれば「たて（ｘ方向）に切りつつ、突く動作」と判別し、αｚ＜αｘ、αｚ＜αｙ、且つ、αｘ＞「ｘ成分のしきい値」且つ、αｙ＞「ｙ成分のしきい値」であれば、「斜め（ｘ、ｙ両方向）切り動作」であると判別する。さらに、Ｘ方向およびｙ方向の加速度αｘ、αｙの値が、円軌跡を描くように相対的に変化して行く現象を検出することにより、操作端末５をぐるぐると回す「回し動作」を判別することができる。
【００３５】
演奏パラメータ決定部２４は、情報解析部２３による解析処理の判定結果に基づいて楽曲データ記憶部（図示略）から読み出した楽曲データ（すなわち、ＭＩＤＩデータ）の各演奏パラメータを決定する。一例を挙げて説明すると、演奏パラメータ決定部２４は、加速度絶対値｜α｜或いは各方向成分αｘ、αｙ、αｚのうち最大を示す成分の大きさに応じて楽曲データの音量を制御する。
【００３６】
また、演奏パラメータ決定部２４は、該判定結果に基づいて他のパラメータを次のように制御する。例えば、「たて（ｘ方向）切り動作」の周期に応じてテンポを制御する。これとは別に、「たて切り動作」が素早く小さい動作であると判断した場合には、アクセント等のアーティキュレーションを与え、該「たて切り動作」がゆっくり大きい動作であると判断した場合には、ピッチ（音高）を下げる。また、「よこ（ｙ方向）切り動作」であると判断した場合にはスラー効果を与え、「突き動作」であると判断した場合には、そのタイミングで、楽音発生タイミングを縮めてスタッカート効果を与えたり、大きさに応じた単発音（打楽器音、掛け声等）を当該楽曲の対応箇所に挿入する。さらに、「よこ（ｙ方向）切り動作」と「突き動作」との「組み合わせ動作」であると判断した場合には、上述の制御を併用し、「回し動作」であると判断した場合には、周期が大きい場合は該周期に応じて残響効果を高め、周期が小さい場合は該周期に応じてトリルを発生させるように制御する。なお、これらの制御はあくまで例示であり、その他にも例えば各軸の加速度のローカルピーク値に応じてダイナミクスを制御し、ローカルピークの鋭さを示すピークＱ値に応じてアーティキュレーションを制御するようにしても良い。
【００３７】
演奏パラメータ決定部２４は、このようにして楽曲データの各演奏パラメータを決定し、決定した演奏パラメータに基づき楽曲データ（すなわち、ＭＩＤＩデータ）の編集を行うと、該ＭＩＤＩデータを駆動信号生成部２６び楽音発生部２５に出力する。
図７は、ＭＩＤＩデータの構成を説明するための図である。
ＭＩＤＩデータは、デルタ・タイムと呼ばれる時間データと、ＭＩＤＩイベントと呼ばれる演奏内容等を示すデータにより構成されている。
ＭＩＤＩイベントは、発音すべき旨又は消音すべき旨を示すノートオン・ノートオフ情報と、発音または消音の対象となる音の高さ（すなわち、音高）を指定するノートナンバ情報と、発音の強弱を示すベロシティ情報とを含むデータ形式が一般的であり、例えば「ドの音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった命令によって構成される。デルタ・タイムは、ＭＩＤＩイベントを実行するタイミングを示す情報であり、あるＭＩＤＩイベントが実行されると、そのＭＩＤＩイベント開始からの経過時間ｔが本体ＣＰＵ１０によって監視され、この経過時間ｔが次のＭＩＤＩイベントのデルタ・タイムＴを越えたとき、次のイベントが実行されるようになっている。
【００３８】
駆動信号生成部２６は、演奏パラメータ決定部２４からＭＩＤＩデータを受け取ると、ＭＩＤＩデータに基づく駆動信号を生成する。一例を挙げて説明すると、駆動信号生成部２６は、ＭＩＤＩデータを構成するデルタ・タイムに基づき、振動発生タイミングを決定し、ＭＩＤＩイベントを構成するベロシティ情報及びノートナンバ情報に基づき、振動の強さ（振幅）及び振動の種類（振動周波数）を決定する。例えば、振動の強さを決定する場合には、予めベロシティ情報が示す音量レベルに比例して振幅レベルが高くなるように設定されたテーブル(図示略）を参照することにより振幅レベルを決定し、振動の種類を決定する場合には、予めノートナンバ情報が示す音高と振動周波数とを対応付けたテーブル（図示略）を参照することにより振動周波数を決定する（図８参照）。また、振動モータＵＴ２として複数個の振動モータを使用した場合には、電圧印加対象となる振動モータを、発生すべき振動の大きさに応じて適宜選択する、各振動モータに印加する電圧の大きさを変更する等の制御を行うことも可能である。さらには、ＭＩＤＩデータに含まれる演奏テンポ情報、デルタ・タイムに基づいて振動発生タイミングを決定する等の制御を行うようにしても良い。駆動信号生成部２６は、このように決定した振動発生タイミング、振動の強さ、振動の種類で振動させるための駆動信号を生成し、無線通信部２２に出力することで、該駆動信号が無線通信部２２を介して振動ユニットＵＴへ供給される。
【００３９】
楽音発生部２５は、演奏パラメータ決定部２４から供給されるＭＩＤＩデータに応じて楽音信号を生成し、サウンドスピーカシステム２７を介して楽音演奏の出力を行う。これにより、楽音発生装置４において操作端末５を携帯した操作者の動きを反映した楽音発生等が行われると共に、操作者は、操作端末５において発生する振動を検知することにより自己の動作が楽音発生等にどのように反映されているのかを認識することができる。
【００４０】
Ｂ．実施形態の動作
Ｂ−１．第１の動作例
以下、下記条件に従い操作者が操作端末５を操作することにより演奏再生を制御する場合について説明を行う。
＜演奏パラメータ決定部２４が決定する演奏パラメータ＞
・「たて（ｘ方向）切り動作」 → 演奏テンポ
＜駆動信号生成部２５が生成する駆動信号＞
・上記演奏テンポに基づき駆動信号を生成
操作者が操作端末５の操作スイッチＴ６及び楽音発生装置４のキーボード１０ｅ等を操作して電源を投入した後、該操作者が操作スイッチＴ６（図３参照）の取付位置が上になるように持って上下に振ると、振り加速度に応じたＸ方向の加速度αｘを表す信号が発生し、発生した信号が運動情報として楽音発生装置４へ送信される。
【００４１】
楽音発生装置４の無線通信部２２は、該操作端末５からの運動情報を受信すると、該運動情報を加速度データとして情報解析部２３に供給する。情報解析部２３は、受け取った加速度データを解析し、解析結果から例えば「たて（ｘ方向）切り動作」であると判断すると、該判断結果と共に「たて（ｘ方向）切り動作」の周期情報等を演奏パラメータ決定部２４に出力する。
【００４２】
演奏パラメータ決定部２４は、情報解析部２３における判断結果等に基づき「たて（ｘ方向）切り動作」であると判断すると、該情報解析部２３から供給される周期情報に基づき、演奏テンポを決定し、決定した演奏テンポを示す情報を含むＭＩＤＩデータを駆動信号生成部２６及び楽音発生部２５へ出力する。楽音発生部２５は、演奏パラメータ決定部２４から受け取ったＭＩＤＩデータに基づき楽音信号を生成し、サウンドスピーカシステム２７を介して楽音演奏の出力を行う。一方、駆動信号生成部２６は、受け取ったＭＩＤＩデータに示される演奏テンポで振動を発生させるための駆動信号を生成し、生成した駆動信号を無線通信部２２を介して操作端末５宛てに送信する。操作端末５は、無線通信部２０を介して駆動信号を受信すると、該駆動信号を振動制御回路ＵＴ１に供給する。振動制御回路ＵＴ１は、該駆動信号に基づき振動モータＵＴ２に印可すべき電圧を決定し、決定した電圧を振動モータＵＴ２に印可する。これにより、振動ユニットＵＴから演奏テンポに基づく振動が発生し、操作者は自己の動作が演奏再生のテンポにどのように反映されているのかを認識することができる。
【００４３】
Ｂ−２．第２の動作例
上述した第１の動作例では、演奏テンポに基づいて振動を発生する場合を例に説明を行った。これに対し、第２の動作例では、下記条件に従い音量に基づいて振動を発生する場合を例に説明を行う。
＜演奏パラメータ決定部２４が決定する演奏パラメータ＞
・「よこ（ｙ方向）切り動作」 → 音量
＜駆動信号生成部２５が生成する駆動信号＞
・上記音量に基づき駆動信号を生成
【００４４】
操作者が操作端末５の操作スイッチＴ６及び操作端末５の操作スイッチＴ６及び楽音発生装置４のキーボード１０ｅ等を操作して電源を投入した後、該操作者が操作スイッチＴ６の取付位置が上になるように持って左右に振ると、振り加速度に応じたＹ方向の加速度αｙを表す信号が発生し、発生した信号が運動情報として楽音発生装置４へ送信される。
楽音発生装置４の無線通信部２２は、該操作端末５からの運動情報を受信すると、該運動情報を加速度データとして情報解析部２３に供給する。情報解析部２３は、受け取った加速度データを解析し、解析結果から「よこ（ｙ方向）切り動作」であると判断すると、該判断結果と共に「よこ（ｙ方向）切り動作」の周期情報等を演奏パラメータ決定部２４に出力する。
【００４５】
演奏パラメータ決定部２４は、情報解析部２３における判断結果等に基づき「よこ（ｙ方向）切り動作」であると判断すると、該情報解析部２３から供給される周期情報等に基づき、音量を決定し、決定した音量を示す情報（すなわち、ベロシティ情報）を含むＭＩＤＩデータを駆動信号生成部２６及び楽音発生部２５へ出力する。楽音発生部２５は、受け取ったＭＩＤＩデータに基づき楽音信号を生成し、サウンドスピーカシステム２７を介して楽音演奏の出力を行う。
一方、駆動信号生成部２６は、受け取ったＭＩＤＩデータに示されるベロシティ情報（音量）に応じた振動を発生させるための駆動信号を生成し、生成した駆動信号を無線通信部２２を介して操作端末５に送信する。操作端末５は、無線通信部２０を介して該駆動信号を受信すると、該駆動信号を振動制御回路ＵＴ１に供給する。振動制御回路ＵＴ１は、該駆動信号に基づき振動モータＵＴ２に印可すべき電圧を決定し、決定した電圧を振動モータＵＴ２に印可する。これにより、振動ユニットＵＴから音の大きさに応じた振動が発生し、操作者は自己の動作が演奏再生の音の大きさにどのように反映されているのかを認識することができる。なお、以上説明した演奏テンポ、音量等の他にも、音高、音の発生タイミング等に応じて振動を発生させることが可能である。
【００４６】
以上説明したように、本実施形態によれば、楽音発生装置４において操作端末５を携帯した操作者の動きを反映した楽音発生等が行われると共に、操作者は、操作端末５において発生する振動を検知することにより、自己の動作が演奏再生にどのように反映されているのかを認識することができる。また、操作者は、演奏再生を制御している充実感を得ることができる。また、楽音等を聴き取ることが困難な難聴者が操作端末５を使用した場合には、該難聴者は、該操作端末５から得られる振動を検知することによって楽音発生装置４においてどのような演奏再生等が行われているのかを認識することができる。すなわち、係る操作端末５を難聴者対応楽器として使用することができる。
【００４７】
Ｃ．変形例
＜変形例１＞
上述した第１の実施形態では、操作者が操作端末５を操作することにより、演奏再生を制御する場合について説明したが、例えば単発音（打楽器音、掛け声等）を楽音演奏に挿入する場合にも適用可能である。操作者による操作端末５の操作に応じて単発音を発生させる場合には、例えば該単発音を発生するタイミング、音の大きさ等に応じて振動を制御する。これにより、操作者は、どのようなタイミングで、またどのような音の大きさで単発音が発生したのか認識することができる。
【００４８】
Ｄ．第２の実施形態
上述した第１の実施形態では、演奏状態を操作者に報知すべく、操作端末５における振動発生を制御する態様について説明した。これに対し、第２の実施形態では、正常な動作を操作者に報知すべく、操作端末５における振動発生を制御する態様について説明を行う。
図９は、楽曲演奏の演出を行う場合の機能ブロック図である。なお、同図に示す構成は、駆動信号生成部２６’を除き、前掲図６と同様であるため、対応する部分については同一符号を付し、説明を省略する。
演奏パラメータ決定部２４は、上述した第１の実施形態と同様、情報解析部２３による解析処理の判定結果に基づいて楽曲データに対する種々の演奏パラメータを決定し、決定した演奏パラメータに基づくＭＩＤＩデータを楽音発生部２５にのみ出力する。楽音発生部２５は、演奏パラメータ決定部２４から受け取ったＭＩＤＩデータに基づき楽音信号を生成し、サウンドスピーカシステム２７を介して楽音演奏の出力を行う。
【００４９】
一方、駆動信号生成部２６’は、楽曲データ記憶部（図示略）から読み出した楽曲データに示される例えば演奏テンポを取得し、取得した演奏テンポで振動を発生させるための駆動信号を生成し、生成した駆動信号を無線通信部２２を介して操作端末５へ送信する。操作端末５は、該駆動信号を受信すると、該駆動信号を振動ユニットＵＴへ供給する。振動ユニットを構成する振動制御回路ＵＴ１は、該駆動信号を受け取ると振動モータＵＴ２に印可すべき電圧を決定し、決定した電圧を振動モータＵＴ２に印可する。これにより、振動ユニットＵＴから演奏テンポに基づく振動が発生する。操作者は、該振動を検出することにより、該振動の発生タイミングと自己の動作のズレ等を把握することが可能となる。このように、操作端末５を操作する操作者に対して、正常な動作制御に関する情報（教示情報）を報知すべく、操作端末５の振動を制御するようにしても良い。なお、本実施形態は、正常な演奏テンポに基づいて振動を発生させる場合を例に説明を行ったが、例えば正常な音量等に基づいて振動を発生させるようにしても良い。
【００５０】
Ｅ．変形例
＜変形例１＞
上述した第２の実施形態に係る駆動信号生成部２６’は、正常な演奏テンポで振動を発生させるための駆動信号を生成し、生成した駆動信号を無線通信部２２を介して操作端末５へ送信する構成であったが、例えば楽曲データ記憶部（図示略）から読み出した楽曲データに示される正常な演奏テンポ（以下、規定演奏テンポという）と、演奏パラメータ決定部２４から得られる編集後の楽曲データに示される演奏テンポ（以下、ユーザ演奏テンポという）とを比較し、比較の結果、ズレが生じていると判断した場合には、振動を発生させるための駆動信号を生成し、生成した駆動信号を無線通信部２２を介して操作端末５へ送信するように構成しても良い。また、予め演奏テンポ比較用のしきい値を設定し、上記規定演奏テンポとユーザ演奏テンポとを比較する際には、該規定演奏テンポとユーザ演奏テンポとのズレ量を求め、求めたズレ量が該しきい値を越えた場合にのみ、振動を発生させるための駆動信号を生成するようにしても良い。さらに、両演奏テンポのズレが検出される期間に応じて振動の強さを決定するようにしても良い。なお、これらの操作端末５は、単に楽音発生等に使用するのみならず、例えば慢性疾患や後遺症の患者を対象にリハビリ用の器具として使用することも可能である。
【００５１】
＜変形例２＞
また、上述した第１の実施形態及び第２の実施形態では、操作者が手に把持して使用する、いわゆる手持ちタイプの操作端末５を例示したが、例えば図１０（ａ）に示すように指輪タイプの操作端末５、図１０（ｂ）に示すように手袋タイプの操作端末５にも適用可能である。手袋タイプの操作端末５に適用した場合には、例えば上述した動作センサＭＳを各指毎に設けることも可能であり、さらに上述した振動ユニットＵＴを各指毎に設けることも可能である。振動ユニットＵＴを複数設けた場合には、例えばＭＩＤＩイベントに含まれるチャンネルナンバと各振動ユニットＵＴとの対応付けを行う。これにより、例えば手袋タイプの操作端末５を手にはめた操作者が人指し指を曲げるといった操作を行うと、該操作に応じてチャンネルナンバ「１」のＭＩＤＩデータが発生し、人差し指を振動させるといった振動制御や、手を振るといった操作に応じて、各指に対応付けられたチャンネルナンバ「１」〜「５」のＭＩＤＩデータが発生し、操作端末５をはめた手の指を全て振動させるといった振動制御を行うことが可能となる。
【００５２】
＜変形例３＞
また、上述した第１の実施形態及び第２の実施形態では、操作端末５に振動ユニットＵＴが内蔵されている場合を例示したが、例えば操作端末５及び振動ユニットＵＴを有線（例えば、RS232C等）又は無線(例えば、Bluetooth等)によって接続し、操作端末５を持つ手とは異なる箇所（例えば、振動ユニットを自分の肩にのせておく等）において振動が発生するようにしても良い。また、図１１に示すように、楽音発生装置４からの駆動信号を受信すると共に本装置を識別するための装置ＩＤを楽音発生装置４へ送信する無線通信部３１と、該駆動信号に基づき振動を発生する振動ユニットＵＴと、装置各部を制御する制御部３２とを具備する報知装置３０−Ｎ（Ｎ≧１；以下、単に報知装置３０という）を設け、楽音発生装置４のＲＡＭ１２には、該報知装置３０の装置ＩＤと、操作端末５を識別するためのＩＤとを対応付けたテーブルを格納する。このように、操作端末５、報知装置３０、楽音発生装置４とを具備する楽音発生制御システムを構築することも可能である。なお、上述した第１の実施形態及び第２の実施形態では、操作端末５を１人の操作者が使用する場合について説明を行ったが、複数の操作端末５を複数人の操作者が使用することも可能である。また、上述した第１の実施形態及び第２の実施形態では、操作端末５と楽音発生装置４とを無線接続する場合について説明したが、操作端末５と楽音発生装置４とを有線（例えば、RS232C等）接続した場合に本発明を適用することも可能である。
【００５３】
＜変形例４＞
また、上述した各実施形態及び各変形例に係る操作端末５は、動作センサＭＳ、無線通信部２０、振動ユニットＵＴを具備する構成であったが、これらの各構成要素に加え、上述した楽音発生装置４に係る情報解析部２３、演奏パラメータ決定部２４、駆動信号生成部２６を具備する構成としても良い。操作端末５にこれらの機能を搭載した場合には、楽音発生装置４に無線通信部２２、楽音発生部２５、サウンドスピーカシステム２７のみを搭載する。楽音発生装置４は、操作端末５から演奏パラメータ決定部２４によって決定された演奏パラメータに基づく楽曲データ（すなわち、ＭＩＤＩデータ）を受け取ると、該ＭＩＤＩデータに基づく楽音信号を生成し、生成した楽音信号をサウンドスピーカシステム２７に出力することによって楽音発生等を行う。なお、以上説明した態様はあくまで一例であり、上述した楽音発生装置４に係る構成要素（例えば、楽音発生部２５、サウンドスピーカシステム２７等）のいずれか一部若しくは全部を操作端末５に搭載するかは操作端末５等の設計等に応じて適宜変更可能である。
【００５４】
＜変形例５＞
さらに、上述した実施形態に係る楽曲の演奏テンポや音量等を制御するための操作端末５と、手拍子、掛け声等の発生タイミングを制御するための操作端末５とを組み合わせて使用すれば、次のような音楽教育サービスやエンターテイメントサービスを提供することが可能となる。
音楽教育サービスでは、上述した楽曲の主演奏パートの演奏テンポ等を制御するための操作端末５をインストラクターが使用し、受講者が上述した手拍子、掛け声を制御するように設定された操作端末５や伴奏部分を演奏するように設定された操作端末５を使用する。インストラクターが操作端末５を操作して楽曲の演奏テンポや音量を制御すると、各受講者の操作端末５には主演奏の再生テンポに応じた振動が発生する。各受講者は該振動を検出し、所定のタイミングで掛け声、手拍子、打撃音等を入れたりする、あるいはインストラクターの動きに応じた主演奏の再生にあわせて伴奏部分の演奏を制御するといったことが可能となる。このように、操作者の運動状態を検出する操作端末（インストラクター用）とは異なる操作端末（受講者用）において振動を発生させることも可能である。
【００５５】
また、エンターテイメントサービスにおいても、上記と同様に音楽家等の主演奏者が楽曲の主演奏パートの演奏を制御するように設定された操作端末５を使用し、他の参加者が上述した手拍子、掛け声を制御するように設定された操作端末５や伴奏部分を演奏するように設定された操作端末５を使用する。主演奏者が操作端末５を動かして楽曲の主演奏部分の演奏テンポや音量を制御すると、各参加者の操作端末５にはこの演奏テンポ等に応じた振動が発生する。各参加者はこの振動を検出し、所定のタイミングで掛け声、手拍子、打撃音等を入れたりするといったことや、主演奏者の動きに応じた主演奏再生にあわせて伴奏部分の演奏を制御するといったことが可能となる。
【００５６】
なお、以上説明した楽音発生装置４に係る諸機能は、ソフトウェアによって実現することも可能である。具体的には該ソフトウェアを記録した記録媒体（例えば、ＣＤ−ＲＯＭ等）からパーソナルコンピュータ等に該ソフトウェアをインストールする、あるいは該ソフトウェアを備えたサーバからネットワーク（例えば、インターネット等）を介してダウンロードし、パーソナルコンピュータ等に該ソフトウェアをインストールする。このように、上述した諸機能をソフトウェアにより実現することも可能である。また、上述した各実施形態及び各変形例では、操作端末５と楽音発生装置４を別体とした場合を例に説明を行ったが、例えば操作端末５に楽音発生装置４の諸機能を実現させるためのハードウェア資源を内蔵し、係る諸機能を実現させるためのソフトウェアを該操作端末５にインストールしても良い。
【００５７】
【発明の効果】
以上説明したように、本発明によれば、ユーザが操作感触を得ることがきると共に、演奏再生等に積極的に参加しているといった満足感を得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】 本発明における第１の実施形態に係る楽音発生制御システムの構成を示す図である。
【図２】 楽音発生制御システムの機能構成を示す図である。
【図３】 操作端末の外観構成を示す図である。
【図４】 操作端末の内部構成を示すブロック図である。
【図５】 楽音発生装置のハードウェア構成を示すブロック図である。
【図６】 楽曲演奏の演出を行う場合を説明するための機能ブロック図である。
【図７】 ＭＩＤＩデータの構成を示す図である。
【図８】 振動パラメータを決定する場合を説明するための図である。
【図９】 楽曲演奏の演出を行う場合を説明するための機能ブロック図である。
【図１０】 変形例に係る操作端末を示す図である。
【図１１】 変形例に係る楽音発生制御システムの機能構成を示す図である。
【符号の説明】
１００・・・楽音発生制御システム、４・・・楽音発生装置、５・・・操作端末、２０、２２・・・無線通信部、ＭＳ・・・動作センサ、ＵＴ・・・振動ユニット、２３・・・情報解析部、２４・・・演奏パラメータ決定部、２５・・・楽音発生部、２６・・・駆動信号生成部。[0001]
BACKGROUND OF THE INVENTION
The present invention records a musical sound generation control system, a musical sound generation control method, a musical sound generation control device, a musical sound generation control program, and a musical sound generation control program using an operation terminal that generates movement information used to control musical sound generation. The present invention relates to a recording medium.
[0002]
[Prior art]
In a musical sound generating device such as an audio device, when four performance parameters such as timbre, pitch, volume and effect are determined, a desired musical sound can be generated. When music data recorded on a CD (Compact Disc) or the like is reproduced using such a musical sound generator, the user operates a knob or the like of the musical sound generator to adjust parameters such as volume. I was listening to the song.
[0003]
[Problems to be solved by the invention]
In this way, when performing performance playback using a conventional musical sound generator, the user simply adjusts parameters such as volume by operating the control knob etc., and cannot obtain an operational feel. . In addition, adjusting the parameters such as the sound volume by such an operation cannot provide a satisfaction that the player is playing the performance and is interesting.
The present invention has been made in view of the circumstances described above, and it is possible to obtain a musical tone that can be satisfied by the user as well as being able to obtain a feeling of operation and actively participating in performance playback and the like. It is an object to provide a recording medium on which a system, a musical sound generation control method, a musical sound generation control device, an operation terminal, a musical sound generation control program, and a musical sound generation control program are recorded.
[0004]
[Means for Solving the Problems]
In order to solve the above-described problem, a musical sound generation control system according to the present invention includes an operation terminal portable to an operator and a musical sound generation control device, and the operation terminal is generated by the operation of the operator. Means for generating movement information and transmitting the movement information to the musical sound generation control device, and the musical sound generation control device controls the musical sounds generated from the musical sound generation device based on the received movement information. Generating performance control information for generating the vibration control information, generating vibration control information based on the generated performance control information, and transmitting the vibration control information to the operation terminal, the operation terminal receiving the vibration control information It has a vibration generating means for generating vibration according to information.
[0005]
According to this musical sound generation control system, the movement information of the user who operates the operation terminal is received by the musical sound generation control device, and the musical sound generation is controlled based on the movement information, while the vibration corresponding to the control content is controlled by the operation terminal. Occurs in Therefore, the user who operates the operation terminal can obtain a feeling of operation and can be satisfied that he / she actively participates in performance reproduction and the like.
[0006]
In the musical sound generation control method according to the present invention, the operator-portable operation terminal detects movement of the operation terminal caused by the operation of the operator, generates movement information, and transmits the movement information to the musical sound generation control apparatus. The musical sound generation control device generates performance control information for controlling the musical sound generated from the musical sound generation device based on the received movement information, and generates vibration control information based on the generated performance control information. The vibration control information is transmitted to the operation terminal, and the operation terminal generates vibration according to the received vibration control information.
[0007]
According to the musical sound generation control method, the movement information of the user who operates the operation terminal is received by the musical sound generation control device, and the musical sound generation is controlled based on the movement information, while the vibration corresponding to the control content is controlled by the operation terminal. Occurs in Therefore, the user who operates the operation terminal can obtain a feeling of operation, and can also obtain a satisfaction that he / she actively participates in performance reproduction and the like.
[0008]
Further, the musical sound generation control device according to the present invention is based on the motion information, means for receiving motion information generated by detecting motion of the operation terminal by an operator's operation from an operator portable operation terminal. Generating performance control information for controlling the musical sound generated from the musical sound generating device, generating vibration control information based on the generated performance control information, and transmitting the vibration control information to the operation terminal. It is characterized by comprising.
[0009]
According to the musical sound generation control device, when the movement information of the user operating the operation terminal is received, the musical sound generation control device generates performance control information based on the movement information and vibration control information based on the performance control information. Is transmitted to the operation terminal. The operation terminal generates vibration based on the received vibration control information, and thereby the user who operates the operation terminal can obtain an operation feeling and obtain a sense of satisfaction that he / she actively participates in performance reproduction and the like. Can do.
[0010]
The operation terminal according to the present invention is an operation terminal that can be carried by an operator, and includes means for detecting movement of the operation terminal caused by the operation of the operator and generating movement information, and the movement information Means for generating performance control information for controlling the musical sound generated from the musical sound generating device based on the generated performance control information, means for generating vibration based on the generated performance control information, and means for transmitting the performance control information to the musical sound generating device. It is characterized by comprising.
[0011]
According to the operation terminal, the movement information of the user who operates the operation terminal is generated, the performance control information is generated based on the movement information, and the vibration is generated based on the performance control information. Is transmitted to the musical sound generator. The musical sound generating device generates a musical sound based on the performance control information, whereby a user operating the operation terminal can obtain an operation feeling corresponding to the musical sound generation and actively participates in performance reproduction and the like. Such a satisfaction can be obtained.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments will be described below for easier understanding of the present invention. Such an embodiment shows one aspect of the present invention, and is not intended to limit the present invention, and can be arbitrarily changed within the scope of the present invention.
[0013]
A. First embodiment
A-1. Overall configuration of the musical tone generation control system 100
FIG. 1 is a diagram showing an overall configuration of a musical tone generation control system 100 according to the first embodiment.
The musical sound generation control system 100 is a system operated in a music classroom, a school, a house, a hall, and the like. The musical sound generation device 4 and a plurality of operation terminals 5-N (N ≧ 1).
The musical sound generation control system 100 according to the present embodiment enables a user scattered in various places to produce musical sound generation and performance reproduction (hereinafter referred to as musical sound generation) performed by the musical sound generation device 4. It is. Hereinafter, each element constituting the musical sound generation control system 100 will be described in detail.
[0014]
A-2. Functional configuration of the musical tone generation control system 100
FIG. 2 is a diagram showing a functional configuration of the musical sound generation control system 100 constructed in a certain music classroom or the like. In the following description, the operation terminals 5-1 to 5-N are simply referred to as operation terminals 5 when it is not necessary to distinguish them.
The operation terminal 5 is a terminal that can be carried by the operator such as being held by the operator's hand or being worn on a part of the body (see FIG. 3).
The motion sensor MS is a sensor that detects motion based on the motion of the operator carrying the operation terminal 5, generates motion information, and sequentially outputs the motion information to the wireless communication unit 20, and is a known three-dimensional acceleration sensor, 3 A dimensional velocity sensor, a two-dimensional acceleration sensor, a two-dimensional velocity sensor, or a strain detector is used.
[0015]
The wireless communication unit 20 plays a role of performing wireless data communication with the musical sound generating device 4. When the wireless communication unit 20 receives the exercise information corresponding to the movement of the operator from the motion sensor MS, the wireless communication unit 20 adds an ID for identifying the operation terminal 5 to the exercise information and wirelessly transmits it to the musical sound generating device 4, Various information transmitted from the musical sound generator 4 to the operation terminal 5 is received.
The vibration unit UT generates vibration based on a drive signal (described later) transmitted from the musical sound generator 4 to the operation terminal 5. The mechanism for generating vibration will be described later.
[0016]
The musical sound generating device 4 generates a musical sound based on the exercise information transmitted from each operation terminal 5, and generates a drive signal to be supplied to the operating terminal 5 based on the musical sound generation. The musical tone generation control device described in the claims refers to a device including a wireless communication unit 22, an information analysis unit 23, a performance parameter determination unit 24, and a drive signal generation unit 26 described below. The musical sound generating device described in the above means a device including a musical sound generating unit 25 and a sound speaker system 27 shown below. In the present embodiment, the musical sound generating device 4 including all of the wireless communication unit 22, the information analyzing unit 23, the performance parameter determining unit 24, the musical sound generating unit 25, the drive signal generating unit 26, and the sound speaker system 27 shown below is taken as an example. As will be described, the musical sound control device that generates the drive signal and the like and the musical sound generation device that generates the musical sound and the like as described above can be configured separately.
[0017]
The wireless communication unit 22 receives the exercise information wirelessly transmitted from the operation terminal 5 and outputs the received exercise information to the information analysis unit 23.
The information analysis unit 23 performs predetermined analysis processing described later on the exercise information supplied from the wireless communication unit 22 and outputs the analysis result to the performance parameter determination unit 24. The performance parameter determination unit 24 reads music data (data conforming to the MIDI (Musical Instrument Digital Interface) standard) read from the music data storage unit (not shown) according to the analysis result of the exercise information supplied from the information analysis unit 23. Etc.), for example, parameters such as the volume and tempo of the musical sound, and the music data edited based on the determined performance parameters (that is, MIDI data) are output to the musical sound generator 25 and the drive signal generator 26. .
[0018]
When receiving the MIDI data supplied from the performance parameter determining unit 24, the musical sound generating unit 25 generates a musical sound signal based on the MIDI data and outputs the generated musical sound signal to the sound speaker system 27. The sound speaker system 27 performs tone generation based on the tone signal supplied from the tone generator 25.
When receiving the MIDI data supplied from the performance parameter determination unit 24, the drive signal generation unit 26 generates the drive signal described above based on the MIDI data and outputs the drive signal to the wireless communication unit 22. The wireless communication unit 22 transmits the drive signal to the operation terminal 5, and thus vibration based on the MIDI data is generated in the operation terminal 5.
[0019]
The musical sound generation control system 100 has the functions as described above, so that not only the musical sound is generated faithfully to the music data but also the original musical sound generation reflecting the movement of the operator carrying the operation terminal 5 and the like. It can be performed. Further, the operator carrying the operation terminal 5 can recognize how his / her movement is reflected in the generation of musical sound and the like by detecting vibration generated in the operation terminal 5.
Hereinafter, the configuration of the operation terminal 5 and the tone generator 4 for realizing such a function will be described.
[0020]
A-3-1. Configuration of operation terminal 5
As shown in FIG. 3, the operation terminal 5 according to the present embodiment is a so-called hand-held type operation terminal that is used by being held by the operator's hand, and has a tapered shape with a large diameter at both ends and a small diameter at the center. It is composed of a base (leftward in the figure) and an end (rightward in the figure). The base portion has an average diameter smaller than that of the end portion and can be easily gripped by hand, and functions as a grip portion. An LED (Light Emitting Diode) display TD and a battery power supply switch TS are provided on the outer surface of the bottom (left end in the figure) of the base, and an operation switch T6 is provided on the outer surface of the center. On the other hand, a plurality of LED light emitters TL are provided near the tip of the end portion. Various devices are built in the operation terminal 5 having such a shape.
[0021]
FIG. 4 is a block diagram showing the internal configuration of the operation terminal 5.
A CPU (Central Processing Unit) T0 controls each part of the operation terminal 5, such as the motion sensor MS and the vibration unit UT, based on various control programs stored in a memory T1 composed of ROM, RAM, and the like. Further, the CPU T0 has a function of adding an ID for identifying the portable terminal 5 to the exercise information sent from the motion sensor MS, a function of supplying a drive signal wirelessly transmitted from the musical sound generator 4 to the vibration unit UT, and the like. I have.
The motion sensor MS is constituted by a three-dimensional acceleration sensor or the like, and outputs motion information corresponding to the direction, size and speed of the operation when the operator holds the operation terminal 5 in his / her hand. In the present embodiment, the case where the motion sensor MS is built in the operation terminal 5 will be described as an example. However, the motion sensor MS may be configured to be attached to any part of the operator's body. It is.
In addition to the antenna TA, the transmission / reception circuit T2 includes a high-frequency transmitter, a power amplifier, and the like (both not shown) and the like, a function for transmitting exercise information to which the ID supplied from the CPU T0 is added to the musical sound generator 4, and a musical sound. A function of receiving a drive signal transmitted from the generator 4 is provided. That is, the transmission / reception circuit T2 implements the function of the wireless communication unit 20 shown in FIG.
[0022]
The vibration unit UT includes a vibration control circuit UT1, a vibration motor UT2, and the like. The vibration control circuit UT1 controls the voltage applied to the vibration motor UT2 based on the drive signal output from the wireless communication unit 20. The vibration control circuit UT1 is provided with a table (not shown) that associates the signal level of the drive signal with the voltage level to be applied to the vibration motor UT2. When receiving the drive signal from the CPU T0, the vibration control circuit UT1 determines a voltage to be supplied to the vibration motor UT2 with reference to the table. The vibration motor UT2 is a motor for vibrating the vibration unit UT, and controls the strength of vibration generated in the vibration unit UT, the vibration frequency, the vibration timing, and the like by controlling the voltage applied to the vibration motor UT2. It is possible. In this way, the vibration motor UT2 can be controlled by voltage control. For example, the input power supply is converted to a constant voltage, and the vibration motor UT2 is controlled by the pulse width of the output (pulse width waveform control method: Pulse Width Modulation) is also possible.
[0023]
The display unit T3 includes the above-described LED display TD, a plurality of LED light emitters TL, and the like, and displays various information such as sensor number, operation, and power supply alarm under the control of the CPU T0. The operation switch T6 is a switch used for switching on / off the power of the operation terminal 5 and setting various modes. Each of these components is supplied with driving power from a battery power supply (not shown). As such a battery power supply, a primary battery may be used, or a rechargeable secondary battery may be used. It may be.
[0024]
A-3-2. Configuration of musical tone generator 4
FIG. 5 is a block diagram illustrating a hardware configuration example of the musical sound generating device 4.
The musical sound generating device 4 is a device in which a general personal computer (hereinafter referred to as PC) is equipped with a wireless communication function for performing wireless communication with the operation terminal 5 and a sound speaker system 27.
[0025]
The main body CPU 10 that controls each part of the musical tone generator 4 performs various controls according to a predetermined program under time management by a timer 14 used for generating a tempo clock or an interrupt clock, and determines performance parameters. And performance processing programs related to performance data change and playback control, etc. are centrally executed. A ROM (Read Only Memory) 11 stores predetermined control programs for controlling the musical sound generator 4, and these control programs include performance processing programs related to performance parameter determination, performance data change and playback control. Various data / tables are stored. A RAM (Random Access Memory) 12 stores data and parameters required for these processes, and is used as a work area for temporarily storing various data being processed.
[0026]
A keyboard 10 e is connected to the first detection circuit 15, a pointing device 10 f such as a mouse is connected to the second detection circuit 16, and a display 10 g is connected to the display circuit 17. As a result, the keyboard 10e and the pointing device 10f are operated while visually recognizing various screens displayed on the display 10g, and various settings necessary for performance data control in the musical tone generator 4 and ID for identifying the operation terminal 5 are supported. Various setting operations such as assignment of processing / functions to be performed, tone color (sound source) / setting to performance tracks, and the like can be performed.
[0027]
An antenna distribution circuit 10h is connected to the transmission / reception processing circuit 10a. The antenna distribution circuit 10h is composed of, for example, a multi-channel high-frequency receiver, and receives exercise information from the operation terminal 5 via the antenna RA. The drive signal generated in the CPU 10 is transmitted via the antenna RA. The transmission / reception processing circuit 10 a performs predetermined signal processing on the signal received from the operation terminal 5 and the signal transmitted to the operation terminal 5. That is, the transmission / reception processing circuit 10a, the antenna distribution circuit 10h, and the antenna RA constitute the wireless communication unit 22 shown in FIG.
[0028]
The main body CPU 10 performs a performance process according to the above-described musical tone generation program, analyzes exercise information representing the movement of the body of the operator who possesses the operation terminal 5, and determines performance parameters based on the analysis results. Based on the performance parameters, a drive signal to be supplied to the operation terminal 5 is generated. That is, the main body CPU 10 realizes the functions of the information analysis unit 23, the performance parameter determination unit 24, and the drive signal generation unit 26 shown in FIG. The analysis of exercise information, determination of performance parameters, drive signal generation processing, etc. will be described later, and the description will be continued.
[0029]
The effect circuit 19 is configured by a DSP (Digital Signal Processor) or the like, and realizes the function of the musical tone generator 25 shown in FIG. 2 together with the tone generator circuit 18 and the main body CPU 10. The tone generator circuit 18, the effect circuit 19, and the like generate musical tone signals based on the edited music data (MIDI data) supplied from the main body CPU 10, that is, the MIDI data that is rendered according to the movement of the operator. Is output to the sound speaker system 27.
The sound speaker system 27 emits the musical tone signals supplied from the tone generator circuit 18 and the effect circuit 19 as performance musical sounds. Note that the tone generator circuit 18 according to the present embodiment can generate a musical sound signal corresponding to a large number of tracks simultaneously in accordance with a sequence program of a plurality of systems.
[0030]
The external storage device 13 includes a hard disk drive (HDD), a compact disk read only memory (CD-ROM) drive, a floppy disk drive (FDD), a magneto-optical (MO) disk drive, a digital multipurpose disk (DVD) drive, and the like. It is possible to store various data such as various control programs and music data. Accordingly, various programs such as performance processing programs necessary for performance parameter determination, performance data change and playback control can be read from the external storage device 13 into the RAM 12 as well as using the ROM 11, and as required. The processing result can also be recorded in the external storage device 13.
Hereinafter, examples of motion information analysis processing, performance parameter determination processing, and drive signal generation processing when a three-dimensional acceleration sensor is used as the motion sensor MS will be described with reference to FIGS.
[0031]
A-4. Exercise information analysis processing, performance parameter determination processing, and drive signal generation processing
FIG. 6 is a functional block diagram when a musical performance is performed using a three-dimensional acceleration sensor.
When the operator operates the operation terminal 5 having the built-in motion sensor MS in his / her hand, the exercise information corresponding to the operation direction and the operation force is transmitted from the operation terminal 5 to the musical sound generating device 4. More specifically, from the x-axis detection unit SX, y-axis detection unit SY, and z-axis detection unit SZ of the motion sensor MS in the operation terminal 5, the acceleration αx (x is a suffix), y ( Signals Mx, My, Mz representing acceleration αy (y is a subscript) in the left-right direction and acceleration αz (z is a subscript) in the z (front-rear) direction are output, and each of the signals Mx, My, Mz is output by CPUT0. The ID is added to the music sound generator 4 as exercise information. The wireless communication unit 22 of the tone generator 4 refers to a table (not shown) and compares the ID added to the received exercise information with the ID registered in the table. When the wireless communication unit 22 confirms that the same ID as the ID added to the exercise information is registered in the table as a result of the comparison, the wireless communication unit 22 transmits the exercise information to the information analysis unit 23 as acceleration data αx, αy, αz. Output.
[0032]
In the information analysis unit 23, each axis acceleration data is analyzed, and first, an absolute value | α | of the acceleration expressed by the following equation (1) is obtained.
| Α | = (αx * αx + αy * αy + αz * αz) 1/2 ... (1)
Next, the accelerations αx and αy are compared with the acceleration αz. As a result of the comparison, for example, when the following relationship (2) is established, that is, when the z-direction acceleration αz is larger than the x- and y-direction accelerations αx and αy, it is a “pushing motion” that strikes the operation terminal 5. Is determined.
αx <αz and αy <αz (2)
[0033]
Conversely, when the z-direction acceleration αz is smaller than the x-direction acceleration αx and the y-direction acceleration αy, it is determined that the operation terminal 5 is a “cutting operation” for cutting air. In this case, the values of the x and y direction accelerations αx and αy are compared with each other to determine whether the direction of the “cutting operation” is “vertical” (x) or “horizontal” (y)). be able to.
[0034]
In addition to comparing each axis x, y, z direction component with each other, the magnitude of each direction acceleration component αx, αy, αz itself is compared with a predetermined threshold value. It can be determined that the operation is a “combination operation” that combines the above operations. For example, if αz> αx, αz> αy, and αx> “threshold value of x component”, it is determined that “pushing operation while cutting in the x direction” and αz <αx, αz <αy If αx> “threshold value for x component” and αy> “threshold value for y component”, it is determined that the operation is “oblique (in both x and y directions) cutting operation”. Further, by detecting a phenomenon in which the values of the accelerations αx and αy in the X direction and the y direction change relatively so as to draw a circular locus, a “turning operation” that is turned around the operation terminal 5 is determined. be able to.
[0035]
The performance parameter determination unit 24 determines each performance parameter of the music data (that is, MIDI data) read from the music data storage unit (not shown) based on the determination result of the analysis processing by the information analysis unit 23. For example, the performance parameter determination unit 24 controls the volume of the music data in accordance with the acceleration absolute value | α | or the magnitude of the component indicating the maximum among the directional components αx, αy, and αz.
[0036]
Further, the performance parameter determination unit 24 controls other parameters as follows based on the determination result. For example, the tempo is controlled in accordance with the cycle of “vertical (x direction) cutting operation”. Separately from this, when it is determined that the “warping operation” is a quick and small motion, an articulation such as an accent is given, and when the “warping motion” is determined to be a slow and large motion To lower the pitch (pitch). Also, if it is determined to be a “cutting (y-direction) cutting operation”, a slur effect is given. If it is determined to be a “pushing operation”, the musical sound generation timing is shortened at that timing, and the staccato effect is obtained. A single pronunciation (percussion instrument sound, shout, etc.) corresponding to the size is inserted into the corresponding part of the music. Furthermore, when it is determined that the “combination operation” is a combination of the “cutting (y-direction) cutting operation” and the “pushing operation”, when the above-described control is used in combination, When the period is large, the reverberation effect is enhanced according to the period, and when the period is small, control is performed so as to generate trill according to the period. Note that these controls are merely examples. In addition, for example, the dynamics is controlled according to the local peak value of the acceleration of each axis, and the articulation is controlled according to the peak Q value indicating the sharpness of the local peak. Anyway.
[0037]
When the performance parameter determining unit 24 determines each performance parameter of the music data in this way and edits the music data (that is, MIDI data) based on the determined performance parameter, the performance data determining unit 24 converts the MIDI data into the drive signal generating unit 26. And output to the sound generation unit 25.
FIG. 7 is a diagram for explaining the structure of MIDI data.
The MIDI data is composed of time data called delta time and data indicating the performance contents and the like called MIDI events.
The MIDI event includes note-on / note-off information indicating that sounding should be performed or muted, note number information designating the pitch (ie, pitch) to be sounded or muted, A data format including velocity information indicating strength is common, and is constituted by an instruction such as “sound a note (note number) with a strength of 10 (velocity) (note on)”. The delta time is information indicating the timing of executing a MIDI event. When a certain MIDI event is executed, an elapsed time t from the start of the MIDI event is monitored by the main body CPU 10, and this elapsed time t is the next MIDI time. When the event delta time T is exceeded, the next event is executed.
[0038]
When receiving the MIDI data from the performance parameter determination unit 24, the drive signal generation unit 26 generates a drive signal based on the MIDI data. For example, the drive signal generator 26 determines the vibration generation timing based on the delta time constituting the MIDI data, and based on the velocity information and the note number information constituting the MIDI event, the vibration strength. (Amplitude) and vibration type (vibration frequency) are determined. For example, when determining the strength of vibration, the amplitude level is determined by referring to a table (not shown) set in advance so that the amplitude level is increased in proportion to the volume level indicated by the velocity information, When determining the type of vibration, the vibration frequency is determined by referring to a table (not shown) in which the pitches indicated by the note number information are associated with vibration frequencies in advance (see FIG. 8). In addition, when a plurality of vibration motors are used as the vibration motor UT2, the vibration motor to be applied with voltage is appropriately selected according to the magnitude of vibration to be generated. The magnitude of the voltage applied to each vibration motor It is also possible to perform control such as changing the height. Furthermore, control such as determining the vibration generation timing based on performance tempo information and delta time included in the MIDI data may be performed. The drive signal generation unit 26 generates a drive signal for oscillating at the vibration generation timing, the strength of the vibration, and the type of vibration determined as described above, and outputs the drive signal to the wireless communication unit 22 so that the drive signal is wirelessly transmitted. It is supplied to the vibration unit UT via the communication unit 22.
[0039]
The musical tone generator 25 generates a musical tone signal in accordance with the MIDI data supplied from the performance parameter determination unit 24 and outputs the musical tone performance via the sound speaker system 27. As a result, the musical sound generating device 4 generates a musical sound that reflects the movement of the operator carrying the operation terminal 5, and the operator can detect the vibration generated in the operational terminal 5 to detect the movement of the musical sound. It is possible to recognize how it is reflected in the occurrence.
[0040]
B. Operation of the embodiment
B-1. First operation example
Hereinafter, a case where the performance reproduction is controlled by the operator operating the operation terminal 5 according to the following conditions will be described.
<Performance parameters determined by the performance parameter determination unit 24>
・ "Vertical (x direction) cutting action" → Performance tempo
<Drive signal generated by the drive signal generator 25>
・ Generates drive signals based on the above performance tempo
After the operator operates the operation switch T6 of the operation terminal 5 and the keyboard 10e of the musical tone generator 4 to turn on the power, the operator attaches the operation switch T6 (see FIG. 3) to the upper position. When it is swung up and down, a signal representing the acceleration αx in the X direction corresponding to the swing acceleration is generated, and the generated signal is transmitted to the musical sound generator 4 as exercise information.
[0041]
When receiving the exercise information from the operation terminal 5, the wireless communication unit 22 of the musical sound generating device 4 supplies the exercise information to the information analysis unit 23 as acceleration data. When the information analysis unit 23 analyzes the received acceleration data and determines, for example, that “vertical (x direction) cutting operation” from the analysis result, the period of the “vertical (x direction) cutting operation” along with the determination result. Information or the like is output to the performance parameter determination unit 24.
[0042]
When the performance parameter determination unit 24 determines that the “vertical (x direction) cutting operation” is based on the determination result in the information analysis unit 23, the performance tempo is determined based on the period information supplied from the information analysis unit 23. Then, MIDI data including information indicating the determined performance tempo is output to the drive signal generation unit 26 and the tone generation unit 25. The tone generator 25 generates a tone signal based on the MIDI data received from the performance parameter determination unit 24, and outputs the tone performance via the sound speaker system 27. On the other hand, the drive signal generation unit 26 generates a drive signal for generating vibration at the performance tempo shown in the received MIDI data, and transmits the generated drive signal to the operation terminal 5 via the wireless communication unit 22. . When the operation terminal 5 receives the drive signal via the wireless communication unit 20, the operation terminal 5 supplies the drive signal to the vibration control circuit UT1. The vibration control circuit UT1 determines a voltage to be applied to the vibration motor UT2 based on the drive signal, and applies the determined voltage to the vibration motor UT2. As a result, vibration based on the performance tempo is generated from the vibration unit UT, and the operator can recognize how his / her movement is reflected in the performance / playback tempo.
[0043]
B-2. Second operation example
In the above-described first operation example, the case where vibration is generated based on the performance tempo has been described as an example. On the other hand, in the second operation example, a case where vibration is generated based on the volume according to the following conditions will be described as an example.
<Performance parameters determined by the performance parameter determination unit 24>
・ "Horizontal (y direction) cutting action" → Volume
<Drive signal generated by the drive signal generator 25>
・ Generate drive signal based on the above volume
[0044]
After the operator operates the operation switch T6 of the operation terminal 5, the operation switch T6 of the operation terminal 5, the keyboard 10e of the musical tone generator 4 and the like to turn on the power, the operator places the operation switch T6 in the up position. If it is held and shaken to the left and right, a signal representing the acceleration αy in the Y direction corresponding to the swing acceleration is generated, and the generated signal is transmitted to the musical sound generator 4 as exercise information.
When receiving the exercise information from the operation terminal 5, the wireless communication unit 22 of the musical sound generating device 4 supplies the exercise information to the information analysis unit 23 as acceleration data. When the information analysis unit 23 analyzes the received acceleration data and determines from the analysis result that the operation is the “cutting (y direction) cutting operation”, the information analysis unit 23 obtains the period information of the “cutting (y direction) cutting operation” along with the determination result. It outputs to the performance parameter determination part 24.
[0045]
When the performance parameter determination unit 24 determines that the “weft (y direction) cutting operation” is based on the determination result in the information analysis unit 23, the performance parameter determination unit 24 determines the volume based on the period information supplied from the information analysis unit 23. Then, MIDI data including information indicating the determined volume (that is, velocity information) is output to the drive signal generation unit 26 and the musical sound generation unit 25. The tone generator 25 generates a tone signal based on the received MIDI data, and outputs a tone performance through the sound speaker system 27.
On the other hand, the drive signal generation unit 26 generates a drive signal for generating vibration according to velocity information (volume) indicated in the received MIDI data, and the generated drive signal is transmitted to the operation terminal via the wireless communication unit 22. Send to 5. When the operation terminal 5 receives the drive signal via the wireless communication unit 20, the operation terminal 5 supplies the drive signal to the vibration control circuit UT1. The vibration control circuit UT1 determines a voltage to be applied to the vibration motor UT2 based on the drive signal, and applies the determined voltage to the vibration motor UT2. As a result, vibration corresponding to the volume of the sound is generated from the vibration unit UT, and the operator can recognize how his / her movement is reflected in the volume of the performance playback sound. In addition to the performance tempo and volume described above, vibrations can be generated according to the pitch, the timing of sound generation, and the like.
[0046]
As described above, according to the present embodiment, the musical sound generation apparatus 4 performs the musical sound generation reflecting the movement of the operator carrying the operation terminal 5, and the operator generates vibrations generated in the operation terminal 5. By detecting this, it is possible to recognize how the own operation is reflected in the performance reproduction. In addition, the operator can obtain a sense of fulfillment controlling performance playback. In addition, when a hearing-impaired person who is difficult to listen to a musical sound or the like uses the operation terminal 5, the hearing-impaired person detects any vibration in the musical sound generation device 4 by detecting vibrations obtained from the operation terminal 5. It is possible to recognize whether performance playback or the like is being performed. That is, the operation terminal 5 can be used as a hearing-impaired instrument.
[0047]
C. Modified example
<Modification 1>
In the above-described first embodiment, the case where the operator controls the performance reproduction by operating the operation terminal 5 has been described. However, for example, when a single sound (percussion instrument sound, shout, etc.) is inserted into the musical performance. Is also applicable. When generating a single sound according to the operation of the operation terminal 5 by the operator, the vibration is controlled according to, for example, the timing at which the single sound is generated, the loudness of the sound, and the like. Thus, the operator can recognize at what timing and at what sound level the single sound has occurred.
[0048]
D. Second embodiment
In the first embodiment described above, the aspect of controlling the vibration generation in the operation terminal 5 in order to notify the operator of the performance state has been described. On the other hand, in 2nd Embodiment, the aspect which controls generation | occurrence | production of the vibration in the operation terminal 5 in order to alert | report an operation | movement to an operator is demonstrated.
FIG. 9 is a functional block diagram in the case of performing a musical performance. The configuration shown in the figure is the same as that shown in FIG. 6 except for the drive signal generation unit 26 ′. Therefore, the corresponding parts are denoted by the same reference numerals and description thereof is omitted.
As in the first embodiment described above, the performance parameter determination unit 24 determines various performance parameters for the music data based on the determination result of the analysis processing by the information analysis unit 23, and the MIDI data based on the determined performance parameter is obtained. Output only to the tone generator 25. The tone generator 25 generates a tone signal based on the MIDI data received from the performance parameter determination unit 24, and outputs the tone performance via the sound speaker system 27.
[0049]
On the other hand, the drive signal generation unit 26 ′ acquires, for example, a performance tempo shown in the music data read from the music data storage unit (not shown), generates a drive signal for generating vibration at the acquired performance tempo, The generated drive signal is transmitted to the operation terminal 5 via the wireless communication unit 22. When receiving the drive signal, the operation terminal 5 supplies the drive signal to the vibration unit UT. When receiving the drive signal, the vibration control circuit UT1 constituting the vibration unit determines a voltage to be applied to the vibration motor UT2, and applies the determined voltage to the vibration motor UT2. As a result, vibration based on the performance tempo is generated from the vibration unit UT. By detecting the vibration, the operator can grasp the generation timing of the vibration and the deviation of his / her movement. Thus, the vibration of the operation terminal 5 may be controlled so as to notify the operator who operates the operation terminal 5 of information (teaching information) related to normal operation control. In this embodiment, the case where vibration is generated based on a normal performance tempo has been described as an example. However, vibration may be generated based on a normal volume or the like, for example.
[0050]
E. Modified example
<Modification 1>
The drive signal generation unit 26 ′ according to the second embodiment described above generates a drive signal for generating vibrations at a normal performance tempo, and sends the generated drive signal to the operation terminal 5 via the wireless communication unit 22. For example, a normal performance tempo (hereinafter referred to as a prescribed performance tempo) shown in music data read from a music data storage unit (not shown) and an edited result obtained from the performance parameter determination unit 24 are used. The performance tempo (hereinafter referred to as the user performance tempo) indicated in the music data is compared, and if it is determined that there is a deviation as a result of the comparison, a drive signal for generating vibration is generated and generated. You may comprise so that a drive signal may be transmitted to the operating terminal 5 via the radio | wireless communication part 22. FIG. Further, when a threshold value for performance tempo comparison is set in advance and the specified performance tempo is compared with the user performance tempo, a deviation amount between the prescribed performance tempo and the user performance tempo is obtained, and the obtained deviation amount is obtained. Only when the threshold value exceeds the threshold value, a drive signal for generating vibration may be generated. Further, the strength of vibration may be determined according to a period during which a deviation between both performance tempos is detected. These operation terminals 5 can be used not only for the generation of musical sounds, but also as rehabilitation instruments for patients with chronic diseases or aftereffects, for example.
[0051]
<Modification 2>
Further, in the first embodiment and the second embodiment described above, the so-called hand-held type operation terminal 5 that is held and used by the operator is illustrated. For example, as illustrated in FIG. The present invention can also be applied to a ring type operation terminal 5 and a glove type operation terminal 5 as shown in FIG. When applied to the glove-type operation terminal 5, for example, the motion sensor MS described above can be provided for each finger, and the above-described vibration unit UT can be provided for each finger. When a plurality of vibration units UT are provided, for example, a channel number included in a MIDI event is associated with each vibration unit UT. Thus, for example, when an operator who wears a glove-type operation terminal 5 performs an operation such as bending the index finger, MIDI data of the channel number “1” is generated in response to the operation, and vibration such as vibrating the index finger is performed. In response to a control or an operation such as waving, MIDI data of channel numbers “1” to “5” associated with each finger is generated, and vibrations such that all fingers of the hand wearing the operation terminal 5 are vibrated. Control can be performed.
[0052]
<Modification 3>
In the first embodiment and the second embodiment described above, the case where the vibration unit UT is built in the operation terminal 5 is illustrated. However, for example, the operation terminal 5 and the vibration unit UT are wired (for example, RS232C or the like). ) Or wirelessly (for example, Bluetooth or the like), and vibration may be generated at a place different from the hand holding the operation terminal 5 (for example, placing the vibration unit on his / her shoulder). Further, as shown in FIG. 11, the wireless communication unit 31 that receives the drive signal from the musical sound generating device 4 and transmits the device ID for identifying the present device to the musical sound generating device 4, and the vibration based on the driving signal. Is provided with a notification device 30-N (N ≧ 1; hereinafter simply referred to as the notification device 30), and the RAM 12 of the musical sound generation device 4 includes: A table in which the device ID of the notification device 30 is associated with the ID for identifying the operation terminal 5 is stored. Thus, it is also possible to construct a musical sound generation control system including the operation terminal 5, the notification device 30, and the musical sound generation device 4. In the first and second embodiments described above, the case where one operator uses the operation terminal 5 has been described, but a plurality of operation terminals 5 are used by a plurality of operators. It is also possible to do. In the first embodiment and the second embodiment described above, the case where the operation terminal 5 and the musical sound generation device 4 are wirelessly connected has been described. However, the operation terminal 5 and the musical sound generation device 4 are wired (for example, The present invention can also be applied in the case of connection with RS232C or the like.
[0053]
<Modification 4>
In addition, the operation terminal 5 according to each embodiment and each modification described above has a configuration including the motion sensor MS, the wireless communication unit 20, and the vibration unit UT. The information analysis unit 23, the performance parameter determination unit 24, and the drive signal generation unit 26 related to the generation device 4 may be provided. When these functions are installed in the operation terminal 5, only the wireless communication unit 22, the music generation unit 25, and the sound speaker system 27 are installed in the music generation device 4. When receiving the music data (that is, MIDI data) based on the performance parameter determined by the performance parameter determination unit 24 from the operation terminal 5, the music sound generating device 4 generates a music signal based on the MIDI data and generates the generated music signal. Is output to the sound speaker system 27 to generate music. In addition, the aspect demonstrated above is an example to the last, and any one part or all of the component (For example, the musical sound generation part 25, the sound speaker system 27, etc.) which concerns on the musical sound generator 4 mentioned above is mounted in the operating terminal 5. FIG. This can be appropriately changed according to the design of the operation terminal 5 or the like.
[0054]
<Modification 5>
Furthermore, if the operation terminal 5 for controlling the performance tempo, volume, etc. of the music according to the above-described embodiment and the operation terminal 5 for controlling the timing of occurrence of clapping, shouting, etc. are used in combination, the following It is possible to provide music education services and entertainment services.
In the music education service, the instructor uses the operation terminal 5 for controlling the performance tempo and the like of the main performance part of the music described above, and the operation terminal 5 set so that the student controls the clapping and shouting described above. The operation terminal 5 set to play the accompaniment part is used. When the instructor operates the operation terminal 5 to control the performance tempo and volume of the music, vibrations corresponding to the playback tempo of the main performance are generated on the operation terminal 5 of each student. Each student detects the vibration and puts a shout, clapping, striking sound, etc. at a predetermined timing, or controls the performance of the accompaniment part in accordance with the reproduction of the main performance according to the movement of the instructor. It becomes possible. Thus, it is also possible to generate vibrations on an operation terminal (for students) different from an operation terminal (for instructors) that detects the movement state of the operator.
[0055]
Also, in the entertainment service, as described above, a main performer such as a musician uses the operation terminal 5 set to control the performance of the main performance part of the musical composition, and other participants receive the above-mentioned clapping and shouting voices. The operation terminal 5 set to be controlled or the operation terminal 5 set to play the accompaniment part is used. When the main performer moves the operation terminal 5 to control the performance tempo and volume of the main performance part of the music, vibrations corresponding to the performance tempo and the like are generated in the operation terminal 5 of each participant. Each participant detects this vibration and puts a shout, clapping, striking sound, etc. at a predetermined timing, and controls the performance of the accompaniment part according to the main performance reproduction according to the movement of the main performer. It becomes possible.
[0056]
The various functions related to the musical sound generating device 4 described above can also be realized by software. Specifically, the software is installed on a personal computer or the like from a recording medium (for example, a CD-ROM) on which the software is recorded, or downloaded from a server equipped with the software via a network (for example, the Internet). The software is installed in a personal computer or the like. Thus, the various functions described above can be realized by software. In each of the above-described embodiments and modifications, the operation terminal 5 and the musical sound generating device 4 are described as examples. However, for example, various functions of the musical sound generating device 4 are realized in the operating terminal 5. Hardware resources for making these functions built in and software for realizing such various functions may be installed in the operation terminal 5.
[0057]
【The invention's effect】
As described above, according to the present invention, it is possible to obtain a sense of satisfaction that the user can obtain an operation feeling and is actively participating in performance reproduction and the like.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a tone generation control system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a functional configuration of a musical tone generation control system.
FIG. 3 is a diagram showing an external configuration of an operation terminal.
FIG. 4 is a block diagram showing an internal configuration of the operation terminal.
FIG. 5 is a block diagram showing a hardware configuration of a musical sound generating device.
FIG. 6 is a functional block diagram for explaining a case where a musical performance is performed.
FIG. 7 is a diagram showing the structure of MIDI data.
FIG. 8 is a diagram for explaining a case where a vibration parameter is determined.
FIG. 9 is a functional block diagram for explaining a case where a musical performance is performed.
FIG. 10 is a diagram illustrating an operation terminal according to a modified example.
FIG. 11 is a diagram showing a functional configuration of a tone generation control system according to a modification.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Music generation control system, 4 ... Music generation device, 5 ... Operation terminal, 20, 22 ... Wireless communication part, MS ... Motion sensor, UT ... Vibration unit, 23. -Information analysis unit, 24 ... performance parameter determination unit, 25 ... musical tone generation unit, 26 ... drive signal generation unit.

Claims (15)

操作者携帯可能な操作端末と楽音発生制御装置とを備え、
前記操作端末は、前記操作者の操作により生じた前記操作端末の運動を検出して運動情報を生成し、前記楽音発生制御装置へ送信する手段を有し、
前記楽音発生制御装置は、受信した前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信する手段を有し、
前記操作端末は、受信した振動制御情報に応じた振動を発生する振動発生手段を有することを特徴とする楽音発生制御システム。It is equipped with an operation terminal portable to the operator and a tone generation control device,
The operation terminal includes means for detecting movement of the operation terminal generated by the operation of the operator to generate movement information and transmitting the movement information to the musical sound generation control device;
The musical sound generation control device generates performance control information for controlling musical sounds generated from the musical sound generation device based on the received movement information, and generates vibration control information based on the generated performance control information, Means for transmitting the vibration control information to the operation terminal;
The operation terminal has a vibration generating means for generating vibration according to the received vibration control information. 操作者携帯可能な操作端末と、前記操作端末とは別体の報知装置と、楽音発生制御装置とを備え、
前記操作端末は、操作者の操作により生じた前記操作端末の運動を検出して運動情報を生成し、前記楽音発生制御装置へ送信する手段を有し、
前記楽音発生制御装置は、受信した前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記報知装置へ送信する手段を有し、
前記報知装置は、受信した振動制御情報に応じた振動を発生する振動生成手段を有することを特徴とする楽音発生制御システム。An operation terminal portable to the operator, a notification device separate from the operation terminal, and a musical sound generation control device,
The operation terminal has means for detecting movement of the operation terminal caused by an operation of an operator, generating movement information, and transmitting the movement information to the musical sound generation control device,
The musical sound generation control device generates performance control information for controlling musical sounds generated from the musical sound generation device based on the received movement information, and generates vibration control information based on the generated performance control information, Means for transmitting the vibration control information to the notification device;
The musical sound generation control system, wherein the notification device includes vibration generation means for generating vibration according to the received vibration control information. 操作者携帯可能な操作端末と、楽曲データを記憶する記憶手段を具備する楽音発生制御装置とを備え、
前記操作端末は、前記操作者の操作により生じた前記操作端末の運動を検出して運動情報を生成し、前記楽音発生制御装置へ送信する手段を有し、
前記楽音発生制御装置は、受信した前記運動情報と前記記憶手段に記憶されている楽曲データとに基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成し、該演奏制御情報を前記楽音発生装置へ出力する一方、前記楽曲データに基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信する手段を有し、
前記操作端末は、受信した振動制御情報に応じた振動を発生する振動発生手段を有することを特徴とする楽音発生制御システム。An operation terminal portable to the operator, and a musical sound generation control device comprising a storage means for storing music data;
The operation terminal includes means for detecting movement of the operation terminal generated by the operation of the operator to generate movement information and transmitting the movement information to the musical sound generation control device;
The musical sound generation control device generates performance control information for controlling musical sounds generated from the musical sound generation device based on the received movement information and music data stored in the storage means, and the performance control While outputting information to the musical sound generating device, it has means for generating vibration control information based on the music data and transmitting the vibration control information to the operation terminal,
The operation terminal has a vibration generating means for generating vibration according to the received vibration control information. 前記演奏制御情報は、テンポ、音量、音高、楽音発生タイミング、音色及び効果の少なくとも１つのパラメータを制御するための情報であり、
前記振動制御情報は、振動発生タイミング、振動周波数、振動の強弱の少なくとも１つのパラメータを制御するための情報であることを特徴とする請求項１〜３のいずれか１の請求項に記載の楽音発生制御システム。The performance control information is information for controlling at least one parameter of tempo, volume, pitch, tone generation timing, tone color, and effect,
The musical sound according to any one of claims 1 to 3, wherein the vibration control information is information for controlling at least one parameter of vibration generation timing, vibration frequency, and vibration intensity. Generation control system. 操作者携帯可能な操作端末は、前記操作者の操作により生じた前記操作端末の運動を検出して運動情報を生成し、楽音発生制御装置へ送信し、
前記楽音発生制御装置は、受信した前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信し、
前記操作端末は、受信した振動制御情報に応じた振動を発生することを特徴とする楽音発生制御方法。An operator portable operation terminal detects movement of the operation terminal generated by the operation of the operator, generates movement information, and transmits it to the musical sound generation control device,
The musical sound generation control device generates performance control information for controlling musical sounds generated from the musical sound generation device based on the received movement information, and generates vibration control information based on the generated performance control information, Transmitting the vibration control information to the operation terminal;
The musical tone generation control method, wherein the operation terminal generates vibration according to the received vibration control information. 操作者携帯可能な操作端末から、操作者の操作による前記操作端末の運動を検出して生成した運動情報を受信する手段と、
前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信する手段と
を具備することを特徴とする楽音発生制御装置。Means for receiving movement information generated by detecting movement of the operation terminal by an operation of the operator from an operation terminal portable to the operator;
Performance control information for controlling the musical sound generated from the musical sound generator is generated based on the movement information, vibration control information is generated based on the generated performance control information, and the vibration control information is transmitted to the operation terminal. A musical tone generation control device comprising: a transmission means. 操作者携帯可能な操作端末から、操作者の操作による当該操作端末の運動を検出して生成した運動情報を受信する手段と、
前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動制御情報を生成し、該振動制御情報を前記操作端末とは別体の報知装置へ送信する手段と
を具備することを特徴とする楽音発生制御装置。Means for receiving movement information generated by detecting movement of the operation terminal by the operation of the operator from an operation terminal portable to the operator;
Generating performance control information for controlling the musical sound generated from the musical sound generator based on the movement information, generating vibration control information based on the generated performance control information, and transmitting the vibration control information to the operation terminal. Comprises a means for transmitting to a separate notification device. 操作者携帯可能な操作端末から、操作者の操作による当該操作端末の運動を検出して生成した運動情報を受信する手段と、
楽曲データを記憶する手段と、
前記運動情報と前記楽曲データとに基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成し、生成した演奏制御情報を前記楽音発生装置へ出力する一方、前記楽曲データに基づき振動制御情報を生成し、該振動制御情報を前記操作端末へ送信する手段と
を具備することを特徴とする楽音発生制御装置。Means for receiving movement information generated by detecting movement of the operation terminal by the operation of the operator from an operation terminal portable to the operator;
Means for storing song data;
Based on the exercise information and the music data, it generates performance control information for controlling a musical sound generated from the musical sound generator, and outputs the generated performance control information to the musical sound generator, A musical tone generation control apparatus comprising: means for generating vibration control information on the basis of the vibration control information and transmitting the vibration control information to the operation terminal. 前記演奏制御情報は、テンポ、音量、音高、楽音発生タイミング、音色及び効果の少なくとも１つのパラメータを制御するための情報であり、
前記振動制御情報は、振動発生タイミング、振動周波数、振動の強弱の少なくとも１つのパラメータを制御するための情報であることを特徴とする請求項６〜請求項８のいずれか１の請求項に記載の楽音発生制御装置。The performance control information is information for controlling at least one parameter of tempo, volume, pitch, tone generation timing, tone color, and effect,
9. The vibration control information according to claim 6, wherein the vibration control information is information for controlling at least one parameter of vibration generation timing, vibration frequency, and vibration strength. Musical sound generation control device. 操作者携帯可能な操作端末であって、
前記操作者の操作により生じた当該操作端末の運動を検出して運動情報を生成する手段と、
前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報に基づき振動を発生する手段と、
前記演奏制御情報を前記楽音発生装置へ送信する手段と
を具備することを特徴とする操作端末。An operation terminal that can be carried by an operator,
Means for detecting movement of the operation terminal caused by the operation of the operator and generating movement information;
Means for generating performance control information for controlling the musical sound generated from the musical sound generator based on the movement information, and generating vibration based on the generated performance control information;
An operation terminal comprising: means for transmitting the performance control information to the musical tone generator. 通信装置と接続され、操作者携帯可能な操作端末から、前記通信装置を介して操作者の操作による当該操作端末の運動を検出して生成した運動情報を受信するコンピュータに、
前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報を前記楽音発生装置宛てに出力する機能と、
前記演奏制御情報に基づき振動制御情報を生成し、前記操作端末への送信を前記通信装置に指示する機能と
を実現させるための楽音発生制御プログラム。A computer connected to a communication device and receiving movement information generated by detecting movement of the operation terminal by an operation of the operator via the communication device from an operation terminal portable to the operator.
A function of generating performance control information for controlling a musical sound generated from the musical sound generator based on the movement information, and a function of outputting the generated performance control information to the musical sound generator;
A musical tone generation control program for realizing a function of generating vibration control information based on the performance control information and instructing the communication device to transmit to the operation terminal. 通信装置と接続され、操作者携帯可能な操作端末から、前記通信装置を介して操作者の操作による当該操作端末の運動を検出して生成した運動情報を受信するコンピュータに、
前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報を前記楽音発生装置宛てに出力する機能と、
前記演奏制御情報に基づき振動制御情報を生成し、前記操作端末とは別体の報知装置への送信を前記通信装置に指示する機能と
を実現させるための楽音発生制御プログラム。A computer connected to a communication device and receiving movement information generated by detecting movement of the operation terminal by an operation of the operator via the communication device from an operation terminal portable to the operator.
A function of generating performance control information for controlling a musical sound generated from the musical sound generator based on the movement information, and a function of outputting the generated performance control information to the musical sound generator;
A musical tone generation control program for realizing a function of generating vibration control information based on the performance control information and instructing the communication device to transmit to a notification device separate from the operation terminal. 通信装置と接続され、操作者携帯可能な操作端末から、前記通信装置を介して操作者の操作による当該操作端末の運動を検出して生成した運動情報を受信するコンピュータに、
前記運動情報に基づいて楽音発生装置から発生される楽音を制御するための演奏制御情報を生成すると共に、生成した演奏制御情報を前記楽音発生装置宛てに出力する機能と、
楽曲データを記憶する機能と、
前記楽曲データに基づいて、振動を発生するための振動制御情報を生成し、前記操作端末への送信を前記通信装置に指示する機能と
を実現させるための楽音発生制御プログラム。A computer connected to a communication device and receiving movement information generated by detecting movement of the operation terminal by an operation of the operator via the communication device from an operation terminal portable to the operator.
A function of generating performance control information for controlling a musical sound generated from the musical sound generator based on the movement information, and a function of outputting the generated performance control information to the musical sound generator;
A function to store music data;
A musical tone generation control program for realizing a function of generating vibration control information for generating vibration based on the music data and instructing the communication device to transmit to the operation terminal. 前記演奏制御情報は、テンポ、音量、音高、楽音発生タイミング、音色及び効果の少なくとも１つのパラメータを制御するための情報であり、
前記振動制御情報は、振動発生タイミング、振動周波数、振動の強弱の少なくとも１つのパラメータを制御するための情報であることを特徴とする請求項１１〜請求項１３のいずれか１の請求項に記載の楽音発生制御プログラム。The performance control information is information for controlling at least one parameter of tempo, volume, pitch, tone generation timing, tone color, and effect,
The vibration control information is information for controlling at least one parameter of vibration generation timing, vibration frequency, and vibration strength. Musical tone generation control program. 請求項１１〜請求項１４のいずれか１の請求項に記載の楽音発生制御プログラムを記録したコンピュータ読み取り可能な記録媒体。The computer-readable recording medium which recorded the musical sound generation control program of any one of Claims 11-14.
JP2002130454A 2001-05-08 2002-05-02 Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program Expired - Fee Related JP3879583B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002130454A JP3879583B2 (en) 2001-05-08 2002-05-02 Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001137769 2001-05-08
JP2001-137769 2001-05-08
JP2002130454A JP3879583B2 (en) 2001-05-08 2002-05-02 Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program

Publications (2)

Publication Number Publication Date
JP2003029747A JP2003029747A (en) 2003-01-31
JP3879583B2 true JP3879583B2 (en) 2007-02-14

Family

ID=26614761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002130454A Expired - Fee Related JP3879583B2 (en) 2001-05-08 2002-05-02 Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program

Country Status (1)

Country Link
JP (1) JP3879583B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3870843B2 (en) 2002-05-27 2007-01-24 ヤマハ株式会社 Music generation system and sound module
JP2009139745A (en) * 2007-12-07 2009-06-25 Yamaha Corp Electronic musical instrument
US7839269B2 (en) 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
KR102651705B1 (en) * 2017-02-23 2024-03-28 삼성전자주식회사 Method and apparatus for providing vibration in electronic device
CN110168634B (en) * 2017-03-24 2024-03-19 雅马哈株式会社 Sound producing device, sound producing system and game device
CN108538275A (en) * 2018-03-27 2018-09-14 扬州海宝教育科技有限公司 A kind of playing method for music robot of clapping hands
WO2019212132A1 (en) 2018-04-30 2019-11-07 주식회사 비츠나인 Vibration system using sound
CN109147742A (en) * 2018-10-31 2019-01-04 北京戴乐科技有限公司 A kind of music control system and method
CN109147743A (en) * 2018-10-31 2019-01-04 北京戴乐科技有限公司 A kind of music controller and method
CN111462718A (en) * 2020-05-22 2020-07-28 北京戴乐科技有限公司 Musical instrument simulation system

Also Published As

Publication number Publication date
JP2003029747A (en) 2003-01-31

Similar Documents

Publication Publication Date Title
JP3948242B2 (en) Music generation control system
US20210248986A1 (en) Stick Controller
JP4694705B2 (en) Music control system
JP4779264B2 (en) Mobile communication terminal, tone generation system, tone generation device, and tone information providing method
JP3867515B2 (en) Musical sound control system and musical sound control device
JP4626087B2 (en) Musical sound control system and musical sound control device
JP2008276187A (en) Musical performance processing apparatus and musical performance processing program
JP3867630B2 (en) Music playback system, music editing system, music editing device, music editing terminal, music playback terminal, and music editing device control method
EP2079079A1 (en) Recording system for ensemble performance and musical instrument equipped with the same
JP3879583B2 (en) Musical sound generation control system, musical sound generation control method, musical sound generation control device, operation terminal, musical sound generation control program, and recording medium recording a musical sound generation control program
US7038122B2 (en) Musical tone generation control system, musical tone generation control method, musical tone generation control apparatus, operating terminal, musical tone generation control program and storage medium storing musical tone generation control program
US6803512B2 (en) Musical tone generating apparatus, plucked string instrument, performance system, electronic musical instrument, musical tone generation control method, and program for implementing the method
JP3972619B2 (en) Sound generator
US7351903B2 (en) Musical composition data editing apparatus, musical composition data distributing apparatus, and program for implementing musical composition data editing method
CN101777342B (en) Electric keyboard instrument
JP2006308650A (en) Singing support device
JP4581202B2 (en) Physical information measurement method, physical information measurement network system, and physical information measurement system
JP2009229909A (en) Electronic musical instrument
JP2002041036A (en) Musical sound generating method and musical sound generating network system
JP4158634B2 (en) Music data editing device, music data distribution device, and program
JP4868045B2 (en) Music control system
Whitman et al. Mind Over Machine Over Matter: A Study of Electro-Acoustic Performance Practices
JP2005031383A (en) Automatic performance system and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061030

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees