JP4815594B2 - Performance interface - Google Patents

Performance interface Download PDF

Info

Publication number
JP4815594B2
JP4815594B2 JP2006139613A JP2006139613A JP4815594B2 JP 4815594 B2 JP4815594 B2 JP 4815594B2 JP 2006139613 A JP2006139613 A JP 2006139613A JP 2006139613 A JP2006139613 A JP 2006139613A JP 4815594 B2 JP4815594 B2 JP 4815594B2
Authority
JP
Japan
Prior art keywords
performance
myoelectric
signal
input device
magnitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006139613A
Other languages
Japanese (ja)
Other versions
JP2007310178A (en
Inventor
敏夫 辻
建次 柴
修 福田
利明 杉山
洋美 植野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiroshima University NUC
Original Assignee
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiroshima University NUC filed Critical Hiroshima University NUC
Priority to JP2006139613A priority Critical patent/JP4815594B2/en
Publication of JP2007310178A publication Critical patent/JP2007310178A/en
Application granted granted Critical
Publication of JP4815594B2 publication Critical patent/JP4815594B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、MIDI規格による電子楽器等の演奏装置を演奏するための演奏インターフェースに係り、特に筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力して演奏させることができる演奏インターフェースに関する。   The present invention relates to a performance interface for playing a performance device such as an electronic musical instrument according to the MIDI standard, and in particular, creates performance data or performance control data based on a myoelectric signal, and inputs the performance data or performance control data to the performance device for performance. It is related with the performance interface which can do.

楽器の演奏や作曲は一般に高度な技能を要し、誰でも簡単に演奏や作曲ができるというわけにはいかないが、できるならば楽器の演奏や作曲をしたいと思う人は多い。このため、多くの人に楽器の演奏や作曲を楽しんでもらうための方法や装置が提案されている。   Musical instrument performance and composition generally require advanced skills, and anyone cannot easily perform or compose, but many people want to perform or compose an instrument if possible. For this reason, methods and devices for allowing many people to enjoy playing and composing musical instruments have been proposed.

例えば、特許文献1に、指揮棒や手振りコントローラなどの揺動操作子の揺動または該揺動操作子に設けられたセンサの出力に基づいて音量、音色、音長などに関する楽音パラメータを制御する楽音パラメータ制御装置が提案されている。すなわち、楽音パラメータを出力する演奏手段と、揺動センサを備えた揺動操作子と、前記揺動センサの出力波形の特徴を抽出する特徴抽出手段と、該特徴抽出手段で抽出された特徴に基づいて前記楽音パラメータを制御する楽音パラメータ制御手段と、を備えた楽音パラメータ制御装置が提案されている。   For example, in Japanese Patent Application Laid-Open No. 2004-228561, musical tone parameters relating to volume, tone color, tone length, and the like are controlled based on the swing of a swing operation member such as a command stick or a hand swing controller or the output of a sensor provided on the swing operation member. Musical tone parameter control devices have been proposed. That is, a performance means for outputting musical tone parameters, a swing operation element provided with a swing sensor, a feature extracting means for extracting features of an output waveform of the swing sensor, and features extracted by the feature extracting means There has been proposed a musical tone parameter control device comprising musical tone parameter control means for controlling the musical tone parameter based on the musical tone parameter.

特許文献2に、ユーザーの指示に応じて音符単位に、その音符の種類、及びその発音条件を自動的、且つ個別に選択するようにしたことにより、ユーザーにとっては自身が作曲を行っている実感が持て、また、音楽の専門知識が乏しいものでも作曲を容易に行うことができる作曲支援装置が提案されている。すなわち、楽曲の演奏内容を示す音符の並びである音符列を生成することにより行われる作曲を支援する装置であって、前記音符列を構成させる音符単位に、該音符の種類、及び該音符の楽譜上の配置に相当する発音条件をユーザーの指示に応じて自動的、且つ個別に選択する音符選択手段と、前記音符選択手段が自動的に個別に選択した種類、及び発音条件で指定される音符を有する前記音符列を生成する音符列生成手段と、を具備する作曲支援装置が提案されている。   According to Japanese Patent Laid-Open No. 2004-228867, the user feels that he / she is composing music by automatically and individually selecting the type of note and the sounding condition for each note according to the user's instruction. In addition, there has been proposed a music composition support device that can compose music easily even if it has little music expertise. That is, a device for supporting composition performed by generating a note string that is a sequence of notes indicating the performance of a music piece, and for each note constituting the note string, the type of note, and the note type It is designated by the note selection means for automatically and individually selecting the sound generation conditions corresponding to the arrangement on the score according to the user's instruction, the type and the sound generation conditions automatically selected by the note selection means. There has been proposed a music composition support device comprising a note string generating means for generating the note string having notes.

一方、このような演奏又は作曲のための装置が身体の不自由な人にも容易に利用可能であるならば、そのような人の治療やリハビリテーション、または、楽しみにつながる。すなわち、身体の不自由な人が容易に利用可能な演奏又は作曲のための装置の開発は、社会的貢献に価するものである。身体の不自由な人にも利用可能な装置として、例えば、特許文献3に、筋電位により家電製品等の制御を行うリモートコントローラが提案されており、特許文献4に、筋電位により電動車椅子の制御を行う車両制御装置及びこれを備えた車両が提案されている。また、非特許文献1及び2には、筋電位信号自体を音源として演奏又は作曲を行ういわゆるインタラクティブ・アートが提案されている。   On the other hand, if such a device for performance or composition is readily available to a physically handicapped person, it leads to treatment, rehabilitation, or enjoyment of such a person. In other words, the development of a device for performance or composition that can be easily used by a physically handicapped person is worth a social contribution. As a device that can also be used by a person with a physical disability, for example, Patent Document 3 proposes a remote controller that controls home appliances and the like by myoelectric potential. A vehicle control device that performs control and a vehicle including the same have been proposed. Non-Patent Documents 1 and 2 propose so-called interactive art that performs or composes using the myoelectric signal itself as a sound source.

特開平09-127937号公報JP 09-127937 A 特開2006-84855号公報JP 2006-84855 A 特開2003-244780号公報JP 2003-244780 A 特開2006-84855号公報JP 2006-84855 A 長嶋 洋一著「生体センサによる音楽表現の拡大と演奏表現の支援について」、情報処理学会研究報告、情報処理学会、vol.98、No.74(98-MUS-26)、1998、p.75〜p.82Yoichi Nagashima, “Expansion of Music Expression and Support of Performance Expression by Biological Sensor”, Information Processing Society of Japan Research Report, Information Processing Society of Japan, vol.98, No.74 (98-MUS-26), 1998, p.75- p.82 長嶋 洋一著「新・筋電センサ“MiniBioMuse III”とその情報処理」、情報処理学会研究報告、情報処理学会、vol.2001、No.82(2001-MUS-41)、2001、p.1〜p.8Yoichi Nagashima “New Myoelectric Sensor“ MiniBioMuse III ”and Its Information Processing”, Information Processing Society of Japan Research Report, Information Processing Society of Japan, vol.2001, No.82 (2001-MUS-41), 2001, p.1- p.8

しかしながら、身体の不自由な人に容易に利用可能な演奏又は作曲のための装置は未だ提案されていない。また、筋電位を利用して制御を行う従来の装置は、筋電位信号自体を音源として、またはスイッチとして利用するものであり、そのままでは操作者が満足できるような演奏又は作曲のための装置を構成するのが非常に困難である。   However, no device has yet been proposed for performance or composition that is readily available to people with physical disabilities. In addition, the conventional device that performs control using myoelectric potential uses the myoelectric signal itself as a sound source or a switch, and a device for performance or composition that can be satisfied by the operator as it is. It is very difficult to configure.

本発明は、このような従来の問題点に鑑み、国際規格であるMIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる演奏インターフェースを提供することを目的とする。さらには、従来提案されている演奏又は作曲のための装置以上に簡単に複雑な音楽表現を行うことができ、より操作者に満足感を与えることができる演奏インターフェースを提供することを目的とする。   In view of such a conventional problem, the present invention allows a person with a physical disability to easily perform a performance device such as an electronic musical instrument according to the MIDI standard, which is an international standard, and compose music for the performance. An object of the present invention is to provide a performance interface that can be used. It is another object of the present invention to provide a performance interface that can perform complicated music expression more easily than a conventionally proposed apparatus for performance or composition, and can give more satisfaction to the operator. .

本発明者等は、一般に、電子楽器においては、音色、音高、音量及び効果の4つの演奏パラメータが決まると所望の楽音を発音することができ、CD、MD、DVD、DATや、MIDI(Musical Instrument Digital Interface)ソース等の音響情報を再生する楽音再生装置では、テンポ、音量及び効果の3つの演奏パラメータが決まると所望の楽音を再生することができるといわれていることと、これらの音楽的要素は、筋電信号又は筋電時間微分信号の発生タイミング、大きさ、持続時間とそれぞれ容易に関連づけることができ、高度な音楽表現が可能であるということに着目して本発明を完成させた。   In general, the present inventors can produce desired musical sounds in electronic musical instruments when four performance parameters such as timbre, pitch, volume, and effect are determined, such as CD, MD, DVD, DAT, MIDI ( Musical Instrument Digital Interface) It is said that a musical sound reproducing apparatus that reproduces acoustic information such as a source can reproduce a desired musical sound when three performance parameters such as tempo, volume and effect are determined. The present invention has been completed with a focus on the fact that the key elements can be easily correlated with the generation timing, magnitude, and duration of the myoelectric signal or the myoelectric time differential signal, respectively, and are capable of advanced musical expression. It was.

本発明に係る演奏インターフェースは、筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力するための演奏インターフェースであって、筋電信号を取得するための筋電センサと、該筋電センサからの筋電信号に基づき筋電時間微分信号を作製する微分手段と、筋電信号又は/及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置と、該入力装置により作製された演奏データ及び演奏制御データを保存する記録手段と、を有する。   A performance interface according to the present invention is a performance interface for creating performance data or performance control data based on an electromyographic signal and inputting the performance data or performance control data to a performance device, and an electromyographic sensor for acquiring an electromyographic signal; , Differential means for generating a myoelectric time differential signal based on the myoelectric signal from the myoelectric sensor, and an input device for generating performance data or performance control data using the myoelectric signal or / and myoelectric time differential signal And recording means for storing performance data and performance control data produced by the input device.

上記発明において、入力装置は、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、音高及び音価を選択する音符取得手段と、操作メニューと結果を表示させる表示手段と、前記特徴保管手段に保管された筋電信号の持続時間を音価に対応させる関連づけ手段と、を有するものであって、演奏データを作製することができるものとするのがよい。   In the above invention, the input device includes a function selection unit for identifying the myoelectric signal, a myoelectric signal identified by the function selection unit, and an identification symbol of the myoelectric time differential signal based thereon, generation timing, magnitude, and duration. A feature storage means for storing the note, a note acquisition means for selecting a pitch and a note value, a display means for displaying an operation menu and a result, and a duration of the myoelectric signal stored in the feature storage means as a note value. It is preferable to have a correlating means to be associated with each other so that performance data can be created.

そして、その入力装置は、さらに、筋電時間微分信号を音量に対応させる関連づけ手段を有するものとすることができ、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を有するものとすることができる。   The input device may further include an association unit that associates the electromyographic time differential signal with the volume, and has an association unit that associates the generation timing of the electromyogram signal with the performance tempo. be able to.

また、上記入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものとするのがよい。そして、この入力装置に、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けるのがよい。   Further, the input device includes an operation teaching means for teaching the generation timing of the myoelectric signal, a function selecting means for identifying the myoelectric signal, the myoelectric signal identified by the function selecting means, and the myoelectric time differentiation based thereon. Feature storage means for storing signal identification symbol, generation timing, magnitude, and duration, performance song tempo and performance of myoelectric signal duration at generation timing of myoelectric signal stored in the feature storage means And a display means for displaying an operation menu and the action teaching means, and performance control data can be created. It should be. The input device is provided with a display means for displaying a command pattern using one or more data as a parameter among the tempo of the musical piece, the nuance of the musical piece, and the volume related to the myoelectric signal. Is good.

また、上記入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものとすることができる。そして、この入力装置に、演奏曲のニュアンスの程度をパラメータとし、レガート度を表示させる表示手段を設けることができる。   Further, the input device includes an operation teaching means for teaching the generation timing of the myoelectric signal, a function selecting means for identifying the myoelectric signal, the myoelectric signal identified by the function selecting means, and the myoelectric time differentiation based thereon. Feature storage means for storing the signal identification symbol, generation timing, magnitude, and duration, and the magnitude of the electromyogram stored in the feature storage means, the nuance of the performance song, and the magnitude of the electromyogram time differential signal It is possible to have a correlating means for associating the sound volume and a display means for displaying the operation menu and the action teaching means, and it is possible to create performance control data. The input device can be provided with display means for displaying the degree of legato using the degree of nuance of the musical composition as a parameter.

また、さらに、上記入力装置に筋電信号の大きさ及び筋電時間微分信号の大きさを表示させる表示手段を設けることができる。   Furthermore, display means for displaying the magnitude of the myoelectric signal and the magnitude of the myoelectric time differential signal on the input device can be provided.

また、上記発明において、筋電信号の機能選択手段による識別は、筋電信号をニューラルネットワーク処理により行うものであるのがよい。   In the above invention, the myoelectric signal may be identified by the function selection means by performing the myoelectric signal by neural network processing.

さらに、上記発明において、筋電センサの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をEl(t)(l=1、2、・・・、L)として、下記式(1)により表されるP(t)を入力装置へ筋電信号として出力するセンサ信号処理手段を有するのがよい。 Furthermore, in the above invention, the time series signal obtained by A / D converting the output of the myoelectric sensor and performing full wave rectification and smoothing processing is expressed as E l (t) (l = 1, 2,..., L ), It is preferable to have sensor signal processing means for outputting P (t) represented by the following formula (1) to the input device as a myoelectric signal.

Figure 0004815594
Figure 0004815594

本発明に係る演奏インターフェースによれば、国際規格であるMIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる。さらに、従来提案されている演奏又は作曲のための装置以上に複雑な音楽表現を簡単に行うことができ、より操作者に満足感を与えることができる。   According to the performance interface of the present invention, a person with a physical disability can easily perform a performance device such as an electronic musical instrument according to the MIDI standard, which is an international standard, and can compose music for that performance. Furthermore, it is possible to easily perform more complicated music expression than the conventionally proposed apparatus for performance or composition, and to give more satisfaction to the operator.

以下、本発明に係る演奏インターフェースの実施の形態を図面に基づいて説明する。図1は、本発明に係る演奏インターフェースの構成を示す。本演奏インターフェース100は、筋電センサ40、筋電センサ40からの出力信号を処理するセンサ信号処理手段43、センサ信号処理手段43からの出力信号を時間微分して筋電時間微分信号を作製する微分手段45、筋電信号又は/及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置10、入力装置10により作製された演奏データ及び演奏制御データを保存する記録手段50を有し、演奏インターフェース100によりMIDI規格による電子楽器等の演奏装置55を演奏することができる。   Embodiments of a performance interface according to the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration of a performance interface according to the present invention. The performance interface 100 generates a myoelectric time differential signal by time-differentiating the myoelectric sensor 40, the sensor signal processing means 43 for processing the output signal from the myoelectric sensor 40, and the output signal from the sensor signal processing means 43. Differentiating means 45, input device 10 for creating performance data or performance control data using myoelectric signals or / and myoelectric time differential signals, recording means for storing performance data and performance control data produced by input device 10 The performance interface 55 can play a performance device 55 such as an electronic musical instrument according to the MIDI standard.

入力装置10は、演奏データを作製するための入力装置10A、演奏制御データを作製するための入力装置10Bからなる。入力装置10Aの構成を図1(b)及び図2に、入力装置10Bの構成を図1(c)及び図3に示す。図2又は図3は、入力装置10A又は10Bの表示手段18部分を詳細に示す説明図である。本発明においては、演奏制御データは入力装置10Bにより作製することができるのであるが、演奏制御データは操作者の操作の瞬間に作製され、演奏制御データの作製と同時に演奏することが可能であり、また、一部の演奏制御データを作製しないで、その部分を予め記録された演奏制御データにより自動演奏させることもできる。すなわち、操作者自身があたかも演奏を指揮しているように演奏することが可能であり、また、自身で演奏しているように演奏することも、合奏しているように演奏することも可能である。   The input device 10 includes an input device 10A for generating performance data and an input device 10B for generating performance control data. The configuration of the input device 10A is shown in FIGS. 1 (b) and 2, and the configuration of the input device 10B is shown in FIGS. 1 (c) and 3. 2 or 3 is an explanatory diagram showing in detail the display means 18 portion of the input device 10A or 10B. In the present invention, the performance control data can be created by the input device 10B, but the performance control data is created at the moment of operation by the operator and can be played simultaneously with the creation of the performance control data. In addition, a part of the performance control data can be automatically played based on the performance control data recorded in advance without preparing part of the performance control data. In other words, it is possible for the operator to perform as if he was conducting the performance, and to perform as if he was performing himself or as if performing an ensemble. is there.

図1(b)及び図2に示すように、入力装置10Aは、筋電信号を識別させる機能選択手段11と、機能選択手段11に識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、音高及び音価を選択する音符取得手段12と、操作メニューと結果を表示させる表示手段18と、特徴保管手段15に保管された筋電信号の持続時間を音価に対応させる関連づけ手段16と、を有する。表示手段18には、図2に示すように、操作メニューを表す機能選択手段11と音符取得手段12が表示され、操作の結果として、例えば、取得した音符が五線譜上に表示される。   As shown in FIG. 1 (b) and FIG. 2, the input device 10A includes a function selection unit 11 for identifying the myoelectric signal, the myoelectric signal identified by the function selection unit 11 and the myoelectric time differential signal based thereon. Feature storage means 15 for storing the identification symbol, generation timing, size, and duration, note acquisition means 12 for selecting the pitch and note value, display means 18 for displaying the operation menu and results, and feature storage means 15 And means 16 for associating the duration of the myoelectric signal stored in 1 with the sound value. As shown in FIG. 2, the display means 18 displays a function selection means 11 and a note acquisition means 12 representing an operation menu, and as an operation result, for example, the acquired notes are displayed on a staff.

入力装置10Bは、図1(c)及び図3に示すように、筋電信号の発生タイミングを教示する動作教示手段19と、筋電信号を識別させる機能選択手段11と、機能選択手段11により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、特徴保管手段15に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段16と、操作メニュー及び動作教示手段21を表示する表示手段18と、を有する。なお、上記において、ニュアンスとは、スタッカート、レガートあるいはレガート的であるかの程度(レガート度)、すなわちその曲のニュアンスを示すものである。   As shown in FIG. 1 (c) and FIG. 3, the input device 10B includes an operation teaching means 19 for teaching the generation timing of the myoelectric signal, a function selecting means 11 for identifying the myoelectric signal, and a function selecting means 11. The characteristic storage means 15 for storing the identified myoelectric signal and the identification symbol, generation timing, magnitude, and duration of the electromyographic time differential signal based on the identified myoelectric signal, and the generation timing of the myoelectric signal stored in the characteristic storage means 15 Corresponding means 16 for associating the volume with the tempo of the performance music, the nuance of the performance music to the duration of the electromyographic signal, and the magnitude of the electromyographic time differential signal, and the display means 18 for displaying the operation menu and the operation teaching means 21; Have In the above description, the nuance indicates the degree of staccato, legato or legato (legato degree), that is, the nuance of the song.

この入力装置10Bには、さらに、図3に示すように、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けるのがよい。これにより、操作者はより高度の音楽表現ができ、その結果を視覚的に確認することができる。なお、指揮パターンのパラメータは多いほど複雑な表現が可能であるが、1つであってもよい。   As shown in FIG. 3, the input device 10B further conducts a command using one or more data among parameters of the tempo of the performance music, the nuance of the performance music, and the volume associated with the myoelectric signal. It is preferable to provide display means for displaying the pattern. As a result, the operator can express a higher level of music and visually check the result. Note that the more the command pattern parameters, the more complex the expression can be, but there may be only one.

また、本入力装置10Bには、図3に示すように、筋電信号の大きさ、筋電時間微分信号の大きさ等を表示させる表示手段を設けることができる。これにより、操作者はどの程度の音量あるいはニュアンス等で演奏しているか視覚的に知ることができる。   Further, as shown in FIG. 3, the input device 10B can be provided with display means for displaying the magnitude of the myoelectric signal, the magnitude of the myoelectric time differential signal, and the like. As a result, the operator can visually know the volume or nuance of the performance.

本発明において、筋電センサ40は公知のものを使用することができる。筋電センサ40は、一対の電極により一つの筋電位を測定する形式のものが外乱による影響を受けにくいので好ましい。測定の対象にする筋電位は、一以上五(チャンネル)以下とすることができ、二又は三(チャンネル)の筋電位を測定する演奏インターフェースが感度を高くすることができるとともに、装置全体の構造を簡単にすることができるので好ましい。例えば、腕の指伸筋及び指屈筋の筋電位などから手のひらを「掌屈及び背屈、握る及び開く」4つの動作に対応する筋電位を測定するには、3チャンネル必要である。   In the present invention, a well-known myoelectric sensor 40 can be used. As the myoelectric sensor 40, a type in which one myoelectric potential is measured by a pair of electrodes is preferable because it is hardly affected by disturbance. The myoelectric potential to be measured can be 1 or more and 5 (channels) or less, and the performance interface that measures two or three (channels) myoelectric potential can increase the sensitivity, and the structure of the entire apparatus Is preferable because it can be simplified. For example, three channels are required to measure the myoelectric potential corresponding to the four actions of “palm flexion and dorsiflexion, grasping and opening” of the palm from the finger extensor and finger flexor muscles.

センサ信号処理手段43、微分手段45、記録手段50及び演奏装置55は公知のものを使用することができる。センサ信号処理手段43は、筋電センサ40からの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をEl(t)(l=1、2、・・・、L)として、下記式(1)により表されるP(t)を筋電信号として入力装置10に出力することができる。これにより精度の高い筋電信号を得ることができる。 Known sensor signal processing means 43, differentiating means 45, recording means 50 and performance device 55 can be used. The sensor signal processing means 43 performs A / D conversion on the output from the myoelectric sensor 40, and converts the time series signal obtained by full-wave rectification and smoothing processing to E l (t) (l = 1, 2, ... As L), P (t) represented by the following formula (1) can be output to the input device 10 as a myoelectric signal. Thereby, a highly accurate myoelectric signal can be obtained.

Figure 0004815594
Figure 0004815594

以上、本演奏インターフェース100の構成を説明した。本演奏インターフェース100は以下のように使用される。まず、演奏データの作製について説明する。所要の部位に筋電センサ40を装着した操作者は、入力装置10Aを操作することによって演奏データを作製することができる。   The configuration of the performance interface 100 has been described above. The performance interface 100 is used as follows. First, production of performance data will be described. An operator wearing the myoelectric sensor 40 at a required site can create performance data by operating the input device 10A.

入力装置10Aをさらに詳細に説明すると、機能選択手段11は図1(b)又は図2右側部分に示すように、図2において文字を□枠で囲んだキー部分が機能選択手段11である。どのような機能が選択されているかは選択されたキー部分が明示されるので、操作者はどの操作をしているか認識することができる。選択されたキーによりその筋電信号を識別する識別記号が付与される。「Play」キーは、記録手段50に蓄えられた演奏データを自動演奏する場合の機能キーである。視聴している演奏を停止する場合が「Stop」、記録手段50に蓄えられた演奏データを以下に説明する音符取得手段12に読み込む場合は「Load」、作製した演奏データを記録手段50に蓄える場合は「Save」である。   The input device 10A will be described in more detail. The function selection means 11 is the function selection means 11 as shown in FIG. 1 (b) or the right side of FIG. Since the selected key portion is specified as to what function is selected, the operator can recognize which operation is being performed. An identification symbol for identifying the myoelectric signal is given by the selected key. The “Play” key is a function key for automatically playing performance data stored in the recording means 50. “Stop” when the performance being watched is stopped, “Load” when the performance data stored in the recording means 50 is read into the note acquisition means 12 described below, and the created performance data is stored in the recording means 50 The case is “Save”.

演奏データを作製するパートを選択する場合は「Select」で、メロディー「Melody」、和音「Chord」、ベース「Base」、リズム「Rhythm」を選択することができる。記録手段50に蓄えられた演奏データを自在に演奏したい場合は、演奏法「To play」を選択し、さらに「P1」又は「P2」のいずれかを選択することができる。P1演奏法は、以下に説明するように一拍ごとに演奏を制御することができる演奏法であり、P2演奏法は一小節ごとに演奏を制御することができる演奏法である。   When selecting a part for creating performance data, the melody “Melody”, chord “Chord”, bass “Base”, and rhythm “Rhythm” can be selected with “Select”. When it is desired to freely play the performance data stored in the recording means 50, the performance method “To play” can be selected, and either “P1” or “P2” can be selected. As described below, the P1 performance method is a performance method that can control the performance for each beat, and the P2 performance method is a performance method that can control the performance for each measure.

演奏データを取得するための音符取得手段12に移行するには、機能選択手段11の作曲「Compose」を選択し、曲の拍子を決めるため「Beat」を選択する。「Beat」を選択し、表示される所定の拍子及び作曲する最小の音価の音符を選択することにより、図2の左側の音符取得手段12に移行することができる。なお、機能選択「function」を選択することによって、機能選択手段11に移行することができる。   To move to the note acquisition means 12 for acquiring performance data, the composition “Compose” of the function selection means 11 is selected, and “Beat” is selected to determine the time signature of the song. By selecting “Beat” and selecting a note with a predetermined time signature and a minimum note value to be composed, it is possible to shift to the note acquisition means 12 on the left side of FIG. Note that the function selection means 11 can be entered by selecting the function selection “function”.

作曲のための拍子及び最小の音価の音符が決定されると、図2の左上部に所定の小節から構成される五線譜及中央部分に音符の音価を決定するための所定のマス目が表示される。図2の例は、3/4拍子で、最小の音価の音符が八分音符の場合を示す。   When the time signature for composition and the note of the minimum note value are determined, a predetermined grid for determining the note value of the note is formed at the center of the staff notation composed of a predetermined measure in the upper left part of FIG. Is displayed. The example of FIG. 2 shows a case where the note of 3/4 time and the lowest note value is an eighth note.

音符取得手段12は、まず、図2の左側に表示された鍵盤を選択し、音高を決めることによりなされる。音高が決定されると、その音高に対応するマス目の位置にマーク(斜線部)される。音価は、選択された位置で選択動作を持続することによってなされる。例えば、手のひらを掌屈又は背屈動作に伴う筋電信号により、鍵盤の任意の位置に選択ポインターを移動させ、握る動作に伴う筋電信号により音高を決定する。そして、その動作を維持すると、図2に示すように斜線部に連なる横線部が次第に横方向に伸びる。所定の位置に伸びたときに、握りを開く動作に伴う筋電信号を与えると横線部の伸びが停止し、関連づけ手段16により所定の音価が決定される。このようにして、音高及び音価が決定されると、その音符が五線譜上に表示される。なお、音符を取得したマス目を斜線と横線で表示することにより、同一音高の音符が連なる場合であってもこれを明確に区別することができる。図2のマス目の縦線部は、これから音高を選択する位置であることを明示するポインターである。また、図2の鍵盤の上部に示された「Delete」は、既に取得した音符を削除する場合に選択され、その五線譜上の位置は矢印「→」又「←」により移動させて選択することができる。なお、矢印「→」又「←」によって選択ポインターを移動させ、移動した点から再度握りの動作を行うことで、音符の上書き修正を行うことができる。   The note acquisition means 12 is made by first selecting the keyboard displayed on the left side of FIG. 2 and determining the pitch. When the pitch is determined, it is marked (hatched portion) at the grid position corresponding to the pitch. The sound value is made by continuing the selection operation at the selected position. For example, the selection pointer is moved to an arbitrary position on the keyboard by a myoelectric signal associated with palm flexion or dorsiflexion, and the pitch is determined by the myoelectric signal associated with a grasping operation. And if the operation | movement is maintained, as shown in FIG. 2, the horizontal line part connected to a shaded part will extend gradually in a horizontal direction. When the myoelectric signal accompanying the operation of opening the grip is given when the grip is extended to a predetermined position, the expansion of the horizontal line portion is stopped, and the correlating means 16 determines a predetermined sound value. When the pitch and note value are determined in this way, the note is displayed on the staff. It should be noted that by displaying the squares from which the notes have been acquired with diagonal lines and horizontal lines, even if the notes having the same pitch are consecutive, this can be clearly distinguished. The vertical line portion of the square in FIG. 2 is a pointer that clearly indicates the position from which the pitch is to be selected. Also, “Delete” shown at the top of the keyboard in FIG. 2 is selected when deleting a note that has already been acquired, and its position on the staff is selected by moving it with arrows “→” or “←”. Can do. Note that the overwriting correction of the notes can be performed by moving the selection pointer by the arrows “→” or “←” and performing the gripping operation again from the moved point.

本発明においては、上記の操作において、筋電センサ40からの信号は、筋電信号及び筋電時間微分信号として入力装置に受け入れられる。そして、それらの信号はどのような機能を選択したかにより識別記号が付されて識別され、発生タイミング、大きさ、持続時間データとして特徴保管手段15に保管される。そして保管されたこれらのデータは、例えば、特徴保管手段15に設けられた比較判定手段により、保管された筋電信号が所定の閾値以上でない限り機能選択は行われなかったものとすることができるようになっている。   In the present invention, in the above operation, the signal from the myoelectric sensor 40 is received by the input device as a myoelectric signal and a myoelectric time differential signal. These signals are identified by adding an identification symbol depending on what function is selected, and are stored in the feature storage means 15 as generation timing, magnitude, and duration data. These stored data can be assumed to have not been subjected to function selection unless the stored myoelectric signal is equal to or higher than a predetermined threshold by, for example, the comparison / determination unit provided in the feature storage unit 15. It is like that.

また、特徴保管手段15により保管された筋電時間微分信号を音量に対応させる関連づけ手段16が設けられており、例えば、上述の音高を選択するときその選択動作が激しく筋電時間微分信号の大きさが所定値以上であるときはその程度によって所定の音量になるようにすることができる。また、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を設け所定のテンポを選択するようにすることができる。さらに、筋電信号をニューラルネットワーク処理し、この出力信号により機能の選択判定を決定するようにすることができる。これにより精度の高い操作が可能になる。ニューラルネットワーク処理は、例えば、特開2003-244780号公報に開示された方法を使用するのがよい。   Further, there is provided an association means 16 for correlating the myoelectric time differential signal stored by the feature storage means 15 with the volume, for example, when selecting the above-mentioned pitch, the selection operation is intense and the myoelectric time differential signal When the magnitude is greater than or equal to a predetermined value, a predetermined volume can be obtained depending on the degree. Further, it is possible to provide an associating means for associating the generation timing of the myoelectric signal with the performance tempo to select a predetermined tempo. Further, the myoelectric signal can be subjected to neural network processing, and the function selection determination can be determined based on the output signal. As a result, a highly accurate operation is possible. For the neural network processing, for example, a method disclosed in Japanese Patent Laid-Open No. 2003-244780 may be used.

つぎに、演奏制御データを作製する場合について説明する。この演奏制御データ作製により、一拍ごとに演奏するP1演奏法の演奏データを作製することができる。操作者は、まず、所要の部位に筋電センサ40を装着し、入力装置10Bを操作することによって演奏制御データを作製する。そして、その演奏制御データに基づいて演奏装置55を演奏することができる。   Next, a case where performance control data is created will be described. By creating the performance control data, it is possible to create performance data for the P1 performance method that plays every beat. First, the operator wears the myoelectric sensor 40 at a required site and operates the input device 10B to create performance control data. Then, the performance device 55 can be played based on the performance control data.

入力装置10Bについてさらに詳細に説明する。本入力装置10Bにも、入力装置10Aの場合と同様に特徴保管手段15及び関連づけ手段16が設けられている。機能選択手段11は、図3の下部に示すように、文字を□枠で囲んだキー部分で示されている。どのような機能が選択されているかは選択されたキー部分が明示され、その操作に関する筋電信号に識別記号が付されるのは、入力装置10Aの場合と同様である。「Play」は、記録手段50に蓄えられた演奏データを演奏する機能キーである。視聴している演奏をとめる場合が「Stop」、繰り返し視聴する場合が「Repeat」、視聴を一時停止する場合が「Pause」キーである。   The input device 10B will be described in further detail. Similar to the case of the input device 10A, the feature storage unit 15 and the association unit 16 are also provided in the input device 10B. As shown in the lower part of FIG. 3, the function selection means 11 is indicated by a key portion in which characters are surrounded by a square. It is the same as in the case of the input device 10A that the selected key portion is clearly shown as to what function is selected, and the myoelectric signal related to the operation is given an identification symbol. “Play” is a function key for playing performance data stored in the recording means 50. The “Stop” key is used to stop the performance being watched, “Repeat” is used to watch repeatedly, and the “Pause” key is used to pause viewing.

メロディー「Melody」、和音「Chord」、ベース「Base」及びリズム「Rhythm」キーは、それぞれメロディー、和音、ベース又はリズムの異なるパートを選択して演奏することができ、ともに「ON」の場合に以下に説明する演奏制御データにより自在にそのパートを演奏することができ、「OFF」がそのパートの発音を制限する場合であり、「Auto-play」が予め作製した演奏制御データに基づいて自動演奏をさせる場合である。   Melody “Melody”, chord “Chord”, bass “Base” and rhythm “Rhythm” keys can be played by selecting different parts of melody, chord, bass or rhythm, respectively. The part can be played freely according to the performance control data described below, and “OFF” is the case where the pronunciation of the part is restricted. “Auto-play” is automatically based on the performance control data created in advance. This is a case where a performance is made.

また、この入力装置10Bには、筋電信号の発生タイミングを教示する動作教示手段21が図3の上部に「Timing input」として表示され、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンが図3の中央左部に表示されている。本例の場合は、3/4拍子の場合であり、拍子が進むに従って、「Timing input」は1、2、3と着色部分が伸張して拍子を表示し、指揮パターンは三角印を描く。「Timing input」は選択された演奏曲の演奏制御データに基づいて拍子を取るので変えることはできないが、指揮パターンは、操作者の作製する演奏制御データに基づいて変化する。なお、演奏される曲は、操作者が作製する演奏制御データに従って演奏される。   Further, in this input device 10B, the operation teaching means 21 for teaching the generation timing of the myoelectric signal is displayed as “Timing input” in the upper part of FIG. 3, and the tempo of the performance music related to the myoelectric signal, A command pattern using one or more data among the nuances and volume of the performance music as parameters is displayed in the center left part of FIG. In this example, it is a case of 3/4 time. As the time progresses, “Timing input” displays 1, 2, 3 and the colored part expands to display the time, and the command pattern draws a triangle mark. “Timing input” cannot be changed because it takes time based on the performance control data of the selected musical piece, but the command pattern changes based on performance control data created by the operator. The music to be played is played in accordance with performance control data created by the operator.

具体的な演奏操作について説明すると、先ず、操作者は演奏する曲目を選び図3に示す操作メニュー画面を選択する。つぎに、例えば、「Melody」キーを選んで、他のパートは自動演奏させるようにする。そして、「Play」キーを選んで演奏を始める。曲の進行に従って、「Timing input」が変化する。その指示に従って、例えば手を握る動作に関する筋電信号を発生させることにより、「Timing input」に従った演奏をすることができる。この操作において、握る動作を激しく(速く)すると、大きな筋電微分時間信号を発生させることができ音量の大きい演奏をさせることができる。また、一拍に相当する握る動作を長くするとレガート的な演奏をすることができる。なお、上記において、「Timing input」に従った演奏操作をしなかった場合は、操作者の指示に従った演奏が行われる。また、
本例の場合は、筋電信号の大きさ(「Power level」)及び筋電時間微分信号の大きさ(「Estimated velocity」)が表示されるようになっており、操作者は、どの程度の筋力を発揮したか(筋力情報)が分かるようになっている。
A specific performance operation will be described. First, the operator selects a song to be played and selects an operation menu screen shown in FIG. Next, for example, the “Melody” key is selected, and the other parts are automatically played. Then, select the “Play” key and start playing. As the song progresses, “Timing input” changes. According to the instruction, for example, by generating a myoelectric signal related to a hand grasping operation, it is possible to perform according to “Timing input”. In this operation, if the gripping action is intense (fast), a large myoelectric differentiation time signal can be generated and a performance with a high volume can be performed. Also, if the gripping motion corresponding to one beat is lengthened, a legato performance can be achieved. In the above, when the performance operation according to “Timing input” is not performed, the performance is performed according to the instruction of the operator. Also,
In the case of this example, the magnitude of the myoelectric signal (“Power level”) and the magnitude of the myoelectric time differential signal (“Estimated velocity”) are displayed. It is possible to know whether the muscle strength was exerted (muscle strength information).

以上本発明について説明した。上述のように、本発明に係る演奏インターフェースは、MIDI規格の演奏装置を演奏させる演奏曲の作曲や記録された曲の自在な演奏を身体の不自由な人にも筋電信号を使って容易に行うことができる。また、本発明は、筋電信号とその時間微分信号を利用するので多くの情報を処理することができ、複雑な音楽表現も行うことができる。本発明は上記に説明した実施例のみならず、身体の不自由な人の操作程度によって、種々の利用をすることができ、例えば、演奏を一小節ごとに制御する演奏法(P2演奏法)用の演奏制御データを作製することができる。   The present invention has been described above. As described above, the performance interface according to the present invention makes it easy for a person with physical disabilities to use a myoelectric signal to compose a performance song that allows a MIDI standard performance device to perform or to freely play a recorded song. Can be done. In addition, since the present invention uses a myoelectric signal and its time differential signal, a large amount of information can be processed, and complicated music expression can also be performed. The present invention is not limited to the embodiments described above, and can be used in various ways depending on the degree of operation of a physically handicapped person. For example, a performance method (P2 performance method) for controlling performance for each measure. Performance control data can be created.

図4は、P2演奏法用の演奏制御データを作製するための入力装置の例を示す。本例の入力装置10Bは、筋電信号の発生タイミングを教示する動作教示手段21と、筋電信号を識別させる機能選択手段11と、機能選択手段11により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、特徴保管手段15に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段16と、操作メニュー及び前記動作教示手段を表示させる表示手段18と、を有する。   FIG. 4 shows an example of an input device for creating performance control data for the P2 performance method. The input device 10B of this example includes an operation teaching unit 21 that teaches the generation timing of the myoelectric signal, a function selecting unit 11 that identifies the myoelectric signal, a myoelectric signal identified by the function selecting unit 11, and a muscle based thereon The characteristic storage means 15 for storing the identification symbol, generation timing, magnitude, and duration of the electro-electrical differential signal, the nuance of the performance song, the electromyographic time differential signal to the magnitude of the electromyographic signal stored in the characteristic storage means 15 A correlating means 16 for associating the sound volume with the display size, and a display means 18 for displaying the operation menu and the action teaching means.

本例の場合、動作教示手段21は、図4の上部に、6個の□枠(「Input」)で表示されており、6つの□枠で一小節分が示される。曲が進行するに従って、図右方に□は色つきされていくので、操作者は、演奏タイミングを知ることができる。図4の場合は各小節の一拍目を演奏している場合を示す。テンポは、上記演奏タイミングの表示図の下部に13個の小の□枠(「Slow Fast」)で表示されるようになっている。また、本例の場合も筋力情報が表示されるようになっている。なお、本例の場合は、演奏曲のニュアンスは予め定められている。   In the case of this example, the motion teaching means 21 is displayed in the upper part of FIG. 4 with six squares (“Input”), and one square is shown with six squares. As the music progresses, □ is colored on the right side of the figure, so that the operator can know the performance timing. FIG. 4 shows a case where the first beat of each measure is being played. The tempo is displayed by 13 small squares (“Slow Fast”) at the bottom of the performance timing display diagram. In the case of this example, muscle strength information is also displayed. In the case of this example, the nuances of the performance music are predetermined.

演奏は、操作者が演奏タイミングを計り、次の小節に進む前、すなわち、演奏する小節の直前の裏拍の所定の時間内に筋電信号が入力されたときにその小節が演奏できるようになっている。そしてタイミングがずれた場合はその小節を演奏することができないようになっている。これにより、操作者は、演奏を楽しむと同時に筋電位の操作、すなわち、身体の動作訓練をも行うことができる。なお、演奏タイミングのとり方は、表拍とすることもできるが、操作者の満足度から言えば裏拍でタイミングをとるのがよい。   The performance is performed so that the operator can measure the timing of the performance and proceed to the next measure, that is, when a myoelectric signal is input within the predetermined time of the back beat immediately before the measure to be performed. It has become. And if the timing is off, you can't play that measure. Thereby, the operator can enjoy the performance and also perform the operation of the myoelectric potential, that is, the exercise of the body. The performance timing can be set to the front beat, but it is better to use the back beat in terms of the satisfaction of the operator.

また、本発明は上述のように身体の不自由な人にも容易に使用することができるものであるが、必ずしも必要な筋電位を採取することができない場合がある。このような場合、図4のような演奏タイミング表示、ニュアンス表示及び筋力情報表示を設けた訓練テストパターンを設け、操作者が所定の筋電信号を発生するように訓練するようにすることもできる。   Further, as described above, the present invention can be easily used by a physically handicapped person. However, there are cases where necessary myoelectric potential cannot always be collected. In such a case, a training test pattern having performance timing display, nuance display, and muscle strength information display as shown in FIG. 4 may be provided so that the operator can train to generate a predetermined myoelectric signal. .

本発明に係る演奏インターフェースの構成図であり、図(a)は全体図、図(b)は演奏データ作成用の入力装置部分図、図(c)は演奏制御データ作成用の入力装置部分図である。It is a configuration diagram of a performance interface according to the present invention, FIG. (A) is an overall view, FIG. (B) is a partial view of an input device for creating performance data, FIG. (C) is a partial view of an input device for creating performance control data. It is. 演奏データ作成用の入力装置の表示手段部分の構成図である。It is a block diagram of the display means part of the input device for performance data creation. 演奏制御データ作成用の入力装置の表示手段部分の構成図である。It is a block diagram of the display means part of the input device for performance control data creation. 他の例の演奏制御データ作成用の入力装置の表示手段部分の構成図である。It is a block diagram of the display means part of the input device for performance control data creation of another example.

符号の説明Explanation of symbols

10 入力装置
11 機能選択手段
12 音符取得手段
15 特徴保管手段
16 関連づけ手段
18 表示手段
21 動作教示手段
40 筋電センサ
43 センサ信号処理手段
45 微分手段
50 記録手段
55 演奏装置
100 演奏インターフェース
10 Input device
11 Function selection method
12 Note acquisition means
15 Feature storage
16 Association means
18 Display means
21 Operation teaching means
40 EMG sensor
43 Sensor signal processing means
45 Differentiation means
50 Recording means
55 Performance equipment
100 performance interface

Claims (11)

筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力するための演奏インターフェースであって、筋電信号を取得するための筋電センサと、該筋電センサからの筋電信号に基づき筋電時間微分信号を作製する微分手段と、筋電信号又は/及び筋電時間微分信号を利用してテンポ、音高、音価、音量及びニュアンスの演奏パラメータに対応させた演奏データ又は演奏制御データを作製する入力装置と、該入力装置により作製された演奏データ及び演奏制御データを保存する記録手段と、を有する演奏インターフェース。 A performance interface for creating performance data or performance control data based on an electromyographic signal and inputting the performance data or performance control data to the performance device, an electromyographic sensor for acquiring an electromyographic signal, and a muscle from the electromyographic sensor Differentiating means for creating a myoelectric time differential signal based on an electric signal , and performance corresponding to performance parameters of tempo, pitch, note value, volume and nuance using the myoelectric signal or / and myoelectric time differential signal A performance interface comprising: an input device for creating data or performance control data; and a recording means for storing performance data and performance control data created by the input device. 入力装置は、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、音高及び音価を選択する音符取得手段と、操作メニューと結果を表示させる表示手段と、前記特徴保管手段に保管された筋電信号の持続時間を音価に対応させる関連づけ手段と、を有するものであって、演奏データを作製することができるものであることを特徴とする請求項1に記載の演奏インターフェース。   The input device stores a function selection means for identifying the myoelectric signal, a myoelectric signal identified by the function selection means, and an identification symbol, generation timing, magnitude, and duration of the myoelectric time differential signal based thereon. Storage means; note acquisition means for selecting pitch and note value; display means for displaying operation menus and results; and association means for associating duration of myoelectric signals stored in the feature storage means with sound values The performance interface according to claim 1, wherein performance data can be created. さらに、筋電時間微分信号を音量に対応させる関連づけ手段を設けたことを特徴とする請求項2に記載の演奏インターフェース。   The performance interface according to claim 2, further comprising an association unit that associates the myoelectric time differential signal with the volume. さらに、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を設けたことを特徴とする請求項2又は3に記載の演奏インターフェース。   4. The performance interface according to claim 2, further comprising an association means for associating the generation timing of the myoelectric signal with the performance tempo. 入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものであることを特徴とする請求項1に記載の演奏インターフェース。   The input device includes an operation teaching unit that teaches the generation timing of the myoelectric signal, a function selecting unit that identifies the myoelectric signal, and an identification of the myoelectric signal identified by the function selecting unit and the myoelectric time differential signal based thereon. Feature storage means for storing the symbol, generation timing, magnitude, and duration, the tempo of the performance song at the generation timing of the myoelectric signal stored in the feature storage means, and the nuance of the performance song at the duration of the myoelectric signal, It has an association means for making the volume correspond to the magnitude of the electromyographic time differential signal, and a display means for displaying the operation menu and the action teaching means, and is capable of producing performance control data. The performance interface according to claim 1. さらに、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けたことを特徴とする請求項5に記載の演奏インターフェース。   Furthermore, there is provided display means for displaying a command pattern using one or more data as a parameter among the tempo of the performance music, the nuance of the performance music, and the volume related to the myoelectric signal. The performance interface according to claim 5. 入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものであることを特徴とする請求項1に記載の演奏インターフェース。   The input device includes an operation teaching unit that teaches the generation timing of the myoelectric signal, a function selecting unit that identifies the myoelectric signal, and an identification of the myoelectric signal identified by the function selecting unit and the myoelectric time differential signal based thereon. Feature storage means for storing symbols, generation timing, magnitude, and duration, and the nuance of the performance song corresponding to the magnitude of the EMG signal stored in the feature storage means, and the volume corresponding to the magnitude of the EMG time differential signal The performance according to claim 1, further comprising: an association unit for displaying the operation menu and a display unit for displaying the operation teaching unit, wherein performance control data can be generated. interface. さらに、演奏曲のニュアンスの程度を表示させる表示手段を設けたことを特徴とする請求項7に記載の演奏インターフェース。   8. The performance interface according to claim 7, further comprising display means for displaying a degree of nuance of the musical composition. さらに、筋電信号の大きさ及び筋電時間微分信号の大きさを表示させる表示手段を設けたことを特徴とする請求項5〜8のいずれかに記載の演奏インターフェース。   9. The performance interface according to claim 5, further comprising display means for displaying the magnitude of the myoelectric signal and the magnitude of the myoelectric time differential signal. 筋電信号の機能選択手段による識別は、筋電信号をニューラルネットワーク処理により行うものであることを特徴とする請求項1〜9のいずれかに記載の演奏インターフェース。   The performance interface according to any one of claims 1 to 9, wherein the myoelectric signal is identified by the function selection means by performing a neural network process on the myoelectric signal. 筋電センサの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をEl(t)(l=1、2、・・・、L)として、下記式(1)により表されるP(t)を入力装置へ筋電信号として出力するセンサ信号処理手段を有することを特徴とする請求項1〜10のいずれかに記載の演奏インターフェース。
Figure 0004815594
A time-series signal obtained by A / D converting the output of the myoelectric sensor and performing full-wave rectification and smoothing is defined as E l (t) (l = 1, 2,..., L), 11. The performance interface according to claim 1, further comprising sensor signal processing means for outputting P (t) represented by 1) to the input device as a myoelectric signal.
Figure 0004815594
JP2006139613A 2006-05-18 2006-05-18 Performance interface Active JP4815594B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006139613A JP4815594B2 (en) 2006-05-18 2006-05-18 Performance interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006139613A JP4815594B2 (en) 2006-05-18 2006-05-18 Performance interface

Publications (2)

Publication Number Publication Date
JP2007310178A JP2007310178A (en) 2007-11-29
JP4815594B2 true JP4815594B2 (en) 2011-11-16

Family

ID=38843085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006139613A Active JP4815594B2 (en) 2006-05-18 2006-05-18 Performance interface

Country Status (1)

Country Link
JP (1) JP4815594B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5549110B2 (en) * 2009-04-28 2014-07-16 ヤマハ株式会社 Signal control device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119272B2 (en) * 1991-07-15 2000-12-18 ヤマハ株式会社 Electronic musical instrument
JP2698320B2 (en) * 1993-08-31 1998-01-19 日本電信電話株式会社 Permanent input system, Permanent intention communication system, Permanent music keyboard system, Permanent Braille input / output system
JPH09319368A (en) * 1996-05-28 1997-12-12 Kawai Musical Instr Mfg Co Ltd Transposition control device for electronic musical instrument
JP3699996B2 (en) * 2002-02-19 2005-09-28 独立行政法人産業技術総合研究所 Remote controller using biological signals
JP4239937B2 (en) * 2004-09-16 2009-03-18 カシオ計算機株式会社 Composition support apparatus and program

Also Published As

Publication number Publication date
JP2007310178A (en) 2007-11-29

Similar Documents

Publication Publication Date Title
CN105027192B (en) Enhance the device and method of digital music expressive force
US20190011987A1 (en) Methods, Devices, and Methods for Creating Control Signals
JP4353018B2 (en) Musical instrument performance learning apparatus and program thereof
Pressing Cybernetic issues in interactive performance systems
US11011145B2 (en) Input device with a variable tensioned joystick with travel distance for operating a musical instrument, and a method of use thereof
WO2020100671A1 (en) Information processing device, information processing method, and program
Marrin Nakra Inside the conductor's jacket: analysis, interpretation and musical synthesis of expressive gesture
US20160063975A1 (en) Performance method of electronic musical instrument and music
US20190348013A1 (en) Performance assistance apparatus and method
CN106133824A (en) For rolling the method for music score, equipment and computer program
JP2000288254A (en) Game device and computer-readable recording medium
US20090044685A1 (en) Ensemble system
JP7157377B2 (en) Performance information display device, performance information display method, performance information display program, and electronic musical instrument
JP4692189B2 (en) Ensemble system
JP2011164162A (en) Support device for giving expression to performance
WO2017125006A1 (en) Rhythm controllable method of electronic musical instrument, and improvement of karaoke thereof
Kapur et al. Preservation and extension of traditional techniques: digitizing north indian performance
Timmers et al. Training expressive performance by means of visual feedback: existing and potential applications of performance measurement techniques
JP4815594B2 (en) Performance interface
Roth Music technology for neurologic music therapy
JP4219652B2 (en) A singing practice support system for a karaoke device that controls the main melody volume at the relevant location based on the pitch error measured immediately before repeat performance
JP2005099565A (en) Finger-driven music player
JP3949544B2 (en) Karaoke device that displays error of singing voice pitch on bar graph
JP3783687B2 (en) Performance practice device and program
JP7092537B2 (en) Fingering display device and fingering display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150