JP4815594B2 - Performance interface - Google Patents
Performance interface Download PDFInfo
- Publication number
- JP4815594B2 JP4815594B2 JP2006139613A JP2006139613A JP4815594B2 JP 4815594 B2 JP4815594 B2 JP 4815594B2 JP 2006139613 A JP2006139613 A JP 2006139613A JP 2006139613 A JP2006139613 A JP 2006139613A JP 4815594 B2 JP4815594 B2 JP 4815594B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- myoelectric
- signal
- input device
- magnitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003183 myoelectrical effect Effects 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 210000003205 muscle Anatomy 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000033764 rhythmic process Effects 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、MIDI規格による電子楽器等の演奏装置を演奏するための演奏インターフェースに係り、特に筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力して演奏させることができる演奏インターフェースに関する。 The present invention relates to a performance interface for playing a performance device such as an electronic musical instrument according to the MIDI standard, and in particular, creates performance data or performance control data based on a myoelectric signal, and inputs the performance data or performance control data to the performance device for performance. It is related with the performance interface which can do.
楽器の演奏や作曲は一般に高度な技能を要し、誰でも簡単に演奏や作曲ができるというわけにはいかないが、できるならば楽器の演奏や作曲をしたいと思う人は多い。このため、多くの人に楽器の演奏や作曲を楽しんでもらうための方法や装置が提案されている。 Musical instrument performance and composition generally require advanced skills, and anyone cannot easily perform or compose, but many people want to perform or compose an instrument if possible. For this reason, methods and devices for allowing many people to enjoy playing and composing musical instruments have been proposed.
例えば、特許文献1に、指揮棒や手振りコントローラなどの揺動操作子の揺動または該揺動操作子に設けられたセンサの出力に基づいて音量、音色、音長などに関する楽音パラメータを制御する楽音パラメータ制御装置が提案されている。すなわち、楽音パラメータを出力する演奏手段と、揺動センサを備えた揺動操作子と、前記揺動センサの出力波形の特徴を抽出する特徴抽出手段と、該特徴抽出手段で抽出された特徴に基づいて前記楽音パラメータを制御する楽音パラメータ制御手段と、を備えた楽音パラメータ制御装置が提案されている。 For example, in Japanese Patent Application Laid-Open No. 2004-228561, musical tone parameters relating to volume, tone color, tone length, and the like are controlled based on the swing of a swing operation member such as a command stick or a hand swing controller or the output of a sensor provided on the swing operation member. Musical tone parameter control devices have been proposed. That is, a performance means for outputting musical tone parameters, a swing operation element provided with a swing sensor, a feature extracting means for extracting features of an output waveform of the swing sensor, and features extracted by the feature extracting means There has been proposed a musical tone parameter control device comprising musical tone parameter control means for controlling the musical tone parameter based on the musical tone parameter.
特許文献2に、ユーザーの指示に応じて音符単位に、その音符の種類、及びその発音条件を自動的、且つ個別に選択するようにしたことにより、ユーザーにとっては自身が作曲を行っている実感が持て、また、音楽の専門知識が乏しいものでも作曲を容易に行うことができる作曲支援装置が提案されている。すなわち、楽曲の演奏内容を示す音符の並びである音符列を生成することにより行われる作曲を支援する装置であって、前記音符列を構成させる音符単位に、該音符の種類、及び該音符の楽譜上の配置に相当する発音条件をユーザーの指示に応じて自動的、且つ個別に選択する音符選択手段と、前記音符選択手段が自動的に個別に選択した種類、及び発音条件で指定される音符を有する前記音符列を生成する音符列生成手段と、を具備する作曲支援装置が提案されている。 According to Japanese Patent Laid-Open No. 2004-228867, the user feels that he / she is composing music by automatically and individually selecting the type of note and the sounding condition for each note according to the user's instruction. In addition, there has been proposed a music composition support device that can compose music easily even if it has little music expertise. That is, a device for supporting composition performed by generating a note string that is a sequence of notes indicating the performance of a music piece, and for each note constituting the note string, the type of note, and the note type It is designated by the note selection means for automatically and individually selecting the sound generation conditions corresponding to the arrangement on the score according to the user's instruction, the type and the sound generation conditions automatically selected by the note selection means. There has been proposed a music composition support device comprising a note string generating means for generating the note string having notes.
一方、このような演奏又は作曲のための装置が身体の不自由な人にも容易に利用可能であるならば、そのような人の治療やリハビリテーション、または、楽しみにつながる。すなわち、身体の不自由な人が容易に利用可能な演奏又は作曲のための装置の開発は、社会的貢献に価するものである。身体の不自由な人にも利用可能な装置として、例えば、特許文献3に、筋電位により家電製品等の制御を行うリモートコントローラが提案されており、特許文献4に、筋電位により電動車椅子の制御を行う車両制御装置及びこれを備えた車両が提案されている。また、非特許文献1及び2には、筋電位信号自体を音源として演奏又は作曲を行ういわゆるインタラクティブ・アートが提案されている。 On the other hand, if such a device for performance or composition is readily available to a physically handicapped person, it leads to treatment, rehabilitation, or enjoyment of such a person. In other words, the development of a device for performance or composition that can be easily used by a physically handicapped person is worth a social contribution. As a device that can also be used by a person with a physical disability, for example, Patent Document 3 proposes a remote controller that controls home appliances and the like by myoelectric potential. A vehicle control device that performs control and a vehicle including the same have been proposed. Non-Patent Documents 1 and 2 propose so-called interactive art that performs or composes using the myoelectric signal itself as a sound source.
しかしながら、身体の不自由な人に容易に利用可能な演奏又は作曲のための装置は未だ提案されていない。また、筋電位を利用して制御を行う従来の装置は、筋電位信号自体を音源として、またはスイッチとして利用するものであり、そのままでは操作者が満足できるような演奏又は作曲のための装置を構成するのが非常に困難である。 However, no device has yet been proposed for performance or composition that is readily available to people with physical disabilities. In addition, the conventional device that performs control using myoelectric potential uses the myoelectric signal itself as a sound source or a switch, and a device for performance or composition that can be satisfied by the operator as it is. It is very difficult to configure.
本発明は、このような従来の問題点に鑑み、国際規格であるMIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる演奏インターフェースを提供することを目的とする。さらには、従来提案されている演奏又は作曲のための装置以上に簡単に複雑な音楽表現を行うことができ、より操作者に満足感を与えることができる演奏インターフェースを提供することを目的とする。 In view of such a conventional problem, the present invention allows a person with a physical disability to easily perform a performance device such as an electronic musical instrument according to the MIDI standard, which is an international standard, and compose music for the performance. An object of the present invention is to provide a performance interface that can be used. It is another object of the present invention to provide a performance interface that can perform complicated music expression more easily than a conventionally proposed apparatus for performance or composition, and can give more satisfaction to the operator. .
本発明者等は、一般に、電子楽器においては、音色、音高、音量及び効果の4つの演奏パラメータが決まると所望の楽音を発音することができ、CD、MD、DVD、DATや、MIDI(Musical Instrument Digital Interface)ソース等の音響情報を再生する楽音再生装置では、テンポ、音量及び効果の3つの演奏パラメータが決まると所望の楽音を再生することができるといわれていることと、これらの音楽的要素は、筋電信号又は筋電時間微分信号の発生タイミング、大きさ、持続時間とそれぞれ容易に関連づけることができ、高度な音楽表現が可能であるということに着目して本発明を完成させた。 In general, the present inventors can produce desired musical sounds in electronic musical instruments when four performance parameters such as timbre, pitch, volume, and effect are determined, such as CD, MD, DVD, DAT, MIDI ( Musical Instrument Digital Interface) It is said that a musical sound reproducing apparatus that reproduces acoustic information such as a source can reproduce a desired musical sound when three performance parameters such as tempo, volume and effect are determined. The present invention has been completed with a focus on the fact that the key elements can be easily correlated with the generation timing, magnitude, and duration of the myoelectric signal or the myoelectric time differential signal, respectively, and are capable of advanced musical expression. It was.
本発明に係る演奏インターフェースは、筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力するための演奏インターフェースであって、筋電信号を取得するための筋電センサと、該筋電センサからの筋電信号に基づき筋電時間微分信号を作製する微分手段と、筋電信号又は/及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置と、該入力装置により作製された演奏データ及び演奏制御データを保存する記録手段と、を有する。 A performance interface according to the present invention is a performance interface for creating performance data or performance control data based on an electromyographic signal and inputting the performance data or performance control data to a performance device, and an electromyographic sensor for acquiring an electromyographic signal; , Differential means for generating a myoelectric time differential signal based on the myoelectric signal from the myoelectric sensor, and an input device for generating performance data or performance control data using the myoelectric signal or / and myoelectric time differential signal And recording means for storing performance data and performance control data produced by the input device.
上記発明において、入力装置は、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、音高及び音価を選択する音符取得手段と、操作メニューと結果を表示させる表示手段と、前記特徴保管手段に保管された筋電信号の持続時間を音価に対応させる関連づけ手段と、を有するものであって、演奏データを作製することができるものとするのがよい。 In the above invention, the input device includes a function selection unit for identifying the myoelectric signal, a myoelectric signal identified by the function selection unit, and an identification symbol of the myoelectric time differential signal based thereon, generation timing, magnitude, and duration. A feature storage means for storing the note, a note acquisition means for selecting a pitch and a note value, a display means for displaying an operation menu and a result, and a duration of the myoelectric signal stored in the feature storage means as a note value. It is preferable to have a correlating means to be associated with each other so that performance data can be created.
そして、その入力装置は、さらに、筋電時間微分信号を音量に対応させる関連づけ手段を有するものとすることができ、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を有するものとすることができる。 The input device may further include an association unit that associates the electromyographic time differential signal with the volume, and has an association unit that associates the generation timing of the electromyogram signal with the performance tempo. be able to.
また、上記入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものとするのがよい。そして、この入力装置に、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けるのがよい。 Further, the input device includes an operation teaching means for teaching the generation timing of the myoelectric signal, a function selecting means for identifying the myoelectric signal, the myoelectric signal identified by the function selecting means, and the myoelectric time differentiation based thereon. Feature storage means for storing signal identification symbol, generation timing, magnitude, and duration, performance song tempo and performance of myoelectric signal duration at generation timing of myoelectric signal stored in the feature storage means And a display means for displaying an operation menu and the action teaching means, and performance control data can be created. It should be. The input device is provided with a display means for displaying a command pattern using one or more data as a parameter among the tempo of the musical piece, the nuance of the musical piece, and the volume related to the myoelectric signal. Is good.
また、上記入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものとすることができる。そして、この入力装置に、演奏曲のニュアンスの程度をパラメータとし、レガート度を表示させる表示手段を設けることができる。 Further, the input device includes an operation teaching means for teaching the generation timing of the myoelectric signal, a function selecting means for identifying the myoelectric signal, the myoelectric signal identified by the function selecting means, and the myoelectric time differentiation based thereon. Feature storage means for storing the signal identification symbol, generation timing, magnitude, and duration, and the magnitude of the electromyogram stored in the feature storage means, the nuance of the performance song, and the magnitude of the electromyogram time differential signal It is possible to have a correlating means for associating the sound volume and a display means for displaying the operation menu and the action teaching means, and it is possible to create performance control data. The input device can be provided with display means for displaying the degree of legato using the degree of nuance of the musical composition as a parameter.
また、さらに、上記入力装置に筋電信号の大きさ及び筋電時間微分信号の大きさを表示させる表示手段を設けることができる。 Furthermore, display means for displaying the magnitude of the myoelectric signal and the magnitude of the myoelectric time differential signal on the input device can be provided.
また、上記発明において、筋電信号の機能選択手段による識別は、筋電信号をニューラルネットワーク処理により行うものであるのがよい。 In the above invention, the myoelectric signal may be identified by the function selection means by performing the myoelectric signal by neural network processing.
さらに、上記発明において、筋電センサの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をEl(t)(l=1、2、・・・、L)として、下記式(1)により表されるP(t)を入力装置へ筋電信号として出力するセンサ信号処理手段を有するのがよい。 Furthermore, in the above invention, the time series signal obtained by A / D converting the output of the myoelectric sensor and performing full wave rectification and smoothing processing is expressed as E l (t) (l = 1, 2,..., L ), It is preferable to have sensor signal processing means for outputting P (t) represented by the following formula (1) to the input device as a myoelectric signal.
本発明に係る演奏インターフェースによれば、国際規格であるMIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる。さらに、従来提案されている演奏又は作曲のための装置以上に複雑な音楽表現を簡単に行うことができ、より操作者に満足感を与えることができる。 According to the performance interface of the present invention, a person with a physical disability can easily perform a performance device such as an electronic musical instrument according to the MIDI standard, which is an international standard, and can compose music for that performance. Furthermore, it is possible to easily perform more complicated music expression than the conventionally proposed apparatus for performance or composition, and to give more satisfaction to the operator.
以下、本発明に係る演奏インターフェースの実施の形態を図面に基づいて説明する。図1は、本発明に係る演奏インターフェースの構成を示す。本演奏インターフェース100は、筋電センサ40、筋電センサ40からの出力信号を処理するセンサ信号処理手段43、センサ信号処理手段43からの出力信号を時間微分して筋電時間微分信号を作製する微分手段45、筋電信号又は/及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置10、入力装置10により作製された演奏データ及び演奏制御データを保存する記録手段50を有し、演奏インターフェース100によりMIDI規格による電子楽器等の演奏装置55を演奏することができる。
Embodiments of a performance interface according to the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration of a performance interface according to the present invention. The
入力装置10は、演奏データを作製するための入力装置10A、演奏制御データを作製するための入力装置10Bからなる。入力装置10Aの構成を図1(b)及び図2に、入力装置10Bの構成を図1(c)及び図3に示す。図2又は図3は、入力装置10A又は10Bの表示手段18部分を詳細に示す説明図である。本発明においては、演奏制御データは入力装置10Bにより作製することができるのであるが、演奏制御データは操作者の操作の瞬間に作製され、演奏制御データの作製と同時に演奏することが可能であり、また、一部の演奏制御データを作製しないで、その部分を予め記録された演奏制御データにより自動演奏させることもできる。すなわち、操作者自身があたかも演奏を指揮しているように演奏することが可能であり、また、自身で演奏しているように演奏することも、合奏しているように演奏することも可能である。
The
図1(b)及び図2に示すように、入力装置10Aは、筋電信号を識別させる機能選択手段11と、機能選択手段11に識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、音高及び音価を選択する音符取得手段12と、操作メニューと結果を表示させる表示手段18と、特徴保管手段15に保管された筋電信号の持続時間を音価に対応させる関連づけ手段16と、を有する。表示手段18には、図2に示すように、操作メニューを表す機能選択手段11と音符取得手段12が表示され、操作の結果として、例えば、取得した音符が五線譜上に表示される。
As shown in FIG. 1 (b) and FIG. 2, the
入力装置10Bは、図1(c)及び図3に示すように、筋電信号の発生タイミングを教示する動作教示手段19と、筋電信号を識別させる機能選択手段11と、機能選択手段11により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、特徴保管手段15に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段16と、操作メニュー及び動作教示手段21を表示する表示手段18と、を有する。なお、上記において、ニュアンスとは、スタッカート、レガートあるいはレガート的であるかの程度(レガート度)、すなわちその曲のニュアンスを示すものである。
As shown in FIG. 1 (c) and FIG. 3, the
この入力装置10Bには、さらに、図3に示すように、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けるのがよい。これにより、操作者はより高度の音楽表現ができ、その結果を視覚的に確認することができる。なお、指揮パターンのパラメータは多いほど複雑な表現が可能であるが、1つであってもよい。
As shown in FIG. 3, the
また、本入力装置10Bには、図3に示すように、筋電信号の大きさ、筋電時間微分信号の大きさ等を表示させる表示手段を設けることができる。これにより、操作者はどの程度の音量あるいはニュアンス等で演奏しているか視覚的に知ることができる。
Further, as shown in FIG. 3, the
本発明において、筋電センサ40は公知のものを使用することができる。筋電センサ40は、一対の電極により一つの筋電位を測定する形式のものが外乱による影響を受けにくいので好ましい。測定の対象にする筋電位は、一以上五(チャンネル)以下とすることができ、二又は三(チャンネル)の筋電位を測定する演奏インターフェースが感度を高くすることができるとともに、装置全体の構造を簡単にすることができるので好ましい。例えば、腕の指伸筋及び指屈筋の筋電位などから手のひらを「掌屈及び背屈、握る及び開く」4つの動作に対応する筋電位を測定するには、3チャンネル必要である。 In the present invention, a well-known myoelectric sensor 40 can be used. As the myoelectric sensor 40, a type in which one myoelectric potential is measured by a pair of electrodes is preferable because it is hardly affected by disturbance. The myoelectric potential to be measured can be 1 or more and 5 (channels) or less, and the performance interface that measures two or three (channels) myoelectric potential can increase the sensitivity, and the structure of the entire apparatus Is preferable because it can be simplified. For example, three channels are required to measure the myoelectric potential corresponding to the four actions of “palm flexion and dorsiflexion, grasping and opening” of the palm from the finger extensor and finger flexor muscles.
センサ信号処理手段43、微分手段45、記録手段50及び演奏装置55は公知のものを使用することができる。センサ信号処理手段43は、筋電センサ40からの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をEl(t)(l=1、2、・・・、L)として、下記式(1)により表されるP(t)を筋電信号として入力装置10に出力することができる。これにより精度の高い筋電信号を得ることができる。
Known sensor signal processing means 43, differentiating
以上、本演奏インターフェース100の構成を説明した。本演奏インターフェース100は以下のように使用される。まず、演奏データの作製について説明する。所要の部位に筋電センサ40を装着した操作者は、入力装置10Aを操作することによって演奏データを作製することができる。
The configuration of the
入力装置10Aをさらに詳細に説明すると、機能選択手段11は図1(b)又は図2右側部分に示すように、図2において文字を□枠で囲んだキー部分が機能選択手段11である。どのような機能が選択されているかは選択されたキー部分が明示されるので、操作者はどの操作をしているか認識することができる。選択されたキーによりその筋電信号を識別する識別記号が付与される。「Play」キーは、記録手段50に蓄えられた演奏データを自動演奏する場合の機能キーである。視聴している演奏を停止する場合が「Stop」、記録手段50に蓄えられた演奏データを以下に説明する音符取得手段12に読み込む場合は「Load」、作製した演奏データを記録手段50に蓄える場合は「Save」である。
The
演奏データを作製するパートを選択する場合は「Select」で、メロディー「Melody」、和音「Chord」、ベース「Base」、リズム「Rhythm」を選択することができる。記録手段50に蓄えられた演奏データを自在に演奏したい場合は、演奏法「To play」を選択し、さらに「P1」又は「P2」のいずれかを選択することができる。P1演奏法は、以下に説明するように一拍ごとに演奏を制御することができる演奏法であり、P2演奏法は一小節ごとに演奏を制御することができる演奏法である。 When selecting a part for creating performance data, the melody “Melody”, chord “Chord”, bass “Base”, and rhythm “Rhythm” can be selected with “Select”. When it is desired to freely play the performance data stored in the recording means 50, the performance method “To play” can be selected, and either “P1” or “P2” can be selected. As described below, the P1 performance method is a performance method that can control the performance for each beat, and the P2 performance method is a performance method that can control the performance for each measure.
演奏データを取得するための音符取得手段12に移行するには、機能選択手段11の作曲「Compose」を選択し、曲の拍子を決めるため「Beat」を選択する。「Beat」を選択し、表示される所定の拍子及び作曲する最小の音価の音符を選択することにより、図2の左側の音符取得手段12に移行することができる。なお、機能選択「function」を選択することによって、機能選択手段11に移行することができる。 To move to the note acquisition means 12 for acquiring performance data, the composition “Compose” of the function selection means 11 is selected, and “Beat” is selected to determine the time signature of the song. By selecting “Beat” and selecting a note with a predetermined time signature and a minimum note value to be composed, it is possible to shift to the note acquisition means 12 on the left side of FIG. Note that the function selection means 11 can be entered by selecting the function selection “function”.
作曲のための拍子及び最小の音価の音符が決定されると、図2の左上部に所定の小節から構成される五線譜及中央部分に音符の音価を決定するための所定のマス目が表示される。図2の例は、3/4拍子で、最小の音価の音符が八分音符の場合を示す。 When the time signature for composition and the note of the minimum note value are determined, a predetermined grid for determining the note value of the note is formed at the center of the staff notation composed of a predetermined measure in the upper left part of FIG. Is displayed. The example of FIG. 2 shows a case where the note of 3/4 time and the lowest note value is an eighth note.
音符取得手段12は、まず、図2の左側に表示された鍵盤を選択し、音高を決めることによりなされる。音高が決定されると、その音高に対応するマス目の位置にマーク(斜線部)される。音価は、選択された位置で選択動作を持続することによってなされる。例えば、手のひらを掌屈又は背屈動作に伴う筋電信号により、鍵盤の任意の位置に選択ポインターを移動させ、握る動作に伴う筋電信号により音高を決定する。そして、その動作を維持すると、図2に示すように斜線部に連なる横線部が次第に横方向に伸びる。所定の位置に伸びたときに、握りを開く動作に伴う筋電信号を与えると横線部の伸びが停止し、関連づけ手段16により所定の音価が決定される。このようにして、音高及び音価が決定されると、その音符が五線譜上に表示される。なお、音符を取得したマス目を斜線と横線で表示することにより、同一音高の音符が連なる場合であってもこれを明確に区別することができる。図2のマス目の縦線部は、これから音高を選択する位置であることを明示するポインターである。また、図2の鍵盤の上部に示された「Delete」は、既に取得した音符を削除する場合に選択され、その五線譜上の位置は矢印「→」又「←」により移動させて選択することができる。なお、矢印「→」又「←」によって選択ポインターを移動させ、移動した点から再度握りの動作を行うことで、音符の上書き修正を行うことができる。
The note acquisition means 12 is made by first selecting the keyboard displayed on the left side of FIG. 2 and determining the pitch. When the pitch is determined, it is marked (hatched portion) at the grid position corresponding to the pitch. The sound value is made by continuing the selection operation at the selected position. For example, the selection pointer is moved to an arbitrary position on the keyboard by a myoelectric signal associated with palm flexion or dorsiflexion, and the pitch is determined by the myoelectric signal associated with a grasping operation. And if the operation | movement is maintained, as shown in FIG. 2, the horizontal line part connected to a shaded part will extend gradually in a horizontal direction. When the myoelectric signal accompanying the operation of opening the grip is given when the grip is extended to a predetermined position, the expansion of the horizontal line portion is stopped, and the correlating
本発明においては、上記の操作において、筋電センサ40からの信号は、筋電信号及び筋電時間微分信号として入力装置に受け入れられる。そして、それらの信号はどのような機能を選択したかにより識別記号が付されて識別され、発生タイミング、大きさ、持続時間データとして特徴保管手段15に保管される。そして保管されたこれらのデータは、例えば、特徴保管手段15に設けられた比較判定手段により、保管された筋電信号が所定の閾値以上でない限り機能選択は行われなかったものとすることができるようになっている。
In the present invention, in the above operation, the signal from the myoelectric sensor 40 is received by the input device as a myoelectric signal and a myoelectric time differential signal. These signals are identified by adding an identification symbol depending on what function is selected, and are stored in the feature storage means 15 as generation timing, magnitude, and duration data. These stored data can be assumed to have not been subjected to function selection unless the stored myoelectric signal is equal to or higher than a predetermined threshold by, for example, the comparison / determination unit provided in the
また、特徴保管手段15により保管された筋電時間微分信号を音量に対応させる関連づけ手段16が設けられており、例えば、上述の音高を選択するときその選択動作が激しく筋電時間微分信号の大きさが所定値以上であるときはその程度によって所定の音量になるようにすることができる。また、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を設け所定のテンポを選択するようにすることができる。さらに、筋電信号をニューラルネットワーク処理し、この出力信号により機能の選択判定を決定するようにすることができる。これにより精度の高い操作が可能になる。ニューラルネットワーク処理は、例えば、特開2003-244780号公報に開示された方法を使用するのがよい。 Further, there is provided an association means 16 for correlating the myoelectric time differential signal stored by the feature storage means 15 with the volume, for example, when selecting the above-mentioned pitch, the selection operation is intense and the myoelectric time differential signal When the magnitude is greater than or equal to a predetermined value, a predetermined volume can be obtained depending on the degree. Further, it is possible to provide an associating means for associating the generation timing of the myoelectric signal with the performance tempo to select a predetermined tempo. Further, the myoelectric signal can be subjected to neural network processing, and the function selection determination can be determined based on the output signal. As a result, a highly accurate operation is possible. For the neural network processing, for example, a method disclosed in Japanese Patent Laid-Open No. 2003-244780 may be used.
つぎに、演奏制御データを作製する場合について説明する。この演奏制御データ作製により、一拍ごとに演奏するP1演奏法の演奏データを作製することができる。操作者は、まず、所要の部位に筋電センサ40を装着し、入力装置10Bを操作することによって演奏制御データを作製する。そして、その演奏制御データに基づいて演奏装置55を演奏することができる。
Next, a case where performance control data is created will be described. By creating the performance control data, it is possible to create performance data for the P1 performance method that plays every beat. First, the operator wears the myoelectric sensor 40 at a required site and operates the
入力装置10Bについてさらに詳細に説明する。本入力装置10Bにも、入力装置10Aの場合と同様に特徴保管手段15及び関連づけ手段16が設けられている。機能選択手段11は、図3の下部に示すように、文字を□枠で囲んだキー部分で示されている。どのような機能が選択されているかは選択されたキー部分が明示され、その操作に関する筋電信号に識別記号が付されるのは、入力装置10Aの場合と同様である。「Play」は、記録手段50に蓄えられた演奏データを演奏する機能キーである。視聴している演奏をとめる場合が「Stop」、繰り返し視聴する場合が「Repeat」、視聴を一時停止する場合が「Pause」キーである。
The
メロディー「Melody」、和音「Chord」、ベース「Base」及びリズム「Rhythm」キーは、それぞれメロディー、和音、ベース又はリズムの異なるパートを選択して演奏することができ、ともに「ON」の場合に以下に説明する演奏制御データにより自在にそのパートを演奏することができ、「OFF」がそのパートの発音を制限する場合であり、「Auto-play」が予め作製した演奏制御データに基づいて自動演奏をさせる場合である。 Melody “Melody”, chord “Chord”, bass “Base” and rhythm “Rhythm” keys can be played by selecting different parts of melody, chord, bass or rhythm, respectively. The part can be played freely according to the performance control data described below, and “OFF” is the case where the pronunciation of the part is restricted. “Auto-play” is automatically based on the performance control data created in advance. This is a case where a performance is made.
また、この入力装置10Bには、筋電信号の発生タイミングを教示する動作教示手段21が図3の上部に「Timing input」として表示され、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンが図3の中央左部に表示されている。本例の場合は、3/4拍子の場合であり、拍子が進むに従って、「Timing input」は1、2、3と着色部分が伸張して拍子を表示し、指揮パターンは三角印を描く。「Timing input」は選択された演奏曲の演奏制御データに基づいて拍子を取るので変えることはできないが、指揮パターンは、操作者の作製する演奏制御データに基づいて変化する。なお、演奏される曲は、操作者が作製する演奏制御データに従って演奏される。
Further, in this
具体的な演奏操作について説明すると、先ず、操作者は演奏する曲目を選び図3に示す操作メニュー画面を選択する。つぎに、例えば、「Melody」キーを選んで、他のパートは自動演奏させるようにする。そして、「Play」キーを選んで演奏を始める。曲の進行に従って、「Timing input」が変化する。その指示に従って、例えば手を握る動作に関する筋電信号を発生させることにより、「Timing input」に従った演奏をすることができる。この操作において、握る動作を激しく(速く)すると、大きな筋電微分時間信号を発生させることができ音量の大きい演奏をさせることができる。また、一拍に相当する握る動作を長くするとレガート的な演奏をすることができる。なお、上記において、「Timing input」に従った演奏操作をしなかった場合は、操作者の指示に従った演奏が行われる。また、
本例の場合は、筋電信号の大きさ(「Power level」)及び筋電時間微分信号の大きさ(「Estimated velocity」)が表示されるようになっており、操作者は、どの程度の筋力を発揮したか(筋力情報)が分かるようになっている。
A specific performance operation will be described. First, the operator selects a song to be played and selects an operation menu screen shown in FIG. Next, for example, the “Melody” key is selected, and the other parts are automatically played. Then, select the “Play” key and start playing. As the song progresses, “Timing input” changes. According to the instruction, for example, by generating a myoelectric signal related to a hand grasping operation, it is possible to perform according to “Timing input”. In this operation, if the gripping action is intense (fast), a large myoelectric differentiation time signal can be generated and a performance with a high volume can be performed. Also, if the gripping motion corresponding to one beat is lengthened, a legato performance can be achieved. In the above, when the performance operation according to “Timing input” is not performed, the performance is performed according to the instruction of the operator. Also,
In the case of this example, the magnitude of the myoelectric signal (“Power level”) and the magnitude of the myoelectric time differential signal (“Estimated velocity”) are displayed. It is possible to know whether the muscle strength was exerted (muscle strength information).
以上本発明について説明した。上述のように、本発明に係る演奏インターフェースは、MIDI規格の演奏装置を演奏させる演奏曲の作曲や記録された曲の自在な演奏を身体の不自由な人にも筋電信号を使って容易に行うことができる。また、本発明は、筋電信号とその時間微分信号を利用するので多くの情報を処理することができ、複雑な音楽表現も行うことができる。本発明は上記に説明した実施例のみならず、身体の不自由な人の操作程度によって、種々の利用をすることができ、例えば、演奏を一小節ごとに制御する演奏法(P2演奏法)用の演奏制御データを作製することができる。 The present invention has been described above. As described above, the performance interface according to the present invention makes it easy for a person with physical disabilities to use a myoelectric signal to compose a performance song that allows a MIDI standard performance device to perform or to freely play a recorded song. Can be done. In addition, since the present invention uses a myoelectric signal and its time differential signal, a large amount of information can be processed, and complicated music expression can also be performed. The present invention is not limited to the embodiments described above, and can be used in various ways depending on the degree of operation of a physically handicapped person. For example, a performance method (P2 performance method) for controlling performance for each measure. Performance control data can be created.
図4は、P2演奏法用の演奏制御データを作製するための入力装置の例を示す。本例の入力装置10Bは、筋電信号の発生タイミングを教示する動作教示手段21と、筋電信号を識別させる機能選択手段11と、機能選択手段11により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、特徴保管手段15に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段16と、操作メニュー及び前記動作教示手段を表示させる表示手段18と、を有する。
FIG. 4 shows an example of an input device for creating performance control data for the P2 performance method. The
本例の場合、動作教示手段21は、図4の上部に、6個の□枠(「Input」)で表示されており、6つの□枠で一小節分が示される。曲が進行するに従って、図右方に□は色つきされていくので、操作者は、演奏タイミングを知ることができる。図4の場合は各小節の一拍目を演奏している場合を示す。テンポは、上記演奏タイミングの表示図の下部に13個の小の□枠(「Slow Fast」)で表示されるようになっている。また、本例の場合も筋力情報が表示されるようになっている。なお、本例の場合は、演奏曲のニュアンスは予め定められている。 In the case of this example, the motion teaching means 21 is displayed in the upper part of FIG. 4 with six squares (“Input”), and one square is shown with six squares. As the music progresses, □ is colored on the right side of the figure, so that the operator can know the performance timing. FIG. 4 shows a case where the first beat of each measure is being played. The tempo is displayed by 13 small squares (“Slow Fast”) at the bottom of the performance timing display diagram. In the case of this example, muscle strength information is also displayed. In the case of this example, the nuances of the performance music are predetermined.
演奏は、操作者が演奏タイミングを計り、次の小節に進む前、すなわち、演奏する小節の直前の裏拍の所定の時間内に筋電信号が入力されたときにその小節が演奏できるようになっている。そしてタイミングがずれた場合はその小節を演奏することができないようになっている。これにより、操作者は、演奏を楽しむと同時に筋電位の操作、すなわち、身体の動作訓練をも行うことができる。なお、演奏タイミングのとり方は、表拍とすることもできるが、操作者の満足度から言えば裏拍でタイミングをとるのがよい。 The performance is performed so that the operator can measure the timing of the performance and proceed to the next measure, that is, when a myoelectric signal is input within the predetermined time of the back beat immediately before the measure to be performed. It has become. And if the timing is off, you can't play that measure. Thereby, the operator can enjoy the performance and also perform the operation of the myoelectric potential, that is, the exercise of the body. The performance timing can be set to the front beat, but it is better to use the back beat in terms of the satisfaction of the operator.
また、本発明は上述のように身体の不自由な人にも容易に使用することができるものであるが、必ずしも必要な筋電位を採取することができない場合がある。このような場合、図4のような演奏タイミング表示、ニュアンス表示及び筋力情報表示を設けた訓練テストパターンを設け、操作者が所定の筋電信号を発生するように訓練するようにすることもできる。 Further, as described above, the present invention can be easily used by a physically handicapped person. However, there are cases where necessary myoelectric potential cannot always be collected. In such a case, a training test pattern having performance timing display, nuance display, and muscle strength information display as shown in FIG. 4 may be provided so that the operator can train to generate a predetermined myoelectric signal. .
10 入力装置
11 機能選択手段
12 音符取得手段
15 特徴保管手段
16 関連づけ手段
18 表示手段
21 動作教示手段
40 筋電センサ
43 センサ信号処理手段
45 微分手段
50 記録手段
55 演奏装置
100 演奏インターフェース
10 Input device
11 Function selection method
12 Note acquisition means
15 Feature storage
16 Association means
18 Display means
21 Operation teaching means
40 EMG sensor
43 Sensor signal processing means
45 Differentiation means
50 Recording means
55 Performance equipment
100 performance interface
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006139613A JP4815594B2 (en) | 2006-05-18 | 2006-05-18 | Performance interface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006139613A JP4815594B2 (en) | 2006-05-18 | 2006-05-18 | Performance interface |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007310178A JP2007310178A (en) | 2007-11-29 |
JP4815594B2 true JP4815594B2 (en) | 2011-11-16 |
Family
ID=38843085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006139613A Active JP4815594B2 (en) | 2006-05-18 | 2006-05-18 | Performance interface |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4815594B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5549110B2 (en) * | 2009-04-28 | 2014-07-16 | ヤマハ株式会社 | Signal control device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3119272B2 (en) * | 1991-07-15 | 2000-12-18 | ヤマハ株式会社 | Electronic musical instrument |
JP2698320B2 (en) * | 1993-08-31 | 1998-01-19 | 日本電信電話株式会社 | Permanent input system, Permanent intention communication system, Permanent music keyboard system, Permanent Braille input / output system |
JPH09319368A (en) * | 1996-05-28 | 1997-12-12 | Kawai Musical Instr Mfg Co Ltd | Transposition control device for electronic musical instrument |
JP3699996B2 (en) * | 2002-02-19 | 2005-09-28 | 独立行政法人産業技術総合研究所 | Remote controller using biological signals |
JP4239937B2 (en) * | 2004-09-16 | 2009-03-18 | カシオ計算機株式会社 | Composition support apparatus and program |
-
2006
- 2006-05-18 JP JP2006139613A patent/JP4815594B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007310178A (en) | 2007-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105027192B (en) | Enhance the device and method of digital music expressive force | |
US20190011987A1 (en) | Methods, Devices, and Methods for Creating Control Signals | |
JP4353018B2 (en) | Musical instrument performance learning apparatus and program thereof | |
Pressing | Cybernetic issues in interactive performance systems | |
US11011145B2 (en) | Input device with a variable tensioned joystick with travel distance for operating a musical instrument, and a method of use thereof | |
WO2020100671A1 (en) | Information processing device, information processing method, and program | |
Marrin Nakra | Inside the conductor's jacket: analysis, interpretation and musical synthesis of expressive gesture | |
US20160063975A1 (en) | Performance method of electronic musical instrument and music | |
US20190348013A1 (en) | Performance assistance apparatus and method | |
CN106133824A (en) | For rolling the method for music score, equipment and computer program | |
JP2000288254A (en) | Game device and computer-readable recording medium | |
US20090044685A1 (en) | Ensemble system | |
JP7157377B2 (en) | Performance information display device, performance information display method, performance information display program, and electronic musical instrument | |
JP4692189B2 (en) | Ensemble system | |
JP2011164162A (en) | Support device for giving expression to performance | |
WO2017125006A1 (en) | Rhythm controllable method of electronic musical instrument, and improvement of karaoke thereof | |
Kapur et al. | Preservation and extension of traditional techniques: digitizing north indian performance | |
Timmers et al. | Training expressive performance by means of visual feedback: existing and potential applications of performance measurement techniques | |
JP4815594B2 (en) | Performance interface | |
Roth | Music technology for neurologic music therapy | |
JP4219652B2 (en) | A singing practice support system for a karaoke device that controls the main melody volume at the relevant location based on the pitch error measured immediately before repeat performance | |
JP2005099565A (en) | Finger-driven music player | |
JP3949544B2 (en) | Karaoke device that displays error of singing voice pitch on bar graph | |
JP3783687B2 (en) | Performance practice device and program | |
JP7092537B2 (en) | Fingering display device and fingering display program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |