JP3206062B2 - 楽音制御方法および装置 - Google Patents
楽音制御方法および装置Info
- Publication number
- JP3206062B2 JP3206062B2 JP34774791A JP34774791A JP3206062B2 JP 3206062 B2 JP3206062 B2 JP 3206062B2 JP 34774791 A JP34774791 A JP 34774791A JP 34774791 A JP34774791 A JP 34774791A JP 3206062 B2 JP3206062 B2 JP 3206062B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- gesture
- tone
- gestures
- player
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/32—Constructional details
- G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
- G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
- G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
- G10H2230/045—Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
- G10H2230/251—Spint percussion, i.e. mimicking percussion instruments; Electrophonic musical instruments with percussion instrument features; Electrophonic aspects of acoustic percussion instruments, MIDI-like control therefor
- G10H2230/275—Spint drum
- G10H2230/305—Spint drum snare, i.e. mimicking using strands of snares made of curled metal wire, metal cable, plastic cable, or gut cords stretched across the drumhead, e.g. snare drum, side drum, military drum, field drum
Description
めに使用された演奏ジェスチャーの種類に従って、楽音
の発生を制御するための方法および装置に関し、特に、
演奏面に接触するために使用された演奏ジェスチャーに
関する様々なパラメータを検出し、該検出されたパラメ
ータに従って、前記使用された演奏ジェスチャーの種類
を判定し、該判定された演奏ジェスチャーの種類に従っ
て楽音の発生を制御するパーカッションタイプのトーン
コントローラに関する。広く言うと、この発明は、検出
された打撃部材と演奏面との間における接触の態様に従
って、楽音の発生を制御することに関する。前記打撃部
材は、演奏面を打撃するために使用可能なものならば何
でもよい(例えば、手、スティックまたはブラシ)。説
明を容易にするため、ここでは、打撃部材として手を使
用した場合について説明する。なお、ここで演奏ジェス
チャーとは演奏面に対して様々な接触形態をもたらすよ
う作用する演奏者の接触操作に関連する行為すべてを包
含する用語である。
演奏の態様に応じて、かなり変化するものである。例え
ば、コンガドラムは、手をその打面に接触させることに
より演奏されるものであるが、演奏者は、手の動きを変
えることにより、多様な楽音を実現できる。例えば、開
いた手の全面でドラム面をたたくことにより(すなわ
ち、フルハンド打ちにより)、大きくて鈍い楽音を発生
することができる。また、指の先端部でドラム面をたた
くことにより(すなわち、指タップにより)、持続時間
の短い鋭い楽音を発生することができる。また、打撃力
を変化させることにより、楽音の特性における変化を実
現できる。ドラム面の打撃は1つのドラム音(例えば、
コンガ)を発生するものであるが、同一の演奏ジェスチ
ャー(例えば、フルハンド打ち)であっても、該ジェス
チャーの強さに応じて、発生する楽音の調子がわずかに
異なるものである。例えば、強いフルハンド打ちが行わ
れた場合と、弱いフルハンド打ちが行われた場合とで
は、異なる楽音が発生される。さらに、ドラム面の特定
エリアを選択的に打撃することにより、所望の楽音を得
ることができる。例えば、ドラム面の中央部で指タップ
が行われた場合には、ドラム面の周辺部で指タップが行
われた場合より低音の楽音が発生される。このようにし
て、演奏者は、手による演奏ジェスチャーの種類、打撃
力の量、およびドラム面における接触位置を変えること
により、表現力に富んだ演奏を行うことができることと
なる。
ステムには、単に、通常のオン・オフスイッチまたはベ
ロシティセンサを有するトーンコントローラが設けられ
ている。これらのトーンコントローラは、それぞれ、オ
ン・オフスイッチの動作および検出されたベロシティに
従って、楽音の発生を制御するものである。このような
タイプのスイッチまたはセンサによって得られる楽音の
変化は限られたものであり、このため、これらのトーン
コントローラを使用する演奏者は、表現力に富んだ演奏
を行うことができない。
83695号公報には、複数の領域に分割された演奏面
を有し、各領域にオン・オフスイッチを設けた装置が記
載されている。該装置は、演奏者による前記オン・オフ
スイッチの動作に従って、メモリに記憶されている波形
を選択するようになっている。このようにして、演奏者
は、前記演奏面の特定の領域に接触することにより、す
なわち、特定のスイッチを動作することにより、発生す
べき楽音の種類を指定することができる。しかしなが
ら、この装置においては、実現される楽音の変化は、単
に、前記記憶されている波形に対応する楽音のみに限定
され、従って、様々な演奏ジェスチャーの種類に応じ
た、表現上の効果を実現することができない。
公報には、複数の領域に分割された演奏面を有し、各領
域にオン・オフスイッチを設けた、他の装置が記載され
ている。該装置のメモリには、演奏面における異なる2
つの地点で演奏される楽音に対応する2つの波形が記憶
されている。該装置では、演奏面において演奏者が接触
した(すなわち、オン・オフスイッチを動作した)地点
と前記2つの地点との間の距離に従って、前記2つの波
形をミキシングすることにより、出力楽音の波形を発生
する。この場合にあっては、演奏面における接触地点を
変えることにより、すなわち、異なるオン・オフスイッ
チを動作することにより、楽音を変化できるようになっ
ている。しかし、この装置では、認識された演奏ジェス
チャーの種類に従う楽音の制御を行うことができない。
で、様々な演奏ジェスチャーに応じて楽音の発生を多様
に制御することができ、より表現力に富んだ演奏が行え
るようにした楽音制御方法および装置を提供することを
目的とする。
御方法は、演奏面を設けること、演奏者が前記演奏面に
対して行なった演奏ジェスチャーを検出すること、複数
の異なる基準演奏ジェスチャーを予め用意すること、前
記検出された演奏ジェスチャーと前記予め用意された複
数の異なる基準演奏ジェスチャーとを比較し、該複数の
異なる基準演奏ジェスチャーの中から前記検出された演
奏ジェスチャーの種類を決定すること、及び、前記決定
された演奏ジェスチャーの種類に基づいて楽音発生装置
を制御することからなるものである。この発明に係る楽
音制御装置は、演奏者によって操作される演奏面と、演
奏者が前記演奏面に対して行なった演奏ジェスチャーを
検出する検出手段と、複数の異なる基準演奏ジェスチャ
ーを予め記憶する記憶手段と、前記検出手段によって検
出された演奏ジェスチャーと前記記憶手段で記憶する前
記複数の異なる基準演奏ジェスチャーとを比較し、該複
数の異なる基準演奏ジェスチャーの中から前記検出され
た演奏ジェスチャーの種類を決定する演奏ジェスチャー
決定手段と、前記演奏ジェスチャー決定手段により決定
された演奏ジェスチャーの種類に基づいて楽音を制御す
る楽音制御手段とを具える。
演奏者によって操作される演奏面と、該演奏面に接する
ように配置され、該演奏面に対する接触操作を検出する
複数のセンサと、前記複数のセンサの出力に基づいて面
状の接触操作状態を表わすパラメータを作成する面接触
操作状態検出手段と、複数の異なる面接触状態に係る基
準パラメータを予め記憶する記憶手段と、前記面接触操
作状態検出手段によって作成された前記面状の接触操作
状態を表わすパラメータと前記記憶手段で記憶する前記
複数の異なる面接触状態に係る基準パラメータとを比較
し、該複数の異なる面接触状態の中から前記面状の接触
操作状態に対応する面接触状態の種類を決定する面接触
状態決定手段と、前記面接触状態決定手段により決定さ
れた面接触状態の種類に基づいて楽音を制御する楽音制
御手段とを具える。
ば、演奏者が演奏面に対して行なった演奏ジェスチャー
を検出し、この検出された演奏ジェスチャーと予め用意
された複数の異なる基準演奏ジェスチャーとを比較し、
該複数の異なる基準演奏ジェスチャーの中から該検出さ
れた演奏ジェスチャーの種類を決定し、決定された演奏
ジェスチャーの種類に基づいて楽音発生装置を制御す
る。従って、単にオン・オフスイッチのオン/オフに従
ってまたはベロシティスイッチに従って楽音を発生する
従来の技術とは異なるのは勿論のこと、演奏面に対して
様々な接触形態をもたらすよう作用する演奏者の様々な
接触操作形態つまり多様な演奏ジェスチャーの種類を的
確かつ容易に決定することができるものであり、よっ
て、この発明によれば、自然打楽器と同様に、演奏ジェ
スチャーに応じた複雑かつ微妙な楽音制御が可能とな
り、電子的楽音発生制御において個性的な制御が可能に
なる。また、この発明に係る楽音制御装置によれば、演
奏面に対する接触操作を検出するために複数のセンサが
設けられ、また、この複数のセンサの出力に基づいて面
状の接触操作状態を表わすパラメータを作成する面接触
操作状態検出手段が設けられ、この面接触操作状態検出
手段により作成された面状の接触操作状態を表わすパラ
メータと記憶手段に予め記憶した複数の異なる面接触状
態に係る基準パラメータとの比較によって前記面状の接
触操作状態に対応する面接触状態の種類が決定され、決
定された面接触状態の種類に基づいて楽音が制御され
る。このように複数のセンサの出力に基づいて面状の接
触操作状態を表わすパラメータを作成することにより、
該演奏面に対して様々な面状の接触形態をもたらすよう
作用する演奏者の接触操作、すなわち演奏ジェスチャ
ー、に応答するパラメータを得ることができ、これと複
数の異なる面接触状態に係る基準パラメータとの比較に
よって、演奏面に対して様々な面状の接触形態をもたら
すよう作用する演奏者の様々な面状の接触操作形態つま
り多様な演奏ジェスチャーの種類を的確かつ容易に決定
することができる。従って、上記と同様に、自然打楽器
と同様に、演奏ジェスチャーに応じた複雑かつ微妙な楽
音制御が可能となり、電子的楽音発生制御において個性
的な制御が可能になるものである。
るために、演奏面において略同時に発生した多数の接触
点を検出することにより、演奏ジェスチャーにより接触
された面積および各接触点での加圧量などの、該演奏ジ
ェスチャーに関する各種パラメータを決定することがで
きる。この発明の一実施例においては、各種の基準演奏
ジェスチャーを見分けるためのプリセットデータが用意
される。より個性化された楽音制御は、プログラミング
能力を備えるより高度の実施例により実現可能である。
この実施例では、演奏者が、該演奏者の特異な演奏ジェ
スチャーについての演奏ジェスチャー認識ルールを設定
することができ、このことにより、個性化された電子的
楽音制御を行うことができることとなる。
ェスチャーにより演奏面において略同時に発生した多数
の接触点を検出して該ジェスチャーに関するパラメータ
を決定し、該決定されたパラメータを、各種の基準演奏
ジェスチャーに関する所定のパラメータデータと比較す
ることにより、演奏面に接触するために使用された演奏
ジェスチャーの種類を検出するようにしてよい。基準演
奏ジェスチャーに関するパラメータデータは、工場でプ
リセットされてもよい。また、該基準演奏ジェスチャー
に関するパラメータデータは、プログラミング動作時に
おいて演奏者によって入力されたサンプル演奏ジェスチ
ャーに従って設定されてもよい。この発明の一実施例に
よれば、感圧抵抗器などの圧力変化を検出するセンサの
アレーが設けられてよい。その他の使用可能なセンサと
しては、導電ゴム、マイクロ加工の歪みゲージおよび超
小型のロードセルがある。前記センサは、様々な演奏ジ
ェスチャーがそれらの間の比較的わずかな差異に基づい
て識別され得るような、サイズおよび配置となってい
る。例えば、指の先端部による打撃は、指または手の側
部による打撃と識別され得る。前記センサのアレーは、
各センサの状態を検出するため、繰返し走査される。こ
の走査は連続して行われてもよいし、演奏面に対する接
触が検出されたときに走査が開始されるよう、制御シス
テムを構成してもよい。演奏面に対する接触が有ったと
き、オンした各センサに関する位置座標および圧力値が
検出される。
プリセットされた基準演奏ジェスチャーパラメータデー
タが用意されていてもよい。しかしながら、演奏者が、
自分自身の基準演奏ジェスチャーを入力することによ
り、個性化された演奏ジェスチャー認識ルールを設定
し、従って、個性化された楽音制御データを創出するこ
とを可能にするプログラミング能力を、この楽音発生制
御装置が備えていてもよい。この場合、演奏者は、プロ
グラムモードを選択して、サンプル基準演奏ジェスチャ
ーを入力し、制御システムでは、各前記基準演奏ジェス
チャーに関して検出されたパラメータデータに従って、
前記“ルール”を設定する。プログラミング動作時にお
いて、コンピュータは、前記センサのアレーを繰返し走
査し、どのセンサがオンしたのかを検出する。例えば、
オンした各センサについて、位置データおよび圧力デー
タなどのデータが収集される。以下、各走査毎に収集さ
れるデータを“フレーム”という。また、所定数(演奏
者によって適宜変更可能である)のフレームを“データ
窓”という。所定数のフレーム内において演奏ジェスチ
ャーが“取り込まれる”ように、データ窓の持続時間が
設定される。すなわち、演奏ジェスチャーの種類を見分
けるためのデータは、1つのデータ窓の範囲内で収集さ
れる。
のデータが収集され終わると、該演奏ジェスチャーに関
するパラメータデータが算出される。このパラメータデ
ータには、最大位置の値および最小位置の値(例えば、
最大および最小のx位置およびy位置)、演奏ジェスチ
ャーによって接触された面積、位置の平均値、演奏ジェ
スチャーによって接触された面積内でオンしたセンサの
密度、最大圧力値、平均圧力値等が含まれる。
一の基準演奏ジェスチャー(例えば、フルハンド打ち)
を繰返し入力し、各入力された演奏ジェスチャーについ
てデータ窓のデータが収集される。演奏ジェスチャー認
識ルールを設定するために必要なサンプル演奏ジェスチ
ャーの数は、決まっていない。しかし、サンプル演奏ジ
ェスチャーの数が多ければ多いほど、より正確な演奏ジ
ェスチャー認識ルールの設定が可能になる。演奏者が同
一の基準演奏ジェスチャーの入力を完了した後、楽音制
御装置では、各演奏ジェスチャーパラメータについての
平均および標準偏差を算出し、各々の演奏ジェスチャー
に関する該データをメモリに記憶する。特定の基準演奏
ジェスチャーを定義するために使用されるパラメータ
は、該演奏ジェスチャーを最もよく識別するパラメータ
が選択される。従って、異なる基準演奏ジェスチャーを
定義するためには、それに応じた異なるパラメータが使
用される。例えば、指タップにより発生する楽音は、フ
ルハンド手打ちにより発生する楽音より、演奏面におけ
る打撃位置によって大きく影響される。従って、このよ
うなパラメータを使用して、指タップを定義することに
よって、より高感度の楽音制御を行うことができる。こ
れに対して、このようなパラメータをフルハンド手打ち
による平手打ちを定義するのには使用しない、と決める
ことができる。
ドにおいて、各種の基準演奏ジェスチャーに関する認識
ルールを設定し終わった後、演奏者は、プレイモードに
おいて、演奏面に接触するために使用される演奏ジェス
チャーの種類、および、場合によっては、打撃強度およ
び/または打撃位置を変化させることにより、前記制御
装置を介して、表現力に富んだ演奏を行うことができる
こととなる。演奏者がプレイモードにおいて演奏ジェス
チャーを入力すると、制御システムでは、該入力された
演奏ジェスチャーに関するデータ窓のパラメータデータ
を収集し、該収集したパラメータデータを、前記メモリ
に記憶した前記ルール(工場でプリセットされたもの、
または、演奏者によりプログラムされたもの)と比較す
る。次に、前記制御装置は、いずれの基準演奏ジェスチ
ャーが前記入力された演奏ジェスチャーに最も近く対応
するかを判定し、その判定結果に従って、発生すべき楽
音を制御する。
装置を制御するために使用可能である。例えば、外部か
ら複数の音をサンプリングし、該サンプリングした音を
メモリに記憶する、サンプリングタイプの楽音発生装置
を使用することができる。また、周波数変調処理を行う
ことにより楽音を合成し、様々な楽音合成パラメータの
値が音色を決定することとなる周波数変調タイプの楽音
合成装置(または、“FMタイプの楽音発生装置”)を
使用してもよい。前記楽音発生装置は、前記制御システ
ムの外部に設けてもよいし、ポータブル式のドラム状ユ
ニットのように、前記制御システムの内部に組み込んで
もよい。
は、その他の記憶波形タイプの楽音発生装置)が使用さ
れる場合、各種の基準演奏ジェスチャーのそれぞれに、
該楽音発生装置のメモリに記憶された波形を割り当てる
ようにしてもよい。この場合、演奏者が演奏面に接触す
るため特定の演奏ジェスチャーを使用するごとに、演奏
者が使用した前記演奏ジェスチャーに最も近く対応する
基準演奏ジェスチャーに割り当てられた波形に対応する
楽音が発生される。すなわち、記憶された特定の音が、
演奏者の演奏ジェスチャーにより指定される。例えば、
自然コンガドラムの各種基準演奏ジェスチャー(例え
ば、親指タップ、指タップ、フルハンド打ち、つぼめた
手による手打ち、および、手の付け根による手打ち)ご
との楽音を、サンプリングタイプの楽音発生装置により
サンプリングし、該サンプリングした音を特定の基準演
奏ジェスチャーに割り当てることができる。演奏者があ
る演奏ジェスチャーにより演奏面に接触すると、前記5
つの基準演奏ジェスチャーのうち、前記演奏者の演奏ジ
ェスチャーに最も近く対応する基準演奏ジェスチャーに
従って、電子的楽音の発生が制御される。さらに、前記
パラメータデータのいくつかを、前記電子的楽音に関す
るその他の特徴を制御するために割り当ててもよい。例
えば、“フルハンド手打ち”と称される基準演奏ジェス
チャーに対応する音が前記楽音発生装置により演奏され
ることが選択された場合、前記最大圧力値データを前記
音の再生振幅を制御するために利用でき、前記平均x、
y位置データを、前記楽音発生装置から前記音を再生す
る際使用されるサンプリングレートを変化させることに
より前記音の音高を制御するために利用可能である。
(または、“FMタイプの楽音発生装置”)を制御する
ようにしてもよい。この場合、様々なパラメータは、演
奏者が演奏面に接触するために使用した演奏ジェスチャ
ーの種類に従って変更されてもよい。
説明する。以下の説明は、この発明を実施する最良の形
態を説明するものである。また、以下の説明は、この発
明の一般的な原理を説明するものであり、限定的な意味
で考察されるべきではない。特に、手による演奏ジェス
チャーに関して説明されているが、この発明は、その他
の種類の演奏ジェスチャーが行われる場合に適用しても
よい。
ーに基づく楽音発生システムのブロック図である。図1
に示すように、演奏面10は、ドラム面のような演奏面
に圧力センサ12のアレー(列)を設けたものである。
前記演奏面は、表面平滑で且つ可撓性があり、さらに、
手の疲労を防ぐためドラムのような感触および反発力を
与える、例えばプラスチックまたはゴムでできている。
しかし、前記演奏面の内層部は、金属またはその他の材
料でできていてもよい。圧力センサ12は、例えば、直
線状に配列された感圧抵抗器(Interlink E
lectronics社から入手可能である)であるの
が好ましい。感圧抵抗器とは、抵抗インクを含んだ比較
的薄いプラスチック片からなるものであり、この抵抗イ
ンクの電気抵抗は、例えば前記プラスチック製の表面に
加えられた圧力の量に比例して変化する。このような感
圧抵抗器の代わりに、例えば、導電ゴム、マイクロ加工
された歪みゲージ、または、超小型のロードセルを使用
してもよい。さらに、圧力センサ12は、図1に示した
配列に限らず、六角形状の配列となるよう斜めに傾斜し
た状態に配列してもよく、また、円形、三角形またはそ
の他の形状に配列されてもよい。以上の記載から、演奏
ジェスチャーに応じた様々なパラメータを計算するのに
十分なデータの収集を可能にする限り(すなわち、十分
なセンサ密度を持ち、センサが設けられていないデッド
ゾーンがわずかである限り)、演奏面10はいかなる形
態および構成であってもよい、ということが明白となる
であろう。
4に接続されており、オンしたセンサ12の出力信号
が、時分割式にA/D変換器14に与えられるようにな
っている。マイクロコンピュータは、中央処理ユニット
(CPU)16と、プログラムROM18と、データR
AM20aおよびワーキングRAM20bを含むRAM
20とで構成されている。演奏面10は、楽音発生装置
22を制御するため、演奏者の演奏ジェスチャーを取り
込む。楽音制御装置システムと楽音発生装置22との間
のデータのやりとりを行うための主要手段は、MIDI
規格によるものである。文字数字式のLCD表示器24
は、プログラムモード時およびプレイモード時におい
て、ユーザに対して指示情報およびフィードバック情報
を与える。該表示器24は、ユーザが演奏ジェスチャー
をセーブおよびロードし、ならびに、演奏ジェスチャー
およびパラメータを異なる楽音発生装置の制御部に割り
当てるのを可能にする。表示器26は、演奏ジェスチャ
ーによりどのセンサ12がオンされたのかを示すもので
ある。表示器26は、例えば、センサ12のアレーに対
応する発光ダイオード(LED)のアレーからなり、各
発光ダイオードは、対応するセンサ12がオンした時に
発光するものである。
0aには、多数の異なる基準演奏ジェスチャーに係るパ
ラメータデータがプリセットされている。例えば、親指
タップ、指タップ、手打ち、つぼめた手による手打ち、
および、手の付け根による手打ちに係るパラメータデー
タが、工場でプリセット可能である。このようにして、
演奏者が演奏面10に接触すると、楽音制御装置システ
ムでは、演奏者により使用された演奏ジェスチャーの種
類を検出し、親指タップ、指タップ、手打ち、つぼめた
手による手打ち、および、手の付け根による手打ちのう
ちのいずれが、入力された演奏ジェスチャーに最も近く
対応するかを判定する。こうして、楽音発生装置22
が、前記入力された演奏ジェスチャーに最も近く対応す
ると判定された基準演奏ジェスチャーに従って制御され
る。前記基準演奏ジェスチャーに対応する演奏ジェスチ
ャーが使用されたと判定されたときにおいて、自然打楽
器における親指タップ、指タップ、手打ち、つぼめた手
による手打ち、および、手の付け根による手打ちに対応
する楽音が発生されるように、楽音発生装置22とし
て、前記制御装置システムの外部または内部にサンプリ
ングタイプの楽音発生装置を設けてもよい。
28のオンイベント処理を示すものである。プレイスイ
ッチ28がオンされると、フレームカウント値FRAM
Eが1に初期化され(ステップS−10)、CPU16
が、N個のセンサ12のアレーによって構成されるフレ
ームを走査する(ステップS−12)。フレームの走査
時には、各センサ12が走査され、オンされた各センサ
12の位置データ(x、y座標)および圧力値(p)が
収集される。
ンサが有るか否か(すなわち、該フレーム内におけるい
ずれかの圧力値が“無負荷”しきい値を越えたか否か)
が検出される(ステップS−14)。第1のフレームに
オンされたセンサが有る旨検出された場合、フレームカ
ウント値FRAMEが1インクリメントされ(ステップ
S−16)、データ窓が走査される。第1のフレームに
オンされたセンサが有る旨検出されない場合、オンされ
たセンサがを有する第1のフレーム(すなわち、“オ
ン”フレーム)が検出されるまで、その他の第1のフレ
ームのデータが走査される。
のようにフレームカウント値FRAMEが1インクリメ
ントされ(ステップS−16)、他のフレームが走査さ
れる(ステップS−18)。次に、フレームカウント値
FRAMEが1インクリメントされ(ステップS−2
0)、データ窓のデータが収集され終わったか否か(す
なわち、データ窓を構成する数(m)のフレームが走査
され終わったか否か)が判定される(ステップS−2
2)。最適の効果を達成するためには、前記データ窓を
少なくとも10個のフレームによって構成する必要があ
る、ということが分かった。また、典型的な演奏ジェス
チャー時間が約3.5ミリ秒である、ということが分か
った。このため、データ窓のデータは、約3.5ミリ秒
以内に取り込まなければならない。データ窓を構成する
ために設定されたフレームの数(m)未満のフレームし
か走査されていない場合、前述のようなフレームの走査
が再度行われ(ステップS−18)、フレームカウント
値FRAMEが1インクリメントされる(ステップS−
20)。
合(すなわち、データ窓のデータの収集が完了した場
合、該収集されたフレームデータから、各種のパラメー
タが決定される。特定の種類の演奏ジェスチャーについ
て測定される演奏ジェスチャーパラメータの例をいくつ
か挙げると、次のようである。 最大x値 WXmax 最大y値 WYmax 最小x値 WXmin 最小y値 WYmin x分布 WXdist=(WXmax − WXmin) + 1 y分布 WYdist=(WYmax − WYmin) + 1 オンしたセンサが占める面積 Warea=WXdist * WYdist 平均x値 WXavg 平均y値 WYavg 分布比 WXYratio=WXdist/WY
dist
心までの距離
x、y値などの、その他の各種パラメータを、各データ
窓ごとに算出してもよい。しかしながら、数種類の演奏
ジェスチャーを認識するには、上記のパラメータで十分
である。
依存する”。すなわち、該演奏ジェスチャーにおいて演
奏面に接触する位置が、発生する楽音に実質的な影響を
与える。その場合、前記基準演奏ジェスチャーの定義に
は、位置情報が含まれることとなる。例えば、中心部指
タップ、すなわち、演奏面の中心部近傍における指タッ
プは、演奏面の中心部近傍における平均x値およびy値
をとることとなる。一方、周辺部指タップ、すなわち、
演奏面の周辺部近傍における指タップは、演奏面の周辺
部近傍における平均的x値およびy値をとることとな
る。これに対して、“位置に依存しない”演奏ジェスチ
ャーもあり、この場合、位置情報は、演奏ジェスチャー
の定義には使用されないが、楽音発生装置のいくつかの
パラメータ(音高、フィルタ周波数、倍音成分など)を
変化させて該当する楽音をさらに変化させるために、利
用可能である。
前掲のような演奏ジェスチャーパラメータが算出される
(ステップS−24)。このようにして算出されたパラ
メータは、データRAM20aに記憶されている基準演
奏ジェスチャーパラメータデータと比較され(ステップ
S−26)最も近く対応するもの(すなわち、どの基準
演奏ジェスチャーが、入力された演奏ジェスチャーに最
も近く対応するか)が判定される(ステップS−2
8)。次に、電子的楽音発生装置22が、前記入力され
た演奏ジェスチャーに最も近く対応すると判定された基
準演奏ジェスチャーに従って制御される(ステップS−
30)。
奏ジェスチャーごとの平均値および標準偏差がメモリに
記憶される。プレイモードにおいて演奏者により演奏ジ
ェスチャーの入力がなされると、該入力された演奏ジェ
スチャーについて測定された各パラメータを、メモリに
記憶されているパラメータデータと比較することによ
り、前記“最も近く対応する基準演奏ジェスチャー”が
判定される。入力された演奏ジェスチャーについて、P
i(iはk個のうちの任意の1つ)により示されるk個
のパラメータが測定される。前記平均値および標準偏差
は、図3および図4にそれぞれ示されたサブルーチンに
従って算出される。より詳しくは、平均値は、ステップ
S−32において、次の式により算出される。
により算出される。
る各基準演奏ジェスチャーの標準偏差に従って正規化さ
れる。例えば、パラメータPiに関する、正規化誤差E
iは、次の式により与えられ。
測定パラメータであり、平均Piは特定の基準演奏ジェ
スチャーに関するパラメータPiの平均値であり、さら
に、sd Piは特定の基準演奏ジェスチャーに関する
パラメータPiの標準偏差である。
たデータの前記平均値からの距離を、標準偏差の単位で
表したものである。各基準演奏ジェスチャーに関する全
体的な誤差を求めるため、各演奏ジェスチャーパラメー
タに関する正規化誤差が、次の式により合計される。
たパラメータであり、平均Piは特定の基準演奏ジェス
チャーに関するパラメータPiの平均値であり、さら
に、sd Piは特定の基準演奏ジェスチャーに関する
パラメータPiの標準偏差である。代案として、上記標
準偏差式の代わりに、分散式を使用してもよい。該分散
は次のようにして求められる。
対応する基準演奏ジェスチャーを判定するための、対応
判定サブルーチンを示すものである。演奏ジェスチャー
カウント値gが1に初期化され(ステップS−36)、
演奏ジェスチャー1に関する全体的な誤差が算出される
(ステップS−38)。次に、演奏ジェスチャーカウン
ト値gが1インクリメントされる(ステップS−4
0)。次に、全体的な誤差の算出が、基準演奏ジェスチ
ャーの合計数tに等しい回数行われたか否かを判定する
(ステップS−42)。NOの場合(ステップS−4
2)、次の基準演奏ジェスチャーに関する全体的な誤差
が算出される。全体的な誤差の算出が、基準演奏ジェス
チャーの合計数tに等しい回数行われた場合、コンピュ
ータにより、どの基準演奏ジェスチャーが最小の全体的
誤差を有するかを判定する(ステップS−44)。最小
の全体的誤差を有する基準演奏ジェスチャーが、前記入
力された演奏ジェスチャーに最も近く対応する基準演奏
ジェスチャーということとなる。以下に、一例が示され
ている。説明を簡単にするため、2つの演奏ジェスチャ
ーパラメータについてのみ考察する。
が収集される。 比 x/y=1.7 オンしたセンサの数=18.9 各基準演奏ジェスチャーに関する全体的誤差は、次のよ
うである。
は、手の付け根による手打ちに関する誤差が最小であ
る。このため、手の付け根による手打ちが入力演奏ジェ
スチャーに最も近く対応する。すなわち、その他の基準
演奏ジェスチャーに比べて、手の付け根による手打ちが
前記入力演奏ジェスチャーに最も近く対応する。その結
果、前記制御装置システムでは、手の付け根による手打
ちの演奏ジェスチャーに従って、楽音の発生を制御する
こととなる。
演奏者は、工場でプリセットされるデータを選択できる
のに加えて、基準演奏ジェスチャーパラメータデータを
自分でプログラムできる。その場合、制御装置システム
のモードセレクタには、演奏者がプログラムモードを指
定するのを可能にするプログラムスイッチ30が設けら
れる。図6は、プログラミング処理を行うためのプログ
ラムスイッチオンイベント処理が示されている。このプ
ログラムスイッチ30がオンされると、制御システム
は、フレームカウント値FRAMEを1に初期化し(ス
テップS−46)、前記プレイモードに関して上述した
ようにフレームを走査する(ステップS−48)。次
に、第1のフレームがオン状態であるか否かが検出され
る(ステップS−50)。第1のオンフレームが収集さ
れた後、フレームカウント値FRAMEが1インクリメ
ントされ(ステップS−52)、他のフレームが走査さ
れ(ステップS−54)、その都度、フレームカウント
値FRAMEが1インクリメントされる(ステップS−
56)。次に、データ窓のフレーム数(m)に等しいフ
レーム数が走査されたか否かが検出される(ステップS
−58)。データ窓を構成するために設定されたフレー
ムの数(m)未満のフレーム数しか走査されていない場
合、フレームの走査が再度行われ(ステップS−5
4)、フレームカウント値FRAMEが1インクリメン
トされる(ステップS−56)。データ窓のデータが収
集され終わると、前記プレイモードに関して上述したよ
うな演奏ジェスチャーパラメータが、算出され、前記平
均、標準偏差算出サブルーチンにおいて後に使用可能に
記憶される(ステップS−60)。
同一の演奏ジェスチャーを何回も入力し、入力された各
演奏ジェスチャーごとに、データ窓のデータが収集され
る。例えば、演奏者は手全体によるフルハンド打ちジェ
スチャーを50回入力する。この場合、50個のデータ
窓のデータが収集される。特定の種類の基準演奏ジェス
チャーに関するパラメータデータを設定するために、サ
ンプル演奏ジェスチャーを入力すべき正確な回数につい
ては、決まっていない。しかし、サンプル演奏ジェスチ
ャーの入力回数が多くなればなるほど、特定の基準演奏
ジェスチャーに関するパラメータはより正確に設定され
ることとなる。演奏者が特定の基準演奏ジェスチャーに
関するサンプル演奏ジェスチャーの入力を完了したこと
を示すと(ステップS−62)、制御装置システムで
は、各演奏ジェスチャーパラメータに関する平均値を算
出してワーキングRAM20bに記憶し(ステップS−
64)、且つ、各演奏ジェスチャーパラメータに関する
標準偏差を算出してワーキングRAM20bに記憶する
(ステップS−66)。図3および図4は、平均値算出
サブルーチンおよび標準偏差算出サブルーチンをそれぞ
れ示す。
明の実施例は、比較的簡単な楽音制御について説明され
てきた。しかし、楽音変化は、無数の方法で実現可能で
ある。例えば、(平均的または最大のセンサ圧により測
定された)強度に応じて、複数の異なる楽音を特定の基
準演奏ジェスチャーに割り当ててもよい。すなわち、1
つの基準演奏ジェスチャーに関して、強い接触、中位の
接触、および、弱い接触にそれぞれ対応する楽音データ
を用意してもよい。この場合、例えば、コンガの音色が
割り当てられた演奏面における強い手打ちにより、中位
の手打ちまたは弱い手打ちの場合とは異なる楽音特性を
持つコンガ音が発生されることとなる。同様に、中位の
手打ちおよび弱い手打ちにより、強い手打ちの場合とは
異なる楽音特性を持つコンガ音が発生されることとな
る。さらに、上述の如く、その他のリアルタイムの楽音
制御要素(例えば、音高、変調状態、倍音成分、振幅な
ど)を制御するために、異なるパラメータを使用しても
よい。
音色を割り当てられた複数の部分に分割されてもよい。
例えば、該演奏面10は、図7の(A)に示すように同
心の2つの円形部分、または、図7の(B)に示すよう
に円形中心部分、および、隣接する4つの外方部分に分
割されてもよい。演奏面10が同心の2つの円形部分に
分割されている場合、中心の円形部分には、自然打楽器
の中心部分に対応する楽音データを割り当て、外方の円
形部分には、自然打楽器の周辺部分に対応する楽音デー
タを割り当てることができる。この配置は、例えばスネ
アドラムのように、その中心部と周辺部とでは実質的に
異なる楽音特性を有する自然打楽器を模倣する場合、特
に有用である。
触部分が演奏面10の複数部分にまたがった場合のよう
に、前述のように分割された演奏面10の2つまたは3
つ以上の部分が接触されたことが検出されたときには、
最大の加圧量が検出された部分に対応する音色の楽音を
発生するようにすることができる。また、各々が接触さ
れた部分に対応する音色を有し、且つ、対応する部分で
の打撃強度に比例した音量を有する、複数の楽音を発生
するようにすることができる。さらに、複数の楽音デー
タ(例えば、同心の2つの円形部分に対応する楽音デー
タ)を補間処理することにより、音色を変更制御するこ
とができる。この補間処理は、楽音発生装置により、単
なるクロスフェードまたは楽音発生パラメータの補間を
行うことにより可能である。この場合、ある1つの特定
の演奏ジェスチャーが演奏面の周辺部においてスタート
された後、演奏面の中心に向けてスライド移動されるの
に伴ない、音色,音量あるいはピッチなどが連続的に変
化することとなる。
かなるタイプの楽音発生装置22を制御するために使用
してもよく、楽音発生装置22は、前記制御装置システ
ムの外部に設けてもよいし、該制御装置システム内に組
み込んでもよい。制御装置システムの外部に設けられた
楽音発生装置は、主に、MIDI規格に従って制御され
ることとなる。例えば、楽音発生装置22は、FMタイ
プの楽音発生装置、または、サンプリングタイプの楽音
発生装置とすることができる。FMタイプの楽音発生装
置は、検出された演奏ジェスチャーに従って各種の楽音
制御パラメータ(例えば、搬送波と変調波との比率、変
調率、音高またはエンベロープ)を変化させることによ
り、適当な楽音を発生する。サンプリングタイプの楽音
発生装置は、サンプル音(すなわち、外部音をサンプリ
ングすることにより得られた後記憶された波形)を発音
する。
てきたが、ここに開示された実施例は、この発明の精神
および範囲を逸脱することなく、様々な変更が可能であ
る。例えば、感圧抵抗器の代わりに、いかなる種類のセ
ンサを使用してもよい。すなわち、様々な演奏ジェスチ
ャーの種類を特定するのに十分なパラメータデータの収
集を可能にするセンサである限り、いかなる種類のセン
サを使用してもよい。また、演奏ジェスチャーを特定す
るために測定されるパラメータは、この明細書に記載さ
れたものに限定されない。さらに、演奏ジェスチャーを
特定するためには、上述のものに限らず、エキスパート
システム、神経網、ファジィ理論などの、その他の各種
分析方法を使用してもよい。従って、この発明は、ここ
に記載された好ましい実施例に限定されることなく、当
業者にとって自明の様々な方法で変更可能である。
態様のいくつかを整理して示すと次のようである。 (1) 演奏面を設けること、前記演奏面に接触するた
めに演奏者によって使用された演奏ジェスチャーの種類
を判定すること、及び、前記演奏面に接触するために演
奏者によって使用されたと判定された前記演奏ジェスチ
ャーの種類に従って電子的楽音発生装置を制御すること
からなる楽音制御方法。 (2) 前記演奏面がドラム面のような面である前記1
項の楽音制御方法。 (3) 前記演奏面が圧力センサのアレーからなるもの
である前記2項の楽音制御方法。 (4) 制御される前記電子的楽音発生装置が、各種の
楽音に対応する各種の波形を記憶したメモリを備えるサ
ンプリングタイプの楽音発生装置であり、前記判定され
た演奏ジェスチャーの種類に基づいて前記波形の1つが
選択され、前記楽音発生装置が前記選択された波形に従
って楽音を発生するよう制御されるものである前記1項
の楽音制御方法。 (5) 前記楽音発生装置が、前記検出された演奏ジェ
スチャーの種類に従って、音高およびエンベロープのう
ちの少なくとも一つを制御する楽音合成装置からなるも
のである前記1項の楽音制御方法。 (6) 特定の演奏ジェスチャーの種類が演奏者により
使用されたと判定されたとき、前記電子的楽音発生装置
が、前記検出された特定の演奏ジェスチャーの種類に対
応する少なくとも1つのパラメータに従って決定される
少なくとも1つの楽音特性を有する楽音を発生するよう
制御されるようになっており、これにより、前記特定の
演奏ジェスチャーの種類に対応するパラメータを変化さ
せることにより楽音特性の変化を実現できるようになっ
ている前記1項の楽音制御方法。 (7) 前記楽音特性が、音量、音高、変調状態および
倍音成分のうちの1つである前記6項の楽音制御方法。 (8) 前記パラメータが、前記特定の演奏ジェスチャ
ーの種類に関わる平均圧力値、および、前記演奏面の中
心から該演奏面において前記演奏ジェスチャーにより接
触された部分の中心までの距離のうちの一方である前記
6項の楽音発生制御方法。
記感圧面に接触した際、前記感圧面において少なくとも
しきい量の圧力が加えられた部分を検出すること、前記
部分の検出に従って、前記感圧面に接触するために演奏
者によって使用された演奏ジェスチャーの種類を判定す
ること、及び、前記感圧面に接触するために演奏者によ
って使用されたと判定された演奏ジェスチャーの種類に
従って電子的楽音発生装置を制御すること、からなる楽
音制御方法。 (10) それぞれがオンしたときにおいて出力信号を
発生する圧力センサのアレーを備える演奏面を設けるこ
と、演奏者が前記感圧面に接触した際、前記センサのど
れがオンしたかを検出すること、前記センサのオン検出
に従って、前記圧力センサのアレーに接触するために演
奏者により使用された演奏ジェスチャーの種類を判定す
ること、及び、前記圧力センサのアレーに接触するため
に演奏者により使用されたと判定された演奏ジェスチャ
ーの種類に従って電子的楽音発生装置を制御すること、
からなる楽音制御方法。 (11) それぞれがオンしたときにおいて加圧量を示
す出力信号を発生する圧力センサのアレーを備える演奏
面を設けること、オンした各前記圧力センサの位置を検
出すること、オンした各前記圧力センサに対する加圧量
を検出すること、各前記オンした圧力センサごとに検出
された位置および検出された圧力量に従って、前記圧力
センサのアレーに接触するために演奏者によって使用さ
れた演奏ジェスチャーの種類を判定すること、及び、前
記圧力センサのアレーに接触するために演奏者によって
使用されたと判定された演奏ジェスチャーの種類に従っ
て電子的楽音発生装置を制御すること、からなる楽音制
御方法。 (12) それぞれがオンしたときにおいて加圧量を示
す出力信号を発生する圧力センサのアレーを備える演奏
面を設けること、基準演奏ジェスチャーに関するパラメ
ータデータをプログラムすること、前記パラメータデー
タをメモリに記憶すること、演奏者が前記圧力センサの
アレーに接触したときオンした前記センサのパターンを
検出すること、検出された前記センサのパターンと前記
メモリに記憶したパラメータデータとを比較すること、
前記メモリに記憶したパラメータデータのうち、前記検
出されたセンサのパターンに最も近く対応するものを判
定すること、及び、最も近く対応すると判定された前記
パラメータデータに従って電子的楽音発生装置を制御す
ること、からなる楽音制御方法。
によって使用された演奏ジェスチャーの種類に従って楽
音発生を制御する楽音制御装置であって、それぞれがオ
ンしたときにおいて加圧量を示す出力信号を発生する圧
力センサのアレーを備える演奏面と、オンした前記セン
サのパターンを検出する検出手段と、各種の基準の演奏
ジェスチャーに関するパラメータデータを記憶可能なメ
モリと、検出された前記センサのパターンと前記メモリ
に記憶したパラメータデータとを比較する比較手段と、
前記メモリに記憶したパラメータデータのうち、前記検
出されたセンサのパターンに最も近く対応するものを判
定する判定手段と、最も近く対応すると判定された前記
パラメータデータに従って電子的楽音発生装置を制御す
る制御手段とを具備する楽音制御装置。
によって使用された演奏ジェスチャーの種類に従って楽
音発生を制御する楽音制御装置であって、感圧面と、前
記感圧面において少なくともしきい量の圧力が加えられ
た面部分のパターンである面接触パターンを検出する検
出手段と、複数種類の基準の面接触パターンを示すパラ
メータデータを記憶可能なメモリと、前記感圧面に現在
接触している演奏ジェスチャーである入力演奏ジェスチ
ャーに関して検出された面接触パターンと前記メモリに
記憶されたパラメータデータとを比較する比較手段と、
前記基準の面接触パターンのうちのどれが、前記検出さ
れた面接触パターンに最も近く対応するかを判定する判
定手段と、前記検出された面接触パターンに最も近く対
応すると判定された前記基準の面接触パターンに従って
電子的楽音発生装置を制御する制御手段とを具備する楽
音制御装置。 (15) 特定の種類の演奏ジェスチャーが演奏者によ
り使用されたと判定されたとき、前記制御手段は、前記
特定の種類の演奏ジェスチャーに対応する少なくとも1
つのパラメータに従って決定される少なくとも1つの楽
音特性を有する楽音を発生するよう、前記電子的楽音発
生装置を制御し、これにより、前記特定の演奏ジェスチ
ャーの種類に対応するパラメータを変化させることによ
り楽音特性の変化を実現できるようになっている前記1
4項の楽音制御装置。 (16) 前記楽音特性が、音量、音高、変調状態およ
び倍音成分のうちの1つである前記15項の楽音制御装
置。 (17) 前記パラメータが、前記特定の演奏ジェスチ
ャーの種類に関する平均圧力値、および、前記演奏面の
中心から前記演奏ジェスチャーにより接触された部分の
中心までの距離のうちの一方である前記15項の楽音制
御装置。
によって使用された演奏ジェスチャーの種類に従って楽
音発生を制御する楽音制御装置であって、それぞれがオ
ンしたときにおいて加圧量を示す出力信号を発生する圧
力センサのアレーを備える演奏面と、各種の基準演奏ジ
ェスチャーに関するプリセットパラメータデータを記憶
したメモリを備えるコンピュータであって、各々がフレ
ームを構成する前記アレーの走査を行い、さらに、各フ
レームにおいて、各前記センサがオンしたか否かを検出
し、各フレームごとにデータを収集し、各入力演奏ジェ
スチャーごとに複数フレームのデータを収集するコンピ
ュータとを具備し、前記コンピュータが、前記入力演奏
ジェスチャーに関するフレーム内で収集されたデータ
と、前記メモリに記憶されたパラメータデータとを比較
し、前記基準演奏ジェスチャーのうちのどれが前記入力
演奏ジェスチャーに最も近く対応しているかを判定し、
前記入力演奏ジェスチャーに最も近く対応している前記
基準演奏ジェスチャーに対応する制御信号を出力するも
のであり、前記制御信号が電子的楽音発生装置を制御す
るために使用可能であることを特徴とする楽音制御装
置。 (19) 演奏ジェスチャーにより前記センサのどれが
オンしたのかを示す表示器をさらに備える前記18項の
楽音制御装置。 (20) 前記表示器が発光ダイオードのアレーからな
り、各前記発光ダイオードが、特定の前記センサに対応
しており、演奏ジェスチャーにより対応する前記センサ
がオンしたときに発光するものである前記19項の楽音
制御装置。 (21) 前記演奏面が、円形であり、少なくとも、同
心の第1の円形部分と第2の円形部分とに分割されてお
り、前記第1の円形部分が前記演奏面の中心部分に位置
しており、前記第2の円形部分が前記演奏面の周辺部分
に位置しており、前記コンピュータは、前記第1の円形
部分については、自然楽器の中心部分に対応する楽音デ
ータを前記メモリに記憶し、前記第2の円形部分につい
ては、自然楽器の周辺部分に対応する楽音データを前記
メモリに格納する前記18項の楽音制御装置。
によって使用された演奏ジェスチャーの種類に従って楽
音発生を制御する楽音制御装置であって、それぞれがオ
ンしたときにおいて出力信号を発生する複数のセンサか
らなるアレーを備える演奏面と、演奏者がプログラムモ
ードおよびプレイモードの少なくとも一方を選択するた
めのセレクタと、ここで、前記プログラムモードは、演
奏者によって入力された基準演奏ジェスチャーに関する
パラメータデータを設定するためのモードであり、前記
プレイモードは、前記基準演奏ジェスチャーのうちのど
れが前記演奏面に現在接触している演奏ジェスチャーで
ある入力演奏ジェスチャーに最も近く対応しているかを
判定するためのモードであり、前記アレーの走査を繰り
返し行い、ここで各走査がフレームを構成し、各フレー
ム毎の走査においては前記アレーの前記各センサがオン
したか否かをそれぞれ検出し、こうして各フレームごと
にデータを収集し、また、それぞれの入力演奏ジェスチ
ャーごとに複数フレームのデータを収集し、さらに、所
定数のフレームによりデータ窓を構成し、入力演奏ジェ
スチャーのデータを対応するデータ窓の範囲内において
取り込むコンピュータとを具備し、前記コンピュータ
は、収集されたデータを記憶するメモリを含み、かつ、
前記コンピュータは、前記プログラムモードにおいて、
前記基準演奏ジェスチャーに関して収集されたデータ窓
に従って各種類の前記基準演奏ジェスチャーごとのパラ
メータデータを設定するものであり、かつ、前記コンピ
ュータは、前記プレイモードにおいて、入力演奏ジェス
チャーに関するデータ窓の範囲内で収集されたデータ
と、前記基準演奏ジェスチャーに関して設定されたパラ
メータデータとを比較し、前記基準演奏ジェスチャーの
うちのどれが前記入力演奏ジェスチャーに最も近く対応
しているかを判定し、前記入力演奏ジェスチャーに最も
近く対応していると判定された前記基準演奏ジェスチャ
ーに対応する制御信号を出力するものであり、前記制御
信号が電子的楽音発生装置を制御するために使用可能で
あることを特徴とする楽音制御装置。 (23) 前記センサは、各センサがx、y座標により
示される位置を有するように配列されており、前記コン
ピュータにより収集されたフレームのデータが、オンし
た各センサに関するx、y座標、および、オンした各セ
ンサに対する加圧量を示すデータからなるものである前
記22の楽音制御装置。
フレームデータに従って、入力演奏ジェスチャーに関す
るk個のパラメータPi(iはk個のうちの1つ)を算
出し、次の式により各基準演奏ジェスチャーに関する各
パラメータの平均値を算出し、
チャーに関する全体的な誤差を算出することにより、前
記基準演奏ジェスチャーのうちのどれが前記入力演奏ジ
ェスチャーに最も近く対応しているかを判定し、
る全体的な誤差であり、Piincが入力演奏ジェスチ
ャーのi番目のパラメータであり、平均Pigが前記基
準演奏ジェスチャーgのi番目のパラメータの平均値で
あり、sd Pigが前記基準演奏ジェスチャーgのi
番目のパラメータの標準偏差であり、全体的な誤差が最
小である基準演奏ジェスチャーが、前記入力演奏ジェス
チャーに最も近く対応するものであることを特徴とする
前記22項の楽音制御装置。
よれば、演奏面に対して様々な接触形態をもたらすよう
作用する演奏者の様々な接触操作形態つまり多様な演奏
ジェスチャーの種類を的確かつ容易に決定することがで
きるものであり、演奏者によって演奏面に対して行なわ
れる様々な演奏ジェスチャーに応じて楽音の発生を多様
に制御することができるようになり、これにより、電子
的/電気的楽音発生装置において自然楽器と同様に表現
力に富んだ演奏を可能にすることができるようになる、
という優れた効果を奏する。また、演奏面に設けられた
複数のセンサの出力に基づいて面状の接触操作状態を表
わすパラメータを作成することにより、該演奏面に対し
て様々な面状の接触形態をもたらすよう作用する演奏者
の接触操作、すなわち演奏ジェスチャー、に応答するパ
ラメータを得ることができ、これと複数の異なる面接触
状態に係る基準パラメータとの比較によって、演奏面に
対して様々な面状の接触形態をもたらすよう作用する演
奏者の様々な面状の接触操作形態つまり多様な演奏ジェ
スチャーの種類を的確かつ容易に決定することができ、
これにより、自然打楽器と同様に、演奏ジェスチャーに
応じた複雑かつ微妙な楽音制御が可能となり、電子的/
電気的楽音発生制御において個性的な制御が可能にな
る、という優れた効果を奏する。
音制御装置の一実施例のシステム構成例を示すブロック
図。
るプレイスイッチオンイベント処理のフローチャートを
示す図。
平均算出サブルーチンのフローチャートを示す図。
標準偏差算出サブルーチンのフローチャートを示す図。
対応判定サブルーチンのフローチャートを示す図。
プログラムスイッチオンイベント処理のフローチャート
を示す図。
…プログラムROM、20…RAM、22…楽音発生装
置。
Claims (3)
- 【請求項1】 演奏面を設けること、 演奏者が前記演奏面に対して行なった演奏ジェスチャー
を検出すること、複数の異なる基準演奏ジェスチャーを予め用意するこ
と、 前記検出された演奏ジェスチャーと前記予め用意された
複数の異なる基準演奏ジェスチャーとを比較し、該複数
の異なる基準演奏ジェスチャーの中から前記検出された
演奏ジェスチャーの種類を決定すること、 及び、前記決定 された演奏ジェスチャーの種類に基づいて楽音
発生装置を制御することからなる楽音制御方法。 - 【請求項2】 演奏者によって操作される演奏面と、 演奏者が前記演奏面に対して行なった演奏ジェスチャー
を検出する検出手段と、 複数の異なる基準演奏ジェスチャーを予め記憶する記憶
手段と、 前記検出手段によって検出された演奏ジェスチャーと前
記記憶手段で記憶する前記複数の異なる基準演奏ジェス
チャーとを比較し、該複数の異なる基準演奏ジェスチャ
ーの中から前記検出された演奏ジェスチャーの種類を決
定する演奏ジェスチャー決定手段と、 前記演奏ジェスチャー決定手段により決定された演奏ジ
ェスチャーの種類に基づいて楽音を制御する楽音制御手
段とを具える楽音制御装置。 - 【請求項3】 演奏者によって操作される演奏面と、 該演奏面に接するように配置され、該演奏面に対する接
触操作を検出する複数のセンサと、 前記複数のセンサの出力に基づいて面状の接触操作状態
を表わすパラメータを作成する面接触操作状態検出手段
と、複数の異なる面接触状態に係る基準パラメータを予め記
憶する記憶手段と、 前記面接触操作状態検出手段によって作成された前記面
状の接触操作状態を表わすパラメータと前記記憶手段で
記憶する前記複数の異なる面接触状態に係る基 準パラメ
ータとを比較し、該複数の異なる面接触状態の中から前
記面状の接触操作状態に対応する面接触状態の種類を決
定する面接触状態決定手段と、 前記面接触状態決定手段により決定された面接触状態の
種類に基づいて 楽音を制御する楽音制御手段とを具える
楽音制御装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/622,517 | 1990-12-05 | ||
US07/622,517 US5288938A (en) | 1990-12-05 | 1990-12-05 | Method and apparatus for controlling electronic tone generation in accordance with a detected type of performance gesture |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05158473A JPH05158473A (ja) | 1993-06-25 |
JP3206062B2 true JP3206062B2 (ja) | 2001-09-04 |
Family
ID=24494471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34774791A Expired - Fee Related JP3206062B2 (ja) | 1990-12-05 | 1991-12-04 | 楽音制御方法および装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5288938A (ja) |
JP (1) | JP3206062B2 (ja) |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
JP2682364B2 (ja) * | 1993-01-06 | 1997-11-26 | ヤマハ株式会社 | 電子楽器のデータ設定装置 |
US5488196A (en) * | 1994-01-19 | 1996-01-30 | Zimmerman; Thomas G. | Electronic musical re-performance and editing system |
JP3630712B2 (ja) * | 1994-02-03 | 2005-03-23 | キヤノン株式会社 | ジェスチャー入力方法及びその装置 |
US5663514A (en) * | 1995-05-02 | 1997-09-02 | Yamaha Corporation | Apparatus and method for controlling performance dynamics and tempo in response to player's gesture |
AU1328597A (en) * | 1995-11-30 | 1997-06-19 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
FR2748147B1 (fr) * | 1996-04-24 | 1998-11-06 | Reibel Guy | Instrument de musique a percussion |
JP3293521B2 (ja) * | 1997-05-20 | 2002-06-17 | ヤマハ株式会社 | 発音タイミング制御装置 |
JPH10333672A (ja) * | 1997-06-03 | 1998-12-18 | Kawai Musical Instr Mfg Co Ltd | 電子鍵盤打楽器 |
US6490235B1 (en) * | 1997-08-07 | 2002-12-03 | Sony Corporation | Storage and reproduction apparatus with rotary control element for controlling operations |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
JP4294204B2 (ja) * | 2000-06-29 | 2009-07-08 | ローランド株式会社 | 波形再生装置 |
AU2002229967A1 (en) * | 2001-02-12 | 2002-08-28 | Keith Le Blanc | Electronic drum |
GB0108238D0 (en) * | 2001-04-02 | 2001-05-23 | Ballard Ron | Musical instrument |
US6388183B1 (en) | 2001-05-07 | 2002-05-14 | Leh Labs, L.L.C. | Virtual musical instruments with user selectable and controllable mapping of position input to sound output |
KR100840675B1 (ko) * | 2002-01-14 | 2008-06-24 | 엘지디스플레이 주식회사 | 액정표시장치의 데이터 구동 장치 및 방법 |
JP4124343B2 (ja) * | 2003-04-11 | 2008-07-23 | ローランド株式会社 | 電子打楽器 |
US7222310B2 (en) * | 2003-04-30 | 2007-05-22 | Apple Computer, Inc. | Graphical user interface(GUI), a synthesiser and a computer system including a GUI |
US8442331B2 (en) * | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US20060053097A1 (en) * | 2004-04-01 | 2006-03-09 | King Martin T | Searching and accessing documents on private networks for use with captures from rendered documents |
US7812860B2 (en) * | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US20060041605A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
US20060122983A1 (en) * | 2004-12-03 | 2006-06-08 | King Martin T | Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination |
US20060041484A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
US9008447B2 (en) * | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US20060081714A1 (en) * | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
US8489624B2 (en) * | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
US8874504B2 (en) * | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
US7381885B2 (en) * | 2004-07-14 | 2008-06-03 | Yamaha Corporation | Electronic percussion instrument and percussion tone control program |
US8346620B2 (en) * | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
US20150163342A1 (en) * | 2004-07-30 | 2015-06-11 | Searete Llc | Context-aware filter for participants in persistent communication |
US9779750B2 (en) * | 2004-07-30 | 2017-10-03 | Invention Science Fund I, Llc | Cue-aware privacy filter for participants in persistent communications |
US9704502B2 (en) | 2004-07-30 | 2017-07-11 | Invention Science Fund I, Llc | Cue-aware privacy filter for participants in persistent communications |
US20060260624A1 (en) * | 2005-05-17 | 2006-11-23 | Battelle Memorial Institute | Method, program, and system for automatic profiling of entities |
JP4677543B2 (ja) * | 2005-05-24 | 2011-04-27 | 株式会社国際電気通信基礎技術研究所 | 表情付け音声発生装置 |
US20070119290A1 (en) * | 2005-11-29 | 2007-05-31 | Erik Nomitch | System for using audio samples in an audio bank |
NO324641B1 (no) * | 2006-03-29 | 2007-11-26 | Jorn Sutterud | Fingertromme |
EP2067119A2 (en) * | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
WO2008031625A2 (en) * | 2006-09-15 | 2008-03-20 | Exbiblio B.V. | Capture and display of annotations in paper and electronic documents |
US20080104547A1 (en) * | 2006-10-25 | 2008-05-01 | General Electric Company | Gesture-based communications |
US20110145068A1 (en) * | 2007-09-17 | 2011-06-16 | King Martin T | Associating rendered advertisements with digital content |
EP2136356A1 (en) * | 2008-06-16 | 2009-12-23 | Yamaha Corporation | Electronic music apparatus and tone control method |
CN105930311B (zh) * | 2009-02-18 | 2018-10-09 | 谷歌有限责任公司 | 执行与再现文档关联的动作的方法、移动设备和可读介质 |
US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
US8990235B2 (en) * | 2009-03-12 | 2015-03-24 | Google Inc. | Automatically providing content associated with captured information, such as information captured in real-time |
FR2950713A1 (fr) * | 2009-09-29 | 2011-04-01 | Movea Sa | Systeme et procede de reconnaissance de gestes |
WO2011047171A2 (en) * | 2009-10-16 | 2011-04-21 | Kesumo, Llc | Foot-operated controller |
US8222507B1 (en) * | 2009-11-04 | 2012-07-17 | Smule, Inc. | System and method for capture and rendering of performance on synthetic musical instrument |
US9081799B2 (en) * | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
US9323784B2 (en) * | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
FR2971866A1 (fr) * | 2011-02-18 | 2012-08-24 | France Telecom | Creation simplifiee d'un signal sonore ou vibratoire |
US9076419B2 (en) | 2012-03-14 | 2015-07-07 | Bebop Sensors, Inc. | Multi-touch pad controller |
US9696833B2 (en) | 2014-05-15 | 2017-07-04 | Bebop Sensors, Inc. | Promoting sensor isolation and performance in flexible sensor arrays |
US9442614B2 (en) | 2014-05-15 | 2016-09-13 | Bebop Sensors, Inc. | Two-dimensional sensor arrays |
US9965076B2 (en) | 2014-05-15 | 2018-05-08 | Bebop Sensors, Inc. | Piezoresistive sensors and applications |
US9753568B2 (en) | 2014-05-15 | 2017-09-05 | Bebop Sensors, Inc. | Flexible sensors and applications |
US9710060B2 (en) | 2014-06-09 | 2017-07-18 | BeBop Senors, Inc. | Sensor system integrated with a glove |
US10362989B2 (en) | 2014-06-09 | 2019-07-30 | Bebop Sensors, Inc. | Sensor system integrated with a glove |
US9972150B2 (en) * | 2014-07-15 | 2018-05-15 | Huf North America Automotive Parts Mfg. Corp. | Method of verifying user intent in activation of a device in a vehicle |
GB2535153A (en) * | 2015-02-06 | 2016-08-17 | Bhamra Kuljit | Percussion instrument |
US9863823B2 (en) | 2015-02-27 | 2018-01-09 | Bebop Sensors, Inc. | Sensor systems integrated with footwear |
US10082381B2 (en) | 2015-04-30 | 2018-09-25 | Bebop Sensors, Inc. | Sensor systems integrated with vehicle tires |
US9827996B2 (en) | 2015-06-25 | 2017-11-28 | Bebop Sensors, Inc. | Sensor systems integrated with steering wheels |
US9721553B2 (en) | 2015-10-14 | 2017-08-01 | Bebop Sensors, Inc. | Sensor-based percussion device |
US10846519B2 (en) * | 2016-07-22 | 2020-11-24 | Yamaha Corporation | Control system and control method |
CN109478399B (zh) * | 2016-07-22 | 2023-07-25 | 雅马哈株式会社 | 演奏分析方法、自动演奏方法及自动演奏系统 |
WO2018016639A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | タイミング制御方法、及び、タイミング制御装置 |
JP6642714B2 (ja) * | 2016-07-22 | 2020-02-12 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
US10884496B2 (en) | 2018-07-05 | 2021-01-05 | Bebop Sensors, Inc. | One-size-fits-all data glove |
US11480481B2 (en) | 2019-03-13 | 2022-10-25 | Bebop Sensors, Inc. | Alignment mechanisms sensor systems employing piezoresistive materials |
CN111273769B (zh) * | 2020-01-15 | 2022-06-17 | Oppo广东移动通信有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4490851A (en) * | 1982-04-16 | 1984-12-25 | The United States Of America As Represented By The Secretary Of The Army | Two-dimensional image data reducer and classifier |
US4526078A (en) * | 1982-09-23 | 1985-07-02 | Joel Chadabe | Interactive music composition and performance system |
JP2578750B2 (ja) * | 1985-02-08 | 1997-02-05 | 松下電器産業株式会社 | 楽音発生装置 |
JP2578749B2 (ja) * | 1985-02-08 | 1997-02-05 | 松下電器産業株式会社 | 楽音発生装置 |
US4700602A (en) * | 1985-07-01 | 1987-10-20 | Terry Bozzio | Electronic drum |
JPS62209304A (ja) * | 1986-03-10 | 1987-09-14 | Fujitsu Ltd | 寸法測定方法 |
US4852443A (en) * | 1986-03-24 | 1989-08-01 | Key Concepts, Inc. | Capacitive pressure-sensing method and apparatus |
US4987600A (en) * | 1986-06-13 | 1991-01-22 | E-Mu Systems, Inc. | Digital sampling instrument |
CA1251863A (en) * | 1988-02-29 | 1989-03-28 | Kevin Mccarthy | Fish sorting machine |
US4968877A (en) * | 1988-09-14 | 1990-11-06 | Sensor Frame Corporation | VideoHarp |
JPH07113832B2 (ja) * | 1990-01-09 | 1995-12-06 | ヤマハ株式会社 | 電子楽器 |
US4980519A (en) * | 1990-03-02 | 1990-12-25 | The Board Of Trustees Of The Leland Stanford Jr. Univ. | Three dimensional baton and gesture sensor |
-
1990
- 1990-12-05 US US07/622,517 patent/US5288938A/en not_active Expired - Lifetime
-
1991
- 1991-12-04 JP JP34774791A patent/JP3206062B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5288938A (en) | 1994-02-22 |
JPH05158473A (ja) | 1993-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3206062B2 (ja) | 楽音制御方法および装置 | |
USRE47779E1 (en) | Simple electronic musical instrument, player's console and signal processing system incorporated therein | |
US7598449B2 (en) | Musical instrument | |
CN105027192B (zh) | 增强数字音乐表现力的装置和方法 | |
CA2358526C (en) | Electronic stringed musical instrument | |
US11011145B2 (en) | Input device with a variable tensioned joystick with travel distance for operating a musical instrument, and a method of use thereof | |
US6501011B2 (en) | Sensor array MIDI controller | |
US5117730A (en) | String type tone signal controlling device | |
US6376759B1 (en) | Electronic keyboard instrument | |
US6765142B2 (en) | Electronic keyboard musical instrument | |
US20120036982A1 (en) | Digital and Analog Output Systems for Stringed Instruments | |
US7420114B1 (en) | Method for producing real-time rhythm guitar performance with keyboard | |
JPH09237087A (ja) | 電子楽器 | |
US5440070A (en) | Electronic musical instrument having selectable angle-to-tone conversion | |
WO2008019089A2 (en) | Musical instrument | |
GB2430302A (en) | Musical instrument with chord selection system | |
Challis et al. | Applications for proximity sensors in music and sound performance | |
JP2003167574A (ja) | 電子ハイハットシンバル | |
JP2008216715A (ja) | 楽音制御装置および楽音制御処理のプログラム | |
JP2580817B2 (ja) | 楽音制御装置 | |
JP2596218B2 (ja) | 楽音制御装置および打撃情報記憶装置 | |
JP3509120B2 (ja) | 電子楽器 | |
JPH0627947A (ja) | 操作力センスデータ出力装置及びそれを用いた電子楽器 | |
JPH07152374A (ja) | 電子楽器 | |
JPH07111628B2 (ja) | 空気流応答型発音指示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090706 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090706 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |