JP2661508B2 - 電子楽器の楽音制御データ通信方式 - Google Patents

電子楽器の楽音制御データ通信方式

Info

Publication number
JP2661508B2
JP2661508B2 JP5158692A JP15869293A JP2661508B2 JP 2661508 B2 JP2661508 B2 JP 2661508B2 JP 5158692 A JP5158692 A JP 5158692A JP 15869293 A JP15869293 A JP 15869293A JP 2661508 B2 JP2661508 B2 JP 2661508B2
Authority
JP
Japan
Prior art keywords
data
tone control
control data
control
electronic musical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5158692A
Other languages
English (en)
Other versions
JPH0713560A (ja
Inventor
利文 国本
正尋 柿下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP5158692A priority Critical patent/JP2661508B2/ja
Publication of JPH0713560A publication Critical patent/JPH0713560A/ja
Application granted granted Critical
Publication of JP2661508B2 publication Critical patent/JP2661508B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータやミュー
ジックシーケンサ等のコントローラ、電子楽器あるいは
音源モジュールなどの各種の機器間を接続して電子楽器
における楽音を制御するための楽音制御データを通信
し、この楽音制御データに基づいて演奏を行うための電
子楽器の楽音制御データ通信方式に関する。
【0002】
【従来の技術】従来、電子楽器の分野では、例えば一台
のコントローラに電子楽器や音源モジュール等の他の機
器を接続して、コントローラから各機器に楽音制御デー
タを送信することにより複数の機器で同時演奏などがで
きるシステムがある。また、このように異なる機器間で
楽音制御データを通信するための通信方式として、MI
DI規格が知られている。
【0003】このMIDI規格では、例えば、発音を指
示するキーオン信号、消音を指示するキーオフ信号、音
高を指定するキーコード、長音の強弱を指示するアフタ
ータッチデータなど、様々な楽音制御データが決められ
ており、これらの楽音制御データが演奏に応じた順序で
順次通信される。
【0004】
【発明が解決しようとする課題】しかし、MIDI規格
は非同期シリアル通信であり、その転送速度は31.2
5Kbit/sである。このため、キーオン信号やキー
オフ信号などの比較的低頻度で発生するデータの伝送に
は問題はないが、アフタータッチデータやピッチベンド
データなどのように時系列で密度が高くなってしまうデ
ータの伝送を行う場合には、受信側でデータの取りこぼ
しが起こったり、通信伝送路が占領されてしまうことが
あった。
【0005】本発明は、電子楽器の楽音制御データ通信
方式において、前記のような伝送路のトラフィックコン
トロールの問題を解消するとともに低速の伝送路でも充
分な精度で楽音制御データの送受信を行なえるようにす
ることを課題とする。
【0006】
【課題を解決するための手段】上記の課題を解決するた
めになした本発明の電子楽器の楽音制御データ通信方式
は、電子楽器における楽音を制御するための楽音制御デ
ータを順次送信し、該送信される楽音制御データを受信
して該受信した楽音制御データに基づいて楽音を発生す
るための電子楽器の楽音制御データ通信方式において、
前記楽音制御データを受信する受信側に、予め決められ
た特定種類の楽音制御データを抽出するデータ抽出手段
と、前記データ送信のタイミングと独立なクロックで受
信データをリサンプリングするリサンプリング手段と、
低域透過処理を施すフィルタ処理手段とを備え、前記デ
ータ抽出手段で抽出した特定種類の楽音制御データを前
記リサンプリング手段でリサンプリングし、このリサン
プリングしたデータに前記フィルタ処理手段で低域透過
処理を施すことにより、該特定種類の楽音制御データの
特徴を抽出するようにしたことを特徴とする。
【0007】
【作用】本発明の電子楽器の楽音制御データ通信方式に
おいて、アフタータッチデータやピッチベンドデータの
ように通常は時系列で密度が高くなってしまう楽音制御
データを特定種類の楽音制御データとして設定し、送信
側でこの楽音制御データの一部を間引いて送信する。
【0008】一方、受信側では、データ抽出手段で抽出
した特定の楽音制御データをリサンプリング手段でリサ
ンプリングし、このリサンプリングしたデータにフィル
タ処理手段で低域透過処理を施すことにより、間引きさ
れて送信された特定種類の楽音制御データから、その特
徴を抽出する。
【0009】
【実施例】図1は本発明の電子楽器の楽音制御データ通
信方式を適用した電子楽器システムの一実施例を示すブ
ロック図であり、コントローラ10と電子楽器1はIS
DN等の形式で接続されている。コントローラ10に
は、例えばキーコード、アフタータッチデータ、ピッチ
ベンドデータなどの各種データを時系列に配列して構成
した演奏情報が記憶されており、コントローラ10はこ
の演奏情報をMIDIデータのフォーマットでパケット
エンコーダ20に出力する。パケットエンコーダ20は
このMIDIデータをパケット化し、シリアルデータと
して伝送路30に送出する。
【0010】伝送路30に送出されたパケットデータは
パケットデコーダ40に取り込まれ、パケットデコーダ
40はパケットデータをMIDI信号に復号して電子楽
器1に出力する。そして、電子楽器1はMIDI信号を
取り込み、このMIDI信号中の各種MIDIデータに
応じて楽音を発生する。なお、この実施例の電子楽器1
は音源モジュールのように自分自身では操作子を備えて
いないものであるが、鍵盤等の操作子を備えているもの
でもよい。
【0011】ここで、この実施例の電子楽器1における
楽音合成回路は、管楽器の発音形態をシミュレートして
楽音を合成する方式の音源であり、このような楽音合成
回路の技術は例えば特開平4−311995号公報に開
示されている。
【0012】また、このように管楽器モデルをシミュレ
ートする楽音合成回路では、楽音の音高や強弱等の制御
の他に、息圧や唇の押圧力などに応じた音色変化やピッ
チ変化等をシミュレートするために各種回路要素の特性
を制御することが重要であり、通常の電子楽器の場合と
は各種パラメータの与え方が異なっている。したがっ
て、通常の電子楽器を制御する楽音制御データとしての
MIDIデータをそのままパラメータとすることができ
ない。
【0013】例えば、前記特開平4−311995号公
報の楽音合成回路では演奏操作子としてリップコントロ
ーラを用い、吹奏時の息圧を示す息圧信号や唇の押圧力
を示すアンブシュア信号等の物理パラメータを出力し、
これらの物理パラメータに基づいて、楽音合成回路のフ
ィルタ等の回路要素の各アルゴリズムパラメータを求
め、楽音の音色等を制御するようにしている。
【0014】そこで、この実施例では、鍵盤の押鍵圧力
が管楽器の吹奏動作に対応するようにMIDI規格のア
フタータッチデータを物理パラメータの中の息圧データ
に対応付けるようにし、電子楽器1においてこの息圧デ
ータを管楽器のリード(金管楽器のリップリード等)の
動作をシミュレートするためのアルゴリズムパラメータ
に変換する。また、ピッチベンドデータをアンブシュア
データに対応付け、このアンブシュアデータを所定のア
ルゴリズムパラメータに変換する。
【0015】しかし、アフタータッチデータは、鍵盤等
の押鍵圧力を所定のクロックでサンプリングした時系列
なデジタルデータでり、ピッチベンドデータもベンドホ
イール等の操作量をサンプリングした時系列なデジタル
データである。このため、演奏情報の中で、キーコー
ド、キーオンあるいはキーオフ等は発生頻度の低いデー
タであるが、アフタータッチデータやピッチベンドデー
タ等はバルク状の密度の高いデータとなる。
【0016】そこで、コントローラ10は、このアフタ
ータッチデータやピッチベンドデータ等の密度の高いデ
ータを所定の条件に基づいて間引いて送信し、電子楽器
1において、この間引かれているデータから息圧データ
やアンブシュアデータなどの物理パラメータを抽出し、
これらの物理パラメータにそれぞれ対応するアルゴリズ
ムパラメータを生成する。
【0017】例えば、アフタータッチデータやピッチベ
ンドデータは、前記のように押鍵圧力やベンドホイール
等の操作量をそれぞれ量子化したものであるが、この実
施例では、時系列な演奏情報中でこれらのデータの所定
の上位ビットが変化したときだけその上位ビットのデー
タを送信し、これらのデータをさらに量子化して送信デ
ータを間引くようにしている。
【0018】なお、MIDI規格では、1バイト単位で
データを送信するが、この1バイトデータはMSBが
“1”のときステータスバイトと称する一種のコマンド
であり、また、MSBが“0”のとき通常のデータとな
る。したがって、通常のアフタータッチやピッチベンド
の個々のデータ値はMSBを除いた7ビット(0h〜7
Fh)の範囲で表される。
【0019】図2は電子楽器1の要部を示すブロック図
であり、前記パケットデコーダ40からのMIDI信号
は、MIDIインターフェース11を介してパラレルの
MIDIデータに変換されてデータ抽出回路12に入力
され、データ抽出回路12は、入力されるMIDIデー
タからアフタータッチデータやピッチベンドデータな
ど、予め設定された特定のMIDIデータを抽出する。
【0020】そして、データ抽出回路12は、抽出した
特定のMIDIデータを、各データにそれぞれ割り当て
られたデータ制御回路(I) 13−1、データ制御回路(I
I)13−2,…に選択的に出力し、キーコード、キーオ
ン、キーオフ、プログラムチェンジ等の他のMIDIデ
ータは楽音合成回路14に出力する。
【0021】この実施例では、アフタータッチデータが
データ制御回路(I) 13−1に入力され、ピッチベンド
データがデータ制御回路(II)13−2に入力される。な
お、データ抽出回路12から、データ制御回路(I) 13
−1、データ制御回路(II)13−2,…に対応するデー
タを転送するためには、個別のデータ線を設けてもよい
し、時分割制御を行うようにしてもよい。
【0022】データ制御回路(I) 13−1,データ制御
回路(II)13−2,…は、それぞれ割り当てられた特定
のMIDIデータを取り込み、後述説明するようにMI
DIデータに処理を施し、データ制御回路(I) 13−1
はアフタータッチデータから息圧データを生成し、デー
タ制御回路(II)13−2はピッチベンドデータからアン
ブシュアデータを生成して、それぞれのデータを選択割
当装置15に出力する。すなわち、選択割当装置15に
はMIDIデータから生成された物理パラメータが入力
される。
【0023】選択割当装置15はデータ制御回路(I) 1
3−1,データ制御回路(II)13−2,…から入力され
る物理パラメータをこのパラメータの種類に応じて楽音
合成回路14の各部に割り当てる。楽音合成回路14
は、データ抽出回路12から入力されるキーコードKC
と選択割当装置15からの物理パラメータに応じて、前
記特開平4−311995号公報と同様の技術によりア
ルゴリズムパラメータを生成し、このアルゴリズムパラ
メータに基づいて管楽器の楽音信号を合成して出力す
る。
【0024】なお、上記の例では楽音合成回路14でア
ルゴリズムパラメータを生成するようにしているが、選
択割当装置15で各物理パラメータに対応するアルゴリ
ズムパラメータを生成し、このアルゴリズムパラメータ
を楽音制御回路14の各部に出力するようにしてもよ
い。この場合には、図2に破線で示したように、アルゴ
リズムパラメータを生成するための音高情報としてキー
コードKCを選択割当装置15に入力する。
【0025】図3はデータ制御回路13−1,13−2
…のブロック図であり、データリサンプリング回路13
aはデータ抽出回路12で抽出されたMIDIデータ
(間引かれたMIDIデータ)を、データが入力される
毎にラッチし、このラッチしたMIDIデータを所定の
内部クロックCLでサンプリング(リサンプリング)す
る。なお、この内部クロックCLは伝送路30のいかな
るタイミングと同期しなくてもよい。
【0026】データフィルタリング回路13bはデジタ
ルのローパスフィルタ(LPF)13b−1とハイパス
フィルタ(HPF)13b−2を含んでおり、データリ
サンプリング回路13aでリサンプリングされたデータ
をLPF13b−1を通すことで間引かれているMID
Iデータを均し、このLPF13b−1の出力をHPF
13b−2を通すことで均されたデータの微分データを
出力する。
【0027】データフィルタリング回路13bからの微
分データは非線形変換回路13cに出力され、非線形変
換回路13cは例えば半波整流等の非線形変換を行って
レベル調整器13dに出力し、レベル調整器13dでレ
ベル調整したデータを息圧データやアンブシュアデータ
等の物理パラメータとして前記選択割当装置15に出力
する。なお、このような非線形変換の例としは全波整流
や非線形テーブルによる変換でもよい。
【0028】なお、上記の例では、アフタータッチデー
タやピッチベンドデータ等の複数の特定のデータに対応
してデータ制御回路(I) 13−1、データ制御回路(II)
13−2…をそれぞれ設けるようにしているが、各デー
タに対して1つのデータ制御回路を併用し、例えば図5
に示したように、データフィルタリング回路13b'と
非線形変換回路13c' にデータの種類(TYPE)を
指定するとともに、その種類に応じたフィルタ特性を決
めるパラメータ(PARAMS)をデータフィルタリン
グ回路13b' に切換設定できるようにし、時分割制御
で各データについて同様の処理を行うようにしてもよ
い。
【0029】図4は上記のMIDIデータの信号処理の
一例を示す図であり、アフタータッチデータについての
処理を示している。いま、コントローラ10から、図4
(A)のようにアフタータッチデータが間引かれて伝送さ
れたとするとする。このアフタータッチデータは間引か
れることにより時間間隔(数ms〜数百msの間隔)が
不定となっており、このアフタータッチデータは受信さ
れる毎にデータ制御回路(I) 13−1に選択的に入力さ
れる。
【0030】この間引かれたアフタータッチデータはリ
サンプリング回路13aでリサンプリングされて図4
(B) のような信号となり、この信号はローパスフィルタ
(LPF)13b−1を通って図4(C) のように均され
る。次に、このLPF13b−1の出力をHPF13b
−2を通すことで図4(D) のように微分データとなり、
この微分データは非線形変換回路13cで半波整流さ
れ、図4(E) のように同図(C) の出力の正方向への変化
に対応するデータとなる。このデータは、レベル調整器
13dでレベル調整された後、息圧データとして前記選
択割当装置15に出力される。
【0031】以上図4の例は、アフタータッチデータか
ら息圧データを出力するデータ制御回路(I) 13−1の
場合について説明したが、データ制御回路(II)13−2
についても、同様に間引かれているピッチベンドデータ
をLPF13b−1で均し、このピッチベンドデータに
ついては全波整流の非線形変換処理を施してアンブシュ
アデータとして選択割当装置15に出力する。
【0032】このように、データ制御回路(I) 13−
1、データ制御回路(II)13−2により、アフタータッ
チデータから息圧データを、また、ピッチベンドデータ
からアンブシュアデータを抽出することにより、アフタ
ータッチデータおよびピッチベンドデータを間引いて伝
送することができ、伝送路30がこれらのデータで占領
されることなく、かつ、アフタータッチデータおよびピ
ッチベンドデータを楽音制御データとして有効に利用す
ることができる。
【0033】なお、楽音合成回路14は、特開平4−3
11995号公報と同様の技術により、管楽器の物理モ
デルを構成する非線形部および管体線形部におけるフィ
ルタの係数(カットオフ周波数、Q値)、スリット関数
オフセット、ゲイン等のアルゴリズムパラメータを適宜
設定することにより、各種の発音効果を制御することが
できる。そして、これらの制御対象に前記選択割当装置
15で物理パラメータを割り当てることにより、例えば
次のような各種の効果を得ることができる。
【0034】アフタータッチデータ(あるいはブレスデ
ータ)に対してLPF、HPF、半波整流の処理で得ら
れる息圧データの場合、スクリームコントロールに割り
当てると、息圧の増加時にのみ、その傾きに応じたスク
リーム効果が得られ、フリケーティブコントロールに割
り当てると、息圧の増加時にのみ、その傾きに応じてノ
イズの量が増加する。
【0035】また、グローコントロールに割り当てる
と、息圧の増加時にのみ、その傾きに応じたグロー効果
が得られ、スロートコントロールに割り当てると、息圧
の増加時にのみ、その傾きに応じたスロート効果が得ら
れる。さらに、WOWコントロールに割り当てると、息
圧の増加時にのみ、その傾きに応じてフィルタが開閉す
る効果がえられ、アブソーバーコントロールに割り当て
ると、息圧の増加時にのみ、その傾きに応じて管の太さ
が変化する効果が得られる。
【0036】アフタータッチデータ(あるいはブレスデ
ータ)に対してLPFで均した後、大きなQ値を持つバ
ンドパスフィルタによる特徴抽出および図6のような非
線形処理を行ったデータの場合、アンブシュアコントロ
ールにに割り当てると、息圧の立上り時に、カットオフ
周波数でアンブシュアビブラートがかかる。また、スク
リームコントロール、フリケーティブコントロール、グ
ローコントロール、スロートコントロール、WOWコン
トロールに割り当てると、それぞれの効果がLFO(低
周波発振)的に得られる。
【0037】ピッチベンドデータに対してLPF、HP
F、全波整流の処理で得られるデータの場合、スクリー
ムコントロール、フリケーティブコントロール、グロー
コントロール、スロートコントロール、WOWコントロ
ール、アブソーバーコントロールに割り当てると、それ
ぞれの効果が、アンブシュアの立上りおよび立下りで発
生する。
【0038】キーコードデータに対してLPF、HP
F、全波整流の処理で得られるデータの場合、ポルタメ
ントコントロールに割り当てると、ノートオンのキーコ
ードが大きく変化する時にはポルタメントがかかり、小
さな変化ではかからない。
【0039】
【発明の効果】以上説明したように本発明の電子楽器の
楽音制御データ通信方式によれば、コントローラ等から
アフタータッチやピッチベンドデータなどのように通常
は密度の高くなる特定種類の楽音制御データを間引いて
送信し、電子楽器や音源モジュール等の受信側でこの特
定種類の楽音制御データを抽出してリサンプリングし、
このリサンプリングしたデータに低域透過処理を施すこ
とにより、この特定種類の楽音制御データの特徴を抽出
するようにしたので、アフタータッチデータやピッチベ
ンドデータなどの特定のデータによる通信伝送路の占領
が発生しないなど、伝送路のトラフィックコントロール
の問題を解消できるとともに、低速の伝送路でも充分な
精度で楽音制御データの送受信を行うことができる。
【図面の簡単な説明】
【図1】本発明の電子楽器の楽音制御データ通信方式を
適用した電子楽器システムの一実施例を示すブロック図
である。
【図2】本発明実施例における電子楽器の要部を示すブ
ロック図である。
【図3】本発明実施例におけるデータ制御回路のブロッ
ク図である。
【図4】本発明実施例におけるMIDIデータの信号処
理の一例を示す図である。
【図5】本発明実施例におけるデータ制御回路の他の例
を示すブロック図である。
【図6】本発明実施例における非線形処理の一例を示す
図である。
【符号の説明】
1…電子楽器、10…コントローラ、11…MIDIイ
ンターフェース、12…データ抽出回路、13−1,1
3−2…データ制御回路、13a…リサンプリング回
路、13b…データフィルタリング回路、13b−1…
ローパスフィルタ、14…楽音合成回路、15…選択割
当装置、30…伝送路。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 電子楽器における楽音を制御するための
    楽音制御データを順次送信し、該送信される楽音制御デ
    ータを受信して該受信した楽音制御データに基づいて楽
    音を発生するための電子楽器の楽音制御データ通信方式
    において、 前記楽音制御データを受信する受信側に、予め決められ
    た特定種類の楽音制御データを抽出するデータ抽出手段
    と、前記データ送信のタイミングと独立なクロックで受
    信データをリサンプリングするリサンプリング手段と、
    低域透過処理を施すフィルタ処理手段とを備え、 前記データ抽出手段で抽出した特定種類の楽音制御デー
    タを前記リサンプリング手段でリサンプリングし、この
    リサンプリングしたデータに前記フィルタ処理手段で低
    域透過処理を施すことにより、該特定種類の楽音制御デ
    ータの特徴を抽出するようにしたことを特徴とする電子
    楽器の楽音制御データ通信方式。
JP5158692A 1993-06-29 1993-06-29 電子楽器の楽音制御データ通信方式 Expired - Fee Related JP2661508B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5158692A JP2661508B2 (ja) 1993-06-29 1993-06-29 電子楽器の楽音制御データ通信方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5158692A JP2661508B2 (ja) 1993-06-29 1993-06-29 電子楽器の楽音制御データ通信方式

Publications (2)

Publication Number Publication Date
JPH0713560A JPH0713560A (ja) 1995-01-17
JP2661508B2 true JP2661508B2 (ja) 1997-10-08

Family

ID=15677275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5158692A Expired - Fee Related JP2661508B2 (ja) 1993-06-29 1993-06-29 電子楽器の楽音制御データ通信方式

Country Status (1)

Country Link
JP (1) JP2661508B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69735415T2 (de) 1996-05-07 2006-09-28 Yamaha Corp., Hamamatsu Verfahren und System zur Übertragung von Audiodaten mit Zeitstempel
KR101692261B1 (ko) 2016-08-16 2017-01-03 에스씨엠주식회사 마그네슘 합금으로 이루어진 양궁핸들의 제조방법.

Also Published As

Publication number Publication date
JPH0713560A (ja) 1995-01-17

Similar Documents

Publication Publication Date Title
US7579543B2 (en) Electronic musical apparatus and lyrics displaying apparatus
KR100270433B1 (ko) 가라오케 장치
JPH09127941A (ja) 電子楽器
JP2661508B2 (ja) 電子楽器の楽音制御データ通信方式
JPH0413717B2 (ja)
JP2610139B2 (ja) 楽音発生装置
JP4218624B2 (ja) 楽音データ生成方法及び装置
JP2692672B2 (ja) 楽音信号発生装置
US4333376A (en) Apparatus for reinforcing notes selected by more than one key
JP2560348B2 (ja) 楽音信号発生装置
JP2508138B2 (ja) 楽音信号発装置
JP3414150B2 (ja) コーラス効果付与装置
JP2722482B2 (ja) 楽音発生装置
JPH0715640B2 (ja) 音響解析装置の合成装置
KR100264389B1 (ko) 키변환 기능을 갖는 컴퓨터 음악반주기
JP3549689B2 (ja) 電子楽器における楽音波形作成方法及び楽音発生方法、並びにこれらの装置
JP3493853B2 (ja) 演奏データ変換装置
JP2007193151A (ja) 楽音制御装置および楽音制御処理のプログラム
JP3648783B2 (ja) 演奏データ処理装置
JP2707877B2 (ja) 楽音信号形成装置
JPH0690616B2 (ja) 電子楽器のデ−タ通信装置
JP2527077B2 (ja) 電子楽器
JP2605667B2 (ja) 電子楽器の入力制御装置
JPH02192259A (ja) デジタル音楽情報の出力装置
JPH05181463A (ja) 楽音信号発生装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970513

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080613

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 16

LAPS Cancellation because of no payment of annual fees