JP3525492B2 - 楽音信号合成装置 - Google Patents

楽音信号合成装置

Info

Publication number
JP3525492B2
JP3525492B2 JP12395394A JP12395394A JP3525492B2 JP 3525492 B2 JP3525492 B2 JP 3525492B2 JP 12395394 A JP12395394 A JP 12395394A JP 12395394 A JP12395394 A JP 12395394A JP 3525492 B2 JP3525492 B2 JP 3525492B2
Authority
JP
Japan
Prior art keywords
data
section
frame
tone
musical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12395394A
Other languages
English (en)
Other versions
JPH07334162A (ja
Inventor
康 大谷
茂樹 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP12395394A priority Critical patent/JP3525492B2/ja
Publication of JPH07334162A publication Critical patent/JPH07334162A/ja
Application granted granted Critical
Publication of JP3525492B2 publication Critical patent/JP3525492B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、いわゆる分析合成系
の楽音信号合成装置に関し、特に、区間楽音データの接
続部の連続性の改善およびループ時の単調さの改善に関
する。
【0002】
【従来の技術】本出願人は、従来より、特願平3−27
1183号,特願平3−282988号などで分析合成
系の音源を提案している。この分析合成系の音源は、波
形メモリ型の音源の特長である原音の再現性の良さを備
えているとともに、FM音源などの基本波合成系の音源
の特長である波形の加工性の良さを兼ね備えたものであ
る。すなわち、音声信号の周波数スペクトルにおける複
数個(128個程度)のピークに対応する基本波形デー
タ(sin波)を発生してこれを加算合成することによ
り、殆ど原音と同一の波形を再現することができ、且
つ、波形メモリ型音源に比べてデータ量を小さくするこ
とができる。さらに、原音波形からピークデータ(周波
数データ,強度データ)として特徴が抽出されているた
め、これを加工することにより、音色の加工も容易であ
る。
【0003】
【発明が解決しようとする課題】このような分析合成系
の音源においても、長時間継続する楽音信号を合成する
ためには、波形メモリ型音源と同様に同一の区間(ルー
プ区間)を繰り返して読み出すループ処理が必要とな
る。しかし、単純なループではループの接続部が不連続
になってノイズの原因になったり、同じループ区間が変
化なく繰り返されて単調になったりする不都合があっ
た。また、ループ区間の最終フレームと先頭フレームの
データが不連続な場合やループ区間の最終フレームと次
の区間楽音データの先頭フレームが不連続な場合には、
この区間の結合部でノイズが発生して聞きづらくなる場
合があった。
【0004】この発明は、分析合成系の音源において、
区間楽音データと区間楽音データとの間に補間フレーム
を挿入することにより区間楽音データの結合を滑らかに
するとともに、ループする区間楽音データを次の区間楽
音データに向けて補間しながらループしてゆくことによ
りループ区間を滑らかに移行させるようにした楽音信号
合成装置を提供することを目的とする。
【0005】
【課題を解決するための手段】この出願の請求項1の発
明は、楽音波形データの周波数スペクトルから抽出され
た所定個数のピークの周波数データおよび強度データか
らなるフレームデータを時系列に複数フレーム配列した
区間楽音データを記憶する記憶手段と、該区間楽音デー
タを連続して読み出し出力する読出手段とを備えた楽音
信号合成装置であって、前記読出手段に、区間楽音デー
タの最終フレームを読み出し出力したのち、次の区間楽
音データの先頭フレームを読み出し出力するまえに、該
最終フレームと先頭フレームとを補間する1または複数
の補間フレームデータを生成出力する補間フレーム挿入
手段を備えたことを特徴とする。
【0006】この出願の請求項2の発明は、前記読出手
段を1つの区間楽音データを繰り返して読み出す手段と
したことを特徴とする。
【0007】この出願の請求項3の発明は、前記記憶手
段を複数の区間楽音データを記憶する手段とし、前記読
出手段を複数の区間楽音データを連続して読み出す手段
としたことを特徴とする。
【0008】この出願の請求項4の発明は、楽音波形デ
ータの周波数スペクトルから抽出された所定個数のピー
クの周波数データおよび強度データからなるフレームデ
ータを時系列に複数フレーム配列した区間楽音データを
複数区間記憶する記憶手段と、該区間楽音データを連続
して読み出し出力する読出手段とを備えた楽音信号合成
装置であって、前記読出手段に、第1の区間楽音データ
を読み出し出力したのち、第2の区間楽音データを読み
出し出力するまえに、該第1の区間楽音データと第2の
区間楽音データとを補間する1または複数の補間区間楽
音データを生成出力する補間区間挿入手段を備えたこと
を特徴とする。
【0009】
【0010】
【0011】
【作用】請求項1の発明において、区間楽音データは複
数のフレームデータからなっている。第1の区間楽音デ
ータを読み出したのち、次の区間楽音データまたはルー
プする場合には同一の区間楽音データを読み出すが、前
記第1の区間楽音データの最終フレームが次に読み出す
区間楽音データの先頭フレームと連続性があるとは限ら
ないため、この最終フレームと先頭フレームとの間に補
間フレームを挿入する。補間フレームは前記最終フレー
ムから先頭フレームに向けてデータの連続性を実現する
ように生成される。これにより、どのような区間楽音デ
ータが結合される場合でも、データの連続性を保つこと
ができる。結合される区間楽音データは同一の区間楽音
データでも異なる区間楽音データでもよい。
【0012】請求項4の発明では、区間第1の区間楽音
データから第2の区間楽音データに移行する場合に、こ
れら第1,第2の区間楽音データの間に1または複数の
補間区間楽音データを挿入する。これにより、区間楽音
データの連続性を区間楽音データ全体で実現することが
できる。この補間区間楽音データは、例えば、第1の区
間楽音データをループしながら、そのデータ内容を第2
の区間楽音データに徐々に接近させてゆくことによっ
て、生成することができる。
【0013】
【0014】
【0015】
【実施例】まず、図1〜図5を参照してこの発明の実施
例である楽音信号合成装置が楽音信号合成のために用い
るフレームデータの構造について説明する。図1は1つ
の楽音波形をフレームに分割する方式を説明する図であ
る。図2は各フレームの周波数特性を分析するフィルタ
構成を説明する図である。図3は各チャンネルにおける
データ抽出の方式を説明する図である。図4は1つの楽
音波形から複数の区間楽音データの切り出し方式を説明
する図である。図5は複数の区間楽音データからなるボ
イスデータの構成を示す図である。
【0016】楽音信号は発音から消音までを32kHz
の周波数でサンプリングされ、ディジタルの楽音波形デ
ータとされる。この楽音波形データから連続する204
8サンプルを抽出して1フレームとする。この1フレー
ムの楽音波形データをフーリエ解析して周波数スペクト
ルを求め、これを図2に示すようなフィルタアレイによ
って128チャンネルの周波数帯域に分割する。フィル
タアレイの各フィルタ毎に、その周波数帯域におけるピ
ークの周波数データとその強度データを抽出する(図3
参照)。このようにして1フレームにつき、128個の
ピークデータ(周波数データ,強度データ)が抽出され
る。これをフレームデータとする。このフレームデータ
は楽音信号合成時には瞬時値データとして扱われ、これ
を時系列に連続して読み出すことによって楽音波形デー
タが再合成される。楽音波形データからのフレームの切
り出しは、図1に示すように楽音波形データの先頭(発
音時)から最後尾(消音)まで6サンプル(2ms)毎
にオーバーラップして行われる。楽音波形データは通
常、アタック部,第1ディケイ部,第2ディケイ部,リ
リース部などの構成部からなるが、そのそれぞれを区間
楽音データとして切り出し、これをボイスデータとして
記憶する。第2ディケイ部は他の部分に比して非常に長
く、また、発音時間の長短によって長さが変化するた
め、標準的な1または2の区間を切り出し、発音時間に
合わせてこの区間楽音データを繰り返し読み出す(ルー
プする)ことによって楽音信号の継続的発音を可能にす
る。したがって、本実施例においてボイスデータは、図
4,図5に示すように、アタック部の区間楽音データで
ある区間楽音データA,第1ディケイ部の区間楽音デー
タである区間楽音データB,第2ディケイ部(サスティ
ン部)の区間楽音データである区間楽音データC,区間
楽音データD、さらに、リリース部の区間楽音データで
ある区間楽音データEからなり、また、各区間楽音デー
タの代表データもボイスデータに含まれるものとする。
このボイスデータは、1つの区間楽音データをループし
ながら次の区間楽音データに移行する場合の補間に用い
るデータである。区間楽音データの補間については後述
する。
【0017】なお、各区間楽音データは、全フレームデ
ータの強度レベルが同じになるように正規化されてい
る。すなわち、0ch〜127chの強度データMag
0 〜Mag127 の2乗の和が一定になるように、各フレ
ーム毎に強度データの全体レベルを均等に増減してい
る。
【0018】このボイスデータを用いて楽音信号を合成
する場合には、フレームデータを読み出し、各ピークデ
ータの周波数データで指示される周波数の基本波形デー
タをその強度データで指示される強度で発生してこれら
を加算合成する。フレームデータの読み出しは6サンプ
リングタイミング(2ms)毎に行い、その間の5サン
プリングタイミングの間は各データを直線補間すればよ
い。なお、下記の実施例の図6ではフレーム間補間部2
0までしか図示していないが、このフレーム間補間部2
0以下に基本波形データを発生して合成する合成部、音
高をシフトするシフト部などが接続されているものとす
る。
【0019】図6はこの発明の実施例である楽音信号合
成装置のブロック図である。この楽音信号合成装置の動
作制御はフレーム進行制御部10が行う。フレーム進行
制御部10には制御データを発生する装置として演奏操
作子21,目標フレーム決定部22が接続されている。
演奏操作子21は、演奏操作に基づいてKON/KOF
信号をフレーム進行制御部10に入力するとともに演奏
操作量データを目標フレーム決定部22に入力する。目
標フレーム決定部22には、この演奏操作子21の外に
ランダム値発生器23も接続されている。目標フレーム
決定部22は、ランダム値発生器23から入力されるラ
ンダム値および演奏操作子21から入力される演奏操作
量データに基づいてミラーループ時の折り返しフレーム
(目標フレーム)を決定してフレーム進行制御部10に
入力する。ミラーループおよび目標フレーム決定方式の
詳細は後述する。
【0020】一方、この装置には、楽音信号を合成する
装置として記憶部11,スタートフレームラッチ12,
エンドフレームラッチ13,補間部14,セレクタ1
5,変化比率補間部16,乗算器17,ピッチEG付与
部18,AEG付与部19,フレーム間補間部20が設
けられている。
【0021】記憶部11には、図5に示すボイスデータ
が1または複数記憶されている。KON信号が入力され
ると、フレーム進行制御部10は記憶部11をアクセス
してフレームデータを読み出す。フレームデータの読み
出しは、区間楽音データA→B→‥‥→Eの順に行われ
る。また、このうち区間楽音データC,区間楽音データ
Dは複数回繰り返して読み出される場合がある。記憶部
11から読み出されたフレームデータはセレクタ15,
乗算器17を介してピッチEG付与部18,AEG付与
部19に入力される。ピッチEG付与部18にはフレー
ムデータ(ピークデータ)のうち周波数データFrqが
入力され、AEG付与部19にはフレームデータのうち
強度データMagが入力される。ピッチEG付与部18
およびAEG付与部19は波形メモリを内蔵しており、
それぞれ周波数データの揺らぎ波形,強度データの揺ら
ぎ波形を記憶している。この揺らぎ波形のデータ長は記
憶部11に記憶されている区間楽音データのデータ長と
異なる長さにされ、且つ、波形メモリの容量が許す限り
できるだけ長いものにされている。これにより、区間楽
音データC,区間楽音データDがループしている場合で
も、このループと揺らぎ波形のループとが周期的にず
れ、単調さを無くすことができる。また、周波数データ
の揺らぎ波形と強度データの揺らぎ波形をそれぞれ異な
る波形,異なるデータ長とすることにより、聴感上のル
ープ感をより無くすことができる。
【0022】ピッチEG,AEGが付与されたフレーム
データはフレーム間補間部20に入力される。フレーム
データは上述したように6サンプリングタイミング毎に
生成されているデータであるため、フレーム間補間部
は、20入力された2つのフレームデータに基づき、そ
の間の5サンプリングタイミングのフレームデータを補
間により生成する。フレーム間補間部20から出力され
るサンプリングタイミング毎のフレームデータは、図外
の合成部に入力される。合成部は入力されるフレームデ
ータに基づいて楽音信号を合成する。
【0023】次に、連続して読み出される区間楽音デー
タ間を補間する構成について説明する。区間楽音データ
最終フレームと次の(ループする場合には同一の)区間
楽音データの先頭フレームとを直接接合して読み出す
と、データが不連続となる場合があるため、これらを滑
らかに接合しデータの連続性を高めるため、図7(B)
のように区間楽音データと区間楽音データとの間に1ま
たは複数フレーム(同図では4フレーム)の補間フレー
ムを設ける。このための回路がスタートフレームラッチ
12,エンドフレームラッチ13,補間部14およびセ
レクタ15である。1つの区間楽音データの読み出しが
終了するとその区間楽音データの最終フレーム(エンド
フレーム)のデータをエンドフレームラッチ13に記憶
する。次に読み出す区間楽音データの最初のフレームデ
ータ(スタートフレーム)をスタートフレームラッチ1
2に入力する。ラッチ12,13に対するラッチ信号は
フレーム進行制御部10が出力する。フレーム進行制御
部10は、記憶部11に記憶されているボイスデータ
(区間楽音データ)の記憶エリアを認識しており、記憶
部11をアクセスするアドレスによって区間楽音データ
の終了を判断することができるため、そのタイミングに
ラッチ信号を出力する。また、フレーム進行制御部10
は補間部14に対して補間フレーム数データを出力す
る。補間部14はこの補間フレーム数データに応じてエ
ンドフレームデータとスタートフレームデータとの間を
補間し、該フレーム数の補間フレームデータを出力す
る。セレクタ15は、フレーム進行制御部10から出力
される補間中信号により記憶部1側から補間部14側に
切り換えられ、補間部14が補間フレームデータを出力
している間は、の補間部14が出力するフレームデータ
を乗算器17に出力する。なお、補間フレーム数は補間
フレーム数決定パラメータによって決定される。
【0024】次に、ループにより繰り返し読み出される
区間楽音データを次に読み出される別の区間楽音データ
に向けて補間してゆく構成について説明する。図7
(A)のように区間楽音データCを複数回ループしたの
ち区間楽音データDに移行する場合、区間楽音データC
の内容を徐々に区間楽音データDに近づけてゆき、最終
的に区間楽音データDを読み出すことにより、滑らかな
区間楽音データの移行を実現することができる。このた
めの構成が変化比率補間部16および乗算器17であ
る。上述したように記憶部11には、ボイスデータとし
て各区間楽音データおよび各区間楽音データの代表デー
タが記憶されている。変化比率補間部16には、区間楽
音データCをループしているとき記憶部11から区間楽
音データCの代表データcおよび区間楽音データDの代
表データdが入力される。また、区間楽音データCの総
ループ回数および現在何回ループしているかの回数デー
タがフレーム進行制御部10から入力される。これらの
データに基づいて、
【0025】
【数1】
【0026】の演算を実行し、係数値aを乗算器17に
出力する。これにより、図7(A)のような区間楽音デ
ータCの内容をループする毎に区間楽音データDに近づ
けてゆく区間楽音データの補間を実現することができ
る。なお、区間楽音データの代表データは、例えば、該
区間楽音データに含まれる全フレームの0chの(基本
周波数)の周波数データFrq0 ,強度データMag0
の平均値とすればよい。
【0027】ここで、上記実施例では、ループ処理はル
ープする区間楽音データの先頭フレームから最終フレー
ムまで順次読み出す方式としているが、ループ時の単調
さを無くすためランダムミラーループという方式を採用
することもできる。以下本発明で採用したランダムミラ
ーループについて説明する。ランダムミラーループは、
図8に示すようにループする区間楽音データの先頭フレ
ームSと最終フレームEとの間を折り返しながら繰り返
し読み出す方式である。この場合において、tn を全く
ランダムに決定すると聴感的に不自然になるため、上述
のランダム発生器23が発生したランダム値をループ区
間長および演奏操作子21の操作量データに基づいて制
限を加え、ループ区間が極端に長短しないようにしてい
る。このため、目標フレーム決定部22が以下の演算を
実行する。
【0028】
【数2】
【0029】これにより、極端なループ長の変動がなく
なり、不自然さが解消される。この場合において、演奏
操作量データが大きいときにはループ区間を短くして頻
繁に折り返すようにし、演奏操作量データが小さいとき
にはループ区間を長くして折り返す回数を少なくするな
どのリアルタイム制御をすることにより、ループ感を演
奏効果の一つとして活用することもできる。なお、この
演算をフレーム進行制御部10が行うようにしてもよ
い。
【0030】
【発明の効果】以上のようにこの発明によれば、区間楽
音データを連続して読み出す場合に、区間楽音データ間
に補間フレームを挿入することにより、区間楽音データ
間の連続性を実現することができる。
【0031】また、1つの区間楽音データを複数回読み
出したのち次の区間楽音データに移行する場合におい
て、該1つの区間楽音データを次の区間楽音データに向
けて補間することにより、区間楽音データをループした
のち次の区間楽音データに移行する場合であっても、連
続性を維持しながら、補間することができる。
【0032】
【図面の簡単な説明】
【図1】楽音波形データからのフレーム切り出し方式を
説明する図
【図2】フレームデータからピークデータを抽出するフ
ィルタアレイの構成を説明する図
【図3】1つのピークデータの内容を示す図
【図4】楽音波形データから切り出された区間楽音デー
タを示す図
【図5】複数の区間楽音データからなるボイスデータの
構成を示す図
【図6】この発明の実施例である楽音信号合成装置のブ
ロック図
【図7】同楽音信号合成装置の記憶部に記憶される区間
楽音データの内容を示す図
【図8】同区間楽音データのランダムループ方式を説明
する図
【符号の説明】
11−記憶部 12−スタートフレームラッチ 13−エンドフレームラッチ 14−補間部 16−変化比率補間部 21−演奏操作子
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−108077(JP,A) 特開 平4−215700(JP,A) 特開 平5−119779(JP,A) 特開 平5−119781(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10H 1/00 - 7/12

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 楽音波形データの周波数スペクトルから
    抽出された所定個数のピークの周波数データおよび強度
    データからなるフレームデータを時系列に複数フレーム
    配列した区間楽音データを記憶する記憶手段と、該区間
    楽音データを連続して読み出し出力する読出手段と、を
    備えた楽音信号合成装置であって、 前記読出手段に、区間楽音データの最終フレームを読み
    出し出力したのち、次の区間楽音データの先頭フレーム
    を読み出し出力するまえに、該最終フレームと先頭フレ
    ームとを補間する1または複数の補間フレームデータを
    生成出力する補間フレーム挿入手段を備えたことを特徴
    とする楽音信号合成装置。
  2. 【請求項2】 前記読出手段は、1つの区間楽音データ
    を繰り返して読み出す手段である請求項1記載の楽音信
    号合成装置。
  3. 【請求項3】 前記記憶手段は、複数の区間楽音データ
    を記憶する手段であり、前記読出手段は、複数の区間楽
    音データを連続して読み出す手段である請求項1記載の
    楽音信号合成装置。
  4. 【請求項4】 楽音波形データの周波数スペクトルから
    抽出された所定個数のピークの周波数データおよび強度
    データからなるフレームデータを時系列に複数フレーム
    配列した区間楽音データを複数区間記憶する記憶手段
    と、該区間楽音データを連続して読み出し出力する読出
    手段と、を備えた楽音信号合成装置であって、 前記読出手段に、第1の区間楽音データを読み出し出力
    したのち、第2の区間楽音データを読み出し出力するま
    えに、該第1の区間楽音データと第2の区間楽音データ
    とを補間する1または複数の補間区間楽音データを生成
    出力する補間区間挿入手段を備えたことを特徴とする楽
    音信号合成装置。
JP12395394A 1994-06-06 1994-06-06 楽音信号合成装置 Expired - Fee Related JP3525492B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12395394A JP3525492B2 (ja) 1994-06-06 1994-06-06 楽音信号合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12395394A JP3525492B2 (ja) 1994-06-06 1994-06-06 楽音信号合成装置

Publications (2)

Publication Number Publication Date
JPH07334162A JPH07334162A (ja) 1995-12-22
JP3525492B2 true JP3525492B2 (ja) 2004-05-10

Family

ID=14873438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12395394A Expired - Fee Related JP3525492B2 (ja) 1994-06-06 1994-06-06 楽音信号合成装置

Country Status (1)

Country Link
JP (1) JP3525492B2 (ja)

Also Published As

Publication number Publication date
JPH07334162A (ja) 1995-12-22

Similar Documents

Publication Publication Date Title
US20020178006A1 (en) Waveform forming device and method
EP1039442B1 (en) Method and apparatus for compressing and generating waveform
US5862232A (en) Sound pitch converting apparatus
JP3654083B2 (ja) 波形生成方法及び装置
JP3654079B2 (ja) 波形生成方法及び装置
JP3654080B2 (ja) 波形生成方法及び装置
JP3654117B2 (ja) 時間軸方向における楽音波形信号の伸縮方法
JP3525492B2 (ja) 楽音信号合成装置
JP3654084B2 (ja) 波形生成方法及び装置
Dutilleux et al. Time‐segment Processing
US6300552B1 (en) Waveform data time expanding and compressing device
JP2001117578A (ja) ハーモニー音付加装置及び方法
JP2002287758A (ja) 波形編集方法および波形編集装置
WO2006043790A1 (en) Apparatus and method for reproducing midi file
JPH07295589A (ja) 波形処理装置
JP2002175080A (ja) 波形データ生成方法、波形データ生成装置および記録媒体
JP2712943B2 (ja) 音源装置
JP2990897B2 (ja) 音源装置
JP3018659B2 (ja) 楽音波形合成装置
JP3095018B2 (ja) 楽音発生装置
JP3525482B2 (ja) 音源装置
JP3520931B2 (ja) 電子楽器
JP3112743B2 (ja) 音源装置
JP2794561B2 (ja) 波形データ発生装置
JP2959240B2 (ja) 音源装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110227

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees