JP3109205B2 - Quantizer - Google Patents

Quantizer

Info

Publication number
JP3109205B2
JP3109205B2 JP04000935A JP93592A JP3109205B2 JP 3109205 B2 JP3109205 B2 JP 3109205B2 JP 04000935 A JP04000935 A JP 04000935A JP 93592 A JP93592 A JP 93592A JP 3109205 B2 JP3109205 B2 JP 3109205B2
Authority
JP
Japan
Prior art keywords
quantization
time
note
time length
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04000935A
Other languages
Japanese (ja)
Other versions
JPH05181461A (en
Inventor
慈明 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP04000935A priority Critical patent/JP3109205B2/en
Publication of JPH05181461A publication Critical patent/JPH05181461A/en
Application granted granted Critical
Publication of JP3109205B2 publication Critical patent/JP3109205B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Auxiliary Devices For Music (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は自動採譜装置等に係わ
り、特に採譜処理回路により採譜された音符群の開始時
刻、及び小節境界時刻を入力とし、演奏スピードの変化
や採譜処理回路の処理精度等を原因とする音符群の開始
時刻のゆらぎを吸収するための量子化装置に関するもの
である。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic transcription apparatus and the like. The present invention relates to a quantization apparatus for absorbing fluctuations in the start time of a musical note group due to factors such as the above.

【0002】[0002]

【従来の技術】採譜された音符情報には演奏スピードの
変化や採譜処理回路の処理精度等を原因とする開始時刻
のゆらぎが存在し、そのため楽譜等に符号化すると半端
な長さの音符が出力されることがある。 従来、この種
の自動採譜装置等に用いられる量子化装置においては、
この採譜された音符群に対する時間軸のゆらぎを吸収す
るために、3分の1拍、もしくは4分の1拍の時間長の
いずれかを利用者が選択し、その時間長により音符の量
子化を行っていた。3分の1拍、もしくは4分の1拍を
量子化時間長として選ぶ理由は、3分の1拍の時間長に
より量子化すると3連符が量子化後の音符の最小単位と
なり、4分の1拍の時間長により量子化すると16分音
符が量子化後の音符の最小単位となることに加え、多く
の楽曲はこのどちらかの音符を最小単位として構成され
ている為である。
2. Description of the Related Art Transcribed note information has fluctuations in start time due to changes in performance speed, processing accuracy of a transcription processing circuit, and the like. Therefore, when encoded into a musical score or the like, odd-length notes are generated. May be output. Conventionally, in a quantization device used for this type of automatic music transcription device and the like,
In order to absorb the fluctuation of the time axis for the transcribed note group, the user selects either a third beat or a quarter beat time length, and quantizes the note according to the time length. Had gone. One-third beat or one-quarter beat is selected as the quantization time length because, when quantized by the time length of one-third beat, the triplet becomes the minimum unit of the quantized note and becomes four minutes. This is because, when quantized by the time length of one beat, the sixteenth note becomes the minimum unit of the quantized note, and many songs are configured with one of these notes as the minimum unit.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、上記従
来の量子化装置においては、利用者が量子化時間長を装
置に指示しなければならず、利用者はその判断能力が必
要であった。
However, in the above-mentioned conventional quantization device, the user has to instruct the quantization time length to the device, and the user needs the judgment ability.

【0004】本発明は、上述した問題点を解決するもの
であり、自動的に量子化時間長を3分の1拍、もしくは
4分の1拍のいずれか適した方に決定し、その量子化時
間長によって音符の開始時刻を量子化することにより、
利用者の負担を減らすことを可能とした量子化装置を提
供することを目的としている。
The present invention solves the above-mentioned problem, and automatically determines the quantization time length to be one-third or one-fourth, whichever is more appropriate. By quantizing the starting time of the note by the quantization time length,
It is an object of the present invention to provide a quantization device capable of reducing a burden on a user.

【0005】[0005]

【課題を解決するための手段】この目的を達成するため
に本発明の量子化装置は、採譜された音符群の開始時刻
を3分の1拍の時間長により量子化した場合の量子化誤
差の総和、及び4分の1拍の時間長により量子化した場
合の量子化誤差の総和を算出する量子化誤差算出手段
と、前記2つの量子化誤差の総和を比較する比較手段
と、前記比較手段の結果、量子化誤差の総和の小さい方
の量子化時間長により、採譜された音符群の開始時刻を
量子化する量子化手段とを備えている。
In order to achieve this object, a quantization apparatus according to the present invention provides a quantization error when a start time of a transcribed note group is quantized by a time length of 1/3 beat. A quantization error calculating means for calculating a sum of quantization errors when quantized by a time length of a quarter beat, and a comparing means for comparing the sum of the two quantization errors. As a result of the means, there is provided a quantization means for quantizing the start time of the transcribed note group by the quantization time length of the smaller sum of the quantization errors.

【0006】[0006]

【作用】上記構成を有する本発明の量子化装置は、量子
化誤差算出手段が、前記採譜された音符群の開始時刻を
3分の1拍の時間長により量子化した場合の量子化誤差
の総和、及び4分の1拍の時間長により量子化した場合
の量子化誤差の総和を算出する。そして、比較手段が前
記2つの量子化誤差の総和を比較し、量子化手段が前記
比較手段の結果、量子化誤差の総和の小さい方の量子化
時間長により採譜された音符群の開始時刻を量子化す
る。
According to the quantization apparatus of the present invention having the above configuration, the quantization error calculating means quantizes the start time of the transcribed note group by a time length of 1/3 beat. The sum and the sum of quantization errors when quantized by the time length of a quarter beat are calculated. Then, the comparing means compares the sum of the two quantization errors, and the quantizing means calculates the start time of the musical note group transcribed based on the smaller quantization time length of the sum of the quantization errors as a result of the comparing means. Quantize.

【0007】[0007]

【実施例】以下、本発明を具体化した一実施例を図面を
参照して説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below with reference to the drawings.

【0008】本実施例の自動採譜装置等に用いられる量
子化装置は、図1に示すように構成されている。CPU
1は採譜処理回路7により採譜された音符群の開始時刻
に対する量子化誤差の総和の算出処理、音符群の開始時
刻の量子化処理等を行ない、RAM2、及びROM3に
接続されている。前記RAM2には前記採譜処理回路7
により採譜された音符群の開始時刻のデータ、小節境界
時刻のデータ等が格納されるエリアが用意されている。
前記ROM3には量子化誤差の総和を算出するロジッ
ク、音符群の開始時刻の量子化ロッジク等が格納されて
いる。ディスプレイ4は処理結果等の表示を行なう。キ
ーボード5は拍子数、小節境界時刻等の入力を行なう。
採譜処理回路7は音符の開始時刻、音程、強さ、長さ等
の音符情報の抽出を行う回路であり、前記音符情報をI
/Oポート6を介しCPU1に受け渡す。前記採譜処理
回路7としては鍵盤型キーボードの接点情報を利用した
回路や、演奏された楽曲を音響的に取り込み信号処理技
術により採譜処理を行なう回路等が一般に知られてい
る。前記I/Oポート6はCPU1と、ディスプレイ
4、キーボード5、及び採譜処理回路7とを接続してい
る。
The quantization device used in the automatic music transcription device and the like of the present embodiment is configured as shown in FIG. CPU
Reference numeral 1 denotes a RAM 2 and a ROM 3 which perform a process of calculating the sum of quantization errors with respect to the start time of the note group transcribed by the transcription process circuit 7 and a process of quantizing the start time of the note group. The RAM 2 has the transcription processing circuit 7
An area is provided for storing the data of the start time of the musical note group transcribed by the above, the data of the bar boundary time, and the like.
The ROM 3 stores a logic for calculating the sum of the quantization errors, a quantization log of the start time of the musical note group, and the like. The display 4 displays processing results and the like. The keyboard 5 inputs the number of beats, bar boundary time, and the like.
The music notation processing circuit 7 is a circuit for extracting note information such as a note start time, a pitch, a strength, and a duration.
Delivered to CPU 1 via / O port 6. As the music notation processing circuit 7, a circuit using contact information of a keyboard type keyboard, a circuit for acoustically taking in a played musical piece and performing a music notation processing by a signal processing technique are generally known. The I / O port 6 connects the CPU 1, the display 4, the keyboard 5, and the transcription processing circuit 7.

【0009】以下、本実施例の動作について図2〜図4
を参照して説明する。
The operation of this embodiment will now be described with reference to FIGS.
This will be described with reference to FIG.

【0010】図2は本実施例により行なわれる処理を示
すフローチャートである。
FIG. 2 is a flowchart showing the processing performed by this embodiment.

【0011】まず始めに、CPU1は前記採譜処理回路
7により採譜され、前記RAM2に格納されている全て
の音符の開始時刻を3分の1拍の時間長により量子化
し、その時の量子化誤差の総和D3を算出する。
First, the CPU 1 quantizes the start times of all the notes that have been transcribed by the transcription processing circuit 7 and stored in the RAM 2 by the time length of one third beat, and the quantization error at that time. It calculates the sum D 3.

【0012】ここで、3分の1拍の時間長による量子化
処理について簡単に説明する。予め分かっている楽曲の
拍子数をTとすると、n番目の音符の開始時刻tnは量
子化処理により、1小節を3×T等分に分割した時刻の
うち最も近接する時刻tqnに近似される。例としてT=
4拍子の場合を図3を参照して説明する。図中の横軸は
時間軸であり、BS、BEは前記RAM2上に格納されて
いる小節境界時刻の内、tnを含む小節の始端境界時
刻、及び終端境界時刻である。q0,q1,・・・,q11
はこの小節を12等分(3×T)に分割した時刻であ
る。図3において、n番目の音符の開始時刻tnを量子
化すると、tnはq0,q1,・・・,q11の内、最も近
接するq3に量子化され、量子化されたn番目の音符の
開始時刻tqnは次式により求められる。
Here, the quantization processing based on the time length of one third beat will be briefly described. Assuming that the number of beats of a music piece known in advance is T, the start time t n of the n-th note is approximated to the closest time t qn among the times obtained by dividing one bar into 3 × T by quantization. Is done. As an example T =
The case of quadruple will be described with reference to FIG. In the figure, the horizontal axis is a time axis, and B S and BE are the start boundary time and the end boundary time of the bar including t n among the bar boundary times stored in the RAM 2. q 0 , q 1 ,..., q 11
Is the time when this bar is divided into 12 equal parts (3 × T). 3, when quantizing the starting time t n of the n-th note, t n is q 0, q 1, ···, of the q 11, it is quantized to q 3 closest, quantized The start time t qn of the n-th note is obtained by the following equation.

【0013】 R[]は小数点以下四捨五入を示す。[0013] R [] indicates the rounding after the decimal point.

【0014】また、量子化誤差dnは次式により求めら
れる。
[0014] The quantization error d n is calculated by the following equation.

【0015】dn=|tn−tqn| ここで、前記3分の1拍の時間長による量子化誤差の総
和D3の算出処理の作動を図4を参照し詳述する。まず
始めに、CPU1は音符の番号n、及び量子化誤差の総
和D3を初期化する(n=1、D3=0:S41)。次
に、CPU1は前記BS、BEの抽出を行う。BS、BE
RAM2に格納されている小節境界時刻の内、tn≧BS
且つ tn<BEを満たす1組の隣接する小節境界時刻
である(S43)。次に、CPU1はn番目の音符の開
始時刻tnを前式により量子化し、量子化されたn番目
の音符の開始時刻tqnを算出する(S44)。次に、C
PU1は前記n番目の音符の量子化誤差dnを前式によ
り算出する(S45)。次に、CPU1は量子化誤差の
総和D3に、(S45)の処理で算出したn番目の音符
の量子化誤差dnを加える(S46)。次に、CPU1
は音符の番号nをインクリメントし処理を(S42)に
戻す(n=n+1:S47)。(S42)では、CPU
1は全ての音符に対して以上で説明した(S43〜S4
7)の処理が終了したか否かの判断を行い、判断が「Y
ES」の場合処理を終了する(S1)。
D n = | t n -t qn | The operation of the process of calculating the sum D 3 of quantization errors based on the time length of one-third beat will be described in detail with reference to FIG. First, CPU 1 is note number n, and initializes the sum D 3 of the quantization error (n = 1, D 3 = 0: S41). Next, the CPU 1 extracts B S and BE . B S and BE are t n ≧ B S among the bar boundary times stored in the RAM 2.
A set of adjacent bar boundary times satisfying t n <B E (S43). Next, the CPU 1 quantizes the start time t n of the n-th note by the above equation, and calculates the quantized start time t qn of the n-th note (S44). Next, C
PU1 is calculated by Equation quantization error d n of the n-th note (S45). Then, CPU 1 is the sum D 3 of the quantization error, adding quantization error d n of the n-th note calculated in the processing of (S45) (S46). Next, CPU1
Increments the note number n and returns the process to (S42) (n = n + 1: S47). In (S42), the CPU
1 is described above for all notes (S43 to S4
It is determined whether or not the process of 7) is completed, and the determination is “Y”.
In the case of "ES", the process ends (S1).

【0016】次に、CPU1は(S1)と同様の処理に
より、前記RAM2に格納されている全ての音符の開始
時刻を4分の1拍の時間長で量子化し、その時の量子化
誤差の総和D4を算出する。このとき、n番目の音符の
量子化された開始時刻tqnは、次式により求められる
(S4)。
Next, the CPU 1 quantizes the start times of all the notes stored in the RAM 2 by a time length of 1/4 beat by the same processing as (S1), and sums the quantization errors at that time. to calculate the D 4. At this time, the quantized start time t qn of the n-th note is obtained by the following equation (S4).

【0017】 R[]は小数点以下四捨五入を示す。[0017] R [] indicates the rounding after the decimal point.

【0018】次に、CPU1は2つの量子化誤差の総和
3、D4の比較を行ない、判断式D3≦D4が「YES」
ならば処理を(S4)に、「NO」ならば処理を(S
5)に移す(S3)。
Next, the CPU 1 compares the two sums D 3 and D 4 of the quantization errors, and the judgment formula D 3 ≦ D 4 gives “YES”.
If so, the process proceeds to (S4), and if “NO”, the process proceeds to (S4).
Move to 5) (S3).

【0019】処理(S3)の判断において判断が「YE
S」の場合、CPU1はRAM2上の全ての音符の開始
時刻を3分の1拍の時間長で量子化し、結果をRAM2
に書き込む。量子化手法は処理(S1)の説明中に詳述
した手法と同じである(S4)。
In the judgment of the process (S3), the judgment is "YE
In the case of "S", the CPU 1 quantizes the start times of all the notes on the RAM 2 by a time length of 1/3 beat, and stores the result in the RAM 2
Write to. The quantization method is the same as the method described in detail in the description of the processing (S1) (S4).

【0020】同様に前記(S3)の判断において判断が
「NO」の場合、CPU1はRAM2上の全ての音符の
開始時刻を4分の1拍の時間長で量子化し、結果をRA
M2に書き込む(S5)。
Similarly, if the determination in the above (S3) is "NO", the CPU 1 quantizes the start times of all the notes in the RAM 2 by a time length of 1/4 beat, and converts the result to RA
Write to M2 (S5).

【0021】次に、CPU1は(S4)もしくは(S
5)の処理により量子化された音符の開始時刻と、採譜
処理回路7により抽出された音符の音程、強さ、長さ等
からMIDIコード等に符号化し、ディスプレイ4に出
力した後、本実施例の処理を終了する(S6)。
Next, the CPU 1 determines whether (S4) or (S
From the start time of the note quantized by the process of 5) and the pitch, strength, length, etc. of the note extracted by the music notation processing circuit 7, it is encoded into a MIDI code or the like, output to the display 4, and then executed The example process ends (S6).

【0022】以上詳述したように、本発明は量子化誤差
の総和を比較することにより、最適な量子化時間長での
量子化を行なうことが可能である。
As described in detail above, according to the present invention, it is possible to perform quantization with an optimum quantization time length by comparing the sum of quantization errors.

【0023】本発明は、以上詳述した構成に限定される
ものではなく、その主旨を逸脱しない範囲において種々
の変更を加えることができる。例えば処理(S4)、及
び処理(S5)における量子化処理は処理(S1)、及
び処理(S2)中に1度行うことになるので、(S
1)、(S2)のそれぞれの処理時に量子化された全て
の音符の開始時刻をRAM2に格納し、(S4)、(S
5)の処理時にはそれらをRAM2より呼び出すことも
可能である。
The present invention is not limited to the configuration described in detail above, and various changes can be made without departing from the gist of the present invention. For example, the quantization processing in the processing (S4) and the processing (S5) is performed once during the processing (S1) and the processing (S2).
The start times of all the notes quantized at the time of the respective processes of (1) and (S2) are stored in the RAM 2, and (S4), (S2)
At the time of the processing of 5), they can be called from the RAM 2.

【0024】[0024]

【発明の効果】以上説明したことから明かなように、本
発明の量子化装置によれば、採譜された全ての音符群の
開始時刻を3分の1拍の時間長で量子化した場合の量子
化誤差の総和、及び4分の1拍の時間長で量子化した場
合の量子化誤差の総和を算出する量子化誤差算出手段
と、前記2つの量子化誤差の総和を比較する比較手段
と、前記比較手段により量子化誤差の総和の小さい方の
量子化時間長により、採譜された音符群の開始時刻を量
子化する量子化手段とを備えたことにより、自動的に3
分の1拍の時間長、もしくは4分の1拍の時間長のいず
れか適した方の量子化時間長を決定し、その量子化時間
長により音符の開始時刻を量子化することができる。
As is apparent from the above description, according to the quantization device of the present invention, the start time of all the transcribed note groups is quantized by a time length of 1/3 beat. A quantization error calculating means for calculating the sum of the quantization errors and the sum of the quantization errors when quantizing with a time length of 1/4 beat; and a comparing means for comparing the sum of the two quantization errors. And quantizing means for quantizing the start time of the transcribed note group by the quantizing time length of the smaller sum of the quantizing errors by the comparing means.
It is possible to determine the appropriate quantization time length of the one-beat time length or the one-beat time length, and quantize the note start time based on the quantization time length.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の量子化装置の構成を示すブロック図で
ある。
FIG. 1 is a block diagram illustrating a configuration of a quantization device according to the present invention.

【図2】本発明の量子化装置のフローチャートである。FIG. 2 is a flowchart of the quantization device of the present invention.

【図3】量子化処理の説明図である。FIG. 3 is an explanatory diagram of a quantization process.

【図4】量子化誤差の総和D3を算出する処理(S1)
のフローチャートである。
FIG. 4 is a process (S1) for calculating a sum D 3 of quantization errors.
It is a flowchart of FIG.

【符号の説明】[Explanation of symbols]

1 CPU 2 RAM 3 ROM 4 ディスプレイ 5 キーボード 7 採譜処理回路 DESCRIPTION OF SYMBOLS 1 CPU 2 RAM 3 ROM 4 Display 5 Keyboard 7 Transcription processing circuit

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G10G 3/04 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G10G 3/04

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 採譜された音符群の開始時刻を量子化す
る量子化装置において、 前記採譜された音符群の開始時刻を3分の1拍の時間長
により量子化した場合の量子化誤差の総和、及び4分の
1拍の時間長により量子化した場合の量子化誤差の総和
を算出する量子化誤差算出手段と、 前記量子化誤差算出手段により算出された前記2つの量
子化誤差の総和を比較する比較手段と、 前記比較手段による比較の結果、量子化誤差の総和の小
さい方の量子化時間長により、採譜された音符群の開始
時刻を量子化する量子化手段とを備えたことを特徴とす
る量子化装置。
1. A quantization device for quantizing the start time of a group of notes that has been transcribed, wherein a quantization error when the start time of the group of transcribed notes is quantized by a time length of 1/3 beat. Quantization error calculating means for calculating a sum and a total of quantization errors when quantizing by a time length of a quarter beat; and a sum of the two quantization errors calculated by the quantization error calculating means. And a quantizing means for quantizing the start time of the transcribed note group by the smaller quantization time length of the sum of the quantization errors as a result of the comparison by the comparing means. A quantization device characterized by the above-mentioned.
JP04000935A 1992-01-07 1992-01-07 Quantizer Expired - Lifetime JP3109205B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04000935A JP3109205B2 (en) 1992-01-07 1992-01-07 Quantizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04000935A JP3109205B2 (en) 1992-01-07 1992-01-07 Quantizer

Publications (2)

Publication Number Publication Date
JPH05181461A JPH05181461A (en) 1993-07-23
JP3109205B2 true JP3109205B2 (en) 2000-11-13

Family

ID=11487536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04000935A Expired - Lifetime JP3109205B2 (en) 1992-01-07 1992-01-07 Quantizer

Country Status (1)

Country Link
JP (1) JP3109205B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096186B2 (en) 1998-09-01 2006-08-22 Yamaha Corporation Device and method for analyzing and representing sound signals in the musical notation
JP4670423B2 (en) * 2005-03-24 2011-04-13 ヤマハ株式会社 Music information analysis and display device and program

Also Published As

Publication number Publication date
JPH05181461A (en) 1993-07-23

Similar Documents

Publication Publication Date Title
USRE33739E (en) Electronic musical instrument
JPH08278792A (en) Song ability evaluation method for sing-along device
RU2296377C2 (en) Method for analysis and synthesis of speech
JP3109205B2 (en) Quantizer
CN108962286B (en) Audio recognition method, device and storage medium
JPH0736455A (en) Music event index generating device
JP3558031B2 (en) Speech decoding device
CN110867174A (en) Automatic sound mixing device
JP2000503412A (en) Waveform synthesis
Rothweiler A rootfinding algorithm for line spectral frequencies
US5673361A (en) System and method for performing predictive scaling in computing LPC speech coding coefficients
JP3102089B2 (en) Automatic transcription device
JP3209248B2 (en) Excitation signal coding for speech
JPH0261760B2 (en)
JPS60260997A (en) Electronic musical instrument with pitch bend
JP3055392B2 (en) Audio signal converter
US20230267899A1 (en) Automatic audio mixing device
JPH0149953B2 (en)
JP3460723B2 (en) Voice recognition method
JPS6410838B2 (en)
JP2001013999A (en) Device and method for voice coding
JPH05297882A (en) Automatic key controller for orchestral accompaniment device
JP2001056688A (en) Electronic musical instrument
CN118072698A (en) Chord sequence generation method, device, terminal and storage medium
MONTGOMERY Isolated word recognition using fuzzy set theory[M. S. Thesis]

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070914

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 12