JP3109205B2 - Quantizer - Google Patents

Quantizer

Info

Publication number
JP3109205B2
JP3109205B2 JP04000935A JP93592A JP3109205B2 JP 3109205 B2 JP3109205 B2 JP 3109205B2 JP 04000935 A JP04000935 A JP 04000935A JP 93592 A JP93592 A JP 93592A JP 3109205 B2 JP3109205 B2 JP 3109205B2
Authority
JP
Japan
Prior art keywords
quantization
time
sum
notes
start time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04000935A
Other languages
Japanese (ja)
Other versions
JPH05181461A (en
Inventor
慈明 小松
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Priority to JP04000935A priority Critical patent/JP3109205B2/en
Publication of JPH05181461A publication Critical patent/JPH05181461A/en
Application granted granted Critical
Publication of JP3109205B2 publication Critical patent/JP3109205B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は自動採譜装置等に係わり、特に採譜処理回路により採譜された音符群の開始時刻、及び小節境界時刻を入力とし、演奏スピードの変化や採譜処理回路の処理精度等を原因とする音符群の開始時刻のゆらぎを吸収するための量子化装置に関するものである。 The present invention relates relates to an automatic music transcription apparatus. In particular, the start time of the note group which is transcribed by the transcription processing circuit, and inputs the bar boundary time, the processing accuracy of the change and transcription processing circuit playing speed etc. it relates quantizer for absorbing fluctuation start time of the note group caused by.

【0002】 [0002]

【従来の技術】採譜された音符情報には演奏スピードの変化や採譜処理回路の処理精度等を原因とする開始時刻のゆらぎが存在し、そのため楽譜等に符号化すると半端な長さの音符が出力されることがある。 Of the Related Art transcription has been note information exists fluctuation start time caused by processing accuracy and the like of the change and transcription processing circuit playing speed, the note odd length when the order to encode the score or the like there is to be output. 従来、この種の自動採譜装置等に用いられる量子化装置においては、 Conventionally, in the quantization apparatus used in an automatic music transcription apparatus like of this kind,
この採譜された音符群に対する時間軸のゆらぎを吸収するために、3分の1拍、もしくは4分の1拍の時間長のいずれかを利用者が選択し、その時間長により音符の量子化を行っていた。 To absorb the fluctuation of the time axis with respect to this transcription been notes group, 1/3 beat, or user one-quarter the time length of one beat is selected, quantization of the notes by the time length the it had done. 3分の1拍、もしくは4分の1拍を量子化時間長として選ぶ理由は、3分の1拍の時間長により量子化すると3連符が量子化後の音符の最小単位となり、4分の1拍の時間長により量子化すると16分音符が量子化後の音符の最小単位となることに加え、多くの楽曲はこのどちらかの音符を最小単位として構成されている為である。 Why one third beat, or a quarter beat as the quantization time length, when the quantization triplet becomes the minimum unit of the notes after quantization by the time length of 1/3 beat, 4 minutes in addition to time sixteenth notes when quantized by the length of one beat is the minimum unit of the notes after quantization, many of the music is because that is configured to note this either as a minimum unit.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、上記従来の量子化装置においては、利用者が量子化時間長を装置に指示しなければならず、利用者はその判断能力が必要であった。 [SUMMARY OF THE INVENTION However, in the conventional quantizer, the user must instruct the device quantization duration, the user was required that judgment ability.

【0004】本発明は、上述した問題点を解決するものであり、自動的に量子化時間長を3分の1拍、もしくは4分の1拍のいずれか適した方に決定し、その量子化時間長によって音符の開始時刻を量子化することにより、 [0004] The present invention is to solve the problems described above, automatically determines the quantization duration 1/3 beat, or for those that are suitable either quarter-beats, the quantum by quantizing the start time of a note by the reduction time length,
利用者の負担を減らすことを可能とした量子化装置を提供することを目的としている。 And its object is to provide a possibility as the quantizer to reduce the burden on the user.

【0005】 [0005]

【課題を解決するための手段】この目的を達成するために本発明の量子化装置は、採譜された音符群の開始時刻を3分の1拍の時間長により量子化した場合の量子化誤差の総和、及び4分の1拍の時間長により量子化した場合の量子化誤差の総和を算出する量子化誤差算出手段と、前記2つの量子化誤差の総和を比較する比較手段と、前記比較手段の結果、量子化誤差の総和の小さい方の量子化時間長により、採譜された音符群の開始時刻を量子化する量子化手段とを備えている。 SUMMARY OF THE INVENTION The quantizer of the present invention to achieve this object, the quantization error when quantized by the time length of one beat third of the starting time of the group notes that have been transcribed sum, and the quantization error calculating means for calculating the sum of the quantization errors in the case of quantized by the time length of one-quarter beat, comparing means for comparing the sum of the two quantization errors, the comparison of result means, the quantization time length the smaller the sum of the quantization error, and a quantizing means for quantizing the start time of the group notes that have been transcribed.

【0006】 [0006]

【作用】上記構成を有する本発明の量子化装置は、量子化誤差算出手段が、前記採譜された音符群の開始時刻を3分の1拍の時間長により量子化した場合の量子化誤差の総和、及び4分の1拍の時間長により量子化した場合の量子化誤差の総和を算出する。 [Action] quantizer of the present invention having the above structure, the quantization error calculation means, the time length of one beat third of the start time of the transcription have been notes group quantization error when quantizing sum, and calculates the sum of the quantization errors in the case of quantized by the time length of one-quarter beat. そして、比較手段が前記2つの量子化誤差の総和を比較し、量子化手段が前記比較手段の結果、量子化誤差の総和の小さい方の量子化時間長により採譜された音符群の開始時刻を量子化する。 The comparing means compares the sum of the two quantization error, quantization means the comparison means result, the start time of the group notes that are transcribed by the quantization time length the smaller the sum of the quantization error to quantization.

【0007】 [0007]

【実施例】以下、本発明を具体化した一実施例を図面を参照して説明する。 EXAMPLES Hereinafter, a description will be given of an embodiment embodying the present invention with reference to the drawings.

【0008】本実施例の自動採譜装置等に用いられる量子化装置は、図1に示すように構成されている。 [0008] quantizer used in an automatic music transcription apparatus, etc. of the present embodiment is configured as shown in FIG. CPU CPU
1は採譜処理回路7により採譜された音符群の開始時刻に対する量子化誤差の総和の算出処理、音符群の開始時刻の量子化処理等を行ない、RAM2、及びROM3に接続されている。 1 performs quantization processing of the start time of the calculation process, note groups of the sum of the quantization error with respect to the start time of the group notes that are transcribed by transcription processing circuit 7 is connected to the RAM 2, and ROM 3. 前記RAM2には前記採譜処理回路7 Wherein the said RAM2 transcription processing circuit 7
により採譜された音符群の開始時刻のデータ、小節境界時刻のデータ等が格納されるエリアが用意されている。 Data of the start time of transcription have been notes group, the area in which data of the bar boundary time is stored are prepared by.
前記ROM3には量子化誤差の総和を算出するロジック、音符群の開始時刻の量子化ロッジク等が格納されている。 Wherein the ROM3 stored quantization Rojjiku like start time logic, note group to calculate the sum of the quantization error. ディスプレイ4は処理結果等の表示を行なう。 Display 4 for displaying such processing results. キーボード5は拍子数、小節境界時刻等の入力を行なう。 Keyboard 5 beats number, to input such measure boundary time.
採譜処理回路7は音符の開始時刻、音程、強さ、長さ等の音符情報の抽出を行う回路であり、前記音符情報をI Transcription processing circuit 7 notes start time, pitch, intensity, and a circuit for extracting note information such as length, the note information I
/Oポート6を介しCPU1に受け渡す。 / O port 6 passes to CPU1. 前記採譜処理回路7としては鍵盤型キーボードの接点情報を利用した回路や、演奏された楽曲を音響的に取り込み信号処理技術により採譜処理を行なう回路等が一般に知られている。 The transcription circuits and utilizing the contact information of the keyboard type keyboard as a processing circuit 7, the circuit for performing the transcription process by acoustically capturing signal processing technology music that is played is generally known. 前記I/Oポート6はCPU1と、ディスプレイ4、キーボード5、及び採譜処理回路7とを接続している。 And the I / O port 6 is CPU 1, a display 4, and connects the keyboard 5, and transcription processing circuit 7.

【0009】以下、本実施例の動作について図2〜図4 [0009] Hereinafter, FIGS operation of this embodiment
を参照して説明する。 With reference to the description.

【0010】図2は本実施例により行なわれる処理を示すフローチャートである。 [0010] FIG 2 is a flowchart showing the processing performed by the present embodiment.

【0011】まず始めに、CPU1は前記採譜処理回路7により採譜され、前記RAM2に格納されている全ての音符の開始時刻を3分の1拍の時間長により量子化し、その時の量子化誤差の総和D 3を算出する。 In [0011] First, CPU 1 is transcribed by the transcription processing circuit 7, the quantized by the time length of one third beats all notes start time stored in the RAM 2, at the time of the quantization error It calculates the sum D 3.

【0012】ここで、3分の1拍の時間長による量子化処理について簡単に説明する。 [0012] Here it will be briefly described quantization process by the time length of 1/3 beats. 予め分かっている楽曲の拍子数をTとすると、n番目の音符の開始時刻t nは量子化処理により、1小節を3×T等分に分割した時刻のうち最も近接する時刻t qnに近似される。 When the time signature number of songs already known is T, the n-th starting time t n of the note quantization process, approximate to closest to the time t qn of time obtained by dividing one measure into 3 × T equal parts It is. 例としてT= T as an example =
4拍子の場合を図3を参照して説明する。 In the case of 4/4 it will be described with reference to FIG. 図中の横軸は時間軸であり、B S 、B Eは前記RAM2上に格納されている小節境界時刻の内、t nを含む小節の始端境界時刻、及び終端境界時刻である。 The horizontal axis represents the time axis in FIG, B S, B E is of the measure boundary time stored on the RAM 2, start boundary time the measure including t n, and is the end boundary time. 0 ,q 1 ,・・・,q 11 q 0, q 1, ···, q 11
はこの小節を12等分(3×T)に分割した時刻である。 Is the time obtained by dividing the bar into 12 equal parts (3 × T). 図3において、n番目の音符の開始時刻t nを量子化すると、t nはq 0 ,q 1 ,・・・,q 11の内、最も近接するq 3に量子化され、量子化されたn番目の音符の開始時刻t qnは次式により求められる。 3, when quantizing the starting time t n of the n-th note, t n is q 0, q 1, ···, of the q 11, it is quantized to q 3 closest, quantized start time t qn of the n-th note of is obtained by the following equation.

【0013】 [0013] R[]は小数点以下四捨五入を示す。 R [] shows the rounded to the nearest yen.

【0014】また、量子化誤差d nは次式により求められる。 [0014] The quantization error d n is calculated by the following equation.

【0015】d n =|t n −t qn | ここで、前記3分の1拍の時間長による量子化誤差の総和D 3の算出処理の作動を図4を参照し詳述する。 [0015] d n = | t n -t qn | Here, the operation of the process of calculating the sum D 3 of quantization errors due to the time length of one beat of said third reference to FIG. 4 will be described in detail. まず始めに、CPU1は音符の番号n、及び量子化誤差の総和D 3を初期化する(n=1、D 3 =0:S41)。 First, CPU 1 is note number n, and initializes the sum D 3 of the quantization error (n = 1, D 3 = 0: S41). 次に、CPU1は前記B S 、B Eの抽出を行う。 Then, CPU 1 performs the extraction of the B S, B E. S 、B EはRAM2に格納されている小節境界時刻の内、t n ≧B S B S, B E is of the measure boundary time stored in the RAM2, t n ≧ B S
且つ t n <B Eを満たす1組の隣接する小節境界時刻である(S43)。 And a set of adjacent bars boundary time satisfying t n <B E (S43) . 次に、CPU1はn番目の音符の開始時刻t nを前式により量子化し、量子化されたn番目の音符の開始時刻t qnを算出する(S44)。 Then, CPU 1 is quantized by Equation start time t n of the n-th note, it calculates the start time t qn note of n-th quantized (S44). 次に、C Then, C
PU1は前記n番目の音符の量子化誤差d nを前式により算出する(S45)。 PU1 is calculated by Equation quantization error d n of the n-th note (S45). 次に、CPU1は量子化誤差の総和D 3に、(S45)の処理で算出したn番目の音符の量子化誤差d nを加える(S46)。 Then, CPU 1 is the sum D 3 of the quantization error, adding quantization error d n of the n-th note calculated in the processing of (S45) (S46). 次に、CPU1 Next, CPU1
は音符の番号nをインクリメントし処理を(S42)に戻す(n=n+1:S47)。 Returning the incremented number n of notes processed (S42) (n = n + 1: S47). (S42)では、CPU (S42) in, CPU
1は全ての音符に対して以上で説明した(S43〜S4 1 has been described above for all notes (S43~S4
7)の処理が終了したか否かの判断を行い、判断が「Y Processing 7) performs whether or not judges whether or completed, judgment is "Y
ES」の場合処理を終了する(S1)。 To end the case processing of ES "(S1).

【0016】次に、CPU1は(S1)と同様の処理により、前記RAM2に格納されている全ての音符の開始時刻を4分の1拍の時間長で量子化し、その時の量子化誤差の総和D 4を算出する。 [0016] Then, CPU 1 by the same processing as (S1), the quantizing all notes start time stored in RAM2 quarter one beat in duration, the sum of the quantization errors at that time to calculate the D 4. このとき、n番目の音符の量子化された開始時刻t qnは、次式により求められる(S4)。 At this time, the start time t qn The quantized n-th note is obtained by the following formula (S4).

【0017】 [0017] R[]は小数点以下四捨五入を示す。 R [] shows the rounded to the nearest yen.

【0018】次に、CPU1は2つの量子化誤差の総和D 3 、D 4の比較を行ない、判断式D 3 ≦D 4が「YES」 [0018] Then, CPU 1 performs a comparison of the two sum D 3 of the quantization error, D 4, determined type D 3 ≦ D 4 is "YES"
ならば処理を(S4)に、「NO」ならば処理を(S If the process to (S4), "NO" if the processing (S
5)に移す(S3)。 Transfer to 5) (S3).

【0019】処理(S3)の判断において判断が「YE [0019] The judgment in the determination of processing (S3) "YE
S」の場合、CPU1はRAM2上の全ての音符の開始時刻を3分の1拍の時間長で量子化し、結果をRAM2 For S ", CPU 1 is quantized by the time length of one beat third of the start time of all notes on RAM2, results RAM2
に書き込む。 Write to. 量子化手法は処理(S1)の説明中に詳述した手法と同じである(S4)。 Quantization method is the same as method described in detail in the description of the process (S1) (S4).

【0020】同様に前記(S3)の判断において判断が「NO」の場合、CPU1はRAM2上の全ての音符の開始時刻を4分の1拍の時間長で量子化し、結果をRA [0020] Similarly the (S3) when the determination in the determination of "NO", CPU 1 is quantized by the time length of one beat of the start time of 4 minutes all notes on RAM 2, the results RA
M2に書き込む(S5)。 Write to the M2 (S5).

【0021】次に、CPU1は(S4)もしくは(S [0021] Next, CPU1 is (S4) or (S
5)の処理により量子化された音符の開始時刻と、採譜処理回路7により抽出された音符の音程、強さ、長さ等からMIDIコード等に符号化し、ディスプレイ4に出力した後、本実施例の処理を終了する(S6)。 The start time of a note quantized by the process of 5), pitch of the notes that have been extracted by the musical notation processing circuit 7, strength, and encoded into MIDI code or the like from the length, etc., after outputting to the display 4, the present embodiment and it ends the processing example (S6).

【0022】以上詳述したように、本発明は量子化誤差の総和を比較することにより、最適な量子化時間長での量子化を行なうことが可能である。 [0022] As described above in detail, the present invention can be carried out quantization at by comparing the sum of the quantization error, optimum quantization duration.

【0023】本発明は、以上詳述した構成に限定されるものではなく、その主旨を逸脱しない範囲において種々の変更を加えることができる。 [0023] The present invention is not limited to the configuration described in detail above, it can be modified in various ways without departing from the gist thereof. 例えば処理(S4)、及び処理(S5)における量子化処理は処理(S1)、及び処理(S2)中に1度行うことになるので、(S For example, the processing (S4), and processing (S5) quantization processing process in (S1), and the processing (S2) so will be performed once during, (S
1)、(S2)のそれぞれの処理時に量子化された全ての音符の開始時刻をRAM2に格納し、(S4)、(S 1), and stored in RAM2 the start time of all notes that are quantized at each process (S2), (S4), (S
5)の処理時にはそれらをRAM2より呼び出すことも可能である。 When processing 5) it is possible to call them from RAM 2.

【0024】 [0024]

【発明の効果】以上説明したことから明かなように、本発明の量子化装置によれば、採譜された全ての音符群の開始時刻を3分の1拍の時間長で量子化した場合の量子化誤差の総和、及び4分の1拍の時間長で量子化した場合の量子化誤差の総和を算出する量子化誤差算出手段と、前記2つの量子化誤差の総和を比較する比較手段と、前記比較手段により量子化誤差の総和の小さい方の量子化時間長により、採譜された音符群の開始時刻を量子化する量子化手段とを備えたことにより、自動的に3 Apparent as from the above explanation, according to the present invention, according to the quantizer of the present invention, in the case of quantization in the time length of one beat third of the start time of all notes group which is transcribed the sum of the quantization error, and quantization error calculating means for calculating the sum of the quantization errors in the case of quantization in the time length of one-quarter beat, comparing means for comparing the sum of the two quantization error by smaller quantization time length of the sum of the quantization error by the comparison means, by the start time of the group notes that have been transcribed and a quantizing means for quantizing, automatically 3
分の1拍の時間長、もしくは4分の1拍の時間長のいずれか適した方の量子化時間長を決定し、その量子化時間長により音符の開始時刻を量子化することができる。 Duration in minutes 1 beat, or to determine the quarter quantization time length towards suitable either time length one beat of the start time of a note through the quantization time length may be quantized.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の量子化装置の構成を示すブロック図である。 1 is a block diagram showing the structure of a quantizer of the present invention.

【図2】本発明の量子化装置のフローチャートである。 Is a flow chart of a quantizer of the present invention; FIG.

【図3】量子化処理の説明図である。 3 is an explanatory diagram of a quantization process.

【図4】量子化誤差の総和D 3を算出する処理(S1) [4] the process for calculating the total sum D 3 of the quantization error (S1)
のフローチャートである。 It is a flow chart of.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 CPU 2 RAM 3 ROM 4 ディスプレイ 5 キーボード 7 採譜処理回路 1 CPU 2 RAM 3 ROM 4 display 5 keyboard 7 transcription processing circuit

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl. 7 ,DB名) G10G 3/04 ────────────────────────────────────────────────── ─── of the front page continued (58) investigated the field (Int.Cl. 7, DB name) G10G 3/04

Claims (1)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 採譜された音符群の開始時刻を量子化する量子化装置において、 前記採譜された音符群の開始時刻を3分の1拍の時間長により量子化した場合の量子化誤差の総和、及び4分の1拍の時間長により量子化した場合の量子化誤差の総和を算出する量子化誤差算出手段と、 前記量子化誤差算出手段により算出された前記2つの量子化誤差の総和を比較する比較手段と、 前記比較手段による比較の結果、量子化誤差の総和の小さい方の量子化時間長により、採譜された音符群の開始時刻を量子化する量子化手段とを備えたことを特徴とする量子化装置。 1. A quantization apparatus for quantizing the start time of transcription have been notes group, the time length of one beat third of the start time of the transcription have been notes group quantization error when quantizing sum, and the sum of the quantization and the quantization error calculation means for calculating the sum of the error, the calculated by the quantization error calculating means two quantization errors in the case of quantized by the time length of one-quarter beat comparing means for comparing the comparison result by the comparison means, the smaller the quantization time length of the sum of the quantization error, that the start time of the group notes that have been transcribed and a quantizing means for quantizing quantization apparatus according to claim.
JP04000935A 1992-01-07 1992-01-07 Quantizer Expired - Lifetime JP3109205B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04000935A JP3109205B2 (en) 1992-01-07 1992-01-07 Quantizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04000935A JP3109205B2 (en) 1992-01-07 1992-01-07 Quantizer

Publications (2)

Publication Number Publication Date
JPH05181461A JPH05181461A (en) 1993-07-23
JP3109205B2 true JP3109205B2 (en) 2000-11-13

Family

ID=11487536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04000935A Expired - Lifetime JP3109205B2 (en) 1992-01-07 1992-01-07 Quantizer

Country Status (1)

Country Link
JP (1) JP3109205B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096186B2 (en) 1998-09-01 2006-08-22 Yamaha Corporation Device and method for analyzing and representing sound signals in the musical notation
JP4670423B2 (en) * 2005-03-24 2011-04-13 ヤマハ株式会社 Music information analysis and display device and program

Also Published As

Publication number Publication date
JPH05181461A (en) 1993-07-23

Similar Documents

Publication Publication Date Title
KR100403293B1 (en) Speech synthesizing method, speech synthesis apparatus, and computer-readable medium recording speech synthesis program
JP2657927B2 (en) Method and apparatus for encoding audio
JP3048150B2 (en) Compression method and apparatus for speech signal data
US5691493A (en) Multi-channel tone generation apparatus with multiple CPU&#39;s executing programs in parallel
JP3077269B2 (en) Score display device
KR20010040263A (en) Fast regular multiplier architecture
JPH11259095A (en) Method of speech synthesis and device therefor, and storage medium
DE3242866C2 (en)
JP2002525688A (en) Automatic music generation apparatus and method
IT1229455B (en) A method for significantly reducing the rebuild time of tomography images, assisted by a limiter angle calculator.
US4112802A (en) Organ circuitry for providing fill notes and method of operating the organ
JP3352887B2 (en) Clamp with dividers clamp method in an information processing apparatus and division processing including the clamp with divider
JP2002202788A (en) Method for synthesizing singing, apparatus and recording medium
CN1113332C (en) Transmission system comprising at least a coder
KR19990071605A (en) Shoe text recognition method and system
KR20080065910A (en) Information processing device and method, and program
KR100190183B1 (en) Vector quantization apparatus and method
JP3178463B2 (en) Electronic data processing method and system and recording medium
JPH07319490A (en) Speech synthesis method and device
JP3077943B2 (en) Signal encoder
JPH08278792A (en) Method for evaluating singing ability for karaoke (sing-along music) apparatus
NL7905991A (en) Rhythm Generator.
JP3528654B2 (en) Melody generator, rhythm generator, and recording medium
US4448104A (en) Electronic apparatus having a tone generating function
JP2001188544A (en) Audio waveform reproducing device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070914

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 12