JP3241038B2 - Audio processing device - Google Patents

Audio processing device

Info

Publication number
JP3241038B2
JP3241038B2 JP15025790A JP15025790A JP3241038B2 JP 3241038 B2 JP3241038 B2 JP 3241038B2 JP 15025790 A JP15025790 A JP 15025790A JP 15025790 A JP15025790 A JP 15025790A JP 3241038 B2 JP3241038 B2 JP 3241038B2
Authority
JP
Japan
Prior art keywords
pitch
chord
input
sound
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP15025790A
Other languages
Japanese (ja)
Other versions
JPH0442297A (en
Inventor
裕久 小山
田岳 武士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP15025790A priority Critical patent/JP3241038B2/en
Publication of JPH0442297A publication Critical patent/JPH0442297A/en
Priority to US08/266,151 priority patent/US5446238A/en
Priority to US08/918,869 priority patent/USRE37041E1/en
Application granted granted Critical
Publication of JP3241038B2 publication Critical patent/JP3241038B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】 この発明は、音声の音高を変換して音響効果を出す音
声処理装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a sound processing apparatus for converting the pitch of a sound to produce a sound effect.

【0002】[0002]

【従来の技術】[Prior art]

電子楽器の演奏を容易にするため、単音のメロディを
演奏すれば、これに合った付加音を自動的に発音する電
子楽器が実用化されている。また、発音する楽音の拡が
り感や面白さを増すため、発音すべき音声の音高を変換
して出力する装置も実用化されている。
In order to make it easier to play an electronic musical instrument, an electronic musical instrument has been put to practical use that automatically generates an additional sound in accordance with the melody of a single note played. Further, in order to increase the sense of spread and fun of musical tones to be pronounced, devices for converting and outputting pitches of sounds to be produced have been put to practical use.

【0003】[0003]

【発明が解決しようとする課題】[Problems to be solved by the invention]

ところで、上記のように単音のメロディに対して付加
音を発音する電子楽器では、メロディ用の音源(楽音波
形成形回路)に加えて付加音用の別音源が必要となり、
回路構成が複雑になる欠点がある。
By the way, in an electronic musical instrument that produces an additional sound with respect to a single melody as described above, a separate sound source for an additional sound is required in addition to a melody sound source (musical sound wave forming circuit).
There is a disadvantage that the circuit configuration becomes complicated.

【0004】 また、従来の自動的に音高を変換して出力する装置
は、入力された音声を指定された音程(下5度,上3度
等)だけ単純に上下するのみであったため、長いメロデ
ィで使用すると単調さが目立ったり、また、メロディ音
のほかに和音が発音している場合等には、和音との調和
が考えられていないため不協和になってしまう欠点があ
った。
[0004] Furthermore, the conventional apparatus for automatically converting the pitch and outputting the pitch simply moves the input voice up and down by a specified pitch (lower fifth, upper third, etc.). When used in a long melody, there is a drawback that monotony is conspicuous, and when a chord is pronounced in addition to the melody sound, harmony with the chord is not considered, resulting in dissonance.

【0005】 この発明は、演奏される和音に基づいて入力された音
声の音高を変換するようにしたことにより、上記課題を
解決した音声処理装置を提供することを目的とする。
An object of the present invention is to provide a voice processing device which solves the above-mentioned problem by converting the pitch of a voice input based on a chord to be played.

【0008】[0008]

【課題を解決するための手段】[Means for Solving the Problems]

請求項1の発明は、音声信号を入力する入力手段と、
演奏情報を供給する演奏情報供給手段と、前記演奏情報
から和音を検出する和音検出手段と、前記入力された音
声信号の音高を、前記検出された和音の構成音の各音高
に短時間ずつ切り換えて音高変換し、同音高変換された
音声信号を出力する音高変換手段と、前記入力された音
声信号に、前記音高変換手段によって音高変換された音
声信号を混合するミキサと、前記ミキサによって混合さ
れた音声信号を出力する出力手段と、を有することを特
徴とする。
An input means for inputting an audio signal,
Performance information supply means for supplying performance information, chord detection means for detecting a chord from the performance information, and a pitch of the input voice signal being reduced to a pitch of each component sound of the detected chord in a short time. A pitch conversion means for switching the pitch at a time and outputting a voice signal converted to the same pitch, and a mixer for mixing the input voice signal with the voice signal subjected to the pitch conversion by the pitch conversion means. And output means for outputting an audio signal mixed by the mixer.

【0009】[0009]

【発明の作用】Effect of the Invention

この発明の音声処理装置では、入力手段から音声が入
力される。入力手段はマイクやライン入力装置等で構成
することができる。また、演奏情報供給手段から演奏情
報が入力される。和音検出手段は前記演奏情報から和音
を検出し、音高変換手段は、前記入力された音声信号の
音高を前記検出された和音の構成音の各音高に短時間ず
つ切り換えて音高変換し、同音高変換された音声信号を
出力する。和音情報とは和音のタイプ(メイジャ,マイ
ナ,7th等)や根音などの情報である。これにより、入力
された音声信号の音高を、伴奏などの演奏情報と同じ和
音の構成音の各音高に短時間ずつ切り換えながら音高変
換することができ、演奏と変換された音声信号の音高と
の協和を保つことができる。
In the voice processing device of the present invention, voice is input from the input means. The input means can be constituted by a microphone, a line input device, or the like. Performance information is input from the performance information supply means. The chord detecting means detects a chord from the performance information, and the pitch converting means switches the pitch of the input voice signal to each pitch of the constituent tones of the detected chord for a short time to perform pitch conversion. Then, the audio signal having the same pitch converted is output. Chord information is information such as chord type (major, minor, 7th, etc.) and root note. This makes it possible to perform pitch conversion while switching the pitch of the input voice signal to each pitch of the constituent chords of the same chord as the performance information such as accompaniment, for a short time. It can maintain a harmonious relationship with the pitch.

【0010】[0010]

【実施例】【Example】

図1はこの発明の実施例である音声処理装置のブロッ
ク図である。この装置は、マイク1から入力される音声
を音高変換LSI5で音高変換したのち、ミキサ6で元の音
声と一緒にして出力する装置である。
FIG. 1 is a block diagram of an audio processing apparatus according to an embodiment of the present invention. This device is a device which converts the sound input from the microphone 1 into a pitch with the pitch conversion LSI 5 and then outputs the sound together with the original sound with the mixer 6.

【0011】 この装置の主要部はディジタル回路で構成されてい
る。マイク1から入力された音声はアンプ2で増幅され
たのちA/D変換回路3でディジタル信号に変換される。A
/D変換回路3で変換されたディジタル信号は音高検出回
路4,音高変換LSI5,ミキサ6に入力される。音高検出回
路4および音高変換LSI5はCPU10に接続されている。
The main part of this device is constituted by a digital circuit. The audio input from the microphone 1 is amplified by the amplifier 2 and then converted into a digital signal by the A / D conversion circuit 3. A
The digital signal converted by the / D conversion circuit 3 is input to a pitch detection circuit 4, a pitch conversion LSI 5, and a mixer 6. The pitch detection circuit 4 and the pitch conversion LSI 5 are connected to the CPU 10.

【0012】 CPU10にはこのほか、ROM11,RAM12,外部記憶装置13,パ
ネルスイッチ14およびMIDIコネクタ15が接続されてい
る。ROM11には入力されたディジタルデータを処理する
ためのプログラムが記憶されている。外部記憶装置13
は、フロッピィディスク装置またはカラオケセットで構
成され、セットされるフロッピィディスクにはコードシ
ーケンスデータ(和音進行のデータ)があらかじめ記憶
されている。また、MIDIコネクタ15には、キーボード等
の演奏装置(電子楽器)が接続され、和音検出装置17で
入力されたキーデータから和音のタイプ・根音を検出し
たのちCPU10に和音情報を出力する。
The CPU 10 is also connected to a ROM 11, a RAM 12, an external storage device 13, a panel switch 14, and a MIDI connector 15. The ROM 11 stores a program for processing input digital data. External storage device 13
Is composed of a floppy disk device or a karaoke set. Chord sequence data (chord progression data) is stored in the floppy disk to be set in advance. A playing device (electronic musical instrument) such as a keyboard is connected to the MIDI connector 15. The chord detecting device 17 detects the type and root of the chord from the key data input, and then outputs chord information to the CPU 10.

【0013】 音声の音高は音高検出回路4によって検出され、CPU1
0にその音高情報が出力される。CPU10は、外部記憶装置
13に記憶されている、またはMIDIコネクタ15を介して入
力される和音情報に基づき、マイク1から入力された音
声の音高をどれだけ(何セント)変換すればよいかを判
断し、そのパラメータを音高変換LSI5に出力する。音高
変換LSI5はCPU10から入力されたパラメータに基づいて
音声の音高を変換する。ここで、音高の変換は変換比に
合わせてデータを補間する周知の方法で行われるもの
で、音高変換LSI5はそのためのバッファ,クロック,演
算回路を内蔵している。
The pitch of the voice is detected by a pitch detection circuit 4,
The pitch information is output to 0. CPU 10 is an external storage device
Based on the chord information stored in the memory 13 or input through the MIDI connector 15, it is determined how much (how many cents) the pitch of the voice input from the microphone 1 should be converted. Is output to the pitch conversion LSI 5. The pitch conversion LSI 5 converts the pitch of the voice based on the parameters input from the CPU 10. Here, the pitch conversion is performed by a well-known method of interpolating data in accordance with the conversion ratio, and the pitch conversion LSI 5 has a buffer, a clock, and an arithmetic circuit for this purpose.

【0014】 音高を変換された音声(ハーモニー音声)はミキサ6
に入力される。ミキサにはマイク1から入力されてディ
ジタル変換された音声(直接音声)も入力されている。
ミキサ6は、これらハーモニー音声,直接音声を加算し
てD/A変換回路7に入力する。D/A変換回路7は加算され
た信号をアナログ変換する。アナログ変換された音声は
アンプ8で増幅されスピーカ9から出力される。
The sound whose pitch has been converted (harmony sound) is supplied to a mixer 6.
Is input to The sound (direct sound) input from the microphone 1 and converted into digital is also input to the mixer.
The mixer 6 adds the harmony sound and the direct sound and inputs the result to the D / A conversion circuit 7. The D / A conversion circuit 7 converts the added signal into an analog signal. The analog converted sound is amplified by the amplifier 8 and output from the speaker 9.

【0015】 図2および図3は前記CPU10の動作を示すフローチャ
ートである。図2の動作は和音情報をコードシーケンサ
(外部記憶装置13)から入力する場合の動作であり、図
3の動作は和音情報(キーデータ)を、MIDIコネクタ15
に接続された演奏装置から入力する場合の動作である。
この動作は、CPU10が数ms毎に実行する動作である。
FIG. 2 and FIG. 3 are flowcharts showing the operation of the CPU 10. The operation of FIG. 2 is an operation when chord information is input from a chord sequencer (external storage device 13), and the operation of FIG.
This is an operation when inputting from a performance device connected to the.
This operation is executed by the CPU 10 every several ms.

【0016】 図2において、まず音高検出回路4のバッファを読み
取る(n1)。音高検出回路4が入力された音声の音高を
検出できた場合にはバッファにその音高が記憶される。
音高を検出できなかった場合または音声が入力されなか
った場合には、バッファには音高検出無しのデータ(FF
H)が記憶される。音高が検出されている場合にはn2か
らn3に進み、音高が検出されていない場合にはn2から直
接リターンする。
In FIG. 2, first, the buffer of the pitch detection circuit 4 is read (n1). When the pitch detection circuit 4 can detect the pitch of the input voice, the pitch is stored in the buffer.
If no pitch is detected or no sound is input, the data without pitch detection (FF
H ) is stored. When a pitch is detected, the process proceeds from n2 to n3, and when a pitch is not detected, the process directly returns from n2.

【0017】 n3では現在(そのタイミング)に指定されている和音
情報を外部記憶装置13から読み出す。外部に接続されて
いる音源装置にこの和音を発音させるため、MIDIコネク
タ15にこの和音情報を出力する(n4)。直接音声を、伴
奏音域のこの和音の構成音に変換して発音するため音高
変換のパラメータを算出する(n5)。音高の変換は、伴
奏音域内(旋律音域よりも低い音程)で、和音の構成音
名に対応する音高に変換するようにする。例えば、和音
構成音がG1,C2,E2であれば、この直接音声はこれ何れか
の音高に変換されることになり、この場合には三度音で
あるE2を音高変換パラメータとして選択するのが妥当で
ある。このパラメータを音高変換LSI5に出力する(n
6)。このパラメータを受信した音高変換LSI5が直接音
声をハーモニー音声に変換する。
At n 3, the chord information designated at the present (the timing) is read from the external storage device 13. The chord information is output to the MIDI connector 15 in order to cause the tone generator connected to the outside to emit the chord (n4). A pitch conversion parameter is calculated to convert the direct sound into a constituent sound of this chord in the accompaniment tone range and generate the sound (n5). The pitch is converted to a pitch corresponding to a constituent note name of a chord within an accompaniment tone range (a pitch lower than the melody range). For example, if the chord constituent notes is G 1, C 2, E 2, the direct sound will be converted to any of the pitch, the pitch of the E 2 is a three-degrees sound in this case It is appropriate to select it as a conversion parameter. Output this parameter to pitch conversion LSI5 (n
6). The pitch conversion LSI 5 receiving this parameter directly converts the voice into a harmony voice.

【0018】 図3において、まず音高検出回路4のバッファを読み
取る(n11)。音高が検出されている場合にはn12からn1
3に進み、音高が検出されていない場合にはn12から直接
リターンする。
In FIG. 3, first, the buffer of the pitch detection circuit 4 is read (n11). If pitch is detected, n12 to n1
Proceeding to 3, if no pitch is detected, return directly from n12.

【0019】 n13ではMIDIコネクタ15で接続されている演奏装置
(電子楽器)でそのとき演奏されている和音を読み取
る。この場合、演奏装置が和音情報を出力する装置であ
れば、その和音情報を直接使用すればよいが、和音情報
を出力しない演奏装置の場合、入力された押鍵パターン
等に基づいて和音検出装置17で和音を判定する(n1
4)。和音判定の方式は、従来より周知の和音構成音を
記憶したテーブルに当てはめる方式等種々適用すること
が可能である。
At n13, the chord being played at that time by the playing device (electronic musical instrument) connected by the MIDI connector 15 is read. In this case, if the playing device is a device that outputs chord information, the chord information may be used directly.If the playing device does not output chord information, a chord detecting device based on the input key press pattern or the like is used. Determine the chord at 17 (n1
Four). A variety of chord determination methods can be applied, such as a method of applying a chord component to a table that stores chord component sounds that are well known in the art.

【0020】 和音判定ができた場合には、直接音声をその和音の構
成音に変換するための音高変換のパラメータを算出する
(n15→n16)。この変換方法は前述の図2で説明した方
法と同様であるため、ここでは説明を省略する。このパ
ラメータを音高変換LSI5に出力する(n17)。このパラ
メータを受信した音高変換LSI5が直接音声を変換音声に
変換する。なお、判定された和音の他の構成音は演奏装
置(電子楽器)ですでに発音されているとして、MIDIコ
ネクタ15からは改めて出力しない。なお、n14で和音を
判定できなかった場合には、音高変換をすることができ
ないため、n15から直接リターンする。
If the chord can be determined, a pitch conversion parameter for directly converting the voice into a constituent sound of the chord is calculated (n15 → n16). Since this conversion method is the same as the method described with reference to FIG. 2, the description is omitted here. This parameter is output to the pitch conversion LSI 5 (n17). The pitch conversion LSI 5 receiving this parameter directly converts the voice into the converted voice. It should be noted that other constituent tones of the determined chord are not output again from the MIDI connector 15 assuming that they have already been generated by the performance device (electronic musical instrument). If the chord cannot be determined in n14, pitch conversion cannot be performed, and the process directly returns from n15.

【0021】 なお、この実施例では音高変換LSI5を1個設けて、和
音構成音のうち1音に変換するようにしたが、音高変換
LSI5を複数並列に設け、全ての和音構成音(根音,3度
音,5度音および7th和音の場合には7度音)に同時に変
換できるようにしてもよい。こうすれば、この装置のみ
で和音を発音することができる。
In this embodiment, one pitch conversion LSI 5 is provided so as to convert to one of the chord constituent sounds.
A plurality of LSIs 5 may be provided in parallel so that they can be simultaneously converted to all chord constituent tones (root, third, fifth and seventh in case of 7th chord). In this way, a chord can be produced only with this device.

【0022】 また、本実施例のように和音構成音のうち1音のみを
出力する場合でも、根音,3度音,5度音を短時間で切り換
えるようにすることにより、アルペジオのような効果を
出すこともできる。さらに、この効果は複数の和音構成
音を同時に出力できる装置においても同様に(さらに複
雑に)実現することができる。
In addition, even when only one of the chords is output as in the present embodiment, the root, the third and the fifth are switched in a short period of time, so that an arpeggio-like sound is output. It can also be effective. Further, this effect can be similarly (more complicated) realized in a device that can simultaneously output a plurality of chord constituent sounds.

【0023】[0023]

【発明の効果】【The invention's effect】

以上のように、この発明の和音処理装置によれば、入
力された音声信号を伴奏などの演奏情報に基づいて音高
変換することにより、演奏に合わせた音高変換が可能に
なる。また、この演奏情報から検出された和音に基づい
て音高変換することにより、単純な音声変換ではなく、
入力された音声信号の音高を演奏の和音と協和する音高
に変換することができる。特に、入力された音声信号の
音高を、和音の構成音の各音高に短時間ずつ切り換えな
がら音高変換することができ、アルペジオのような効果
を出すことができる。
As described above, according to the chord processing device of the present invention, pitch conversion according to performance can be performed by performing pitch conversion of an input audio signal based on performance information such as accompaniment. Also, by performing pitch conversion based on chords detected from this performance information, it is not a simple voice conversion,
The pitch of the input audio signal can be converted to a pitch that is in harmony with the chord of the performance. In particular, it is possible to perform pitch conversion while switching the pitch of an input audio signal to each of the constituent tones of a chord in a short time, thereby producing an effect like an arpeggio.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の実施例である音声処理装置のブロッ
ク図である。
FIG. 1 is a block diagram of an audio processing device according to an embodiment of the present invention.

【図2】同音声処理装置の動作を示すフローチャートで
ある。
FIG. 2 is a flowchart showing an operation of the audio processing device.

【図3】同音声処理装置の動作を示すフローチャートで
ある。
FIG. 3 is a flowchart showing an operation of the audio processing device.

【符号の説明】[Explanation of symbols]

1……マイク、4……音高検出回路、5……音高変換LS
I、10……CPU、13……外部記憶装置(コードシーケン
サ)、15……MIDIコネクタ。
1 ... Microphone, 4 ... Pitch detection circuit, 5 ... Pitch conversion LS
I, 10 CPU, 13 external storage device (code sequencer), 15 MIDI connector.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−174096(JP,A) 特開 昭58−2893(JP,A) 特開 昭59−116696(JP,A) 実開 昭59−126294(JP,U) 実公 昭63−36400(JP,Y2) (58)調査した分野(Int.Cl.7,DB名) G10H 1/00 G10H 1/38 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-63-174096 (JP, A) JP-A-58-2893 (JP, A) JP-A-59-116696 (JP, A) 126294 (JP, U) Jiko 63-36400 (JP, Y2) (58) Fields investigated (Int. Cl. 7 , DB name) G10H 1/00 G10H 1/38

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】音声信号を入力する入力手段と、 演奏情報を供給する演奏情報供給手段と、 前記演奏情報から和音を検出する和音検出手段と、 前記入力された音声信号の音高を、前記検出された和音
の構成音の各音高に短時間ずつ切り換えて音高変換し、
同音高変換された音声信号を出力する音高変換手段と、 前記入力された音声信号に、前記音高変換手段によって
音高変換された音声信号を混合するミキサと、 前記ミキサによって混合された音声信号を出力する出力
手段と、 を有することを特徴とする音声処理装置。
An input unit for inputting an audio signal; a performance information supply unit for supplying performance information; a chord detection unit for detecting a chord from the performance information; The pitch is converted by switching to each pitch of the detected chord component for a short time,
Pitch conversion means for outputting the same pitch-converted audio signal; a mixer for mixing the input audio signal with an audio signal whose pitch has been converted by the pitch conversion means; and a sound mixed by the mixer An audio processing apparatus comprising: an output unit that outputs a signal.
JP15025790A 1990-06-08 1990-06-08 Audio processing device Expired - Lifetime JP3241038B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP15025790A JP3241038B2 (en) 1990-06-08 1990-06-08 Audio processing device
US08/266,151 US5446238A (en) 1990-06-08 1994-06-27 Voice processor
US08/918,869 USRE37041E1 (en) 1990-06-08 1997-08-26 Voice processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15025790A JP3241038B2 (en) 1990-06-08 1990-06-08 Audio processing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP37135399A Division JP3234589B2 (en) 1990-06-08 1999-12-27 Audio processing device

Publications (2)

Publication Number Publication Date
JPH0442297A JPH0442297A (en) 1992-02-12
JP3241038B2 true JP3241038B2 (en) 2001-12-25

Family

ID=15492990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15025790A Expired - Lifetime JP3241038B2 (en) 1990-06-08 1990-06-08 Audio processing device

Country Status (1)

Country Link
JP (1) JP3241038B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2757659B2 (en) * 1992-03-17 1998-05-25 ヤマハ株式会社 Music control device
EP0913808B1 (en) 1997-10-31 2004-09-29 Yamaha Corporation Audio signal processor with pitch and effect control
JP7190284B2 (en) * 2018-08-28 2022-12-15 ローランド株式会社 Harmony generator and its program

Also Published As

Publication number Publication date
JPH0442297A (en) 1992-02-12

Similar Documents

Publication Publication Date Title
US5446238A (en) Voice processor
JP2879948B2 (en) Audio processing device
JPH027078B2 (en)
JP3241038B2 (en) Audio processing device
JP3234589B2 (en) Audio processing device
JP3428596B2 (en) Audio processing device
JP3262100B2 (en) Audio processing device
JP3262981B2 (en) Audio processing device
JP2587737B2 (en) Automatic accompaniment device
JP3427409B2 (en) Electronic musical instrument
JP3379253B2 (en) Electronic musical instrument
JP3265995B2 (en) Singing voice synthesis apparatus and method
JP2004070154A (en) Music playing data processing method and musical sound signal synthesizing method
JP2002182670A (en) Sound processing device
JPH0419593Y2 (en)
JP2768064B2 (en) Music synthesizer
JPS6141119Y2 (en)
JPH10171475A (en) Karaoke (accompaniment to recorded music) device
JPS6175398A (en) Singing sound generator
JPS6328473Y2 (en)
JP2974610B2 (en) Electronic musical instrument
JP2894178B2 (en) Performance detection method in performance information
JPH0450599B2 (en)
JPH0720868A (en) Sounding instruction device
JPH0452479B2 (en)

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071019

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081019

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9