JPH05143099A - Speech encoding and decoding device - Google Patents
Speech encoding and decoding deviceInfo
- Publication number
- JPH05143099A JPH05143099A JP3310493A JP31049391A JPH05143099A JP H05143099 A JPH05143099 A JP H05143099A JP 3310493 A JP3310493 A JP 3310493A JP 31049391 A JP31049391 A JP 31049391A JP H05143099 A JPH05143099 A JP H05143099A
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- pitch
- decoding
- speech
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、ディジタル移動通信の
ための音声コーデックや、各種機器の音声出力のための
音声合成器に使用される音声符号化・復号化装置に関す
るものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice coder / decoder used for a voice codec for digital mobile communication and a voice synthesizer for voice output of various devices.
【0002】[0002]
【従来の技術】ディジタル移動通信の分野においては、
加入者の増加に対応するために、より低ビットレートの
音声符号化法が求められており、各研究機関で研究開発
が行われている。そして、現在ではビットレート8kb
psまでが標準化されており、各研究機関は、4.8kbps
程度の低ビットレートに向って研究開発を行っている。
しかし、十分な性能を持つ音声符号化・復号化装置はま
だ得られていない。In the field of digital mobile communications,
In order to cope with the increase in the number of subscribers, there is a demand for a lower bit rate speech coding method, and research and development are being carried out at each research institute. And now the bit rate is 8 kb
ps is standardized, and each research institute has 4.8 kbps
We are conducting research and development towards low bit rates.
However, a voice encoding / decoding device having sufficient performance has not yet been obtained.
【0003】低ビットレートを実現する技術は、次の2
通りの方法に分けることができる。まず、第1の方法
は、CELPに代表されるように、ある分析区間におけ
る音声をLPC系パラメータと駆動音源によって符号化
し、ピッチ成分は長期予測フィルターによって作り出す
という方法である。この方法は6.7kbps〜16kbpsの中ビ
ットレートにおいては現在最も効率の良い方法である。
しかし、4kbps以下ではかなりの音質低下が見られ、低
ビットレートを実現するのは難しい。The technique for realizing a low bit rate is described in the following 2
It can be divided into street ways. First, the first method is a method in which a speech in a certain analysis section is encoded by an LPC system parameter and a driving sound source and a pitch component is generated by a long-term prediction filter, as represented by CELP. This method is currently the most efficient method for medium bit rates of 6.7kbps to 16kbps.
However, at 4 kbps or less, the sound quality is considerably deteriorated, and it is difficult to realize a low bit rate.
【0004】第2の方法は、人の音声の大部分が基本周
波数を持った有声音であることを利用し、ピッチ分析を
行ってピッチと1ピッチ波形のみを伝送するという方法
である。この方法は6kbps以下の符号化においてはかな
り有効で、低ビットレートを実現する最も有力な方法と
言える。しかし、ピッチ検出には誤りが必ず発生する。
また、ピッチ検出に要する計算量はかなり多く、リアル
タイムでのピッチ検出は難しいと言える。The second method is a method in which most of human voice is voiced sound having a fundamental frequency, and pitch analysis is performed to transmit only pitch and one pitch waveform. This method is quite effective for encoding at 6 kbps or less, and can be said to be the most effective method for realizing a low bit rate. However, an error always occurs in pitch detection.
Also, the amount of calculation required for pitch detection is quite large, and it can be said that pitch detection in real time is difficult.
【0005】したがって、上記の理由により、低ビット
レートの実現は難しいとされてきた。Therefore, it has been considered difficult to realize a low bit rate for the above reasons.
【0006】[0006]
【発明が解決しようとする課題】上述したように、従来
の音声符号化・復号化技術では、低ビットレートを実現
するのが困難であった。それは、長期予測では十分な音
質は得られず、また、ピッチ同期ではピッチ検出が困難
であったからである。As described above, it has been difficult to realize a low bit rate with the conventional voice encoding / decoding technology. This is because long-term prediction does not provide sufficient sound quality, and pitch synchronization makes it difficult to detect pitch.
【0007】本発明は、上記課題に鑑み、2つの方法の
長所をあわせ、ピッチ同期の符号化に長期予測を用いて
ピッチ誤りが起らないようにすることによって、低ビッ
トレートを実現することを目的とする。In view of the above problems, the present invention realizes a low bit rate by combining the advantages of the two methods and by using long-term prediction for pitch synchronization encoding to prevent pitch errors. With the goal.
【0008】[0008]
【課題を解決するための手段】この目的を達成するため
に、本発明の第1の発明は、アナログ音声信号からディ
ジタル音声信号を得るA/D変換部と、以前の符号を復
号化して得られる合成波形が格納されている合成波形格
納部と、ある区間のディジタル音声信号に対してピッチ
分析と長期予測分析を行なって長期予測係数と1ピッチ
の基本波形とを求める音響分析部と、音響分析部で得ら
れる1ピッチの基本波形を符号化する基本波形符号化部
と、音響分析部と基本波形符号化部で得られる符号に基
づいて合成音を作成して合成波形格納部に格納する音声
合成部とを設けるように構成される。In order to achieve this object, a first invention of the present invention provides an A / D converter for obtaining a digital voice signal from an analog voice signal, and an A / D converter for decoding a previous code. A synthesized waveform storage section that stores synthesized waveforms, an acoustic analysis section that performs a pitch analysis and a long-term prediction analysis on a digital speech signal in a certain section to obtain a long-term prediction coefficient and a basic pitch of 1 pitch, and an acoustic A basic waveform encoding unit that encodes a one-pitch basic waveform obtained by the analysis unit, and a synthetic sound is created based on the codes obtained by the acoustic analysis unit and the basic waveform encoding unit and stored in the synthetic waveform storage unit. And a voice synthesizer.
【0009】また、本発明の第2の発明は、1ピッチの
基本波形を復号化する基本波形復号化部と、ある区間の
ディジタル音声信号を復号化する音声波形復号化部と、
音声波形復号化部の出力したディジタル音声信号をアナ
ログ音声信号に変換するD/A変換部とを設けるように
構成される。A second aspect of the present invention is a basic waveform decoding section for decoding a 1-pitch basic waveform, a speech waveform decoding section for decoding a digital speech signal in a certain section,
And a D / A conversion unit for converting the digital audio signal output from the audio waveform decoding unit into an analog audio signal.
【0010】[0010]
【作用】本発明の上記構成によって、1ピッチの基本波
形を符号化することによって低ビットレートを実現する
ことができ、長期予測を使用するためにピッチ誤りを防
ぐことができる。従って、低ビットレートの音声符号化
を効率良く行うことができる。With the above-described structure of the present invention, a low bit rate can be realized by encoding a one-pitch basic waveform, and pitch error can be prevented because long-term prediction is used. Therefore, low bit rate speech coding can be performed efficiently.
【0011】[0011]
【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.
【0012】図1において、1はA/D変換部、2は合
成波形格納部、3は音響分析部、4は基本波形符号化
部、5は音声合成部、6は基本波形復号化部、7は音声
波形復号化部、8はD/A変換部、10は符号器、11
は復号器である。In FIG. 1, 1 is an A / D conversion section, 2 is a synthesized waveform storage section, 3 is an acoustic analysis section, 4 is a basic waveform coding section, 5 is a speech synthesis section, 6 is a basic waveform decoding section, 7 is a speech waveform decoding unit, 8 is a D / A conversion unit, 10 is an encoder, 11
Is a decoder.
【0013】次に、本発明の第1の実施例による音声符
号化・復号化装置の動作を説明する。Next, the operation of the speech encoding / decoding apparatus according to the first embodiment of the present invention will be described.
【0014】まず、符号器10の機能について図1を用
いて説明する。マイク(図示せず)から入力した入力音
声をA/D変換部1でディジタル信号に変換する。次に
音響分析部3において、一定時間の音声信号をRAMメ
モリー(図示せず)に取込み、この分析区間と合成波形
格納部2に格納されている合成波形との相関の分析と、
分析区間のピッチ分析とを同時に行い、相関のある合成
波形の部分区間の位置と1ピッチの基本波形とを求め
る。このパラメータと基本波形の抽出方法については、
後に詳細に説明する。First, the function of the encoder 10 will be described with reference to FIG. The A / D converter 1 converts an input voice input from a microphone (not shown) into a digital signal. Next, in the acoustic analysis unit 3, a voice signal of a fixed time is taken into a RAM memory (not shown), and the correlation between this analysis section and the synthetic waveform stored in the synthetic waveform storage unit 2 is analyzed.
The pitch analysis of the analysis section is performed at the same time, and the position of the partial section of the correlated waveform and the basic waveform of one pitch are obtained. For this parameter and the method of extracting the basic waveform,
A detailed description will be given later.
【0015】さらに、基本波形符号化部4においては、
音響分析部3において得られた基本波形を符号化する。
具体的な方法としては、位相を合せて波形のままVQす
る方法や、周波数領域に変換してから符号化する方法等
が挙げられる。Further, in the basic waveform encoding unit 4,
The basic waveform obtained in the acoustic analysis unit 3 is encoded.
Specific methods include a method of matching the phases and performing VQ as a waveform, a method of converting into a frequency domain and then encoding.
【0016】ここで、音声合成部5においては、基本波
形符号化部4において得られた符号に基づいて1ピッチ
の基本波形を復号化し、音響分析部3において抽出した
長期予測係数と上記基本波形とを用いて復号化を行い、
得られた合成波形を合成波形格納部2に格納する。この
音声合成部5の機能は、復号器11における基本波形復
号化部6と音声波形復号化部7の機能を合せたものであ
るので、その詳細は復号器11の説明の際に述べる。Here, in the speech synthesizing section 5, the basic waveform of one pitch is decoded based on the code obtained in the basic waveform coding section 4, and the long-term prediction coefficient extracted in the acoustic analysis section 3 and the above-mentioned basic waveform. Decrypt using and
The obtained composite waveform is stored in the composite waveform storage unit 2. The function of the speech synthesis unit 5 is a combination of the functions of the basic waveform decoding unit 6 and the speech waveform decoding unit 7 in the decoder 11, and the details thereof will be described when the decoder 11 is described.
【0017】ここで、音響分析部3におけるパラメータ
と基本波形の抽出方法について、詳細に説明する。本発
明の合成の式を(数1)に示す。Here, the method of extracting the parameters and the basic waveform in the acoustic analysis unit 3 will be described in detail. The synthesis formula of the present invention is shown in (Equation 1).
【0018】[0018]
【数1】 [Equation 1]
【0019】この(数1)で、nはピッチ区間の番号、
qはピッチ周期、βは長期予測係数、pは長期予測のピ
ッチ、Xnq+i,Xnq+i-pはいずれも合成波形、Yiは復
号化された1ピッチの基本波形である。In this (Equation 1), n is the pitch section number,
q is a pitch period, β is a long-term prediction coefficient, p is a long-term prediction pitch, Xnq + i and Xnq + ip are all synthetic waveforms, and Yi is a decoded basic pitch of one pitch.
【0020】そこで、この合成式により合成される波形
が原波形に最も近くなるようにp、q、β、Yiを求め
る。Therefore, p, q, β and Yi are calculated so that the waveform synthesized by this synthesis formula is closest to the original waveform.
【0021】今、p、qが与えられていると、原波形Now, given p and q, the original waveform
【0022】[0022]
【数2】 [Equation 2]
【0023】と(数1)の合成波形との誤差パワーは以
下の(数3)のようになる。The error power between the composite waveform of and (Formula 1) is as shown in (Formula 3) below.
【0024】[0024]
【数3】 [Equation 3]
【0025】ここで、Eは誤差パワー、Mは1分析区間
内のピッチ周期の数である。そこで、このEが最小の時
は、β、Yiで微分したものがいずれも0になることを
利用する。まず、βで微分すると(数4)が得られる。Here, E is the error power, and M is the number of pitch periods in one analysis section. Therefore, it is used that when E is the minimum, the values differentiated by β and Yi are both 0. First, when differentiated by β, (Equation 4) is obtained.
【0026】[0026]
【数4】 [Equation 4]
【0027】そこで、下記の(数5)および(数6)を
用いて、式を簡略化してβについて解くと、(数7)が
得られる。Therefore, by using the following (Equation 5) and (Equation 6) to simplify the equation and solve for β, (Equation 7) is obtained.
【0028】[0028]
【数5】 [Equation 5]
【0029】[0029]
【数6】 [Equation 6]
【0030】[0030]
【数7】 [Equation 7]
【0031】一方、(数3)をYkで微分すると(数
8)が得られる。On the other hand, when (Equation 3) is differentiated by Yk, (Equation 8) is obtained.
【0032】[0032]
【数8】 [Equation 8]
【0033】そこで、(数8)を(数7)に代入してβ
を求め、その値を用いて各Ykを求める。これを、全て
のp、qについて行い、誤差Eを評価して最も誤差の少
ないp、qを選ぶ。Then, by substituting (Equation 8) into (Equation 7), β
And each value is used to find each Yk. This is performed for all p and q, the error E is evaluated, and p and q with the smallest error are selected.
【0034】ただし、このp、qを全探索すると、多大
な計算量を必要とする。この計算量を削減する方法とし
ては、Vpの値でpおよびqの候補を絞り込んで探索す
る方法や、qをVpの最大の時のpの値にする方法等が
挙げられる。However, a full search for these p and q requires a large amount of calculation. As a method of reducing the calculation amount, there are a method of narrowing down and searching candidates of p and q by the value of Vp, a method of setting q to the value of p at the maximum Vp, and the like.
【0035】次に、復号器11の機能について図1を用
いて説明する。まず、基本波形復号化部6において、1
ピッチの基本波形を合成する。そして、音声波形復号化
部7において、基本波形復号化部6において合成された
1ピッチの基本波形と、長期予測係数とを用いて合成式
(数1)に基づいて1分析区間の音声波形を合成する。
そして、D/A変換部8でアナログ信号に変換して出力
する。Next, the function of the decoder 11 will be described with reference to FIG. First, in the basic waveform decoding unit 6, 1
Synthesizes the pitch basic waveform. Then, the speech waveform decoding unit 7 uses the 1-pitch basic waveform synthesized by the basic waveform decoding unit 6 and the long-term prediction coefficient to generate a speech waveform of one analysis section based on the synthesis formula (Equation 1). To synthesize.
Then, the D / A converter 8 converts the analog signal and outputs the analog signal.
【0036】本発明の音声符号化・復号化装置の符号化
の効果を検証するために、音声符号化・復号化の予備シ
ミュレーション実験を行った。評価用音声は男性1名が
発声した「爆音が銀世界の高原に広がる」で、サンプリ
ングレート8kHz、12bit-PCMで符号化したもので
ある。また、シミュレーションでは基本波形の符号化・
復号化やβのスカラ符号化を行わず、そのままを用い
た。p、qはいずれも7ビットで符号化した。その結
果、セグメンタルS/N比で13.75dBが得られ、
ピッチ誤りも起らなかった。また、1ピッチ波形は14
〜20dBで符号化できることを考慮すると、S/N比
9〜12dBで符号化ができる。したがって、上記目的
を達成することが可能となる。In order to verify the coding effect of the speech coding / decoding apparatus of the present invention, a preliminary simulation experiment of speech coding / decoding was conducted. The voice for evaluation is "the explosion sound spreads to the plateau of the silver world" uttered by one man, and is encoded with a sampling rate of 8 kHz and 12 bit-PCM. In the simulation, the basic waveform coding
It was used as it was without decoding or scalar coding of β. Both p and q were coded with 7 bits. As a result, a segmental S / N ratio of 13.75 dB was obtained,
There was no pitch error. In addition, 1 pitch waveform is 14
Considering that the coding can be performed with ˜20 dB, the coding can be performed with the S / N ratio of 9 to 12 dB. Therefore, it is possible to achieve the above object.
【0037】[0037]
【発明の効果】以上のように、本発明は、ピッチ同期の
符号化に長期予測を用いてピッチ誤りが起らないように
したので、ピッチ誤りを起こさずに低ビットレートで音
声を符号化および復号化することができる。As described above, according to the present invention, the pitch error is prevented from occurring by using the long-term prediction for the pitch synchronization encoding. Therefore, the voice is encoded at the low bit rate without causing the pitch error. And can be decrypted.
【図1】本発明の一実施例における音声符号化・復号化
装置のブロック結線図。FIG. 1 is a block connection diagram of a voice encoding / decoding device according to an embodiment of the present invention.
1 A/D変換部 2 合成波形格納部 3 音響分析部 4 基本波形符号化部 5 音声合成部 6 基本波形復号化部 7 音声波形復号化部 8 D/A変換部 9 伝送路 10 符号器 11 復号器 1 A / D conversion unit 2 Synthetic waveform storage unit 3 Acoustic analysis unit 4 Basic waveform coding unit 5 Speech synthesis unit 6 Basic waveform decoding unit 7 Speech waveform decoding unit 8 D / A conversion unit 9 Transmission path 10 Encoder 11 Decoder
Claims (2)
号を得るA/D変換部と、以前の符号を復号化して得ら
れる合成波形が格納されている合成波形格納部と、ある
区間のディジタル音声信号に対してピッチ分析と長期予
測分析を行なって長期予測係数と1ピッチの基本波形と
を求める音響分析部と、前記音響分析部で得られる1ピ
ッチの基本波形を符号化する基本波形符号化部と、前記
音響分析部と前記基本波形符号化部で得られる符号に基
づいて合成音を作成して前記合成波形格納部に格納する
音声合成部とを有する音声符号化装置。1. An A / D conversion unit for obtaining a digital voice signal from an analog voice signal, a synthesized waveform storage unit for storing a synthesized waveform obtained by decoding a previous code, and a digital voice signal for a certain section. On the other hand, an acoustic analysis unit for performing a pitch analysis and a long-term prediction analysis to obtain a long-term prediction coefficient and a 1-pitch basic waveform, and a basic waveform encoding unit for encoding the 1-pitch basic waveform obtained by the acoustic analysis unit. A speech coder comprising: a sound synthesizing section; and a speech synthesizing section for generating a synthesized sound based on a code obtained by the basic waveform coding section and storing the synthesized sound in the synthesized waveform storage section.
形復号化部と、ある区間のディジタル音声信号を復号化
する音声波形復号化部と、前記音声波形復号化部の出力
したディジタル音声信号をアナログ音声信号に変換する
D/A変換部とを有する音声復号化装置。2. A basic waveform decoding unit for decoding a one-pitch basic waveform, a voice waveform decoding unit for decoding a digital voice signal in a certain section, and a digital voice signal output from the voice waveform decoding unit. A voice decoding device having a D / A conversion unit for converting the signal into an analog voice signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31049391A JP3328945B2 (en) | 1991-11-26 | 1991-11-26 | Audio encoding device, audio encoding method, and audio decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31049391A JP3328945B2 (en) | 1991-11-26 | 1991-11-26 | Audio encoding device, audio encoding method, and audio decoding method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002030538A Division JP3428594B2 (en) | 2002-02-07 | 2002-02-07 | Audio encoding device, audio decoding device, audio encoding method, and audio decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05143099A true JPH05143099A (en) | 1993-06-11 |
JP3328945B2 JP3328945B2 (en) | 2002-09-30 |
Family
ID=18005893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31049391A Expired - Lifetime JP3328945B2 (en) | 1991-11-26 | 1991-11-26 | Audio encoding device, audio encoding method, and audio decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3328945B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553343B1 (en) | 1995-12-04 | 2003-04-22 | Kabushiki Kaisha Toshiba | Speech synthesis method |
JP2004348120A (en) * | 2003-04-30 | 2004-12-09 | Matsushita Electric Ind Co Ltd | Voice encoding device and voice decoding device, and method thereof |
JP4842472B2 (en) * | 1999-07-19 | 2011-12-21 | クゥアルコム・インコーポレイテッド | Method and apparatus for providing feedback from a decoder to an encoder to improve the performance of a predictive speech coder under frame erasure conditions |
-
1991
- 1991-11-26 JP JP31049391A patent/JP3328945B2/en not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553343B1 (en) | 1995-12-04 | 2003-04-22 | Kabushiki Kaisha Toshiba | Speech synthesis method |
US7184958B2 (en) | 1995-12-04 | 2007-02-27 | Kabushiki Kaisha Toshiba | Speech synthesis method |
JP4842472B2 (en) * | 1999-07-19 | 2011-12-21 | クゥアルコム・インコーポレイテッド | Method and apparatus for providing feedback from a decoder to an encoder to improve the performance of a predictive speech coder under frame erasure conditions |
JP2004348120A (en) * | 2003-04-30 | 2004-12-09 | Matsushita Electric Ind Co Ltd | Voice encoding device and voice decoding device, and method thereof |
JP4578145B2 (en) * | 2003-04-30 | 2010-11-10 | パナソニック株式会社 | Speech coding apparatus, speech decoding apparatus, and methods thereof |
Also Published As
Publication number | Publication date |
---|---|
JP3328945B2 (en) | 2002-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7496505B2 (en) | Variable rate speech coding | |
JP4824167B2 (en) | Periodic speech coding | |
US6260009B1 (en) | CELP-based to CELP-based vocoder packet translation | |
JP4270866B2 (en) | High performance low bit rate coding method and apparatus for non-speech speech | |
US6094629A (en) | Speech coding system and method including spectral quantizer | |
JP3446764B2 (en) | Speech synthesis system and speech synthesis server | |
US20070219787A1 (en) | Selection of encoding modes and/or encoding rates for speech compression with open loop re-decision | |
JP2006171751A (en) | Speech coding apparatus and method therefor | |
WO1997007498A1 (en) | Speech processor | |
Jagtap et al. | Speech coding techniques | |
WO2002021091A1 (en) | Noise signal analyzer, noise signal synthesizer, noise signal analyzing method, and noise signal synthesizing method | |
JPH05143099A (en) | Speech encoding and decoding device | |
JP3199142B2 (en) | Method and apparatus for encoding excitation signal of speech | |
JP3428594B2 (en) | Audio encoding device, audio decoding device, audio encoding method, and audio decoding method | |
JP4578145B2 (en) | Speech coding apparatus, speech decoding apparatus, and methods thereof | |
JP4287840B2 (en) | Encoder | |
JP2002073097A (en) | Celp type voice coding device and celp type voice decoding device as well as voice encoding method and voice decoding method | |
Xydeas | An overview of speech coding techniques | |
EP1212750A1 (en) | Multimode vselp speech coder | |
JP2003202884A (en) | Speech synthesis system | |
JPH09297597A (en) | High-efficiency speech transmission system and high-efficiency speech transmission device | |
JPH077275B2 (en) | Audio signal coding system and its equipment | |
Toosy et al. | Design and implementation of an LD-CELP codec | |
JP2000200097A (en) | Speech encoding device, speech decoding device, and speech encoding and decoding device | |
KR19980035867A (en) | Speech data encoding / decoding device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070719 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 10 |