JP2975764B2 - Signal encoding / decoding device - Google Patents

Signal encoding / decoding device

Info

Publication number
JP2975764B2
JP2975764B2 JP4095363A JP9536392A JP2975764B2 JP 2975764 B2 JP2975764 B2 JP 2975764B2 JP 4095363 A JP4095363 A JP 4095363A JP 9536392 A JP9536392 A JP 9536392A JP 2975764 B2 JP2975764 B2 JP 2975764B2
Authority
JP
Japan
Prior art keywords
signal
integrator
multiplier
outputs
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4095363A
Other languages
Japanese (ja)
Other versions
JPH05289699A (en
Inventor
健生 井上
正蔵 杉下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Denki Co Ltd
Original Assignee
Sanyo Denki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Denki Co Ltd filed Critical Sanyo Denki Co Ltd
Priority to JP4095363A priority Critical patent/JP2975764B2/en
Priority to US08/045,426 priority patent/US5511095A/en
Publication of JPH05289699A publication Critical patent/JPH05289699A/en
Application granted granted Critical
Publication of JP2975764B2 publication Critical patent/JP2975764B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は音声信号の帯域圧縮のた
めに用いられる適応差分パルス符号変調(Adaptive Dif
ferential Pulse Code Modulation-ADPCM)方式の
改良に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to adaptive differential pulse code modulation used for band compression of audio signals.
The present invention relates to an improvement of a ferential pulse code modulation-ADPCM) system.

【0002】例えば特公昭63−5926号公報(H03
M 3/04)には入力信号xjと予測値との差を求める減算器
と、この減算器出力を入力し適応的に変化する正規化係
数Δで除した後符号化し出力する適応型量子化器と、
この量子化器の出力を入力し復号器により復号した後
正規化係数を乗ずる適応型逆量子化器と、逆量子化器で
正規化係数を乗じた結果を入力し予測値を求めると共に
復号器の入力または出力を用いて予測値を求めるための
フィルタの係数を修正する適応予測器とを有する適応予
測形DPCM装置が開示されている。
For example , Japanese Patent Publication No. 63-5926 (H03)
M 3/04) is a subtractor that calculates the difference between the input signal x j and the predicted value, and an adaptive type that inputs the output of the subtracter, divides it by an adaptively changing normalization coefficient Δ, and encodes and outputs. A quantizer,
After inputting the output of this quantizer and decoding by the decoder ,
An adaptive inverse quantizer that multiplies by a normalization coefficient and a filter that obtains a prediction value by inputting the result of multiplying the normalization coefficient by the inverse quantizer and obtains a prediction value by using the input or output of the decoder. An adaptive predictive DPCM device having an adaptive predictor for modifying coefficients is disclosed.

【0003】かかる技術は伝送路または記憶媒体でのエ
ラーに強く帯域圧縮特性も良くかつ装置の規模が極めて
小さくなる利点がある。
Such a technique has an advantage that it is resistant to errors in a transmission line or a storage medium, has good band compression characteristics, and has an extremely small apparatus size.

【0004】しかしながら上記公報の技術では、入力信
号の単位サンプル間で変動する値(X j-Xj-1) が大きい場
合には、予測誤差ejが大きくなり、量子化幅(正規化係
数)Δも大きくなるため量子化誤差が大きくなる欠点が
あった。
However, in the technique disclosed in the above publication, the input signal
Value (X j-Xj-1) Is large
The prediction error ejBecomes larger and the quantization width (normalization
Number) Δ also increases, so the quantization error increases.
there were.

【0005】[0005]

【発明が解決しようとする課題】本発明は上記従来技術
に問題点に鑑みてなされたものであり、入力信号の符号
化時に量子化誤差が大きくなるのを抑制する手段を提供
することである。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems in the prior art, and has as its object to provide means for suppressing an increase in quantization error when encoding an input signal. .

【0006】[0006]

【課題を解決するための手段】上記の課題を解決するた
め、本発明は、積分器(1)と、適応差分パルス符号変
調符号器(2)と、適応差分パルス変調復号器(3)
と、微分器(4)とを備える信号の符号化復号化装置で
あって、前記積分器(1)は、入力信号を積分して積分
信号を出力し、前記適応差分パルス符号変調符号器
(2)は、前記積分信号を符号化して符号化信号を出力
し、前記適応差分パルス変調復号器(3)は、前記符号
化信号を復号化して復号化信号を出力し、前記微分器
(4)は、前記復号化信号に積分器(1)の逆フィルタ
ー特性を付与して出力することを特徴とする。また本発
明は、前記積分器(1)は、第1の乗算器(11)と、
加算器(12)と、フイードバック手段(13、14)
とを備え、前記第1の乗算器(11)は、入力信号の大
きさを1/2にし、前記加算器(12)は、第1の乗算
器(11)とフイードバック手段(13、14)の出力
を加算して積分信号を出力し、前記フイードバック手段
(13、14)は、積分信号を遅延させると共に、大き
さを1/2にすることを特徴とする。さらに本発明は、
前記第1の乗算器(11)、又は、フイードバック手段
(13、14)は、ビットシフト器を用いて構成される
ことを特徴とする。
In order to solve the above problems, the present invention provides an integrator (1), an adaptive differential pulse code modulation encoder (2), and an adaptive differential pulse modulation decoder (3).
And a differentiator (4), wherein the integrator (1) integrates an input signal and outputs an integrated signal, and the adaptive differential pulse code modulation encoder ( 2) encodes the integrated signal and outputs a coded signal. The adaptive differential pulse modulation decoder (3) decodes the coded signal and outputs a decoded signal. ) Is characterized by adding the inverse filter characteristic of the integrator (1) to the decoded signal and outputting it. Further, according to the present invention, the integrator (1) includes a first multiplier (11),
Adder (12) and feedback means (13, 14)
The first multiplier (11) reduces the magnitude of the input signal to 1 /, and the adder (12) includes the first multiplier (11) and feedback means (13, 14). And outputs an integrated signal by adding the outputs of the first and second outputs, and the feedback means (13, 14) delays the integrated signal and reduces the magnitude to 1/2. Furthermore, the present invention
The first multiplier (11) or the feedback means (13, 14) is configured using a bit shifter.

【0007】そして前記積分器は、該積分器において
オーバーフローを抑制するために、入力信号の大きさを
1/2にする第1の乗算器と、この第1乗算器の出力
信号の大きさを1/2にする第2の乗算器と、該第2
乗算器の出力をフィードバックして前記第1乗算器
出力に加算する加算器とを有することが望ましい。
[0007] Then, the integrator, in order to suppress the overflowing in integrator, a first multiplier for the magnitude of the input signal to 1/2, the size of the output signal of the first multiplier a second multiplier for 1/2, and by feeding back the output of the second <br/> multiplier adder for adding the <br/> output of the first multiplier is It is desirable.

【0008】[0008]

【作用】上記構成により、ADPCM符号器の前段に置
かれた積分器によって、入力信号のサンプル間で変動す
る値が小さくなり、予測誤差が小さくなる。したがって
量子化幅の値が小さくなって量子化誤差を減少させるこ
とができる。
According to the above configuration, the value that fluctuates between samples of the input signal is reduced by the integrator placed before the ADPCM encoder, and the prediction error is reduced. Therefore, the value of the quantization width is reduced, and the quantization error can be reduced.

【0009】また積分器において、乗算器あるいはビッ
トシフト器は該積分器の出力のオーバーフローを抑制す
る。
In the integrator, a multiplier or a bit shifter suppresses an overflow of the output of the integrator.

【0010】[0010]

【実施例】以下本発明の信号の符号化復号化装置をその
一実施例について図面に基づいて詳細に説明する。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of a signal encoding / decoding apparatus according to the present invention;

【0011】図1は符号化復号化装置の該略図を示し、
1は入力信号の変動幅を減少させるため該信号の高周波
成分を通過しにくくさせる積分器、2は該積分器1の出
力を入力とするADPCM符号化部、3は該符号化部2
の符号化信号を元の信号に復元する復号化部、4は前記
積分器1によって少ししか通過しなかった高周波成分を
多く通過させ、元の周波数特性に戻す微分器である。
FIG. 1 shows the schematic diagram of an encoding / decoding device.
1 is an integrator for reducing the variation range of an input signal so that high-frequency components of the signal are hard to pass through, 2 is an ADPCM encoding unit to which the output of the integrator 1 is input, and 3 is the encoding unit 2
A decoding unit 4 for restoring the coded signal to the original signal is a differentiator that allows a large amount of high-frequency components that have passed only a little by the integrator 1 to pass through and restores the original frequency characteristics.

【0012】そして前記積分器1は、これに入力された
信号を1/2の大きさにする第1の乗算器(ビットシフ
ト器)11と、加算器12と、該加算器12の出力を1/2の
大きさにして遅延器14を介して前記加算器12へフィード
バックし、前記第1の乗算器11の出力に加算する第2の
乗算器(ビットシフト器)とより構成される。
The integrator 1 includes a first multiplier (bit shifter) 11 for reducing the signal input thereto to a half, an adder 12, and an output of the adder 12. It comprises a second multiplier (bit shifter) that feeds back the data to the adder 12 via the delay unit 14 with the size of 1/2, and adds it to the output of the first multiplier 11.

【0013】一方前記微分器4は、前記復号化部3から
の出力を2倍する第3の乗算器41と、この乗算器41の出
力を入力とする第2の加算器42と、前記復号化部3の出
力を遅延させて前記加算器42へ出力し、その出力を乗算
器41の出力に加算する遅延器43とより構成される。
On the other hand, the differentiator 4 includes a third multiplier 41 for doubling the output from the decoding unit 3, a second adder 42 receiving the output of the multiplier 41 as an input, The delay unit 43 delays the output of the conversion unit 3 and outputs the output to the adder 42, and adds the output to the output of the multiplier 41.

【0014】かかる構成において符号化側では入力信号
がまず積分器1を通る。それにより、例え入力信号が単
位サンプル間で値が大きく変動するものであっても、該
積分器1により単位サンプル間で変動する値は小さくな
る。
In such a configuration, an input signal first passes through the integrator 1 on the encoding side. Thereby, even if the value of the input signal fluctuates greatly between the unit samples, the value fluctuating between the unit samples by the integrator 1 becomes small.

【0015】また前記第1・第2の乗算器11、13により
信号の値を1/2にすることによって、積分器1からの
出力がオーバーフローすることはない。
The output of the integrator 1 does not overflow by halving the signal value by the first and second multipliers 11 and 13.

【0016】この構成により例えば16ビットの最大値
が入力された場合でも、第1乗算器11の出力は15ビ
ットとなり、第1加算器12へフィードバックされる信
号も第2乗算器13でビットシフトされて第1乗算器1
1の出力に加算されるので、積分器1の出力は16ビッ
トを越える事はない。
With this configuration, even when a maximum value of, for example, 16 bits is input, the output of the first multiplier 11 becomes 15 bits, and the signal fed back to the first adder 12 is output.
Is also bit-shifted by the second multiplier 13 and the first multiplier 1
1, the output of the integrator 1 does not exceed 16 bits.

【0017】次に前記積分器1の出力信号がADPCM
符号化部2により符号化される。この時の符号化部2へ
の入力信号は、前記積分器1により単位サンプル間で変
動する値が小さいものになっているため、この符号化部
2では精度良く符号化され量子化誤差は小さいものにな
っている。
Next, the output signal of the integrator 1 is ADPCM.
Encoded by the encoding unit 2. At this time, the input signal to the encoding unit 2 has a small value that fluctuates between unit samples by the integrator 1, so that the encoding unit 2 encodes the signal with high accuracy and a small quantization error. It has become something.

【0018】一方の復号化側ではまずADPCM復号化
部3により復号化される。そして復号化された信号は、
積分器1の逆フィルターになっている微分器4を通り出
力される。
On one decoding side, the data is first decoded by the ADPCM decoding unit 3. And the decoded signal is
The signal is output through a differentiator 4 which is an inverse filter of the integrator 1.

【0019】図2は前記図1のADPCM符号化部2及
び復号化部3の詳細を示すブロック図である。同図にお
いて符号化2は、任意のサンプリング時の入力信号xn
と予測信号ynとの差分dnを次の数1により演算する加
算器21と、量子化幅Δnを決定する量子化幅決定部22
と、この量子化幅Δnと前記差分dnとにより符号化値Ln
を次の数2により求め、数3により量子化値qnを求める
量子化器23と、この量子化器23の出力から符号化値Ln
を取り出す符号化器24とを有する。
FIG. 2 is a block diagram showing details of the ADPCM encoder 2 and the decoder 3 shown in FIG. In the figure, the encoding unit 2 is configured to input a signal x n at an arbitrary sampling time.
A prediction signal y n and the difference d n in an adder 21 for calculating the following Equation 1, the quantization width determination unit 22 for determining a quantization width delta n
If, coded value L n by this quantization width delta n and the difference d n
The obtained by the following equation 2, the number 3 and quantizer 23 to obtain quantized values q n, encoded value from the output of the quantizer 23 L n
And an encoder 24 for extracting the

【0020】[0020]

【数1】 (Equation 1)

【0021】[0021]

【数2】 (Equation 2)

【0022】[0022]

【数3】 (Equation 3)

【0023】前記符号化器24の出力Lnは前記量子化幅決
定部22にフィードバックされ、次の数4に基づいて次の
サンプリング時の量子化幅の変更がなされる。
The output L n of the encoder 24 is fed back to the quantization width determination unit 22 changes the quantization width when the next sampling is performed based on the following equation (4).

【0024】[0024]

【数4】 (Equation 4)

【0025】前記数4において乗数M(Ln) は次の表1
(4ビット符号化の場合)に基づいて定まる数値であ
る。
In equation (4), the multiplier M (L n ) is as shown in the following Table 1.
This is a numerical value determined based on (in the case of 4-bit encoding).

【0026】[0026]

【表1】 [Table 1]

【0027】25は前記量子化器23の出力qnと前記予測信
号ynとを加算し、次の数5によりwnを求める加算器であ
り、このwnが遅延器26を経て次のサンプリング時の予測
信号yn+1となる。
[0027] 25 adds the said prediction signal y n and the output q n of the quantizer 23, an adder for obtaining the w n by the following equation (5), the w n is following through the delay unit 26 It becomes a prediction signal y n + 1 at the time of sampling.

【0028】[0028]

【数5】 (Equation 5)

【0029】このようにして各サンプリング時後ごとに
得られた符号化値Lnが、復号化部3に入力される。
[0029] In this way, the coded value L n obtained after each at each sampling time is input to the decoding unit 3.

【0030】復号化部3は前記入力Lnにより前記表1
に基づいて量子化幅Δnを決定する量子化幅決定部31
と、この量子化幅Δn及び前記入力Lnを用いて次の数6
により量子化値q’nを算出する復号化器32と、前記量
子化値q’nに予測信号y’ n を加算して復号化値w’n
を得る加算器33とを有する。
[0030] The decoding unit 3 by the input L n Table 1
Quantization width determination unit 31 for determining a quantization width delta n based on
When, the next few by using this quantization width delta n and the input L n 6
By 'a decoder 32 for calculating the n, the quantization value q' quantized value q 'decoded values by adding the n w' prediction signal y to n n
And an adder 33 that obtains

【0031】[0031]

【数6】 (Equation 6)

【0032】前記復号化値w'n は遅延器34を介して次の
サンプリング時の予測信号y'n+1 を得る。なお、これら
の演算は数7に表される。
[0032] The decoded value w 'n prediction signal y at the next sampling via a delay unit 34' to obtain a n + 1. Note that these operations are represented by Expression 7.

【0033】[0033]

【数7】 (Equation 7)

【0034】ところで図2において入力される信号xn
もとの信号の変動幅を図1の積分器1により減少させた
ものであり、加算器21によって得られる差分すなわち予
測誤差dnは小さくなっている。したがって量子化器23で
得られる量子化値qnの誤差、すなわち量子化誤差が小
さい符号化復号化装置が得られる。
By the way signal x n to be input in FIG. 2 are those with a reduced variation range of the original signal by the integrator 1 of Figure 1, the difference i.e. the prediction error d n obtained by the adder 21 is smaller Has become. Therefore the error of quantization values q n that obtained <br/> in quantizer 23, that is, the quantization error is smaller coder-decoder unit obtained.

【0035】そして積分器1及び微分器4のない従来の
装置により符号化復号化を行った場合と比較すると符号
化部2への入力と復号化部3からの出力信号とのS/N
比で5 〜6dB 程度の改善が見られ、且つ聴感的にも量子
化誤差が減少していることがわかった。
The S / N ratio between the input to the encoding unit 2 and the output signal from the decoding unit 3 is compared with the encoding and decoding performed by the conventional device without the integrator 1 and the differentiator 4.
It was found that the ratio was improved by about 5 to 6 dB, and that the quantization error was reduced audibly.

【0036】以上説明したように本発明では、入力信号
の単位サンプル間で変動する値(X j −X j-1 )が小さい場
合には、予測誤差e j が小さくなり、量子化幅(正規化
係数 )Δが小さくなるため量子化誤差を小さくすること
ができる。 更に、ADPCM符号化の前段に設けられた
積分器内でのオーバーフローを阻止することができる。
As described above, according to the present invention , the input signal
If the value (X j −X j-1 ) that fluctuates between unit samples is small
Expediently, the smaller the prediction error e j, quantization width (normalized
(Coefficient ) Δ is reduced, so that the quantization error is reduced.
Can be. Furthermore, it is provided before ADPCM encoding.
Overflow in the integrator can be prevented.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の信号の符号化復号化装置の一実施例を
示すブロック図である。
FIG. 1 is a block diagram showing an embodiment of a signal encoding / decoding apparatus according to the present invention.

【図2】図1の符号化部及び復号化部の一実施例を示す
ブロック図である。
FIG. 2 is a block diagram showing one embodiment of an encoding unit and a decoding unit of FIG. 1;

【符号の説明】[Explanation of symbols]

1 積分器 2 ADPCM符号化部 3 ADPCM復号化部 4 微分器 DESCRIPTION OF SYMBOLS 1 Integrator 2 ADPCM encoding part 3 ADPCM decoding part 4 Differentiator

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G10L 9/18 G10L 9/00 H03M 3/04 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 6 , DB name) G10L 9/18 G10L 9/00 H03M 3/04

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 積分器(1)と、適応差分パルス符号変
調符号器(2)と、適応差分パルス変調復号器(3)
と、微分器(4)とを備える信号の符号化復号化装置で
あって、 前記積分器(1)は、入力信号を積分して積分信号を出
力し、 前記適応差分パルス符号変調符号器(2)は、前記積分
信号を符号化して符号化信号を出力し、 前記適応差分パルス変調復号器(3)は、前記符号化信
号を復号化して復号化信号を出力し、 前記微分器(4)は、前記復号化信号に積分器(1)の
逆フィルター特性を付与して出力することを特徴とする
信号の符号化復号化装置。
An integrator (1) and an adaptive difference pulse code changer.
Tone encoder (2) and adaptive differential pulse modulation decoder (3)
And a signal encoding / decoding device including a differentiator (4).
The integrator (1) integrates an input signal to generate an integrated signal.
The adaptive differential pulse code modulation encoder (2)
The adaptive differential pulse modulation decoder (3) encodes the signal and outputs an encoded signal.
And outputs a decoded signal. The differentiator (4) outputs the decoded signal to the integrator (1).
It is characterized by applying an inverse filter characteristic and outputting.
A signal encoding / decoding device.
【請求項2】 前記積分器(1)は、第1の乗算器(1
1)と、加算器(12)と、フイードバック手段(1
3、14)とを備え、 前記第1の乗算器(11)は、入力信号の大きさを1/
2にし、 前記加算器(12)は、第1の乗算器(11)とフイー
ドバック手段(13、14)の出力を加算して積分信号
を出力し、 前記フイードバック手段(13、14)は、積分信号を
遅延させると共に、大きさを1/2にすることを特徴と
する請求項1に記載の信号の符号化復号化装置。
2. The integrator (1) includes a first multiplier (1).
1), an adder (12), and feedback means (1
3, 14), and the first multiplier (11) reduces the magnitude of the input signal by 1 /
2, the adder (12) is connected to the first multiplier (11)
The outputs of the feedback means (13, 14) are added and an integrated signal is obtained.
And the feedback means (13, 14) outputs the integrated signal
It is characterized by delaying and reducing the size by half.
The signal encoding / decoding device according to claim 1.
【請求項3】 前記第1の乗算器(11)、又は、フイ
ードバック手段(13、14)は、ビットシフト器を用
いて構成されることを特徴とする請求項2に記載の信号
の符号化復号化装置。
3. The first multiplier (11) or a filter (1)
The feedback means (13, 14) uses a bit shifter.
3. The signal according to claim 2, wherein
Encoding / decoding device.
JP4095363A 1992-04-15 1992-04-15 Signal encoding / decoding device Expired - Fee Related JP2975764B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4095363A JP2975764B2 (en) 1992-04-15 1992-04-15 Signal encoding / decoding device
US08/045,426 US5511095A (en) 1992-04-15 1993-04-13 Audio signal coding and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4095363A JP2975764B2 (en) 1992-04-15 1992-04-15 Signal encoding / decoding device

Publications (2)

Publication Number Publication Date
JPH05289699A JPH05289699A (en) 1993-11-05
JP2975764B2 true JP2975764B2 (en) 1999-11-10

Family

ID=14135551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4095363A Expired - Fee Related JP2975764B2 (en) 1992-04-15 1992-04-15 Signal encoding / decoding device

Country Status (1)

Country Link
JP (1) JP2975764B2 (en)

Also Published As

Publication number Publication date
JPH05289699A (en) 1993-11-05

Similar Documents

Publication Publication Date Title
USRE34562E (en) Amplitude-adaptive vector quantization system
RU2670797C9 (en) Method and apparatus for generating from a coefficient domain representation of hoa signals a mixed spatial/coefficient domain representation of said hoa signals
EP0966793A1 (en) Audio coding method and apparatus
US6593872B2 (en) Signal processing apparatus and method, signal coding apparatus and method, and signal decoding apparatus and method
JPH0519331B2 (en)
US8160870B2 (en) Method, apparatus, program, and recording medium for long-term prediction coding and long-term prediction decoding
EP2499742B1 (en) Prediction of signals
US5511094A (en) Signal processor for a sub-band coding system
EP0185095A1 (en) Digital signal transmission device
JP2975764B2 (en) Signal encoding / decoding device
JPH0969781A (en) Audio data encoding device
US4910751A (en) Method and apparatus for reversible compression of information-carrying symbols
JP2774003B2 (en) Code excitation linear predictive encoder
JPH0732349B2 (en) Decoder device
JP2699388B2 (en) Noise shaping method
JP2952878B2 (en) Digital signal processor
EP1564650A1 (en) Method and apparatus for transforming a digital audio signal and for inversely transforming a transformed digital audio signal
JPH01221021A (en) Digital signal processing unit
JP3183743B2 (en) Linear predictive analysis method for speech processing system
JPS635926B2 (en)
JP2637965B2 (en) Voice encoding / decoding method and apparatus
JPH04301900A (en) Audio encoding device
JPS625378B2 (en)
JPS58204632A (en) Method and apparatus for encoding voice
JPS6313605B2 (en)

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees