JP3237244B2 - Calculation method of short-term forecast coefficient - Google Patents

Calculation method of short-term forecast coefficient

Info

Publication number
JP3237244B2
JP3237244B2 JP31626592A JP31626592A JP3237244B2 JP 3237244 B2 JP3237244 B2 JP 3237244B2 JP 31626592 A JP31626592 A JP 31626592A JP 31626592 A JP31626592 A JP 31626592A JP 3237244 B2 JP3237244 B2 JP 3237244B2
Authority
JP
Japan
Prior art keywords
order
autocorrelation
short
calculating
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31626592A
Other languages
Japanese (ja)
Other versions
JPH06149297A (en
Inventor
祐児 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP31626592A priority Critical patent/JP3237244B2/en
Publication of JPH06149297A publication Critical patent/JPH06149297A/en
Application granted granted Critical
Publication of JP3237244B2 publication Critical patent/JP3237244B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、例えば線形予測符号化
器に適用して好ましい短期予測係数の計算方法に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for calculating short-term prediction coefficients which is preferably applied to, for example, a linear prediction encoder.

【0002】[0002]

【従来の技術】近年、低ビットレート、すなわち、4.8
〜9.6 kbpsでの音声符号化方法には、ベクトル和励起リ
ニア予測(VSELP:Vector Sum Excited Linear Pr
ediction)等のコード励起リニア予測(CELP:Code
Excited Linear Prediction)が提唱されている。
2. Description of the Related Art In recent years, low bit rates, that is, 4.8
Speech coding at 9.69.6 kbps includes a vector sum excited linear prediction (VSELP).
code excitation linear prediction (CELP: Code)
Excited Linear Prediction) has been proposed.

【0003】このVSELPについての技術内容は、モ
トローラ・インコーポレーテッドによる特表平2−50
2135号公報の「改良されたベクトル励起源を有する
ディジタル音声コーダ」及び「VECTOR SUM EXCITED LIN
EAR PREDICTION(VSELP) : SPEECH CODING AT 8 KBPS :I
ra A.Gerson and Jasiuk :Paper presented at the In
t.Conf.on Acoustics,Speech and Signal Processing -
April 1990 」に記載されている。
[0003] The technical content of this VSELP is described in JP-T-Hei 2-50 by Motorola Incorporated.
No. 2135, “Digital Speech Coder with Improved Vector Excitation Source” and “VECTOR SUM EXCITED LIN”
EAR PREDICTION (VSELP): SPEECH CODING AT 8 KBPS: I
ra A.Gerson and Jasiuk: Paper presented at the In
t.Conf.on Acoustics, Speech and Signal Processing-
April 1990 ".

【0004】上記VSELPを用いた音声符号化方法を
適用した音声符号化装置としては、VSELPエンコー
ダがある。このVSELPエンコーダの処理は、大きく
分けて、短期予測係数の計算、量子化したベクトルの算
定から成り立っている。
There is a VSELP encoder as a speech encoding apparatus to which the speech encoding method using VSELP is applied. The processing of the VSELP encoder is roughly divided into calculation of a short-term prediction coefficient and calculation of a quantized vector.

【0005】上記短期予測係数の計算は、音声のホルマ
ントに相当する部分を取り出す処理である。すなわち、
入力音声データから得られた自己相関値から複数次の反
射係数を求め、この複数次の反射係数を基に複数次の短
期予測係数を求めて音声のホルマントを予測する処理で
ある。
[0005] The calculation of the short-term prediction coefficients is a process of extracting a portion corresponding to a formant of a voice. That is,
This is a process in which a plurality of reflection coefficients are obtained from the autocorrelation value obtained from the input voice data, and a plurality of short-term prediction coefficients are obtained based on the plurality of reflection coefficients to predict the formant of the voice.

【0006】[0006]

【発明が解決しようとする課題】ところで、自己相関値
から複数次の反射係数を求めるには、演算によって求め
られた反射係数値に一番近い反射係数をVSELP自身
のテーブルからサーチする。上記演算は、DSP(ディ
ジタルシグナルプロセッサ)によって行われる。
By the way, in order to obtain a plurality of reflection coefficients from the autocorrelation value, a reflection coefficient closest to the reflection coefficient value obtained by calculation is searched from the table of VSELP itself. The above operation is performed by a DSP (Digital Signal Processor).

【0007】固定小数点形式の上記DSPは、例えば予
測次数が10次の場合、10個の反射係数を求めるが、
上記DSPの演算形式が固定少数点であると高次の反射
係数計算時に予測誤差がだんだん小さくなっていくた
め、結果として演算誤差が生じ、これが原因で誤った反
射係数を求めることになり、最悪の場合異音を発するこ
とがあった。
The above fixed-point DSP calculates, for example, ten reflection coefficients when the prediction order is tenth order.
If the DSP has a fixed decimal point calculation format, the prediction error will gradually decrease during the calculation of the higher-order reflection coefficient. As a result, a calculation error will occur. As a result, an erroneous reflection coefficient will be obtained. In some cases, it made noise.

【0008】本発明は、誤った反射係数を用いず、異音
を発生させない短期予測係数の計算方法の提供を目的と
する。
An object of the present invention is to provide a method of calculating a short-term prediction coefficient that does not use an erroneous reflection coefficient and does not generate abnormal noise.

【0009】[0009]

【課題を解決する手段】本発明に係る短期予測係数の計
算方法は、入力音声データに基づいて共分散行列を求
め、上記共分散行列から複数次の反射係数を低次より順
次算出する工程と、上記工程より求められた複数次の反
射係数より複数次の短期予測係数を求める工程とを有す
る短期予測係数の計算方法において、上記複数次の反射
係数を低次より順次算出する工程中に、ある次数の前向
き残差の自己相関と後向き残差の自己相関の和が、予め
決められた所定値以下となるとき、その次数及び高次の
次数の反射係数を強制的に零近傍の値とすることを特徴
として上記課題を解決する。
A method of calculating a short-term prediction coefficient according to the present invention comprises the steps of: obtaining a covariance matrix based on input speech data; and sequentially calculating a plurality of reflection coefficients from the covariance matrix in ascending order. A step of calculating a plurality of short-term prediction coefficients from a plurality of reflection coefficients obtained from the above-mentioned step, and a step of calculating a plurality of short-term prediction coefficients from the low-order reflection coefficients in the step of sequentially calculating the plurality of reflection coefficients from a low order When the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual of a certain order is equal to or less than a predetermined value, the reflection coefficient of the order and the higher order is forcibly set to a value near zero. The above-mentioned problem is solved by the feature of the present invention.

【0010】ここで、上記前向き残差の自己相関と後向
き残差の自己相関の和が予め決められた所定値以下とな
った場合、その次数以降の反射係数の算出は行わなくて
もよい。
Here, when the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual becomes equal to or less than a predetermined value, it is not necessary to calculate the reflection coefficient after the order.

【0011】また、本発明に係る短期予測係数の計算方
法は、入力音声データに基づいて共分散行列を求め、上
記共分散行列から複数次の反射係数を低次より順次算出
する工程と、上記工程より求められた複数次の反射係数
から複数次の短期予測係数を求める工程とを有する短期
予測係数の計算方法において、上記複数次の反射係数を
低次より順次算出する工程中に、ある次数の前向き残差
の自己相関と後向き残差の自己相関の平均値が、予め決
められた所定値以下となるとき、その次数及び高次の次
数の反射係数を強制的に零近傍の値とすることを特徴と
して上記課題を解決する。
Further, the method of calculating short-term prediction coefficients according to the present invention comprises the steps of: obtaining a covariance matrix based on input speech data; and sequentially calculating a plurality of reflection coefficients from the covariance matrix from a low order. Obtaining a multi-order short-term prediction coefficient from the multi-order reflection coefficient obtained from the step, wherein the multi-order reflection coefficient is sequentially calculated from a low order. When the average value of the autocorrelation of the forward residual and the autocorrelation of the backward residual is equal to or smaller than a predetermined value, the reflection coefficient of the order and the higher order is forcibly set to a value near zero. The feature is solved to solve the above problem.

【0012】ここで、上記前向き残差の自己相関と後向
き残差の自己相関の平均値が予め決められた所定値以下
となった場合、その次数以降の反射係数の算出は行わな
くてもよい。
Here, when the average value of the autocorrelation of the forward residual and the autocorrelation of the backward residual becomes equal to or less than a predetermined value, it is not necessary to calculate the reflection coefficient after that order. .

【0013】また、上記本発明に係る短期予測係数の計
算方法では、上記反射係数を固定少数点演算により算出
している。
In the method of calculating a short-term prediction coefficient according to the present invention, the reflection coefficient is calculated by a fixed-point operation.

【0014】[0014]

【作用】本発明に係る短期予測係数の計算方法は、ある
次数の前向き残差の自己相関と後向き残差の自己相関の
和又は平均値が予め決められた所定値以下となるとき
に、入力音声データに基づいて得られた共分散行列から
の複数次の反射係数がその次数及び高次の次数で強制的
に零近傍の値となるように、低次より順次算出されるの
で、誤った反射係数を算出せず、異音を発生させない。
According to the present invention, there is provided a method for calculating a short-term prediction coefficient, wherein the sum or the average value of the autocorrelation of the forward residual and the autocorrelation of the backward residual of a certain order is equal to or less than a predetermined value. Since the multi-order reflection coefficient from the covariance matrix obtained based on the audio data is forcibly calculated to be a value close to zero at the order and the higher order, it is sequentially calculated from the lower order, so an incorrect Does not calculate reflection coefficient and does not generate abnormal noise.

【0015】[0015]

【実施例】以下、本発明に係る短期予測係数の計算方法
が適用できる線形予測符号化器であるベクトル和励起リ
ニア予測(VSELP:Vector Sum Excited Linear Pr
ediction)エンコーダを一実施例として図面を参照しな
がら説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a vector sum excited linear prediction (VSELP) which is a linear prediction encoder to which the method for calculating short-term prediction coefficients according to the present invention can be applied.
ediction) An encoder will be described as an embodiment with reference to the drawings.

【0016】図1に本発明の一実施例であるVSELP
エンコーダの要部(短期予測係数計算部)の概略構成を
示す。
FIG. 1 shows a VSELP according to an embodiment of the present invention.
3 shows a schematic configuration of a main part (short-term prediction coefficient calculation unit) of the encoder.

【0017】このVSELPエンコーダは、入力音声デ
ータの170サンプルを1フレームとして短期予測係数
の計算を行うものである。先ず、図1において、入力端
子11には、例えば8kHz程度の所定のサンプリングレ
ートでディジタル変換された音声信号(音声サンプルデ
ータ)が供給されており、この音声サンプルデータは、
共分散行列計算部12に送られる。
The VSELP encoder calculates short-term prediction coefficients using 170 samples of input audio data as one frame. First, in FIG. 1, an input terminal 11 is supplied with a digitally converted audio signal (audio sample data) at a predetermined sampling rate of about 8 kHz, for example.
It is sent to the covariance matrix calculator 12.

【0018】この共分散行列計算部12は、音声サンプ
ルデータの自己相関より共分散行列を計算する。上記共
分散行列は、帯域幅の拡張のために窓かけ処理部13に
より、窓かけ処理される。この窓かけ処理された共分散
行列は、初期相関算出部14に供給される。
The covariance matrix calculator 12 calculates a covariance matrix from the autocorrelation of the audio sample data. The covariance matrix is windowed by the windowing processing unit 13 to extend the bandwidth. The windowed covariance matrix is supplied to the initial correlation calculator 14.

【0019】この初期相関算出部14は、初期の前向き
残差の自己相関F0を計算するF0計算部14aと、初期
の後向き残差の自己相関B0を計算するB0計算部14b
と、初期の前向き残差と後向き残差の相互の相関C0
計算するC0計算部14cとにより構成されている。こ
の初期相関算出部14で求められた自己相関F0、自己
相関B0及び相互の相関C0は、所定値算出部15に供給
される。
[0019] The initial correlation calculation unit 14, a F 0 calculator 14a for calculating the autocorrelation F 0 of the initial forward residuals, B 0 calculator 14b for calculating the autocorrelation B 0 of the initial backward residuals
And a C 0 calculator 14c for calculating the mutual correlation C 0 between the initial forward residual and the backward residual. The autocorrelation F 0 , the autocorrelation B 0, and the mutual correlation C 0 obtained by the initial correlation calculator 14 are supplied to a predetermined value calculator 15.

【0020】この所定値算出部15は、上記自己相関F
0 とB0 とから一定の閾値である所定値を算出する。こ
の所定値算出部15で求められた所定値は、予測誤差レ
ベル判定部16に供給される。
The predetermined value calculator 15 calculates the autocorrelation F
A predetermined value that is a fixed threshold is calculated from 0 and B 0 . The predetermined value calculated by the predetermined value calculation unit 15 is supplied to the prediction error level determination unit 16.

【0021】この予測誤差レベル判定部16には、後述
する相関算出部19で求められた予測次数jの前向き残
差の自己相関Fj及び予測次数jの後向き残差の自己相
関Bjから求められた予測誤差レベルも供給され、上記
所定値と値の大きさを比較する。そして、上記予測誤差
が上記所定値以下となるときに、反射係数固定部18に
分岐する一方、上記予測誤差が上記所定値以下にならな
いときには、反射係数計算&量子化部17に分岐する。
The prediction error level determination unit 16 calculates an autocorrelation F j of a forward residual of the prediction order j and an autocorrelation B j of a backward residual of the prediction order j obtained by a correlation calculation unit 19 described later. The calculated prediction error level is also supplied, and the predetermined value is compared with the value. When the prediction error is equal to or less than the predetermined value, the process branches to the reflection coefficient fixing unit 18. When the prediction error does not decrease to the predetermined value or less, the process branches to the reflection coefficient calculation and quantization unit 17.

【0022】この反射係数計算&量子化部17は、予測
次数j(1≦j≦10)での反射係数rjを計算によっ
て求め、量子化して、図示しないメモリ部に記録してお
く。この反射係数計算&量子化部17で求められた反射
係数rjは、相関算出部19に供給される。また、j=
10のときは、短期予測係数算出部20に分岐する。
The reflection coefficient calculation & quantization unit 17 calculates the reflection coefficient r j at the prediction order j (1 ≦ j ≦ 10), quantizes it, and records it in a memory unit (not shown). The reflection coefficient r j obtained by the reflection coefficient calculation & quantization section 17 is supplied to the correlation calculation section 19. Also, j =
In the case of 10, the process branches to the short-term prediction coefficient calculation unit 20.

【0023】この相関算出部19は、予測次数jの前向
き残差の自己相関Fjを計算するFj計算部19aと、予
測次数jの後向き残差の自己相関Bjを計算するBj計算
部19bと、上記前向き残差と後向き残差の相互の相関
jを計算するCj計算部19cにより構成され、上記反
射係数rj及び前段の前向き残差の自己相関Fj-1、前段
の後向き残差の自己相関Bj-1 、前段の相互の相関C
j-1より、予測次数jの前向き残差の自己相関Fj、予測
次数jの後向き残差の自己相関Bj及び予測次数jの相
互の相関Cjを算出する。
[0023] The correlation calculating unit 19, and F j calculator 19a for calculating the autocorrelation F j of the forward residual of the prediction order j, B j calculated for calculating the autocorrelation B j of backward residuals prediction order j And a C j calculator 19c for calculating a mutual correlation C j between the forward residual and the backward residual. The reflection coefficient r j and the autocorrelation F j−1 of the forward residual in the preceding stage are calculated in the preceding stage. Autocorrelation B j−1 of the backward residual and the cross-correlation C of the preceding stage
from j-1, is calculated autocorrelation F j of the forward residual of the prediction order j, the correlation C j mutual autocorrelation B j and prediction order j of the backward residual prediction order j.

【0024】上記反射係数固定部18は、上記予測誤差
レベル判定部16からの分岐後、その次数及び高次の次
数の反射係数rjを強制的に零近傍の値に固定し、その
次数以降の反射係数の算出を行わない。この反射係数r
jは、j=10まで繰り返されながら短期予測係数算出
部20に供給される。この短期予測係数算出部20は、
上記反射係数rjを基に短期予測係数を算出し、出力端
子21から出力する。
After the branch from the prediction error level judging unit 16, the reflection coefficient fixing unit 18 forcibly fixes the reflection coefficient r j of the order and the higher order to a value near zero, and after that order. Is not calculated. This reflection coefficient r
j is supplied to the short-term prediction coefficient calculation unit 20 while being repeated until j = 10. This short-term prediction coefficient calculation unit 20
A short-term prediction coefficient is calculated based on the reflection coefficient r j and output from the output terminal 21.

【0025】本実施例のVSELPエンコーダでは、音
声サンプルデータの自己相関より共分散行列を算出し、
この共分散行列から反射係数を求める際に、ある次数の
前向き残差の自己相関と後向き残差の自己相関の和が予
め決められた所定値以下となるときに、その次数及び高
次の次数での上記反射係数を強制的に零近傍の値とし、
その次数以降の反射係数の算出を行わない。
In the VSELP encoder of this embodiment, a covariance matrix is calculated from the autocorrelation of the audio sample data.
When calculating the reflection coefficient from the covariance matrix, when the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual of a certain order is equal to or smaller than a predetermined value, the order and the higher order The reflection coefficient at is forced to a value near zero,
The calculation of the reflection coefficient after that order is not performed.

【0026】言い換えると、音声サンプルデータの自己
相関より反射係数を求め、この反射係数から短期予測係
数αk を求めることになるが、先ず、自己相関係数算出
の意味を説明する。
In other words, the reflection coefficient is determined from the autocorrelation of the audio sample data, and the short-term prediction coefficient α k is determined from the reflection coefficient. First, the meaning of calculating the autocorrelation coefficient will be described.

【0027】音声サンプルデータS(n) は、次の(1)
式に示すように利得パラメータG、フィルタ係数ak
び励振u(n) により推定できる。
The audio sample data S (n) has the following (1)
As shown in the equation, it can be estimated by the gain parameter G, the filter coefficient a k, and the excitation u (n).

【0028】[0028]

【数1】 (Equation 1)

【0029】また、短期予測係数αk を持つ予測器は、
次の(2)式に示すような予測出力S’(n) を出力す
る。
A predictor having a short-term prediction coefficient α k is
The prediction output S '(n) as shown in the following equation (2) is output.

【0030】[0030]

【数2】 (Equation 2)

【0031】このとき、予測誤差e(n) は、At this time, the prediction error e (n) is

【0032】[0032]

【数3】 となる。(Equation 3) Becomes

【0033】上記(1)〜(3)式で、αk =ak かつ
e(n) =G・u(n) なら、上記音声サンプルデータS
(n) を厳密に予測できる。ここで、短期予測係数αk
優れていれば、音声信号S(n) のスペクトル的性質がよ
く表される予測出力S’(n) が得られる。そのために
は、予測誤差e(n) の平均2乗誤差En を、
In the above equations (1) to (3), if α k = ak and e (n) = G · u (n), the audio sample data S
(n) can be predicted exactly. Here, if the short-term prediction coefficient α k is excellent, a predicted output S ′ (n) that well represents the spectral characteristics of the audio signal S (n) can be obtained. To do this, the mean square error E n of the prediction error e (n),

【0034】[0034]

【数4】 とし、この(4)式の平均2乗誤差En を最小にする必
要がある。ここで、S(m) は、音声区間nに対するサン
プルデータ数mの音声信号である。また、ここで得たい
のは短期間の音声信号に対する短期予測係数αk なの
で、音声信号は有限区間である。
(Equation 4) And then, it is necessary to make the mean square error E n of the equation (4) to a minimum. Here, S (m) is a voice signal of sample data number m for voice section n. Also, what we want to obtain here is the short-term prediction coefficient α k for the short-term audio signal, so the audio signal is a finite section.

【0035】上記(4)式の平均2乗誤差En を最小に
する短期予測係数αk のが与えられるとき、 En/ αi=0(i=0、1、・・・、p) ・・・・・(5) となるので、次の(6)式が得られる。
[0035] (4) When the short-term prediction coefficients αk are given to minimize the mean square error En of formula, E n / α i = 0 (i = 0,1, ···, p) ·· (5), the following equation (6) is obtained.

【0036】[0036]

【数5】 ここで、αk * は平均2乗誤差En を最小にするαk
ある。(以下αk * の“*”を省略してαk とする。)
(Equation 5) Here, alpha k * is the alpha k that minimizes the mean square error E n. (Hereinafter, “*” of α k * is abbreviated as α k .)

【0037】ここで、次の(7)式のようにφn (i,k)
を定義する。
Here, as shown in the following equation (7), φ n (i, k)
Is defined.

【0038】[0038]

【数6】 (Equation 6)

【0039】すると、上記(6)式は、次の(8)式の
ようになる。
Then, the above equation (6) becomes the following equation (8).

【0040】[0040]

【数7】 (Equation 7)

【0041】したがって、上記(8)式の線形方程式の
φn (i,k) (k=0…p)が与えられれば短期予測係数
αk が求められる。すなわち、自己相関係数算出が意味
を持つことなる。
Therefore, if φ n (i, k) (k = 0... P) of the linear equation of the above equation (8) is given, the short-term prediction coefficient α k is obtained. That is, the calculation of the autocorrelation coefficient is significant.

【0042】本実施例のVSELPエンコーダは、上述
したように上記共分散計算部12が音声サンプルデータ
の自己相関より共分散行列を算出している。以下に、上
記共分散行列計算部12の原理を説明する。
In the VSELP encoder of this embodiment, as described above, the covariance calculator 12 calculates the covariance matrix from the autocorrelation of the audio sample data. Hereinafter, the principle of the covariance matrix calculation unit 12 will be described.

【0043】上記(8)式の線形方程式を解くにあた
り、φn (i,k) を計算する区間と音声サンプルデータS
n (m) の定義により2つの線形予測分析の方法が発生す
る。このうちの一つが共分散法である。この共分散法
は、平均2乗誤差を計算する区間を固定し、φn (i,k)
の計算の効果を考える方法である。
In solving the linear equation of the above equation (8), the section for calculating φ n (i, k) and the voice sample data S
The definition of n (m) gives rise to two methods of linear predictive analysis. One of these is the covariance method. In this covariance method, the interval for calculating the mean square error is fixed, and φ n (i, k)
This is a way to consider the effect of the calculation.

【0044】先ず、平均2乗誤差E(n) を、First, the mean square error E (n) is calculated as

【0045】[0045]

【数8】 (Equation 8)

【0046】と定義すると、φn (i,k) は、When φ n (i, k) is defined as

【0047】[0047]

【数9】 となる。(Equation 9) Becomes

【0048】この(10) 式の和の添字を変更するとφn
(i,k) は、
When the suffix of the sum in equation (10) is changed, φ n
(i, k) is

【0049】[0049]

【数10】 (Equation 10)

【0050】または、Or

【0051】[0051]

【数11】 となる。[Equation 11] Becomes

【0052】上記(11)、(12)式より、−p≦m≦N−1
の範囲のSn (m) を必要とすることになり、足りないp
個は外側から補うことになる。
From the above equations (11) and (12), -p≤m≤N-1
And S n (m) in the range of
Individuals will be supplemented from the outside.

【0053】ここで、上記(8)式において、φn (i,
k) =φn (k,i) なので、これはp×pの対称行列であ
る。φn (i,k) をこの式のように計算する方法に基づく
解析方法が共分散法であり、上記共分散行列計算部12
の原理となっている。
Here, in the above equation (8), φ n (i,
Since k) = φ n (k, i), this is a p × p symmetric matrix. An analysis method based on a method of calculating φ n (i, k) as in this equation is a covariance method, and the covariance matrix calculation unit 12
Has become the principle.

【0054】上記共分散法の解法を、以下に説明する。
先ず、時系列の線形予測分析に対する格子型フィルタ
は、通常、図2のようにp個の格子を持つカスケードに
より表されている。また、線形予測分析では、信号のス
ペクトルH(Z) は、次の(13)式に示すように全極の伝達
関数A(Z) によりモデル化される。
The solution of the above covariance method will be described below.
First, a lattice filter for time-series linear prediction analysis is usually represented by a cascade having p lattices as shown in FIG. In the linear prediction analysis, the spectrum H (Z) of the signal is modeled by the transfer function A (Z) of all poles as shown in the following equation (13).

【0055】[0055]

【数12】 (Equation 12)

【0056】また、反射係数Km は、周知のレビンソン
法により、予測係数ak と次の(14)式のような関係にあ
る。
The reflection coefficient K m has a relationship with the prediction coefficient a k according to the following formula (14) according to the well-known Levinson method.

【0057】[0057]

【数13】 (Equation 13)

【0058】格子形では、反射係数は通常、段階毎に前
向き残差fm (n) 、後向き残差bm(n) 、或いは両方を
最小にするように見積もられる。
In the grid form, the reflection coefficient is usually estimated step by step to minimize the forward residual f m (n), the backward residual b m (n), or both.

【0059】したがって、図2より、次の(15)式の関係
が成り立つ。 f0(n) =b0(n) =S(n) f m+1(n)=f m (n) +km+1 m (n−1) b m+1(n)=km+1 f m (n) +bm (n−1) ・・・・(15)
Therefore, from FIG. 2, the following equation (15) holds. f 0 (n) = b 0 (n) = S (n) f m + 1 (n) = f m (n) + k m + 1 b m (n-1) b m + 1 (n) = k m +1 f m (n) + b m (n−1) ・ ・ ・ ・ (15)

【0060】また、S(n) は入力信号でe(n) =f
p (n) は予測誤差である。通常、格子形はkm を2乗の
関数として計算するので、次の(16)式が成立する。 Fm (n) =E(f m 2(n)) Bm (n) =E(b m 2(n −1)) Cm (n) =E(f m (n)b m (n−1)) ・・・・ (16) ここで、E(・)は期待値である。
S (n) is an input signal and e (n) = f
p (n) is the prediction error. Usually, since the lattice-shaped computes k m as the square of the functions, the following (16) is established. F m (n) = E ( f m 2 (n)) B m (n) = E (b m 2 (n -1)) C m (n) = E (f m (n) b m (n- 1)) (16) Here, E (•) is an expected value.

【0061】また、φn (i,k) =E(S(n−k)S(n−
i))とすると、次の(17)式が成立する。
Also, φ n (i, k) = E (S (n−k) S (n−
i)), the following equation (17) holds.

【0062】[0062]

【数14】 [Equation 14]

【0063】ここで、F00 m =Fm (n) 、B00 m =Bm
(n−1)、C00 m =Cm (n) であり、上記(14)式より、上
記(17)式は、次の(18)式のように変換される。
Here, F 00 m = F m (n), B 00 m = B m
(n−1), C 00 m = C m (n), and from the above equation (14), the above equation (17) is converted into the following equation (18).

【0064】[0064]

【数15】 (Equation 15)

【0065】このようにして、共分散行列から順次前向
き残差の自己相関F、後向き残差の自己相関B、相互の
相関Cを計算し、反射係数を求めることができる。
In this way, the autocorrelation F of the forward residual, the autocorrelation B of the backward residual, and the mutual correlation C can be sequentially calculated from the covariance matrix to determine the reflection coefficient.

【0066】すなわち、上記図1の上記共分散行列計算
部12は、音声サンプルデータから共分散行列φ(i,k)
を、
That is, the covariance matrix calculator 12 in FIG. 1 calculates the covariance matrix φ (i, k) from the voice sample data.
To

【0067】[0067]

【数16】 のように計算する。ここでNA は音声サンプル数(例え
ば、170サンプル)であり、Np は予測次数の総数
(例えば10次)である。
(Equation 16) Calculate as Here, N A is the number of audio samples (for example, 170 samples), and N p is the total number of prediction orders (for example, 10 order).

【0068】次に、上記図1の初期相関算出部14は、
前向き残差の自己相関F0 、後向き残差の自己相関
0 、両者の相互相関C0 を次の(20)式のように計算す
る。 F0 (i,k) =φ(i,k) 0≦i、k≦Np0 (i,k) =φ(i+1,k +1) 0≦i、k≦Np0 (i,k) =φ(i,k) 0≦i、k≦Np ・・・(20)
Next, the initial correlation calculator 14 in FIG.
The autocorrelation F 0 of the forward residual, the autocorrelation B 0 of the backward residual, and the cross-correlation C 0 of both are calculated as in the following equation (20). F 0 (i, k) = φ (i, k) 0 ≦ i, k ≦ N p B 0 (i, k) = φ (i + 1, k + 1) 0 ≦ i, k ≦ N p C 0 (i, k) = φ (i, k) 0 ≦ i, k ≦ N p (20)

【0069】次に、上記所定値算出部15が前向き残差
の自己相関と後向き残差の自己相関との和から閾値とな
る所定値を算出する。この所定値は、上記予測誤差レベ
ル判定部16に供給される。
Next, the predetermined value calculation section 15 calculates a predetermined value as a threshold from the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual. This predetermined value is supplied to the prediction error level determination unit 16.

【0070】そして、予測誤差レベルを求めるために、
予測次数j=1とする。すると、次の(21) 式より、反
射係数計算&量子化部17が反射係数rj を計算する。
Then, in order to obtain the prediction error level,
It is assumed that the prediction order j = 1. Then, the reflection coefficient calculation & quantization unit 17 calculates the reflection coefficient r j from the following equation (21).

【0071】[0071]

【数17】 [Equation 17]

【0072】この(21)式の分母が、予測誤差である。こ
の予測誤差は、前向き残差の自己相関と後向き残差の自
己相関との和より求めている。
The denominator of the equation (21) is the prediction error. This prediction error is obtained from the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual.

【0073】上記(21)式で求められた反射係数rjは、
上記反射係数計算&量子化部17によって、量子化され
る。
The reflection coefficient r j obtained by the above equation (21) is
The reflection coefficient is calculated and quantized by the reflection coefficient calculator & quantizer 17.

【0074】そして、予測次数jがNp と等しくなった
ら、終了となる。ここで、上記相関算出部19は、次の
(22)式より次段階の反射係数に対する予測次数jの前向
き残差の自己相関Fj 、予測次数jの後向き残差の自己
相関Bj及び予測次数jの相互の相関Cj を算出する。
[0074] Then, the prediction order j is Once you become equal to N p, comes to an end. Here, the correlation calculator 19 calculates the following
(22) for calculating autocorrelation F j of the forward residual of the prediction order j with respect to the reflection coefficient of the next stage, the correlation C j mutual autocorrelation B j and prediction order j of the backward residual prediction order j from the equation.

【0075】[0075]

【数18】 (Equation 18)

【0076】そして、予測次数jがインクリメント(+
1)され、上記反射係数計算&量子化部17に戻る。
Then, the prediction order j is incremented (+
1) Then, the process returns to the reflection coefficient calculation & quantization unit 17.

【0077】上記相関算出部19において、予測次数が
高次に進むにつれて、Fj 、Bj 及びCj の値は、小さ
くなっていく。場合によっては、演算誤差がかなり影響
する程までに小さくなってしまい、以降の予測次数での
反射係数の算出を大きく誤らせることになる。
In the correlation calculator 19, the values of F j , B j and C j decrease as the prediction order advances to higher orders. In some cases, the calculation error becomes so small as to have a significant effect, and the calculation of the reflection coefficient in the subsequent prediction order is greatly erroneous.

【0078】そこで、上記(21)式の分母の計算結果が予
め設定した所定の値よりも小さくなったか否かを上記予
測誤差レベル判定部16が判定し、小さくなったという
判定結果が得られたときに、上記反射係数固定部18が
その次数及び高次の次数の反射係数を強制的に零近傍に
固定し、その次数以降の反射係数の計算を止める。上記
予め設定された所定の値は、元のF0 (0,0) の値の約1
/1000未満の値であり、十分小さい値である。
Then, the prediction error level determination section 16 determines whether or not the calculation result of the denominator of the above equation (21) has become smaller than a predetermined value set in advance. Then, the reflection coefficient fixing unit 18 forcibly fixes the reflection coefficient of the order and the higher order to near zero, and stops the calculation of the reflection coefficient after the order. The preset predetermined value is about 1 of the original value of F 0 (0,0).
/ 1000, which is a sufficiently small value.

【0079】なお、上記説明では、上記予測誤差及び所
定値を、上記前向き残差の自己相関と上記後向き残差の
自己相関の和から求めているが、上記前向き残差の自己
相関と上記後向き残差の自己相関の平均値から求めても
よい。
In the above description, the prediction error and the predetermined value are obtained from the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual, but the autocorrelation of the forward residual and the backward It may be obtained from the average value of the autocorrelation of the residual.

【0080】図3は、本実施例のVSELPエンコーダ
の反射係数算出までの動作の流れを示したフローチャー
トである。
FIG. 3 is a flow chart showing the flow of operation up to the calculation of the reflection coefficient of the VSELP encoder of this embodiment.

【0081】先ず、ステップS1では、上記共分散行列
計算部12で音声サンプルデータの自己相関より共分散
行列を計算する。
First, in step S1, the covariance matrix calculation unit 12 calculates a covariance matrix from the autocorrelation of the voice sample data.

【0082】ステップS2では、上記初期相関算出部1
4で初期の次数の前向き残差の自己相関F0と、初期の
次数の後向き残差の自己相関B0と、初期の前向き残差
と後向き残差の相互の相関C0とを算出する。
In step S2, the initial correlation calculating section 1
In step 4, the autocorrelation F 0 of the initial order forward residual, the autocorrelation B 0 of the initial order backward residual, and the mutual correlation C 0 of the initial forward residual and the backward residual are calculated.

【0083】ステップS3では、予測次数jを1に設定
する。ステップS4では、自己相関F0 と自己相関B0
とから閾値となる所定値を算出する。
In step S3, the prediction order j is set to 1. In step S4, the autocorrelation F 0 and the autocorrelation B 0
Then, a predetermined value serving as a threshold value is calculated from.

【0084】ステップS5では、上記ステップS4で求
められた所定値よりも、和又は平均値によって求められ
た予測誤差が小さいか否かを判別する。ここで、YES
を判別するとステップS11に進み、NOを判別すると
ステップS6に進む。
In step S5, it is determined whether or not the prediction error obtained by the sum or the average value is smaller than the predetermined value obtained in step S4. Here, YES
Is determined, the process proceeds to step S11. If NO is determined, the process proceeds to step S6.

【0085】ステップS6では、上記反射係数計算&量
子化部17で反射係数rj を計算する。
In step S6, the reflection coefficient calculation & quantization section 17 calculates the reflection coefficient r j .

【0086】ステップS7では、上記反射係数計算&量
子化部17で反射係数rj を量子化する。
In step S7, the reflection coefficient calculation and quantization section 17 quantizes the reflection coefficient r j .

【0087】ステップS8では、予測次数jが10にな
ったか否かを判別する。ここで、YESを判別するとこ
のフローチャートは終了となり、NOを判別するとステ
ップS9に進む。
In step S8, it is determined whether or not the predicted order j has reached 10. Here, if YES is determined, this flowchart ends, and if NO is determined, the process proceeds to step S9.

【0088】ステップS9では、相関算出部19で前向
き残差の自己相関Fjと、後向き残差の自己相関Bjと、
前向き残差と後向き残差の相互の相関Cjとを算出す
る。
In step S 9, the correlation calculator 19 calculates the autocorrelation F j of the forward residual, the autocorrelation B j of the backward residual, and
The mutual correlation C j between the forward residual and the backward residual is calculated.

【0089】ステップS10では、予測次数をインクリ
メントし、ステップS5に戻る。
In step S10, the predicted order is incremented, and the process returns to step S5.

【0090】ステップS11では、上記ステップS5で
の判別結果を受けて、j次から10次までの反射係数に
対し、0近傍の量子化された反射係数を代入する。ここ
で、いう0近傍の量子化とは、量子化した反射係数のテ
ーブルの内、最も0に近い値を指すものである。
In step S11, in response to the determination result in step S5, a quantized reflection coefficient near zero is substituted for the reflection coefficients from the j-th order to the tenth order. Here, the quantization near 0 means a value closest to 0 in the table of the quantized reflection coefficients.

【0091】以上より、本実施例のVSELPエンコー
ダは、音声サンプルデータの自己相関より共分散行列を
算出し、この共分散行列から反射係数を求める際に、あ
る次数の前向き残差の自己相関と後向き残差の自己相関
の和又は平均値が予め決められた所定値以下となるとき
に、その次数及び高次の次数での上記反射係数を強制的
に零近傍の値とし、その次数以降の反射係数を算出しな
いので、誤った反射係数を用いることなく、異音を発生
させない。
As described above, the VSELP encoder of this embodiment calculates the covariance matrix from the autocorrelation of the audio sample data and, when obtaining the reflection coefficient from this covariance matrix, uses the autocorrelation of the forward residual of a certain order with the autocorrelation. When the sum or average value of the autocorrelation of the backward residual becomes equal to or less than a predetermined value, the reflection coefficient at the order and the higher order is forcibly set to a value near zero, and the order after the order Since no reflection coefficient is calculated, no abnormal noise is generated without using an incorrect reflection coefficient.

【0092】なお、本発明に係る短期予測係数の計算方
法は、上記実施例にのみ限定されるものではなく、例え
ば、適用する音声符号化方法としては、上記VSELP
を用いたものに限定されるものではない。
The method of calculating the short-term prediction coefficients according to the present invention is not limited to the above-described embodiment.
However, the present invention is not limited to those using.

【0093】[0093]

【発明の効果】本発明に係る短期予測係数の計算方法
は、ある次数の前向き残差の自己相関と後向き残差の自
己相関の和又は平均値が予め決められた所定値以下とな
るときに、入力音声データに基づいて得られた共分散行
列からの複数次の反射係数がその次数及び高次の次数で
強制的に零近傍の値とし、その次数以降の反射係数を算
出しないように、低次より順次算出されるので、誤った
反射係数を用いなくともよい。そのため、演算誤差が原
因で起こる異音の発生を未然に除去し、通話品質を上げ
ることができる。
The method of calculating the short-term prediction coefficient according to the present invention is applied to the case where the sum or the average value of the autocorrelation of the forward residual and the autocorrelation of the backward residual of a certain order is equal to or smaller than a predetermined value. The multiple-order reflection coefficient from the covariance matrix obtained based on the input voice data is forcibly set to a value close to zero in the order and the higher order, and the reflection coefficient after the order is not calculated. Since the calculation is performed sequentially from the lower order, it is not necessary to use an erroneous reflection coefficient. Therefore, the occurrence of abnormal noise caused by the calculation error can be removed beforehand, and the communication quality can be improved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る短期予測係数の計算方法が適用可
能な実施例のVSELPエンコーダの要部の概略構成を
示すブロック図である。
FIG. 1 is a block diagram illustrating a schematic configuration of a main part of a VSELP encoder according to an embodiment to which a calculation method of a short-term prediction coefficient according to the present invention is applicable.

【図2】共分散法を説明するために用いた格子形フィル
タを示す図である。
FIG. 2 is a diagram showing a lattice filter used for explaining a covariance method.

【図3】実施例のVSELPエンコーダの要部の動作の
流れを示すフローチャートである。
FIG. 3 is a flowchart illustrating a flow of an operation of a main part of the VSELP encoder according to the embodiment.

【符号の説明】[Explanation of symbols]

12・・・・・共分散行列計算部 14・・・・・初期相関算出部 15・・・・・所定値算出部 16・・・・・予測誤差レベル判定部 17・・・・・反射係数計算&量子化部 18・・・・・反射係数固定部 19・・・・・相関算出部 20・・・・・短期予測係数算出部 12... Covariance matrix calculation section 14... Initial correlation calculation section 15... Predetermined value calculation section 16... Prediction error level determination section 17... Reflection coefficient Calculation & quantization section 18: Reflection coefficient fixing section 19: Correlation calculation section 20: Short-term prediction coefficient calculation section

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭55−65999(JP,A) 特開 平5−55994(JP,A) 特開 平1−126700(JP,A) 特開 昭59−171997(JP,A) 電子情報通信学会技術研究報告 Vo l.92 No.277(DSP92 67−76) 8kb/s LD−CELP音声符号 化方式における音声品質の改善 (58)調査した分野(Int.Cl.7,DB名) G10L 19/00 G10L 11/00 ──────────────────────────────────────────────────続 き Continuation of front page (56) References JP-A-55-65999 (JP, A) JP-A-5-55994 (JP, A) JP-A-1-126700 (JP, A) JP-A-59-65999 171997 (JP, A) IEICE Technical Report Vol. 92 No. 277 (DSP92 67-76) Improvement of speech quality in 8 kb / s LD-CELP speech coding system (58) Fields investigated (Int. Cl. 7 , DB name) G10L 19/00 G10L 11/00

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 入力音声データに基づいて共分散行列を
求め、上記共分散行列から複数次の反射係数を低次より
順次算出する工程と、 上記工程より求められた複数次の反射係数より複数次の
短期予測係数を求める工程とを有する短期予測係数の計
算方法において、 上記複数次の反射係数を低次より順次算出する工程中
に、ある次数の前向き残差の自己相関と後向き残差の自
己相関の和が、予め決められた所定値以下となるとき、
その次数及び高次の次数の反射係数を強制的に零近傍の
値とすることを特徴とする短期予測係数の計算方法。
1. A step of obtaining a covariance matrix based on input speech data and sequentially calculating a plurality of order reflection coefficients from the lower order from the covariance matrix; Calculating a short-term prediction coefficient having a step of calculating a next-order short-term prediction coefficient. When the sum of the autocorrelation is equal to or less than a predetermined value,
A method for calculating a short-term prediction coefficient, wherein the order and the higher-order reflection coefficients are forcibly set to values near zero.
【請求項2】 上記前向き残差の自己相関と後向き残差
の自己相関の和が、予め決められた所定値以下となった
次数以降の反射係数の算出は行わないことを特徴とする
請求項1記載の短期予測係数の計算方法。
2. The method according to claim 1, wherein the sum of the autocorrelation of the forward residual and the autocorrelation of the backward residual does not calculate a reflection coefficient of an order lower than or equal to a predetermined value or less. 1. A method for calculating a short-term prediction coefficient according to 1.
【請求項3】 入力音声データに基づいて共分散行列を
求め、上記共分散行列から複数次の反射係数を低次より
順次算出する工程と、 上記工程より求められた複数次の反射係数から複数次の
短期予測係数を求める工程とを有する短期予測係数の計
算方法において、 上記複数次の反射係数を低次より順次算出する工程中
に、ある次数の前向き残差の自己相関と後向き残差の自
己相関の平均値が、予め決められた所定値以下となると
き、その次数及び高次の次数の反射係数を強制的に零近
傍の値とすることを特徴とする短期予測係数の計算方
法。
3. A step of obtaining a covariance matrix based on the input voice data and sequentially calculating a plurality of order reflection coefficients from the lower order from the covariance matrix; Calculating a short-term prediction coefficient having a step of calculating a next-order short-term prediction coefficient. A method for calculating a short-term prediction coefficient, wherein when an average value of an autocorrelation is equal to or smaller than a predetermined value, reflection coefficients of the order and higher orders are forcibly set to values near zero.
【請求項4】 上記前向き残差の自己相関と後向き残差
の自己相関の平均値、予め決められた所定値以下となっ
た次数以降の反射係数の算出は行わないことを特徴とす
る請求項3記載の短期予測係数の計算方法。
4. The method according to claim 1, wherein the calculation of the average value of the autocorrelation of the forward residual and the autocorrelation of the backward residual, and the calculation of the reflection coefficient after the order smaller than a predetermined value are not performed. 3. The calculation method of the short-term prediction coefficient described in 3.
【請求項5】 上記反射係数を固定少数点演算により算
出することを特徴とする請求項1又は請求項3の短期予
測係数の計算方法。
5. The method according to claim 1, wherein the reflection coefficient is calculated by a fixed-point operation.
JP31626592A 1992-10-31 1992-10-31 Calculation method of short-term forecast coefficient Expired - Lifetime JP3237244B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31626592A JP3237244B2 (en) 1992-10-31 1992-10-31 Calculation method of short-term forecast coefficient

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31626592A JP3237244B2 (en) 1992-10-31 1992-10-31 Calculation method of short-term forecast coefficient

Publications (2)

Publication Number Publication Date
JPH06149297A JPH06149297A (en) 1994-05-27
JP3237244B2 true JP3237244B2 (en) 2001-12-10

Family

ID=18075174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31626592A Expired - Lifetime JP3237244B2 (en) 1992-10-31 1992-10-31 Calculation method of short-term forecast coefficient

Country Status (1)

Country Link
JP (1) JP3237244B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU734148B2 (en) * 1989-01-20 2001-06-07 Hochiki Corporation Fire alarm
JP2758671B2 (en) * 1989-01-20 1998-05-28 ホーチキ株式会社 Fire judgment device
WO2012053149A1 (en) * 2010-10-22 2012-04-26 パナソニック株式会社 Speech analyzing device, quantization device, inverse quantization device, and method for same
CN115131943B (en) * 2022-07-07 2023-10-31 杭州申昊科技股份有限公司 Acousto-optic linkage early warning method based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会技術研究報告 Vol.92 No.277(DSP92 67−76) 8kb/s LD−CELP音声符号化方式における音声品質の改善

Also Published As

Publication number Publication date
JPH06149297A (en) 1994-05-27

Similar Documents

Publication Publication Date Title
US5339384A (en) Code-excited linear predictive coding with low delay for speech or audio signals
US6721700B1 (en) Audio coding method and apparatus
US6484140B2 (en) Apparatus and method for encoding a signal as well as apparatus and method for decoding signal
US6593872B2 (en) Signal processing apparatus and method, signal coding apparatus and method, and signal decoding apparatus and method
JPS58207100A (en) Lpc coding using waveform formation polynominal with reduced degree
US7603271B2 (en) Speech coding apparatus with perceptual weighting and method therefor
JPH07160297A (en) Voice parameter encoding system
JP3248668B2 (en) Digital filter and acoustic encoding / decoding device
JP3237244B2 (en) Calculation method of short-term forecast coefficient
JPH08254994A (en) Reconfiguration of arrangement of sound coded parameter by list (inventory) of sorting and outline
JP4359949B2 (en) Signal encoding apparatus and method, and signal decoding apparatus and method
JP2970407B2 (en) Speech excitation signal encoding device
JP4281131B2 (en) Signal encoding apparatus and method, and signal decoding apparatus and method
JP2891193B2 (en) Wideband speech spectral coefficient quantizer
US5704001A (en) Sensitivity weighted vector quantization of line spectral pair frequencies
CA1240396A (en) Relp vocoder implemented in digital signal processors
JP3089967B2 (en) Audio coding device
EP1359567A1 (en) Gradient descent optimization of linear prediction coefficients for speech coders
JP3144213B2 (en) Speech parameter analyzer and speech coder
JP3257386B2 (en) Vector quantization method
JP2658794B2 (en) Audio coding method
JP3290443B2 (en) Code-excited linear prediction encoder and decoder
JP3186020B2 (en) Audio signal conversion decoding method
JP3350340B2 (en) Voice coding method and voice decoding method
JP3230380B2 (en) Audio coding device

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091005

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091005

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 12