JP3004664B2 - Variable rate coding method - Google Patents

Variable rate coding method

Info

Publication number
JP3004664B2
JP3004664B2 JP32950989A JP32950989A JP3004664B2 JP 3004664 B2 JP3004664 B2 JP 3004664B2 JP 32950989 A JP32950989 A JP 32950989A JP 32950989 A JP32950989 A JP 32950989A JP 3004664 B2 JP3004664 B2 JP 3004664B2
Authority
JP
Japan
Prior art keywords
signal
band
bits
circuit
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32950989A
Other languages
Japanese (ja)
Other versions
JPH03191618A (en
Inventor
政巳 赤嶺
英隆 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP32950989A priority Critical patent/JP3004664B2/en
Publication of JPH03191618A publication Critical patent/JPH03191618A/en
Application granted granted Critical
Publication of JP3004664B2 publication Critical patent/JP3004664B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 〔発明の目的〕 (産業上の利用分野) 本発明は、パケット通信システムやATM通信システム
に用いられる可変レート符号化方法に関する。
DETAILED DESCRIPTION OF THE INVENTION [Object of the Invention] (Industrial application field) The present invention relates to a variable rate coding method used for a packet communication system or an ATM communication system.

(従来の技術) 音声信号を符号化した後、パケット化しパケット単位
で通信するパケット通信システムが、実現されつつあ
る。パケット通信システムは、音声や画像、データなど
の各種メディアの信号を一元的に扱える他の音声信号の
バースト姓を利用して有音区間のみを伝送することによ
り回線の効率的利用ができるという利点を有する。この
ため、パケット通信及びATM通信は、ISDN,BISDNの担手
として注目され、研究開発が活発に行われている。
(Prior Art) A packet communication system in which an audio signal is encoded, then packetized and communicated in packet units is being realized. Packet communication systems have the advantage that lines can be efficiently used by transmitting only voiced segments using burst names of other audio signals that can handle various media signals such as voice, images, and data in a unified manner. Having. For this reason, packet communication and ATM communication have attracted attention as a leader of ISDN and BISDN, and research and development are being actively conducted.

しかし、パケット通信では、ネットワークでのふくそ
う時やパケット遅延が大きい場合に、パケットの廃棄が
行われ、これにより音声の品質劣化が生じる。特に、適
応予測を用いるADPCMを符号化方式として用いる場合に
は、パケット廃棄時の品質劣化が大きい。そこで、パケ
ット廃棄時の品質劣化が少ない符号化方式としてEmbede
d DPCM方式が「Embeded DPCM for variable bit rate t
ransmission」、(IEEE Trans.COM−28,7,pp.1040−104
6(July 1980))(文献1と呼ぶ)で提案されている。
また、CCITTではCCITT SG XV III「Annex to Question
X/XV(Speech Packetization」、(TD131,Geneva 6−17
June 1988)(文献2と呼ぶ)の中で、音声パケット通
信用符号化方式としてEmbeded ADPCMをG,EMBとして暫定
勧告すると共に、音声パケットプロトコルをG,PVNPとし
て暫定勧告している。
However, in packet communication, packets are discarded at the time of congestion in a network or when packet delay is large, thereby deteriorating voice quality. In particular, when ADPCM using adaptive prediction is used as a coding method, quality degradation at the time of packet discarding is large. For this reason, Embede is an encoding method that minimizes quality degradation when discarding packets.
d If the DPCM method is `` Embeded DPCM for variable bit rate t
ransmission ", (IEEE Trans.COM-28,7, pp.1040-104
6 (July 1980)) (referred to as Reference 1).
In addition, CCITT provides CCITT SG XV III “Annex to Question
X / XV (Speech Packetization), (TD131, Geneva 6-17
June 1988) (referred to as Reference 2), the provisional recommendation of Embedded ADPCM as G, EMB as an encoding method for voice packet communication and the provisional recommendation of G, PVNP as a voice packet protocol.

第20図と第21図は、暫定勧告G,EMB方式のエンコーダ
部とデコーダ部のブロック図である。第20図において、
エンコーダの入力は、μ−PCM又は、A−PCMコーデック
によりディジタル化された音声信号である。610は、μ
−PCM又はA−PCMの符号を線形のPCM符号に変換するPCM
フォーマット変換器である。また、630は適応量子化器
であり、670は適応予測器である。減算回路620は、入力
信号と適応予測器670の出力である予測信号との差分を
計算し、適応量子化器630へ送る。適応量子化器630は、
入力した予測差分信号を量子化し、ADPCMの符号として
出力する。640は、最大廃棄可能ビット数だけADPCMの出
力符号の下位ビットをマスクし、右にシフトするビット
マスク回路である。ビットマスク回路640の出力はコア
ビットとして適応逆量子化器650へ送られ、適応逆量子
化器650はコアビットの逆量子化を行う。適応逆量子化
器の出力は、適応予測器670と加算回路660へ送られる。
加算回路660では、適応逆量子化器の出力信号と適応予
測器の出力信号を加算することにより、局部復号信号も
作成する。適応予測器670は、2次の極と6次の零点を
もつ適応フィルタであり、局部復号信号と逆量子化され
た予測差分信号を入力し予測信号を作成する。
FIG. 20 and FIG. 21 are block diagrams of an encoder unit and a decoder unit of the provisional recommendation G, EMB system. In FIG. 20,
The input of the encoder is a voice signal digitized by a μ-PCM or A-PCM codec. 610 is μ
PCM for converting PCM or A-PCM codes into linear PCM codes
It is a format converter. 630 is an adaptive quantizer, and 670 is an adaptive predictor. The subtraction circuit 620 calculates a difference between the input signal and the prediction signal output from the adaptive predictor 670, and sends the difference to the adaptive quantizer 630. Adaptive quantizer 630
The input prediction difference signal is quantized and output as an ADPCM code. A bit mask circuit 640 masks the lower bits of the output code of the ADPCM by the maximum number of discardable bits and shifts to the right. The output of the bit mask circuit 640 is sent as core bits to the adaptive inverse quantizer 650, and the adaptive inverse quantizer 650 performs inverse quantization of the core bits. The output of the adaptive inverse quantizer is sent to an adaptive predictor 670 and an adding circuit 660.
The addition circuit 660 also creates a local decoded signal by adding the output signal of the adaptive inverse quantizer and the output signal of the adaptive predictor. The adaptive predictor 670 is an adaptive filter having a second-order pole and a sixth-order zero, and receives the local decoded signal and the dequantized prediction difference signal to generate a prediction signal.

適応量子化器630のビット数とフィードバックされる
コアビット数は、用いるアルゴリズムに依る。例えば32
Kbps(4,2)アルゴリズムは、量子化が4ビットでコア
ビットが2ビットである。第20図において、適応量子化
器630はフィードフォワードパスを形成し、ビットマス
ク回路640と適応逆量子化器650、適応予測器670はフィ
ードバックパスを形成する。
The number of bits of adaptive quantizer 630 and the number of core bits fed back depend on the algorithm used. For example 32
In the Kbps (4,2) algorithm, quantization is 4 bits and core bits are 2 bits. In FIG. 20, the adaptive quantizer 630 forms a feedforward path, and the bit mask circuit 640, the adaptive inverse quantizer 650, and the adaptive predictor 670 form a feedback path.

次にデコーダの動作について説明する。第21図のデコ
ーダは、コーダと同様にビットマスク回路680とフィー
ドバック適応逆量子化器690、適応予測器710から成るフ
ィードバックパスとフィードフォワード適応逆量子化器
720とPCMフォーマット変換回路740を含むフィードフォ
ワードパスから構成される。フィードバックパスは、コ
ーダとデコーダで全く同一である。ビットマスク回路68
0は入力したADPCM符号の上位のコアビットを残して下位
ビットをマスクし右シフトすることにより、コアビット
のみをフィードバック適応逆量子化器690へ送る。フィ
ードバック適応量子化器690はコアビットの逆量子化を
行う。適応予測器710は、690の出力である逆量子化され
た予測差分信号と加算回路700の出力である局部復号信
号を入力として、予測信号を出力する。ネットワーク上
でのビット廃棄はADPCM符号の下位ビットから行われ、
コアビットの伝送は保証される。このため、デコーダ側
のビットマスク回路680の出力は、コーダ側のビットマ
スク回路640の出力と同一のものが得られる。
Next, the operation of the decoder will be described. The decoder in FIG. 21 is a feedback path and feedforward adaptive inverse quantizer comprising a bit mask circuit 680, a feedback adaptive inverse quantizer 690, and an adaptive predictor 710, like the coder.
It comprises a feed-forward path including a 720 and a PCM format conversion circuit 740. The feedback path is exactly the same for the coder and the decoder. Bit mask circuit 68
The value 0 indicates that only the core bits are sent to the feedback adaptive inverse quantizer 690 by masking the lower bits and shifting to the right, leaving the upper core bits of the input ADPCM code. The feedback adaptive quantizer 690 performs inverse quantization of the core bit. The adaptive predictor 710 receives the inversely quantized prediction difference signal output from the 690 and the local decoded signal output from the addition circuit 700, and outputs a prediction signal. Bit discarding on the network is performed from the lower bits of the ADPCM code,
Core bit transmission is guaranteed. Therefore, the output of the bit mask circuit 680 on the decoder side is the same as the output of the bit mask circuit 640 on the coder side.

従って、適応逆量子化器690,650及び適応予測器710,6
70の出力は、コーダとデコーダで全く同一である。
Therefore, the adaptive inverse quantizer 690,650 and the adaptive predictor 710,6
The output of 70 is exactly the same for the coder and the decoder.

フィードフォワード適応量子化器720は、ADPCM出力符
号のコアビットと廃棄されずに残ったビットの逆量子化
を行う。加算回路730は、フィードフォワード適応量子
化器720の出力と適応予測器710の出力を加算し、復号信
号を作成する。得られた復号信号は、PCMフォーマット
変換回路740へ出力され、そこで、線形のPCM符号からμ
−PCMまたはA−PCM符号へ変換される。750はADPCM−PC
M−ADPCMのように同期タンデム接続による誤差を防止す
るためのタンデム接続補正回路である。
The feedforward adaptive quantizer 720 inversely quantizes the core bits of the ADPCM output code and the remaining bits without being discarded. The addition circuit 730 adds the output of the feedforward adaptive quantizer 720 and the output of the adaptive predictor 710 to generate a decoded signal. The resulting decoded signal is output to the PCM format conversion circuit 740, where the μm is converted from the linear PCM code.
-PCM or A-PCM code. 750 is ADPCM-PC
This is a tandem connection correction circuit for preventing an error due to synchronous tandem connection like M-ADPCM.

通常のEmbededではないADPCMで出力符号のビット廃棄
が生じた場合、逆量子化された予測差分信号はコーダと
デコーダで異った値となる。この結果、量子化器と予測
器の適応処理がコーダとデコーダで異なる非同期動作に
なると共に、廃棄による誤差が、合成フィルタによりフ
ィルタリングされるため、ビット廃棄による品質劣化が
増大する。
If bit discarding of an output code occurs in ADPCM that is not normal embedded, the inversely quantized prediction difference signal has different values between the coder and the decoder. As a result, the adaptive processing of the quantizer and the predictor becomes asynchronous operation different between the coder and the decoder, and the error due to discarding is filtered by the synthesis filter, so that the quality deterioration due to bit discarding increases.

一方、前述したEmbeded ADPCMでは、コアビットのみ
を予測器にフィードバックしているので、コアビットを
除いた下位のビットがネットワーク上で廃棄されても、
コーダとデコーダの非同期動作は生じない。また、コー
ダとデコーダで予測信号は同一となるので、廃棄された
ビット数に相当する量子化誤差が直接、復号信号に加算
されるだけであり、ビット廃棄による品質劣化は少な
い。
On the other hand, in the above-mentioned Embedded ADPCM, only core bits are fed back to the predictor, so even if lower bits excluding core bits are discarded on the network,
Asynchronous operation of the coder and decoder does not occur. In addition, since the prediction signal is the same between the coder and the decoder, the quantization error corresponding to the number of discarded bits is simply added directly to the decoded signal, and the quality degradation due to bit discarding is small.

Embeded ADPCMのこのような特性を活かした音声パケ
ットの構成法及びプロトコルが文献2で述べられてい
る。
Reference 2 describes a voice packet configuration method and a protocol that makes use of such characteristics of the Embeded ADPCM.

第22図は、文献2に記載のパケットフォーマットであ
る。図においてビット1はLSB、ビット8はMSBを表す。
PD(Protocol Discriminator)は、音声パケットとそれ
以外のパケットを区別するためのものである。BDI(Blo
ck Dropping Indicator)は、パケット化した初期状態
で廃棄できるブロック数とネットワークの各ノード上で
廃棄できるブロック数を示す。ここで、ブロックは、符
号化のフレームを16ms(128サンプル)として、音声の
符号化出力をビット単位で1フレーム分集めた128ビッ
ト単位の情報である。TS(Time Stamp)は、ネットワー
クの各ノードで生じた遅延量の累和を示す。CT(Coding
Type)は、パケット作成の際に用いた音声符号化の方
法を示すフィールドである。SEQ(Sequence Numbher)
はパケットの続き順を示す番号であり、パケットが紛失
した時に用いられる。NS(Noise Field)は、背景ノイ
ズのレベルを示すフィールドである。NON−DROPPABLEOC
TETSはEmbeded ADPCM出力のコアビットのブロックであ
り、ネットワーク上で廃棄できない情報のフィールドで
ある。OPTIONAL DROPPABLEBLOCKSは、Embeded ADPCMの
下位ビットのブロックであり、ネットワーク上でシステ
ムから要求があった場合に廃棄できる情報フィールドで
ある。パケットの先頭と後尾には、レイヤ2のヘッダと
トレイラが付く。第22図のフォーマットをもつパケット
を用いたパケットネットワークのプロトコルでは、パケ
ット廃棄は、パケット内のOPTIONALDROPPABLE BLOCKを
廃棄することにより行われる。
FIG. 22 shows a packet format described in Reference 2. In the figure, bit 1 represents the LSB and bit 8 represents the MSB.
PD (Protocol Discriminator) is for distinguishing voice packets from other packets. BDI (Blo
ck Dropping Indicator) indicates the number of blocks that can be discarded in the packetized initial state and the number of blocks that can be discarded on each node of the network. Here, a block is information in 128-bit units obtained by collecting encoded audio data for one frame in units of bits, with the encoding frame being 16 ms (128 samples). TS (Time Stamp) indicates the sum of delay amounts generated in each node of the network. CT (Coding
Type) is a field indicating the audio encoding method used when creating the packet. SEQ (Sequence Numbher)
Is a number indicating the continuation order of packets, and is used when a packet is lost. NS (Noise Field) is a field indicating the level of background noise. NON-DROPPABLEOC
TETS is a block of core bits of the embedded ADPCM output, and is a field of information that cannot be discarded on the network. OPTIONAL DROPPABLEBLOCKS is a block of lower bits of the embedded ADPCM, and is an information field that can be discarded when requested by a system on a network. At the beginning and end of the packet, a layer 2 header and trailer are attached. In a packet network protocol using a packet having the format shown in FIG. 22, packet discarding is performed by discarding OPTIONAL DROPPABLE BLOCK in the packet.

以上が従来のEmbeded ADPCMとパケットフォーマット
を用いたパケット廃棄補償法である。この方法は情報の
廃棄がパケット内すなわち、ビット単位で行われる場合
は前述したように品質劣化が少ない方法である。しか
し、パケット単位で廃棄が生じた場合には、Embeded AD
PCMのコアビットも廃棄されるので品質の劣化が生じ
る。パケット廃棄によって1フレーム分(16ms)の信号
が完全に欠落し元の音声信号が再生できなくなる。この
状態は、1フレームで終わるわけではなく、エンコーダ
とデコーダの非同期動作のため、1フレーム以上続くこ
とになる。パケット単位の廃棄の補償法として、廃棄さ
れたパケットの前後のパケットの信号から補間再生する
方法があるが、ADPCMの出力である予測差分信号は相関
が除去された信号であるので、1フレーム(128サンプ
ル)分離れたサンプルを用いて補間しても補間の効果は
ほとんどなく品質劣化は避けられない。
The above is the conventional packet discard compensation method using the embedded ADPCM and the packet format. In this method, when information is discarded in a packet, that is, in a bit unit, as described above, quality deterioration is small. However, if discarding occurs on a packet basis, the Embedded AD
Since the PCM core bits are also discarded, quality degradation occurs. Due to the packet discard, the signal for one frame (16 ms) is completely lost, and the original audio signal cannot be reproduced. This state does not end in one frame but continues for one or more frames due to the asynchronous operation of the encoder and the decoder. As a method of compensating for discarding in units of packets, there is a method of interpolating and reproducing the signals of the packets before and after the discarded packet. However, since the prediction difference signal output from the ADPCM is a signal from which correlation has been removed, one frame ( (128 samples) Even if interpolation is performed using separated samples, there is almost no effect of interpolation, and quality deterioration cannot be avoided.

(発明が解決しようとする課題) Embeded ADPCMを用いた従来の符号化方式はパケット
単位の廃棄が生じた場合、Embeded ADPCMのコアビット
も廃棄されるので、元の音声信号が再生できなくなると
共に、エンコーダとデコーダが非同期動作となるため、
品質劣化が大きいという問題点を有する。
(Problems to be Solved by the Invention) In the conventional encoding method using the Embeded ADPCM, when discarding in packet units occurs, the core bits of the Embedded ADPCM are also discarded, so that the original audio signal cannot be reproduced and the encoder is not reproduced. And the decoder operate asynchronously,
There is a problem that quality deterioration is large.

また、従来のEmbeded ADPCMではビットレートを時間
的に変化させることが積極的に考慮されておらず、ビッ
トレートの制御法や固定長のセル化について十分検討さ
れていない。音声信号のもつ情報量は時間的に変化して
いるので、固定ビットレートのEmbeded ADPCMでは、符
号化された音声の品質が変化し耳障りな音になると共
に、符号化効率も下がるという問題点を有する。
Further, in the conventional embedded ADPCM, the temporal change of the bit rate is not actively considered, and the control method of the bit rate and the use of fixed-length cells are not sufficiently studied. Since the amount of information of the audio signal changes over time, the fixed bit rate of the embedded ADPCM suffers from the problem that the quality of the encoded audio changes, resulting in annoying sounds and a decrease in encoding efficiency. Have.

本発明はこのような問題点に鑑みてなされ、パケット
単位の廃棄に対しても品質劣化が少なく、品質が安定し
た符号化効率の高い可変レート符号化方法を提供するこ
とを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to provide a variable rate coding method which has little quality deterioration even when discarded in packet units, has stable quality, and has high coding efficiency.

〔発明の構成〕[Configuration of the invention]

(課題を解決するための手段) 本発明は、入力信号の信号系列を複数の周波数帯域の
信号に分割し、分割された周波数帯域毎の信号の電力を
計算し、計算された電力の値に基づいて周波数帯域毎の
符号化ビット数の総和をフレーム単位で変化させ、符号
化に割り当てられるべきビット数を表す信号を送信し、
該周波数帯域毎の信号を符号化する可変レート符号化方
法であって、受信側での復号信号のSNRを推定し、そのS
NRが一定となるように前記符号化ビット数の割当てを決
定すると共に、前記入力信号の有音、無音を検出し、該
検出結果によって帯域毎の信号を符号化する際の符号化
ビット数と帯域毎の符号化ビット数の総和を変化させる
ことを特徴とする可変レート符号化方法である。
(Means for Solving the Problems) The present invention divides a signal sequence of an input signal into signals of a plurality of frequency bands, calculates the power of the signal for each of the divided frequency bands, and converts the calculated power value into a value. Change the sum of the number of coding bits for each frequency band on a frame basis based on, and transmit a signal indicating the number of bits to be allocated for coding,
A variable-rate encoding method for encoding a signal for each frequency band, comprising: estimating an SNR of a decoded signal on a reception side;
Determine the allocation of the number of coded bits so that NR is constant, and detect the presence or absence of sound or silence of the input signal, and determine the number of coded bits when coding a signal for each band based on the detection result. This is a variable rate encoding method characterized by changing the total number of encoded bits for each band.

(作用) 本発明では、入力信号を複数の周波数帯域の信号に分
割し、各々の帯域の信号が量子化され符号化される。そ
の際に帯域別の信号電力を計算し求められた帯域別信号
電力を基に各帯域の符号化ビット数の配分がフレーム単
位で行われる。これにより入力信号の相関又は冗長性が
除去され、入力信号を高能率に符号化することができ
る。同時に帯域別信号電力を基に帯域別の符号化ビット
数の総和を変化させることにより、受信側での復号信号
のSNRを推定し、それが一定になるようにビットレート
を制御しているので、復号信号の品質を一定のレベルに
維持することができると共に、ビットレートの制御によ
り入力信号の性質の時間変化に対応してビットレートが
変化することになるので、符号化効率を更に高くするこ
とができる。
(Operation) In the present invention, an input signal is divided into signals in a plurality of frequency bands, and signals in each band are quantized and encoded. At this time, the number of coded bits in each band is distributed on a frame basis based on the signal power for each band calculated by calculating the signal power for each band. Thereby, the correlation or the redundancy of the input signal is removed, and the input signal can be encoded with high efficiency. At the same time, by changing the sum of the number of coded bits for each band based on the signal power for each band, the SNR of the decoded signal on the receiving side is estimated and the bit rate is controlled so that it is constant. In addition, the quality of the decoded signal can be maintained at a constant level, and the bit rate is controlled by controlling the bit rate so that the bit rate changes in accordance with the time change of the characteristics of the input signal. be able to.

次に信号はセル又はパケットと呼ばれる情報単位に構
成され、符号化された帯域別の信号と帯域別の信号の符
号化ビット数を表現する信号が多重化(セル化、パケッ
ト化)され、伝送路に送出される。この時、各々のセル
又はパケットにプライオリティーを付けてもよい。本発
明では、従来のADPCMのように過去の信号を用いた予測
やコーダとデコーダで量子化策を同期的に適応制御する
ことがなく、複数の周波数帯域の信号をフレーム単位で
独立に符号化しているため、どのセル又はパケットが廃
棄されても、廃棄の影響が次のセル又はパケットに及ぶ
ことがないという効果を有する。その結果、セル廃棄に
伴う品質劣化を極めて少なくすることができる。
Next, the signal is composed of information units called cells or packets, and the coded signal for each band and the signal representing the number of coded bits of the signal for each band are multiplexed (cellified, packetized) and transmitted. Sent to the road. At this time, priority may be given to each cell or packet. In the present invention, unlike conventional ADPCM, prediction using past signals and synchronous adaptive control of a quantization measure by a coder and a decoder are not performed, signals of a plurality of frequency bands are independently encoded in frame units. Therefore, even if any cell or packet is discarded, the effect of discarding does not affect the next cell or packet. As a result, quality deterioration due to cell discard can be extremely reduced.

(実施例) 以下、本発明に係る一実施例を図面を参照して説明す
る。第1図は本発明の一実施例に係る可変レート符号化
方式を適用した符号化装置のコーダ部のブロック図であ
る。
Embodiment An embodiment according to the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of a coder section of a coding apparatus to which a variable rate coding method according to one embodiment of the present invention is applied.

第1図において、1は入力端子であり、ディジタル化
された信号系列が入力され、101の入力バッファに所定
サンプル数の系列が蓄積される。102は入力された信号
系列を複数の周波数帯域に分割するフィルタバンクであ
り、スペクトルの折返し歪を生じさせない優れたフィル
タバンクとしてQMF(Quadrature Mirror Filter)バン
クが知られており、本実施例ではこれを用いて4kHzまで
の信号帯域を等間隔に8個の帯域に分割している。第2
図にQMFバンクの一構成例を示すブロック図を示す。こ
の図において、201はハイパスフィルタであり202はロー
パスフィルタである。これらのフィルタは32次のFIRフ
ィルタにより構成している。また、204のハイパスフィ
ルタと205のローパスフィルタは16次のFIRフィルタによ
り構成している。このようにQMFバンクの第2段目と第
2,第3段目のフィルタの次数を変えることは音声信号の
スペクトルの傾きが低域と高域で異なることを利用する
ことにより、フィルタの性能を劣化させることなくフィ
ルタリング演算に起因する遅延量を減少させる効果があ
る。なお、フィルタの係数はスペクトルの折返し歪が生
じないように設計されるが、この詳細についてはN.S.Ja
yant,P.Noll“Digieal Coding of Waveformes",PRENTIC
EHALL,INC(文献3)に記述されているので、ここでは
説明を省略する。
In FIG. 1, reference numeral 1 denotes an input terminal to which a digitized signal sequence is input, and a sequence of a predetermined number of samples is accumulated in an input buffer 101. Reference numeral 102 denotes a filter bank that divides an input signal sequence into a plurality of frequency bands, and a QMF (Quadrature Mirror Filter) bank is known as an excellent filter bank that does not cause aliasing of a spectrum. Is used to divide the signal band up to 4 kHz into eight bands at equal intervals. Second
FIG. 1 is a block diagram showing one configuration example of the QMF bank. In this figure, 201 is a high-pass filter and 202 is a low-pass filter. These filters are composed of 32nd-order FIR filters. The high-pass filter 204 and the low-pass filter 205 are composed of 16-order FIR filters. In this way, the second and
2. Changing the order of the third-stage filter utilizes the fact that the slope of the spectrum of the audio signal is different between the low band and the high band, so that the delay caused by the filtering operation without deteriorating the filter performance Has the effect of reducing Note that the filter coefficients are designed so that aliasing of the spectrum does not occur.
yant, P.Noll “Digieal Coding of Waveformes”, PRENTIC
The description is omitted here because it is described in EHALL, INC (Reference 3).

第1図において103はQMFバンク102の出力である帯域
ごとの信号を量子化の前処理として正規化するための正
規化回路である。正規化回路の簡単な具体例は帯域ごと
の信号を帯域ごとのRMS(Root Mean Square)で除算す
る回路である。104は正規化された各帯域の信号を所定
のビット数で量子化する量子化器であり、テーブルルッ
クアップにより構成される105は各帯域の信号のパワー
を計算する帯域パワー計算回路であり、第i番目の帯域
の信号系列をxi(n),i=1,2,…,8とおくと次式により
RMS値σを計算し出力する。
In FIG. 1, reference numeral 103 denotes a normalization circuit for normalizing a signal for each band, which is an output of the QMF bank 102, as a preprocessing for quantization. A simple specific example of the normalization circuit is a circuit that divides a signal for each band by an RMS (Root Mean Square) for each band. 104 is a quantizer that quantizes the normalized signal of each band by a predetermined number of bits, 105 is a band power calculation circuit that calculates the power of the signal of each band by table lookup, If the signal sequence of the i-th band is x i (n), i = 1, 2,.
Calculate and output the RMS value σ i .

但し、RMSを計算する区間長をNとしている。量子化
器106は帯域パワー計算回路から出力される各帯域のRMS
値σを所定のビット数で量子化しその符号をセル化部
111及び逆量子化器107へ出力する。逆量子化器107は上
記σの符号を逆量子化した値 を出力する。正規化回路103やビットレート制御部108、
ビット配分計算部109は各帯域のRMS値としてデューダで
得られる を用いる。これによりコーダとデコーダで量子化ビット
数や正規化のパラメータが異なるミスマッチによって生
じる特性劣化を完全に防止できる。ビットレート制御部
108は各帯域信号のパワーに基づいてデューダで復号さ
れる信号の品質が一定でかつユーダから出力される符号
量が一定になるようにビットレートを制御する。但し、
有音と無音でビットレートの制御法を変える。ビットレ
ート制御部の詳細については後述する。ビット配分計算
部109は、各帯域信号のパワーとビットレート制御部か
ら出力されるビットレートに基づいて各帯域の量子変器
に配分するビット量を計算する。詳細は後で述べる。11
3はサブフレーム単位で有音/無音検出を行う有音/無
音検出部であり、詳細は後述する。110はタイムスタン
プ計算回路であり、セルで伝送されるフレームの先頭の
サブフレーム番号を計算する。具体的には、ビットレー
ト制御部108から出力される1セルで伝送されるサブフ
レーム数を積算する。第i番目のフレーム(セル)のタ
イムスタンプをTS(i)、第(i−1)番目のフレーム
(セル)のタイムスタンプTS(i−1)、サブフレーム
数をNS(i−1)とおくとTS(i)は次式により計算さ
れる。
However, the section length for calculating the RMS is N. The quantizer 106 calculates the RMS of each band output from the band power calculation circuit.
The value σ i is quantized by a predetermined number of bits, and the code is
Output to 111 and the inverse quantizer 107. The inverse quantizer 107 is a value obtained by inversely quantizing the sign of the above σ i Is output. Normalization circuit 103 and bit rate control unit 108,
The bit allocation calculation unit 109 is obtained as the RMS value of each band by the duder Is used. This makes it possible to completely prevent characteristic degradation caused by mismatch between the coder and the decoder in which the number of quantization bits and the normalization parameter are different. Bit rate control unit
Reference numeral 108 controls the bit rate based on the power of each band signal so that the quality of the signal decoded by the dude is constant and the code amount output from the user is constant. However,
Change the bit rate control method between voiced and silent. Details of the bit rate control unit will be described later. The bit allocation calculator 109 calculates the amount of bits to be allocated to the quantum transformer in each band based on the power of each band signal and the bit rate output from the bit rate controller. Details will be described later. 11
Reference numeral 3 denotes a sound / silence detection unit that performs sound / silence detection in units of subframes, and details will be described later. Reference numeral 110 denotes a time stamp calculation circuit which calculates a head subframe number of a frame transmitted by a cell. Specifically, the number of subframes transmitted from one cell output from bit rate control section 108 is integrated. The time stamp of the i-th frame (cell) is T S (i), the time stamp of the (i−1) -th frame (cell) is T S (i−1), and the number of subframes is N S (i− 1) T S (i) is calculated by the following equation.

TS(i)=TS(i−1)+NS(i−1) (2) セル化部111では、各帯域信号の符号系列と各帯域信
号のRMS値の符号と1セル中のサブフレーム数とタイム
スタンプを第3図のフォーマットでセル化する。第3図
のフォーマットにおいて、全体のセル長は52バイトであ
り、情報部が48バイトである。情報部の内訳はタイムス
タンプ1バイト、サブフレーム数1バイト、帯域パワー
4バイト、帯域信号42バイトである。
T S (i) = T S (i−1) + N S (i−1) (2) In the cell unit 111, the code sequence of each band signal, the code of the RMS value of each band signal, and the The number of frames and the time stamp are converted into cells in the format shown in FIG. In the format of FIG. 3, the entire cell length is 52 bytes, and the information part is 48 bytes. The breakdown of the information part is 1 byte of time stamp, 1 byte of subframe, 4 bytes of band power, and 42 bytes of band signal.

以上が第1図の各部の機能の説明である。次に動作に
ついて説明する。
The above is the description of the function of each unit in FIG. Next, the operation will be described.

第4図はコーダの全体の動作を示すフローチャートで
ある。まず、初期化として、入力バッファ、QMFバン
ク、タイムスタンプのクリアと目標SNR、最大サブフレ
ーム数、サブフレーム長、を設定する。次にサブフレー
ム単位で入力信号系列の切出し、QMFフィルタリング、
各帯域信号のパワー計算、ビットレート制御を目標SNR
が達成できるまでくり返し行い、次に各帯域に割当てる
ビット配分を計算し、そのビット配分に基づいて各帯域
の信号を量子化した後、セル化の処理を行う。このよう
な一連の処理を1フレーム(セル)単位でくり返し行
う。
FIG. 4 is a flowchart showing the entire operation of the coder. First, as initialization, an input buffer, a QMF bank, clearing of a time stamp and a target SNR, a maximum number of subframes, and a subframe length are set. Next, cut out the input signal sequence in subframe units, QMF filtering,
Target SNR for power calculation and bit rate control of each band signal
Is repeated until the above can be achieved, the bit allocation to be allocated to each band is calculated, the signal of each band is quantized based on the bit allocation, and then the celling process is performed. Such a series of processing is repeated for each frame (cell).

ビットレートの制御は、第5図のフローチャートに従
って行う。本発明では、有音/無音検出部から読込れた
検出結果によってビットレート制御のモードを有音と無
音で切換える。有音と無音でビットレート制御法を切替
えることによって無音時に不必要にビットレートが高く
なることを防止できると共に、無音時でも背景音を伝送
することができるので、無音時に白色雑音で音声を再生
することによる不自然さをなくすことができる。
The control of the bit rate is performed according to the flowchart of FIG. In the present invention, the bit rate control mode is switched between voiced and silent based on the detection result read from the voiced / silent detecting unit. By switching the bit rate control method between voiced and silent, it is possible to prevent the bitrate from becoming unnecessarily high when there is no sound, and it is possible to transmit the background sound even when there is no sound. Can eliminate the unnaturalness of doing so.

有音モードのビットレートの制御は第6図で示すフロ
ーチャートに従って行う。まず、初期設定として目標SN
Rd、1セルの最大サブルーム数Ns max、サブフレーム長
LSサンプルを設定する。次にサブフレーム数Iの初期値
としてI=∂を設定する。次にQMFへ入力する入力サン
プル数をI×LSサンプルに設定し、それを入力バッファ
へ指示する。次に帯域パワー計算部で求められた各帯域
のRMS値 を読込むと共に、符号化すべきI×LSサンプルの信号系
列を1セルで伝送するために必要な1サンプル当りの平
均ビット数Rを次式により計算する。
The control of the bit rate in the sound mode is performed according to the flowchart shown in FIG. First, as the initial setting, the target SN
Rd, maximum number of subrooms per cell Ns max, subframe length
Set the L S sample. Next, I = ∂ is set as an initial value of the number I of subframes. Then set the number of input samples to be input to the QMF into I × L S samples, direct it to the input buffer. Next, the RMS value of each band calculated by the band power calculator Together with read-free, to calculate a number average bits per sample R needed to transmit a signal sequence of I × L S samples to be coded in one cell by the following equation.

ここで、Bは帯域信号の符号を伝送するために割当て
られた総ビット数であり、第3図のフォーマットではB
=42×8=336ビットである。
Here, B is the total number of bits allocated for transmitting the code of the band signal, and in the format of FIG.
= 42 × 8 = 336 bits.

次に、各帯域のRMS値 と平均ビット数Rを用いてデコーダで復号される信号の
SNRを次式により推定する。
Next, the RMS value of each band Of the signal decoded by the decoder using
The SNR is estimated by the following equation.

ここでMbは帯域の分割数であり本実施例ではMb=8で
ある。
Here, Mb is the number of band divisions, and in this embodiment, Mb = 8.

上記のSNRの推定式はサブバンド符号化方式において
最適ビット配分を行った場合の復号誤差の2乗平均値を
理論解析した結果に基づいている。表1は、式(4)で
推定した値と計算機シミュレーションで求めたSNRの値
を比較したものである。この表から推定値は実際に符号
化した場合のSNR値と良く一致していることが分かる。
但し表1はビットレートを16kbpsにした場合である。
The above SNR estimation formula is based on the result of theoretical analysis of the root-mean-square value of the decoding error when the optimal bit allocation is performed in the sub-band coding scheme. Table 1 compares the value estimated by equation (4) with the SNR value obtained by computer simulation. From this table, it can be seen that the estimated value is in good agreement with the SNR value in the actual encoding.
However, Table 1 shows the case where the bit rate is 16 kbps.

SNRの指定後、SNRと目標SNRdを比較し、SNRがSNRdよ
り大の時は、サブフレーム数Iが最大サブフレーム数Ns
max以下であることをチェックした後、サブフレーム数
をインクリメントし、フローチャートのへ戻る。SNR
がSNRd以下になるまで同様の処理をくり返し、SNR>SNR
dとなる直前のサンプル当りビットレートとサブフレー
ム数(I−1)を出力する。またサブフレーム数がNs m
axを超えた場合は、サンプル当りビットレートとサブフ
レーム数I=Ns maxを出力する。ここで述べたビットレ
ート制御法は、SNRを推定しながら、符号化する入力サ
ンプル数を増加させ、ビットレートを変化させるもので
品質を常に一定に保つことができる。符号化データ
を固定長のセルに正確に入れることができる。入力信
号の性質の時間的変化に応じてビットレートを変化させ
るので符号化効率が高いという利点がある。
After specifying the SNR, the SNR is compared with the target SNRd. If the SNR is larger than the SNRd, the number of subframes I is equal to the maximum number of subframes Ns.
After checking that the number is equal to or less than max, the number of subframes is incremented, and the process returns to the flowchart. SNR
Is repeated until is smaller than SNRd, and SNR> SNR
The bit rate per sample and the number of subframes (I-1) immediately before d is output. The number of subframes is Ns m
If it exceeds ax, the bit rate per sample and the number of subframes I = Ns max are output. The bit rate control method described here increases the number of input samples to be coded while estimating the SNR, and changes the bit rate, so that the quality can always be kept constant. Encoded data can be accurately placed in fixed-length cells. Since the bit rate is changed according to the temporal change of the property of the input signal, there is an advantage that the coding efficiency is high.

第7図は、無音モードのビットレート制御法を示すフ
ローチャートである。この方法では、無音が連続してい
る場合にはサブフレーム数Iを最大サブフレーム数Ns m
axに設定し、ビットレートを最低のレートすなわち、 に設定する。フレームの途中(I<Ns max)で有音にな
った場合には、その時点でフレームを打ち切り、サブフ
レーム数をIとし、ビットレートを と設定する。
FIG. 7 is a flowchart showing a bit rate control method in the silent mode. In this method, when silence continues, the number of subframes I is set to the maximum number of subframes Ns m
ax and set the bit rate to the lowest rate, i.e. Set to. If a sound is produced in the middle of a frame (I <Ns max), the frame is aborted at that time, the number of subframes is set to I, and the bit rate is set to Set as

次にビット配分計算部109の動作について説明する。
第12図はビット配分計算部109のフローチャートであ
る。初めに各帯域のパワーとしてRMS値 とサンプル当りのビットレートRを逆量子化器107及び
ビットレート制御部108から読込んだ後、次式に従って
各帯域のビット配分量Rkを計算する。
Next, the operation of bit allocation calculation section 109 will be described.
FIG. 12 is a flowchart of the bit allocation calculation unit 109. First, the RMS value as the power of each band After reading the bit rate R per sample and the bit rate R per sample from the inverse quantizer 107 and the bit rate control unit 108, the bit allocation amount R k for each band is calculated according to the following equation.

上式は復号誤差の2乗平均値を最小化する最適ビット
配分の式であり、N.S.Jayant and P.Noll:“Digital Co
ding of Waveforms",PRENTICE−HALL,NJ(文献4)に記
されている。
The above equation is an optimal bit allocation equation that minimizes the mean square value of the decoding error. NSJayant and P. Noll: “Digital Co.
ding of Waveforms ", PRENTICE-HALL, NJ (Reference 4).

式(5)で計算されるビット配分量Rkは実数値となる
が、各帯域の信号を量子化する際にスカラ量子化器を用
いる場合には、Rkを整数値にする必要があるため、次に
Rkを補正する。第13図は、Rkの補正法の一実施例を示す
フローチャートである。まずRkを小数点以下の切捨てに
より整数化した後整数化によって生じた余りビット数Rr
により計算し、次に余りビットRrをパワーの大きい帯域
の順に1ビットづつ再配分していく。このようにパワー
の大きい順にビットを再配分することは、復号誤差を減
少させる効果がある。
The bit allocation amount R k calculated by equation (5) is a real value, but when a scalar quantizer is used to quantize the signal of each band, it is necessary to set R k to an integer value. Because then
Correct R k . 13 is a flow chart showing an example of a correction method of the R k. First, R k is converted to an integer by truncation after the decimal point, and then the number of remaining bits R r generated by the conversion to an integer.
To Calculated by the next remainder bits R r going to bit by bit reallocation in the order of large band power. Such redistribution of bits in the order of power is effective in reducing decoding errors.

第8図は本発明の一実施例に係る有音・無音検出部11
3のブロック図である。第8図において、1110はLPCケプ
ストラム抽出回路であり入力端子1100から入力した信号
のLPCケプストラムCi(i=1,2,…,P)を公知の方法に
よりサブフレームごとに計算する。但しPは分析次数で
あり例えばP=16とする。LPCケプストラムの計算法に
ついては例えば古井貞照「ディジタル音声処理」(東海
大学出版会1985)に記述されている。
FIG. 8 shows a sound / silence detecting section 11 according to an embodiment of the present invention.
FIG. 3 is a block diagram of FIG. In Figure 8, 1110 LPC cepstrum of signal input from and the input terminal 1100 is LPC cepstrum extraction circuit C i (i = 1,2, ... , P) is computed for each sub-frame by a known method. Here, P is the order of analysis, for example, P = 16. The method of calculating the LPC cepstrum is described, for example, in Sadateru Furui, “Digital Speech Processing” (Tokai University Press, 1985).

求められたLPCケプストラムCiは特徴パラメータ射影
回路1140に入力される。この回路1140は内積演算回路11
20及び有音主成分ベクトルメモリ1130で構成される。
LPC cepstrum C i obtained is input to the feature parameters projective circuit 1140. This circuit 1140 is an inner product operation circuit 11.
20 and a voiced main component vector memory 1130.

有音主成分ベクトルメモリ1130は第9図に示すフロー
チャート如く、予め電話使用環境下で集収された音声
(学習データ)を集収し(ステップ)、有音であるラベ
ル付けを行い(ステップ2)、有音部のLPCケプストラ
ムを計算し(ステップ3)、このLPCケプストラムに対
し主成分分析を行うことによって得られる。実際にはLP
Cケプストラムの共分散行列計算を行い(ステップ
4)、固有値を求め(ステップ5)、絶対値の大きい固
有値に対応する固有ベクトルから順に主成分ベクトルと
する(ステップ6)。ここでは第1〜第3の3つの主成
分ベクトルV1,V2,V3がメモリ130に格納されている。内
積演算回路120は、LPCケプストラムCiを要素とするベク
トルC=(C1,C2,…,CP)と主成分ベクトルV1,V2,V3
の内積演算を次式に従って行い、V1,V2,V3を座標軸とす
る3次元の主成分空間上のベクトルCの射影点Qを求め
る。
As shown in the flowchart of FIG. 9, the voiced main component vector memory 1130 collects voices (learning data) collected in advance in a telephone use environment (step), performs labeling as voiced (step 2), The LPC cepstrum of the sound part is calculated (step 3), and the LPC cepstrum is obtained by performing principal component analysis. Actually LP
The covariance matrix of the C cepstrum is calculated (step 4), eigenvalues are obtained (step 5), and the principal vectors corresponding to eigenvalues having large absolute values are set as principal component vectors in order (step 6). Here, the first to third principal component vectors V 1 , V 2 , V 3 are stored in the memory 130. Inner product calculating circuit 120, a vector C = (C 1, C 2 , ..., C P) to the LPC cepstrum C i as elements an inner product operation between the principal component vectors V 1, V 2, V 3 do according to: , V 1 , V 2 , and V 3 are used as the coordinate axes to determine the projection point Q of the vector C on the three-dimensional principal component space.

ここで、υijは主成分ベクトルViの第j要素Qiは射影
点Qの座標軸Viの成分である。
Here, upsilon ij is the j component Q i of the principal component vector V i is a component of the coordinate axes V i of the projection point Q.

有音領域規定パラメータメモリ1160は、主成分ベクト
ル空間上の有音領域を規定するパラメータが格納されて
おり、同様に無音領域規定パラメータメモリ1170には主
成分ベクトル空間上の無音領域を規定するパラメータが
格納されている。有音及び無音の領域をV1,V2軸上で第1
0図に示すように長方形(図中斜線部)とした場合、有
音領域を規定するパラメータは、υ1l1h2l2h
となり、無音領域を規定するパラメータはζ1l1h
2l2hとなる。これらのパラメータは、予め電話使用
環境下で収集された音声の有音区間のLPCケプストラム
と無音区間のLPCケプストラムを統計処理して定められ
る。判定回路1150は、射影点Qが主成分ベクトル空間上
で、有音領域と無音領域のどの領域に属するか又は、ど
の領域にも属さないかということで(a)有音、(b)
無音、(c)不定の判定を行う。すなわち、 (a)υ1lQ1υ1hかつυ2lQZυ2hのとき有音 (b)ζ1lQ1ζ1hかつζ2lQ2ζ2hのとき無音 (c) その他 不 定 と判定する。
The voiced area defining parameter memory 1160 stores parameters for defining a voiced area on the principal component vector space, and the silent area defining parameter memory 1170 similarly stores parameters for defining a silent area on the principal component vector space. Is stored. The the voiced and silent regions on V 1, V 2 axes 1
0When the rectangle is defined as a rectangle (shaded area in the figure), the parameters that define the sound area are 有1l , υ 1h , υ 2l , υ 2h
And the parameters defining the silent region are ζ 1l , ζ 1h , ζ
2l and ζ 2h . These parameters are determined by performing statistical processing on the LPC cepstrum of the sound section and the LPC cepstrum of the silent section of the voice collected in advance in the telephone use environment. The determination circuit 1150 determines whether the projection point Q belongs to any of a sound area and a silence area or does not belong to any area in the principal component vector space (a) sound, (b)
Silence, (c) Indeterminate determination. That is, it is determined as (a) υ 1l Q 1 υ 1h cutlet upsilon 2l Q Z silence when upsilon 2h when voiced (b) ζ 1l Q 1 ζ 1h cutlet ζ 2l Q 2 ζ 2h (c ) Other undefined .

有音/無音判定回路1180では、第11図のフローチャー
トに示す如く判定回路1150の出力ステップ1が、有音と
無音のときはその効果をそのまま出力(エンドへ)す
る。
In the sound / non-sound determining circuit 1180, as shown in the flowchart of FIG. 11, when the output step 1 of the determining circuit 1150 determines that there is a sound or no sound, the effect is output as it is (to the end).

不足の場合(ステップ2)は、過去の3フレームの判
定結果が条件とした現フレームの有音,無音の条件付確
率を条件付確率テーブル1200からテーブルルックアップ
により求め(ステップ3)、有音の条件付確率が無音の
条件付確率より(ステップ4)大きい場合に有音、その
逆の場合に無音と判定する(ステップ5)。1190は判定
結果を少なくとも3フレーム分蓄積する判定結果メモリ
である。
If there is not enough (step 2), the conditional probabilities of speech and silence of the current frame, which are determined based on the past three frame determination results, are obtained from the conditional probability table 1200 by table lookup (step 3). If the conditional probability is larger than the silence conditional probability (step 4), it is determined that there is sound, and vice versa (step 5). Reference numeral 1190 denotes a determination result memory for storing determination results for at least three frames.

nフレームの判定結果をTnとおくと、過去の3フレー
ムの判定結果Tn-1,Tn-2,Tn-3を条件とした条件付確率P
(Tn/Tn-1,Tn-2,Tn-3)は次式で表わされる。
Assuming that the determination result of n frames is T n , the conditional probability P conditioned on the determination results T n−1 , T n−2 , T n−3 of the past three frames
(T n / T n−1 , T n−2 , T n−3 ) is represented by the following equation.

P(Tn,Tn-1,Tn-2,Tn-3)とP(Tn-1,Tn-2,Tn-3
は、予め電話使用環境下で収集された音声(学習デー
タ)にフレームごとに波形やスペクトルの視認等によっ
て有音,無音のラベル付けを行い、連続する4フレーム
及び3フレームの有音,無音ラベルを基に、確率計算を
行い予め求められる。(5)式の計算で得られた条件付
確率は予め、条件付確率テーブル1200に格納しておく。
P (T n , T n−1 , T n−2 , T n−3 ) and P (T n−1 , T n−2 , T n−3 )
Performs voice / silence labeling of speech (learning data) collected in advance in a telephone use environment by visually recognizing a waveform or spectrum for each frame, and generates voice and silence labels of four consecutive frames and three frames. Is calculated in advance on the basis of The conditional probability obtained by the calculation of the expression (5) is stored in the conditional probability table 1200 in advance.

以上のように学習データから得られた条件付確率を基
に有音・無音判定を行うことは、有音→無音→有音→無
音というパターンは非常に少ないといった音声に関する
知識を利用して、判定していることになるので有音・無
音の誤判定が減るという効果がある。
As described above, performing a sound / non-speech determination based on the conditional probability obtained from the learning data is based on the knowledge about speech that the pattern of sound → no sound → voice → no sound is very small. Since the judgment is made, there is an effect that erroneous judgment of sound / no sound is reduced.

尚信号の特徴パラメータとしてLPCケプストラムの他
に、信号パワー、零交差数、線形予測係数、自己相関係
数、DFT係数及びそれらの組合せを用いることもでき
る。また、判定の際に用いる主成分ベクトルの数や条件
付確率を計算する際の過去のフレーム数は任意の数に設
定することもできる等、種々変形可能である。
In addition to the LPC cepstrum, a signal power, the number of zero crossings, a linear prediction coefficient, an autocorrelation coefficient, a DFT coefficient, and a combination thereof can be used as the characteristic parameter of the signal. Also, various modifications are possible, such as the number of principal component vectors used in the determination and the number of past frames when calculating the conditional probability can be set to an arbitrary number.

以上がコーダ部の説明である。 The above is the description of the coder section.

第14図は、本発明の一実施例に係る可変レート符号化
方式を適用した符号化装置のデコーダ部のブロック図で
ある。
FIG. 14 is a block diagram of a decoder section of an encoding device to which a variable rate encoding method according to one embodiment of the present invention is applied.

第14図において、301は第3図のフォーマットのセル
をタイムスタンプ、帯域パワー、帯域信号の各々のデー
タに分解するセル分解部である。また、302は各帯域の
信号を逆量子化する逆量子化器であり、第1図の104と
同様にテーブルルックアップにより実現される。303は
逆正規化回路であり、逆量子化器302の出力と各帯域のR
MS値 の乗算を行う。
In FIG. 14, reference numeral 301 denotes a cell decomposing unit for decomposing cells in the format shown in FIG. 3 into data of a time stamp, band power, and band signal. Further, reference numeral 302 denotes an inverse quantizer for inversely quantizing the signal of each band, which is realized by table lookup in the same manner as 104 in FIG. Reference numeral 303 denotes an inverse normalization circuit, which outputs the output of the inverse quantizer 302 and the R of each band.
MS value Is multiplied.

305はビット配分計算部であり、各帯域のRMS値 と1セル中のサブフレーム数NSを用いて第1図の109と
同様に各帯域に配分されるビット量を計算する。まず、
式(3)に従って1サンブル当りの平均ビット数Rを計
算し、次に式(5)に従って各帯域のビット配分量R
k(k=1,2,…,Mb)を計算する。セル廃棄検出回路306
は、伝送されたタイムスタンプTSとサブフレーム数NS
用いてセルの廃棄の有無を検出する。第15図は検出法を
示すフローチャートである。第16図も併用しながら検出
法を説明する。まず、タイムスタンプTSとサブフレーム
数NSを読み込み、これらを常に2セル分保持しておく。
次に、現在(時刻n)到着したセルの1時刻前のセルの
タイムスタンプTS(n−1)とサブフレーム数NS(n−
1)を用いて次式のように現在のタイムスタンプの予定
値Tを計算する。
Reference numeral 305 denotes a bit allocation calculation unit, which is an RMS value of each band. When calculating the amount of bits allocated to each band like the 109 of FIG. 1 using the sub-frame number N S in one cell. First,
The average number of bits R per sample is calculated according to equation (3), and then the bit allocation amount R for each band is calculated according to equation (5).
k (k = 1, 2,..., Mb) is calculated. Cell discard detection circuit 306
Detects whether the cell is discarded using the transmitted time stamp T S and the number of subframes N S. FIG. 15 is a flowchart showing the detection method. The detection method will be described with reference to FIG. First, the time stamp T S and the number N S of subframes are read, and these are always held for two cells.
Next, the time stamp T S (n−1) of the cell one time before the cell that has arrived at the current time (time n) and the number of subframes N S (n−
The expected value T of the current time stamp is calculated by the following equation using 1).

T=TS(n−1)+NS(n−1) 次にTと現在のタイムスタンプTS(n)を比較し、一
致していれば廃棄なし、一致していなければ現在のセル
の直前で廃棄があったと判定する。例えば、第16図の場
合 TS(n−1)=1 NS(n−1)=m T=TS(n−1)+NS(n−1)=m+1=Ts(n) (7) であるので、廃棄なしである。
T = T s (n−1) + N s (n−1) Next, T is compared with the current time stamp T s (n). If they match, no discard occurs. It is determined that there was discard immediately before. For example, in the case of Figure 16 T S (n-1) = 1 N S (n-1) = m T = T S (n-1) + N S (n-1) = m + 1 = T s (n) ( 7) Therefore, there is no disposal.

第14図において307は補間前処理回路であり、廃棄が
ない場合には各帯域の信号をQMFバンク308にバイパスさ
せ、廃棄があった場合には各帯域の代りに“0"をQMFバ
ンク308に入力する。
In FIG. 14, reference numeral 307 denotes a pre-interpolation processing circuit, which bypasses the signal of each band to the QMF bank 308 when there is no discard, and substitutes "0" instead of each band for the QMF bank 308 when there is discard. To enter.

QMFバンク308は、分割された帯域の信号を入力し、フ
ルバンドの信号を出力するもので、構成は第2図におい
て入出力を逆にしたものとなる。QMFバンクを通過して
得られた復号信号は補間処理部309に送られ、そこでセ
ル廃棄による信号の脱落の補間が行われる。第17図は補
間処理部の一実施例を示すブロック図である。また第18
図は補間処理を示す信号波形例である。第17図において
入力端子400から入力された復号信号は端子409から供給
されるセル廃棄信号に従って、セル廃棄がなかった場合
には出力端子310にバイパスされ、セル廃棄があった場
合には、以下のように補間処理が行われる。まず、廃棄
直前のセルの復号信号をバッファ401から読み出しLPC分
析部402へ入力する。LPC分析部では自己相関法又は共分
散法によるLPC分析を行い予測係数α12,…,α
(Pは予測次数であり、ここでは8とした)と予測残
差信号e(n)を求める。LPC分析法についてはL.R.Rab
iner R.W.Shater著,鈴木訳“音声のディジタル信号処
理",コロナ社(文献5)で詳述されているので説明を省
略する。なお予測フィルタの伝達関数H(z)は である。次に予測残差信号e(n)にピッチ分析を行い
ピッチ周期TPとゲインg及び予測残差信号eP(n)を求
める。ピッチ分析法についても文献5で述べられている
が、ここでは次のようにしてTPとgを求める。
The QMF bank 308 inputs a signal of a divided band and outputs a signal of a full band, and has a configuration in which the input and output are reversed in FIG. The decoded signal obtained by passing through the QMF bank is sent to an interpolation processing section 309, where interpolation of signal dropout due to cell discard is performed. FIG. 17 is a block diagram showing an embodiment of the interpolation processing unit. Also the 18th
The figure is a signal waveform example showing the interpolation processing. In FIG. 17, the decoded signal input from the input terminal 400 is bypassed to the output terminal 310 if there is no cell discard according to the cell discard signal supplied from the terminal 409, and if there is cell discard, the following is performed. The interpolation processing is performed as follows. First, the decoded signal of the cell immediately before discarding is read from the buffer 401 and input to the LPC analysis unit 402. The LPC analysis unit performs an LPC analysis by the autocorrelation method or the covariance method and performs prediction coefficients α 1 , α 2 ,.
P (P is the prediction order, here, 8) and the prediction residual signal e (n) are obtained. LRRab for LPC analysis
Since it is described in detail by S. Suzuki, "digital signal processing of voice", written by iner RWShater, Corona Corporation (Reference 5), the description is omitted. Note that the transfer function H (z) of the prediction filter is It is. Next, pitch analysis is performed on the prediction residual signal e (n) to obtain a pitch period TP , a gain g, and a prediction residual signal e P (n). The pitch analysis method is also described in Reference 5, but here, TP and g are obtained as follows.

廃棄のあったセルの直前のセル(フレーム)の復号信
号において、フレーム最後のサンプル点をn=Nとお
き、次の誤差関数E(TP)を定義する。
In decoded signal of the immediately preceding cell of a cell of discarding (frame), the frame last sample points n = N Distant, define the following error function E (T P).

但し、Lは誤差を評価する区間長であり、ここではL
=70とする。ピッチ周期TPは、上式のE(TP)を最小と
するTPとして求める。ピッチゲインgはTPを求めた後、
次式により計算する。
Here, L is the section length for evaluating the error, and here L
= 70. Pitch period T P is determined in the above equation E a (T P) as T P minimized. After pitch gain g is obtained the T P,
It is calculated by the following equation.

また、予測残差信号e(n),eP(n)は次式により
計算され、eP(n)がバッファ404に蓄積される。
The prediction residual signals e (n) and e P (n) are calculated by the following equations, and e P (n) is stored in the buffer 404.

但し、x(n)はバッファ401から出力される信号で
ある。次に、駆動信号生成回路405において、前のセル
の予測残差信号eP(n)の最後からTPサンプル分をバッ
ファ404から読み出し、その残差信号にピッチゲインg
を乗じた信号をくり返し接続し、第18図(c)のような
駆動信号を生成する。次に、この駆動信号を式(8)の
予測フィルタの逆フィルタである合成フィルタ406に入
力し、廃棄されたセルの信号を合成する。合成された信
号は廃棄セルの前のセル又は前後のセルの復号信号との
間で407においてスムージングが行われる。スムージン
グは、前セルの復号信号をx(n)、合成された信号を
(n)、スムージング出力をy(n)とおくと次式に
従って行われる。
Here, x (n) is a signal output from the buffer 401. Then, in the drive signal generation circuit 405, from the end reads T P samples from the buffer 404 of the prediction residual signal e P a previous cell (n), pitch gain g in the residual signal
Are repeatedly connected to generate a drive signal as shown in FIG. 18 (c). Next, this drive signal is input to a synthesis filter 406 which is an inverse filter of the prediction filter of Expression (8), and a signal of a discarded cell is synthesized. The combined signal is smoothed at 407 between the cell before the discarded cell and the decoded signal of the cell before and after the discarded cell. Smoothing is performed according to the following equation, where x (n) is the decoded signal of the previous cell, (n) is the combined signal, and y (n) is the smoothing output.

y(n)={1−W(n)}x(n)+W(n)
(n) (13) ここで、W(n)は、スムージングの窓関数であり、
第19図に示すものが代表的である。
y (n) = {1-W (n)} x (n) + W (n)
(N) (13) where W (n) is a smoothing window function,
The one shown in FIG. 19 is typical.

以上述べた本実施例での補間処理は、駆動信号レベル
での補間と言うことができるが、この方法は駆動信号の
レベルで前後のセルと波形の不連続点があっても、合成
フィルタを通過することにより不連続点が平滑化され、
音声のレベルではほとんど分からなくなるという効果が
ある。さらに、スムージング回路により前後のセルとの
連続性をより高めているのでセル廃棄に伴う符号信号の
劣化がほとんど知覚されないという効果がある。
The above-described interpolation processing in the present embodiment can be said to be interpolation at the drive signal level.However, even if there is a discontinuity between the preceding and following cells and the waveform at the drive signal level, the synthesis filter can be used. By passing, the discontinuous point is smoothed,
There is an effect that it is hardly understood at the audio level. Further, since the continuity between the preceding and succeeding cells is further enhanced by the smoothing circuit, there is an effect that deterioration of the code signal due to cell discard is hardly perceived.

以上の実施例において、帯域数8、サブフレーム長24
サンプル、最大サブフレーム数12、目標8NR22dBという
条件のもとで計算機シミュレーションを行った結果、平
均ビットレート21kbpsで32kbps ADPCM以上の品質を達
成すると共に、セル廃棄率5%で品質劣化がほとんど知
覚されないという優れた性質をもつことが確認された。
In the above embodiment, the number of bands is 8, and the subframe length is 24.
As a result of computer simulation under the conditions of samples, maximum number of subframes of 12, and target of 8NR22dB, the average bit rate of 21kbps achieves a quality of 32kbps ADPCM or higher, and the cell loss rate is 5%, and quality deterioration is hardly perceived. It was confirmed that it had excellent properties.

〔発明の効果〕〔The invention's effect〕

以上、説明したように本発明によれば、フレーム単位
で符号化ビットレートを制御しているので復号信号の品
質を一定に保つことができる効果があると共に、入力信
号のコントロピー(情報量)に応じて符号化レートが変
化するので高い符号化効率が得られる効果がある。さら
に、各々の周波数帯域別の信号電力を基に各帯域の符号
化ビット数の配分を行っているので復号信号のSNRを向
上させ、高い復号品質が得られる効果がある。
As described above, according to the present invention, since the encoding bit rate is controlled on a frame basis, the quality of the decoded signal can be kept constant, and the contropy (information amount) of the input signal can be maintained. , The coding rate changes according to, so that high coding efficiency can be obtained. Furthermore, since the number of coded bits in each band is distributed based on the signal power for each frequency band, the SNR of the decoded signal is improved, and high decoding quality is obtained.

しかも、符号化データの総和は固定長のセルに納まる
よう制御しているので、符号化データの過不足による効
果の低下はない。また、本発明によれば、複数の周波数
帯域の信号をフレーム単位で独立に符号化しているの
で、過去の信号を用いて予測や量子化の制御を行ってい
るADPCMやEmbeded ADPCMのようにセル廃棄による品質劣
化が継続することはなく、廃棄セル内のみに留めること
ができる効果があると共に、どのセルが廃棄されても影
響は小さいのでセルの優先制御を行う必要がなくシステ
ムが簡単になる効果がある。
In addition, since the sum of the coded data is controlled so as to fit in the fixed-length cell, there is no decrease in the effect due to excess or deficiency of the coded data. Further, according to the present invention, since signals of a plurality of frequency bands are independently encoded in frame units, a cell such as an ADPCM or an Embedded ADPCM which performs prediction and quantization control using past signals is used. The quality can be kept only in the discarded cells without the quality degradation due to discarding, and the effect is small even if any cells are discarded. Therefore, it is not necessary to perform the priority control of the cells, thus simplifying the system. effective.

また、補間処理によって、品質の劣化がほとんど知覚
されることなく廃棄セルを再生することができる効果が
ある。
In addition, there is an effect that the discarded cells can be reproduced by the interpolation processing with almost no perceived deterioration in quality.

【図面の簡単な説明】[Brief description of the drawings]

第1図は、本発明の一実施例に係る符号化装置のコーダ
部のブロック図、第2図は第1図のQMFバンクの一構成
例を示すブロック図、第3図はセルのフォーマットを示
す図、第4図はコーダの動作を説明するためのフローチ
ャート、第5図は第1図のビットレート制御部の動作を
示すフローチャート、第6図乃至第7図は本発明を説明
するためのフローチャート、第8図は本発明の一実施例
に係る有音・無音検出器のブロック図、第9図は本発明
の一実施例に係る主成分ベクトルを求める手順を示すフ
ローチャート、第10図は本発明の一実施例に係る主成分
ベクトル空間上の有音領域を示す図、第11図乃至第13図
は本発明の一実施例を説明するためのフローチャート、
第14図はデコーダ部のブロック図、第15図は第14図のセ
ル廃棄検出回路の動作を示すフローチャート、第16図は
セル廃棄検出法を説明するための図、第17図は第14図の
補間処理部の一構成例を示すブロック図、第18図は補間
処理を説明する波形例、第19図はスムージングの窓関数
を示す図、第20図は従来のEmbeded ADPCMのコーダ部の
ブロック図、第21図は従来のEmbeded ADPCMのデコーダ
部のブロック図、第22図は従来のパケットフォーマット
を示す図である。 100,200,300,400,600……入力端子、101……入力バッフ
ァ、102,308……QMFバンク、103……正規化回路、104,1
06……量子化器、105……帯域パワー計算回路、107,304
……逆量子化器、108……ビットレート制御部、109,305
……ビット配分計算部、110……タイムスタンプ計算回
路、111……セル化部、112……出力端子、1100……入力
端子、1110……LPCケプストラム抽出回路、1120……内
積演算回路、1130……有音主成分ベクトルメモリ、1140
……特徴パラメータ射影回路、1150……判定回路、1160
……有音領域規定パラメータメモリ、1170……無音領域
規定パラメータメモリ、1180……有音/無音判定回路、
1190……判定結果メモリ、1200……条件付確率テーブ
ル、201,204……ハイパスフィルタ、202,205……ローパ
スフィルタ、203……ダウンサンプラ、301……セル分解
部、303……逆正規化回路、306……セル廃棄検出回路、
307……補間前処理回路、309……補間処理部、310……
出力端子、401,404……バッファ、402……LPC分析部、4
03……ピッチ分析部、405……駆動信号生成回路、406…
…合成フィルタ、407……スムージング回路、408……ス
イッチ、610,740……PCMフォーマット変換回路、620…
…減算回路、630……適応量子化器、640,680……ビット
マスク回路、650……適応逆量子化器、660,700,730……
加算回路、690……フィードバック適応逆量子化器、720
……フィードフォワード適応逆量子化器、750……タン
デム接続補正回路。
FIG. 1 is a block diagram of a coder section of an encoding apparatus according to one embodiment of the present invention, FIG. 2 is a block diagram showing an example of a configuration of a QMF bank in FIG. 1, and FIG. FIG. 4 is a flowchart for explaining the operation of the coder, FIG. 5 is a flowchart for explaining the operation of the bit rate control unit in FIG. 1, and FIGS. 6 and 7 are diagrams for explaining the present invention. FIG. 8 is a block diagram of a sound / non-sound detector according to one embodiment of the present invention, FIG. 9 is a flowchart showing a procedure for obtaining a principal component vector according to one embodiment of the present invention, and FIG. FIG. 11 is a diagram showing a sound area on a principal component vector space according to an embodiment of the present invention, FIGS. 11 to 13 are flowcharts for explaining an embodiment of the present invention,
14 is a block diagram of a decoder unit, FIG. 15 is a flowchart showing the operation of the cell discard detection circuit of FIG. 14, FIG. 16 is a diagram for explaining a cell discard detection method, and FIG. 17 is FIG. 18 is a block diagram showing an example of the configuration of an interpolation processing unit, FIG. 18 is a waveform example for explaining the interpolation processing, FIG. 19 is a diagram showing a window function of smoothing, and FIG. 20 is a block diagram of a coder unit of the conventional embedded ADPCM. FIG. 21 is a block diagram of a decoder section of a conventional embedded ADPCM, and FIG. 22 is a view showing a conventional packet format. 100, 200, 300, 400, 600 ... input terminal, 101 ... input buffer, 102, 308 ... QMF bank, 103 ... normalization circuit, 104, 1
06: Quantizer, 105: Band power calculation circuit, 107, 304
…… Inverse quantizer, 108 …… Bit rate control unit, 109,305
... Bit allocation calculation unit 110 110 Time stamp calculation circuit 111 Cell conversion unit 112 Output terminal 1100 Input terminal 1110 LPC cepstrum extraction circuit 1120 Inner product calculation circuit 1130 ...... Voiced principal component vector memory, 1140
…… Feature parameter projection circuit, 1150 …… Judgment circuit, 1160
…… Sounded area definition parameter memory, 1170 …… Silence area specified parameter memory, 1180 …… Sound / silence determination circuit,
1190: determination result memory, 1200: conditional probability table, 201, 204: high-pass filter, 202, 205 ... low-pass filter, 203: down-sampler, 301: cell decomposition unit, 303: denormalization circuit, 306 ... … Cell discard detection circuit,
307 ... interpolation pre-processing circuit, 309 ... interpolation processing unit, 310 ...
Output terminal, 401, 404: buffer, 402: LPC analyzer, 4
03 ... Pitch analysis unit, 405 ... Drive signal generation circuit, 406 ...
... Synthesis filter, 407 ... Smoothing circuit, 408 ... Switch, 610,740 ... PCM format conversion circuit, 620 ...
… Subtraction circuit, 630… Adaptive quantizer, 640,680… Bit mask circuit, 650… Adaptive inverse quantizer, 660,700,730…
Adder circuit, 690 ... feedback adaptive inverse quantizer, 720
…… feedforward adaptive inverse quantizer, 750 …… tandem connection correction circuit.

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】入力信号の信号系列を複数の周波数帯域の
信号に分割し、分割された周波数帯域毎の信号の電力を
計算し、計算された電力の値に基づいて周波数帯域毎の
符号化ビット数の総和をフレーム単位で変化させ、符号
化に割り当てられるべきビット数を表す信号を送信し、
該周波数帯域毎の信号を符号化する可変レート符号化方
法であって、 受信側での復号信号のSNRを推定し、そのSNRが一定とな
るように前記符号化ビット数の割当てを決定すると共
に、前記入力信号の有無、無音を検出し、該検出結果に
よって帯域毎の信号を符号化する際の符号化ビット数と
帯域毎の符号化ビット数の総和を変化させることを特徴
とする可変レート符号化方法。
A signal sequence of an input signal is divided into signals of a plurality of frequency bands, the power of the signal is calculated for each of the divided frequency bands, and coding for each frequency band is performed based on the calculated power value. The sum of the number of bits is changed for each frame, and a signal indicating the number of bits to be allocated for encoding is transmitted.
A variable rate encoding method for encoding a signal for each frequency band, comprising: estimating an SNR of a decoded signal on a receiving side; determining an allocation of the number of encoded bits so that the SNR is constant; Detecting the presence or absence of the input signal, silence, and changing the sum of the number of coded bits and the number of coded bits for each band when coding a signal for each band based on the detection result. Encoding method.
JP32950989A 1989-12-21 1989-12-21 Variable rate coding method Expired - Fee Related JP3004664B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32950989A JP3004664B2 (en) 1989-12-21 1989-12-21 Variable rate coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32950989A JP3004664B2 (en) 1989-12-21 1989-12-21 Variable rate coding method

Publications (2)

Publication Number Publication Date
JPH03191618A JPH03191618A (en) 1991-08-21
JP3004664B2 true JP3004664B2 (en) 2000-01-31

Family

ID=18222173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32950989A Expired - Fee Related JP3004664B2 (en) 1989-12-21 1989-12-21 Variable rate coding method

Country Status (1)

Country Link
JP (1) JP3004664B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0576763A1 (en) * 1992-06-30 1994-01-05 International Business Machines Corporation Improved method for sub-band coding video signals and device for implementing said method
US5742734A (en) * 1994-08-10 1998-04-21 Qualcomm Incorporated Encoding rate selection in a variable rate vocoder
KR100370411B1 (en) * 1996-04-15 2003-04-07 삼성전자 주식회사 Audio encoding method for controlling bit rate and audio encoder using the same
JPH11261986A (en) 1998-03-13 1999-09-24 Fujitsu Ltd Digital multiplex transmitter
JP4810335B2 (en) 2006-07-06 2011-11-09 株式会社東芝 Wideband audio signal encoding apparatus and wideband audio signal decoding apparatus

Also Published As

Publication number Publication date
JPH03191618A (en) 1991-08-21

Similar Documents

Publication Publication Date Title
JP5343098B2 (en) LPC harmonic vocoder with super frame structure
EP0433015B1 (en) Variable bit rate coding system
JPH04127747A (en) Variable rate encoding system
JP4658596B2 (en) Method and apparatus for efficient frame loss concealment in speech codec based on linear prediction
US6295009B1 (en) Audio signal encoding apparatus and method and decoding apparatus and method which eliminate bit allocation information from the encoded data stream to thereby enable reduction of encoding/decoding delay times without increasing the bit rate
EP0582921B1 (en) Low-delay audio signal coder, using analysis-by-synthesis techniques
EP0279451B1 (en) Speech coding transmission equipment
JPH01233500A (en) Multiple rate voice encoding
KR20010093210A (en) Variable rate speech coding
JP2010170142A (en) Method and device for generating bit rate scalable audio data stream
EP1061506A2 (en) Variable rate speech coding
US8055499B2 (en) Transmitter and receiver for speech coding and decoding by using additional bit allocation method
EP1688920B1 (en) Speech signal decoding
JPH0636158B2 (en) Speech analysis and synthesis method and device
JP3004664B2 (en) Variable rate coding method
JP4359949B2 (en) Signal encoding apparatus and method, and signal decoding apparatus and method
JP2003150198A (en) Voice encoding device and voice decoding device
JP4281131B2 (en) Signal encoding apparatus and method, and signal decoding apparatus and method
JP6713424B2 (en) Audio decoding device, audio decoding method, program, and recording medium
JPH03191628A (en) Variable rate encoding system
JP3496618B2 (en) Apparatus and method for speech encoding / decoding including speechless encoding operating at multiple rates
JP4618823B2 (en) Signal encoding apparatus and method
JP3301886B2 (en) Variable rate speech coding method and apparatus
WO1995028770A1 (en) Adpcm signal encoding/decoding system and method
JP2003323200A (en) Gradient descent optimization of linear prediction coefficient for speech coding

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees