JP4287840B2 - Encoder - Google Patents

Encoder Download PDF

Info

Publication number
JP4287840B2
JP4287840B2 JP2005166279A JP2005166279A JP4287840B2 JP 4287840 B2 JP4287840 B2 JP 4287840B2 JP 2005166279 A JP2005166279 A JP 2005166279A JP 2005166279 A JP2005166279 A JP 2005166279A JP 4287840 B2 JP4287840 B2 JP 4287840B2
Authority
JP
Japan
Prior art keywords
signal
encoding
enhancement layer
vector
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005166279A
Other languages
Japanese (ja)
Other versions
JP2005258478A (en
JP2005258478A5 (en
Inventor
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2005166279A priority Critical patent/JP4287840B2/en
Publication of JP2005258478A publication Critical patent/JP2005258478A/en
Publication of JP2005258478A5 publication Critical patent/JP2005258478A5/ja
Application granted granted Critical
Publication of JP4287840B2 publication Critical patent/JP4287840B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an encoding device capable of encoding even a signal which principally consists of a speech and on which music and an environmental sound are superposed at a low bit rate with high quality. <P>SOLUTION: A down samplers 101 decreases the sampling rate of an input signal from a sampling rate FH to a sampling rate FL. A basic layer encoder 102 encodes a sound signal with the sampling rate FL. A local decoder 103 decodes the encoded code outputted from the basic laser encoder 102. An up sampler 104 increases the sampling rate of the decoded signal to the sampling rate FH. A subtractor 106 subtracts the decoded signal from the sound signal with the sampling rate FH. An extended layer encoder 107 encodes the signal outputted from the subtractor 106 by using parameters of the decoding result outputted from the local decoder 103. <P>COPYRIGHT: (C)2005,JPO&amp;NCIPI

Description

本発明は、楽音信号または音声信号などの音響信号を高能率に圧縮符号化する符号化装置に関し、特に符号化コードの一部からでも楽音や音声を復号することができるスケーラブル符号化に好適な符号化装置に関する。   The present invention relates to an encoding device that compresses and encodes an acoustic signal such as a musical tone signal or a voice signal with high efficiency, and is particularly suitable for scalable encoding capable of decoding musical tones and voices even from a part of an encoded code. The present invention relates to an encoding device.

楽音信号または音声信号を低ビットレートで圧縮する音響符号化技術は、移動体通信における電波等の伝送路容量及び記録媒体の有効利用のために重要である。音声信号を符号化する音声符号化に、ITU(International Telecommunication Union)で規格化されているG726、G729などの方式が存在する。これらの方式は、狭帯域信号(300Hz〜3.4kHz)を対象とし、8kbit/s〜32kbit/sのビットレートで高品質に符号化が行うことができる。   An acoustic coding technique for compressing a musical sound signal or a voice signal at a low bit rate is important for the effective use of a transmission path capacity such as radio waves and a recording medium in mobile communication. There are systems such as G726 and G729 standardized by ITU (International Telecommunication Union) for voice coding for coding voice signals. These systems target narrowband signals (300 Hz to 3.4 kHz) and can perform high-quality encoding at a bit rate of 8 kbit / s to 32 kbit / s.

また、広帯域信号(50Hz〜7kHz)を対象とする標準方式としてITUのG722、G722.1や、3GPP(The 3rd Generation Partnership Project)のAMR-WBなどが存在する。これらの方式は、ビットレートが6.6kbit/s〜64kbit/sで広帯域音声信号を高品質に符号化が行うことができる。   In addition, ITU G722, G722.1, 3GPP (The 3rd Generation Partnership Project) AMR-WB, etc. exist as standard systems for wideband signals (50 Hz to 7 kHz). These systems can encode a wideband audio signal with high quality at a bit rate of 6.6 kbit / s to 64 kbit / s.

ここで、音声信号を低ビットレートで高能率に符号化を行う有効な方法に、CELP(Code Excited Linear Prediction)がある。CELPは、人間の音声生成モデルを工学的に模擬したモデルに基づき符号化を行う方法である。具体的には、CELPは、乱数で表される励振信号を周期性の強さに対応するピッチフィルタと声道特性に対応する合成フィルタに通し、その出力信号と入力信号の二乗誤差が聴覚特性の重み付けの下で最小になるよう符号化パラメータを決定する。   Here, there is CELP (Code Excited Linear Prediction) as an effective method for encoding a speech signal at a low bit rate and with high efficiency. CELP is a method of encoding based on a model that is an engineering simulation of a human speech generation model. Specifically, CELP passes an excitation signal represented by a random number through a pitch filter corresponding to the strength of periodicity and a synthesis filter corresponding to vocal tract characteristics, and the square error between the output signal and the input signal is an auditory characteristic. The encoding parameter is determined so as to be minimum under the weighting of.

そして、最近の標準音声符号化方式の多くがCELPに基づいた符号化を行っている。例えば、G729は、8kbit/sで狭帯域信号の符号化を行うことができ、AMR-WBは6.6kbit/s〜23.85kbit/sで広帯域信号を符号化を行うことができる。   Many of the recent standard speech coding schemes perform coding based on CELP. For example, G729 can encode a narrowband signal at 8 kbit / s, and AMR-WB can encode a wideband signal at 6.6 kbit / s to 23.85 kbit / s.

一方で、楽音信号を符号化する楽音符号化の場合は、MPEG(Moving Picture Expert Group)で規格化されているレイヤIII方式やAAC方式のように、楽音信号を周波数領域に変換し、聴覚心理モデルを利用して符号化を行う方法が一般的である。これら方式は、サンプリングレートが44.1kHzの信号に対しチャネル当たり64kbit/s〜96kbit/sでほとんど劣化が生じないことが知られている。   On the other hand, in the case of musical tone encoding that encodes a musical tone signal, the musical tone signal is converted into the frequency domain, as in the layer III method and the AAC method standardized by the Moving Picture Expert Group (MPEG), and the psychoacoustics A method of encoding using a model is common. These systems are known to cause almost no degradation at 64 kbit / s to 96 kbit / s per channel for a signal with a sampling rate of 44.1 kHz.

この楽音符号化は、音楽に対して高品質に符号化を行う方式である。楽音符号化は、前述の説明にある背景に音楽や環境音がある音声信号についても高品質に符号化を行うことができる。そして、対象となる信号の帯域もCD品質である22kHz程度まで対応可能である。   This musical tone encoding is a method for encoding music with high quality. Musical sound encoding can perform high-quality encoding even for audio signals having music or environmental sound in the background described above. The target signal band can also correspond to a CD quality of about 22 kHz.

しかしながら、音声信号が主体で、背景に音楽や環境音が重畳している信号に音声符号化方式を用いて符号化する場合、背景部の音楽や環境音の影響で、背景部の信号のみならず音声信号も劣化してしまい全体的な品質が低下するという問題がある。   However, when encoding using the audio encoding method to a signal that is mainly an audio signal and music or environmental sound is superimposed on the background, only the signal in the background area is affected by the influence of the music or environmental sound in the background area. There is also a problem that the audio signal is deteriorated and the overall quality is lowered.

この問題は、音声符号化方式が、CELPという音声モデルに特化した方式を基本にしているために生じる。また、音声符号化方式が対応できる信号帯域は7kHzまでであり、それ以上の帯域の成分を持つ信号に対しては構成上十分に対応しきれないという問題があった。   This problem occurs because the speech coding method is based on a method specialized for a speech model called CELP. In addition, the signal band that can be supported by the speech coding system is up to 7 kHz, and there is a problem that it cannot sufficiently cope with a signal having a component of a band larger than that.

また、楽音符号化方式では、高品質な符号化を実現するためにはビットレートを高くして使用する必要がある。楽音符号化方式では、仮にビットレートを32kbit/s程度まで低く抑えて符号化した場合、復号信号の品質が大きく低下するという問題がある。そのため、伝送レートの低い通信網で使用できないという問題がある。   In the musical sound encoding system, it is necessary to use a higher bit rate in order to realize high quality encoding. In the musical sound encoding system, there is a problem that the quality of the decoded signal is greatly deteriorated if the encoding is performed while the bit rate is reduced to about 32 kbit / s. Therefore, there is a problem that it cannot be used in a communication network with a low transmission rate.

本発明はかかる点に鑑みてなされたものであり、音声が主体で背景に音楽や環境音が重畳しているような信号であっても低ビットレートで高品質に符号化できる符号化装置を提供することを目的とする。   The present invention has been made in view of such a point, and an encoding apparatus capable of encoding with high quality at a low bit rate even if the signal is mainly a sound and music or environmental sound is superimposed on the background. The purpose is to provide.

本発明の符号化装置は、入力信号の所定の周波数より低い帯域部分である低域部を符号化して第1符号化コードを得る基本レイヤ符号化手段と、前記第1符号化コードを復号して復号信号を生成する局所復号化手段と、前記入力信号から前記復号信号を減算して減算信号を得る減算手段と、前記局所復号化手段の復号処理の中で生成されたパラメータ、あるいは、前記パラメータを全帯域用に変換したパラメータにより構成されるフィルタのスペクトル特性を算出するスペクトル特性算出手段と、前記低域部の量子化精度が他の帯域に対して低くなるように前記フィルタのスペクトル特性を変形する変形手段と、変形後のスペクトル特性を用いてベクトル量子化のビット配分又はベクトル探索の重みを決定するベクトル量子化手段と、前記ビット配分又は前記ベクトル探索の重みに基づいて前記減算信号を符号化して第2符号化コードを得る拡張レイヤ符号化手段と、を具備する構成を採る。
The encoding apparatus according to the present invention includes a base layer encoding unit that obtains a first encoded code by encoding a low-frequency part that is a band part lower than a predetermined frequency of an input signal, and decodes the first encoded code. Local decoding means for generating a decoded signal, subtracting means for subtracting the decoded signal from the input signal to obtain a subtracted signal, parameters generated during the decoding process of the local decoding means, or Spectral characteristic calculation means for calculating a spectral characteristic of a filter composed of parameters obtained by converting parameters for all bands, and spectral characteristics of the filter so that the quantization accuracy of the low band part is lower than that of other bands Deformation means for deforming, vector quantization means for determining a vector quantization bit allocation or vector search weight using the transformed spectral characteristics, and It adopts a configuration comprising the subtraction signal based on the weight of the bets allocation or the vector search and enhancement layer coding means for obtaining a second encoded code by encoding the.

本発明によれば、低ビットレートで高品質に符号化を行うことができる。   According to the present invention, encoding can be performed with high quality at a low bit rate.

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(実施の形態1)
図1は、本発明の実施の形態1に係る信号処理装置の構成を示すブロック図である。図1の信号処理装置100は、ダウンサンプリング器101と、基本レイヤ符号化器102と、局所復号化器103と、アップサンプリング器104と、遅延器105と、減算器106と、拡張レイヤ符号化器107と、マルチプレクサ108とから主に構成される。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of the signal processing apparatus according to Embodiment 1 of the present invention. A signal processing apparatus 100 in FIG. 1 includes a downsampler 101, a base layer encoder 102, a local decoder 103, an upsampler 104, a delay unit 105, a subtractor 106, and an enhancement layer encoding. It is mainly composed of a unit 107 and a multiplexer 108.

ダウンサンプリング器101は、入力信号のサンプリングレートをサンプリングレートFHからサンプリングレートFLにダウンサンプリングし、サンプリングレートFLの音響信号を基本レイヤ符号化器102に出力する。ここで、サンプリングレートFLは、サンプリングレートFHより低い周波数である。   The downsampler 101 downsamples the sampling rate of the input signal from the sampling rate FH to the sampling rate FL, and outputs an acoustic signal at the sampling rate FL to the base layer encoder 102. Here, the sampling rate FL is a frequency lower than the sampling rate FH.

基本レイヤ符号化器102は、サンプリングレートFLの音響信号を符号化し、符号化コードを局所復号化器103とマルチプレクサ108に出力する。   Base layer encoder 102 encodes an audio signal having sampling rate FL, and outputs the encoded code to local decoder 103 and multiplexer 108.

局所復号化器103は、基本レイヤ符号化器102から出力された符号化コードを復号し、復号信号をアップサンプリング器104と拡張レイヤ符号化器107に出力する。   Local decoder 103 decodes the encoded code output from base layer encoder 102, and outputs the decoded signal to upsampler 104 and enhancement layer encoder 107.

アップサンプリング器104は、復号信号のサンプリングレートをFHに上げて減算器106に出力する。   The upsampler 104 raises the sampling rate of the decoded signal to FH and outputs it to the subtractor 106.

遅延器105は、入力されたサンプリングレートFHの音響信号を所定の時間の遅延した後、減算器106する。この遅延時間をダウンサンプリング器101と基本レイヤ符号化器102とアップサンプリング器104で生じる時間遅れと同値とすることにより、次の減算処理での位相のずれを防ぐ。   The delay unit 105 delays the input acoustic signal of the sampling rate FH by a predetermined time, and then performs a subtracter 106. By making this delay time the same value as the time delay caused by the downsampler 101, the base layer encoder 102, and the upsampler 104, a phase shift in the next subtraction process is prevented.

減算器106は、サンプリングレートFHの音響信号から復号信号を減算し、減算結果を拡張レイヤ符号化器107に出力する。   The subtractor 106 subtracts the decoded signal from the acoustic signal having the sampling rate FH, and outputs the subtraction result to the enhancement layer encoder 107.

拡張レイヤ符号化器107は、減算器106から出力された信号を局所復号化器103から出力された復号結果のパラメータを用いて符号化し、マルチプレクサ108に出力する。マルチプレクサ108は、基本レイヤ符号化器102と拡張レイヤ符号化器107とにおいて符号化された信号を多重化して出力する。   The enhancement layer encoder 107 encodes the signal output from the subtractor 106 using the decoding result parameter output from the local decoder 103 and outputs the result to the multiplexer 108. The multiplexer 108 multiplexes and outputs the signals encoded by the base layer encoder 102 and the enhancement layer encoder 107.

次に、基本レイヤ符号化と拡張レイヤ符号化について説明する。図2は、入力信号の成分の一例を示す図である。図2において、縦軸は、信号の成分の情報量を示し、横軸は、周波数を示す。図2では、入力信号に含まれる音声情報と、背景音楽/背景雑音情報がどの周波数帯に存在しているかを表している。   Next, base layer coding and enhancement layer coding will be described. FIG. 2 is a diagram illustrating an example of components of the input signal. In FIG. 2, the vertical axis indicates the information amount of the signal component, and the horizontal axis indicates the frequency. FIG. 2 shows in which frequency band audio information and background music / background noise information included in the input signal are present.

音声情報は、周波数の低い領域に情報が多く存在し、高域に向かうほど情報量は減少する。それに対し、背景音楽・背景雑音情報は、音声情報と比べると相対的に低域の情報は少なく、高域に含まれる情報が大きい。   The audio information has a lot of information in a low frequency region, and the amount of information decreases as it goes to a high region. On the other hand, the background music / background noise information has relatively less low-frequency information than the audio information, and the information contained in the high frequency is large.

そこで、本発明の信号処理装置は、複数の符号化方式を用い、それぞれの符号化方式が適する領域毎に異なる符号化を行う。   Therefore, the signal processing apparatus according to the present invention uses a plurality of encoding methods and performs different encoding for each region where each encoding method is suitable.

図3は、本実施の形態に係る信号処理装置の信号処理方法の一例を示す図である。図3において、縦軸は、信号の成分の情報量を示し、横軸は、周波数を示す。   FIG. 3 is a diagram illustrating an example of a signal processing method of the signal processing device according to the present embodiment. In FIG. 3, the vertical axis indicates the information amount of the signal component, and the horizontal axis indicates the frequency.

基本レイヤ符号化器102は、0〜FL間の周波数帯の音声情報を効率よく表すように設計されており、この領域での音声情報は品質良く符号化することができる。しかし、0〜FL間の周波数帯の背景音楽・背景雑音情報の符号化品質は高くない。拡張レイヤ符号化器107は、基本レイヤ符号化器102で符号化できない部分と、FL〜FH間の周波数帯の信号を符号化する。   The base layer encoder 102 is designed to efficiently express audio information in the frequency band between 0 and FL, and the audio information in this region can be encoded with high quality. However, the coding quality of background music / background noise information in the frequency band between 0 and FL is not high. The enhancement layer encoder 107 encodes a portion that cannot be encoded by the base layer encoder 102 and a signal in a frequency band between FL and FH.

よって、基本レイヤ符号化器102と拡張レイヤ符号化器107とを組み合わせることで広い帯域で高品質な符号化が実現できる。さらに、少なくとも基本レイヤ符号化手段の符号化コードだけでも音声情報が復号できるというスケーラブルな機能が実現できる。   Therefore, by combining the base layer encoder 102 and the enhancement layer encoder 107, high quality encoding can be realized in a wide band. Furthermore, it is possible to realize a scalable function in which audio information can be decoded only with the encoded code of at least the base layer encoding means.

このように、局所復号化器103における符号化で生成されたパラメータのうち有用なものを拡張レイヤ符号化器107に与え、拡張レイヤ符号化器107は、このパラメータを利用して符号化を行う。   In this way, useful parameters generated by encoding in the local decoder 103 are given to the enhancement layer encoder 107, and the enhancement layer encoder 107 performs encoding using these parameters. .

このパラメータは符号化コードから生成されるため、本実施の形態の信号処理装置により符号化された信号を復号する場合に、音響復号化の過程で同じパラメータを得ることができ、このパラメータを付加して復号側に伝送する必要がない。このために、拡張レイヤ符号化手段は付加情報の増加を伴うことなしに、符号化処理の効率化を図ることができる。   Since this parameter is generated from the encoded code, when decoding the signal encoded by the signal processing apparatus of the present embodiment, the same parameter can be obtained in the process of acoustic decoding, and this parameter is added. Thus, there is no need to transmit to the decoding side. For this reason, the enhancement layer encoding means can improve the efficiency of the encoding process without increasing the additional information.

例えば、局所復号化器103において復号されるパラメータのうち、拡張レイヤ符号化器107で用いられるパラメータとして、入力信号が母音のように周期性の強い信号か子音のように雑音性の強い信号かを表す有声/無声フラグを使う構成がある。有声/無声フラグを用い、有声である区間において拡張レイヤでは高域よりも低域を重視してビット配分を行い、無声である区間では低域よりも高域を重視してビット配分を行う、などの適応化を図ることができる。   For example, among the parameters decoded in the local decoder 103, whether the input signal is a signal having a strong periodicity such as a vowel or a signal having a strong noise such as a consonant is used as a parameter used in the enhancement layer encoder 107. There is a configuration that uses a voiced / unvoiced flag representing. Using voiced / unvoiced flags, bit allocation is performed with emphasis on the low frequency rather than high frequency in the enhancement layer in the voiced segment, and bit allocation is performed with emphasis on the high frequency than low frequency in the unvoiced segment. Can be adapted.

このように、本実施の形態の信号処理装置によれば、入力信号から所定の周波数以下の成分を取り出して音声符号化に適した符号化を行い、得られた符号化コードを復号した結果を用いて楽音符号化に適した符号化を行うことにより、低ビットレートで高品質に符号化を行うことができる。   As described above, according to the signal processing apparatus of the present embodiment, a component having a frequency lower than a predetermined frequency is extracted from the input signal, is encoded suitable for speech encoding, and the obtained encoded code is decoded. By using the encoding suitable for the musical tone encoding, it is possible to perform encoding at a low bit rate with high quality.

また、サンプリングレートFHとFLには、FHがFLより大きい値であれば良く、値は限定されない。例えば、サンプリングレートをFH=24kHz、FL=16kHzとし、符号化することができる。   The sampling rates FH and FL may be any value as long as FH is larger than FL, and the values are not limited. For example, encoding can be performed with a sampling rate of FH = 24 kHz and FL = 16 kHz.

(実施の形態2)
本実施の形態では、実施の形態1の局所復号化器103で復号されるパラメータのうち、拡張レイヤ符号化器107で用いられるパラメータとして、入力信号のスペクトルを表すLPC係数を用いる例について説明する。
(Embodiment 2)
In the present embodiment, an example will be described in which LPC coefficients representing the spectrum of an input signal are used as parameters used by enhancement layer encoder 107 among parameters decoded by local decoder 103 of Embodiment 1. .

本実施の形態の信号処理装置は、図1の基本レイヤ符号化器102においてCELPを用いた符号化を行い、拡張レイヤ符号化器107において入力信号のスペクトルを表すLPC係数を用いて符号化を行う。   The signal processing apparatus according to the present embodiment performs encoding using CELP in the base layer encoder 102 in FIG. 1, and performs encoding using the LPC coefficient representing the spectrum of the input signal in the enhancement layer encoder 107. Do.

ここでは最初に、基本レイヤ符号化器102の詳細な動作の説明を行った後に、拡張レイヤ符号化器107の基本構成の説明を行う。ここでいう基本構成とは、今後の実施の形態の説明を簡便にするためのもので、局所復号化器103の符号化パラメータを用いない構成を指す。その後に本実施の形態の特徴である局所復号化器103でLPC係数を復号し、このLPC係数を用いた拡張レイヤ符号化器107の説明を行う。   Here, first, the detailed operation of the base layer encoder 102 will be described, and then the basic configuration of the enhancement layer encoder 107 will be described. The basic configuration here is for simplifying the description of the embodiment in the future, and indicates a configuration in which the encoding parameter of the local decoder 103 is not used. Thereafter, the LPC coefficient is decoded by the local decoder 103 which is a feature of the present embodiment, and the enhancement layer encoder 107 using the LPC coefficient will be described.

図4は、基本レイヤ符号化器102の構成の一例を示す図である。図4の基本レイヤ符号化器102は、LPC分析器401と、聴感重み付け部402と、適応符号帳探索器403と、適応ゲイン量子化器404と、目標ベクトル生成器405と、雑音符号帳探索器406と、雑音ゲイン量子化器407と、マルチプレクサ408とから主に構成される。   FIG. 4 is a diagram illustrating an example of the configuration of the base layer encoder 102. The base layer encoder 102 in FIG. 4 includes an LPC analyzer 401, an auditory weighting unit 402, an adaptive codebook searcher 403, an adaptive gain quantizer 404, a target vector generator 405, and a noise codebook search. 406, a noise gain quantizer 407, and a multiplexer 408.

LPC分析器401は、ダウンサンプリング器101においてサンプリングレートFLでサンプリングされた入力信号からLPC係数を求め、聴感重み付け部402に出力する。   The LPC analyzer 401 obtains an LPC coefficient from the input signal sampled at the sampling rate FL in the downsampler 101 and outputs the LPC coefficient to the audibility weighting unit 402.

聴感重み付け部402は、LPC分析器401で求められたLPC係数を基に入力信号に重み付けを行い、重み付けされた入力信号を適応符号帳探索器403、適応ゲイン量子化器404、及び目標ベクトル生成器405に出力する。   The perceptual weighting unit 402 weights the input signal based on the LPC coefficient obtained by the LPC analyzer 401, and applies the weighted input signal to the adaptive codebook searcher 403, the adaptive gain quantizer 404, and the target vector generator. Output to the device 405.

適応符号帳探索器403は、聴覚重み付けされた入力信号を目標信号として適応符号帳の探索を行い、探索した適応ベクトルを適応ゲイン量子化器404と目標ベクトル生成器405に出力する。そして、適応符号帳探索器403は、量子化歪みが最も少ないとされた適応ベクトルのコードをマルチプレクサ408に出力する。   Adaptive codebook searcher 403 searches the adaptive codebook using the perceptually weighted input signal as a target signal, and outputs the searched adaptive vector to adaptive gain quantizer 404 and target vector generator 405. Then, adaptive codebook searcher 403 outputs the code of the adaptive vector determined to have the least quantization distortion to multiplexer 408.

適応ゲイン量子化器404は、適応符号帳探索器403から出力される適応ベクトルに乗算する適応ゲインを量子化し、目標ベクトル生成器405に出力する。そして、そのコードをマルチプレクサ408に出力する。   Adaptive gain quantizer 404 quantizes the adaptive gain to be multiplied by the adaptive vector output from adaptive codebook searcher 403 and outputs the result to target vector generator 405. The code is output to the multiplexer 408.

目標ベクトル生成器405は、聴感重み付け部402から出力された入力信号を適応ベクトルに適応ゲインを乗算した結果でベクトル減算し、減算結果を目標ベクトルとして雑音符号帳探索器406と雑音ゲイン量子化器407に出力する。   The target vector generator 405 performs vector subtraction on the input signal output from the perceptual weighting unit 402 by the result obtained by multiplying the adaptive vector by the adaptive gain, and the noise codebook searcher 406 and the noise gain quantizer using the subtraction result as the target vector. Output to 407.

雑音符号帳探索器406は、目標ベクトル生成器405から出力された目標ベクトルとの歪が最小となる雑音ベクトルを雑音符号帳の中から探索する。そして、雑音符号帳探索器406は、探索した雑音ベクトルを雑音ゲイン量子化器407に与えるとともに、そのコードをマルチプレクサ408に出力する。   The noise codebook searcher 406 searches the noise codebook for a noise vector that minimizes distortion with the target vector output from the target vector generator 405. Then, noise codebook searcher 406 provides the searched noise vector to noise gain quantizer 407 and outputs the code to multiplexer 408.

雑音ゲイン量子化器407は、雑音符号帳探索器406において探索された雑音ベクトルに乗算する雑音ゲインを量子化し、そのコードをマルチプレクサ408に出力する。   The noise gain quantizer 407 quantizes the noise gain multiplied by the noise vector searched by the noise codebook searcher 406 and outputs the code to the multiplexer 408.

マルチプレクサ408は、LPC係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを多重化して局所復号化器103及びマルチプレクサ108に出力する。   The multiplexer 408 multiplexes the LPC coefficients, the adaptive vector, the adaptive gain, the noise vector, and the coding code of the noise gain, and outputs the multiplexed code to the local decoder 103 and the multiplexer 108.

次に、図4の基本レイヤ符号化器102の動作について説明する。最初に、ダウンサンプリング器101から出力されたサンプリングレートFLの信号が入力され、LPC分析器401においてLPC係数が求められる。このLPC係数は、LSP係数などの量子化に適したパラメータに変換され、量子化される。この量子化で得られる符号化コードがマルチプレクサ408に与えられ、かつ符号化コードから量子化後のLSP係数が算出されLPC係数に変換される。   Next, the operation of base layer encoder 102 in FIG. 4 will be described. First, the sampling rate FL signal output from the downsampler 101 is input, and the LPC analyzer 401 determines the LPC coefficient. The LPC coefficient is converted into a parameter suitable for quantization such as an LSP coefficient and quantized. An encoded code obtained by this quantization is supplied to the multiplexer 408, and an LSP coefficient after quantization is calculated from the encoded code and converted into an LPC coefficient.

この変換により、量子化後のLPC係数が求められる。この量子化後のLPC係数を利用して、適応符号帳、適応ゲイン、雑音符号帳および雑音ゲインの符号化を行う。   By this conversion, the LPC coefficient after quantization is obtained. Using this quantized LPC coefficient, the adaptive codebook, adaptive gain, noise codebook, and noise gain are encoded.

次に、聴感重み付け部402は、LPC分析器401で求められたLPC係数に基づいて入力信号に重み付けを行う。この重み付けは、量子化歪のスペクトルを入力信号のスペクトル包絡にマスクされるようスペクトル整形を行うことを目的として成される。   Next, the audibility weighting unit 402 weights the input signal based on the LPC coefficient obtained by the LPC analyzer 401. This weighting is performed for the purpose of shaping the spectrum so that the spectrum of the quantization distortion is masked by the spectrum envelope of the input signal.

次に、聴覚重み付けされた入力信号を目標信号とし、適応符号帳探索器403において適応符号帳が探索される。過去の音源系列をピッチ周期で繰り返した信号を適応ベクトルと呼び、あらかじめ定められた範囲のピッチ周期で生成された適応ベクトルによって適応符号帳は構成される。   Next, an adaptive codebook search unit 403 searches for an adaptive codebook using the perceptually weighted input signal as a target signal. A signal obtained by repeating a past sound source sequence with a pitch period is called an adaptive vector, and an adaptive codebook is composed of adaptive vectors generated with a predetermined range of pitch periods.

聴覚重み付けされた入力信号をt(n)、ピッチ周期iの適応ベクトルにLPC係数で構成される合成フィルタのインパルス応答を畳み込んだ信号をpi(n)としたとき、次の式(1)の評価関数Dを最小とする適応ベクトルのピッチ周期iがパラメータとしてマルチプレクサ408に送られる。ここで、Nはベクトル長を示す。

Figure 0004287840
When the perceptually weighted input signal is t (n) and the signal obtained by convolving the impulse response of the synthesis filter composed of LPC coefficients with the adaptive vector of pitch period i is pi (n), the following equation (1) The pitch period i of the adaptive vector that minimizes the evaluation function D is sent to the multiplexer 408 as a parameter. Here, N indicates a vector length.
Figure 0004287840

次に、適応ベクトルに乗じられる適応ゲインの量子化を適応ゲイン量子化器404において行う。適応ゲインβは次の式(2)で表され、このβをスカラー量子化して、その符号がマルチプレクサ408に送られる。

Figure 0004287840
Next, the adaptive gain quantizer 404 quantizes the adaptive gain multiplied by the adaptive vector. The adaptive gain β is expressed by the following equation (2). This β is scalar quantized, and the code is sent to the multiplexer 408.
Figure 0004287840

次に、目標ベクトル生成器405において入力信号から適応ベクトルの影響を減算して、雑音符号帳探索器406と雑音ゲイン量子化器407で用いる目標ベクトルを生成する。ここで、pi(n)を式1で表される評価関数Dを最小とするときの適応ベクトルに合成フィルタを畳み込んだ信号、βqを式2で表される適応ベクトルβをスカラー量子化したときの量子化値としたとき、目標ベクトルt2(n)は次の式(3)に表される。

Figure 0004287840
Next, the target vector generator 405 subtracts the influence of the adaptive vector from the input signal to generate a target vector used by the noise codebook searcher 406 and the noise gain quantizer 407. Here, pi (n) is a signal obtained by convolving a synthesis filter with an adaptive vector when the evaluation function D represented by Equation 1 is minimized, and βq is scalar quantized with the adaptive vector β represented by Equation 2. The target vector t2 (n) is expressed by the following equation (3), where
Figure 0004287840

前記目標ベクトルt2(n)とLPC係数が、雑音符号帳探索器406に与えられ、雑音符号帳の探索が行われる。   The target vector t2 (n) and the LPC coefficient are given to the noise codebook searcher 406, and a noise codebook search is performed.

ここで、雑音符号帳探索器406が備える雑音符号帳の代表的な構成に代数(Algebraic)符号帳がある。代数符号帳とは、振幅1のパルスをあらかじめ定められた非常に少ない数だけ有するベクトルで表される。さらに、代数符号帳は、パルスごとにとりうる位置は重複することなくあらかじめ決められている。そして、代数符号帳は、パルスの位置とパルスの符号(極性)の最適な組み合わせを少ない計算量で決定することができるという特徴がある。   Here, an algebraic codebook is a typical configuration of the noise codebook provided in the noise codebook searcher 406. An algebraic codebook is represented by a vector having a very small number of pulses having an amplitude of 1. Further, in the algebraic codebook, positions that can be taken for each pulse are determined in advance without overlapping. The algebraic codebook is characterized in that the optimal combination of the pulse position and the pulse code (polarity) can be determined with a small amount of calculation.

目標ベクトルをt2(n)、コードjに対応する雑音ベクトルをcj(n)としたとき、次の式(4)の評価関数Dを最小とする雑音ベクトルのインデックスjがパラメータとしてマルチプレクサ408に送られる。

Figure 0004287840
When the target vector is t2 (n) and the noise vector corresponding to the code j is cj (n), the noise vector index j that minimizes the evaluation function D of the following equation (4) is sent to the multiplexer 408 as a parameter. It is done.
Figure 0004287840

次に、雑音ベクトルに乗じられる雑音ゲインの量子化を雑音ゲイン量子化器407において行う。雑音ゲインγは次の式(5)で表され、このγをスカラー量子化して、その符号がマルチプレクサ408に送られる。

Figure 0004287840
Next, the noise gain quantizer 407 performs quantization of the noise gain multiplied by the noise vector. The noise gain γ is expressed by the following equation (5). This γ is scalar quantized and the code is sent to the multiplexer 408.
Figure 0004287840

マルチプレクサ408は、送られてきたLPC係数、適応符号帳、適応ゲイン、雑音符号帳、雑音ゲインの符号化コードを多重化して局所復号化器103及びマルチプレクサ108に出力する。   The multiplexer 408 multiplexes the transmitted LPC coefficients, adaptive codebook, adaptive gain, noise codebook, and noise gain coding code, and outputs the multiplexed code to the local decoder 103 and the multiplexer 108.

そして、新しい入力信号が存在する間、上記処理を繰り返す。新しい入力信号が存在しない場合には、処理を終了する。   Then, the above process is repeated while a new input signal exists. If there is no new input signal, the process ends.

次に、拡張レイヤ符号化器107について説明する。図5は、拡張レイヤ符号化器107の構成の一例を示す図である。図5の拡張レイヤ符号化器107は、LPC分析器501と、スペクトル包絡算出器502と、MDCT部503と、パワー算出器504と、パワー正規化器505と、スペクトル正規化器506と、Barkスケール正規化器508と、Barkスケール形状算出器507と、ベクトル量子化器509と、マルチプレクサ510とから主に構成される。   Next, the enhancement layer encoder 107 will be described. FIG. 5 is a diagram illustrating an example of the configuration of the enhancement layer encoder 107. The enhancement layer encoder 107 in FIG. 5 includes an LPC analyzer 501, a spectrum envelope calculator 502, an MDCT unit 503, a power calculator 504, a power normalizer 505, a spectrum normalizer 506, and a Bark. It is mainly composed of a scale normalizer 508, a Bark scale shape calculator 507, a vector quantizer 509, and a multiplexer 510.

LPC分析器501は、入力信号にLPC分析を行い、得られたLPC分析係数をスペクトル包絡算出器502及びマルチプレクサ510に出力する。スペクトル包絡算出器502は、LPC係数からスペクトル包絡を算出してベクトル量子化器509に出力する。   The LPC analyzer 501 performs LPC analysis on the input signal and outputs the obtained LPC analysis coefficient to the spectrum envelope calculator 502 and the multiplexer 510. The spectrum envelope calculator 502 calculates a spectrum envelope from the LPC coefficients and outputs it to the vector quantizer 509.

MDCT部503は、入力信号にMDCT変換(Modified Discrete Cosine Transform:変形離散コサイン変換)を行い、得られたMDCT係数をパワー算出器504及びパワー正規化器505に出力する。パワー算出器504は、MDCT係数のパワーを求め、量子化した後、パワー正規化器505及びマルチプレクサ510に出力する。   The MDCT unit 503 performs MDCT transform (Modified Discrete Cosine Transform) on the input signal and outputs the obtained MDCT coefficients to the power calculator 504 and the power normalizer 505. The power calculator 504 obtains the power of the MDCT coefficient, quantizes it, and outputs it to the power normalizer 505 and the multiplexer 510.

パワー正規化器505は、量子化後のパワーにてMDCT係数を正規化し、正規化後のパワーをスペクトル正規化器506に出力する。スペクトル正規化器506は、スペクトル包絡を用いてパワーにより正規化されたMDCT係数を正規化し、Barkスケール形状算出器507及びBarkスケール正規化器508に出力する。   The power normalizer 505 normalizes the MDCT coefficient with the quantized power and outputs the normalized power to the spectrum normalizer 506. The spectrum normalizer 506 normalizes the MDCT coefficient normalized by power using the spectrum envelope, and outputs the normalized MDCT coefficient to the Bark scale shape calculator 507 and the Bark scale normalizer 508.

Barkスケール形状算出器507は、Barkスケールにて等間隔に帯域分割されたスペクトルの形状を算出した後に、前記スペクトル形状を量子化し、量子化したスペクトル形状をBarkスケール正規化器508、ベクトル量子化器509、及びマルチプレクサ510に出力する。   The Bark scale shape calculator 507 quantizes the spectrum shape after calculating the shape of the spectrum divided at equal intervals in the Bark scale, and the quantized spectrum shape is converted into the Bark scale normalizer 508 and the vector quantization. And output to the multiplexer 509 and the multiplexer 510.

Barkスケール正規化器508は、各帯域のBarkスケール形状B(k)を量子化し、その符号化コードをマルチプレクサ510に出力する。そして、Barkスケール正規化器508は、Barkスケール形状を復号化して正規化MDCT係数を生成し、ベクトル量子化器509に出力する。   Bark scale normalizer 508 quantizes Bark scale shape B (k) of each band and outputs the encoded code to multiplexer 510. Then, the Bark scale normalizer 508 decodes the Bark scale shape to generate normalized MDCT coefficients, and outputs them to the vector quantizer 509.

ベクトル量子化器509は、Barkスケール正規化器508から出力された正規化MDCT係数をベクトル量子化し、最も歪が小さい代表値を求め、このインデックスを符号化コードとしてマルチプレクサ510に出力する。   The vector quantizer 509 vector-quantizes the normalized MDCT coefficient output from the Bark scale normalizer 508 to obtain a representative value with the smallest distortion, and outputs this index to the multiplexer 510 as an encoded code.

マルチプレクサ510は、符号化コードを多重化して、マルチプレクサ108に出力する。   The multiplexer 510 multiplexes the encoded code and outputs it to the multiplexer 108.

次に、図5の拡張レイヤ符号化器107の動作について説明する。図1の減算器106で得られる減算信号が、LPC分析器501においてLPC分析される。そして、LPC分析によりLPC係数が算出される。このLPC係数をLSP係数などの量子化に適したパラメータに変換した後に量子化を行う。ここで得られたLPC係数に関する符号化コードはマルチプレクサ510に与えられる。   Next, the operation of enhancement layer encoder 107 in FIG. 5 will be described. The subtraction signal obtained by the subtractor 106 in FIG. 1 is subjected to LPC analysis by the LPC analyzer 501. Then, an LPC coefficient is calculated by LPC analysis. The LPC coefficient is converted into a parameter suitable for quantization such as an LSP coefficient, and then quantization is performed. The encoded code related to the LPC coefficient obtained here is given to the multiplexer 510.

スペクトル包絡算出器502では、復号されたLPC係数を基に、次の式(6)に従いスペクトル包絡を算出する。ここでαは、復号されたLPC係数をしめし、NPはLPC係数の次数、Mはスペクトル分解能を示す。

Figure 0004287840
The spectrum envelope calculator 502 calculates a spectrum envelope according to the following equation (6) based on the decoded LPC coefficients. Here, α q indicates the decoded LPC coefficient, NP indicates the order of the LPC coefficient, and M indicates the spectral resolution.
Figure 0004287840

式(6)により得られたスペクトル包絡env(m)は、後に説明するスペクトル正規化器506およびベクトル量子化器509で利用される。   The spectrum envelope env (m) obtained by Expression (6) is used by a spectrum normalizer 506 and a vector quantizer 509 described later.

次に、入力信号は、MDCT部503においてMDCT変換が行われ、MDCT係数が求められる。MDCT変換は、前後の隣接フレームと分析フレームを半分ずつ完全に重ね合わせ、かつ分析フレームの前半部は奇関数、後半部は偶関数という直交基底を用いるため、フレーム境界歪が発生しないという特徴がある。MDCTを行う際には、sin窓などの窓関数を入力信号に乗ずる。MDCT係数をX(m)とすると、MDCT係数は次の式(7)に従い算出される。ここでx(n)は、入力信号に窓関数を乗算した信号を示す。

Figure 0004287840
Next, the MDCT unit 503 performs MDCT conversion on the input signal to obtain MDCT coefficients. The MDCT transform has a feature that frame boundary distortion does not occur because the adjacent frames before and after and the analysis frame are completely overlapped by half, and an orthogonal basis is used in which the first half of the analysis frame is an odd function and the second half is an even function. is there. When performing MDCT, the input signal is multiplied by a window function such as a sin window. When the MDCT coefficient is X (m), the MDCT coefficient is calculated according to the following equation (7). Here, x (n) represents a signal obtained by multiplying the input signal by the window function.
Figure 0004287840

次に、パワー算出器504では、MDCT係数X(m)のパワーを求め量子化する。そして、パワー正規化器505が、式(8)を用い、当該量子化後のパワーにてMDCT係数を正規化する。ここで、MはMDCT係数の次数を示す。

Figure 0004287840
Next, the power calculator 504 obtains and quantizes the power of the MDCT coefficient X (m). Then, the power normalizer 505 normalizes the MDCT coefficient with the power after the quantization using Expression (8). Here, M indicates the order of the MDCT coefficient.
Figure 0004287840

MDCT係数のパワーpowを量子化した後に、この符号化コードをマルチプレクサ510に送る。符号化コードを使ってMDCT係数のパワーを復号した後に、その値を用いてMDCT係数を次の式(9)に従い正規化する。ここで、X1(m)はパワー正規化後のMDCT係数を表し、powqは量子化後のMDCT係数のパワーを示す。

Figure 0004287840
After quantizing the power pow of the MDCT coefficient, this encoded code is sent to the multiplexer 510. After decoding the power of the MDCT coefficient using the encoded code, the MDCT coefficient is normalized using the value according to the following equation (9). Here, X1 (m) represents the MDCT coefficient after power normalization, and powq represents the power of the MDCT coefficient after quantization.
Figure 0004287840

次に、スペクトル正規化器506は、スペクトル包絡を用いてパワーにより正規化されたMDCT係数を正規化する。スペクトル正規化器506では次の式(10)に従い正規化を行う。

Figure 0004287840
Next, the spectrum normalizer 506 normalizes the MDCT coefficients normalized by power using the spectrum envelope. The spectrum normalizer 506 performs normalization according to the following equation (10).
Figure 0004287840

次に、Barkスケール形状算出器507は、Barkスケールにて等間隔に帯域分割されたスペクトルの形状を算出した後に、前記スペクトル形状を量子化する。Barkスケール形状算出器507は、この符号化コードをマルチプレクサ510に送ると共にその復号値を用いてスペクトル正規化器506の出力信号であるMDCT係数X2(m)の正規化を行う。BarkスケールとHerzスケールは次の式(11)で表される変換式にて対応付けされる。ここでBはBarkスケールを、fはHerzスケールを示す。

Figure 0004287840
Next, the Bark scale shape calculator 507 quantizes the spectrum shape after calculating the shape of the spectrum divided into bands at equal intervals on the Bark scale. The Bark scale shape calculator 507 sends this encoded code to the multiplexer 510 and normalizes the MDCT coefficient X2 (m), which is the output signal of the spectrum normalizer 506, using the decoded value. The Bark scale and the Herz scale are associated with each other by a conversion formula represented by the following formula (11). Here, B represents a Bark scale and f represents a Herz scale.
Figure 0004287840

Barkスケール形状算出器507は、Barkスケールで等間隔に帯域分割されたサブバンドそれぞれに対し、次の式(12)に従い形状を算出する。ここでfl(k)は第kサブバンドの最低周波数、fh(k)は第kサブバンドの最高周波数を示し、Kはサブバンド数を示す。

Figure 0004287840
The Bark scale shape calculator 507 calculates the shape according to the following equation (12) for each subband that is divided into bands at equal intervals on the Bark scale. Here, fl (k) represents the lowest frequency of the kth subband, fh (k) represents the highest frequency of the kth subband, and K represents the number of subbands.
Figure 0004287840

そして、Barkスケール正規化器508は、各帯域のBarkスケール形状B(k)を量子化し、その符号化コードをマルチプレクサ510に送ると共に、Barkスケール形状を復号化して正規化MDCT係数X3(m)を次の式(13)に従い生成する。ここでBq(k)は第kサブバンドの量子化後のBarkスケール形状を示す。

Figure 0004287840
Then, the Bark scale normalizer 508 quantizes the Bark scale shape B (k) of each band, sends the encoded code to the multiplexer 510, decodes the Bark scale shape, and normalizes the MDCT coefficient X3 (m). Is generated according to the following equation (13). Here, Bq (k) represents the Bark scale shape after quantization of the kth subband.
Figure 0004287840

次に、ベクトル量子化器509では、Barkスケール正規化器508の出力X3(m)のベクトル量子化を行う。ベクトル量子化器509では、X3(m)を複数ベクトルに分割して各ベクトルに対応する符号帳を用いて最も歪が小さい代表値を求め、このインデックスを符号化コードとしてマルチプレクサ510に送る。   Next, the vector quantizer 509 performs vector quantization of the output X3 (m) of the Bark scale normalizer 508. The vector quantizer 509 divides X3 (m) into a plurality of vectors, obtains a representative value with the smallest distortion using a codebook corresponding to each vector, and sends this index to the multiplexer 510 as an encoded code.

ベクトル量子化器509では、ベクトル量子化を行う際に2つの重要なパラメータを入力信号のスペクトル情報を用いて決定する。そのパラメータとは、1つは量子化ビット配分であり、もう一つは符号帳探索時の重み付けである。量子化ビット配分は、スペクトル包絡算出器502で求められたスペクトル包絡env(m)を用いて決定する。   The vector quantizer 509 determines two important parameters using the spectral information of the input signal when performing vector quantization. One of the parameters is quantization bit allocation, and the other is weighting at the time of codebook search. The quantization bit allocation is determined using the spectrum envelope env (m) obtained by the spectrum envelope calculator 502.

また、スペクトル包絡env(m)を用いて量子化ビット配分を決定する際に、周波数0〜FLに相当するスペクトルに配分するビット数を小さくするように設定することもできる。   Further, when the quantization bit allocation is determined using the spectrum envelope env (m), the number of bits allocated to the spectrum corresponding to the frequencies 0 to FL can be set to be small.

その一つの実現例として、周波数0〜FLに配分できる最大ビット数MAX_LOWBAND_BITを設定し、この帯域に配分されるビット数が最大ビット数MAX_LOWBAND_BITを超えないように制限を設ける方法がある。   As one implementation example thereof, there is a method in which a maximum number of bits MAX_LOWBAND_BIT that can be allocated to frequencies 0 to FL is set, and a limit is set so that the number of bits allocated to this band does not exceed the maximum number of bits MAX_LOWBAND_BIT.

この実現例では、周波数0〜FLでは基本レイヤで符号化を既に行っているので、多くのビットを配分する必要がなく、この帯域での量子化を故意に粗くして、ビット配分を少なくし、そこで余分になるビットを周波数FL〜FHに配分して量子化することにより全体的な品質を改善することができる。また、このビット配分は、スペクトル包絡env(m)と前述したBarkスケール形状Bq(k)とを組み合わせて決定する構成としても良い。   In this implementation, since encoding is already performed in the base layer at frequencies 0 to FL, there is no need to allocate many bits, and quantization in this band is intentionally coarse to reduce bit allocation. Therefore, the overall quality can be improved by distributing and quantizing the extra bits to the frequencies FL to FH. The bit allocation may be determined by combining the spectrum envelope env (m) and the aforementioned Bark scale shape Bq (k).

また、スペクトル包絡算出器502で求められたスペクトル包絡env(m)とBarkスケール形状算出器507で求められた量子化後のBarkスケール形状Bq(k)から算出される重み付けを利用した歪尺度を用いてベクトル量子化を行う。ベクトル量子化は次の式(14)で規定される歪Dが最小となるコードベクトルCのインデックスjを求めることで実現される。 ここで、w(m)は重み係数を示す。

Figure 0004287840
Further, a distortion scale using a weight calculated from the spectrum envelope env (m) obtained by the spectrum envelope calculator 502 and the quantized Bark scale shape Bq (k) obtained by the Bark scale shape calculator 507 is used. To perform vector quantization. Vector quantization is realized by obtaining the index j of the code vector C that minimizes the distortion D defined by the following equation (14). Here, w (m) represents a weighting coefficient.
Figure 0004287840

また、重み関数w(m)はスペクトル包絡env(m)とBarkスケール形状Bq(k)を用いて次の式(15)のように表すことができる。ここでpは0から1の間の定数、Herz_to_Bark()はHerzスケールをBarkスケールに変換する関数を示す。

Figure 0004287840
Further, the weighting function w (m) can be expressed as the following equation (15) using the spectrum envelope env (m) and the Bark scale shape Bq (k). Here, p is a constant between 0 and 1, and Herz_to_Bark () is a function for converting the Herz scale to the Bark scale.
Figure 0004287840

また、重み関数w(m)を決定する際に、周波数0〜FLに相当するスペクトルに配分する重み関数を小さくするように設定することも可能である。その一つの実現例として、周波数0〜FLに対応する重み関数w(m)のとりうる最大値をMAX_LOWBAND_WGTとしてあらかじめ設定しておき、この帯域の重み関数w(m)の値がMAX_LOWBAND_WGTを超えないように制限を設ける方法がある。この実現例では、周波数0〜FLでは基本レイヤで符号化を既に行っており、この帯域での量子化の精度を故意に下げて、相対的に周波数FL〜FHの量子化の精度を上げることにより全体的な品質を改善することができる。   Further, when determining the weighting function w (m), it is possible to set so that the weighting function allocated to the spectrum corresponding to the frequencies 0 to FL is reduced. As one implementation example, the maximum value of the weight function w (m) corresponding to the frequency 0 to FL is preset as MAX_LOWBAND_WGT, and the value of the weight function w (m) of this band does not exceed MAX_LOWBAND_WGT. There is a method of setting a limit as described above. In this implementation, encoding is already performed in the base layer at frequencies 0 to FL, and the quantization accuracy in this band is intentionally lowered to relatively increase the accuracy of quantization of frequencies FL to FH. Can improve the overall quality.

最後に、マルチプレクサ510では、符号化コードを多重化して、マルチプレクサ108に出力する。そして、新しい入力信号が存在する間、上記処理を繰り返す。新しい入力信号が存在しない場合には、処理を終了する。   Finally, the multiplexer 510 multiplexes the encoded code and outputs it to the multiplexer 108. Then, the above process is repeated while a new input signal exists. If there is no new input signal, the process ends.

このように、本実施の形態の信号処理装置によれば、入力信号から所定の周波数以下の成分を取り出して符号励振線形予測法を用いた符号化を行い、得られた符号化コードを復号した結果を用いてMDCT変換で符号化を行うことにより、低ビットレートで高品質に符号化を行うことができる。   As described above, according to the signal processing apparatus of the present embodiment, a component having a frequency equal to or lower than a predetermined frequency is extracted from the input signal, is encoded using the code-excited linear prediction method, and the obtained encoded code is decoded. By performing encoding by MDCT conversion using the result, it is possible to perform encoding with high quality at a low bit rate.

上記では、減算器106で得られる減算信号からLPC分析係数を分析している例について説明しているが、本発明の信号処理装置は、局所復号化器103において復号されたLPC係数を用いて符号化してもよい。   In the above, an example in which the LPC analysis coefficient is analyzed from the subtraction signal obtained by the subtractor 106 has been described. However, the signal processing apparatus of the present invention uses the LPC coefficient decoded by the local decoder 103. It may be encoded.

図6は、拡張レイヤ符号化器107の構成の一例を示す図である。但し、図5と同一の構成となるものについては、図5と同一番号を付し、詳しい説明を省略する。   FIG. 6 is a diagram illustrating an example of the configuration of the enhancement layer encoder 107. 5 identical to those in FIG. 5 are assigned the same reference numerals as in FIG. 5 and detailed descriptions thereof are omitted.

図6の拡張レイヤ符号化器107は、変換テーブル601と、LPC係数マッピング部602と、スペクトル包絡算出器603と、変形部604とを具備し、局所復号化器103で復号されたLPC係数を用いて符号化する点が図5の拡張レイヤ符号化器107と異なる。   The enhancement layer encoder 107 in FIG. 6 includes a conversion table 601, an LPC coefficient mapping unit 602, a spectrum envelope calculator 603, and a modification unit 604, and converts the LPC coefficients decoded by the local decoder 103. It differs from the enhancement layer encoder 107 in FIG.

変換テーブル601は、基本レイヤのLPC係数と拡張レイヤのLPC係数とを対応づけて記憶する。   The conversion table 601 stores the base layer LPC coefficients and the enhancement layer LPC coefficients in association with each other.

LPC係数マッピング部602は、変換テーブル601を参照し、基本レイヤ符号化器102から入力された基本レイヤのLPC係数を拡張レイヤのLPC係数に変換し、スペクトル包絡算出器603に出力する。   LPC coefficient mapping section 602 refers to conversion table 601, converts the base layer LPC coefficients input from base layer encoder 102 into enhancement layer LPC coefficients, and outputs them to spectrum envelope calculator 603.

スペクトル包絡算出器603は、拡張レイヤのLPC係数に基づいてスペクトル包絡を求め、変形部604に出力する。変形部604は、スペクトル包絡を変形し、スペクトル正規化器506及びベクトル量子化器509に出力する。   The spectrum envelope calculator 603 obtains a spectrum envelope based on the LPC coefficient of the enhancement layer and outputs the spectrum envelope to the deforming unit 604. The deformation unit 604 deforms the spectrum envelope and outputs it to the spectrum normalizer 506 and the vector quantizer 509.

次に、図6の拡張レイヤ符号化器107の動作について説明する。基本レイヤのLPC係数は、信号帯域が0〜FLの信号に対して求められたものであり、拡張レイヤの対象となる信号(信号帯域0〜FH)で使用するLPC係数とは一致しない。しかしながら、両者には強い相関がある。よってLPC係数マッピング部602では、この相関を利用してあらかじめ信号帯域0〜FLの信号用のLPC係数と信号帯域0〜FHの信号用のLPC係数との対応付けを表す変換テーブル601を別途設計しておく。この変換テーブル601を用いて、基本レイヤのLPC係数から拡張レイヤのLPC係数を求める。   Next, the operation of enhancement layer encoder 107 in FIG. 6 will be described. The LPC coefficient of the base layer is obtained for a signal whose signal band is 0 to FL, and does not match the LPC coefficient used for the signal (signal band 0 to FH) that is the target of the enhancement layer. However, there is a strong correlation between the two. Therefore, the LPC coefficient mapping unit 602 separately designs a conversion table 601 that represents the correspondence between the LPC coefficients for signals in the signal bands 0 to FL and the LPC coefficients for signals in the signal bands 0 to FH using this correlation. Keep it. Using this conversion table 601, the enhancement layer LPC coefficients are obtained from the base layer LPC coefficients.

図7は、拡張LPC係数算出の一例を示す図である。変換テーブル601は、拡張レイヤのLPC係数(次数M)を表すJ個の候補{Yj(m)}と、{Yj(m)}と対応付けられた基本レイヤのLPC係数と同じ次数(=K)をもつ候補{yj(k)}より構成される。{Yj(m)}と{yj{k}}は大規模な楽音、音声データなどからあらかじめ設計して用意しておく。基本レイヤのLPC係数x(k)が入力されてきたとき、{yj(k)}の中からx(k)に最も類似しているLPC係数を求める。最も類似していると判定されたLPC係数のインデックスjに対応する拡張レイヤのLPC係数Yj(m)を出力することにより、基本レイヤのLPC係数から拡張レイヤのLPC係数のマッピングを実現することができる。   FIG. 7 is a diagram illustrating an example of calculating the extended LPC coefficient. The conversion table 601 includes J candidates {Yj (m)} representing LPC coefficients (order M) of the enhancement layer and the same order (= K) as the LPC coefficients of the base layer associated with {Yj (m)}. ) Are candidates {yj (k)}. {Yj (m)} and {yj {k}} are prepared and prepared in advance from large-scale musical sounds, voice data, and the like. When the base layer LPC coefficient x (k) is input, the LPC coefficient most similar to x (k) is determined from {yj (k)}. The mapping of the enhancement layer LPC coefficients to the enhancement layer LPC coefficients can be realized by outputting the enhancement layer LPC coefficients Yj (m) corresponding to the LPC coefficient index j determined to be the most similar. it can.

次に、このようにしてもとめた拡張レイヤのLPC係数を基に、スペクトル包絡算出器603においてスペクトル包絡を求める。そして、このスペクトル包絡を変形部604において変形する。そして、この変形スペクトル包絡を前述した実施例のスペクトル包絡とみなして処理を行う。   Next, the spectrum envelope calculator 603 obtains a spectrum envelope based on the enhancement layer LPC coefficients determined in this way. Then, the spectrum envelope is deformed by the deforming unit 604. Then, processing is performed by regarding this deformed spectrum envelope as the spectrum envelope of the above-described embodiment.

スペクトル包絡を変形する変形部604の一つの実現例として、基本レイヤの符号化の対象となる信号帯域0〜FLに対応するスペクトル包絡の影響を小さくする処理がある。スペクトル包絡をenv(m)としたとき、変形後のスペクトル包絡env’(m)は、以下の式(16)で表される。ここでpは0〜1の間の定数を示す。

Figure 0004287840
As an implementation example of the deforming unit 604 that deforms the spectrum envelope, there is a process of reducing the influence of the spectrum envelope corresponding to the signal bands 0 to FL to be encoded in the base layer. When the spectral envelope is env (m), the transformed spectral envelope env ′ (m) is expressed by the following equation (16). Here, p represents a constant between 0 and 1.
Figure 0004287840

周波数0〜FLでは基本レイヤで符号化を既に行っており、拡張レイヤの符号化対象である減算信号の周波数0〜FLのスペクトルはフラットに近くなる。それにも関わらず、本実施例で説明したようなLPC係数のマッピングではこのような作用は考慮されていない。そこで、式(16)を用いてスペクトル包絡を修正する手法を用いることにより品質改善を図ることができる。   Encoding is already performed in the base layer at frequencies 0 to FL, and the spectrum of frequencies 0 to FL of the subtraction signal to be encoded in the enhancement layer is nearly flat. Nevertheless, such an effect is not considered in the mapping of LPC coefficients as described in the present embodiment. Therefore, the quality can be improved by using a method of correcting the spectrum envelope using the equation (16).

このように、本実施の形態の信号処理装置によれば、基本レイヤ符号化器で量子化したLPC係数を用いて拡張レイヤのLPC係数を求め、拡張レイヤのLPC分析からスペクトル包絡を算出することより、LPC分析および量子化の必要がなくなり、量子化ビット数を削減することができる。   Thus, according to the signal processing apparatus of the present embodiment, the enhancement layer LPC coefficients are obtained using the LPC coefficients quantized by the base layer encoder, and the spectrum envelope is calculated from the enhancement layer LPC analysis. Thus, the need for LPC analysis and quantization is eliminated, and the number of quantization bits can be reduced.

(実施の形態3)
図8は、本発明の実施の形態3に係る信号処理装置の拡張レイヤ符号化器の構成を示すブロック図である。但し、図5と同一の構成となるものについては、図5と同一番号を付し、詳しい説明を省略する。
(Embodiment 3)
FIG. 8 is a block diagram showing the configuration of the enhancement layer encoder of the signal processing apparatus according to Embodiment 3 of the present invention. 5 identical to those in FIG. 5 are assigned the same reference numerals as in FIG. 5 and detailed descriptions thereof are omitted.

図8の拡張レイヤ符号化器107は、スペクトル微細構造算出器801を具備し、基本レイヤ符号化器102で符号化され局所復号化器103で復号されたピッチ周期を用いてスペクトル微細構造を算出し、当該スペクトル微細構造をスペクトルの正規化およびベクトル量子化に活用する点が図5の拡張レイヤ符号化器と異なる。   The enhancement layer encoder 107 of FIG. 8 includes a spectral fine structure calculator 801, and calculates the spectral fine structure using the pitch period encoded by the base layer encoder 102 and decoded by the local decoder 103. However, it differs from the enhancement layer encoder of FIG. 5 in that the spectrum fine structure is utilized for spectrum normalization and vector quantization.

スペクトル微細構造算出器801は、基本レイヤで符号化されたピッチ周期Tとピッチゲインβからスペクトル微細構造を算出し、スペクトル正規化器506に出力する。   The spectral fine structure calculator 801 calculates a spectral fine structure from the pitch period T and pitch gain β encoded in the base layer, and outputs them to the spectrum normalizer 506.

具体的には、これらピッチ周期Tとピッチゲインβは符号化コードの一部であり、ここでは図示されない音響復号器において同じ情報を得ることができる。よって、ピッチ周期Tとピッチゲインβを利用して符号化を行ったとしてもビットレートが増加することはない。   Specifically, the pitch period T and the pitch gain β are part of the encoded code, and the same information can be obtained in an acoustic decoder not shown here. Therefore, even if encoding is performed using the pitch period T and the pitch gain β, the bit rate does not increase.

スペクトル微細構造算出器801では、ピッチ周期Tとピッチゲインβを用いて次の式(17)に従いスペクトル微細構造har(m)を算出する。ここでMはスペクトル分解能を示す。

Figure 0004287840
The spectral fine structure calculator 801 calculates the spectral fine structure har (m) according to the following equation (17) using the pitch period T and the pitch gain β. Here, M represents the spectral resolution.
Figure 0004287840

式(17)は、βの絶対値が1以上となる場合に発振フィルタとなるため、βの絶対値がとりうる範囲をあらかじめ定められた1未満の設定値(例えば0.8)以下になるよう制限を設ける方法もある。   Since the expression (17) becomes an oscillation filter when the absolute value of β is 1 or more, the range that the absolute value of β can take is limited to be less than a predetermined setting value (for example, 0.8) less than 1. There is also a method of providing.

スペクトル正規化器506では、スペクトル包絡算出器502で求められるスペクトル包絡env(m)と、スペクトル微細構造算出器801で求められるスペクトル微細構造har(m)の両者を用いて次の式(18)に従い正規化を行う。

Figure 0004287840
The spectrum normalizer 506 uses the spectrum envelope env (m) obtained by the spectrum envelope calculator 502 and the spectrum fine structure har (m) obtained by the spectrum fine structure calculator 801 to use the following equation (18). Normalize according to
Figure 0004287840

また、ベクトル量子化器509での量子化ビットの配分は、スペクトル包絡算出器502で求められるスペクトル包絡env(m)とスペクトル微細構造算出器801で求められるスペクトル微細構造har(m)の両者を用いて決定する。また、ベクトル量子化の際の重み関数w(m)の決定に、スペクトル微細構造をも利用する。具体的には、重み関数w(m)は次の式(19)に従い定義される。ここでpは0から1の間の定数、Herz_to_Bark()はHerzスケールをBarkスケールに変換する関数を示す。

Figure 0004287840
Also, the quantization bit allocation by the vector quantizer 509 is performed by dividing both the spectral envelope env (m) obtained by the spectral envelope calculator 502 and the spectral fine structure har (m) obtained by the spectral fine structure calculator 801. Use to determine. In addition, the spectral fine structure is also used to determine the weighting function w (m) at the time of vector quantization. Specifically, the weight function w (m) is defined according to the following equation (19). Here, p is a constant between 0 and 1, and Herz_to_Bark () is a function for converting the Herz scale to the Bark scale.
Figure 0004287840

このように、本実施の形態の信号処理装置は、基本レイヤ符号化器で符号化され局所復号化器で復号されたピッチ周期を用いてスペクトル微細構造を算出し、当該スペクトル微細構造をスペクトルの正規化およびベクトル量子化に活用することにより、量子化性能を向上することができる。   As described above, the signal processing apparatus according to the present embodiment calculates the spectral fine structure using the pitch period encoded by the base layer encoder and decoded by the local decoder, and converts the spectral fine structure into the spectral structure. By utilizing it for normalization and vector quantization, quantization performance can be improved.

(実施の形態4)
図9は、本発明の実施の形態4に係る信号処理装置の拡張レイヤ符号化器の構成を示すブロック図である。但し、図5と同一の構成となるものについては、図5と同一番号を付し、詳しい説明を省略する。
(Embodiment 4)
FIG. 9 is a block diagram showing a configuration of an enhancement layer encoder of the signal processing apparatus according to Embodiment 4 of the present invention. 5 identical to those in FIG. 5 are assigned the same reference numerals as in FIG. 5 and detailed descriptions thereof are omitted.

図9の拡張レイヤ符号化器107は、パワー推定器901と、パワー変動量量子化器902とを具備し、基本レイヤ符号化器102により得られる符号化コードを用いて局所復号化器103において復号信号を生成し、当該復号信号を利用基本レイヤの復号信号からMDCT係数のパワーを予測し、その予測値からの変化量を符号化する点が図5の拡張レイヤ符号化器と異なる。   The enhancement layer encoder 107 in FIG. 9 includes a power estimator 901 and a power fluctuation quantizer 902, and the local decoder 103 uses the encoded code obtained by the base layer encoder 102. The difference from the enhancement layer encoder of FIG. 5 is that a decoded signal is generated, the power of the MDCT coefficient is predicted from the decoded signal of the base layer using the decoded signal, and the amount of change from the predicted value is encoded.

図5における局所復号化器103において復号化された信号sl(n)が、パワー推定器901に入力される。そして、パワー推定器901では、前記復号信号sl(n)からMDCT係数のパワーを推定する。MDCT係数のパワーの推定値をpowpとすると、powpは次の式(20)のように表される。ここで、Nは復号信号sl(n)の長さ、αはあらかじめ定められた補正のための定数を示す。

Figure 0004287840
The signal sl (n) decoded by the local decoder 103 in FIG. 5 is input to the power estimator 901. The power estimator 901 estimates the MDCT coefficient power from the decoded signal sl (n). When the estimated value of the power of the MDCT coefficient is powp, powp is expressed as the following equation (20). Here, N is the length of the decoded signal sl (n), and α is a predetermined constant for correction.
Figure 0004287840

また、基本レイヤのLPC係数から求められるスペクトル傾きを利用した別の方法では、MDCT係数のパワーの推定値は次の式(21)にて表される。

Figure 0004287840
Further, in another method using the spectrum inclination obtained from the LPC coefficient of the base layer, the estimated value of the power of the MDCT coefficient is expressed by the following equation (21).
Figure 0004287840

ここでβは、基本レイヤのLPC係数から求められるスペクトル傾きに依存した変数を表し、スペクトル傾きが大きい(相対的に低域にパワーがある)場合にβはゼロに近づき、スペクトル傾きが小さい (相対的に高域にパワーがある)場合にβは1に近づく性質を持つ。   Here, β represents a variable depending on the spectral tilt obtained from the LPC coefficient of the base layer. When the spectral tilt is large (relatively low power is present), β approaches zero and the spectral tilt is small ( Β has a property of approaching 1 when power is relatively high.

次に、パワー変動量量子化器902では、MCDT部503で求めたMDCT係数のパワーをパワー推定器901で求めたパワー推定値powpにて正規化し、その変動量を量子化する。変動量rは次の式(22)で表される。

Figure 0004287840
Next, the power fluctuation quantizer 902 normalizes the power of the MDCT coefficient obtained by the MCDT unit 503 with the power estimated value powp obtained by the power estimator 901, and quantizes the fluctuation. The fluctuation amount r is expressed by the following equation (22).
Figure 0004287840

ここでpowはMDCT係数のパワーを示し、式(23)にて算出される。ここでX(m)はMDCT係数、Mはフレーム長を示す。

Figure 0004287840
Here, pow indicates the power of the MDCT coefficient, and is calculated by Expression (23). Here, X (m) represents an MDCT coefficient, and M represents a frame length.
Figure 0004287840

パワー変動量量子化器902では、変動量rを量子化し、その符号化コードをマルチプレクサ510に送ると共に、量子化後の変動量rqを復号する。パワー正規化器505では、量子化後の変動量rqを用いてMDCT係数を次の式(24)を用いて正規化する。ここで、X1(m)はパワー正規化後のMDCT係数を示す。

Figure 0004287840
The power variation quantizer 902 quantizes the variation r, sends the encoded code to the multiplexer 510, and decodes the quantized variation rq. The power normalizer 505 normalizes the MDCT coefficient using the following equation (24) using the quantized variation rq. Here, X1 (m) represents the MDCT coefficient after power normalization.
Figure 0004287840

このように、本実施の形態の信号処理装置は、基本レイヤの復号信号のパワーと拡張レイヤのMDCT係数のパワーとの間の相関を利用し、基本レイヤの復号信号を利用してMDCT係数のパワーを予測し、その予測値からの変動量を符号化することにより、MDCT係数のパワーの量子化に必要なビット数を削減することができる。   Thus, the signal processing apparatus of the present embodiment uses the correlation between the power of the decoded signal of the base layer and the power of the MDCT coefficient of the enhancement layer, and uses the decoded signal of the base layer to calculate the MDCT coefficient. By predicting the power and encoding the amount of variation from the predicted value, the number of bits required to quantize the power of the MDCT coefficient can be reduced.

(実施の形態5)
図10は、本発明の実施の形態5に係る信号処理装置の構成を示すブロック図である。図10の信号処理装置1000は、デマルチプレクサ1001と、基本レイヤ復号化器1002と、アップサンプリング器1003と、拡張レイヤ復号化器1004と、加算器1005とから主に構成される。
(Embodiment 5)
FIG. 10 is a block diagram showing a configuration of a signal processing device according to Embodiment 5 of the present invention. 10 mainly includes a demultiplexer 1001, a base layer decoder 1002, an upsampler 1003, an enhancement layer decoder 1004, and an adder 1005.

デマルチプレクサ1001は、符号化されたコードを分離して基本レイヤ用の符号化コードと拡張レイヤ用の符号化コードを生成する。そして、デマルチプレクサ1001は、基本レイヤ用の符号化コードを基本レイヤ復号化器1002に出力し、拡張レイヤ用の符号化コードを拡張レイヤ復号化器1004に出力する。   The demultiplexer 1001 separates the encoded code and generates a base layer encoded code and an enhancement layer encoded code. Then, the demultiplexer 1001 outputs the base layer encoded code to the base layer decoder 1002, and outputs the enhancement layer encoded code to the enhancement layer decoder 1004.

基本レイヤ復号化器1002は、デマルチプレクサ1001で得られた基本レイヤ用の符号化コードを用いてサンプリングレートFLの復号信号を復号し、アップサンプリング器1003に出力する。同時に、基本レイヤ復号化器1002で復号されたパラメータを拡張レイヤ復号化器1004に出力する。アップサンプリング器1003は、復号信号のサンプリング周波数をFHに上げ、加算器1005に出力する。   Base layer decoder 1002 decodes the decoded signal of sampling rate FL using the base layer encoded code obtained by demultiplexer 1001, and outputs the decoded signal to upsampler 1003. At the same time, the parameters decoded by base layer decoder 1002 are output to enhancement layer decoder 1004. The upsampler 1003 raises the sampling frequency of the decoded signal to FH and outputs it to the adder 1005.

拡張レイヤ復号化器1004は、デマルチプレクサ1001で得られた拡張レイヤ用の符号化コードと基本レイヤ復号化器1002において復号されたパラメータを用いてサンプリングレートFHの復号信号を復号し、加算器1005に出力する。   The enhancement layer decoder 1004 decodes the decoded signal having the sampling rate FH using the enhancement layer encoded code obtained by the demultiplexer 1001 and the parameters decoded by the base layer decoder 1002, and adds the adder 1005. Output to.

加算器1005は、アップサンプリング器1003から出力された復号信号と、拡張レイヤ復号化器1004から出力された復号信号をベクトル加算する。   Adder 1005 performs vector addition of the decoded signal output from upsampling unit 1003 and the decoded signal output from enhancement layer decoder 1004.

次に、本実施の形態の信号処理装置の動作について説明する。最初に、実施の形態1から4のいずれかの信号処理装置において符号化されたコードが入力され、デマルチプレクサ1001において前記コードを分離して基本レイヤ用の符号化コードと拡張レイヤ用の符号化コードを生成する。   Next, the operation of the signal processing apparatus according to the present embodiment will be described. First, the code encoded in the signal processing apparatus according to any one of Embodiments 1 to 4 is input, and the demultiplexer 1001 separates the code to encode the base layer encoded code and the enhancement layer encoded Generate code.

次に、基本レイヤ復号化器1002では、デマルチプレクサ1001で得られた基本レイヤ用の符号化コードを用いてサンプリングレートFLの復号信号を復号する。そして、アップサンプリング器1003は、当該復号信号をサンプリング周波数をFHに上げる。   Next, base layer decoder 1002 decodes the decoded signal of sampling rate FL using the base layer encoded code obtained by demultiplexer 1001. Then, the upsampler 1003 raises the sampling frequency of the decoded signal to FH.

拡張レイヤ復号化器1004では、デマルチプレクサ1001で得られた拡張レイヤ用の符号化コードと基本レイヤ復号化器1002において復号されたパラメータを用いてサンプリングレートFHの復号信号が復号される。   The enhancement layer decoder 1004 decodes the decoded signal of the sampling rate FH using the enhancement layer encoded code obtained by the demultiplexer 1001 and the parameters decoded by the base layer decoder 1002.

前記アップサンプリング器1003においてアップサンプリングされた基本レイヤの復号信号と当該拡張レイヤの復号信号とを加算器1005において加算する。そして、新しい入力信号が存在する間、上記処理を繰り返す。新しい入力信号が存在しない場合には、処理を終了する。   The base layer decoded signal up-sampled by the up-sampler 1003 and the enhancement layer decoded signal are added by an adder 1005. Then, the above process is repeated while a new input signal exists. If there is no new input signal, the process ends.

このように、本実施の形態の信号処理装置は、基本レイヤ復号化器1002で復号されたパラメータを用いて拡張レイヤ復号化器1004の復号を行うことにより、基本レイヤ符号化における復号パラメータを使って拡張レイヤの符号化を行う音響符号化手段の符号化コードから復号信号を生成することができる。   As described above, the signal processing apparatus according to the present embodiment uses the decoding parameters in the base layer coding by decoding the enhancement layer decoder 1004 using the parameters decoded by the base layer decoder 1002. Thus, a decoded signal can be generated from the encoded code of the acoustic encoding means for encoding the enhancement layer.

次に、基本レイヤ復号化器1002について説明する。図11は、基本レイヤ復号化器1002の一例を示すブロック図である。図11の基本レイヤ復号化器1002は、デマルチプレクサ1101と、音源生成器1102と、合成フィルタ1103とから主に構成され、CELPの復号化処理を行う。   Next, the base layer decoder 1002 will be described. FIG. 11 is a block diagram illustrating an example of base layer decoder 1002. A base layer decoder 1002 in FIG. 11 mainly includes a demultiplexer 1101, a sound source generator 1102, and a synthesis filter 1103, and performs CELP decoding processing.

デマルチプレクサ1101は、デマルチプレクサ1001から出力された基本レイヤ用の符号化コードから各種パラメータを分離し、音源生成器1102及び合成フィルタ1103に出力する。   The demultiplexer 1101 separates various parameters from the base layer encoded code output from the demultiplexer 1001 and outputs the separated parameters to the sound source generator 1102 and the synthesis filter 1103.

音源生成器1102は、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインを復号し、これらを用いて音源信号を生成し合成フィルタ1103に出力する。合成フィルタ1103は、復号されたLPC係数を用いて合成信号を生成する。   The sound generator 1102 decodes the adaptive vector, the adaptive vector gain, the noise vector, and the noise vector gain, generates a sound source signal using these, and outputs the sound source signal to the synthesis filter 1103. The synthesis filter 1103 generates a synthesized signal using the decoded LPC coefficient.

次に、図11の基本レイヤ復号化器1002の動作について説明する。最初に、デマルチプレクサ1101は、基本レイヤ用の符号化コードから、各種パラメータを分離する。   Next, the operation of base layer decoder 1002 in FIG. 11 will be described. First, the demultiplexer 1101 separates various parameters from the encoded code for the base layer.

次に、音源生成器1102が、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインを復号する。そして、音源生成器1102は、次の式(25)に従い音源ベクトルex(n)を生成する。ここで、q(n)は適応ベクトル、βqは適応ベクトルゲイン、c(n)は雑音ベクトル、γqは雑音ベクトルゲインを示す。

Figure 0004287840
Next, the sound source generator 1102 decodes the adaptive vector, the adaptive vector gain, the noise vector, and the noise vector gain. Then, the sound source generator 1102 generates a sound source vector ex (n) according to the following equation (25). Here, q (n) is an adaptive vector, β q is an adaptive vector gain, c (n) is a noise vector, and γ q is a noise vector gain.
Figure 0004287840

次に、合成フィルタ1103が、復号されたLPC係数を用いて合成信号syn(n)を次の式(26)に従い生成する。ここで、αqは復号されたLPC係数、NPはLPC係数の次数を示す。

Figure 0004287840
Next, the synthesis filter 1103 generates a synthesized signal syn (n) according to the following equation (26) using the decoded LPC coefficient. Here, α q represents the decoded LPC coefficient, and NP represents the order of the LPC coefficient.
Figure 0004287840

このように復号された復号信号syn(n)は、アップサンプリング器1003及び拡張レイヤ復号化器1004に出力される。そして、新しい入力信号が存在する間、上記処理を繰り返す。新しい入力信号が存在しない場合には、処理を終了する。CELPの構成によっては、合成信号をポストフィルタに通した後に出力する形態もありうる。ここでいうポストフィルタとは、符号化歪を知覚しにくくする後処理の機能を有するものである。   The decoded signal syn (n) decoded in this way is output to the upsampler 1003 and enhancement layer decoder 1004. Then, the above process is repeated while a new input signal exists. If there is no new input signal, the process ends. Depending on the configuration of CELP, there may be a form in which the synthesized signal is output after passing through a post filter. The post filter here has a post-processing function that makes it difficult to perceive encoding distortion.

次に、拡張レイヤ復号化器1004について説明する。図12は、拡張レイヤ復号化器1004の一例を示すブロック図である。図12の拡張レイヤ復号化器1004は、デマルチプレクサ1201と、LPC係数復号化器1202と、スペクトル包絡算出器1203と、ベクトル復号化器1204と、Barkスケール形状復号化器1205と、乗算器1206と、乗算器1207と、パワー復号化器1208と、乗算器1209と、IMDCT部1210とから主に構成される。   Next, the enhancement layer decoder 1004 will be described. FIG. 12 is a block diagram illustrating an example of enhancement layer decoder 1004. The enhancement layer decoder 1004 in FIG. 12 includes a demultiplexer 1201, an LPC coefficient decoder 1202, a spectrum envelope calculator 1203, a vector decoder 1204, a Bark scale shape decoder 1205, and a multiplier 1206. , A multiplier 1207, a power decoder 1208, a multiplier 1209, and an IMDCT unit 1210.

デマルチプレクサ1201は、デマルチプレクサ1001から出力された拡張レイヤ用の符号化コードから各種パラメータを分離する。LPC係数復号化器1202は、LPC係数に関する符号化コードを用いてLPC係数を復号し、スペクトル包絡算出器1203に出力する。   The demultiplexer 1201 separates various parameters from the enhancement layer encoded code output from the demultiplexer 1001. The LPC coefficient decoder 1202 decodes the LPC coefficient using the encoded code related to the LPC coefficient, and outputs it to the spectrum envelope calculator 1203.

スペクトル包絡算出器1203は、復号されたLPC係数を用いて式(6)に従いスペクトル包絡env(m)を算出し、ベクトル復号化器1204及び乗算器1207に出力する。   The spectrum envelope calculator 1203 calculates a spectrum envelope env (m) according to the equation (6) using the decoded LPC coefficients, and outputs the spectrum envelope env (m) to the vector decoder 1204 and the multiplier 1207.

ベクトル復号化器1204は、スペクトル包絡算出器1203において求められたスペクトル包絡env(m)に基づいて量子化ビット配分を決定し、デマルチプレクサ1201から得られる符号化コードと前記量子化ビット配分とから正規化MDCT係数X3q(m)を復号する。なお、量子化ビット配分の方法は、実施の形態1から実施の形態4のいずれかの符号化法において拡張レイヤ符号化で用いたものと同じ方法とする。   The vector decoder 1204 determines the quantized bit allocation based on the spectral envelope env (m) obtained by the spectral envelope calculator 1203, and uses the encoded code obtained from the demultiplexer 1201 and the quantized bit allocation. The normalized MDCT coefficient X3q (m) is decoded. Note that the quantization bit allocation method is the same as that used in enhancement layer coding in any of the coding methods of the first to fourth embodiments.

Barkスケール形状復号化器1205は、デマルチプレクサ1201より得られる符号化コードを元にBarkスケール形状Bq(k)を復号し、乗算器1206に出力する。   Bark scale shape decoder 1205 decodes Bark scale shape Bq (k) based on the encoded code obtained from demultiplexer 1201, and outputs the result to multiplier 1206.

乗算器1206は、次の式(27)に従い、正規化MDCT係数X3q(m)とBarkスケール形状Bq(k)を乗算し、乗算結果を乗算器1207に出力する。ここでfl(k)は第kサブバンドの最低周波数、fh(k)は第kサブバンドの最高周波数を表し、Kはサブバンド数を示す。

Figure 0004287840
Multiplier 1206 multiplies normalized MDCT coefficient X3q (m) and Bark scale shape Bq (k) according to the following equation (27), and outputs the multiplication result to multiplier 1207. Here, fl (k) represents the lowest frequency of the kth subband, fh (k) represents the highest frequency of the kth subband, and K represents the number of subbands.
Figure 0004287840

乗算器1207は、次の式(28)に従い、乗算器1206より得られる正規化MDCT係数X2(m)とスペクトル包絡算出器1203において求められたスペクトル包絡env(m)を乗算し、乗算結果を乗算器1209に出力する。

Figure 0004287840
The multiplier 1207 multiplies the normalized MDCT coefficient X2 (m) obtained from the multiplier 1206 by the spectrum envelope env (m) obtained by the spectrum envelope calculator 1203 according to the following equation (28), and the multiplication result is obtained. Output to the multiplier 1209.
Figure 0004287840

パワー復号化器1208は、デマルチプレクサ1201より得られる符号化コードを元にパワーpowqを復号し、復号結果を乗算器1209に出力する。   The power decoder 1208 decodes the power powq based on the encoded code obtained from the demultiplexer 1201 and outputs the decoding result to the multiplier 1209.

乗算器1209は、次の式(29)に従い、正規化MDCT係数X1(m)と復号パワーpowqを乗算し、乗算結果をIMDCT部1210に出力する。

Figure 0004287840
Multiplier 1209 multiplies normalized MDCT coefficient X1 (m) and decoding power powq according to the following equation (29), and outputs the multiplication result to IMDCT section 1210.
Figure 0004287840

IMDCT部1210は、このようにして求められた復号MDCT係数にIMDCT変換(Modified Discrete Cosine Transform:逆修正コサイン変換)を施し、前フレームで復号された信号と分析フレームの半分だけオーバーラップさせて加算して出力信号を生成し、この出力信号を加算器1005に出力する。そして、新しい入力信号が存在する間、上記処理を繰り返す。新しい入力信号が存在しない場合には、処理を終了する。   The IMDCT unit 1210 performs an IMDCT transform (Modified Discrete Cosine Transform) on the decoded MDCT coefficient obtained in this manner, and adds the signal decoded in the previous frame and half of the analysis frame. Then, an output signal is generated, and this output signal is output to the adder 1005. Then, the above process is repeated while a new input signal exists. If there is no new input signal, the process ends.

このように、本実施の形態の信号処理装置によれば、基本レイヤ復号化器で復号されたパラメータを用いて拡張レイヤ復号化器の復号を行うことにより、基本レイヤ符号化における復号パラメータを使って拡張レイヤの符号化を行う音響符号化手段の符号化コードから復号信号を生成することができる。   As described above, according to the signal processing apparatus of the present embodiment, decoding of the enhancement layer decoder is performed using the parameters decoded by the base layer decoder, thereby using the decoding parameters in the base layer coding. Thus, a decoded signal can be generated from the encoded code of the acoustic encoding means for encoding the enhancement layer.

(実施の形態6)
図13は、拡張レイヤ復号化器1004の構成の一例を示す図である。但し、図12と同一の構成となるものについては、図12と同一番号を付し、詳しい説明を省略する。
(Embodiment 6)
FIG. 13 is a diagram illustrating an example of the configuration of enhancement layer decoder 1004. However, the same components as those in FIG. 12 are denoted by the same reference numerals as those in FIG. 12, and detailed description thereof is omitted.

図13の拡張レイヤ復号化器1004は、変換テーブル1301と、LPC係数マッピング部1302と、スペクトル包絡算出器1303と、変形部1304とを具備し、局所復号化器103で復号されたLPC係数を用いて復号化する点が図12の拡張レイヤ復号化器1004と異なる。   The enhancement layer decoder 1004 of FIG. 13 includes a conversion table 1301, an LPC coefficient mapping unit 1302, a spectrum envelope calculator 1303, and a modification unit 1304. The enhancement layer decoder 1004 receives the LPC coefficients decoded by the local decoder 103. It differs from the enhancement layer decoder 1004 in FIG.

変換テーブル1301は、基本レイヤのLPC係数と拡張レイヤのLPC係数とを対応づけて記憶する。   The conversion table 1301 stores the base layer LPC coefficients and the enhancement layer LPC coefficients in association with each other.

LPC係数マッピング部1302は、変換テーブル1301を参照し、基本レイヤ復号化器1002から入力された基本レイヤのLPC係数を拡張レイヤのLPC係数に変換し、スペクトル包絡算出器1303に出力する。   LPC coefficient mapping section 1302 refers to conversion table 1301, converts the base layer LPC coefficients input from base layer decoder 1002 to enhancement layer LPC coefficients, and outputs the result to spectrum envelope calculator 1303.

スペクトル包絡算出器1303は、拡張レイヤのLPC係数に基づいてスペクトル包絡を求め、変形部1304に出力する。変形部1304は、スペクトル包絡を変形し、乗算器1207及びベクトル復号器1204に出力する。例えば、変形の方法は、実施の形態2の式(16)で示される方法がある。   The spectrum envelope calculator 1303 obtains a spectrum envelope based on the LPC coefficients of the enhancement layer and outputs the spectrum envelope to the deforming unit 1304. The transformation unit 1304 transforms the spectrum envelope and outputs it to the multiplier 1207 and the vector decoder 1204. For example, as a modification method, there is a method represented by Expression (16) of the second embodiment.

次に、図13の拡張レイヤ復号化器1004の動作について説明する。基本レイヤのLPC係数は、信号帯域が0〜FLの信号に対して求められたものであり、拡張レイヤの対象となる信号(信号帯域0〜FH)で使用するLPC係数とは一致しない。しかしながら、両者には強い相関がある。よってLPC係数マッピング部1302では、この相関を利用してあらかじめ信号帯域0〜FLの信号用のLPC係数と信号帯域0〜FHの信号用のLPC係数との対応付けを表す変換テーブル1301を別途設計しておく。この変換テーブル1301を用いて、基本レイヤのLPC係数から拡張レイヤのLPC係数を求める。   Next, the operation of enhancement layer decoder 1004 in FIG. 13 will be described. The LPC coefficient of the base layer is obtained for a signal whose signal band is 0 to FL, and does not match the LPC coefficient used for the signal (signal band 0 to FH) that is the target of the enhancement layer. However, there is a strong correlation between the two. Therefore, the LPC coefficient mapping unit 1302 separately designs a conversion table 1301 representing the correspondence between the LPC coefficients for signals in the signal bands 0 to FL and the LPC coefficients for signals in the signal bands 0 to FH by using this correlation. Keep it. By using this conversion table 1301, the LPC coefficient of the enhancement layer is obtained from the LPC coefficient of the base layer.

変換テーブル1301の詳細は、実施の形態2の変換テーブル601と同様である。   Details of the conversion table 1301 are the same as those of the conversion table 601 of the second embodiment.

このように、本実施の形態の信号処理装置によれば、基本レイヤ復号化器で量子化したLPC係数を用いて拡張レイヤのLPC係数を求め、拡張レイヤのLPC分析からスペクトル包絡を算出することより、LPC分析および量子化の必要がなくなり、量子化ビット数を削減することができる。   Thus, according to the signal processing apparatus of the present embodiment, the enhancement layer LPC coefficients are obtained using the LPC coefficients quantized by the base layer decoder, and the spectral envelope is calculated from the enhancement layer LPC analysis. Thus, the need for LPC analysis and quantization is eliminated, and the number of quantization bits can be reduced.

(実施の形態7)
図14は、本発明の実施の形態7に係る信号処理装置の拡張レイヤ復号化器の構成を示すブロック図である。但し、図12と同一の構成となるものについては、図12と同一番号を付し、詳しい説明を省略する。
(Embodiment 7)
FIG. 14 is a block diagram showing the configuration of the enhancement layer decoder of the signal processing apparatus according to Embodiment 7 of the present invention. However, the same components as those in FIG. 12 are denoted by the same reference numerals as those in FIG. 12, and detailed description thereof is omitted.

図14の拡張レイヤ復号化器1004は、スペクトル微細構造算出器1401を具備し、基本レイヤ復号化器1002で復号化されたピッチ周期を用いてスペクトル微細構造を算出し、当該スペクトル微細構造を復号化に活用し、量子化性能を向上させた音響符号化に対応した音響復号化を行う点が図12の拡張レイヤ符号化器と異なる。   The enhancement layer decoder 1004 of FIG. 14 includes a spectral fine structure calculator 1401, calculates a spectral fine structure using the pitch period decoded by the base layer decoder 1002, and decodes the spectral fine structure. 12 differs from the enhancement layer encoder of FIG. 12 in that acoustic decoding corresponding to acoustic encoding with improved quantization performance is used.

スペクトル微細構造算出器1401は、基本レイヤ復号化器1002で復号化されたピッチ周期Tとピッチゲインβからスペクトル微細構造を算出し、ベクトル復号化器1204及び乗算器1207に出力する。   The spectral fine structure calculator 1401 calculates a spectral fine structure from the pitch period T and the pitch gain β decoded by the base layer decoder 1002 and outputs them to the vector decoder 1204 and the multiplier 1207.

具体的には、これらピッチ周期Tとピッチゲインβは符号化コードの一部であり、ここでは図示されない音響復号器において同じ情報を得ることができる。よって、ピッチ周期Tとピッチゲインβを利用して符号化を行ったとしてもビットレートが増加することはない。   Specifically, the pitch period T and the pitch gain β are part of the encoded code, and the same information can be obtained in an acoustic decoder not shown here. Therefore, even if encoding is performed using the pitch period T and the pitch gain β, the bit rate does not increase.

スペクトル微細構造算出器1401では、ピッチ周期Tとピッチゲインβを用いて上式(17)に従いスペクトル微細構造har(m)を算出する。   The spectral fine structure calculator 1401 calculates the spectral fine structure har (m) according to the above equation (17) using the pitch period T and the pitch gain β.

そして、スペクトル包絡算出器1203で求められたスペクトル包絡env(m)とスペクトル微細構造算出器1401で求められたスペクトル微細構造har(m)を用いて、ベクトル復号化器1204での量子化ビット配分が決定される。そして、当該量子化ビット配分とデマルチプレクサ1201から得られる符号化コードから正規化MDCT係数X3(m)が復号される。さらに、乗算器1207において次の式(30)に従い、正規化MDCT係数X2(m)にスペクトル包絡env(m)とスペクトル微細構造har(m)を乗じて正規化MDCT係数X1(m)が求められる。

Figure 0004287840
Then, using the spectral envelope env (m) obtained by the spectral envelope calculator 1203 and the spectral fine structure har (m) obtained by the spectral fine structure calculator 1401, the quantization bit allocation by the vector decoder 1204 is performed. Is determined. Then, the normalized MDCT coefficient X3 (m) is decoded from the quantization bit allocation and the encoded code obtained from the demultiplexer 1201. Further, in the multiplier 1207, the normalized MDCT coefficient X1 (m) is obtained by multiplying the normalized MDCT coefficient X2 (m) by the spectral envelope env (m) and the spectral fine structure har (m) according to the following equation (30). It is done.
Figure 0004287840

このように、本実施の形態の信号処理装置は、基本レイヤ符号化器で符号化され局所復号化器で復号されたピッチ周期を用いてスペクトル微細構造を算出し、当該スペクトル微細構造をスペクトルの正規化およびベクトル量子化に活用することにより、量子化性能を向上させた音響符号化に対応した音響復号化を行うことができる。   As described above, the signal processing apparatus according to the present embodiment calculates the spectral fine structure using the pitch period encoded by the base layer encoder and decoded by the local decoder, and converts the spectral fine structure into the spectral structure. By making use of normalization and vector quantization, acoustic decoding corresponding to acoustic coding with improved quantization performance can be performed.

(実施の形態8)
図15は、本発明の実施の形態8に係る信号処理装置の拡張レイヤ復号化器の構成を示すブロック図である。但し、図12と同一の構成となるものについては、図12と同一番号を付し、詳しい説明を省略する。
(Embodiment 8)
FIG. 15 is a block diagram showing the configuration of the enhancement layer decoder of the signal processing apparatus according to Embodiment 8 of the present invention. However, the same components as those in FIG. 12 are denoted by the same reference numerals as those in FIG. 12, and detailed description thereof is omitted.

図15の拡張レイヤ復号化器1004は、パワー推定器1501と、パワー変化量復号化器1502と、パワー生成器1503とを具備し、基本レイヤの復号信号を利用してMDCT係数のパワーを予測し、その予測値からの変化量を符号化する符号化器に対応する復号化器を構成している点が図12の拡張レイヤ復号化器と異なる。   The enhancement layer decoder 1004 of FIG. 15 includes a power estimator 1501, a power change amount decoder 1502, and a power generator 1503, and predicts the power of MDCT coefficients using the decoded signal of the base layer. However, it differs from the enhancement layer decoder of FIG. 12 in that a decoder corresponding to the encoder that encodes the amount of change from the predicted value is configured.

また、図10において、基本レイヤ復号化器1002から拡張レイヤ復号化器1004に復号されたパラメータが出力されているが、本実施の形態では、さらに基本レイヤ復号化器1002において得られる復号信号が拡張レイヤ復号化器1004に出力される。   In FIG. 10, the decoded parameters are output from base layer decoder 1002 to enhancement layer decoder 1004. In this embodiment, the decoded signal obtained by base layer decoder 1002 The result is output to enhancement layer decoder 1004.

パワー推定器1501は、基本レイヤ復号化器1002において復号化された復号信号sl(n)からMDCT係数のパワーを式(20)または式(21)を用いて推定する。   The power estimator 1501 estimates the power of the MDCT coefficient from the decoded signal sl (n) decoded by the base layer decoder 1002 using Expression (20) or Expression (21).

パワー変化量復号化器1502では、デマルチプレクサ1201から得られる符号化コードからパワー変化量を復号し、パワー生成器1503に出力する。パワー生成器1503は、パワー変化量からパワーを算出する。   The power change amount decoder 1502 decodes the power change amount from the encoded code obtained from the demultiplexer 1201 and outputs it to the power generator 1503. The power generator 1503 calculates power from the power change amount.

乗算器1209は、次の式(31)に従いMDCT係数を求める。ここで、rqはパワー変化量の復号値、powpはパワー推定値を示す。また、X1(m)は乗算器1207の出力信号を示す。

Figure 0004287840
The multiplier 1209 obtains the MDCT coefficient according to the following equation (31). Here, rq represents a decoded value of the power change amount, and powp represents a power estimated value. X1 (m) represents an output signal of the multiplier 1207.
Figure 0004287840

このように、本実施の形態の信号処理装置によれば、基本レイヤの復号信号を利用してMDCT係数のパワーを予測し、その予測値からの変化量を符号化する符号化器に対応する復号化器を構成していることにより、MDCT係数のパワーの量子化に必要なビット数を削減することができる。   Thus, according to the signal processing apparatus of the present embodiment, it corresponds to the encoder that predicts the power of the MDCT coefficient using the decoded signal of the base layer and encodes the amount of change from the predicted value. By configuring the decoder, the number of bits necessary for the quantization of the power of the MDCT coefficients can be reduced.

(実施の形態9)
次に、本発明の実施の形態9について、図面を参照して説明する。図16は、本発明の実施の形態9に係る音響信号符号化装置の構成を示すブロック図である。図16における信号処理装置1603は前述した実施の形態1から実施の形態4に示した信号処理装置の中の1つによって構成されている点に本実施の形態の特徴がある。
(Embodiment 9)
Next, a ninth embodiment of the present invention will be described with reference to the drawings. FIG. 16 is a block diagram showing a configuration of an acoustic signal encoding device according to Embodiment 9 of the present invention. The signal processing device 1603 in FIG. 16 is characterized by being configured by one of the signal processing devices described in the first to fourth embodiments described above.

図16に示すように、本発明の実施の形態9に係る通信装置1600は、入力装置1601、A/D変換装置1602及びネットワーク1604に接続されている信号処理装置1603を具備している。   As shown in FIG. 16, a communication device 1600 according to Embodiment 9 of the present invention includes an input device 1601, an A / D conversion device 1602, and a signal processing device 1603 connected to a network 1604.

A/D変換装置1602は、入力装置1601の出力端子に接続されている。信号処理装置1603の入力端子は、A/D変換装置1602の出力端子に接続されている。信号処理装置1603の出力端子はネットワーク1604に接続されている。   The A / D conversion device 1602 is connected to the output terminal of the input device 1601. An input terminal of the signal processing device 1603 is connected to an output terminal of the A / D conversion device 1602. An output terminal of the signal processing device 1603 is connected to the network 1604.

入力装置1601は、人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してA/D変換装置1602に与える。A/D変換装置1602はアナログ信号をディジタル信号に変換して信号処理装置1603に与える。信号処理装置1603は入力されてくるディジタル信号を符号化してコードを生成し、ネットワーク1604に出力する。   The input device 1601 converts sound waves that can be heard by the human ear into analog signals, which are electrical signals, and supplies the analog signals to the A / D converter 1602. The A / D conversion device 1602 converts the analog signal into a digital signal and gives it to the signal processing device 1603. The signal processing device 1603 generates a code by encoding the input digital signal and outputs the code to the network 1604.

このように、本発明の実施の形態の通信装置によれば、通信において前述した実施の形態1〜4に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化する音響符号化装置を提供することができる。   As described above, according to the communication device of the embodiment of the present invention, it is possible to enjoy the effects as described in the first to fourth embodiments in communication, and to efficiently encode an acoustic signal with a small number of bits. An encoding device can be provided.

(実施の形態10)
次に、本発明の実施の形態10について、図面を参照して説明する。図17は、本発明の実施の形態10に係る音響信号復号化装置の構成を示すブロック図である。図17における信号処理装置1703は前述した実施の形態5から実施の形態8に示した信号処理装置の中の1つによって構成されている点に本実施の形態の特徴がある。
(Embodiment 10)
Next, a tenth embodiment of the present invention will be described with reference to the drawings. FIG. 17 is a block diagram showing the configuration of the acoustic signal decoding apparatus according to Embodiment 10 of the present invention. The signal processing device 1703 in FIG. 17 is characterized by being configured by one of the signal processing devices shown in the fifth to eighth embodiments described above.

図17に示すように、本発明の実施の形態10に係る通信装置1700は、ネットワーク1701に接続されている受信装置1702、信号処理装置1703、及びD/A変換装置1704及び出力装置1705を具備している。   As shown in FIG. 17, a communication apparatus 1700 according to Embodiment 10 of the present invention includes a receiving apparatus 1702, a signal processing apparatus 1703, a D / A conversion apparatus 1704, and an output apparatus 1705 connected to a network 1701. is doing.

受信装置1702の入力端子は、ネットワーク1701に接続されている。信号処理装置1703の入力端子は、受信装置1702の出力端子に接続されている。D/A変換装置1704の入力端子は、信号処理装置1703の出力端子に接続されている。出力装置1705の入力端子は、D/A変換装置1704の出力端子に接続されている。   An input terminal of the receiving device 1702 is connected to the network 1701. An input terminal of the signal processing device 1703 is connected to an output terminal of the receiving device 1702. The input terminal of the D / A conversion device 1704 is connected to the output terminal of the signal processing device 1703. The input terminal of the output device 1705 is connected to the output terminal of the D / A converter 1704.

受信装置1702は、ネットワーク1701からのディジタルの符号化音響信号を受けてディジタルの受信音響信号を生成して信号処理装置1703に与える。信号処理装置1703は、受信装置1702からの受信音響信号を受けてこの受信音響信号に復号化処理を行ってディジタルの復号化音響信号を生成してD/A変換装置1704に与える。D/A変換装置1704は、信号処理装置1703からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置1705に与える。出力装置1705は、電気的信号であるアナログの復号化音響信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。   Receiving device 1702 receives a digital encoded acoustic signal from network 1701, generates a digital received acoustic signal, and provides it to signal processing device 1703. The signal processing device 1703 receives the received acoustic signal from the receiving device 1702, performs a decoding process on the received acoustic signal, generates a digital decoded acoustic signal, and supplies the digital decoded acoustic signal to the D / A conversion device 1704. The D / A conversion device 1704 converts the digital decoded audio signal from the signal processing device 1703 to generate an analog decoded audio signal, and provides it to the output device 1705. The output device 1705 converts an analog decoded acoustic signal, which is an electrical signal, into air vibrations and outputs the sound as sound waves to the human ear.

このように、本実施の形態の通信装置によれば、通信において前述した実施の形態5〜8に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。   As described above, according to the communication apparatus of the present embodiment, the effects as shown in the fifth to eighth embodiments described above can be enjoyed in communication, and an acoustic signal encoded efficiently with a small number of bits is decoded. Therefore, a good acoustic signal can be output.

(実施の形態11)
次に、本発明の実施の形態11について、図面を参照して説明する。図18は、本発明の実施の形態11に係る音響信号送信符号化装置の構成を示すブロック図である。本発明の実施の形態11において、図18における信号処理装置1803は、前述した実施の形態1から実施の形態4に示した音響符号化手段の中の1つによって構成されている点に本実施の形態の特徴がある。
(Embodiment 11)
Next, an eleventh embodiment of the present invention will be described with reference to the drawings. FIG. 18 is a block diagram showing the configuration of the acoustic signal transmission coding apparatus according to Embodiment 11 of the present invention. In the eleventh embodiment of the present invention, the signal processing device 1803 in FIG. 18 is constituted by one of the acoustic encoding means shown in the first to fourth embodiments described above. There are features of the form.

図18に示すように、本発明の実施の形態11に係る通信装置1800は、入力装置1801、A/D変換装置1802、信号処理装置1803、RF変調装置1804及びアンテナ1805を具備している。   As shown in FIG. 18, a communication device 1800 according to Embodiment 11 of the present invention includes an input device 1801, an A / D conversion device 1802, a signal processing device 1803, an RF modulation device 1804, and an antenna 1805.

入力装置1801は人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してA/D変換装置1802に与える。A/D変換装置1802はアナログ信号をディジタル信号に変換して信号処理装置1803に与える。信号処理装置1803は入力されてくるディジタル信号を符号化して符号化音響信号を生成し、RF変調装置1804に与える。RF変調装置1804は、符号化音響信号を変調して変調符号化音響信号を生成し、アンテナ1805に与える。アンテナ1805は、変調符号化音響信号を電波として送信する。   The input device 1801 converts sound waves that can be heard by the human ear into analog signals, which are electrical signals, and supplies the analog signals to the A / D converter 1802. The A / D conversion device 1802 converts an analog signal into a digital signal and gives it to the signal processing device 1803. The signal processing device 1803 encodes the input digital signal to generate an encoded acoustic signal, and supplies the encoded acoustic signal to the RF modulation device 1804. The RF modulation device 1804 modulates the encoded acoustic signal to generate a modulated encoded acoustic signal, and supplies the modulated encoded acoustic signal to the antenna 1805. The antenna 1805 transmits the modulation-coded acoustic signal as a radio wave.

このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態1〜4に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化することができる。   Thus, according to the communication apparatus of the present embodiment, it is possible to enjoy the effects as shown in the first to fourth embodiments described above in wireless communication, and efficiently encode an acoustic signal with a small number of bits. it can.

なお、本発明は、オーディオ信号を用いる送信装置、送信符号化装置又は音響信号符号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。   Note that the present invention can be applied to a transmission device, a transmission encoding device, or an acoustic signal encoding device that uses an audio signal. The present invention can also be applied to a mobile station apparatus or a base station apparatus.

(実施の形態12)
次に、本発明の実施の形態12について、図面を参照して説明する。図19は、本発明の実施の形態12に係る音響信号受信復号化装置の構成を示すブロック図である。本発明の実施の形態12において、図19における信号処理装置1903は、前述した実施の形態5から実施の形態8に示した音響復号化手段の中の1つによって構成されている点に本実施の形態の特徴がある。
(Embodiment 12)
Next, an embodiment 12 of the invention will be described with reference to the drawings. FIG. 19 is a block diagram showing a configuration of an acoustic signal receiving / decoding apparatus according to Embodiment 12 of the present invention. In the twelfth embodiment of the present invention, the signal processing apparatus 1903 in FIG. 19 is constituted by one of the acoustic decoding means shown in the fifth to eighth embodiments described above. There are features of the form.

図19に示すように、本発明の実施の形態12に係る通信装置1900は、アンテナ1901、RF復調装置1902、信号処理装置1903、D/A変換装置1904及び出力装置1905を具備している。   As shown in FIG. 19, a communication device 1900 according to Embodiment 12 of the present invention includes an antenna 1901, an RF demodulation device 1902, a signal processing device 1903, a D / A conversion device 1904, and an output device 1905.

アンテナ1901は、電波としてのディジタルの符号化音響信号を受けて電気信号のディジタルの受信符号化音響信号を生成してRF復調装置1902に与える。RF復調装置1902は、アンテナ1901からの受信符号化音響信号を復調して復調符号化音響信号を生成して信号処理装置1903に与える。   The antenna 1901 receives a digital encoded acoustic signal as a radio wave, generates a digital received encoded acoustic signal of an electrical signal, and provides the RF demodulator 1902 with it. The RF demodulator 1902 demodulates the received encoded acoustic signal from the antenna 1901 to generate a demodulated encoded acoustic signal, and provides it to the signal processor 1903.

信号処理装置1903は、RF復調装置1902からのディジタルの復調符号化音響信号を受けて復号化処理を行ってディジタルの復号化音響信号を生成してD/A変換装置1904に与える。D/A変換装置1904は、信号処理装置1903からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置1905に与える。出力装置1905は、電気的信号であるアナログの復号化音声信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。   The signal processing device 1903 receives the digital demodulated encoded acoustic signal from the RF demodulating device 1902, performs a decoding process, generates a digital decoded acoustic signal, and provides it to the D / A conversion device 1904. The D / A conversion device 1904 converts the digital decoded audio signal from the signal processing device 1903 to generate an analog decoded audio signal, and provides it to the output device 1905. The output device 1905 converts an analog decoded audio signal, which is an electrical signal, into air vibrations and outputs the sound as a sound wave to the human ear.

このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態5〜8に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。   As described above, according to the communication apparatus of the present embodiment, the effects as described in the fifth to eighth embodiments described above can be enjoyed in wireless communication, and an acoustic signal encoded efficiently with a small number of bits is decoded. Therefore, a good acoustic signal can be output.

なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。   Note that the present invention can be applied to a receiving device, a receiving decoding device, or an audio signal decoding device using an audio signal. The present invention can also be applied to a mobile station apparatus or a base station apparatus.

また、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、信号処理装置として行う場合について説明しているが、これに限られるものではなく、この信号処理方法をソフトウェアとして行うことも可能である。   The present invention is not limited to the above-described embodiment, and can be implemented with various modifications. For example, although the case where the signal processing apparatus is used has been described in the above embodiment, the present invention is not limited to this, and the signal processing method may be performed as software.

例えば、上記信号処理方法を実行するプログラムを予めROM(Read Only Memory)に格納しておき、そのプログラムをCPU(Central Processor Unit)によって動作させるようにしても良い。   For example, a program for executing the signal processing method may be stored in advance in a ROM (Read Only Memory), and the program may be operated by a CPU (Central Processor Unit).

また、上記信号処理方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのRAM(Random Access memory)に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。   A program for executing the above signal processing method is stored in a computer-readable storage medium, the program stored in the storage medium is recorded in a RAM (Random Access memory) of the computer, and the computer operates according to the program. You may make it let it.

また、上記説明では、拡張レイヤ符号化にMDCT変換を用い、拡張レイヤ復号化にIMDCT変換を用いているが、これに限定されず、直交変換方法であればいずれも適用できる。   In the above description, MDCT transform is used for enhancement layer coding and IMDCT transform is used for enhancement layer decoding. However, the present invention is not limited to this, and any orthogonal transform method can be applied.

本発明の実施の形態1に係る信号処理装置の構成を示すブロック図The block diagram which shows the structure of the signal processing apparatus which concerns on Embodiment 1 of this invention. 入力信号の成分の一例を示す図The figure which shows an example of the component of an input signal 上記実施の形態に係る信号処理装置の信号処理方法の一例を示す図The figure which shows an example of the signal processing method of the signal processing apparatus which concerns on the said embodiment 基本レイヤ符号化器の構成の一例を示す図The figure which shows an example of a structure of a base layer encoder 拡張レイヤ符号化器の構成の一例を示す図The figure which shows an example of a structure of an enhancement layer encoder 拡張レイヤ符号化器の構成の一例を示す図The figure which shows an example of a structure of an enhancement layer encoder 拡張LPC係数算出の一例を示す図The figure which shows an example of extended LPC coefficient calculation 本発明の実施の形態3に係る信号処理装置の拡張レイヤ符号化器の構成を示すブロック図The block diagram which shows the structure of the enhancement layer encoder of the signal processing apparatus which concerns on Embodiment 3 of this invention. 本発明の実施の形態4に係る信号処理装置の拡張レイヤ符号化器の構成を示すブロック図FIG. 9 is a block diagram showing the configuration of an enhancement layer encoder of a signal processing device according to Embodiment 4 of the present invention. 本発明の実施の形態5に係る信号処理装置の構成を示すブロック図The block diagram which shows the structure of the signal processing apparatus which concerns on Embodiment 5 of this invention. 基本レイヤ復号化器の一例を示すブロック図Block diagram illustrating an example of a base layer decoder 拡張レイヤ復号化器の一例を示すブロック図Block diagram illustrating an example of an enhancement layer decoder 拡張レイヤ復号化器の構成の一例を示す図The figure which shows an example of a structure of an enhancement layer decoder 本発明の実施の形態7に係る信号処理装置の拡張レイヤ復号化器の構成を示すブロック図The block diagram which shows the structure of the enhancement layer decoder of the signal processing apparatus which concerns on Embodiment 7 of this invention. 本発明の実施の形態8に係る信号処理装置の拡張レイヤ復号化器の構成を示すブロック図The block diagram which shows the structure of the enhancement layer decoder of the signal processing apparatus which concerns on Embodiment 8 of this invention. 本発明の実施の形態9に係る音響信号符号化装置の構成を示すブロック図FIG. 9 is a block diagram showing a configuration of an acoustic signal encoding device according to Embodiment 9 of the present invention. 本発明の実施の形態10に係る音響信号復号化装置の構成を示すブロック図FIG. 10 is a block diagram showing a configuration of an acoustic signal decoding apparatus according to Embodiment 10 of the present invention. 本発明の実施の形態11に係る音響信号送信符号化装置の構成を示すブロック図Block diagram showing the configuration of an acoustic signal transmission encoding apparatus according to Embodiment 11 of the present invention. 本発明の実施の形態12に係る音響信号受信復号化装置の構成を示すブロック図Block diagram showing the configuration of an acoustic signal receiving and decoding apparatus according to Embodiment 12 of the present invention.

符号の説明Explanation of symbols

101 ダウンサンプリング器
102 基本レイヤ符号化器
103 局所復号化器
104、1003 アップサンプリング器
105 遅延器
106 減算器
107 拡張レイヤ符号化器
1002 基本レイヤ復号化器
1004 拡張レイヤ復号化器
1005 加算器
DESCRIPTION OF SYMBOLS 101 Downsampler 102 Base layer encoder 103 Local decoder 104,1003 Upsampler 105 Delayer 106 Subtractor 107 Enhancement layer encoder 1002 Base layer decoder 1004 Enhancement layer decoder 1005 Adder

Claims (4)

入力信号の所定の周波数より低い帯域部分である低域部を符号化して第1符号化コードを得る基本レイヤ符号化手段と、
前記第1符号化コードを復号して復号信号を生成する局所復号化手段と、
前記入力信号から前記復号信号を減算して減算信号を得る減算手段と、
前記局所復号化手段の復号処理の中で生成されたパラメータ、あるいは、前記パラメータを全帯域用に変換したパラメータにより構成されるフィルタのスペクトル特性を算出するスペクトル特性算出手段と、
前記低域部の量子化精度が他の帯域に対して低くなるように前記フィルタのスペクトル特性を変形する変形手段と、
変形後のスペクトル特性を用いてベクトル量子化のビット配分又はベクトル探索の重みを決定するベクトル量子化手段と、
前記ビット配分又は前記ベクトル探索の重みに基づいて前記減算信号を符号化して第2符号化コードを得る拡張レイヤ符号化手段と、
を具備する符号化装置。
Base layer encoding means for encoding a low-frequency part, which is a band part lower than a predetermined frequency of an input signal, to obtain a first encoded code;
Local decoding means for decoding the first encoded code to generate a decoded signal;
Subtracting means for obtaining a subtraction signal by subtracting said decoded signal from said input signal,
A spectral characteristic calculation means for calculating a spectral characteristic of a filter formed by a parameter generated in the decoding process of the local decoding means, or a parameter obtained by converting the parameter for all bands;
Deformation means for modifying the spectral characteristics of the filter so that the quantization accuracy of the low-frequency part is lower than other bands ,
Vector quantization means for determining the bit allocation or vector search weight of vector quantization using the transformed spectral characteristics;
Enhancement layer encoding means for encoding the subtraction signal based on the bit allocation or the weight of the vector search to obtain a second encoded code;
An encoding device comprising:
前記スペクトル特性算出手段は、前記パラメータのうちLPC係数を用い、前記スペクトル特性として全帯域のスペクトル包絡を算出する、
請求項1記載の符号化装置。
The spectrum characteristic calculation means uses an LPC coefficient among the parameters and calculates a spectral envelope of the entire band as the spectrum characteristic.
The encoding device according to claim 1.
前記スペクトル特性算出手段は、前記パラメータのうちピッチ周期及びピッチゲインを用い、前記スペクトル特性として全帯域のスペクトル微細構造を算出する、
請求項1記載の符号化装置。
The spectral characteristic calculation means calculates a spectral fine structure of the entire band as the spectral characteristic using a pitch period and a pitch gain among the parameters.
The encoding device according to claim 1.
前記ベクトル量子化手段は、前記ビット配分又は前記ベクトル探索の重みが予め定められた上限値を超えないように制限する、
請求項1から請求項3のいずれかに記載の符号化装置。
The vector quantization means limits the bit allocation or the vector search weight so as not to exceed a predetermined upper limit value.
The encoding device according to any one of claims 1 to 3.
JP2005166279A 2005-06-06 2005-06-06 Encoder Expired - Lifetime JP4287840B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005166279A JP4287840B2 (en) 2005-06-06 2005-06-06 Encoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005166279A JP4287840B2 (en) 2005-06-06 2005-06-06 Encoder

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002127541A Division JP2003323199A (en) 2002-04-26 2002-04-26 Device and method for encoding, device and method for decoding

Publications (3)

Publication Number Publication Date
JP2005258478A JP2005258478A (en) 2005-09-22
JP2005258478A5 JP2005258478A5 (en) 2006-10-19
JP4287840B2 true JP4287840B2 (en) 2009-07-01

Family

ID=35084168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005166279A Expired - Lifetime JP4287840B2 (en) 2005-06-06 2005-06-06 Encoder

Country Status (1)

Country Link
JP (1) JP4287840B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873514B2 (en) * 2006-08-11 2011-01-18 Ntt Docomo, Inc. Method for quantizing speech and audio through an efficient perceptually relevant search of multiple quantization patterns
CN105096957B (en) 2014-04-29 2016-09-14 华为技术有限公司 Process the method and apparatus of signal

Also Published As

Publication number Publication date
JP2005258478A (en) 2005-09-22

Similar Documents

Publication Publication Date Title
EP1489599B1 (en) Coding device and decoding device
JP3881943B2 (en) Acoustic encoding apparatus and acoustic encoding method
JP2003323199A (en) Device and method for encoding, device and method for decoding
JP4662673B2 (en) Gain smoothing in wideband speech and audio signal decoders.
JP3881946B2 (en) Acoustic encoding apparatus and acoustic encoding method
US8630863B2 (en) Method and apparatus for encoding and decoding audio/speech signal
JP4958780B2 (en) Encoding device, decoding device and methods thereof
JP4302978B2 (en) Pseudo high-bandwidth signal estimation system for speech codec
JP2001222297A (en) Multi-band harmonic transform coder
JPH10124088A (en) Device and method for expanding voice frequency band width
CN104123946A (en) Systemand method for including identifier with packet associated with speech signal
KR20070121254A (en) Method and apparatus for wideband encoding and decoding
JP4603485B2 (en) Speech / musical sound encoding apparatus and speech / musical sound encoding method
WO2005027095A1 (en) Encoder apparatus and decoder apparatus
US7603271B2 (en) Speech coding apparatus with perceptual weighting and method therefor
JPH10124089A (en) Processor and method for speech signal processing and device and method for expanding voice bandwidth
JP4287840B2 (en) Encoder
JP2004302259A (en) Hierarchical encoding method and hierarchical decoding method for sound signal
JP4578145B2 (en) Speech coding apparatus, speech decoding apparatus, and methods thereof
JP4373693B2 (en) Hierarchical encoding method and hierarchical decoding method for acoustic signals
KR0155798B1 (en) Vocoder and the method thereof
JP3576485B2 (en) Fixed excitation vector generation apparatus and speech encoding / decoding apparatus
KR101377667B1 (en) Method for encoding audio/speech signal in Time Domain
JP4230550B2 (en) Speech encoding method and apparatus, and speech decoding method and apparatus
KR0156983B1 (en) Voice coder

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090327

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4287840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140403

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term