WO2011161886A1 - 復号装置、符号化装置およびこれらの方法 - Google Patents

復号装置、符号化装置およびこれらの方法 Download PDF

Info

Publication number
WO2011161886A1
WO2011161886A1 PCT/JP2011/003196 JP2011003196W WO2011161886A1 WO 2011161886 A1 WO2011161886 A1 WO 2011161886A1 JP 2011003196 W JP2011003196 W JP 2011003196W WO 2011161886 A1 WO2011161886 A1 WO 2011161886A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
encoding
amplitude
signal
spectrum
Prior art date
Application number
PCT/JP2011/003196
Other languages
English (en)
French (fr)
Inventor
智史 山梨
押切 正浩
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/703,491 priority Critical patent/US9076434B2/en
Priority to CA2801362A priority patent/CA2801362A1/en
Priority to BR112012032746A priority patent/BR112012032746A2/pt
Priority to KR1020127033257A priority patent/KR20130088756A/ko
Priority to JP2012521284A priority patent/JP5730303B2/ja
Priority to CN2011800302805A priority patent/CN102947881A/zh
Priority to EP11797775.1A priority patent/EP2584561B1/en
Priority to RU2012155222/08A priority patent/RU2012155222A/ru
Publication of WO2011161886A1 publication Critical patent/WO2011161886A1/ja
Priority to ZA2012/09578A priority patent/ZA201209578B/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20Automatic control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes

Definitions

  • the present invention relates to a decoding apparatus, an encoding apparatus, and a method thereof used in a communication system that encodes and transmits a signal.
  • the encoding apparatus calculates a parameter for generating a spectrum in a high frequency part of spectrum from spectrum data obtained by converting an input acoustic signal for a predetermined time. In addition, this is output together with the low-band coding information. Specifically, the encoding apparatus divides the high-frequency spectrum data of the frequency into a plurality of subbands, and in each subband, specifies a low-frequency spectrum that most closely approximates the spectrum of the subband. Is calculated.
  • the encoding apparatus uses the two types of scaling factors for the most approximate low-band spectrum, and generates peak amplitude or sub-band energy (hereinafter referred to as sub-band energy) in the generated high-band spectrum. ) And the shape are adjusted so as to be close to the peak amplitude, subband energy, and shape of the spectrum in the high frequency part of the target input signal.
  • the encoding apparatus uses all the sample (MDCT (Modified Discrete Cosine Transform) coefficients of the spectrum data of the input signal and the synthesized high frequency spectrum data. Logarithmic conversion. Then, the encoding device calculates parameters such that each subband energy and shape is close to the peak amplitude, subband energy, and shape of the spectrum in the high frequency part of the target input signal. For this reason, there is a problem that the amount of calculation in the encoding device is very large. Further, the decoding apparatus applies the calculated parameter to all samples in the subband, and does not consider the magnitude of the amplitude of each sample. For this reason, the amount of computation in the decoding device when generating a high-frequency spectrum using the calculated parameters is also very large, and the quality of the decoded speech to be generated is insufficient, and in some cases abnormal noise is generated. It may occur.
  • MDCT Modified Discrete Cosine Transform
  • An object of the present invention is to efficiently decode high-band part spectrum data based on low-band part spectrum data of a wideband signal and improve the quality of a decoded signal, and a decoding apparatus, and these Is to provide a method.
  • the decoding apparatus includes first encoded information indicating a low frequency portion of a voice signal or a music signal that is equal to or lower than a predetermined frequency, and a high frequency portion that is higher than the predetermined frequency of the voice signal or the music signal.
  • the band information for estimating the spectrum of the high frequency part of the audio signal or the music signal and the amplitude for some or all of the spectral components in each subband
  • Receiving means for receiving second encoded information including an amplitude adjustment parameter; first decoding means for decoding the first encoded information to generate a first decoded signal; and the second encoded information
  • a second decoding means for generating a second decoded signal by estimating a high frequency portion of the audio signal or music signal from the first decoded signal and adjusting an amplitude of a spectral component.
  • the second decoding means is selected in part from spectral component selection means for partially selecting spectral components for the estimated spectrum of the high frequency part of the speech signal or music signal.
  • First amplitude adjustment parameter applying means for applying a second amplitude adjustment parameter to the spectral component obtained, and adaptively depending on the value of the second amplitude adjustment parameter for the spectral component not partially selected. And a second amplitude adjustment parameter applying means for applying the set third amplitude adjustment parameter.
  • An encoding apparatus includes a first encoding means for generating a first encoded information by encoding a low frequency portion of an input signal having a predetermined frequency or less, and the first encoded information.
  • Decoding means for decoding and generating a first decoded signal, and a band for estimating the spectrum of the high frequency part of the input signal in a plurality of subbands obtained by dividing the high frequency part higher than the predetermined frequency of the input signal
  • Second encoding means for generating second encoded information including information and a first amplitude adjustment parameter for adjusting the amplitude of some or all of the spectral components in each subband; and the second encoded information
  • a second decoding means for generating a second decoded signal by estimating a high frequency portion of the input signal from the first decoded signal and adjusting an amplitude of a spectral component, and the first decoded signal and the Second recovery
  • a coding device comprising: a third coding means for coding a signal and
  • the decoding method includes a first encoded information indicating a low frequency portion of a voice signal or a music signal that is equal to or lower than a predetermined frequency, and a high frequency portion that is higher than the predetermined frequency of the voice signal or the music signal.
  • the second decoding step includes: a spectral component selection step for partially selecting a spectral component with respect to a spectrum of the estimated high frequency portion of the speech signal or music signal; and A first amplitude adjustment parameter applying step of applying a second amplitude adjustment parameter to the selected spectral component; and adapting to the partially unselected spectral component according to a value of the second amplitude adjustment parameter A second amplitude adjustment parameter applying step for applying a third amplitude adjustment parameter that is set automatically.
  • An encoding method includes a first encoding step of generating a first encoded information by encoding a low frequency portion of an input signal having a frequency equal to or lower than a predetermined frequency, and the first encoded information
  • a second encoding step for generating second encoded information including information and a first amplitude adjustment parameter for adjusting an amplitude for some or all of the spectral components in each subband; and the second encoded information
  • the present invention it is possible to efficiently encode / decode high-frequency spectrum data of a wideband signal, achieve a significant reduction in the amount of processing computation, and improve the quality of the decoded signal. .
  • FIG. 1 is a block diagram showing a configuration of a communication system having an encoding device and a decoding device according to Embodiment 1 of the present invention.
  • 1 is a block diagram showing a main configuration inside the encoding apparatus shown in FIG. 1 according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the main configuration inside second layer encoding section shown in FIG. 2 according to Embodiment 1 of the present invention.
  • the block diagram which shows the main structures of the gain encoding part shown in FIG. 3 which concerns on Embodiment 1 of this invention.
  • the block diagram which shows the main structures of the logarithmic gain encoding part shown in FIG. 4 which concerns on Embodiment 1 of this invention.
  • FIG. 1 The figure for demonstrating the detail of the filtering process in the filtering part which concerns on Embodiment 1 of this invention.
  • Flow diagram showing the steps in the process of searching for optimal pitch coefficient T p 'for the sub-band SB p in the search unit according to the first embodiment of the present invention 1 is a block diagram showing the main configuration inside the decoding apparatus shown in FIG. 1 according to Embodiment 1 of the present invention.
  • the block diagram which shows the main structures inside the spectrum adjustment part shown in FIG. 9 which concerns on Embodiment 1 of this invention.
  • the encoding device when the encoding device generates the high-frequency spectrum data of the signal to be encoded based on the low-frequency spectrum data, the encoding device has the maximum amplitude in the subband.
  • the subband energy and shape adjustment parameters are calculated for the sample group extracted based on this.
  • the decoding apparatus applies the parameter to the sample group extracted based on the position of the sample having the maximum amplitude in the subband.
  • the encoding apparatus and decoding apparatus are targeted for any of an audio signal, a musical sound signal, and a signal in which these are mixed as an input signal / output signal.
  • a speech encoding apparatus and speech decoding apparatus will be described as examples.
  • FIG. 1 is a block diagram showing a configuration of a communication system having an encoding device and a decoding device according to the present embodiment.
  • the communication system includes an encoding device 101 and a decoding device 103, and can communicate with each other via a transmission path 102.
  • both the encoding apparatus 101 and the decoding apparatus 103 are normally mounted and used in a base station apparatus or a communication terminal apparatus.
  • the encoding apparatus 101 divides an input signal into N samples (N is a natural number), and encodes each frame with N samples as one frame.
  • n represents the (n + 1) th signal element among the input signals divided by N samples.
  • the encoding device 101 transmits the encoded input information (encoded information) to the decoding device 103 via the transmission path 102.
  • the decoding device 103 receives the encoded information transmitted from the encoding device 101 via the transmission path 102, decodes it, and obtains an output signal.
  • FIG. 2 is a block diagram showing the main components inside coding apparatus 101 shown in FIG. Assuming that the sampling frequency of the input signal is SR 1 , the down-sampling processing unit 201 down-samples the sampling frequency of the input signal from SR 1 to SR 2 (SR 2 ⁇ SR 1 ), and after down-sampling the down-sampled input signal The input signal is output to first layer encoding section 202.
  • SR 2 has a sampling frequency that is 1/2 of SR 1 will be described.
  • the first layer encoding unit 202 encodes the downsampled input signal input from the downsampling processing unit 201 by using, for example, a CELP (Code Excited Linear Prediction) method speech encoding method.
  • One-layer encoded information is generated. Specifically, first layer encoding section 202 encodes a low frequency portion of the input signal below a predetermined frequency to generate first layer encoded information. Then, first layer encoding section 202 outputs the generated first layer encoded information to first layer decoding section 203 and encoded information integration section 207.
  • First layer decoding section 203 decodes the first layer encoded information input from first layer encoding section 202 using, for example, a CELP speech decoding method to generate a first layer decoded signal To do. Then, first layer decoding section 203 outputs the generated first layer decoded signal to upsampling processing section 204.
  • Up-sampling processing section 204 up-samples the sampling frequency of the first layer decoded signal input from first layer decoding section 203 from SR 2 to SR 1 and first upsamples the first layer decoded signal after up-sampling. It outputs to the orthogonal transformation process part 205 as a layer decoding signal.
  • the decoded signal yn is subjected to modified discrete cosine transform (MDCT).
  • MDCT modified discrete cosine transform
  • orthogonal transformation processing in the orthogonal transformation processing unit 205 will be described with respect to the calculation procedure and data output to the internal buffer.
  • the orthogonal transform processing unit 205 initializes the buffers buf1 n and buf2 n with “0” as an initial value according to the following formulas (1) and (2).
  • orthogonal transform processing section 205 the input signal x n and up-sampled after the first layer decoded signal y n with respect to the following equation (3) and MDCT according to equation (4), MDCT coefficients of the input signal (hereinafter, input spectrum called) S2 (k) and an up-sampled MDCT coefficients of the first layer decoded signal y n (hereinafter, referred to as a first layer decoded spectrum) Request S1 (k).
  • k represents the index of each sample in one frame.
  • the orthogonal transform processing unit 205 obtains x n ′, which is a vector obtained by combining the input signal x n and the buffer buf1 n by the following equation (5). Further, the orthogonal transform processing unit 205 obtains y n ′, which is a vector obtained by combining the up-sampled first layer decoded signal y n and the buffer buf2 n by the following equation (6).
  • the orthogonal transform processing unit 205 updates the buffers buf1 n and buf2 n according to Expression (7) and Expression (8).
  • the orthogonal transformation processing unit 205 outputs the input spectrum S2 (k) and the first layer decoded spectrum S1 (k) to the second layer encoding unit 206.
  • Second layer encoding section 206 generates second layer encoded information using input spectrum S2 (k) and first layer decoded spectrum S1 (k) input from orthogonal transform processing section 205, and generates the generated second layer encoding information.
  • the two-layer encoded information is output to the encoded information integration unit 207. Details of second layer encoding section 206 will be described later.
  • the encoding information integration unit 207 integrates the first layer encoding information input from the first layer encoding unit 202 and the second layer encoding information input from the second layer encoding unit 206, and integrates them. If necessary, a transmission error code or the like is added to the information source code, which is output to the transmission path 102 as encoded information.
  • Second layer encoding section 206 includes band division section 260, filter state setting section 261, filtering section 262, search section 263, pitch coefficient setting section 264, gain encoding section 265, and multiplexing section 266. Perform the operation.
  • a portion corresponding to the subband SB p in the input spectrum S2 (k) is referred to as a subband spectrum S2 p (k) (BS p ⁇ k ⁇ BS p + BW p ).
  • the filter state setting unit 261 sets the first layer decoded spectrum S1 (k) (0 ⁇ k ⁇ FL) input from the orthogonal transform processing unit 205 as a filter state used in the filtering unit 262. That is, the first layer decoded spectrum S1 (k) is stored as an internal state (filter state) of the filter in the band of 0 ⁇ k ⁇ FL of the spectrum S (k) of all frequency bands 0 ⁇ k ⁇ FH in the filtering unit 262. Is done.
  • the filtering unit 262 outputs the estimated spectrum S2 p ′ (k) of the subband SB p to the search unit 263. Details of the filtering process in the filtering unit 262 will be described later. It is assumed that the number of taps of a multi-tap can take an arbitrary value (integer) of 1 or more.
  • the search unit 263 receives the estimated spectrum S2 p ′ (k) of the subband SB p input from the filtering unit 262 and the orthogonal transform processing unit 205 based on the band division information input from the band dividing unit 260.
  • the similarity with each subband spectrum S2 p (k) in the high frequency part (FL ⁇ k ⁇ FH) of the input spectrum S2 (k) is calculated.
  • the similarity is calculated by, for example, correlation calculation.
  • the processes of the filtering unit 262, the search unit 263, and the pitch coefficient setting unit 264 constitute a closed-loop search process for each subband, and in each closed loop, the search unit 263 moves from the pitch coefficient setting unit 264 to the filtering unit 262.
  • the degree of similarity corresponding to each pitch coefficient is calculated by variously changing the input pitch coefficient T.
  • the search unit 263 obtains the optimum pitch coefficient T p ′ (however, in the range of Tmin to Tmax) that maximizes the similarity in the closed loop corresponding to the subband SB p , and P optimal
  • the pitch coefficient is output to multiplexing section 266. Details of the similarity calculation method in the search unit 263 will be described later.
  • the pitch coefficient setting unit 264 controls the filtering unit 262 while changing the pitch coefficient T little by little within a predetermined search range Tmin to Tmax under the control of the searching unit 263.
  • the pitch coefficient setting unit 264 changes the pitch coefficient T little by little within a predetermined search range Tmin to Tmax.
  • the closed loop search process corresponding to the (m ⁇ 1) th subband is performed.
  • the pitch coefficient T may be set while being changed little by little based on the optimum pitch coefficient obtained in step (1).
  • the gain encoding unit 265 quantizes the ideal gain and the logarithmic gain, and outputs the quantized ideal gain and logarithmic gain to the multiplexing unit 266.
  • FIG. 4 is a diagram showing an internal configuration of the gain encoding unit 265.
  • the gain encoding unit 265 mainly includes an ideal gain encoding unit 271 and a logarithmic gain encoding unit 272.
  • the estimated spectrum S2 ′ (k) of the high frequency part is configured.
  • the ideal gain encoding unit 271 multiplies the estimated spectrum S2 ′ (k) by the ideal gain ⁇ 1 p for each subband input from the search unit 263 according to the equation (10), and uses the estimated spectrum S3 ′ (k). calculate.
  • Equation (10) BL p indicates the head index of each subband, and BH p indicates the end index of each subband.
  • the ideal gain encoding unit 271 outputs the calculated estimated spectrum S3 ′ (k) to the logarithmic gain encoding unit 272.
  • the ideal gain encoding unit 271 quantizes the ideal gain ⁇ 1 p and outputs the quantized ideal gain ⁇ 1Q p to the multiplexing unit 266 as ideal gain encoding information.
  • the logarithmic gain encoding unit 272 includes a high-frequency part (FL ⁇ k ⁇ FH) of the input spectrum S2 (k) input from the orthogonal transform processing unit 205 and an estimated spectrum S3 ′ input from the ideal gain encoding unit 271.
  • a logarithmic gain that is a parameter (that is, an amplitude adjustment parameter) for adjusting the energy ratio in the nonlinear region for each subband with (k) is calculated, and the calculated logarithmic gain is used as logarithmic gain encoding information to the multiplexing unit 266.
  • FIG. 5 shows the internal configuration of the logarithmic gain encoding unit 272.
  • the logarithmic gain encoding unit 272 mainly includes a maximum amplitude value searching unit 281, a sample group extracting unit 282, and a logarithmic gain calculating unit 283.
  • the maximum amplitude value search unit 281 applies the maximum amplitude value MaxValue p in the logarithmic domain to the estimated spectrum S3 ′ (k) input from the ideal gain encoding unit 271 as shown in Expression (11), and The index of the sample (spectral component) having the maximum amplitude and the maximum amplitude index MaxIndex p are searched for each subband.
  • the maximum amplitude value search unit 281 searches for the maximum amplitude value in the logarithmic region only for the samples having an even index. As a result, the amount of calculation for searching for the maximum amplitude value can be efficiently reduced.
  • the maximum amplitude value search unit 281 outputs the estimated spectrum S3 ′ (k), the maximum amplitude value MaxValue p, and the maximum amplitude index MaxIndex p to the sample group extraction unit 282.
  • the sample group extraction unit 282 applies the extraction flag SelectFlag (k) for each sample (spectral component) to the estimated spectrum S3 ′ (k) input from the maximum amplitude value search unit 281 according to the following equation (12). Determine the value.
  • the sample group extraction unit 282 sets the value of the extraction flag SelectFlag (k) to 0 for a sample with an odd index, and sets the sample with an even index.
  • the value of the extraction flag SelectFlag (k) is set to 1.
  • the sample group extraction unit 282 partially selects samples (spectrum components) with respect to the estimated spectrum S3 ′ (k) (here, only samples with an even index). Then, the sample group extraction unit 282 outputs the extraction flag SelectFlag (k), the estimated spectrum S3 ′ (k), and the maximum amplitude value MaxValue p to the logarithmic gain calculation unit 283.
  • the logarithmic gain calculation unit 283 applies the estimated spectrum S3 ′ (k) and the input spectrum S2 to the sample with the value of the extraction flag SelectFlag (k) input from the sample group extraction unit 282 according to the equation (13).
  • the energy ratio (logarithmic gain) ⁇ 2 p in the logarithmic region of the high frequency region (FL ⁇ k ⁇ FH) with (k) is calculated. That is, the logarithmic gain calculation unit 283 calculates the logarithmic gain ⁇ 2 p only for the sample partially selected by the sample group extraction unit 282.
  • logarithmic gain calculation unit 283, a logarithmic gain [alpha] 2 p quantizes and outputs to multiplexing section 266 a logarithmic gain Arufa2Q p obtained by quantizing the logarithmic gain encoded information.
  • the filtering unit 262 uses the filter state input from the filter state setting unit 261, the pitch coefficient T input from the pitch coefficient setting unit 264, and the band division information input from the band division unit 260, and uses the subband.
  • the transfer function F (z) of the filter used in the filtering unit 262 is expressed by the following equation (14).
  • T represents a pitch coefficient given from the pitch coefficient setting unit 264
  • ⁇ i represents a filter coefficient stored in advance.
  • ( ⁇ ⁇ 1 , ⁇ 0 , ⁇ 1 ) (0.2, 0.6, 0.2), (0.3, 0.4, 0.3), etc. as filter coefficient candidates The value of is also appropriate.
  • the band 0 ⁇ k ⁇ FL This means that a partial band of the 1-layer decoded spectrum is copied as it is into the band of BS p ⁇ k ⁇ BS p + BW p without changing its shape.
  • M 1.
  • M is an index related to the number of taps.
  • the first layer decoded spectrum S1 (k) is stored as an internal state (filter state) of the filter in the band of 0 ⁇ k ⁇ FL of the spectrum S (k) of all frequency bands in the filtering unit 262.
  • the estimated spectrum S2 p ′ (k) of the subband SB p is stored by the filtering process of the following procedure. That is, as shown in FIG. 6, a spectrum S (k ⁇ T) having a frequency lower by T than this k is basically substituted for S2 p ′ (k). However, in order to increase the smoothness of the spectrum, actually, a spectrum ⁇ i .multidot. ⁇ Obtained by multiplying a spectrum S (k ⁇ T + i) in the vicinity away from the spectrum S (k ⁇ T) by a predetermined filter coefficient ⁇ i. A spectrum obtained by adding S (k ⁇ T + i) for all i is substituted into S2 p ′ (k). This process is expressed by the following equation (15).
  • the above filtering process is performed by clearing S (k) to zero each time in the range of BS p ⁇ k ⁇ BS p + BW p every time the pitch coefficient T is given from the pitch coefficient setting unit 264. That is, every time the pitch coefficient T changes, S (k) is calculated and output to the search unit 263.
  • search section 263 initializes minimum similarity D min , which is a variable for storing the minimum value of similarity, to “+ ⁇ ” (ST2010).
  • search unit 263 according to the following equation (16), similarity between the high frequency part (FL ⁇ k ⁇ FH) of the input spectrum S2 (k) at a certain pitch coefficient and the estimated spectrum S2 p ′ (k) D is calculated (ST2020).
  • M ′ represents the number of samples when calculating the similarity D, and may be an arbitrary value equal to or less than the bandwidth of each subband. Note that S2 p ′ (k) does not exist in the equation (16), because this represents S2 p ′ (k) using BS p and S2 ′ (k).
  • search section 263 determines whether or not calculated similarity D is smaller than minimum similarity D min (ST2030).
  • search section 263 substitutes similarity D into minimum similarity Dmin (ST2040).
  • search section 263 determines whether or not the process over the search range has ended. That is to say, search section 263 determines whether or not the similarity is calculated according to the above equation (16) in ST2020 for each of all pitch coefficients within the search range (ST2050).
  • search section 263 If the process has not been completed over the search range (ST2050: “NO”), search section 263 returns the process to ST2020 again. Then, search section 263 calculates similarity according to equation (16) for a pitch coefficient different from the case where similarity was calculated according to equation (16) in the previous ST2020 procedure. On the other hand, when the process over the search range is completed (ST2050: “YES”), search section 263 outputs pitch coefficient T corresponding to minimum similarity D min to multiplexing section 266 as optimum pitch coefficient T p ′. (ST2060).
  • FIG. 8 is a block diagram showing a main configuration inside the decoding apparatus 103.
  • the encoded information separation unit 131 obtains first layer encoded information and second layer encoded information from input encoded information (that is, encoded information received from the encoding apparatus 101).
  • the first layer encoded information is output to first layer decoding section 132, and the second layer encoded information is output to second layer decoding section 135.
  • the first layer decoding unit 132 performs decoding on the first layer encoded information input from the encoded information separation unit 131, and outputs the generated first layer decoded signal to the upsampling processing unit 133.
  • the operation of first layer decoding section 132 is the same as that of first layer decoding section 203 shown in FIG.
  • the upsampling processing unit 133 performs a process of upsampling the sampling frequency from SR 2 to SR 1 on the first layer decoded signal input from the first layer decoding unit 132, and obtains the first layer decoded after upsampling obtained.
  • the signal is output to the orthogonal transform processing unit 134.
  • the orthogonal transform processing unit 134 performs orthogonal transform processing (MDCT) on the first layer decoded signal after upsampling input from the upsampling processing unit 133, and the MDCT coefficient (1) of the first layer decoded signal after upsampling obtained.
  • S1 (k) (hereinafter referred to as first layer decoded spectrum) is output to second layer decoding section 135.
  • the operation of orthogonal transform processing section 134 is the same as the processing for the first layer decoded signal after upsampling of orthogonal transform processing section 205 shown in FIG.
  • Second layer decoding section 135 uses first layer decoded spectrum S1 (k) input from orthogonal transform processing section 134 and second layer encoded information input from encoded information separating section 131 to From the one-layer decoded spectrum S1 (k), the high frequency part of the audio signal is estimated, and the amplitude of the spectral component is adjusted, thereby generating a second layer decoded signal including the high frequency component and outputting it as an output signal.
  • FIG. 9 is a block diagram showing the main components inside second layer decoding section 135 shown in FIG.
  • the index is output to gain decoding section 354.
  • the separation unit 351 may not be disposed.
  • the filter state setting unit 352 sets the first layer decoded spectrum S1 (k) (0 ⁇ k ⁇ FL) input from the orthogonal transform processing unit 134 as a filter state used by the filtering unit 353.
  • S (k) the spectrum of the entire frequency band 0 ⁇ k ⁇ FH in the filtering unit 353
  • the first layer decoded spectrum S1 ( k) is stored as the internal state (filter state) of the filter.
  • the configuration and operation of the filter state setting unit 352 are the same as those of the filter state setting unit 261 shown in FIG.
  • the filtering unit 353 includes a multi-tap pitch filter (the number of taps is greater than 1).
  • the filter function shown in the above equation (14) is used.
  • filtering process and the filter function are obtained by replacing T in Equation (14) and Equation (15) with T p ′. That is, filtering section 353 estimates the high frequency portion of the input spectrum in encoding apparatus 101 from the first layer decoded spectrum.
  • the gain decoding unit 354 decodes the indexes of the ideal gain encoded information and logarithmic gain encoded information input from the separating unit 351, and the quantized ideal gain that is the quantized values of the ideal gain ⁇ 1 p and the logarithmic gain ⁇ 2 p ⁇ 1Q p and quantized logarithmic gain ⁇ 2Q p are obtained.
  • FIG. 10 is a diagram illustrating an internal configuration of the spectrum adjustment unit 355.
  • the spectrum adjustment unit 355 mainly includes an ideal gain decoding unit 361 and a logarithmic gain decoding unit 362.
  • the logarithmic gain decoding unit 362 uses the quantized logarithmic gain ⁇ 2Q p for each subband input from the gain decoding unit 354 with respect to the estimated spectrum S3 ′ (k) input from the ideal gain decoding unit 361. Energy adjustment is performed in the region, and the obtained spectrum is output to the orthogonal transform processing unit 356 as a decoded spectrum.
  • FIG. 11 is a diagram illustrating an internal configuration of the logarithmic gain decoding unit 362.
  • the logarithmic gain decoding unit 362 mainly includes a maximum amplitude value searching unit 371, a sample group extracting unit 372, a logarithmic gain applying unit 373, and an interpolation processing unit 374.
  • the maximum amplitude value search unit 371 uses the maximum amplitude value MaxValue p in the logarithmic domain and the amplitude for the estimated spectrum S3 ′ (k) input from the ideal gain decoding unit 361 as shown in Expression (18). The index of the sample (spectrum component) having the maximum value and the maximum amplitude index MaxIndex p are searched for each subband. Then, the maximum amplitude value search unit 371 outputs the estimated spectrum S3 ′ (k), the maximum amplitude value MaxValue p in the logarithmic domain, and the maximum amplitude index MaxIndex p to the sample group extraction unit 372.
  • the sample group extraction unit 372 determines an extraction flag SelectFlag (k) for each sample according to the calculated maximum amplitude index MaxIndex p for each subband, as shown in Expression (19). That is, the sample group extraction unit 372 partially selects samples by weights that are more easily selected as samples (spectral components) that are closer to the sample having the maximum amplitude value MaxValue p in each subband. Then, the sample group extraction unit 372 outputs the estimated spectrum S3 ′ (k), the maximum amplitude value MaxValue p for each subband, and the extraction flag SelectFlag (k) to the logarithmic gain application unit 373. Further, the sample group extraction unit 372 outputs the extraction flag SelectFlag (k) to the interpolation processing unit 374.
  • the logarithmic gain application unit 373 includes the estimated spectrum S3 ′ (k) input from the sample group extraction unit 372, the maximum amplitude value MaxValue p, the extraction flag SelectFlag (k), and the quantized logarithmic gain input from the gain decoding unit 354. Based on ⁇ 2Q p and the sign Sign p (k) calculated according to the equation (20), estimation is performed according to the equations (21) and (22) for the sample whose extraction flag SelectFlag (k) is 1. A spectrum S5 ′ (k) is calculated.
  • the extraction flag SelectFlag (k) is input from the sample group extraction unit 372 to the interpolation processing unit 374. Further, the estimated spectrum S5 ′ (k) is input to the interpolation processing unit 374 from the logarithmic gain application unit 373. Further, the logarithmic gain ⁇ 2 p is input from the gain decoding unit 354 to the interpolation processing unit 374.
  • the interpolation processing unit 374 first calculates the linear interpolation parameter ⁇ 3 p in the linear region according to the logarithmic gain ⁇ 2 p according to the equation (23).
  • the linear interpolation parameter .alpha.3 p has the value (here, ALPHA3_LOW and ALPHA3_HIGH) which is predetermined according to the value of the logarithm gain [alpha] 2 p is adaptively set from the.
  • TH is a predetermined threshold value.
  • linear interpolation processing in the linear region using the maximum amplitude value MaxValue p in the logarithmic region calculated by the maximum amplitude value searching unit 371 is used, but instead of the maximum amplitude value in the logarithmic region. It is also possible to use the maximum amplitude value in the linear region.
  • the maximum amplitude value search unit 371 calculates the maximum amplitude value MaxValue p in the linear region as shown in Expression (25) instead of Expression (18).
  • the interpolation processing unit 374 performs linear interpolation processing in the linear region in accordance with Expression (26) instead of Expression (24). With this configuration, the number of logarithmic conversion processes and exponential conversion processes as shown in Expression (18) and Expression (24) can be reduced, and the amount of calculation can be further reduced.
  • the interpolation processing unit 374 outputs the calculated decoded spectrum S6 ′ (k) to the orthogonal transformation processing unit 356.
  • the low frequency part (0 ⁇ k ⁇ FL) of the decoded spectrum S6 ′ (k) is composed of the first layer decoded spectrum S1 (k).
  • the high frequency part (FL ⁇ k ⁇ FH) of the decoded spectrum S6 ′ (k) is energy adjusted in the logarithmic region (processing in the logarithmic gain applying unit 373) and linear with respect to the estimated spectrum S3 ′ (k). It consists of a spectrum that has been subjected to energy adjustment in a region (linear interpolation processing in the interpolation processing unit 374).
  • the energy adjustment process in the logarithmic region disclosed in Patent Literature 1 is a process using human auditory characteristics and is a very effective means.
  • the energy adjustment processing in the logarithmic region disclosed in Patent Document 1 requires logarithmic conversion for all samples (MDCT coefficients), and there is a problem that the amount of processing calculation becomes very large.
  • the samples subjected to the energy adjustment process in the logarithmic region are limited to the samples selected by the sample group extraction unit 372, and the linearity in the linear region is applied to the samples that are not selected. A method of performing interpolation processing was adopted.
  • the linear interpolation coefficient ⁇ 3 p is adaptively switched according to the value of the logarithmic gain ⁇ 2 p used for energy adjustment processing in the logarithmic region, A process similar to the energy adjustment process by the logarithmic gain in the logarithmic domain is approximately realized by the linear interpolation process in the linear domain.
  • FIG. 12 shows an example of a sample group to be subjected to logarithmic gain application processing in the logarithmic gain decoding unit 362 and linear interpolation processing in the linear region.
  • black blocks indicate samples having the maximum amplitude value in each subband (p-th subband in FIG. 12), and hatched blocks indicate samples whose sample index is an even number and are indicated by vertical lines.
  • a block indicates a sample existing around a sample having a maximum amplitude value (a block indicated by black), and a white block indicates a sample other than the above three types.
  • the logarithmic gain application unit 373 applies a logarithmic gain to a sample group other than the sample indicated by the white block
  • the interpolation processing unit 374 applies the sample group indicated by the white block.
  • An interpolation processing unit in the linear region is applied. Note that FIG. 12 is an example, and the present invention can be similarly applied to configurations other than the number shown in the drawing, for example, the number of samples existing around the sample having the maximum amplitude value.
  • Orthogonal transform processing section 356 orthogonally transforms decoded spectrum S6 '(k) input from spectrum adjusting section 355 into a time domain signal, and outputs the obtained second layer decoded signal as an output signal.
  • processing such as appropriate windowing and overlay addition is performed as necessary to avoid discontinuities between frames.
  • the orthogonal transform processing unit 356 has a buffer buf ′ (k) therein, and initializes the buffer buf ′ (k) as shown in the following equation (27).
  • orthogonal transform processing section 356 obtains second layer decoded signal y n ′′ according to the following equation (28) using second layer decoded spectrum S6 ′ (k) input from spectrum adjusting section 355.
  • Z4 (k) is a vector obtained by combining the decoded spectrum S6 ′ (k) and the buffer buf ′ (k) as shown in Expression (29) below.
  • the orthogonal transform processing unit 356 updates the buffer buf ′ (k) according to the following equation (30).
  • the orthogonal transform processing unit 356 outputs the decoded signal y n ′′ as an output signal.
  • the encoding apparatus uses the decoded low-frequency spectrum in encoding / decoding for performing band extension using the low-frequency spectrum and estimating the high-frequency spectrum.
  • the sample group is selected (decimated) for each subband of the estimated spectrum, and the gain adjustment parameter for gain adjustment in the logarithmic domain is calculated only for the selected sample.
  • the decoding device (including the local decoding unit on the encoding device side) applies the gain adjustment parameter only to the sample group selected with emphasis on the samples around the sample of the maximum amplitude value in each subband of the estimated spectrum.
  • interpolation processing in the linear region is performed using linear interpolation coefficients that are adaptively switched according to the gain adjustment parameter.
  • the encoding apparatus can significantly reduce the amount of processing computation required for calculating the gain adjustment parameter necessary for gain adjustment in the logarithmic domain.
  • the decoding device can greatly reduce the amount of processing computation required for energy adjustment processing suitable for human hearing.
  • the decoding device searches for a sample having the minimum amplitude value, sets an extraction flag for each sample according to the distance from the sample having the minimum amplitude value, and extracts the extracted sample.
  • the present invention can be similarly applied to the case where an amplitude adjustment parameter such as a logarithmic gain is calculated and applied only to (a sample in which the value of the extraction flag is set to 1).
  • Such a configuration can be said to be effective, for example, when the amplitude adjustment parameter has an effect of attenuating the estimated high frequency spectrum.
  • the sound quality may be improved by applying the attenuation process only to the periphery of the sample having the minimum amplitude value.
  • the maximum amplitude value is searched, and the sample is extracted with a weight (scale) that is more easily extracted as the sample is farther from the sample having the maximum amplitude value.
  • the structure to extract can also be considered and this invention is applicable similarly to such a structure.
  • the extraction flag in the setting of the extraction flag in the decoding device, an example of a configuration in which after searching for a sample having the maximum amplitude value in the subband, the extraction flag is set according to the distance from the sample. I gave it as an explanation.
  • the present invention is not limited to this, and the encoding apparatus selects a plurality of samples from the larger amplitude for each subband and sets an extraction flag according to the distance from each sample. Can be applied similarly. With the above configuration, when there are a plurality of samples having close amplitudes in the subband, the samples can be efficiently extracted.
  • the decoding apparatus determines whether or not the samples in each subband are close to the sample having the maximum amplitude value based on a threshold (Near p shown in Expression (19)).
  • a threshold Near p shown in Expression (19)
  • the decoding apparatus may select a wider range of samples as samples closer to the sample having the maximum amplitude value in the higher frequency subband. That is, in the present invention, the value of Near p shown in Equation (19) may be increased as the sub-band of the plurality of sub-bands is higher.
  • the value of Near p shown in Equation (19) is, for example, a value of about 5 to 21 (for example, Near of the lowest band subband when the number of samples (MDCT coefficients) in one frame is about 640). Experiments have confirmed that good results are obtained when the p value is 5 and the Near p value of the highest subband is 21).
  • the encoding device calculates gain adjustment parameters only from even-indexed samples, and the decoding device considers the distance from the sample having the maximum amplitude value in the subband. Even when the gain adjustment parameter is applied to the extracted sample, it is confirmed by experiment that there is no deterioration in sound quality. In other words, there is no problem even if the sample set (sample group) that is the target when calculating the gain adjustment parameter and the sample set (sample group) that is the target when applying the gain adjustment parameter do not necessarily match. I can say that. For example, as shown in the present embodiment, if the encoding device and the decoding device extract samples evenly over the entire subband, the gain adjustment parameter can be efficiently set without extracting all the samples.
  • the present invention is not limited to this, and the encoding apparatus is a target for calculating the logarithmic gain by the sample group extraction method corresponding to the distance from the maximum amplitude value in each subband, similarly to the decoding apparatus. The same applies to a configuration for selecting a sample group.
  • the encoding / decoding process for the low frequency component of the input signal and the encoding / decoding process for the high frequency component are separately performed, that is, encoding / decoding in a two-stage hierarchical structure.
  • decoding has been described.
  • the present invention is not limited to this, and can be similarly applied to the case of encoding / decoding with a hierarchical structure of three or more stages.
  • a sample set (a logarithmic gain) to which a gain adjustment parameter (logarithmic gain) is applied in the second layer decoding unit for generating the local decoding signal of the second layer encoding unit (
  • the sample group may be a sample set that does not consider the distance from the sample having the maximum amplitude value calculated in the encoding device of the present embodiment, and the maximum calculated in the decoding device of the present embodiment. It may be a sample set that takes into account the distance from a sample having an amplitude value.
  • the value of the extraction flag is forcibly set to 1 when the sample index is an even number.
  • the present invention is not limited to this.
  • the present invention can be similarly applied to the case where the value of the extraction flag is set to 1 when the remainder with respect to 3 of the index is 0. That is, in the present embodiment, there are no particular restrictions on samples extracted other than the sample corresponding to the distance from the sample having the maximum amplitude value, and the same applies to various selection methods.
  • the number J of subbands obtained by dividing the high frequency part of the input spectrum S2 (k) in the gain encoding unit 265 is calculated as the input spectrum S2 (k).
  • the present invention is not limited to this, and the number of subbands obtained by dividing the high frequency part of the input spectrum S2 (k) in the gain encoding unit 265 may be P.
  • the configuration has been described in which the high frequency part of the input spectrum is estimated using the low frequency component of the first layer decoded spectrum obtained from the first layer decoding part.
  • the present invention is not limited to this, and can be similarly applied to a configuration in which the high frequency part of the input spectrum is estimated using the low frequency component of the input spectrum instead of the first layer decoded spectrum.
  • the encoding device calculates encoding information (second layer encoding information) for generating a high frequency component of the input spectrum from the low frequency component of the input spectrum, and the decoding device performs this encoding.
  • Information is applied to the first layer decoded spectrum to generate a high frequency component of the decoded spectrum.
  • the processing for reducing the amount of calculation and improving the sound quality in the configuration for calculating and applying the parameter for adjusting the energy ratio in the logarithmic region based on the processing in Patent Document 1 will be described as an example. did.
  • the present invention is not limited to this, and can be similarly applied to a configuration in which the energy ratio is adjusted in a non-linear transformation region other than logarithmic transformation. Further, the present invention can be similarly applied not only to the nonlinear transformation region but also to the linear transformation region.
  • the processing for reducing the amount of computation and improving the sound quality in the configuration for calculating and applying the parameter for adjusting the energy ratio in the logarithmic domain is not limited to this, and can be similarly applied to processing other than the bandwidth expansion processing.
  • the interpolation processing unit always performs linear interpolation processing by the same method regardless of the type of input signal (for example, audio signal and musical tone signal), spectral characteristics, and the like.
  • the present invention is not limited to this, and can be similarly applied to a case where the processing in the interpolation processing unit is adaptively switched according to the type of input signal and the spectrum characteristics. For example, when the peak nature of the input signal is strong, that is, when the noise nature of the spectrum of the input signal is low, the linear interpolation parameter in the interpolation processing unit is fixed (for example, fixed to 0.95), and the peak nature of the input signal.
  • the linear interpolation parameter in the interpolation processing unit may be switched to one of two types as described in the above embodiment.
  • the effect of the energy adjustment processing in the interpolation processing unit can be weakened (the sample amplitude is not significantly changed before and after the interpolation processing).
  • suppression of abnormal noise can be suppressed as compared with the method described in the embodiment. This is processing based on auditory characteristics that the auditory masking value for a steep spectrum is low, and means that the amplification of the amplitude of the sample to be subjected to linear interpolation processing is suppressed at the peak portion of the spectrum.
  • the configuration described above requires the addition of a processing unit that determines the characteristics of the input signal (for example, peak strength or the like), compared to the method described in this embodiment, the amount of processing computation is Will increase.
  • the combination of the linear interpolation parameter and the threshold value described in the present embodiment TH, ALPHA3_LOW, ALPHA3_HIGH
  • a combination other than the above combination for example, TH2, ALPHA3_LOW2, ALPHA3_HIGH2
  • the decoding processing method in the decoding device has been described.
  • the present invention is not limited to the decoding device, and is similarly applied to an encoding device including the decoding processing method.
  • the apparatus further includes a second layer decoding unit 401 that generates a second layer decoded spectrum using the second encoded information
  • the present invention is similarly applied to an encoding apparatus 400 that further includes a third layer encoding unit 402 that encodes residual components of the two-layer decoded spectrum and the spectrum of the input signal (input spectrum). it can.
  • second layer decoding section 401 is a decoding processing section corresponding to second layer decoding section 135 shown in FIG.
  • the second layer decoding unit 135 is different from the second layer decoding unit 135 in that it does not include an orthogonal transform processing unit 356 and outputs a frequency domain signal (spectrum) instead of a time domain signal.
  • the names of the components to be output are different.
  • the present invention is not limited to the encoding method of third layer encoding section 402.
  • Third layer encoding section 402 may employ various quantization methods in addition to vector quantization of residual components. it can. Note that although the number of encoding units is three in the encoding device 400 illustrated in FIG. 13, the present invention can be similarly applied when the number of encoding units is four or more.
  • Embodiment 2 In Embodiment 1, using an additional parameter (second layer encoding information in Embodiment 1), an encoding apparatus using a band extension encoding method for generating a high-frequency spectrum from a low-frequency spectrum and a corresponding decoding device Explained.
  • G.1 which is standardized by ITU-T
  • G.2 Annex B the input signal is encoded by an encoding / decoding scheme of four modes according to the characteristics of the input signal (for example, input spectrum).
  • the four modes are TRANSIENT, NORMAL, HARMONIC, and NOISE, and an appropriate mode is determined from the input spectrum.
  • G In a multi-mode encoding / decoding method such as 722-SWB in which the encoding / decoding method is switched according to the characteristics of the input signal, the band extension encoding / decoding method described in the first embodiment (in the first embodiment, The configuration to which the second layer encoding unit / second layer decoding unit corresponds) will be described. In the present embodiment, a method for suppressing deterioration in sound quality (abnormal sound) that may occur when the encoding / decoding mode is switched in such a configuration will be described.
  • G. 722-SWB is a multi-mode encoding / decoding scheme having four modes of encoding / decoding, but for the sake of simplicity, multi-mode encoding having two modes of encoding / decoding will be described below. An explanation will be given by taking the decoding method as an example.
  • the configuration of the communication system having the encoding device and the decoding device according to the present embodiment is the same as that in the first embodiment (FIG. 1). However, since the internal configurations of the encoding device and the decoding device are different, only the code is replaced with the encoding device 111 and the decoding device 113. Since the processing of the encoding device 111 and the decoding device 113 is the same as that of the encoding device 101 and the decoding device 103, respectively, description thereof is omitted here.
  • FIG. 14 is a block diagram illustrating a main configuration inside the encoding device 111.
  • components other than the mode determination unit 501 and the second layer encoding unit 502 are the same as those in the encoding device 101 (FIG. 2) of the first embodiment. Therefore, the same reference numerals are given, and the description is omitted here.
  • the input spectrum is input from the orthogonal transform processing unit 205 to the mode determination unit 501.
  • the mode determination unit 501 analyzes the spectral characteristics of the input spectrum that is input (that is, the characteristics of the input signal), and determines mode information based on the analysis result.
  • Mode determination section 501 outputs the determined mode information to second layer encoding section 502.
  • the mode information is information indicating which one of two types of encoding methods to be described later is used for encoding.
  • the mode determination unit 501 determines “mode 1” or “mode 2” as the mode information.
  • the mode determination unit 501 analyzes whether the input spectrum is TRANSIENT or NON-TRANSIENT, and determines the mode information based on the analysis result. Details of the mode information determination method (for example, refer to the G.722-SWB standard) are not directly related to the present invention, and thus the description thereof is omitted here.
  • the input spectrum and the first layer decoded spectrum are input from the orthogonal transform processing unit 205 to the second layer encoding unit 502.
  • mode information is input from second mode encoding section 502 from mode determination section 501.
  • Second layer encoding section 502 encodes the input spectrum using one of the two types of encoding methods (mode 1 or mode 2) based on the input mode information using the first layer decoded spectrum. Second layer encoded information is generated. Second layer encoding section 502 outputs the generated second layer encoded information to transmission path 102 (FIG. 1) via encoded information integration section 207. Details of the processing of the second layer encoding unit 502 will be described later.
  • the second layer encoding unit 502 includes a switch 521, a switch 522, a first encoding unit 523, and a second encoding unit 524.
  • the switches 521 and 522 are controlled according to the mode information input from the mode determination unit 501 and output the input spectrum and the first layer decoded spectrum to either the first encoding unit 523 or the second encoding unit 524.
  • an arrow indicated by a broken line means not a data flow but a control.
  • the switch 521 and the switch 522 output the input spectrum and the first layer decoded spectrum to the first encoding unit 523, and the mode information is “mode 2”. Is output to the second encoding unit 524 with the input spectrum and the first layer decoded spectrum.
  • the switch 521 and the switch 522 perform switching control of the output destination of the input spectrum and the first layer decoded spectrum according to the mode of the encoding method.
  • the first encoding unit 523 When the mode information is “mode 1”, the first encoding unit 523 generates second layer encoded information using the input mode information, input spectrum, and first layer decoded spectrum. The first encoding unit 523 outputs the generated second layer encoded information to the encoded information integration unit 207. In the present embodiment, first encoding section 523 performs the same processing as second layer encoding section 206 described in Embodiment 1. Details of the processing of the first encoding unit 523 will be described later.
  • the second encoding unit 524 When the mode information is “mode 2”, the second encoding unit 524 generates the second layer encoded information using the input mode information, input spectrum, and first layer decoded spectrum. Second encoding section 524 outputs the generated second layer encoded information to encoded information integration section 207.
  • the second encoding unit 524 performs processing by an encoding method different from the encoding method in the first encoding unit 523. In the present embodiment, there is no need to particularly limit the encoding method used in the second encoding unit 524, and thus the description thereof is omitted.
  • An example of a configuration that employs the encoding method of “TRANSIENT” mode in 722-SWB is given.
  • the second layer encoding unit 502 includes a plurality of encoding units (a first encoding unit 523 and a second encoding unit 524) that switch a plurality of encoding methods.
  • the first encoding unit 523 includes a band dividing unit 260, a filter state setting unit 261, a filtering unit 262, a search unit 263, a pitch coefficient setting unit 264, a gain encoding unit 531 and a multiplexing unit 266.
  • the constituent elements other than the gain encoding unit 531 are the same as the constituent elements in the second layer encoding unit 206 (FIG. 3), and therefore, the same reference numerals are given and description thereof is omitted.
  • Mode information is input from the mode determination unit 501 to the gain encoding unit 531.
  • Gain encoding section 531, input spectrum S2 (k), and estimated spectrum S2 p of each subband received as input from searching section 263 '(k) (p 0,1, ..., P-1), the ideal Based on the gain ⁇ 1 p , a logarithmic gain, which is a parameter for adjusting the energy ratio in the nonlinear region, is calculated for each subband.
  • the gain encoding unit 531 quantizes the ideal gain and logarithmic gain using the mode information, and outputs the quantized ideal gain and logarithmic gain to the multiplexing unit 266.
  • the gain encoding unit 531 holds a memory that can store mode information therein.
  • the internal configuration of the gain encoding unit 531 is the same as that of the gain encoding unit 265 (FIG. 3) except that the memory is retained.
  • the gain encoding unit 531 has a case where the mode information stored in the memory at the time of previous frame processing differs from the mode information input in the current frame, that is, the encoding method is switched between the current frame and the previous frame. (Here, when the second encoding unit 524 operates in the previous frame and the first encoding unit 523 operates in the current frame), the ideal gain ⁇ 1 p to be quantized is determined according to the following equation (31). Apply attenuation.
  • is an attenuation coefficient that satisfies 0 ⁇ ⁇ 1, and has a preset value. Then, gain coding section 531 quantizes the ideal gain Arufa1' p where ⁇ is multiplied.
  • the gain encoding unit 531 encodes the current frame and the previous frame when the mode information at the time of the previous frame processing stored in the memory and the mode information input in the current frame are the same. Is switched (here, the first encoding unit 523 operates in both the previous frame and the current frame), the gain encoding unit 265 (FIG. 3) is not subjected to the attenuation process on the ideal gain to be quantized. ), The gain information is quantized. Next, gain encoding section 531 outputs the calculated ideal gain encoding information and logarithmic gain encoding information to multiplexing section 266.
  • the first encoding unit 523 adjusts the ideal gain used in the encoding method in the current frame. Specifically, the first encoding unit 523 attenuates the ideal gain used in the current frame when the encoding method is switched between the previous frame and the current frame.
  • FIG. 17 is a block diagram showing a main configuration inside the decoding device 113.
  • decoding apparatus 113 shown in FIG. 17 components other than encoded information separation section 601 and second layer decoding section 602 are the same as those in decoding apparatus 103 (FIG. 8) described in Embodiment 1. For this reason, the same reference numerals are given and description thereof is omitted.
  • the encoded information separation unit 601 includes the first layer encoded information, the second layer encoded information, and the like from the input encoded information (that is, encoded information received from the encoding device 111 (FIG. 14)).
  • the mode information is separated, the first layer encoded information is output to the first layer decoding section 132, and the second layer encoded information and the mode information are output to the second layer decoding section 602.
  • Second layer decoding section 602 uses first layer decoded spectrum S1 (k) input from orthogonal transform processing section 134, and second layer encoded information and mode information input from encoded information separating section 601. Then, from the first layer decoded spectrum S1 (k), the high frequency part of the audio signal is estimated, and the amplitude of the spectral component is adjusted to generate the second layer decoded signal including the high frequency component and output as the output signal To do.
  • FIG. 18 is a block diagram showing a main configuration inside second layer decoding section 602 shown in FIG.
  • the second layer decoding unit 602 includes a switch 621, a switch 622, a first decoding unit 623, and a second decoding unit 624.
  • the switch 621 and the switch 622 are controlled according to the mode information input from the encoding / separating unit 601, and the first layer decoded spectrum and the second layer encoded information are either the first decoding unit 623 or the second decoding unit 624. Output to. For example, when the mode information is “mode 1”, the switch 621 and the switch 622 output the first layer decoded spectrum and the second layer encoded information to the first decoding unit 623, and the mode information is “mode 2”. In the case, the first layer decoded spectrum and the second layer encoded information are output to the second decoding section 624. In this way, the switch 621 and the switch 622 perform switching control of the output destinations of the first layer decoded spectrum and the second layer encoded information according to the mode of the decoding method.
  • the first decoding unit 623 When the mode information is “mode 1”, the first decoding unit 623 generates an output signal using the input mode information, first layer decoded spectrum, and second layer encoded information. The first decoding unit 623 outputs the generated output signal.
  • first decoding section 623 performs the same processing as second layer decoding section 135 described in Embodiment 1, and therefore description thereof is omitted.
  • the ideal gain encoded information to be decoded, the [alpha] 1 p rather, that it is Arufa1' p is different from the second layer decoding section 135 of the first embodiment.
  • 2nd decoding part 624 produces
  • the second decoding unit 624 outputs the generated output signal.
  • the second decoding unit 624 performs processing by a decoding method different from the decoding method in the first decoding unit 623 (decoding method corresponding to the encoding method in the second encoding unit 524).
  • the decoding method used in the second decoding unit 624 does not need to be particularly limited. As an example, a configuration adopting a decoding scheme of “TRANSIENT” mode in 722-SWB can be given.
  • the encoding apparatus holds the mode information, and when the mode information of the previous frame is different from the mode information of the current frame, the encoding apparatus estimates the spectrum of the high frequency part.
  • the gain to be quantized is attenuated.
  • the encoding apparatus when there are a plurality of types of encoding / decoding schemes for estimating the high-band spectrum by performing band extension using the low-band spectrum, that is, when the multi-mode coding / decoding scheme is used, it is possible to provide a high-quality decoded signal while realizing a significant reduction in the processing amount.
  • the gain encoding unit of the encoding device holds mode information at the time of each frame processing, and a process for attenuating the ideal gain to be quantized when the mode information is switched is taken as an example.
  • the present invention is not limited to this, and the present embodiment can be similarly applied to a configuration that attenuates a gain to be quantized using information other than mode information.
  • a configuration in which the encoding device stores the frame energy of each frame in addition to the mode information at the time of processing each frame, and attenuates the gain to be quantized using these is given as an example.
  • the frame energy ratio (1.5) is 1 or more
  • amplification processing is performed instead of attenuation processing.
  • the attenuation coefficient ⁇ (0 ⁇ ⁇ 1) in the equation (31) is replaced with an “attenuation / amplification coefficient” that also allows a value of 1 or more, so that the amplification process can be performed by the same process as described above. It becomes possible.
  • the influence of abnormal sounds due to a sudden increase in gain is audible. For this reason, in the present embodiment, a configuration has been described in which sound quality deterioration is suppressed by a relatively simple process (a low-computation-amount process) against a rapid increase in gain.
  • the amount of processing calculation is increased by using the above frame energy as compared with the above configuration, not only when the frame energy (or gain) increases suddenly when the encoding mode is switched, but also rapidly. Even when it is reduced to a small value, the change in frame energy (or gain) can be smoothed. Thereby, sound quality degradation (abnormal noise) can be further suppressed.
  • the present invention is not limited to this, and the present embodiment can be similarly applied to a configuration in which gain information other than the ideal gain is attenuated (or amplified).
  • a configuration in which the gain encoding unit described in the present embodiment attenuates or amplifies logarithmic gain information is given as an example.
  • the gain encoding unit may attenuate or amplify the input spectrum itself that is the quantization target.
  • the gain encoding unit may select any one of an ideal gain, a logarithmic gain, an input spectrum, and the like for the configuration using the ratio (frame energy ratio) between the frame energy of the previous frame and the frame energy of the current frame as described above. Attenuation (or amplification) processing may be applied.
  • the configuration in which gain information is attenuated or amplified in the encoding device when mode information is switched has been described as an example.
  • the present invention is not limited to this, and the present embodiment can be similarly applied to a configuration in which gain information is attenuated or amplified in the decoding device.
  • the decoding device for example, the second layer decoding unit
  • the decoding device further includes a plurality of decoding units that switch a plurality of decoding methods according to the mode information, and when the decoding method is switched between the previous frame and the current frame, You may adjust the gain information used at the time of decoding.
  • the decoding device may perform attenuation and amplification processing on the decoded gain information (ideal gain or logarithmic gain) when detecting switching of mode information.
  • the decoding device may perform attenuation and amplification processing on the decoded spectrum generated using the decoded gain information (ideal gain and logarithmic gain).
  • the present embodiment when mode information is switched, a configuration in which gain information is attenuated using a predetermined attenuation coefficient has been described as an example.
  • the present invention is not limited to this, and the present embodiment can be similarly applied to a configuration that calculates an attenuation coefficient that attenuates gain information adaptively for each frame process.
  • the encoding device calculates the average value of the frame energy of the previous frame and the frame energy of the current frame so that the frame energy of the current frame approaches the calculated average value.
  • the gain information or the spectrum may be attenuated and amplified using various coefficients. That is, the encoding device (or decoding device) may attenuate or amplify gain information or spectrum used in the current frame using the frame energy of the previous frame.
  • the encoding device uses the gain information used in the previous frame to The gain information used in the above may be adjusted.
  • the encoding device causes the gain information used in the current frame to approach the gain information used in the previous frame.
  • the gain information used in the above may be adjusted. With such a configuration, even when the encoding method (decoding method) is switched, the encoding device (decoding device) can use gain information in consideration of the previous frame in the current frame. It is possible to further suppress sound quality deterioration (abnormal sound) that may occur when the decoding method) is switched.
  • the configuration provided with two types of encoding methods in the second layer encoding unit of the encoding device has been described as an example.
  • the present invention is not limited to this, and the present embodiment can be similarly applied to a configuration including three or more types of encoding schemes, that is, a configuration employing three or more types of multimode encoding / decoding schemes.
  • the present embodiment is not limited to this, and the present embodiment is also applied to a configuration in which an encoding unit (for example, the second encoding unit) other than the first encoding unit similarly performs attenuation (or amplification) processing. Can be applied as well. That is, in the multi-mode encoding / decoding scheme, the same processing as that of the present embodiment may be applied to the encoding / decoding schemes of some modes, and may be applied to the encoding / decoding schemes of all modes. May be.
  • the decoding device in the above embodiment performs processing using the encoded information transmitted from the encoding device in each of the above embodiments
  • the present invention is not limited to this, and necessary parameters or As long as the encoded information includes data, the process can be performed even if it is not necessarily the encoded information from the encoding device in each of the above embodiments.
  • the present invention can also be applied to a case where a signal processing program is recorded and written on a machine-readable recording medium such as a memory, a disk, a tape, a CD, or a DVD, and the operation is performed. Actions and effects similar to those of the form can be obtained.
  • each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Although referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable / processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the decoding apparatus, the encoding apparatus, and these methods according to the present invention can improve the quality of a decoded signal when performing band extension using a low-band spectrum and estimating a high-band spectrum, For example, it can be applied to a packet communication system, a mobile communication system, and the like.

Abstract

 広帯域信号の高域部のスペクトルデータを効率的に符号化/復号することができ、処理演算量の大幅な削減を実現するとともに、復号信号の品質も改善することができる復号装置。この装置において、サンプル群抽出部(372)は、第2復号信号のスペクトルから算出される複数のサブバンドのそれぞれのスペクトルに最も近似する帯域、および、第2符号化情報に含まれる第1振幅調整パラメータにより推定された高域のスペクトルにおいて、振幅値が最大であるスペクトル成分に近接するスペクトル成分ほど選択されやすい重みにより、スペクトル成分を部分的に選択し、対数ゲイン適用部(373)は、部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用し、補間処理部(374)は、部分的に選択されなかったスペクトル成分に対して第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する。

Description

復号装置、符号化装置およびこれらの方法
 本発明は、信号を符号化して伝送する通信システムに用いられる復号装置、符号化装置およびこれらの方法に関する。
 インターネット通信に代表されるパケット通信システム、または、移動通信システム等で音声・楽音信号を伝送する場合、音声・楽音信号の伝送効率を高めるため、圧縮・符号化技術がよく使われる。また、近年では、単に低ビットレートで音声・楽音信号を符号化するという一方で、より広帯域の音声・楽音信号を符号化する技術に対するニーズが高まっている。
 このようなニーズに対して、符号化後の情報量を大幅に増加させることなく広帯域の音声・楽音信号を符号化する様々な技術が開発されてきている。例えば特許文献1で開示されている技術では、符号化装置は、一定時間分の入力音響信号を変換して得られるスペクトルデータのうち、周波数の高域部のスペクトルを生成するためのパラメータを算出し、これを低域部の符号化情報と合わせて出力している。具体的には、符号化装置は、周波数の高域部のスペクトルデータを複数のサブバンドに分割し、各サブバンドにおいて、当該サブバンドのスペクトルと最も近似する低域部のスペクトルを特定するパラメータを算出する。次いで、符号化装置は、最も近似する低域部のスペクトルに対して、二種類のスケーリングファクタを用いて、生成する高域スペクトル中のピーク振幅、またはサブバンドのエネルギ(以下、サブバンドエネルギという)及び形状が、ターゲットである入力信号の高域部のスペクトルのピーク振幅、サブバンドエネルギ、形状に近くなるように調整する。
国際公開第2007/052088号
 しかしながら、上記特許文献1では、符号化装置は、高域スペクトルを合成する際に、入力信号のスペクトルデータ及び合成している高域スペクトルデータの、すべてのサンプル(MDCT(Modified Discrete Cosine Transform)係数)に対して対数変換を行う。そして、符号化装置は、それぞれのサブバンドエネルギ及び形状がターゲットである入力信号の高域部のスペクトルのピーク振幅、サブバンドエネルギ、形状に近くなるようなパラメータを算出している。このため、符号化装置における演算量が非常に大きいという問題点がある。また、復号装置は、算出したパラメータをサブバンド内の全てのサンプルに適用しており、個々のサンプルの振幅の大きさは考慮していない。このため、上記算出したパラメータを用いて高域スペクトルを生成する際の復号装置における演算量も非常に大きくなり、かつ、生成される復号音声の品質が不十分であり、場合によっては異音が発生する可能性もある。
 本発明の目的は、広帯域信号の低域部のスペクトルデータに基づいて高域部のスペクトルデータを効率的に符号化し、復号信号の品質を改善することができる復号装置、符号化装置およびこれらの方法を提供することである。
 本発明の第1の態様に係る復号装置は、音声信号又は音楽信号の所定周波数以下の低域部分を示す第1符号化情報と、前記音声信号又は音楽信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記音声信号又は音楽信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報と、を受信する受信手段と、前記第1符号化情報を復号して第1復号信号を生成する第1復号手段と、前記第2符号化情報を用いて、前記第1復号信号から前記音声信号又は音楽信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復号手段と、を具備する復号装置であって、前記第2復号手段は、推定した前記音声信号又は音楽信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択手段と、前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用手段と、前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用手段と、を具備する構成を採る。
 本発明の第2の態様に係る符号化装置は、入力信号の所定周波数以下の低域部分を符号化して第1符号化情報を生成する第1符号化手段と、前記第1符号化情報を復号して第1復号信号を生成する復号手段と、前記入力信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記入力信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報を生成する第2符号化手段と、前記第2符号化情報を用いて、前記第1復号信号から前記入力信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復号手段と、前記第1復号信号および前記第2復号信号と、前記入力信号との差分信号を符号化し、第3符号化情報を生成する第3符号化手段と、を具備する符号化装置であって、前記第2復号手段は、推定した前記入力信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択手段と、前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用手段と、前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用手段と、を具備する構成を採る。
 本発明の第3の態様に係る復号方法は、音声信号又は音楽信号の所定周波数以下の低域部分を示す第1符号化情報と、前記音声信号又は音楽信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記音声信号又は音楽信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報と、を受信する受信ステップと、前記第1符号化情報を復号して第1復号信号を生成する第1復号ステップと、前記第2符号化情報を用いて、前記第1復号信号から前記音声信号又は音楽信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復ステップと、を具備する復号方法であって、前記第2復号ステップは、推定した前記音声信号又は音楽信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択ステップと、前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用ステップと、前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用ステップと、を具備する構成を採る。
 本発明の第4の態様に係る符号化方法は、入力信号の所定周波数以下の低域部分を符号化して第1符号化情報を生成する第1符号化ステップと、前記第1符号化情報を復号して第1復号信号を生成する復号ステップと、前記入力信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記入力信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報を生成する第2符号化ステップと、前記第2符号化情報を用いて、前記第1復号信号から前記入力信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復号ステップと、前記第1復号信号および前記第2復号信号と、前記入力信号との差分信号を符号化し、第3符号化情報を生成する第3符号化ステップと、を具備する符号化方法であって、前記第2復号ステップは、推定した前記入力信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択ステップと、前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用ステップと、前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用ステップと、を具備する構成を採る。
 本発明によれば、広帯域信号の高域部のスペクトルデータを効率的に符号化/復号することができ、処理演算量の大幅な削減を実現するとともに、復号信号の品質も改善することができる。
本発明の実施の形態1に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図 本発明の実施の形態1に係る図1に示した符号化装置の内部の主要な構成を示すブロック図 本発明の実施の形態1に係る図2に示した第2レイヤ符号化部の内部の主要な構成を示すブロック図 本発明の実施の形態1に係る図3に示したゲイン符号化部の主要な構成を示すブロック図 本発明の実施の形態1に係る図4に示した対数ゲイン符号化部の主要な構成を示すブロック図 本発明の実施の形態1に係るフィルタリング部におけるフィルタリング処理の詳細について説明するための図 本発明の実施の形態1に係る探索部においてサブバンドSBに対して最適ピッチ係数T’を探索する処理の手順を示すフロー図 本発明の実施の形態1に係る図1に示した復号装置の内部の主要な構成を示すブロック図 本発明の実施の形態1に係る図8に示した第2レイヤ復号部の内部の主要な構成を示すブロック図 本発明の実施の形態1に係る図9に示したスペクトル調整部の内部の主要な構成を示すブロック図 本発明の実施の形態1に係る図10に示した対数ゲイン復号部の内部の主要な構成を示すブロック図 本発明の実施の形態1に係る対数ゲイン復号部における対数ゲイン適用部及び補間処理部それぞれの適用対象となるサンプルについて説明するための図 本発明の実施の形態1に係るその他の符号化装置の内部の主要な構成を示すブロック図 本発明の実施の形態2に係る図1に示した符号化装置の内部の主要な構成を示すブロック図 本発明の実施の形態2に係る図14に示した第2レイヤ符号化部の内部の主要な構成を示すブロック図 本発明の実施の形態2に係る図15に示した第1符号化部の主要な構成を示すブロック図 本発明の実施の形態2に係る図1に示した復号装置の内部の主要な構成を示すブロック図 本発明の実施の形態2に係る図17に示した第2レイヤ復号部の内部の主要な構成を示すブロック図
 本発明においては、符号化装置が、符号化対象となる信号の高域部のスペクトルデータを低域部のスペクトルデータに基づいて生成する際、サブバンド内で振幅が最大であるサンプルの位置に基づき抽出されたサンプル群に対してサブバンドエネルギ及び形状の調整パラメータを算出する。また、復号装置が、前記パラメータを、サブバンド内で振幅が最大であるサンプルの位置に基づき抽出されたサンプル群に対して適用する。これにより、広帯域信号の高域部のスペクトルデータを効率的に符号化/復号することができ、処理演算量の大幅な削減を実現するとともに、復号信号の品質も改善することができるものである。
 以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置および復号装置は、入力信号/出力信号として、音声信号、楽音信号、及び、これらが混在した信号、のいずれについても対象とするものとする。本発明の各実施の形態においては、音声符号化装置および音声復号装置を例にとって説明する。
 (実施の形態1)
 図1は、本実施の形態に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図である。図1において、通信システムは、符号化装置101と復号装置103とを備え、それぞれ伝送路102を介して通信可能な状態となっている。なお、符号化装置101および復号装置103はいずれも、通常、基地局装置あるいは通信端末装置等に搭載されて用いられる。
 符号化装置101は、入力信号をNサンプルずつ区切り(Nは自然数)、Nサンプルを1フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をx(n=0、…、N-1)と表すこととする。nは、Nサンプルずつ区切られた入力信号のうち、信号要素のn+1番目を示す。符号化装置101は、符号化した入力情報(符号化情報)を、伝送路102を介して復号装置103に送信する。
 復号装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信し、これを復号し出力信号を得る。
 図2は、図1に示した符号化装置101の内部の主要な構成を示すブロック図である。入力信号のサンプリング周波数をSRとすると、ダウンサンプリング処理部201は、入力信号のサンプリング周波数をSRからSRまでダウンサンプリングし(SR<SR)、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、第1レイヤ符号化部202に出力する。なお、以下では、一例として、SRはSRの1/2のサンプリング周波数である場合について説明する。
 第1レイヤ符号化部202は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対して、例えばCELP(Code Excited Linear Prediction)方式の音声符号化方法を用いて符号化を行って第1レイヤ符号化情報を生成する。具体的には、第1レイヤ符号化部202は、入力信号の所定周波数以下の低域部分を符号化して第1レイヤ符号化情報を生成する。そして、第1レイヤ符号化部202は、生成した第1レイヤ符号化情報を第1レイヤ復号部203および符号化情報統合部207に出力する。
 第1レイヤ復号部203は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報に対して、例えばCELP方式の音声復号方法を用いて復号を行って第1レイヤ復号信号を生成する。そして、第1レイヤ復号部203は、生成した第1レイヤ復号信号をアップサンプリング処理部204に出力する。
 アップサンプリング処理部204は、第1レイヤ復号部203から入力される第1レイヤ復号信号のサンプリング周波数をSRからSRまでアップサンプリングし、アップサンプリングした第1レイヤ復号信号をアップサンプリング後第1レイヤ復号信号として、直交変換処理部205に出力する。
 直交変換処理部205は、バッファbuf1およびbuf2(n=0、…、N-1)を内部に有し、入力信号xおよびアップサンプリング処理部204から入力されるアップサンプリング後第1レイヤ復号信号yを修正離散コサイン変換(MDCT:Modified Discrete Cosine Transform)する。
 以下、直交変換処理部205における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。
 まず、直交変換処理部205は、下記の式(1)および式(2)によりバッファbuf1およびbuf2それぞれを、「0」を初期値として初期化する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 次いで、直交変換処理部205は、入力信号xおよびアップサンプリング後第1レイヤ復号信号yに対し下記の式(3)および式(4)に従ってMDCTし、入力信号のMDCT係数(以下、入力スペクトルと呼ぶ)S2(k)およびアップサンプリング後第1レイヤ復号信号ynのMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)S1(k)を求める。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 ここで、kは1フレームにおける各サンプルのインデックスを示す。直交変換処理部205は、入力信号xとバッファbuf1とを結合させたベクトルであるx’を下記の式(5)により求める。また、直交変換処理部205は、アップサンプリング後第1レイヤ復号信号yとバッファbuf2とを結合させたベクトルであるy’を下記の式(6)により求める。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 次いで、直交変換処理部205は、式(7)および式(8)によりバッファbuf1およびbuf2を更新する。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 そして、直交変換処理部205は、入力スペクトルS2(k)および第1レイヤ復号スペクトルS1(k)を第2レイヤ符号化部206に出力する。
 以上、直交変換処理部205における直交変換処理について説明した。
 第2レイヤ符号化部206は、直交変換処理部205から入力される入力スペクトルS2(k)および第1レイヤ復号スペクトルS1(k)を用いて第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部206の詳細については後述する。
 符号化情報統合部207は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報と、第2レイヤ符号化部206から入力される第2レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
 次に、図2に示した第2レイヤ符号化部206の内部の主要な構成について図3を用いて説明する。
 第2レイヤ符号化部206は、帯域分割部260、フィルタ状態設定部261、フィルタリング部262、探索部263、ピッチ係数設定部264、ゲイン符号化部265および多重化部266を備え、各部は以下の動作を行う。
 帯域分割部260は、直交変換処理部205から入力される入力スペクトルS2(k)の所定周波数より高い高域部(FL≦k<FH)をP個(ただし、Pは1より大きい整数)のサブバンドSB(p=0,1,…,P-1)に分割する。そして、帯域分割部260は、分割した各サブバンドのバンド幅BW(p=0,1,…,P-1)および先頭インデックス(つまり、サブバンドの開始位置)BS(p=0,1,…,P-1)(FL≦BS<FH)を帯域分割情報(入力信号の所定周波数より高い高域部分を分割した複数のサブバンドにおいて、入力信号の高域部分のスペクトルを推定するための情報)としてフィルタリング部262、探索部263および多重化部266に出力する。以下、入力スペクトルS2(k)のうち、サブバンドSBに対応する部分をサブバンドスペクトルS2(k)(BS≦k<BS+BW)と記す。
 フィルタ状態設定部261は、直交変換処理部205から入力される第1レイヤ復号スペクトルS1(k)(0≦k<FL)を、フィルタリング部262で用いるフィルタ状態として設定する。つまり、フィルタリング部262における全周波数帯域0≦k<FHのスペクトルS(k)の0≦k<FLの帯域に、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。
 フィルタリング部262は、マルチタップのピッチフィルタを備え、フィルタ状態設定部261により設定されたフィルタ状態と、ピッチ係数設定部264から入力されるピッチ係数と、帯域分割部260から入力される帯域分割情報とに基づいて、第1レイヤ復号スペクトルをフィルタリングし、各サブバンドSB(p=0,1,…,P-1)の推定値S2’(k)(BS≦k<BS+BW)(p=0,1,…,P-1)(以下、「サブバンドSBの推定スペクトル」と称す)を算出する。フィルタリング部262は、サブバンドSBの推定スペクトルS2’(k)を探索部263に出力する。なお、フィルタリング部262におけるフィルタリング処理の詳細については後述する。なお、マルチタップのタップ数は1以上の任意の値(整数)をとることができるものとする。
 探索部263は、帯域分割部260から入力される帯域分割情報に基づき、フィルタリング部262から入力されるサブバンドSBの推定スペクトルS2’(k)と、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)における各サブバンドスペクトルS2(k)との類似度を算出する。この類似度の算出は、例えば相関演算等により行われる。また、フィルタリング部262、探索部263およびピッチ係数設定部264の処理は、サブバンド毎に閉ループの探索処理を構成し、各閉ループにおいて、探索部263は、ピッチ係数設定部264からフィルタリング部262に入力されるピッチ係数Tを種々に変化させることにより、各ピッチ係数に対応する類似度を算出する。探索部263は、サブバンド毎の閉ループにおいて、例えば、サブバンドSBに対応する閉ループにおいて類似度が最大となる最適ピッチ係数T’(ただしTmin~Tmaxの範囲)を求め、P個の最適ピッチ係数を多重化部266に出力する。探索部263における類似度の算出方法の詳細については後述する。
 探索部263は、各最適ピッチ係数T’を用いて、各サブバンドSBに類似する、第1レイヤ復号スペクトルの一部帯域(すなわち、各サブバンドのそれぞれのスペクトルに最も近似する帯域)を算出する。また、探索部263は、各最適ピッチ係数T’(p=0,1,…,P-1)に対応する推定スペクトルS2’(k)、及び、式(9)に従って算出される、最適ピッチ係数T’(p=0,1,…,P-1)を算出した際の振幅調整パラメータである理想ゲインα1を、ゲイン符号化部265に出力する。なお、式(9)において、M’は、類似度Dを算出する際のサンプル数を示し、各サブバンドのバンド幅以下の任意の値でよい。なお、探索部263における最適ピッチ係数T’(p=0,1,…,P-1)の探索処理の詳細については後述する。
Figure JPOXMLDOC01-appb-M000009
 ピッチ係数設定部264は、探索部263の制御の下、フィルタリング部262及び探索部263とともに、ピッチ係数Tを、予め定められた探索範囲Tmin~Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。なお、ピッチ係数設定部264は、例えば、第1サブバンドに対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲Tmin~Tmaxの中で少しずつ変化させながら設定し、第2サブバンド以降の第m(m=2,3,…,P)サブバンドに対応する閉ループの探索処理を行う場合には、第m-1サブバンドに対応する閉ループの探索処理において求められた最適ピッチ係数に基づき、ピッチ係数Tを、少しずつ変化させながら設定してもよい。
 ゲイン符号化部265は、入力スペクトルS2(k)、および、探索部263から入力される各サブバンドの推定スペクトルS2’(k)(p=0,1,…,P-1)、理想ゲインα1に基づいて、非線形領域でのエネルギ比調整を行うパラメータである対数ゲインを、各サブバンドに対して算出する。次いで、ゲイン符号化部265は、理想ゲイン及び対数ゲインを量子化し、量子化した理想ゲイン及び対数ゲインを多重化部266に出力する。
 図4は、ゲイン符号化部265の内部構成を示す図である。ゲイン符号化部265は、理想ゲイン符号化部271および対数ゲイン符号化部272から主に構成される。
 理想ゲイン符号化部271は、探索部263から入力される各サブバンドの推定スペクトルS2’(k)(p=0,1,…,P-1)を周波数領域で連続させて入力スペクトルの高域部の推定スペクトルS2’(k)を構成する。次いで、理想ゲイン符号化部271は、式(10)に従って、探索部263から入力される各サブバンドに対する理想ゲインα1を推定スペクトルS2’(k)に乗じ、推定スペクトルS3’(k)を算出する。なお、式(10)において、BLは各サブバンドの先頭インデックスを示し、BHは各サブバンドの終端インデックスを示す。そして、理想ゲイン符号化部271は、算出した推定スペクトルS3’(k)を対数ゲイン符号化部272に出力する。また、理想ゲイン符号化部271は、理想ゲインα1を量子化し、量子化した理想ゲインα1Qを理想ゲイン符号化情報として多重化部266に出力する。
Figure JPOXMLDOC01-appb-M000010
 対数ゲイン符号化部272は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)と、理想ゲイン符号化部271から入力される推定スペクトルS3’(k)とのサブバンド毎の非線形領域でのエネルギ比調整を行うパラメータ(つまり、振幅調整パラメータ)である対数ゲインを算出し、算出した対数ゲインを対数ゲイン符号化情報として多重化部266に出力する。
 図5に、対数ゲイン符号化部272の内部構成を示す。対数ゲイン符号化部272は、最大振幅値探索部281、サンプル群抽出部282および対数ゲイン算出部283から主に構成される。
 最大振幅値探索部281は、式(11)のようにして、理想ゲイン符号化部271から入力される推定スペクトルS3’(k)に対して、対数領域での最大振幅値MaxValue、および、振幅が最大であるサンプル(スペクトル成分)のインデックス、最大振幅インデックスMaxIndexをサブバンド毎に探索する。
Figure JPOXMLDOC01-appb-M000011
 つまり、最大振幅値探索部281は、インデックスが偶数であるサンプルのみに対して対数領域での最大振幅値の探索を行う。これにより、最大振幅値の探索に対する演算量を効率的に削減することができる。
 そして、最大振幅値探索部281は、推定スペクトルS3’(k)、最大振幅値MaxValueおよび最大振幅インデックスMaxIndexをサンプル群抽出部282に出力する。
 サンプル群抽出部282は、最大振幅値探索部281から入力される推定スペクトルS3’(k)に対して、以下の式(12)に従って、各サンプル(スペクトル成分)に対する抽出フラグSelectFlag(k)の値を決定する。
Figure JPOXMLDOC01-appb-M000012
 つまり、サンプル群抽出部282は、式(12)に示すように、インデックスが奇数であるサンプルに対しては、抽出フラグSelectFlag(k)の値を0に設定し、インデックスが偶数であるサンプルに対しては、抽出フラグSelectFlag(k)の値を1に設定する。すなわち、サンプル群抽出部282は、推定スペクトルS3’(k)に対して、サンプル(スペクトル成分)を部分的に(ここでは、偶数のインデックスのサンプルのみ)選択する。そして、サンプル群抽出部282は、抽出フラグSelectFlag(k)、推定スペクトルS3’(k)、および、最大振幅値MaxValueを対数ゲイン算出部283に出力する。
 対数ゲイン算出部283は、サンプル群抽出部282から入力される抽出フラグSelectFlag(k)の値が1であるサンプルに対して、式(13)に従って、推定スペクトルS3’(k)と入力スペクトルS2(k)との高域部(FL≦k<FH)の対数領域でのエネルギ比(対数ゲイン)α2を算出する。すなわち、対数ゲイン算出部283は、サンプル群抽出部282で部分的に選択されたサンプルに対してのみ、対数ゲインα2を算出する。
Figure JPOXMLDOC01-appb-M000013
 そして、対数ゲイン算出部283は、対数ゲインα2を量子化し、量子化した対数ゲインα2Qを対数ゲイン符号化情報として多重化部266に出力する。
 以上、ゲイン符号化部265の処理について説明した。
 多重化部266は、帯域分割部260から入力される帯域分割情報と、探索部263から入力される各サブバンドSB(p=0,1,…,P-1)に対する最適ピッチ係数T’と、ゲイン符号化部265から入力される理想ゲインα1Q及び対数ゲインα2Qにそれぞれ対応するインデックス(理想ゲイン符号化情報および対数ゲイン符号化情報。つまり、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整するパラメータ)と、を第2レイヤ符号化情報として多重化し、符号化情報統合部207に出力する。なお、T’と、α1Qおよびα2Qのインデックスとを直接、符号化情報統合部207に入力して、符号化情報統合部207にて第1レイヤ符号化情報と多重化してもよい。
 次いで、図3に示したフィルタリング部262におけるフィルタリング処理の詳細について、図6を用いて説明する。
 フィルタリング部262は、フィルタ状態設定部261から入力されるフィルタ状態と、ピッチ係数設定部264から入力されるピッチ係数Tと、帯域分割部260から入力される帯域分割情報とを用いて、サブバンドSB(p=0,1,…,P-1)に対して、帯域BS≦k<BS+BW(p=0,1,…,P-1)における推定スペクトルを生成する。フィルタリング部262において用いるフィルタの伝達関数F(z)は下記の式(14)で表される。
 以下、サブバンドSBを例にとり、サブバンドスペクトルS2(k)の推定スペクトルS2’(k)を生成する処理を説明する。
Figure JPOXMLDOC01-appb-M000014
 式(14)において、Tはピッチ係数設定部264から与えられるピッチ係数、βは予め内部に記憶されているフィルタ係数を表している。例えば、タップ数が3の場合、フィルタ係数の候補は(β-1、β、β)=(0.1、0.8、0.1)が一例として挙げられる。この他に、フィルタ係数の候補として、(β-1、β、β)=(0.2、0.6、0.2)、(0.3、0.4、0.3)などの値も適当である。また、フィルタ係数の候補として、(β-1、β、β)=(0.0、1.0、0.0)の値でもよく、この場合には帯域0≦k<FLの第1レイヤ復号スペクトルの一部帯域をその形状を変化させずにそのままBS≦k<BS+BWの帯域にコピーすることを意味する。以下の説明では、(β-1、β、β)=(0.0、1.0、0.0)である場合を例にとって説明する。また、式(14)においてM=1とする。Mはタップ数に関する指標である。
 フィルタリング部262における全周波数帯域のスペクトルS(k)の0≦k<FLの帯域には、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。
 S(k)のBS≦k<BS+BWの帯域には、以下の手順のフィルタリング処理によりサブバンドSBの推定スペクトルS2’(k)が格納される。すなわち、図6に示すように、S2’(k)には、基本的に、このkよりTだけ低い周波数のスペクトルS(k-T)が代入される。ただし、スペクトルの円滑性を増すために、実際には、スペクトルS(k-T)からiだけ離れた近傍のスペクトルS(k-T+i)に所定のフィルタ係数βを乗じたスペクトルβ・S(k-T+i)を、全てのiについて加算したスペクトルをS2’(k)に代入する。この処理は下記の式(15)で表される。
Figure JPOXMLDOC01-appb-M000015
 上記演算を、周波数の低いk=BSから順に、kをBS≦k<BS+BWの範囲で変化させて行うことにより、BS≦k<BS+BWにおける推定スペクトルS2’(k)を算出する。
 以上のフィルタリング処理は、ピッチ係数設定部264からピッチ係数Tが与えられる度に、BS≦k<BS+BWの範囲において、その都度S(k)をゼロクリアして行われる。すなわち、ピッチ係数Tが変化するたびにS(k)は算出され、探索部263に出力される。
 図7は、図3に示した探索部263においてサブバンドSBに対して最適ピッチ係数T’を探索する処理の手順を示すフロー図である。なお、探索部263は、図7に示した手順を繰り返すことにより、各サブバンドSB(p=0,1,…,P-1)に対応する最適ピッチ係数T’(p=0,1,…,P-1)を探索する。
 まず、探索部263は、類似度の最小値を保存するための変数である最小類似度Dminを「+∞」に初期化する(ST2010)。次いで、探索部263は、下記の式(16)に従い、あるピッチ係数における入力スペクトルS2(k)の高域部(FL≦k<FH)と、推定スペクトルS2’(k)との類似度Dを算出する(ST2020)。
Figure JPOXMLDOC01-appb-M000016
 式(16)において、M’は、類似度Dを算出する際のサンプル数を示し、各サブバンドのバンド幅以下の任意の値でよい。なお、式(16)中にはS2’(k)が存在しないが、これはBSとS2’(k)を用いてS2’(k)を表しているためである。
 次いで、探索部263は算出した類似度Dが最小類似度Dminより小さいか否かを判定する(ST2030)。ST2020において算出された類似度が最小類似度Dminより小さい場合(ST2030:「YES」)には、探索部263は、類似度Dを最小類似度Dminに代入する(ST2040)。一方、ST2020において算出された類似度が最小類似度Dmin以上である場合(ST2030:「NO」)には、探索部263は、探索範囲にわたる処理が終了した否かを判定する。すなわち、探索部263は、探索範囲内のすべてのピッチ係数それぞれに対し、ST2020において上記の式(16)に従って類似度を算出したか否かを判定する(ST2050)。探索範囲にわたって処理が終了していなかった場合(ST2050:「NO」)には、探索部263は処理を再びST2020に戻す。そして、探索部263は、前回のST2020の手順において式(16)に従って類似度を算出した場合とは異なるピッチ係数に対して、式(16)に従い類似度を算出する。一方、探索範囲にわたる処理が終了した場合(ST2050:「YES」)には、探索部263は、最小類似度Dminに対応するピッチ係数Tを最適ピッチ係数T’として多重化部266に出力する(ST2060)。
 次に、図1に示した復号装置103について説明する。
 図8は、復号装置103の内部の主要な構成を示すブロック図である。
 図8において、符号化情報分離部131は、入力された符号化情報(すなわち、符号化装置101から受信した符号化情報)の中から第1レイヤ符号化情報と第2レイヤ符号化情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部132に出力し、第2レイヤ符号化情報を第2レイヤ復号部135に出力する。
 第1レイヤ復号部132は、符号化情報分離部131から入力される第1レイヤ符号化情報に対して復号を行い、生成された第1レイヤ復号信号をアップサンプリング処理部133に出力する。ここで、第1レイヤ復号部132の動作は、図2に示した第1レイヤ復号部203と同様であるため、詳細な説明は省略する。
 アップサンプリング処理部133は、第1レイヤ復号部132から入力される第1レイヤ復号信号に対してサンプリング周波数をSRからSRまでアップサンプリングする処理を行い、得られるアップサンプリング後第1レイヤ復号信号を直交変換処理部134に出力する。
 直交変換処理部134は、アップサンプリング処理部133から入力されるアップサンプリング後第1レイヤ復号信号に対して直交変換処理(MDCT)を施し、得られるアップサンプリング後第1レイヤ復号信号のMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)S1(k)を第2レイヤ復号部135に出力する。ここで、直交変換処理部134の動作は、図2に示した直交変換処理部205のアップサンプリング後第1レイヤ復号信号に対する処理と同様であるため、詳細な説明は省略する。
 第2レイヤ復号部135は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)、および、符号化情報分離部131から入力される第2レイヤ符号化情報を用いて、第1レイヤ復号スペクトルS1(k)から、音声信号の高域部分を推定し、スペクトル成分の振幅を調整することにより、高域成分を含む第2レイヤ復号信号を生成し出力信号として出力する。
 図9は、図8に示した第2レイヤ復号部135の内部の主要な構成を示すブロック図である。
 分離部351は、符号化情報分離部131から入力される第2レイヤ符号化情報を、各サブバンドのバンド幅BW(p=0,1,…,P-1)、先頭インデックスBS(p=0,1,…,P-1)(FL≦BS<FH)を含む帯域分割情報と、フィルタリングに関する情報である最適ピッチ係数T’(p=0,1,…,P-1)と、ゲインに関する情報である理想ゲイン符号化情報(j=0,1,…,J-1)及び対数ゲイン符号化情報(j=0,1,…,J-1)のインデックスと、に分離する。そして、分離部351は、帯域分割情報および最適ピッチ係数T’(p=0,1,…,P-1)をフィルタリング部353に出力し、理想ゲイン符号化情報及び対数ゲイン符号化情報のインデックスをゲイン復号部354に出力する。なお、符号化情報分離部131において、帯域分割情報と、最適ピッチ係数T’(p=0,1,…,P-1)と、理想ゲイン符号化情報及び対数ゲイン符号化情報のインデックスとを分離済みの場合は、分離部351を配置しなくてもよい。
 フィルタ状態設定部352は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)(0≦k<FL)を、フィルタリング部353で用いるフィルタ状態として設定する。ここで、フィルタリング部353における全周波数帯域0≦k<FHのスペクトルを便宜的にS(k)と呼ぶ場合、S(k)の0≦k<FLの帯域に、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。ここで、フィルタ状態設定部352の構成および動作は、図3に示したフィルタ状態設定部261と同様であるため、詳細な説明は省略する。
 フィルタリング部353は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部353は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数T’(p=0,1,…,P-1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、上記の式(15)に示す、各サブバンドSB(p=0,1,…,P-1)の推定値S2’(k)(BS≦k<BS+BW)(p=0,1,…,P-1)を算出する。フィルタリング部353でも、上記の式(14)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(14)、式(15)におけるTをT’に置き換えたものとする。すなわち、フィルタリング部353は、第1レイヤ復号スペクトルから、符号化装置101における入力スペクトルの高域部を推定する。
 ゲイン復号部354は、分離部351から入力される、理想ゲイン符号化情報及び対数ゲイン符号化情報のインデックスを復号し、理想ゲインα1及び対数ゲインα2の量子化値である量子化理想ゲインα1Q及び量子化対数ゲインα2Qを求める。
 スペクトル調整部355は、フィルタリング部353から入力される各サブバンドSB(p=0,1,…,P-1)の推定値S2’(k)(BS≦k<BS+BW)(p=0,1,…,P-1)、及びゲイン復号部354から入力されるサブバンド毎の理想ゲインα1Qとから復号スペクトルを算出し、算出した復号スペクトルを直交変換処理部356に出力する。
 図10は、スペクトル調整部355の内部構成を示す図である。スペクトル調整部355は、理想ゲイン復号部361および対数ゲイン復号部362から主に構成される。
 理想ゲイン復号部361は、フィルタリング部353から入力される各サブバンドの推定値S2’(k)(BS≦k<BS+BW)(p=0,1,…,P-1)を周波数領域で連続させて、入力スペクトルに対する推定スペクトルS2’(k)を求める。次いで、理想ゲイン復号部361は、下記の式(17)に従い、推定スペクトルS2’(k)にゲイン復号部354から入力されるサブバンド毎の量子化理想ゲインα1Qを乗じ、推定スペクトルS3’(k)を算出する。そして、理想ゲイン復号部361は、推定スペクトルS3’(k)を対数ゲイン復号部362に出力する。
Figure JPOXMLDOC01-appb-M000017
 対数ゲイン復号部362は、理想ゲイン復号部361から入力される推定スペクトルS3’(k)に対して、ゲイン復号部354から入力されるサブバンド毎の量子化対数ゲインα2Qを用いて、対数領域でのエネルギ調整を行い、得られるスペクトルを復号スペクトルとして直交変換処理部356に出力する。
 図11は、対数ゲイン復号部362の内部構成を示す図である。対数ゲイン復号部362は、最大振幅値探索部371、サンプル群抽出部372、対数ゲイン適用部373、および補間処理部374とから主に構成される。
 最大振幅値探索部371は、式(18)のようにして、理想ゲイン復号部361から入力される推定スペクトルS3’(k)に対して、対数領域での最大振幅値MaxValue、および、振幅が最大であるサンプル(スペクトル成分)のインデックス、最大振幅インデックスMaxIndexをサブバンド毎に探索する。そして、最大振幅値探索部371は、推定スペクトルS3’(k)、対数領域での最大振幅値MaxValueおよび最大振幅インデックスMaxIndexをサンプル群抽出部372に出力する。
Figure JPOXMLDOC01-appb-M000018
 サンプル群抽出部372は、式(19)に示すように、算出された各サブバンドに対する最大振幅インデックスMaxIndexに応じて、各サンプルに対する抽出フラグSelectFlag(k)を決定する。すなわち、サンプル群抽出部372は、各サブバンドにおける最大振幅値MaxValueを有するサンプルに近接するサンプル(スペクトル成分)ほど選択されやすい重みにより、サンプルを部分的に選択する。そして、サンプル群抽出部372は、推定スペクトルS3’(k)、サブバンド毎の最大振幅値MaxValueおよび抽出フラグSelectFlag(k)を対数ゲイン適用部373に出力する。また、サンプル群抽出部372は、抽出フラグSelectFlag(k)を補間処理部374に出力する。
Figure JPOXMLDOC01-appb-M000019
 対数ゲイン適用部373は、サンプル群抽出部372から入力される推定スペクトルS3’(k)、および、抽出フラグSelectFlag(k)から、抽出されたサンプル群の符号(+、-)を表すSign(k)を、式(20)のようにして算出する。すなわち、式(20)に示すように、対数ゲイン適用部373は、抽出されたサンプルの符号が‘+’の場合(S3’(k)≧0の場合)、Sign(k)=1とし、それ以外の場合(抽出されたサンプルの符号が‘-’の場合)、Sign(k)=-1とする。
Figure JPOXMLDOC01-appb-M000020
 対数ゲイン適用部373は、サンプル群抽出部372から入力される推定スペクトルS3’(k)、最大振幅値MaxValueおよび抽出フラグSelectFlag(k)と、ゲイン復号部354から入力される量子化対数ゲインα2Q、および式(20)に従って算出した符号Sign(k)に基づいて、抽出フラグSelectFlag(k)の値が1であるサンプルに対して、式(21)、式(22)に従って、推定スペクトルS5’(k)を算出する。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
 すなわち、対数ゲイン適用部373は、サンプル群抽出部372で部分的に選択されたサンプル(抽出フラグSelectFlag(k)=1のサンプル)に対してのみ、対数ゲインα2を適用する。そして、対数ゲイン適用部373は、推定スペクトルS5’(k)を補間処理部374に出力する。
 補間処理部374には、サンプル群抽出部372から抽出フラグSelectFlag(k)が入力される。また、補間処理部374には、対数ゲイン適用部373から推定スペクトルS5’(k)が入力される。また、補間処理部374には、ゲイン復号部354から、対数ゲインα2が入力される。補間処理部374は、まず、式(23)に従って、対数ゲインα2に応じた、線形領域での線形補間パラメータα3を算出する。
Figure JPOXMLDOC01-appb-M000023
 式(23)に示すように、線形補間パラメータα3は、対数ゲインα2の値に応じて予め定められた値(ここでは、ALPHA3_LOW及びALPHA3_HIGH)の中から適応的に設定される。なお、式(23)において、THは予め定められた閾値である。
 次いで、補間処理部374は、式(24)に従って、抽出フラグSelectFlag(k)の値が0であるサンプル群に対して、線形領域での線形補間を行い、復号スペクトルS6’(k)を算出する。すなわち、補間処理部374は、サンプル群抽出部372で部分的に選択されなかったサンプル(抽出フラグSelectFlag(k)=0のサンプル(スペクトル成分))に対して、対数ゲインα2の値に応じて適応的に設定される線形補間パラメータα3を適用する。
Figure JPOXMLDOC01-appb-M000024
 ここで、線形補間パラメータα3の具体例としては、式(23)において、例えばTH=0.45、ALPHA3_LOW=0.75、ALPHA3_HIGH=0.95が挙げられる。つまり、補間処理部374は、対数ゲインα2の値が予め設定された閾値THより小さい場合には、線形補間パラメータα3を小さく設定し、対数ゲインα2の値が予め設定された閾値TH以上の場合には、線形補間パラメータα3を大きく設定する。この条件において本発明が特に有効であることを実験により確認している。
 なお、式(24)では、最大振幅値探索部371で算出した対数領域での最大振幅値MaxValueを用いた線形領域での線形補間処理を用いるが、対数領域での最大振幅値の代わりに、線形領域での最大振幅値を用いることも可能である。この場合、最大振幅値探索部371では、式(18)の代わりに、式(25)に示すようにして線形領域での最大振幅値MaxValueを算出する。また、この場合、補間処理部374は、式(24)の代わりに、式(26)に従って、線形領域での線形補間処理を行う。この構成により、式(18)および式(24)に示すような対数変換処理および指数変換処理の回数を削減することができ、さらなる演算量の削減を実現できる。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
 次いで、補間処理部374は、算出した復号スペクトルS6’(k)を直交変換処理部356へ出力する。ここで、復号スペクトルS6’(k)の低域部(0≦k<FL)は第1レイヤ復号スペクトルS1(k)からなる。また、復号スペクトルS6’(k)の高域部(FL≦k<FH)は推定スペクトルS3’(k)に対して対数領域でのエネルギ調整(対数ゲイン適用部373における処理)、及び、線形領域でのエネルギ調整(補間処理部374における線形補間処理)を行ったスペクトルからなる。
 ここで、補間処理部374における線形領域での線形補間処理(線形領域での振幅の調整処理)の効果について説明する。
 特許文献1に開示されている、対数領域でのエネルギ調整処理は、人間の聴感特性を利用した処理であり、非常に有効な手段である。しかし、特許文献1に開示されている対数領域でのエネルギ調整処理は、全サンプル(MDCT係数)を対象として対数変換を行う必要があり、処理演算量が非常に大きくなってしまう問題がある。これに対して、本発明では、対数領域でのエネルギ調整処理を施すサンプルをサンプル群抽出部372で選択されたサンプルのみに限定し、選択されなかったサンプルに対しては、線形領域での線形補間処理を行う方式を採った。このとき、本方式では、式(23)に示したように、対数領域でのエネルギ調整処理に利用する対数ゲインα2の値に応じて、線形補間係数α3を適応的に切り替えることで、対数領域での対数ゲインによるエネルギ調整処理と同様の処理を、線形領域での線形補間処理により近似的に実現している。このような本方式により、人間の聴感特性に適したエネルギ調整処理を、特許文献1に開示されている従来技術と比較して大幅に低い処理演算量で行うことが可能となっている。
 ここで、対数ゲイン復号部362における対数ゲインの適用処理、及び、線形領域での線形補間処理の対象となるサンプル群の一例を図12に示す。
 図12において、黒色で示すブロックは各サブバンド(図12では第pサブバンド)における最大振幅値を有するサンプルを示し、斜線で示すブロックはサンプルインデックスが偶数であるサンプルを示し、縦線で示すブロックは最大振幅値を有するサンプル(黒色で示すブロック)の周辺に存在するサンプルを示し、白色のブロックは上記の3種以外のサンプルを示す。
 図12に示す一例では、白色のブロックで示すサンプル以外のサンプル群に対しては、対数ゲイン適用部373において対数ゲインが適用され、白色のブロックで示すサンプル群に対して、補間処理部374において線形領域での補間処理部が適用される。なお、図12は一例であり、本発明は、例えば、最大振幅値を有するサンプルの周辺に存在するサンプル数は図中に示した数以外の構成についても同様に適用できる。
 直交変換処理部356は、スペクトル調整部355から入力される復号スペクトルS6’(k)を時間領域の信号に直交変換し、得られる第2レイヤ復号信号を出力信号として出力する。ここでは、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行い、フレーム間に生じる不連続を回避する。
 以下、直交変換処理部356における具体的な処理について説明する。
 直交変換処理部356は、バッファbuf’(k)を内部に有しており、下記の式(27)に示すようにバッファbuf’(k)を初期化する。
Figure JPOXMLDOC01-appb-M000027
 また、直交変換処理部356は、スペクトル調整部355から入力される第2レイヤ復号スペクトルS6’(k)を用いて下記の式(28)に従い、第2レイヤ復号信号y”を求める。
Figure JPOXMLDOC01-appb-M000028
 式(28)において、Z4(k)は、下記の式(29)に示すように、復号スペクトルS6’(k)とバッファbuf’(k)とを結合させたベクトルである。
Figure JPOXMLDOC01-appb-M000029
 次いで、直交変換処理部356は、下記の式(30)に従いバッファbuf’(k)を更新する。
Figure JPOXMLDOC01-appb-M000030
 そして、直交変換処理部356は、復号信号y”を出力信号として出力する。
 このように、本実施の形態によれば、符号化装置は、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、復号した低域スペクトルを用いて高域部のスペクトルを推定した後、推定スペクトルの各サブバンドに対してサンプル群の選択(間引き)を行い、選択したサンプルに対してのみ対数領域でのゲイン調整を行うゲイン調整パラメータを算出する。また、復号装置(符号化装置側のローカルデコード部を含む)は、推定スペクトルの各サブバンドにおける最大振幅値のサンプルの周辺のサンプルを重視して選択されたサンプル群にのみ前記ゲイン調整パラメータを適用し、それ以外のサンプル群に対しては、前記ゲイン調整パラメータに応じて適応的に切り替えられる線形補間係数を用いて、線形領域での補間処理を行う。この構成により、符号化装置では、対数領域でのゲイン調整に必要なゲイン調整パラメータの算出に必要な処理演算量を大幅に削減することができる。また、復号装置では、人間の聴覚に適したエネルギ調整処理に必要な処理演算量を大幅に削減することができる。
 なお、本実施の形態では、抽出フラグの設定において、サブバンド内の最大振幅値を有するサンプルを探索した後、そのサンプルからの距離に応じて抽出フラグを設定する構成を例に挙げて説明した。しかし、本発明はこれに限らず、復号装置が、例えば最小振幅値を有するサンプルを探索し、最小振幅値を有するサンプルからの距離に応じて各サンプルの抽出フラグを設定し、抽出されたサンプル(抽出フラグの値が1に設定されたサンプル)に対してのみ対数ゲイン等の振幅調整パラメータを算出し、適用する場合にも同様に適用できる。このような構成は、例えば、振幅調整パラメータが、推定した高域スペクトルを減衰させる効果を有する場合に有効と言える。振幅の大きいサンプルに対して減衰させることによって、異音が発生する場合も考えられるが、最小振幅値を有するサンプル周辺に対してのみ減衰処理を適用することで音質を向上させられる可能性がある。また、上記構成においては、最小振幅値を探索するのではなく、最大振幅値を探索し、最大振幅値を有するサンプルからの距離が離れたサンプルほど抽出されやすいという重み(尺度)で、サンプルを抽出する構成も考えられ、本発明はこのような構成に対しても同様に適用できる。
 また、本実施の形態では、復号装置内の抽出フラグの設定において、サブバンド内の最大振幅値を有するサンプルを探索した後、そのサンプルからの距離に応じて抽出フラグを設定する構成を例に挙げて説明した。しかし、本発明はこれに限らず、符号化装置は、各サブバンドに対して、振幅の大きい方から複数のサンプルを選択し、それぞれのサンプルからの距離に応じて抽出フラグを設定する構成についても同様に適用できる。上記構成にすることで、サブバンド内に振幅の大きさの近い複数のサンプルが存在した場合に、効率的にサンプルを抽出することができる。
 また、本実施の形態では、復号装置において、各サブバンド内のサンプルが、最大振幅値を有するサンプルに近接するか否かを閾値(式(19)に示すNear)に基づいて判断することにより、サンプルを部分的に選択する場合について説明した。本発明では、例えば、復号装置は、高域のサブバンドほど、より広い範囲のサンプルを、最大振幅値を有するサンプルに近接するサンプルとして選択してもよい。つまり、本発明では、複数のサブバンドのうち高域のサブバンドほど、式(19)に示すNearの値をより大きくしてもよい。これにより、帯域分割時に、例えばバークスケールのように高域ほどサブバンド幅が大きくなるように設定された場合に対しても、サブバンド間で偏りなく部分的にサンプルを選択することができ、復号信号の音質劣化を防ぐことができる。なお、式(19)に示すNearの値としては、例えば、1フレームのサンプル(MDCT係数)の数が640程度の場合には、5~21程度の値(例えば最低域のサブバンドのNearの値を5、最高域のサブバンドのNearの値を21)にすると良い結果が得られることを実験により確認している。
 また、本実施の形態に示したように、符号化装置が、偶数のインデックスのサンプルのみからゲイン調整パラメータを算出し、復号装置が、サブバンド内の最大振幅値を有するサンプルからの距離を考慮し、抽出したサンプルにゲイン調整パラメータを適用する場合でも、音質劣化が無いことを実験により確認している。つまり、ゲイン調整パラメータを算出するときの対象となるサンプル集合(サンプル群)と、ゲイン調整パラメータを適用するときの対象となるサンプル集合(サンプル群)とが必ずしも一致していなくても問題無いということが言える。これは、例えば、本実施の形態に示したように、符号化装置および復号装置は、サブバンド全体にわたって均等にサンプルを抽出すれば、全サンプルを抽出しなくても、効率良くゲイン調整パラメータを算出できることを示している。ただし、本発明はこれに限らず、符号化装置においても、復号装置と同様に、各サブバンド内の最大振幅値からの距離に応じたサンプル群抽出方法によって、対数ゲインを算出する対象となるサンプル群を選択する構成に対しても同様に適用される。
 また、本実施の形態では、入力信号の低域成分の符号化/復号処理と、高域成分の符号化/復号処理をそれぞれ別に行う構成の場合、つまり、2段階の階層構造で符号化/復号する場合について説明した。しかし、本発明はこれに限らず、3段階以上の階層構造で符号化/復号する場合についても同様に適用できる。なお、3段階以上の階層符号化部を考慮した場合、第2レイヤ符号化部のローカルデコード信号を生成するための第2レイヤ復号部において、ゲイン調整パラメータ(対数ゲイン)を適用するサンプル集合(サンプル群)は、本実施の形態の符号化装置内で算出した最大振幅値を有するサンプルからの距離を考慮しないサンプル集合であってもよく、また本実施の形態の復号装置内で算出した最大振幅値を有するサンプルからの距離を考慮するサンプル集合であってもよい。
 また、本実施の形態では、符号化装置および復号装置での抽出フラグの設定において、サンプルのインデックスが偶数である場合には、抽出フラグの値を強制的に1に設定している。しかし、本発明はこれに限らず、例えば、インデックスの3に対する剰余が0の場合に抽出フラグの値を1に設定する場合等に対しても同様に適用できる。つまり、本実施の形態では、最大振幅値を有するサンプルからの距離に応じたサンプル以外で抽出されるサンプルについては、特に制約はなく、様々な選択方法に対しても同様に適用される。
 また、本実施の形態では、ゲイン符号化部265(図3)において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数Jが、探索部263において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数Pと異なる場合を例にとって説明した。しかし、本発明はこれに限定されず、ゲイン符号化部265において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数をP個にしてもよい。
 また、本実施の形態では、第1レイヤ復号部から得られる第1レイヤ復号スペクトルの低域成分を利用して、入力スペクトルの高域部を推定する構成について説明した。しかし、本発明はこれに限らず、第1レイヤ復号スペクトルの代わりに入力スペクトルの低域成分を利用して、入力スペクトルの高域部を推定する構成についても同様に適用できる。なお、この構成においては、符号化装置は入力スペクトルの低域成分から入力スペクトルの高域成分を生成するための符号化情報(第2レイヤ符号化情報)を算出し、復号装置はこの符号化情報を第1レイヤ復号スペクトルに適用し、復号スペクトルの高域成分を生成する。
 また、本実施の形態では、特許文献1における処理に基づき、対数領域でのエネルギ比を調整するパラメータを算出・適用する構成において演算量の削減、および音質を向上させる処理を例に挙げて説明した。しかし、本発明はこれに限らず、対数変換以外の非線形変換領域でエネルギ比などを調整する構成に対しても同様に適用できる。また、非線形変換領域だけでなく、線形変換領域に対しても同様に適用できる。
 また、本実施の形態では、特許文献1における処理に基づき、帯域拡張処理において、対数領域でのエネルギ比を調整するパラメータを算出・適用する構成において演算量の削減、および音質を向上させる処理を例に挙げて説明した。しかし、本発明はこれに限らず、帯域拡張処理以外の処理に対しても同様に適用できる。
 また、本実施の形態では、補間処理部において、入力信号の種類(例えば音声信号および楽音信号等)、スペクトル特性などによらず、常に同一の方式で線形補間処理を行う場合について説明した。しかし、本発明はこれに限らず、入力信号の種類、スペクトル特性に応じて、補間処理部における処理を適応的に切り替える場合についても同様に適用できる。例えば、入力信号のピーク性が強い場合、つまり入力信号のスペクトルの雑音性が低い場合には、補間処理部における線形補間パラメータを固定させ(例えば0.95に固定する)、入力信号のピーク性が弱い場合、つまり入力信号のスペクトルの雑音性が高い場合には、補間処理部における線形補間パラメータを、上記実施の形態で説明したように2種類のいずれかに切り替えてもよい。このような構成により、入力信号のピーク性が強い場合には、補間処理部におけるエネルギ調整処理の効果を弱める(補間処理をする前後でサンプルの振幅が大きく変わらなくする)ことが出来るため、本実施の形態で説明した方式に比べて、異音の抑制を抑えられる可能性がある。これは、急峻なスペクトルに対する聴覚マスキング値は低くなる、という聴感特性に基づく処理であり、スペクトルのピーク部分では線形補間処理の対象となるサンプルの振幅の増幅を抑制することを意味している。ただし、上記の構成は、本実施の形態で説明した方式に比べて、入力信号の特性(例えばピーク性の強弱等)を判定する処理部を新たに追加する必要があるため、処理演算量は増加することになる。また、上記のような切替方法の他に、本実施の形態で説明した線形補間パラメータと閾値の組み合わせ(TH、ALPHA3_LOW,ALPHA3_HIGH)と、上記組み合わせとは別の組み合わせ(例えばTH2、ALPHA3_LOW2,ALPHA3_HIGH2)とを、入力信号の種類(例えば音声信号および楽音信号等)、スペクトル特性に応じて適応的に切り替えてもよい。
 また、本実施の形態では、復号装置における復号処理方法について説明した。しかし、本発明は、復号装置に限定されず、上記復号処理方法を含む符号化装置にも同様に適用される。例えば、図13に示すように、図2に示す符号化装置101の構成に加え、第2符号化情報を用いて第2レイヤ復号スペクトルを生成する第2レイヤ復号部401を更に具備し、第2レイヤ復号スペクトルと、入力信号のスペクトル(入力スペクトル)と、の残差成分を符号化する第3レイヤ符号化部402を更に具備する符号化装置400に対しても、本発明は同様に適用できる。ここで、第2レイヤ復号部401は、図9に示す第2レイヤ復号部135に相当する復号処理部である。但し、第2レイヤ復号部135とは、内部に直交変換処理部356を備えず、時間領域の信号ではなく、周波数領域の信号(スペクトル)を出力する点が異なる。また、出力する成分の名称も異なる。それ以外の点については、第2レイヤ復号部135と同様の処理をする。また、本発明は第3レイヤ符号化部402の符号化方法には限定されず、第3レイヤ符号化部402では、残差成分をベクトル量子化する他、様々な量子化方法を採ることができる。なお、図13に示す符号化装置400では符号化部の数が3個であるが、符号化部の数が4以上である場合にも、本発明は同様に適用できる。
(実施の形態2)
 実施の形態1では、追加パラメータ(実施の形態1では第2レイヤ符号化情報)を用いて、低域スペクトルから高域スペクトルを生成する帯域拡張符号化方式を用いる符号化装置及び対応する復号装置について説明した。
 ここで、同様の「帯域拡張符号化方式」を採用している方式としては、ITU-Tで規格化されているG.722-SWB(G.722 Annex B)が例に挙げられる。G.722-SWBでは、入力信号の特性(例えば入力スペクトル)に応じて4つのモードの符号化/復号方式により当該入力信号が符号化される。ここで4つのモードとは、TRANSIENT、NORMAL、HARMONIC、及びNOISEであり、入力スペクトルから適切なモードが決定される。
 本実施の形態では、G.722-SWBのような、入力信号の特性に応じて符号化/復号方式が切り替わるマルチモード符号化/復号方式において、実施の形態1で説明した帯域拡張符号化/復号方式(実施の形態1では、第2レイヤ符号化部/第2レイヤ復号部が対応する)を適用する構成について説明する。また、本実施の形態では、このような構成において、符号化/復号モードが切り替わる際に発生し得る音質劣化(異音)を抑制する方法について説明する。
 なお、G.722-SWBは4つのモードの符号化/復号方式を有するマルチモード符号化/復号方式であるが、以下では説明の簡略化のため、2つのモードの符号化/復号方式を有するマルチモード符号化/復号方式を例に挙げて説明する。
 本実施の形態に係る符号化装置及び復号装置を有する通信システムの構成は、実施の形態1(図1)における構成と同様である。但し、符号化装置及び復号装置の内部構成が異なるため、符号のみ符号化装置111及び復号装置113と置き換えることとする。符号化装置111及び復号装置113の処理は、それぞれ符号化装置101及び復号装置103と同一であるため、ここでは説明を省略する。
 図14は、符号化装置111の内部の主要な構成を示すブロック図である。図14に示す符号化装置111において、モード判定部501及び第2レイヤ符号化部502以外の構成要素については、実施の形態1の符号化装置101(図2)内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。
 モード判定部501には、直交変換処理部205から入力スペクトルが入力される。モード判定部501は、入力された入力スペクトルのスペクトル特性(つまり入力信号の特性)を分析し、分析結果に基づいて、モード情報を決定する。モード判定部501は、決定したモード情報を第2レイヤ符号化部502に出力する。ここで、モード情報は、後述する2種類の符号化方式のうち、いずれの符号化方式を用いて符号化を行うかを示す情報である。具体的には、モード判定部501は、モード情報として、「モード1」又は「モード2」のいずれかを決定する。例えば、モード判定部501は、入力スペクトルがTRANSIENTであるか、NON-TRANSIENTであるかを分析し、分析結果に基づいて、モード情報を判定するという方法が一例として挙げられる。モード情報の判定方法の詳細(例えば、G.722-SWB規格書参照)については、本発明とは直接関係ないため、ここでは説明を省略する。
 第2レイヤ符号化部502には、直交変換処理部205から入力スペクトル及び第1レイヤ復号スペクトルが入力される。また、第2レイヤ符号化部502には、モード判定部501からモード情報が入力される。第2レイヤ符号化部502は、第1レイヤ復号スペクトルを用いて、入力されるモード情報に基づき、2種類の符号化方式(モード1又はモード2)のいずれかにより入力スペクトルの符号化を行い、第2レイヤ符号化情報を生成する。第2レイヤ符号化部502は、生成した第2レイヤ符号化情報を、符号化情報統合部207を介して伝送路102(図1)に出力する。第2レイヤ符号化部502の処理の詳細については後述する。
 次に、図14に示した第2レイヤ符号化部502の内部の主要な構成について図15を用いて説明する。
 第2レイヤ符号化部502は、スイッチ521、スイッチ522、第1符号化部523、及び第2符号化部524を備える。
 スイッチ521及びスイッチ522は、モード判定部501から入力されるモード情報に従って制御され、入力スペクトル及び第1レイヤ復号スペクトルを、第1符号化部523及び第2符号化部524のいずれかに出力する。図15において、破線で示されている矢印は、データフローではなく、制御するという意味である。例えば、スイッチ521及びスイッチ522は、モード情報が「モード1」である場合には入力スペクトル及び第1レイヤ復号スペクトルを第1符号化部523に出力し、モード情報が「モード2」である場合には入力スペクトル及び第1レイヤ復号スペクトルを第2符号化部524に出力する。このように、スイッチ521及びスイッチ522は、符号化方法のモードに応じて、入力スペクトル及び第1レイヤ復号スペクトルの出力先の切替制御を行う。
 第1符号化部523は、モード情報が「モード1」である場合、入力される、モード情報、入力スペクトル及び第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成する。第1符号化部523は、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。本実施の形態では、第1符号化部523は、実施の形態1で説明した第2レイヤ符号化部206と同様の処理を行う。第1符号化部523の処理の詳細については後述する。
 第2符号化部524は、モード情報が「モード2」である場合、入力される、モード情報、入力スペクトル及び第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成する。第2符号化部524は、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。第2符号化部524は、第1符号化部523での符号化方式とは異なる符号化方式により処理を行う。本実施の形態では、第2符号化部524において利用する符号化方式を特に限定する必要はないため、説明を省略するが、例えばG.722-SWBにおける「TRANSIENT」モードの符号化方式を採る構成が一例として挙げられる。
 このように、第2レイヤ符号化部502は、複数の符号化方法を切り替える複数の符号化部(第1符号化部523及び第2符号化部524)を有する。
 次に、図15に示した第1符号化部523の内部の主要な構成について図16を用いて説明する。
 第1符号化部523は、帯域分割部260、フィルタ状態設定部261、フィルタリング部262、探索部263、ピッチ係数設定部264、ゲイン符号化部531及び多重化部266を備える。ここで、ゲイン符号化部531以外の各構成要素は、第2レイヤ符号化部206(図3)内の各構成要素と同一であるため、同一の符号を付し、説明を省略する。
 ゲイン符号化部531には、モード判定部501からモード情報が入力される。ゲイン符号化部531は、入力スペクトルS2(k)、および、探索部263から入力される各サブバンドの推定スペクトルS2’(k)(p=0,1,…,P-1)、理想ゲインα1に基づいて、非線形領域でのエネルギ比調整を行うパラメータである対数ゲインを、各サブバンドに対して算出する。
 次いで、ゲイン符号化部531は、モード情報を利用して、理想ゲイン及び対数ゲインを量子化し、量子化した理想ゲイン及び対数ゲインを多重化部266に出力する。具体的には、ゲイン符号化部531は、内部にモード情報を記憶できるメモリを保持する。ゲイン符号化部531の内部構成は、上記メモリを保持する以外は、ゲイン符号化部265(図3)と同一である。
 ゲイン符号化部531は、メモリに記憶している前フレーム処理時のモード情報と現フレームにおいて入力されたモード情報とが異なった場合、つまり、現フレームと前フレームとで符号化方法が切り替わる場合(ここでは前フレームでは第2符号化部524が動作し、現フレームでは第1符号化部523が動作する場合)、次式(31)に従って、量子化対象である理想ゲインα1に対して減衰処理を施す。ここで、γは、0<γ<1を満たす減衰係数であり、予め設定された値を持つ。次いで、ゲイン符号化部531は、γが乗じられた理想ゲインα1´を量子化する。
Figure JPOXMLDOC01-appb-M000031
 一方、ゲイン符号化部531は、メモリに記憶している前フレーム処理時のモード情報と現フレームにおいて入力されたモード情報とが同一である場合、つまり、現フレームと前フレームとで符号化方法が切り替わる場合(ここでは前フレーム及び現フレームの双方で第1符号化部523が動作する場合)、量子化対象である理想ゲインに対して減衰処理を施さず、ゲイン符号化部265(図3)と同様の処理を行い、ゲイン情報を量子化する。次いで、ゲイン符号化部531は、算出した理想ゲイン符号化情報と対数ゲイン符号化情報を多重化部266に出力する。
 このように、第1符号化部523は、前フレームと現フレームとで符号化方法が切り替わる場合、現フレームでの符号化方法で用いる理想ゲインを調整する。具体的には、第1符号化部523は、前フレームと現フレームとで符号化方法が切り替わる際、現フレームで用いる理想ゲインを減衰させる。
 以上が、第1符号化部523の処理の説明である。
 以上が、本実施の形態に係る符号化装置111の処理の説明である。
 次に、本実施の形態に係る復号装置113の処理について説明する。
 図17は、復号装置113の内部の主要な構成を示すブロック図である。
 図17に示す復号装置113において、符号化情報分離部601及び第2レイヤ復号部602以外の構成要素については、実施の形態1で説明した復号装置103(図8)内の構成要素と同一であるため、同一の符号を付し、説明を省略する。
 符号化情報分離部601は、入力された符号化情報(すなわち、符号化装置111(図14)から受信した符号化情報)の中から第1レイヤ符号化情報と、第2レイヤ符号化情報と、モード情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部132に出力し、第2レイヤ符号化情報及びモード情報を第2レイヤ復号部602に出力する。
 第2レイヤ復号部602は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)、及び、符号化情報分離部601から入力される第2レイヤ符号化情報、モード情報を用いて、第1レイヤ復号スペクトルS1(k)から、音声信号の高域部分を推定し、スペクトル成分の振幅を調整することにより、高域成分を含む第2レイヤ復号信号を生成し出力信号として出力する。
 図18は、図17に示した第2レイヤ復号部602の内部の主要な構成を示すブロック図である。
 第2レイヤ復号部602は、スイッチ621、スイッチ622、第1復号部623及び第2復号部624を備える。
 スイッチ621及びスイッチ622は、符号化分離部601から入力されるモード情報に従って制御され、第1レイヤ復号スペクトル及び第2レイヤ符号化情報を、第1復号部623、第2復号部624のいずれかに出力する。例えば、スイッチ621及びスイッチ622は、モード情報が「モード1」である場合には第1レイヤ復号スペクトル及び第2レイヤ符号化情報を第1復号部623に出力し、モード情報が「モード2」である場合には第1レイヤ復号スペクトル及び第2レイヤ符号化情報を第2復号部624に出力する。このように、スイッチ621及びスイッチ622は、復号方法のモードに応じて、第1レイヤ復号スペクトル及び第2レイヤ符号化情報の出力先の切替制御を行う。
 第1復号部623は、モード情報が「モード1」である場合、入力される、モード情報、第1レイヤ復号スペクトル及び第2レイヤ符号化情報を用いて、出力信号を生成する。第1復号部623は、生成した出力信号を出力する。本実施の形態では、第1復号部623は、実施の形態1で説明した第2レイヤ復号部135と同様の処理を行うため、説明は省略する。但し、第1復号部623において、復号する理想ゲイン符号化情報が、α1ではなく、α1´である点が実施の形態1の第2レイヤ復号部135とは異なるものとする。
 第2復号部624は、モード情報が「モード2」である場合、入力される、モード情報、第1レイヤ復号スペクトル及び第2レイヤ符号化情報を用いて、出力信号を生成する。第2復号部624は、生成した出力信号を出力する。第2復号部624は、第1復号部623での復号方式とは異なる復号方式(第2符号化部524での符号化方式に対応する復号方式)により処理を行う。本実施の形態では、第2復号部624において利用する復号方式を特に限定する必要はないため、説明を省略するが、例えばG.722-SWBにおける「TRANSIENT」モードの復号方式を採る構成が一例として挙げられる。
 このように、本実施の形態によれば、符号化装置は、モード情報を保持し、前フレームのモード情報と現フレームのモード情報とが異なる場合には、高域部のスペクトルを推定する符号化部において、量子化するゲインを減衰させる。これにより、符号化方式(符号化モード)が切り替わった際に、異音の原因に成り得るゲインの急激な変化(特に、聴覚的な影響が大きいゲインの急激な増加)を抑制することができるため、上記音質劣化の抑制処理を実現できる。すなわち、符号化装置では、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号方式が複数種類存在する場合、つまりマルチモード符号化/復号方式である場合でも、モードが切り替わった際に発生し得る音質劣化(異音)を抑制することで、処理量の大幅な削減を実現しつつ、かつ高品質な復号信号を提供することができる。
 なお、本実施の形態では、符号化装置のゲイン符号化部において、各フレーム処理時のモード情報を保持し、モード情報が切り替わった際に、量子化する理想ゲインを減衰させる処理を例に挙げて説明した。しかし、本発明はこれに限らず、モード情報以外の情報を用いて量子化するゲインを減衰させる構成に対しても本実施の形態を同様に適用できる。例えば、符号化装置が各フレーム処理時のモード情報に加え、各フレームのフレームエネルギを記憶し、これらを用いて、量子化するゲインを減衰させる構成が例に挙げられる。この構成では、前フレームのモード情報と現フレームのモード情報とが異なる場合、つまりモード情報が切り替わる場合、符号化装置は、まず、前フレームのフレームエネルギと現フレームのフレームエネルギの平均値を算出する。次に、符号化装置は、算出されたフレームエネルギの平均値と現フレームのフレームエネルギとの比に応じて、量子化するゲインを減衰又は増幅させる。例えば、前フレームのフレームエネルギが10000であり、現フレームのフレームエネルギが5000であった場合、符号化装置は、フレームエネルギの平均値7500と、現フレームエネルギとの比である1.5(=7500/5000)を量子化するゲインに乗じる。この場合、フレームエネルギ比(1.5)は1以上であるため、減衰処理ではなく増幅処理となる。なお、ここでは、式(31)における減衰係数γ(0<γ<1)を、1以上の値も許容する「減衰・増幅係数」に置き換えることで、前述と同様の処理により、増幅処理も可能になる。通常、符号化モードが切り替わった際には、聴覚的にはゲインの急激な増加による異音の影響が大きい。このため、本実施の形態では、ゲインの急激な増加に対して、比較的簡易な処理(低演算量の処理)で音質劣化を抑制する構成を説明した。しかし、上記のフレームエネルギを用いることにより、前述の構成に比べて、処理演算量は増えるものの、符号化モードが切り替わった際にフレームエネルギ(あるいはゲイン)が急激に増加する場合だけではなく、急激に減少する際に対しても、フレームエネルギ(あるいはゲイン)の変化を滑らかにすることができる。これにより、音質劣化(異音)をさらに抑制することができる。
 また、本実施の形態では、モード情報が切り替わる場合、減衰させるゲイン情報として、理想ゲインを対象とした場合を例に挙げて説明した。しかし、本発明はこれに限らず、理想ゲイン以外の他のゲイン情報を減衰(又は増幅)する構成に対しても本実施の形態を同様に適用できる。例えば、本実施の形態で説明したゲイン符号化部が対数ゲイン情報に対して減衰又は増幅させる構成が例として挙げられる。また、ゲイン符号化部は、量子化ターゲットとなる入力スペクトルそのものを減衰又は増幅させてもよい。また、上述したような前フレームのフレームエネルギと現フレームのフレームエネルギとの比(フレームエネルギ比)を用いる構成に対しても、ゲイン符号化部は、理想ゲイン、対数ゲイン又は入力スペクトル等のいずれに対して減衰(又は増幅)処理を適用してもよい。
 また、本実施の形態では、モード情報が切り替わる場合、符号化装置内でゲイン情報を減衰又は増幅させる構成を例に挙げて説明した。しかし、本発明はこれに限らず、復号装置内でゲイン情報を減衰又は増幅させる構成に対しても本実施の形態を同様に適用できる。すなわち、復号装置(例えば第2レイヤ復号部)は、モード情報に応じて複数の復号方法を切り替える複数の復号部を更に有し、前フレームと現フレームとで復号方法が切り替わる場合、現フレームの復号時に用いるゲイン情報を調整してもよい。例えば、復号装置は、モード情報の切り替わりを検出した際、復号したゲイン情報(理想ゲイン又は対数ゲイン)に対して減衰、増幅処理を行ってもよい。また、復号装置は、復号したゲイン情報(理想ゲイン及び対数ゲイン)を用いて生成した復号スペクトルに対して、減衰、増幅処理を行ってもよい。
 また、本実施の形態では、モード情報が切り替わる場合、予め定められた減衰係数を用いて、ゲイン情報が減衰される構成を例に挙げて説明した。しかし、本発明はこれに限らず、フレーム処理毎に適応的にゲイン情報を減衰させる減衰係数を算出する構成に対しても本実施の形態を同様に適用できる。例えば、上述したように、符号化装置(又は復号装置)は、前フレームのフレームエネルギと現フレームのフレームエネルギとの平均値を算出し、現フレームのフレームエネルギが算出された平均値に近づくような係数を用いてゲイン情報又はスペクトルを減衰、増幅させてもよい。すなわち、符号化装置(又は復号装置)は、前フレームのフレームエネルギを用いて、現フレームで用いるゲイン情報又はスペクトルを減衰、増幅させてもよい。
 又は、符号化装置(又は復号装置)は、モード情報が切り替わる場合、つまり、前フレームと現フレームとで符号化方法(復号方法)が切り替わる場合、前フレームで用いるゲイン情報を用いて、現フレームで用いるゲイン情報を調整してもよい。例えば、符号化装置(又は復号装置)は、前フレームと現フレームとで符号化方法(復号方法)が切り替わる場合、現フレームで用いるゲイン情報を前フレームで用いるゲイン情報に近づけるように、現フレームで用いるゲイン情報を調整してもよい。このような構成により、符号化方法(復号方法)が切り替わった際にも、符号化装置(復号装置)は、現フレームにおいて、前フレームを考慮したゲイン情報を用いることができ、符号化方法(復号方法)が切り替わる際に発生し得る音質劣化(異音)を更に抑制することができる。
 また、本実施の形態では、符号化装置の第2レイヤ符号化部内に2種類の符号化方式を備える構成を例に挙げて説明した。しかし、本発明はこれに限らず、3種類以上の符号化方式を備える構成、つまり3種類以上のマルチモード符号化/復号方式を採る構成に対しても本実施の形態を同様に適用できる。
 また、本実施の形態では、符号化装置の第2レイヤ符号化部内の第1符号化部においてのみ、ゲイン情報を減衰(又は増幅)させる構成を例に挙げて説明した。しかし、本発明はこれに限らず、第1符号化部以外の符号化部(例えば第2符号化部)についても同様にして減衰(又は増幅)処理を行う構成に対しても本実施の形態を同様に適用できる。つまり、マルチモード符号化/復号方式において、本実施の形態と同様の処理を、一部のモードの符号化/復号方式に適用してもよく、全てのモードの符号化/復号方式に適用してもよい。
 また、上記実施の形態における復号装置は、上記各実施の形態における符号化装置から伝送された符号化情報を用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータまたはデータを含む符号化情報であれば、必ずしも上記各実施の形態における符号化装置からの符号化情報でなくても処理は可能である。
 また、信号処理プログラムを、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。
 また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。
 また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
 また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル/プロセッサを利用してもよい。
 さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
 2010年6月21日出願の特願2010-141021および2011年3月4日出願の特願2011-047597の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
 本発明にかかる復号装置、符号化装置およびこれらの方法は、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する際に、復号信号の品質を向上することができ、例えば、パケット通信システム、移動通信システムなどに適用できる。
 101,111,400 符号化装置
 102 伝送路
 103,113 復号装置
 201 ダウンサンプリング処理部
 202 第1レイヤ符号化部
 132,203 第1レイヤ復号部
 133,204 アップサンプリング処理部
 134,205,356 直交変換処理部
 206,226,502 第2レイヤ符号化部
 207 符号化情報統合部
 260 帯域分割部
 261,352 フィルタ状態設定部
 262,353 フィルタリング部
 263 探索部
 264 ピッチ係数設定部
 265,531 ゲイン符号化部
 266 多重化部
 271 理想ゲイン符号化部
 272 対数ゲイン符号化部
 281,371 最大振幅値探索部
 282,372 サンプル群抽出部
 283 対数ゲイン算出部
 131,601 符号化情報分離部
 135,401,602 第2レイヤ復号部
 351 分離部
 354 ゲイン復号部
 355 スペクトル調整部
 361 理想ゲイン復号部
 362 対数ゲイン復号部
 373 対数ゲイン適用部
 374 補間処理部
 402 第3レイヤ符号化部
 501 モード判定部
 521,522,621,622 スイッチ
 523 第1符号化部
 524 第2符号化部
 623 第1復号部
 624 第2復号部

Claims (23)

  1.  音声信号又は音楽信号の所定周波数以下の低域部分を示す第1符号化情報と、前記音声信号又は音楽信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記音声信号又は音楽信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報と、を受信する受信手段と、
     前記第1符号化情報を復号して第1復号信号を生成する第1復号手段と、
     前記第2符号化情報を用いて、前記第1復号信号から前記音声信号又は音楽信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復号手段と、を具備する復号装置であって、
     前記第2復号手段は、
     推定した前記音声信号又は音楽信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択手段と、
     前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用手段と、
     前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用手段と、を具備する、
     復号装置。
  2.  前記第2復号手段は、
     推定した前記音声信号又は音楽信号の高域部分のスペクトルに対して、振幅値が最大又は最小であるスペクトル成分を前記サブバンド毎に探索する振幅値探索手段、
     をさらに具備し、
     前記スペクトル成分選択手段は、前記振幅値が最大または最小であるスペクトル成分に近接するスペクトル成分ほど選択されやすい重みにより、スペクトル成分を部分的に選択する、
     請求項1の復号装置。
  3.  前記第2復号手段は、
     前記第1復号信号のスペクトルに対して、前記第2符号化情報に含まれる前記音声信号又は音楽信号の高域部分のスペクトルの各サブバンドに最も近似する前記第1復号信号のスペクトルの帯域を示す前記帯域情報を用いて、前記音声信号又は音楽信号の高域部分のスペクトルを推定し、前記第2符号化情報に含まれる前記第1振幅調整パラメータを用いて、前記推定した音声信号又は音楽信号の高域部分のスペクトル成分の振幅を調整する、
     請求項1に記載の復号装置。
  4.  前記第1振幅調整パラメータ適用手段は、対数領域での振幅の調整を行い、
     前記第2振幅調整パラメータ適用手段は、線形領域での振幅の調整を行う、
     請求項1に記載の復号装置。
  5.  前記第2振幅調整パラメータ適用手段は、前記第2振幅調整パラメータの値が予め設定された閾値より小さい場合には、前記第3振幅調整パラメータを小さく設定し、前記第2振幅調整パラメータの値が前記閾値以上の場合には、前記第3振幅調整パラメータを大きく設定する、
     請求項1に記載の復号装置。
  6.  前記受信手段は、更に、前記音声信号又は音楽信号の特性に応じた復号方法を示すモード情報を受信し、
     前記第2復号手段は、前記モード情報に応じて複数の復号方法を切り替える複数の復号手段を更に具備し、
     前記複数の復号手段は、前フレームと現フレームとで復号方法が切り替わる場合、現フレームの復号時に用いる第1ゲインを調整し、前記第1ゲインは前記第1振幅パラメータ又は前記第2振幅パラメータである、
     請求項1に記載の復号装置。
  7.  前記複数の復号手段は、前フレームと現フレームとで復号方法が切り替わる場合、現フレームで用いる前記第1ゲインを減衰させる、
     請求項6に記載の復号装置。
  8.  前記複数の復号手段は、前フレームと現フレームとで復号方法が切り替わる場合、前フレームの復号時に用いる第2ゲインを用いて、現フレームで用いる前記第1ゲインを調整し、前記第2ゲインは前記第1振幅パラメータ又は前記第2振幅パラメータである、
     請求項6に記載の復号装置。
  9.  前記複数の復号手段は、前フレームと現フレームとで復号方法が切り替わる場合、現フレームで用いる前記第1ゲインを前フレームの復号時に用いる第2ゲインに近づけるように、前記第1ゲインを調整し、前記第2ゲインは前記第1振幅パラメータ又は前記第2振幅パラメータである、
     請求項6に記載の復号装置。
  10.  請求項1に記載の復号装置を具備する通信端末装置。
  11.  請求項1に記載の復号装置を具備する基地局装置。
  12.  入力信号の所定周波数以下の低域部分を符号化して第1符号化情報を生成する第1符号化手段と、
     前記第1符号化情報を復号して第1復号信号を生成する復号手段と、
     前記入力信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記入力信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報を生成する第2符号化手段と、
     前記第2符号化情報を用いて、前記第1復号信号から前記入力信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復号手段と、
     前記第1復号信号および前記第2復号信号と、前記入力信号との差分信号を符号化し、第3符号化情報を生成する第3符号化手段と、を具備する符号化装置であって、
     前記第2復号手段は、
     推定した前記入力信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択手段と、
     前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用手段と、
     前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用手段と、を具備する、
     符号化装置。
  13.  前記第2復号手段は、
     推定した前記入力信号の高域部分のスペクトルに対して、振幅値が最大または最小であるスペクトル成分を前記サブバンド毎に探索する振幅値探索手段、
     をさらに具備し、
     前記スペクトル成分選択手段は、前記振幅値が最大または最小であるスペクトル成分に近接するスペクトル成分ほど選択されやすい重みにより、スペクトル成分を部分的に選択する、
     請求項12に記載の符号化装置。
  14.  前記第1振幅調整パラメータ適用手段は、対数領域での振幅の調整を行い、
     前記第2振幅調整パラメータ適用手段は、線形領域での振幅の調整を行う、
     請求項12に記載の符号化装置。
  15.  前記第2振幅調整パラメータ適用手段は、前記第2振幅調整パラメータの値が予め設定された閾値より小さい場合には、前記第3振幅調整パラメータを小さく設定し、前記第2振幅調整パラメータの値が前記閾値以上の場合には、前記第3振幅調整パラメータを大きく設定する、
     請求項12に記載の符号化装置。
  16.  前記第2符号化手段は、前記入力信号の特性に応じて複数の符号化方法を切り替える複数の符号化手段を更に具備し、
     前記複数の符号化手段は、前フレームと現フレームとで符号化方法が切り替わる場合、現フレームの符号化時に用いる第1ゲインを調整し、前記第1ゲインは前記第1振幅パラメータ又は前記第2振幅パラメータである、
     請求項12に記載の符号化装置。
  17.  前記複数の符号化手段は、前フレームと現フレームとで符号化方法が切り替わる場合、現フレームで用いる前記第1ゲインを減衰させる、
     請求項16記載の符号化装置。
  18.  前記複数の符号化手段は、前フレームと現フレームとで符号化方法が切り替わる場合、前フレームの符号化時に用いる第2ゲインを用いて、現フレームで用いる前記第1ゲインを調整し、前記第2ゲインは前記第1振幅パラメータ又は前記第2振幅パラメータである、
     請求項16に記載の符号化装置。
  19.  前記複数の符号化手段は、前フレームと現フレームとで符号化方法が切り替わる場合、現フレームで用いる前記第1ゲインを前フレームの符号化時に用いる第2ゲインに近づけるように、前記第1ゲインを調整し、前記第2ゲインは前記第1振幅パラメータ又は前記第2振幅パラメータである、
     請求項16記載の符号化装置。
  20.  請求項12に記載の符号化装置を具備する通信端末装置。
  21.  請求項12に記載の符号化装置を具備する基地局装置。
  22.  音声信号又は音楽信号の所定周波数以下の低域部分を示す第1符号化情報と、前記音声信号又は音楽信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記音声信号又は音楽信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報と、を受信する受信ステップと、
     前記第1符号化情報を復号して第1復号信号を生成する第1復号ステップと、
     前記第2符号化情報を用いて、前記第1復号信号から前記音声信号又は音楽信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復ステップと、を具備する復号方法であって、
     前記第2復号ステップは、
     推定した前記音声信号又は音楽信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択ステップと、
     前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用ステップと、
     前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用ステップと、を具備する、
     復号方法。
  23.  入力信号の所定周波数以下の低域部分を符号化して第1符号化情報を生成する第1符号化ステップと、
     前記第1符号化情報を復号して第1復号信号を生成する復号ステップと、
     前記入力信号の前記所定周波数より高い高域部分を分割した複数のサブバンドにおいて、前記入力信号の高域部分のスペクトルを推定するための帯域情報、および、各サブバンド内の一部又は全部のスペクトル成分に対する振幅を調整する第1振幅調整パラメータ、を含む第2符号化情報を生成する第2符号化ステップと、
     前記第2符号化情報を用いて、前記第1復号信号から前記入力信号の高域部分を推定し、スペクトル成分の振幅を調整することにより第2復号信号を生成する第2復号ステップと、
     前記第1復号信号および前記第2復号信号と、前記入力信号との差分信号を符号化し、第3符号化情報を生成する第3符号化ステップと、を具備する符号化方法であって、
     前記第2復号ステップは、
     推定した前記入力信号の高域部分のスペクトルに対して、スペクトル成分を部分的に選択するスペクトル成分選択ステップと、
     前記部分的に選択されたスペクトル成分に対して第2振幅調整パラメータを適用する第1振幅調整パラメータ適用ステップと、
     前記部分的に選択されなかったスペクトル成分に対して前記第2振幅調整パラメータの値に応じて適応的に設定される第3振幅調整パラメータを適用する第2振幅調整パラメータ適用ステップと、を具備する、
     符号化方法。
PCT/JP2011/003196 2010-06-21 2011-06-07 復号装置、符号化装置およびこれらの方法 WO2011161886A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
US13/703,491 US9076434B2 (en) 2010-06-21 2011-06-07 Decoding and encoding apparatus and method for efficiently encoding spectral data in a high-frequency portion based on spectral data in a low-frequency portion of a wideband signal
CA2801362A CA2801362A1 (en) 2010-06-21 2011-06-07 Decoding device, encoding device, and methods for same
BR112012032746A BR112012032746A2 (pt) 2010-06-21 2011-06-07 dispositivo de descodificação, dispositivo de codificação, e métodos para os mesmos.
KR1020127033257A KR20130088756A (ko) 2010-06-21 2011-06-07 복호 장치, 부호화 장치 및 이러한 방법
JP2012521284A JP5730303B2 (ja) 2010-06-21 2011-06-07 復号装置、符号化装置およびこれらの方法
CN2011800302805A CN102947881A (zh) 2010-06-21 2011-06-07 解码装置、编码装置和解码方法、编码方法
EP11797775.1A EP2584561B1 (en) 2010-06-21 2011-06-07 Decoding device, encoding device, and methods for same
RU2012155222/08A RU2012155222A (ru) 2010-06-21 2011-06-07 Устройство декодирования, устройство кодирования и соответствующие способы
ZA2012/09578A ZA201209578B (en) 2010-06-21 2012-12-18 Decoding device, encoding device, and methods for same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010141021 2010-06-21
JP2010-141021 2010-06-21
JP2011047597 2011-03-04
JP2011-047597 2011-03-04

Publications (1)

Publication Number Publication Date
WO2011161886A1 true WO2011161886A1 (ja) 2011-12-29

Family

ID=45371093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003196 WO2011161886A1 (ja) 2010-06-21 2011-06-07 復号装置、符号化装置およびこれらの方法

Country Status (11)

Country Link
US (1) US9076434B2 (ja)
EP (1) EP2584561B1 (ja)
JP (1) JP5730303B2 (ja)
KR (1) KR20130088756A (ja)
CN (1) CN102947881A (ja)
BR (1) BR112012032746A2 (ja)
CA (1) CA2801362A1 (ja)
RU (1) RU2012155222A (ja)
TW (1) TW201212005A (ja)
WO (1) WO2011161886A1 (ja)
ZA (1) ZA201209578B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760323B2 (en) 2010-10-20 2014-06-24 Panasonic Corporation Encoding device and encoding method
KR102497153B1 (ko) 2012-01-18 2023-02-07 브이-노바 인터내셔널 리미티드 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩
WO2015037969A1 (ko) 2013-09-16 2015-03-19 삼성전자 주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
EP3614381A1 (en) * 2013-09-16 2020-02-26 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
CN108172239B (zh) * 2013-09-26 2021-01-12 华为技术有限公司 频带扩展的方法及装置
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Nttドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
CN112992164A (zh) * 2014-07-28 2021-06-18 日本电信电话株式会社 编码方法、装置、程序以及记录介质
JP6622945B2 (ja) * 2017-03-30 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
US11259040B1 (en) * 2019-04-25 2022-02-22 Amazon Technologies, Inc. Adaptive multi-pass risk-based video encoding
JPWO2021014933A1 (ja) * 2019-07-19 2021-01-28
CN115642971B (zh) * 2022-12-22 2023-05-09 成都华兴汇明科技有限公司 微波模块非线性参数的仿真文件生成方法及自动提取系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005111568A1 (ja) * 2004-05-14 2005-11-24 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、およびこれらの方法
JP2007017908A (ja) * 2005-07-11 2007-01-25 Sony Corp 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
WO2007052088A1 (en) 2005-11-04 2007-05-10 Nokia Corporation Audio compression
WO2010098112A1 (ja) * 2009-02-26 2010-09-02 パナソニック株式会社 符号化装置、復号装置およびこれらの方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60204038T2 (de) * 2001-11-02 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum codieren bzw. decodieren eines audiosignals
CN1308913C (zh) * 2002-04-11 2007-04-04 松下电器产业株式会社 编码设备、解码设备及其方法
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
CN101656073B (zh) * 2004-05-14 2012-05-23 松下电器产业株式会社 解码装置、解码方法以及通信终端和基站装置
KR20070084002A (ko) * 2004-11-05 2007-08-24 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 복호화 장치 및 스케일러블 부호화 장치
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
WO2009081568A1 (ja) 2007-12-21 2009-07-02 Panasonic Corporation 符号化装置、復号装置および符号化方法
US20100280833A1 (en) 2007-12-27 2010-11-04 Panasonic Corporation Encoding device, decoding device, and method thereof
CN101925953B (zh) 2008-01-25 2012-06-20 松下电器产业株式会社 编码装置、解码装置以及其方法
BRPI0908929A2 (pt) 2008-03-14 2016-09-13 Panasonic Corp dispositivo de codificação, dispositivo de decodificação, e método dos mesmos
WO2011048820A1 (ja) 2009-10-23 2011-04-28 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
US8838443B2 (en) 2009-11-12 2014-09-16 Panasonic Intellectual Property Corporation Of America Encoder apparatus, decoder apparatus and methods of these
EP2562750B1 (en) 2010-04-19 2020-06-10 Panasonic Intellectual Property Corporation of America Encoding device, decoding device, encoding method and decoding method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005111568A1 (ja) * 2004-05-14 2005-11-24 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、およびこれらの方法
JP2007017908A (ja) * 2005-07-11 2007-01-25 Sony Corp 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
WO2007052088A1 (en) 2005-11-04 2007-05-10 Nokia Corporation Audio compression
WO2010098112A1 (ja) * 2009-02-26 2010-09-02 パナソニック株式会社 符号化装置、復号装置およびこれらの方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2584561A4

Also Published As

Publication number Publication date
KR20130088756A (ko) 2013-08-08
EP2584561A4 (en) 2013-11-20
BR112012032746A2 (pt) 2016-11-08
CN102947881A (zh) 2013-02-27
EP2584561A1 (en) 2013-04-24
JP5730303B2 (ja) 2015-06-10
TW201212005A (en) 2012-03-16
RU2012155222A (ru) 2014-07-27
US20130124201A1 (en) 2013-05-16
EP2584561B1 (en) 2018-01-10
JPWO2011161886A1 (ja) 2013-08-19
ZA201209578B (en) 2013-09-25
CA2801362A1 (en) 2011-12-29
US9076434B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5730303B2 (ja) 復号装置、符号化装置およびこれらの方法
JP5511785B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5404418B2 (ja) 符号化装置、復号装置および符号化方法
JP5448850B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5449133B2 (ja) 符号化装置、復号装置およびこれらの方法
WO2009084221A1 (ja) 符号化装置、復号装置およびこれらの方法
KR101576318B1 (ko) 스펙트럼 평활화 장치, 부호화 장치, 복호 장치, 통신 단말 장치, 기지국 장치 및 스펙트럼 평활화 방법
US20090171673A1 (en) Encoding apparatus and encoding method
KR20070121254A (ko) 광대역 부호화 및 복호화 방법 및 장치
JP5565914B2 (ja) 符号化装置、復号装置およびこれらの方法
JP2009042740A (ja) 符号化装置
WO2013057895A1 (ja) 符号化装置及び符号化方法
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180030280.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11797775

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012521284

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2801362

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2696/MUMNP/2012

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 13703491

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20127033257

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011797775

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2012155222

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012032746

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012032746

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121220