WO2013002623A2 - 대역폭 확장신호 생성장치 및 방법 - Google Patents

대역폭 확장신호 생성장치 및 방법 Download PDF

Info

Publication number
WO2013002623A2
WO2013002623A2 PCT/KR2012/005258 KR2012005258W WO2013002623A2 WO 2013002623 A2 WO2013002623 A2 WO 2013002623A2 KR 2012005258 W KR2012005258 W KR 2012005258W WO 2013002623 A2 WO2013002623 A2 WO 2013002623A2
Authority
WO
WIPO (PCT)
Prior art keywords
frequency band
signal
encoding
high frequency
mode
Prior art date
Application number
PCT/KR2012/005258
Other languages
English (en)
French (fr)
Other versions
WO2013002623A3 (ko
WO2013002623A4 (ko
Inventor
주기현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to MX2014000161A priority Critical patent/MX340386B/es
Priority to BR112013033900-4A priority patent/BR112013033900B1/pt
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201280042439.XA priority patent/CN103843062B/zh
Priority to AU2012276367A priority patent/AU2012276367B2/en
Priority to EP12804615.8A priority patent/EP2728577A4/en
Priority to US14/130,021 priority patent/US9349380B2/en
Priority to BR122021019883-7A priority patent/BR122021019883B1/pt
Priority to MX2016008879A priority patent/MX350162B/es
Priority to MX2017011044A priority patent/MX370012B/es
Priority to JP2014518822A priority patent/JP6001657B2/ja
Priority to BR122021019877-2A priority patent/BR122021019877B1/pt
Priority to CA2840732A priority patent/CA2840732C/en
Publication of WO2013002623A2 publication Critical patent/WO2013002623A2/ko
Publication of WO2013002623A3 publication Critical patent/WO2013002623A3/ko
Publication of WO2013002623A4 publication Critical patent/WO2013002623A4/ko
Priority to ZA2014/00704A priority patent/ZA201400704B/en
Priority to US15/142,949 priority patent/US9734843B2/en
Priority to US15/676,209 priority patent/US10037766B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders

Definitions

  • the present invention relates to audio encoding / decoding, and more particularly, to an apparatus and method for generating a bandwidth extension signal capable of reducing metallic noise present in a bandwidth extension signal for a high band, and an audio encoding apparatus employing the same. And a method, an audio decoding apparatus, a method and a terminal.
  • the signal corresponding to the high frequency region is less sensitive to the fine structure of the frequency than the signal corresponding to the low frequency region. Therefore, in order to overcome the limitation of the available bits when encoding an audio signal, when encoding efficiency needs to be improved, a large number of bits are allocated to the signal corresponding to the low frequency region and encoded. Allocates and encodes a small bit.
  • SBR Spectrum Band Replication
  • SBR encodes the lower band, such as the low band or the core band of the spectrum
  • the upper band such as the high band
  • SBR uses the correlation between the lower band and the upper band to extract the features of the lower band and predict the upper band.
  • An object of the present invention is to provide an apparatus and method for generating a bandwidth extension signal capable of reducing metallic noise present in a bandwidth extension signal for a high band, an audio encoding apparatus and method using the same, an audio decoding apparatus, and A method and a terminal are provided.
  • a method for generating a bandwidth extension signal comprising: performing anti-thinning on a spectrum of a low frequency band; And performing extended encoding of the high frequency band in the frequency domain by using the spectrum of the low frequency band in which the semi-thinning process is performed.
  • an apparatus for generating a bandwidth extension signal comprising: a semi-lean processing unit for performing a semi-lean processing on a spectrum of a low frequency band; And an FD high frequency extended decoder configured to perform extended decoding of a high frequency band in a frequency domain by using a spectrum of a low frequency band in which the semi-thinning process is performed.
  • FIG. 1 is a block diagram showing the configuration of an audio encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an embodiment of the FD encoder illustrated in FIG. 1.
  • FIG. 3 is a block diagram illustrating a configuration of another embodiment of the FD encoder illustrated in FIG. 1.
  • Figure 4 is a block diagram showing the configuration of a semi-lean processing unit according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a configuration of an FD high frequency extension encoder according to an embodiment of the present invention.
  • 6A and 6B illustrate regions in which extended encoding is performed in the FD encoding module illustrated in FIG. 1.
  • FIG. 7 is a block diagram showing the configuration of an audio encoding apparatus according to another embodiment of the present invention.
  • FIG. 8 is a block diagram showing a configuration of an audio encoding apparatus according to another embodiment of the present invention.
  • FIG. 9 is a block diagram showing the configuration of an audio decoding apparatus according to an embodiment of the present invention.
  • FIG. 10 is a block diagram illustrating a configuration of an embodiment of the FD decoder illustrated in FIG. 9.
  • FIG. 11 is a block diagram illustrating a configuration of an embodiment of an FD high frequency extension decoder illustrated in FIG. 10.
  • FIG. 12 is a block diagram showing the configuration of an audio decoding apparatus according to another embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of an audio decoding apparatus according to another embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a codebook sharing method according to an embodiment of the present invention.
  • 15 is a diagram illustrating a coding mode signaling method according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another.
  • FIG. 1 is a block diagram showing the configuration of an audio encoding apparatus according to an embodiment of the present invention.
  • the audio encoding apparatus shown in FIG. 1 constitutes a multimedia apparatus, and includes a broadcast or music dedicated terminal including a voice communication terminal including a telephone, a mobile phone, a TV, an MP3 player, and the like, or a broadcast or a dedicated communication terminal with a voice communication or A fusion terminal of a music-only terminal may be included, but is not limited thereto.
  • the audio encoding apparatus can be used as a client, a server or a transducer disposed between the client and the server.
  • the audio encoding apparatus 100 illustrated in FIG. 1 includes an encoding mode determiner 110, a switching unit 130, a CELP (Code Excited Linear Prediction) encoding module 150, and an FD (Frequency Domain) encoding module 170. It may include.
  • the CELP encoding module 150 may include a CELP encoding unit 151 and a TD (Time Domain) extended encoding unit 153.
  • the FD encoding module 170 may include a transform unit 171 and an FD encoder 173. It may include. Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the encoding mode determiner 110 may determine an encoding mode of an input signal by referring to characteristics of a signal.
  • the encoding mode determiner 110 may determine whether the current frame is a voice mode or a music mode according to the characteristics of the signal, and may determine whether an efficient encoding mode for the current frame is a time domain mode or a frequency domain mode. have.
  • the characteristics of the signal may be grasped using the short-term characteristic of the frame or the long-term characteristic of the plurality of frames, but is not limited thereto.
  • the encoding mode determiner 110 may determine the CELP mode when the characteristic of the signal corresponds to the voice mode or the time domain mode, and the FD mode when the characteristic of the signal corresponds to the music mode or the frequency domain mode.
  • the input signal of the encoding mode determiner 110 may be a signal down-sampled by a down sampling unit (not shown).
  • the input signal may be a signal having a sampling rate of 12.8 kHz or 16 kHz obtained by resampling or down sampling a signal having a sampling rate of 32 kHz or 48 kHz.
  • a signal having a sampling rate of 32 kHz may be referred to as a super wide band (SWB) signal, and may be referred to as a full-band (FB) signal
  • a signal having a sampling rate of 16 kHz may be referred to as a wide-band signal.
  • the resampling or downsampling operation may be performed in the encoding mode determiner 110.
  • the encoding mode determiner 110 may determine the encoding mode with respect to the resampled or downsampled signal.
  • the encoding mode determined by the encoding mode determiner 110 may be provided to the switching unit 130, and may be stored or transmitted in a bitstream in units of frames.
  • the switching unit 130 may provide an input signal to one of the CELP encoding module 150 and the FD encoding module 170 according to the encoding mode provided from the encoding mode determiner 110.
  • the input signal is a resampled or downsampled signal and may be a low frequency band signal having a sampling rate of 12.8 kHz or 16 kHz.
  • the switching unit 130 provides an input signal to the CELP encoding module 150 when the encoding mode is the CELP mode, and provides an input signal to the FD encoding module 170 when the encoding mode is the FD mode.
  • the CELP encoding module 150 operates when the encoding mode is the CELP mode, and the CELP encoding unit 151 may perform CELP encoding on the input signal.
  • the CELP encoder 151 extracts an excitation signal from the resampled or downsampled signal, and extracts the filtered adaptive code vector (ie, the pitch information) corresponding to the pitch information. , quantized by taking into account adaptive codebook contributions) and filtered fixed codevectors (ie, fixed or innovation codebook contributions).
  • the CELP encoder 151 extracts a linear prediction coefficient (LPC), quantizes the extracted linear prediction coefficient, extracts an excitation signal using the quantized linear prediction coefficient,
  • LPC linear prediction coefficient
  • the extracted excitation signal may be quantized by considering each of the filtered adaptive codevector (ie, adaptive codebook contribution) and the filtered fixed codevector (ie, fixed or innovation codebook contribution) corresponding to the pitch information.
  • the CELP encoder 151 may apply different encoding modes according to the characteristics of the signal.
  • the coding modes to be applied include voiced coding mode, unvoiced coding mode, transient coding mode, and generic coding mode, but are not limited thereto. no.
  • the excitation signal ie, CELP information of the low frequency band obtained as a result of the encoding by the CELP encoder 151 is provided to the TD extension encoder 153, and may be stored or transmitted in a bitstream.
  • the TD extension encoder 153 may perform extended encoding of the high frequency band by folding or copying an excitation signal of the low frequency band provided by the CELP encoder 151.
  • the extended information of the high frequency band obtained as a result of extended encoding by the TD extension encoder 153 may be included in a bitstream and stored or transmitted.
  • the TD extension encoder 153 zeroes the linear predictive coefficient corresponding to the high frequency band of the input signal. In this case, the TD extension encoder 153 may extract a linear predictive coefficient of the high frequency signal of the input signal and quantize the extracted linear predictive coefficient.
  • the TD extension encoder 153 may generate a linear predictive coefficient of the high frequency band of the input signal using the excitation signal of the low frequency band of the input signal.
  • the linear predictive coefficient of the high frequency band may be used to represent envelope information of the high frequency band.
  • the FD encoding module 170 operates when the encoding mode is the FD mode, and the transform unit 171 may convert the resampled or downsampled signal from the time domain to the frequency domain.
  • the Modified Discrete Cosine Transform may be used, but is not limited thereto.
  • the FD encoder 173 may perform FD encoding on the resampled or downsampled spectrum provided from the converter 171.
  • An example of FD encoding is an algorithm applied in AAC (Advanced Audio Codec), but is not limited thereto.
  • FD information obtained as a result of FD encoding in the FD encoder 173 may be included in a bitstream and stored or transmitted.
  • prediction data may be further included in a bitstream obtained as a result of FD encoding by the FD encoder 173.
  • the decoding on the N + 1th frame is performed only by the encoding result according to the FD mode. Since it is impossible to do so, it is necessary to further include prediction data for reference in decoding.
  • bitstreams may be generated according to the encoding mode determined by the encoding mode determiner 110.
  • the bitstream may include a header and a payload.
  • the bitstream when the encoding mode is the CELP mode, the bitstream may include information about the encoding mode in the header, and include the CELP information and the TD extension information in the payload. Meanwhile, when the encoding mode is the FD mode, the bitstream may include information on the encoding mode in the header, and may include the FD information and the prediction data in the payload.
  • the FD information may further include FD high frequency extension information.
  • each bitstream may further include information about an encoding mode of a previous frame in a header, in order to prepare for a frame error.
  • the header of the bitstream may further include information about the encoding mode of the previous frame.
  • the audio encoding apparatus 100 shown in FIG. 1 may be switched to operate in either the CELP mode or the FD mode according to the characteristics of the signal, thereby performing efficient encoding adaptively to the characteristics of the signal. Meanwhile, the switching structure of FIG. 1 may be preferably applied to a high bit rate environment.
  • FIG. 2 is a block diagram illustrating a configuration of an embodiment of the FD encoder illustrated in FIG. 1.
  • the FD encoder 200 includes a Norm encoder 210, a FPC (Factorial Pulse Coding) encoder 230, an FD low frequency extension encoder 240, a noise side information generator 250, An anti-sparseness processor 270 and an FD high frequency extension encoder 290 may be included.
  • the Norm encoder 210 estimates or calculates a Norm value for each frequency band, for example, subbands, with respect to the frequency spectrum provided from the converter 171 of FIG. 1, and quantizes the estimated or calculated Norm value.
  • the Norm value means an average spectral energy obtained in units of subbands, and may be replaced by power.
  • Norm values can be used to normalize the frequency spectrum in subband units.
  • the masking threshold value is calculated using the Norm value for each subband unit with respect to the total number of bits according to the target bit rate, and the number of bits allocated for the perceptual encoding of each subband is integer or decimal point using the masking threshold value. Can be determined in units.
  • Norm values quantized by the Norm encoder 210 may be provided to the FPC encoder 230 and may be stored or transmitted in a bitstream.
  • the FPC encoder 230 may perform quantization using the allocated bits of each subband with respect to the normalized spectrum, and may perform FPC encoding on the quantized result. According to the FPC encoding, information such as the position of the pulse, the magnitude of the pulse, and the sign of the pulse within the allocated number of bits may be expressed in a factorial form. The FPC information obtained by the FPC encoder 230 may be included in the bitstream and stored or transmitted.
  • the noise additional information generator 250 may generate noise additional information, that is, a noise level in units of subbands, according to the FPC encoding result.
  • the frequency spectrum encoded by the FPC encoder 230 may have a portion that is not encoded in subband units, that is, a hole, due to the lack of the number of bits.
  • the noise level may be generated using an average of levels of uncoded spectral coefficients.
  • the noise level generated by the noise additional information generator 250 may be included in the bitstream and stored or transmitted. In addition, the noise level may be generated in units of frames.
  • the anti-sparseness processor 270 determines the noise addition position and the noise magnitude from the reconstruction spectrum for the low frequency band, and uses the noise level to determine the noise addition position and noise determined for the frequency spectrum in which the noise filling is performed.
  • the anti-thinning process according to the size is performed and provided to the FD high frequency extension encoder 290.
  • the reconstruction spectrum for the low frequency band may refer to a result of extending the low frequency band with respect to the FPC decoding result, performing noise filling, and then performing a semi-thinning process.
  • the FD high frequency extension encoder 290 may perform extended encoding of the high frequency band by using the spectrum of the low frequency band provided from the semi-lean processor 270. In this case, the spectrum of the original high frequency band may also be provided to the FD high frequency extension encoder 290. According to an embodiment, the FD high frequency extension encoder 370 may obtain an extended high frequency band spectrum by folding or replicating a low frequency band spectrum, and extracts energy in subband units with respect to the original high frequency band spectrum. Then adjust the extracted energy and quantize the regulated energy.
  • the first tonality is calculated in subbands with respect to the spectrum of the original high frequency band, and subbands are used for the excitation signal of the extended high frequency band using the spectrum of the low frequency band.
  • the second tonality may be calculated to be performed according to a ratio between the first tonality and the second tonality.
  • the control of energy calculates a first tonality in units of subbands with respect to a spectrum of an original high frequency band, thereby indicating a first noise factor representing a degree to which a noise component is included in a signal.
  • the second tonality is calculated by subband unit for the excitation signal of the extended high frequency band using the spectrum of the low frequency band, and the second noise factor is obtained.
  • the first noise factor and the second noise factor are obtained. It may be performed corresponding to the ratio between factors. According to this, when the second tonality is larger than the first tonality or when the first noise factor is larger than the second noise factor, the energy of the corresponding subband is reduced to prevent noise from increasing. can do. In the opposite case, the energy of the corresponding subband may be increased.
  • a method of generating an excitation signal in a predetermined subband is simulated. If the characteristics of the original signal of the subbands are different, the energy can be adjusted. In this case, the characteristics of the excitation signal and the original signal according to the simulation result may be at least one of the tonality and the noise factor, but are not limited thereto. Accordingly, when the decoding unit performs decoding such as actual energy, it is possible to prevent a phenomenon in which noise increases.
  • a multi stage vector quantization (MSVQ) scheme may be applied to quantization of energy, but is not limited thereto.
  • the FD high frequency extension encoder 290 performs vector quantization by collecting energy of odd subbands among a predetermined number of subbands in the current stage, and uses an even number using a vector quantization result of odd subbands. The prediction error of the first subbands may be obtained, and vector quantization of the obtained prediction error may be performed at the next stage.
  • the reverse may be possible. That is, the FD high frequency extension encoder 370 uses the vector quantization result of the n th subband and the vector quantization result of the n + 2 th subband to obtain a prediction error of the n + 1 th subband. Acquire.
  • the weight of the importance of each signal or energy vector minus the mean value for each energy vector may be calculated.
  • the weight for the importance may be calculated in a direction maximizing the sound quality of the synthesized sound.
  • an optimized quantization index for an energy vector can be obtained by using weighted mean square error (WMSE).
  • the FD high frequency extension encoder 290 may apply a multi-mode bandwidth extension method using various excitation signal generation methods according to characteristics of the high frequency signal.
  • the multimode bandwidth extension method may operate in a transient mode, a normal mode, a harmonic mode, a noise mode, and the like according to characteristics of a high frequency signal. Since the FD high frequency extension encoder 290 is applied to a stationary frame, the FD high frequency extension encoder 290 may generate an excitation signal using one of a normal mode, a harmonic mode, and a noise mode for each frame according to the characteristics of the high frequency signal. .
  • the FD high frequency extension encoder 290 may generate signals for different high frequency bands according to bit rates. That is, the high frequency band in which the extended encoding is performed by the FD high frequency extension encoder 290 may be set differently according to the bit rate. For example, the FD high frequency extension encoder 290 performs extended encoding on a frequency band of about 6.4 to 14.4 kHz at a bit rate of 16 kbps, and performs extended encoding on a frequency band of about 8 to 16 kHz at a bit rate of 16 kbps or more. can do.
  • the FD high frequency extension encoder 290 may perform energy quantization by sharing the same codebook for different bit rates.
  • the FD encoder 200, Norm encoder 210, FPC (Factorial Pulse Coding) encoder 230, noise side information generator 250, anti-lean (anti- The sparseness processor 270 and the FD extension encoder 290 may be operated.
  • the anti-sparseness processor 270 preferably operates in the normal mode of the static frame.
  • the noise side information generator 250, the anti-sparseness processor 270, and the FD extension encoder 290 do not operate.
  • the FPC encoder 230 may apply a higher frequency band (Fcore) allocated to perform the FPC to a higher level, for example, Fend, as compared with the case where the static frame is input.
  • Fcore frequency band
  • FIG. 3 is a block diagram illustrating a configuration of another embodiment of the FD encoder illustrated in FIG. 1.
  • the FD encoder 300 includes a Norm encoder 310, an FPC encoder 330, an FD low frequency extension encoder 340, a semi-lean processor 370, and an FD high frequency extension encoder ( 390).
  • operations of the Norm encoder 310, the FPC encoder 330, and the FD high frequency extended encoder 390 may be performed by the Norm encoder 210, the FPC encoder 230, and the FD high frequency extended encoder (FIG. 2). Since the same as in 290, detailed description thereof will be omitted.
  • the semi-lean processor 370 does not use a separate noise level, but uses a Norm value obtained by the Norm encoder 310 in subband units. That is, the semi-thinning processor 370 determines the noise addition position and the noise size from the reconstruction spectrum for the low frequency band, and uses the Norm value according to the noise addition position and the noise size determined for the frequency spectrum where the noise filling is performed. Semi-thinning is performed to provide the FD high frequency extension encoder 290. Specifically, for a subband including a portion dequantized to zero, a noise component may be generated and the energy of the noise component may be adjusted by using a ratio between the energy of the noise component and the dequantized Norm value, that is, the spectral energy. . According to another embodiment, for a subband including a portion dequantized to zero, a noise component may be generated and adjusted so that the average energy of the noise component is one.
  • Figure 4 is a block diagram showing the configuration of a semi-lean processing unit according to an embodiment of the present invention.
  • the semi-lean processor 400 may include a reconstructed spectrum generator 410, a noise position determiner 430, a noise magnitude determiner 440, and a noise adder 450.
  • the reconstructed spectrum generator 410 generates a reconstructed spectrum of a low frequency band by using the FPC information provided from the FPC encoder (230 of FIG. 2 or 330 of FIG. 3) and noise filling information such as noise level or Norm value.
  • FPC information provided from the FPC encoder (230 of FIG. 2 or 330 of FIG. 3)
  • noise filling information such as noise level or Norm value.
  • FD low frequency extended encoding may be additionally performed to generate a restored spectrum of the low frequency band.
  • the noise location determiner 430 may determine a spectrum restored to 0 from the restored spectrum of the low frequency band as the noise location.
  • the noise location may be determined in consideration of the magnitude of the surrounding spectrum among the spectra restored to zero. For example, when the magnitude of the surrounding spectrum adjacent to the spectrum restored to zero is greater than or equal to a predetermined value, the spectrum restored to the corresponding zero may be determined as the noise position.
  • the predetermined value may be set to an optimal value in advance so that information loss of the surrounding spectrum adjacent to the spectrum restored to zero through simulation or experimentally may be minimized.
  • the noise determiner 440 may determine an amplitude of noise to be added to the determined noise position.
  • the magnitude of the noise may be determined based on the noise level.
  • the amount of noise may be determined by varying the noise level by a predetermined ratio. In more detail, it may be determined in the same manner as (0.5 * noise level), but is not limited thereto.
  • the size of the noise may be determined by adaptively varying the size of the surrounding spectrum of the determined noise location. If the ambient spectrum is smaller than the amount of noise to be added, the magnitude of the noise may be changed to be smaller than the ambient spectrum.
  • the noise adding unit 450 may add noise based on the noise location and the noise size determined using the random noise.
  • a random sign may be applied.
  • the magnitude of the noise may be a fixed value, and the sign may be varied depending on whether the random signal generated through the random seed is odd or even. For example, when the random signal is even, the + sign may be added, and when the random signal is odd, the ⁇ sign may be added.
  • the spectrum of the low frequency band to which the noise is added by the noise adding unit 450 is provided to the FD high frequency extension coding unit (290 of FIG. 2).
  • the spectrum of the low frequency band provided to the FD high frequency extension encoder (290 of FIG. 2) is subjected to noise peeling processing and low frequency band extension coding on the spectrum of the low frequency band obtained by performing FPC decoding, and then semi-thinning processing. It may represent a core decoded signal that has been performed.
  • FIG. 5 is a block diagram illustrating a configuration of an FD high frequency extension encoder according to an embodiment of the present invention.
  • the FD high frequency extension encoder 500 includes a spectrum copy unit 510, a first tonality calculator 520, a second tonality calculator 530, and an excitation signal generation method determiner. 540, an energy controller 550, and an energy quantizer 560. Meanwhile, the encoder may further include a high frequency spectrum generation module 570 when the encoding apparatus requires a reconstructed spectrum of the high frequency band.
  • the high frequency recovery spectrum generation module 570 may include a high frequency excitation signal generator 571 and a high frequency spectrum generator 573.
  • the FD encoder (173 of FIG. 1) uses a transform, for example, MDCT, which can be restored through an overlap-add with the previous frame, and switching between the CELP mode and the FD mode exists between frames. It is necessary to add a high frequency recovery spectrum generation module 570.
  • the spectral radiator 510 may be extended to a high frequency band by folding or replicating a low frequency band spectrum provided from the semi-lean processor 270 of FIG. 2 or 370 of FIG. 3.
  • a low frequency band spectrum of 0 to 8 kHz can be used to extend to a high frequency band of 8 to 16 kHz.
  • the original low frequency spectrum may be folded or duplicated to extend the high frequency band.
  • the first tonality calculator 520 calculates the first tonality for the spectrum of the original high frequency band in predetermined subband units.
  • the second tonality calculator 530 calculates the second tonality in units of subbands with respect to the spectrum of the extended high frequency band by using the spectrum of the low frequency band in the spectrum copyer 510.
  • the first and second tonalities may be calculated using spectral flatness based on a ratio of the average size and the maximum size of the spectrum of the subband. Specifically, spectral flatness can be measured through the relationship between the geometric mean and the arithmetic mean of the frequency spectrum. That is, the first and second tonalities are measures indicating whether the spectrum has a peaky characteristic or a flat characteristic characteristic.
  • the first tonality calculator 520 and the second tonality calculator 530 preferably operate in the same manner and in the same subband units.
  • the excitation signal generation method determiner 540 may determine the high frequency excitation signal generation method by comparing the first tonality and the second tonality.
  • a method of generating a high frequency excitation signal may be determined through adaptive weighting of a spectrum of a high frequency band and random noise generated by modifying a spectrum of a low frequency band.
  • the value corresponding to the adaptive weight is the type information of the excitation signal, and the type information of the excitation signal may be included in the bitstream and stored or transmitted.
  • the type information of the excitation signal may be configured as 2 bits. Here, two bits may be configured in four steps based on a weight to be added to random noise.
  • the type information of the excitation signal may be transmitted once per frame.
  • a plurality of subbands may be bundled to form a group, and type information of an excitation signal may be defined for each group and transmitted for each group.
  • the excitation signal generation method determiner 540 may determine a method of generating a high frequency excitation signal by considering only the signal characteristics of the original high frequency band.
  • a method of generating an excitation signal according to which area the first tonality value corresponds to, based on the number of types of information of the excitation signal, is classified according to the number of types of information of the excitation signal. You can decide. According to this method, when the tonality value is high, that is, when the picky characteristic of the spectrum is large, the weight added to the random noise can be set small.
  • the excitation signal generation method determiner 540 may determine a method of generating a high frequency excitation signal in consideration of the signal characteristics of the original high frequency band and the characteristics of the high frequency signal to be generated through band extension at the same time. . For example, if the signal characteristics of the original high frequency band and the characteristics of the high frequency signal to be generated through the band extension are similar, the weight of the random noise is set small, and the signal characteristics of the original high frequency band and the high frequency signal to be generated through the band extension are set. If the characteristics are different, the weight of the random noise can be large. Meanwhile, the sub-band difference value between the first tonality and the second tonality may be set based on an average.
  • the weight of the random noise is set large, and the average of the subband difference values between the first tonality and the second tonality is large. If it is small, the weight of the random noise can be set small.
  • the average of the difference between subbands between the first tonality and the second tonality is obtained using the average of subbands belonging to one group.
  • the energy controller 550 obtains energy in subband units with respect to the spectrum of the original high frequency band, and performs energy control using the first tonality and the second tonality. For example, when the first tonality is large and the second tonality is small, that is, when the spectrum of the original high frequency band is picked and the output spectrum of the semi-lean processing unit 270 or 370 is flat, 2 Adjust the energy based on the ratio of tonality.
  • the energy quantization unit 560 may vector quantize the adjusted energy and store or transmit the quantization index generated as a result of the vector quantization in the bitstream.
  • the operations of the high frequency excitation signal generator 571 and the high frequency spectrum generator 573 are performed by the high frequency excitation signal generator 1130 and the high frequency spectrum generator 1170 of FIG. 11. ) Is substantially the same, so a detailed description thereof will be omitted.
  • FIG. 6A and 6B illustrate regions in which extended encoding is performed in the FD encoding module 170 illustrated in FIG. 1.
  • FIG. 6A shows a case in which the upper frequency band Ffpc on which the actual FPC is performed is the same as the low frequency band allocated to performing the FPC, that is, the core frequency band Fcore, in which case FPC and noise for the low frequency band up to Fcore Filling is performed, and extended encoding is performed on a high frequency band corresponding to Fend-Fcore using a signal of a low frequency band.
  • Fend may be the maximum frequency obtained by high frequency extension.
  • FIG. 6B illustrates a case in which the upper frequency band Ffpc on which the actual FPC is performed is smaller than the core frequency band Fcore, and FPC and noise peeling are performed on the low frequency band up to Ffpc, corresponding to Fcore-Ffpc.
  • Extended coding is performed using a signal of a low frequency band in which FPC and noise peeling are performed on a low frequency band, and extended coding is performed using all signals of a low frequency band for a high frequency band corresponding to Fend-Fcore.
  • Fend can be the maximum frequency that can be obtained by high frequency extension.
  • Fcore and Fend can be set variably according to the bit rate.
  • Fcore may be limited to 6.4 kHz, 8 kHz, or 9.6 kHz depending on the bit rate, but is not limited thereto.
  • Fend may be extended to 14 kHz, 14.4 kHz, or 16 kHz, but is not limited thereto.
  • Ffpc up to an upper frequency band Ffpc where the actual FPC is performed corresponds to a frequency band in which noise filling is performed.
  • FIG. 7 is a block diagram showing the configuration of an audio encoding apparatus according to another embodiment of the present invention.
  • the audio encoding apparatus 700 illustrated in FIG. 7 may include an encoding mode determiner 710, an LPC encoder 705, a switching unit 730, a CELP encoding module 750, and an audio encoding module 770.
  • the CELP encoding module 750 may include a CELP encoding unit 751 and a TD extension encoding unit 753, and the audio encoding module 770 may include an audio encoding unit 771 and an FD extension encoding unit 773. can do.
  • Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the LPC encoder 705 may extract a linear prediction coefficient (LPC) from an input signal and quantize the extracted linear prediction coefficient.
  • LPC linear prediction coefficient
  • the LPC encoder 705 may quantize the linear prediction coefficient by using a trellis coded quantization (TCQ) method, a multi-stage vector quantization (MSVQ) method, a latency vector quantization (LVQ) method, or the like. It is not limited to this.
  • the linear predictive coefficient quantized by the LPC encoder 705 may be included in the bitstream and stored or transmitted.
  • the LPC encoder 705 may resample or downsample an input signal having a sampling rate of 32 kHz or 48 kHz to extract a linear predictive coefficient from a signal having a sampling rate of 12.8 kHz or 16 kHz.
  • the encoding mode determiner 710 may determine an encoding mode of an input signal by referring to characteristics of a signal. The encoding mode determiner 710 may determine whether the current frame is a voice mode or a music mode according to the characteristics of the signal, and may determine whether an efficient encoding mode for the current frame is a time domain mode or a frequency domain mode. have.
  • the input signal of the encoding mode determiner 710 may be a down sampled signal by a down sampling unit (not shown).
  • the input signal may be a signal having a sampling rate of 12.8 kHz or 16 kHz obtained by resampling or down sampling a signal having a sampling rate of 32 kHz or 48 kHz.
  • a signal having a sampling rate of 32 kHz may be referred to as a super wide band (SWB) signal, and may be referred to as a full-band (FB) signal
  • a signal having a sampling rate of 16 kHz may be referred to as a wide-band signal.
  • a resampling or downsampling operation may be performed in the encoding mode determiner 710.
  • the encoding mode determiner 710 may determine the encoding mode with respect to the resampled or downsampled signal.
  • the encoding mode determined by the encoding mode determiner 710 may be provided to the switching unit 730, and may be included in a bitstream on a frame basis to be transmitted or stored.
  • the switching unit 730 uses the CELP encoding module 750 and the audio encoding module 770 to calculate the linear prediction coefficients of the low frequency band provided from the LPC encoder 705 according to the encoding mode provided from the encoding mode determiner 710. Can be provided as either.
  • the switching unit 730 provides the linear prediction coefficient of the low frequency band to the CELP encoding module 750 when the encoding mode is the CELP mode, and the linear prediction coefficient of the low frequency band when the encoding mode is the audio mode.
  • the CELP encoding module 750 provides the linear prediction coefficient of the low frequency band to the CELP encoding module 750 when the encoding mode is the CELP mode, and the linear prediction coefficient of the low frequency band when the encoding mode is the audio mode.
  • the CELP encoding module 750 operates when the encoding mode is the CELP mode, and the CELP encoding unit 751 may perform CELP encoding on the excitation signal obtained from the linear prediction coefficient of the low frequency band.
  • the CELP encoder 751 may convert the LPC excitation signal into a filtered adaptive codevector (ie, adaptive codebook contribution) and a filtered fixed codevector (ie, fixed or innovation codebook) corresponding to pitch information. contribution can be quantized by considering each.
  • the excitation signal may be generated by the LPC encoder 705 and provided to the CELP encoder 751 or generated by the CELP encoder 751.
  • the CELP encoder 751 may apply different encoding modes according to the characteristics of the signal.
  • the coding modes to be applied include voiced coding mode, unvoiced coding mode, transient coding mode, and generic coding mode, but are not limited thereto. no.
  • the excitation signal of the low frequency band that is, the CELP information obtained as a result of the encoding by the CELP encoder 751 may be provided to the TD extension encoder 753 and included in the bitstream.
  • the TD extension encoder 753 may perform extension encoding of the high frequency band by folding or copying an excitation signal of the low frequency band provided by the CELP encoder 751.
  • the TD extension encoder 151 may include extension information of a high frequency band obtained as a result of extension encoding in the bitstream.
  • the audio encoding module 770 operates when the encoding mode is the audio mode.
  • the audio encoding unit 771 may perform audio encoding by converting an excitation signal obtained from a linear prediction coefficient of a low frequency band into a frequency domain.
  • the audio encoder 771 may use a transformation method in which there is no overlapping area between frames, such as a discrete cosine transform (DCT).
  • the audio encoder 771 may perform Lattice VQ (LVQ) and FPC encoding on the excitation signal converted into the frequency domain.
  • LVQ Lattice VQ
  • FPC FPC encoding
  • the audio encoder 771 may filter a adaptive codebook contribution and a filtered fixed codevector contribution.
  • the TD information may be further considered to quantize it.
  • the FD extension encoder 773 may perform extended encoding of the high frequency band by using an excitation signal of a low frequency band provided from the audio encoder 771. Since the operation of the FD extension encoder 773 is similar to that of the FD high frequency extension encoder 290 or 390, except that the input signal is different, a detailed description thereof will be omitted.
  • bitstreams may be generated according to the encoding mode determined by the encoding mode determiner 710.
  • the bitstream may include a header and a payload.
  • the bitstream when the encoding mode is the CELP mode, the bitstream may include information on the encoding mode in the header, and may include CELP information and TD high frequency extension information in the payload. Meanwhile, when the encoding mode is the audio mode, the bitstream may include information about the encoding mode in the header, and the payload may include information about the audio encoding, that is, the audio information and the FD high frequency extension information.
  • the audio encoding apparatus 700 illustrated in FIG. 7 is switched to operate in either the CELP mode or the audio mode according to the characteristics of the signal, thereby adaptively and efficiently encoding the characteristics of the signal. Meanwhile, the switching structure of FIG. 1 may be preferably applied to a low bit rate environment.
  • FIG. 8 is a block diagram showing a configuration of an audio encoding apparatus according to another embodiment of the present invention.
  • the audio encoding apparatus 800 illustrated in FIG. 8 may include an encoding mode determiner 810, a switching unit 830, a CELP encoding module 850, an FD encoding module 870, and an audio encoding module 890.
  • the CELP encoding module 850 may include a CELP encoding unit 851 and a TD extension encoding unit 853, and the FD encoding module 870 may include a conversion unit 871 and an FD encoding unit 873.
  • the audio encoding module 890 may include an audio encoder 891 and an FD extension encoder 893. Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the encoding mode determiner 810 may determine an encoding mode of an input signal with reference to a characteristic and a bit rate of the signal.
  • the encoding mode determiner 810 determines whether the current frame is the voice mode or the music mode, and whether the effective encoding mode is the time domain mode or the frequency domain mode, depending on the characteristics of the signal. You can decide in mode. If the characteristic of the signal is the voice mode, it is determined as the CELP mode, the music mode and the high bit rate is determined as the FD mode, and the music mode and the low bit rate is determined as the audio mode.
  • the switching unit 830 may provide an input signal to one of the CELP encoding module 850, the FD encoding module 870, and the audio encoding module 890 according to the encoding mode provided from the encoding mode determiner 810. .
  • the audio encoding apparatus 800 of FIG. 8 extracts the linear predictive coefficient from the input signal by the CELP encoder 851 and extracts the linear predictive coefficient from the input signal by the audio encoder 891. It is similar to the combination of the audio encoding apparatus 100 of FIG. 1 and the audio encoding apparatus 700 of FIG.
  • the audio encoding apparatus 800 illustrated in FIG. 8 may be switched to operate in any one of the CELP mode, the FD mode, and the audio mode according to the characteristics of the signal, thereby performing efficient encoding adaptively to the characteristics of the signal. Meanwhile, the switching structure of FIG. 8 may be applied regardless of the bit rate.
  • FIG. 9 is a block diagram showing the configuration of an audio decoding apparatus according to an embodiment of the present invention.
  • the audio decoding apparatus shown in FIG. 9 alone or in combination with the audio encoding apparatus shown in FIG. 1 constitutes a multimedia device, and includes a broadcast-only terminal including a telephone, a mobile phone, a TV, an MP3 player, and the like.
  • the present invention may include a music terminal or a fusion terminal of a voice communication terminal and a broadcast or music terminal, but is not limited thereto.
  • the audio decoding apparatus may be used as a client, a server, or a transducer disposed between the client and the server.
  • the audio decoding apparatus 900 illustrated in FIG. 9 may include a switching unit 910, a CELP decoding module 930, and an FD decoding module 950.
  • the CELP decoding module 930 may include a CELP decoding unit 931 and a TD extended decoding unit 933
  • the FD decoding module 950 may include an FD decoding unit 951 and an inverse transform unit 953. have.
  • Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the switching unit 910 may provide the bitstream to one of the CELP decoding module 930 and the FD decoding module 950 by referring to information about an encoding mode included in the bitstream.
  • the encoding mode is the CELP mode
  • the bitstream is provided to the CELP decoding module 930 and the FD decoding module 950 when the FD mode is used.
  • the CELP decoding unit 931 decodes the linear prediction coefficients included in the bitstream, performs decoding on the filtered adaptive code vector and the filtered fixed code vector, and synthesizes the decoding result. To generate a reconstruction signal for the low frequency band.
  • the TD extension decoder 933 generates a reconstruction signal of the high frequency band by performing extended decoding on the high frequency band using at least one of a CELP decoding result and an excitation signal of a low frequency band. At this time, the excitation signal of the low frequency band may be included in the bitstream. In addition, the TD extension decoder 933 may utilize linear predictive coefficient information for the low frequency band included in the bitstream to generate a reconstruction signal for the high frequency band.
  • the TD extension decoder 933 may generate a restored SWB signal by combining the reconstruction signal for the generated high frequency band with the reconstruction signal of the low frequency band generated by the CELP decoder 931.
  • the TD extension decoder 933 may further perform the operation of converting the sampling rate of the reconstruction signal of the low frequency band and the reconstruction signal of the high frequency band to be identical to generate the reconstructed SWB signal.
  • the FD decoding unit 951 performs FD decoding on an FD coded frame.
  • the FD decoder 951 may generate a frequency spectrum by decoding the bitstream.
  • the FD decoder 951 may recognize that decoding may be performed by referring to mode information of a previous frame included in the bitstream. That is, the FD decoder 951 may perform FD decoding with reference to previous frame mode information included in the bitstream with respect to the FD encoded frame.
  • the inverse transform unit 953 inverts the FD decoding result to the time domain.
  • the inverse transform unit 953 generates a reconstruction signal by performing inverse transform on the FD decoded frequency spectrum.
  • the inverse transform unit 953 may perform inverse MDCT, but is not limited thereto.
  • the audio signal decoding apparatus 900 may decode the bitstream by referring to the encoding mode on a frame basis.
  • FIG. 10 is a block diagram illustrating a configuration of an embodiment of the FD decoder illustrated in FIG. 9.
  • the FD decoder 1000 illustrated in FIG. 10 includes a Norm decoder 1010, an FPC decoder 1020, a noise filling unit 1030, an FD low frequency extension decoder 1040, an anti-leanness processor 1050, The FD high frequency extension decoder 1060 and the combiner 1070 may be included.
  • the Norm decoder 1010 may obtain a restored Norm value by decoding a Norm value included in the bitstream.
  • the FPC decoder 1020 may determine the number of allocated bits using the reconstructed Norm value, and may perform FPC decoding on the FPC encoded spectrum using the number of allocated bits.
  • the number of allocated bits may be determined in the same manner as in the FPC encoder 230 or 330.
  • the noise filling unit 1030 performs noise filling using a noise level generated and provided separately from the audio encoding apparatus by referring to the FPC decoding result of the FPC decoding unit 1020, or uses the reconstructed Norm value. Filling may be performed. That is, the noise filling unit 1030 performs the noise filling process up to the last subband in which FPC decoding is performed.
  • the FD low frequency extension decoder 1040 operates when the upper frequency band Ffpc on which the actual FPC decoding is performed is smaller than the core frequency band Fcore, and performs FPC decoding and noise peeling on the low frequency band up to Ffpc.
  • extended decoding may be performed using a signal of a low frequency band in which FPC and noise peeling have been performed.
  • the anti-thinning processing unit 1050 performs noise filling processing on the FPC decoded signal, the anti-thinning processing unit 1050 further suppresses the generation of metallic noise caused after FD high frequency extension coding by adding noise to the spectrum restored to zero. can do.
  • the semi-lean processor 1050 determines the noise addition position and the noise size from the spectrum of the low frequency band provided from the FD low frequency extension decoding unit 1040, and determines the noise addition position and the noise size determined for the spectrum of the low frequency band.
  • the anti-thinning process according to the present invention is provided to the FD high frequency extension decoder 1060.
  • the semi-lean processor 1050 includes a noise positioning unit 430, a noise sizing unit 440, and a noise adding unit 450 except for the reconstructed spectrum generator 410 illustrated in FIG. 4. Can be.
  • the noise peeling process when performing the noise peeling process only when all the spectra in the subband are quantized to zero when FPC decoding is performed, when there is a spectrum restored to zero in the subband where the noise peeling process is not performed
  • the noise can be added to perform the semi-thinning process.
  • anti-thinning may be performed by adding noise.
  • the FD high frequency extension decoder 1060 performs extended encoding on the high frequency band by using the spectrum of the low frequency band to which the noise is added by the semi-lean processor 1050. According to an embodiment, the FD high frequency extension decoder 1060 may perform energy dequantization by sharing the same codebook for different bit rates.
  • the combiner 1070 combines the spectrum of the low frequency band provided from the FD low frequency extension decoder 1040 with the spectrum of the high frequency band provided from the FD high frequency extension decoder 1060 to generate a reconstructed spectrum of the SWB.
  • FIG. 11 is a block diagram illustrating a configuration of an embodiment of an FD high frequency extension decoder illustrated in FIG. 10.
  • the FD high frequency extension encoder 1100 illustrated in FIG. 11 may include a spectrum copy unit 1110, a high frequency excitation signal generator 1130, an energy dequantization unit 1150, and a high frequency spectrum generator 1170. .
  • the spectral radiator 1110 may expand or reduce the low frequency band spectrum provided from the semi-lean processor 1050 of FIG. 10 to a high frequency band.
  • the high frequency excitation signal generator 1130 generates a high frequency excitation signal using the extended high frequency band spectrum provided from the spectrum copying unit 1110 and the excitation signal type information extracted from the bitstream.
  • the high frequency excitation signal generator 1130 may generate a high frequency excitation signal through a weight between the spectrum G (n) and the random noise R (n) modified from the extended high frequency band spectrum provided from the spectrum copying unit 1110.
  • the modified spectrum may be obtained by obtaining an average size in units of subbands by using a newly defined subband instead of an existing subband, and normalizing the spectrum to the average size.
  • the modified spectrum generated in this way undergoes a process of matching levels in units of a predetermined subband in order to match the level with random noise. Level matching is the process by which the average magnitude of the subbands makes the random noise and the transformed spectrum equal.
  • the size of the modified signal may be set to be slightly larger.
  • w (n) is a value determined by the type information of the excitation signal
  • n is a spectrum bin index, respectively.
  • w (n) may be a constant value or, when transmitted for each subband, may be defined as the same value for each subband. It may also be set in consideration of smoothing between adjacent subbands.
  • w (n) may be allocated such that when the type information of the excitation signal is defined as 2 bits of 0, 1, 2, and 3, the maximum value is 0 and the minimum value is 3.
  • the energy dequantization unit 1150 dequantizes the quantization index included in the bitstream to restore energy.
  • the high frequency spectrum generator 1170 may restore the high frequency band spectrum from the high frequency excitation signal based on a ratio between the energy of the high frequency excitation signal and the restored energy so that the energy of the high frequency excitation signal may be matched with the restored energy.
  • the high frequency spectrum generator 1170 replaces the input signal instead of the low frequency band spectrum provided from the semi-lean processing unit 1050 of FIG. 10.
  • the high frequency spectrum may be generated using the input of the spectrum copying unit 1110.
  • FIG. 12 is a block diagram showing the configuration of an audio decoding apparatus according to another embodiment of the present invention.
  • the audio decoding apparatus 1200 illustrated in FIG. 12 may include an LPC decoding unit 1205, a switching unit 1210, a CELP decoding module 1230, and an audio decoding module 1250.
  • the CELP decoding module 1230 may include a CELP decoding unit 1231 and a TD extension decoding unit 1233, and the audio decoding module 1250 includes an audio decoding unit 1251 and an FD extension decoding unit 1253. can do.
  • Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the LPC decoding unit 1205 performs LPC decoding on a bitstream in a frame unit.
  • the switching unit 1210 may provide the output of the LPC decoding unit 1205 to one of the CELP decoding module 1230 and the audio decoding module 1250 with reference to the information on the encoding mode included in the bitstream.
  • the output of the LPC decoder 1205 is provided to the CELP decoding module 1230 and the audio decoding module 1250 when the audio mode is the audio mode.
  • the CELP decoding unit 1231 performs CELP decoding on a CELP encoded frame. For example, the CELP decoder 1231 performs decoding on the filtered adaptive code vector and the filtered fixed code vector, and synthesizes the decoding results to generate a reconstruction signal for the low frequency band.
  • the TD extension decoder 1233 generates a reconstruction signal of the high frequency band by performing extended decoding on the high frequency band using at least one of a CELP decoding result and an excitation signal of a low frequency band. At this time, the excitation signal of the low frequency band may be included in the bitstream. In addition, the TD extension decoder 1233 may utilize linear predictive coefficient information for the low frequency band included in the bitstream to generate a reconstruction signal for the high frequency band.
  • the TD extension decoder 1233 may generate a reconstructed SWB signal by combining a reconstruction signal of the generated high frequency band with a reconstruction signal of the low frequency band generated by the CELP decoder 1231. In this case, the TD extension decoder 1233 may further perform the operation of converting the sampling rate of the reconstruction signal of the low frequency band and the reconstruction signal of the high frequency band to be identical to generate the reconstructed SWB signal.
  • the audio decoder 1125 performs audio decoding on the audio encoded frame. For example, when there is a time domain contribution, the audio decoder 1125 performs decoding in consideration of the time domain contribution and the frequency domain contribution, and when the time domain contribution does not exist. The decoding is performed considering the frequency domain contribution.
  • the audio decoder 1125 performs inverse frequency transformation using IDCT or the like on the signal quantized by FPC or LVQ to generate the decoded low frequency excitation signal, and synthesizes the generated excitation signal with inverse quantized LPC coefficients. As a result, a reconstruction signal of a low frequency band can be generated.
  • the FD extension decoder 1253 performs extended decoding by using the result of the audio decoding. For example, the FD extension decoder 1253 converts the decoded low frequency band signal to a sampling rate suitable for high frequency extension decoding, and performs a frequency conversion such as MDCT on the converted signal. The FD extension decoder 1253 dequantizes the energy of the quantized high frequency band of the converted low frequency spectrum, generates an excitation signal of the high frequency band using signals of the low frequency band according to various modes of the high frequency bandwidth extension, and generates As the gain is applied to match the energy of the excitation signal with the dequantized energy, a reconstruction signal of a high frequency band may be generated.
  • the various modes of high frequency bandwidth extension can be any one of a normal mode, a transition mode, a harmonic mode, or a noise mode.
  • the FD extension decoder 1253 performs a frequency inverse transform, such as Inverse MDCT, on the generated high frequency band reconstruction signal and the low frequency band reconstruction signal, and performs an inverse decoding on the signal on which the frequency inverse transform has been performed. After performing the conversion operation to match the generated low frequency signal and the sampling rate, the low frequency signal and the signal on which the conversion operation is performed are synthesized. A final reconstruction signal is generated.
  • a frequency inverse transform such as Inverse MDCT
  • the FD extension decoder 1253 applies a gain obtained in the time domain so that the decoded signal matches the decoded temporal envelope after the frequency inverse transform is performed, and the gain-applied signal is applied. You can also synthesize
  • the audio signal decoding apparatus may perform decoding on the bitstream by referring to the encoding mode in units of frames with respect to the bitstream.
  • FIG. 13 is a block diagram showing the configuration of an audio decoding apparatus according to another embodiment of the present invention.
  • the audio decoding apparatus 1300 illustrated in FIG. 13 may include a switching unit 1310, a CELP decoding module 1330, an FD decoding module 1350, and an audio decoding module 1370.
  • the CELP decoding module 1330 may include a CELP decoding unit 1331 and a TD extended decoding unit 1333
  • the FD decoding module 1350 may include an FD decoding unit 1351 and an inverse transform unit 1353.
  • the audio decoding module 1370 may include an audio decoder 1372 and an FD extension decoder 1373. Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the switching unit 1310 refers to information about an encoding mode included in a bitstream, and converts the bitstream into a CELP decoding module 1330, an FD decoding module 1350, and an audio decoding module 1370. Can be provided as one.
  • the encoding mode is the CELP mode
  • the bitstream is provided to the CELP decoding module 1330, the FD decoding module 1350 in the FD mode, and the audio decoding module 1370 when the audio mode is used.
  • the CELP decoding module 1330, the FD decoding module 1350, and the audio decoding module 1370 are reversible operations with the CELP encoding module 850, the FD encoding module 870, and the audio encoding module 890 of FIG. 8. The detailed description thereof will be omitted here.
  • FIG. 14 is a diagram illustrating a codebook sharing method according to an embodiment of the present invention.
  • the FD extension encoder 773 shown in FIG. 7 or the FD extension encoder 893 shown in FIG. 8 may perform energy quantization by sharing the same codebook for different bit rates. Accordingly, the FD extension encoder 773 or the FD extension encoder 893 divides the frequency spectrum corresponding to the input signal into a predetermined number of subbands, and thus has the same subband bandwidth for different bit rates. To do that.
  • the bandwidth 1430 for the first subband may be 0.4 kHz at both a 16 kbps bit rate and a bit rate of at least 16 kbps
  • the bandwidth 1440 for the second subband may be 0.6 kHz at both a 16 kbps bit rate and a 16 kbps or more bit rate.
  • the FD extension encoder 773 or the FD extension encoder 893 share the same codebook for different bit rates to perform energy quantization. Can be done.
  • the multimode bandwidth extension technique is applied in a configuration in which the CELP mode and the FD mode are switched, or in a configuration in which the CELP mode and the Audio mode are switched, or a setting in which the CELP mode, the FD mode, and the audio mode are switched.
  • codebook sharing that can support various bit rates, the size of a memory (eg, a ROM) can be reduced, and the complexity of implementation can be reduced.
  • 15 is a diagram illustrating a coding mode signaling method according to an embodiment of the present invention.
  • operation 1510 it is determined whether an input signal corresponds to a transient component. Detection of the transient component can be performed using various known methods.
  • the input signal is encoded in the transient mode, and a signal of being encoded in the transient mode is signaled using a 1-bit transient indicator.
  • operation 1540 when it is determined in operation 1510 that it does not correspond to the transient component, it is determined whether it corresponds to a harmonic component. Detection of the harmonic component can be carried out using various known methods.
  • the input signal is encoded in the harmonic mode, and the signal is encoded in the harmonic mode by using the one-bit harmonic indicator together with the one-bit transient indicator.
  • step 1560 if the result of the determination in step 1540 does not correspond to the harmonic component, bit allocation in units of decimal points is performed.
  • step 1570 the input signal is encoded in the normal mode, and the signal is encoded in the normal mode using the 1-bit harmonic indicator together with the 1-bit transient indicator.
  • a transient mode a harmonic mode
  • a normal mode can be signaled using a 2-bit indicator.
  • the method derived from the apparatus according to the embodiments can be written in a program that can be executed in a computer, and can be implemented in a general-purpose digital computer for operating the program using a computer-readable recording medium.
  • data structures, program instructions, or data files that can be used in the above-described embodiments of the present invention can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium may include all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include magnetic media, such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, floppy disks, and the like.
  • Such as magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium may also be a transmission medium for transmitting a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Error Detection And Correction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

대역폭 확장신호 생성장치는 저주파수 대역의 스펙트럼에 대하여 반-희박성 처리를 수행하는 반-희박성 처리부; 및 상기 반-희박성 처리가 수행된 저주파수 대역의 스펙트럼을 이용하여 주파수 도메인에서 고주파수 대역의 확장 복호화를 수행하는 FD 고주파수 확장 복호화부를 포함한다.

Description

대역폭 확장신호 생성장치 및 방법
본 발명은 오디오 부호화/복호화에 관한 것으로서, 보다 구체적으로는 고대역을 위한 대역폭 확장신호에 존재하는 메탈릭 노이즈(metallic noise)을 감소시킬 수 있는 대역폭 확장신호 생성장치 및 방법, 이를 채용하는 오디오 부호화장치 및 방법, 오디오 복호화장치 및 방법과 단말기에 관한 것이다.
고주파수 영역에 해당하는 신호는 저주파수 영역에 해당하는 신호에 비하여 주파수의 미세 구조(fine structure)에 덜 민감하다. 따라서, 오디오 신호를 부호화할 때 가용할 수 있는 비트의 제약을 극복하기 위해 부호화 효율을 높여야 할 경우, 저주파수 영역에 해당하는 신호에 많은 비트를 할당하여 부호화하는 반면, 고주파수 영역에 해당하는 신호에 상대적으로 적은 비트를 할당하여 부호화한다.
이러한 방식이 적용된 기술이 SBR(Spectral Band Replication)이다. SBR은 스팩트럼의 저대역 또는 코어 대역과 같은 하부 대역을 부호화하고, 반면 고대역과 같은 상부 대역은 포락선 등과 같은 파라미터들을 이용하여 부호화한다. SBR은 하부 대역의 특징들을 추출하여 상부 대역을 예측하도록 하부 대역과 상부 대역 사이의 상관 관계를 이용한다.
이러한 SBR 기술에 있어, 고대역을 위한 대역폭 확장신호를 생성하기 위한 보다 개선된 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 고대역을 위한 대역폭 확장신호에 존재하는 메탈릭 노이즈(metallic noise)를 감소시킬 수 있는 대역폭 확장신호 생성장치 및 방법, 이를 채용하는 오디오 부호화장치 및 방법, 오디오 복호화장치 및 방법 및 단말기를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 대역폭 확장신호 생성방법은, 저주파수 대역의 스펙트럼에 대하여 반-희박성 처리를 수행하는 단계; 및 상기 반-희박성 처리가 수행된 저주파수 대역의 스펙트럼을 이용하여 주파수 도메인에서 고주파수 대역의 확장 부호화를 수행하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 대역폭 확장신호 생성장치는, 저주파수 대역의 스펙트럼에 대하여 반-희박성 처리를 수행하는 반-희박성 처리부; 및 상기 반-희박성 처리가 수행된 저주파수 대역의 스펙트럼을 이용하여 주파수 도메인에서 고주파수 대역의 확장 복호화를 수행하는 FD 고주파수 확장 복호화부를 포함할 수 있다.
고주파수 대역을 확장하기 위하여 사용되는 신호에 대하여 반-희박성 처리를 수행함으로써, 고주파수 확장신호에 스펙트럼 홀이 발생되는 것을 줄여줄 수 있게 되어 톤 성분이 강조되어 야기되는 메탈릭 노이즈를 감소시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 2는 도 1에 도시된 FD 부호화부의 일실시예에 따른 구성을 나타내는 블록도이다.
도 3은 도 1에 도시된 FD 부호화부의 다른 실시예에 따른 구성을 나타내는 블록도이다.
도 4는 본 발명의 일실시예에 따른 반-희박성 처리부의 구성을 나타내는 블록도이다.
도 5는 본 발명의 일실시예에 따른 FD 고주파수 확장 부호화부의 구성을 나타내는 블록도이다.
도 6a 및 도 6b는 도 1에 도시된 FD 부호화 모듈에서 확장 부호화가 수행되는 영역을 나타낸 것이다.
도 7은 본 발명의 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 9는 본 발명의 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 10은 도 9에 도시된 FD 복호화부의 일실시예에 따른 구성을 나타내는 블록도이다.
도 11은 도 10에 도시된 FD 고주파수 확장 복호화부의 일실시예에 따른 구성을 나타내는 블록도이다.
도 12는 본 발명의 다른 실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 14는 본 발명의 일실시예에 따른 코드북 공유방법을 설명하는 도면이다.
도 15는 본 발명의 일실시예에 따른 부호화 모드 시그널링 방법을 설명하는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다. 도 1에 도시된 오디오 부호화장치는 멀티미디어 기기를 구성하며, 전화, 모바일 폰 등을 포함하는 음성통신 전용 단말기, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용 단말기, 혹은 음성통신 전용 단말기와 방송 혹은 음악 전용 단말기의 융합 단말기가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 오디오 부호화장치는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
도 1에 도시된 오디오 부호화장치(100)는 부호화모드 결정부(110), 스위칭부(130), CELP(Code Excited Linear Prediction) 부호화모듈(150) 및 FD(Frequency Domain) 부호화모듈(170)을 포함할 수 있다. CELP 부호화모듈(150)은 CELP 부호화부(151)와 TD(Time Domain) 확장 부호화부(153)를 포함할 수 있고, FD 부호화모듈(170)은 변환부(171)와 FD 부호화부(173)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 1을 참조하면, 부호화모드 결정부(110)는 신호의 특성을 참조하여 입력신호의 부호화모드를 결정할 수 있다. 부호화모드 결정부(110)는 신호의 특성에 따라서 현재 프레임이 음성모드인지 또는 음악모드인지 여부를 결정할 수 있고, 또한 현재 프레임에 효율적인 부호화 모드가 시간도메인 모드인지 아니면 주파수도메인 모드인지에 대하여 결정할 수 있다. 이때, 프레임의 단구간 특성 혹은 복수의 프레임들에 대한 장구간 특성 등을 이용하여 신호의 특성을 파악할 수 있으나, 이에 한정되는 것은 아니다. 부호화모드 결정부(110)는 신호의 특성이 음성모드 혹은 시간도메인 모드에 해당하는 경우에는 CELP 모드로, 신호의 특성이 음악모드 혹은 주파수도메인 모드에 해당하는 경우에는 FD 모드로 결정할 수 있다.
일실시예에 따르면 부호화모드 결정부(110)의 입력신호로는 다운 샘플링부(미도시)에 의하여 다운 샘플링된 신호가 될 수 있다. 예를 들어, 입력신호는 32kHz 또는 48kHz의 샘플링 레이트를 갖는 신호를 리샘플링(re-sampling) 혹은 다운샘플링(down sampling)하여 얻어지는 12.8kHz 또는 16kHz의 샘플링 레이트를 갖는 신호가 될 수 있다. 여기서, 32kHz의 샘플링 레이트를 갖는 신호는 SWB(Super Wide Band) 신호로서, Full-Band(FB) 신호로 칭할 수 있고, 16kHz의 샘플링 레이트를 갖는 신호는 WB(Wide-Band) 신호로 칭할 수 있다.
다른 실시예에 따르면 부호화모드 결정부(110)에서 리샘플링 혹은 다운샘플링 동작이 수행될 수도 있다.
이에 따르면, 부호화모드 결정부(110)는 리샘플링 혹은 다운샘플링된 신호에 대하여 부호화모드를 결정할 수 있다.
부호화모드 결정부(110)에서 결정된 부호화모드는 스위칭부(130)로 제공되는 한편, 프레임 단위로 비트스트림에 포함되어 저장 혹은 전송될 수 있다.
스위칭부(130)는 부호화모드 결정부(110)로부터 제공되는 부호화모드에 따라서, 입력신호를 CELP 부호화모듈(150) 및 FD 부호화모듈(170) 중 하나로 제공할 수 있다. 여기서, 입력신호는 리샘플링 혹은 다운샘플링된 신호로서, 12.8kHz 또는 16kHz의 샘플링 레이트를 갖는 저주파수 대역 신호가 될 수 있다. 구체적으로, 스위칭부(130)는 부호화모드가 CELP 모드인 경우 입력신호를 CELP 부호화모듈(150)로 제공하고, 부호화모드가 FD 모드인 경우 입력신호를 FD 부호화모듈(170)로 제공한다.
CELP 부호화모듈(150)은 부호화모드가 CELP 모드인 경우 동작되며, CELP 부호화부(151)는 입력신호에 대하여 CELP 부호화를 수행할 수 있다. 일실시예에 따르면, CELP 부호화부(151)는 리샘플링 혹은 다운샘플링된 신호로부터 여기신호(excitation signal)를 추출하고, 추출된 여기신호를 피치(pitch) 정보에 해당하는 필터링된 적응 코드벡터(즉, adaptive codebook contribution) 및 필터링된 고정 코드벡터(즉, fixed or innovation codebook contribution) 각각을 고려하여 양자화할 수 있다. 다른 실시예에 따르면, CELP 부호화부(151)는 선형예측계수(Linear Prediction Coefficient, LPC)를 추출하고, 추출된 선형예측계수를 양자화하고, 양자화된 선형예측계수를 이용하여 여기신호를 추출하고, 추출된 여기신호를 피치(pitch) 정보에 해당하는 필터링된 적응 코드벡터(즉, adaptive codebook contribution) 및 필터링된 고정 코드벡터(즉, fixed or innovation codebook contribution) 각각을 고려하여 양자화할 수 있다.
한편, CELP 부호화부(151)는 신호의 특성에 따라서 서로 다른 부호화 모드를 적용할 수 있다. 적용되는 부호화 모드로는 유성음 부호화 모드(voiced coding mode), 무성음 부호화 모드(unvoiced coding mode), 트랜지언트 부호화 모드(transition coding mode) 및 일반 부호화 모드(generic coding mode)를 들 수 있으나, 이에 한정되는 것은 아니다.
CELP 부호화부(151)에서 부호화결과 얻어지는 저주파수 대역의 여기신호 즉 CELP 정보는 TD 확장 부호화부(153)로 제공되는 한편, 비트스트림에 포함되어 저장 혹은 전송될 수 있다.
CELP 부호화모듈(150)에 있어서, TD 확장 부호화부(153)는 CELP 부호화부(151)에서 제공되는 저주파수 대역의 여기신호를 폴딩 혹은 복제하여 고주파수 대역의 확장 부호화를 수행할 수 있다. TD 확장 부호화부(153)에서 확장 부호화결과 얻어지는 고주파수 대역의 확장 정보는 비트스트림에 포함되어 저장 혹은 전송될 수 있다. TD 확장 부호화부(153)는 입력신호의 고주파수 대역에 대응하는 선형예측계수를 영자화한다. 이때, TD 확장 부호화부(153)는 입력 신호의 고주파 신호의 선형예측계수를 추출하고, 추출된 선형예측계수를 양자화할 수도 있다. 또한, TD 확장 부호화부(153)는 입력신호의 저주파수 대역의 여기신호를 사용하여, 입력신호의 고주파수 대역의 선형예측계수를 생성할 수도 있다. 여기서, 고주파수 대역의 선형예측계수는 고주파수 대역의 포락선 정보를 나타내는데 사용될 수 있다.
한편, FD 부호화모듈(170)은 부호화모드가 FD 모드인 경우 동작되며, 변환부(171)는 리샘플링 혹은 다운샘플링된 신호를 시간 도메인에서 주파수 도메인으로 변환할 수 있다. 이때, MDCT(Modified Discrete Cosine Transform)를 사용할 수 있으나, 이에 한정되지는 않는다. FD 부호화모듈(170)에 있어서, FD 부호화부(173)는 변환부(171)로부터 제공되는 리샘플링 혹은 다운샘플링된 스펙트럼에 대하여 FD 부호화를 수행할 수 있다. FD 부호화의 일예로는 AAC(Advanced Audio Codec)에서 적용된 알고리즘이 있으나, 이에 한정되지는 않는다. FD 부호화부(173)에서의 FD 부호화 결과 얻어지는 FD 정보는 비트스트림에 포함되어 저장 혹은 전송될 수 있다. 한편, 인접하는 프레임들간의 부호화 모드가 CELP 모드에서 FD 모드로 변경되는 경우, FD 부호화부(173)에서의 FD 부호화 결과 얻어지는 비트스트림에 예측 데이터가 더 포함될 수 있다. 구체적으로, N번째 프레임에 대하여 CELP 모드에 따른 부호화가 수행되고, N+1번째 프레임에 대하여 FD 모드에 따른 부호화가 수행되면, FD 모드에 따른 부호화 결과만으로 N+1번째 프레임에 대한 복호화를 수행할 수 없기 때문에, 복호화시 참조하기 위한 예측 데이터를 추가적으로 더 포함할 필요가 있다.
도 1에 도시된 오디오 부호화장치(100)에 따르면, 부호화모드 결정부(110)에서 결정된 부호화모드에 따라서 두가지 형태의 비트스트림이 생성될 수 있다. 여기서, 비트스트림은 헤더(header) 및 페이로드(payload)를 포함할 수 있다.
구체적으로, 부호화모드가 CELP 모드인 경우, 비트스트림은 헤더에 부호화 모드에 대한 정보를 포함할 수 있고, 페이로드에 CELP 정보 및 TD 확장정보를 포함할 수 있다. 한편, 부호화모드가 FD 모드인 경우, 비트스트림은 헤더에 부호화 모드에 대한 정보를 포함할 수 있고, 페이로드에 FD 정보 및 예측 데이터를 포함할 수 있다. 여기서, FD 정보는 FD 고주파수 확장정보를 더 포함할 수 있다.
한편, 각 비트스트림은 프레임 에러가 발생하는 경우에 대비하기 위하여, 헤더에 이전 프레임의 부호화 모드에 대한 정보를 더 포함할 수 있다. 예를 들어, 비트스트림의 헤더는 현재 프레임의 부호화 모드가 FD 모드로 결정된 경우, 이전 프레임의 부호화 모드에 대한 정보를 더 포함할 수 있다.
도 1에 도시된 오디오 부호화장치(100)는 신호의 특성에 따라서 CELP 모드 또는 FD 모드 중 어느 하나로 동작되도록 스위칭됨으로써, 신호의 특성에 적응적으로 효율적인 부호화를 수행할 수 있다. 한편, 도 1의 스위칭 구조는 바람직하게는 고비트율 환경에 적용될 수 있다.
도 2는 도 1에 도시된 FD 부호화부의 일실시예에 따른 구성을 나타내는 블록도이다.
도 2를 참조하면, FD 부호화부(200)는 Norm 부호화부(210), FPC(Factorial Pulse Coding) 부호화부(230), FD 저주파수 확장 부호화부(240), 노이즈 부가정보 생성부(250), 반-희박성(anti-sparseness) 처리부(270) 및 FD 고주파수 확장 부호화부(290)를 포함할 수 있다.
Norm 부호화부(210)는 변환부(도 1의 171)로부터 제공되는 주파수 스펙트럼에 대하여 주파수대역 예를 들면 서브밴드별로 Norm 값을 추정 혹은 산출하고, 추정 혹은 산출된 Norm 값을 양자화한다. 여기서, Norm 값은 서브밴드 단위로 구해진 평균 스펙트럼 에너지를 의미하는 것으로서, 파워로 대신할 수도 있다. Norm 값은 서브밴드 단위로 주파수 스펙트럼을 정규화하는데 사용할 수 있다. 또한, 타겟 비트율에 따른 전체 비트수에 대하여, 각 서브밴드 단위로 Norm 값을 이용하여 마스킹 임계치를 계산하고, 마스킹 임계치를 이용하여 각 서브밴드의 지각적 부호화에 필요한 할당 비트수를 정수단위 혹은 소수점 단위로 결정할 수 있다. Norm 부호화부(210)에서 양자화된 Norm 값은 FPC 부호화부(230)로 제공되는 한편, 비트스트림에 포함되어 저장 혹은 전송될 수 있다.
FPC 부호화부(230)는 정규화된 스펙트럼에 대하여 각 서브밴드의 할당 비트수를 이용하여 양자화를 수행하고, 양자화된 결과에 대하여 FPC 부호화를 수행할 수 있다. FPC 부호화에 따르면, 할당된 비트수 범위내에서 펄스의 위치, 펄스의 크기, 및 펄스의 부호와 같은 정보가 팩토리얼 형식으로 표현될 수 있다. FPC 부호화부(230)에서 얻어지는 FPC 정보는 비트스트림에 포함되어 저장 혹은 전송될 수 있다.
노이즈 부가정보 생성부(250)는 FPC 부호화 결과에 따라서 노이즈 부가정보 즉, 서브밴드 단위의 노이즈 레벨을 생성할 수 있다. 구체적으로, FPC 부호화부(230)에서 부호화된 주파수 스펙트럼은 비트수의 부족으로 인하여 서브밴드 단위로 부호화되지 않은 부분 즉, 홀(hole)이 생길 수 있다. 일실시예에 따르면, 부호화되지 않은 스펙트럼 계수의 레벨의 평균을 이용하여 노이즈 레벨을 생성할 수 있다. 노이즈 부가정보 생성부(250)에서 생성된 노이즈 레벨은 비트스트림에 포함되어 저장 혹은 전송될 수 있다. 또한, 프레임 단위로 노이즈 레벨을 생성할 수 있다.
반-희박성(anti-sparseness) 처리부(270)는 저주파수 대역에 대한 복원 스펙트럼으로부터 노이즈 부가위치 및 노이즈 크기를 결정하고, 노이즈 레벨을 이용하여 노이즈 필링이 수행된 주파수 스펙트럼에 대하여 결정된 노이즈 부가위치 및 노이즈 크기에 따른 반-희박성 처리를 수행하여 FD 고주파수 확장 부호화부(290)로 제공한다. 일실시예에 따르면, 저주파수 대역에 대한 복원 스펙트럼은 FPC 복호화 결과에 대하여 저주파수 대역을 확장하고, 노이즈 필링을 수행한 다음 반-희박성 처리를 수행한 결과물을 의미할 수 있다.
FD 고주파수 확장 부호화부(290)는 반-희박성 처리부(270)로부터 제공되는 저주파수 대역의 스펙트럼을 이용하여 고주파수 대역의 확장 부호화를 수행할 수 있다. 이때, 원래의 고주파수 대역의 스펙트럼도 FD 고주파수 확장 부호화부(290)로 제공될 수 있다. 일실시예에 따르면, FD 고주파수 확장 부호화부(370)는 저주파수 대역의 스펙트럼을 폴딩 혹은 복제하여 확장된 고주파수 대역의 스펙트럼을 얻을 수 있으며, 원래의 고주파수 대역의 스펙트럼에 대하여 서브밴드 단위로 에너지를 추출하고, 추출된 에너지를 조절하고, 조절된 에너지를 양자화한다.
에너지의 조절은, 일실시예에 따르면 원래의 고주파수 대역의 스펙트럼에 대하여 서브밴드 단위로 제1 토널러티를 산출하고, 저주파수 대역의 스펙트럼을 이용하여 확장된 고주파수 대역의 여기신호에 대하여 서브밴드 단위로 제2 토널러티를 산출하여, 제1 토널러티와 제2 토널러티간의 비율에 대응하여 수행될 수 있다. 또는, 에너지의 제어는, 다른 실시예에 따르면 원래의 고주파수 대역의 스펙트럼에 대하여 서브밴드 단위로 제1 토널러티를 산출하여 신호에 노이즈 성분이 포함된 정도를 나타내는 제1 노이지니스 팩터(noisiness factor)를 구하고, 저주파수 대역의 스펙트럼을 이용하여 확장된 고주파수 대역의 여기신호에 대하여 서브밴드 단위로 제2 토널러티를 산출하여 제2 노이지니스 팩터를 구하여, 제1 노이지니스 팩터와 제2 노이지니스 팩터간의 비율에 대응하여 수행될 수 있다. 이에 따르면, 제2 토널러티가 제1 토널러티보다 큰 경우 혹은 제1 노이지니스 팩터가 제2 노이지니스 팩터보다 큰 경우, 해당 서브밴드의 에너지를 감소시킴으로써 복원시 노이즈가 증가하는 현상을 방지할 수 있다. 한편, 반대의 경우 해당 서브밴드의 에너지를 증가시킬 수 있다.
또한, FD 고주파수 확장 부호화부(290)에서 에너지 정보를 모아 VQ를 수행함에 있어서, 소정의 서브밴드에서 여기신호를 생성하는 방식을 시뮬레이션(simulation)해보고, 시뮬레이션 결과에 따른 여기신호의 특성과 소정의 서브밴드의 원신호의 특성이 다르면, 에너지를 조절할 수 있다. 이때, 시뮬레이션 결과에 따른 여기신호의 특성 및 원신호의 특성은 토널러티 및 노이지니스 팩터 중 적어도 어느 하나가 될 수 있으나, 이에 한정되지는 않는다. 이에 따라, 복호화단에서 실제 에너지와 같은 복호화를 수행하였을 때, 노이즈가 증가되는 현상을 방지할 수 있다.
한편, 에너지의 양자화에는 MSVQ(Multi stage Vector Quantization) 방식이 적용될 수 있으나, 이에 한정되는 것은 아니다. 구체적으로, FD 고주파수 확장 부호화부(290)는 현재 스테이지에서 소정 개수의 서브밴드들 중 홀수번째 서브밴드들의 에너지를 모아 벡터 양자화를 수행하고, 홀수번째 서브밴드들에 대한 벡터 양자화 결과를 이용하여 짝수번째 서브밴드들의 예측 에러를 획득하고, 획득된 예측 에러에 대한 벡터 양자화를 다음 스테이지에서 수행할 수 있다. 한편, 이와는 반대의 경우도 가능할 수 있다. 즉, FD 고주파수 확장 부호화부(370)는 제n 번째 서브밴드에 대한 벡터 양자화 결과와 제n+2 번째 서브밴드에 대한 벡터 양자화 결과를 이용하여, 제n+1 번째 서브밴드에 대한 예측 에러를 획득한다.
한편, 에너지에 대한 벡터 양자화시, 에너지 벡터 각각에 대해 평균값을 뺀 신호 혹은 에너지 벡터 각각의 중요도에 대한 가중치를 계산할 수 있다. 이때, 중요도에 대한 가중치는 합성음의 음질을 최대화하는 방향으로 계산될 수 있다. 중요도에 대한 가중치가 계산된 경우, 가중치가 적용된 WMSE(Weighted Mean Square Error)를 이용하여, 에너지벡터에 대한 최적화된 양자화 인덱스를 구할 수 있다.
FD 고주파수 확장 부호화부(290)는 고주파수 신호의 특성에 따라 다양한 여기신호 생성방식을 사용하는 멀티모드 대역폭 확장(Multi Mode Bandwidth Extension) 방식을 적용할 수 있다. 멀티모드 대역폭 확장 방식은 고주파수 신호의 특성에 따라서 트랜지언트(transient) 모드, 노말(normal) 모드, 하모닉(harmonic) 모드, 노이즈(noise) 모드 등으로 동작할 수 있다. FD 고주파수 확장 부호화부(290)는 정적인(stationary) 프레임에 대하여 적용되므로, 고주파수 신호의 특성에 따라 프레임별로 노말 모드, 하모닉 모드 또는 노이즈 모드 중 하나의 모드를 사용하여 여기신호를 생성할 수 있다.
또한, FD 고주파수 확장 부호화부(290)는 비트율에 따라 서로 다른 고주파수 대역에 대한 신호를 생성할 수 있다. 즉, FD 고주파수 확장 부호화부(290)에서 확장 부호화가 수행되는 고주파수 대역은 비트율에 따라 서로 다르게 설정될 수 있다. 예를 들어, FD 고주파수 확장 부호화부(290)는 16kbps의 비트율에서는 약 6.4 내지 14.4kHz의 주파수 대역에 대하여 확장 부호화를 수행하고, 16kbps 이상의 비트율에서는 약 8 내지 16kHz의 주파수 대역에 대하여 확장 부호화를 수행할 수 있다.
이를 위하여, 일실시예에 따르면 FD 고주파수 확장 부호화부(290)는 서로 다른 비트율에 대하여, 동일한 코드북을 공유하여 에너지 양자화를 수행할 수 있다.
한편, FD 부호화부(200)는 정적 프레임이 입력되는 경우, Norm 부호화부(210), FPC(Factorial Pulse Coding) 부호화부(230), 노이즈 부가정보 생성부(250), 반-희박성(anti-sparseness) 처리부(270) 및 FD 확장 부호화부(290)가 동작될 수 있다. 특히, 반-희박성(anti-sparseness) 처리부(270)는 정적 프레임 중 노말 모드에 대하여 동작하는 것이 바람직하다. 한편, 비정적 프레임 즉 트랜지언트 프레임이 입력되는 경우, 노이즈 부가정보 생성부(250), 반-희박성(anti-sparseness) 처리부(270) 및 FD 확장 부호화부(290)는 동작하지 않는다. 이러한 경우, FPC 부호화부(230)는 정적 프레임이 입력되는 경우와 비교하여 FPC를 수행하도록 할당된 상위 주파수 대역(Fcore)을 더 높게, 예를 들면 Fend에까지 적용할 수 있다.
도 3은 도 1에 도시된 FD 부호화부의 다른 실시예에 따른 구성을 나타내는 블록도이다.
도 3을 참조하면, FD 부호화부(300)는 Norm 부호화부(310), FPC 부호화부(330), FD 저주파수 확장 부호화부(340), 반-희박성 처리부(370) 및 FD 고주파수 확장 부호화부(390)를 포함할 수 있다. 여기서, Norm 부호화부(310), FPC 부호화부(330) 및 FD 고주파수 확장 부호화부(390)의 동작은 도 2의 Norm 부호화부(210), FPC 부호화부(230) 및 FD 고주파수 확장 부호화부(290)에서와 동일하므로 세부적인 설명은 생략하기로 한다.
도 2에서와의 차이점으로는 반-희박성 처리부(370)가 별도의 노이즈 레벨을 사용하지 않고, Norm 부호화부(310)에서 서브밴드 단위로 얻어지는 Norm 값을 이용하는 것이다. 즉, 반-희박성 처리부(370)는 저주파수 대역에 대한 복원 스펙트럼으로부터 노이즈 부가위치 및 노이즈 크기를 결정하고, Norm 값을 이용하여 노이즈 필링이 수행된 주파수 스펙트럼에 대하여 결정된 노이즈 부가위치 및 노이즈 크기에 따른 반-희박성 처리를 수행하여 FD 고주파수 확장 부호화부(290)로 제공한다. 구체적으로, 0으로 역양자화된 부분을 포함하는 서브밴드에 대하여, 노이즈 성분을 생성하고, 노이즈 성분의 에너지와 역양자화된 Norm 값 즉, 스펙트럼 에너지간의 비를 이용하여 노이즈 성분의 에너지를 조절할 수 있다. 다른 실시예에 따르면, 0으로 역양자화된 부분을 포함하는 서브밴드에 대하여, 노이즈 성분을 생성하고, 노이즈 성분의 평균 에너지가 1이 되도록 조절할 수 있다.
도 4는 본 발명의 일실시예에 따른 반-희박성 처리부의 구성을 나타내는 블록도이다.
도 4를 참조하면, 반-희박성 처리부(400)는 복원 스펙트럼 생성부(410), 노이즈 위치 결정부(430), 노이즈 크기 결정부(440) 및 노이즈 부가부(450)를 포함할 수 있다.
복원 스펙트럼 생성부(410)는 FPC 부호화부(도 2의 230 혹은 도 3의 330)로부터 제공되는 FPC 정보와 노이즈 레벨 혹은 Norm 값과 같은 노이즈 필링 정보를 이용하여 저주파수 대역의 복원 스펙트럼을 생성한다. 이때, Fcore와 Ffpc가 서로 다른 경우, FD 저주파수 확장부호화를 추가로 수행하여 저주파수 대역의 복원 스펙트럼을 생성할 수 있다.
노이즈 위치 결정부(430)는 저주파수 대역의 복원 스펙트럼으로부터 0으로 복원되는 스펙트럼을 노이즈 위치로 결정할 수 있다. 다른 실시예에 따르면, 0으로 복원되는 스펙트럼 중에서, 주변 스펙트럼의 크기를 고려하여 노이즈 위치를 결정할 수 있다. 예를 들어, 0으로 복원되는 스펙트럼에 인접한 주변 스펙트럼의 크기가 소정 값 이상일 경우 해당하는 0으로 복원되는 스펙트럼을 노이즈 위치로 결정할 수 있다. 여기서, 소정 값은 시뮬레이션을 통하여 혹은 실험적으로 0으로 복원되는 스펙트럼에 인접한 주변 스펙트럼의 정보 손실이 최소화될 수 있도록 미리 최적의 값으로 설정될 수 있다.
노이즈 크기 결정부(440)는 결정된 노이즈 위치에 부가할 노이즈의 크기(amplitude)를 결정할 수 있다. 일실시예에 따르면, 노이즈레벨을 기반으로 하여 노이즈의 크기를 결정할 수 있다. 예를 들어, 소정 비율만큼 노이즈레벨을 가변시켜 노이즈의 크기를 결정할 수 있다. 구체적으로 (0.5 * 노이즈레벨)과 같은 방식으로 결정할 수 있으나, 이에 한정되는 것은 아니다. 다른 실시예로는 결정된 노이즈위치의 주변 스펙트럼의 크기를 고려하여 적응적으로 가변시켜 노이즈의 크기를 결정할 수 있다. 주변 스펙트럼이 부가될 노이즈의 크기보다 작은 경우 노이즈의 크기를 주변 스펙트럼보다 더 작은 값이 되도록 변경할 수 있다.
노이즈 부가부(450)는 랜덤 노이즈를 사용하여 결정된 노이즈 위치와 결정된 노이즈 크기에 근거하여 노이즈를 부가할 수 있다. 일실시예로는 랜덤 부호(random sign)를 적용할 수 있다. 노이즈의 크기는 고정된 값을 사용하고, 랜덤 씨드(random seed)를 통해 발생된 랜덤 신호가 홀수인지 또는 짝수인지에 따라서 부호를 가변시킬 수 있다. 예를 들어, 랜덤신호가 짝수인 경우에는 + 부호를 부가하고, 홀수인 경우에는 -　부호를 부가할 수 있다. 노이즈 부가부(450)에서 노이즈가 부가된 저주파수 대역의 스펙트럼은 FD 고주파수 확장 부호화부(도 2의 290)으로 제공된다. 여기서, FD 고주파수 확장 부호화부(도 2의 290)로 제공되는 저주파수 대역의 스펙트럼은 FPC 복호화가 수행되어 얻어지는 저주파수 대역의 스펙트럼에 대하여 노이즈 필링 처리 및 저주파수 대역 확장부호화가 수행된 후, 반-희박성 처리를 수행한 코어 복호화된 신호를 나타낼 수 있다.
도 5는 본 발명의 일실시예에 따른 FD 고주파수 확장 부호화부의 구성을 나타내는 블록도이다.
도 5를 참조하면, FD 고주파수 확장 부호화부(500)는 스펙트럼 복사부(510), 제1 토널러티 산출부(520), 제2 토널러티 산출부(530), 여기신호 생성방식 결정부(540), 에너지 조절부(550) 및 에너지 양자화부(560)를 포함할 수 있다. 한편, 부호화장치에서 고주파수 대역의 복원 스펙트럼을 필요로 하는 경우 고주파수 스펙트럼 생성모듈(570)을 더 포함할 수 있다. 고주파수 복원 스펙트럼 생성모듈(570)은 고주파 여기신호 생성부(571)와 고주파수 스펙트럼 생성부(573)를 포함할 수 있다. 특히, FD 부호화부(도 1의 173)에서 이전 프레임과 오버랩-애드(overlap-add)를 통해서 복원이 가능한 변환 예를 들면 MDCT를 사용하고, 프레임간에 CELP 모드와 FD 모드간에 스위칭이 존재하는 경우 고주파수 복원 스펙트럼 생성모듈(570)을 추가할 필요가 있다.
스펙트럼 복사부(510)는 반-희박성 처리부(도 2의 270 혹은 도 3의 370)로부터 제공되는 저주파수 대역 스펙트럼을 폴딩 혹은 복제하여 고주파수 대역으로 확장할 수 있다. 예를 들어, 0 내지 8kHz의 저주파수 대역 스펙트럼을 이용하여 8 내지 16kHz의 고주파수 대역으로 확장할 수 있다. 일실시예에 따르면, 반-희박성 처리부(도 2의 270 혹은 도 3의 370)로부터 제공되는 저주파수 대역 스펙트럼 대신 원래의 저주파수 스펙트럼을 폴딩 혹은 복제하여 고주파수 대역으로 확장할 수 있다.
제1 토널러티 산출부(520)는 소정의 서브밴드 단위로 원래의 고주파수 대역의 스펙트럼에 대하여 제1 토널러티를 산출한다.
제2 토널러티 산출부(530)는 스펙트럼 복사부(510)에서 저주파수 대역의 스펙트럼을 이용하여 확장된 고주파수 대역의 스펙트럼에 대하여 서브밴드 단위로 제2 토널러티를 산출한다.
제1 및 제2 토널러티는 서브밴드의 스펙트럼의 평균 크기와 최대 크기의 비율에 근거한 스펙트럼 평탄도(spectral flatness)를 이용하여 산출될 수 있다. 구체적으로, 스펙트럼 평탄도는 주파수 스펙트럼의 기하 평균과 산술 평균의 관계를 통해 측정될 수 있다. 즉, 제1 및 제2 토널러티는 스펙트럼이 피키(peaky)한 특성을 지녔는지 평탄(flat)한 특성을 지녔는지를 나타내는 척도이다. 제 1토널러티 산출부(520)와 제2 토널러티 산출부(530)는 동일한 방식 및 동일한 서브밴드 단위로 동작하는 것이 바람직하다.
여기신호 생성방식 결정부(540)는 제1 토널러티와 제2 토널리티를 비교하여 고주파 여기신호 생성방식을 결정할 수 있다. 고주파 여기신호를 생성하는 방식은 저주파수 대역의 스펙트럼을 변형하여 생성된 고주파수 대역의 스펙트럼과 랜덤 잡음의 적응적 가중치(weighting)를 통해서 결정할 수 있다. 이때, 적응적 가중치에 해당되는 값이 여기신호의 타입정보이며, 여기신호의 타입정보를 비트스트림에 포함되어 저장 혹은 전송할 수 있다. 일실시예에 따르면, 여기신호의 타입정보를 2비트로 구성할 수 있다. 여기서, 2비트는 랜덤 잡음에 부가될 가중치를 기준으로 4단계로 구성할 수 있다. 여기신호의 타입정보는 프레임당 1회 전송될 수 있다. 또한, 복수개의 서브밴드를 묶어서 하나의 그룹을 형성하고, 각 그룹에 대하여 여기신호의 타입정보를 정의하여 그룹별로 전송할 수 있다.
일실시예에 따르면, 여기신호 생성방식 결정부(540)은 원래의 고주파수 대역의 신호 특성만을 고려하여 고주파 여기신호를 생성하는 방식을 결정해 줄 수 있다. 구체적으로, 서브밴드별로 구해진 제1 토널리티의 평균이 속하는 영역을 구분하고, 여기신호의 타입정보의 개수를 기준으로 제1 토널리티값이 어느 영역에 해당되는지에 따라 여기신호를 생성하는 방식을 결정해 줄 수 있다. 이러한 방식에 따르면, 토널리티값이 높을 경우, 즉 스펙트럼의 피키한 특성이 클 경우에는 랜덤 잡음에 부가하는 가중치를 작게 설정할 수 있다.
다른 실시예에 따르면, 여기신호 생성방식 결정부(540)은 원래의 고주파수 대역의 신호 특성과 대역 확장을 통하여 생성될 고주파수 신호 특성을 동시에 고려하여 고주파 여기신호를 생성하는 방식을 결정해 줄 수 있다. 예를 들어, 원래의 고주파수 대역의 신호 특성과 대역 확장을 통하여 생성될 고주파수 신호 특성이 유사하면, 랜덤 잡음의 가중치를 작게 설정하고, 원래의 고주파수 대역의 신호 특성과 대역 확장을 통하여 생성될 고주파수 신호 특성이 다르면 랜덤 잡음의 가중치를 크게 설정할 수 있다. 한편, 제1 토널러티와 제2 토널러티간의 서브밴드별 차이값의 평균을 기준으로 설정될 수 있다. 제1 토널러티와 제2 토널러티간의 서브밴드별 차이값의 평균이 크면 랜덤 잡음의 가중치를 크게 설정하고, 제1 토널러티와 제2 토널러티간의 서브밴드별 차이값의 평균이 작으면 랜덤 잡음의 가중치를 작게 설정할 수 있다. 한편, 여기신호의 타입정보를 그룹별로 전송할 경우에는 제1 토널러티와 제2 토널러티간의 서브밴드별 차이값의 평균은 하나의 그룹에 속한 서브밴드들의 평균을 이용하여 구해진다.
에너지 조절부(550)는 원래의 고주파수 대역의 스펙트럼에 대하여 서브밴드 단위로 에너지를 구하고, 제1 토널러티와 제2 토널러티를 이용하여 에너지 조절을 수행한다. 예를 들어, 제1 토널러티가 크고 제2 토널러티가 작은 경우 즉, 원래의 고주파수 대역의 스펙트럼이 피키하고, 반-희박성 처리부(270 혹은 370)의 출력 스펙트럼이 평탄하면 제1 및 제2 토널리티의 비율에 근거하여 에너지를 조절해준다.
에너지 양자화부(560)는 조절된 에너지를 벡터 양자화하고, 벡터 양자화결과 생성되는 양자화 인덱스를 비트스트림에 포함시켜 저장 혹은 전송할 수 있다.
한편, 고주파수 복원 스펙트럼 생성모듈(570)에 있어서, 고주파 여기신호 생성부(571)와 고주파수 스펙트럼 생성부(573)의 동작은 도 11의 고주파 여기신호 생성부(1130)와 고주파수 스펙트럼 생성부(1170)와 실질적으로 동일하므로 여기서는 그 세부적인 설명을 생략하기로 한다.
도 6a 및 도 6b는 도 1에 도시된 FD 부호화 모듈(170)에서 확장 부호화가 수행되는 영역을 나타낸 것이다. 도 6a는 실제 FPC 가 수행된 상위 주파수 대역(Ffpc)이 FPC를 수행하기로 할당된 저주파수 대역 즉, 코어 주파수 대역(Fcore)과 동일한 경우를 나타내며, 이 경우 Fcore까지의 저주파수 대역에 대해서는 FPC 및 노이즈필링이 수행되고, Fend-Fcore 에 해당하는 고주파수 대역에 대해서는 저주파수 대역의 신호를 이용하여 확장 부호화가 수행된다. 여기서, Fend는 고주파수 확장에 의해 얻을 수 있는 최대주파수가 될 수 있다.
한편, 도 6b는 실제 FPC 가 수행된 상위 주파수 대역(Ffpc)이 코어 주파수 대역(Fcore)보다 작은 경우를 나타내며, Ffpc까지의 저주파수 대역에 대해서는 FPC 및 노이즈필링이 수행되고, Fcore-Ffpc 에 해당하는 저주파수 대역에 대하여 FPC 및 노이즈필링이 수행된 저주파수 대역의 신호를 이용하여 확장 부호화를 수행하고, Fend-Fcore 에 해당하는 고주파수 대역에 대해서는 저주파수 대역의 전체 신호를 이용하여 확장 부호화가 수행된다. 마찬가지로, Fend는 고주파수 확장에 의해 얻을 수 있는 최대주파수가 될 수 있다.
여기서, Fcore와 Fend는 비트율에 따라서 가변적으로 설정할 수 있다. 예를 들어, 비트율에 따라서 Fcore는 6.4kHz, 8kHz, 9.6kHz로 제한될 수 있으나 이에 한정되지 않으며, Fend는 14kHz, 14.4kHz 또는 16kHz까지 확장될 수 있으나 이에 한정되지 않는다. 한편, 실제 FPC 가 수행된 상위 주파수 대역(Ffpc)까지가 노이즈 필링을 수행하게 되는 주파수 대역에 해당한다.
도 7은 본 발명의 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 7에 도시된 오디오 부호화장치(700)는 부호화모드 결정부(710), LPC 부호화부(705), 스위칭부(730), CELP 부호화모듈(750) 및 오디오 부호화모듈(770)을 포함할 수 있다. CELP 부호화모듈(750)은 CELP 부호화부(751)와 TD 확장 부호화부(753)를 포함할 수 있고, 오디오 부호화모듈(770)은 오디오 부호화부(771)와 FD 확장 부호화부(773)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 7을 참조하면, LPC 부호화부(705)는 입력신호로부터 선형예측계수(Linear Prediction Coefficient, LPC)를 추출하고, 추출된 선형예측계수를 양자화할 수 있다. 예를 들어, LPC 부호화부(705)는 TCQ(Trellis Coded Quantization) 방식, MSVQ(Multi-stage Vector Quantization) 방식, LVQ(Lattice Vector Quantization) 방식 등을 사용하여, 선형예측계수를 양자화할 수 있으나, 이에 한정되지는 않는다. LPC 부호화부(705)에서 양자화된 선형예측계수는 비트스트림에 포함되어 저장 혹은 전송될 수 있다.
구체적으로, LPC 부호화부(705)는 32kHz 또는 48kHz의 샘플링 레이트를 갖는 입력신호를 리샘플링 혹은 다운샘플링하여 12.8kHz 또는 16kHz의 샘플링 레이트를 갖는 신호로부터 선형예측계수를 추출할 수 있다.
부호화모드 결정부(710)는 도 1의 부호화모드 결정부(110)와 유사하게, 신호의 특성을 참조하여 입력신호의 부호화모드를 결정할 수 있다. 부호화모드 결정부(710)는 신호의 특성에 따라서 현재 프레임이 음성모드인지 또는 음악모드인지 여부를 결정할 수 있고, 또한 현재 프레임에 효율적인 부호화 모드가 시간도메인 모드인지 아니면 주파수도메인 모드인지에 대하여 결정할 수 있다.
일실시예에 따르면 부호화모드 결정부(710)의 입력신호로는 다운 샘플링부(미도시)에 의하여 다운 샘플링된 신호가 될 수 있다. 예를 들어, 입력신호는 32kHz 또는 48kHz의 샘플링 레이트를 갖는 신호를 리샘플링(re-sampling) 혹은 다운샘플링(down sampling)하여 얻어지는 12.8kHz 또는 16kHz의 샘플링 레이트를 갖는 신호가 될 수 있다. 여기서, 32kHz의 샘플링 레이트를 갖는 신호는 SWB(Super Wide Band) 신호로서, Full-Band(FB) 신호로 칭할 수 있고, 16kHz의 샘플링 레이트를 갖는 신호는 WB(Wide-Band) 신호로 칭할 수 있다.
다른 실시예에 따르면 부호화모드 결정부(710)에서 리샘플링 혹은 다운샘플링 동작이 수행될 수도 있다.
이에 따르면, 부호화모드 결정부(710)는 리샘플링 혹은 다운샘플링된 신호에 대하여 부호화모드를 결정할 수 있다.
부호화모드 결정부(710)에서 결정된 부호화모드는 스위칭부(730)로 제공되는 한편, 프레임 단위로 비트스트림에 포함되어 전송 혹은 저장될 수 있다.
스위칭부(730)는 부호화모드 결정부(710)로부터 제공되는 부호화모드에 따라서, LPC 부호화부(705)로부터 제공되는 저주파수 대역의 선형예측계수를 CELP 부호화모듈(750) 및 오디오 부호화모듈(770) 중 하나로 제공할 수 있다. 구체적으로, 스위칭부(730)는 부호화모드가 CELP 모드인 경우 저주파수 대역의 선형예측계수를 CELP 부호화모듈(750)로 제공하고, 부호화모드가 오디오 모드인 경우 저주파수 대역의 선형예측계수를 오디오 부호화모듈(770)로 제공한다.
CELP 부호화모듈(750)은 부호화모드가 CELP 모드인 경우 동작되며, CELP 부호화부(751)는 저주파수 대역의 선형예측계수로부터 얻어지는 여기신호에 대하여 CELP 부호화를 수행할 수 있다. 일실시예에 따르면, CELP 부호화부(751)는 LPC 여기신호를 피치(pitch) 정보에 해당하는 필터링된 적응 코드벡터(즉, adaptive codebook contribution) 및 필터링된 고정 코드벡터(즉, fixed or innovation codebook contribution) 각각을 고려하여 양자화할 수 있다. 여기서, 여기신호는 LPC 부호화부(705)에서 생성되어 CELP 부호화부(751)로 제공되거나, CELP 부호화부(751)에서 생성될 수 있다.
한편, CELP 부호화부(751)는 신호의 특성에 따라서 서로 다른 부호화 모드를 적용할 수 있다. 적용되는 부호화 모드로는 유성음 부호화 모드(voiced coding mode), 무성음 부호화 모드(unvoiced coding mode), 트랜지언트 부호화 모드(transition coding mode) 및 일반 부호화 모드(generic coding mode)를 들 수 있으나, 이에 한정되는 것은 아니다.
CELP 부호화부(751)에서 부호화결과 얻어지는 저주파수 대역의 여기신호 즉 CELP 정보는 TD 확장 부호화부(753)로 제공되는 한편, 비트스트림에 포함될 수 있다.
CELP 부호화모듈(750)에 있어서, TD 확장 부호화부(753)는 CELP 부호화부(751)에서 제공되는 저주파수 대역의 여기신호를 폴딩 혹은 복제하여 고주파수 대역의 확장 부호화를 수행할 수 있다. TD 확장 부호화부(151)에서 확장 부호화결과 얻어지는 고주파수 대역의 확장 정보는 비트스트림에 포함될 수 있다.
한편, 오디오 부호화모듈(770)은 부호화모드가 오디오 모드인 경우 동작되며, 오디오 부호화부(771)는 저주파수 대역의 선형예측계수로부터 얻어지는 여기신호를 주파수 도메인으로 변환하여 오디오 부호화를 수행할 수 있다. 일실시예에 따르면, 오디오 부호화부(771)는 DCT(Discrete Cosine Transform) 등과 같이 프레임 간에 중첩(overlap)되는 영역이 존재하지 않는 변환방식을 사용할 수 있다. 또한, 오디오 부호화부(771)는 주파수 도메인으로 변환된 여기신호에 대하여 Lattice VQ(LVQ) 및 FPC 부호화를 수행할 수 있다. 추가적으로, 오디오 부호화부(771)는 여기신호에 대하여 양자화를 수행함에 있어서 비트의 여유가 있는 경우, 필터링된 적응 코드벡터(adaptive codebook contribution) 및 필터링된 고정 코드벡터(fixed or innovation codebook contribution)과 같은 TD 정보를 더 고려하여 양자화할 수도 있다.
오디오 부호화모듈(770)에 있어서, FD 확장 부호화부(773)는 오디오 부호화부(771)로부터 제공되는 저주파수 대역의 여기신호를 이용하여 고주파수 대역의 확장부호화를 수행할 수 있다. FD 확장 부호화부(773)의 동작은 입력신호가 상이할 뿐 FD 고주파수 확장 부호화부(290 혹은 390)과 유사하므로 그 세부적인 설명은 생략하기로 한다.
도 7에 도시된 오디오 부호화장치(700)에 따르면, 부호화모드 결정부(710)에서 결정된 부호화모드에 따라서 두가지 형태의 비트스트림이 생성될 수 있다. 여기서, 비트스트림은 헤더(header) 및 페이로드(payload)를 포함할 수 있다.
구체적으로, 부호화모드가 CELP 모드인 경우, 비트스트림은 헤더에 부호화 모드에 대한 정보를 포함할 수 있고, 페이로드에 CELP 정보 및 TD 고주파수 확장정보를 포함할 수 있다. 한편, 부호화모드가 오디오 모드인 경우, 비트스트림은 헤더에 부호화 모드에 대한 정보를 포함할 수 있고, 페이로드에 오디오 부호화에 대한 정보 즉, 오디오 정보 및 FD 고주파수 확장정보를 포함할 수 있다.
도 7에 도시된 오디오 부호화장치(700)는 신호의 특성에 따라서 CELP 모드 또는 오디오 모드 중 어느 하나로 동작되도록 스위칭됨으로써, 신호의 특성에 적응적으로 효율적인 부호화를 수행할 수 있다. 한편, 도 1의 스위칭 구조는 바람직하게는 저비트율 환경에 적용될 수 있다.
도 8은 본 발명의 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 8에 도시된 오디오 부호화장치(800)는 부호화모드 결정부(810), 스위칭부(830), CELP 부호화모듈(850), FD 부호화모듈(870) 및 오디오 부호화모듈(890)을 포함할 수 있다. CELP 부호화모듈(850)은 CELP 부호화부(851)와 TD 확장 부호화부(853)를 포함할 수 있고, FD 부호화모듈(870)은 변환부(871)와 FD 부호화부(873)을 포함할 수 있고, 오디오 부호화모듈(890)은 오디오 부호화부(891)와 FD 확장 부호화부(893)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 8을 참조하면, 부호화모드 결정부(810)는 신호의 특성 및 비트율을 참조하여 입력신호의 부호화모드를 결정할 수 있다. 부호화모드 결정부(810)는 신호의 특성에 따라서 현재 프레임이 음성모드인지 또는 음악모드인지에 따라서, 또한 현재 프레임에 효율적인 부호화 모드가 시간도메인 모드인지 아니면 주파수도메인 모드인지에 따라서 CELP 모드와 그외의 모드로 결정할 수 있다. 만약, 신호의 특성이 음성모드인 경우에는 CELP 모드로 결정하고, 음악모드이면서 고비트율인 경우 FD 모드로 결정하고, 음악모드이면서 저비트율인 경우 오디오 모드로 결정한다.
스위칭부(830)는 부호화모드 결정부(810)로부터 제공되는 부호화모드에 따라서, 입력신호를 CELP 부호화모듈(850), FD 부호화모듈(870) 및 오디오 부호화모듈(890) 중 하나로 제공할 수 있다.
한편, 도 8의 오디오 부호화장치(800)는 CELP 부호화부(851)에서 입력신호로부터 선형예측계수를 추출하고, 오디오 부호화부(891)에서 입력신호로부터 선형예측계수를 추출하는 점을 제외하고는 도 1 의 오디오 부호화장치(100)와 도 7의 오디오 부호화장치(700)를 결합한 것과 유사하다.
도 8에 도시된 오디오 부호화장치(800)는 신호의 특성에 따라서 CELP 모드, FD 모드 혹은 오디오 모드 중 어느 하나로 동작되도록 스위칭됨으로써, 신호의 특성에 적응적으로 효율적인 부호화를 수행할 수 있다. 한편, 도 8의 스위칭 구조는 비트율에 상관없이 적용될 수 있다.
도 9는 본 발명의 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다. 도 9에 도시된 오디오 복호화장치는 단독으로 혹은 도 1에 도시된 오디오 부호화장치와 함께 멀티미디어 기기를 구성하며, 전화, 모바일 폰 등을 포함하는 음성통신 전용 단말기, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용 단말기, 혹은 음성통신 전용 단말기와 방송 혹은 음악 전용 단말기의 융합 단말기가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 오디오 복호화장치는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
도 9에 도시된 오디오 복호화장치(900)는 스위칭부(910), CELP 복호화모듈(930) 및 FD 복호화모듈(950)을 포함할 수 있다. CELP 복호화모듈(930)은 CELP 복호화부(931)와 TD 확장 복호화부(933)를 포함할 수 있고, FD 복호화모듈(950)은 FD 복호화부(951)와 역변환부(953)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 9를 참조하면, 스위칭부(910)는 비트스트림에 포함된 부호화모드에 대한 정보를 참조하여, 비트스트림을 CELP 복호화모듈(930) 및 FD 복호화모듈(950) 중 하나로 제공할 수 있다. 구체적으로, 부호화모드가 CELP 모드인 경우 비트스트림을 CELP 복호화모듈(930)로, FD 모드인 경우 FD 복호화모듈(950)로 제공한다.
CELP 복호화모듈(930)에 있어서, CELP 복호화부(931)는 비트스트림에 포함된 선형예측계수를 복호화하고, 필터링된 적응 코드벡터 및 필터링된 고정 코드벡터에 대한 복호화를 수행하고, 복호화 결과를 합성하여 저주파수 대역에 대한 복원 신호를 생성한다.
TD 확장 복호화부(933)는 CELP 복호화 결과 및 저주파수 대역의 여기신호 중 적어도 하나를 이용하여, 고주파수 대역에 대한 확장 복호화를 수행하여 고주파수 대역의 복원신호를 생성한다. 이때, 저주파수 대역의 여기신호는 비트스트림에 포함될 수 있다. 또한, TD 확장 복호화부(933)는 고주파수 대역에 대한 복원신호를 생성하기 위하여, 비트스트림에 포함된 저주파수 대역에 대한 선형예측계수 정보를 활용할 수 있다.
한편, TD 확장 복호화부(933)는 생성된 고주파수 대역에 대한 복원신호를 CELP 복호화부(931)에서 생성된 저주파수 대역의 복원신호와 합성하여, 복원된 SWB 신호를 생성할 수 있다. 이때, TD 확장 복호화부(933)는 복원된 SWB 신호를 생성하기 위하여 저주파수 대역의 복원신호와 고주파수 대역의 복원신호의 샘플링 레이트를 동일하도록 변환하는 작업을 더 수행할 수 있다.
FD 복호화모듈(950)에 있어서 FD 복호화부(951)는 FD 부호화된 프레임에 대하여 FD 복호화를 수행한다. FD 복호화부(951)는 비트스트림을 복호화하여 주파수 스펙트럼을 생성할 수 있다. 또한, FD 복호화부(951)는 비트스트림에 포함된 이전 프레임의 모드 정보를 참조하여 복호화를 수행할 수도 있음을 알 수 있다. 즉, FD 복호화부(951)는 FD 부호화된 프레임에 대하여 비트스트림에 포함된 이전 프레임 모드 정보를 참조하여 FD 복호화를 수행할 수 있다.
역변환부(953)는 FD 복호화 결과를 시간도메인으로 역변환한다. 역변환부(953)는 FD 복호화된 주파수 스펙트럼에 대하여 역변환을 수행하여 복원신호를 생성한다. 예를 들어, 역변환부(953)는 Inverse MDCT를 수행할 수 있으나, 이에 한정되지는 않는다.
이에 따라, 오디오신호 복호화장치(900)는 프레임 단위로 부호화 모드를 참조하여, 비트스트림에 대한 복호화를 수행할 수 있다.
도 10은 도 9에 도시된 FD 복호화부의 일실시예에 따른 구성을 나타내는 블록도이다.
도 10에 도시된 FD 복호화부(1000)는 Norm 복호화부(1010), FPC 복호화부(1020), 노이즈 필링부(1030), FD 저주파수 확장 복호화부(1040), 반-희박성 처리부(1050), FD 고주파수 확장 복호화부(1060) 및 결합부(1070)를 포함할 수 있다.
Norm 복호화부(1010)는 비트스트림에 포함된 Norm 값을 복호화하여 복원된 Norm 값을 구할 수 있다.
FPC 복호화부(1020)는 복원된 Norm 값을 이용하여 할당 비트수를 결정하고, FPC 부호화된 스펙트럼에 대하여 할당 비트수를 이용하여 FPC 복호화를 수행할 수 있다. 여기서, 할당 비트수는 FPC 부호화부(230 혹은 330)에서와 동일하게 결정될 수 있다.
노이즈 필링부(1030)는 FPC 복호화부(1020)에서의 FPC 복호화 결과를 참조하여, 오디오 부호화장치로부터 별도로 생성되어 제공되는 노이즈레벨을 이용하여 노이즈 필링을 수행하거나, 복원된 Norm값을 이용하여 노이즈 필링을 수행할 수 있다. 즉, 노이즈 필링부(1030)는 FPC 복호화가 수행된 마지막 서브밴드까지 노이즈 필링 처리를 수행한다.
FD 저주파수 확장 복호화부(1040)는 실제 FPC 복호화가 수행된 상위 주파수 대역(Ffpc)이 코어 주파수 대역(Fcore)보다 작은 경우 동작하며, Ffpc까지의 저주파수 대역에 대해서는 FPC 복호화 및 노이즈필링이 수행되고, Fcore-Ffpc 에 해당하는 저주파수 대역에 대하여 FPC 및 노이즈필링이 수행된 저주파수 대역의 신호를 이용하여 확장 복호화를 수행할 수 있다.
반-희박성 처리부(1050)는 FPC 복호화된 신호에 노이즈 필링 처리를 수행하였음에도 불구하고, 0으로 복원된 스펙트럼에 노이즈를 추가로 부가하여 FD 고주파수 확장 부호화를 수행한 후 야기되는 메탈릭 노이즈의 발생을 억제할 수 있다. 구체적으로 반-희박성 처리부(1050)는 FD 저주파수 확장 복호화부(1040)로부터 제공되는 저주파수 대역의 스펙트럼으로부터 노이즈 부가위치 및 노이즈 크기를 결정하고, 저주파수 대역의 스펙트럼에 대하여 결정된 노이즈 부가위치 및 노이즈 크기에 따른 반-희박성 처리를 수행하여 FD 고주파수 확장 복호화부(1060)로 제공한다. 반-희박성 처리부(1050)는 도 4에 도시된 복원 스펙트럼 생성부(410)을 제외하고, 노이즈 위치 결정부(430), 노이즈 크기 결정부(440) 및 노이즈 부가부(450)를 포함하여 구성될 수 있다.
일실시예에 따르면, FPC 복호화가 수행될 때 서브밴드내의 모든 스펙트럼이 0으로 양자화된 경우에만 노이즈 필링 처리를 행함에 있어서, 노이즈 필링 처리가 행해지지 않은 서브밴드에 0으로 복원된 스펙트럼이 존재할 경우 노이즈를 부가하여 반-희박성 처리를 수행할 수 있다. 다른 실시예에 따르면, FD 저주파수 확장 부호화가 수행된 서브밴드에도 0으로 복원된 스펙트럼이 존재할 경우 노이즈를 부가하여 반-희박성 처리를 수행할 수 있다.
FD 고주파수 확장 복호화부(1060)는 반-희박성 처리부(1050)에서 노이즈가 부가된 저주파수 대역의 스펙트럼을 이용하여 고주파수 대역에 대한 확장 부호화를 수행한다. 일실시예에 따르면 FD 고주파수 확장 복호화부(1060)는 서로 다른 비트율에 대하여, 동일한 코드북을 공유하여 에너지 역양자화를 수행할 수 있다.
결합부(1070)는 FD 저주파수 확장 복호화부(1040)로부터 제공되는 저주파수 대역의 스펙트럼과 FD 고주파수 확장 복호화부(1060)로부터 제공되는 고주파수 대역의 스펙트럼을 결합하여 SWB의 복원 스펙트럼을 생성한다.
도 11은 도 10에 도시된 FD 고주파수 확장 복호화부의 일실시예에 따른 구성을 나타내는 블록도이다.
도 11에 도시된 FD 고주파수 확장 부호화부(1100)는 스펙트럼 복사부(1110), 고주파 여기신호 생성부(1130), 에너지 역양자화부(1150) 및 고주파수 스펙트럼 생성부(1170)를 포함할 수 있다.
스펙트럼 복사부(1110)는 도 5의 스펙트럼 복사부(510)와 마찬가지로, 반-희박성 처리부(도 10의 1050)로부터 제공되는 저주파수 대역 스펙트럼을 폴딩 혹은 복제하여 고주파수 대역으로 확장할 수 있다.
고주파 여기신호 생성부(1130)는 스펙트럼 복사부(1110)로부터 제공되는 확장된 고주파수 대역 스펙트럼과 비트스트림으로부터 추출된 여기신호 타입정보를 이용하여 고주파수 여기신호를 생성한다.
고주파 여기신호 생성부(1130)는 스펙트럼 복사부(1110)로부터 제공되는 확장된 고주파수 대역 스펙트럼을 변형한 스펙트럼(G(n))과 랜덤 잡음(R(n)) 간의 가중치를 통해 고주파 여기신호를 생성한다. 여기서, 변형된 스펙트럼은 스펙트럼 복사부(1110)의 출력을 기존의 서브밴드 대신 새롭게 정의한 서브밴드에 의해 서브밴드 단위로 평균 크기를 구하고, 이 평균 크기로 스펙트럼을 정규화하는 과정을 통해 구해질 수 있다. 이와 같이 생성된 변형된 스펙트럼은 랜덤 잡음과 레벨을 맞추기 위해서 추가적으로 미리 설정된 서브밴드 단위로 레벨을 정합 시켜주는 과정을 거치게 된다. 레벨 정합은 서브밴드별로 평균 크기가 랜덤 잡음과 변형된 스펙트럼이 동일해지도록 만들어 주는 과정이다. 일실시예에 따르면, 변형된 신호의 크기를 약간 크도록 설정할 수도 있다. 최종 생성된 고주파수 여기신호 E(n)는 E(n) = G(n) × (1-w(n)) + R(n) × w(n) 와 같이 구해질 수 있다. 여기서, w(n)은 여기신호의 타입정보에 의해서 결정된 값, n은 스펙트럼 빈 인덱스를 각각 나타낸다. w(n)은 상수값일 수도 있고, 서브밴드별로 전송될 경우에는 서브밴드별로 동일한 값으로 정의될 수 있다. 또한, 인접한 서브밴드간의 스무딩을 고려하여 설정될 수도 있다.
w(n)은 여기신호의 타입정보가 0,1,2,3 의 2비트로 정의될 때, 0일 경우 최대값, 3일 경우 최소값이 되도록 할당할 수 있다.
에너지 역양자화부(1150)는 비트스트림에 포함된 양자화 인덱스를 역양자화하여 에너지를 복원한다.
고주파수 스펙트럼 생성부(1170)는 고주파 여기신호의 에너지가 복원된 에너지에 매칭될 수 있도록, 고주파수 여기신호의 에너지와 복원된 에너지간의 비율에 근거하여 고주파수 여기신호로부터 고주파수 대역 스펙트럼을 복원할 수 있다.
한편, 고주파수 스펙트럼 생성부(1170)는 원래의 고주파수 대역 스펙트럼이 피키하거나 하모닉성분을 포함하여 강한 톤성 특성을 갖는 경우, 반-희박성 처리부(도 10의 1050)로부터 제공되는 저주파수 대역 스펙트럼 대신 입력신호를 스펙트럼 복사부(1110)의 입력으로 활용하여 고주파 스펙트럼을 생성할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 12에 도시된 오디오 복호화장치(1200)는 LPC 복호화부(1205), 스위칭부(1210), CELP 복호화모듈(1230) 및 오디오 복호화모듈(1250)을 포함할 수 있다. CELP 복호화모듈(1230)은 CELP 복호화부(1231)와 TD 확장 복호화부(1233)를 포함할 수 있고, 오디오 복호화모듈(1250)은 오디오 복호화부(1251)와 FD 확장 복호화부(1253)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 12를 참조하면, LPC 복호화부(1205)는 비트스트림에 대하여 프레임 단위로 LPC 복호화를 수행한다.
스위칭부(1210)는 비트스트림에 포함된 부호화모드에 대한 정보를 참조하여, LPC 복호화부(1205)의 출력을 CELP 복호화모듈(1230) 및 오디오 복호화모듈(1250) 중 하나로 제공할 수 있다. 구체적으로, 부호화모드가 CELP 모드인 경우 LPC 복호화부(1205)의 출력을 CELP 복호화모듈(1230)로, 오디오 모드인 경우 오디오 복호화모듈(1250)로 제공한다.
CELP 복호화모듈(1230)에 있어서, CELP 복호화부(1231)는 CELP 부호화된 프레임에 대하여 CELP 복호화를 수행한다. 예를 들어, CELP 복호화부(1231)는 필터링된 적응 코드벡터 및 필터링된 고정 코드벡터에 대한 복호화를 수행하고, 복호화 결과를 합성하여 저주파수 대역에 대한 복원신호를 생성한다.
TD 확장 복호화부(1233)는 CELP 복호화 결과 및 저주파수 대역의 여기신호 중 적어도 하나를 이용하여, 고주파수 대역에 대한 확장 복호화를 수행하여 고주파수 대역의 복원신호를 생성한다. 이때, 저주파수 대역의 여기신호는 비트스트림에 포함될 수 있다. 또한, TD 확장 복호화부(1233)는 고주파수 대역에 대한 복원신호를 생성하기 위하여, 비트스트림에 포함된 저주파수 대역에 대한 선형예측계수 정보를 활용할 수 있다.
한편, TD 확장 복호화부(1233)는 생성된 고주파수 대역에 대한 복원신호를 CELP 복호화부(1231)에서 생성된 저주파수 대역의 복원신호와 합성하여, 복원된 SWB 신호를 생성할 수 있다. 이때, TD 확장 복호화부(1233)는 복원된 SWB 신호를 생성하기 위하여 저주파수 대역의 복원신호와 고주파수 대역의 복원신호의 샘플링 레이트를 동일하도록 변환하는 작업을 더 수행할 수 있다.
오디오 복호화모듈(1250)에 있어서, 오디오 복호화부(1251)는 오디오 부호화된 프레임에 대하여 오디오 복호화를 수행한다. 예를 들어, 오디오 복호화부(1251)는 비트스트림을 참조하여, 시간 도메인 기여분(contribution)이 존재하는 경우 시간 도메인 기여분 및 주파수 도메인 기여분을 고려하여 복호화를 수행하고, 시간 도메인 기여분이 존재하지 않는 경우 주파수 도메인 기여분을 고려하여 복호화를 수행한다.
또한, 오디오 복호화부(1251)는 FPC 또는 LVQ로 양자화된 신호에 대하여 IDCT 등을 이용한 주파수 역변환을 수행하여 복호화된 저주파수 대역의 여기신호를 생성하고, 생성된 여기신호를 역양자화된 LPC 계수와 합성하여, 저주파수 대역의 복원신호를 생성할 수 있다.
FD 확장 복호화부(1253)는 오디오 복호화가 수행된 결과를 이용하여 확장 복호화를 수행한다. 예를 들어, FD 확장 복호화부(1253)는 복호화된 저주파수대역의 신호를 고주파수 확장 복호화에 적합한 샘플링 레이트로 변환하고, 변환된 신호에 MDCT와 같은 주파수 변환을 수행한다. FD 확장 복호화부(1253)는 변환된 저주파수 스펙트럼의 양자화된 고주파수대역의 에너지를 역양자화하고, 고주파 대역폭 확장의 다양한 모드에 따라 저주파수대역의 신호를 이용하여 고주파수대역의 여기신호를 생성하고, 생성된 여기신호의 에너지가 역양자화된 에너지에 매칭되도록 게인을 적용함에 따라, 고주파수 대역의 복원신호를 생성할 수 있다. 예를 들어, 고주파 대역폭 확장의 다양한 모드는 노말(normal) 모드, 전이(transient) 모드, 하모닉(harmonic) 모드, 또는 노이즈(noise) 모드 중 어느 하나의 모드가 될 수 있다.
또한, FD 확장 복호화부(1253)는 생성된 고주파수 대역의 복원 신호 및 저주파수 대역의 복원신호에 대하여 Inverse MDCT와 같은 주파수 역변환을 수행하고, 주파수 역변환이 수행된 신호에 대하여 오디오 복호화부(1215)에서 생성된 저주파 신호와 샘플링 레이트를 맞추기 위한 변환작업을 수행한 후, 저주파 신호와 변환작업이 수행된 신호를 합성한다.여, 최종 복원신호를 생성한다.
추가적으로, FD 확장 복호화부(1253)는 대역폭 확장에 전이 모드가 적용된 경우, 주파수 역변환이 수행된 후에 복호화된 신호가 복호화된 temporal envelope에 매칭되도록, 시간 도메인에서 구한 게인을 적용하고, 게인이 적용된 신호를 합성해 줄 수도 있다.
이에 따르면, 오디오신호 복호화장치는 비트스트림에 대하여 프레임 단위로 부호화 모드를 참조하여, 비트스트림에 대한 복호화를 수행할 수 있다.
도 13은 본 발명의 다른 실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 13에 도시된 오디오 복호화장치(1300)는 스위칭부(1310), CELP 복호화모듈(1330), FD 복호화모듈(1350) 및 오디오 복호화모듈(1370)을 포함할 수 있다. CELP 복호화모듈(1330)은 CELP 복호화부(1331)와 TD 확장 복호화부(1333)를 포함할 수 있고, FD 복호화모듈(1350)은 FD 복호화부(1351)와 역변환부(1353)을 포함할 수 있고, 오디오 복호화모듈(1370)은 오디오 복호화부(1371)와 FD 확장 복호화부(1373)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 13을 참조하면, 스위칭부(1310)는 비트스트림에 포함된 부호화모드에 대한 정보를 참조하여, 비트스트림을 CELP 복호화모듈(1330), FD 복호화모듈(1350) 및 오디오 복호화모듈(1370) 중 하나로 제공할 수 있다. 구체적으로, 부호화모드가 CELP 모드인 경우 비트스트림을 CELP 복호화모듈(1330)로, FD 모드인 경우 FD 복호화모듈(1350)로, 오디오 모드인 경우 오디오 복호화모듈(1370)로 제공한다.
여기서, CELP 복호화모듈(1330), FD 복호화모듈(1350) 및 오디오 복호화모듈(1370)은 도 8의 CELP 부호화모듈(850), FD 부호화모듈(870) 및 오디오 부호화모듈(890)과 가역적인 동작을 수행하므로 여기서는 그 세부적인 설명을 생략하기로 한다.
도 14는 본 발명의 일실시예에 따른 코드북 공유방법을 설명하는 도면이다.
도 7에 도시된 FD 확장 부호화부(773) 또는 도 8에 도시된 FD 확장 부호화부(893)는 서로 다른 비트율에 대하여 동일한 코드북을 공유하여 에너지 양자화를 수행할 수 있다. 이에 따라, FD 확장 부호화부(773) 또는 FD 확장 부호화부(893)는 입력신호에 대응하는 주파수 스펙트럼을 소정 개수의 서브밴드들로 분할함에 있어서, 서로 다른 비트율에 대하여 동일한 서브밴드별 대역폭을 가지도록 한다.
16kbps의 비트율에서 약 6.4 내지 14.4kHz의 주파수 대역을 분할하는 경우(1410) 및 16kbps 이상의 비트율에서 약 8 내지 16kHz의 주파수 대역을 분할하는 경우(1420)를 예로 들어 설명하면 다음과 같다.
구체적으로, 첫번째 서브밴드에 대한 대역폭(1430)은 16kbps의 비트율 및 16kbps 이상의 비트율 모두에서 0.4kHz이고, 두번째 서브밴드에 대한 대역폭(1440)은 16kbps의 비트율 및 16kbps 이상의 비트율 모두에서 0.6kHz가 될 수 있다.
이와 같은 방식으로, 서로 다른 비트율에 대하여 동일한 서브밴드 별 대역폭을 가지도록 함에 따라, FD 확장 부호화부(773) 또는 FD 확장 부호화부(893)는 서로 다른 비트율에 대하여 동일한 코드북을 공유하여 에너지 양자화를 수행할 수 있다.
그 결과, CELP 모드와 FD 모드가 스위칭되는 설정(configuration), 또는 CELP 모드와 오디오 모드가 스위칭되는 설정, 또는 CELP 모드, FD 모드 및 오디오 모드가 스위칭되는 설정에서 멀티모드 대역폭 확장 기법을 적용하고, 이때 다양한 비트율을 지원할 수 있는 코드북 공유를 수행함에 따라, 메모리(예를 들어, ROM)의 사이즈를 감소시키고, 구현의 복잡도를 감소시킬 수 있다.
도 15는 본 발명의 일실시예에 따른 부호화 모드 시그널링 방법을 설명하는 도면이다.
도 15를 참조하면, 1510 단계에서 입력신호가 트랜지언트 성분에 해당하는지를 판단한다. 트랜지언트 성분의 검출은 공지된 다양한 방법을 사용하여 수행할 수 있다.
1520 단계에서는 1510 단계에서의 판단결과, 트랜지언트 성분에 해당하는 경우 소수점 단위의 비트할당을 수행한다.
1530 단계에서는 입력신호에 대하여 트랜지언트 모드로 부호화를 수행하고, 1 비트의 트랜지언트 지시자를 이용하여 트랜지언트 모드로 부호화되었음을 시그널링한다.
한편, 1540 단계에서는 1510 단계에서의 판단결과, 트랜지언트 성분에 해당하지 않는 경우 하모닉 성분에 해당하는지를 판단한다. 하모닉 성분의 검출은 공지된 다양한 방법을 사용하여 수행할 수 있다.
1550 단계에서는 1540 단계에서의 판단결과, 하모닉 성분에 해당하는 경우 입력신호에 대하여 하모닉 모드로 부호화를 수행하고, 1 비트의 트랜지언트 지시자와 함께 1 비트의 하모닉 지시자를 이용하여 하모닉 모드로 부호화되었음을 시그널링한다.
한편, 1560 단계에서는 1540 단계에서의 판단결과, 하모닉 성분에 해당하지 않는 경우 소수점 단위의 비트할당을 수행한다.
1570 단계에서는 입력신호에 대하여 노멀 모드로 부호화를 수행하고, 1 비트의 트랜지언트 지시자와 함께 1 비트의 하모닉 지시자를 이용하여 노멀모드로 부호화되었음을 시그널링한다.
즉, 2 비트의 지시자를 이용하여 3가지 모드, 트랜지언트 모드, 하모닉 모드, 노멀 모드를 시그널링해 줄 수 있다.
상기 실시예들에 따른 장치로부터 도출되는 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 스코프는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.

Claims (2)

  1. 저주파수 대역의 스펙트럼에 대하여 반-희박성 처리를 수행하는 단계; 및
    상기 반-희박성 처리가 수행된 저주파수 대역의 스펙트럼을 이용하여 주파수 도메인에서 고주파수 대역의 확장 부호화를 수행하는 단계를 포함하는 대역폭 확장신호 생성방법.
  2. 저주파수 대역의 스펙트럼에 대하여 반-희박성 처리를 수행하는 반-희박성 처리부; 및
    상기 반-희박성 처리가 수행된 저주파수 대역의 스펙트럼을 이용하여 주파수 도메인에서 고주파수 대역의 확장 복호화를 수행하는 FD 고주파수 확장 복호화부를 포함하는 대역폭 확장신호 생성장치.
PCT/KR2012/005258 2011-06-30 2012-07-02 대역폭 확장신호 생성장치 및 방법 WO2013002623A2 (ko)

Priority Applications (15)

Application Number Priority Date Filing Date Title
MX2017011044A MX370012B (es) 2011-06-30 2012-07-02 Aparato y método para generar señal extendida de ancho de banda.
MX2016008879A MX350162B (es) 2011-06-30 2012-07-02 Aparato y método para generar señal extendida de ancho de banda.
CN201280042439.XA CN103843062B (zh) 2011-06-30 2012-07-02 用于产生带宽扩展信号的设备和方法
AU2012276367A AU2012276367B2 (en) 2011-06-30 2012-07-02 Apparatus and method for generating bandwidth extension signal
EP12804615.8A EP2728577A4 (en) 2011-06-30 2012-07-02 APPARATUS AND METHOD FOR GENERATING A BANDWIDTH EXTENSION SIGNAL
US14/130,021 US9349380B2 (en) 2011-06-30 2012-07-02 Apparatus and method for generating bandwidth extension signal
BR112013033900-4A BR112013033900B1 (pt) 2011-06-30 2012-07-02 Método para gerar um sinal estendido de largura de banda para decodificação de áudio
MX2014000161A MX340386B (es) 2011-06-30 2012-07-02 Aparato y metodo para generar señal extendida de ancho de banda.
BR122021019883-7A BR122021019883B1 (pt) 2011-06-30 2012-07-02 Método de gerar um sinal estendido de largura de banda, e mídia não transitória legível por computador
BR122021019877-2A BR122021019877B1 (pt) 2011-06-30 2012-07-02 Aparelho para gerar um sinal estendido de largura de banda
JP2014518822A JP6001657B2 (ja) 2011-06-30 2012-07-02 帯域幅拡張信号生成装置及びその方法
CA2840732A CA2840732C (en) 2011-06-30 2012-07-02 Apparatus and method for generating bandwidth extension signal
ZA2014/00704A ZA201400704B (en) 2011-06-30 2014-01-29 Apparatus and method for generating bandwidth extension signal
US15/142,949 US9734843B2 (en) 2011-06-30 2016-04-29 Apparatus and method for generating bandwidth extension signal
US15/676,209 US10037766B2 (en) 2011-06-30 2017-08-14 Apparatus and method for generating bandwith extension signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161503241P 2011-06-30 2011-06-30
US61/503,241 2011-06-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/130,021 A-371-Of-International US9349380B2 (en) 2011-06-30 2012-07-02 Apparatus and method for generating bandwidth extension signal
US15/142,949 Continuation US9734843B2 (en) 2011-06-30 2016-04-29 Apparatus and method for generating bandwidth extension signal

Publications (3)

Publication Number Publication Date
WO2013002623A2 true WO2013002623A2 (ko) 2013-01-03
WO2013002623A3 WO2013002623A3 (ko) 2013-04-11
WO2013002623A4 WO2013002623A4 (ko) 2013-06-06

Family

ID=47424723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005258 WO2013002623A2 (ko) 2011-06-30 2012-07-02 대역폭 확장신호 생성장치 및 방법

Country Status (12)

Country Link
US (3) US9349380B2 (ko)
EP (1) EP2728577A4 (ko)
JP (3) JP6001657B2 (ko)
KR (3) KR102078865B1 (ko)
CN (3) CN106157968B (ko)
AU (3) AU2012276367B2 (ko)
BR (3) BR122021019883B1 (ko)
CA (2) CA2840732C (ko)
MX (3) MX340386B (ko)
TW (3) TWI576832B (ko)
WO (1) WO2013002623A2 (ko)
ZA (1) ZA201400704B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015162500A3 (ko) * 2014-03-24 2016-01-28 삼성전자 주식회사 고대역 부호화방법 및 장치와 고대역 복호화 방법 및 장치
KR20170024048A (ko) * 2014-07-28 2017-03-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 독립적 잡음-충전을 사용하여 향상된 신호를 발생시키기 위한 장치 및 방법
US11676614B2 (en) 2014-03-03 2023-06-13 Samsung Electronics Co., Ltd. Method and apparatus for high frequency decoding for bandwidth extension

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX340386B (es) * 2011-06-30 2016-07-07 Samsung Electronics Co Ltd Aparato y metodo para generar señal extendida de ancho de banda.
CN105976824B (zh) 2012-12-06 2021-06-08 华为技术有限公司 信号解码的方法和设备
ES2714289T3 (es) 2013-01-29 2019-05-28 Fraunhofer Ges Forschung Llenado con ruido en la codificación de audio por transformada perceptual
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
KR102625143B1 (ko) * 2014-02-17 2024-01-15 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2015133795A1 (ko) * 2014-03-03 2015-09-11 삼성전자 주식회사 대역폭 확장을 위한 고주파 복호화 방법 및 장치
PL3128513T3 (pl) * 2014-03-31 2019-11-29 Fraunhofer Ges Forschung Koder, dekoder, sposób kodowania, sposób dekodowania i program
CN106409304B (zh) * 2014-06-12 2020-08-25 华为技术有限公司 一种音频信号的时域包络处理方法及装置、编码器
FR3024581A1 (fr) * 2014-07-29 2016-02-05 Orange Determination d'un budget de codage d'une trame de transition lpd/fd
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
EP3435376B1 (en) * 2017-07-28 2020-01-22 Fujitsu Limited Audio encoding apparatus and audio encoding method
KR102457573B1 (ko) * 2021-03-02 2022-10-21 국방과학연구소 잡음 신호 생성 장치 및 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102473886B1 (ko) 2021-11-25 2022-12-06 한국프리팩 주식회사 친환경 발포 다층시트, 이를 이용한 아이스팩 및 그의 제조방법
KR102574372B1 (ko) 2023-01-26 2023-09-05 한국프리팩 주식회사 공압출된 친환경 발포 다층필름 및 이를 이용한 아이스팩

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5857759B2 (ja) * 1979-10-01 1983-12-21 日本電信電話株式会社 駆動音源信号発生装置
JPS57125999A (en) * 1981-01-29 1982-08-05 Seiko Instr & Electronics Voice synthesizer
US6029125A (en) 1997-09-02 2000-02-22 Telefonaktiebolaget L M Ericsson, (Publ) Reducing sparseness in coded speech signals
US6058359A (en) * 1998-03-04 2000-05-02 Telefonaktiebolaget L M Ericsson Speech coding including soft adaptability feature
DE60110086T2 (de) * 2000-07-27 2006-04-06 Activated Content Corp., Inc., Burlingame Stegotextkodierer und -dekodierer
KR100510434B1 (ko) * 2001-04-09 2005-08-26 니폰덴신뎅와 가부시키가이샤 Ｏｆｄｍ신호전달 시스템, ｏｆｄｍ신호 송신장치 및ｏｆｄｍ신호 수신장치
AU2002348961A1 (en) * 2001-11-23 2003-06-10 Koninklijke Philips Electronics N.V. Audio signal bandwidth extension
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
US7668711B2 (en) * 2004-04-23 2010-02-23 Panasonic Corporation Coding equipment
JP5129117B2 (ja) 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
US7813931B2 (en) * 2005-04-20 2010-10-12 QNX Software Systems, Co. System for improving speech quality and intelligibility with bandwidth compression/expansion
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
KR101390188B1 (ko) * 2006-06-21 2014-04-30 삼성전자주식회사 적응적 고주파수영역 부호화 및 복호화 방법 및 장치
KR101375582B1 (ko) * 2006-11-17 2014-03-20 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8639500B2 (en) * 2006-11-17 2014-01-28 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
DK2571024T3 (en) * 2007-08-27 2015-01-05 Ericsson Telefon Ab L M Adaptive transition frequency between the noise filling and bandwidth extension
ES2704286T3 (es) * 2007-08-27 2019-03-15 Ericsson Telefon Ab L M Método y dispositivo para la descodificación espectral perceptual de una señal de audio, que incluyen el llenado de huecos espectrales
KR101452722B1 (ko) * 2008-02-19 2014-10-23 삼성전자주식회사 신호 부호화 및 복호화 방법 및 장치
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
US8880410B2 (en) * 2008-07-11 2014-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a bandwidth extended signal
CA2836871C (en) * 2008-07-11 2017-07-18 Stefan Bayer Time warp activation signal provider, audio signal encoder, method for providing a time warp activation signal, method for encoding an audio signal and computer programs
EP4407610A1 (en) * 2008-07-11 2024-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
CN102177426B (zh) * 2008-10-08 2014-11-05 弗兰霍菲尔运输应用研究公司 多分辨率切换音频编码/解码方案
RU2493618C2 (ru) * 2009-01-28 2013-09-20 Долби Интернешнл Аб Усовершенствованное гармоническое преобразование
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
ES2664090T3 (es) * 2011-03-10 2018-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Relleno de subvectores no codificados en señales de audio codificadas por transformada
TWI606441B (zh) 2011-05-13 2017-11-21 三星電子股份有限公司 解碼裝置
MX340386B (es) * 2011-06-30 2016-07-07 Samsung Electronics Co Ltd Aparato y metodo para generar señal extendida de ancho de banda.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676614B2 (en) 2014-03-03 2023-06-13 Samsung Electronics Co., Ltd. Method and apparatus for high frequency decoding for bandwidth extension
US10468035B2 (en) 2014-03-24 2019-11-05 Samsung Electronics Co., Ltd. High-band encoding method and device, and high-band decoding method and device
US11688406B2 (en) 2014-03-24 2023-06-27 Samsung Electronics Co., Ltd. High-band encoding method and device, and high-band decoding method and device
US10909993B2 (en) 2014-03-24 2021-02-02 Samsung Electronics Co., Ltd. High-band encoding method and device, and high-band decoding method and device
WO2015162500A3 (ko) * 2014-03-24 2016-01-28 삼성전자 주식회사 고대역 부호화방법 및 장치와 고대역 복호화 방법 및 장치
US10529348B2 (en) 2014-07-28 2020-01-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating an enhanced signal using independent noise-filling identified by an identification vector
US10354663B2 (en) 2014-07-28 2019-07-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
JP2019194704A (ja) * 2014-07-28 2019-11-07 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
KR101958359B1 (ko) 2014-07-28 2019-03-15 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 독립적 잡음-충전을 사용하여 향상된 신호를 발생시키기 위한 장치 및 방법
US10885924B2 (en) 2014-07-28 2021-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
KR101958360B1 (ko) 2014-07-28 2019-03-15 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 독립적 잡음-충전을 사용하여 향상된 신호를 발생시키기 위한 장치 및 방법
JP6992024B2 (ja) 2014-07-28 2022-01-13 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
US11264042B2 (en) 2014-07-28 2022-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling information which comprises energy information and is included in an input signal
KR20170063534A (ko) * 2014-07-28 2017-06-08 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 독립적 잡음-충전을 사용하여 향상된 신호를 발생시키기 위한 장치 및 방법
KR20170024048A (ko) * 2014-07-28 2017-03-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 독립적 잡음-충전을 사용하여 향상된 신호를 발생시키기 위한 장치 및 방법
US11705145B2 (en) 2014-07-28 2023-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
US11908484B2 (en) 2014-07-28 2024-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling at random values and scaling thereupon

Also Published As

Publication number Publication date
CA2840732A1 (en) 2013-01-03
EP2728577A4 (en) 2016-07-27
KR102240271B1 (ko) 2021-04-14
JP6247358B2 (ja) 2017-12-13
KR20130007485A (ko) 2013-01-18
ZA201400704B (en) 2021-05-26
JP2014523548A (ja) 2014-09-11
US9734843B2 (en) 2017-08-15
EP2728577A2 (en) 2014-05-07
AU2017202211B2 (en) 2018-01-18
KR102343332B1 (ko) 2021-12-24
CN106128473A (zh) 2016-11-16
TW201743320A (zh) 2017-12-16
CN106157968B (zh) 2019-11-29
MX370012B (es) 2019-11-28
BR122021019883B1 (pt) 2023-03-14
KR20200019164A (ko) 2020-02-21
JP2016197271A (ja) 2016-11-24
BR112013033900B1 (pt) 2022-03-15
AU2016202120B2 (en) 2017-01-05
CN106157968A (zh) 2016-11-23
TWI619116B (zh) 2018-03-21
CN103843062B (zh) 2016-10-05
KR102078865B1 (ko) 2020-02-19
CA2840732C (en) 2017-06-27
AU2012276367B2 (en) 2016-02-04
US9349380B2 (en) 2016-05-24
TW201401268A (zh) 2014-01-01
TW201715513A (zh) 2017-05-01
MX340386B (es) 2016-07-07
US20170345443A1 (en) 2017-11-30
US10037766B2 (en) 2018-07-31
US20140188464A1 (en) 2014-07-03
JP6599419B2 (ja) 2019-10-30
MX350162B (es) 2017-08-29
JP6001657B2 (ja) 2016-10-05
CN103843062A (zh) 2014-06-04
CN106128473B (zh) 2019-12-10
WO2013002623A3 (ko) 2013-04-11
TWI576832B (zh) 2017-04-01
CA2966987A1 (en) 2013-01-03
WO2013002623A4 (ko) 2013-06-06
KR20200143665A (ko) 2020-12-24
AU2017202211A1 (en) 2017-04-27
JP2018025830A (ja) 2018-02-15
CA2966987C (en) 2019-09-03
US20160247519A1 (en) 2016-08-25
BR112013033900A2 (pt) 2017-12-12
AU2017202211C1 (en) 2018-08-02
MX2014000161A (es) 2014-02-19
TWI605448B (zh) 2017-11-11
AU2012276367A1 (en) 2014-01-30
BR122021019877B1 (pt) 2022-07-19
AU2016202120A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
WO2013002623A2 (ko) 대역폭 확장신호 생성장치 및 방법
WO2013141638A1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
RU2483364C2 (ru) Схема аудиокодирования/декодирования с переключением байпас
JP5328368B2 (ja) 符号化装置、復号装置、およびこれらの方法
JP5869537B2 (ja) 帯域幅拡張復号化方法
JP5140730B2 (ja) 切り換え可能な時間分解能を用いた低演算量のスペクトル分析／合成
KR101244310B1 (ko) 광대역 부호화 및 복호화 방법 및 장치
WO2012036487A2 (en) Apparatus and method for encoding and decoding signal for high frequency bandwidth extension
EP2630641A2 (en) Apparatus and method for determining weighting function having low complexity for linear predictive coding (lpc) coefficients quantization
WO2013058635A2 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
SE521129C2 (sv) Sätt och anordning för audiokodning
KR20140050002A (ko) 고주파수 신호 복호화 방법 및 장치
WO2016024853A1 (ko) 음질 향상 방법 및 장치, 음성 복호화방법 및 장치와 이를 채용한 멀티미디어 기기
WO2015108358A1 (ko) 선형 예측 부호화 계수를 양자화하기 위한 가중치 함수 결정 장치 및 방법
KR20120074314A (ko) 신호 처리 방법 및 이의 장치
WO2015170899A1 (ko) 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
KR20080053739A (ko) 적응적으로 윈도우 크기를 적용하는 부호화 장치 및 방법
JP5863765B2 (ja) 符号化方法および装置、そして、復号化方法および装置
WO2015065137A1 (ko) 광대역 신호 생성방법 및 장치와 이를 채용하는 기기
WO2010134757A2 (ko) 계층형 정현파 펄스 코딩을 이용한 오디오 신호의 인코딩 및 디코딩 방법 및 장치
WO2015037969A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2015122752A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2015133795A1 (ko) 대역폭 확장을 위한 고주파 복호화 방법 및 장치
Lei et al. Digital synthesis of Mandarin speech using its special characteristics
WO2011114192A1 (en) Method and apparatus for audio coding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804615

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2840732

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2014518822

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/000161

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2012804615

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2012276367

Country of ref document: AU

Date of ref document: 20120702

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14130021

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013033900

Country of ref document: BR

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112013033900

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013033900

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20131230