WO2013115625A1 - 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치 - Google Patents

낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치 Download PDF

Info

Publication number
WO2013115625A1
WO2013115625A1 PCT/KR2013/000891 KR2013000891W WO2013115625A1 WO 2013115625 A1 WO2013115625 A1 WO 2013115625A1 KR 2013000891 W KR2013000891 W KR 2013000891W WO 2013115625 A1 WO2013115625 A1 WO 2013115625A1
Authority
WO
WIPO (PCT)
Prior art keywords
bits
unit
pulses
spectrum
frequency band
Prior art date
Application number
PCT/KR2013/000891
Other languages
English (en)
French (fr)
Inventor
김미영
포로브안톤빅토로비치
오시포브콘스탄틴새르기비치
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2013115625A1 publication Critical patent/WO2013115625A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders

Definitions

  • the present invention relates to audio encoding and decoding, and more particularly, to a method and apparatus for processing an audio signal with low complexity.
  • the problem to be solved by the present invention is to adopt a method and apparatus for determining the number of unit size pulses with a low complexity, corresponding to the number of allocated bits of each frequency band in order to apply factorial pulse coding in frequency band unit, and employing the same It is to provide a multimedia device.
  • a spectral encoding method comprising: determining the number of unit size pulses of factorial pulse coding based on an allocated number of bits in frequency band units for a spectrum; And performing factorial pulse coding on the spectrum in units of frequency bands using the determined number of unit size pulses.
  • An audio encoding apparatus for achieving the above object is a conversion unit for converting the audio signal of the time domain to the audio spectrum of the frequency domain; A bit allocator configured to determine the number of bits allocated to the audio spectrum using spectral energy in predetermined frequency band units; And determining the number of unit size pulses of factorial pulse coding on the basis of the allocated bits in frequency band units for the audio spectrum, and using the determined number of unit size pulses in the frequency band unit for the audio spectrum. It may include an encoder for performing low factorial pulse coding.
  • a spectral decoding method comprising: determining the number of unit size pulses of factorial pulse decoding based on an allocated number of bits in frequency band units for a spectrum; And performing factorial pulse decoding on the spectrum in units of frequency bands using the determined number of unit size pulses.
  • An audio decoding apparatus for achieving the above object is a bit allocation unit for determining the number of allocated bits using the spectral energy in a predetermined frequency band unit for the audio spectrum included in the bitstream;
  • the number of unit size pulses of factorial pulse decoding is determined in units of frequency bands for the audio spectrum, and in the frequency band units for the audio spectrum using the determined number of unit size pulses.
  • a decoder which performs factorial pulse decoding; And an inverse transformer for converting the audio spectrum decoded by the decoder into an audio signal in a time domain.
  • the maximum value of the number of unit size pulses can be determined by using the equation, and the number of repetitions is selectively used between the minimum value and the maximum value by using binary search method and linear decrement method. By reducing, it can be implemented with low complexity. In addition, when the number of bits allocated to an arbitrary frequency band is smaller than the number of bits necessary for coding at least one pulse, complexity may be reduced in an exceptional situation by allocating the number of unit size pulses of the corresponding frequency band to zero.
  • FIG. 1 is a block diagram showing the configuration of an audio encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a bit allocation unit according to an embodiment of the present invention in FIG. 1.
  • FIG. 3 is a block diagram showing the configuration of a bit allocation unit according to another embodiment of the present invention in FIG.
  • FIG. 4 is a block diagram showing the configuration of a bit allocation unit according to another embodiment of the present invention in FIG.
  • FIG. 5 is a block diagram illustrating a configuration of an encoder according to an embodiment of the present invention in FIG. 1.
  • FIG. 6 is a block diagram illustrating a configuration of an audio encoding apparatus according to another embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of an audio decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a configuration of a bit allocation unit in accordance with an embodiment of the present invention in FIG. 7.
  • FIG. 9 is a block diagram illustrating a configuration of a decoder according to an embodiment of the present invention in FIG. 7.
  • FIG. 10 is a block diagram illustrating a decoder in accordance with another embodiment of the present invention in FIG. 7.
  • FIG. 11 is a block diagram illustrating a decoding unit in accordance with another embodiment of the present invention in FIG. 7.
  • FIG. 12 is a block diagram showing the configuration of an audio decoding apparatus according to another embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of an audio decoding apparatus according to another embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating an operation of a factorial pulse coding method according to an embodiment of the present invention.
  • 15 is a flowchart illustrating a method for determining the number m of unit size pulses satisfying the number of allocated bits b in frequency band units according to an embodiment of the present invention.
  • 16 is a flowchart illustrating a method for determining the number m of unit size pulses satisfying the number of allocated bits b in frequency band units according to another embodiment of the present invention.
  • 17 is a flowchart illustrating a method for determining the number m of unit size pulses satisfying the number of allocation bits b in frequency band units according to another embodiment of the present invention.
  • FIG. 18 is a block diagram illustrating a configuration of a multimedia apparatus including an encoding module according to an embodiment of the present invention.
  • FIG. 19 is a block diagram showing a configuration of a multimedia device including a decoding module according to an embodiment of the present invention.
  • FIG. 20 is a block diagram illustrating a configuration of a multimedia apparatus including an encoding module and a decoding module according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another.
  • FIG. 1 is a block diagram showing the configuration of an audio encoding apparatus 100 according to an embodiment of the present invention.
  • the audio encoding apparatus 100 illustrated in FIG. 1 may include a transformer 130, a bit allocator 150, an encoder 170, and a multiplexer 190. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the audio may mean music or voice, or a mixed signal of music and voice.
  • the converter 130 may generate an audio spectrum by converting an audio signal of a time domain into a frequency domain.
  • the time / frequency domain transformation may be performed using various known methods such as DCT.
  • the bit allocation unit 150 may determine the number of bits allocated for each subband unit using a masking threshold obtained using a spectral energy or a psychoacoustic model for the audio spectrum and the spectral energy.
  • the subband is a unit of grouping samples of the audio spectrum, and may have a uniform or nonuniform length reflecting a critical band.
  • the subband may be set such that the number of samples included in the subband increases from one sample to the last sample for one frame.
  • the number of subbands included in one frame or the number of samples included in the subbands may be predetermined.
  • the length may be adjusted according to a distribution of spectral coefficients by dividing a predetermined number of subbands of a uniform length for one frame.
  • the distribution of spectral coefficients may be determined using a spectral flatness measure, a difference between a maximum value and a minimum value, or a derivative value of the maximum value.
  • the bit allocator 150 estimates the allowable number of bits using the Norm value, that is, the average spectral energy, obtained by each subband unit, allocates the bits using the average spectral energy, and allocates the number of allocated bits. It is possible to limit the number of allowed bits not to exceed. According to another exemplary embodiment, the bit allocator 150 estimates the allowable bits using the psychoacoustic model for each subband, allocates the bits using the average spectral energy, and the allocated bits exceed the allowable bits. You can restrict it.
  • the encoder 170 may generate information about the encoded spectrum by quantizing and losslessly encoding the audio spectrum based on the number of bits finally allocated in units of subbands.
  • the multiplexer 190 multiplexes the encoded Norm value provided from the bit allocator 150 and the information about the encoded spectrum provided from the encoder 170 to generate a bitstream.
  • the audio encoding apparatus 100 may generate a noise level for a given subband and provide the noise level to the audio decoding apparatus 700 of FIG. 7, 1200 of FIG. 12, and 1300 of FIG. 13.
  • FIG. 2 is a block diagram showing the configuration of a bit allocation unit 200 according to an embodiment of the present invention in FIG. 1.
  • the bit allocator 200 illustrated in FIG. 2 may include a Norm estimator 210, a Norm encoder 230, and a bit estimator and allocator 250. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the Norm estimator 210 may obtain a Norm value corresponding to the average spectral energy in each subband unit.
  • Norm value may be calculated by the same method as in ITU-T G.719, but is not limited thereto.
  • the Norm value obtained for each subband may be provided to the encoder (150 in FIG. 1).
  • the Norm encoder 230 may quantize and lossless encode Norm values obtained for each subband.
  • the Norm value quantized in each sub-band unit may be provided to the bit estimator and allocator 250, or the Norm value dequantized in each subband unit may be provided to the bit estimator and allocator 250.
  • Norm values quantized and lossless coded in units of subbands may be provided to the multiplexer 190 of FIG. 1.
  • the bit estimating and allocating unit 250 may estimate and allocate the required number of bits by using the Norm value in each subband unit.
  • the dequantized Norm value can be used so that the same bit estimation and allocation process can be used in the coding part and the decoding part.
  • the Norm value adjusted in consideration of the masking effect may be used.
  • psycho-acoustical weighting applied in ITU-T G.719 may be used to adjust the Norm value, but is not limited thereto.
  • the bit estimator and allocator 250 may calculate a masking threshold value using a Norm value in each subband unit, and predict a perceptually necessary number of bits using the masking threshold value.
  • a method for obtaining a masking threshold value using spectral energy may use various known methods. That is, the masking threshold is a value corresponding to the Just Noticeable Distortion (JND), and when the quantization noise is smaller than the masking threshold, perceptual noise cannot be felt. Therefore, the minimum number of bits necessary to avoid perceptual noise can be calculated using the masking threshold.
  • JND Just Noticeable Distortion
  • a signal-to-mask ratio is calculated using a ratio between a Norm value and a masking threshold, and 6.025 dB?
  • the number of bits satisfying the masking threshold can be predicted using the relationship of one bit.
  • the predicted number of bits is the minimum number of bits necessary to avoid perceptual noise, but in terms of compression, it is not necessary to use more than the predicted number of bits. Weak).
  • the allowable number of bits of each subband may be expressed in an integer unit or a decimal point unit.
  • the bit estimator and assigner 250 may perform bit allocation in decimal units using Norm values in units of subbands.
  • bits are sequentially allocated from subbands having a large Norm value, so that more bits are allocated to perceptually important subbands by weighting Norm values of each subband according to the perceptual importance of each subband. I can adjust it.
  • Perceptual importance can be determined, for example, by psychoacoustic weighting as in ITU-T G.719.
  • the bit estimating and assigning unit 250 sequentially allocates bits for each sample sequentially from a subband having a large Norm value. That is, first, bits per sample are allocated to a subband having a maximum Norm value, and priority is changed so that a Norm value of the corresponding subband is reduced by a predetermined unit so that bits can be allocated to other subbands. This process is repeatedly performed until the total number of bits B available in a given frame is exhausted.
  • the bit estimation and allocation unit 250 may limit the number of bits allocated for each subband so as not to exceed the expected number of bits, that is, the number of bits allowed, and finally determine the number of bits allocated. For all subbands, the number of allocated bits and the predicted number of bits are compared to limit the predicted number of bits if the number of allocated bits is greater than the number of predicted bits. If the number of bits of all subbands of a given frame obtained as a result of the number of bits is less than the total number of bits (B) available in a given frame, the number of bits corresponding to the difference is evenly distributed over all subbands, or perceptual importance According to this, it can distribute nonuniformly.
  • the number of bits assigned to each subband can be limited to the number of allowable bits while the number of bits assigned to each subband is determined, and thus the total number of bits of a given frame can be more efficiently distributed.
  • an equation may be used to estimate and allocate the number of bits required for each subband. For example, based on quantization distortion and a solution that can optimize the number of bits assigned to each subband, maximize the SNR of the input spectrum within the range of total number of bits (B) available in a given frame.
  • the number of allocated bits per sample of each subband can be estimated. According to this, the number of bits allocated to each subband unit can be determined at once without several repetitions, thereby reducing the complexity.
  • FIG. 3 is a block diagram showing the configuration of a bit allocation unit 300 according to another embodiment of the present invention in FIG.
  • the bit allocator 300 illustrated in FIG. 3 may include a psychoacoustic model 310, a bit estimator and allocator 330, a scale factor estimator 350, and a scale factor encoder 370. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the psychoacoustic model 310 may obtain a masking threshold for each subband by inputting an audio spectrum provided from a converter (130 of FIG. 1).
  • the bit estimator and allocator 330 may predict a perceptually necessary number of bits by using a masking threshold in each subband unit. That is, SMR can be obtained for each subband unit, and 6.025 dB? The number of bits satisfying the masking threshold can be predicted using the relationship of one bit.
  • the predicted number of bits is the minimum number of bits necessary to avoid perceptual noise, but in terms of compression, it is not necessary to use more than the predicted number of bits. Weak).
  • the bit estimating and allocating unit 330 may perform bit allocation in units of decimal points by using spectral energy in each subband unit.
  • the bit estimation and allocation unit 330 compares the number of bits allocated to the predicted number of bits for all subbands and limits the number of bits to the predicted number of bits when the number of allocated bits is larger than the number of bits predicted. If the number of bits of all subbands of a given frame obtained as a result of the number of bits is less than the total number of bits (B) available in a given frame, the number of bits corresponding to the difference is evenly distributed over all subbands, or perceptual importance According to this, it can distribute nonuniformly.
  • the scale factor estimator 350 may estimate the scale factor by using the number of allocation bits finally determined for each subband unit.
  • the scale factor estimated in each subband unit may be provided to the encoder (170 of FIG. 1).
  • the scale factor encoder 370 may quantize and lossless encode the scale factor estimated in each subband unit.
  • the scale factor encoded in subband units may be provided to the multiplexer 190 of FIG. 1.
  • FIG. 4 is a block diagram showing the configuration of a bit allocation unit 300 according to another embodiment of the present invention in FIG.
  • the bit allocator 400 illustrated in FIG. 4 may include a Norm estimator 410, a bit estimator and allocator 430, a scale factor estimator 450, and a scale factor encoder 470. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the Norm estimator 410 may obtain a Norm value corresponding to the average spectral energy in each subband unit.
  • the bit estimating and allocating unit 430 may obtain a masking threshold using spectral energy in each subband unit, and predict the number of perceptually necessary bits, that is, the allowable bits using the masking threshold.
  • the bit estimating and allocating unit 430 may perform bit allocation on an integer basis or a decimal point basis using spectral energy in each subband unit.
  • the bit estimating and assigning unit 430 compares the number of bits allocated to the predicted number of bits for all subbands, and limits the number of bits predicted when the number of allocated bits is larger than the number of bits predicted. If the number of allocated bits of all subbands of a given frame obtained as a result of the bit limit is less than the total number of bits (B) available in a given frame, the number of bits corresponding to the difference is evenly distributed to all subbands, or perceptually It can be distributed non-uniformly according to importance.
  • the scale factor estimator 450 may estimate the scale factor by using the number of allocation bits finally determined for each subband unit.
  • the scale factor estimated in each subband unit may be provided to the encoder (170 of FIG. 1).
  • the scale factor encoder 470 may quantize and lossless encode the scale factor estimated in each subband unit.
  • the scale factor encoded in subband units may be provided to the multiplexer 190 of FIG. 1.
  • FIG. 5 is a block diagram illustrating a configuration of an encoder 500 according to an embodiment of the present invention in FIG. 1.
  • the encoder 500 illustrated in FIG. 5 may include a spectral normalizer 510 and a spectral encoder 530. Each component may be integrated into at least one module and implemented as at least one processor (not shown). Here, the spectral normalization unit 510 may be provided as an option.
  • the spectrum normalizer 510 may normalize a spectrum using Norm values of respective subbands provided from the bit allocator 150 of FIG. 1.
  • the spectral encoder 530 may perform quantization on the normalized spectrum by using the number of bits allocated to each subband, and may perform lossless coding on the quantized result.
  • factorial pulse coding may be used for spectral encoding, but is not limited thereto.
  • information such as the position of a pulse, the magnitude of a pulse, and the sign of a pulse within a range of allocated bits can be represented in a factorial form.
  • Information about the spectrum encoded by the spectrum encoder 530 may be provided to the multiplexer 190 (FIG. 1).
  • FIG. 6 is a block diagram showing the configuration of an audio encoding apparatus 600 according to another embodiment of the present invention.
  • the audio encoding apparatus 600 illustrated in FIG. 6 may include a transient detector 610, a converter 630, a bit allocator 650, an encoder 670, and a multiplexer 690. Each component may be integrated into at least one module and implemented as at least one processor (not shown). Since the audio encoding apparatus 600 of FIG. 6 further includes a transient detector 610 as compared to the audio encoding apparatus 100 of FIG. 1, a detailed description of common components will be considered.
  • the transient detector 610 may detect a section indicating a transient characteristic by analyzing an audio signal. Various known methods may be used to detect the transient section. Transient signaling information provided by the transient detector 610 may be included in the bitstream through the multiplexer 690.
  • the transformer 630 may determine a window size used for the transformation, and perform a time / frequency domain transformation based on the determined window size according to the transient section detection result. For example, a short window may be applied to the subband in which the transient period is detected, and a long window may be applied to the subband in which the transient period is not detected.
  • the bit allocator 650 may be implemented by any one of the bit allocators 200, 300, and 400 illustrated in FIGS. 2 to 4.
  • the encoder 670 may determine the window size used for encoding as in the transformer 630 according to the transient section detection result.
  • the audio encoding apparatus 600 may generate a noise level for the subband and provide the noise level to the audio decoding apparatus 700 of FIG. 7, 1200 of FIG. 12, and 1300 of FIG. 13.
  • FIG. 7 is a block diagram showing the configuration of an audio decoding apparatus 700 according to an embodiment of the present invention.
  • the audio decoding apparatus 700 illustrated in FIG. 7 may include a demultiplexer 710, a bit allocator 730, a decoder 750, and an inverse transformer 770. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the demultiplexer 710 may demultiplex a bitstream to extract quantized and lossless coded Norm values and information about an encoded spectrum.
  • the bit allocator 730 may obtain dequantized Norm values from the quantized and lossless coded Norm values in units of subbands, and determine the number of allocated bits using the dequantized Norm values.
  • the bit allocation unit 730 may operate substantially the same as the bit allocation units 150 and 650 of the audio encoding apparatuses 100 and 600. Meanwhile, when Norm values are adjusted by psychoacoustic weighting in the audio encoding apparatuses 100 and 600, the same may be adjusted in the audio decoding apparatus 700.
  • the decoder 750 may lossless decode and dequantize the encoded spectrum by using information about the encoded spectrum provided from the demultiplexer 710.
  • spectral decoding may use factorial pulse decoding.
  • the inverse transformer 770 may generate a reconstructed audio signal by converting the decoded spectrum into a time domain.
  • FIG. 8 is a block diagram showing the configuration of a bit allocation unit 800 according to an embodiment of the present invention in FIG.
  • the bit allocation unit 800 illustrated in FIG. 8 may include a Norm decoding unit 810 and a bit estimating and allocating unit 830. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the Norm decoder 810 may obtain a dequantized Norm value from the quantized and lossless coded Norm values provided from the demultiplexer 710 of FIG. 7.
  • the bit estimating and allocating unit 830 may determine the number of allocated bits using the dequantized Norm value. In detail, the bit estimating and allocating unit 830 obtains a masking threshold value using spectral energy, that is, a Norm value, for each subband unit, and predicts a perceptually necessary number of bits, that is, an allowable bit number, using the masking threshold. have.
  • the bit estimating and allocating unit 830 may perform bit allocation on an integer basis or a decimal point basis using spectral energy, that is, Norm value, for each subband unit.
  • the bit estimation and allocation unit 830 compares the allocated number of bits with the predicted number of bits for all subbands and limits the predicted number of bits when the number of allocated bits is larger than the number of bits predicted. If the number of allocated bits of all subbands of a given frame obtained as a result of the bit limit is less than the total number of bits (B) available in a given frame, the number of bits corresponding to the difference is evenly distributed to all subbands, or perceptually It can be distributed non-uniformly according to importance.
  • FIG. 9 is a block diagram illustrating a configuration of a decoder 900 according to an embodiment of the present invention in FIG. 7.
  • the decoder 900 illustrated in FIG. 9 may include a spectrum decoder 910 and an envelope shaping unit 930. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the envelope shaping unit 930 may be provided as an option according to the corresponding encoding apparatus.
  • the spectrum decoder 910 uses information about the encoded spectrum provided from the demultiplexer 710 of FIG. 7 and the number of allocated bits provided from the bit allocation unit 730 of FIG. 7.
  • the coded spectrum can be lossless decoded and dequantized.
  • the decoded spectrum provided from the spectrum decoder 910 is a normalized spectrum.
  • the envelope shaping unit 930 performs envelope shaping on the normalized spectrum provided from the spectrum decoding unit 910 by using the dequantized Norm value provided from the bit allocation unit 730 of FIG. 7 before normalization. Can be restored to the spectrum.
  • FIG. 10 is a block diagram illustrating a structure of a decoder 1000 according to another exemplary embodiment of the present invention in FIG. 7.
  • the decoder 1000 illustrated in FIG. 10 may include a spectrum decoder 1000, an envelope shaping unit 1030, and a spectrum filling unit 1050. Each component may be integrated into at least one module and implemented as at least one processor (not shown). Since the decoder 1000 of FIG. 10 further includes the spectrum filling unit 1050 as compared with the decoder 900 of FIG. 9, a detailed description of common components will be given. Here, the spectrum filling unit 1050 may be provided as an option according to the purpose of the device to be mounted.
  • the spectrum filling unit 1050 may fill with a noise component.
  • the noise component may be randomly generated or may be generated by copying a spectrum of a deband quantized to a nonzero value.
  • a noise component is generated, and the dequantized Norm value provided from the energy and bit allocation portion 730 of FIG. The energy of the noise component can be adjusted using the ratio between the spectral energies.
  • a noise component may be generated and adjusted so that the average energy of the noise component is one.
  • a noise component is generated for a given subband. The energy of the noise component may be adjusted using the received noise level.
  • FIG. 11 is a block diagram illustrating a configuration of a decoder 1100 according to another exemplary embodiment of the present invention in FIG. 7.
  • the decoder 1100 illustrated in FIG. 11 may include a spectrum decoder 1100, a spectrum filling unit 1130, and an envelope shaping unit 1150. Each component may be integrated into at least one module and implemented as at least one processor (not shown). As compared with the decoder 1000 of FIG. 10, the decoder 1100 of FIG. 11 differs in the arrangement order of the spectrum filling unit 1130 and the envelope shaping unit 1150. Let's think about the explanation.
  • the spectrum filling unit 1130 may fill with a noise component.
  • various noise filling methods applied to the spectrum filling unit 1050 of FIG. 10 may be used.
  • a noise component may be generated and adjusted so that the average energy of the noise component is one.
  • the envelope shaping unit 1150 may reconstruct a spectrum before normalization with respect to a spectrum including a subband filled with noise components by using a dequantized Norm value provided from the bit allocation unit 730 of FIG. 7.
  • FIG. 12 is a block diagram showing the configuration of an audio decoding apparatus 1200 according to another embodiment of the present invention.
  • the audio decoding apparatus 1200 illustrated in FIG. 12 may include a demultiplexer 1210, a scale factor decoder 1230, a spectrum decoder 1250, and an inverse transformer 1270. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the demultiplexer 1210 may demultiplex a bitstream to extract quantized and lossless coded scale factors and information about an encoded spectrum.
  • the scale factor decoder 1230 may lossless decode and dequantize the quantized and lossless coded scale factors in each subband unit.
  • the spectrum decoder 1250 may lossless decode and dequantize the encoded spectrum by using information about the encoded spectrum provided by the demultiplexer 1210 and a dequantized scale factor.
  • the spectrum decoder 1250 may include the same components as the decoder 1000 illustrated in FIG. 10.
  • the inverse transformer 1270 may generate a reconstructed audio signal by converting the spectrum decoded by the spectrum decoder 1250 into a time domain.
  • FIG. 13 is a block diagram showing the configuration of an audio decoding apparatus 1300 according to another embodiment of the present invention.
  • the audio decoding apparatus 1300 illustrated in FIG. 13 may include a demultiplexer 1310, a bit allocator 1330, a decoder 1350, and an inverse transform unit 1370. Each component may be integrated into at least one module and implemented as at least one processor (not shown).
  • the audio decoding apparatus 1300 illustrated in FIG. 13 has a difference in that transient signaling information is provided to the decoder 1350 and the inverse transform unit 1370 as compared with the audio decoding apparatus 700 of FIG. 7. For the elements, a detailed explanation will be considered.
  • the decoder 1350 may decode a spectrum by using information about an encoded spectrum provided from the demultiplexer 1310.
  • the window size may vary according to the transient signaling information.
  • the inverse transform unit 1370 may generate a reconstructed audio signal by converting the decoded spectrum into a time domain.
  • the window size may vary according to the transient signaling information.
  • FIG. 14 is a flowchart illustrating the operation of a factorial pulse coding method according to an embodiment of the present invention.
  • the encoder 170 of FIG. 1 and the spectrum encoder 530 of FIG. 6 may be performed by the encoder 670 of FIG. 6.
  • step 1410 the number of allocated bits is received in a frequency band, for example, in subband units.
  • the allocation bit number may be provided from the bit allocation unit 150 of FIG. 1.
  • the number m of unit magnitude pulses is determined for each frequency band based on the number of allocated bits.
  • factorial pulse coding is performed on the basis of the number m of unit size pulses determined for each frequency band to quantize transform coefficients of an audio spectrum.
  • step 1440 codewords obtained as a result of factorial pulse coding are combined for each frequency band.
  • the combined codewords are provided to a multiplexer (190 of FIG. 1 or 690 of FIG. 6).
  • Factorial pulse coding is a technique for efficiently coding a signal using unit magnitude pulses, including the number of non-zero pulses, the position of non-zero pulses, and the magnitude of non-zero pulses. ), Any combination of signs of non-zero pulses can be used to represent the signal. In this case, the number N of all combinations capable of expressing pulses may be expressed by Equation 1 below.
  • Equation 1 F (n, i) and D (m, i) may be represented as Equation 2 and Equation 3, respectively.
  • Equation 4 The number of bits b necessary to express the number N of all combinations calculated in Equation 1 may be represented by Equation 4 below.
  • Equation 4 may be summarized as in Equation 5 below.
  • the number of bits (b) required to perform factorial pulse coding on an input signal vector included in an arbitrary frequency band is defined as a complex polynomial of n corresponding to the band length and m corresponding to the number of pulses of the unit size. .
  • the polynomial can be regarded as a correlation between m and b.
  • an arbitrary maximum value m can have is determined, and b is satisfied while increasing the m value from 0 to the maximum value by 1.
  • Use m to find m Since the iteration method has a high complexity when the value of m is large, the complexity can be reduced by applying a binary search.
  • the basic principle of factorial pulse coding is described in US Patent No. 6,236,960.
  • FIG. 15 is a flowchart illustrating a method for determining the number m of unit size pulses satisfying the allowable bit number b in frequency band units according to an embodiment of the present invention.
  • Binary search may be applied. .
  • the premise is that as the number m of unit magnitude pulses increases, the number of bits b required for factorial pulse coding increases.
  • a minimum value Lp: min and a maximum value Hp: max that m can have are set.
  • the minimum value (Lp: min) and the maximum value (Hp: max) may be set to correspond to all frequency bands experimentally.
  • step 1520 it is determined whether the difference between the maximum value Hp: max and the minimum value Lp: min is greater than one. As a result of the determination in step 1520, when the difference between the maximum value Hp: max and the minimum value Lp: min is less than or equal to 1, the number m of the unit magnitude pulses num_pulse is determined as the intermediate value m.
  • fpc_bits (m, n) represents a function for calculating the number of bits required for factorial pulse coding for a given m and n, and corresponds to Equation 4.
  • step 1550 when the number of bits required for factorial pulse coding is smaller than the target value b for the intermediate value m in step 1540, the value must be larger than the middle value m. Return and repeat.
  • step 1560 when the number of bits required for factorial pulse coding is greater than the target value b for the intermediate value m in step 1540, the value must be smaller than the middle value m. Therefore, the middle value m is set to the maximum value in step 1520. Return to and repeat.
  • the maximum value of m range is MAX
  • the number of repetitions needs to be repeated, and as the maximum value m can have, the number of repetitions can increase.
  • 16 is a flowchart illustrating a method for determining the number m of unit size pulses satisfying the allowable bit number b in frequency band units according to another embodiment of the present invention.
  • Equation 5 may be equivalently represented by Equation 6 below.
  • Equation 6 z (m, n) may be developed as a polynomial for m as shown in Equation 7 below.
  • Equation 8 Equation 8 below.
  • Equation (8) can be summarized as in the following equation (9).
  • Equation 9 represents the maximum value that the number m of unit size pulses can have.
  • the maximum value of m according to Equation 9 is closer to the final number of unit size pulses than the initially determined maximum value, and the final value may be determined with much less repetition performance than the conventional method.
  • the minimum value can be set to 0 or 1.
  • the minimum value may be determined as a natural number close to zero through experimental or simulation.
  • Equation 8 may be expressed as Equation 10 below when m is summarized.
  • n is the length of the frequency band
  • b is the number of bits needed to perform factorial pulse coding
  • m is the number of unit size pulses
  • F (n) is a function for determining the minimum value of the number of unit size pulses.
  • F (n) may be determined as, for example, 2 when n is smaller than 9, 3 when n is smaller than 17, and 6 when n is smaller than 33, depending on the length of the frequency band. According to this, in most cases, since the length of the frequency band is 17 or less, when using the binary search method, the number of unit size pulses of each frequency band can be determined by one or two matching.
  • the number of bits b 1 required to code at least one pulse for n input sample vectors in a predetermined frequency band may be calculated using Equation 11 below.
  • the number of bits b allocated to the predetermined frequency band is compared with the number of bits b 1 required for coding at least one pulse.
  • the number of unit size pulses (num_pulse) is set to 0 without repetition.
  • Equation 9 the maximum value of the unit size pulse number m is obtained by Equation 9.
  • the number of bits required for factorial pulse coding is calculated using the maximum value of the unit size pulse number m, and a difference value (diff) between the allocated number of bits b is obtained.
  • fpc_bits (m, n) represents a function for calculating the number of bits required for factorial pulse coding for a given m and n.
  • step 1650 when the difference value (diff) is less than or equal to 0, the corresponding m value is determined as the number of unit size pulses to be finally obtained.
  • step 1660 when the difference value (diff) is greater than zero, the difference value (diff) and the predefined threshold value (THR) are compared.
  • the threshold value may be determined to an optimal value through experimentation or simulation in advance.
  • the final value m is determined using a binary search in the range (min, m).
  • the binary search may use the method illustrated in FIG. 15.
  • step 1680 when the difference value (diff) is smaller than the predefined threshold value (THR), it decreases by one from the current m value and recalculates the number of bits necessary for factorial pulse coding, and the number of bits used is allocated to the number of bits b. Repeat the linear decrement process until you are satisfied. At this time, an m value satisfying the number of allocation bits b is determined as the number of unit size pulses of the corresponding frequency band.
  • THR predefined threshold value
  • FIG. 17 is a flowchart illustrating a method for determining the number m of unit size pulses satisfying the number of allocation bits b in frequency band units according to another embodiment of the present invention. Although not shown, steps 1610 and 1620 of FIG. 16 are considered to be performed in advance.
  • the number of bits required for factorial pulse coding is calculated using the maximum value of the number m of unit size pulses, and the difference (diff), for example, an absolute value, between the calculated number of bits and the allocated number of bits b is predefined.
  • the threshold value may be previously determined to be an optimal value through experimental or simulation.
  • the difference value (diff) is larger than the threshold value (THR)
  • the m value is changed by using a binary search in the range (min, m). While the difference between the number of bits calculated using the changed m value and the number of bits allocated differs by the threshold value THR, the binary search process is repeatedly performed.
  • the number of bits calculated using the changed m value is larger than the number of allocated bits b. In this case, it decreases by one from the current m value until the allocation bit number b is satisfied. At this time, an m value satisfying the number of allocation bits b is determined as the number of unit size pulses of the corresponding frequency band.
  • the number of bits calculated using the changed m value is smaller than the number of allocated bits b. In this case, it increments by one from the current m value until the allocation bit number b is satisfied. At this time, an m value satisfying the number of allocation bits b is determined as the number of unit size pulses of the corresponding frequency band.
  • Table 1 compares the number of repetitions for each case using a binary search method and a combination of a binary search method and a linear reduction method. In this case, it is assumed that the value that m can have is in the range of 90 to 500).
  • the factorial pulse coding methods of FIGS. 14-17 may be programmed and may be performed by at least one processing device.
  • the factorial pulse coding methods of FIGS. 14 to 17 may be applied to the encoder 170 of FIG. 1, the spectral encoder 530 of FIG. 5, or the encoder 670 of FIG. 6, but are not limited thereto.
  • the factorial pulse coding methods of FIGS. 14 to 17 include the decoder 750 of FIG. 7, the spectrum decoder 910 of FIG. 9, the spectrum decoder 1000 of FIG. 10, the spectrum decoder 1110 of FIG. The same may be applied to factorial pulse decoding in the spectrum decoder 1250 of FIG. 12 or the spectrum decoder 1350 of FIG. 13, but is not limited thereto.
  • FIG. 18 is a block diagram illustrating a configuration of a multimedia apparatus including an encoding module according to an embodiment of the present invention.
  • the multimedia device 1800 illustrated in FIG. 18 may include a communication unit 1810 and an encoding module 1830.
  • the storage unit 1850 may further include an audio bitstream according to the use of the audio bitstream obtained as a result of the encoding.
  • the multimedia device 1800 may further include a microphone 1870. That is, the storage 1850 and the microphone 1870 may be provided as an option.
  • the multimedia device 1800 illustrated in FIG. 18 may further include an arbitrary decoding module (not shown), for example, a decoding module for performing a general decoding function or a decoding module according to an embodiment of the present invention.
  • the encoding module 1830 may be integrated with other components (not shown) included in the multimedia device 1800 and implemented as at least one or more processors (not shown).
  • the communication unit 1810 may receive at least one of audio and an encoded bitstream provided from the outside, or may transmit at least one of reconstructed audio and an audio bitstream obtained as a result of encoding the encoding module 1830. Can be.
  • the communication unit 1810 includes wireless Internet, wireless intranet, wireless telephone network, wireless LAN (LAN), Wi-Fi, Wi-Fi Direct, 3G (Generation), 4G (4 Generation), and Bluetooth.
  • Wireless networks such as Bluetooth, Infrared Data Association (IrDA), Radio Frequency Identification (RFID), Ultra WideBand (UWB), Zigbee, Near Field Communication (NFC), wired telephone networks, wired Internet It is configured to send and receive data with external multimedia device through wired network.
  • the encoding module 1830 converts an audio signal of a time domain provided through the communication unit 1810 or the microphone 1870 into an audio spectrum of a frequency domain, and converts the audio spectrum in a predetermined frequency band unit. Determining the number of allocated bits using the spectral energy, determining the number of unit size pulses of factorial pulse coding based on the number of allocated bits in frequency band units for the audio spectrum, and using the determined number of unit size pulses Factorial pulse coding may be performed on a spectrum in units of frequency bands.
  • the encoding module 1830 estimates the maximum value of the number of unit size pulses with respect to the number of allocated bits, and performs a binary search between the minimum value and the maximum value to perform the final value of the unit size pulses of each frequency band. The number can be determined. According to yet another embodiment, the encoding module 1830 estimates the maximum value of the number of unit size pulses with respect to the number of allocated bits, and selectively performs a binary search method and a linear reduction method between each minimum value and the maximum value. The final number of unit size pulses in the frequency band can be determined.
  • the storage unit 1850 may store the encoded bitstream generated by the encoding module 1830.
  • the storage unit 1850 may store various programs required for the operation of the multimedia device 1800.
  • the microphone 1870 may provide a user or an external audio signal to the encoding module 1830.
  • FIG. 19 is a block diagram showing a configuration of a multimedia device including a decoding module according to an embodiment of the present invention.
  • the multimedia device 1800 illustrated in FIG. 19 may include a communication unit 1910 and a decoding module 1930.
  • the storage unit 1950 may further include a storage unit 1950 for storing the restored audio signal according to the use of the restored audio signal obtained as a result of the decoding.
  • the multimedia device 1900 may further include a speaker 1970. That is, the storage unit 1950 and the speaker 1970 may be provided as an option.
  • the multimedia device 1900 illustrated in FIG. 19 may further include an arbitrary encoding module (not shown), for example, an encoding module for performing a general encoding function or an encoding module according to an embodiment of the present invention.
  • the decoding module 1930 may be integrated with other components (not shown) included in the multimedia device 1900 and implemented as at least one or more processors (not shown).
  • the communication unit 1910 receives at least one of an encoded bitstream and an audio signal provided from the outside, or at least one of a reconstructed audio signal obtained as a result of decoding of the decoding module 1930 and an audio bitstream obtained as a result of encoding. You can send one. Meanwhile, the communication unit 1910 may be implemented substantially similarly to the communication unit 1810 of FIG. 18.
  • the decoding module 1930 receives a bitstream provided through the communication unit 1910 and uses the spectral energy in units of predetermined frequency bands for the audio spectrum included in the bitstream to allocate the number of bits. Determine the number of unit size pulses of the factorial pulse decoding based on the number of allocated bits in frequency band units for the audio spectrum, and use the determined number of unit size pulses for the factorial pulses in frequency band units for the audio spectrum. Decoding may be performed and the decoded audio spectrum may be converted into an audio signal of a time domain.
  • the decoding module 1930 estimates the maximum value of the number of unit size pulses with respect to the number of allocated bits, performs a binary search between the minimum value and the maximum value, and performs the final value of the unit size pulses of each frequency band. The number can be determined. According to another embodiment, the decoding module 1930 estimates the maximum value of the number of unit size pulses with respect to the number of allocated bits, and selectively performs a binary search method and a linear reduction method between the minimum value and the maximum value, respectively. The final number of unit size pulses in the frequency band can be determined.
  • the storage unit 1950 may store the restored audio signal generated by the decoding module 1930.
  • the storage unit 1950 may store various programs required for the operation of the multimedia device 1900.
  • the speaker 1970 may output the restored audio signal generated by the decoding module 1930 to the outside.
  • FIG. 20 is a block diagram illustrating a configuration of a multimedia apparatus including an encoding module and a decoding module according to an embodiment of the present invention.
  • the multimedia device 2000 illustrated in FIG. 20 may include a communication unit 2010, an encoding module 2020, and a decoding module 2030.
  • the storage unit 2040 may further include an audio bitstream or a restored audio signal according to the use of the audio bitstream obtained as the encoding result or the restored audio signal obtained as the decoding result.
  • the multimedia apparatus 2000 may further include a microphone 2050 or a speaker 2060.
  • the encoding module 2020 and the decoding module 2030 may be integrated together with other components (not shown) included in the multimedia device 2000 and implemented as at least one processor (not shown).
  • FIG. 20 overlaps with a component of the multimedia apparatus 1800 illustrated in FIG. 18 or a component of the multimedia apparatus 1900 illustrated in FIG. 19, and thus, a detailed description thereof will be considered.
  • a broadcast or music dedicated device including a voice communication terminal including a telephone, a mobile phone, a TV, an MP3 player, or the like, or a dedicated voice communication
  • the terminal may include a fusion terminal device of a broadcasting or music dedicated device, but is not limited thereto.
  • the multimedia devices 1800, 1900, 2000 may be used as a client, a server, or a transducer disposed between the client and the server.
  • the multimedia device is a mobile phone
  • a user input unit such as a keypad
  • a display unit for displaying information processed in the user interface or mobile phone
  • the mobile phone may further include a processor.
  • the mobile phone may further include a camera unit having an imaging function and at least one component that performs a function required by the mobile phone.
  • the multimedia device (1800, 1900, 2000) is a TV, for example, although not shown, further comprising a user input unit, such as a keypad, a display unit for displaying the received broadcast information, a processor for controlling the overall functions of the TV Can be.
  • the TV may further include at least one or more components that perform a function required by the TV.
  • the method according to the embodiments can be written in a computer executable program and can be implemented in a general-purpose digital computer operating the program using a computer readable recording medium.
  • data structures, program instructions, or data files that can be used in the above-described embodiments of the present invention can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium may include all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include magnetic media, such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, floppy disks, and the like.
  • Such as magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium may also be a transmission medium for transmitting a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

Abstract

오디오 부호화장치는 시간 도메인의 오디오 신호를 주파수 도메인의 오디오 스펙트럼으로 변환하는 변환부; 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하는 비트할당부; 및 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 코딩의 단위 크기 펄스의 개수를 결정하고, 결정된 단위 크기 펄스의 개수를 이용하여 오디오 스펙트럼에 대하여 주파수 밴드 단위로 팩토리얼 펄스 코딩을 수행하는 부호화부를 포함한다.

Description

낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치
본 발명은 오디오 부호화 및 복호화에 관한 것으로서, 보다 상세하게로는 낮은 복잡도로 오디오신호를 처리하기 위한 방법 및 장치에 관한 것이다.
오디오 신호를 부호화하거나 복호화시 적용되는 팩토리얼 펄스 코딩 혹은 디코딩시, 각 주파수 밴드당 필요한 비트수(b)로부터 단위 크기 펄스의 개수에 해당하는 m값을 결정하기 위해서는, m 이 가질수 있는 임의의 최대값을 설정해 두고, m 값을 0 부터 최대값까지 1씩 증가시키면서 b를 만족하는 m을 찾는 방식을 사용한다. 그런데, 이와 같은 반복(iteration) 방식은 주파수 밴드의 길이가 길거나 m값의 범위가 클 경우 복잡도가 높아지는 단점이 있다.
본 발명이 해결하고자 하는 과제는 주파수 밴드 단위로 팩토리얼 펄스 코딩을 적용하기 위하여, 각 주파수 밴드의 할당 비트수에 대응하여, 단위 크기 펄스의 개수를 낮은 복잡도로 결정하기 위한 방법 및 장치와, 이를 채용하는 멀티미디어 기기를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 스펙트럼 부호화방법은 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 코딩의 단위 크기 펄스의 개수를 결정하는 단계; 및 상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 코딩을 수행하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 오디오 부호화장치는 시간 도메인의 오디오 신호를 주파수 도메인의 오디오 스펙트럼으로 변환하는 변환부; 상기 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하는 비트할당부; 및 상기 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 상기 할당 비트수에 근거하여 팩토리얼 펄스 코딩의 단위 크기 펄스의 개수를 결정하고, 상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 오디오 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 코딩을 수행하는 부호화부를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 스펙트럼 복호화방법은 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 디코딩의 단위 크기 펄스의 개수를 결정하는 단계; 및 상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 디코딩을 수행하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 오디오 복호화장치는 비트스트림에 포함된 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하는 비트할당부; 상기 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 상기 할당 비트수에 근거하여 팩토리얼 펄스 디코딩의 단위 크기 펄스의 개수를 결정하고, 상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 오디오 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 디코딩을 수행하는 복호화부; 및 상기 복호화부에서 복호화된 오디오 스펙트럼을 시간 도메인의 오디오 신호로 변환하는 역변환부를 포함할 수 있다.
각 주파수 밴드에 대하여 단위 크기 펄스의 개수가 가질 수 있는 최대값을 수학식을 이용하여 결정하고, 최소값에서부터 최대값 사이를 바이너리 서치 방식과 선형 감소(linear decrement) 방식을 선택적으로 사용하여 반복횟수를 줄임으로써, 낮은 복잡도로 구현가능하다. 또한, 임의 주파수 밴드의 할당 비트수가 최소 1개의 펄스 코딩시 필요한 비트수보다 작은 경우, 해당 주파수 밴드의 단위 크기 펄스의 개수를 0으로 할당하여 예외 상황에서 복잡도를 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 2는 도 1에 있어서 본 발명의 일실시예에 따른 비트할당부의 구성을 나타낸 블록도이다.
도 3은 도 1에 있어서 본 발명의 다른 실시예에 따른 비트할당부의 구성을 나타낸 블록도이다.
도 4는 도 1에 있어서 본 발명의 다른 실시예에 따른 비트할당부의 구성을 나타낸 블록도이다.
도 5는 도 1에 있어서 본 발명의 일실시예에 따른 부호화부의 구성을 나타낸 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 8은 도 7에 있어서 본 발명의 일실시예에 따른 비트할당부의 구성을 나타낸 블록도이다.
도 9는 도 7에 있어서 본 발명의 일실시예에 따른 복호화부의 구성을 나타낸 블록도이다.
도 10은 도 7에 있어서 본 발명의 다른 실시예에 따른 복호화부의 구성을 나타낸 블록도이다.
도 11은 도 7에 있어서 본 발명의 다른 실시예에 따른 복호화부의 구성을 나타낸 블록도이다.
도 12는 본 발명의 다른 실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 14는 본 발명의 일실시예에 따른 팩토리얼 펄스 코딩방법의 동작을 설명하는 흐름도이다.
도 15는 본 발명의 일실시예에 따라서 주파수 밴드 단위로 할당 비트수(b)를 만족하는 단위 크기 펄스의 개수(m)을 결정하기 위한 방법을 설명하는 흐름도이다.
도 16은 본 발명의 다른 실시예에 따라서 주파수 밴드 단위로 할당 비트수(b)를 만족하는 단위 크기 펄스의 개수(m)을 결정하기 위한 방법을 설명하는 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따라서 주파수 밴드 단위로 할당 비트수(b)를 만족하는 단위 크기 펄스의 개수(m)을 결정하기 위한 방법을 설명하는 흐름도이다.
도 18은 본 발명의 일실시예에 따른 부호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 19는 본 발명의 일실시예에 따른 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 20은 본 발명의 일실시예에 따른 부호화모듈과 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화장치(100)의 구성을 나타낸 블록도이다.
도 1에 도시된 오디오 부호화장치(100)는 변환부(130), 비트할당부(150), 부호화부(170) 및 다중화부(190)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 오디오는 음악 혹은 음성, 혹은 음악과 음성의 혼합신호를 의미할 수 있다.
도 1을 참조하면, 변환부(130)는 시간 도메인의 오디오 신호를 주파수 도메인으로 변환하여 오디오 스펙트럼을 생성할 수 있다. 이때, 시간/주파수 도메인 변환은 DCT 등과 같은 공지된 다양한 방법을 사용하여 수행할 수 있다.
비트할당부(150)는 오디오 스펙트럼에 대하여 스펙트럼 에너지 혹은 심리음향모델을 이용하여 얻어지는 마스킹 임계치와, 스펙트럼 에너지를 이용하여 각 서브밴드 단위로 할당 비트수를 결정할 수 있다. 여기서, 서브밴드는 오디오 스펙트럼의 샘플들을 그루핑한 단위로서, 임계대역을 반영하여 균일 혹은 비균일 길이를 가질 수 있다. 비균일한 경우, 한 프레임에 대하여 시작 샘플에서부터 마지막 샘플에 이르기까지 서브밴드에 포함되는 샘플의 개수가 점점 증가하도록 서브밴드를 설정할 수 있다. 여기서, 한 프레임에 포함되는 서브밴드의 개수 혹은 서브밴드에 포함되는 샘플의 개수는 미리 결정될 수 있다. 또는, 한 프레임에 대하여 소정 개수의 균일 길이의 서브밴드로 나눈 다음, 스펙트럼 계수들의 분포에 따라서 길이를 조정할 수 있다. 스펙트럼 계수들의 분포는 스펙트럼 평탄도(Spectral Flatness Measure), 최대값과 최소값의 차이 혹은 최대값의 미분값 등을 이용하여 결정할 수 있다.
일실시예에 따르면, 비트할당부(150)는 각 서브밴드 단위로 구해진 Norm 값 즉, 평균 스펙트럼 에너지를 이용하여 허용 비트수를 추정하고, 평균 스펙트럼 에너지를 이용하여 비트를 할당하고, 할당 비트수가 허용 비트수를 초과하지 않도록 제한할 수 있다. 다른 실시예에 따르면, 비트할당부(150)는 각 서브밴드 단위로 심리음향모델을 이용하여 허용 비트수를 추정하고, 평균 스펙트럼 에너지를 이용하여 비트를 할당하고, 할당 비트수가 허용 비트수를 초과하지 않도록 제한할 수 있다.
부호화부(170)는 각 서브밴드 단위로 최종적으로 결정된 할당 비트수에 근거하여 오디오 스펙트럼을 양자화 및 무손실 부호화하여 부호화된 스펙트럼에 대한 정보를 생성할 수 있다.
다중화부(190)는 비트할당부(150)로부터 제공되는 부호화된 Norm 값과, 부호화부(170)에서 제공되는 부호화된 스펙트럼에 대한 정보를 다중화하여 비트스트림을 생성한다.
한편, 오디오 부호화장치(100)는 주어진 서브밴드에 대하여 노이즈 레벨을 생성하여 오디오 복호화장치(도 7의 700, 도 12의 1200, 도 13의 1300)로 제공할 수 있다.
도 2는 도 1에 있어서 본 발명의 일실시예에 따른 비트할당부(200)의 구성을 나타낸 블록도이다.
도 2에 도시된 비트할당부(200)는 Norm 추정부(210), Norm 부호화부(230) 및 비트추정 및 할당부(250)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 2를 참조하면, Norm 추정부(210)는 각 서브밴드 단위로 평균 스펙트럼 에너지에 해당하는 Norm 값을 구할 수 있다. 이때, 일례로서 ITU-T G.719 에서와 동일한 방법으로 Norm 값을 계산할 수 있으나, 이에 한정되는 것은 아니다. 한편, 각 서브밴드에 대하여 구해진 Norm 값은 부호화부(도 1의 150)로 제공될 수 있다.
Norm 부호화부(230)는 각 서브밴드에 대하여 구해진 Norm 값을 양자화 및 무손실 부호화할 수 있다. 여기서, 각 서브소밴드 단위로 양자화된 Norm 값은 비트추정 및 할당부(250)로 제공되거나, 각 서브밴드 단위로 다시 역양자화된 Norm 값은 비트추정 및 할당부(250)로 제공될 수 있다. 한편, 각 서브밴드 단위로 양자화 및 무손실 부호화된 Norm 값은 다중화부(도 1의 190)로 제공될 수 있다.
비트추정 및 할당부(250)는 각 서브밴드 단위로, Norm 값을 이용하여 필요로 하는 비트수를 추정하여 할당할 수 있다. 바람직하게로는, 부호화 파트와 복호화 파트에서 동일한 비트추정 및 할당 프로세스를 이용할 수 있도록 역양자화된 Norm 값을 사용할 수 있다. 이때, 마스킹 효과를 고려하여 조정된 Norm 값을 사용할 수 있다. Norm 값의 조정에는 일예로서, ITU-T G.719 에서 적용되는 심리음향 가중(psycho-acoustical weighting)을 이용할 수 있으나, 이에 한정되는 것은 아니다.
비트추정 및 할당부(250)는 각 서브밴드 단위로, Norm 값을 이용하여 마스킹 임계치를 계산하고, 마스킹 임계치를 이용하여 지각적으로 필요한 비트수를 예측할 수 있다. 한편, 스펙트럼 에너지를 이용하여 마스킹 임계치를 구하는 방법은 공지된 다양한 방법을 사용할 수 있다. 즉, 마스킹 임계치는 JND(Just Noticeable Distortion)에 해당하는 값으로서, 양자화 잡음이 마스킹 임계치보다 작을 경우 지각적인 잡음을 느낄 수 없다. 따라서, 지각적인 잡음을 느낄 수 없도록 하는데 필요한 최소 비트수를 마스킹 임계치를 이용하여 계산할 수 있다. 일실시예로, 각 서브밴드 단위로, Norm 값과 마스킹 임계치와의 비를 이용하여 SMR(Signal-to-Mask Ratio)를 계산하고, SMR에 대하여 6.025 dB ? 1 비트의 관계를 이용하여 마스킹 임계치를 만족하는 비트수를 예측할 수 있다. 여기서, 예측된 비트수는 지각적인 잡음을 느낄 수 없도록 하는데 필요한 최소 비트수이지만, 압축 측면에서 보면 예측된 비트수 이상으로 사용할 필요가 없으므로 서브밴드 단위로 허용되는 최대 비트수(이하, 허용 비트수라 약함)로 간주될 수 있다. 이때, 각 서브밴드의 허용 비트수는 정수단위 혹은 소수점 단위로 표현될 수 있다.
실시예에 따르면, 비트추정 및 할당부(250)는 각 서브밴드 단위로, Norm 값을 이용하여 소수점 단위의 비트 할당을 수행할 수 있다. 이때, Norm 값이 큰 서브밴드에서부터 순차적으로 비트를 할당하는데, 각 서브밴드의 Norm 값에 대하여 각 서브밴드의 지각적 중요도에 따라서 가중치를 부여함으로써 지각적으로 중요한 서브밴드에 더 많은 비트가 할당되도록 조정할 수 있다. 지각적 중요도는 일예로 ITU-T G.719 에서와 같은 심리음향 가중을 통하여 결정할 수 있다.
구체적으로, 비트추정 및 할당부(250)는 Norm 값이 큰 서브밴드에서부터 순차적으로 샘플별로 비트를 할당한다. 즉, 우선적으로 최대 Norm 값을 갖는 서브밴드에 대하여 샘플당 비트를 할당하고, 해당 서브밴드의 Norm 값을 소정 단위만큼 감소시켜 다른 서브밴드에 비트를 할당할 수 있도록 우선순위를 변경한다. 이와 같은 과정은 주어진 프레임에서 사용가능한 전체 비트수(B)가 모두 소진할 때까지 반복적으로 수행된다.
비트추정 및 할당부(250)는 각 서브밴드에 대하여 할당된 비트수가 예측된 비트수 즉 허용 비트수를 넘지 않도록 제한하여, 최종적으로 할당 비트수를 결정할 수 있다. 모든 서브밴드에 대하여, 할당된 비트수와 예측된 비트수를 비교하여 할당된 비트수가 예측된 비트수보다 큰 경우에는 예측된 비트수로 제한한다. 비트수 제한의 결과 얻어지는 주어진 프레임의 전체 서브밴드의 비트수가 주어진 프레임에서 사용가능한 전체 비트수(B)보다 적은 경우 그 차이에 해당하는 비트수를 전체 서브밴드에 균일하게 분배하거나, 혹은 지각적 중요도에 따라서 비균일하게 분배할 수 있다.
이에 따르면, 각 서브밴드의 할당 비트수를 소수점 단위로 결정하면서 허용 비트수로 제한할 수 있으므로 주어진 프레임의 전체 비트수를 보다 효율적으로 배분할 수 있다.
한편, 각 서브밴드에 필요한 비트수를 추정 및 할당하기 위하여 수학식을 사용할 수 있다. 예를 들면, 양자화 왜곡과 각 서브밴드에 할당되는 비트수를 최적화할 수 있는 해(solution)에 근거하여, 주어진 프레임에서 사용가능한 전체 비트수(B)의 범위내에서, 입력 스펙트럼의 SNR을 최대화시킬 수 있는 각 서브밴드의 샘플당 할당 비트수를 추정할 수 있다. 이에 따르면, 수회의 반복없이 각 서브밴드 단위로 할당 비트수를 한번에 결정할 수 있어 복잡도가 낮아질 수 있다.
도 3은 도 1에 있어서 본 발명의 다른 실시예에 따른 비트할당부(300)의 구성을 나타낸 블록도이다.
도 3에 도시된 비트할당부(300)는 심리음향모델(310), 비트추정 및 할당부(330), 스케일팩터 추정부(350) 및 스케일팩터 부호화부(370)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 3을 참조하면, 심리음향모델(310)은 변환부(도 1의 130)로부터 제공되는 오디오 스펙트럼을 입력으로 하여, 각 서브밴드에 대하여 마스킹 임계치를 구할 수 있다.
비트추정 및 할당부(330)는 각 서브밴드 단위로 마스킹 임계치를 이용하여 지각적으로 필요한 비트수를 예측할 수 있다. 즉, 각 서브밴드 단위로 SMR을 구할 수 있고, SMR에 대하여 6.025 dB ? 1 비트의 관계를 이용하여 마스킹 임계치를 만족하는 비트수를 예측할 수 있다. 여기서, 예측된 비트수는 지각적인 잡음을 느낄 수 없도록 하는데 필요한 최소 비트수이지만, 압축 측면에서 보면 예측된 비트수 이상으로 사용할 필요가 없으므로 서브밴드 단위로 허용되는 최대 비트수(이하, 허용 비트수라 약함)로 간주될 수 있다. 이때, 비트추정 및 할당부(330)는 각 서브밴드 단위로, 스펙트럼 에너지를 이용하여 소수점 단위의 비트 할당을 수행할 수 있다.
비트추정 및 할당부(330)는 모든 서브밴드에 대하여, 할당된 비트수와 예측된 비트수를 비교하여 할당된 비트수가 예측된 비트수보다 큰 경우에는 예측된 비트수로 제한한다. 비트수 제한의 결과 얻어지는 주어진 프레임의 전체 서브밴드의 비트수가 주어진 프레임에서 사용가능한 전체 비트수(B)보다 적은 경우 그 차이에 해당하는 비트수를 전체 서브밴드에 균일하게 분배하거나, 혹은 지각적 중요도에 따라서 비균일하게 분배할 수 있다.
스케일팩터 추정부(350)는 각 서브밴드 단위로 최종적으로 결정된 할당 비트수를 이용하여 스케일팩터를 추정할 수 있다. 각 서브밴드 단위로 추정된 스케일팩터는 부호화부(도 1의 170)로 제공될 수 있다.
스케일팩터 부호화부(370)는 각 서브밴드 단위로 추정된 스케일팩터를 양자화 및 무손실 부호화할 수 있다. 서브밴드 단위로 부호화된 스케일팩터는 다중화부(도 1의 190)로 제공될 수 있다.
도 4는 도 1에 있어서 본 발명의 다른 실시예에 따른 비트할당부(300)의 구성을 나타낸 블록도이다.
도 4에 도시된 비트할당부(400)는 Norm 추정부(410), 비트추정 및 할당부(430), 스케일팩터 추정부(450) 및 스케일팩터 부호화부(470)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 4를 참조하면, Norm 추정부(410)는 각 서브밴드 단위로 평균 스펙트럼 에너지에 해당하는 Norm 값을 구할 수 있다.
비트추정 및 할당부(430)는 각 서브밴드 단위로 스펙트럼 에너지를 이용하여 마스킹 임계치를 구하고, 마스킹 임계치를 이용하여 지각적으로 필요한 비트수 즉, 허용 비트수를 예측할 수 있다.
비트추정 및 할당부(430)는 각 서브밴드 단위로, 스펙트럼 에너지를 이용하여 정수 단위 혹은 소수점 단위의 비트 할당을 수행할 수 있다.
비트추정 및 할당부(430)는 모든 서브밴드에 대하여, 할당된 비트수와 예측된 비트수를 비교하여 할당된 비트수가 예측된 비트수보다 큰 경우에는 예측된 비트수로 제한한다. 비트수 제한의 결과 얻어지는 주어진 프레임의 전체 서브밴드의 할당 비트수가 주어진 프레임에서 사용가능한 전체 비트수(B)보다 적은 경우 그 차이에 해당하는 비트수를 전체 서브밴드에 균일하게 분배하거나, 혹은 지각적 중요도에 따라서 비균일하게 분배할 수 있다.
스케일팩터 추정부(450)는 각 서브밴드 단위로 최종적으로 결정된 할당 비트수를 이용하여 스케일팩터를 추정할 수 있다. 각 서브밴드 단위로 추정된 스케일팩터는 부호화부(도 1의 170)로 제공될 수 있다.
스케일팩터 부호화부(470)는 각 서브밴드 단위로 추정된 스케일팩터를 양자화 및 무손실 부호화할 수 있다. 서브밴드 단위로 부호화된 스케일팩터는 다중화부(도 1의 190)로 제공될 수 있다.
도 5는 도 1에 있어서 본 발명의 일실시예에 따른 부호화부(500)의 구성을 나타낸 블록도이다.
도 5에 도시된 부호화부(500)는 스펙트럼 정규화부(510)와 스펙트럼 부호화부(530)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 스펙트럼 정규화부(510)는 옵션으로 구비될 수 있다.
도 5를 참조하면, 스펙트럼 정규화부(510)는 비트할당부(도 1의 150)로부터 제공되는 각 서브밴드의 Norm 값을 이용하여 스펙트럼을 정규화할 수 있다.
스펙트럼 부호화부(530)는 정규화된 스펙트럼에 대하여 각 서브밴드의 할당 비트수를 이용하여 양자화를 수행하고, 양자화된 결과에 대하여 무손실 부호화할 수 있다. 일예로서, 스펙트럼 부호화에 팩토리얼 펄스 코딩(Factorial Pulse Coding)을 사용할 수 있으나, 이에 한정되는 것은 아니다. 팩토리얼 펄스 코딩에 따르면, 할당 비트수 범위내에서 펄스의 위치, 펄스의 크기, 및 펄스의 부호와 같은 정보가 팩토리얼 형식으로 표현될 수 있다.
스펙트럼 부호화부(530)에서 부호화된 스펙트럼에 대한 정보는 다중화부(도 1의 190)로 제공될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 오디오 부호화장치(600)의 구성을 나타낸 블록도이다.
도 6에 도시된 오디오 부호화장치(600)는 트랜지언트 검출부(610), 변환부(630), 비트할당부(650), 부호화부(670) 및 다중화부(690)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 도 6의 오디오 부호화장치(600)는 도 1의 오디오 부호화장치(100)와 비교해 볼 때 트랜지언트 검출부(610)를 더 포함하는 차이점이 있으므로, 공통적인 구성요소에 대해서는 구체적인 설명을 생각하기로 한다.
도 6을 참조하면, 트랜지언트 검출부(610)는 오디오 신호를 분석하여 트랜지언트 특성을 나타내는 구간을 검출할 수 있다. 트랜지언트 구간의 검출에는 공지된 다양한 방법을 사용할 수 있다. 트랜지언트 검출부(610)에서 제공되는 트랜지언트 시그널링 정보는 다중화부(690)를 통하여 비트스트림에 포함될 수 있다.
변환부(630)는 트랜지언트 구간 검출결과에 따라서, 변환에 사용되는 윈도우 사이즈를 결정하고, 결정된 윈도우 사이즈에 근거하여 시간/주파수 도메인 변환을 수행할 수 있다. 일예로서, 트랜지언트 구간이 검출된 서브밴드의 경우 단구간 윈도우(short window)를, 검출되지 않은 서브밴드의 경우 장구간 윈도우(long window)를 적용할 수 있다.
비트 할당부(650)는 도 2 내지 도 4에 도시된 비트할당부(200, 300, 400) 중 어느 하나로 구현될 수 있다.
부호화부(670)는 트랜지언트 구간 검출결과에 따라서, 변환부(630)에서와 마찬가지로 부호화에 사용되는 윈도우 사이즈를 결정할 수 있다.
한편, 오디오 부호화장치(600)는 서브밴드에 대하여 노이즈 레벨을 생성하여 오디오 복호화장치(도 7의 700, 도 12의 1200, 도 13의 1300)로 제공할 수 있다.
도 7은 본 발명의 일실시예에 따른 오디오 복호화장치(700)의 구성을 나타낸 블록도이다.
도 7에 도시된 오디오 복호화장치(700)는 역다중화부(710), 비트할당부(730), 복호화부(750) 및 역변환부(770)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 7을 참조하면, 역다중화부(710)는 비트스트림을 역다중화하여 양자화 및 무손실 부호화된 Norm 값과, 부호화된 스펙트럼에 대한 정보를 추출할 수 있다.
비트할당부(730)는 각 서브밴드 단위로, 양자화 및 무손실 부호화된 Norm 값으로부터 역양자화된 Norm 값을 구하고, 역양자화된 Norm 값을 이용하여 할당 비트수를 결정할 수 있다. 비트할당부(730)는 오디오 부호화장치(100, 600)의 비트할당부(150, 650)와 실질적으로 동일하게 동작할 수 있다. 한편, 오디오 부호화장치(100, 600)에서 Norm 값이 심리음향 가중에 의하여 조정된 경우 오디오 복호화장치(700)에서도 동일하게 조정될 수 있다.
복호화부(750)는 역다중화부(710)로부터 제공되는 부호화된 스펙트럼에 대한 정보를 이용하여, 부호화된 스펙트럼을 무손실 복호화 및 역양자화할 수 있다. 일예로서, 스펙트럼 복호화는 팩토리얼 펄스 디코딩을 사용할 수 있다.
역변환부(770)는 복호화된 스펙트럼을 시간도메인으로 변환하여 복원된 오디오 신호를 생성할 수 있다.
도 8은 도 7에 있어서 본 발명의 일실시예에 따른 비트할당부(800)의 구성을 나타낸 블록도이다.
도 8에 도시된 비트할당부(800)는 Norm 복호화부(810)와 비트추정 및 할당부(830)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 8을 참조하면, Norm 복호화부(810)는 역다중화부(도 7의 710)로부터 제공되는 양자화 및 무손실 부호화된 Norm 값으로부터 역양자화된 Norm 값을 구할 수 있다.
비트추정 및 할당부(830)는 역양자화된 Norm 값을 이용하여 할당 비트수를 결정할 수 있다. 구체적으로, 비트추정 및 할당부(830)는 각 서브밴드 단위로 스펙트럼 에너지 즉, Norm 값을 이용하여 마스킹 임계치를 구하고, 마스킹 임계치를 이용하여 지각적으로 필요한 비트수 즉, 허용 비트수를 예측할 수 있다.
비트추정 및 할당부(830)는 각 서브밴드 단위로, 스펙트럼 에너지 즉, Norm 값을 이용하여 정수 단위 혹은 소수점 단위의 비트 할당을 수행할 수 있다.
비트추정 및 할당부(830)는 모든 서브밴드에 대하여, 할당된 비트수와 예측된 비트수를 비교하여 할당된 비트수가 예측된 비트수보다 큰 경우에는 예측된 비트수로 제한한다. 비트수 제한의 결과 얻어지는 주어진 프레임의 전체 서브밴드의 할당 비트수가 주어진 프레임에서 사용가능한 전체 비트수(B)보다 적은 경우 그 차이에 해당하는 비트수를 전체 서브밴드에 균일하게 분배하거나, 혹은 지각적 중요도에 따라서 비균일하게 분배할 수 있다.
도 9는 도 7에 있어서 본 발명의 일실시예에 따른 복호화부(900)의 구성을 나타낸 블록도이다.
도 9에 도시된 복호화부(900)는 스펙트럼 복호화부(910)와 엔벨로프 쉐이핑부(930)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 엔벨로프 쉐이핑부(930)는 대응하는 부호화장치에 따라서 옵션으로 구비될 수 있다.
도 9를 참조하면, 스펙트럼 복호화부(910)는 역다중화부(도 7의 710)로부터 제공되는 부호화된 스펙트럼에 대한 정보 및 비트할당부(도 7의 730)로부터 제공되는 할당 비트수를 이용하여, 부호화된 스펙트럼을 무손실 복호화 및 역양자화할 수 있다. 스펙트럼 복호화부(910)로부터 제공되는 복호화된 스펙트럼은 정규화된 스펙트럼이다.
엔벨로프 쉐이핑부(930)는 비트할당부(도 7의 730)로부터 제공되는 역양자화된 Norm 값을 이용하여, 스펙트럼 복호화부(910)로부터 제공되는 정규화된 스펙트럼에 대하여 엔벨로프 쉐이핑을 수행하여 정규화 이전의 스펙트럼으로 복원할 수 있다.
도 10은 도 7에 있어서 본 발명의 다른 실시예에 따른 복호화부(1000)의 구성을 나타낸 블록도이다.
도 10에 도시된 복호화부(1000)는 스펙트럼 복호화부(1000), 엔벨로프 쉐이핑부(1030) 및 스펙트럼 필링부(1050)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 도 10의 복호화부(1000)는 도 9의 복호화부(900)와 비교해 볼 때 스펙트럼 필링부(1050)를 더 포함하는 차이점이 있으므로, 공통적인 구성요소에 대해서는 구체적인 설명을 생각하기로 한다. 여기서, 스펙트럼 필링부(1050)는 탑재되는 기기의 용도에 따라서 옵션으로 구비될 수 있다.
도 10을 참조하면, 스펙트럼 필링부(1050)는 엔벨로프 쉐이핑부(1030)로부터 제공되는 스펙트럼에서 0으로 역양자화된 부분을 포함하는 서브밴드가 존재하는 경우, 노이즈 성분으로 채울 수 있다. 일실시예에 따르면, 노이즈 성분은 랜덤으로 생성되거나, 0이 아닌 값으로 역양자화된 서브밴드의 스펙트럼을 복사하여 생성할 수 있다. 다른 실시예에 따르면, 0으로 역양자화된 부분을 포함하는 서브밴드에 대하여, 노이즈 성분을 생성하고, 노이즈 성분의 에너지와 비트할당부(도 7의 730)로부터 제공되는 역양자화된 Norm 값 즉, 스펙트럼 에너지간의 비를 이용하여 노이즈 성분의 에너지를 조절할 수 있다. 다른 실시예에 따르면, 0으로 역양자화된 부분을 포함하는 서브밴드에 대하여, 노이즈 성분을 생성하고, 노이즈 성분의 평균 에너지가 1이 되도록 조절할 수 있다. 다른 실시예에 따르면, 오디오 부호화장치(100, 600)로부터 각 서브밴드 단위로 노이즈 레벨을 수신하고, 주어진 서브밴드가 0으로 역양자화된 부분을 포함하는 경우, 주어진 서브밴드에 대하여 노이즈 성분을 생성하고 수신된 노이즈 레벨을 이용하여 노이즈 성분의 에너지를 조절할 수 있다.
도 11은 도 7에 있어서 본 발명의 다른 실시예에 따른 복호화부(1100)의 구성을 나타낸 블록도이다.
도 11에 도시된 복호화부(1100)는 스펙트럼 복호화부(1100), 스펙트럼 필링부(1130) 및 엔벨로프 쉐이핑부(1150)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 도 11의 복호화부(1100)는 도 10의 복호화부(1000)와 비교해 볼 때 스펙트럼 필링부(1130) 및 엔벨로프 쉐이핑부(1150)의 배치 순서가 다른 차이점이 있으므로, 공통적인 구성요소에 대해서는 구체적인 설명을 생각하기로 한다.
도 11을 참조하면, 스펙트럼 필링부(1130)는 스펙트럼 복호화부(1110)로부터 제공되는 정규화된 스펙트럼에서 0으로 역양자화된 부분을 포함하는 서브밴드가 존재하는 경우, 노이즈 성분으로 채울 수 있다. 이때, 도 10의 스펙트럼 필링부(1050)에 적용되는 다양한 노이즈 필링방법을 사용할 수 있다. 바람직하게는 0으로 역양자화된 부분을 포함하는 서브밴드에 대하여, 노이즈 성분을 생성하고, 노이즈 성분의 평균 에너지가 1이 되도록 조절할 수 있다.
엔벨로프 쉐이핑부(1150)는 비트할당부(도 7의 730)로부터 제공되는 역양자화된 Norm 값을 이용하여, 노이즈 성분이 채워진 서브밴드를 포함하는 스펙트럼에 대하여 정규화 이전의 스펙트럼으로 복원할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 오디오 복호화장치(1200)의 구성을 나타낸 블록도이다.
도 12에 도시된 오디오 복호화장치(1200)는 역다중화부(1210), 스케일팩터 복호화부(1230), 스펙트럼 복호화부(1250) 및 역변환부(1270)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 12를 참조하면, 역다중화부(1210)는 비트스트림을 역다중화하여 양자화 및 무손실 부호화된 스케일 팩터와, 부호화된 스펙트럼에 대한 정보를 추출할 수 있다.
스케일팩터 복호화부(1230)는 각 서브밴드 단위로 양자화 및 무손실 부호화된 스케일 팩터를 무손실 복호화 및 역양자화할 수 있다.
스펙트럼 복호화부(1250)는 역다중화부(1210)로부터 제공되는 부호화된 스펙트럼에 대한 정보 및 역양자화된 스케일팩터를 이용하여, 부호화된 스펙트럼을 무손실 복호화 및 역양자화할 수 있다. 스펙트럼 복호화부(1250)는 도 10에 도시된 복호화부(1000)와 동일한 구성요소를 포함할 수 있다.
역변환부(1270)는 스펙트럼 복호화부(1250)에서 복호화된 스펙트럼을 시간도메인으로 변환하여 복원된 오디오 신호를 생성할 수 있다.
도 13은 본 발명의 다른 실시예에 따른 오디오 복호화장치(1300)의 구성을 나타낸 블록도이다.
도 13에 도시된 오디오 복호화장치(1300)는 역다중화부(1310), 비트할당부(1330), 복호화부(1350) 및 역변환부(1370)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 13에 도시된 오디오 복호화장치(1300)는 도 7의 오디오 복호화장치(700)와 비교해 볼 때 트랜지언트 시그널링 정보가 복호화부(1350) 및 역변환부(1370)으로 제공되는 차이점이 있으므로, 공통적인 구성요소에 대해서는 구체적인 설명을 생각하기로 한다.
도 13을 참조하면, 복호화부(1350)에서는 역다중화부(1310)로부터 제공되는 부호화된 스펙트럼에 대한 정보를 이용하여 스펙트럼을 복호화할 수 있다. 이때, 트랜지언트 시그널링 정보에 따라서 윈도우 사이즈가 가변될 수 있다.
역변환부(1370)에서는 복호화된 스펙트럼을 시간도메인으로 변환하여 복원된 오디오 신호를 생성할 수 있다. 이때, 트랜지언트 시그널링 정보에 따라서 윈도우 사이즈가 가변될 수 있다.
도 14는 본 발명의 일실시예에 따른 팩토리얼 펄스 코딩(factorial pulse coding) 방법의 동작을 설명하는 플로우챠트로서, 바람직하게로는 도 1의 부호화부(170), 도 5의 스펙트럼 부호화부(530), 도 6의 부호화부(670)에서 수행될 수 있다.
도 14를 참조하면, 1410 단계에서는 주파수 밴드, 예를 들면 서브밴드 단위로 할당 비트수를 수신한다. 할당 비트수는 도 1의 비트할당부(150)로부터 제공될 수 있다.
1420 단계에서는 할당 비트수에 근거하여, 각 주파수 밴드에 대하여 단위 크기 펄스의 개수(m)를 결정한다.
1430 단계에서는 각 주파수 밴드에 대하여 결정된 단위 크기 펄스의 개수(m)에 근거하여, 팩토리얼 펄스 코딩을 수행하여 오디오 스펙트럼의 변환 계수를 양자화한다.
1440 단계에서는 각 주파수 밴드에 대하여 팩토리얼 펄스 코딩 결과 얻어진 코드워드들을 결합한다. 결합된 코드워드들은 다중화부(도 1의 190 혹은 도 6의 690)으로 제공된다.
다음, 팩토리얼 펄스 코딩의 원리에 대하여 설명하면 다음과 같다.
팩토리얼 펄스 코딩은 신호를 단위 크기 펄스(unit magnitude pulse)를 이용하여 효율적으로 코딩하기 위한 기술로서, 넌-제로 펄스의 개수, 넌-제로 펄스의 위치(position), 넌-제로 펄스의 크기(magnitude), 넌-제로 펄스의 부호(sign)에 대한 모든 조합을 이용하여 신호를 표현할 수 있다. 이때, 펄스를 표현할 수 있는 모든 조합에 대한 경우의 수(N)는 다음 수학식 1과 같이 나타낼 수 있다.
수학식 1
Figure PCTKR2013000891-appb-M000001
여기서, 2i는 i개의 넌-제로 펄스를 + 혹은 -로 표현할 수 있는 부호에 대한경우의 수이고, F(n,i)는 주어진 n개의 샘플 위치에 대하여 i개의 넌-제로 펄스의 위치를 선택할 수 있는 경우의 수를 나타내고, D(m,i)는 i개의 넌-제로 펄스의 위치에서 선택된 신호를 m개의 단위 크기 펄스로 표현할 수 있는 경우의 수를 나타낸다.
수학식 1에서 F(n,i)와 D(m,i)는 각각 다음 수학식 2 및 수학식 3과 같이 나타낼 수 있다.
수학식 2
Figure PCTKR2013000891-appb-M000002
수학식 3
Figure PCTKR2013000891-appb-M000003
수학식 1에서 계산된 모든 조합에 대한 경우의 수(N)을 표현하기 위하여 필요한 비트수(b)는 다음 수학식 4로 나타낼 수 있다.
수학식 4
Figure PCTKR2013000891-appb-M000004
수학식 4는 다음 수학식 5와 같이 정리될 수 있다.
수학식 5
Figure PCTKR2013000891-appb-M000005
즉, 임의의 주파수 밴드에 포함되는 입력신호 벡터에 대하여 팩토리얼 펄스 코딩을 수행하기 위하여 필요한 비트수(b)는 밴드 길이에 해당하는 n과 단위 크기 펄스의 개수에 해당하는 m의 복잡한 다항식으로 정의된다. 이때, n은 주어진 값이므로, 다항식은 m과 b의 상관관계로 볼 수 있다. b로부터 m값을 결정하기 위해서는, 상기 수학식 5로부터 직접적으로 계산하는 것이 불가능하기 때문에 m 이 가질수 있는 임의의 최대값을 결정해 두고, m 값을 0 부터 최대값까지 1씩 증가시키면서 b를 만족하는 m을 찾는 방식을 사용한다. 이와 같은 반복(iteration) 방식은 m값의 범위가 클 경우 복잡도가 높기 때문에 바이너리 서치(binary search)를 적용하여 복잡도를 줄일 수 있다. 한편, 팩토리얼 펄스 코딩의 기본적인 원리는 US Patent No. 6,236,960 에 설명되어 있다.
도 15는 본 발명의 일실시예에 따라서 주파수 밴드 단위로 허용 비트수(b)를 만족하는 단위 크기 펄스의 개수(m)을 결정하기 위한 방법을 설명하는 흐름도로서, 바이너리 서치를 적용할 수 있다. 전제로는, 단위 크기 펄스의 개수(m)가 증가할수록 팩토리얼 펄스 코딩에 필요한 비트수(b)가 증가한다는 사실이다.
도 15를 참조하면, 1510 단계에서는 m이 가질 수 있는 최소값(Lp: min)과 최대값(Hp: max)를 설정한다. 여기서, 최소값(Lp: min)과 최대값(Hp: max)은 실험적으로 모든 주파수 밴드에 대응되도록 설정될 수 있다.
1520 단계에서는 최대값(Hp: max)과 최소값(Lp: min) 간의 차이가 1보다 큰지를 판단한다. 1520 단계에서의 판단결과, 최대값(Hp: max)과 최소값(Lp: min) 간의 차이가 1보다 작거나 같은 경우, 단위 크기 펄스의 개수(num_pulse)를 중간값 m으로 결정한다.
1530 단계에서는 1520 단계에서의 판단결과 만약 최대값(Hp: max)과 최소값(Lp: min) 간의 차이가 1보다 큰 경우, 최소값(Lp: min)과 최대값(Hp: max)에 대한 중간값 m을 계산한다.
1540 단계에서는 중간값 m에 대하여 팩토리얼 펄스 코딩에 필요한 비트수를 계산하여 목표값인 b와 비교한다. 여기서, fpc_bits(m,n)은 주어진 m과 n에 대하여 팩토리얼 펄스 코딩시 필요한 비트수를 계산하기 위한 함수를 나타내면, 수학식 4에 해당한다.
1550 단계에서는 1540 단계에서의 비교결과, 중간값 m에 대하여 팩토리얼 펄스 코딩에 필요한 비트수가 목표값인 b보다 작을 경우, 중간값 m보다 큰 값을 가져야 하므로 중간값 m을 최소값으로 설정하여 1520 단계로 복귀하여 반복수행한다.
1560 단계에서는 1540 단계에서의 비교결과, 중간값 m에 대하여 팩토리얼 펄스 코딩에 필요한 비트수가 목표값인 b보다 클 경우, 중간값 m보다 작은 값을 가져야 하므로 중간값 m을 최대값으로 설정하여 1520 단계로 복귀하여 반복수행한다.
이 경우, m값 범위의 최대값이 MAX 인 경우 최대
Figure PCTKR2013000891-appb-I000001
만큼 반복수행할 필요가 있고, m이 가질 수 있는 최대값이 클수록 반복 횟수가 증가할 수 있다.
도 16은 본 발명의 다른 실시예에 따라서 주파수 밴드 단위로 허용 비트수(b)를 만족하는 단위 크기 펄스의 개수(m)을 결정하기 위한 방법을 설명하는 흐름도이다.
먼저, 단위 크기 펄스의 개수(m)의 최대값을 결정하는 과정을 설명하기로 한다.
구체적으로, 수학식 5는 다음 수학식 6과 등가적으로 표현할 수 있다.
수학식 6
Figure PCTKR2013000891-appb-M000006
수학식 6에 있어서, z(m,n)은 다음 수학식 7과 같이 m에 대한 다항식으로 전개될 수 있다.
수학식 7
Figure PCTKR2013000891-appb-M000007
수학식 7에서 m의 가장 높은 차수에 대하여 전개하면 수학식 6은 다음 수학식 8과 같이 나타낼 수 있다.
수학식 8
Figure PCTKR2013000891-appb-M000008
다시 수학식 8을 m에 대하여 정리하면 다음 수학식 9와 같이 나타낼 수 있다.
수학식 9
Figure PCTKR2013000891-appb-M000009
즉, 수학식 9는 단위 크기 펄스의 개수 m이 가질 수 있는 최대값을 나타낸다. 수학식 9에 의한 m의 최대값은 초기에 임의로 결정된 최대값에 비하여 최종적인 단위 크기 펄스의 개수에 근접한 값으로서, 기존 방식에 비하여 훨씬 적은 반복수행으로 최종값을 결정할 수 있다. 이 경우, 최소값은 0 혹은 1로 설정할 수 있다. 또한, 최소값은 실험적 혹은 시뮬레이션을 통하여 0에 가까운 자연수로 결정할 수 있다.
한편, 수학식 8은 m에 대하여 정리하면 다음 수학식 10과 같이 나타낼 수도 있다.
수학식 10
Figure PCTKR2013000891-appb-M000010
여기서, n은 주파수 밴드의 길이, b는 팩토리얼 펄스 코딩을 수행하기 위하여 필요한 비트수, m은 단위 크기 펄스의 개수, F(n)은 단위 크기 펄스의 개수의 최소값을 결정하기 위한 함수이다. F(n)은 주파수 밴드의 길이에 따라서, 예를 들어 n 이 9보다 작은 경우 2, n이 17보다 작은 경우 3, n이 33 보다 작은 경우 6으로 결정될 수 있다. 이에 따르면, 대부분의 경우, 주파수 밴드의 길이가 17 이하이기 때문에, 바이너리 서치 방식을 이용할 경우, 1회 혹은 2회 매칭으로 각 주파수 밴드의 단위 크기 펄스의 개수를 결정할 수 있다.
다시 도 16으로 돌아가서, 1610 단계에서는 소정의 주파수 밴드에서 n개의 입력샘플 벡터에 대하여 최소 1개의 펄스를 코딩하기 위하여 필요한 비트수 b1을 다음 수학식 11을 이용하여 계산할 수 있다.
수학식 11
Figure PCTKR2013000891-appb-M000011
1620 단계에서는 소정의 주파수 밴드에 주어진 할당 비트수 b를 최소 1개의 펄스 코딩시 필요한 비트수 b1와 비교한다. 1620 단계에서의 비교결과, 할당 비트수 b가 최소 1개의 펄스 코딩시 필요한 비트수 b1보다 작을 경우 반복을 수행할 필요없이 단위 크기 펄스의 개수(num_pulse)는 0으로 설정한다.
1630 단계에서는 단위 크기 펄스 개수 m의 최대값을 상기 수학식 9에 의해 획득한다.
1640 단계에서는 단위 크기 펄스 개수 m의 최대값을 이용하여 팩토리얼 펄스 코딩시 필요한 비트수를 계산하고, 할당 비트수 b간의 차이값(diff)을 획득한다. 여기서, fpc_bits(m,n)는 주어진 m과 n에 대하여 팩토리얼 펄스 코딩시 필요한 비트수를 계산하기 위한 함수를 나타낸다.
1650 단계에서는 차이값(diff)이 0보다 작거나 같을 경우, 해당 m 값을 최종 구하려는 단위 크기 펄스의 개수로 결정한다.
1660 단계에서는 차이값(diff)이 0보다 큰 경우, 차이값(diff)과 미리 정의된 임계치(THR)를 비교한다. 여기서, 임계치는 미리 실험적 혹은 시뮬레이션을 통하여 최적의 값으로 결정될 수 있다.
1670 단계에서는 1660 단계에서의 비교결과, 차이값(diff)이 미리 정의된 임계치(THR)보다 큰 경우에는 (min, m) 범위에서 바이너리 서치를 이용하여 최종 m 값을 결정한다. 이때, 바이너리 서치는 도 15에 도시된 방법을 사용할 수 있다.
1680 단계에서는 차이값(diff)이 미리 정의된 임계치(THR)보다 작게 되면, 현재의 m값으로부터 1씩 감소시켜 팩토리얼 펄스 코딩에 필요한 비트수를 다시 계산하고, 사용된 비트수가 할당 비트수 b를 만족할 때까지 선형 감소(linear decrement) 과정을 반복수행한다. 이때, 할당 비트수 b를 만족하는 m값을 해당 주파수 밴드의 단위 크기 펄스의 개수로 결정한다.
도 17은 본 발명의 또 다른 실시예에 따라서 주파수 밴드 단위로 할당 비트수(b)를 만족하는 단위 크기 펄스의 개수(m)을 결정하기 위한 방법을 설명하는 흐름도이다. 여기서, 도시되어 있지 않으나 도 16의 1610 단계와 1620 단계는 미리 수행되어 있는 것으로 본다.
도 17을 참조하면, 1710 단계에서는 주어진 할당 비트수 b가 최소 1개의 펄스 코딩시 필요한 비트수 b1보다 큰 경우, 단위 크기 펄스의 개수 m의 최대값을 상기 수학식 9를 이용하여 계산한다.
1720 단계에서는 단위 크기 펄스의 개수 m의 최대값을 이용하여 팩토리얼 펄스 코딩에 필요한 비트수를 계산하고, 계산된 비트수와 할당 비트수 b와의 차이값(diff), 예를 들면 절대값을 미리 정의된 임계치(THR)과 비교한다. 도 16에서와 마찬가지로 임계치는 미리 실험적 혹은 시뮬레이션을 통하여 최적의 값으로 결정될 수 있다. 비교결과, 차이값(diff)이 임계치(THR)보다 큰 경우, (min, m) 범위에서 바이너리 서치를 이용하여 m값을 변경한다. 변경된 m값을 이용하여 계산된 비트수와 할당 비트수와의 차이값이 임계치(THR)만큼 차이가 나는 동안에는, 계속 바이너리 서치 과정을 반복수행한다.
1730 단계에서는, 변경된 m값을 이용하여 계산된 비트수와 할당 비트수와의 차이값이 임계치(THR)보다 작게 차이가 나는 경우, 변경된 m값을 이용하여 계산된 비트수가 할당 비트수 b보다 큰 경우, 할당 비트수 b를 만족할 때까지 현재 m 값으로부터 1씩 감소시킨다. 이때, 할당 비트수 b를 만족하는 m값을 해당 주파수 밴드의 단위 크기 펄스의 개수로 결정한다.
1740 단계에서는, 변경된 m값을 이용하여 계산된 비트수와 할당 비트수와의 차이값이 임계치(THR)보다 작게 차이가 나는 경우, 변경된 m값을 이용하여 계산된 비트수가 할당 비트수 b보다 작은 경우, 할당 비트수 b를 만족할 때까지 현재 m 값으로부터 1씩 증가시킨다. 이때, 할당 비트수 b를 만족하는 m값을 해당 주파수 밴드의 단위 크기 펄스의 개수로 결정한다.
하기의 표 1은 바이너리 서치 방식과, 바이너리 서치 방식과 선형 감소 방식의 결합 방식을 사용하는 각 경우에 대한 반복 횟수를 비교한 것이다. 이때, m이 가질 수 있는 값은 범위는 90 ~ 500)인 경우를 가정하였다.
표 1
평균 반복횟수 (회)
바이너리 서치 방식 10.1
바이너리 서치 방식과 선형 감소 방식의 결합 1.9
도 14 내지 도 17의 팩토리얼 펄스 코딩 방법들은 프로그래밍될 수 있으며, 적어도 하나의 프로세싱 디바이스에 의해 수행될 수 있다.
도 14 내지 도 17의 팩토리얼 펄스 코딩 방법들은 도 1의 부호화부(170), 도 5의 스펙트럼 부호화부(530) 혹은 도 6의 부호화부(670)에 적용될 수 있으나, 이에 한정되는 것은 아니다.
도 14 내지 도 17의 팩토리얼 펄스 코딩 방법들은 도 7의 복호화부(750), 도 9의 스펙트럼 복호화부(910), 도 10의 스펙트럼 복호화부(1000), 도 11의 스펙트럼 복호화부(1110), 도 12의 스펙트럼 복호화부(1250) 혹은 도 13의 스펙트럼 복호화부(1350)에서 팩토리얼 펄스 디코딩시에도 동일하게 적용될 수 있으나, 이에 한정되는 것은 아니다.
도 18은 본 발명의 일실시예에 따른 부호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 18에 도시된 멀티미디어 기기(1800)는 통신부(1810)와 부호화모듈(1830)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림의 용도에 따라서, 오디오 비트스트림을 저장하는 저장부(1850)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1800)는 마이크로폰(1870)을 더 포함할 수 있다. 즉, 저장부(1850)와 마이크로폰(1870)은 옵션으로 구비될 수 있다. 한편, 도 18에 도시된 멀티미디어 기기(1800)는 임의의 복호화모듈(미도시), 예를 들면 일반적인 복호화 기능을 수행하는 복호화모듈 혹은 본 발명의 일실시예에 따른 복호화모듈을 더 포함할 수 있다. 여기서, 부호화모듈(1830)은 멀티미디어 기기(1800)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 18을 참조하면, 통신부(1810)는 외부로부터 제공되는 오디오와 부호화된비트스트림 중 적어도 하나를 수신하거나, 복원된 오디오와 부호화모듈(1830)의 부호화결과 얻어지는 오디오 비트스트림 중 적어도 하나를 송신할 수 있다.
통신부(1810)는 무선 인터넷, 무선 인트라넷, 무선 전화망, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee), NFC(Near Field Communication)와 같은 무선 네트워크 또는 유선 전화망, 유선 인터넷과 같은 유선 네트워크를 통해 외부의 멀티미디어 기기와 데이터를 송수신할 수 있도록 구성된다.
부호화모듈(1830)은 일실시예에 따르면, 통신부(1810) 혹은 마이크로폰(1870)을 통하여 제공되는 시간 도메인의 오디오 신호를 주파수 도메인의 오디오 스펙트럼으로 변환하고, 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하고, 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 코딩의 단위 크기 펄스의 개수를 결정하고, 결정된 단위 크기 펄스의 개수를 이용하여 오디오 스펙트럼에 대하여 주파수 밴드 단위로 팩토리얼 펄스 코딩을 수행할 수 있다.
부호화모듈(1830)은 다른 실시예에 따르면, 할당 비트수에 대하여 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 최대값 사이에 대하여 바이너리 서치를 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정할 수 있다. 부호화모듈(1830)은 또 다른 실시예에 따르면, 할당 비트수에 대하여 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 최대값 사이에 대하여 바이너리 서치 방식 및 선형 감소 방식을 선택적으로 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정할 수 있다.
저장부(1850)는 부호화 모듈(1830)에서 생성되는 부호화된 비트스트림을 저장할 수 있다. 한편, 저장부(1850)는 멀티미디어 기기(1800)의 운용에 필요한 다양한 프로그램을 저장할 수 있다.
마이크로폰(1870)은 사용자 혹은 외부의 오디오신호를 부호화모듈(1830)로 제공할 수 있다.
도 19는 본 발명의 일실시예에 따른 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 19에 도시된 멀티미디어 기기(1800)는 통신부(1910)와 복호화모듈(1930)을 포함할 수 있다. 또한, 복호화 결과 얻어지는 복원된 오디오신호의 용도에 따라서, 복원된 오디오신호를 저장하는 저장부(1950)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1900)는 스피커(1970)를 더 포함할 수 있다. 즉, 저장부(1950)와 스피커(1970)는 옵션으로 구비될 수 있다. 한편, 도 19에 도시된 멀티미디어 기기(1900)는 임의의 부호화모듈(미도시), 예를 들면 일반적인 부호화 기능을 수행하는 부호화모듈 혹은 본 발명의 일실시예에 따른 부호화모듈을 더 포함할 수 있다. 여기서, 복호화모듈(1930)은 멀티미디어 기기(1900)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현될 수 있다.
도 19를 참조하면, 통신부(1910)는 외부로부터 제공되는 부호화된 비트스트림과 오디오 신호 중 적어도 하나를 수신하거나 복호화 모듈(1930)의 복호화결과 얻어지는 복원된 오디오 신호와 부호화결과 얻어지는 오디오 비트스트림 중 적어도 하나를 송신할 수 있다. 한편, 통신부(1910)는 도 18의 통신부(1810)와 실질적으로 유사하게 구현될 수 있다.
복호화 모듈(1930)은 일실시예에 따르면, 통신부(1910)를 통하여 제공되는 비트스트림을 수신하고, 비트스트림에 포함된 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하고, 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 디코딩의 단위 크기 펄스의 개수를 결정하고, 결정된 단위 크기 펄스의 개수를 이용하여 오디오 스펙트럼에 대하여 주파수 밴드 단위로 팩토리얼 펄스 디코딩을 수행하고, 복호화된 오디오 스펙트럼을 시간 도메인의 오디오 신호로 변환할 수 있다.
복호화모듈(1930)은 다른 실시예에 따르면, 할당 비트수에 대하여 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 최대값 사이에 대하여 바이너리 서치를 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정할 수 있다. 복호화모듈(1930)은 또 다른 실시예에 따르면, 할당 비트수에 대하여 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 최대값 사이에 대하여 바이너리 서치 방식 및 선형 감소 방식을 선택적으로 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정할 수 있다.
저장부(1950)는 복호화 모듈(1930)에서 생성되는 복원된 오디오신호를 저장할 수 있다. 한편, 저장부(1950)는 멀티미디어 기기(1900)의 운용에 필요한 다양한 프로그램을 저장할 수 있다.
스피커(1970)는 복호화 모듈(1930)에서 생성되는 복원된 오디오신호를 외부로 출력할 수 있다.
도 20은 본 발명의 일실시예에 따른 부호화모듈과 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 20에 도시된 멀티미디어 기기(2000)는 통신부(2010), 부호화모듈(2020)과 복호화모듈(2030)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림 혹은 복호화 결과 얻어지는 복원된 오디오신호의 용도에 따라서, 오디오 비트스트림 혹은 복원된 오디오신호를 저장하는 저장부(2040)을 더 포함할 수 있다. 또한, 멀티미디어 기기(2000)는 마이크로폰(2050) 혹은 스피커(2060)를 더 포함할 수 있다. 여기서, 부호화모듈(2020)과 복호화모듈(2030)은 멀티미디어 기기(2000)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 20에 도시된 각 구성요소는 도 18에 도시된 멀티미디어 기기(1800)의 구성요소 혹은 도 19에 도시된 멀티미디어 기기(1900)의 구성요소와 중복되므로, 그 상세한 설명은 생각하기로 한다.
도 18 내지 도 20에 도시된 멀티미디어 기기(1800, 1900, 2000)에는, 전화, 모바일 폰 등을 포함하는 음성통신 전용단말, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용장치, 혹은 음성통신 전용단말과 방송 혹은 음악 전용장치의 융합 단말장치가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 멀티미디어 기기(1800, 1900, 2000)는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
한편, 멀티미디어 기기(1800, 1900, 2000)가 예를 들어 모바일 폰인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 유저 인터페이스 혹은 모바일 폰에서 처리되는 정보를 디스플레이하는 디스플레이부, 모바일 폰의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, 모바일 폰은 촬상 기능을 갖는 카메라부와 모바일 폰에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
한편, 멀티미디어 기기(1800, 1900, 2000)가 예를 들어 TV인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 수신된 방송정보를 디스플레이하는 디스플레이부, TV의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, TV는 TV에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 스코프는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.

Claims (22)

  1. 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 코딩의 단위 크기 펄스의 개수를 결정하는 단계; 및
    상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 코딩을 수행하는 단계를 포함하는 스펙트럼 부호화방법.
  2. 제1 항에 있어서, 상기 단위 크기 펄스의 개수 단계에서는 상기 할당 비트수에 대하여 상기 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 상기 최대값 사이에 대하여 바이너리 서치를 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정하는 스펙트럼 부호화방법.
  3. 제1 항에 있어서, 상기 최소값은 0 혹은 1인 스펙트럼 부호화방법.
  4. 제1 항에 있어서, 상기 최소값은 상기 최대값에 대하여 주파수 밴드의 길이에 따라서 소정 상수를 감산한 값인 스펙트럼 부호화방법.
  5. 제1 항에 있어서, 상기 단위 크기 펄스의 개수 단계에서는 상기 할당 비트수에 대하여 상기 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 상기 최대값 사이에 대하여 바이너리 서치 방식 및 선형 감소 방식을 선택적으로 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정하는 스펙트럼 부호화방법.
  6. 제5 항에 있어서, 상기 최소값은 0 혹은 1인 스펙트럼 부호화방법.
  7. 제5 항에 있어서, 상기 최소값은 상기 최대값에 대하여 주파수 밴드의 길이에 따라서 소정 상수를 감산한 값인 스펙트럼 부호화방법.
  8. 제5 항에 있어서, 단위 크기 펄스의 소정 개수에 대하여 팩토리얼 펄스 코딩시 소요되는 비트수와 할당 비트수간의 차이값을 이용하여, 상기 바이너리 서치 방식와 선형 감소 방식 중 하나를 선택하는 스펙트럼 부호화방법.
  9. 제1 항에 있어서, 상기 할당 비트수가 최소 1개의 펄스 코딩시 필요한 비트수보다 적을 경우, 해당 주파수 밴드의 단위 크기 펄스의 개수를 0으로 할당하는 스펙트럼 부호화방법.
  10. 시간 도메인의 오디오 신호를 주파수 도메인의 오디오 스펙트럼으로 변환하는 변환부;
    상기 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하는 비트할당부; 및
    상기 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 상기 할당 비트수에 근거하여 팩토리얼 펄스 코딩의 단위 크기 펄스의 개수를 결정하고, 상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 오디오 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 코딩을 수행하는 부호화부를 포함하는 오디오 부호화장치.
  11. 스펙트럼에 대하여 주파수 밴드 단위로, 할당 비트수에 근거하여 팩토리얼 펄스 디코딩의 단위 크기 펄스의 개수를 결정하는 단계; 및
    상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 디코딩을 수행하는 단계를 포함하는 스펙트럼 복호화방법.
  12. 제11 항에 있어서, 상기 단위 크기 펄스의 개수 단계에서는 상기 할당 비트수에 대하여 상기 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 상기 최대값 사이에 대하여 바이너리 서치를 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정하는 스펙트럼 복호화방법.
  13. 제11 항에 있어서, 상기 최소값은 0 혹은 1인 스펙트럼 복호화방법.
  14. 제11 항에 있어서, 상기 최소값은 상기 최대값에 대하여 주파수 밴드의 길이에 따라서 소정 상수를 감산한 값인 스펙트럼 복호화방법.
  15. 제11 항에 있어서, 상기 단위 크기 펄스의 개수 단계에서는 상기 할당 비트수에 대하여 상기 단위 크기 펄스의 개수의 최대값을 추정하고, 최소값과 상기 최대값 사이에 대하여 바이너리 서치 방식 및 선형 감소 방식을 선택적으로 수행하여 각 주파수 밴드의 단위 크기 펄스의 최종 개수를 결정하는 스펙트럼 복호화방법.
  16. 제15 항에 있어서, 상기 최소값은 0 혹은 1인 스펙트럼 복호화방법.
  17. 제15 항에 있어서, 상기 최소값은 상기 최대값에 대하여 주파수 밴드의 길이에 따라서 소정 상수를 감산한 값인 스펙트럼 복호화방법.
  18. 제15 항에 있어서, 단위 크기 펄스의 소정 개수에 대하여 팩토리얼 펄스 코딩시 소요되는 비트수와 할당 비트수간의 차이값을 이용하여, 상기 바이너리 서치 방식와 선형 감소 방식 중 하나를 선택하는 스펙트럼복호화방법.
  19. 제11 항에 있어서, 상기 할당 비트수가 최소 1개의 펄스 코딩시 필요한 비트수보다 적을 경우, 해당 주파수 밴드의 단위 크기 펄스의 개수를 0으로 할당하는 스펙트럼 복호화방법.
  20. 비트스트림에 포함된 오디오 스펙트럼에 대하여 소정의 주파수 밴드 단위로 스펙트럼 에너지를 이용하여 할당 비트수를 결정하는 비트할당부;
    상기 오디오 스펙트럼에 대하여 주파수 밴드 단위로, 상기 할당 비트수에 근거하여 팩토리얼 펄스 디코딩의 단위 크기 펄스의 개수를 결정하고, 상기 결정된 단위 크기 펄스의 개수를 이용하여 상기 오디오 스펙트럼에 대하여 상기 주파수 밴드 단위로 팩토리얼 펄스 디코딩을 수행하는 복호화부; 및
    상기 복호화부에서 복호화된 오디오 스펙트럼을 시간 도메인의 오디오 신호로 변환하는 역변환부를 포함하는 오디오 복호화장치.
  21. 제1 항 내지 제9 항 중 어느 하나에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  22. 제11 항 내지 제19 항 중 어느 하나에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2013/000891 2012-02-02 2013-02-04 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치 WO2013115625A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
RU2012103446/08A RU2505921C2 (ru) 2012-02-02 2012-02-02 Способ и устройство кодирования и декодирования аудиосигналов (варианты)
RU2012103446 2012-02-02
US201261595760P 2012-02-07 2012-02-07
US61/595,760 2012-02-07

Publications (1)

Publication Number Publication Date
WO2013115625A1 true WO2013115625A1 (ko) 2013-08-08

Family

ID=48905581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/000891 WO2013115625A1 (ko) 2012-02-02 2013-02-04 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치

Country Status (4)

Country Link
US (1) US20130275140A1 (ko)
KR (1) KR20130090826A (ko)
RU (1) RU2505921C2 (ko)
WO (1) WO2013115625A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937168A1 (en) * 2011-05-13 2022-01-12 Samsung Electronics Co., Ltd. Noise filling and audio decoding

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096957B (zh) 2014-04-29 2016-09-14 华为技术有限公司 处理信号的方法及设备
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
US10586546B2 (en) 2018-04-26 2020-03-10 Qualcomm Incorporated Inversely enumerated pyramid vector quantizers for efficient rate adaptation in audio coding
US10573331B2 (en) * 2018-05-01 2020-02-25 Qualcomm Incorporated Cooperative pyramid vector quantizers for scalable audio coding
US10580424B2 (en) 2018-06-01 2020-03-03 Qualcomm Incorporated Perceptual audio coding as sequential decision-making problems
US10734006B2 (en) 2018-06-01 2020-08-04 Qualcomm Incorporated Audio coding based on audio pattern recognition
US11538489B2 (en) * 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
US11361776B2 (en) * 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236960B1 (en) * 1999-08-06 2001-05-22 Motorola, Inc. Factorial packing method and apparatus for information coding
US7461106B2 (en) * 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
US20110096830A1 (en) * 2009-10-28 2011-04-28 Motorola Encoder that Optimizes Bit Allocation for Information Sub-Parts
US20110156932A1 (en) * 2009-12-31 2011-06-30 Motorola Hybrid arithmetic-combinatorial encoder

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351730B2 (en) * 1998-03-30 2002-02-26 Lucent Technologies Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
RU2427978C2 (ru) * 2006-02-21 2011-08-27 Конинклейке Филипс Электроникс Н.В. Кодирование и декодирование аудио
US8060363B2 (en) * 2007-02-13 2011-11-15 Nokia Corporation Audio signal encoding
PT2165328T (pt) * 2007-06-11 2018-04-24 Fraunhofer Ges Forschung Codificação e descodificação de um sinal de áudio tendo uma parte do tipo impulso e uma parte estacionária
RU2432624C1 (ru) * 2010-04-21 2011-10-27 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ уменьшения объема данных при широкополосном кодировании речевого сигнала
US20120029926A1 (en) * 2010-07-30 2012-02-02 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dependent-mode coding of audio signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236960B1 (en) * 1999-08-06 2001-05-22 Motorola, Inc. Factorial packing method and apparatus for information coding
US7461106B2 (en) * 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
US20110096830A1 (en) * 2009-10-28 2011-04-28 Motorola Encoder that Optimizes Bit Allocation for Information Sub-Parts
US20110156932A1 (en) * 2009-12-31 2011-06-30 Motorola Hybrid arithmetic-combinatorial encoder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UDAR MITTAL ET AL.: "Low Complexity Factorial Pulse Coding of MDCT Coefficients using Approximation of Combinatorial Functions", ICASSP 2007 IEEE INTERNATIONAL CONFERENCE, vol. 1, 15 April 2007 (2007-04-15), pages 1-289 - 1-292, XP002510838 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937168A1 (en) * 2011-05-13 2022-01-12 Samsung Electronics Co., Ltd. Noise filling and audio decoding

Also Published As

Publication number Publication date
US20130275140A1 (en) 2013-10-17
KR20130090826A (ko) 2013-08-14
RU2505921C2 (ru) 2014-01-27
RU2012103446A (ru) 2013-10-27

Similar Documents

Publication Publication Date Title
WO2013115625A1 (ko) 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치
WO2012157932A2 (en) Bit allocating, audio encoding and decoding
WO2013141638A1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
WO2012165910A2 (ko) 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 그 기록매체 및 이를 채용하는 멀티미디어 기기
WO2010087614A2 (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
WO2013058634A2 (ko) 에너지 무손실 부호화방법 및 장치, 오디오 부호화방법 및 장치, 에너지 무손실 복호화방법 및 장치, 및 오디오 복호화방법 및 장치
WO2013058635A2 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2017222356A1 (ko) 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치
WO2012144878A2 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2013183977A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2012144877A2 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2012036487A2 (en) Apparatus and method for encoding and decoding signal for high frequency bandwidth extension
AU2012246799A1 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
AU2012246798A1 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2016018058A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2017039422A2 (ko) 음질 향상을 위한 신호 처리방법 및 장치
WO2013002623A2 (ko) 대역폭 확장신호 생성장치 및 방법
WO2014185569A1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
WO2010050740A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2015170899A1 (ko) 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
EP2255534A2 (en) Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
WO2015093742A1 (en) Method and apparatus for encoding/decoding an audio signal
WO2015102452A1 (en) Method and apparatus for improved ambisonic decoding
WO2015037969A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2015122752A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13742937

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13742937

Country of ref document: EP

Kind code of ref document: A1