WO2017164606A2 - 블록 기반의 오디오 부호화/복호화 장치 및 그 방법 - Google Patents

블록 기반의 오디오 부호화/복호화 장치 및 그 방법 Download PDF

Info

Publication number
WO2017164606A2
WO2017164606A2 PCT/KR2017/002995 KR2017002995W WO2017164606A2 WO 2017164606 A2 WO2017164606 A2 WO 2017164606A2 KR 2017002995 W KR2017002995 W KR 2017002995W WO 2017164606 A2 WO2017164606 A2 WO 2017164606A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
subframes
encoding
audio signal
intra
Prior art date
Application number
PCT/KR2017/002995
Other languages
English (en)
French (fr)
Other versions
WO2017164606A3 (ko
Inventor
백승권
이태진
성종모
이미숙
장대영
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/081,169 priority Critical patent/US10839819B2/en
Publication of WO2017164606A2 publication Critical patent/WO2017164606A2/ko
Publication of WO2017164606A3 publication Critical patent/WO2017164606A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4

Definitions

  • the present invention relates to an apparatus and method for encoding / decoding audio signals.
  • the encoding / decoding technology of audio signals is a technology for compressing and transmitting audio signals, and has achieved many technical advances over the past decades.
  • MPEG-1 Layer III (MP3), a first-generation MPEG audio encoding / decoding technology, is a method of designing a quantizer based on a human psychoacoustic model and compressing data in order to minimize perceptual sound quality loss.
  • MPEG-2 Advanced Audio Coding (AAC), a second-generation MPEG audio encoding / decoding technology, does not provide compatibility with MP3 and improves compression performance by applying psychoacoustic models to MDCT-based full-band audio frequency coefficients.
  • MPEG-4 Parametric coding a third-generation MPEG audio encoding / decoding technology, uses a parametric coding technique to increase the compression rate at a low bit rate of 48 kbps or less.
  • parametric encoding / decoding techniques include Parametric Stereo (PS) for encoding / decoding stereo channels and Spectral Band Replication (SBR) technique for encoding / decoding high-band signals.
  • PS Parametric Stereo
  • SBR Spectral Band Replication
  • Unified Speech and Audio Coding (USAC), the fourth-generation MPEG audio coding / decoding technology, has a compression performance similar to AAC 128kbps to provide high quality CD-class audio, while USAC audio codec technology is used to improve the sound quality of low bit rate speech.
  • conventional audio encoding / decoding techniques have improved compression performance by using a psychoacoustic model, but may be interpreted as reaching a performance limit due to one-dimensional psychoacoustic model based quantization.
  • the present invention can provide an apparatus and method for enhancing coding efficiency by reconstructing an input audio signal into a two-dimensional signal and encoding the same.
  • the present invention can have the same framing structure as the video signal by using a coding scheme that is interpreted in units of blocks, thereby providing an apparatus and a method for making the homogeneity and synchronization of the coding scheme flexible.
  • An audio signal encoding method comprises the steps of: dividing each of the input frames constituting the audio signal into a plurality of subframes; Converting the subframes into a frequency domain; Forming a 2D intra block using the subframes transformed into the frequency domain; And encoding the 2D intra block, wherein the 2D intra block may be a block displaying two-dimensional frequency coefficients of the subframes transformed into the frequency domain using time and frequency.
  • the converting into a frequency domain of an audio signal encoding method may include: grouping the subframes in consideration of overlap; Applying a window to the grouped subframes; And converting the window-applied subframes into a frequency domain.
  • the last subframe divided in the current frame and the first subframe divided in the next frame among the input frames may be grouped.
  • Encoding of the audio signal encoding method Dividing each of the subframes of the 2D intra block into a plurality of subband signals; Predicting a correlation between the subband signals; Quantizing a high band signal having a band value exceeding a reference value among the sub band signals using a scale factor; Quantizing a prediction result of a low band signal having a band value less than or equal to the reference value among the sub band signals and a residual signal between the sub band signals; And converting the quantization index, scale factor and quantized highband signal, residual signal, and prediction result into a bitstream.
  • a method of decoding an audio signal includes: decoding a 2D intra block in a received bitstream; Generating subframes in a frequency domain using the 2D intra block; Converting the subframes in the frequency domain into subframes in the time domain; Generating input frames by performing overlap add on subframes of the time domain; And decoding the audio signal using the input frames.
  • An audio signal encoding method comprises the steps of grouping input frames constituting an audio signal in consideration of overlap; Applying a window to the grouped input frames; Converting the input frames to which the window is applied to the frequency domain, forming a 2D inter block using the input frames converted to the frequency domain; And encoding the 2D inter block, wherein the 2D inter block may be a block displaying two-dimensional frequency coefficients of the input frames converted into the frequency domain using time and frequency.
  • Encoding of the audio signal encoding method Dividing each of the input frames of the 2D inter block into subband signals; Predicting a correlation between the subband signals; Quantizing each of the subband signals; And quantizing a residual signal between subband signals by calculating a prediction gain based on the correlation.
  • a method of decoding an audio signal includes: decoding a 2D inter block in a received bitstream; Generating input frames in a frequency domain using the 2D inter block; Converting the input frames in the frequency domain into input frames in the time domain; And performing an overlap add on subframes of the time domain to decode an audio signal composed of input frames.
  • An audio signal encoding method comprises the steps of: forming a 2D inter block using first input frames constituting an audio signal; Encoding the 2D inter block; Reconstructing second input frames in the encoded 2D inter block; Forming a 2D intra block using the residual signal between the second input frame and the first input frame; Encoding the 2D intra block; And mixing the encoded 2D inter block and the encoded 2D intra block.
  • Forming a 2D inter block of the audio signal encoding method grouping a plurality of first input frames in consideration of overlap; Applying a window to the grouped first input frames; Converting the first input frames to which the window is applied to the frequency domain; And forming a 2D inter block using the first input frames converted into the frequency domain.
  • Forming a 2D intra block of the audio signal encoding method the step of dividing the residual signal between the second input frame and the first input frame into a plurality of sub-frames; Converting the subframes into a frequency domain; And forming a 2D intra block using the subframes transformed into the frequency domain.
  • a method of decoding an audio signal includes: decoding a 2D interblock from an encoded 2D interblock; Restoring groups of input frame signals in the 2D inter block; Generating a second input frame by performing overlap add on the reconstructed groups of input frames; Decoding the 2D intra block in the encoded 2D intra block; Restoring a residual signal in the 2D intra block; And restoring an original first input frame by using the residual signal and the second input frame.
  • An audio signal encoding method comprises the steps of: splitting each of the first input frames constituting the audio signal into a plurality of first subframes to form 2D intra blocks; Encoding 2D intra blocks; Restoring second subframes in the encoded 2D intra blocks; Combining second subframes to generate second input frames; Forming a 2D inter block using residual signals between the second input frames and the first input frames; Encoding the 2D inter block; And mixing the encoded 2D inter block and the encoded 2D intra block.
  • Encoding a 2D inter block of an audio signal encoding method may include: setting first subframes of the 2D intra blocks as a macro block; Predicting a correlation between macro blocks; Performing differential pulse code modulation (DPCM) on macro blocks having the highest predicted correlation; Quantizing each of the macroblocks; And quantizing a residual signal between macroblocks having the highest correlation by calculating a prediction gain based on the DPCM result.
  • DPCM differential pulse code modulation
  • a method of decoding an audio signal includes: decoding a 2D interblock from an encoded 2D interblock; Restoring frame groups of a residual signal in the 2D inter block; Generating a residual signal by performing overlap add on groups of frames of the residual signal; Decoding the 2D intra block in the encoded 2D intra block; Generating a second input frame in the 2D intra block; And restoring an original first input frame by using the second input frame and the residual signal.
  • Generating a second input frame of the audio signal decoding method generating the sub-frames in the frequency domain using the 2D intra block; Converting the subframes in the frequency domain into subframes in the time domain; And generating a second input frame by performing overlap add on the subframes in the time domain.
  • An audio signal encoding method comprises the steps of: splitting each of the input frames constituting the audio signal into a plurality of subframes to form 2D intra blocks; Encoding 2D intra blocks; Forming a 2D inter block using residual signals between the 2D intra blocks and the encoded 2D intra blocks; Encoding a 2D inter block; And mixing the 2D inter block and the 2D intra block.
  • a method of decoding an audio signal includes: decoding a 2D interblock from an encoded 2D interblock; Restoring frame groups of a residual signal in the 2D inter block; Restoring a residual signal by performing an overlap add on groups of frames of the residual signal; Reconstructing the 2D intra block before encoding using the encoded 2D intra block and the residual signal; And reconstructing the audio signal using the 2D intra block before encoding.
  • Reconstructing the frame groups of the residual signal of the audio signal decoding method according to an embodiment of the present invention, generating the frames of the frequency domain using the 2D inter block; Converting frames in the frequency domain into frames in the time domain; And restoring groups of frames constituting the residual signal by releasing the window in the frames of the time domain.
  • encoding efficiency may be increased by reconstructing an input audio signal into a two-dimensional signal and encoding the same.
  • a coding method that is interpreted in units of blocks, it may have the same framing structure as a video signal, so that homogeneity and synchronization of the coding method may be more flexible than conventional coding methods. have.
  • FIG. 1 is a diagram illustrating an audio encoding apparatus and an audio decoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a method of encoding an audio signal according to a first embodiment of the present invention.
  • FIG. 3 is an example of an audio encoding process according to a first embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an audio decoding method according to a first embodiment of the present invention.
  • FIG 6 is an example of an audio decoding process according to the first embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of encoding an audio signal according to a second embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an audio decoding method according to a second embodiment of the present invention.
  • 11 is an example of an audio decoding process according to a second embodiment of the present invention.
  • FIG. 12 is a flowchart showing a method of encoding an audio signal according to a third embodiment of the present invention.
  • FIG. 13 is an example of an audio encoding process according to a third embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating an audio decoding method according to a third embodiment of the present invention.
  • 15 is an example of an audio decoding process according to a third embodiment of the present invention.
  • 16 is a flowchart illustrating a method of encoding an audio signal according to a fourth embodiment of the present invention.
  • 17 is an example of an audio encoding process according to a fourth embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating an audio decoding method according to a fourth embodiment of the present invention.
  • 19 is an example of an audio decoding process according to a fourth embodiment of the present invention.
  • 20 is a flowchart illustrating a method of encoding an audio signal according to a fifth embodiment of the present invention.
  • 21 is an example of an audio encoding process according to a fifth embodiment of the present invention.
  • FIG. 23 is a flowchart illustrating an audio decoding method according to a fifth embodiment of the present invention.
  • An audio signal encoding method according to an embodiment of the present invention may be performed by an audio encoding apparatus.
  • the audio decoding method according to an embodiment of the present invention may be performed by an audio decoding apparatus.
  • FIG. 1 is a diagram illustrating an audio encoding apparatus and an audio decoding apparatus according to an embodiment of the present invention.
  • the audio encoding apparatus 100 may include an encoder 111 and a transmitter 112 as shown in FIG. 1.
  • the encoder 111 may reconstruct the input audio signal into a 2D signal. In addition, the encoder 111 may encode an input audio signal reconstructed into a 2D signal and output a bitstream.
  • the encoder 111 generates an intra block, which is a two-dimensional signal, based on an intra block encoding method of blocking and quantizing one audio frame among audio frames constituting the input audio signal, and generating an intra block. Can be encoded. A detailed operation of encoding based on the intra block encoding scheme will be described in detail with reference to FIGS. 2 to 4.
  • the encoder 111 may generate an inter block, which is a two-dimensional signal, based on an inter block encoding method of blocking and quantizing audio frames constituting the input audio signal, and encoding the inter block.
  • an inter block which is a two-dimensional signal
  • an inter block encoding method of blocking and quantizing audio frames constituting the input audio signal and encoding the inter block.
  • the encoder 111 may encode the input audio signal using both the inter block encoding method and the intra block encoding method.
  • the encoder 110 may encode an input audio signal by using an inter block encoding method, and encode a difference signal between the encoded audio signal and the reconstructed audio signal by using an intra block encoding method.
  • an inter block encoding method A detailed operation of encoding the intra block encoding method after applying the inter block encoding method will be described in detail with reference to FIGS. 12 to 13.
  • the encoder 110 may encode the input audio signal using the intra block encoding method, and may encode the difference signal between the reconstructed audio signal reconstructed from the encoded audio signal and the original audio signal using the inter block encoding method.
  • a detailed operation of applying the intra block encoding method and then encoding the inter block encoding method will be described in detail with reference to FIGS. 16 to 17.
  • the encoder 110 may encode the input audio signal using the intra block encoding method, and may encode the difference signal between the encoded audio signal and the original audio signal using the inter block encoding method.
  • a detailed operation of encoding the difference signal between the encoded audio signal and the original audio signal using the inter block encoding method after applying the intra block encoding method will be described in detail with reference to FIGS. 20 to 22.
  • the transmitter 112 may transmit the bitstream output from the encoder 111 to the audio decoding apparatus 120.
  • the audio decoding apparatus 120 may decode and output an audio signal in a bitstream received from the audio encoding apparatus 110.
  • the receiver 121 may receive the bitstream from the transmitter 112 and transmit the bitstream to the decoder 122.
  • the bitstream received by the receiver 121 may be an interblock bitstream, an intrablock bitstream, or a bitstream in which an intra block bitstream and an interblock bitstream are mixed.
  • the decoder 122 may decode an output audio signal corresponding to the input audio signal in the bitstream.
  • the decoder 122 may synthesize the original intra frame using the overlap and decode the output audio signal from the original intra frame. A detailed operation of decoding the encoded bitstream based on the intra block encoding scheme will be described in detail with reference to FIGS. 5 to 6.
  • the decoder 122 may reconstruct the input frames by using the inter block, and decode the output audio signal by overlapping the input frames.
  • a detailed operation of decoding the encoded bitstream based on the interblock encoding scheme will be described in detail with reference to FIGS. 10 to 11.
  • the decoder 122 decodes the inter block bit stream and the intra block bit stream, respectively, and then integrates them. Can decode the output audio signal.
  • a detailed operation of the encoder 111 to decode a bitstream encoded by using both an interblock encoding scheme and an intrablock encoding scheme will be described with reference to FIGS. 14, 15, 18, 19, 23, and 24. It explains in detail.
  • the audio encoding apparatus 110 may increase encoding efficiency by reconstructing an input audio signal into a two-dimensional signal and encoding the same.
  • the audio encoding apparatus 110 may have the same framing structure as that of the video signal by using an encoding method interpreted in units of blocks, the homogeneity and synchronization of the encoding method may be more flexible than the conventional encoding method.
  • FIG. 2 is a flowchart showing a method of encoding an audio signal according to a first embodiment of the present invention.
  • the encoder 111 may divide each of the input frames constituting the audio signal into a plurality of subframes.
  • the encoder 111 may convert the subframes split in operation 210 into a frequency domain.
  • the encoder 111 may group the subframes in consideration of the overlap.
  • the encoder 111 may apply a window to the grouped subframes.
  • the encoder 111 may convert the subframes to which the window is applied to the frequency domain.
  • the encoder 111 may group the last subframe divided from the current frame which is the input frame currently being processed and the first subframe divided from the next frame.
  • the encoder 111 may form a 2D intra block using the subframes transformed into the frequency domain in operation 220.
  • the 2D intra block may be a block in which the input frame is expressed in 2D in the frequency domain.
  • the 2D intra block may be a block in which the frequency coefficients of the subframes transformed into the frequency domain are displayed in two dimensions using time and frequency.
  • the encoder 111 may encode the 2D intra block formed in operation 230.
  • the encoder 111 may divide each of the subframes of the 2D intra block into a plurality of subband signals.
  • the encoder 111 may predict a correlation between the subband signals.
  • the encoder 111 may quantize a high band signal in which a band value of the sub band signals exceeds a reference value using a scale factor. Also, the encoder 111 may quantize the prediction result of the low band signal having a band value less than or equal to the reference value among the sub band signals and the residual signal between the sub band signals.
  • the encoder 111 may convert a quantization index, a scale factor, and a quantized high band signal, a residual signal, and a prediction result into a bitstream.
  • FIG. 3 is an example of an audio encoding process according to a first embodiment of the present invention.
  • the signal denoted by / hatching may be an audio signal in the time domain
  • the signal denoted by ⁇ hatching may be an audio signal in the frequency domain.
  • the input audio signal 300 may include a plurality of input frames 301 as shown in FIG. 3.
  • the input frame may be a conventional 1D audio frame.
  • the input frame may be an intra-frame.
  • the encoder 111 may split the input frame 310 into a plurality of subframes 302 by using a splitter 310.
  • the encoder 111 may group the subframes 302 in consideration of the overlap. For example, the encoder 111 may group the subframes 302 into two groups in consideration of a 50% overlap for performing an overlap-add overlapping process into the subframes 302. have. Specifically, as illustrated in FIG. 3, the encoder 111 may group the first subframe 1 and the second subframe 2 of the current frame among the input frames. Next, the encoder 111 may group the second subframe 2 and the third subframe 3 of the current frame among the input frames. That is, the encoder 111 may group the subframes such that some of the subframes included in the group are duplicated in another group.
  • the encoder 111 may group b, which is the last subframe of the current frame, with b + 1, which is the first frame of the next frame, for connection between the current frame and the next frame of the input frame.
  • the encoder 111 may apply a window to the grouped subframes.
  • the encoder 111 may apply a sine window or a Kaiser Bessel window to the grouped subframes.
  • the encoder 111 may convert the subframes to which the window is applied to the frequency domain.
  • the encoder 111 may convert the subframes into the frequency domain by applying a Modified Discrete Cosine Transform (MDCT) to the windowed subframes in consideration of 50% overlap.
  • MDCT Modified Discrete Cosine Transform
  • the encoder 111 may input the subframes 320 converted into the frequency domain to the integrator 320 to form a 2D intra block 303.
  • W may be a width of the 2D intra block 303
  • H may be a height of the 2D intra block 303.
  • the encoder 111 may quantize one 2D intra block 303 instead of quantizing subframes, respectively, thereby increasing coding efficiency than a method of independently quantizing subframes.
  • the encoder 111 may perform the quantization by minimizing the amount of information of the 2D intra block 303 by predicting the correlation between the subframes 302 from the 2D intra block 303.
  • the quantization method of the 2D intra block 303 will be described in detail with reference to FIG. 4 below.
  • the encoder 111 may output a bit stream by performing entropy encoding / decoding on the quantization index and related information using the encoder 330.
  • the encoder 111 may divide each subframe of the 2D intra block into a plurality of subband signals.
  • subframe 1 of the 2D intra block may be divided into subbands xf (0,1) to subbands xf (k, 1) as shown in FIG. 4.
  • index k may be the number of subbands.
  • the encoder 111 may predict a correlation between the subband signals.
  • the encoder 111 may perform first order prediction by using differential pulse code modulation (DPCM) or high order prediction by using a linear prediction coefficient (LPC) method.
  • DPCM differential pulse code modulation
  • LPC linear prediction coefficient
  • the encoder 111 may perform quantization by coarse a high band signal having a band value exceeding a reference value among subband signals using a scale factor.
  • the reference value may be 4 kHz.
  • the encoder 111 may quantize the prediction result of the low band signal having a band value less than or equal to the reference value among the sub band signals and the residual signal between the sub band signals. In this case, the encoder 111 may apply a lossless compression process to the prediction number and the residual signal of the quantized low band to convert the bitstream into a bitstream.
  • the encoder 111 may convert the quantization index into a bitstream using lossless compression.
  • the quantization index may be quantized separately from the highband signal and the quantization index in the scale factor, and converted into a bitstream through a lossless compression process.
  • FIG. 5 is a flowchart illustrating an audio decoding method according to a first embodiment of the present invention.
  • the decoder 122 may decode the 2D intra block in the bitstream received by the receiver 121.
  • the decoder 122 may generate subframes in a frequency domain using the 2D intra block decoded in operation 510.
  • the decoder 122 may convert the subframes in the frequency domain generated in operation 520 into subframes in the time domain.
  • the decoder 122 may generate an input frame by performing overlap add on subframes of the time domain converted in operation 520.
  • the decoder 122 may restore the grouped subframes by releasing the window from the subframes in the time domain.
  • the decoder 122 may perform overlap add on subframes included in the group.
  • the decoder 122 may decode the output audio signal using the input frames.
  • FIG 6 is an example of an audio decoding process according to the first embodiment of the present invention.
  • the decoder 122 may decode the 2D intra block 602 in the bitstream 601 using the decoder 610.
  • the decoder 122 may generate the subframes 603 in the frequency domain by dividing the 2D intra block 602 by the splitter 620.
  • the decoder 122 may convert subframes in the frequency domain into subframes in the time domain.
  • the decoder 122 may restore the grouped subframes 604 by releasing the window from the subframes in the time domain.
  • the decoder 122 may perform overlap add on subframes included in the group by using the overlap unit 630. For example, the decoder 122 overlaps the group including the subframe 1 and the subframe 2 and the group including the subframe 2 and the subframe 3 to include the subframe 1, the subframe 2, and the subframe 3. Generated input frame 605.
  • b + 1 which is the first subframe of the next frame grouped with b, which is the last subframe of the current frame, may be overlapped with the first group of the next frame.
  • the last group (b, b + 1) of the current frame may be overlapped with the first group (b + 1, b + 2) of the next frame.
  • the decoder 122 may sequentially generate the input frames 605 by repeating the above processes, thereby decoding the output audio signal 600 composed of the input frames 605 as shown in FIG. 6. .
  • FIG. 7 is a flowchart illustrating a method of encoding an audio signal according to a second embodiment of the present invention.
  • the encoder 111 may group the input frames constituting the audio signal in consideration of the overlap.
  • the encoder 111 may group the input frames by two in consideration of a 50% overlap for performing an overlap-add overlapping process with the input frames.
  • the encoder 111 may apply a window to the input frames grouped in operation 710.
  • the encoder 111 may convert input frames to which the window is applied in operation 720, into a frequency domain.
  • the encoder 111 may convert the input frames into the frequency domain by applying a Modified Discrete Cosine Transform (MDCT) to the input frames to which the window is applied in consideration of 50% overlap.
  • MDCT Modified Discrete Cosine Transform
  • the encoder 111 may form a 2D inter block using input frames converted into the frequency domain in operation 730.
  • the 2D inter block may be a block in which the frequency coefficients of the input frames converted into the frequency domain are displayed in two dimensions by using time and frequency.
  • the encoder 111 may encode the 2D interblock formed in operation 740.
  • the encoder 111 may divide each of the input frames of the 2D inter block into subband signals. In addition, the encoder 111 may predict a correlation between the subband signals. Next, the encoder 111 may quantize each of the subband signals. Finally, the encoder 111 may quantize the residual signal between the subband signals by calculating a prediction gain based on the correlation.
  • the signal denoted by / hatching may be an audio signal in the time domain
  • the signal denoted by ⁇ hatching may be an audio signal in the frequency domain.
  • the input audio signal may include a plurality of input frames 801 as shown in FIG. 8.
  • the encoder 111 may generate groups 802 by grouping at least two input frames constituting an audio signal in consideration of overlap. In this case, the encoder 111 may group the input frames by two in consideration of a 50% overlap for performing an overlap-add overlapping process with the input frames.
  • the encoder 111 may apply a window to the groups 802.
  • the encoder 111 may apply a sine window or a Kaiser Bessel window to the groups 802.
  • the encoder 111 may convert the input frames to which the window is applied from the time domain to the frequency domain.
  • the encoder 111 may convert the input frames into the frequency domain by applying a Modified Discrete Cosine Transform (MDCT) to the input frames to which the window is applied in consideration of 50% overlap.
  • MDCT Modified Discrete Cosine Transform
  • the encoder 111 may input the input frames 803 transformed into the frequency domain to the integrator 810 to form a 2D inter block 804.
  • the 2D inter block may be a block in which the frequency coefficients of the input frames converted into the frequency domain are displayed in two dimensions by using time and frequency.
  • the encoder 111 may quantize one 2D interblock 804 instead of quantizing the input frames 801, respectively, thereby improving coding efficiency than a method of independently quantizing the input frames 801. .
  • the encoder 111 may predict the correlation between the input frames 801 from the 2D interblock 804, thereby performing quantization by minimizing the amount of information of the 2D interblock 804.
  • the quantization method of the 2D inter block 804 will be described in detail with reference to FIG. 9 below.
  • the encoder 111 may output a bit stream by performing entropy encoding / decoding on the quantization index and related information using the encoder 330.
  • the encoder 111 may divide each of the input frames of the 2D inter block into subband signals.
  • the input frame Frame 0 of the 2D inter block may be divided into subband sf (0,0) to subband sf (N / 2,0) as shown in FIG. 9.
  • N may be the number of frequency coefficients.
  • the encoder 111 may quantize each of the subband signals. In this case, the encoder 111 may predict the correlation between the subband signals.
  • the encoder 111 may quantize the residual signal between the subband signals by calculating a prediction gain based on the correlation. In this case, the encoder 111 may calculate the prediction gain by using the DPCM and the LPC method.
  • the encoder 111 may apply a scale factor to the residual signal to perform quantization and then perform lossless compression.
  • FIG. 10 is a flowchart illustrating an audio decoding method according to a second embodiment of the present invention.
  • the decoder 122 may decode the 2D interblock in the bitstream received by the receiver 121.
  • the decoder 122 may generate input frames in the frequency domain using the 2D interblock decoded in operation 1010.
  • the decoder 122 may convert the input frames in the frequency domain generated in operation 1020 into input frames in the time domain. In this case, the decoder 122 may restore the groups of the input frames by releasing the window from the input frames in the time domain.
  • the decoder 122 may perform an overlap add on the group of input frames in the time domain converted in operation 1020 to generate an original input frame configuring an audio signal. In addition, the decoder 122 may decode the output audio signal using original input frames.
  • 11 is an example of an audio decoding process according to a second embodiment of the present invention.
  • the decoder 122 may decode the 2D inter block 1101 in the bitstream using the decoder 610.
  • the decoder 122 may generate the input frames 1102 in the frequency domain by dividing the 2D inter block 1101 by the splitter 1120.
  • the decoder 122 may convert the input frames 1102 in the frequency domain into input frames in the time domain. In this case, the decoder 122 may restore the group 1130 of the input frames by releasing the window from the input frames in the time domain. Finally, the decoder 122 may restore the audio signal 1100 composed of input frames by performing an overlap add on the groups 1103 using the overlap unit 1130.
  • FIG. 12 is a flowchart showing a method of encoding an audio signal according to a third embodiment of the present invention.
  • the encoder 111 may form a 2D inter block using first input frames constituting the audio signal.
  • the encoder 111 may group the plurality of first input frames in consideration of the overlap. Next, the encoder 111 may apply a window to the grouped first input frames. Next, the encoder 111 may convert the first input frames to which the window is applied to the frequency domain. Finally, the encoder 111 may form a 2D inter block using the first input frames converted into the frequency domain.
  • the encoder 111 may encode the 2D interblock formed in operation 1210.
  • the encoder 111 may reconstruct the second input frames from the 2D interblock encoded in operation 1220.
  • the second input frame may be a result of performing a decoding process on the 2D interblock encoded in operation 1220.
  • the encoder 111 may form a 2D intra block using the residual signal between the second input frame and the first input frame reconstructed in operation 1230.
  • the encoder 111 may divide the residual signal between the second input frame and the first input frame into a plurality of subframes. Next, the encoder 111 may convert the subframes into the frequency domain. Finally, the encoder 111 may form a 2D intra block using the subframes transformed into the frequency domain.
  • the encoder 111 may encode the 2D intra block formed in operation 1240.
  • the encoder 111 may convert the 2D interblock encoded in operation 1250 and the 2D intrablock encoded in operation 1220 into a bitstream.
  • FIG. 13 is an example of an audio encoding process according to a third embodiment of the present invention.
  • the input audio signal 1300 may include a plurality of first input frames 1301 as shown in FIG. 13.
  • the encoder 111 may group the plurality of first input frames 1301 in consideration of the overlap. In this case, the encoder 111 may apply a window to the grouped first input frames. Next, the encoder 111 may convert the first input frames to which the window is applied to the frequency domain. Finally, the encoder 111 may form a 2D inter block using the first input frames converted into the frequency domain.
  • the encoder 111 may encode the 2D interblock using the interblock encoder 1310.
  • the interblock encoder 1310 may convert the encoded 2D interblock into an interblock bitstream and output the interblock bitstream.
  • the encoder 111 may reconstruct the second input frames in the 2D inter block using the inter block integrator 1320.
  • the encoder 111 may generate a second input frame by performing a decoding process of dividing the interblock into a plurality of input frames and integrating the same.
  • the encoder 111 may generate a residual signal 1302 between the second input frame and the first input frame by using the difference signal generator 1330.
  • the encoder 111 may form a 2D intra block using the residual signal 1302.
  • the encoder 111 may divide the residual signal between the second input frame and the first input frame into a plurality of subframes.
  • the encoder 111 may convert the subframes into the frequency domain.
  • the encoder 111 may form a 2D intra block using the subframes transformed into the frequency domain.
  • the encoder 111 may encode the 2D intra block using the intra block encoder 1340.
  • the intra block encoder 1340 may convert and output the encoded 2D intra block into an intra block bitstream.
  • the transmitter 112 may mix the inter block bitstream and the intra block bitstream into one bitstream and transmit the interblock bitstream to the audio decoding apparatus 120.
  • FIG. 14 is a flowchart illustrating an audio decoding method according to a third embodiment of the present invention.
  • the decoder 122 may extract the encoded 2D inter block and the encoded 2D intra block from the bitstream. In addition, the decoder 122 may decode the 2D interblock from the encoded 2D interblock.
  • the decoder 122 may reconstruct groups of the input frame signal in the 2D interblock decoded in operation 1410. In this case, the decoder 122 may generate input frames in the frequency domain by using the 2D interblock decoded in operation 1420. Next, the decoder 122 may convert input frames in the frequency domain into input frames in the time domain. In this case, the decoder 122 may restore the groups of the input frames by releasing the window from the input frames in the time domain.
  • the decoder 122 may generate a second input frame by performing an overlap add on the groups of the input frames reconstructed in operation 1420.
  • the decoder 122 may decode the 2D intra block from the encoded 2D intra block.
  • the decoder 122 may restore the residual signal in the 2D intra block decoded in operation 1440.
  • the decoder 122 may generate subframes in the frequency domain by using the 2D intra block.
  • the decoder 122 may convert subframes in the frequency domain into subframes in the time domain.
  • the decoder 122 may generate a residual signal by performing overlap add on subframes in the time domain.
  • the decoder 122 may restore the original first input frame using the residual signal generated in operation 1450 and the second input frame generated in operation 1430.
  • the residual signal may be a difference between the second input frame, which is an input frame reconstructed from the encoded 2D interblock, and the first input frame, which is the original input frame, as generated in step 1240 of the encoding method.
  • the decoder 122 may restore the first input frame by adding the residual signal to the second input frame.
  • 15 is an example of an audio decoding process according to a third embodiment of the present invention.
  • the decoder 122 may receive an intra block bitstream obtained by converting the encoded 2D intra block. In addition, the decoder 122 may decode the 2D interblock in the interblock bitstream by using the intra block decoder 1510.
  • the decoder 122 may restore the residual signal 1501 from the 2D intra block decoded in operation 1440.
  • the decoder 122 may receive an interblock bitstream obtained by converting the encoded 2D interblock.
  • the decoder 122 may decode the 2D interblock in the interblock bitstream using the interblock decoder 1530.
  • the decoder 122 may restore the groups 1502 of the input frame signal in the decoded 2D inter block.
  • the decoder 122 may generate a second input frame by performing an overlap add on the groups 1502 of the input frames.
  • the decoder 122 may combine the residual signal 1501 with the second input frame to decode the audio signal 1500 including the first input frames.
  • 16 is a flowchart illustrating a method of encoding an audio signal according to a fourth embodiment of the present invention.
  • the encoder 111 may divide each of the first input frames constituting the audio signal into a plurality of first subframes to form 2D intra blocks.
  • the encoder 111 may encode the 2D intra blocks formed in operation 1610.
  • the encoder 111 may set the first subframes of the 2D intra blocks as a macro block. In addition, the encoder 111 may predict a correlation between macro blocks. Next, the encoder 111 may perform differential pulse code modulation (DPCM) on macro blocks having the highest predicted correlation. Next, the encoder 111 may quantize each of the macro blocks. Finally, the encoder 111 may calculate the prediction gain based on the DPCM result to quantize the residual signal between the macro blocks having the highest correlation.
  • DPCM differential pulse code modulation
  • the encoder 111 may reconstruct the second subframes from the 2D intra blocks encoded in operation 1620.
  • the encoder 111 may combine the second subframes reconstructed in operation 1630 to generate second input frames.
  • the encoder 111 may generate residual signals between the second input frames and the first input frames generated in operation 1640. In addition, the encoder 111 may form a 2D inter block using residual signals between the second input frames and the first input frames.
  • the encoder 111 may encode the 2D interblock formed in operation 1650.
  • the encoder 111 may output a bitstream obtained by mixing the 2D inter block encoded in operation 1660 and the 2D intra block encoded in operation 1620.
  • 17 is an example of an audio encoding process according to a fourth embodiment of the present invention.
  • the encoder 111 may divide each of the first input frames constituting the audio signal 1700 into a plurality of first subframes to form 2D intra blocks.
  • the encoder 111 may encode 2D intra blocks using the intra block encoder 1710.
  • the intra block encoder 1710 may convert the encoded 2D intra block into an intra block bitstream and output the converted block.
  • the encoder 111 may reconstruct the second subframes from the 2D intra blocks encoded in operation 1620.
  • the encoder 111 may generate second input frames by combining the second subframes with the intra block integrator 1720.
  • the encoder 111 may generate residual signals 1701 between the second input frames and the first input frames by using the residual signal generator 1730.
  • the encoder 111 may generate groups 1702 by grouping at least two frames constituting the residual signal 1701 in consideration of the overlap.
  • the encoder 111 may form a 2D inter block using the groups 1702.
  • the encoder 111 may apply a window to the groups 1702.
  • the encoder 111 may convert the groups 1702 to which the window is applied to the frequency domain.
  • the encoder 111 may convert the input frames into the frequency domain by applying the MDCT to the groups 1702 in consideration of 50% overlap.
  • the encoder 111 may form a 2D inter block using input frames included in the group 1702 converted to the frequency domain.
  • the 2D inter block may be a block in which the frequency coefficients of the input frames converted into the frequency domain are displayed in two dimensions by using time and frequency.
  • the encoder 111 may encode the 2D interblock using the interblock encoder 1740.
  • the interblock encoder 1740 may convert the encoded 2D interblock into an interblock bitstream and output the interblock bitstream.
  • the transmitter 112 may mix the inter block bitstream and the intra block bitstream into one bitstream and transmit the interblock bitstream to the audio decoding apparatus 120.
  • FIG. 18 is a flowchart illustrating an audio decoding method according to a fourth embodiment of the present invention.
  • the decoder 122 may extract the encoded 2D inter block and the encoded 2D intra block from the bitstream. In addition, the decoder 122 may decode the 2D interblock from the encoded 2D interblock.
  • the decoder 122 may reconstruct frame groups of the residual signal in the 2D interblock decoded in operation 1810. In this case, the decoder 122 may generate the frames of the frequency domain using the 2D interblock decoded in operation 1820. Next, the decoder 122 may convert the frames in the frequency domain into the frames in the time domain. In this case, the decoder 122 may restore the groups of the frames constituting the residual signal by releasing the window from the frames in the time domain.
  • the decoder 122 may generate a residual signal by performing overlap add on groups of frames of the residual signal reconstructed in operation 1820.
  • the decoder 122 may decode the 2D intra block from the encoded 2D intra block.
  • the decoder 122 may reconstruct the second input frame from the 2D intra block decoded in operation 1840.
  • the decoder 122 may generate subframes in the frequency domain by using the 2D intra block.
  • the decoder 122 may convert subframes in the frequency domain into subframes in the time domain.
  • the decoder 122 may generate a second input frame by performing overlap add on subframes in the time domain.
  • the decoder 122 may restore the original first input frame using the second input frame generated in operation 1850 and the residual signal generated in operation 1830.
  • the residual signal may be a difference between the second input frame, which is the input frame reconstructed from the encoded 2D intra block, and the first input frame, which is the original input frame, as generated in operation 1650 of the encoding method. Therefore, the decoder 122 may restore the first input frame by adding the residual signal to the second input frame.
  • 19 is an example of an audio decoding process according to a fourth embodiment of the present invention.
  • the decoder 122 may receive an interblock bitstream obtained by converting the encoded 2D interblock.
  • the decoder 122 may decode the group 1901 of residual signals in the interblock bitstream using the interblock decoder 1910.
  • the decoder 122 may generate the residual signal 1902 including the frames by performing overlap add on the groups 1901 of the frames of the reconstructed residual signal.
  • the decoder 122 may receive an intra block bitstream obtained by converting the encoded 2D intra block. In addition, the decoder 122 may decode the 2D interblock in the interblock bitstream using the intra block decoder 1930.
  • the decoder 122 may reconstruct the second input frame using the 2D intra block decoded in operation 1440.
  • the decoder 122 may generate subframes in the frequency domain by using the 2D intra block.
  • the decoder 122 may convert subframes in the frequency domain into subframes in the time domain.
  • the decoder 122 may generate a second input frame by performing overlap add on subframes in the time domain.
  • the decoder 122 may combine the residual signal 1902 with the second input frame to decode the audio signal 1900 composed of the first input frames.
  • the second input frame since the second input frame is a result of encoding and decoding the first input frame, the second input frame may generate the audio signal using only the second input frame. However, since a signal change occurs during encoding and decoding, the second input frame may be different from the first input frame, which is a frame included in the original audio signal. Since the residual signal is information representing a difference between the first input frame and the second input frame, the decoder 122 adds the residual signal to the second input frame and decodes the first input frame to thereby decode the decoded audio signal 1900. Can improve the quality
  • 20 is a flowchart illustrating a method of encoding an audio signal according to a fifth embodiment of the present invention.
  • the encoder 111 may divide the input frames constituting the audio signal into a plurality of subframes to form 2D intra blocks.
  • the encoder 111 may encode the 2D intra blocks formed in operation 2010.
  • the encoder 111 may form a 2D inter block using residual signals between the 2D intra blocks formed in operation 2010 and the 2D intra blocks encoded in operation 2020.
  • the encoder 111 may encode the 2D interblock formed in operation 2030.
  • the encoder 111 may mix the 2D inter block encoded in operation 2040 and the 2D intra block encoded in operation 2020.
  • 21 is an example of an audio encoding process according to a fifth embodiment of the present invention.
  • the encoder 111 may form 2D intra blocks using the intra block converter 2110 in the audio signal 2100.
  • the intra block converter 21110 divides each of the input frames constituting the audio signal into a plurality of subframes and converts the subframes into a frequency domain, as illustrated in FIG. 21. ) Can be created.
  • the encoder 111 may encode the 2D intra blocks using the intra block encoder 2120.
  • the intra block encoder 2120 may convert the encoded 2D intra block into an intra block bitstream and output the converted block.
  • the encoder 111 may generate residual signals between the 2D intra blocks 2101 and the 2D intra blocks encoded by the intra block encoder 2120.
  • the encoder 111 may input the residual signal to the inter block converter 2130 to form the 2D inter block 2102.
  • the encoder 111 may generate groups by grouping at least two frames constituting the residual signal in consideration of the overlap. In addition, the encoder 111 may apply a window to the groups. Next, the encoder 111 may convert the groups to which the window is applied to the frequency domain. Finally, the encoder 111 may form the 2D inter block 2102 by using input frames included in the group transformed into the frequency domain.
  • the 2D inter block 2102 may be a block in which the 2D intra block 2101 is expressed as a frequency coefficient of a subblock unit.
  • the encoder 111 may encode the 2D interblock 2102 with the interblock encoder 2140.
  • the interblock encoder 2140 may convert the encoded 2D interblock into an interblock bitstream and output the interblock bitstream.
  • the transmitter 112 may mix the inter block bitstream and the intra block bitstream into one bitstream and transmit the mixed bitstream to the audio decoding apparatus 120.
  • the encoder 111 may set the first subframes of the 2D intra blocks as a macro block. In addition, the encoder 111 may predict a correlation between macro blocks.
  • the encoder 111 may predict a correlation between the first macroblock 1 and other subframes adjacent to the macroblock 1.
  • the encoder 111 may predict a correlation between the fourth macroblock 4 and other subframes adjacent to the macroblock 4.
  • the encoder 111 may predict a degree of correlation between macroblocks spaced at regular intervals and macroblocks currently being processed. For example, the encoder 111 may predict a correlation between another macroblock spaced by a plurality of macroblocks based on a macroblock currently being processed and a macroblock currently being processed. In this case, the probability of finding a macroblock having an optimal correlation increases, but additional information such as location information of another macroblock spaced by a plurality of macroblocks may be needed. Therefore, there may be a trade-off between the distance between macroblocks measuring correlation and the probability of finding a macroblock having an optimal correlation.
  • the encoder 111 may perform differential pulse code modulation (DPCM) on macro blocks having the highest predicted correlation.
  • DPCM differential pulse code modulation
  • the encoder 111 may quantize each of the macro blocks.
  • the encoder 111 may calculate the prediction gain based on the DPCM result to quantize the residual signal between the macro blocks having the highest correlation.
  • FIG. 23 is a flowchart illustrating an audio decoding method according to a fifth embodiment of the present invention.
  • the decoder 122 may extract the encoded 2D inter block and the encoded 2D intra block from the bitstream. In addition, the decoder 122 may decode the 2D interblock from the encoded 2D interblock.
  • the decoder 122 may reconstruct frame groups of the residual signal in the 2D interblock decoded in operation 2310. In this case, the decoder 122 may generate the frames of the frequency domain by using the 2D interblock decoded in operation 2320. Next, the decoder 122 may convert the frames in the frequency domain into the frames in the time domain. In this case, the decoder 122 may restore the groups of the frames constituting the residual signal by releasing the window from the frames in the time domain.
  • the decoder 122 may restore the residual signal by performing overlap add on groups of frames of the residual signal reconstructed in operation 2320.
  • the decoder 122 may convert the intra block bitstream into an encoded 2D intra block.
  • the decoder 122 may reconstruct the 2D intra block before encoding by using the encoded 2D intra block converted in operation 2340 and the residual signal generated in operation 2330.
  • the residual signal may be a difference between the 2D intra blocks formed in step 2010 and the 2D intra blocks encoded in step 2020 as generated in step 2030 of the encoding method. Accordingly, the decoder 122 may reconstruct the 2D intra block before adding the residual signal to the encoded 2D intra block and encoding the encoded residual signal.
  • the decoder 122 may reconstruct the audio signal using the 2D intra block before encoding reconstructed in operation 2350.
  • the decoder may perform steps 520 to 540 of FIG. 5 to restore an audio signal composed of input frames in the 2D intra block.
  • the decoder 122 may receive an interblock bitstream obtained by converting the encoded 2D interblock.
  • the decoder 122 may generate the residual signal 2401 in the interblock bitstream using the interblock decoder 2410.
  • the decoder 122 may generate frames in the frequency domain using the decoded 2D inter block. Next, the decoder 122 may convert the frames in the frequency domain into the frames in the time domain. In this case, the decoder 122 may restore the groups of the frames constituting the residual signal by releasing the window from the frames in the time domain. Finally, the decoder 122 may restore the residual signal 2401 by performing an overlap add on the groups of frames of the residual signal.
  • the decoder 122 may divide the residual signal 2401 in an intra block unit using the inter block splitter 2420.
  • the decoder 122 may receive an intra block bitstream obtained by converting the encoded 2D intra block.
  • the decoder 122 may convert the inter block bitstream into an encoded 2D inter block using the intra block decoder 2430.
  • the decoder 122 may reconstruct the 2D intra block before encoding by using the encoded 2D intra block and the residual signals divided into the intra block units.
  • the decoder 122 may reconstruct the 2D intra block 2402 before adding and encoding the residual signal to the encoded 2D intra block.
  • the 2D intra block 2402 before encoding may be an intra block including a plurality of subframes as illustrated in FIG. 24.
  • the decoder 122 may reconstruct the audio signal by integrating the 2D intra blocks 2402 before encoding by the intra block integrator 2440.
  • the decoder may convert subframes in the frequency domain included in the 2D intra block 2402 into subframes in the time domain.
  • the decoder 122 may restore the grouped subframes by releasing the window from the subframes in the time domain.
  • the decoder 122 sequentially generates the input frames 1 to 12 constituting the audio signal 2400 by performing overlap add on the subframes included in the group, thereby providing the input frames as illustrated in FIG. 24.
  • the audio signal 2400 may be decoded.
  • the present invention encoding efficiency is increased by reconstructing an input audio signal into a two-dimensional signal and encoding the same.
  • the present invention can have the same framing structure as that of a video signal by using an encoding method that is interpreted in units of blocks, so that homogeneity and synchronization of the encoding method can be made more flexible than conventional encoding methods.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

블록 기반의 오디오 부호화/복호화 장치 및 그 방법이 개시된다. 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하는 단계; 상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계; 및 상기 2D 인트라 블록을 부호화하는 단계를 포함하고, 상기 2D 인트라 블록은, 상기 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.

Description

블록 기반의 오디오 부호화/복호화 장치 및 그 방법
본 발명은 오디오 신호의 부호화/복호화 장치 및 방법에 관한 것이다.
오디오 신호의 부호화/복호화 기술은 오디오 신호를 압축 전송하기 위한 기술로 지난 수십 년간 많은 기술적 진보를 달성하였다.
1세대 MPEG 오디오 부호화/복호화 기술인 MPEG-1 Layer III (MP3)는 지각적 음질 손실을 최소화하기 위하여 인간의 심리음향 모델에 근거한 양자화기를 설계하고 데이터를 압축하는 방식이다.
2세대 MPEG 오디오 부호화/복호화 기술인 MPEG-2 Advanced Audio Coding (AAC)는 MP3와 호환성을 제공하지 않으며, MDCT기반의 전대역 오디오 주파수 계수에 대해서 심리음향 모델을 적용함으로써, 압축 성능을 향상시킨 방식이다.
3세대 MPEG 오디오 부호화/복호화 기술인MPEG-4 Parametric coding 기술은 파라메트릭 부호화/복호화(parametric coding) 기술을 이용하여 48kbps 이하의 저 비트 레이트에서 압축율을 높인 방식이다. 예를 들어, 파라메트릭 부호화/복호화 기술에는 스테레오 채널을 부호화/복호화하기 위한 PS(Parametric Stereo), 고대역 신호를 부호화/복호화하기 위한 SBR(Spectral Band Replication) 기술이 있다.
4세대 MPEG 오디오 부호화/복호화 기술인 Unified Speech and Audio Coding (USAC)는 저 비트율 음성의 음질을 개선하기 위한 USAC 오디오 코덱 기술이나, CD급의 고음질을 제공하기 위해서는 AAC 128kbps와 유사한 압축 성능을 가지고 있다.
즉, 종래의 오디오 부호화/복호화 기술들은 심리음향 모델을 활용하여 압축 성능을 높였으나, 일차원적 심리음향 모델 기반의 양자화로 인한 성능의 한계에 도달한 것으로 해석될 수 있다.
따라서, 일차원적 심리음향 모델이 아닌 다른 방법을 이용하여 오디오 신호를 부호화/복호화 함으로써, 부호화 효율을 높일 수 있는 방법이 요청되고 있다.
본 발명은 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높이는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 유연해지도록 하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하는 단계; 상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계; 및 상기 2D 인트라 블록을 부호화하는 단계를 포함하고, 상기 2D 인트라 블록은, 상기 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 주파수 영역으로 변환하는 단계는, 오버랩을 고려하여 상기 서브 프레임들을 그룹화하는 단계; 그룹화한 서브 프레임들에 윈도우를 적용하는 단계; 및 윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 그룹화하는 단계는, 상기 입력 프레임 중 현재 프레임에서 분할된 마지막 서브 프레임과 다음 프레임에서 분할된 첫 번째 서브 프레임을 그룹화할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 부호화하는 단계는. 상기 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할하는 단계; 상기 서브 밴드 신호들간의 상관도를 예측하는 단계; 상기 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터를 이용하여 양자화하는 단계; 상기 서브 밴드 신호들 중 대역값이 상기 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계; 및 양자화 인덱스, 스케일 펙터 및 양자화된 고대역 신호, 잔차 신호, 예측 결과를 비트스트림으로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 수신한 비트스트림에서 2D 인트라 블록을 복호화하는 단계; 상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계; 상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계; 상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들을 생성하는 단계; 및 입력 프레임들을 이용하여 오디오 신호를 복호화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 그룹화하는 단계; 그룹화한 입력 프레임들에 윈도우를 적용하는 단계; 윈도우가 적용된 입력 프레임들을 주파수 영역으로 변환하는 단계 주파수 영역으로 변환된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계; 및 상기 2D 인터 블록을 부호화하는 단계를 포함하고, 상기 2D 인터 블록은, 상기 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 부호화하는 단계는. 상기 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할하는 단계; 상기 서브 밴드 신호들간의 상관도를 예측하는 단계; 상기 서브 밴드 신호들 각각을 양자화하는 단계; 및 상기 상관도를 기초로 예측 이득을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 수신한 비트스트림에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성하는 단계; 상기 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환하는 단계; 및 상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들로 구성된 오디오 신호를 복호화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 제1 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계; 상기 2D 인터 블록을 부호화하는 단계; 부호화한 2D 인터 블록에서 제2 입력 프레임들을 복원하는 단계; 상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 이용하여 2D 인트라(intra)블록을 형성하는 단계; 상기 2D 인트라 블록을 부호화하는 단계; 및 부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 2D 인터 블록을 형성하는 단계는, 오버랩을 고려하여 복수의 제1 입력 프레임들을 그룹화하는 단계; 그룹화한 제1 입력 프레임들에 윈도우를 적용하는 단계; 윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환하는 단계; 및 주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 2D 인트라 블록을 형성하는 단계는, 상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할하는 단계; 상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 및 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록에서 입력 프레임 신호의 그룹들을 복원하는 단계; 복원한 입력 프레임들의 그룹들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계; 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계; 상기 2D 인트라 블록에서 잔차 신호를 복원하는 단계; 및 상기 잔차 신호와 상기 제2 입력 프레임을 이용하여 원본인 제1 입력 프레임을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계; 2D 인트라 블록들을 부호화하는 단계; 부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원하는 단계; 제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성하는 단계; 상기 제2 입력 프레임들과 상기 제1 입력 프레임들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계; 상기 2D 인터 블록을 부호화하는 단계; 및 부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법의 2D 인터 블록을 부호화하는 단계는 상기 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정하는 단계; 매크로 블록들 간의 상관도를 예측하는 단계; 예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행하는 단계; 상기 매크로 블록들 각각을 양자화하는 단계; 및 상기 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계; 상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 생성하는 단계; 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계; 상기 2D 인트라 블록에서 제2 입력 프레임을 생성하는 단계; 및 상기 제2 입력 프레임과 상기 잔차 신호를 이용하여 원본인 제1 입력 프레임을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법의 제2 입력 프레임을 생성하는 단계는, 상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계; 상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계; 및 상기 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 신호를 구성하는 입력 프레임들을 각각을 복수의 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계; 2D 인트라 블록들을 부호화하는 단계; 상기 2D 인트라 블록들과 부호화한 2D 인트라 블록들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계; 2D 인터 블록을 부호화하는 단계; 및 상기 2D 인터 블록과 상기 2D 인트라 블록을 믹싱하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법은 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계; 상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계; 상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 복원하는 단계; 부호화된 2D 인트라 블록과 상기 잔차 신호를 이용하여 부호화 전의 2D 인트라 블록을 복원하는 단계; 및 상기 부호화 하기 전의 2D 인트라 블록을 이용하여 오디오 신호를 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법의 잔차 신호의 프레임 그룹들을 복원하는 단계는, 상기 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성하는 단계; 상기 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환하는 단계; 및 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높일 수 있다.
또한, 본 발명의 일실시예에 의하면, 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 종래의 부호화 방법보다 유연해지도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화 장치 및 오디오 복호화 장치를 나타내는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 3은 본 발명의 제1 실시예에 따른 오디오 부호화 과정의 일례이다.
도 4는 본 발명의 제1 실시예에 따른 양자화 방법의 일례이다.
도 5는 본 발명의 제1 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 6은 본 발명의 제1 실시예에 따른 오디오 복호화 과정의 일례이다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 8은 본 발명의 제2 실시예에 따른 오디오 부호화 과정의 일례이다.
도 9는 본 발명의 제2 실시예에 따른 양자화 방법의 일례이다.
도 10은 본 발명의 제2 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 11은 본 발명의 제2 실시예에 따른 오디오 복호화 과정의 일례이다.
도 12는 본 발명의 제3 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 13은 본 발명의 제3 실시예에 따른 오디오 부호화 과정의 일례이다.
도 14는 본 발명의 제3 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 15는 본 발명의 제3 실시예에 따른 오디오 복호화 과정의 일례이다.
도 16은 본 발명의 제4 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 17은 본 발명의 제4 실시예에 따른 오디오 부호화 과정의 일례이다.
도 18은 본 발명의 제4 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 19는 본 발명의 제4 실시예에 따른 오디오 복호화 과정의 일례이다.
도 20은 본 발명의 제5 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
도 21은 본 발명의 제5 실시예에 따른 오디오 부호화 과정의 일례이다.
도 22는 본 발명의 제5 실시예에 따른 양자화 방법의 일례이다.
도 23은 본 발명의 제5 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
도 24는 본 발명의 제5 실시예에 따른 오디오 복호화 과정의 일례이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 신호의 부호화 방법은 오디오 부호화 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 오디오 복호화 방법은 오디오 복호화 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 부호화 장치 및 오디오 복호화 장치를 나타내는 도면이다.
오디오 부호화 장치(100)는 도 1에 도시된 바와 같이 부호화부(111)와 송신부(112)를 포함할 수 있다.
부호화부(111)는 입력 오디오 신호를 2차원 신호로 재구성할 수 있다. 그리고, 부호화부(111)는 2차원 신호로 재구성된 입력 오디오 신호를 부호화하여 비트스트림을 출력할 수 있다.
이때, 부호화부(111)는 입력 오디오 신호를 구성하는 오디오 프레임들 중 하나의 오디오 프레임을 블록화하여 양자화 하는 인트라(intra) 블록 부호화 방식을 기초로 2차원 신호인 인트라 블록을 생성하고, 인트라 블록을 부호화할 수 있다. 인트라 블록 부호화 방식을 기초로 부호화하는 구체적인 동작은 이하 도 2 내지 도 4를 참조로 상세히 설명한다.
또한, 부호화부(111)는 입력 오디오 신호를 구성하는 오디오 프레임들을 블록화하여 양자화 하는 인터(inter) 블록 부호화 방식을 기초로 2차원 신호인 인터 블록을 생성하고, 인터 블록을 부호화할 수 있다. 인터 블록 부호화 방식을 기초로 부호화하는 구체적인 동작은 이하 도 7 내지 도 8을 참조로 상세히 설명한다.
그리고, 부호화부(111)는 인터 블록 부호화 방식과 인트라 블록 부호화 방식을 모두 사용하여 입력 오디오 신호를 부호화할 수 있다.
일례로, 부호화부(110)는 입력 오디오 신호를 인터 블록 부호화 방식으로 부호화하고, 부호화된 오디오 신호와 복원한 오디오 신호 간의 차분 신호를 인트라 블록 부호화 방식으로 부호화할 수 있다. 인터 블록 부호화 방식을 적용한 후 인트라 블록 부호화 방식으로 부호화하는 구체적인 동작은 이하 도 12 내지 도 13을 참조로 상세히 설명한다.
다른 일례로, 부호화부(110)는 입력 오디오 신호를 인트라 블록 부호화 방식으로 부호화하고, 부호화된 오디오 신호를 복원한 복원 오디오 신호와 원본 오디오 신호 간의 차분 신호를 인터 블록 부호화 방식으로 부호화할 수 있다. 인트라 블록 부호화 방식을 적용한 후 인터 블록 부호화 방식으로 부호화하는 구체적인 동작은 이하 도 16 내지 도 17을 참조로 상세히 설명한다.
또 다른 일례로, 부호화부(110)는 입력 오디오 신호를 인트라 블록 부호화 방식으로 부호화하고, 부호화 오디오 신호와 원본 오디오 신호 간의 차분 신호를 인터 블록 부호화 방식으로 부호화할 수 있다. 인트라 블록 부호화 방식을 적용한 후 부호화 오디오 신호와 원본 오디오 신호 간의 차분 신호를 인터 블록 부호화 방식으로 부호화하는 구체적인 동작은 이하 도 20 내지 도 22를 참조로 상세히 설명한다.
송신부(112)는 부호화부(111)에서 출력된 비트스트림을 오디오 복호화 장치(120)로 전송할 수 있다.
오디오 복호화 장치(120)는 오디오 부호화 장치(110)로부터 수신한 비트스트림에서 오디오 신호를 복호화하여 출력할 수 있다.
수신부(121)는 송신부(112)로부터 비트스트림을 수신하여 복호화부(122)로 전달할 수 있다. 이때, 수신부(121)가 수신하는 비트스트림은 인터 블록 비트스트림, 또는 인트라 블록 비트스트림, 또는 인트라 블록 비트스트림과 인터 블록 비트스트림이 믹싱된 비트스트림일 수 있다.
복호화부(122)는 비트스트림에서 입력 오디오 신호에 대응하는 출력 오디오 신호를 복호화할 수 있다.
이때, 복호화부(122)는 부호화부(111)가 인트라 블록 부호화 방식을 기초로 부호화한 경우, 오버랩을 이용하여 원본 인트라 프레임을 합성하고, 원본 인트라 프레임에서 출력 오디오 신호를 복호화할 수 있다. 인트라 블록 부호화 방식을 기초로 부호화된 비트스트림을 복호화하는 구체적인 동작은 이하 도 5 내지 도 6을 참조로 상세히 설명한다.
또한, 복호화부(122)는 부호화부(111)가 인터 블록 부호화 방식을 기초로 부호화한 경우, 인터 블록을 이용하여 입력 프레임들을 복원하고, 입력 프레임들을 오버랩하여 출력 오디오 신호를 복호화할 수 있다. 인터 블록 부호화 방식을 기초로 부호화된 비트스트림을 복호화하는 구체적인 동작은 이하 도 10 내지 도 11을 참조로 상세히 설명한다.
그리고, 복호화부(122)는 부호화부(111)가 인터 블록 부호화 방식과 인트라 블록 부호화 방식을 모두 사용하여 입력 오디오 신호를 부호화한 경우, 인터 블록 비트스트림과 인트라 블록 비트스트림을 각각 복호화한 후 통합하여 출력 오디오 신호를 복호화할 수 있다. 부호화부(111)가 인터 블록 부호화 방식과 인트라 블록 부호화 방식을 모두 사용하여 부호화된 비트스트림을 복호화하는 구체적인 동작은 이하 도 14, 도 15, 도 18, 도 19, 도 23, 도 24를 참조로 상세히 설명한다.
오디오 부호화 장치(110)는 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높일 수 있다. 또한, 오디오 부호화 장치(110)는 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 종래의 부호화 방법보다 유연해지도록 할 수 있다.
도 2는 본 발명의 제1 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(210)에서 부호화부(111)는 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할할 수 있다.
단계(220)에서 부호화부(111)는 단계(210)에서 분할된 서브 프레임들을 주파수 영역으로 변환할 수 있다.
이때, 부호화부(111)는 오버랩을 고려하여 서브 프레임들을 그룹화할 수 있다. 그리고, 부호화부(111)는 그룹화한 서브 프레임들에 윈도우를 적용할 수 있다. 다음으로, 부호화부(111)는 윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환할 수 있다.
이때, 부호화부(111)는 현재 처리 중인 입력 프레임인 현재 프레임에서 분할된 마지막 서브 프레임과 다음 프레임에서 분할된 첫 번째 서브 프레임을 그룹화할 수 있다.
단계(230)에서 부호화부(111)는 단계(220)에서 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성할 수 있다.
이때, 2D 인트라 블록은 입력 프레임을 주파수 영역에서 2D로 표현한 블록일 수 있다. 예를 들어, 2D 인트라 블록은 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
단계(240)에서 부호화부(111)는 단계(230)에서 형성된 2D 인트라 블록을 부호화할 수 있다. 이때, 부호화부(111)는 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할할 수 있다. 그리고, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다.
다음으로, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터를 이용하여 양자화할 수 있다. 또한, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다.
그리고, 부호화부(111)는 양자화 인덱스, 스케일 펙터 및 양자화된 고대역 신호, 잔차 신호, 예측 결과를 비트스트림으로 변환할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 오디오 부호화 과정의 일례이다.
도 3에서 / 해칭으로 표시된 신호는 시간 영역의 오디오 신호이고, \ 해칭으로 표시된 신호는 주파수 영역의 오디오 신호일 수 있다.
입력 오디오 신호(300)는 도 3에 도시된 바와 같이 복수의 입력 프레임(301)들을 포함할 수 있다. 이때, 입력 프레임은 통상적인 1D 오디오 프레임일 수 있다. 예를 들어, 입력 프레임은 인트라 프레임(Intra-frame)일 수 있다.
부호화부(111)는 도 3에 도시된 바와 같이 스플리터(Splitter)(310)를 사용하여 입력 프레임(310)를 복수의 서브 프레임(302)들로 분할할 수 있다.
다음으로, 부호화부(111)는 오버랩을 고려하여 서브 프레임(302)들을 그룹화할 수 있다. 예를 들어, 부호화부(111)는 서브 프레임(302)들로 오버랩 애드(overlap-add) 중첩과정을 수행하기 위한 50% 오버랩(overlap)을 고려하여 서브 프레임(302)들을 2개씩 그룹화할 수 있다. 구체적으로, 부호화부(111)는 도 3에 도시된 바와 같이 입력 프레임 중 현재 프레임의 첫 번째 서브 프레임 1과 두 번째 서브 프레임 2를 그룹화할 수 있다. 다음으로, 부호화부(111)는 입력 프레임 중 현재 프레임의 두 번째 서브 프레임 2와 세 번째 서브 프레임 3을 그룹화할 수 있다. 즉, 부호화부(111)는 그룹에 포함된 서브 프레임들 중 일부가 다른 그룹에도 중복으로 포함되도록 서브 프레임들을 그룹화할 수 있다.
또한, 부호화부(111)는 입력 프레임의 현재 프레임과 다음 프레임 간의 연결을 위하여 현재 프레임의 마지막 서브 프레임인 b를 다음 프레임의 첫 번째 프레임인 b+1과 그룹화할 수 있다.
그 다음으로, 부호화부(111)는 그룹화한 서브 프레임들에 윈도우를 적용할 수 있다. 예를 들어, 부호화부(111)는 그룹화한 서브 프레임들에 신(sine) 윈도우, 또는 카이저 베셀(Kaiser Bessel) 윈도우를 적용할 수 있다.
다음으로, 부호화부(111)는 윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT(Modified Discrete Cosine Transform)를 윈도우가 적용된 서브 프레임들에 적용함으로써, 서브 프레임들을 주파수 영역으로 변환할 수 있다.
그 다음으로, 부호화부(111)는 주파수 영역으로 변환된 서브 프레임(320)들을 적분기(integrator)(320)에 입력하여 2D 인트라(intra) 블록(303)을 형성할 수 있다.
예를 들어, 주파수 영역으로 변환된 서브 프레임(320)의 주파수 계수의 개수가 N이고, 시간축 분해능이 W이며, 주파수 분해능이 H인 경우, 2D 인트라 블록(303)은 N = W x H로 표시될 수 있다. 이때, W는 2D 인트라 블록(303)의 폭(width)이고, H는 2D 인트라 블록(303)의 높이(height)일 수 있다.
다음으로 부호화부(111)는 서브 프레임들을 각각 양자화하지 않고, 하나의 2D 인트라 블록(303)을 양자화함으로써, 서브 프레임들을 독립적으로 양자화하는 방식 보다 부호화 효율을 높일 수 있다.
이때, 부호화부(111)는 2D 인트라 블록(303)으로부터 서브 프레임(302) 간의 상관도를 예측함으로써, 2D 인트라 블록(303)의 정보량을 최소화하여 양자화를 수행할 수 있다. 2D 인트라 블록(303)의 양자화 방법은 이하 도 4를 참조하여 상세히 설명한다.
마지막으로 부호화부(111)는 인코더(330)를 이용하여 양자화 인덱스 및 관련 정보에 대해서 엔트로피 인부호화/복호화(entropy encoding)을 수행함으로써, 비트스트림(bit stream)을 출력할 수 있다.
도 4는 본 발명의 제1 실시예에 따른 양자화 방법의 일례이다.
부호화부(111)는 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할할 수 있다. 예를 들어, 2D 인트라 블록의 서브 프레임 1은 도 4에 도시된 바와 같이 서브 밴드 xf(0,1) 내지 서브 밴드 xf(k,1)로 분할될 수 있다. 이때, index k는 서브 밴드의 개수일 수 있다.
그리고, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다. 예를 들어, 부호화부(111)는 DPCM(Differential Pulse Code Modulation)을 이용하여 1차 예측을 수행하거나, LPC(Linear Prediction Coefficient) 방식을 이용하여 고차 예측을 수행할 수 있다.
다음으로, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터(scale-factor)를 이용하여 코스(coarse)한 양자화를 수행할 수 있다. 예를 들어, 기준값은 4kHz일 수 있다.
또한, 부호화부(111)는 서브 밴드 신호들 중 대역값이 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다. 이때, 부호화부(111)는 양자화된 저대역의 예측 개수 및 잔차 신호에 무손실 압축 과정을 적용하여 비트스트림으로 변환할 수 있다.
그리고, 부호화부(111)는 무손실 압축 방식(entropy coding)으로 양자화 인덱스를 비트스트림으로 변환할 수 있다. 또한, 양자화 인덱스는 스케일 펙터에 고대역 신호, 양자화 인덱스와는 별도의 양자화를 수행하고, 무손실 압축 과정을 통해 비트스트림으로 변환할 수 있다.
도 5는 본 발명의 제1 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(510)에서 복호화부(122)는 수신부(121)가 수신한 비트스트림에서 2D 인트라 블록을 복호화할 수 있다.
단계(520)에서 복호화부(122)는 단계(510)에서 복호화한 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다.
단계(530)에서 복호화부(122)는 단계(520)에서 생성한 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다.
단계(540)에서 복호화부(122)는 단계(520)에서 변환한 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임을 생성할 수 있다.
이때, 복호화부(122)는 시간 영역의 서브 프레임들에서 윈도우를 해제하여 그룹화된 서브 프레임들을 복원할 수 있다. 그리고, 복호화부(122)는 그룹에 포함된 서브 프레임들에 오버랩 애드를 수행할 수 있다.
또한, 복호화부(122)는 입력 프레임들을 이용하여 출력 오디오 신호를 복호화할 수 있다.
도 6은 본 발명의 제1 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 디코더(610)를 이용하여 비트스트림(601)에서 2D 인트라 블록(602)을 복호화할 수 있다.
다음으로, 복호화부(122)는 스플리터(620)로 2D 인트라 블록(602)을 분할하여 주파수 영역의 서브 프레임(603)들을 생성할 수 있다.
그 다음으로 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임으로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 서브 프레임들에서 윈도우를 해제하여 그룹화된 서브 프레임들(604)을 복원할 수 있다. 그리고, 복호화부(122)는 오버랩부(630)를 이용하여 그룹에 포함된 서브 프레임들에 오버랩 애드를 수행할 수 있다. 예를 들어, 복호화부(122)는 서브 프레임 1과 서브 프레임 2가 포함된 그룹과 서브 프레임 2와 서브 프레임 3이 포함된 그룹을 오버랩 애드하여 서브 프레임 1, 서브 프레임 2 및 서브 프레임 3이 포함된 입력 프레임(605)을 생성할 수 있다.
이때, 현재 프레임의 마지막 서브 프레임인 b과 그룹화된 다음 프레임의 첫 번째 서브 프레임인 b+1는 다음 프레임의 첫 번째 그룹과 오버랩 애드될 수 있다. 구체적으로, 현재 프레임의 마지막 그룹(b,b+1)는 다음 프레임의 첫 번째 그룹인 (b+1, b+2)과 오버랩 애드될 수 있다.
마지막으로 복호화부(122)는 상기 과정들을 반복하여 입력 프레임(605)들을 순차적으로 생성함으로써, 도 6에 도시된 바와 같이 입력 프레임(605)들로 구성된 출력 오디오 신호(600)를 복호화할 수 있다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(710)에서 부호화부(111)는 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 그룹화할 수 있다. 이때, 부호화부(111)는 입력 프레임들로 오버랩 애드(overlap-add) 중첩과정을 수행하기 위한 50% 오버랩(overlap)을 고려하여 입력 프레임들을 2개씩 그룹화할 수 있다.
단계(720)에서 부호화부(111)는 단계(710)에서 그룹화한 입력 프레임들에 윈도우를 적용할 수 있다.
단계(730)에서 부호화부(111)는 단계(720)에서 윈도우가 적용된 입력 프레임들을 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT(Modified Discrete Cosine Transform)를 윈도우가 적용된 입력 프레임들에 적용함으로써, 입력 프레임들을 주파수 영역으로 변환할 수 있다.
단계(740)에서 부호화부(111)는 단계(730)에서 주파수 영역으로 변환된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성할 수 있다. 이때, 2D 인터 블록은, 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
단계(750)에서 부호화부(111)는 단계(740)에서 형성된 2D 인터 블록을 부호화할 수 있다.
이때, 부호화부(111)는 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할할 수 있다. 그리고, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다. 다음으로, 부호화부(111)는 서브 밴드 신호들 각각을 양자화할 수 있다. 마지막으로 부호화부(111)는 상관도를 기초로 예측 이득을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다.
도 8은 본 발명의 제2 실시예에 따른 오디오 부호화 과정의 일례이다.
도 8에서 / 해칭으로 표시된 신호는 시간 영역의 오디오 신호이고, \ 해칭으로 표시된 신호는 주파수 영역의 오디오 신호일 수 있다.
입력 오디오 신호는 도 8에 도시된 바와 같이 복수의 입력 프레임(801)들을 포함할 수 있다.
부호화부(111)는 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 적어도 2개 이상씩 그룹화하여 그룹(802)들을 생성할 수 있다. 이때, 부호화부(111)는 입력 프레임들로 오버랩 애드(overlap-add) 중첩과정을 수행하기 위한 50% 오버랩(overlap)을 고려하여 입력 프레임들을 2개씩 그룹화할 수 있다.
다음으로, 부호화부(111)는 그룹(802)들에 윈도우를 적용할 수 있다. 예를 들어, 부호화부(111)는 그룹(802)들에 신(sine) 윈도우, 또는 카이저 베셀(Kaiser Bessel) 윈도우를 적용할 수 있다.
그 다음으로 부호화부(111)는 윈도우가 적용된 입력 프레임들을 시간 영역에서 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT(Modified Discrete Cosine Transform)를 윈도우가 적용된 입력 프레임들에 적용함으로써, 입력 프레임들을 주파수 영역으로 변환할 수 있다.
다음으로 부호화부(111)는 주파수 영역으로 변환된 입력 프레임(803)들을 적분기(integrator)(810)에 입력하여 2D 인터(inter) 블록(804)을 형성할 수 있다. 이때, 2D 인터 블록은, 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
그 다음으로 부호화부(111)는 입력 프레임(801)들을 각각 양자화하지 않고, 하나의 2D 인터 블록(804)을 양자화함으로써, 입력 프레임(801)들을 독립적으로 양자화하는 방식 보다 부호화 효율을 높일 수 있다.
이때, 부호화부(111)는 2D 인터 블록(804)으로부터 입력 프레임(801) 간의 상관도를 예측함으로써, 2D 인터 블록(804)의 정보량을 최소화하여 양자화를 수행할 수 있다. 2D 인터 블록(804)의 양자화 방법은 이하 도 9를 참조하여 상세히 설명한다.
마지막으로 부호화부(111)는 인코더(330)를 이용하여 양자화 인덱스 및 관련 정보에 대해서 엔트로피 인부호화/복호화(entropy encoding)을 수행함으로써, 비트스트림(bit stream)을 출력할 수 있다.
도 9는 본 발명의 제2 실시예에 따른 양자화 방법의 일례이다.
부호화부(111)는 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할할 수 있다. 예를 들어, 2D 인터 블록의 입력 프레임 Frame 0은 도 9에 도시된 바와 같이 서브 밴드 sf(0,0) 내지 서브 밴드 sf(N/2,0)로 분할될 수 있다. 이때, N은 주파수 계수의 개수일 수 있다.
그리고, 부호화부(111)는 서브 밴드 신호들 각각을 양자화할 수 있다. 이때, 부호화부(111)는 서브 밴드 신호들간의 상관도를 예측할 수 있다.
그 다음으로, 부호화부(111)는 상관도를 기초로 예측 이득(prediction gain)을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화할 수 있다. 이때, 부호화부(111)는 DPCM과 LPC 방식으로 예측 이득을 계산할 수 있다.
마지막으로 부호화부(111)는 잔차 신호에 스케일 펙터를 적용하여 양자화를 한 후, 무손실 압축을 수행할 수 있다.
도 10은 본 발명의 제2 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(1010)에서 복호화부(122)는 수신부(121)가 수신한 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
단계(1020)에서 복호화부(122)는 단계(1010)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성할 수 있다.
단계(1030)에서 복호화부(122)는 단계(1020)에서 생성한 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 입력 프레임들에서 윈도우를 해제하여 입력 프레임들의 그룹들을 복원할 수 있다.
단계(1040)에서 복호화부(122)는 단계(1020)에서 변환한 시간 영역의 입력 프레임들의 그룹에 오버랩 애드(overlap add)를 수행하여 오디오 신호를 구성하는 원본 입력 프레임을 생성할 수 있다. 또한, 복호화부(122)는 원본 입력 프레임들을 이용하여 출력 오디오 신호를 복호화할 수 있다.
도 11은 본 발명의 제2 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 디코더(610)를 이용하여 비트스트림에서 2D 인터 블록(1101)을 복호화할 수 있다.
다음으로, 복호화부(122)는 스플리터(1120)로 2D 인터 블록(1101)을 분할하여 주파수 영역의 입력 프레임(1102)들을 생성할 수 있다.
그 다음으로 복호화부(122)는 주파수 영역의 입력 프레임들(1102)을 시간 영역의 입력 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 입력 프레임들에서 윈도우를 해제하여 입력 프레임들의 그룹(1130)들을 복원할 수 있다. 마지막으로 복호화부(122)는 오버랩부(1130)를 이용하여 그룹(1103)들에 오버랩 애드를 수행함으로써, 입력 프레임들로 구성된 오디오 신호(1100)를 복원할 수 있다.
도 12는 본 발명의 제3 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(1210)에서 부호화부(111)는 오디오 신호를 구성하는 제1 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성할 수 있다.
이때, 부호화부(111)는 오버랩을 고려하여 복수의 제1 입력 프레임들을 그룹화할 수 있다. 다음으로, 부호화부(111)는 그룹화한 제1 입력 프레임들에 윈도우를 적용할 수 있다. 그 다음으로 부호화부(111)는 윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성할 수 있다.
단계(1220)에서 부호화부(111)는 단계(1210)에서 형성한 2D 인터 블록을 부호화할 수 있다.
단계(1230)에서 부호화부(111)는 단계(1220)에서 부호화한 2D 인터 블록에서 제2 입력 프레임들을 복원할 수 있다. 이때, 제2 입력 프레임은 단계(1220)에서 부호화한 2D 인터 블록에 복호화 과정을 수행한 결과일 수 있다.
단계(1240)에서 부호화부(111)는 단계(1230)에서 복원한 제2 입력 프레임과 제1 입력 프레임 간의 잔차 신호를 이용하여 2D 인트라(intra)블록을 형성할 수 있다.
이때, 부호화부(111)는 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할할 수 있다. 다음으로, 부호화부(111)는 서브 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로, 부호화부(111)는 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라 블록을 형성할 수 있다.
단계(1250)에서 부호화부(111)는 단계(1240)에서 형성한 2D 인트라 블록을 부호화할 수 있다.
단계(1260)에서 부호화부(111)는 단계(1250)에서 부호화한 2D 인터 블록과 단계(1220)에서 부호화한 2D 인트라 블록을 믹싱하여 비트스트림으로 변환할 수 있다.
도 13은 본 발명의 제3 실시예에 따른 오디오 부호화 과정의 일례이다.
입력 오디오 신호(1300)는 도 13에 도시된 바와 같이 복수의 제1 입력 프레임(1301)들을 포함할 수 있다.
부호화부(111)는 오버랩을 고려하여 복수의 제1 입력 프레임(1301)들을 그룹화할 수 있다. 이때, 부호화부(111)는 그룹화한 제1 입력 프레임들에 윈도우를 적용할 수 있다. 그 다음으로 부호화부(111)는 윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성할 수 있다.
다음으로, 부호화부(111)는 인터 블록 인코더(1310)를 이용하여 2D 인터 블록을 부호화할 수 있다. 이때, 인터 블록 인코더(1310)는 부호화한 2D 인터 블록을 인터 블록 비트스트림으로 변환하여 출력할 수 있다.
그 다음으로, 부호화부(111)는 인터 블록 통합기(1320)를 이용하여 2D 인터 블록에서 제2 입력 프레임들을 복원할 수 있다. 구체적으로, 부호화부(111)는 인터 블록을 복수의 입력 프레임들로 분할하고, 통합하는 복호화 과정을 수행하여 제2 입력 프레임을 생성할 수 있다.
다음으로, 부호화부(111)는 차분 신호 생성기(1330)를 이용하여 제2 입력 프레임과 제1 입력 프레임 간의 잔차 신호(1302)를 생성할 수 있다.
그 다음으로, 부호화부(111)는 잔차 신호(1302)를 이용하여 2D 인트라 블록을 형성할 수 있다. 이때, 부호화부(111)는 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할할 수 있다. 다음으로, 부호화부(111)는 서브 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로, 부호화부(111)는 주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라 블록을 형성할 수 있다.
다음으로, 부호화부(111)는 인트라 블록 인코더(1340)를 이용하여 2D 인트라 블록을 부호화할 수 있다. 이때, 인트라 블록 인코더(1340)는 부호화한 2D 인트라 블록을 인트라 블록 비트스트림으로 변환하여 출력할 수 있다.
송신부(112)는 인터 블록 비트스트림과 인트라 블록 비트스트림을 하나의 비트스트림으로 믹싱하여 오디오 복호화 장치(120)로 전송할 수 있다.
도 14는 본 발명의 제3 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(1410)에서 복호화부(122)는 비트스트림에서 부호화된 2D 인터 블록과 부호화된 2D 인트라 블록을 추출할 수 있다. 그리고, 복호화부(122)는 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화할 수 있다.
단계(1420)에서 복호화부(122)는 단계(1410)에서 복호화한 2D 인터 블록에서 입력 프레임 신호의 그룹들을 복원할 수 있다. 이때, 복호화부(122)는 단계(1420)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 입력 프레임들에서 윈도우를 해제하여 입력 프레임들의 그룹들을 복원할 수 있다.
단계(1430)에서 복호화부(122)는 단계(1420)에서 복원한 입력 프레임들의 그룹들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
단계(1440)에서 복호화부(122)는 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화할 수 있다.
단계(1450)에서 복호화부(122)는 단계(1440)에서 복호화한 2D 인트라 블록에서 잔차 신호를 복원할 수 있다. 이때, 복호화부(122)는 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다. 그리고, 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다. 마지막으로 복호화부(122)는 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 잔차 신호를 생성할 수 있다.
단계(1460)에서 복호화부(122)는 단계(1450)에서 생성한 잔차 신호와 단계(1430)에서 생성한 제2 입력 프레임을 이용하여 원본인 제1 입력 프레임을 복원할 수 있다. 이때, 잔차 신호는 부호화 방법의 단계(1240)에서 생성된 바와 같이 부호화된 2D 인터 블록에서 복원한 입력 프레임인 제2 입력 프레임과 원본 입력 프레임인 제1 입력 프레임 간의 차이일 수 있다.
따라서, 복호화부(122)는 제2 입력 프레임에 잔차 신호를 합하여 제1 입력 프레임을 복원할 수 있다.
도 15는 본 발명의 제3 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 부호화된 2D 인트라 블록을 변환한 인트라 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인트라 블록 디코더(1510)를 이용하여 인터 블록 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
이때, 복호화부(122)는 단계(1440)에서 복호화한 2D 인트라 블록에서 잔차 신호(1501)를 복원할 수 있다.
또한, 복호화부(122)는 부호화된 2D 인터 블록을 변환한 인터 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인터 블록 디코더(1530)를 이용하여 인터 블록 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
다음으로, 복호화부(122)는 복호화한 2D 인터 블록에서 입력 프레임 신호의 그룹(1502)들을 복원할 수 있다.
그 다음으로, 복호화부(122)는 입력 프레임들의 그룹(1502)들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
마지막으로 복호화부(122)는 결합부(1520)로 제2 입력 프레임에 잔차 신호(1501)를 합하여 제1 입력 프레임들로 구성된 오디오 신호(1500)를 복호화할 수 있다.
도 16은 본 발명의 제4 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(1610)에서 부호화부(111)는 오디오 신호를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성할 수 있다.
단계(1620)에서 부호화부(111)는 단계(1610)에서 형성한 2D 인트라 블록들을 부호화할 수 있다.
이때, 부호화부(111)는 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정할 수 있다. 그리고, 부호화부(111)는 매크로 블록들 간의 상관도를 예측할 수 있다. 다음으로, 부호화부(111)는 예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행할 수 있다. 그 다음으로, 부호화부(111)는 매크로 블록들 각각을 양자화할 수 있다. 마지막으로 부호화부(111)는 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화할 수 있다.
단계(1630)에서 부호화부(111)는 단계(1620)에서 부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원할 수 있다.
단계(1640)에서 부호화부(111)는 단계(1630)에서 복원한 제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성할 수 있다.
단계(1650)에서 부호화부(111)는 단계(1640)에서 생성한 제2 입력 프레임들과 제1 입력 프레임들 간의 잔차 신호들을 생성할 수 있다. 그리고, 부호화부(111)는 제2 입력 프레임들과 제1 입력 프레임들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성할 수 있다.
단계(1660)에서 부호화부(111)는 단계(1650)에서 형성한 2D 인터 블록을 부호화할 수 있다.
단계(1670)에서 부호화부(111)는 단계(1660)에서 부호화한 상기 2D 인터 블록과 단계(1620)에서 부호화한 2D 인트라 블록을 믹싱한 비트스트림을 출력할 수 있다.
도 17은 본 발명의 제4 실시예에 따른 오디오 부호화 과정의 일례이다.
부호화부(111)는 오디오 신호(1700)를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성할 수 있다. 그리고, 부호화부(111)는 인트라 블록 인코더(1710)를 이용하여 2D 인트라 블록들을 부호화할 수 있다. 이때, 인트라 블록 인코더(1710)는 부호화한 2D 인트라 블록을 인트라 블록 비트스트림으로 변환하여 출력할 수 있다.
다음으로, 부호화부(111)는 단계(1620)에서 부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원할 수 있다. 이때, 부호화부(111)는 인트라 블록 통합기(1720)로 제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성할 수 있다.
그 다음으로 부호화부(111)는 잔차 신호 생성기(1730)를 이용하여 제2 입력 프레임들과 제1 입력 프레임들 간의 잔차 신호(1701)들을 생성할 수 있다.
다음으로, 부호화부(111)는 오버랩을 고려하여 잔차 신호(1701)를 구성하는 프레임들을 적어도 2개 이상씩 그룹화하여 그룹(1702)들을 생성할 수 있다.
그 다음으로, 부호화부(111)는 그룹(1702)들을 이용하여 2D 인터 블록을 형성할 수 있다.
이때, 부호화부(111)는 그룹(1702)들에 윈도우를 적용할 수 있다. 그리고, 부호화부(111)는 단계(720)에서 윈도우가 적용된 그룹(1702)들을 주파수 영역으로 변환할 수 있다. 이때, 부호화부(111)는 50% 오버랩을 고려하여 MDCT를 그룹(1702) 들에 적용함으로써, 입력 프레임들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 그룹(1702)에 포함된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성할 수 있다. 이때, 2D 인터 블록은, 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록일 수 있다.
마지막으로, 부호화부(111)는 인터 블록 인코더(1740)를 이용하여 2D 인터 블록을 부호화할 수 있다. 이때, 인터 블록 인코더(1740)는 부호화한 2D 인터 블록을 인터 블록 비트스트림으로 변환하여 출력할 수 있다.
송신부(112)는 인터 블록 비트스트림과 인트라 블록 비트스트림을 하나의 비트스트림으로 믹싱하여 오디오 복호화 장치(120)로 전송할 수 있다.
도 18은 본 발명의 제4 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(1810)에서 복호화부(122)는 비트스트림에서 부호화된 2D 인터 블록과 부호화된 2D 인트라 블록을 추출할 수 있다. 그리고, 복호화부(122)는 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화할 수 있다.
단계(1820)에서 복호화부(122)는 단계(1810)에서 복호화한 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원할 수 있다. 이때, 복호화부(122)는 단계(1820)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원할 수 있다.
단계(1830)에서 복호화부(122)는 단계(1820)에서 복원한 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 생성할 수 있다.
단계(1840)에서 복호화부(122)는 부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화할 수 있다.
단계(1850)에서 복호화부(122)는 단계(1840)에서 복호화한 2D 인트라 블록에서 제2 입력 프레임을 복원할 수 있다. 이때, 복호화부(122)는 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다. 그리고, 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다. 마지막으로 복호화부(122)는 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
단계(1860)에서 복호화부(122)는 단계(1850)에서 생성한 제2 입력 프레임과 단계(1830)에서 생성한 잔차 신호를 이용하여 원본인 제1 입력 프레임을 복원할 수 있다. 이때, 잔차 신호는 부호화 방법의 단계(1650)에서 생성된 바와 같이 부호화된 2D 인트라 블록에서 복원한 입력 프레임인 제2 입력 프레임과 원본 입력 프레임인 제1 입력 프레임 간의 차이일 수 있다. 따라서, 복호화부(122)는 제2 입력 프레임에 잔차 신호를 합하여 제1 입력 프레임을 복원할 수 있다.
도 19는 본 발명의 제4 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 부호화된 2D 인터 블록을 변환한 인터 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인터 블록 디코더(1910)를 이용하여 인터 블록 비트스트림에서 잔차 신호들의 그룹(1901)을 복호화할 수 있다.
다음으로 복호화부(122)는 복원한 잔차 신호의 프레임들의 그룹(1901)들에 오버랩 애드를 수행하여 프레임들로 구성된 잔차 신호(1902)를 생성할 수 있다.
또한, 복호화부(122)는 부호화된 2D 인트라 블록을 변환한 인트라 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인트라 블록 디코더(1930)를 이용하여 인터 블록 비트스트림에서 2D 인터 블록을 복호화할 수 있다.
이때, 복호화부(122)는 단계(1440)에서 복호화한 2D 인트라 블록을 이용하여 제2 입력 프레임을 복원할 수 있다. 이때, 복호화부(122)는 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성할 수 있다. 그리고, 복호화부(122)는 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환할 수 있다. 마지막으로 복호화부(122)는 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성할 수 있다.
마지막으로, 복호화부(122)는 결합부(1940)로 제2 입력 프레임에 잔차 신호(1902)를 합하여 제1 입력 프레임들로 구성된 오디오 신호(1900)를 복호화할 수 있다.
이때, 제2 입력 프레임은 제1 입력 프레임을 부호화하고, 복호화한 결과이므로, 제2 입력 프레임만으로도 오디오 신호를 생성할 수 있다. 다만, 부호화 및 복호화 과정에서 신호의 변화가 발생하므로, 제2 입력 프레임은 원본 오디오 신호에 포함된 프레임인 제1 입력 프레임과 차이가 있을 수 있다. 잔차 신호는 제1 입력 프레임과 제2 입력 프레임 간의 차이를 나타내는 정보이므로, 복호화부(122)는 제2 입력 프레임에 잔차 신호를 합하여 제1 입력 프레임을 복호화함으로써, 복호화한 오디오 신호(1900)의 품질을 향상시킬 수 있다
도 20은 본 발명의 제5 실시예에 따른 오디오 신호의 부호화 방법을 도시한 플로우차트이다.
단계(2010)에서 부호화부(111)는 오디오 신호를 구 성하는 입력 프레임들을 각각을 복수의 서브 프레임들로 분할하여 2D 인트라 블록들을 형성할 수 있다.
단계(2020)에서 부호화부(111)는 단계(2010)에서 형성한 2D 인트라 블록들을 부호화할 수 있다.
단계(2030)에서 부호화부(111)는 단계(2010)에서 형성한 2D 인트라 블록들과 단계(2020)에서 부호화한 2D 인트라 블록들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성할 수 있다.
단계(2040)에서 부호화부(111)는 단계(2030)에서 형성한 2D 인터 블록을 부호화할 수 있다.
단계(2050)에서 부호화부(111)는 단계(2040)에서 부호화한 2D 인터 블록과 단계(2020)에서 부호화한 2D 인트라 블록을 믹싱할 수 있다.
도 21은 본 발명의 제5 실시예에 따른 오디오 부호화 과정의 일례이다.
부호화부(111)는 오디오 신호(2100)에 인트라 블록 변환기(2110)를 사용하여 2D 인트라 블록들을 형성할 수 있다.
구체적으로, 인트라 블록 변환기(21110)는 도 21에 도시된 바와 같이 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하고, 서브 프레임들을 주파수 영역으로 변환하여 2D 인트라 블록들(2101)을 생성할 수 있다.
다음으로, 부호화부(111)는 인트라 블록 인코더(2120)를 이용하여 2D 인트라 블록들을 부호화할 수 있다. 이때, 인트라 블록 인코더(2120)는 부호화한 2D 인트라 블록을 인트라 블록 비트스트림으로 변환하여 출력할 수 있다.
그 다음으로, 부호화부(111)는 2D 인트라 블록(2101)들과 인트라 블록 인코더(2120)가 부호화한 2D 인트라 블록들 간의 잔차 신호들을 생성할 수 있다.
다음으로, 부호화부(111)는 인터 블록 변환기(2130)에 잔차 신호를 입력하여 2D 인터 블록(2102)을 형성할 수 있다.
이때, 부호화부(111)는 오버랩을 고려하여 잔차 신호를 구성하는 프레임들을 적어도 2개 이상씩 그룹화하여 그룹들을 생성할 수 있다. 그리고, 부호화부(111)는 그룹들에 윈도우를 적용할 수 있다. 다음으로, 부호화부(111)는 윈도우가 적용된 그룹들을 주파수 영역으로 변환할 수 있다. 마지막으로 부호화부(111)는 주파수 영역으로 변환된 그룹에 포함된 입력 프레임들을 이용하여 2D 인터 블록(2102)을 형성할 수 있다. 이때, 2D 인터 블록(2102)은 2D 인트라 블록(2101)이 서브블록 단위의 주파수 계수로 표현된 블록일 수 있다.
마지막으로 부호화부(111)는 인터 블록 인코더(2140)로 2D 인터 블록(2102)을 부호화할 수 있다. 이때, 인터 블록 인코더(2140)는 부호화한 2D 인터 블록을 인터 블록 비트스트림으로 변환하여 출력할 수 있다.
이때, 송신부(112)는 인터 블록 비트스트림과 인트라 블록 비트스트림을 하나의 비트스트림으로 믹싱하여 오디오 복호화 장치(120)로 전송할 수 있다.
도 22는 본 발명의 제5 실시예에 따른 양자화 방법의 일례이다.
부호화부(111)는 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정할 수 있다. 그리고, 부호화부(111)는 매크로 블록들 간의 상관도를 예측할 수 있다.
예를 들어, 부호화부(111)는 도 22에 도시된 바와 같이 첫 번째 매크로 블록인 1과 매크로 블록 1에 인접한 다른 서브 프레임들 간의 상관도를 예측할 수 있다. 또한, 부호화부(111)는 네 번째 매크로 블록인 4와 매크로 블록 4에 인접한 다른 서브 프레임들 간의 상관도를 예측할 수 있다
또한, 부호화부(111)는 도 22에 도시된 바와 같이 인접한 매크로 블록 이외에도 일정 간격 이격된 매크로 블록과 현재 처리 중인 매크로 블록 간의 상관도를 예측할 수도 있다. 예를 들어, 부호화부(111)는 현재 처리 중인 매크로 블록을 기준으로 복수의 매크로 블록들만큼 이격된 다른 매크로 블록과 현재 처리 중인 매크로 블록 간의 상관도를 예측할 수 있다. 이때, 최적의 상관도를 가지는 매크로 블록을 찾을 확률이 증가하나, 복수의 매크로 블록들만큼 이격된 다른 매크로 블록의 위치 정보와 같은 부가 정보를 더 필요로 할 수 있다. 따라서, 상관도를 측정하는 매크로 블록들 간의 거리와 최적의 상관도를 가지는 매크로 블록을 찾을 확률 간에 트레이드 오프(trade-off)가 있을 수 있다.
다음으로, 부호화부(111)는 예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행할 수 있다. 그 다음으로, 부호화부(111)는 매크로 블록들 각각을 양자화할 수 있다. 마지막으로 부호화부(111)는 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화할 수 있다.
도 23은 본 발명의 제5 실시예에 따른 오디오 복호화 방법을 도시한 플로우차트이다.
단계(2310)에서 복호화부(122)는 비트스트림에서 부호화된 2D 인터 블록과 부호화된 2D 인트라 블록을 추출할 수 있다. 그리고, 복호화부(122)는 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화할 수 있다.
단계(2320)에서 복호화부(122)는 단계(2310)에서 복호화한 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원할 수 있다. 이때, 복호화부(122)는 단계(2320)에서 복호화한 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원할 수 있다.
단계(2330)에서 복호화부(122)는 단계(2320)에서 복원한 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 복원할 수 있다.
단계(2340)에서 복호화부(122)는 인트라 블록 비트스트림을 부호화된 2D 인트라 블록으로 변환할 수 있다.
단계(2350)에서 복호화부(122)는 단계(2340)에서 변환한 부호화된 2D 인트라 블록과 단계(2330)에서 생성한 잔차 신호를 이용하여 부호화 전의 2D 인트라 블록을 복원할 수 있다. 이때, 잔차 신호는 부호화 방법의 단계(2030)에서 생성된 바와 같이 단계(2010)에서 형성한 2D 인트라 블록들과 단계(2020)에서 부호화한 2D 인트라 블록들 간의 차이일 수 있다. 따라서, 복호화부(122)는 부호화된 2D 인트라 블록에 잔차 신호를 합하여 부호화 하기 전의 2D 인트라 블록을 복원할 수 있다.
단계(2360)에서 복호화부(122)는 단계(2350)에서 복원한 부호화 하기 전의 2D 인트라 블록을 이용하여 오디오 신호를 복원할 수 있다. 구체적으로, 복호화부는 도 5의 단계(520) 내지 단계(540)를 수행하여 2D 인트라 블록에서 입력 프레임들로 구성된 오디오 신호를 복원할 수 있다.
도 24는 본 발명의 제5 실시예에 따른 오디오 복호화 과정의 일례이다.
복호화부(122)는 부호화된 2D 인터 블록을 변환한 인터 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인터 블록 디코더(2410)를 이용하여 인터 블록 비트스트림에서 잔차 신호(2401)를 생성할 수 있다.
구체적으로, 복호화부(122)는 복호화한 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성할 수 있다. 다음으로 복호화부(122)는 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원할 수 있다. 마지막으로 복호화부(122)는 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호(2401)를 복원할 수 있다.
그리고, 복호화부(122)는 인터 블록 스플리터(2420)를 이용하여 잔차 신호(2401)를 인트라 블록 단위로 분할할 수 있다.
또한, 복호화부(122)는 부호화된 2D 인트라 블록을 변환한 인트라 블록 비트스트림을 수신할 수 있다. 그리고, 복호화부(122)는 인트라 블록 디코더(2430)를 이용하여 인터 블록 비트스트림을 부호화된 2D 인터 블록으로 변환할 수 있다.
이때, 복호화부(122)는 부호화된 2D 인트라 블록과 인트라 블록 단위로 분할한 잔차 신호들을 이용하여 부호화 전의 2D 인트라 블록을 복원할 수 있다. 구체적으로, 복호화부(122)는 부호화된 2D 인트라 블록에 잔차 신호를 합하여 부호화 하기 전의 2D 인트라 블록(2402)을 복원할 수 있다.
이때, 부호화 하기 전의 2D 인트라 블록(2402)은 도 24에 도시된 바와 같이 복수의 서브 프레임들로 구성된 인트라 블록일 수 있다.
마지막으로 복호화부(122)는 인트라 블록 통합기(2440)로 부호화 하기 전의 2D 인트라 블록(2402)들을 통합하여 오디오 신호를 복원할 수 있다. 구체적으로, 복호화부는 2D 인트라 블록(2402)에 포함된 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임으로 변환할 수 있다. 이때, 복호화부(122)는 시간 영역의 서브 프레임들에서 윈도우를 해제하여 그룹화된 서브 프레임들을 복원할 수 있다. 그리고, 복호화부(122)는 그룹에 포함된 서브 프레임들에 오버랩 애드를 수행하여 오디오 신호(2400)를 구성하는 입력 프레임 1 내지 12들을 순차적으로 생성함으로써, 도 24에 도시된 바와 같이 입력 프레임들로 구성된 오디오 신호(2400)를 복호화할 수 있다.
본 발명은 입력 오디오 신호를 2차원 신호로 재구성한 후 부호화함으로써, 부호화 효율을 높일 수 있다. 또한, 본 발명은 블록 단위로 해석되는 부호화 방식을 사용함으로써, 비디오 신호와 동일한 프레이밍 구조를 가질 수 있으므로, 부호화 방식의 동질성 및 동기화가 종래의 부호화 방법보다 유연해지도록 할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 오디오 신호를 구성하는 입력 프레임들 각각을 복수의 서브 프레임들로 분할하는 단계;
    상기 서브 프레임들을 주파수 영역으로 변환하는 단계;
    주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계; 및
    상기 2D 인트라 블록을 부호화하는 단계
    를 포함하고,
    상기 2D 인트라 블록은,
    상기 주파수 영역으로 변환된 서브 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록인 오디오 신호의 부호화 방법.
  2. 제1항에 있어서,
    상기 주파수 영역으로 변환하는 단계는,
    오버랩을 고려하여 상기 서브 프레임들을 그룹화하는 단계;
    그룹화한 서브 프레임들에 윈도우를 적용하는 단계; 및
    윈도우가 적용된 서브 프레임들을 주파수 영역으로 변환하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  3. 제2항에 있어서,
    상기 그룹화하는 단계는,
    상기 입력 프레임 중 현재 프레임에서 분할된 마지막 서브 프레임과 다음 프레임에서 분할된 첫 번째 서브 프레임을 그룹화하는 오디오 신호의 부호화 방법.
  4. 제1항에 있어서,
    상기 부호화하는 단계는.
    상기 2D 인트라 블록의 서브 프레임들 각각을 복수의 서브 밴드 신호들로 분할하는 단계;
    상기 서브 밴드 신호들간의 상관도를 예측하는 단계;
    상기 서브 밴드 신호들 중 대역값이 기준값을 초과하는 고대역 신호를 스케일 펙터를 이용하여 양자화하는 단계;
    상기 서브 밴드 신호들 중 대역값이 상기 기준값 이하인 저대역 신호의 예측 결과 및 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계; 및
    양자화 인덱스, 스케일 펙터 및 양자화된 고대역 신호, 잔차 신호, 예측 결과를 비트스트림으로 변환하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  5. 수신한 비트스트림에서 2D 인트라 블록을 복호화하는 단계;
    상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계;
    상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계;
    상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들을 생성하는 단계; 및
    입력 프레임들을 이용하여 오디오 신호를 복호화하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  6. 오버랩을 고려하여 오디오 신호를 구성하는 입력 프레임들을 그룹화하는 단계;
    그룹화한 입력 프레임들에 윈도우를 적용하는 단계;
    윈도우가 적용된 입력 프레임들을 주파수 영역으로 변환하는 단계;
    주파수 영역으로 변환된 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계; 및
    상기 2D 인터 블록을 부호화하는 단계
    를 포함하고,
    상기 2D 인터 블록은,
    상기 주파수 영역으로 변환된 입력 프레임들의 주파수 계수를 시간과 주파수를 이용하여 2차원으로 표시한 블록인 오디오 신호의 부호화 방법.
  7. 제6항에 있어서,
    상기 부호화하는 단계는.
    상기 2D 인터 블록의 입력 프레임들 각각을 서브 밴드 신호들로 분할하는 단계;
    상기 서브 밴드 신호들간의 상관도를 예측하는 단계;
    상기 서브 밴드 신호들 각각을 양자화하는 단계; 및
    상기 상관도를 기초로 예측 이득을 계산하여 서브 밴드 신호들 간의 잔차 신호를 양자화하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  8. 수신한 비트스트림에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록을 이용하여 주파수 영역의 입력 프레임들을 생성하는 단계;
    상기 주파수 영역의 입력 프레임들을 시간 영역의 입력 프레임들로 변환하는 단계; 및
    상기 시간 영역의 서브 프레임들에 오버랩 애드(overlap add)를 수행하여 입력 프레임들로 구성된 오디오 신호를 복호화하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  9. 오디오 신호를 구성하는 제1 입력 프레임들을 이용하여 2D 인터(inter)블록을 형성하는 단계;
    상기 2D 인터 블록을 부호화하는 단계;
    부호화한 2D 인터 블록에서 제2 입력 프레임들을 복원하는 단계;
    상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 이용하여 2D 인트라(intra)블록을 형성하는 단계;
    상기 2D 인트라 블록을 부호화하는 단계; 및
    부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  10. 제9항에 있어서,
    상기 2D 인터 블록을 형성하는 단계는,
    오버랩을 고려하여 복수의 제1 입력 프레임들을 그룹화하는 단계;
    그룹화한 제1 입력 프레임들에 윈도우를 적용하는 단계;
    윈도우가 적용된 제1 입력 프레임들을 주파수 영역으로 변환하는 단계; 및
    주파수 영역으로 변환된 제1 입력 프레임들을 이용하여 2D 인터 블록을 형성하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  11. 제9항에 있어서,
    상기 2D 인트라 블록을 형성하는 단계는,
    상기 제2 입력 프레임과 상기 제1 입력 프레임 간의 잔차 신호를 복수의 서브 프레임들로 분할하는 단계;
    상기 서브 프레임들을 주파수 영역으로 변환하는 단계; 및
    주파수 영역으로 변환된 서브 프레임들을 이용하여 2D 인트라(intra)블록을 형성하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  12. 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록에서 입력 프레임 신호의 그룹들을 복원하는 단계;
    복원한 입력 프레임들의 그룹들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계;
    부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계;
    상기 2D 인트라 블록에서 잔차 신호를 복원하는 단계; 및
    상기 잔차 신호와 상기 제2 입력 프레임을 이용하여 원본인 제1 입력 프레임을 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  13. 오디오 신호를 구성하는 제1 입력 프레임들 각각을 복수의 제1 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계;
    2D 인트라 블록들을 부호화하는 단계;
    부호화한 2D 인트라 블록들에서 제2 서브 프레임들을 복원하는 단계;
    제2 서브 프레임들을 결합하여 제2 입력 프레임들을 생성하는 단계;
    상기 제2 입력 프레임들과 상기 제1 입력 프레임들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계;
    상기 2D 인터 블록을 부호화하는 단계; 및
    부호화된 상기 2D 인터 블록과 부호화된 상기 2D 인트라 블록을 믹싱하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  14. 제13항에 있어서,
    상기 2D 인터 블록을 부호화하는 단계는,
    상기 2D 인트라 블록들의 제1 서브 프레임들을 매크로 블록으로 설정하는 단계;
    매크로 블록들 간의 상관도를 예측하는 단계;
    예측한 상관도가 가장 높은 매크로 블록들에 DPCM(Differential Pulse Code Modulation)를 수행하는 단계
    상기 매크로 블록들 각각을 양자화하는 단계; 및
    상기 DPCM 결과를 기초로 예측 이득을 계산하여 상관도가 가장 높은 매크로 블록들 간의 잔차 신호를 양자화하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  15. 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계;
    상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 생성하는 단계
    부호화된 2D 인트라 블록에서 2D 인트라 블록을 복호화하는 단계;
    상기 2D 인트라 블록에서 제2 입력 프레임을 생성하는 단계; 및
    상기 제2 입력 프레임과 상기 잔차 신호를 이용하여 원본인 제1 입력 프레임을 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  16. 제15항에 있어서,
    상기 제2 입력 프레임을 생성하는 단계는,
    상기 2D 인트라 블록을 이용하여 주파수 영역의 서브 프레임들을 생성하는 단계;
    상기 주파수 영역의 서브 프레임들을 시간 영역의 서브 프레임들로 변환하는 단계; 및
    상기 시간 영역의 서브 프레임들에 오버랩 애드를 수행하여 제2 입력 프레임을 생성하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  17. 오디오 신호를 구성하는 입력 프레임들을 각각을 복수의 서브 프레임들로 분할하여 2D 인트라 블록들을 형성하는 단계;
    2D 인트라 블록들을 부호화하는 단계;
    상기 2D 인트라 블록들과 부호화한 2D 인트라 블록들 간의 잔차 신호들을 이용하여 2D 인터 블록을 형성하는 단계;
    2D 인터 블록을 부호화하는 단계; 및
    상기 2D 인터 블록과 상기 2D 인트라 블록을 믹싱하는 단계
    를 포함하는 오디오 신호의 부호화 방법.
  18. 부호화된 2D 인터 블록에서 2D 인터 블록을 복호화하는 단계;
    상기 2D 인터 블록에서 잔차 신호의 프레임 그룹들을 복원하는 단계;
    상기 잔차 신호의 프레임들의 그룹들에 오버랩 애드를 수행하여 잔차 신호를 복원하는 단계
    부호화된 2D 인트라 블록과 상기 잔차 신호를 이용하여 부호화 전의 2D 인트라 블록을 복원하는 단계; 및
    상기 부호화 하기 전의 2D 인트라 블록을 이용하여 오디오 신호를 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
  19. 제18항에 있어서,
    상기 잔차 신호의 프레임 그룹들을 복원하는 단계는,
    상기 2D 인터 블록을 이용하여 주파수 영역의 프레임들을 생성하는 단계;
    상기 주파수 영역의 프레임들을 시간 영역의 프레임들로 변환하는 단계; 및
    시간 영역의 프레임들에서 윈도우를 해제하여 잔차 신호를 구성하는 프레임들의 그룹들을 복원하는 단계
    를 포함하는 오디오 신호의 복호화 방법.
PCT/KR2017/002995 2016-03-21 2017-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법 WO2017164606A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/081,169 US10839819B2 (en) 2016-03-21 2017-03-21 Block-based audio encoding/decoding device and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0033627 2016-03-21
KR1020160033627A KR102546098B1 (ko) 2016-03-21 2016-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
WO2017164606A2 true WO2017164606A2 (ko) 2017-09-28
WO2017164606A3 WO2017164606A3 (ko) 2018-08-02

Family

ID=59900470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/002995 WO2017164606A2 (ko) 2016-03-21 2017-03-21 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Country Status (3)

Country Link
US (1) US10839819B2 (ko)
KR (1) KR102546098B1 (ko)
WO (1) WO2017164606A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546098B1 (ko) * 2016-03-21 2023-06-22 한국전자통신연구원 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
KR101037931B1 (ko) * 2004-05-13 2011-05-30 삼성전자주식회사 2차원 데이터 처리를 이용한 음성 신호 압축 및 복원장치와 그 방법
US7418394B2 (en) * 2005-04-28 2008-08-26 Dolby Laboratories Licensing Corporation Method and system for operating audio encoders utilizing data from overlapping audio segments
KR100846795B1 (ko) 2006-11-24 2008-07-16 삼성전자주식회사 Ｒｇｂ 코덱 기반의 동영상 송수신 방법 및 그 장치
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
KR101531910B1 (ko) * 2007-07-02 2015-06-29 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101405971B1 (ko) * 2007-07-02 2014-06-12 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101490246B1 (ko) * 2007-07-02 2015-02-05 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101513028B1 (ko) * 2007-07-02 2015-04-17 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101405972B1 (ko) * 2007-07-02 2014-06-12 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
KR101441896B1 (ko) * 2008-01-29 2014-09-23 삼성전자주식회사 적응적 ｌｐｃ 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치
US8380523B2 (en) * 2008-07-07 2013-02-19 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8290782B2 (en) 2008-07-24 2012-10-16 Dts, Inc. Compression of audio scale-factors by two-dimensional transformation
US8532983B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
KR101137652B1 (ko) 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
CN102742238A (zh) * 2010-02-17 2012-10-17 中兴通讯(美国)公司 用于lte-advance系统中csi-rs传输的方法和系统
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
JP5942358B2 (ja) * 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US20140046670A1 (en) * 2012-06-04 2014-02-13 Samsung Electronics Co., Ltd. Audio encoding method and apparatus, audio decoding method and apparatus, and multimedia device employing the same
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
IN2015MN02784A (ko) * 2013-04-05 2015-10-23 Dolby Int Ab
CA3163664A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Audio encoder and decoder
US9489227B2 (en) 2013-06-10 2016-11-08 Electronics And Telecommunications Research Institute Apparatus and method for virtual desktop service
KR102546098B1 (ko) * 2016-03-21 2023-06-22 한국전자통신연구원 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Also Published As

Publication number Publication date
US20190035412A1 (en) 2019-01-31
WO2017164606A3 (ko) 2018-08-02
US10839819B2 (en) 2020-11-17
KR102546098B1 (ko) 2023-06-22
KR20170109456A (ko) 2017-09-29

Similar Documents

Publication Publication Date Title
WO2010087614A2 (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
WO2010107269A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2013183977A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2013141638A1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
WO2010008229A1 (ko) 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
WO2017065525A2 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
WO2012044076A2 (ko) 비디오의 부호화 방법 및 장치, 복호화 방법 및 장치
WO2012036487A2 (en) Apparatus and method for encoding and decoding signal for high frequency bandwidth extension
WO2011053021A2 (en) Method and apparatus for encoding and decoding image by using rotational transform
WO2012144878A2 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2014046526A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2011016702A2 (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2707875A2 (en) Noise filling and audio decoding
WO2016018058A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2017155334A1 (ko) 비디오 코딩 방법 및 장치
WO2011071325A2 (en) Method and apparatus for encoding and decoding image by using rotational transform
AU2012246799A1 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2009116815A2 (en) Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
WO2010050740A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2014185569A1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
WO2015170899A1 (ko) 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
WO2016072611A1 (ko) 인트라 예측을 이용하는 비디오 부호화/복호화 방법 및 장치
WO2015093742A1 (en) Method and apparatus for encoding/decoding an audio signal
WO2016204581A1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2010032992A2 (ko) Mdct기반의 코너와 이종의 코더간 변환에서의 인코딩 장치 및 디코딩 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17770576

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 17770576

Country of ref document: EP

Kind code of ref document: A2