WO2010008229A1 - 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 - Google Patents

포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 Download PDF

Info

Publication number
WO2010008229A1
WO2010008229A1 PCT/KR2009/003938 KR2009003938W WO2010008229A1 WO 2010008229 A1 WO2010008229 A1 WO 2010008229A1 KR 2009003938 W KR2009003938 W KR 2009003938W WO 2010008229 A1 WO2010008229 A1 WO 2010008229A1
Authority
WO
WIPO (PCT)
Prior art keywords
downmix
signal
downmix signal
post
parameter
Prior art date
Application number
PCT/KR2009/003938
Other languages
English (en)
French (fr)
Inventor
서정일
백승권
강경옥
홍진우
김진웅
안치득
김광기
한민수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN2009801362577A priority Critical patent/CN102171751B/zh
Priority to EP09798132.8A priority patent/EP2320415B1/en
Priority to US13/054,662 priority patent/US9685167B2/en
Publication of WO2010008229A1 publication Critical patent/WO2010008229A1/ko
Priority to US15/625,623 priority patent/US10410646B2/en
Priority to US16/562,921 priority patent/US11222645B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation

Definitions

  • the present invention relates to an apparatus for encoding and decoding a multi-object audio signal. More particularly, the present invention relates to downmix information indicating a relationship between a general downmix signal and a post downmix signal, which supports an externally input post downmix signal. An apparatus for efficiently representing parameters.
  • the existing parameter quantization / dequantization technique for MPEG Surround Arbitrary Downmix support extracts the CLD parameter between the downmix signal of the encoder and the Arbitrary Downmix signal and is designed to be symmetrically designed based on 0 dB in MPEG Surround. Quantization / dequantization is performed using a quantization table.
  • the mastering downmix signal is a signal generated when mixing several instruments / tracks into a stereo signal when a CD-like recording is produced, amplifying it to have the maximum dynamic range that the CD can express, and converting it using an equalizer. Therefore, it has a completely different signal characteristic from the stereo mixing signal.
  • the CLD between the downmix signal and the mastering downmix signal generated by multiplying the downmix gain by each object is generated. Since D is extracted by biasing one object instead of the center of 0 dB by the downmix gain of each object, there is a problem of using only one side of the existing CLD quantization table. This causes another problem that the quantization error generated during the quantization / dequantization of the CLD parameter is large.
  • the present invention provides a multi-object audio encoding and decoding apparatus supporting a post downmix signal.
  • multi-object audio encoding and decoding is performed in which the downmix information parameter extracted by shifting to one side in consideration of the downmix gain multiplied by each object is distributed based on 0 dB and then quantized / dequantized to minimize quantization error.
  • the present invention provides a multi-object audio encoding and decoding apparatus for minimizing sound quality degradation by adjusting a post downmix signal similarly to downmix signaling generated in an encoding step through a downmix information parameter.
  • the multi-object audio encoding apparatus may encode the multi-object audio by using a post downmix signal input from the outside.
  • the multi-object audio encoding apparatus includes an extractor which extracts a downmix signal and object information from an input object signal, and extracts a downmix information parameter by using the extracted downmix signal and the post downmix signal. And a bitstream generator configured to determine an object bitstream by combining the downmix information parameter and the object information.
  • the parameter determiner is a power offset for scaling the post downmix signal to a preset value such that the average power of the post downmix signal equals the average power of the downmix signal within a specific frame.
  • a calculator configured to extract a downmix information parameter from the scaled post downmix signal within the specific frame.
  • the parameter determiner determines a post downmix gain, which is downmix parameter information for compensating for the difference between the downmix signal and the post downmix signal, and the bitstream generator determines the post downmix.
  • the gain may be included in the bitstream and transmitted.
  • the parameter determiner generates a residual signal which is a difference between the post downmix signal and the downmix signal compensated by applying the post downmix gain, and the bitstream generator,
  • the residual signal may be included in a bit stream and transmitted.
  • the multi-object audio decoding apparatus may decode the multi-object audio using a post downmix signal input from the outside.
  • a multi-object audio decoding apparatus is a bitstream processing unit for extracting the downmix information parameter and object information from the object bitstream, by adjusting the post downmix signal input from the outside according to the downmix information parameter
  • a downmix signal generator for generating a downmix signal and a decoder for generating an object signal by decoding the downmix signal through the object information.
  • the multi-object audio decoding apparatus may further include a rendering unit configured to generate an output signal in a form that can reproduce and reproduce the generated object signal through user control information.
  • the downmix signal generator uses a power offset compensator and the downmix information parameter to scale the post downmix signal using a power offset value extracted from the downmix information parameter.
  • a downmix signal controller configured to convert the scaled post downmix signal into a downmix signal.
  • a multi-object audio decoding apparatus includes a bitstream processor that extracts a downmix information parameter and object information from an object bitstream, and generates a downmix signal using the downmix information parameter and a post downmix signal.
  • a downmix signal generation unit to generate, a transcoding unit performing transcoding using the object information and user control information, a downmix signal preprocessor for preprocessing the downmix signal using the transcoding result, and the preprocessed It may include an MPEG Surround decoder that performs MPEG Surround decoding by using the downmix signal and the transcoding result.
  • a multi-object audio encoding and decoding apparatus for supporting a post downmix signal is provided.
  • the downmix information parameter extracted by shifting to one side in consideration of the downmix gain multiplied by each object is distributed based on 0 dB, and then quantized / dequantized to minimize quantization error.
  • a multi-object audio encoding and decoding apparatus is provided.
  • a multi-object audio encoding and decoding apparatus for minimizing sound quality deterioration by adjusting a post downmix signal similarly to downmix signaling generated in the encoding step through a downmix information parameter.
  • FIG. 1 is a diagram illustrating a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the overall configuration of a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the overall configuration of a multi-object audio decoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the overall configuration of a multi-object audio decoding apparatus supporting a post downmix signal according to another embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of correcting CLD in a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process of compensating for a post downmix signal by inversely correcting a CLD correction value according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a detailed configuration of a parameter determiner in a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • FIG. 8 illustrates a detailed configuration of a downmix signal generator in a multi-object audio decoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • FIG 9 illustrates a process of outputting a SAOC bitstream and a post downmix signal according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • the multi-object audio encoding apparatus 100 may encode the multi-object audio signal by using a post downmix signal input from the outside.
  • the multi-object audio encoding apparatus 100 may generate a downmix signal and object information by using the input object signal 101.
  • the object information may mean spatial cue parameters predicted from the input object signals 101.
  • OLD Object Level which is a level difference value between objects calculated for each band of a frame Difference
  • the multi-object audio encoding apparatus 100 adjusts the post downmix signal 102 to the original downmix signal by analyzing the downmix signal generated during the encoding process and the post downmix signal 102 additionally input. Downmix information parameters can be generated.
  • the multi-object audio encoding apparatus 100 may generate the object bitstream 104 using the downmix information parameter and the object information.
  • the input post downmix signal 102 may be output as it is without undergoing a special process for reproduction.
  • the downmix information parameter extracts a CLD parameter which is a channel level difference between the downmix signalized post downmix signals of the multi-object audio encoding apparatus 100 and uses a CLD quantization table designed to be symmetrically around a specific center. It can be quantized / dequantized.
  • the multi-object audio encoding apparatus 100 may be designed to be symmetrically about a specific center of the CLD parameter extracted by shifting to one side in consideration of the downmix gain applied to each object signal. have.
  • FIG. 2 is a block diagram showing the overall configuration of a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • the multi-object audio encoding apparatus 100 may include an object information extraction and downmix generator 201, a parameter determiner 202, and a bitstream generator 203.
  • the multi-object audio encoding apparatus 100 may support the post downmix signal 102 input from the outside.
  • the post downmix may be expressed as a mastering downmix.
  • the object information extraction and downmix generator 201 may generate the downmix signal and the object information from the input object signal 101.
  • the parameter determiner 202 may determine the downmix information parameter through analysis between the downmix signal extracted from the input object signal 101 and the post downmix signal 102 input from the outside.
  • the parameter determiner 202 may calculate a downmix information parameter by calculating a difference in signal magnitude between the downmix signal and the post downmix signal.
  • the input post downmix signal 102 may be output as it is, instead of being separately processed through an encoding process, as the input signal for reproduction.
  • the parameter determiner 202 may adjust the post downmix signal to be similar to the downmix signal to the maximum to determine the post downmix gain uniformly distributed bilaterally as the downmix information parameter. Specifically, in consideration of the downmix gain multiplied by each object, it may be determined to uniformly distribute the downmix information parameter, which is a post downmix gain extracted by shifting to one side, with respect to 0db. Thereafter, the post downmix gain may be quantized through the same quantization table as the channel level difference (CLD), which is a channel level difference value.
  • CLD channel level difference
  • the downmix information parameter is the same parameter as the CLD used as the MPEG Down Arbitary Downmix Gain (ADG).
  • Such CLD parameters can undergo quantization for transmission, and can minimize quantization errors of the parameters by making them symmetrical about 0dB, thereby reducing sound quality degradation caused by using a post downmix signal. You can.
  • the bitstream generator 203 may generate the object bitstream by combining the downmix information parameter and the object information.
  • FIG. 3 is a block diagram showing the overall configuration of a multi-object audio decoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • the multi-object audio decoding apparatus 300 may include a downmix signal generator 301, a bitstream processor 302, a decoder 303, and a renderer 304.
  • the multi-object audio decoding apparatus 300 may support an externally input post downmix signal.
  • the bitstream processor 302 may extract the downmix information parameter 308 and the object information 309 from the object bitstream 306 transmitted from the multi-object audio encoding apparatus. Then, the downmix signal generator 301 may generate the downmix signal 307 by adjusting an externally input post downmix signal 305 according to the downmix information parameter 308. In this case, the downmix information parameter 308 may compensate for the difference in signal magnitude between the downmix signal 307 and the post downmix signal 305.
  • the decoder 303 may generate the object signal 310 by decoding the downmix signal 307 through the object information 309.
  • the renderer 304 may generate an output signal 312 that can render and reproduce the object signal 310 through the user control information 311.
  • the user control information 311 may refer to information (eg, deletion of a specific object) or a rendering matrix required for generating an output signal by mixing restored object signals input from a user or transmitted through a bitstream. .
  • FIG. 4 is a block diagram showing the overall configuration of a multi-object audio decoding apparatus supporting a post downmix signal according to another embodiment of the present invention.
  • the multi-object audio decoding apparatus 400 includes a downmix signal generator 401, a bitstream processor 402, a downmix signal preprocessor 403, a transcoder 404, and MPEG Surround decoding. It may include a portion 405.
  • the bitstream processor 402 may extract the downmix information parameter 409 and the object information 410 from the object bitstream 407.
  • the downmix information generator 401 may generate the downmix signal 408 using the downmix information parameter 409 and the post downmix signal 406. At this time, the post downmix signal 406 may be output as it is for reproduction.
  • the transcoding unit 404 may perform transcoding using the object information 410 and the user control information 412. Then, the downmix signal preprocessor 403 may preprocess the downmix signal 408 using the transcoding result.
  • the MPEG Surround Decoder 405 may perform MPEG Surround decoding using the preprocessed downmix signal 411 and the MPEG Surround bitstream 413 that is a transcoding result.
  • the multi-object audio decoding apparatus 400 may output the final output signal 414 through the MPEG Surround decoding process.
  • FIG. 5 is a diagram illustrating a process of correcting CLD in a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • the difference in signal magnitude between the original downmix signal and the post downmix signal may be used as a downmix information parameter, which is a parameter such as CLD used as an ADG of MPEG Surround.
  • the downmix information parameter may be quantized through the CLD quantization table of MPEG Surround as shown in Table 1 below.
  • the quantization error of the downmix information parameter can be minimized, and the degradation of sound quality generated by using the post downmix signal can be reduced.
  • the downmix information parameter generated by the downmix signal and the post downmix signal generated by a general multi-object audio encoder has a center of distribution of 0 dB due to the downmix gain of each input object of the mixing matrix for generating the downmix signal. It is biased to one side instead of. For example, if the original gain of each object is 1, then the downmix signal generated is multiplied by each object downmix gain less than 1 to avoid distortion of the downmix signal due to clipping. It basically has as little power as the downmix gain compared to the signal. At this time, if the magnitude difference between the downmix signal and the post downmix signal is measured, the center is positioned at a value other than 0 dB.
  • the quantization error may increase by using only one portion of the quantization table of Table 1 based on 0 dB.
  • the downmix information parameter extracted using the downmix gain may be corrected to make the distribution center of the extracted parameter close to 0 dB and then quantize it.
  • the downmix information parameter, or CLD, in a specific frame / parameter band between the downmix signal generated according to the mixing matrix for a certain X channel and the post downmix signal input from the outside is expressed by Equation 1.
  • n is a frame
  • k is a parameter band
  • P m is the power of the post downmix signal
  • P d represents the power of the downmix signal.
  • the downmix gain of each object of the mixing matrix for generating the downmix signal of the X channel is calculated.
  • GX One, GX 2,..., GX N the CLD correction value for correcting the center of the distribution of the extracted downmix information parameter CLD to 0 is expressed by Equation 2 below.
  • Equation 2 the corrected CLD value can be obtained by subtracting the correction value of Equation 2 from the downmix information parameter of Equation 1.
  • the corrected CLD value may be delivered to the multi-object audio decoding apparatus by performing quantization according to Table 1.
  • the statistical distribution of the corrected CLD values is much closer to 0dB than the general CLD, that is, it shows Laplacian distribution characteristics rather than Gaussian distribution, it is more detailed at -10dB to + 10dB rather than the quantization table shown in Table 1. Quantization error can be minimized by applying the divided quantization table.
  • the multi-object audio encoding apparatus calculates downmix gain (DMG) and downmix channel level difference (DCLD) representing the mixing degree of each object as shown in Equations 4, 5, and 6 and transmits them to the multi-object audio encoding apparatus.
  • DMG downmix gain
  • DCLD downmix channel level difference
  • Equation 4 shows the process of calculating the downmix gain when the downmix signal is mono
  • Equations 5 and 6 show how much each object contributes to the left and right channels of the downmix signal when the downmix signal is a stereo downmix signal. Represents the process of calculating. At this time, Is the left channel, Indicates the right channel.
  • Equations 5 and 6 may be applied.
  • a correction value of Equation 2 is calculated using Equations 5 and 6.
  • Equations 5 and 6 the downmix gain for each object for the left channel and the right channel may be calculated as shown in Equation 7.
  • Equation 8 Using the calculated downmix gain for each channel for each channel, the correction value of CLD as shown in Equation 8 can be calculated in the same manner as in Equation 2.
  • the multi-object audio decoding apparatus may restore the downmix information parameter as shown in Equation 9 by using the CLD correction value and the inverse quantization value of the transmitted correction CLD.
  • the reconstructed parameter is reduced in quantization error compared to the parameter reconstructed through general quantization, so that the multi-object audio encoding apparatus can reduce sound quality degradation.
  • the process of transforming the original downmix signal most frequently is a level adjustment process for each band through an equalizer.
  • CLD is used as a parameter for MPEG Surround ADG
  • the CLD value is processed as 20 bands or 28 bands
  • the equalizer during the mastering process uses various combinations such as 24 bands or 36 bands.
  • the downmix information parameter interpretation band is shown in Table 2 below.
  • the downmix information parameter may be extracted to a separately defined band used by a commercial equalizer.
  • the multi-object audio encoding apparatus may perform the DMG / CLD calculation process 501 using the mixing matrix 509 as shown in Equation 2.
  • the multi-object audio encoding apparatus may quantize the DMG and the CLD through the DMG / CLD quantization process 502.
  • the multi-object audio encoding apparatus may dequantize DMG and CLD through a DMG / CLD dequantization process 503 and perform a mixing matrix calculation process 504.
  • the multi-object audio encoding apparatus may reduce the error of the CLD by performing the CLD correction value calculation process 505 through the mixing matrix.
  • the multi-object audio encoding apparatus may perform a CLD calculation process 506 using the post downmix signal 511.
  • the multi-object audio encoding apparatus may generate the quantized correction CLD 512 by performing the CLD quantization process 508 using the CLD correction value 507 calculated through the CLD correction value calculation process 505. .
  • FIG. 6 is a diagram illustrating a process of compensating for a post downmix signal by inversely correcting a CLD correction value according to an embodiment of the present invention.
  • FIG. 6 shows an inverse process to the process of FIG. 5.
  • the multi-object audio decoding apparatus may perform a DMG / CLD dequantization process 601 by using the quantized DMG / CLD 607.
  • the multi-object audio decoding apparatus may perform a mixing matrix calculation process 602 using dequantized DMG / CLD, and then perform a CLD correction value calculation process 603.
  • the multi-object audio decoding apparatus may perform a correction CLD inverse quantization process 604 using the quantized correction CLD 608.
  • the post downmix compensation process 606 may be performed using the CLD correction value 605 and the inverse quantized correction CLD value determined through the CLD correction value calculation process 603.
  • a post downmix signal may be applied. Through this process, the final mixing downmix 609 may be generated.
  • FIG. 7 is a diagram illustrating a detailed configuration of a parameter determiner in a multi-object audio encoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • the parameter determiner 700 may include a power offset calculator 701 and a parameter extractor 702.
  • the parameter determiner 700 may correspond to the parameter determiner 202 of FIG. 2.
  • the power offset determiner 701 may scale the post downmix signal to a preset value such that the average power of the post downmix signal 703 is equal to the average power of the downmix signal 704 within a specific frame. That is, since the post downmix signal generally has a larger power than the downmix signal generated through the encoding process, the power offset determiner 701 may equally adjust the power between the signals through the scaling process.
  • the parameter extractor 702 may extract the downmix information parameter 706 from the post downmix signal 705 scaled in a specific frame.
  • the post downmix signal 703 can be used to determine the downmix information parameter 706.
  • the post downmix signal 707 may be directly output without any specific processing.
  • the parameter determiner 700 may determine the downmix information parameter by calculating a difference in signal magnitude between the downmix signal and the post downmix signal.
  • the parameter determiner 700 may adjust the post downmix signal to be similar to the downmix signal to the maximum to determine the post downmix gain uniformly symmetrically distributed as the downmix information parameter.
  • FIG. 8 illustrates a detailed configuration of a downmix signal generator in a multi-object audio decoding apparatus supporting a post downmix signal according to an embodiment of the present invention.
  • the downmix signal generator 800 may include a power offset compensator 801 and a downmix signal adjuster 802.
  • the power offset compensator 801 may scale the post downmix signal 803 using the power offset value extracted from the downmix information parameter 804.
  • the power offset value is included in the downmix information parameter and transmitted, and the power offset value may not be transmitted as necessary.
  • the downmix signal controller 802 may convert the scaled post downmix signal 805 into a downmix signal 806.
  • FIG 9 illustrates a process of outputting a SAOC bitstream and a post downmix signal according to an embodiment of the present invention.
  • the post mastering signal referred to in the present invention refers to an audio signal generated by a mastering engineer, such as in a music CD, so that the post mastering signal refers to a general downmix signal in various applications dealing with MPEG-D SAOC such as remote video conferencing and games.
  • the present invention may be referred to as an extended downmix, an enhanced downmix, a professional downmix, etc. in a name similar to a mastering downmix for a post downmix signal.
  • the syntax for supporting the mastering downmix of MPEG-D SAOC described in Tables 3 to 7 can be redefined according to the name of each downmix signal as shown in the following tables.
  • Table 8 to 12 are extended downmix
  • Table 13 to 17 are enhanced downmix
  • Table 18 to 22 are professional downmix
  • Table 23 to 27 are the syntax of MPEG-D SAOC for post downmix support.
  • spatial analysis 904 is performed by performing quadrature mirror filter (QMF) analysis 901 to 903 on audio objects 907 to 909.
  • spatial analysis may be performed by performing QMF analysis 905 and 906 on the input post downmix signals 910 and 911.
  • the input post downmix signals 910 and 911 may be directly output as the post downmix signals 915 and 916 for playback without a special process.
  • the standard spatial parameter 912 and the post downmix gain 913 may be generated, and the SAOC bit stream 914 may be generated using the standard spatial parameter 912. .
  • the multi-object audio signal encoding apparatus is used to process a post downmix signal (for example, a mastering downmix signal) input from the outside in addition to the audio object signal as well as the downmix signal.
  • a post downmix gain (PDG) which is a downmix information parameter for compensating for the difference between the mixed signal and the post downmix signal, may be generated and included in the bitstream.
  • the basic structure of the post downmix gain may be the same as the arbitrary downmix gain (ADG) of MPEG Surround.
  • the multi-object audio decoding apparatus may compensate the downmix signal by using the post downmix gain and the post downmix signal.
  • the post downmix gain may be quantized using the same quantization table as the CLD of MPEG Surroung.
  • the post downmix gain can be dequantized using the CLD quantization table of MPEG Surround.
  • the process of compensating the input post downmix signal using the dequantized post downmix gain is as follows.
  • the compensation process for the post downmix signal may generate a compensated downmix signal by multiplying the mixing matrix by the input downmix signal.
  • the compensation process of the post downmix signal is not performed. That is, when the bsPostDownmix value is 0, the input downmix signal is output without any processing, and the mixing matrix may be represented by Equation 10 when the mono downmix is used and Equation 11 when the stereo downmix is used.
  • the input downmix signal may be compensated through the dequantized post downmix gain.
  • Equation 12 is defined.
  • Equation 13 The value may be calculated using the dequantized post downmix gain value, and may be expressed by Equation 13 below.
  • the mixing matrix is a stereo downmix
  • the matrix can be defined as shown in equation (14).
  • Equation 15 The value may be calculated using the dequantized post downmix gain value and may be expressed by Equation 15 below.
  • Tables 29 and 30 The syntax for transmitting the post downmix gain value in the bitstream is shown in Tables 29 and 30. Compared with the post downmix gains shown in Table 23 to Table 27, Table 29 and Table 30 show the post downmix gains when no residual coding is applied for perfect reconstruction of the post downmix signal.
  • the bsPostDownmix value is a flag indicating the presence or absence of a post downmix gain, and the meaning is shown in Table 31.
  • the support of the post downmix signal using the post downmix gain can be improved through residual coding. That is, when the post downmix signal is compensated using the post downmix gain for decoding, compared with the case where the downmix signal is used as it is due to the difference between the compensated post downmix signal and the original downmix signal. The deterioration of sound quality may occur.
  • a multi-object audio encoding apparatus extracts a residual signal representing a difference between the compensated post downmix signal and the original downmix signal, and transmits the encoded signal.
  • the multi-object audio decoding apparatus can minimize the deterioration of sound quality by decoding the residual signal and adding it to the compensated post downmix signal to make it similar to the original downmix signal.
  • the residual signal can be extracted in the entire frequency domain, but in this case, since the bit rate is greatly increased, it can be transmitted considering only the frequency domain that affects the actual sound quality. That is, when sound quality deterioration occurs by an object having only low frequency components such as bass, the multi-object audio encoding apparatus extracts a residual signal in a low frequency region to compensate for sound quality deterioration.
  • the multi-object audio encoding apparatus may add the residual signal determined by using the syntax table below to the post downmix signal compensated using Equations 9 to 14 as much as the frequency band.

Abstract

포스트 다운믹스 신호(103)를 지원하는 다객체 오디오 부호화 및 복호화 장치(100)가 제공된다. 상기 다객체 오디오 부호화 장치(100)는 객체 신호로부터 객체 정보 및 다운믹스 신호를 생성하는 객체 정보 추출 및 다운믹스 발생부(101); 상기 추출된 다운믹스 신호와 상기 포스트 다운믹스 신호를 사용하여 다운믹스 정보 파라미터를 결정하는 파라미터 결정부(202); 그리고 상기 객체 정보 및 다운믹스 정보 파라미터를 조합하고 객체 비트스트림을 생성하는 비트스트림 발생부(203)를 포함할 수 있다.

Description

포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
본 발명은 다객체 오디오 신호를 부호화하고 복호화하는 장치에 관한 것으로, 보다 구체적으로는 외부에서 입력된 포스트 다운믹스 신호를 지원하고, 일반 다운믹스 신호와 포스트 다운믹스 신호와의 관계를 나타내는 다운믹스 정보 파라미터를 효율적으로 표현하기 위한 장치에 관한 것이다.
오디오 객체 신호를 효과적으로 압축하는 객체 기반 오디오 부호화 기술이 최근 주목을 받고 있다. 기존에 존재하는 MPEG Surround의 Arbitrary 다운믹스 지원을 위한 파라미터의 양자화/역양자화 기법은 부호화기의 다운믹스 신호와 Arbitrary 다운믹스 신호간의 CLD 파라미터를 추출하여 MPEG Surround 내의 0 dB를 기준으로 좌우 대칭으로 설계된 CLD 양자화 테이블을 이용하여 양자화/역양자화를 수행한다.
마스터링 다운믹스 신호는 CD와 같은 음반을 제작할 때 여러 개의 악기/트랙을 스테레오 신호로 믹싱한 후 CD가 표현할 수 있는 최대 Dynamic Range를 갖도록 증폭하고 Equalizer 등을 이용하여 변환하는 과정에서 생성되는 신호이므로, 스테레오 믹싱 신호와는 전혀 다른 신호특성을 가지게 된다.
이러한 마스터링 다운믹스 신호를 지원하기 위하여 MPEG Surround의 Arbitrary 다운믹스 처리 기술을 그대로 다객체 오디오 부호화기에 적용하였을 경우, 각 객체에 다운믹스 이득을 곱해서 생성하는 다운믹스 신호와 마스터링 다운믹스 신호간의 CLD가 각 객체의 다운믹스 이득에 의해서 0 dB 중심이 아닌 한쪽으로 치우쳐서 추출되므로 기존의 CLD 양자화 테이블의 한쪽만을 사용하는 문제점이 발생한다. 이로 인해 CLD 파라미터의 양자화/역양자화 과정에서 발생하는 양자화 오차가 크다는 또 다른 문제점이 발생한다.
이러한 문제점을 해결하여, 보다 효과적으로 오디오 객체를 부호화하고 복호화하는 방법이 요구된다.
본 발명은 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 및 복호화 장치를 제공한다.
본 발명은 각 객체에 곱해지는 다운믹스 이득을 고려하여 한쪽으로 치우쳐서 추출되는 다운믹스 정보 파라미터를 0dB를 기준으로 분포하도록 만든 후 양자화/역양자화를 수행하여 양자화 오차를 최소화하는 다객체 오디오 부호화 및 복호화 장치를 제공한다.
본 발명은 다운믹스 정보 파라미터를 통해 부호화 단계에서 생성되는 다운믹스 신호화 유사하게 포스트 다운믹스 신호를 조절함으로써 음질 열화를 최소화하는 다객체 오디오 부호화 및 복호화 장치를 제공한다.
본 발명의 일실시예에 따른 다객체 오디오 부호화 장치는 외부에서 입력된 포스트 다운믹스 신호를 이용하여 다객체 오디오를 부호화할 수 있다.
본 발명의 일실시예에 따른 다객체 오디오 부호화 장치는 입력 객체 신호로부터 다운믹스 신호와 객체 정보를 추출하는 추출부, 상기 추출된 다운믹스 신호와 상기 포스트 다운믹스 신호를 이용하여 다운믹스 정보 파라미터를 결정하는 파라미터 결정부 및 상기 다운믹스 정보 파라미터와 상기 객체 정보를 조합하여 객체 비트스트림을 생성하는 비트스트림 생성부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 파라미터 결정부는 특정 프레임 내에서 상기 포스트 다운믹스 신호의 평균 파워를 상기 다운믹스 신호의 평균 파워와 동일하도록 상기 포스트 다운믹스 신호를 미리 설정한 값으로 스케일링하는 파워 오프셋 계산부; 및 상기 특정 프레임 내에서 상기 스케일링된 포스트 다운믹스 신호로부터 다운믹스 정보 파라미터를 추출하는 파라미터 추출부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 파라미터 결정부는 상기 다운믹스 신호와 상기 포스트 다운믹스 신호 간의 차이를 보상하기 위한 다운믹스 파라미터 정보인 포스트 다운믹스 게인을 결정하고, 상기 비트스트림 생성부는 상기 포스트 다운믹스 게인을 비트스트림에 포함시켜 전송할 수 있다.
본 발명의 일측면에 따르면, 상기 파라미터 결정부는 상기 포스트 다운믹스 게인을 적용하여 보상한 포스트 다운믹스 신호와 상기 다운믹스 신호 간의 차이인 잔여 신호(residual signal)을 생성하고, 상기 비트스트림 생성부는, 상기 잔여 신호를 비트 스트림에 포함시켜 전송할 수 있다.
본 발명의 일실시예에 따른 다객체 오디오 복호화 장치는 외부에서 입력된 포스트 다운믹스 신호를 이용하여 다객체 오디오를 복호화할 수 있다.
본 발명의 일실시예에 따른 다객체 오디오 복호화 장치는 객체 비트스트림으로부터 다운믹스 정보 파라미터와 객체 정보를 추출하는 비트스트림 처리부, 상기 다운믹스 정보 파라미터에 따라 외부에서 입력된 포스트 다운믹스 신호를 조절하여 다운믹스 신호를 생성하는 다운믹스 신호 생성부 및 상기 객체 정보를 통해 상기 다운믹스 신호를 복호화하여 객체 신호를 생성하는 복호화부를 포함할 수 있다.
본 발명의 일측면에 따르면 다객체 오디오 복호화 장치는 사용자 제어 정보를 통해 상기 생성된 객체 신호를 렌더링하여 재생할 수 있는 형태의 출력 신호를 생성하는 렌더링부를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 다운믹스 신호 생성부는 상기 다운믹스 정보 파라미터로부터 추출된 파워 오프셋 값을 이용하여 상기 포스트 다운믹스 신호를 스케일링하는 파워 오프셋 보상부 및 상기 다운믹스 정보 파라미터를 이용하여 상기 스케일링된 포스트 다운믹스 신호를 다운믹스 신호로 변환하는 다운믹스 신호 조절부를 포함할 수 있다.
본 발명의 다른 일실시예에 따른 다객체 오디오 복호화 장치는 객체 비트스트림으로부터 다운믹스 정보 파라미터와 객체 정보를 추출하는 비트스트림 처리부, 상기 다운믹스 정보 파라미터와 포스트 다운믹스 신호를 이용하여 다운믹스 신호를 생성하는 다운믹스 신호 생성부, 상기 객체 정보와 사용자 제어 정보를 이용하여 트랜스코딩을 수행하는 트랜스코딩부, 상기 트랜스코딩 결과를 이용하여 상기 다운믹스 신호를 전처리하는 다운믹스 신호 전처리부 및 상기 전처리된 다운믹스 신호와 상기 트랜스코딩 결과를 이용하여 MPEG Surround 복호화를 수행하는 MPEG Surround 복호화부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 및 복호화 장치가 제공된다.
본 발명의 일실시예에 따르면, 각 객체에 곱해지는 다운믹스 이득을 고려하여 한쪽으로 치우쳐서 추출되는 다운믹스 정보 파라미터를 0dB를 기준으로 분포하도록 만든 후 양자화/역양자화를 수행하여 양자화 오차를 최소화하는 다객체 오디오 부호화 및 복호화 장치가 제공된다.
본 발명의 일실시예에 따르면, 다운믹스 정보 파라미터를 통해 부호화 단계에서 생성되는 다운믹스 신호화 유사하게 포스트 다운믹스 신호를 조절함으로써 음질 열화를 최소화하는 다객체 오디오 부호화 및 복호화 장치가 제공된다.
도 1은 본 발명의 일실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 복호화 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 4는 본 발명의 다른 실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 복호화 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 5는 본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치에서 CLD를 보정하는 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 CLD 보정값을 역보정하여 포스트 다운믹스 신호를 보상하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치에서 파라미터 결정부의 상세 구성을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 다객체 오디오 복호화 장치에서 다운믹스 신호 생성부의 상세 구성을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 SAOC 비트스트림 및 포스트 다운믹스 신호를 출력하는 과정을 도시한 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치를 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 다객체 오디오 부호화 장치(100)는 외부로부터 입력되는 포스트 다운믹스 신호를 이용하여 다객체 오디오 신호를 부호화할 수 있다. 다객체 오디오 부호화 장치(100)는 입력 객체 신호(101)를 이용하여 다운믹스 신호와 객체 정보를 생성할 수 있다. 이 때, 객체 정보는 입력 객체 신호(101)들로부터 예측된 공간 파라미터(Spatial Cue Parameter)들을 의미할 수 있으며, MPEG SAOC의 경우 프레임별 밴드별로 계산된 객체들간의 레벨차이값인 OLD(Object Level Difference)가 대표적인 파라미터이다.
그리고, 다객체 오디오 부호화 장치(100)는 부호화 과정에서 생성되는 다운믹스 신호와 추가적으로 입력되는 포스트 다운믹스 신호(102) 간의 분석을 통해 포스트 다운믹스 신호(102)를 원래의 다운믹스 신호로 조절하기 위한 다운믹스 정보 파라미터를 생성할 수 있다. 다객체 오디오 부호화 장치(100)는 다운믹스 정보 파라미터와 객체 정보를 이용하여 객체 비트스트림(104)을 생성할 수 있다. 또한, 포스트 다운믹스 신호(103)에서 볼 수 있듯이, 입력된 포스트 다운믹스 신호(102)는 재생을 위해 특별한 처리 과정을 거치지 않고 그대로 출력될 수 있다.
이 때, 다운믹스 정보 파라미터는 다객체 오디오 부호화 장치(100)의 다운믹스 신호화 포스트 다운믹스 신호 간의 채널 레벨 차이인 CLD 파라미터를 추출하여 특정 중심을 기준으로 좌우 대칭되게 설계된 CLD 양자화 테이블을 이용하여 양자화/역양자화될 수 있다. 일례로, 본 발명의 일실시예에 따르면, 다객체 오디오 부호화 장치(100)는 각 객체 신호에 적용되는 다운믹스 이득을 고려하여 한쪽으로 치우쳐서 추출되는 CLD 파라미터를 특정 중심으로 좌우 대칭되게 설계될 수 있다.
도 2는 본 발명의 일실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 다객체 오디오 부호화 장치(100)는 객체 정보 추출 및 다운믹스 생성부(201), 파라미터 결정부(202) 및 비트스트림 생성부(203)를 포함할 수 있다. 본 발명의 일실시예에 따른 다객체 오디오 부호화 장치(100)는 외부에서 입력된 포스트 다운믹스 신호(102)를 지원할 수 있다. 본 발명에 있어서, 포스트 다운믹스는 마스터링 다운믹스로 표현될 수 있다.
객체 정보 추출 및 다운믹스 생성부(201)는 입력 객체 신호(101)로부터 다운믹스 신호와 객체 정보를 생성할 수 있다.
파라미터 결정부(202)는 입력 객체 신호(101)로부터 추출된 다운믹스 신호와 외부로부터 입력된 포스트 다운믹스 신호(102) 간의 분석을 통해 다운믹스 정보 파라미터를 결정할 수 있다. 파라미터 결정부(202)는 다운믹스 신호와 포스트 다운믹스 신호의 신호 크기 차이를 계산하여 다운믹스 정보 파라미터를 계산할 수 있다. 또한, 포스트 다운믹스 신호(103)에서 볼 수 있듯이, 입력된 포스트 다운믹스 신호(102)는 부호화 과정을 통해 별도로 처리되지 않고, 재생을 위해 입력된 신호 그대로 출력될 수 있다.
일례로, 파라미터 결정부(202)는 포스트 다운믹스 신호를 다운믹스 신호와 최대로 유사하게 조절하여 균일하게 좌우대칭으로 분포되는 포스트 다운믹스 게인을 다운믹스 정보 파라미터로 결정할 수 있다. 구체적으로, 각 객체에 곱해지는 다운믹스 이득을 고려하여 한쪽으로 치우쳐서 추출되는 포스트 다운믹스 게인인 다운믹스 정보 파라미터를 0db를 중심으로 균일하게 분포하도록 결정할 수 있다. 이 후, 포스트 다운믹스 게인은 체널 레벨 차이값인 CLD(Channel Level Difference)와 동일한 양자화 테이블을 통해 양자화될 수 있다.
포스트 다운믹스 신호를 부호화 단계에서 생성되는 다운믹스 신호와 유사하게 조절하여 복호화를 수행하였을 경우, 부호화 단계에서 생성되는 다운믹스 신호를 그대로 사용하여 복호화를 수행하는 것과 비교하였을 때 음질 열화는 불가피하게 발생한다. 이러한 음질 열화를 최소화하기 위해 포스트 다운믹스 신호를 조절하기 위해 사용되는 다운믹스 정보 파라미터를 효과적으로 추출할 필요가 있다. 다운믹스 정보 파라미터는 MPEG Surround의 ADG(Arbitary Downmix Gain)로 사용되는 CLD와 같은 파라미터이다.
이와 같은 CLD 파라미터는 전송을 위해 양자화 과정을 거칠 수 있으며, 0dB를 기준으로 좌우대칭되도록 균일하게 함으로써 파라미터의 양자화 오차를 최소화할 수 있으며, 이를 통해 포스트 다운믹스 신호를 이용함으로써 발생하는 음질 열화를 감소시킬 수 있다.
비트스트림 생성부(203)는 다운믹스 정보 파라미터와 객체 정보를 조합하여 객체 비트스트림을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 복호화 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 3을 참고하면, 다객체 오디오 복호화 장치(300)는 다운믹스 신호 생성부(301), 비트스트림 처리부(302), 복호화부(303) 및 렌더링부(304)를 포함할 수 있다. 다객체 오디오 복호화 장치(300)는 외부에서 입력된 포스트 다운믹스 신호를 지원할 수 이다.
비트스트림 처리부(302)는 다객체 오디오 부호화 장치로부터 전송된 객체 비트스트림(306)으로부터 다운믹스 정보 파라미터(308)와 객체 정보(309)를 추출할 수 있다. 그러면, 다운믹스 신호 생성부(301)는 다운믹스 정보 파라미터(308)에 따라 외부에서 입력된 포스트 다운믹스 신호(305)를 조절하여 다운믹스 신호(307)를 생성할 수 있다. 이 때, 다운믹스 정보 파라미터(308)는 다운믹스 신호(307)와 포스트 다운믹스 신호(305)의 신호 크기 차이를 보상할 수 있다.
복호화부(303)는 객체 정보(309)를 통해 다운믹스 신호(307)를 복호화하여 객체 신호(310)를 생성할 수 있다. 렌더링부(304)는 사용자 제어 정보 (311)를 통해 객체 신호(310)를 렌더링하여 재생할 수 있는 형태의 출력 신호(312)를 생성할 수 있다. 이 때, 사용자 제어 정보(311)는 사용자로부터 입력되거나 비트스트림을 통해 전달된 복원된 객체 신호들을 믹싱하여 출력 신호를 생성하기 위해 필요한 정보(특정객체의 삭제 등) 또는 렌더링 매트릭스를 의미할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 포스트 다운믹스 신호를 지원하는 다객체 오디오 복호화 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 4를 참고하면, 다객체 오디오 복호화 장치(400)는 다운믹스 신호 생성부(401), 비트스트림 처리부(402), 다운믹스 신호 전처리부(403), 트랜스코딩부(404) 및 MPEG Surround 복호화부(405)를 포함할 수 있다.
비트스트림 처리부(402)는 객체 비트스트림(407)으로부터 다운믹스 정보 파라미터(409)와 객체 정보(410)를 추출할 수 있다. 다운믹스 정보 생성부(401)는 다운믹스 정보 파라미터(409)와 포스트 다운믹스 신호(406)를 이용하여 다운믹스 신호(408)를 생성할 수 있다. 이 때, 포스트 다운믹스 신호(406)는 재생을 위해 그대로 출력될 수 있다.
트랜스코딩부(404)는 객체 정보(410)와 사용자 제어 정보(412)를 이용하여 트랜스코딩을 수행할 수 있다. 그러면, 다운믹스 신호 전처리부(403)는 트랜스코딩 결과를 이용하여 다운믹스 신호(408)를 전처리할 수 있다. MPEG Surround 복호화부(405)는 전처리된 다운믹스 신호(411)와 트랜스코딩 결과인 MPEG Surround 비트스트림(413)을 이용하여 MPEG Surround 복호화를 수행할 수 있다. 다객체 오디오 복호화 장치(400)는 MPEG Surround 복호화 과정을 통해 최종적인 출력 신호(414)를 출력할 수 있다.
도 5는 본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치에서 CLD를 보정하는 과정을 도시한 도면이다.
포스트 다운믹스 신호를 부호화 단계에서 생성되는 다운믹스 신호와 유사하게 조절하여 복호화를 수행하는 경우, 부호화 단계에서 생성되는 다운믹스 신호를 그대로 사용하여 복호화를 수행하는 것과 비교했을 때, 생성되는 출력 신호의 음질 열화는 불가피하다. 이러한 음질 열화를 최소화하기 위해, 포스트 다운믹스 신호를 원래의 다운믹스 신호와 최대한 유사하게 조절하는 것이 중요하다. 이를 위해서 포스트 다운믹스 신호를 조절하는 데 사용되는 다운믹스 정보 파라미터를 효과적으로 추출하고 표현하는 것이 필요하다.
본 발명의 일실시예에 따르면, 원래의 다운믹스 신호와 포스트 다운믹스 신호의 신호 크기 차이를 다운믹스 정보 파라미터로 사용할 수 있으며, 이는 MPEG Surround의 ADG로 사용되는 CLD와 같은 파라미터이다. 아래 표 1과 같은 MPEG Surround의 CLD 양자화 테이블을 통해 다운믹스 정보 파라미터는 양자화될 수 있다.
[표 1] CLD 양자화 표
Figure PCTKR2009003938-appb-I000001
따라서 다운믹스 정보 파라미터가 0 dB를 기준으로 좌우로 유사하게 분포하였을 경우, 다운믹스 정보 파라미터의 양자화 오차는 최소화될 수 있으며, 포스트 다운믹스 신호를 이용함으로써 발생하는 음질의 열화를 줄일 수 있다.
그러나, 일반적인 다객체 오디오 부호화기에서 생성되는 다운믹스 신호와 포스트 다운믹스 신호에 의한 다운믹스 정보 파라미터는 다운믹스 신호 생성을 위한 믹싱매트릭스의 각 입력 객체별 다운믹스 이득에 의해서 그 분포의 중심이 0 dB가 아닌 한쪽으로 치우치게 된다. 예를 들어 각 객체의 원래 이득을 1인 경우, 일반적으로 클리핑(clipping)에 의한 다운믹스 신호의 왜곡을 막기 위해 각 객체에 1 보다 작은 다운믹스 이득을 곱하므로 생성되는 다운믹스 신호는 포스트 다운믹스 신호에 비해서 기본적으로 다운믹스 이득만큼의 작은 파워를 가진다. 이 때, 다운믹스 신호와 포스트 다운믹스 신호 간의 크기 차이를 측정하면 중심이 0 dB가 아닌 다른 값에 위치하게 된다.
위와 같은 다운믹스 정보 파라미터의 양자화를 수행하면, 표 1의 양자화 표에서 0 dB를 기준으로 한쪽 부분만 사용하여 양자화 오차가 커질 수 있다. 이러한 문제를 해결할 수 있도록 본 발명의 일실시예에 따르면, 다운믹스 이득을 이용하여 추출되는 다운믹스 정보 파라미터를 보정하여 추출되는 파라미터의 분포 중심이 0 dB에 가깝게 만든 후 양자화할 수 있다. 상세한 방법은 아래와 같다.
어떤 X 채널에 대한 믹싱 매트릭스에 따라 생성된 다운믹스 신호와 외부에서 입력되는 포스트 다운믹스 신호 간의 특정 프레임/파라미터밴드에서의 다운믹스 정보 파라미터 즉 CLD는 수학식 1과 같다.
[수학식 1]
Figure PCTKR2009003938-appb-I000002
여기에서 n은 프레임, k는 파라미터밴드, Pm은 포스트 다운믹스 신호의 파워, Pd는 다운믹스신호의 파워를 나타낸다. 그리고, X 채널의 다운믹스 신호를 생성하기 위한 믹싱 매트릭스의 각 객체별 다운믹스 이득을 GX 1, GX 2,..., GX N 이라고 하면, 추출된 다운믹스 정보 파라미터 CLD의 분포의 중심을 0으로 보정해주기 위한 CLD 보정값은 수학식 2와 같다.
[수학식 2]
Figure PCTKR2009003938-appb-I000003
여기에서 N은 전체 입력 객체의 수를 나타내며, 믹싱 매트릭스의 각 객체별 다운믹스 이득은 모든 프레임/파라미터밴드에서 동일하므로 수학식 2의 값은 상수이다. 따라서 수학식 3과 같이 수학식 1의 다운믹스 정보 파라미터에서 수학식 2의 보정값을 뺌으로서 보정된 CLD 값을 구할 수 있다.
[수학식 3]
Figure PCTKR2009003938-appb-I000004
이렇게 보정된 CLD 값은 표 1에 따라서 양자화를 수행하여 다객체 오디오 복호화 장치에 전달될 수 있다. 또한, 보정된 CLD값의 통계적 분포가 일반적인 CLD에 비해서 0dB 근처로 많이 몰리는 즉, 가우시안 분포가 아닌 라플라시안 분포 특성을 나타내므로, 표 1과 같은 양자화 테이블이 아닌 -10dB에서 +10dB 근처를 보다 세밀하게 구분한 양자화 테이블을 적용하여 양자화 오차를 최소화할 수 있다.
한편 다객체 오디오 부호화 장치에서는 각 객체의 믹싱 정도를 나타내는 다운믹스 이득(DMG: Downmix Gain)과 DCLD(Downmix Channel Level Difference)를 수학식 4,5,6과 같이 계산하여 다객체 오디오 부호화 장치에 전송할 수 있다. 구체적으로, 다운믹스 신호가 모노인 경우와 스테레오인 경우를 고려해준다.
[수학식 4]
Figure PCTKR2009003938-appb-I000005
[수학식 5]
Figure PCTKR2009003938-appb-I000006
[수학식 6]
Figure PCTKR2009003938-appb-I000007
수학식 4는 다운믹스 신호가 모노일 경우의 다운믹스 이득을 계산하는 과정을나타내며, 수학식 5와 6은 다운믹스 신호가 스테레오 다운믹스 신호일 경우, 각 객체가 다운믹스 신호의 좌우채널에 기여한 정도를 계산하는 과정을 나타낸다. 이 때,
Figure PCTKR2009003938-appb-I000008
은 왼쪽 채널,
Figure PCTKR2009003938-appb-I000009
은 오른쪽 채널을 나타낸다.
본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 경우 모노 다운믹스는 고려대상이 아니므로, 수학식 5와 수학식 6이 적용될 수 있다. 전송된 보정 CLD 값과 수학식 5와 6의 다운믹스 이득을 이용하여 다운믹스 정보 파라미터를 다시 복원하기 위해서는 먼저 수학식 5와 6을 이용하여 수학식 2와 같은 보정값을 계산하여준다. 수학식 5와 6을 이용하여 왼쪽 채널과 오른쪽 채널에 대한 각 객체별 다운믹스 이득이 수학식 7과 같이 계산될 수 있다.
[수학식 7]
Figure PCTKR2009003938-appb-I000010
이렇게 계산된 각 채널에 대한 객체별 다운믹스 이득을 이용하여 수학식 2와 같은 방법으로 수학식 8과 같은 CLD의 보정값이 계산될 수 있다.
[수학식 8]
Figure PCTKR2009003938-appb-I000011
CLD 보정값과 전송된 보정 CLD의 역양자화 값을 이용하여 수학식 9와 같이 다객체 오디오 복호화 장치는 다운믹스 정보 파라미터를 복원할 수 있다.
[수학식 9]
Figure PCTKR2009003938-appb-I000012
이렇게 복원된 파라미터는 일반적인 양자화를 거쳐 복원되는 파라미터에 비해 양자화 오차가 감소됨으로써 다객체 오디오 부호화 장치는 음질 열화를 줄일 수 있다.
한편, 원본 다운믹스 신호를 가장 많이 변형시키는 과정은 이퀄라이저를 통한 밴드별 레벨 조정 과정이다. MPEG Surround의 ADG는 CLD를 파라미터로 사용하면 CLD 값은 20밴드 또는 28밴드로 처리되며, 마스터링 과정중의 이퀄라이저는 24밴드 또는 36밴드 등 다양한 조합을 이용한다. 다운믹스 정보 파라미터를 추출하는 파라미터 밴드가 CLD 파라미터 밴드가 아닌 이퀄라이저 밴드로 설정하여 처리함으로써 두 밴드사이의 불일치와 해상도 차이에 의한 오차가 최소화될 수 있다.
다운믹스 정보 파라미터 해석 밴드는 아래 표 2와 같다.
[표 2] 다운믹스 정보 파라미터 해석 밴드
Figure PCTKR2009003938-appb-I000013
bsMDProcessingBand의 값이 1보다 큰 경우, 상용 이퀄라이저가 사용하는 별도로 정의한 밴드로 다운믹스 정보 파라미터가 추출될 수 있다.
위에서 언급한 사항을 바탕으로 도 5의 내용을 설명한다.
포스트 다운믹스 신호를 처리하기 위해서, 다객체 오디오 부호화 장치는 수학식 2와 같이 믹싱 매트릭스(509)를 이용하여 DMG/CLD 계산 과정(501)을 수행할 수 있다. 그리고, 다객체 오디오 부호화 장치는 DMG/CLD 양자화 과정(502)을 통해 DMG와 CLD를 양자화할 수 있다. 그리고, 다객체 오디오 부호화 장치는 DMG/CLD 역양자화 과정(503)을 통해 DMG와 CLD를 역양자화하고, 믹싱 매트릭스 계산 과정(504)을 수행할 수 있다. 그리고, 다객체 오디오 부호화 장치는 믹싱 매트릭스를 통해 CLD 보정값 계산 과정(505)를 수행함으로써 CLD의 오차를 감소시킬 수 있다.
이 후, 다객체 오디오 부호화 장치는 포스트 다운믹스 신호(511)를 이용하여 CLD 계산 과정(506)을 수행할 수 있다. 그리고, 다객체 오디오 부호화 장치는 CLD 보정값 계산 과정(505)을 통해 계산된 CLD 보정값(507)을 이용하여 CLD 양자화 과정(508)을 수행함으로써 양자화된 보정 CLD(512)를 생성할 수 있다.
도 6은 본 발명의 일실시예에 따라 CLD 보정값을 역보정하여 포스트 다운믹스 신호를 보상하는 과정을 도시한 도면이다. 도 6은 도 5의 과정에 대한 반대 과정을 나타낸다.
다객체 오디오 복호화 장치는 양자화된 DMG/CLD(607)를 이용하여 DMG/CLD 역양자화 과정(601)을 수행할 수 있다. 그리고, 다객체 오디오 복호화 장치는 역양자화된 DMG/CLD를 이용하여 믹싱 매트릭스 계산 과정(602)을 수행할 수 있고, 그 후에 CLD 보정값 계산 과정(603)을 수행할 수 있다. 다객체 오디오 복호화 장치는 양자화된 보정 CLD(608)를 이용하여 보정 CLD 역양자화 과정(604)을 수행할 수 있다. 그리고, CLD 보정값 계산 과정(603)을 통해 결정된 CLD 보정값(605)과 역양자화된 보정 CLD값을 이용하여 포스트 다운믹스 보상 과정(606)을 수행할 수 있다. 포스트 다운믹스 보상 과정(606)은 포스트 다운믹스 신호가 적용될 수 있다. 이와 같은 과정을 통해 최종적인 믹싱 다운믹스(609)가 생성될 수 있다.
도 7은 본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치에서 파라미터 결정부의 상세 구성을 도시한 도면이다.
도 7을 참고하면, 파라미터 결정부(700)는 파워 오프셋 계산부(701) 및 파라미터 추출부(702)를 포함할 수 있다. 파라미터 결정부(700)는 도 2의 파라미터 결정부(202)에 대응할 수 있다.
파워 오프셋 결정부(701)는 특정 프레임 내에서 포스트 다운믹스 신호(703)의 평균 파워를 다운믹스 신호(704)의 평균 파워와 동일하도록 포스트 다운믹스 신호를 미리 설정한 값으로 스케일링할 수 있다. 즉, 일반적으로 포스트 다운믹스 신호가 부호화 과정을 통해 생성된 다운믹스 신호에 비해서 큰 파워를 가지게 됨으로, 파워 오프셋 결정부(701)는 스케일링 과정을 통해 양 신호 간에 파워를 동일하게 조절할 수 있다.
파라미터 추출부(702)는 특정 프레임 내에서 스케일링된 포스트 다운믹스 신호(705)로부터 다운믹스 정보 파라미터(706)를 추출할 수 있다. 포스트 다운믹스 신호(703)는 다운믹스 정보 파라미터(706)를 결정하기 위해 사용될 수 있다. 또는, 포스트 다운믹스 신호(707)는 특정한 처리 과정없이 바로 출력될 수 있다.
결국, 파라미터 결정부(700)는 다운믹스 신호와 포스트 다운믹스 신호의 신호 크기 차이를 계산하여 다운믹스 정보 파라미터를 결정할 수 있다. 구체적으로, 파라미터 결정부(700)는 포스트 다운믹스 신호를 다운믹스 신호와 최대로 유사하게 조절하여 균일하게 좌우대칭으로 분포되는 포스트 다운믹스 게인을 다운믹스 정보 파라미터로 결정할 수 있다.
도 8은 본 발명의 일실시예에 따라 포스트 다운믹스 신호를 지원하는 다객체 오디오 복호화 장치에서 다운믹스 신호 생성부의 상세 구성을 도시한 도면이다.
도 8을 참고하면, 다운믹스 신호 생성부(800)는 파워 오프셋 보상부(801), 다운믹스 신호 조절부(802)를 포함할 수 있다.
파워 오프셋 보상부(801)는 다운믹스 정보 파라미터(804)로부터 추출된 파워 오프셋 값을 이용하여 포스트 다운믹스 신호(803)를 스케일링할 수 있다. 파워 오프셋값은 다운믹스 정보 파라미터에 포함되어 전송되며, 파워 오프셋값은 필요에 따라 전송되지 않을 수 있다.
다운믹스 신호 조절부(802)는 스케일링된 포스트 다운믹스 신호(805)를 다운믹스 신호(806)로 변환할 수 있다.
도 9는 본 발명의 일실시예에 따라 SAOC 비트스트림 및 포스트 다운믹스 신호를 출력하는 과정을 도시한 도면이다.
포스트 다운믹스 신호를 지원하기 위한 다운믹스 정보 파라미터를 적용하기 위해서는 다음의 syntax를 추가할 수 있다.
[표 3] Syntax of SAOCSpecificConfig()
Figure PCTKR2009003938-appb-I000014
[표 4] Syntax of SAOCExtensionConfigData(1)
Figure PCTKR2009003938-appb-I000015
[표 5] Syntax of SAOCFrame()
Figure PCTKR2009003938-appb-I000016
Figure PCTKR2009003938-appb-I000017
[표 6] Syntax of SpatialExtensionFrameData(1)
Figure PCTKR2009003938-appb-I000018
[표 7] Syntax of MasteringDownmixResidualData()
Figure PCTKR2009003938-appb-I000019
본 발명에서 언급하는 포스트 마스터링 신호는 음악 CD에서와 같이 마스터링 엔지니어에 의해 생성되는 오디오 신호를 지칭하므로 원거리화상회의, 게임 등과 같이 MPEG-D SAOC에서 다루는 다양한 응용분야에서의 일반적인 다운믹스 신호에 대해서 적용할 수 있다. 또한, 본 발명은 포스트 다운믹스 신호에 대해 마스터링 다운믹스와 유사한 명칭으로 extended 다운믹스, enhanced 다운믹스, professional 다운믹스 등으로 지칭될 수 있다. 또한 이를 활용하기 위하여 표 3에서 7에서 설명한 MPEG-D SAOC의 마스터링 다운믹스 지원을 위한 syntax는 다음의 표들과 같이 각각의 다운믹스 신호의 명칭에 따라 재정의 될 수 있다.
[표 8] Syntax of SAOCSpecificConfig()
Figure PCTKR2009003938-appb-I000020
[표 9] Syntax of SAOCExtensionConfigData(1)
Figure PCTKR2009003938-appb-I000021
[표 10] Syntax of SAOCFrame()
Figure PCTKR2009003938-appb-I000022
Figure PCTKR2009003938-appb-I000023
[표 11] Syntax of SpatialExtensionFrameData(1)
Figure PCTKR2009003938-appb-I000024
[표 12] Syntax of ExtendedDownmixResidualData()
Figure PCTKR2009003938-appb-I000025
[표 13] Syntax of SAOCSpecificConfig()
Figure PCTKR2009003938-appb-I000026
[표 14] Syntax of SAOCExtensionConfigData(1)
Figure PCTKR2009003938-appb-I000027
[표 15] Syntax of SAOCFrame()
Figure PCTKR2009003938-appb-I000028
Figure PCTKR2009003938-appb-I000029
[표 16] Syntax of SpatialExtensionFrameData(1)
Figure PCTKR2009003938-appb-I000030
[표 17] Syntax of EnhancedDownmixResidualData()
Figure PCTKR2009003938-appb-I000031
[표 18] Syntax of SAOCSpecificConfig()
Figure PCTKR2009003938-appb-I000032
[표 19] Syntax of SAOCExtensionConfigData(1)
Figure PCTKR2009003938-appb-I000033
[표 20] Syntax of SAOCFrame()
Figure PCTKR2009003938-appb-I000034
Figure PCTKR2009003938-appb-I000035
[표 21] Syntax of SpatialExtensionFrameData(1)
Figure PCTKR2009003938-appb-I000036
[표 22] Syntax of ProfessionalDownmixResidualData()
Figure PCTKR2009003938-appb-I000037
[표 23] Syntax of SAOCSpecificConfig()
Figure PCTKR2009003938-appb-I000038
[표 24] Syntax of SAOCExtensionConfigData(1)
Figure PCTKR2009003938-appb-I000039
[표 25] Syntax of SAOCFrame()
Figure PCTKR2009003938-appb-I000040
Figure PCTKR2009003938-appb-I000041
[표 26] Syntax of SpatialExtensionFrameData(1)
Figure PCTKR2009003938-appb-I000042
[표 27] Syntax of PostDownmixResidualData()
Figure PCTKR2009003938-appb-I000043
위 표에서 표8에서 12까지는 extended 다운믹스, 표 13에서 17까지는 enhanced 다운믹스, 표 18에서 22까지는 professional 다운믹스, 표 23에서 27까지는 post 다운믹스 지원을 위한 MPEG-D SAOC의 syntax이다.
도 9를 참고하면, 오디오 객체(907~909)에 대해 QMF(Quadrature mirror filter) 분석(901~903)이 수행됨으로써 공간 분석(904)이 수행된다. 그리고, 입력된 포스트 다운믹스 신호(910, 911)에 대해서도 QMF 분석(905, 906)이 수행됨으로써 공간 분석이 수행될 수 있다. 입력된 포스트 다운믹스 신호(910, 911)은 특별한 과정을 거치지 않고 재생을 위해 바로 포스트 다운믹스 신호(915, 916)로 출력될 수 있다.
오디오 객체(907~909)에 대해 공간 분석(904)이 수행되면, 표준 공간 파라미터(912)와 포스트 다운믹스 게인(913)이 생성되며, 이를 이용하여 SAOC 비트 스트림(914)이 생성될 수 있다.
본 발명의 일실시예에 따른 다객체 오디오 신호 부호화 장치는 다운믹스 신호뿐만 아니라 오디오 객체 신호에 추가하여 외부로부터 입력되는 포스트 다운믹스 신호(예를 들어, 마스터링 다운믹스 신호)를 처리하기 위해 다운믹스 신호와 포스트 다운믹스 신호 간의 차이를 보상하기 위한 다운믹스 정보 파라미터인 포스트 다운믹스 게인(PDG)을 생성하여 비트스트림에 포함시킬 수 있다. 이 때, 포스트 다운믹스 게인의 기본적인 구조는 MPEG Surround의 arbitrary downmix gain(ADG)와 동일할 수 있다.
그러면, 본 발명의 일실시예에 따른 다객체 오디오 복호화 장치는 포스트 다운믹스 게인과 포스트 다운믹스 신호를 이용하여 다운믹스 신호를 보상할 수 있다. 이 때, 포스트 다운믹스 게인은 MPEG Surroung의 CLD와 동일한 양자화 테이블을 이용하여 양자화될 수 있다.
포스트 다운믹스 게인과 다른 공간 파라미터(OLD, NRG, IOC, DMG, DCLD)와 비교하면 표 28과 같으며, 포스트 다운믹스 게인은 MPEG Surround의 CLD 양자화 테이블을 이용하여 역양자화 될 수 있다.
[표 28] PDG와 다른 공간파라미터들의 차원과 값의 범위 비교
Figure PCTKR2009003938-appb-I000044
역양자화된 포스트 다운믹스 게인을 이용하여 입력된 포스트 다운믹스 신호를보상하는 과정은 다음과 같다.
포스트 다운믹스 신호에 대한 보상 과정은 믹싱 매트릭스를 입력 다운믹스 신호에 곱하여 보상된 다운믹스 신호를 생성할 수 있다. 이 때, SAOCSpecificConfig()의 Syntax 내의 bsPostDownmix 값이 0이면 포스트 다운믹스 신호의 보상 과정이 수행되지 않고, 1이면 수행된다. 즉, bsPostDownmix 값이 0이면 입력된 다운믹스 신호가 아무런 처리 과정없이 출력되며, 믹싱 매트릭스는 모노 다운믹스일 경우 수학식 10으로, 스테레오 다운믹스일 경우 수학식 11로 표현될 수 있다.
[수학식 10]
Figure PCTKR2009003938-appb-I000045
[수학식 11]
Figure PCTKR2009003938-appb-I000046
bsPostDownmix값이 1일 경우, 입력된 다운믹스 신호는 역양자화된 포스트 다운믹스 게인을 통해 보상될 수 있다. 먼저 믹싱 매트릭스가 모노 다운믹스일 경우, 수학식 12와 같이 정의된다.
[수학식 12]
Figure PCTKR2009003938-appb-I000047
여기에서
Figure PCTKR2009003938-appb-I000048
값은 역양자화된 포스트 다운믹스 게인값을 이용하여 계산될 수 있으며, 아래 수학식 13으로 표현될 수 있다.
[수학식 13]
Figure PCTKR2009003938-appb-I000049
그리고, 믹싱 매트릭스가 스테레오 다운믹스일 경우, 매트릭스는 수학식 14와 같이 정의될 수 있다.
[수학식 14]
Figure PCTKR2009003938-appb-I000050
여기에서
Figure PCTKR2009003938-appb-I000051
값은 역양자화된 포스트 다운믹스 게인값을 이용하여 계산될 수 있으며, 아래 수학식 15로 표현될 수 있다.
[수학식 15]
Figure PCTKR2009003938-appb-I000052
그리고, 포스트 다운믹스 게인값을 비트스트림내에서 전송하기 위한 syntax는 표 29와 표 30에 나타난다. 표 23에서 표 27에 표현된 포스트 다운믹스 게인과 비교했을 때, 표 29와 표 30은 포스트 다운믹스 신호의 완벽한 복원을 위해 residual coding을 적용하지 않을 때의 포스트 다운믹스 게인을 나타낸다.
[표 29] Syntax of SAOCSpecificConfig()
Figure PCTKR2009003938-appb-I000053
[표 30] Syntax of SAOCFrame()
Figure PCTKR2009003938-appb-I000054
Figure PCTKR2009003938-appb-I000055
표 29에서 bsPostDownmix 값은 포스트 다운믹스 게인의 존재유무를 알려주는 플래그이며 그 의미는 표 31과 같다.
[표 31] bsPostDownmix
Figure PCTKR2009003938-appb-I000056
이와 같은 포스트 다운믹스 게인을 이용한 포스트 다운믹스 신호의 지원은 residual coding을 통해 성능이 향상 될 수 있다. 즉 복호화를 위해 포스트 다운믹스 게인을 이용하여 포스트 다운믹스 신호(post downmix)를 보상하였을 경우, 보상된 포스트 다운믹스 신호와 원래의 다운믹스 신호 간의 차이로 인해 다운믹스 신호를 그대로 이용하였을 경우와 비교하여 음질의 열화가 발생할 수 있다.
이를 해결하기 위해 보상된 포스트 다운믹스 신호와 원래의 다운믹스 신호 간의 차이를 나타내는 residual 신호를 다객체 오디오 부호화 장치에서 추출한 후 부호화 하여 전송해준다. 다객체 오디오 복호화 장치는 residual 신호를 복호화하여 보상된 포스트 다운믹스 신호에 더 해줌으로써 원래의 다운믹스 신호와 유사하게 만들어 음질의 열화를 최소화 할 수 있다.
한편, residual 신호는 전체의 주파수 영역에서 추출할 수 있으나, 이 경우 비트율이 크게 증가하기 때문에 실제 음질에 영향을 미치는 주파수 영역만을 고려하여 전송할 수 있다. 즉 bass와 같이 저주파 성분만을 가지는 객체에 의해 음질 열화가 발생하는 경우 다객체 오디오 부호화 장치는 저주파 영역에서 residual 신호를 추출하여 음질의 열화를 보상하도록 한다.
일반적으로 인간의 인지특성에 따라 저주파 영역에서의 음질 열화를 보상하는 것이 중요하기 때문에, residual 신호는 저주파 영역에서 추출하여 전송하도록 한다. Residual 신호를 사용할 경우 다객체 오디오 부호화 장치는 수학식 9에서 14를 이용하여 보상된 포스트 다운믹스 신호에 아래의 syntax표를 이용하여 결정되는 residual 신호를 주파수 대역만큼 합산할 수 있다.
[표 32] bsSAOCExtType
Figure PCTKR2009003938-appb-I000057
[표 33] Syntax of SAOCExtensionConfigData(1)
Figure PCTKR2009003938-appb-I000058
[표 34] Syntax of PostDownmixResidualConfig()
Figure PCTKR2009003938-appb-I000059
[표 35] Syntax of SpatialExtensionFrameData(1)
Figure PCTKR2009003938-appb-I000060
[표 36] Syntax of PostDownmixResidualData()
Figure PCTKR2009003938-appb-I000061
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 외부에서 입력된 포스트 다운믹스 신호를 이용하여 다객체 오디오를 부호화하는 다객체 오디오 부호화 장치.
  2. 제1항에 있어서,
    입력 객체 신호로부터 다운믹스 신호와 객체 정보를 생성하는 객체 정보 추출 및 다운믹스 생성부;
    상기 추출된 다운믹스 신호와 상기 포스트 다운믹스 신호를 이용하여 다운믹스 정보 파라미터를 결정하는 파라미터 결정부; 및
    상기 다운믹스 정보 파라미터와 상기 객체 정보를 조합하여 객체 비트스트림을 생성하는 비트스트림 생성부
    를 포함하는 다객체 오디오 부호화 장치.
  3. 제2항에 있어서,
    상기 파라미터 결정부는,
    특정 프레임 내에서 상기 포스트 다운믹스 신호의 평균 파워를 상기 다운믹스 신호의 평균 파워와 동일하도록 상기 포스트 다운믹스 신호를 미리 설정한 값으로 스케일링하는 파워 오프셋 계산부; 및
    상기 특정 프레임 내에서 상기 스케일링된 포스트 다운믹스 신호로부터 다운믹스 정보 파라미터를 추출하는 파라미터 추출부
    를 포함하는 다객체 오디오 부호화 장치.
  4. 제2항에 있어서,
    상기 파라미터 결정부는,
    상기 다운믹스 신호와 상기 포스트 다운믹스 신호의 신호 크기 차이를 계산하여 상기 다운믹스 정보 파라미터를 결정하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  5. 제4항에 있어서,
    상기 파라미터 결정부는,
    상기 포스트 다운믹스 신호를 상기 다운믹스 신호와 최대로 유사하게 조절하여 균일하게 좌우대칭으로 분포되는 포스트 다운믹스 게인(Post Downmix Gain: PDG)을 상기 다운믹스 정보 파라미터로 결정하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  6. 제2항에 있어서,
    상기 파라미터 결정부는,
    상기 입력 객체 신호의 믹싱 정도를 나타내는 다운믹스 이득(Downmix Gain)인DMG와 다운믹스 채널 레벨 차이(Downmix Channel Level Difference)인 DCLD를 계산하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  7. 제2항에 있어서,
    상기 파라미터 결정부는,
    상기 다운믹스 신호와 상기 포스트 다운믹스 신호 간의 차이를 보상하기 위한 다운믹스 파라미터 정보인 포스트 다운믹스 게인을 결정하고,
    상기 비트스트림 생성부는,
    상기 포스트 다운믹스 게인을 비트스트림에 포함시켜 전송하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  8. 제7항에 있어서,
    상기 파라미터 결정부는,
    상기 포스트 다운믹스 게인을 적용하여 보상한 포스트 다운믹스 신호와 상기 다운믹스 신호 간의 차이인 잔여 신호(residual signal)을 생성하고,
    상기 비트스트림 생성부는,
    상기 잔여 신호를 비트 스트림에 포함시켜 전송하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  9. 제8항에 있어서,
    상기 잔여 신호는,
    상기 입력 객체 신호의 음질에 영향을 미치는 주파수 영역에 대해 생성되어 상기 비트스트림을 통해 전송되는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  10. 외부에서 입력된 포스트 다운믹스 신호를 이용하여 다객체 오디오를 복호화하는 다객체 오디오 복호화 장치.
  11. 제10항에 있어서,
    상기 다객체 오디오 복호화 장치는,
    객체 비트스트림으로부터 다운믹스 정보 파라미터와 객체 정보를 추출하는 비트스트림 처리부;
    상기 다운믹스 정보 파라미터에 따라 외부에서 입력된 포스트 다운믹스 신호를 조절하여 다운믹스 신호를 생성하는 다운믹스 신호 생성부; 및
    상기 객체 정보를 통해 상기 다운믹스 신호를 복호화하여 객체 신호를 생성하는 복호화부
    를 포함하는 다객체 오디오 복호화 장치.
  12. 제11항에 있어서,
    사용자 제어 정보를 통해 상기 생성된 객체 신호를 렌더링하여 재생할 수 있는 형태의 출력 신호를 생성하는 렌더링부
    를 더 포함하는 다객체 오디오 복호화 장치.
  13. 제11항에 있어서,
    상기 다운믹스 정보 파라미터는,
    상기 다운믹스 신호와 상기 포스트 다운믹스 신호의 신호 크기 차이를 보상하는 것을 특징으로 하는 다객체 오디오 복호화 장치.
  14. 제11항에 있어서,
    상기 다운믹스 신호 생성부는,
    상기 다운믹스 정보 파라미터로부터 추출된 파워 오프셋 값을 이용하여 상기 포스트 다운믹스 신호를 스케일링하는 파워 오프셋 보상부; 및
    상기 다운믹스 정보 파라미터를 이용하여 상기 스케일링된 포스트 다운믹스 신호를 다운믹스 신호로 변환하는 다운믹스 신호 조절부
    를 포함하는 다객체 오디오 복호화 장치.
  15. 제14항에 있어서,
    상기 다운믹스 신호 조절부는,
    상기 포스트 다운믹스 신호와 포스트 다운믹스 게인을 이용하여 다운믹스 신호를 보상하고,
    상기 포스트 다운믹스 게인은,
    상기 다운믹스 신호와 상기 포스트 다운믹스 신호 간의 차이를 보상하기 위한 다운믹스 파라미터 정보인 것을 특징으로 하는 다객체 오디오 복호화 장치.
  16. 제15항에 있어서,
    상기 다운믹스 신호 조절부는,
    상기 포스트 다운믹스 게인을 통해 보상된 포스트 다운믹스 신호에 잔여 신호(residual signal)를 적용하여 상기 포스트 다운믹스 신호를 상기 다운믹스 신호와 유사하게 조절하고,
    상기 잔여 신호는,
    상기 포스트 다운믹스 게인을 적용하여 보상한 포스트 다운믹스 신호와 상기 다운믹스 신호 간의 차이인 것을 특징으로 하는 다객체 오디오 복호화 장치.
  17. 객체 비트스트림으로부터 다운믹스 정보 파라미터와 객체 정보를 추출하는 비트스트림 처리부;
    상기 다운믹스 정보 파라미터와 포스트 다운믹스 신호를 이용하여 다운믹스 신호를 생성하는 다운믹스 신호 생성부;
    상기 객체 정보와 사용자 제어 정보를 이용하여 트랜스코딩을 수행하는 트랜스코딩부;
    상기 트랜스코딩 결과를 이용하여 상기 다운믹스 신호를 전처리하는 다운믹스 신호 전처리부; 및
    상기 전처리된 다운믹스 신호와 상기 트랜스코딩 결과를 이용하여 MPEG Surround 복호화를 수행하는 MPEG Surround 복호화부
    를 포함하는 다객체 오디오 복호화 장치.
  18. 제17항에 있어서,
    상기 다운믹스 신호 생성부는,
    상기 다운믹스 정보 파라미터로부터 추출된 파워 오프셋 값을 이용하여 상기 포스트 다운믹스 신호를 스케일링하는 파워 오프셋 보상부; 및
    상기 다운믹스 정보 파라미터를 이용하여 상기 스케일링된 포스트 다운믹스 신호를 다운믹스 신호로 변환하는 다운믹스 신호 조절부
    를 포함하는 다객체 오디오 복호화 장치.
  19. 제17항에 있어서,
    상기 비트스트림 처리부는,
    상기 다운믹스 신호와 상기 포스트 다운믹스 신호의 신호 크기 차이를 나타내는 상기 다운믹스 정보 파라미터를 추출하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
  20. 제19항에 있어서,
    상기 다운믹스 정보 파라미터는,
    상기 포스트 다운믹스 신호를 상기 다운믹스 신호와 최대로 유사하게 조절하여 균일하게 좌우대칭으로 분포되는 포스트 다운믹스 게인(Post Downmix Gain: PDG)을 포함하는 것을 특징으로 하는 다객체 오디오 부호화 장치.
PCT/KR2009/003938 2008-07-16 2009-07-16 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 WO2010008229A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2009801362577A CN102171751B (zh) 2008-07-16 2009-07-16 支持后降混信号的多对象音频编解码设备
EP09798132.8A EP2320415B1 (en) 2008-07-16 2009-07-16 Multi-object audio encoding apparatus supporting post down-mix signal
US13/054,662 US9685167B2 (en) 2008-07-16 2009-07-16 Multi-object audio encoding and decoding apparatus supporting post down-mix signal
US15/625,623 US10410646B2 (en) 2008-07-16 2017-06-16 Multi-object audio encoding and decoding apparatus supporting post down-mix signal
US16/562,921 US11222645B2 (en) 2008-07-16 2019-09-06 Multi-object audio encoding and decoding apparatus supporting post down-mix signal

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
KR10-2008-0068861 2008-07-16
KR20080068861 2008-07-16
KR10-2008-0093557 2008-09-24
KR20080093557 2008-09-24
KR20080099629 2008-10-10
KR10-2008-0099629 2008-10-10
KR20080100807 2008-10-14
KR10-2008-0100807 2008-10-14
KR10-2008-0101451 2008-10-16
KR20080101451 2008-10-16
KR10-2008-0109318 2008-11-05
KR20080109318 2008-11-05
KR10-2009-0006716 2009-01-28
KR20090006716 2009-01-28
KR1020090061736A KR101614160B1 (ko) 2008-07-16 2009-07-07 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
KR10-2009-0061736 2009-07-07

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/054,662 A-371-Of-International US9685167B2 (en) 2008-07-16 2009-07-16 Multi-object audio encoding and decoding apparatus supporting post down-mix signal
US15/625,623 Continuation US10410646B2 (en) 2008-07-16 2017-06-16 Multi-object audio encoding and decoding apparatus supporting post down-mix signal

Publications (1)

Publication Number Publication Date
WO2010008229A1 true WO2010008229A1 (ko) 2010-01-21

Family

ID=41817315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/003938 WO2010008229A1 (ko) 2008-07-16 2009-07-16 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치

Country Status (5)

Country Link
US (3) US9685167B2 (ko)
EP (3) EP2696342B1 (ko)
KR (5) KR101614160B1 (ko)
CN (2) CN103258538B (ko)
WO (1) WO2010008229A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
CN102792378B (zh) * 2010-01-06 2015-04-29 Lg电子株式会社 处理音频信号的设备及其方法
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
EP2690621A1 (en) * 2012-07-26 2014-01-29 Thomson Licensing Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
WO2014160717A1 (en) 2013-03-28 2014-10-02 Dolby Laboratories Licensing Corporation Using single bitstream to produce tailored audio device mixes
EP2830046A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal to obtain modified output signals
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
CN107787584B (zh) * 2015-06-17 2020-07-24 三星电子株式会社 处理低复杂度格式转换的内部声道的方法和装置
CN108665902B (zh) 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
KR102335377B1 (ko) 2017-04-27 2021-12-06 현대자동차주식회사 Pcsv 진단 방법
KR20190069192A (ko) 2017-12-11 2019-06-19 한국전자통신연구원 오디오 신호의 채널 파라미터 예측 방법 및 장치
GB2593117A (en) * 2018-07-24 2021-09-22 Nokia Technologies Oy Apparatus, methods and computer programs for controlling band limited audio objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157883A1 (en) * 2004-01-20 2005-07-21 Jurgen Herre Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
WO2006060278A1 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
WO2007004830A1 (en) * 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2693893B2 (ja) * 1992-03-30 1997-12-24 松下電器産業株式会社 ステレオ音声符号化方法
US6353584B1 (en) * 1998-05-14 2002-03-05 Sony Corporation Reproducing and recording apparatus, decoding apparatus, recording apparatus, reproducing and recording method, decoding method and recording method
CA2722110C (en) * 1999-08-23 2014-04-08 Panasonic Corporation Apparatus and method for speech coding
US6925455B2 (en) * 2000-12-12 2005-08-02 Nec Corporation Creating audio-centric, image-centric, and integrated audio-visual summaries
US6958877B2 (en) * 2001-12-28 2005-10-25 Matsushita Electric Industrial Co., Ltd. Brushless motor and disk drive apparatus
JP3915918B2 (ja) * 2003-04-14 2007-05-16 ソニー株式会社 ディスクプレーヤのチャッキング装置およびディスクプレーヤ
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
MX2007012187A (es) * 2005-04-01 2007-12-11 Qualcomm Inc Sistemas, metodos y aparatos para deformacion en tiempo de banda alta.
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
JP4521032B2 (ja) * 2005-04-19 2010-08-11 ドルビー インターナショナル アクチボラゲット 空間音声パラメータの効率的符号化のためのエネルギー対応量子化
KR20070003545A (ko) 2005-06-30 2007-01-05 엘지전자 주식회사 멀티채널 오디오 코딩에서 클리핑 복원방법
US20080255859A1 (en) 2005-10-20 2008-10-16 Lg Electronics, Inc. Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
US8285556B2 (en) * 2006-02-07 2012-10-09 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US20070234345A1 (en) 2006-02-22 2007-10-04 Microsoft Corporation Integrated multi-server installation
US7965848B2 (en) * 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
EP2071564A4 (en) * 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
BRPI0816557B1 (pt) * 2007-10-17 2020-02-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Codificação de áudio usando upmix
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157883A1 (en) * 2004-01-20 2005-07-21 Jurgen Herre Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
WO2006060278A1 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
WO2007004830A1 (en) * 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HERRE, J. ET AL.: "New Concepts in Parametric Coding of Spatial Audio: From SAC to SAOC", MULTIMEDIA AND EXPO, 2007 IEEE INTERNATIONAL CONFERENCE, 2 May 2007 (2007-05-02), pages 1894 - 1897, XP031124020 *

Also Published As

Publication number Publication date
KR20160043947A (ko) 2016-04-22
CN102171751B (zh) 2013-05-29
CN102171751A (zh) 2011-08-31
KR20190050755A (ko) 2019-05-13
KR101976757B1 (ko) 2019-05-09
US11222645B2 (en) 2022-01-11
KR101840041B1 (ko) 2018-03-19
EP2696342A2 (en) 2014-02-12
US10410646B2 (en) 2019-09-10
US20200066289A1 (en) 2020-02-27
CN103258538A (zh) 2013-08-21
EP2320415A4 (en) 2012-09-05
EP2696342A3 (en) 2014-08-27
KR20100008755A (ko) 2010-01-26
KR101614160B1 (ko) 2016-04-20
KR20170054355A (ko) 2017-05-17
KR20180030491A (ko) 2018-03-23
EP2998958A3 (en) 2016-04-06
KR101734452B1 (ko) 2017-05-12
KR102115358B1 (ko) 2020-05-26
EP2320415B1 (en) 2015-09-09
US20110166867A1 (en) 2011-07-07
CN103258538B (zh) 2015-10-28
EP2320415A1 (en) 2011-05-11
EP2998958A2 (en) 2016-03-23
US20170337930A1 (en) 2017-11-23
EP2696342B1 (en) 2016-01-20
US9685167B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
WO2010008229A1 (ko) 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
WO2010107269A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2010087614A2 (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
WO2011034385A2 (en) Method and apparatus for encoding and decoding mode information
WO2013141638A1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
WO2012157932A2 (en) Bit allocating, audio encoding and decoding
WO2012144878A2 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2013115625A1 (ko) 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치
WO2017222356A1 (ko) 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치
WO2009116815A2 (en) Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
WO2010050740A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
EP2392007A2 (en) A method and an apparatus for decoding an audio signal
AU2012246799A1 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2019107868A1 (en) Apparatus and method for outputting audio signal, and display apparatus using the same
WO2014185569A1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
WO2015012600A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2010087631A2 (en) A method and an apparatus for decoding an audio signal
WO2010032992A2 (ko) Mdct기반의 코너와 이종의 코더간 변환에서의 인코딩 장치 및 디코딩 장치
WO2015093742A1 (en) Method and apparatus for encoding/decoding an audio signal
WO2016204581A1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2019199040A1 (ko) 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
WO2017126904A1 (ko) 화질 열화 감소를 위한 영상 신호 변환 방법 및 장치
WO2016204579A1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2014168439A1 (ko) 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
WO2022065933A1 (ko) 오디오의 부호화 장치 및 방법, 및 오디오의 복호화 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980136257.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09798132

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13054662

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009798132

Country of ref document: EP