KR100866885B1

KR100866885B1 - Method for encoding and decoding multi-channel audio signal and apparatus thereof

Info

Publication number: KR100866885B1
Application number: KR1020087011931A
Authority: KR
Inventors: 정양원; 방희석; 오현오; 김동수; 임재현
Original assignee: 엘지전자 주식회사
Priority date: 2005-10-20
Filing date: 2006-10-20
Publication date: 2008-11-04
Also published as: ES2587999T3; US20100310079A1; EP1952392A4; KR20080086550A; US20080262853A1; JP5536335B2; EP1952392A1; EP1952391B1; US8498421B2; US20080255859A1; JP2009512893A; EP1952392B1; EP1952391A4; WO2007046660A1; KR101165640B1; EP1952391A1; US8804967B2; US20110085669A1; KR20070043651A; JP5507844B2

Abstract

본 발명은 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치에 관한 것이다. 본 부호화 방법에서는 멀티채널 오디오 신호와 다운믹스(downmix) 신호를 이용하여 공간정보를 산출하고, 멀티채널 오디오 신호와 다운믹스 신호를 이용하여 다운믹스 신호를 보상하는 보상 파라미터를 산출한다. 그리고, 산출한 공간정보와 보상 파라미터를 부호화한 부가정보와 부호화된 다운믹스 신호를 결합한 비트스트림을 생성한다. 본 발명에 따르면, 다운믹스 신호를 보상하는 보상 파라미터를 사용하여 복호화된 멀티채널 오디오 신호를 보상함으로써 멀티채널 오디오 신호의 전체적인 음질 저하를 방지할 수 있다.The present invention relates to a method and apparatus for encoding and decoding a multichannel audio signal. In the encoding method, spatial information is calculated using a multichannel audio signal and a downmix signal, and a compensation parameter for compensating a downmix signal is calculated using the multichannel audio signal and a downmix signal. A bitstream is generated by combining the calculated spatial information, the additional information encoding the compensation parameter, and the encoded downmix signal. According to the present invention, it is possible to prevent degradation of the overall sound quality of the multichannel audio signal by compensating the decoded multichannel audio signal using a compensation parameter for compensating the downmix signal.

Description

TECHNICAL FOR ENCODING AND DECODING MULTI-CHANNEL AUDIO SIGNAL AND APPARATUS THEREOF

본 발명은 부호화 및 복호화 방법과 그 장치에 관한 것으로, 더욱 상세하게는 다운믹스 신호를 보상할 수 있는 부가정보를 사용하여 멀티채널 오디오 신호를 부호화 및 복호화할 수 있는 부호화 및 복호화 방법과 그 장치에 관한 것이다.The present invention relates to an encoding and decoding method and apparatus, and more particularly, to an encoding and decoding method and apparatus for encoding and decoding a multichannel audio signal using additional information capable of compensating for a downmix signal. It is about.

일반적인 멀티채널 오디오 신호 부호화 방법에서는, 각각의 채널별 신호를 모두 부호화하는 대신, 멀티채널 오디오 신호를 모노 혹은 스테레오 신호로 다운믹스(downmix)한 신호를 공간 정보와 함께 부호화하는 방식을 사용한다. 이때, 공간 정보는 다운믹스 신호로부터 원래의 멀티채널 오디오 신호를 생성하는데 사용된다.In a general multichannel audio signal encoding method, instead of encoding all the signals for each channel, a method of encoding a downmixed multichannel audio signal into a mono or stereo signal together with spatial information is used. The spatial information is then used to generate the original multichannel audio signal from the downmix signal.

도 1은 일반적인 멀티채널 오디오 신호 부호화/복호화 장치의 일 예에 대한 블록도이다. 도 1을 참조하면, 오디오 신호 인코더(Encoder)는 멀티채널 오디오 신호를 스테레오 혹은 모노 신호로 다운믹스한 다운믹스 신호를 생성하는 다운믹스(Downmix) 모듈, 및 공간 정보를 생성하는 공간 파라미터 예측(Spatial Parameter Estimation)모듈을 구비한다. 사용환경에 따라서는 다운믹스 신호를 외부에서 가공한 임의의 다운믹스 신호(Artistic Downmix)로 입력받기도 한다. 오디오 신호 디코더(Decoder)는 전송된 공간 정보를 해석한 뒤, 이를 바탕으로 다운믹스 신호에서 원래의 멀티채널 오디오 신호를 생성한다.1 is a block diagram of an example of a general multi-channel audio signal encoding / decoding apparatus. Referring to FIG. 1, an audio signal encoder includes a downmix module for generating a downmix signal obtained by downmixing a multichannel audio signal into a stereo or mono signal, and a spatial parameter prediction for generating spatial information. Parameter Estimation) module. Depending on the usage environment, the downmix signal may be input as an arbitrary downmix signal (Artistic Downmix) processed externally. The audio signal decoder interprets the transmitted spatial information and then generates the original multichannel audio signal from the downmix signal.

그런데, 오디오 신호 인코더에서 다운믹스 신호의 생성하는 경우나 혹은 임의의 다운믹스 신호(Artistic Downmix)를 생성하는 경우, 서로 다른 채널의 신호들을 합산하는 과정에서 신호 레벨의 감쇄가 발생할 수 있다. 예컨대, 신호 레벨이 각각 L1 및 L2 인 두 채널을 합산하는 경우, 두 채널의 신호가 완벽하게 중첩을 이루지 못하고 일부 상쇄되어, 두 채널을 합산한 채널의 레벨 DL12 가 L1+L2 보다 작아지는 경우이다However, in the case of generating a downmix signal in the audio signal encoder or generating an arbitrary downmix signal, an attenuation of the signal level may occur in the process of summing signals of different channels. For example, in the case of summing two channels whose signal levels are L1 and L2, respectively, the signals of the two channels do not overlap completely, and are partially canceled, so that the level DL12 of the sum of the two channels becomes smaller than L1 + L2.

이러한 경우, 감쇄된 다운믹스 신호의 레벨은 복호화 과정에서 신호 왜곡을 초래할 수 있다. 예컨대, 공간 정보 중에서 상호 채널간의 레벨 차이를 나타내는 CLD(Channel Level Difference)의 경우, CLD 값에 상호 채널간의 레벨 관계는 알 수 있으나, 이들 채널을 합산하여 생성한 다운믹스 신호의 레벨이 감쇄되어 있는 경우에는, 복호화된 신호는 원래의 신호보다 크기가 줄어들게 된다.In this case, the level of the attenuated downmix signal may cause signal distortion during decoding. For example, in the case of CLD (Channel Level Difference) indicating a level difference between channels in spatial information, the level relationship between channels can be known to the CLD value, but the level of the downmix signal generated by adding these channels is attenuated. In this case, the decoded signal is reduced in size than the original signal.

이와 같은 현상에 의해, 복호화된 멀티채널 오디오 신호가 특정 주파수에서 신호가 상승(boost) 되거나 억제(suppress) 되는 효과가 발생할 수 있고, 이에 따라 전체적으로 음질의 저하가 발생하게 된다. 또한, 신호 일부의 상쇄로 레벨 감쇄가 발생하는 것은 주파수 영역에 따라 다르게 발생하므로, 오디오 신호 인코더와 디코더를 거치게 되면 주파수에 따라 왜곡 정도가 변화하게 된다. 그러므로, 이러한 현상을 방지하기 위해 다운믹스 신호의 특정 주파수 영역의 에너지를 변화하는 방법으로는 해결이 용이하지 않다.As a result, the decoded multi-channel audio signal may have an effect of boosting or suppressing a signal at a specific frequency, thereby degrading sound quality as a whole. In addition, since the level attenuation occurs due to the cancellation of a part of the signal according to the frequency domain, the degree of distortion changes according to the frequency when the audio signal encoder and the decoder pass through. Therefore, in order to prevent such a phenomenon, it is not easy to solve by changing the energy of a specific frequency region of the downmix signal.

기술적 과제Technical challenge

따라서, 본 발명의 목적은, 다운믹스 신호를 보상할 수 있는 부가정보를 사용하여 부호화되는 부호화 및 그 장치를 제공함에 있다.Accordingly, an object of the present invention is to provide an encoding and an apparatus which are encoded using additional information capable of compensating a downmix signal.

본 발명의 다른 목적은, 다운믹스 신호를 보상할 수 있는 부가정보를 사용하여 부호화된 멀티채널 오디오 신호를 복호화하는 복호화 방법과 그 장치를 제공하는데 있다.Another object of the present invention is to provide a decoding method and apparatus for decoding a multichannel audio signal encoded using additional information capable of compensating for a downmix signal.

기술적 해결방법Technical solution

상기 목적을 달성하기 위한 본 발명에 따른 부호화 방법은, 멀티채널 오디오 신호와 다운믹스 신호를 이용하여 공간정보를 산출하는 단계, 및 상기 멀티채널 오디오 신호와 상기 다운믹스 신호를 이용하여 보상 파라미터를 산출하는 단계를 포함한다.According to an aspect of the present invention, there is provided an encoding method, comprising: calculating spatial information using a multichannel audio signal and a downmix signal, and calculating a compensation parameter using the multichannel audio signal and the downmix signal It includes a step.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 부호화 장치는, 멀티채널 오디오 신호와 다운믹스 신호를 이용하여 공간정보를 산출하는 공간정보 산출부, 및 상기 멀티채널 오디오 신호와 상기 다운믹스 신호를 이용하여 보상 파라미터를 산출하는 보상 파라미터 산출부를 포함한다.In addition, the encoding apparatus according to the present invention for achieving the above object, the spatial information calculation unit for calculating the spatial information using the multi-channel audio signal and the downmix signal, and using the multi-channel audio signal and the downmix signal And a compensation parameter calculator to calculate a compensation parameter.

한편, 본 발명에 따른 복호화 방법은, 수신한 오디오 신호로부터 다운믹스 신호와 부가정보를 추출하는 단계, 상기 부가정보로부터 공간정보 및 보상 파라미터를 추출하는 단계, 상기 다운믹스 신호와 상기 공간정보를 이용하여 멀티채널 오디오 신호를 생성하는 단계, 및 생성한 멀티채널 오디오 신호를 상기 보상 파라미터를 사용하여 보상된 멀티채널 오디오 신호를 생성하는 단계를 포함한다.Meanwhile, the decoding method according to the present invention includes extracting a downmix signal and additional information from a received audio signal, extracting spatial information and a compensation parameter from the additional information, and using the downmix signal and the spatial information. Generating a multichannel audio signal, and generating a multichannel audio signal compensated for the generated multichannel audio signal using the compensation parameter.

본 발명에 따르면, 수신한 오디오 신호의 비트스트림에서 부호화된 다운믹스 신호와 부가정보를 추출하는 디멀티플렉서, 상기 다운믹스 신호를 복호화하여 다운믹스 신호를 생성하는 코아 인코더, 상기 부가정보로부터 공간정보 및 보상 파라미터를 추출하는 파라미터 인코더, 및 상기 다운믹스신호와 상기 공간정보를 이용하여 멀티채널 오디오 신호를 생성하고, 생성한 상기 멀티채널 오디오 신호를 상기 보상 파라미터를 이용하여 보상한 멀티채널 오디오 신호를 출력하는 멀티채널 합성부를 포함하는 복호화 장치가 제공된다.According to the present invention, a demultiplexer extracts an encoded downmix signal and side information from a bitstream of a received audio signal, a core encoder for decoding the downmix signal to generate a downmix signal, and spatial information and compensation from the side information. A parameter encoder for extracting a parameter, and generating a multichannel audio signal using the downmix signal and the spatial information, and outputting a multichannel audio signal that compensates the generated multichannel audio signal using the compensation parameter. A decoding apparatus including a multichannel synthesis unit is provided.

상기 목적을 달성하기 위하여 본 발명에서는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In order to achieve the above object, the present invention provides a computer-readable recording medium recording a program for executing the method on a computer.

유리한 효과Favorable effect

본 발명에 따르면, 입력받은 멀티채널 오디오 신호와 다운 믹스된 신호의 레벨 등을 비교한 결과에 따라 산출된 보상 파라미터를 부가정보 사용하여, 복호화된 멀티채널 오디오 신호를 보상할 수 있다. 또한, 공간정보의 일부를 부가정보로 사용하여 전송된 부가정보와 다운믹스 신호를 이용하여 추가적인 공간정보를 생성하여 사용하는 것도 가능하다. 따라서, 복호화된 멀티채널 오디오 신호가 특정 주파수에서 신호가 왜곡되는 것을 방지할 수 있으며, 복호화된 멀티채널 오디오 신호의 전체적 음질을 향상시킬 수 있다.According to the present invention, the decoded multichannel audio signal may be compensated using additional information using a compensation parameter calculated based on a result of comparing the input level of the multichannel audio signal and the downmixed signal. In addition, additional spatial information may be generated and used by using the additional information and the downmix signal transmitted by using a part of the spatial information as additional information. Accordingly, the decoded multichannel audio signal may be prevented from being distorted at a specific frequency, and the overall sound quality of the decoded multichannel audio signal may be improved.

도 1은 일반적인 멀티채널 오디오 신호 부호화/복호화 장치의 일 예를 나타낸 블럭도,1 is a block diagram showing an example of a general multi-channel audio signal encoding / decoding apparatus;

도 2는 본 발명의 일실시예에 따른 부호화 장치의 블럭도,2 is a block diagram of an encoding apparatus according to an embodiment of the present invention;

도 3은 본 발명의 일실시예에 따른 복호화 장치의 블럭도,3 is a block diagram of a decoding apparatus according to an embodiment of the present invention;

도 4는 본 발명의 일실시예에 따른 복호화 장치의 동작방법의 설명에 제공되는 흐름도,4 is a flowchart provided to explain an operating method of a decoding apparatus according to an embodiment of the present invention;

도 5는 본 발명의 다른 실시예에 따른 복호화 장치의 블럭도, 그리고5 is a block diagram of a decoding apparatus according to another embodiment of the present invention, and

도 6은 본 발명의 또 다른 실시예에 따른 복호화 장치의 블럭도이다.6 is a block diagram of a decoding apparatus according to another embodiment of the present invention.

발명의 실시를 위한 최선의 형태Best Mode for Carrying Out the Invention

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.

본 발명에 따른 부호화 및 복호화 방법과 그 장치는 기본적으로 멀티채널 오디오 신호의 처리과정에 적용되지만, 반드시 이에 국한되는 것은 아니며 본 발명에 따른 조건을 만족하는 다른 신호의 처리 과정에 적용이 가능하다.The encoding and decoding method and apparatus according to the present invention are basically applied to the processing of a multichannel audio signal, but are not necessarily limited thereto, and may be applied to the processing of other signals satisfying the conditions according to the present invention.

도 2는 본 발명의 일실시예에 따른 부호화 장치의 블럭도이다. 도 2를 참조하면, 본 실시예에 따른 부호화 장치는, 다운믹스부(110), 보상 파라미터 산출부(120), 공간정보 산출부(130), 및 비트스트림 생성부(170)를 포함한다. 비트스트림 생성부(170)는 코아 인코더(140), 파라미터 인코더(150), 및 멀티플렉서(160)를 포함한다.2 is a block diagram of an encoding apparatus according to an embodiment of the present invention. Referring to FIG. 2, the encoding apparatus according to the present embodiment includes a downmixer 110, a compensation parameter calculator 120, a spatial information calculator 130, and a bitstream generator 170. The bitstream generator 170 includes a core encoder 140, a parameter encoder 150, and a multiplexer 160.

다운믹스부(110)는 멀티채널 오디오 신호를 모노 신호 혹은 스테레오 신호로 다운믹스한 다운믹스(downmix) 신호를 생성한다. 보상 파라미터 산출부(120)는 다운 믹스부(110)에서 생성되거나 혹은 Artistic Downmix 에 의해 입력받은 다운믹스 신호와, 다운믹스 신호의 생성에 사용된 멀티채널 오디오 신호간의 레벨 크기를 비 교한 결과나 혹은 엔벨로프(envelope)를 비교한 결과 등에 따라, 다운믹스 신호의 보상을 위해 사용되는 보상 파라미터를 산출한다. 공간정보 산출부(130)는 멀티채널 오디오 신호의 공간정보(spatial information)를 산출한다.The downmix unit 110 generates a downmix signal in which the multichannel audio signal is downmixed into a mono signal or a stereo signal. The compensation parameter calculator 120 compares the level of the downmix signal generated by the downmix unit 110 or input by the artistic downmix to the multi-channel audio signal used for generating the downmix signal, or A compensation parameter used for compensating the downmix signal is calculated according to the result of comparing the envelope. The spatial information calculator 130 calculates spatial information of the multichannel audio signal.

비트스트림 생성부(170)에서 코아 인코더(140)는 다운믹스 신호를 부호화하여 부호화된 다운믹스 신호를 생성하고, 파라미터 인코더(150)는 보상 파라미터와 공간정보를 부호화하여 부가정보를 생성한다. 그리고, 멀티플렉서(160)는 부호화된 다운믹스 신호와 부가정보를 결합한 비트스트림을 생성한다.In the bitstream generator 170, the core encoder 140 encodes the downmix signal to generate an encoded downmix signal, and the parameter encoder 150 encodes a compensation parameter and spatial information to generate additional information. The multiplexer 160 generates a bitstream combining the encoded downmix signal and the side information.

이와 같은 구성에서, 다운믹스부(110)는 입력되는 멀티채널 오디오 신호를 다운믹스하여 다운믹스 신호를 생성한다. 예컨대, 5개의 채널을 갖는 멀티채널 오디오 신호를 스테레오 신호로 다운믹스하는 경우, 다운믹스 채널 1은 멀티채널 오디오 신호에서 1, 3, 4 채널의 성분을 조합하여 산출할 수 있고, 다운믹스 채널 2는 채널 2, 3, 5의 성분을 조합하여 산출할 수 있다.In such a configuration, the downmix unit 110 downmixes the input multichannel audio signal to generate a downmix signal. For example, when downmixing a multichannel audio signal having five channels into a stereo signal, downmix channel 1 may be calculated by combining components of 1, 3, and 4 channels in the multichannel audio signal, and downmix channel 2 Can be calculated by combining the components of channels 2, 3, and 5.

다운믹스 신호가 생성되면, 보상 파라미터 산출부(120)는 다운믹스 신호의 보상에 사용되는 보상 파라미터를 산출한다. 이때, 보상 파라미터는 다양한 방법에 의해 산출 가능하며, 그 일 예로서 다음과 같은 방법에 의해 산출할 수도 있다.When the downmix signal is generated, the compensation parameter calculator 120 calculates a compensation parameter used for compensating the downmix signal. In this case, the compensation parameter may be calculated by various methods, and may be calculated by the following method as an example.

5개의 채널을 갖는 멀티채널 오디오 신호에서, 특정 주파수 밴드에서 5개의 채널의 신호 레벨이 각각 L1, L2, L3, L4, L5 라 하고, 다운믹스 채널 1은 1, 3, 4 채널의 성분을 갖고, 다운믹스 채널 2는 2, 3, 5 채널의 성분을 갖는 경우, 다운믹스 채널 1의 신호 레벨 DL134, 와 다운믹스 채널 2의 신호 레벨 DL235는 다음의 수식과 같은 관계를 가지게 된다.In a multichannel audio signal with five channels, the signal levels of five channels in a specific frequency band are L1, L2, L3, L4, and L5, respectively, and the downmix channel 1 has components of 1, 3, and 4 channels. For example, when the downmix channel 2 has components of 2, 3, and 5 channels, the signal level DL134 of the downmix channel 1 and the signal level DL235 of the downmix channel 2 have a relationship as follows.

수학식 1Equation 1

여기서, g3, g4, g5는 다운믹스(downmix)시 발생하는 이득(gain)을 나타낸다.Here, g3, g4, and g5 represent gains generated when downmixing.

복호화 과정에서 이러한 다운믹스 신호로부터 다시 멀티채널 오디오 신호를로 생성하는 경우, 생성된 다섯 채널 신호의 레벨 L1', L2', L3', L4', L5'는 각각 원래의 신호 레벨인 L1, L2, L3, L4, L5 와 같아지는 것이 이상적이다. 따라서, 이를 위해 다운믹스 채널 1의 보상 파라미터 CF123, 및 다운믹스 채널 2의 보상 파라미터 CF235를 다음과 같이 산출할 수 있다.When the multi-channel audio signal is again generated from the downmix signal during decoding, the levels L1 ', L2', L3 ', L4', and L5 'of the generated five channel signals are respectively the original signal levels L1 and L2. Ideally, it would be equal to L3, L4, L5. Accordingly, for this purpose, the compensation parameter CF123 of the downmix channel 1 and the compensation parameter CF235 of the downmix channel 2 may be calculated as follows.

수학식 2Equation 2

상기한 예에서는 전송되는 데이터의 양을 감소를 위해, 다운믹스 채널별로 보상 파라미터를 산출하였으나, 보상 파라미터는 멀티채널 오디오 신호의 각 채널별로 산출할 수도 있다. 즉, 다운믹스 신호와 각 채널의 에너지 혹은 엔벨로프(envelope)의 비로 산출하는 것도 가능하다.In the above example, in order to reduce the amount of data to be transmitted, a compensation parameter is calculated for each downmix channel, but the compensation parameter may be calculated for each channel of the multichannel audio signal. In other words, it is also possible to calculate the ratio of the downmix signal and the energy or envelope of each channel.

보상 파라미터의 생성과 함께, 공간정보 산출부(130)는 공간정보를 산출한다. 공간정보에는, CLD(Channel Level Difference), ICC(Inter-channel Cross Correlation), CPC(Channel Prediction Coefficient) 등과 같은 정보가 포함된다.The spatial information calculator 130 calculates the spatial information along with the generation of the compensation parameter. The spatial information includes information such as channel level difference (CLD), inter-channel cross correlation (ICC), channel prediction coefficient (CPC), and the like.

코아 인코더(140)는 다운믹스 신호를 부호화하고, 파라미터 인코더(150)는 공간정보와 보상 파라미터를 부호화하여 부가정보를 생성한다. 이때, 보상 파라미터는 기존의 CLD 부호화에 사용되는 것과 같은 방식으로 부호화할 수 있고, 혹은 다른 방식에 의해 부호화할 수 있다. 예를 들어, 보상 파라미터는, 시간 혹은 주파수 디퍼렌셜 부호화(differential coding), 그룹 PCM(Grouped PCM) 부호화, 파일럿 기반(pilot-based) 부호화, 및 호프만 코드북(Huffman codebook) 등을 이용하여 부호화할 수 있다. 멀티플렉서(160)는 이와 같은 생성된 부호화된 다운믹스 신호와, 부가정보를 결합하여 비트스트림을 생성한다. 이와 같은 과정에 의해, 다운믹스 신호의 레벨 감쇄를 보상하는 보상 파라미터가 부가정보로 포함된 비트스트림을 생성할 수 있다.The core encoder 140 encodes the downmix signal, and the parameter encoder 150 encodes the spatial information and the compensation parameter to generate additional information. In this case, the compensation parameter may be encoded in the same manner as used in the conventional CLD encoding, or may be encoded in another manner. For example, the compensation parameter may be encoded using time or frequency differential coding, grouped PCM coding, pilot-based coding, Huffman codebook, or the like. . The multiplexer 160 combines the generated encoded downmix signal and the side information to generate a bitstream. By such a process, a bitstream including compensation parameters for compensating for level reduction of the downmix signal as additional information may be generated.

한편, 레벨 보상이 필요하지 않은 경우에는, 보상 파라미터와 관련된 플래그(flag)를 '0' 으로 놓음으로써 전송되는 부가정보의 비트 레이트를 감소시킬 수 있다. 또한, 보상 파라미터 CF134, CF235의 값이 큰 차이가 없을 경우, 두 개의 보상 파라미터를 전송하는 대신, 하나의 대표값을 갖는 보상 파라미터를 사용할 수도 있다. 또한, 보상 파라미터가 시간에 따라 변화하지 않고 일정한 값으로 유지되는 경우, 특정 플래그(Flag)를 통해 이전값을 사용한다는 정보를 줄 수도 있다.On the other hand, when level compensation is not required, the bit rate of the additional information transmitted can be reduced by setting a flag related to the compensation parameter to '0'. In addition, when the values of the compensation parameters CF134 and CF235 do not have a large difference, instead of transmitting two compensation parameters, a compensation parameter having one representative value may be used. In addition, when the compensation parameter is maintained at a constant value without changing over time, it may be provided that the previous value is used through a specific flag.

그리고, 보상 파라미터는 입력받은 멀티채널 오디오 신호와 다운믹스 신호간의 레벨의 비교한 결과를 이용하여 설정되나, 이와 다른 방법을 통해서 보상 파라미터를 설정하거나 추정하여 사용할 수 있다. 즉, 보상 파라미터는 원 신호와 다운 믹스 신호간의 레벨 감쇄가 일어나는 것을 모델링한 값이므로, 상기한 실시예에서와 같이 레벨 비(ratio)뿐만 아니라, 어떠한 웨이브(wave) 형태나, 선형/비선형(linear/non-linear)한 특성을 가지는 이득(gain) 보상값으로 표현될 수 있다. 이와 같이, 수학적으로 모델링(modeling)되는 값으로 보상 파라미터를 사용할 경우, 훨씬 적은 비트로도 효율적으로 전송 및 보상이 가능하게 된다.The compensation parameter is set using the result of comparing the level between the input multi-channel audio signal and the downmix signal. However, the compensation parameter may be set or estimated by using another method. That is, since the compensation parameter is a value modeling that the level attenuation occurs between the original signal and the downmix signal, not only the level ratio but also any wave form or linear / nonlinear type as in the above-described embodiment. It can be expressed as a gain compensation value having a non-linear characteristic. As such, when the compensation parameter is used as a mathematically modeled value, transmission and compensation can be efficiently performed with much fewer bits.

도 3은 본 발명의 일실시예에 따른 복호화 장치에 대한 블럭도이다. 도 3을 참조하면, 본 실시예에 따른 복호화 장치는 디멀티플렉서(310), 코아 디코더(320), 파라미터 디코더(330), 및 멀티채널 합성부(340)를 포함한다.3 is a block diagram of a decoding apparatus according to an embodiment of the present invention. Referring to FIG. 3, the decoding apparatus according to the present embodiment includes a demultiplexer 310, a core decoder 320, a parameter decoder 330, and a multichannel synthesizer 340.

디멀티플렉서(310)는 전송받는 비트스트림에서 부가정보와 부호화된 다운믹스 신호를 각각 분리한다. 코아 디코더(320)는 디멀티플렉서(310)에서 분리된 부호화된 다운믹스 신호를 보호화하여 다운믹스 신호를 생성한다.The demultiplexer 310 separates the side information and the encoded downmix signal from the received bitstream. The core decoder 320 generates the downmix signal by protecting the encoded downmix signal separated by the demultiplexer 310.

파라미터 디코더(330)는 디멀티플레서(310)에서 분리된 부가정보로부터 공간정보와 보상 파라미터를 생성한다. 그리고, 멀티채널 합성부(340)는 다운믹스 신호, 공간 정보, 및 보상 파라미터를 이용하여 멀티채널 오디오 신호를 생성한다.The parameter decoder 330 generates spatial information and compensation parameters from the additional information separated by the demultiplexer 310. The multi-channel synthesizer 340 generates a multi-channel audio signal using the downmix signal, spatial information, and compensation parameters.

도 4는 본 발명의 일실시예에 따른 복호화 장치의 동작방법의 설명에 제공되는 흐름도이다. 도 3 및 도 4를 참조하여, 본 발명의 일실시예에 따른 복호화 장치의 동작방법을 설명하면 다음과 같다.4 is a flowchart provided to explain an operating method of a decoding apparatus according to an embodiment of the present invention. Referring to Figures 3 and 4, the operation method of the decoding apparatus according to an embodiment of the present invention will be described.

먼저, 멀티채널 오디오 신호의 비트스트림을 수신하면(S400), 디멀티플렉서(310)는 수신한 비트스트림에서 부호화된 다운믹스 신호와 부가정보를 각각 분리한다(S405). 코아 디코더(320)는 부호화된 다운믹스 신호를 복호화하여 다운믹스 신 호를 생성한다(S410). 그리고, 파라미터 디코더(330)는 부가정보 데이터를 복호화하여 보상 파라미터 및 공간정보를 생성한다(S420).First, when receiving a bitstream of a multi-channel audio signal (S400), the demultiplexer 310 separates the encoded downmix signal and the additional information from the received bitstream (S405). The core decoder 320 generates a downmix signal by decoding the encoded downmix signal (S410). The parameter decoder 330 decodes the additional information data to generate compensation parameters and spatial information (S420).

멀티채널 합성부(340)에서는 공간정보와 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하고(S430), 생성한 멀티채널 오디오 신호를 보상 파라미터를 사용하여 보상한다(S440). 이때, 멀티채널 합성부(340)는 다운믹스 신호와 공간정보를 사용하여 복호화된 체널의 각 에너지가 L1', L2', L4', 및 L5' 와 같이 나타날 경우, 다음과 같이 보상 파라미터를 사용하여 각 채널 출력을 보상한다.The multichannel synthesizer 340 generates a multichannel audio signal using the spatial information and the downmix signal (S430), and compensates the generated multichannel audio signal using a compensation parameter (S440). In this case, when each energy of the channel decoded using the downmix signal and the spatial information is represented as L1 ', L2', L4 ', and L5', the multichannel synthesis unit 340 uses a compensation parameter as follows. To compensate for each channel output.

수학식 3Equation 3

이와 같은 과정에 의해, 공간정보와 함께 전송된 보상 파라미터를 이용하여 멀티채널 오디오 신호의 복호화 과정에 사용하여 복호화된 멀티채널 오디오 신호를 보상함으로써, 특정 주파수 대역에서 신호 왜곡을 방지할 수 있다.By such a process, signal distortion in a specific frequency band can be prevented by compensating the decoded multichannel audio signal by using the compensation parameter transmitted together with the spatial information in the decoding process of the multichannel audio signal.

또한, 상기한 바와 같은 보상 파라미터를 사용하여 각 채널 출력을 보상하는 것은 하나의 예 일 뿐이며, 본 발명은 상기한 바와 같은 보상 파라미터에 한정되지 않는다. 예를 들어, 각 보상 파라미터로서 각 채널의 엔벨로프(envelope)를 전송하는 경우, 공간정보를 전송하지 않고, 각 채널의 엔벨로프 정보를 사용하여 공간정보를 대신하도록 구성하는 것도 가능하다. 나아가서, 공간정보가 전송되지 않는 경 우, 다운믹스된 2채널 이상의 신호만을 이용하여 복호화 장치에서 유사 공간정보를 추출하여 이를 이용하여 복호화 과정을 수행하는 것도 가능하다.In addition, compensating each channel output using the compensation parameters as described above is just one example, and the present invention is not limited to the compensation parameters as described above. For example, when transmitting an envelope of each channel as each compensation parameter, it is also possible to configure to replace the spatial information by using the envelope information of each channel without transmitting the spatial information. Furthermore, when spatial information is not transmitted, it is also possible to extract pseudo-spatial information from the decoding apparatus using only downmixed two-channel signals or more and perform the decoding process using the same.

도 5는 본 발명의 다른 실시예에 따른 복호화 장치에 대한 블럭도이다. 도 5에서는, 공간정보를 부가정보로 사용하지 않고 다운믹스 신호만을 이용하여 멀티채널 오디오 신호를 생성하는 경우를 설명한다.5 is a block diagram of a decoding apparatus according to another embodiment of the present invention. In FIG. 5, a case of generating a multichannel audio signal using only the downmix signal without using spatial information as additional information will be described.

도 5를 참조하면, 본 실시예에 따른 복호화장치는,코아 디코더(510), 프레임화부(520), 공간정보 추정부(530), 및 멀티채널 합성부(540)를 포함한다.Referring to FIG. 5, the decoding apparatus according to the present embodiment includes a core decoder 510, a framer 520, a spatial information estimator 530, and a multichannel synthesizer 540.

코아 디코더(510)는 전송받은 비트스트림을 복호화하여 다운믹스 신호를 생성하여 프레임화부(520)에 전달한다. 이때, 비트스트림으로 전송되는 다운믹스된 신호는 Prologic 이나 Logic7 과 같은 matrix 형태의 다운믹스되어 있는 것이 바람직하나, 반드시 예에 국한되는 것은 아니다.The core decoder 510 decodes the received bitstream, generates a downmix signal, and delivers the downmix signal to the framer 520. At this time, the downmixed signal transmitted in the bitstream is preferably downmixed in a matrix form such as Prologic or Logic7, but is not necessarily limited to the example.

프레임화부(520)는 코아 디코더(510)에서 출력된 다운믹스된 신호에 대해 SAC 프레임(frame) 단위의 동기를 맞출 수 있도록 데이터를 정렬한다. 이러한 프레임화 과정에서, 다운믹스 신호에 대해 analysis filterbank를 통과한 QMF 및 Hybrid band domain 신호를 만들어 낼 경우, 이 신호는 바로 복호화 과정에 사용할 수 있으므로, hybrid domain 신호 자체를 직접 멀티채널 합성부(540)에 전달하는 것도 가능하다.The framer 520 aligns the data to synchronize the downmixed signal output from the core decoder 510 in units of SAC frames. In this framing process, when the QMF and hybrid band domain signals that pass through the analysis filterbank for the downmix signal are generated, the signals can be directly used for the decoding process. It is also possible to pass).

공간정보 추정부(530)는 프레임화부(520)에서 정렬된 다운믹스 신호만을 이용하여 CLD, ICC, CPC 등의 공간 정보를 생성한다. 공간정보 추정부(530)는 SAC 프레임에 맞춰 공간 정보를 생성하는데, 이 경우 프레임 길이 만큼의 다운믹스 신호 를 모아서 처리할 수도 있고, 샘플 단위로 PCM 샘플에 대응하는 공간정보를 생성할 수도 있다. 공간정보 추정부(530)에서 생성되는 공간정보는 전송할 데이터가 아니므로, 양자화 등의 압축을 위한 처리과정은 필요 없으므로, 최대한 많은 정보를 사용하는 것이 유리하다.The spatial information estimator 530 generates spatial information such as CLD, ICC, CPC, etc. using only the downmix signals arranged by the framer 520. The spatial information estimator 530 generates spatial information according to the SAC frame. In this case, the downmix signal corresponding to the frame length may be collected and processed, or the spatial information corresponding to the PCM sample may be generated in units of samples. Since the spatial information generated by the spatial information estimating unit 530 is not data to be transmitted, processing for compression such as quantization is not necessary. Therefore, it is advantageous to use as much information as possible.

그리고, 멀티채널 합성부(540)는 프레임화부(520)를 통해 전송되는 다운믹스 신호와 공간정보 추정부(530)를 통해 전송되는 공간정보를 이용하여 멀티채널 오디오신호를 생성한다.The multi-channel synthesizer 540 generates a multi-channel audio signal using the downmix signal transmitted through the framer 520 and the spatial information transmitted through the spatial information estimator 530.

이와 같은 구성과 동작에 의해, 공간정보를 부가정보로써 전송하는 일반적인 방식에 비트율을 낮출 수 있으며, 기존의 matrix 형태의 다운믹스된 컨텐츠에 대해 서도 동일한 방법에 의해 멀티채널 신호를 생성할 수 있다.By such a configuration and operation, the bit rate can be lowered in the general method of transmitting spatial information as additional information, and multi-channel signals can be generated by the same method for downmixed content having an existing matrix form.

도 6은 본 발명의 또 다른 실시예에 따른 복호화 장치에 대한 블럭도이다. 도 6에서는, 전송된 비트스트림에 다운믹스 오디오 신호뿐 아니라, 공간정보를 포함하고 있을 경우, 전송된 공간정보를 참조하여 복호화 장치에서 추가적인 공간정보를 생성하여 이를 복호화에 사용하는 경우를 설명한다.6 is a block diagram of a decoding apparatus according to another embodiment of the present invention. In FIG. 6, when the transmitted bitstream includes not only the downmix audio signal but also spatial information, the decoding apparatus generates additional spatial information with reference to the transmitted spatial information and uses the same for decoding.

도 6을 참조하면, 본 실시예에 따른 복호화 장치는, 디멀티플렉서(610), 코아디코더(620), 프레임화부(630), 공간정보 추정부(640), 멀티채널 합성부(650), 및 결합부(650)를 포함한다.Referring to FIG. 6, the decoding apparatus according to the present embodiment includes a demultiplexer 610, a co-decoder 620, a framer 630, a spatial information estimator 640, a multichannel synthesizer 650, and a combination. Part 650 is included.

디멀티플렉서(610)는 전송받은 비트스트림에서 공간정보와 부호화된 다운믹스 신호를 각각 분리한다. 코아 디코더(620)는 디멀티플렉서(610)에서 분리된 부호화된 다운믹스 신호를 복호화하여 다운믹스 신호를 생성한다.The demultiplexer 610 separates the spatial information and the encoded downmix signal from the received bitstream. The core decoder 620 generates a downmix signal by decoding the encoded downmix signal separated by the demultiplexer 610.

프레임화부(630) 코아 디코더(620)에서 출력된 다운믹스된 신호에 대해 SAC 프레임(frame) 단위의 동기를 맞출 수 있도록 데이터를 정렬한다. 공간정보 추정부(640)는 전송된 공간정보를 이용하여 추가적인 공간정보를 추정하여 생성한다. 결합부(660)는 전송된 공간정보와 공간정보 추정부(640)에서 생성한 공간정보를 결합하여 멀티채널 합성부(650)에 전달한다. 그리고, 멀티채널 합성부(650)는 다운믹스 신호와 공간정보를 이용하여 멀티채널 오디오신호를 생성한다.The framer 630 arranges the data to synchronize the downmixed signal output from the core decoder 620 in units of SAC frames. The spatial information estimator 640 estimates and generates additional spatial information by using the transmitted spatial information. The combiner 660 combines the transmitted spatial information with the spatial information generated by the spatial information estimator 640 and transmits the combined spatial information to the multi-channel synthesizer 650. The multi-channel synthesizer 650 generates a multi-channel audio signal using the downmix signal and the spatial information.

이와 같은 구성에 의해, 전송된 공간정보와 다운믹스된 신호 등으로부터 추정된 공간정보를 모두 이용할 수 있다. 이때, 전송된 공간정보에 따라 다음과 같은 다양한 형태의 응용이 가능하다.With such a configuration, both spatial information estimated from the transmitted spatial information, the downmixed signal, and the like can be used. At this time, various forms of application are possible according to the transmitted spatial information.

먼저, 부족한 시간/주파수 해상도를 갖는 공간정보가 전송된 경우로서, 공간정보에 대한 전송 비트율이 낮아서, 공간정보의 주파수 해상도(data bands 수)가 낮거나 공간정보의 전송 빈도가 낮을 때, 이 정보와 다운믹스 PCM 신호를 모두 이용하여 생략된 정보를 찾아내서 이를 이용하여 멀티채널 신호의 품질을 향상시킬 수 있다. 예를 들어, 전송된 공간 정보의 주파수 해상도가 5 data bands인 경우, 공간정보 추정부(640)에서 다운믹스 신호를 참조하여 28 data bands의 신호로 만들어 내거나, 혹은 전송된 슬롯(slot) 수가 2개뿐인 경우, 역시 다운믹스 신호를 참조하여 8개의 슬롯으로 보간할 수 있다.First, when spatial information with insufficient time / frequency resolution is transmitted, when the transmission bit rate for the spatial information is low, when the frequency resolution (number of data bands) of the spatial information is low or the frequency of transmitting the spatial information is low, The omitted information can be found using both the and downmix PCM signals, and the quality of the multichannel signal can be improved by using the same. For example, if the frequency resolution of the transmitted spatial information is 5 data bands, the spatial information estimator 640 refers to the downmix signal to generate a signal of 28 data bands, or transmits 2 slots. In case of only one, it can also interpolate into eight slots with reference to the downmix signal.

또한, CLD, ICC, CPC 중 일부 데이터만 전송된 경우, 예를 들어 비트율을 낮추기 위해 공간정보 가운데, ICC만을 전송하고, CLD 나 CPC 는 전송하지 않은 경우, 공간정보 추정부(640)에서 CLD와 CPC를 추정하여 생성함으로써 멀티채널 신호 의 품질을 향상시킬 수 있다. 마찬가지로, CLD만 전송된 경우 ICC를 추정하여 사용하거나 하는 등의 방법이 가능하다.In addition, when only some data among CLD, ICC, and CPC are transmitted, for example, when only ICC is transmitted among spatial information to lower the bit rate, and no CLD or CPC is transmitted, the spatial information estimating unit 640 and the CLD are transmitted. By estimating and generating the CPC, the quality of the multichannel signal can be improved. Similarly, if only the CLD is transmitted, a method of estimating or using the ICC is possible.

그리고, OTT/TTT Box 중 일부만을 전송하는 경우, 즉 부호화 장치에서 입력멀티채널을 다운믹스 채널로 다운믹스 할 때, OTT 혹은 TTT box라는 단위 연산으로 진행되는데, 이 가운데, 일부의 OTT 혹은 TTT box에 대응되는 공간정보만이 전송된 경우, 이에 대해서는 전송된 정보를 사용하고, 나머지 OTT 혹은 TTT box에 대응되는 공간정보는 공간정보 추정부(640)에서 추정하여 멀티채널 신호를 생성할 수 있다. 이 경우 공간정보의 추정은 전송된 공간정보에 대응하는 단계까지 SAC 복호화를 수행한 후 진행하는 것이 바람직하다. 예를 들어, 2채널의 다운믹스 신호와 TTT Box에 대응하는 공간정보만이 전송된 경우, 종래의 SAC 복호화기를 통해서는 L,R 로부터 L/C/R 신호를 생성하는 것이 가능하다.When only a part of the OTT / TTT box is transmitted, that is, when the input device downmixes the input multichannel to the downmix channel, the OTT or TTT box is performed in a unit operation. When only the spatial information corresponding to the STP is transmitted, the transmitted information is used, and the spatial information corresponding to the remaining OTT or TTT box may be estimated by the spatial information estimator 640 to generate a multichannel signal. In this case, the estimation of the spatial information is preferably performed after performing the SAC decoding until the step corresponding to the transmitted spatial information. For example, when only two channels of downmix signals and spatial information corresponding to the TTT box are transmitted, it is possible to generate L / C / R signals from L and R through a conventional SAC decoder.

L,C,R 정보까지 생성된 신호에 대해 공간정보 추정부(640)에서 나머지 OTT box에 대응할 수 있는 공간정보를 생성하고, 이를 이용한 멀티채널 합성부(650)에서 멀티채널 오디오 신호를 생성하여, 출력채널 수가 많은 경우에 출력 채널 수에 대응되는 신호를 생성하도록 하는데 적용가능하다. 예를 들어 525 형태의 비트스트림이 7채널 재생 가능한 복호화기의 입력으로 들어온 경우, SAC 복호화된 5채널 신호를 먼저 생성한 뒤 (hybrid domain), 생성된 신호에 대한 공간정보를 추정 과정을 통해 7채널로 확장하는데 필요한 공간정보를 생성하고, 추가 복호화를 수행하여 하나의 비트스트림이 제공가능한 채널 수 이상의 신호를 생성할 수 있다.The spatial information estimator 640 generates spatial information corresponding to the remaining OTT boxes with respect to the signal generated up to L, C, and R information, and generates a multichannel audio signal in the multi-channel synthesizer 650 using the same. For example, it is applicable to generate a signal corresponding to the number of output channels when the number of output channels is large. For example, when a 525-type bitstream enters an input of a 7-channel reproducible decoder, the SAC-decoded 5-channel signal is first generated (hybrid domain), and then spatial information about the generated signal is estimated through 7. Spatial information necessary to extend to a channel may be generated, and further decoding may be performed to generate a signal having a number of channels that can be provided by one bitstream.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the present invention can also be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission through the Internet. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

본 발명은 멀티채널 오디오 신호의 부호화 및 복호과 과정 등에 사용되어, 보상 파라미터를 이용하여 다운믹스 신호를 보상함으로써 음질 저하 등을 방지할 수 있다.The present invention can be used to encode, decode and process a multi-channel audio signal, thereby compensating for a downmix signal using a compensation parameter to prevent a degradation in sound quality.

Claims

Extracting a downmix signal and additional information from the received signal;

Extracting spatial information and a compensation parameter from the additional information;

Generating a multi-channel audio signal using the downmix signal and the spatial information; And

And generating a multi-channel audio signal compensated using the compensation parameter, from the generated multi-channel audio signal.

The method of claim 1,

And the compensation parameter is a parameter calculated based on a result of comparing a downmix signal level with a level of a multichannel audio signal used to generate the downmix signal.

The method of claim 1,

And the compensation parameter is a parameter calculated based on a comparison result of an envelope of a downmix signal and an envelope of a multichannel audio signal used to generate the downmix signal.

A demultiplexer for extracting an encoded downmix signal and additional information from the received signal;

A core encoder for decoding the downmix signal to generate a downmix signal;

A parameter encoder for extracting spatial information and compensation parameters from the side information; And

A multichannel synthesizer configured to generate a multichannel audio signal using the downmix signal and the spatial information and to output a multichannel audio signal compensated for the generated multichannel audio signal using the compensation parameter; Decoding apparatus, characterized in that.

The method of claim 4, wherein

The multichannel synthesizer may generate the compensated multichannel audio signal by using a compensation parameter corresponding to a level of a signal of each channel of the generated multichannel audio signal. Decryption device.

Calculating spatial information using the multichannel audio signal and the downmix signal; And

And using the multichannel audio signal and the downmix signal, calculating a compensation parameter for compensating the downmix signal.

The method of claim 8,

And encoding the spatial information, the compensation parameter, and the downmix signal to generate a combined bitstream.

The method of claim 8,

And the compensation parameter is calculated based on a comparison result of the level of the downmix signal and the level of the multichannel audio signal.

The method of claim 8,

And the compensation parameter is calculated based on a comparison result of the envelope of the downmix signal and the envelope of the multichannel audio signal.

A spatial information calculator configured to calculate spatial information using a multichannel audio signal and a downmix signal;

A compensation parameter calculator configured to calculate a compensation parameter for compensating the downmix signal by using the multichannel audio signal and the downmix signal; And

Additional information generated by encoding the compensation parameter and the spatial information;

And a bitstream generator configured to generate a bitstream combining the signals obtained by encoding the downmix signal.

The method of claim 12,

And the compensation parameter calculator is configured to calculate the compensation parameter based on a result of comparing the downmix signal level with the level of the multichannel audio signal.

The method of claim 12,

And the compensation parameter calculator is configured to calculate the compensation parameter based on a comparison result of an envelope of the downmix signal and an envelope of the multichannel audio signal.

And generating a compensated multichannel audio signal by using the compensation parameter in the generated multichannel audio signal. A computer-readable recording medium having recorded thereon a program for executing a decoding method on a computer.

Calculating a compensation parameter for compensating the downmix signal using the multichannel audio signal and the downmix signal; And

And generating a combined bitstream by encoding the spatial information, the compensation parameter, and the downmix signal, and recording a program for executing the encoding method in a computer.