KR20070091562A

KR20070091562A - Apparatus for decoding signal and method thereof

Info

Publication number: KR20070091562A
Application number: KR1020070021547A
Authority: KR
Inventors: 임재현; 방희석; 오현오; 정양원; 김동수
Original assignee: 엘지전자 주식회사
Priority date: 2006-03-06
Filing date: 2007-03-05
Publication date: 2007-09-11
Also published as: KR100873136B1; KR20070091561A; KR100841329B1; KR20070091560A

Abstract

A method and an apparatus for decoding signals are provided to decode only a signal-changed partition among signal-changed partitions by using a decorrelator when an original signal is recovered by the upmixing of downmixed signals. A method for decoding signals comprises the following steps of: reading downmixed signals and spatial information from a bitstream(1501); upmixing the downmixed signals by using the spatial information or generating decorrelated signals by applying a decorrelator to the downmixed signals(1505); and generating 3D(Dimensional) virtual signals by applying 3D virtual information to the upmixed and downmixed signals and the decorrelated signals(1507).

Description

Signal decoding method and apparatus {APPARATUS FOR DECODING SIGNAL AND METHOD THEREOF}

도 1은 본 발명의 일 실시 예에 따른 신호 디코딩 장치가 공간 정보를 이용하여 신호를 분리하는 모습을 나타낸 예시도이다.1 is an exemplary view showing a signal decoding apparatus separating signals using spatial information according to an embodiment of the present invention.

도 2 및 도 3은 본 발명의 일 실시 예에 따른 디코릴레이트된 신호를 생성하는 방법을 수학적으로 나타내는 도면이다.2 and 3 are mathematical diagrams showing a method of generating a decorrelated signal according to an embodiment of the present invention.

도 4는 본 발명의 다른 실시 예에 따른 미디어 신호의 구성도이다.4 is a block diagram of a media signal according to another embodiment of the present invention.

도 5는 본 발명의 또 다른 실시 예에 따른 디코릴레이트된 신호를 생성하는 방법을 그래프로 표현한 도면이다.FIG. 5 is a graph illustrating a method of generating a decorrelated signal according to another embodiment of the present invention.

도 6은 본 발명의 일 실시 예에 따른 가상 3차원 입체 정보와 공간 정보가 다운믹스 신호의 프레임에 적용되는 방법을 그래프로 나타낸 도면이다.6 is a graph illustrating a method of applying virtual 3D stereoscopic information and spatial information to a frame of a downmix signal according to an embodiment of the present invention.

도 7은 본 발명의 다른 실시 예에 따른 가상 3차원 입체 정보와 공간 정보가 다운믹스 신호의 프레임에 적용되는 그래프를 나타낸 도면이다.7 is a diagram illustrating a graph in which virtual 3D stereoscopic information and spatial information are applied to a frame of a downmix signal according to another embodiment of the present invention.

도 8 및 도 9는 본 발명의 일 실시 예에 따른 신호 변환부의 구성도이다.8 and 9 are diagrams illustrating a signal converter according to an embodiment of the present invention.

도 10 및 도 11은 본 발명의 다른 실시 예에 따른 신호 변환부를 나타낸 블럭도이다.10 and 11 are block diagrams illustrating a signal converter according to another exemplary embodiment of the present invention.

도 12는 본 발명의 일 실시 예에 따른 서라운드 신호를 생성하는 신호 처리 장치의 블럭도이다.12 is a block diagram of a signal processing apparatus for generating a surround signal according to an exemplary embodiment.

도 13은 본 발명의 일 실시 예에 따른 가상 3차원 신호를 생성하는 신호 처리 장치의 블럭도이다.13 is a block diagram of a signal processing apparatus for generating a virtual 3D signal according to an embodiment of the present invention.

도 14는 본 발명의 다른 실시 예에 따른 가상 3차원 신호를 생성하는 신호 처리 장치의 블럭도이다.14 is a block diagram of a signal processing apparatus for generating a virtual three-dimensional signal according to another embodiment of the present invention.

도 15는 본 발명의 일 실시 예에 따른 가상 3차원 신호를 생성하는 방법을 나타낸 순서도이다.15 is a flowchart illustrating a method of generating a virtual 3D signal according to an embodiment of the present invention.

도 16은 본 발명의 일 실시 예에 따른 신호 변환 방법을 나타낸 순서도이다.16 is a flowchart illustrating a signal conversion method according to an embodiment of the present invention.

도 17은 본 발명의 다른 실시 예에 따른 신호 변환 방법을 나타낸 순서도이다.17 is a flowchart illustrating a signal conversion method according to another embodiment of the present invention.

도 18은 본 발명의 일 실시 예에 따른 다운믹스 신호를 가상 3차원 신호로 변형하는 방법을 나타낸 순서도이다.18 is a flowchart illustrating a method of transforming a downmix signal into a virtual 3D signal according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

401 : 다운믹스 신호의 프레임401: frame of the downmix signal

403 : 하나의 공간 정보가 적용되는 구간403: section to which one spatial information is applied

405 : 다운믹스 신호의 파티션405: Partition of the downmix signal

601 : 가상 3차원 입체 정보가 적용되는 프레임601: Frame to which virtual three-dimensional stereoscopic information is applied

603: 공간 정보가 적용되는 프레임603: Frame to which spatial information is applied

805, 911 : 디코릴레이터 805, 911: Decorator

801, 901 : 신호 변환부801, 901: signal converter

807, 913 : 디코릴레이트된 신호807, 913: Decorated Signal

1201 : 디코릴레이트된 신호 생성부1201: Decorated signal generator

1207, 1303 : 가상 3차원 신호 생성부1207 and 1303: virtual three-dimensional signal generator

1401 : 도메인 변환부1401: domain conversion unit

1403 : 공간 정보 변형부1403: spatial information transformation unit

본 발명은 신호 처리에 관한 것으로서, 특히 신호 디코딩 방법 및 장치에 관한 것이다.TECHNICAL FIELD The present invention relates to signal processing, and more particularly, to a signal decoding method and apparatus.

일반적으로 오디오 신호의 경우, 인코딩 장치는 다채널 신호들 각각을 압축하는 대신에, 신호를 모노 혹은 스테레오 형태의 다운믹스 신호로 압축하고, 압축된 다운믹스 신호와 공간 정보(spatial information) 또는 부가 정보를 신호 디코딩 장치로 전송하거나 저장 매체에 저장한다. 다운믹스 신호와 공간 정보는 하나의 비트스트림으로 전송될 수도 있으나 별개의 비트스트림으로 전송될 수도 있다. 신호 디코딩 장치는 압축된 다운믹스 신호와 공간 정보를 이용하여 원래의 다채널을 복원한다. 신호 디코딩 장치가 다채널 재생 시스템이 아닌 모노 또는 스테레오 채널만 재생할 수 있는 경우, 신호 디코딩 장치는 공간감 있는 원 신호를 복원할 수 없다. 이 경우, 신호 디코딩 장치는 HRTF(Head Relative Transfer Function) 등의 알고리즘을 이용하여 스테레오 채널로 가상의 3차원 가상 3차원 신호 효과를 낼 수 있다. 신호 디코딩 장치는 모노나 스테레오 신호 또는 공간감 있는 다채널이나 가상의 3차원 스테레오 신호 등을 복원한다. 신호 디코딩 장치는 스테레오 신호 또는 공간감 있는 다채널이나 가상의 3차원 스테레오 신호 등을 복원하기 위해 다른 신호들과 혼합되지 않는 독립적인 신호들을 생성한다.In general, in the case of an audio signal, the encoding apparatus compresses a signal into a downmix signal in mono or stereo form, instead of compressing each of the multichannel signals, and compresses the downmix signal and spatial information or additional information. Is transmitted to the signal decoding apparatus or stored in the storage medium. The downmix signal and spatial information may be transmitted in one bitstream but may be transmitted in separate bitstreams. The signal decoding apparatus restores the original multichannel using the compressed downmix signal and spatial information. When the signal decoding apparatus can reproduce only mono or stereo channels, not the multichannel reproduction system, the signal decoding apparatus cannot recover the spatial original signal. In this case, the signal decoding apparatus may produce a virtual three-dimensional virtual three-dimensional signal effect in a stereo channel by using an algorithm such as a head relative transfer function (HRTF). The signal decoding apparatus restores a mono or stereo signal or a spatial multichannel or virtual 3D stereo signal. The signal decoding apparatus generates independent signals that are not mixed with other signals to recover a stereo signal or a spatial multichannel or virtual 3D stereo signal.

본 발명이 이루고자 하는 기술적 과제는, 신호의 위상이나 레벨을 조절하여 디코릴레이트된 신호를 생성하는 신호 디코딩 방법 및 장치를 제공하는 데 있다.An object of the present invention is to provide a signal decoding method and apparatus for generating a decorrelated signal by adjusting a phase or level of a signal.

본 발명이 이루고자 하는 다른 기술적 과제는, 공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 신호 디코딩 방법 및 장치를 제공하는 데 있다.Another object of the present invention is to provide a signal decoding method and apparatus for generating a decorrelated signal using spatial information.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 공간 정보와 가상 3차원 입체 정보가 적용되는 도메인이 다른 경우, 도메인을 변환하는 디코딩 방법 및 장치를 제공하는 데 있다.Another object of the present invention is to provide a decoding method and apparatus for converting a domain when a domain to which spatial information and virtual 3D stereoscopic information is applied is different.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 가상 3차원 입체 정보가 적용되는 신호에 공간 정보를 변형하여 적용하는 디코딩 방법 및 장치를 제공하는 데 있다.Another object of the present invention is to provide a decoding method and apparatus for modifying and applying spatial information to a signal to which virtual three-dimensional stereoscopic information is applied.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 다운믹스 신호를 업믹싱하여 원래의 신호를 복원할 때 사용되는 신호 변환부 중 일부의 신호 변화부만 디코릴레이터를 사용하는 디코딩 방법 및 장치를 제공하는 데 있다.Another technical problem to be achieved by the present invention is to provide a decoding method and apparatus in which only a signal change part of a signal converter used when upmixing a downmix signal to restore an original signal uses a decorrelator. There is.

상기 과제를 이루기 위해 본 발명의 일 측면에 의하면, 비트스트림으로부터 다운믹스 신호 및 공간 정보를 독출하는 단계, 상기 공간 정보를 이용하여 상기 다운믹스 신호를 업믹스하는 과정 중 또는 업믹스한 후, 상기 다운믹스 신호에 디코릴레이터를 적용하여 디코릴레이트된 신호를 생성하는 단계 및 상기 업믹스된 다운믹스 신호 및 상기 디코릴레이트된 신호에 가상 3차원 입체 정보를 적용하여 가상 3차원 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법을 제공할 수 있다.According to an aspect of the present invention for achieving the above object, during the step of upmixing or downmixing the downmix signal and spatial information from the bitstream, the downmix signal using the spatial information, Generating a decorrelated signal by applying a decorrelator to the downmix signal and generating a virtual three-dimensional signal by applying virtual three-dimensional stereoscopic information to the upmixed downmix signal and the decorated signal It can provide a signal processing method comprising the step of.

본 발명의 다른 측면에 의하면, 비트스트림으로부터 다운믹스 신호 및 공간 정보를 독출하는 독출부, 상기 다운믹스 신호 또는 상기 다운믹스 신호를 업믹스하여 생성된 신호로부터 디코릴레이트된 신호를 생성하는 디코릴레이터, 상기 공간 정보를 이용하여 상기 다운믹스 신호를 업믹스하거나 상기 디코릴레이트된 신호를 업믹스하는 복수의 신호 변환부를 포함하는 업믹싱부 및 상기 업믹스된 다운믹스 신호 및 상기 디코릴레이트된 신호에 가상 3차원 입체 정보를 적용하여 가상 3차원 신호를 생성하는 가상 3차원 신호 생성부를 포함하는 것을 특징으로 하는 신호 처리 장치를 제공할 수 있다.According to another aspect of the present invention, a decoder for reading a downmix signal and spatial information from a bitstream, and a decoded signal for generating a decorrelated signal from a signal generated by upmixing the downmix signal or the downmix signal. An upmixer and a plurality of signal converters for upmixing the downmix signal or upmixing the decorrelated signal using the spatial information; and the upmixed downmix signal and the decorate And a virtual three-dimensional signal generator for generating a virtual three-dimensional signal by applying virtual three-dimensional stereoscopic information to the received signal.

이어서, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명은 신호 디코딩 방법 및 장치에 관한 것이다. 여기서, 신호는 오디오, 비디오 신호 등을 포함하는 미디어 신호이다. 편의상 이하 오디오 신호에 대해서 설명하나 본 발명이 이에 국한되는 것은 아니다.Next, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention relates to a signal decoding method and apparatus. Here, the signal is a media signal including an audio, video signal and the like. For convenience, the audio signal will be described below, but the present invention is not limited thereto.

도 1은 본 발명의 일 실시 예에 따른 신호 디코딩 장치가 공간 정보를 이용하여 미디어 신호를 분리하는 모습을 나타낸 예시도이다. 도 1을 참조하면 입력 신 호(101)에 공간 정보가 적용되면 입력 신호와 모양은 같으나 레벨이 다른 2개의 출력 신호(103, 105)가 생성된다. 공간 정보는 신호 인코딩 장치가 다채널 오디오 신호를 다운믹싱할 때 추출되는 것으로, 신호 디코딩 장치에서 압축된 다운믹스 신호로부터 원래의 다채널 오디오 신호 또는 가상의 3차원 신호를 복원할 때 사용된다. 이하 다채널 신호 또는 가상의 3차원 신호를 포함하는 신호를 서라운드 신호라 한다. 공간 정보로는 CLDs(Channel Level Differences), ICCs(Inter Channel Correlations), CPCs(Channel Prediction Coefficients) 등이 있다. CLD는 오디오 신호들 사이의 에너지 차이를 나타내고, ICC는 오디오 신호들 간의 긴밀성 내지는 유사성을 나타낸다. CPC는 다른 신호를 이용하여 오디오 신호를 예상하는 계수를 나타낸다. 도 1에서 신호 디코딩 장치는 공간 정보로 CLD를 사용하여 입력 신호(101)로부터 두 개의 출력 신호(103, 105)를 생성한다. 도 1에서는 두 개의 출력 신호가 얻어지는 경우를 가정했으나, CLD 수에 따라 임의의 개수를 갖는 출력 신호가 얻어질 수 있다. 두 출력 신호(103, 105)는 레벨은 다르나 형태가 동일하여 채널간의 유사성이 존재하므로 다채널 재생시 채널간 분리가 이루어지지 않는다. 이를 해결하기 위해 신호 디코딩 장치는 디코릴레이터(decorrelator)를 사용한다. 디코릴레이터는 하나의 다운믹스 신호로부터 독립적으로 분리된 여러 개의 출력 신호를 얻기 위해 사용되는 장치이다. 이하, 디코릴레이터로 입력되는 신호와 구별하기 위해 디코릴레이터로부터 출력된 신호를 디코릴레이트된 신호라 한다. 디코릴레이터는 다운믹스 신호로부터 디코릴레이트된 신호를 생성하기 위해 다운믹스 신호에 반향(reverberation) 효과를 준다. 음원이 진동을 멈춘 순간부터 음이 들리지 않게 된 순간까지를 반향 시간이라 하는데, 이는 음의 에너지가 처음의 100만분의 1이 되기까지의 시간에 해당한다. 벽면이나 천정에 반사되어 오는 소리들은 연속적인 흐름으로 진행되며 반사 경로 거리에 따라 반사음들이 청취자에게 도착하는 시간은 달라진다. 그러나 반사 경로 차이에 따른 시간 차는 순간적이므로, 청취자는 이것을 별개의 소리로 구분하지 못하고 스피커에서 발생된 하나의 소리로 인식하게 된다. 디코릴레이터는 원래의 신호에 시간 지연 및 에너지 손실 효과를 부여하여 원래의 신호와 구별되는 독립적인 디코릴레이트된 신호를 생성한다. 디코릴레이터가 디코릴레이트된 신호를 생성하는 방법에 대해서는 이하 도2 및 도 3을 참조하여 설명하기로 한다.1 is an exemplary diagram illustrating a state in which a signal decoding apparatus separates a media signal using spatial information according to an embodiment of the present invention. Referring to FIG. 1, when spatial information is applied to the input signal 101, two output signals 103 and 105 having the same shape as the input signal but different levels are generated. The spatial information is extracted when the signal encoding apparatus downmixes the multichannel audio signal, and is used when the signal decoding apparatus recovers the original multichannel audio signal or the virtual three-dimensional signal from the compressed downmix signal. Hereinafter, a signal including a multichannel signal or a virtual three-dimensional signal is called a surround signal. The spatial information includes Channel Level Differences (CLDs), Inter Channel Correlations (ICCs), Channel Prediction Coefficients (CPCs), and the like. CLD represents energy difference between audio signals, and ICC represents tightness or similarity between audio signals. The CPC represents a coefficient for predicting an audio signal using another signal. In FIG. 1, the signal decoding apparatus generates two output signals 103 and 105 from an input signal 101 using CLD as spatial information. In FIG. 1, it is assumed that two output signals are obtained, but an output signal having an arbitrary number may be obtained according to the number of CLDs. Since the two output signals 103 and 105 have different levels but the same shape, there is no similarity between channels in multi-channel reproduction. To solve this problem, the signal decoding apparatus uses a decorrelator. A decorrelator is a device used to obtain multiple output signals independently separated from one downmix signal. Hereinafter, a signal output from the decorrelator is referred to as a decorrelated signal to distinguish it from a signal input to the decorrelator. The decorrelator has a reverberation effect on the downmix signal to produce a decorrelated signal from the downmix signal. The time from when the sound source stops vibrating to the point where the sound is no longer heard is called echo time, which corresponds to the time from the energy energy to one millionth of the first time. Sounds reflected on the wall or ceiling proceed in a continuous flow, and the time taken for the reflected sound to reach the listener depends on the distance of the reflection path. However, since the time difference due to the difference in reflection paths is instantaneous, the listener does not distinguish it as a separate sound and recognizes it as a sound generated by the speaker. The decorrelator gives the original signal time delay and energy loss effects to produce an independent decorylated signal that is distinct from the original signal. A method of generating a decorrelated signal by the decorrelator will be described with reference to FIGS. 2 and 3.

도 2 및 도 3은 본 발명의 일 실시 예에 따른 신호 디코딩 장치가 디코릴레이트된 신호를 생성하는 방법을 수학적으로 나타내는 도면이다. 시간축 상의 신호를 DFT, FFT, QMF 등을 이용하여 주파수 상의 신호로 도메인 변환을 할 경우 신호의 각 샘플은 직교 좌표계에서 a+jb의 복소수 형태로 표현된다. a+jb를 크기와 위상을 가진 페이져(phasor)로 표현한 것이 도 2의 삼각형 모양의 페이져도이다. 도 2에서

(203)가 샘플의 위상이 된다. 이때, 허수 값을 b에서 b'으로 변경하면 위상이

(203)에서

(207)으로 변하게 된다. 2 and 3 are mathematical diagrams illustrating a method of generating a decorrelated signal by a signal decoding apparatus according to an embodiment of the present invention. When a domain signal is transformed into a signal on frequency using DFT, FFT, QMF, etc., each sample of the signal is represented by a + jb in a rectangular coordinate system. A + jb is expressed as a phaser having a magnitude and a phase, which is a triangular phaser diagram of FIG. 2. In Figure 2

203 becomes the phase of the sample. If you change the imaginary value from b to b ',

At (203)

(207).

도 3을 참조하면, 위상의 변화가 시간 축 상의 신호에 미치는 영향을 알 수 있다. 특정 주파수 특성을 갖는 신호가 있다고 할 때, 이 신호는 사인(sign) 또는 코사인(cosign) 형태의 정현파로 표현될 수 있다. 사인 함수의 경우를 예로 들면, 시간 축 상의 사인 함수(301)에 위상 변화를 줄 경우 신호 파형이 변하게 된다. 즉, 위상을 도 2에서와 같이

(203)에서

(207)으로 변경하면 도 3과 같이 사인파의 시작 위치가 원래의 시작 위치(303)에서 달라진 시작 위치(307)로 변하게 되어 시간 지연 효과가 생기게 된다. 따라서 원래의 신호(301)로부터 디코릴레이트된 신호(305)를 생성할 수 있다. 도 2에서 b값이 b'으로 변하면 신호의 크기

값이 변하게 되나, 이는 규준화 작업으로 극복될 수 있다. 이와 같이 다운믹스 신호의 위상 변화로 시간 지연된 디코릴레이트된 신호(305)를 생성할 수 있다. Referring to Figure 3, it can be seen that the effect of the phase change on the signal on the time axis. Suppose there is a signal with a certain frequency characteristic, it can be expressed as a sine wave in the form of sign or cosign. For example, in the case of a sine function, when the phase change is applied to the sine function 301 on the time axis, the signal waveform is changed. That is, as shown in FIG.

At (203)

Changing to 207 causes the start position of the sine wave to change from the original start position 303 to the start position 307 as shown in FIG. Thus, the decorrelated signal 305 can be generated from the original signal 301. In Figure 2, when the value of b changes to b ', the magnitude of the signal

The value will change, but this can be overcome by normalization. As such, the decorrelated signal 305 time-delayed by the phase change of the downmix signal may be generated.

도 4는 본 발명의 다른 실시 예에 따른 미디어 신호의 구성도이다. 도 4를 참조하면, 신호 인코딩 장치는 미디어 신호 전체를 코딩할 수 없으므로 미디어 신호를 일정한 시간 간격의 프레임(401) 단위로 나누어 코딩하고, 신호의 프레임(401) 단위로 공간 정보를 추출한다. 미디어 신호의 프레임(401)은 주파수 밴드별로 다시 나뉠 수 있다. 주파수 밴드는 다시 하나의 공간 정보가 적용되는 구간(403)으로 나뉠 수 있고, 하나의 공간 정보가 적용되는 구간(403)은 복수의 구간 또는 복수의 파티션(partition)(405)으로 나뉠 수 있다. 신호 디코딩 장치는 다운믹스 신호의 파티션(405) 별로 레벨을 변화시키거나 또는 파티션별로 CLD, ICC, CPC 등의 공간 정보를 적용함으로써 디코릴레이트된 신호를 생성할 수 있다. 예컨대, 파티션(405) 별로 다운믹스 신호의 레벨을 변화시키거나 몇 개의 파티션(405)을 그룹으로 묶어 그룹마다 레벨을 변화시켜 원래의 신호와 관련성이 적은 디코릴 레이트된 신호를 생성할 수 있다. 사람의 귀는 고주파보다는 저주파에 민감하므로, 저주파 부분을 더 조밀하게 파티션(405)으로 나누어 파티션(405)의 레벨을 변화시킬 수도 있다. 신호 디코딩 장치는 파티션 별로 공간 정보를 다르게 적용하거나 또는 공간 정보를 변형하여 변형된 공간 정보를 다운믹스 신호에 적용함으로써 디코릴레이트된 신호를 생성할 수도 있다. 예컨대, 신호 디코딩 장치가 공간 정보를 역 양자화할 때, 신호 디코딩 장치는 인덱스 값을 이용하여 인덱스 값에 매핑되는 인코딩된 공간 정보 값을 추출하는데 인덱스 값과 인코딩된 공간 정보 값을 매핑하는 함수를 변형하여 수정된 공간 정보를 파티션(405)에 적용할 수도 있다. 이와 같이 신호 디코딩 장치는 파티션(405) 별로 레벨을 변화시키거나 또는 다른 공간 정보를 적용하거나 또는 변형된 공간 정보를 적용함으로써 디코릴레이트된 신호를 생성할 수 있다.4 is a block diagram of a media signal according to another embodiment of the present invention. Referring to FIG. 4, the apparatus for encoding a signal cannot code the entire media signal, and the media signal is divided and coded in units of frames 401 at predetermined time intervals, and the spatial information is extracted in units of frames 401 of the signal. The frame 401 of the media signal may be divided again by frequency band. The frequency band may be divided into a section 403 to which one spatial information is applied, and the section 403 to which one spatial information is applied may be divided into a plurality of sections or a plurality of partitions 405. The signal decoding apparatus may generate a decorrelated signal by changing the level for each partition 405 of the downmix signal or by applying spatial information such as CLD, ICC, and CPC for each partition. For example, the level of the downmix signal may be changed for each partition 405, or several partitions 405 may be grouped to change the level for each group to generate a decorrelated signal having less relevance to the original signal. Since the human ear is sensitive to low frequency rather than high frequency, the low frequency portion may be divided more densely into partition 405 to change the level of partition 405. The signal decoding apparatus may generate a decorrelated signal by applying spatial information differently for each partition or by applying the modified spatial information to the downmix signal by modifying the spatial information. For example, when the signal decoding apparatus dequantizes the spatial information, the signal decoding apparatus extracts an encoded spatial information value mapped to the index value using the index value, and deforms a function that maps the index value and the encoded spatial information value. The modified spatial information can also be applied to the partition 405. As such, the signal decoding apparatus may generate a decorrelated signal by changing a level for each partition 405, applying other spatial information, or applying modified spatial information.

도 5는 본 발명의 또 다른 실시 예에 따른 디코릴레이트된 신호를 생성하는 방법을 그래프로 표현한 도면이다. 도 5를 참조하면, 신호 디코딩 장치는 공간 정보를 변형하고, 변형된 공간 정보를 다운믹스 신호의 파티션(403) 별로 적용하여 디코릴레이트된 신호를 생성한다. 예컨대, 공간 정보 중 ICC 값을 이용하여 CLD 값을 변화시켜 디코릴레이트된 신호를 생성할 수 있다. ICC 값과 CLD 값은 모두 신호 변환부(미도시)의 입력 신호 x, y를 변수로 하는 함수로 표현된다. 이때 ICC 값을 고정한 채, 변수 x와 y값을 x', y'으로 변화시키면 x', y' 값에 따라 CLD 값도 변하게 된다. 도 5는 원래의 CLD 값(501)을 점선으로 표시하고, 변형된 CLD 값(503)을 실선으로 표시한다. 하나의 CLD가 적용되는 구간(403)은 도 4에서 설명한 바와 같이 복수의 파티션(405)으로 이루어져 있다. 이때, 신호 디코딩 장치는 파티션(405) 별로 변형된 CLD 값(503)을 적용하여 디코릴레이트된 신호를 생성할 수 있다. CLD는 두 채널간 에너지 비이므로 두 신호 중 하나의 신호에 적용되는 CLD가 변형되면 나머지 신호에 적용되는 CLD는 원래의 CLD(501) 값을 기준으로 대칭된다. 따라서 두 신호 각각에 점선 축을 기준으로 대칭되는 변형된 CLD(503)가 적용되어 출력 신호가 디코릴레이트된 신호로 변형된다. 다만, CLD를 변형함에 있어서 원래의 CLD 범위를 크게 벗어나면 디코릴레이터의 원 취지에서 벗어나 원래의 신호와 크게 동떨어진 신호가 출력될 수 있으므로 일정한 상한값과 하한값을 벗어나지 않는 범위에서 변형이 이루어져야 한다. FIG. 5 is a graph illustrating a method of generating a decorrelated signal according to another embodiment of the present invention. Referring to FIG. 5, the signal decoding apparatus transforms spatial information, and applies the modified spatial information to each partition 403 of the downmix signal to generate a decorrelated signal. For example, the decorrelated signal may be generated by changing the CLD value using the ICC value of the spatial information. Both the ICC value and the CLD value are represented by a function that takes the input signals x and y of the signal converter (not shown) as variables. At this time, if the variable x and y are changed to x 'and y' while the ICC value is fixed, the CLD value also changes according to the x 'and y' values. 5 shows the original CLD value 501 with a dotted line, and shows the modified CLD value 503 with a solid line. The section 403 to which one CLD is applied includes a plurality of partitions 405 as described with reference to FIG. 4. In this case, the signal decoding apparatus may generate the decorrelated signal by applying the modified CLD value 503 for each partition 405. Since the CLD is an energy ratio between two channels, when the CLD applied to one of the two signals is modified, the CLD applied to the remaining signals is symmetric with respect to the original CLD 501 value. Thus, a modified CLD 503 that is symmetrical with respect to the dotted line axis is applied to each of the two signals so that the output signal is transformed into a decorrelated signal. However, when the CLD is greatly departed from the original CLD range, a signal that is far from the original signal of the decorrelator may be output. Therefore, the deformation should be performed within a certain upper limit and lower limit.

도 6은 본 발명의 일 실시 예에 따른 가상 3차원 입체 정보와 공간 정보가 다운믹스 신호의 프레임에 적용되는 방법을 그래프로 나타낸 도면이다. 신호 디코딩 장치는 스테레오 신호로 가상의 3차원 신호를 재생하기 위해 HRTF(Head Relative Transfer Function)를 이용할 수 있다. 이하, 가상의 3차원 신호를 재생하기 위해 사용되는 HRTF 필터 계수 등을 가상 3차원 입체 정보라고 한다. 신호 디코딩 장치는 공간 정보와 가상 3차원 입체 정보를 다운믹스 신호에 적용하여 가상의 3차원 신호를 재생한다. 공간 정보와 가상 3차원 입체 정보는 다운믹스 신호와 동일한 도메인에서 다운믹스 신호에 적용된다. 그러므로 공간 정보 또는 가상 3차원 입체 정보의 도메인이 다운믹스 신호의 도메인과 다를 경우 도메인 변환이 필요하다. 가상 3차원 입체 정보가 적용되는 도메인이 공간 정보가 적용되는 도메인과 다른 경우 도메인을 변환하는 함수에 따라 처리되는 다운믹스 신호 구간이 달라질 수 있다. 즉, 도 6을 참조하면, 가상 3차원 입체 정보가 적용되는 프레임을 프레임 A(601)라 하고 공간 정보가 적용되는 프레임을 프레임 B(603)라 할 때 프레임 A(601)와 프레임 B(603)는 크기가 달라질 수 있다. 신호 인코딩/디코딩 장치는 시간 영역을 주파수 영역으로 또는 주파수 영역을 시간 영역으로 도메인 변환할 때 QMF 또는 hybrid 함수를 사용한다. 신호 인코딩/디코딩 장치가 가상 3차원 입체 정보의 도메인 변환을 위해 FFT(Fast Fourier Transform) 또는 DFT(Discrete Fourier Transform) 등의 함수를 이용할 경우, 연산량 감소를 위해 FFT 또는 DFT를 하는 신호의 구간은 QMF 또는 hybrid를 하는 신호의 구간보다 작아질 수 있다. 도 6에서 가상 3차원 입체 정보가 적용되는 프레임 A(601)가 공간 정보가 적용되는 프레임 B(603)보다 작을 경우, 예컨대 2048 샘플이 공간 정보가 적용되는 하나의 프레임이고 512 샘플이 입체 정보가 적용되는 하나의 프레임인 경우, 공간 정보가 적용되는 프레임 B(603)는 가상 3차원 입체 정보가 적용되는 프레임 A(601)의 4배가 된다. 프레임 B(603)에 포함되는 네 개의 프레임 A(601)에 대하여 동일한 공간 정보(605)를 적용할 수도 있으나 네 개의 프레임 A(601)마다 각각 다른 공간 정보(605)를 적용할 수도 있다. 즉, 프레임 A(601)마다 공간 정보를 변형하여 적용할 수 있다. 6 is a graph illustrating a method of applying virtual 3D stereoscopic information and spatial information to a frame of a downmix signal according to an embodiment of the present invention. The signal decoding apparatus may use a head relative transfer function (HRTF) to reproduce a virtual three-dimensional signal as a stereo signal. Hereinafter, HRTF filter coefficients and the like used for reproducing a virtual three-dimensional signal are called virtual three-dimensional stereoscopic information. The signal decoding apparatus reproduces the virtual three-dimensional signal by applying the spatial information and the virtual three-dimensional stereoscopic information to the downmix signal. The spatial information and the virtual three-dimensional stereoscopic information are applied to the downmix signal in the same domain as the downmix signal. Therefore, if the domain of the spatial information or the virtual three-dimensional stereoscopic information is different from the domain of the downmix signal, domain conversion is necessary. When the domain to which the virtual 3D stereoscopic information is applied is different from the domain to which the spatial information is applied, the processed downmix signal interval may vary according to a function of transforming the domain. That is, referring to FIG. 6, when a frame to which virtual three-dimensional stereoscopic information is applied is called a frame A 601 and a frame to which spatial information is applied is a frame B 603, a frame A 601 and a frame B 603 are used. ) May vary in size. The signal encoding / decoding apparatus uses a QMF or hybrid function when domain transforming the time domain into the frequency domain or the frequency domain into the time domain. When the signal encoding / decoding device uses a function such as Fast Fourier Transform (FFT) or Discrete Fourier Transform (DFT) for domain transformation of virtual three-dimensional stereoscopic information, the interval of the signal that performs FFT or DFT to reduce the computation amount is QMF. Or it may be smaller than the interval of the hybrid signal. In FIG. 6, when frame A 601 to which virtual three-dimensional stereoscopic information is applied is smaller than frame B 603 to which spatial information is applied, for example, 2048 samples are one frame to which spatial information is applied, and 512 samples are stereoscopic information. In the case of one frame to be applied, the frame B 603 to which the spatial information is applied is four times the frame A 601 to which the virtual three-dimensional stereoscopic information is applied. The same spatial information 605 may be applied to the four frames A 601 included in the frame B 603, but different spatial information 605 may be applied to each of the four frames A 601. That is, spatial information may be modified and applied to each frame A 601.

도 7은 본 발명의 다른 실시 예에 따른 가상 3차원 입체 정보와 공간 정보가 다운믹스 신호의 프레임에 적용되는 그래프를 나타낸 도면이다. 도 7을 참조하면, 공간 정보가 적용되는 프레임 B(603)는 가상 3차원 입체 정보가 적용되는 프레임 A(601)의 4배이다. 이 경우 프레임 B(603)에 포함되는 네 개의 프레임 A(601)에 동일한 공간 정보를 사용할 수도 있지만 모두 다른 공간 정보를 사용할 수도 있다. 도 7에서와 같이, 프레임 B(603) 외의 프레임에 적용되는 공간 정보를 이용하여 프레임 A(601)에 공간 정보(605)를 적용할 수 있다. 예컨대, 현재 디코딩하는 프레임 B(603)의 앞 또는 뒤의 프레임 중 가상 3차원 입체 정보가 적용될 프레임 A(601)와 가장 가까운 타임 슬롯에 적용되는 공간 정보(701)를 프레임 A(601)에 적용하거나, 또는 프레임 A(601) 양측으로 가장 가까운 프레임의 타임 슬롯에 적용되는 두 공간 정보(701, 703)를 인터폴레이션(interpolation)하여 인터폴레이션 된 공간 정보(605)를 프레임 A(601)에 적용할 수도 있다. 또는 현재 디코딩하는 프레임 B(603) 외의 프레임에 적용되는 공간 정보를 변형하여, 변형된 공간 정보를 프레임 A(601)에 적용할 수도 있다. 7 is a diagram illustrating a graph in which virtual 3D stereoscopic information and spatial information are applied to a frame of a downmix signal according to another embodiment of the present invention. Referring to FIG. 7, the frame B 603 to which the spatial information is applied is four times the frame A 601 to which the virtual three-dimensional stereoscopic information is applied. In this case, the same spatial information may be used for the four frames A 601 included in the frame B 603, but all different spatial information may be used. As shown in FIG. 7, the spatial information 605 may be applied to the frame A 601 using spatial information applied to a frame other than the frame B 603. For example, among the frames before or after the frame B 603 currently decoded, the spatial information 701 applied to the time slot closest to the frame A 601 to which the virtual three-dimensional stereoscopic information is to be applied is applied to the frame A 601. Alternatively, the interpolated spatial information 605 may be applied to the frame A 601 by interpolating two spatial information 701 and 703 applied to the time slots of the frame closest to both sides of the frame A 601. have. Alternatively, the modified spatial information may be applied to the frame A 601 by modifying spatial information applied to a frame other than the frame B 603 currently decoded.

도 8 및 도 9는 본 발명의 일 실시 예에 따른 신호 변환부의 구성도이다. 도 8을 참조하면 신호 변환부(801)는 디코릴레이터(805) 및 믹싱부(811)를 포함한다. 신호 변환부(801)는 다운믹스 신호를 업믹싱하여 다채널을 생성할 때, 하나의 신호를 두 개의 신호로 또는 두 개의 신호를 세 개의 신호로 변환하여 다운믹스 신호를 공간감 있는 다채널 신호 또는 가상의 3차원 신호로 업믹싱하기 위해 사용되는 OTT(One-To-Two) BOX 또는 TTT(Two-To-Three) BOX 등을 의미한다. 신호 디코딩 장치는 신호 인코딩 장치로부터 수신하거나 또는 미리 저장하고 있던 미디어 신호를 인코딩된 다운믹스 신호와 인코딩된 공간 정보로 파싱한 후 각각 복호화한다. 신호 디코딩 장치는 신호 변환부(801)를 이용하여 복호화한 다운믹스 신호와 공간 정보를 원래의 미디어 신호로 복원한다. 신호 변환부(801)는 입력 신호 x(803)를 믹싱부(811)와 디코릴레이터(805)로 보낸다. 디코릴레이터(805)는 전술한 바와 같이 입 력 신호 x(803)를 변형하여 디코릴레이트된 신호 x'(807)을 생성한다. 입력 신호 x(803) 및 디코릴레이터(805)에 의해 변형된 디코릴레이트된 신호 x'(807)은 믹싱부(811)로 보내진다. 믹싱부(811)는 신호 x(803), x'(807)과 공간 정보(809)를 이용하여 신호 x₁(813), x₂(815) 를 출력한다. 8 and 9 are diagrams illustrating a signal converter according to an embodiment of the present invention. Referring to FIG. 8, the signal converter 801 includes a decorator 805 and a mixer 811. When the signal converter 801 generates a multichannel by upmixing the downmix signal, the signal converter 801 converts a single signal into two signals or two signals into three signals to convert the downmix signal into a spatial multichannel signal or An OTT (One-To-Two) BOX or TTT (Two-To-Three) BOX used for upmixing a virtual three-dimensional signal. The signal decoding apparatus parses the media signal received from the signal encoding apparatus or previously stored into the encoded downmix signal and the encoded spatial information, and then decodes the media signal. The signal decoding apparatus restores the downmix signal and the spatial information decoded using the signal converter 801 to the original media signal. The signal converter 801 sends the input signal x 803 to the mixing unit 811 and the decorator 805. The decorrelator 805 transforms the input signal x 803 as described above to produce a decorrelated signal x '807. The decorrelated signal x '807 modified by the input signal x 803 and the decorrelator 805 is sent to the mixing section 811. The mixing unit 811 outputs signals x ₁ 813 and x ₂ 815 using the signals x 803, x ′ 807 and spatial information 809.

도 9를 참조하면 신호 변환부(901)는 믹싱부(907)를 포함한다. 신호 변환부(901)는 공간 정보(905)를 이용하여 입력 신호 y(903)를 두 신호(909, 915)로 분리한다. 예컨대, 도 1에서 설명한 바와 같이 신호 변환부(901)는 공간 정보로 CLD를 사용하여 입력 신호(101)로부터 레벨이 다른 두 개의 출력 신호(103, 105)를 생성할 수 있다. 두 출력 신호(103, 105)는 레벨은 다르나 형태가 동일하여 채널간의 유사성이 존재한다. 신호 디코딩 장치는 디코릴레이터(911)를 이용하여 신호 변환부(901)에서 나온 두 신호(103, 105 또는 909, 915) 중 하나의 신호를 변형하여 디코릴레이트된 신호 y₁(913)를 생성한다. 도 8 또는 도 9에서 살펴본 바와 같이 디코릴레이터(805, 911)는 신호 변환부(801) 내부에 위치하거나 또는 신호 변환부(901) 외부에 위치하여 다운믹스 신호로부터 디코릴레이트된 신호를 생성할 수 있다. Referring to FIG. 9, the signal converter 901 includes a mixing unit 907. The signal converter 901 separates the input signal y 903 into two signals 909 and 915 using the spatial information 905. For example, as described with reference to FIG. 1, the signal converter 901 may generate two output signals 103 and 105 having different levels from the input signal 101 using CLD as spatial information. The two output signals 103 and 105 have different levels but the same shape, and thus there is a similarity between channels. The signal decoding apparatus converts one of the two signals 103, 105, or 909, 915 from the signal converter 901 by using the decorator 911 to decode the decorated signal y ₁ 913. Create As shown in FIG. 8 or 9, the decorrelators 805 and 911 are located inside the signal converter 801 or outside the signal converter 901 to generate a decorrelated signal from the downmix signal. can do.

도 10 및 도 11은 본 발명의 다른 실시 예에 따른 신호 변환부를 나타낸 블럭도이다. 도 10 및 도 11을 참조하면, 신호 디코딩 장치는 제1 내지 제5 신호 변환부(1001 내지 1009)를 포함한다. 도 10 및 도 11은 신호 변환부로 OTT BOX만을 사용하였으나 신호 변환부로 TTT BOX를 사용할 수도 있다. 신호 디코딩 장치는 미디어 신호를 수신하여 이를 다운믹스 신호와 공간 정보로 역 다중화한 후 각 신호 를 복호화한다. 신호 디코딩 장치는 복호화된 다운믹스 신호와 공간 정보를 업믹싱하여 공간감 있는 다채널 또는 가상의 3차원 신호를 생성하기 위해 신호 변환부를 이용한다. 도 10 및 도 11을 참조하면, 신호 디코딩 장치는 미디어 신호(1011)를 받아 이를 제1 신호 변환부(1001)로 인가하고, 제1 신호 변환부(1001)는 미디어 신호(1011)를 두 신호로 분리하여 제2 신호 변환부(1003)와 제5 신호 변환부(1009)로 인가한다. 제2 신호 변환부(1003)로 인가되는 신호는 제3 신호 변환부(1005)와 제4 신호 변환부(1007)로 분리되어 인가된다. 제3 내지 제5 신호 변환부(1005 내지 1009)는 입력받은 신호를 분리하여 출력 신호를 생성한다. 제1 신호 변환부(1001) 내지 제5 신호 변환부(1009)에는 각각 다른 공간 정보가 인가된다. 전술한 바와 같이, 디코릴레이터는 제1 신호 변환부(1001) 내지 제5 신호 변환부(1009) 내에 포함되거나 제1 신호 변환부(1001) 내지 제5 신호 변환부(1009) 외부에 위치하여 신호 변환부로부터 출력된 신호에 대해 적용될 수 있다. 즉, 디코릴레이터는 각각의 신호 변환부 전부에 포함되어 있거나 또는 신호 변환부 외부에 위치하여 모든 신호 변환부로부터 출력된 신호에 적용될 수 있다. 모든 신호 변환부 내에 또는 모든 신호 변환부를 거쳐 출력된 신호에 디코릴레이터를 적용할 경우 복잡성(complexity)이 높아지고 효율이 떨어질 우려가 있다. 그러므로 일부의 신호 변환부만 내부에 디코릴레이터를 포함하게 하거나 또는 일부의 신호 변환부로부터 출력된 신호만 디코릴레이터를 거치도록 할 수 있다. 즉, 도 11에서와 같이 신호 디코딩 장치는 최종 단인 제3 내지 제5 신호 변환부(1005 내지 1009)의 출력 신호에만 디코릴레이터를 사용할 수 있다. 이때, 최종 단보다 먼저 신호를 변환하는 제1 신호 변환 부(1001) 및 제2 신호 변환부(1003)가 필요로 하는 디코릴레이터 정보는 최종 단인 제3 내지 제5 신호 변환부(1005 내지 1009)의 출력 신호에 사용되는 디코릴레이터 정보에 포함되어 있다. 전술한 바와 같이 디코릴레이터는 신호의 위상을 변화시키거나 다운믹스 신호 프레임의 파티션 별로 신호의 레벨을 변화시켜 디코릴레이트된 신호를 생성할 수 있고, 다운믹스 신호 프레임의 파티션 별로 다른 공간 정보를 적용하거나 변형된 공간 정보를 적용하여 디코릴레이트된 신호를 생성할 수도 있다. 10 and 11 are block diagrams illustrating a signal converter according to another exemplary embodiment of the present invention. 10 and 11, the signal decoding apparatus includes first to fifth signal converters 1001 to 1009. 10 and 11 use only the OTT box as a signal converter, but may use a TTT box as a signal converter. The signal decoding apparatus receives the media signal, demultiplexes it into a downmix signal and spatial information, and decodes each signal. The signal decoding apparatus uses a signal converter to upmix the decoded downmix signal and spatial information to generate a spatial multi-channel or virtual three-dimensional signal. 10 and 11, the signal decoding apparatus receives the media signal 1011 and applies it to the first signal converter 1001, and the first signal converter 1001 transmits the media signal 1011 to two signals. The signal is separated into and applied to the second signal converter 1003 and the fifth signal converter 1009. The signal applied to the second signal converter 1003 is separately applied to the third signal converter 1005 and the fourth signal converter 1007. The third to fifth signal converters 1005 to 1009 generate an output signal by separating the input signal. Different spatial information is applied to each of the first signal converter 1001 to the fifth signal converter 1009. As described above, the decorrelator may be included in the first signal converter 1001 to the fifth signal converter 1009 or located outside the first signal converter 1001 to the fifth signal converter 1009. It can be applied to the signal output from the converter. That is, the decorrelator may be included in all of the signal converters or may be located outside the signal converter and applied to signals output from all signal converters. When the decorrelator is applied to a signal output in all the signal converters or through all the signal converters, there is a concern that the complexity increases and the efficiency decreases. Therefore, only a part of the signal converter may include a decorator inside, or only a signal output from the part of the signal converter may go through the decorator. That is, as shown in FIG. 11, the signal decoding apparatus may use the decorrelator only for the output signals of the third to fifth signal converters 1005 to 1009 which are the final stages. At this time, the decorrelator information required by the first signal converter 1001 and the second signal converter 1003 to convert the signal before the final stage is the third to fifth signal converters 1005 to 1009 which are the final stages. It is included in the decorrelator information used for the output signal. As described above, the decorrelator may generate a decorrelated signal by changing the phase of the signal or by changing the signal level for each partition of the downmix signal frame, and applying different spatial information for each partition of the downmix signal frame. Alternatively, the modified spatial information may be applied to generate a decorrelated signal.

도 12는 본 발명의 일 실시 예에 따른 가상 3차원 신호를 생성하는 신호 처리 장치의 블럭도이다. 도 12를 참조하면, 신호 처리 장치는 독출부(1201), 공간 정보 변형부(1203), 디코릴레이트된 신호 생성부(1205) 및 가상 3차원 신호 생성부(1207)를 포함한다. 독출부(1201)는 미디어 신호 중 다운믹스 신호를 독출한다. 공간 정보 변형부(1203)는 공간 정보를 변형하여 변형된 공간 정보를 디코릴레이트된 신호 생성부(1205)로 보낸다. 디코릴레이트된 신호 생성부(1205)는 독출부(1201)로부터 받은 다운믹스 신호와 공간 정보 변형부(1203)로부터 받은 변형된 공간 정보를 이용하여 디코릴레이트된 신호를 생성한다. 디코릴레이트된 신호 생성부(1205)는 다운믹스 신호의 위상을 바꾸거나 또는 다운믹스 신호의 레벨을 변화시켜 디코릴레이트된 신호를 생성할 수 있다. 또한, 디코릴레이트된 신호 생성부(1205)는 다운믹스 신호의 파티션 별로 공간 정보를 다르게 적용하여 디코릴레이트된 신호를 생성하거나 공간 정보 변형부(1203)에 의해 변형된 공간 정보를 다운믹스 신호의 파티션마다 적용하여 디코릴레이트된 신호를 생성할 수도 있다. 디코릴레이트된 신호 생성부(1205)는 생성한 디코릴레이트된 신호를 가상 3차원 신호 생성부(1207)로 보낸다. 가상 3차원 신호 생성부(1207)는 다운믹스 신호, 디코릴레이트된 신호 및 공간 정보 또는 변형된 공간 정보를 이용하여 다운믹스 신호를 서라운드 신호로 복원한다. 여기서 서라운드 신호는 공간감 있는 다채널 신호 또는 가상의 3차원 신호를 포함하며 향후 개발될 공간감 있는 신호를 포함한다.12 is a block diagram of a signal processing apparatus for generating a virtual three-dimensional signal according to an embodiment of the present invention. Referring to FIG. 12, the signal processing apparatus includes a reader 1201, a spatial information modifier 1203, a decorrelated signal generator 1205, and a virtual three-dimensional signal generator 1207. The reader 1201 reads downmix signals of the media signals. The spatial information transforming unit 1203 transforms the spatial information and sends the modified spatial information to the decorrelated signal generator 1205. The decorrelated signal generator 1205 generates a decorrelated signal using the downmix signal received from the reader 1201 and the modified spatial information received from the spatial information transforming unit 1203. The decorrelated signal generator 1205 may generate a decorrelated signal by changing the phase of the downmix signal or by changing the level of the downmix signal. In addition, the decorrelated signal generator 1205 generates decorated signals by applying spatial information differently for each partition of the downmix signal, or down-mixes the spatial information modified by the spatial information transforming unit 1203. It may be applied to each partition of to generate a decorrelated signal. The decorrelated signal generator 1205 sends the generated decorrelated signal to the virtual three-dimensional signal generator 1207. The virtual 3D signal generator 1207 restores the downmix signal to the surround signal using the downmix signal, the decorrelated signal, and the spatial information or the modified spatial information. Here, the surround signal includes a spatial multichannel signal or a virtual three-dimensional signal and includes a spatial signal to be developed in the future.

도 13은 본 발명의 일 실시 예에 따른 가상 3차원 신호를 생성하는 신호 처리 장치의 블럭도이다. 도 13을 참조하면, 신호 처리 장치는 독출부(1301) 및 가상 3차원 신호 생성부(1303)를 포함한다. 독출부(1301)는 미디어 신호로부터 다운믹스 신호를 독출하고, 독출한 다운믹스 신호를 가상 3차원 신호 생성부(1303)로 보낸다. 가상 3차원 신호 생성부(1303)는 공간 정보, 다운믹스 신호 및 가상 3차원 입체 정보를 이용하여 가상 3차원 신호를 생성한다.13 is a block diagram of a signal processing apparatus for generating a virtual 3D signal according to an embodiment of the present invention. Referring to FIG. 13, the signal processing apparatus includes a reader 1301 and a virtual three-dimensional signal generator 1303. The read unit 1301 reads the downmix signal from the media signal, and sends the read downmix signal to the virtual three-dimensional signal generator 1303. The virtual 3D signal generator 1303 generates a virtual 3D signal by using the spatial information, the downmix signal, and the virtual 3D stereoscopic information.

도 14는 본 발명의 다른 실시 예에 따른 가상 3차원 신호를 생성하는 신호 처리 장치의 블럭도이다. 도 14를 참조하면, 신호 처리 장치는 독출부(1301) 및 가상 3차원 신호 생성부(1303)를 포함하며, 가상 3차원 신호 생성부(1303)는 도메인 변환부(1401), 공간 정보 변형부(1403) 및 믹싱부(1405)를 포함한다. 독출부(1301)는 신호 인코딩 장치로부터 수신한 미디어 신호 또는 미리 저장하고 있던 미디어 신호로부터 다운믹스 신호를 독출한다. 독출부(1301)는 독출한 다운믹스 신호를 가상 3차원 신호 생성부(1303)로 보낸다. 가상 3차원 신호 생성부(1303)의 도메인 변환부(1401)는 공간 정보 또는 가상 3차원 입체 정보의 도메인이 다운믹스 신호의 도메인과 동일한지를 판단한다. 도메인 변환부(1401)는 공간 정보 또는 가상 3차원 입체 정보의 도메인이 다운믹스 신호의 도메인과 다른 경우 공간 정보 또는 가상 3 차원 입체 정보의 도메인을 다운믹스 신호의 도메인으로 변환한다. 공간 정보 변형부(1403)는 공간 정보를 변형하여 믹싱부(1405)로 전송한다. 믹싱부(1405)는 독출부(1301)로부터 받은 다운믹스 신호와 공간 정보 변형부(1403)로부터 받은 변형된 공간 정보 및 가상 3차원 입체 정보를 이용하여 다운믹스 신호를 가상 3차원 신호로 변형한다. 다운믹스 신호에 적용되기 위해 공간 정보 및 가상 3차원 입체 정보가 같은 함수에 의해 도메인 변환될 경우에는 문제가 없으나, 공간 정보는 QMF 또는 hybrid 함수에 의해 도메인이 변환되고 가상 3차원 입체 정보는 DFT 또는 FFT 등의 함수에 의해 도메인이 변환될 경우 공간 정보가 적용되는 다운믹스 신호의 프레임과 가상 3차원 입체 정보가 적용되는 다운믹스 신호의 프레임 크기가 달라질 수 있다. 믹싱부(1405)는 가상 3차원 입체 정보가 적용되는 프레임과 공간 정보가 적용되는 프레임의 크기가 다를 경우 가상 3차원 입체 정보가 적용되는 프레임에 대하여 동일한 공간 정보를 적용하거나 가상 3차원 입체 정보가 적용되는 프레임마다 또는 프레임의 파티션마다 다른 공간 정보를 적용하여 가상 3차원 신호를 생성할 수 있다. 14 is a block diagram of a signal processing apparatus for generating a virtual three-dimensional signal according to another embodiment of the present invention. Referring to FIG. 14, the signal processing apparatus includes a reader 1301 and a virtual three-dimensional signal generator 1303, and the virtual three-dimensional signal generator 1303 includes a domain transform unit 1401 and a spatial information transform unit. 1403 and mixing unit 1405. The read unit 1301 reads the downmix signal from the media signal received from the signal encoding apparatus or the media signal previously stored. The read unit 1301 sends the read downmix signal to the virtual three-dimensional signal generator 1303. The domain converter 1401 of the virtual 3D signal generator 1303 determines whether the domain of the spatial information or the virtual 3D stereoscopic information is the same as the domain of the downmix signal. The domain converter 1401 converts the domain of the spatial information or the virtual three-dimensional stereoscopic information into the domain of the downmix signal when the domain of the spatial information or the virtual three-dimensional stereoscopic information is different from the domain of the downmix signal. The spatial information transforming unit 1403 transforms the spatial information and transmits the spatial information to the mixing unit 1405. The mixing unit 1405 transforms the downmix signal into a virtual three-dimensional signal using the downmix signal received from the reader 1301 and the modified spatial information and virtual three-dimensional stereoscopic information received from the spatial information transforming unit 1403. . There is no problem when the spatial information and the virtual three-dimensional stereoscopic information are domain-converted by the same function to be applied to the downmix signal. However, the spatial information is converted by the QMF or hybrid function and the virtual three-dimensional stereoscopic information is converted to the DFT or When the domain is transformed by a function such as an FFT, a frame of a downmix signal to which spatial information is applied and a frame size of a downmix signal to which virtual 3D stereoscopic information is applied may vary. When the size of the frame to which the virtual 3D stereoscopic information is applied and the size of the frame to which the spatial information is applied are different, the mixing unit 1405 applies the same spatial information to the frame to which the virtual 3D stereoscopic information is applied, or the virtual 3D stereoscopic information is applied. Different spatial information may be applied to each applied frame or to each partition of the frame to generate a virtual 3D signal.

도 15는 본 발명의 일 실시 예에 따른 가상 3차원 신호를 생성하는 방법을 나타낸 순서도이다. 도 15를 참조하면, 신호 디코딩 장치는 미디어 신호로부터 다운믹스 신호를 독출한다(단계 1501). 신호 디코딩 장치는 미디어 신호에 포함되어 있거나 또는 미디어 신호와 별개로 전송된 공간 정보를 변형한다(단계 1503). 신호 디코딩 장치는 변형된 공간 정보를 이용하여 다운믹스 신호로부터 디코릴레이트된 신호를 생성한다(단계 1505). 신호 디코딩 장치는 디코릴레이트된 신호를 생성하기 위해 다운믹스 신호에 시간 지연을 주거나 또는 다운믹스 신호의 레벨을 변화시키거나 또는 다운믹스 신호의 프레임에 포함되는 파티션별로 다른 공간 정보를 적용하는 방법 등을 이용할 수 있다. 신호 디코딩 장치는 공간 정보 또는 변형된 공간 정보, 다운믹스 신호 및 디코릴레이트된 신호를 이용하여 공간감있는 다채널 신호 또는 가상의 3차원 신호를 생성한다(단계 1507).15 is a flowchart illustrating a method of generating a virtual 3D signal according to an embodiment of the present invention. Referring to FIG. 15, the signal decoding apparatus reads a downmix signal from the media signal (step 1501). The signal decoding apparatus transforms the spatial information contained in the media signal or transmitted separately from the media signal (step 1503). The signal decoding apparatus generates a decorrelated signal from the downmix signal using the modified spatial information (step 1505). The signal decoding apparatus may add a time delay to the downmix signal, change the level of the downmix signal, or apply different spatial information for each partition included in a frame of the downmix signal to generate a decorrelated signal. Can be used. The signal decoding apparatus generates spatial multichannel signals or virtual three-dimensional signals using spatial information or modified spatial information, downmix signals, and decorrelated signals (step 1507).

도 16은 본 발명의 일 실시 예에 따른 신호 변환 방법을 나타낸 순서도이다. 도 16을 참조하면, 신호 디코딩 장치는 미디어 신호로부터 다운믹스 신호를 독출한다(단계 1601). 신호 디코딩 장치는 다운믹스 신호와 공간 정보를 이용하여 원래의 미디어 신호를 복원하기 위해 다운믹스 신호로부터 디코릴레이트된 신호를 생성한다(단계 1603). 신호 디코딩 장치에 포함되어 있는 디코릴레이터는 전술한 바와 같이 입력 신호의 위상이나 레벨을 변형하여 디코릴레이트된 신호를 생성할 수 있다. 신호 디코딩 장치는 다운믹스 신호와 디코릴레이터에 의해 변형된 디코릴레이트된 신호 및 공간 정보를 이용하여 신호를 변환한다(단계 1605).16 is a flowchart illustrating a signal conversion method according to an embodiment of the present invention. Referring to FIG. 16, the signal decoding apparatus reads a downmix signal from the media signal (step 1601). The signal decoding apparatus generates a decorrelated signal from the downmix signal to recover the original media signal using the downmix signal and the spatial information (step 1603). A decorator included in the signal decoding apparatus may generate a decorrelated signal by modifying a phase or a level of an input signal as described above. The signal decoding apparatus converts the signal using the downmix signal and the decorrelated signal and spatial information modified by the decorrelator (step 1605).

도 17은 본 발명의 다른 실시 예에 따른 신호 변환 방법을 나타낸 순서도이다. 도 17을 참조하면, 신호 디코딩 장치는 미디어 신호로부터 다운믹스 신호를 독출한다(단계 1701). 신호 디코딩 장치는 공간 정보를 이용하여 다운믹스 신호를 변환한다(단계 1703). 신호 디코딩 장치는 변환된 다운믹스 신호를 분리한다. 신호 디코딩 장치는 분리된 다운믹스 신호 중 하나의 신호에 대해 디코릴레이트된 신호를 생성한다(단계 1705). 17 is a flowchart illustrating a signal conversion method according to another embodiment of the present invention. Referring to FIG. 17, the signal decoding apparatus reads a downmix signal from a media signal (step 1701). The signal decoding apparatus converts the downmix signal using the spatial information (step 1703). The signal decoding apparatus separates the converted downmix signal. The signal decoding apparatus generates a decorrelated signal for one of the separated downmix signals (step 1705).

도 18은 본 발명의 일 실시 예에 따른 다운믹스 신호를 가상 3차원 신호로 변형하는 방법을 나타낸 순서도이다. 도 18을 참조하면, 신호 디코딩 장치는 신호 인코딩 장치가 전송하거나 또는 미리 저장하고 있던 미디어 신호로부터 다운믹스 신호를 독출한다(단계 1801). 신호 디코딩 장치는 공간 정보 또는 가상 3차원 입체 정보를 다운믹스 신호에 적용하기 위해 공간 정보 또는 가상 3차원 입체 정보의 도메인이 다운믹스 신호의 도메인과 동일한지를 판단한다(단계 1803). 여기서, 가상 3차원 입체 정보는 다운믹스 신호를 가상의 3차원 입체 효과를 주는 스테레오 신호로 복원하기 위해 필요한 HRTF 필터 계수 등이다. 신호 디코딩 장치는 공간 정보와 가상 3차원 입체 정보의 도메인이 다운믹스 신호의 도메인과 동일한 경우 다운믹스 신호에 공간 정보 및 가상 3차원 입체 정보를 적용하여 가상의 3차원 신호를 생성한다(단계 1811). 신호 디코딩 장치는 공간 정보 또는 가상 3차원 입체 정보의 도메인이 다운믹스 신호의 도메인과 다른 경우 공간 정보 또는 가상 3차원 입체 정보의 도메인을 다운믹스 신호의 도메인으로 변환한다(단계 1805). 공간 정보 또는 가상 3차원 입체 정보에 대해 도메인 변환을 수행할 때 동일하지 않은 변환 함수를 사용할 경우, 공간 정보가 적용되는 다운믹스 신호의 프레임과 가상 3차원 입체 정보가 적용되는 다운믹스 신호의 프레임 크기가 달라질 수 있다. 신호 디코딩 장치는 공간 정보가 적용되는 프레임이 가상 3차원 입체 정보가 적용되는 프레임보다 큰지를 판단한다(단계 1807). 신호 디코딩 장치는 공간 정보가 적용되는 프레임이 가상 3차원 입체 정보가 적용되는 프레임보다 큰 경우 가상 3차원 입체 정보가 적용되는 프레임마다 공간 정보를 변형하여 적용할 수 있다(단계 1809). 앞에서 든 예와 같이, 공간 정보는 다운믹스 신호의 2048 샘플 단위로 처리되고 가상 3차원 입체 정보는 다운믹스 신호의 512 샘플 단위로 처리될 경우, 공간 정보와 가상 3차원 입체 정보가 적용되는 프레임은 크기가 달라진다. 이 경우, 신호 디코딩 장치는 가상 3차원 입체 정보가 적용되는 프레임마다 동일한 공간 정보를 적용할 수도 있으나 가상 3차원 입체 정보가 적용되는 프레임마다 다른 공간 정보를 적용할 수도 있고, 공간 정보를 변형하여 변형된 공간 정보를 적용할 수도 있다. 신호 디코딩 장치는 다운믹스 신호에 공간 정보 및 가상 3차원 입체 정보를 적용하여 가상 3차원 신호를 생성한다(단계 1811). 18 is a flowchart illustrating a method of transforming a downmix signal into a virtual 3D signal according to an embodiment of the present invention. Referring to FIG. 18, the signal decoding apparatus reads a downmix signal from a media signal transmitted or stored in advance by the signal encoding apparatus (step 1801). The signal decoding apparatus determines whether the domain of the spatial information or the virtual three-dimensional stereoscopic information is the same as the domain of the downmix signal in order to apply the spatial information or the virtual three-dimensional stereoscopic information to the downmix signal (step 1803). Here, the virtual three-dimensional stereoscopic information is an HRTF filter coefficient or the like necessary for reconstructing the downmix signal into a stereo signal having a virtual three-dimensional stereoscopic effect. If the domain of the spatial information and the virtual three-dimensional stereoscopic information is the same as the domain of the downmix signal, the signal decoding apparatus generates the virtual three-dimensional signal by applying the spatial information and the virtual three-dimensional stereoscopic information to the downmix signal (step 1811). . If the domain of the spatial information or the virtual three-dimensional stereoscopic information is different from the domain of the downmix signal, the signal decoding apparatus converts the domain of the spatial or virtual three-dimensional stereoscopic information into the domain of the downmix signal (step 1805). When using a transform function that is not the same when performing domain transformation on spatial information or virtual 3D stereoscopic information, the frame of the downmix signal to which spatial information is applied and the frame size of the downmix signal to which virtual 3D stereoscopic information is applied May vary. The signal decoding apparatus determines whether the frame to which the spatial information is applied is larger than the frame to which the virtual three-dimensional stereoscopic information is applied (step 1807). If the frame to which the spatial information is applied is larger than the frame to which the virtual three-dimensional stereoscopic information is applied, the signal decoding apparatus may modify and apply the spatial information to each frame to which the virtual three-dimensional stereoscopic information is applied (step 1809). As in the previous example, when the spatial information is processed in units of 2048 samples of the downmix signal and the virtual 3D stereoscopic information is processed in units of 512 samples of the downmix signal, a frame to which the spatial information and virtual 3D stereoscopic information is applied is The size is different. In this case, the signal decoding apparatus may apply the same spatial information to each frame to which the virtual three-dimensional stereoscopic information is applied, but may apply different spatial information to each frame to which the virtual three-dimensional stereoscopic information is applied, or deform and modify the spatial information. Space information can be applied. The signal decoding apparatus generates a virtual three-dimensional signal by applying spatial information and virtual three-dimensional stereoscopic information to the downmix signal (step 1811).

이상에서 기술된 것과 같이, 본 발명에 따른 신호 처리 방법 및 장치는 신호의 위상이나 레벨을 조절하여 디코릴레이트된 신호를 생성할 수 있다.As described above, the signal processing method and apparatus according to the present invention may generate a decorrelated signal by adjusting the phase or level of the signal.

또한, 본 발명에 따른 신호 처리 방법 및 장치는 공간 정보를 이용하여 디코릴레이트된 신호를 생성할 수 있다. In addition, the signal processing method and apparatus according to the present invention may generate a decorrelated signal using spatial information.

또한, 본 발명에 따른 신호 처리 방법 및 장치는 공간 정보와 가상 3차원 입체 정보가 적용되는 도메인이 다른 경우, 도메인을 변환할 수 있다.In addition, the signal processing method and apparatus according to the present invention may convert a domain when the domain to which the spatial information and the virtual 3D stereoscopic information is applied is different.

또한, 본 발명에 따른 신호 처리 방법 및 장치는 가상 3차원 입체 정보가 적용되는 신호에 공간 정보를 변형하여 적용할 수 있다.In addition, the signal processing method and apparatus according to the present invention may be applied by transforming spatial information to a signal to which virtual three-dimensional stereoscopic information is applied.

또한, 본 발명에 따른 신호 처리 방법 및 장치는 다운믹스 신호를 업믹싱하여 원래의 신호를 복원할 때 신호 변화부 중 일부의 신호 변화부만 디코릴레이터를 사용하여 디코딩할 수 있다.In addition, the signal processing method and apparatus according to the present invention can decode only a part of the signal changer using the decorrelator when upmixing the downmix signal to restore the original signal.

Claims

Reading downmix signals and spatial information from the bitstream;

Generating a decorrelated signal by applying a decorrelator to the downmix signal during or after upmixing the downmix signal using the spatial information; And

And generating virtual three-dimensional signals by applying virtual three-dimensional stereoscopic information to the upmixed downmix signal and the decorrelated signal.

The method of claim 1, wherein the decorylated signal is

And during or after the upmix process, using all or part of the downmix signal.

The method of claim 2, wherein the upmix process

A signal processing method characterized by comprising a plurality of signal converters.

The method of claim 3, wherein the decorator

And a signal applied to the downmix signal in the signal converter or to a signal output from the signal converter.

A readout unit that reads downmix signals and spatial information from the bitstream;

A decorrelator for generating a decorrelated signal from the downmix signal or a signal generated by upmixing the downmix signal;

An upmixing unit including a plurality of signal converters for upmixing the downmix signal or upmixing the decorrelated signal using the spatial information; And

And a virtual three-dimensional signal generator for generating a virtual three-dimensional signal by applying virtual three-dimensional stereoscopic information to the upmixed downmix signal and the decorrelated signal.