KR20080066538A - Apparatus and method for encoding/decoding multi-channel signal - Google Patents

Apparatus and method for encoding/decoding multi-channel signal Download PDF

Info

Publication number
KR20080066538A
KR20080066538A KR1020070104673A KR20070104673A KR20080066538A KR 20080066538 A KR20080066538 A KR 20080066538A KR 1020070104673 A KR1020070104673 A KR 1020070104673A KR 20070104673 A KR20070104673 A KR 20070104673A KR 20080066538 A KR20080066538 A KR 20080066538A
Authority
KR
South Korea
Prior art keywords
signal
channel
time delay
information
delay
Prior art date
Application number
KR1020070104673A
Other languages
Korean (ko)
Inventor
김래훈
성굉모
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080066538A publication Critical patent/KR20080066538A/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Theoretical Computer Science (AREA)

Abstract

A method and an apparatus for encoding and decoding multi-channel signals are provided to compensate a time delay between channel signals in encoding and decoding the multi-channel signals, thereby restoring the multi-channel signals having reverberation and reproducing the signal of improved sound quality. An apparatus for encoding and decoding multi-channel signals comprises a delay detector(100), a delay compensator(110), a down mixer(120) and a bit packing unit(130). The delay detector calculates correlation between the two channel signals on a temporal domain, detects similar parts between the two channel signals using the correlation, and detects a time difference between the similar parts as the time delay. The delay compensator compensates at least one of a first channel signal and a second channel signal using the detected time delay. The down mixer performs the down mixing of the first and second channel signals, of which the delay is compensated, with a downmix signal. The bit packing unit generates a bitstream including the downmix signal and additional information.

Description

멀티 채널 신호의 부호화/복호화 방법 및 장치{Apparatus and Method for encoding/decoding multi-channel signal}Apparatus and Method for encoding / decoding multi-channel signal}

도 1은 본 발명에 따른 멀티 채널 신호 부호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.1 is a block diagram showing an embodiment of a configuration of a multi-channel signal encoding apparatus according to the present invention.

도 2는 부호화 장치에서 채널 간 시간 딜레이를 보상하는 방법에 대한 실시예를 설명하기 위한 도면이다.FIG. 2 is a diagram for describing an embodiment of a method for compensating for time delay between channels in an encoding apparatus.

도 3은 본 발명에 따른 멀티 채널 신호 복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.3 is a block diagram illustrating an embodiment of a configuration of a multi-channel signal decoding apparatus according to the present invention.

도 4는 복호화 장치에서 채널 간 시간 딜레이를 보상하는 방법에 대한 실시예를 설명하기 위한 도면이다.4 is a view for explaining an embodiment of a method for compensating for time delay between channels in a decoding apparatus.

도 5는 멀티 채널 신호의 부호화/복호화 장치의 개략적인 구성을 나타내는 블록도이다.5 is a block diagram showing a schematic configuration of an apparatus for encoding / decoding a multi-channel signal.

도 6은 복수의 채널 신호들에 대해, 시간 딜레이를 보상하여 다운믹스를 수행하는 방법에 대한 실시예를 나타내는 도면이다.FIG. 6 is a diagram illustrating an embodiment of a method of performing downmix by compensating for time delay with respect to a plurality of channel signals.

본 발명은 신호의 부호화/복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는 2 이상의 채널을 가지는 멀티 채널 신호를 효율적으로 복호화하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for encoding / decoding a signal, and more particularly, to a method and apparatus for efficiently decoding a multi-channel signal having two or more channels.

일반적으로 멀티 채널 신호의 부호화에서는 각각의 채널 신호를 별개로 압축하는 대신, 멀티 채널 신호를 모노 혹은 스테레오 신호로 다운믹스(downmix)하고, 상기 다운믹스 신호와 함께 상기 복수의 채널에 대한 정보를 복호화 장치로 전송하는 방법을 사용한다.In general, in encoding a multi-channel signal, instead of separately compressing each channel signal, downmixing the multi-channel signal into a mono or stereo signal and decoding the information on the plurality of channels together with the downmix signal. Use the method of transmission to the device.

상기와 같이 멀티 채널 신호에 대해 다운믹스를 수행함에 있어, 채널 간에 존재하는 딜레이(delay)에 의해 신호 왜곡이 발생하는 문제가 있었다.In performing the downmix on the multi-channel signal as described above, there is a problem in that signal distortion occurs due to a delay between the channels.

본 발명은 2 이상의 채널을 가지는 멀티 채널 신호를 왜곡 없이 부호화하고, 원본 신호에 가까운 공간감을 가지도록 복호화할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a method and apparatus capable of encoding a multi-channel signal having two or more channels without distortion and decoding to have a sense of space close to an original signal.

상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 방법은, 비트스트림으로부터 다운믹스 신호 및 채널 간 시간 딜레이(delay) 정보를 추출하는 단계; 상기 추출된 다운믹스 신호를 이용하여 제1, 2 채널 신호를 생성하는 단계; 및 상기 제1, 2 채널 신호 중 적어도 하나를 상기 추출된 시간 딜레이 정보를 이용하여 보상하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a decoding method including extracting a downmix signal and time delay information between channels from a bitstream; Generating first and second channel signals using the extracted downmix signal; And compensating at least one of the first and second channel signals by using the extracted time delay information.

상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 부호화 방법 은, 제1, 2 채널 신호 간 제1 시간 딜레이(delay)를 검출하는 단계; 상기 제1, 2 채널 신호 중 적어도 어느 하나를 상기 검출된 제1 시간 딜레이를 이용하여 보상하는 단계; 상기 보상된 제1, 2 채널 신호를 하나의 신호로 다운믹스하는 단계; 및 상기 다운믹스된 신호 및 상기 검출된 제1 시간 딜레이에 관한 정보를 이용하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an encoding method comprising: detecting a first time delay between first and second channel signals; Compensating for at least one of the first and second channel signals using the detected first time delay; Downmixing the compensated first and second channel signals into one signal; And generating a bitstream using information about the downmixed signal and the detected first time delay.

상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 장치는, 비트스트림으로부터 다운믹스 신호 및 채널 간 시간 딜레이 정보를 추출하는 비트언팩킹부; 상기 추출된 다운믹스 신호를 이용하여 제1, 2 채널 신호를 생성하는 업믹스부; 및 상기 제1, 2 채널 신호 중 적어도 하나를 상기 추출된 시간 딜레이 정보를 이용하여 보상하는 딜레이보상부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a decoding apparatus comprising: a bit unpacking unit configured to extract a downmix signal and time delay information between channels from a bitstream; An upmix unit configured to generate first and second channel signals using the extracted downmix signal; And a delay compensator configured to compensate at least one of the first and second channel signals by using the extracted time delay information.

상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 부호화 장치는, 제1, 2 채널 신호의 상관 정보를 이용하여, 상기 제1, 2 채널 신호 간 시간 딜레이를 검출하는 딜레이검출부; 상기 제1, 2 채널 신호 중 적어도 어느 하나를 상기 검출된 시간 딜레이를 이용하여 보상하는 딜레이보상부; 상기 보상된 제1, 2 채널 신호를 하나의 신호로 다운믹스하는 다운믹스부; 및 상기 다운믹스된 신호 및 상기 검출된 시간 딜레이에 관한 정보를 이용하여 비트스트림을 생성하는 비트팩킹부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an encoding apparatus comprising: a delay detector configured to detect a time delay between first and second channel signals by using correlation information of first and second channel signals; A delay compensator configured to compensate at least one of the first and second channel signals by using the detected time delay; A downmix unit downmixing the compensated first and second channel signals into one signal; And a bit packing unit configured to generate a bitstream by using the downmixed signal and the detected information about the time delay.

상기 본 발명에 의한 부호화/복호화 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.The encoding / decoding method according to the present invention may preferably be implemented as a computer-readable recording medium having recorded thereon a program for execution on a computer.

이하에서는 도면을 참조하여 본 발명에 따른 멀티 채널 신호의 부호화/복호 화 방법 및 장치에 대해 상세하게 설명한다. Hereinafter, a method and apparatus for encoding / decoding a multi-channel signal according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 멀티 채널 신호 부호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 부호화 장치는 딜레이검출부(100), 딜레이보상부(110), 다운믹스부(120) 및 비트팩킹부(130)를 포함하여 이루어진다.FIG. 1 is a block diagram illustrating an embodiment of a configuration of a multi-channel signal encoding apparatus according to the present invention. The encoding apparatus illustrated in FIG. 1 includes a delay detector 100, a delay compensator 110, and a downmix unit 120. And a bit packing unit 130.

멀티 채널 신호의 경우 복수의 마이크를 이용하여 레코딩(recording)되어, 음원의 위치에 따라서 복수의 채널 신호 사이, 예를 들어 좌측 채널 신호와 우측 채널 신호 사이에 시간 딜레이(delay)가 존재할 수 있다. 상기 채널 간 딜레이는 청감상의 공간감을 형성하는데 큰 역할을 하나, 상기 복수의 채널 신호들에 대해 다운믹스를 수행하는 경우 다운믹스된 신호에 왜곡이 발생할 수 있다.In the case of the multi-channel signal is recorded using a plurality of microphones, there may be a time delay between the plurality of channel signals, for example, between the left channel signal and the right channel signal depending on the position of the sound source. The channel-to-channel delay plays a large role in forming a spatial sense of hearing, but when downmixing the plurality of channel signals may cause distortion in the downmixed signal.

도 1을 참조하면, 딜레이검출부(100)는 두 채널 신호 사이에 존재하는 시간 딜레이를 검출한다. 딜레이검출부(100)는 상기 두 채널 신호의 상관 정보(correlation)을 이용하여 상기 시간 딜레이를 검출할 수 있다.Referring to FIG. 1, the delay detector 100 detects a time delay existing between two channel signals. The delay detector 100 may detect the time delay by using correlation information of the two channel signals.

좀 더 구체적으로, 딜레이검출부(100)는 시간 도메인 상에서 상기 두 채널 신호의 상관 정보(correlation)을 계산하고, 상기 상관 정보를 이용해 상기 두 채널 신호들에서 서로 유사한 부분을 찾은 후, 상기 두 유사한 부분의 시간 차를 상기 시간 딜레이로 검출할 수 있다.More specifically, the delay detector 100 calculates correlation information of the two channel signals in the time domain, finds similar parts in the two channel signals using the correlation information, and then finds the two similar parts. The time difference can be detected by the time delay.

딜레이보상부(110)는 제1 채널 신호와 제2 채널 신호 중 적어도 어느 하나를 상기 검출된 시간 딜레이를 이용해 보상한다. 예를 들어, 상기 검출된 시간 딜레이 만큼 제1 채널 신호가 제2 채널 신호보다 앞서 있는 경우, 딜레이보상부(110)는 시간 도메인 상에서 상기 제1 채널 신호를 상기 딜레이 만큼 뒤로 이동시킬 수 있다.The delay compensator 110 compensates for at least one of the first channel signal and the second channel signal by using the detected time delay. For example, when the first channel signal is ahead of the second channel signal by the detected time delay, the delay compensator 110 may move the first channel signal backward by the delay in the time domain.

다운믹스부(120)는 딜레이가 보상된 제1, 2 채널 신호를 하나의 다운믹스 신호로 다운믹스한다. 상기 제1, 2 채널에 대한 정보는 부가 정보로서 상기 다운믹스 신호와 함께 비트스트림에 포함되어 복호화 장치로 전송될 수 있다. 상기 제1, 2 채널에 대한 정보는 두 채널 간 에너지 차이 또는 상관 관계(correlation) 등을 포함할 수 있다.The downmixer 120 downmixes the delayed first and second channel signals into one downmix signal. The information on the first and second channels may be included in the bitstream along with the downmix signal as additional information and transmitted to the decoding apparatus. The information on the first and second channels may include an energy difference or correlation between the two channels.

도 2는 본 발명에 따른 부호화 장치의 동작에 대한 실시예를 도시한 것으로, 특정 밴드(BAND i)의 좌측 채널(LEFT CHANNEL) 신호와 우측 채널(RIGHT CHANNEL) 신호 사이의 딜레이를 보상하여 다운믹스하는 방법을 나타낸 것이다.2 illustrates an embodiment of an operation of an encoding apparatus according to an embodiment of the present invention, in which a downmix is performed by compensating a delay between a left channel left signal and a right channel signal of a specific band BAND i. It shows how.

도 2에 도시된 바와 같이, 딜레이검출부(100)는 좌측 채널 신호와 우측 채널 사이에 존재하는 딜레이(delay)를 검출하고, 딜레이보상부(110)가 상기 검출된 딜레이 만큼 좌측 채널 신호를 시간 도메인 상에서 이동시켜 두 채널 간 딜레이를 제거한다. 다운믹스부(120)가 상기 딜레이가 보상된 좌측 채널 신호와 우측 채널를 다운믹스하면, 도 2에 도시된 바와 같이 다운믹스 신호에 왜곡이 감소될 수 있다.As shown in FIG. 2, the delay detector 100 detects a delay existing between the left channel signal and the right channel, and the delay compensator 110 transmits the left channel signal as much as the detected delay to the time domain. Move on to remove delay between two channels. When the downmixer 120 downmixes the delayed left channel signal and the right channel, distortion may be reduced in the downmix signal as shown in FIG. 2.

비트팩킹부(130)는 상기 다운믹스 신호와 부가 정보를 포함하는 비트스트림을 생성한다. 상기 부가 정보는 상기 다운믹스 신호로부터 제1, 2 채널 신호를 복호화하기 위해 필요한 정보들과 함께 상기 검출된 시간 딜레이에 관한 정보를 포함하는 것이 바람직하다.The bit packing unit 130 generates a bitstream including the downmix signal and additional information. The additional information preferably includes information about the detected time delay together with information necessary for decoding the first and second channel signals from the downmix signal.

상기 다운믹스 신호는 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 코딩 방법을 이용해 부호화된 후 상기 비트스트림에 포함될 수 있다.The downmix signal may be included in the bitstream after being encoded by using an audio signal coding method such as AAC (Advanced Audio Coding), MP3 (MPEG layer 3) or Bit Sliced Arithmetic Coding (BSAC).

본 발명에 따른 복호화 장치는 상기에서 설명한 부호화 장치의 동작에 역과정을 수행함으로써 멀티 채널 신호를 복원할 수 있다.The decoding apparatus according to the present invention may reconstruct a multi-channel signal by performing an inverse process on the operation of the encoding apparatus described above.

도 3은 본 발명에 따른 멀티 채널 신호 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(200), 업믹스부(210) 및 딜레이보상부(220)를 포함하여 이루어진다.3 is a block diagram showing an embodiment of a configuration of a multi-channel signal decoding apparatus according to the present invention, in which the decoding apparatus includes a bit unpacking unit 200, an upmix unit 210, and a delay compensation unit ( 220).

도 3을 참조하면, 비트언팩킹부(200)는 입력되는 비트스트림으로부터 다운믹스 신호 및 상기 다운믹스 신호로부터 멀티 채널 신호를 복원하기 위한 부가 정보를 추출한다. 상기 부가 정보는 복수의 채널 간 시간 딜레이에 관한 정보를 포함하는 것이 바람직하다.Referring to FIG. 3, the bit unpacking unit 200 extracts a downmix signal and additional information for reconstructing a multi-channel signal from the downmix signal from an input bitstream. Preferably, the additional information includes information regarding time delays between a plurality of channels.

업믹스부(200)는 상기 추출된 다운믹스 신호와 부가 정보, 예를 들어 제1, 2 채널 간 에너지 차이 또는 상관 관계(correlation) 등을 이용하여 제1, 2 채널 신호를 복원한다.The upmix unit 200 restores the first and second channel signals by using the extracted downmix signal and additional information, for example, an energy difference or correlation between the first and second channels.

딜레이보상부(220)는 상기 시간 딜레이에 관한 정보를 이용해 상기 제1, 2 채널 신호 중 적어도 어느 하나를 보상한다. 예를 들어, 딜레이보상부(220)는 시간 도메인 상에서 상기 제1 채널 신호를 상기 시간 딜레이 만큼 뒤로 이동시킬 수 있다. 상기한 바와 같이, 제1, 2 채널 신호 사이에 존재하던 딜레이를 복호화 장치에서 복원함으로써, 원본 신호가 가지는 공간감을 효과적으로 재현할 수 있다.The delay compensator 220 compensates at least one of the first and second channel signals by using the information about the time delay. For example, the delay compensator 220 may move the first channel signal back by the time delay in the time domain. As described above, by reconstructing the delay existing between the first and second channel signals in the decoding apparatus, it is possible to effectively reproduce the sense of space of the original signal.

도 4는 본 발명에 따른 복호화 장치의 동작에 대한 실시예를 도시한 것으로, 특정 밴드(BAND i)의 다운믹스 신호를 업믹스(upmix)한 후, 좌측 채널(LEFT CHANNEL) 신호와 우측 채널(RIGHT CHANNEL) 사이의 딜레이를 하는 방법을 나타낸 것이다.4 illustrates an embodiment of an operation of a decoding apparatus according to the present invention. After upmixing a downmix signal of a specific band (BAND i), a left channel LEFT CHANNEL signal and a right channel ( RIGHT CHANNEL) shows how to delay between.

도 4에 도시된 바와 같이, 업믹스부(210)는 다운믹스 신호와 부가 정보를 이용해 좌측 채널 신호와 우측 채널 신호를 생성하고, 딜레이보상부(220)는 부호화 장치로부터 전송된 딜레이(delay) 만큼 우측 채널 신호를 시간 도메인 상에서 뒤로 이동시켜 두 채널 간 딜레이를 복원한다.As shown in FIG. 4, the upmix unit 210 generates a left channel signal and a right channel signal using a downmix signal and additional information, and the delay compensator 220 transmits a delay transmitted from an encoding device. By moving the right channel signal backwards in the time domain, we restore the delay between the two channels.

비트언팩킹부(200)로부터 추출된 다운믹스 신호는 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 디코딩 방법을 이용해 복호화된 후 업믹스부(210)로 입력될 수 있다.The downmix signal extracted from the bit-unpacking unit 200 is decoded using an audio signal decoding method such as AAC (Advanced Audio Coding), MP3 (MPEG layer 3) or BSAC (Bit Sliced Arithmetic Coding), and then the upmix unit ( 210 may be input.

도 5는 멀티 채널 신호 부호화/복호화 장치의 개략적인 구성을 블록도로 도시한 것이다.5 is a block diagram illustrating a schematic configuration of a multi-channel signal encoding / decoding apparatus.

멀티채널인코더(300)는 복수의 채널들을 가지는 멀티 채널 신호를 이용하여 다운믹스 신호 및 상기 복수의 채널에 대한 공간 정보를 생성한다.The multichannel encoder 300 generates a downmix signal and spatial information on the plurality of channels using a multichannel signal having a plurality of channels.

멀티채널인코더(300)의 구성에 대한 일실시예로, 멀티채널인코더(310)는 다운믹스부(301)와 공간정보생성부(302)를 포함하여 이루어질 수 있다. 다운믹스부(301)는 입력되는 멀티 채널 신호를 그 보다 적은 수의 채널을 가지는, 바람직하게는 스테레오 또는 모노의 다운믹스(downmix) 신호로 다운 믹스한다. 공간정보생성부(302)는 상기 다운믹스 신호로부터 멀티 채널 신호를 복원하는데 필요한 상기 복수의 채널들에 대한 공간 정보(spatial information)를 생성한다.In an embodiment of the configuration of the multi-channel encoder 300, the multi-channel encoder 310 may include a downmixer 301 and a spatial information generator 302. The downmix unit 301 downmixes the input multi-channel signal into a downmix signal having a smaller number of channels, preferably stereo or mono. The spatial information generator 302 generates spatial information on the plurality of channels required to recover a multi-channel signal from the downmix signal.

상기 공간 정보는 멀티 채널들 중 두 채널 간 에너지 차이를 나타내는 CLD(Channel Level Difference), 두 채널 신호로부터 세 채널 신호를 생성하기 위 해 사용되는 예측 계수인 CPC(Channel Prediction Coefficient), 두 채널 간 상관 관계(correlation)를 나타내는 ICC(Inter Channel Correlation) 및 두 채널간 시간 차를 나타내는 CTD(Channel Time Difference) 등을 포함할 수 있다.The spatial information includes a channel level difference (CLD) indicating an energy difference between two channels among multi-channels, a channel prediction coefficient (CPC) which is a prediction coefficient used to generate three channel signals from two channel signals, and correlation between two channels. It may include an Inter Channel Correlation (ICC) indicating a correlation and a Channel Time Difference (CTD) indicating a time difference between two channels.

상기 공간 정보는 도 1 내지 도 4를 참조하면 설명한 두 채널 간 시간 딜레이 정보와 함께 복호화를 위한 부가 정보를 구성할 수 있으며, 상기 부가 정보는 상기 다운믹스 신호와 함께 비트스트림에 포함되어 멀티채널디코더(310)를 포함하는 복호화 장치로 전송될 수 있다.The spatial information may configure additional information for decoding together with the time delay information between the two channels described with reference to FIGS. 1 to 4, and the additional information is included in the bitstream together with the downmix signal and included in the multichannel decoder. It may be transmitted to the decoding device including the 310.

도 6은 복수의 채널 신호들에 대해 시간 딜레이를 보상하여 다운믹스를 수행하는 방법에 대한 실시예를 도시한 것으로, 5 개의 채널 신호들에 대해 시간 딜레이를 보상하여 하나의 신호로 다운믹스 하는 방법을 나타낸 것이다.FIG. 6 illustrates an embodiment of a method of performing downmix by compensating time delays for a plurality of channel signals, and performing a downmixing process into five signals by compensating time delays for five channel signals. It is shown.

도 6을 참조하면, 제1 채널과 제2 채널에 대해 두 채널 간 딜레이를 검출 및 보상한 후 다운믹스하여 제1 다운믹스 신호를 생성하고, 제3 채널과 제4 채널에 대해 두 채널 간 딜레이를 검출 및 보상한 후 다운믹스하여 제2 다운믹스 신호를 생성한다.Referring to FIG. 6, after detecting and compensating a delay between two channels for a first channel and a second channel, downmixing generates a first downmix signal, and a delay between two channels for a third channel and a fourth channel. Detects and compensates and downmixes to generate a second downmix signal.

상기 제2 다운믹스 신호와 제5 채널 신호에 대해 두 채널 간 딜레이를 검출 및 보상한 후 다운믹스하여 제3 다운믹스 신호를 생성하고, 상기 제1 다운믹스 신호와 제3 다운믹스 신호에 대해 두 채널 간 딜레이를 검출 및 보상한 후 다운믹스하여 최종 다운믹스 신호를 생성한다.Detecting and compensating a delay between two channels with respect to the second downmix signal and the fifth channel signal, and then downmixing to generate a third downmix signal, and generating a second downmix signal with respect to the first downmix signal and the third downmix signal. After detecting and compensating for the delay between channels, downmixing produces a final downmix signal.

도 6에 도시된 멀티 채널 신호의 다운믹스 방법은 본 발명에 따른 부호화 방법의 일실시예에 불과하며, 다운믹스를 수행하는 채널의 조합, 순서 등은 효율적인 처리를 위해 다양하게 설정될 수 있다.The downmixing method of the multi-channel signal shown in FIG. 6 is only an embodiment of the encoding method according to the present invention, and the combination, order, etc. of channels for performing the downmixing may be variously set for efficient processing.

멀티채널인코더(300)는 외부에서 다운믹스된 임의 다운믹스(artistic downmix) 신호를 입력받을 수도 있으며, 이 경우 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 생성하여 상기 임의 다운믹스 신호와 함께 복호화 장치로 전송할 수 있다.The multi-channel encoder 300 may receive an externally downmixed arbitrary downmix signal. In this case, the multichannel encoder 300 generates compensation information for compensating the arbitrary downmix signal and decodes the random downmix signal together with the arbitrary downmix signal. Can be sent to the device.

또한, 멀티채널인코더(300)는 2 이상의 멀티 채널 디코더에서 복호화 가능한 형태의 호화형 다운믹스 신호를 복호화 장치로 전송할 수도 있다. 상기 호환형 다운믹스 신호는 어느 하나의 멀티 채널 디코더에 최적화되어 생성된 다운믹스 신호이나, 호환 처리를 통해 상기 멀티 채널 디코더 이외에 다른 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환 가능한 신호이다.In addition, the multi-channel encoder 300 may transmit a decoded downmix signal having a form decodable by two or more multi-channel decoders to the decoding apparatus. The compatible downmix signal is a downmix signal optimized for any one multichannel decoder or a signal that can be converted into a downmix signal optimized for another multichannel decoder other than the multichannel decoder through a compatible process.

멀티채널디코더(310)는 입력되는 다운믹스 신호와 복수의 채널들에 대한 정보를 가지는 공간 정보를 이용하여 멀티 채널 신호를 복원한다.The multichannel decoder 310 reconstructs the multichannel signal using the input downmix signal and spatial information having information on the plurality of channels.

상기 복원된 멀티 채널 신호들 중 적어도 하나는 부호화 장치로부터 전송된 딜레이 정보에 따라 시간 도메인 상에서 이동되는 것이 바람직하다. 상기와 같은 멀티 채널 신호의 딜레이 보상은 도 6에 도시된 바와 같은 부호화 장치에서 수행된 딜레이 검출/보상 및 다운믹스의 역순으로 수행될 수 있다.At least one of the reconstructed multi-channel signals is preferably moved in the time domain according to the delay information transmitted from the encoding apparatus. Delay compensation of the multi-channel signal as described above may be performed in the reverse order of delay detection / compensation and downmix performed in the encoding apparatus as shown in FIG. 6.

또한, 멀티채널인코더(300) 및 멀티채널디코더(310)의 동작에 대한 일실시예로서, MPEG surround 표준에 기재된 복호화/부호화 방법이 사용될 수도 있다.In addition, as an embodiment of the operation of the multichannel encoder 300 and the multichannel decoder 310, a decoding / coding method described in the MPEG surround standard may be used.

상술한 본 발명에 따른 부호화/복호화 장치는 DAB(Digital Audio Broadcasting), DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송 /수신 장치에 구비되어, 오디오 신호 또는 음성 신호 등을 부호화/복호화 하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.The encoding / decoding apparatus according to the present invention described above is provided in a multimedia broadcasting transmission / reception apparatus such as digital audio broadcasting (DAB) or digital multimedia broadcasting (DMB), and may be used to encode / decode audio signals or audio signals. . In addition, the multimedia broadcasting transmission / reception apparatus may include a mobile communication terminal.

상술한 본 발명에 따른 부호화/복호화 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 상기한 본 발명에 따른 데이터 구조를 가지는 멀티 미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 사용자 추적 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다. 또한, 상술한 부호화 방법에 의해 생성된 비트스트림은 상기 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.The encoding / decoding method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and multimedia data having a data structure according to the present invention may also be read by a computer. Can be stored in a recording medium. The computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the user tracking method can be easily inferred by programmers in the art to which the present invention belongs. In addition, the bitstream generated by the above-described encoding method may be stored in the computer-readable recording medium or transmitted using a wired / wireless communication network.

상술한 본 발명에 따른 복호화 장치는 이동 통신 단말기, PMP(Portable Multimedia Player)와 같은 멀티미디어 플레이어, PDA(Personal Digital Assistants) 등의 재생 장치에 구비될 수 있다. 또한, 상술한 복호화 장치는 하드 웨어적으로 구현되어 재생 장치 등에 포함되거나, 상술한 바와 같이 소프트웨어적으로 재생 장치에 구현될 수도 있다.The decoding apparatus according to the present invention described above may be provided in a mobile communication terminal, a multimedia player such as a portable multimedia player (PMP), and a playback device such as a personal digital assistant (PDA). In addition, the above-described decoding apparatus may be implemented in hardware and included in a reproduction apparatus or the like, or may be implemented in the reproduction apparatus in software as described above.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

상술한 바와 같은 본 발명에 의하면, 멀티 채널 신호를 부호화/복호화함에 있어 채널 간 시간 딜레이를 보상하도록 함으로써, 원 신호와 유사한 공간감을 가지는 멀치 채널 신호를 복원할 수 있으며, 그로 인해 보다 향상된 음질의 신호를 재생하도록 할 수 있다.According to the present invention as described above, by encoding / decoding a multi-channel signal to compensate for the time delay between channels, it is possible to restore a multi-channel signal having a sense of space similar to the original signal, thereby improving the sound quality signal Can be played.

Claims (12)

복수의 채널들을 가지는 멀티 채널 신호를 복원하는 복호화 방법에 있어서,A decoding method for reconstructing a multi-channel signal having a plurality of channels, 비트스트림으로부터 다운믹스 신호, 복수의 채널들에 대한 공간 정보 및 채널 간 시간 딜레이(delay) 정보를 추출하는 단계;Extracting a downmix signal, spatial information on a plurality of channels, and inter-channel time delay information from the bitstream; 상기 추출된 다운믹스 신호 및 상기 공간 정보를 이용하여 멀티 채널 신호를 생성하는 단계; 및Generating a multi-channel signal using the extracted downmix signal and the spatial information; And 상기 추출된 시간 딜레이 정보를 이용하여, 상기 멀티 채널 신호 중 적어도 하나의 채널 신호를 보상하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.Compensating for at least one channel signal of the multi-channel signal by using the extracted time delay information. 제1항에 있어서, 상기 시간 딜레이 정보는The method of claim 1, wherein the time delay information is 두 채널 신호 사이의 상관(correlation) 정보를 이용하여 구해지는 것을 특징으로 하는 복호화 방법.The decoding method, characterized in that it is obtained by using correlation information between two channel signals. 제1항에 있어서, 상기 보상 단계는The method of claim 1, wherein the compensating step 상기 적어도 하나의 채널 신호를 상기 시간 딜레이 만큼 시간 도메인 상에서 이동시키는 것을 특징으로 하는 복호화 방법.Decoding the at least one channel signal in the time domain by the time delay. 제1항에 있어서, 상기 보상 단계는The method of claim 1, wherein the compensating step 상기 추출된 다운믹스 신호 및 공간 정보를 이용하여 생성된 제1 신호 및 제 2 신호 중 제1 신호를 상기 추출된 시간 딜레이 정보를 이용하여 보상하는 단계; 및Compensating for the first one of the first and second signals generated using the extracted downmix signal and the spatial information using the extracted time delay information; And 상기 보상된 제1 신호를 이용하여 생성된 제3 신호 및 제4 신호 중 제3 신호를 상기 추출된 시간 딜레이 정보를 이용하여 보상하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.And compensating for a third one of the third and fourth signals generated by using the compensated first signal using the extracted time delay information. 복수의 채널들을 가지는 멀티 채널 신호를 부호화하는 방법에 있어서,In the method for encoding a multi-channel signal having a plurality of channels, 제1, 2 채널 신호 간 제1 시간 딜레이(delay)를 검출하는 단계;Detecting a first time delay between the first and two channel signals; 상기 제1, 2 채널 신호 중 적어도 하나를 상기 검출된 제1 시간 딜레이를 이용하여 보상하는 단계;Compensating at least one of the first and second channel signals using the detected first time delay; 상기 보상된 제1, 2 채널 신호를 하나의 신호로 다운믹스하는 단계; 및Downmixing the compensated first and second channel signals into one signal; And 상기 다운믹스된 신호 및 상기 검출된 제1 시간 딜레이에 관한 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.Generating a bitstream comprising the downmixed signal and information regarding the detected first time delay. 제5항에 있어서, 상기 시간 딜레이 검출 단계는The method of claim 5, wherein the time delay detection step 상기 제1, 2 채널 신호 사이의 상관 정보를 이용하여 상기 제1 시간 딜레이를 구하는 것을 특징으로 하는 부호화 방법.And encoding the first time delay using correlation information between the first and second channel signals. 제5항에 있어서,The method of claim 5, 상기 다운믹스된 신호와 제3 채널 신호 간 제2 시간 딜레이를 검출하는 단 계;Detecting a second time delay between the downmixed signal and a third channel signal; 상기 다운믹스된 신호와 상기 제3 채널 신호 중 적어도 하나를 상기 검출된 제2 시간 딜레이를 이용하여 보상하는 단계; 및Compensating for at least one of the downmixed signal and the third channel signal using the detected second time delay; And 상기 보상된 다운믹스 신호 및 제3 채널 신호를 하나의 신호로 다운믹스하는 단계를 더 포함하는 것을 특징으로 하는 부호화 방법.And downmixing the compensated downmix signal and the third channel signal into one signal. 멀티 채널 신호를 복원하는 복호화 장치에 있어서,A decoding apparatus for reconstructing a multi-channel signal, 비트스트림으로부터 다운믹스 신호, 복수의 채널들에 대한 공간 정보 및 채널 간 시간 딜레이(delay) 정보를 추출하는 비트언팩킹부;A bit unpacking unit which extracts a downmix signal, spatial information on a plurality of channels, and time delay information between channels from the bitstream; 상기 추출된 다운믹스 신호 및 상기 공간 정보를 이용하여 복수의 채널들을 가지는 멀티 채널 신호를 생성하는 업믹스부; 및An upmix unit generating a multi-channel signal having a plurality of channels by using the extracted downmix signal and the spatial information; And 상기 추출된 시간 딜레이 정보를 이용하여, 상기 멀티 채널 신호 중 적어도 하나의 채널 신호를 보상하는 딜레이보상부를 포함하는 것을 특징으로 하는 복호화 장치.And a delay compensator configured to compensate for at least one channel signal among the multichannel signals by using the extracted time delay information. 제8항에 있어서, 상기 딜레이보상부는The method of claim 8, wherein the delay compensation unit 상기 적어도 하나의 채널 신호를 상기 시간 딜레이 만큼 시간 도메인 상에서 이동시키는 것을 특징으로 하는 복호화 장치.And the at least one channel signal is shifted in the time domain by the time delay. 복수의 채널들을 가지는 멀티 채널 신호를 부호화하는 장치에 있어서,An apparatus for encoding a multi-channel signal having a plurality of channels, 제1, 2 채널 신호의 상관 정보를 이용하여 상기 제1, 2 채널 신호 간 시간 딜레이를 검출하는 딜레이검출부;A delay detector detecting a time delay between the first and second channel signals by using correlation information of the first and second channel signals; 상기 제1, 2 채널 신호 중 적어도 어느 하나를 상기 검출된 시간 딜레이를 이용하여 보상하는 딜레이보상부;A delay compensator configured to compensate at least one of the first and second channel signals by using the detected time delay; 상기 보상된 제1, 2 채널 신호를 하나의 신호로 다운믹스하는 다운믹스부; 및A downmix unit downmixing the compensated first and second channel signals into one signal; And 상기 다운믹스된 신호 및 상기 검출된 시간 딜레이에 관한 정보를 이용하여 비트스트림을 생성하는 비트팩킹부를 포함하는 것을 특징으로 하는 부호화 장치.And a bit packing unit configured to generate a bit stream using the downmixed signal and the detected information about the time delay. 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method according to any one of claims 1 to 7. 제8항 내지 제10항 중 어느 한 항에 기재된 장치를 포함하는 것을 특징으로 하는 멀티 미디어 방송 장치.A multimedia broadcasting apparatus comprising the apparatus according to any one of claims 8 to 10.
KR1020070104673A 2007-01-12 2007-10-17 Apparatus and method for encoding/decoding multi-channel signal KR20080066538A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88001407P 2007-01-12 2007-01-12
US60/880,014 2007-01-12

Publications (1)

Publication Number Publication Date
KR20080066538A true KR20080066538A (en) 2008-07-16

Family

ID=39831606

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020070104672A KR20080066537A (en) 2007-01-12 2007-10-17 Encoding/decoding an audio signal with a side information
KR1020070104673A KR20080066538A (en) 2007-01-12 2007-10-17 Apparatus and method for encoding/decoding multi-channel signal

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020070104672A KR20080066537A (en) 2007-01-12 2007-10-17 Encoding/decoding an audio signal with a side information

Country Status (1)

Country Link
KR (2) KR20080066537A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011055982A3 (en) * 2009-11-04 2011-11-03 삼성전자주식회사 Apparatus and method for encoding/decoding a multi-channel audio signal
CN110462733A (en) * 2017-03-31 2019-11-15 华为技术有限公司 The decoding method and codec of multi-channel signal
CN112262433A (en) * 2018-04-05 2021-01-22 弗劳恩霍夫应用研究促进协会 Apparatus, method or computer program for estimating inter-channel time difference

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3343558A2 (en) 2015-09-04 2018-07-04 Samsung Electronics Co., Ltd. Signal processing methods and apparatuses for enhancing sound quality

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011055982A3 (en) * 2009-11-04 2011-11-03 삼성전자주식회사 Apparatus and method for encoding/decoding a multi-channel audio signal
CN110462733A (en) * 2017-03-31 2019-11-15 华为技术有限公司 The decoding method and codec of multi-channel signal
US11386907B2 (en) 2017-03-31 2022-07-12 Huawei Technologies Co., Ltd. Multi-channel signal encoding method, multi-channel signal decoding method, encoder, and decoder
US11894001B2 (en) 2017-03-31 2024-02-06 Huawei Technologies Co., Ltd. Multi-channel signal encoding method, multi-channel signal decoding method, encoder, and decoder
CN112262433A (en) * 2018-04-05 2021-01-22 弗劳恩霍夫应用研究促进协会 Apparatus, method or computer program for estimating inter-channel time difference
CN112262433B (en) * 2018-04-05 2024-03-01 弗劳恩霍夫应用研究促进协会 Apparatus, method or computer program for estimating time differences between channels

Also Published As

Publication number Publication date
KR20080066537A (en) 2008-07-16

Similar Documents

Publication Publication Date Title
KR102131748B1 (en) Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US10555104B2 (en) Binaural decoder to output spatial stereo sound and a decoding method thereof
KR100888474B1 (en) Apparatus and method for encoding/decoding multichannel audio signal
JP6062544B2 (en) System, method, apparatus, and computer readable medium for 3D audio coding using basis function coefficients
JP6105062B2 (en) System, method, apparatus and computer readable medium for backward compatible audio encoding
US7573912B2 (en) Near-transparent or transparent multi-channel encoder/decoder scheme
US7813513B2 (en) Multi-channel encoder
KR101158698B1 (en) A multi-channel encoder, a method of encoding input signals, storage medium, and a decoder operable to decode encoded output data
KR20120013884A (en) Method for signal processing, encoding apparatus thereof, decoding apparatus thereof, and signal processing system
KR20070003544A (en) Clipping restoration by arbitrary downmix gain
KR20080071971A (en) Apparatus for processing media signal and method thereof
RU2406164C2 (en) Signal coding/decoding device and method
KR20080066538A (en) Apparatus and method for encoding/decoding multi-channel signal
US9779739B2 (en) Residual encoding in an object-based audio system
KR20110018108A (en) Residual signal encoding and decoding method and apparatus
CN112823534B (en) Signal processing device and method, and program
EP3023984A1 (en) Encoder and encoding method for multichannel signal, and decoder and decoding method for multichannel signal
KR102677399B1 (en) Signal processing device and method, and program
WO2006011367A1 (en) Audio signal encoder and decoder
Lee et al. Spatial-temporal multi-channel audio coding
Gao et al. A Backward Compatible MultiChannel Audio Compression Method

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination