WO2016108655A1 - 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 - Google Patents

다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 Download PDF

Info

Publication number
WO2016108655A1
WO2016108655A1 PCT/KR2015/014543 KR2015014543W WO2016108655A1 WO 2016108655 A1 WO2016108655 A1 WO 2016108655A1 KR 2015014543 W KR2015014543 W KR 2015014543W WO 2016108655 A1 WO2016108655 A1 WO 2016108655A1
Authority
WO
WIPO (PCT)
Prior art keywords
channels
audio signal
mps
sampling rate
audio signals
Prior art date
Application number
PCT/KR2015/014543
Other languages
English (en)
French (fr)
Inventor
백승권
서정일
성종모
이태진
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150190159A external-priority patent/KR20160081844A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/540,800 priority Critical patent/US10529342B2/en
Publication of WO2016108655A1 publication Critical patent/WO2016108655A1/ko
Priority to US16/735,522 priority patent/US11328734B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Definitions

  • the present invention relates to a method for encoding a multichannel audio signal, an encoding apparatus for performing the encoding method, and a decoding method for performing the multichannel audio signal and the decoding method. More specifically, the number of channels increases. A method and apparatus capable of compressing without deteriorating sound quality.
  • MPS MPEG Surround
  • MPS is an audio codec for multichannel audio coding such as 5.1 channel and 7.1 channel.
  • MPS multi-channel audio signals can be compressed and transmitted at high compression rates.
  • the encoding / decoding process has a limitation of backward compatibility. That is, the bitstream of the multi-channel audio signal generated through the MPS is required to be backward compatible to be reproduced in mono or stereo format through the existing audio codec.
  • the decoder may then recover the multi-channel audio signal from the audio bitstream using the additional information received from the encoder. In this case, the decoder may restore the multi-channel audio signal as additional information for upmixing.
  • the present invention provides a method and apparatus for processing by bypassing the MPS standard operation and utilizing an arbitrary tree when the N-channel multichannel audio signal exceeds the number of channels defined in the MPS standard.
  • An encoding method of a multi-channel audio signal comprises the steps of: downmixing an N-channel audio signal through an MPS encoder to generate an N / 2 channel audio signal; And encoding for the core band of the N / 2 channel audio signal through a USAC encoder.
  • the generating of the N / 2 channel signals may include mixing the N / 2 channel audio signals by downmixing the N channel audio signals using an N / 2 two-to-one coding module. Can be generated.
  • the encoding method may further include converting a sampling rate with respect to the audio signal through a sampling rate converting unit, wherein the sampling rate converting unit is disposed before the MPS encoder to convert the sampling rate of the audio signal of N channels, Alternatively, the MPS encoder may be disposed after the MPS encoder to convert sampling rates of audio signals of N / 2 channels.
  • the sampling rate may be converted for an audio signal according to a bit rate applied to the USAC encoder.
  • the generating of the N / 2 channel audio signal may include: downmixing N channel audio signals according to an arbitrary tree when the N channels exceed the number of channels defined in the MPS standard. To generate an N / 2 channel audio signal.
  • the generating of the audio signal of the N / 2 channels may include bypassing the MPS standard operation supported by the MPS encoder when the N channels exceed the number of channels defined in the MPS standard, and generate an arbitrary tree. Tree can be downmixed audio signals of N channels.
  • a method of decoding a multichannel audio signal includes decoding the core band of an audio signal of N / 2 channels through a USAC decoder; And upmixing N / 2 channels of audio signals through the MPS decoder to generate N channels of audio signals.
  • the generating of the N-channel audio signal may include mixing N / 2 audio signals by upmixing the N / 2 channel audio signals using N / 2 one-to-two coding modules. Can be generated.
  • the decoding method further includes converting a sampling rate for the audio signal through a sampling rate converting unit, wherein the sampling rate converting unit is disposed before the MPS decoder to convert the sampling rate of the audio signal of N / 2 channels. Alternatively, it may be arranged after the MPS decoder to convert the sampling rate of the audio signal of N channels.
  • the sampling rate may be converted for an audio signal according to a bit rate applied to the USAC decoder.
  • the generating of the N-channel audio signal may include generating audio signals of N / 2 channels according to an arbitrary tree when the N / 2 channels exceed the number of channels defined in the MPS standard. Upmixing can produce audio signals of N channels.
  • the generating of the N-channel audio signal may include bypassing the MPS standard operation supported by the MPS encoder when the N / 2 channels exceed the number of channels defined in the MPS standard, and generate an arbitrary tree. Tree) can upmix audio signals of N / 2 channels.
  • An apparatus for encoding a multichannel audio signal includes an MPS encoder for downmixing N channels of audio signals to generate N / 2 channels of audio signals; And a USAC encoder that encodes the core band of the N / 2 channel audio signal through a USAC encoder.
  • the encoding apparatus further includes a sampling rate converting unit for converting a sampling rate with respect to an audio signal, wherein the sampling rate converting unit is disposed before the MPS encoder to convert a sampling rate of the N channel audio signal or the MPS It is arranged after the encoder to convert the sampling rate of the audio signal of N / 2 channels.
  • the MPS encoder When the N channel exceeds the number of channels defined in the MPS standard, the MPS encoder downmixes the N channel audio signal according to an arbitrary tree to perform N / 2 channel audio signals. Can be generated.
  • the MPS encoder bypasses the MPS standard operation supported by the MPS encoder when the N channels exceed the number of channels defined in the MPS standard, and audio signals of the N channels according to an arbitrary tree. Can be downmixed.
  • An apparatus for decoding a multichannel audio signal includes a USAC decoder for decoding the core band of the N channel audio signal; And an MPS decoder that upmixes N / 2 audio signals to generate N audio signals.
  • the MPS decoder may generate N channels of audio signals by upmixing N / 2 channels of audio signals using N / 2 one-to-two coding modules.
  • the decoding apparatus further includes a sampling rate converter configured to convert a sampling rate with respect to an audio signal, wherein the sampling rate converter is disposed before the MPS decoder to convert a sampling rate of an audio signal of N / 2 channels, Alternatively, the MPS decoder may be disposed after the MPS decoder to convert sampling rates of audio signals of N channels.
  • the MPS decoder bypasses the MPS standard operation supported by the MPS encoder when the N / 2 channels exceed the number of channels defined in the MPS standard, and N / 2 channels according to an arbitrary tree.
  • the audio signal of the channel may be upmixed to generate an audio signal of N channels.
  • the MPS standard operation may be bypassed and an arbitrary tree may be used.
  • FIG. 1 is a diagram illustrating an encoding apparatus and a decoding apparatus, according to an embodiment.
  • FIG. 2 is a diagram illustrating detailed components of an encoding apparatus according to an embodiment.
  • FIG. 3 is a diagram illustrating detailed components of an encoding apparatus according to another embodiment.
  • FIG. 4 is a diagram for describing an operation of a first encoding unit, according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating detailed components of a decoding apparatus according to an embodiment.
  • FIG. 6 is a diagram illustrating detailed components of a decoding apparatus according to another exemplary embodiment.
  • FIG. 7 is a diagram for describing an operation of a second decoding unit, according to an exemplary embodiment.
  • FIG. 8 is a diagram for describing a process of upmixing using an Arbitrary tree according to an embodiment.
  • FIG. 9 is a diagram for describing a process of upmixing using an uncorrelated signal in a second decoding unit, according to an exemplary embodiment.
  • FIG. 1 is a diagram illustrating an encoding apparatus and a decoding apparatus, according to an embodiment.
  • the encoding apparatus 100 may generate N / 2 channel signals by downmixing N channel signals. Thereafter, the encoding apparatus 100 may generate one channel signal (mono), two channel signal (stereo), or M channel signal (multichannel) by encoding the N / 2 channel signal.
  • the decoding device 101 uses the one channel signal (mono), the two channel signal (stereo), or the M channel signal (multichannel) generated by the encoding device 100, and the N / 2 channel signal.
  • the N channel signal may be generated by upmixing.
  • N may be 10 or more.
  • FIG. 2 is a diagram illustrating detailed components of an encoding apparatus according to an embodiment.
  • the encoding apparatus may include a first encoding unit 201, a sampling rate converter 202, and a second encoding unit 203.
  • the first encoding unit 201 is defined as an MPS encoder.
  • the second encoding unit 203 is defined as a USAC (Unified Speech and Audio Codec) encoder. That is, the N / 2 channel audio signals may be generated by downmixing the N signal audio signals.
  • the sampling rate converter 202 may convert a sampling rate for audio signals of N / 2 channels.
  • the sampling rate converter 202 may downsample the bit rate based on the bitrate allocated to the USAC encoder, which is the second encoder 203. If a sufficiently high bitrate is allocated to the USAC encoder, which is the second encoding unit 203, the sampling rate converter 202 may be bypassed.
  • the second encoding unit 203 may encode the core band of the audio signal of the N / 2 channel having the converted sampling rate. Then, the audio signal of M channels may be output through the second encoding unit 203.
  • the downmix signal output through the conventional MPS encoder is limited to one channel, two channels, and 5.1 channels.
  • the first encoder 201 may downmix N audio signals of the N channels and then output N / 2 channels of audio signals as a result of the downmixing.
  • N / 2 channel audio signal means at least 5.1 channel or more
  • N may be 10.2 or more channels.
  • FIG. 3 is a diagram illustrating detailed components of an encoding apparatus according to another embodiment.
  • FIG. 3 is the same as the component described in FIG. 2, but shows an embodiment in which the order is changed.
  • FIG. 2 illustrates an embodiment in which a sampling rate converter 202 exists between the first encoder 201 and the second encoder 203.
  • FIG. 3 illustrates an embodiment in which the first encoding unit 302 and the second encoding unit 303 are disposed after the sampling rate converter 301.
  • FIG. 4 is a diagram for describing an operation of a first encoding unit, according to an exemplary embodiment.
  • the first encoding unit 401 may include a plurality of TTO modules 402.
  • each of the plurality of TTO modules 402 may downmix two audio signals and output one audio signal. That is, the first encoding unit 401 includes N / 2 TTO modules 402 to downmix the audio signals of the N channels input as shown in FIG. 4 to output the N / 2 channel audio signals. can do.
  • the audio signal output through the first encoding unit 401 may be two channels or only 5.1 channels.
  • the first encoding unit 401 may output audio signals of N / 2 channels according to MPS from audio signals of N channels.
  • the first encoding unit 401 needs to consider an additional syntax to control the MPS.
  • the first encoding unit 401 may define an additional syntax for controlling the MPS by using a coding mode using an arbitrary tree.
  • FIG. 5 is a diagram illustrating detailed components of a decoding apparatus according to an embodiment.
  • the decoding apparatus may include a first decoding unit 501, a sampling rate converter 502, and a second decoding unit 503.
  • the first decoding unit 501 may output audio signals of N / 2 channels from M audio signals.
  • the first decoding unit 501 may be defined as a USAC decoder.
  • the sampling rate converter 502 may convert a sampling rate for audio signals of N / 2 channels. In this case, the sampling rate converter 502 may convert the sampling rate of the audio signal converted by the encoding apparatus to the original sampling rate. In other words, when the sampling rate conversion is performed in FIG. 2 or FIG. 3, the sampling rate conversion unit 502 operates. If the sampling rate conversion is not performed in FIG. 2 or FIG. 3, the sampling rate conversion unit 502 may be bypassed without operation.
  • the second decoding unit 503 may output the N / 2 channel audio signal by upmixing the N / 2 channel audio signal output from the sampling rate converter 502.
  • the downmix signal input to the conventional MPS decoder is limited to one channel, two channels, and 5.1 channels.
  • the second decoding unit 201 may upmix N / 2 channel audio signals and then output N channel audio signals as a result of the upmixing.
  • the N / 2 channel audio signal input to the second decoding unit 503 means at least 5.1 channels or more, so N may be 10.2 or more channels.
  • FIG. 6 is a diagram illustrating detailed components of a decoding apparatus according to another exemplary embodiment.
  • FIG. 6 may process an audio signal in the order of the first decoding unit 601, the second decoding unit 602, and the sampling rate converter 603.
  • the first decoding unit 601 may decode audio signals of M channels and output audio signals of N / 2 channels.
  • the second decoding unit 602 may output the N-channel audio signal by upmixing the N / 2-channel audio signal.
  • the sampling rate converter 603 may convert the sampling rate of the audio signal of the N channels output through the second decoder 602.
  • FIG. 7 is a diagram for describing an operation of a second decoding unit, according to an exemplary embodiment.
  • the second decoding unit 701 described with reference to FIGS. 5 and 6 may output N-channel audio signals by upmixing audio signals of N / 2 channels.
  • the second decoding unit 701 may include a plurality of OTT modules 702.
  • the OTT module 702 may upmix the audio signal of one channel to output the audio signal of two channels in stereo form.
  • the second decoding unit 701 outputs N channels of audio signals by upmixing N / 2 channels of audio signals, so that the second decoding unit 701 has N / 2 OTT modules 702. It may include.
  • the second decoding unit 701 may output N audio signals of N channels according to MPS from N / 2 channel audio signals.
  • N may be 10.2 or more.
  • the second decoding unit 701 needs to consider additional syntax to control the MPS.
  • the second decoding unit 701 may define an additional syntax for controlling the MPS by using a coding mode using an arbitrary tree.
  • FIG. 8 is a diagram for describing a process of upmixing using an Arbitrary tree according to an embodiment.
  • FIG. 8 relates to the second decoding unit 503 of FIG. 5 and the second decoding unit 602 of FIG. 6 corresponding to the MPS decoder.
  • the coding mode using an arbitrary tree operates based on the number of downmix signals that are outputs of the MPS encoder.
  • Table 1 shows the MPS input / output relationship defined in the MPS (MPEG Surround) standard.
  • Table 1 shows ISO / IEC 23003-1 Table 40 (bsTreeConfig), an MPS standard.
  • Table 2 shows the configuration of the downmix channel according to bsTreeConfig.
  • BsTreeConfig is a statement that defines the MPS I / O relationship.
  • BsTreeConfig defines the decoding process of the signal input to the MPS encoder and the signal output from the MPS encoder.
  • the MPS encoder may receive audio signals of six channels 5.1 and output downmix signals of one channel.
  • the MPS decoder may then remix the downmix signal of one channel to restore the audio signal of six channels again.
  • the MPS decoder requires five OTT modules.
  • CLD Channel Level Difference
  • the CLD defines the flags up to defaultCLD [0 ⁇ 5] according to the OTT module.
  • the identification number of defaultCLD corresponds to the position of the OTT module.
  • CLD is enabled.
  • ottModeLfe is also used as a parameter for upmixing like CLD and is a flag used when Lfe is present on the input channel.
  • the number of channels is 10 or more by using the reserved bit defined in the MPS standard in Table 1.
  • N which is the number of channels
  • N / 2 channels that are downmixed are 12, they may be expressed as shown in Table 3.
  • the OTT module defined in the MPS standard cannot be used.
  • the decoding device may be implemented to bypass the existing MPS decoder.
  • an Arbitrary Tree coding mode may be utilized as shown in FIG. 8.
  • the Arbitrary Tree coding mode means using a tree structure to which an additional OTT module is applied to each channel of the MPS output signal.
  • the decoding apparatus when the number of channels of the input signal exceeds the number of channels supported by the MPS standard, the decoding apparatus bypasses the basic block defined in the MPS standard with a syntax definition as shown in Table 3. By bypassing and applying an OTT module to each channel using arbitrary tree coding mode, the input signal can be processed.
  • the MPS decoder when a downmix signal corresponding to a channel (one channel, two channels, 5.1 channels) supported by the existing MPS standard is input to the MPS decoder, the MPS decoder operates according to the MPS standard mode of FIG. 8. However, when a downmix signal corresponding to a channel not supported by the existing MPS standard is input to the MPS decoder, the MPS decoder operates according to the N-N / 2 operation mode of FIG. 8. That is, when a downmix signal corresponding to a channel not supported by the existing MPS standard is input to the MPS decoder, the MPS basic block is bypassed through syntax definition as shown in Table 3, and the NN / 2 operation mode of FIG. The same arbitrary tree mode allows the input audio signal to be processed by adding an OTT module to each channel.
  • Arbitrary trees are defined in the MPS standard and can be used to handle channel structures not defined in the MPS standard.
  • numOTTBoxexAT is defined by Treeconfig ().
  • the ATD (ArbitraryTreeData) parameter is transmitted to each OTT box of the Arbitrary tree.
  • the inverse quantization of the ATD parameter is processed by the following equation (1).
  • the arbitrary downmix gain parameter is inversely quantized using the CLD parameter inverse quantization table according to Equation 2 below.
  • Arbitrary tree is composed of Trees represented by bsOTTBoxPresent [ch]. For example, how the subtree is represented depends on the bitstrings 1 and 0 included in bsOTTBoxPresent [ch]. At this time, if the bitstring is 1, the OTT box is used. If the bitstring is 0, the OTT box is not used.
  • the depth in the Arbitrary Tree is determined according to the positions of 0 and 1 included in the bitstring. For example, in bsOTTBoxPresent [ch], the first bitstring corresponds to a node of depth 1, and the second bitstring corresponds to a node of depth 2.
  • the audio signal corresponding to the y vector is not generated or the same result as the signal corresponding to the x vector is output.
  • An audio signal corresponding to the final Z vector is output through a post matrix [M3] operating in an Arbitrary tree coding mode.
  • the Arbitrary Tree can be expanded from structures such as 5-2-5 and 7-5-7, which are preset trees, to output more channels.
  • an Arbitrary Tree may be combined with a preset Tree.
  • the subband output signal output from the Arbitrary Tree is defined as z by all time slots n and all hybrid subbands k.
  • z may be determined by Equation 3 below.
  • M3 is defined in section 6.5.4 of the MPS standard.
  • FIG. 9 is a diagram for describing a process of upmixing using an uncorrelated signal in a second decoding unit, according to an exemplary embodiment.
  • the second decoding unit includes a plurality of OTT modules 901 and corresponding uncorrelated signal generators 902.
  • the audio signal input to the OTT module is a downmix signal meaning an audio signal of one channel.
  • the OTT module 901 may output two channels of audio signals using the channel-related parameters (CLD, ICC, IPD) and the uncorrelated signals and downmix signals generated by the uncorrelated signal generator 902. have.
  • a downmix signal such as an audio signal of N / 2 channels is generated from an N channel audio signal corresponding to 10 or more channels through the MPS encoder.
  • the downmix signal generated by the MPS encoder through the MPS decoder may restore the original N channel audio signal through an N-N / 2 operation mode in which an arbitrary tree coding mode is applied.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치가 개시된다. N개 채널의 다채널 오디오 신호가 MPS 표준에서 정의하는 채널 개수를 초과하는 경우 MPS 표준 동작을 바이패스하고 임의적인 트리를 활용함으로써 처리하는 방법 및 장치가 개시된다.

Description

다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치
본 발명은 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치에 관한 것으로, 보다 구체적으로는 채널수가 증가하더라도 음질 열화없이 압축할 수 있는 방법 및 장치에 관한 것이다.
MPS(MPEG Surround)는 5.1채널, 7.1채널 등 다채널 오디오 코딩을 위한 오디오 코덱이다. MPS에 의해, 다채널 오디오 신호를 높은 압축율로 압축하여 전송이 가능하다.
다만, 인코딩/디코딩 과정에서 하위 호환이라는 제약 사항을 가진다. 즉, MPS를 통해 생성된 다채널 오디오 신호의 비트스트림은 기존의 오디오 코덱을 통해 모노나 스테레오 형태로 재생이 가능해야 하는 하위 호환이 요구된다.
따라서, MPS에 입력되는 다채널 오디오 신호의 채널수가 증가하더라도 최종적으로 출력되어 전송되는 오디오 신호는 모노 또는 스테레오로 표현되어야 한다. 그러면, 디코더는 인코더로부터 수신한 부가 정보를 이용하여 오디오 비트스트림으로부터 다채널 오디오 신호를 복원할 수 있다. 이 때, 디코더는 업믹싱을 위한 부가 정보로 다채널 오디오 신호를 복원할 수 있다.
다만, 최근에 통신 환경이 개선되면서 전송 대역폭이 증가함에 따라 오디오 신호에 할당되는 대역폭도 증가하였다. 그렇기 때문에, 대역폭에 대응되도록 과도하게 압축하기 보다는 원래 다채널 오디오 신호가 가지는 음질을 유지하는 방향으로 기술이 발전하고 있다. 그렇다고 하더라도, 매우 많은 수의 채널을 가지는 다채널 오디오 신호를 처리하기 위해서는, 여전히 전송할 때 압축이 필요하다.
따라서, 기존보다 채널 수가 증가하는 경우라도, 다채널 오디오 신호의 품질을 유지하면서 일정 수준 이상의 압축을 통해 데이터량을 줄여서 전송할 수 있는 방법이 요구된다.
본 발명은 N개 채널의 다채널 오디오 신호가 MPS 표준에서 정의하는 채널 개수를 초과하는 경우 MPS 표준 동작을 바이패스하고 임의적인 트리를 활용함으로써 처리하는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 다채널 오디오 신호의 인코딩 방법은 MPS 인코더를 통해 N개 채널의 오디오 신호를 다운믹스하여 N/2개 채널의 오디오 신호를 생성하는 단계; 및 USAC 인코더를 통해 상기 N/2개 채널의 오디오 신호의 코어 대역에 대해 인코딩하는 단계를 포함할 수 있다.
상기 N/2개 채널 신호를 생성하는 단계는, N/2개 TTO(Two-To-One) 코딩 모듈을 이용하여 N개 채널의 오디오 신호를 다운믹싱함으로써, N/2개 채널의 오디오 신호를 생성할 수 있다.
상기 인코딩 방법은 샘플링율 변환부를 통해 오디오 신호에 대해 샘플링율을 변환하는 단계를 더 포함하고, 상기 샘플링율 변환부는, 상기 MPS 인코더 이전에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 인코더 이후에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환할 수 있다.
상기 샘플링율을 변환하는 단계는, 상기 USAC 인코더에 적용되는 비트레이트에 따라 오디오 신호에 대해 샘플링율을 변환할 수 있다.
상기 N/2개 채널의 오디오 신호를 생성하는 단계는, 상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱하여 N/2개 채널의 오디오 신호를 생성할 수 있다.
상기 N/2개 채널의 오디오 신호를 생성하는 단계는, 상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 신호의 디코딩 방법은 USAC 디코더를 통해 N/2개 채널의 오디오 신호의 코어 대역에 대해 디코딩하는 단계; 및 MPS 디코더를 통해 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성하는 단계를 포함할 수 있다.
상기 N개 채널의 오디오 신호를 생성하는 단계는, N/2개 OTT(One-To-Two) 코딩 모듈을 이용하여 N/2개 채널의 오디오 신호를 업믹싱함으로써, N개 채널의 오디오 신호를 생성할 수 있다.
상기 디코딩 방법은 샘플링율 변환부를 통해 오디오 신호에 대해 샘플링율을 변환하는 단계를 더 포함하고, 상기 샘플링율 변환부는, 상기 MPS 디코더 이전에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 디코더 이후에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환할 수 있다.
상기 샘플링율을 변환하는 단계는, 상기 USAC 디코더에 적용되는 비트레이트에 따라 오디오 신호에 대해 샘플링율을 변환할 수 있다.
상기 N개 채널의 오디오 신호를 생성하는 단계는, 상기 N/2개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, 임의적인 트리(Arbitrary Tree)에 따라 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성할 수 있다.
상기 N개 채널의 오디오 신호를 생성하는 단계는, 상기 N/2개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N/2개 채널의 오디오 신호를 업믹싱할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 신호의 인코딩 장치는 N개 채널의 오디오 신호를 다운믹스하여 N/2개 채널의 오디오 신호를 생성하는 MPS 인코더; 및 USAC 인코더를 통해 상기 N/2개 채널의 오디오 신호의 코어 대역에 대해 인코딩하는 USAC 인코더를 포함할 수 있다.
상기 인코딩 장치는 오디오 신호에 대해 샘플링율을 변환하는 샘플링율 변환부를 더 포함하고, 상기 샘플링율 변환부는, 상기 MPS 인코더 이전에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 인코더 이후에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환할 수 있다.
상기 MPS 인코더는, 상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱하여 N/2개 채널의 오디오 신호를 생성할 수 있다.
상기 MPS 인코더는, 상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 신호의 디코딩 장치는 N개 채널의 오디오 신호의 코어 대역에 대해 디코딩하는 USAC 디코더; 및 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성하는 MPS 디코더를 포함할 수 있다.
상기 MPS 디코더는, N/2개 OTT(One-To-Two) 코딩 모듈을 이용하여 N/2개 채널의 오디오 신호를 업믹싱함으로써, N개 채널의 오디오 신호를 생성할 수 있다.
상기 디코딩 장치는, 오디오 신호에 대해 샘플링율을 변환하는 샘플링율 변환부를 더 포함하고, 상기 샘플링율 변환부는, 상기 MPS 디코더 이전에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 디코더 이후에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환할 수 있다.
상기 MPS 디코더는, 상기 N/2개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성할 수 있다.
본 발명의 일실시예에 따르면, N개 채널의 다채널 오디오 신호가 MPS 표준에서 정의하는 채널 개수를 초과하는 경우 MPS 표준 동작을 바이패스하고 임의적인 트리를 활용함으로써 처리할 수 있다.
도 1은 일실시예에 따른 인코딩 장치와 디코딩 장치를 도시한 도면이다.
도 2는 일실시예에 따른 인코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 3은 다른 실시예에 따른 인코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 4는 일실시예에 따른 제1 인코딩부의 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 디코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 6은 다른 실시예에 따른 디코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 7은 일실시예에 따른 제2 디코딩부의 동작을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 Arbitrary tree를 이용하여 업믹싱하는 과정을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 제2 디코딩부에서 비상관성 신호를 이용하여 업믹싱하는 과정을 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 인코딩 장치와 디코딩 장치를 도시한 도면이다.
본 발명의 일실시예에 따른, 인코딩 장치(100)는 N개 채널 신호를 다운믹싱하여 N/2개 채널 신호를 생성할 수 있다. 그런 후, 인코딩 장치(100)는 N/2개 채널 신호를 인코딩하여 1개 채널 신호(모노), 2개 채널 신호(스테레오), 또는 M개 채널 신호(다채널)를 생성할 수 있다.
그러면, 디코딩 장치(101)는 인코딩 장치(100)에서 생성한 1개 채널 신호(모노), 2개 채널 신호(스테레오), 또는 M개 채널 신호(다채널)를 이용하여 N/2개 채널 신호를 생성한 후, 이를 업믹싱하여 N개 채널 신호를 생성할 수 있다. 여기서, N/2개 채널 신호에서 N은 10 이상일 수 있다.
도 2는 일실시예에 따른 인코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 2를 참고하면, 인코딩 장치는 제1 인코딩부(201), 샘플링율 변환부(202) 및 제2 인코딩부(203)를 포함할 수 있다. 제1 인코딩부(201)는 MPS 인코더로 정의된다. 그리고, 제2 인코딩부(203)는 USAC(Unified Speech and Audio Codec) 인코더로 정의된다. 즉, N개 채널의 오디오 신호를 다운믹스하여 N/2개 채널의 오디오 신호를 생성할 수 있다.
그러면, 샘플링율 변환부(202)는 N/2개 채널의 오디오 신호에 대해 샘플링율을 변환할 수 있다. 샘플링율 변환부(202)는 제2 인코딩부(203)인 USAC 인코더에 할당된 비트레이트에 기초하여 다운샘플링할 수 있다. 만약, 제2 인코딩부(203)인 USAC 인코더에 충분히 높은 비트레이트가 할당된다면, 샘플링율 변환부(202)는 바이패스될 수 있다.
이 후, 제2 인코딩부(203)는 샘플링율이 변환된 N/2개 채널의 오디오 신호의 코어 대역에 대해 인코딩할 수 있다. 그러면, 제2 인코딩부(203)를 통해 M개 채널의 오디오 신호가 출력될 수 있다.
종래의 MPS 인코더를 통해 출력되는 다운믹스 신호는 1채널, 2채널, 및 5.1 채널로 한정되어 있다. 하지만, 본 발명의 일실시예에 따른 제1 인코딩부(201)는 N개 채널의 오디오 신호를 다운믹싱한 후, 다운믹싱된 결과인 N/2개 채널의 오디오 신호를 출력할 수 있다. 여기서, N/2개 채널의 오디오 신호는 최소한 5.1 채널 이상을 의미하므로, N은 10.2 채널 이상이 될 수 있다.
도 3은 다른 실시예에 따른 인코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 3은 도 2에서 설명하는 구성 요소와 동일하나, 그 순서가 변경된 실시예를 나타낸다. 구체적으로, 도 2는 제1 인코딩부(201)와 제2 인코딩부(203) 사이에 샘플링율 변환부(202)가 존재하는 실시예를 나타낸다. 하지만, 도 3은 샘플링율 변환부(301) 이후에, 제1 인코딩부(302)와 제2 인코딩부(303)가 배치된 실시예를 나타낸다.
도 4는 일실시예에 따른 제1 인코딩부의 동작을 설명하기 위한 도면이다.
도 4를 참고하면, 제1 인코딩부(401)는 복수의 TTO 모듈(402)들을 포함할 수 있다. 여기서, 복수의 TTO 모듈(402)들 각각은 2개 채널의 오디오 신호를 다운믹싱하여 1개 채널의 오디오 신호를 출력할 수 있다. 즉, 도 4와 같이 입력된 N개 채널의 오디오 신호를 다운믹싱하여 N/2개 채널의 오디오 신호를 출력하기 위해서, 제1 인코딩부(401)는 N/2개의 TTO 모듈(402)을 포함할 수 있다.
제1 인코딩부(401)가 기존의 MPS 표준을 따른다면, 제1 인코딩부(401)를 통해 출력되는 오디오 신호는 2개 채널, 5.1개 채널만 가능하다. 하지만, 본 발명의 일실시예에 따르면, 제1 인코딩부(401)는 N개 채널의 오디오 신호로부터 MPS에 따라 N/2개 채널의 오디오 신호를 출력할 수 있다. 이 때, 제1 인코딩부(401)는 MPS를 제어하기 위해 추가적인 구문을 고려할 필요가 있다. 일례로, 제1 인코딩부(401)는 임의적인 트리(arbitrary tree)를 활용한 코딩 모드를 활용하여 MPS를 제어하기 위한 추가적인 구문을 정의할 수 있다.
도 5는 일실시예에 따른 디코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 5를 참고하면, 디코딩 장치는 제1 디코딩부(501), 샘플링율 변환부(502), 및 제2 디코딩부(503)를 포함할 수 있다. 제1 디코딩부(501)는 M개 채널의 오디오 신호로부터 N/2개 채널의 오디오 신호를 출력할 수 있다. 여기서, 제1 디코딩부(501)는 USAC 디코더로 정의될 수 있다.
그리고, 샘플링율 변환부(502)는 N/2개 채널의 오디오 신호에 대한 샘플링율을 변환할 수 있다. 이 때, 샘플링율 변환부(502)는 인코딩 장치에서 샘플링율이 변환된 오디오 신호에 대해 원래의 샘플링율로 변환할 수 있다. 다시 말해서, 도 2나 도 3에서 샘플링율 변환이 수행된 경우, 샘플링율 변환부(502)가 동작한다. 만약, 도 2나 도 3에서 샘플링율 변환이 수행되지 않은 경우, 샘플링율 변환부(502)는 동작하지 않고 바이패스될 수 있다.
한편, 제2 디코딩부(503)는 샘플링율 변환부(502)에서 출력된 N/2개 채널의 오디오 신호를 업믹싱하여 N/2개 채널의 오디오 신호를 출력할 수 있다.
종래의 MPS 디코더에 입력되는 다운믹스 신호는 1채널, 2채널, 및 5.1 채널로 한정되어 있다. 하지만, 본 발명의 일실시예에 따른 제2 디코딩부(201)는 N/2개 채널의 오디오 신호를 업믹싱한 후, 업믹싱된 결과인 N개 채널의 오디오 신호를 출력할 수 있다. 여기서, 제2 디코딩부(503)에 입력되는 N/2개 채널의 오디오 신호는 최소한 5.1 채널 이상을 의미하므로, N은 10.2 채널 이상이 될 수 있다.
도 6은 다른 실시예에 따른 디코딩 장치의 세부 구성 요소를 도시한 도면이다.
도 6은 도 5와 달리 제1 디코딩부(601), 제2 디코딩부(602) 및 샘플링율 변환부(603)의 순서에 따라 오디오 신호를 처리할 수 있다. 제1 디코딩부(601)는 M개 채널의 오디오 신호를 디코딩하여 N/2개 채널의 오디오 신호를 출력할 수 있다. 그러면, 제2 디코딩부(602)는 N/2개 채널의 오디오 신호를 업믹싱함으로써, N개 채널의 오디오 신호를 출력할 수 있다. 이 후, 샘플링율 변환부(603)는 제2 디코딩부(602)를 통해 출력된 N개 채널의 오디오 신호에 대해 샘플링율을 변환할 수 있다.
도 7은 일실시예에 따른 제2 디코딩부의 동작을 설명하기 위한 도면이다.
도 5 및 도 6에서 설명했던 제2 디코딩부(701)는 N/2개 채널의 오디오 신호를 업믹싱함으로써, N개 채널의 오디오 신호를 출력할 수 있다. 이 때, 제2 디코딩부(701)는 복수의 OTT 모듈(702)을 포함할 수 있다. OTT 모듈(702)은 1개 채널의 오디오 신호를 업믹싱하여 스테레오 형태의 2개 채널의 오디오 신호를 출력할 수 있다.
따라서, 제2 디코딩부(701)가 N/2개 채널의 오디오 신호를 업믹싱함으로써 N개 채널의 오디오 신호를 출력하기 위해서, 제2 디코딩부(701)는 N/2개의 OTT 모듈(702)을 포함할 수 있다.
제2 디코딩부(701)가 기존의 MPS 표준을 따른다면, 제2 디코딩부(701)에 입력되어 처리될 수 있는 다운믹스된 오디오 신호는 1개 채널, 2개 채널, 5.1개 채널만 가능하다. 하지만, 본 발명의 일실시예에 따르면, 제2 디코딩부(701)는 N/2개 채널의 오디오 신호로부터 MPS에 따라 N개 채널의 오디오 신호를 출력할 수 있다. 여기서, N은 10.2 이상일 수 있다.
이 때, 제2 디코딩부(701)는 MPS를 제어하기 위해 추가적인 구문을 고려할 필요가 있다. 일례로, 제2 디코딩부(701)는 임의적인 트리(arbitrary tree)를 활용한 코딩 모드를 활용하여 MPS를 제어하기 위한 추가적인 구문을 정의할 수 있다.
도 8은 일실시예에 따른 Arbitrary tree를 이용하여 업믹싱하는 과정을 설명하기 위한 도면이다.
도 8에서 설명하는 예시는 MPS 디코더에 해당하는 도 5의 제2 디코딩부(503) 및 도 6의 제2 디코딩부(602)에 관한 것이다.
Arbitrary tree를 이용하는 코딩 모드는 MPS 인코더의 출력인 다운믹스 신호의 개수에 기초하여 동작한다. 아래 표 1은 현재 MPS(MPEG Surround) 표준에서 정의되고 있는 MPS 입출력 관계를 나타낸다. 표 1은 MPS 표준인 ISO/IEC 23003-1 Table 40(bsTreeConfig)를 나타낸다. 표 2는 bsTreeConfig에 따른 다운믹스 채널의 구성을 나타낸다.
Figure PCTKR2015014543-appb-I000001
Figure PCTKR2015014543-appb-I000002
Figure PCTKR2015014543-appb-I000003
Figure PCTKR2015014543-appb-I000004
Figure PCTKR2015014543-appb-I000005
BsTreeConfig는 MPS 입출력 관계를 정의하는 구문이다. BsTreeConfig에 따라 MPS 인코더에 입력되는 신호와 MPS 인코더에서 출력되는 신호의 디코딩 과정이 정의된다. BsTreeConfig가 0인 경우, MPS 인코더는 6개 채널(5.1)의 오디오 신호를 입력받아서, 1개 채널의 다운믹스 신호를 출력할 수 있다. 그러면, MPS 디코더는 1개 채널의 다운믹스 신호를 업믹싱하여 다시 6개 채널의 오디오 신호를 복원할 수 있다.
이를 위해, MPS 디코더는 5개의 OTT 모듈이 필요하다. 그리고, OTT 모듈마다 업믹싱을 위한 파라미터인 CLD(Channel Level Difference)가 필요하다. 이 때, CLD는 OTT 모듈에 따라 defaultCLD[0~5]까지의 플래그가 정의되어 있다. 여기서, defaultCLD의 식별 번호는 OTT 모듈의 위치에 대응한다. defaultCLD가 1인 OTT 모듈은 CLD가 enable된다. ottModeLfe도 CLD와 같이 업믹싱을 위한 파라미터로 활용되며, 입력 채널에 Lfe가 있을 때 활용되는 플래그이다.
현재 MPS 표준에 defaultCLD[0~5]까지의 플래그만 정의되어 있으므로, 최대 6개의 OTT 모듈만 활용 가능하다. 그렇기 때문에, 현재 MPS 표준은 MPS 인코더에 입력되는 채널의 개수가 10채널 이상이고, 5개 채널의 오디오 신호가 다운믹스 신호로서 전송되는 예시를 만족시킬 수 없다.
Figure PCTKR2015014543-appb-I000006
하지만, 본 발명의 일실시예에 따르면, 표 1에서 MPS 표준에 정의된 reserved bit를 이용하여 채널 수가 10개 이상인 경우에도 표현할 수 있다. 예를 들어 채널의 개수인 N이 24이고, 다운믹스된 N/2개 채널은 12인 경우, 표 3과 같이 표현될 수 있다. 하지만, 표 3을 참고하면, MPS 표준에서 정의하는 OTT 모듈을 이용할 수 없다.
따라서, 입력된 채널의 개수가 10개 이상인 경우, 종래의 MPS 인코더를 통해 다운믹스된 N/2개 채널의 오디오 신호를 생성하기 위해 OTT 모듈을 이용할 수 없다. 따라서, 이와 같은 경우 디코딩 장치는 기존의 MPS 디코더를 바이패스하는 형태로 구현될 수 밖에 없다.
종래의 MPS 디코더가 처리할 수 없는 채널에 대응하는 오디오 신호를 처리하기 위해, 본 발명의 일실시예에 따르면, 도 8과 같이 Arbitrary Tree 코딩 모드가 활용될 수 있다. Arbitrary Tree 코딩 모드는 MPS 출력 신호의 채널마다 추가적인 OTT 모듈이 적용되는 Tree 구조를 활용하는 것을 의미한다.
결론적으로, 본 발명의 일실시예에 따르면, 입력 신호의 채널 수가 MPS 표준에서 지원하는 채널 수를 초과하는 경우, 디코딩 장치는 표 3과 같은 구문 정의로 MPS 표준에서 정의하는 기본 블록을 바이패스(bypass)하고, arbitrary tree 코딩 모드를 이용하여 각 채널에 OTT 모듈을 인가함으로써 입력 신호를 처리할 수 있다.
따라서, 기존의 MPS 표준이 지원하는 채널(1채널, 2채널, 5.1 채널)에 대응하는 다운믹스 신호가 MPS 디코더에 입력되는 경우, MPS 디코더는 도 8의 MPS 표준 모드에 따라 동작한다. 하지만, 기존의 MPS 표준이 지원하지 않는 채널에 대응하는 다운믹스 신호가 MPS 디코더에 입력되는 경우, MPS 디코더는 도 8의 N-N/2 동작 모드에 따라 동작한다. 즉, 기존의 MPS 표준이 지원하지 않는 채널에 대응하는 다운믹스 신호가 MPS 디코더에 입력되는 경우, 표 3과 같은 구문 정의를 통해 MPS 기본 블록을 바이패스하고, 도 8의 N-N/2 동작 모드와 같은 arbitrary tree 모드를 통해 각 채널에 OTT 모듈을 추가함으로써 입력된 오디오 신호가 처리될 수 있다.
Arbitrary tree는 MPS 표준에 정의되어 있으며, MPS 표준에 정의되지 않은 채널 구조를 처리하기 위해 사용될 수 있다.
Arbitrary Tree가 사용되는 경우, 다음과 같이 처리될 수 있다. 여기서, numOTTBoxexAT는 Treeconfig()에 의해 정의된다.
ArbitraryTreeData()
{
for (i=0; i<numOttBoxesAT; i++) { Note 1
EcData(ATD, i, 0, bsOttBandsAT[i]);
}
}
이 때, ATD(ArbitraryTreeData) 파라미터는 Arbitrary tree의 각각의 OTT 박스에 전달된다. 그리고, ATD 파라미터의 역양자화는 다음 수학식 1에 의해 처리된다.
Figure PCTKR2015014543-appb-I000007
그리고, arbitrary downmix gain 파라미터는 다음 수학식 2에 따라 CLD 파라미터 역 양자화 테이블을 이용하여 역양자화된다.
Figure PCTKR2015014543-appb-I000008
Arbitrary tree는 bsOTTBoxPresent[ch]에 의해 표현되는 Tree들로 구성된다. 예를 들어, bsOTTBoxPresent[ch]에 포함된 비트스트링인 1과 0에 따라 어떻게 서브 트리가 표현되는지 여부가 결정된다. 이 때, 비트스트링이 1이면, OTT 박스가 이용되고, 비트스트링이 0이면 OTT 박스가 이용되지 않는다. 그리고, 비트스트링에 포함된 0과 1의 위치에 따라 Arbitrary Tree에서의 depth가 결정된다. 예를 들어, bsOTTBoxPresent[ch]에서 첫번째 비트스트링은 depth 1의 노드에 대응하고, 두번째 비트스트링은 depth 2의 노드에 대응한다.
도 8에 의하면, N-N/2 동작 모드의 경우 y벡터에 해당하는 오디오 신호가 생성되지 않거나, 또는 x벡터에 해당하는 신호와 동일한 결과가 출력된다. Arbitrary tree 코딩 모드로 동작하는 post matrix[M3]를 통해 최종적인 Z벡터에 해당하는 오디오 신호가 출력된다. Arbitrary Tree는 미리 설정된 트리인 5-2-5, 7-5-7와 같은 구조로부터 확장되어 더 많은 채널을 출력할 수 있다.
도 8의 MPS 표준 모드에서 Arbitrary Tree는 미리 설정된 Tree와 결합될 수 있다. Arbitrary Tree로부터 출력되는 서브밴드 출력 신호는 모든 시간 슬롯 n과 모든 하이브리드 서브밴드 k에 의해 z로 정의된다. 도 8에서 z는 다음 수학식 3에 의해 결정될 수 있다. M3는 MPS 표준의 section 6.5.4에 정의된다.
Figure PCTKR2015014543-appb-I000009
도 9는 일실시예에 따른 제2 디코딩부에서 비상관성 신호를 이용하여 업믹싱하는 과정을 설명하기 위한 도면이다.
도 9를 참고하면, 제2 디코딩부는 복수의 OTT 모듈(901)과 이에 대응하는 비상관성 신호 생성기(Decorrelator)(902)를 포함한다. OTT 모듈에 입력되는 오디오 신호는 1개 채널의 오디오 신호를 의미하는 다운믹스 신호이다. 그러면, OTT 모듈(901)은 채널 관련 파라미터(CLD, ICC, IPD)와 비상관성 신호 생성기(902)를 통해 생성된 비상관성 신호 및 다운믹스 신호를 이용하여 2개 채널의 오디오 신호를 출력할 수 있다.
본 발명의 일실시예에 따르면, MPS 인코더를 통해 10채널 이상에 해당하는 N개 채널의 오디오 신호를 N/2개 채널의 오디오 신호와 같은 다운믹스 신호가 생성된다. 그리고, MPS 디코더를 통해 MPS 인코더에서 생성된 다운믹스 신호를 arbitrary tree 코딩 모드가 적용되는 N-N/2 동작 모드를 통해 원래의 N개 채널의 오디오 신호를 복원할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. MPS 인코더를 통해 N개 채널의 오디오 신호를 다운믹스하여 N/2개 채널의 오디오 신호를 생성하는 단계;
    USAC 인코더를 통해 상기 N/2개 채널의 오디오 신호의 코어 대역에 대해 인코딩하는 단계
    를 포함하는 다채널 오디오 신호의 인코딩 방법.
  2. 제1항에 있어서,
    상기 N/2개 채널 신호를 생성하는 단계는,
    N/2개 TTO(Two-To-One) 코딩 모듈을 이용하여 N개 채널의 오디오 신호를 다운믹싱함으로써, N/2개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 인코딩 방법.
  3. 제1항에 있어서,
    샘플링율 변환부를 통해 오디오 신호에 대해 샘플링율을 변환하는 단계
    를 더 포함하고,
    상기 샘플링율 변환부는,
    상기 MPS 인코더 이전에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 인코더 이후에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환하는 다채널 오디오 신호의 인코딩 방법.
  4. 제3항에 있어서,
    상기 샘플링율을 변환하는 단계는,
    상기 USAC 인코더에 적용되는 비트레이트에 따라 오디오 신호에 대해 샘플링율을 변환하는 다채널 오디오 신호의 인코딩 방법.
  5. 제1항에 있어서,
    상기 N/2개 채널의 오디오 신호를 생성하는 단계는,
    상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱하여 N/2개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 인코딩 방법.
  6. 제1항에 있어서,
    상기 N/2개 채널의 오디오 신호를 생성하는 단계는,
    상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱하는 다채널 오디오 신호의 인코딩 방법.
  7. USAC 디코더를 통해 N/2개 채널의 오디오 신호의 코어 대역에 대해 디코딩하는 단계; 및
    MPS 디코더를 통해 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성하는 단계
    를 포함하는 다채널 오디오 신호의 디코딩 방법.
  8. 제7항에 있어서,
    상기 N개 채널의 오디오 신호를 생성하는 단계는,
    N/2개 OTT(One-To-Two) 코딩 모듈을 이용하여 N/2개 채널의 오디오 신호를 업믹싱함으로써, N개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 디코딩 방법.
  9. 제7항에 있어서,
    샘플링율 변환부를 통해 오디오 신호에 대해 샘플링율을 변환하는 단계
    를 더 포함하고,
    상기 샘플링율 변환부는,
    상기 MPS 디코더 이전에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 디코더 이후에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환하는 다채널 오디오 신호의 디코딩 방법.
  10. 제9항에 있어서,
    상기 샘플링율을 변환하는 단계는,
    상기 USAC 디코더에 적용되는 비트레이트에 따라 오디오 신호에 대해 샘플링율을 변환하는 다채널 오디오 신호의 디코딩 방법.
  11. 제7항에 있어서,
    상기 N개 채널의 오디오 신호를 생성하는 단계는,
    상기 N/2개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, 임의적인 트리(Arbitrary Tree)에 따라 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 디코딩 방법.
  12. 제7항에 있어서,
    상기 N개 채널의 오디오 신호를 생성하는 단계는,
    상기 N/2개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N/2개 채널의 오디오 신호를 업믹싱하는 다채널 오디오 신호의 디코딩 방법.
  13. N개 채널의 오디오 신호를 다운믹스하여 N/2개 채널의 오디오 신호를 생성하는 MPS 인코더; 및
    USAC 인코더를 통해 상기 N/2개 채널의 오디오 신호의 코어 대역에 대해 인코딩하는 USAC 인코더
    를 포함하는 다채널 오디오 신호의 인코딩 장치.
  14. 제13항에 있어서,
    오디오 신호에 대해 샘플링율을 변환하는 샘플링율 변환부
    를 더 포함하고,
    상기 샘플링율 변환부는,
    상기 MPS 인코더 이전에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 인코더 이후에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환하는 다채널 오디오 신호의 인코딩 장치.
  15. 제13항에 있어서,
    상기 MPS 인코더는,
    상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱하여 N/2개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 인코딩 장치.
  16. 제13항에 있어서,
    상기 MPS 인코더는,
    상기 N개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N개 채널의 오디오 신호를 다운믹싱하는 다채널 오디오 신호의 인코딩 장치.
  17. N/2개 채널의 오디오 신호의 코어 대역에 대해 디코딩하는 USAC 디코더; 및
    N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성하는 MPS 디코더
    를 포함하는 다채널 오디오 신호의 디코딩 장치.
  18. 제17항에 있어서,
    상기 MPS 디코더는,
    N/2개 OTT(One-To-Two) 코딩 모듈을 이용하여 N/2개 채널의 오디오 신호를 업믹싱함으로써, N개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 디코딩 장치.
  19. 제17항에 있어서,
    오디오 신호에 대해 샘플링율을 변환하는 샘플링율 변환부
    를 더 포함하고,
    상기 샘플링율 변환부는,
    상기 MPS 디코더 이전에 배치되어 N/2개 채널의 오디오 신호의 샘플링율을 변환하거나, 또는 상기 MPS 디코더 이후에 배치되어 N개 채널의 오디오 신호의 샘플링율을 변환하는 다채널 오디오 신호의 디코딩 장치.
  20. 제17항에 있어서,
    상기 MPS 디코더는,
    상기 N/2개 채널이 MPS 표준에서 정의하는 채널 개수를 초과하는 경우, MPS 인코더에서 지원하는 MPS 표준 동작을 바이패스하고, 임의적인 트리(Arbitrary Tree)에 따라 N/2개 채널의 오디오 신호를 업믹싱하여 N개 채널의 오디오 신호를 생성하는 다채널 오디오 신호의 디코딩 장치.
PCT/KR2015/014543 2014-12-31 2015-12-31 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 WO2016108655A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/540,800 US10529342B2 (en) 2014-12-31 2015-12-31 Method for encoding multi-channel audio signal and encoding device for performing encoding method, and method for decoding multi-channel audio signal and decoding device for performing decoding method
US16/735,522 US11328734B2 (en) 2014-12-31 2020-01-06 Encoding method and encoder for multi-channel audio signal, and decoding method and decoder for multi-channel audio signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140195783 2014-12-31
KR10-2014-0195783 2014-12-31
KR10-2015-0190159 2015-12-30
KR1020150190159A KR20160081844A (ko) 2014-12-31 2015-12-30 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/540,800 A-371-Of-International US10529342B2 (en) 2014-12-31 2015-12-31 Method for encoding multi-channel audio signal and encoding device for performing encoding method, and method for decoding multi-channel audio signal and decoding device for performing decoding method
US16/735,522 Continuation US11328734B2 (en) 2014-12-31 2020-01-06 Encoding method and encoder for multi-channel audio signal, and decoding method and decoder for multi-channel audio signal

Publications (1)

Publication Number Publication Date
WO2016108655A1 true WO2016108655A1 (ko) 2016-07-07

Family

ID=56284701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/014543 WO2016108655A1 (ko) 2014-12-31 2015-12-31 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치

Country Status (2)

Country Link
US (1) US11328734B2 (ko)
WO (1) WO2016108655A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125559A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007110823A1 (en) * 2006-03-29 2007-10-04 Koninklijke Philips Electronics N.V. Audio decoding
KR20100007739A (ko) * 2008-07-14 2010-01-22 한국전자통신연구원 음성/음악 통합 신호의 부호화/복호화 장치
KR20110044693A (ko) * 2009-10-23 2011-04-29 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
US20130066640A1 (en) * 2008-07-17 2013-03-14 Voiceage Corporation Audio encoding/decoding scheme having a switchable bypass

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003091989A1 (en) * 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
WO2007055464A1 (en) 2005-08-30 2007-05-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
JP5081838B2 (ja) 2006-02-21 2012-11-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化及び復号
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
WO2010004155A1 (fr) 2008-06-26 2010-01-14 France Telecom Synthese spatiale de signaux audio multicanaux
RU2520329C2 (ru) * 2009-03-17 2014-06-20 Долби Интернешнл Аб Усовершенствованное стереофоническое кодирование на основе комбинации адаптивно выбираемого левого/правого или среднего/побочного стереофонического кодирования и параметрического стереофонического кодирования
KR101137652B1 (ko) * 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
AU2010309894B2 (en) 2009-10-20 2014-03-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode audio codec and CELP coding adapted therefore
US9286904B2 (en) * 2012-03-06 2016-03-15 Ati Technologies Ulc Adjusting a data rate of a digital audio stream based on dynamically determined audio playback system capabilities
WO2014168439A1 (ko) 2013-04-10 2014-10-16 한국전자통신연구원 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
EP3044877B1 (en) * 2013-09-12 2021-03-31 Dolby Laboratories Licensing Corporation System aspects of an audio codec

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007110823A1 (en) * 2006-03-29 2007-10-04 Koninklijke Philips Electronics N.V. Audio decoding
KR20100007739A (ko) * 2008-07-14 2010-01-22 한국전자통신연구원 음성/음악 통합 신호의 부호화/복호화 장치
US20130066640A1 (en) * 2008-07-17 2013-03-14 Voiceage Corporation Audio encoding/decoding scheme having a switchable bypass
KR20110044693A (ko) * 2009-10-23 2011-04-29 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BREEBAART, JEROEN ET AL.: "Binaural Rendering in MPEG Surround", EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING, vol. 2008, no. Article ID 732895, 2 January 2008 (2008-01-02), pages 1 - 14 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125559A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling
KR20180012829A (ko) * 2016-01-22 2018-02-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼-도메인 리샘플링을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
AU2017208576B2 (en) * 2016-01-22 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling
EP3503097A3 (en) * 2016-01-22 2019-07-03 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal using spectral-domain resampling
US10424309B2 (en) 2016-01-22 2019-09-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatuses and methods for encoding or decoding a multi-channel signal using frame control synchronization
US10535356B2 (en) 2016-01-22 2020-01-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multi-channel signal using spectral-domain resampling
KR102083200B1 (ko) 2016-01-22 2020-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼-도메인 리샘플링을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
US10706861B2 (en) 2016-01-22 2020-07-07 Fraunhofer-Gesellschaft Zur Foerderung Der Andgewandten Forschung E.V. Apparatus and method for estimating an inter-channel time difference
US10854211B2 (en) 2016-01-22 2020-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatuses and methods for encoding or decoding a multi-channel signal using frame control synchronization
US10861468B2 (en) 2016-01-22 2020-12-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multi-channel signal using a broadband alignment parameter and a plurality of narrowband alignment parameters
US11410664B2 (en) 2016-01-22 2022-08-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for estimating an inter-channel time difference
US11887609B2 (en) 2016-01-22 2024-01-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for estimating an inter-channel time difference

Also Published As

Publication number Publication date
US11328734B2 (en) 2022-05-10
US20200143816A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US11902762B2 (en) Orientation-aware surround sound playback
WO2009123409A2 (ko) 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101221917B1 (ko) 오디오 신호 처리 방법 및 장치
WO2011049416A2 (en) Apparatus and method encoding/decoding with phase information and residual information
WO2014021588A1 (ko) 오디오 신호 처리 방법 및 장치
RU2643644C2 (ru) Кодирование и декодирование аудиосигналов
WO2010143907A2 (ko) 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
JP2016200824A (ja) トランスコーディング装置
WO2011021845A2 (en) Method and apparatus for encoding multi-channel audio signal and method and apparatus for decoding multi-channel audio signal
KR20100086002A (ko) 오디오 신호 처리 방법 및 장치
EP1393303A1 (en) Inter-channel signal redundancy removal in perceptual audio coding
WO2012050382A2 (en) Method and apparatus for downmixing multi-channel audio signals
BR112016001246B1 (pt) Upmix espacial controlado por renderizador
WO2014021587A1 (ko) 오디오 신호 처리 장치 및 방법
KR20080086552A (ko) 오디오 신호의 디코딩 방법 및 장치
KR20140123015A (ko) 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
WO2014021586A1 (ko) 오디오 신호 처리 방법 및 장치
WO2016108655A1 (ko) 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치
WO2015009040A1 (ko) 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
WO2013103175A1 (ko) 다채널 신호 부호화 및 복호화 장치 및 방법
CN108028988B (zh) 处理低复杂度格式转换的内部声道的设备和方法
WO2014171791A1 (ko) 다채널 오디오 신호 처리 장치 및 방법
WO2014058275A1 (ko) 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
WO2014112793A1 (ko) 채널 신호를 처리하는 부호화/복호화 장치 및 방법
WO2015012594A1 (ko) 잔향 신호를 이용한 다채널 오디오 신호의 디코딩 방법 및 디코더

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15875749

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15540800

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15875749

Country of ref document: EP

Kind code of ref document: A1