WO2012177067A2 - 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기 - Google Patents

오디오 신호 처리방법 및 장치와 이를 채용하는 단말기 Download PDF

Info

Publication number
WO2012177067A2
WO2012177067A2 PCT/KR2012/004925 KR2012004925W WO2012177067A2 WO 2012177067 A2 WO2012177067 A2 WO 2012177067A2 KR 2012004925 W KR2012004925 W KR 2012004925W WO 2012177067 A2 WO2012177067 A2 WO 2012177067A2
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
frame
untransmitted
transmission frame
audio signal
Prior art date
Application number
PCT/KR2012/004925
Other languages
English (en)
French (fr)
Other versions
WO2012177067A3 (ko
Inventor
이남숙
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2012177067A2 publication Critical patent/WO2012177067A2/ko
Publication of WO2012177067A3 publication Critical patent/WO2012177067A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching

Definitions

  • the present invention relates to audio encoding / decoding, and more particularly, to an audio signal processing method capable of minimizing sound degradation when reconstructing a multi-channel audio signal without transmitting encoding parameters including spatial parameters for some frames.
  • Multi-channel audio signals require high data compression rates depending on the transmission environment.
  • spatial parameters are used to recover the multi-channel audio signals.
  • the spatial parameter may not be transmitted for some frames of the entire frame according to constraints such as a bit rate or characteristics of a signal included in the frame.
  • An object of the present invention is to provide an audio signal processing method and apparatus capable of minimizing sound quality degradation when reconstructing a multi-channel audio signal without transmitting encoding parameters including spatial parameters for some frames, and a terminal employing the same. To provide.
  • an audio signal processing apparatus uses a transmitted parameter in the case of a parameter transmission frame included in a bitstream, and uses an interpolated or estimated parameter in the case of an untransmitted parameter frame. It may include a multi-channel decoder for performing upmixing.
  • a terminal extracts a quantization index and a spatial parameter of an encoded envelope and / or downmixed spectrum from a received bitstream, and encodes the encoded envelope and / or downmixing.
  • a core decoder configured to perform decoding on the quantized index of the processed spectrum to generate spectral data;
  • a multi-channel decoder for performing upmixing on the decoded spectrum data by using the transmitted parameter in the case of a parameter transmission frame included in the bitstream and using an interpolated or estimated parameter in the case of a parameter untransmitted frame. It may include.
  • the terminal includes: a multichannel encoder extracting spatial parameters from a multichannel PCM input and performing downmixing to generate a downmixed spectrum; And a core encoder to perform encoding by applying a predetermined core codec algorithm to the downmixed spectrum.
  • FIG. 1 is a block diagram showing the configuration of an audio signal processing system to which the present invention is applied.
  • FIG. 2 is a block diagram showing the configuration of an audio signal processing system incorporating a multi-channel codec and a core codec according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of an audio decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart for describing an operation of the upmixing unit of FIG. 3.
  • FIG. 5 is a view for explaining an example of a method for detecting the position of a transient component in FIG. 4.
  • 6A and 6B are diagrams for explaining an example of a method for obtaining encoding parameters for unparametered frames.
  • 7A to 7C are diagrams for explaining an example of a method for transmitting a coding parameter required to interpolate an untransmitted parameter frame.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another.
  • the audio signal processing system 100 corresponds to a multimedia apparatus, and includes a broadcast or music dedicated terminal including a voice communication transmission terminal including a telephone, a mobile phone, a TV, an MP3 player, or the like.
  • a fusion terminal of a dedicated terminal may be included, but is not limited thereto.
  • the audio signal processing system 100 may be used as a client, a server, or a transducer disposed between the client and the server.
  • an audio signal processing system 100 includes an encoding device 110 and a decoding device 120.
  • the audio signal processing system 100 may include both the encoding apparatus 110 and the decoding apparatus 120.
  • the audio signal processing system 100 may include the encoding apparatus 110 and the decoding apparatus. It may include any one of the 120.
  • the encoding apparatus 110 receives an original signal composed of a plurality of channels, that is, a multichannel audio signal, and downmixes the original signal to generate a downmixed audio signal.
  • the encoding apparatus 110 generates and encodes a prediction parameter.
  • the prediction parameter is a parameter applied to restore the downmixed audio signal to the original signal. Specifically, it is a value related to the downmix matrix used for downmixing the original signal, each coefficient value included in the downmix matrix, and the like.
  • the prediction parameter that is, the encoding parameter
  • the prediction parameter may vary according to a product specification, a design specification, etc. of the encoding apparatus 110 or the decoding apparatus 120, and may be set to an experimentally optimized value.
  • the channel may mean a speaker.
  • the decoding device 120 upmixes the downmixed audio signal using the prediction parameter to generate a reconstruction signal corresponding to the multichannel audio signal as the original signal.
  • FIG. 2 is a block diagram showing the configuration of an audio signal processing system incorporating a multi-channel codec and a core codec according to an embodiment of the present invention.
  • the audio signal processing system 200 illustrated in FIG. 2 includes an encoding device 210 and a decoding device 220.
  • the audio signal processing system 200 may include both an encoding device 210 and a decoding device 220.
  • the audio signal processing system 200 may include an encoding device 210 and a decoding device. It may include any one of the 220.
  • the encoder 210 and the decoder 220 of FIG. 2 may correspond to the encoder 110 and the decoder 120 of FIG. 1, respectively.
  • the encoding device 210 may include a multichannel encoder 211 and a core encoder 213, and the decoding device 220 may include a core decoder 221 and a multichannel decoder 223.
  • codec algorithms used in the core encoder 213 and the core decoder 221 may be AC-3, Enhancement AC-3, or AAC using a Modified Discrete Cosine Transform (MDCT) as a conversion algorithm, but is not limited thereto. It doesn't work.
  • MDCT Modified Discrete Cosine Transform
  • the multichannel encoder 211 extracts a spatial parameter from a multichannel PCM input and performs downmixing to generate downmixed spectrum.
  • spatial parameters include an inter-channel intensity difference (IID) parameter, an inter-channel phase difference (IPD) parameter, an overall phase difference (OPD) parameter, and It may include at least one of inter-channel coherence (ICC) parameters.
  • IID inter-channel intensity difference
  • IPD inter-channel phase difference
  • OPD overall phase difference
  • ICC inter-channel coherence
  • the core encoder 213 performs encoding by applying a predetermined core codec algorithm to the downmixed spectrum provided from the multichannel encoder 211.
  • a coded envelope and / or a quantized index of the downmixed spectrum may be generated from the core encoder 213.
  • the quantization indexes of the spatial parameters provided from the multichannel encoder 211 and the encoded envelope and / or downmixed spectrum provided from the core encoder 213 are multiplexed to produce a bitstream.
  • the core decoder 221 extracts a quantization index and a spatial parameter of an encoded envelope and / or downmixed spectrum from a bitstream transmitted from a network (not shown), and encodes the encoded envelope. And / or perform decoding on the quantization index of the downmixed spectrum to generate spectral data.
  • the multichannel decoder 223 performs upmixing on the decoded spectrum data using spatial parameters to provide a multichannel PCM output.
  • FIG. 3 is a block diagram showing the configuration of an audio decoding apparatus according to an embodiment of the present invention, in which a core decoder 310 and a multichannel decoder 320 are integrated.
  • the audio decoding apparatus 300 illustrated in FIG. 3 includes a core decoder 310 and a multichannel decoder 320, and the core decoder 310 includes a bitstream parser 311, an envelope decoder 313, and a bit.
  • the multichannel decoder 320 may include a converter 321, an upmixer 323, and an inverse transformer 325. have. Each component may be integrated into at least one or more modules and implemented as at least one or more processors (not shown).
  • the audio decoding apparatus 300 of FIG. 3 may correspond to the decoding apparatus 220 of FIG. 2.
  • the bitstream parser 311 parses a bitstream transmitted through a network (not shown) to encode an encoded spectral envelope, a quantized index of downmixed spectrum, And extract the spatial parameters.
  • the envelope decoder 313 losslessly decodes the encoded spectral envelope provided from the bitstream parser 311.
  • the bit allocator 315 generates bit allocation information necessary for decoding the transform coefficient using the encoded spectral envelope provided from the bitstream parser 311 in units of frequency bands.
  • the bit allocator 315 may use an inverse quantized envelope value in connection with bit allocation using an envelope value of each frequency band. If the norm value is used as the envelope value, the masking threshold value may be calculated using the norm value for each frequency band unit, and the perceptually necessary number of bits may be predicted using the masking threshold value.
  • the inverse quantization unit 317 generates spectral data by performing inverse quantization on the quantization index of the downmixed spectrum provided from the bitstream parser 311 based on the bit allocation information provided from the bit allocation unit 315. do.
  • the spectral data may be composed of MDCT components.
  • the synthesis filter bank 319 synthesizes the spectral envelope provided from the envelope decoder 313 and the spectral data provided from the inverse quantization unit 317 and outputs a signal in the time domain.
  • the synthesis filter bank 319 may be implemented as an inverse quadrature mirror filter (QMF) or an inverse discrete cosine transform (DCT), but is not limited thereto.
  • the conversion unit 321 converts the time domain signal provided from the synthesis filter bank 319 into the spectral components of the frequency domain.
  • the transform unit 321 may be implemented as a DCT (Discrete Cosine Transform), but is not limited thereto.
  • the upmixer 323 performs upmixing on the spectral components of the frequency domain provided from the converter 321 using the spatial parameters provided from the bitstream parser 2120.
  • denormalization may be performed by using the decoded spectrum envelope provided from the envelope decoder 313.
  • the upmixing unit 323 may use different parameters for upmixing according to whether or not a transition period exists for a frame in which parameters are not transmitted (hereinafter, referred to as a parameter untransmitted frame). You can get it by In detail, when the parameter untransmitted frame does not include the transient period, parameters required for upmixing may be obtained through interpolation using a previous parameter transmission frame and a subsequent parameter transmission frame. In this case, linear interpolation may be used. When interpolating a parameter for a parameter untransmitted frame, different weights may be assigned to the previous parameter transmission frame and the subsequent parameter transmission frame.
  • the weight may be set according to the distance between the parameter untransmitted frame and the previous parameter transmitted frame and the distance between the parameter untransmitted frame and the subsequent parameter transmitted frame. For example, when there is one untransmitted frame between the previous parameter transmission frame and the subsequent parameter transmission frame, the weight may be set to 0.5 for the previous parameter transmission frame and the subsequent parameter transmission frame, respectively.
  • Pk w1 * P1 + w2 * P2, where Pk is the interpolated parameter of the non-parameterized frame, P1 is the parameter of the previous parameter transmission frame, P2 is the parameter of the subsequent parameter transmission frame, w1, w2
  • the interpolated parameter of the parameter untransmitted frame can be obtained based on the first and second weight of each parameter transmitted frame).
  • the first weight may have a value inversely proportional to the second weight, and the sum of the first and second weights may be a value of 1.
  • the first to third parameter untransmitted frames exist between the previous parameter transmission frame and the subsequent parameter transmission frame
  • the previous parameter transmission frame and the subsequent parameter transmission are performed.
  • Different weights can be set for the frames.
  • the first and second weights used for generating the first parameter untransmitted frame may be 0.75 and 0.25, respectively.
  • the first and second weights used for generating the second parameter untransmitted frame may be 0.5 and 0.5, respectively.
  • the first and second weights used for generating the third parameter untransmitted frame may be 0.25 and 0.75, respectively.
  • parameters required for upmixing may be obtained by referring to different parameter transmission frames for the left and right sections based on the transient period in the untransmitted parameter frame.
  • the average of the parameters of the referenced frame may be used, or the parameters of the interval obtained by folding or copying the left or right section with respect to the referenced frame may be used.
  • the upmixing unit 323 may perform upmixing adaptive to the characteristics of the signal.
  • a short period window may be used for a frame, frequency band, or interval including a transient component.
  • the transient component refers to a component having a fast change rate and a short duration.
  • the change rate of the signal is greater than or equal to a predetermined threshold speed, the transient component may be determined.
  • the position of the transient component is detected in the previous module, such as in a parametric coding model for dividing the signal into sinusoidal signals, transient signals, and noise signals, the position of the transient section detected in the previous module is detected. It can be used as it is.
  • the inverse transformer 325 performs an inverse transform on the upmixed spectrum provided from the upmixer 323 to generate a time-domain multichannel PCM output.
  • the inverse transformer 325 may apply an inverse DCT to correspond to the transformer 321.
  • step 410 information required for detecting a transient period is extracted from the received bitstream. What information is extracted may be set in advance, for example, may be set as flag information or window information added to a bitstream in a predetermined frequency band or frame unit. Meanwhile, when information or a position indicating a transient period is transmitted in the bitstream, this may be used as it is.
  • step 420 it is determined whether the corresponding frame is a parameter transmission frame or a parameter non-transmission frame.
  • the parameter when the parameter is extracted in units of a predetermined frequency band, it may be determined whether the parameter transmission frequency band or the parameter transmission frequency band. This can be determined from the flag information added to indicate whether the parameter is transmitted in the bitstream in units of frames or frequency bands.
  • step 430 in the case of a parameter untransmitted frame, it is determined whether a transient component exists in the corresponding frame using the information extracted in step 410.
  • the characteristics of the current signal may be checked using blksw flag information. Can be. Specifically, when blksw is 1, it may be determined that a transient component exists.
  • the characteristics of the current signal may be checked using window_sequence. In more detail, when EIGHT_SHORT_SEQUENCE is applied, it may be determined that a transient component exists.
  • the parameter required for upmixing is obtained through interpolation using the previous parameter transmission frame and the subsequent parameter transmission frame.
  • step 450 as a result of the determination in step 430, in the case of the parameter untransmitted frame in which the transient component exists, the parameter required for upmixing is estimated according to the position of the transient section detected in the parameter untransmitted frame.
  • step 460 upmixing is performed using a transmitted parameter in the case of a parameter transmission frame, an interpolation or an estimated parameter in the case of an untransmitted parameter frame.
  • the signal is characterized by using flag information indicating whether a predetermined frame or frequency band includes a transient component and information on the position of the transient section in the frame or frequency band. According to the more efficient upmixing can be performed to generate a high quality reconstruction signal.
  • Flag information indicating whether a transient component is included and information about a position of a transient section in a corresponding frame or frequency band may be applied to each downmixed channel.
  • FIG. 5 is a diagram for explaining an example of a method of detecting a position of a transient section in FIG. 4.
  • one frame 500 or one frequency band 500 determined to have a transient component includes 512 spectral coefficients
  • a predetermined unit interval for example, 64 Split 512 spectral coefficients into spectral coefficients.
  • the average spectral energy for example, norm value, power, or amplitude, is calculated for eight sections constituting one frame or one frequency band, and the section 510 having the largest value is the section where the transient is located, that is, the transient. Decide on an interval.
  • 6A and 6B are diagrams for explaining an example of a method for obtaining spatial parameters for unparametered frames.
  • FIG. 6A illustrates an example in which one parameter untransmitted frame 620 exists between two parameter transmission frames 610 and 630.
  • the left interval 621 is the most of the untransmitted frame 620.
  • the parameters of the closest previous parameter transmission frame 610 are used, and the right section 623 is required for upmixing using the parameters of the nearest subsequent parameter transmission frame 630 of the non-parameterized transmission frame 620. Create a parameter.
  • 6B illustrates an example in which three parameter untransmitted frames 650, 660, and 670 exist between two parameter transmitted frames 640 and 680.
  • the parameter untransmitted frame 650 having no transient component is the nearest previous parameter transmitted frame of the untransmitted frame 620.
  • the parameter untransmitted frame 670 using the parameters of 640 and no transient component present is required for upmixing using the parameters of the closest previous parameter transmitted frame 680 of the untransmitted frame 620.
  • the intermediate position Pt of the transient period (eg, 510 of FIG. 5) is present.
  • the left section 661 uses the parameters of the previous parameter transmission frame 640 closest to the untransmitted frame 660
  • the right section 663 is the closest to the untransmitted frame 660.
  • the necessary parameters are generated using the parameters of the parameter transmission frame 680 afterwards.
  • an overlapping method or a repetition method for a parameter of a previous parameter transmission frame or a parameter of a subsequent parameter transmission frame referred to. You can use various methods such as repetition.
  • FIG. 7A to 7C illustrate an example of a method for transmitting a parameter required to interpolate an untransmitted parameter frame, wherein reference numerals 710 and 740 denote parameter transmission frames, and reference numerals 720 and 730 denote parameter untransmitted frames. Indicates.
  • FIG. 7A illustrates interpolation using an interval n of a previous parameter transmission frame 710 and an interval n + 3 of a subsequent parameter transmission frame for a predetermined interval n + 1 of an untransmitted parameter frame 720. An example is shown.
  • FIG. 7B illustrates interpolation using an interval n of a previous parameter transmission frame 710 and an interval n + 3 of a subsequent parameter transmission frame for a predetermined interval n + 1 of the parameter untransmitted frame 720.
  • an example of transmitting the information of the interval n + 3 of the subsequent parameter transmission frame is located immediately before the predetermined interval n + 1 of the parameter non-transmission frame 720.
  • FIG. 7C illustrates interpolation using an interval n of a previous parameter transmission frame 710 and an interval n + 3 of a subsequent parameter transmission frame for a predetermined interval n + 1 of an untransmitted parameter frame 720.
  • an example of transmitting the information of the section n + 3 of the subsequent parameter transmission frame is located immediately after the predetermined section n + 1 of the parameter untransmitted frame 720.
  • the encoder transmits the information of the subsequent parameter transmission frame together with the parameter untransmitted frame when generating a bitstream.
  • the size of the buffer memory for storing the decoded PCM information can be reduced.
  • the method according to the embodiments can be written in a computer executable program and can be implemented in a general-purpose digital computer operating the program using a computer readable recording medium.
  • data structures, program instructions, or data files that can be used in the above-described embodiments of the present invention may be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium may include all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include magnetic media, such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, floppy disks, and the like.
  • Such as magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium may also be a transmission medium for transmitting a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code generated by a compiler.

Abstract

오디오신호 처리방법은 파라미터 미전송 프레임에 대하여 트랜지언트 구간이 존재하는지를 판단하는 단계; 및 상기 파라미터 미전송 프레임이 트랜지언트 구간을 포함하는 경우, 상기 파라미터 미전송 프레임에서 상기 트랜지언트 구간을 기준으로 좌측 구간과 우측 구간에 대하여 서로 다른 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 단계를 포함한다.

Description

오디오 신호 처리방법 및 장치와 이를 채용하는 단말기
본 발명은 오디오 부호화/복호화에 관한 것으로서, 보다 구체적으로는 일부 프레임에 대하여 공간 파라미터를 포함하는 부호화 파라미터를 전송하지 않고서도 멀티 채널 오디오 신호의 복원시 음질 열화를 최소화시킬 수 있는 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기에 관한 것이다.
최근, 멀티 미디어 콘텐츠가 보급됨에 따라 더욱 현장감 넘치고, 풍부한 음원 환경을 경험하고자 하는 사용자들의 요구가 증가하고 있다. 이러한 사용자들의 요구를 충족시키기 위해 멀티 채널 오디오에 대한 연구가 활발히 진행되고 있다.
멀티 채널 오디오 신호는 전송 환경에 따라 고효율의 데이터 압축률을 요구한다. 특히, 멀티 채널 오디오 신호를 복원하기 위해, 공간 파라미터(Spatial Parameter)가 이용된다. 이때, 공간 파라미터는 비트율 등의 제약 혹은 프레임에 포함된 신호의 특성 등에 따라서 전체 프레임 중 일부 프레임에 대해서는 전송되지 않을 수 있다.
따라서, 공간 파라미터가 일부 프레임에 대하여 전송되지 않더라도 멀티 채널 오디오 복원시, 음질 열화를 최소화할 수 있는 기술을 필요로 한다.
본 발명이 해결하고자 하는 과제는 일부 프레임에 대하여 공간 파라미터를 포함하는 부호화 파라미터를 전송하지 않고서도 멀티 채널 오디오 신호의 복원시 음질 열화를 최소화시킬 수 있는 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 오디오 신호 처리방법은, 파라미터 미전송 프레임에 대하여 트랜지언트 구간이 존재하는지를 판단하는 단계; 및 상기 파라미터 미전송 프레임이 트랜지언트 구간을 포함하는 경우, 상기 파라미터 미전송 프레임에서 상기 트랜지언트 구간을 기준으로 좌측 구간과 우측 구간에 대하여 서로 다른 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 오디오 신호 처리장치는, 비트스트림에 포함된 파라미터 전송 프레임의 경우 전송된 파라미터를 이용하고, 파라미터 미전송 프레임의 경우 보간 혹은 추정된 파라미터를 이용하여 업믹싱을 수행하는 멀티채널 디코더를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 단말기는 수신되는 비트스트림으로부터 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스와 공간 파라미터를 추출하고, 상기 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스에 대하여 복호화를 수행하여 스펙트럼 데이터를 생성하는 코어 디코더; 및 상기 비트스트림에 포함된 파라미터 전송 프레임의 경우 전송된 파라미터를 이용하고, 파라미터 미전송 프레임의 경우 보간 혹은 추정된 파라미터를 이용하여, 상기 복호화된 스펙트럼 데이터에 대한 업믹싱을 수행하는 멀티채널 디코더를 포함할 수 있다.
상기 단말기는 멀티채널 PCM 입력으로부터 공간 파라미터를 추출하고, 다운믹싱을 수행하여 다운믹싱된 스펙트럼을 생성하는 멀티채널 엔코더; 및 상기 다운믹싱된 스펙트럼에 대하여 소정의 코어 코덱 알고리즘을 적용하여 부호화를 수행하는 코어 엔코더를 더 포함할 수 있다.
도 1은 본 발명이 적용되는 오디오 신호처리 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 멀티채널 코덱과 코어 코덱을 통합한 오디오 신호처리 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도이다.
도 4는 도 3의 업믹싱부의 동작을 설명하는 흐름도이다.
도 5는 도 4에 있어서 트랜지언트 성분의 위치를 검출하는 방법의 예를 설명하는 도면이다.
도 6a 및 도 6b는 파라미터 미전송 프레임에 대하여 부호화 파라미터를 얻는 방법의 예를 설명하는 도면이다.
도 7a 내지 도 7c는 파라미터 미전송 프레임을 보간하는데 필요로 하는 부호화 파라미터를 전송하는 방법의 예를 설명하는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명이 적용되는 오디오 신호처리 시스템의 구성을 나타낸 블록도이다. 오디오 신호처리 시스템(100)은 멀티미디어 기기에 해당하며, 전화, 모바일 폰 등을 포함하는 음성통신 전송 단말기, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용 단말기, 혹은 음성통신 전용 단말기와 방송 혹은 음악 전용 단말기의 융합 단말기가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 오디오 신호처리 시스템(100)은 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
도 1을 참조하면, 오디오 신호처리 시스템(100)은 부호화 장치(110) 및 복호화 장치(120)를 포함한다. 일실시예에서 오디오 신호처리 시스템(100)은 부호화장치(110)와 복호화장치(120)를 모두 포함할 수 있고, 다른 실시예에서 오디오 신호처리 시스템(100)은 부호화장치(110)와 복호화장치(120) 중 어느 하나를 포함할 수 있다.
부호화 장치(110)는 복수개의 채널로 이루어지는 원래 신호 즉, 멀티채널 오디오 신호를 입력받고, 이를 다운믹싱하여 다운믹스된 오디오 신호를 생성한다. 부호화 장치(110)는 예측 파라미터(prediction parameter)를 생성하여 부호화한다. 여기서, 예측 파라미터는 다운믹스된 오디오 신호를 원래 신호로 복원하기 위해 적용되는 파라미터이다. 구체적으로, 원래 신호의 다운믹싱을 위하여 사용되는 다운믹스 매트릭스, 다운믹스 매트릭스내에 포함되는 각 계수값 등과 관련된 값이다. 일예를 들면, 예측 파라미터 즉, 부호화 파라미터는 공간 파라미터를 포함할 수 있다. 또한, 예측 파라미터는 부호화 장치(110) 또는 복호화 장치(120)의 제품 사양, 설계 사양 등에 따라서 달라질 수 있으며, 실험적으로 최적화된 값으로 설정될 수 있다. 여기서, 채널은 스피커를 의미할 수 있다.
복호화 장치(120)는 다운믹스된 오디오 신호를 예측 파라미터를 이용하여 업믹싱하여 원본신호인 멀티채널 오디오 신호에 대응하는 복원신호를 생성한다.
도 2는 본 발명의 일실시예에 따른 멀티채널 코덱과 코어 코덱을 통합하는 오디오 신호처리 시스템의 구성을 나타낸 블록도이다.
도 2에 도시된 오디오 신호처리 시스템(200)은 부호화장치(210) 및 복호화장치(220)를 포함한다. 일실시예에서 오디오 신호처리 시스템(200)은 부호화장치(210)와 복호화장치(220)를 모두 포함할 수 있고, 다른 실시예에서 오디오 신호처리 시스템(200)은 부호화장치(210)와 복호화장치(220) 중 어느 하나를 포함할 수 있다. 도 2의 부호화장치(210)와 복호화장치(220)는 도 1의 부호화장치(110)와 복호화장치(120)에 각각 대응될 수 있다.
한편, 부호화장치(210)는 멀티채널 엔코더(211)와 코어 엔코더(213)를 포함하고, 복호화장치(220)은 코어 디코더(221)와 멀티채널 디코더(223)를 포함할 수 있다. 코어 엔코더(213) 및 코어 디코더(221)에서 사용되는 코덱 알고리즘의 예로는 변환 알고리즘으로 MDCT(Modified Discrete Cosine Transform)를 사용하는 AC-3, Enhancement AC-3, 혹은 AAC가 될 수 있으나, 이에 한정되지는 않는다.
부호화장치(210)에 있어서, 멀티채널 엔코더(211)는 멀티채널 PCM 입력으로부터 공간 파라미터를 추출하고, 다운믹싱을 수행하여 다운믹싱된 스펙트럼을 생성한다. 여기서, 공간 파라미터의 예로는 채널간 강도 차이(IID: Inter-channel Intensity Difference) 파라미터, 채널간 위상 차이(IPD: Inter-channel Phase Difference) 파라미터, 전체적 위상 차이(OPD: Overall Phase Difference) 파라미터, 및 채널간 상관도(ICC: Inter-Channel Coherence) 파라미터 중 적어도 하나를 포함할 수 있다.
코어 엔코더(213)는 멀티채널 엔코더(211)로부터 제공되는 다운믹싱된 스펙트럼에 대하여 소정의 코어 코덱 알고리즘을 적용하여 부호화를 수행한다. 코어 엔코더(213)로부터 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스 등이 생성될 수 있다.
멀티채널 엔코더(211)로부터 제공되는 공간 파라미터와 코어 엔코더(213)로부터 제공되는 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스는 멀티플렉싱되어 비트스트림으로 생성된다.
한편, 복호화장치(220)에 있어서, 코어 디코더(221)는 네트워크(미도시)로부터 전송되는 비트스트림으로부터 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스와 공간 파라미터를 추출하고, 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스에 대하여 복호화를 수행하여 스펙트럼 데이터를 생성한다.
멀티채널 디코더(223)는 복호화된 스펙트럼 데이터에 대하여 공간 파라미터를 이용하여 업믹싱을 수행하여 멀티채널 PCM 출력을 제공한다.
도 3은 본 발명의 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블록도로서, 코어 디코더(310)와 멀티채널 디코더(320)를 통합한 것이다.
도 3에 도시된 오디오 복호화장치(300)는 코어 디코더(310)와 멀티채널 디코더(320)를 포함하며, 코어 디코더(310)는 비트스트림 파싱부(311), 엔벨로프 복호화부(313), 비트할당부(315), 역양자화부(317) 및 합성필터뱅크(319)로, 멀티채널 디코더(320)는 변환부(321), 업믹싱부(323) 및 역변환부(325)를 포함할 수 있다. 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다. 도 3의 오디오 복호화장치(300)는 도 2의 복호화장치(220)에 대응될 수 있다.
도 3을 참조하면, 코어 디코더(310)에 있어서, 비트스트림 파싱부(311)는 네트워크(미도시)를 통하여 전송되는 비트스트림을 파싱하여, 부호화된 스펙트럼 엔벨로프, 다운믹싱된 스펙트럼의 양자화 인덱스, 및 공간 파라미터를 추출한다.
엔벨로프 복호화부(313)는 비트스트림 파싱부(311)로부터 제공되는 부호화된 스펙트럼 엔벨로프를 무손실 복호화한다.
비트할당부(315)는 비트스트림 파싱부(311)로부터 각 주파수밴드 단위로 제공되는 부호화된 스펙트럼 엔벨로프를 이용하여 변환계수를 복호화하는데 필요로 하는 비트할당정보를 생성한다. 비트할당부(315)는 각 주파수밴드의 엔벨로프 값을 이용한 비트할당과 관련하여, 역양자화된 엔벨로프 값을 사용할 수 있다. 엔벨로프 값으로서 norm 값을 예로 들 경우, 각 주파수밴드 단위로 norm 값을 이용하여 마스킹 임계치를 계산하고, 마스킹 임계치를 이용하여 지각적으로 필요한 비트수를 예측할 수 있다.
역양자화부(317)는 비트스트림 파싱부(311)로부터 제공되는 다운믹싱된 스펙트럼의 양자화 인덱스에 대하여 비트할당부(315)로부터 제공되는 비트할당정보에 근거하여 역양자화를 수행하여 스펙트럼 데이터를 생성한다. 여기서, 스펙트럼 데이터는 MDCT 성분으로 구성될 수 있다.
합성필터뱅크(319)는 엔벨로프 복호화부(313)로부터 제공되는 스펙트럼 엔벨로프와 역양자화부(317)로부터 제공되는 스펙트럼 데이터를 합성하여 시간 도메인의 신호를 출력한다. 여기서, 합성필터뱅크(319)는 역 QMF(Inverse Quadrature Mirror Filter) 혹은 역 DCT(Inverse Discrete Cosine Transform)로 구현될 수 있으나, 이에 한정되는 것은 아니다.
한편, 멀티채널 디코더(320)에 있어서, 변환부(321)는 합성필터뱅크(319)로부터 제공되는 시간 도메인의 신호를 주파수 도메인의 스펙트럼 성분으로 변환한다. 여기서, 변환부(321)는 DCT(Discrete Cosine Transform)로 구현될 수 있으나, 이에 한정되는 것은 아니다.
업믹싱부(323)는 비트스트림 파싱부(2120)로부터 제공되는 공간 파라미터를 이용하여, 변환부(321)로부터 제공되는 주파수 도메인의 스펙트럼 성분에 대하여 업믹싱을 수행한다. 이때, 엔벨로프 복호화부(313)로부터 제공되는 복호화된 스펙트럼 엔벨로프를 이용하여 역정규화를 수행할 수 있다.
일실시예에 따르면, 업믹싱부(323)에서는 파라미터가 전송되지 않는 프레임(이하, 파라미터 미전송 프레임이라 칭함)에 대하여 트랜지언트 구간이 존재하는지 여부에 따라서, 업믹싱에 필요로 하는 파라미터를 서로 다른 방법으로 구할 수 있다. 구체적으로, 파라미터 미전송 프레임이 트랜지언트 구간을 포함하지 않는 경우, 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임을 이용한 보간을 통하여 업믹싱에 필요로 하는 파라미터를 구할 수 있다. 이때, 선형 보간을 이용할 수 있다. 파라미터 미전송 프레임을 위한 파라미터 보간시, 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임에 대하여 서로 다른 가중치를 할당할 수 있다. 일실시예에 따르면, 파라미터 미전송 프레임과 이전의 파라미터 전송 프레임간의 거리와 파라미터 미전송 프레임과 이후의 파라미터 전송 프레임간의 거리에 따라서 가중치를 설정할 수 있다. 예를 들면, 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임 사이에 하나의 파라미터 미전송 프레임이 존재할 경우에는 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임에 대하여 가중치를 각각 0.5 로 설정할 수 있다. 그 결과, Pk = w1*P1 + w2*P2 (여기서, Pk는 파라미터 미전송 프레임의 보간된 파라미터, P1은 이전의 파라미터 전송 프레임의 파라미터, P2는 이후의 파라미터 전송 프레임의 파라미터, w1, w2는 각 파라미터 전송 프레임의 제1 및 제2 가중치)에 의하여 파라미터 미전송 프레임의 보간된 파라미터를 구할 수 있다. 제1 가중치는 제2 가중치와 반비례하는 값을 가질 수 있고, 제1 및 제2 가중치의 합은 1 값이 될 수 있다.
한편, 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임 사이에 제1 내지 제3 파라미터 미전송 프레임이 존재할 경우에는, 각 파라미터 미전송 프레임의 보간된 파라미터를 구할때 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임에 대하여 서로 다른 가중치를 설정할 수 있다. 구체적으로, 제1 파라미터 미전송 프레임의 생성을 위해 이용되는 제1 및 제2 가중치는 각각 0.75 및 0.25가 될 수 있다. 제2 파라미터 미전송 프레임의 생성을 위해 이용되는 제1 및 제2 가중치는 각각 0.5 및 0.5가 될 수 있다. 그리고, 제3 파라미터 미전송 프레임의 생성을 위해 이용되는 제1 및 제2 가중치는 각각 0.25 및 0.75가 될 수 있다.
즉, 파라미터 미전송 프레임이 이전의 파라미터 전송 프레임에 가깝게 배치될수록, 이전의 파라미터 전송 프레임의 파라미터에 적용되는 제1 가중치(w1)의 값이 커진다. 그리고, 파라미터 미전송 프레임이 이후의 파라미터 전송 프레임에 가깝게 배치될수록, 이후의 파라미터 전송 프레임의 파라미터에 적용되는 제2 가중치(w2)의 값이 커진다.
한편, 파라미터 미전송 프레임이 트랜지언트 구간을 포함하는 경우, 파라미터 미전송 프레임에서 트랜지언트 구간을 기준으로 좌측 구간과 우측 구간에 대하여 서로 다른 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 구할 수 있다. 이때, 참조되는 프레임의 파라미터의 평균을 이용하거나, 참조되는 프레임에 대하여 좌측 구간 혹은 우측 구간을 폴딩 혹은 복사하여 얻어지는 구간의 파라미터를 이용할 수 있다.
다른 실시예에 따르면, 업믹싱부(323)에서는 신호의 특성에 적응적인 업믹싱을 수행할 수 있다. 예를 들어, 트랜지언트 성분이 포함되는 프레임 혹은 주파수밴드 혹은 구간에 대해서는 단구간 윈도우를 사용할 수 있다. 여기서, 트랜지언트 성분은 신호의 변화 속도가 빠르고 지속 기간이 짧은 성분을 의미한다. 트랜지언트 성분을 검출하는 방법은 다양하며, 간단한 예로는 신호의 변화 속도가 소정 임계속도 이상이면 트랜지언트 성분으로 판단할 수 있다. 그러나, 신호를 정현파 신호, 트랜지언트 신호 및 잡음 신호로 구분하여 부호화하는 파라매트릭(Parameteric) 부호화 모델에서와 같이 이전 모듈에서 트랜지언트 성분에 관한 위치가 검출되는 경우에는 이전 모듈에서 검출된 트랜지언트 구간의 위치를 그대로 이용할 수 있다.
역변환부(325)는 업믹싱부(323)로부터 제공되는 업믹싱된 스펙트럼에 대하여 역변환을 수행하여 시간 도메인의 멀티채널 PCM 출력을 생성한다. 이때, 역변환부(325)는 변환부(321)에 대응되도록 역 DCT를 적용할 수 있다.
도 4는 도 3의 업믹싱부(323)의 동작을 설명하는 흐름도이다.
도 4를 참조하면, 410 단계에서는 수신된 비트스트림으로부터 트랜지언트 구간을 검출하는데 필요로 하는 정보를 추출한다. 어떤 정보를 추출할지에 대해서는 미리 설정될 수 있으며, 예를 들면 비트스트림에 소정의 주파수밴드 혹은 프레임 단위로 부가된 플래그 정보 혹은 윈도우 정보로 설정할 수 있다. 한편, 비트스트림에 트랜지언트 구간을 나타내는 정보 혹은 위치가 전송되는 경우에는 이를 그대로 사용할 수 있다.
420 단계에서는 해당 프레임이 파라미터 전송 프레임인지 파라미터 미전송 프레임인지를 판단한다. 이때, 파라미터가 소정 주파수밴드 단위로 추출되는 경우에는 파라미터 전송 주파수밴드인지 파라미터 전송 주파수밴드인지를 판단할 수 있다. 이는 비트스트림에 프레임 혹은 주파수밴드 단위로 파라미터 전송여부를 나타내기 위하여 부가된 플래그 정보로부터 판단할 수 있다.
430 단계에서는 파라미터 미전송 프레임인 경우, 410 단계에서 추출된 정보를 이용하여 해당 프레임에 트랜지언트 성분이 존재하는지를 판단한다. 일실시예에 따르면, 코어 엔코더(도 2의 213)와 코어 디코더(도 2의 221)에 AC-3 혹은 enhancement AC-3 알고리즘을 적용하는 경우, blksw 플래그 정보를 이용하여 현재 신호의 특성을 확인할 수 있다. 구체적으로, blksw 가 1일 경우 트랜지언트 성분이 존재한다고 판단할 수 있다. 다른 실시예에 따르면, 코어 엔코더(도 2의 213)와 코어 디코더(도 2의 221)에 AAC 알고리즘을 적용하는 경우, window_sequence를 이용하여 현재 신호의 특성을 확인할 수 있다. 구체적으로, EIGHT_SHORT_SEQUENCE가 적용되는 경우 트랜지언트 성분이 존재한다고 판단할 수 있다.
440 단계에서는 430 단계에서의 판단결과, 트랜지언트 성분이 존재하지 않는 파라미터 미전송 프레임인 경우, 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임을 이용한 보간을 통하여 업믹싱에 필요로 하는 파라미터를 구한다.
450 단계에서는 430 단계에서의 판단결과, 트랜지언트 성분이 존재하는 파라미터 미전송 프레임인 경우, 파라미터 미전송 프레임에서 검출된 트랜지언트 구간의 위치에 따라 업믹싱에 필요로 하는 파라미터를 추정한다.
460 단계에서는 파라미터 전송 프레임의 경우 전송된 파라미터, 파라미터 미전송 프레임의 경우 보간 혹은 추정된 파라미터를 이용하여 업믹싱을 수행한다.
한편, 일실시예에 따르면, 파라미터 전송 여부에 상관없이, 소정 프레임 혹은 주파수밴드가 트랜지언트 성분을 포함하는지를 나타내는 플래그 정보와 해당 프레임 혹은 주파수밴드에서 트랜지언트 구간의 위치에 대한 정보를 이용하여, 신호에 특성에 따른 보다 효율적인 업믹싱을 수행하여 고음질의 복원 신호를 생성할 수 있다.
트랜지언트 성분을 포함하는지를 나타내는 플래그 정보와 해당 프레임 혹은 주파수밴드에서 트랜지언트 구간의 위치에 대한 정보는 다운믹싱된 채널 각각에 대하여 적용될 수 있다.
상기한 실시예에 따르면 트랜지언트 구간의 위치를 검출하기 위하여 부호화장치로부터 복호화장치로 추가적인 정보를 전송할 필요가 없으므로, 전체 코덱과 관련하여 비트율 혹은 복잡도의 증가없이 신호의 특성에 따른 업믹싱을 수행할 수 있다.
도 5는 도 4에 있어서 트랜지언트 구간의 위치를 검출하는 방법의 예를 설명하는 도면이다.
도 5를 참조하면, 먼저, 예를 들어 트랜지언트 성분이 존재하는 것으로 판단된 하나의 프레임(500) 혹은 하나의 주파수밴드(500)가 512 개의 스펙트럼 계수로 이루어지는 경우, 소정 단위구간, 예를 들어 64개의 스펙트럼 계수로 512 개의 스펙트럼 계수를 분할한다.
하나의 프레임 혹은 하나의 주파수밴드를 구성하는 8개의 구간에 대하여 평균 스펙트럼 에너지 예를 들면 norm 값, 파워, 혹은 진폭을 구하고, 가장 큰 값을 갖는 구간(510)을 트랜지언트가 위치하는 구간 즉, 트랜지언트 구간으로 결정한다.
도 6a 및 도 6b는 파라미터 미전송 프레임에 대하여 공간 파라미터를 얻는 방법의 예를 설명하는 도면이다.
도 6a는 두개의 파라미터 전송 프레임(610, 630) 사이에 하나의 파라미터 미전송 프레임(620)이 존재하는 경우를 예로 든 것이다.
도 6a를 참조하면, 파라미터 미전송 프레임(620)에서 트랜지언트 구간(예를 들어 도 5의 510)의 중간 위치(Pt)를 기준으로, 좌측 구간(621)은 파라미터 미전송 프레임(620)의 가장 가까운 이전의 파라미터 전송 프레임(610)의 파라미터를 이용하고, 우측 구간(623)은 파라미터 미전송 프레임(620)의 가장 가까운 이후의 파라미터 전송 프레임(630)의 파라미터를 이용하여 업믹싱에 필요로 하는 파라미터를 생성한다.
도 6b는 두개의 파라미터 전송 프레임(640, 680) 사이에 세개의 파라미터 미전송 프레임들(650, 660, 670)이 존재하는 경우를 예로 든 것이다.
도 6b를 참조하면, 세개의 파라미터 미전송 프레임들(650, 660, 670) 중, 트랜지언트 성분이 존재하지 않는 파라미터 미전송 프레임(650)은 미전송 프레임(620)의 가장 가까운 이전의 파라미터 전송 프레임(640)의 파라미터를 이용하고, 트랜지언트 성분이 존재하지 않는 파라미터 미전송 프레임(670)은 미전송 프레임(620)의 가장 가까운 이전의 파라미터 전송 프레임(680)의 파라미터를 이용하여 업믹싱에 필요로 하는 파라미터를 생성한다.
한편, 세개의 파라미터 미전송 프레임들(650, 660, 670) 중, 트랜지언트 성분이 존재하는 파라미터 미전송 프레임(660)의 경우, 트랜지언트 구간(예를 들어 도 5의 510)의 중간 위치(Pt)를 기준으로, 좌측 구간(661)은 파라미터 미전송 프레임(660)의 가장 가까운 이전의 파라미터 전송 프레임(640)의 파라미터를 이용하고, 우측 구간(663)은 파라미터 미전송 프레임(660)의 가장 가까운 이후의 파라미터 전송 프레임(680)의 파라미터를 이용하여 필요로 하는 파라미터를 생성한다.
도 6a 및 도 6b에 있어서, 트랜지언트 성분이 존재하는 파라미터 미전송 프레임의 파라미터 추정시, 참조되는 이전의 파라미터 전송 프레임의 파라미터 혹은 이후의 파라미터 전송 프레임의 파라미터에 대하여, 중첩방식(overlapping) 혹은 반복방식(repetition) 등 다양한 방법을 사용할 수 있다.
도 7a 내지 도 7c는 파라미터 미전송 프레임을 보간하는데 필요로 하는 파라미터를 전송하는 방법의 예를 설명하는 도면으로서, 참조부호 710 및 740은 파라미터 전송 프레임, 참조부호 720 및 730은 파라미터 미전송 프레임을 나타낸다.
도 7a는 파라미터 미전송 프레임(720)의 소정 구간(n+1)에 대하여 이전의 파라미터 전송 프레임(710)의 구간(n)과 이후의 파라미터 전송 프레임의 구간(n+3)을 이용하는 보간하는 예를 나타낸 것이다.
도 7b는 파라미터 미전송 프레임(720)의 소정 구간(n+1)에 대하여 이전의 파라미터 전송 프레임(710)의 구간(n)과 이후의 파라미터 전송 프레임의 구간(n+3)을 이용하는 보간하는 경우, 이후의 파라미터 전송 프레임의 구간(n+3)의 정보를 파라미터 미전송 프레임(720)의 소정 구간(n+1) 바로 앞에 위치시켜 전송하는 예를 나타낸 것이다.
도 7c는 파라미터 미전송 프레임(720)의 소정 구간(n+1)에 대하여 이전의 파라미터 전송 프레임(710)의 구간(n)과 이후의 파라미터 전송 프레임의 구간(n+3)을 이용하는 보간하는 경우, 이후의 파라미터 전송 프레임의 구간(n+3)의 정보를 파라미터 미전송 프레임(720)의 소정 구간(n+1) 바로 뒤에 위치시켜 전송하는 예를 나타낸 것이다.
이에 따르면, 독립적으로 디코딩이 불가능한 파라미터 미전송 프레임이 이후의 파라미터 전송 프레임의 정보를 필요로 하는 경우, 부호화장치에서 비트스트림 생성시 파라미터 미전송 프레임에 이후의 파라미터 전송 프레임의 정보를 함께 실어 보내도록 구성함으로써, 디코딩된 PCM 정보를 저장하는 버퍼 메모리의 사이즈를 줄일 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 스코프는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 비트스트림에 존재하는 적어도 하나의 파라미터 미전송 프레임에 대하여 트랜지언트 구간이 존재하는지를 판단하는 단계; 및
    상기 적어도 하나의 파라미터 미전송 프레임이 트랜지언트 구간을 포함하는 경우, 상기 트랜지언트 구간의 위치를 기준으로 좌측 구간과 우측 구간에 대하여 서로 다른 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 단계를 포함하는 오디오신호 처리방법.
  2. 제1 항에 있어서, 상기 트랜지언트 구간 판단단계에서는, 상기 비트스트림에 포함된 플래그 정보와 윈도우 정보 중 적어도 하나를 이용하는 오디오신호 처리방법.
  3. 제2 항에 있어서, 상기 트랜지언트 구간의 위치는 에너지의 크기를 이용하여 검출하는 오디오신호 처리방법.
  4. 제1 항에 있어서, 상기 파라미터 추정단계에서는, 상기 적어도 하나의 파라미터 미전송 프레임에서 상기 트랜지언트 구간의 좌측 구간은 상기 파라미터 미전송 프레임에 가장 가까운 이전의 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 오디오신호 처리방법.
  5. 제1 항에 있어서, 상기 파라미터 추정단계에서는, 상기 파라미터 미전송 프레임에서 상기 트랜지언트 구간의 우측 구간은 상기 파라미터 미전송 프레임에 가장 가까운 이후의 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 오디오신호 처리방법.
  6. 제1 항에 있어서, 상기 파라미터 추정단계에서는, 상기 파라미터 미전송 프레임이 연속적으로 복수개가 존재하고, 상기 적어도 하나의 파라미터 미전송 프레임이 상기 트랜지언트 구간을 포함하는 경우, 상기 트랜지언트 구간의 좌측의 파라미터 미전송 프레임은 상기 파라미터 미전송 프레임에 가장 가까운 이전의 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 오디오신호 처리방법.
  7. 제1 항에 있어서, 상기 파라미터 추정단계에서는, 상기 파라미터 미전송 프레임이 연속적으로 복수개가 존재하고, 상기 적어도 하나의 파라미터 미전송 프레임이 상기 트랜지언트 구간을 포함하는 경우, 상기 트랜지언트 구간의 우측의 파라미터 미전송 프레임은 상기 파라미터 미전송 프레임에 가장 가까운 이후의 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 추정하는 오디오신호 처리방법.
  8. 제1 항에 있어서, 상기 적어도 하나의 파라미터 미전송 프레임이 트랜지언트 구간을 포함하지 않는 경우, 보간을 통하여 상기 파라미터 미전송 프레임의 업믹싱에 필요로 하는 파라미터를 추정하는 단계를 더 포함하는 오디오신호 처리방법.
  9. 제8 항에 있어서, 상기 보간은 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임을 이용한 선형 보간인 오디오신호 처리방법.
  10. 제8 항에 있어서, 이전의 파라미터 전송 프레임과 이후의 파라미터 전송 프레임 사이에 존재하는 파라미터 미전송 프레임의 갯수에 따라서, 보간시 상기 이전의 파라미터 전송 프레임과 상기 이후의 파라미터 전송 프레임에 할당되는 가중치가 달라지는 오디오신호 처리방법.
  11. 제9 항에 있어서, 상기 이후의 파라미터 전송 프레임의 파라미터가 상기 파라미터 미전송 프레임과 함께 전송되는 오디오신호 처리방법.
  12. 비트스트림에 포함된 파라미터 전송 프레임의 경우 전송된 파라미터를 이용하고, 파라미터 미전송 프레임의 경우 보간 혹은 추정된 파라미터를 이용하여 업믹싱을 수행하는 멀티채널 디코더를 포함하는 오디오신호 처리장치.
  13. 제12 항에 있어서, 상기 멀티채널 디코더는 상기 파라미터 미전송 프레임이 트랜지언트 구간을 포함하는 경우, 상기 트랜지언트 구간의 위치를 기준으로 좌측 구간과 우측 구간에 대하여 서로 다른 파라미터 전송 프레임을 참조하여 업믹싱에 필요로 하는 파라미터를 구하는 오디오신호 처리장치.
  14. 수신되는 비트스트림으로부터 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스와 공간 파라미터를 추출하고, 상기 부호화된 엔벨로프 및/또는 다운믹싱된 스펙트럼의 양자화 인덱스에 대하여 복호화를 수행하여 스펙트럼 데이터를 생성하는 코어 디코더; 및
    상기 비트스트림에 포함된 파라미터 전송 프레임의 경우 전송된 파라미터를 이용하고, 파라미터 미전송 프레임의 경우 보간 혹은 추정된 파라미터를 이용하여, 상기 복호화된 스펙트럼 데이터에 대한 업믹싱을 수행하는 멀티채널 디코더를 포함하는 단말기.
  15. 제14 항에 있어서,
    멀티채널 PCM 입력으로부터 공간 파라미터를 추출하고, 다운믹싱을 수행하여 다운믹싱된 스펙트럼을 생성하는 멀티채널 엔코더; 및
    상기 다운믹싱된 스펙트럼에 대하여 소정의 코어 코덱 알고리즘을 적용하여 부호화를 수행하는 코어 엔코더를 더 포함하는 단말기.
PCT/KR2012/004925 2011-06-21 2012-06-21 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기 WO2012177067A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161499339P 2011-06-21 2011-06-21
US61/499,339 2011-06-21

Publications (2)

Publication Number Publication Date
WO2012177067A2 true WO2012177067A2 (ko) 2012-12-27
WO2012177067A3 WO2012177067A3 (ko) 2013-04-11

Family

ID=47423096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004925 WO2012177067A2 (ko) 2011-06-21 2012-06-21 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기

Country Status (1)

Country Link
WO (1) WO2012177067A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393481B2 (en) 2013-10-22 2022-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216188A (ja) * 2002-01-25 2003-07-30 Matsushita Electric Ind Co Ltd オーディオ信号符号化方法、符号化装置、及び記憶媒体
US20070179783A1 (en) * 1998-12-21 2007-08-02 Sharath Manjunath Variable rate speech coding
KR20090083070A (ko) * 2008-01-29 2009-08-03 삼성전자주식회사 적응적 ｌｐｃ 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070179783A1 (en) * 1998-12-21 2007-08-02 Sharath Manjunath Variable rate speech coding
JP2003216188A (ja) * 2002-01-25 2003-07-30 Matsushita Electric Ind Co Ltd オーディオ信号符号化方法、符号化装置、及び記憶媒体
KR20090083070A (ko) * 2008-01-29 2009-08-03 삼성전자주식회사 적응적 ｌｐｃ 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393481B2 (en) 2013-10-22 2022-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
US11922957B2 (en) 2013-10-22 2024-03-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder

Also Published As

Publication number Publication date
WO2012177067A3 (ko) 2013-04-11

Similar Documents

Publication Publication Date Title
JP7124170B2 (ja) セカンダリチャンネルを符号化するためにプライマリチャンネルのコーディングパラメータを使用するステレオ音声信号を符号化するための方法およびシステム
AU2010303039B9 (en) Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value
JP5081838B2 (ja) オーディオ符号化及び復号
EP1984915B1 (en) Audio signal decoding
EP2182513B1 (en) An apparatus for processing an audio signal and method thereof
WO2010008176A1 (ko) 음성/음악 통합 신호의 부호화/복호화 장치
KR101606665B1 (ko) 파라미터 공간 오디오 코딩 및 디코딩을 위한 방법, 파라미터 공간 오디오 코더 및 파라미터 공간 오디오 디코더
JP2011209745A (ja) マルチチャンネル・エンコーダ
BRPI0514650B1 (pt) Métodos para codificação e decodificação de sinais de áudio, codificador e decodificador de sinais de áudio
US20100070285A1 (en) method and an apparatus for processing an audio signal
CN108369810A (zh) 用于对多声道音频信号进行编码的自适应声道缩减处理
US20220238127A1 (en) Method and system for coding metadata in audio streams and for flexible intra-object and inter-object bitrate adaptation
US20100114568A1 (en) Apparatus for processing an audio signal and method thereof
US20120163608A1 (en) Encoder, encoding method, and computer-readable recording medium storing encoding program
US8271291B2 (en) Method and an apparatus for identifying frame type
WO2012177067A2 (ko) 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기
KR20070031212A (ko) 오디오 신호의 인코딩/디코딩 방법 및 장치
WO2024052450A1 (en) Encoder and encoding method for discontinuous transmission of parametrically coded independent streams with metadata
WO2024052499A1 (en) Decoder and decoding method for discontinuous transmission of parametrically coded independent streams with metadata
WO2020201619A1 (en) Spatial audio representation and associated rendering
KR20140037118A (ko) 오디오 신호 처리방법, 오디오 부호화장치, 오디오 복호화장치, 및 이를 채용하는 단말기
KR20070031213A (ko) 오디오 신호의 인코딩/디코딩 방법 및 장치
WO2010058931A2 (en) A method and an apparatus for processing a signal
KR20100050414A (ko) 오디오 신호 처리 방법 및 장치
KR20070031214A (ko) 오디오 신호의 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12802683

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12802683

Country of ref document: EP

Kind code of ref document: A2