WO2015041477A1 - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2015041477A1
WO2015041477A1 PCT/KR2014/008678 KR2014008678W WO2015041477A1 WO 2015041477 A1 WO2015041477 A1 WO 2015041477A1 KR 2014008678 W KR2014008678 W KR 2014008678W WO 2015041477 A1 WO2015041477 A1 WO 2015041477A1
Authority
WO
WIPO (PCT)
Prior art keywords
subband
signal
signals
channel
audio signal
Prior art date
Application number
PCT/KR2014/008678
Other languages
English (en)
French (fr)
Inventor
이태규
오현오
Original Assignee
주식회사 윌러스표준기술연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 윌러스표준기술연구소 filed Critical 주식회사 윌러스표준기술연구소
Priority to EP14845972.0A priority Critical patent/EP3048814B1/en
Priority to US15/022,922 priority patent/US9961469B2/en
Priority to KR1020217003585A priority patent/KR102294100B1/ko
Priority to KR1020167006858A priority patent/KR101815079B1/ko
Priority to KR1020177037593A priority patent/KR102215129B1/ko
Priority to CN201480051253.XA priority patent/CN105706468B/zh
Publication of WO2015041477A1 publication Critical patent/WO2015041477A1/ko
Priority to US15/942,588 priority patent/US10455346B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0223—Computation saving measures; Accelerating measures
    • H03H17/0227—Measures concerning the coefficients
    • H03H17/0229—Measures concerning the coefficients reducing the number of taps
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H03H17/0264—Filter sets with mutual related characteristics
    • H03H17/0266—Filter banks
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H03H17/0264—Filter sets with mutual related characteristics
    • H03H17/0272—Quadrature mirror filters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00—Adaptive networks
    • H03H21/0012—Digital adaptive filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Definitions

  • the present invention relates to a signal processing method and apparatus for effectively reproducing an audio signal. More particularly, the present invention relates to audio signal processing for realizing binaural rendering for reproducing a multi-channel or multi-object audio signal in stereo. A method and apparatus are disclosed.
  • Binaural rendering for listening to a multi-channel signal in stereo has a problem that requires more computation as the length of the target filter increases.
  • the length may range from 48,000 to 96,000 samples.
  • the amount of calculation is huge.
  • binaural filtering can be expressed as follows.
  • the above time-domain convolution is generally performed using fast convolution based on the Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • an FFT corresponding to the number of input channels and an inverse FFT transform corresponding to the number of output channels must be performed.
  • delay must be taken into account, so block-wise fast convolution must be performed, which is more than simply fast convolution over the entire length. The amount of computation can be consumed.
  • a filtering process requiring a large amount of computation in binaural rendering to preserve a stereoscopic effect such as an original signal can be implemented with a very low computational amount while minimizing sound loss. Has a purpose.
  • the present invention has an object to minimize the diffusion of distortion through a high quality filter when there is distortion in the input signal itself.
  • the present invention has an object to implement a finite impulse response (FIR) filter having a very long length to a filter of a smaller length.
  • FIR finite impulse response
  • the present invention has an object to minimize the distortion of the portion damaged by the missing filter coefficients when performing the filtering using the abbreviated FIR filter.
  • the present invention provides an audio signal processing method and an audio signal processing apparatus as follows.
  • the present invention comprises the steps of receiving a multi-audio signal including a multi-channel or multi-object signal; Receiving truncated subband filter coefficients for filtering the multi audio signal, wherein the truncated subband filter coefficients are obtained from a Binaural Room Impulse Response (BRIR) filter coefficient for binaural filtering of the multi audio signal At least one portion of a subband filter coefficient, wherein the length of the truncated subband filter coefficient is determined based on filter order information obtained by using at least part of the characteristic information extracted from the corresponding subband filter coefficient, The length of the truncated subband filter coefficients is different from the length of the truncated subband filter coefficients of other subbands; And filtering the subband signal using the truncated subband filter coefficients corresponding to each subband signal of the multi audio signal. It provides an audio signal processing method comprising a.
  • BRIR Binaural Room Impulse Response
  • an audio signal processing apparatus for performing binaural rendering on a multi-audio signal including a multi-channel or multi-object signal, wherein the multi-audio signal includes a plurality of subband signals, respectively.
  • a fast convolution unit for performing rendering of the direct sound and early reflection sound parts for the apparatus;
  • a late reverberation generator for performing rendering of late reverberation parts for the respective subband signals, wherein the fast convolution unit receives truncated subband filter coefficients for filtering the multi-audio signal, wherein the truncation is performed.
  • the subband filter coefficients are at least a portion of the subband filter coefficients obtained from the Binaural Room Impulse Response (BRIR) filter coefficients for binaural filtering of the multi-audio signal, and the length of the truncated subband filter coefficients is corresponding to the subband filter coefficients.
  • the length of at least one truncated subband filter coefficient is determined based on the filter order information obtained by using the characteristic information extracted from the subband filter coefficients, at least in part. Different in length, the truncated corresponding to each subband signal of the multi audio signal
  • An audio signal processing apparatus is characterized by filtering the subband signal using subband filter coefficients.
  • the characteristic information may include first reverberation time information of a corresponding subband filter coefficient, and the filter order information may have one value for each subband.
  • the length of the truncated subband filter is characterized in that it has a multiple of the power of two.
  • the plurality of subband filter coefficients and the plurality of subband signals each include a first subband group having a low frequency and a second subband group having a high frequency based on a preset frequency band.
  • the filtering may be performed on truncated subband filter coefficients and subband signals of the first subband group.
  • the filtering is performed by using the front subband filter coefficients truncated based at least in part on the first reverberation time information of the corresponding subband filter coefficients. And reverberation processing of the subband signal corresponding to the section after the front subband filter coefficient.
  • the reverberation processing may include receiving downmix subband filter coefficients for each subband, and the downmix subband filter coefficients combine rear subband filter coefficients for each channel or each object of the corresponding subband.
  • the rear subband filter coefficients are obtained from an interval after the front subband filter coefficients among the corresponding subband filter coefficients; Generating a downmix subband signal for each subband, wherein the downmix subband signal is generated by downmixing subband signals for each channel or for each object of the corresponding subband; And generating two channels of left and right subband reverberation signals using the downmix subband signal and the downmix subband filter coefficients corresponding thereto.
  • the downmix subband signal is a mono subband signal
  • the downmix subband filter coefficients reflect energy reduction characteristics of the reverberation unit for the corresponding subband signal
  • the filtered mono sub Generating a decorrelation signal for the band signal; And generating left and right signals of two channels by performing weighted summation between the filtered mono subband signal and the decorrelation signal.
  • each of the multi-audio signal includes a plurality of subband signals, the plurality of subband signals are preset A low frequency first subband group signal and a high frequency second subband group signal based on the frequency band;
  • BRIR binaural room impulse response
  • an audio signal processing apparatus for performing binaural rendering on a multi-audio signal including a multi-channel or multi-object signal, wherein the multi-audio signal includes a plurality of subband signals, respectively, and the plurality of subbands.
  • Signals include a signal of a first subband group of a low frequency and a signal of a second subband group of a high frequency based on a preset frequency band, and perform rendering of each subband signal of the first subband group.
  • High speed convolution unit for; And a tap-delay line processing unit for performing rendering on each subband signal of the second subband group, wherein the tap-delay line processing unit corresponds to each subband signal of the second subband group.
  • the present invention provides an audio signal processing apparatus characterized by performing tap-delay line filtering on a subband signal of the second subband group.
  • the parameter may include one delay information of a corresponding BRIR subband filter coefficient and one gain information corresponding to the delay information.
  • the tap-delay line filtering is one-tap-delay line filtering using the parameter.
  • the delay information may indicate position information on the maximum peak among the BRIR subband filter coefficients.
  • the delay information is characterized by having an integer value of a sample unit in the QMF domain.
  • the gain information is characterized by having a complex value.
  • the method comprises the steps of: summing up the filtered multi audio signal into two channel left and right subband signals for each subband; Combining the summed left and right subband signals with left and right subband signals generated from the multi-audio signals of the first subband group; And QMF synthesizing the combined left and right subband signals, respectively. It characterized in that it further comprises.
  • a method including: receiving a multimedia signal having a plurality of subbands; Receiving at least one prototype-type rendering filter coefficient for filtering each subband signal of the multimedia signal; Converting the circular rendering filter coefficients into a plurality of subband filter coefficients; Cutting each of the subband filter coefficients based on filter order information obtained by using at least part of the characteristic information extracted from the corresponding subband filter coefficients, the length of at least one of the truncated subband filter coefficients being different from each other Different from the length of the truncated subband filter coefficients of the band; And filtering the multimedia signal using the truncated subband filter coefficients corresponding to the respective subband signals. It provides a multimedia signal processing method comprising a.
  • a multimedia signal processing apparatus having a plurality of subbands, the apparatus comprising: receiving at least one prototype rendering filter coefficient for filtering each subband signal of the multimedia signal; Converting each subband filter coefficient into subband filter coefficients, and truncating each subband filter coefficient based on at least partially the filter order information obtained by using the characteristic information extracted from the corresponding subband filter coefficients; A parameterization unit having a length different from that of the truncated subband filter coefficients of other subbands; And a rendering unit for receiving the multimedia signal and filtering the multimedia signal using the truncated subband filter coefficients corresponding to the respective subband signals.
  • the multimedia signal includes a multi-channel or multi-object signal
  • the circular rendering filter coefficients are BRIR filter coefficients in the time domain.
  • the characteristic information may include energy decay time information of a corresponding subband filter coefficient, and the filter order information may have one value for each subband.
  • each of the multi-audio signal includes a plurality of subband signal, the plurality of subband signal is A low frequency first subband group signal and a high frequency second subband group signal based on the set frequency band;
  • Receiving truncated subband filter coefficients for filtering the multi-audio signal of the first subband group wherein the truncated subband filter coefficients are BRIR (Binaural Room Impulse) for binaural filtering of the multi-audio signal Response) at least a portion of the subband filter coefficients of the first subband group obtained from the filter coefficients, and the length of the truncated subband filter coefficients is obtained using at least partially the characteristic information extracted from the corresponding subband filter coefficients Determined based on filtered filter order information;
  • And filtering the subband signals of the first subband group using the truncated subband filter coefficients wherein the truncated subband filter coefficients are BRIR (Binaural Room Impulse) for binaural filtering of the multi-audio signal
  • an audio signal processing apparatus for performing binaural rendering on a multi-audio signal including a multi-channel or multi-object signal, wherein the multi-audio signal includes a plurality of subband signals, respectively, and the plurality of subbands.
  • Signals include a signal of a first subband group of a low frequency and a signal of a second subband group of a high frequency based on a preset frequency band, and perform rendering of each subband signal of the first subband group.
  • High speed convolution unit for; And a tap-delay line processing unit for performing rendering of each subband signal of the second subband group
  • the fast convolution unit comprises: truncation for filtering the multi-audio signal of the first subband group Received subband filter coefficients, wherein the truncated subband filter coefficients are subband filter coefficients of a first subband group obtained from binaural room impulse response (BRIR) filter coefficients for binaural filtering of the multi-audio signal
  • BRIR binaural room impulse response
  • the processing unit may receive at least one parameter corresponding to each subband signal of the second subband group, wherein the at least one parameter corresponds to each subband signal of the second subband group.
  • Impulse Response An audio signal processing apparatus is extracted from subband filter coefficients and performs tap-delay line filtering on subband signals of the second subband group using the received parameters.
  • the left and right subband signals of the two channels generated by filtering the subband signals of the first subband group and the left and right channels of the two channels generated by tap-delay line filtering of the subband signals of the second subband group.
  • the amount of computation can be dramatically lowered while minimizing sound loss when performing binaural rendering on a multichannel or multiobject signal.
  • FIG. 1 is a block diagram illustrating an audio signal decoder according to an embodiment of the present invention.
  • Figure 2 is a block diagram showing each configuration of the binaural renderer according to an embodiment of the present invention.
  • 3 to 7 illustrate various embodiments of an audio signal processing apparatus according to the present invention.
  • FIGS. 8 to 10 are diagrams illustrating a method for generating an FIR filter for binaural rendering according to an embodiment of the present invention.
  • 11 to 14 illustrate various embodiments of the P-part rendering unit of the present invention.
  • the audio signal decoder of the present invention includes a core decoder 10, a rendering unit 20, a mixer 30, and a post processing unit 40.
  • the core decoder 10 decodes a loudspeaker channel signal, a discrete object signal, an object downmix signal, a pre-rendered signal, and the like.
  • the core decoder 10 may use a Unified Speech and Audio Coding (USAC) based codec.
  • USAC Unified Speech and Audio Coding
  • the rendering unit 20 renders the signal decoded by the core decoder 10 using reproduction layout information.
  • the rendering unit 20 may include a format converter 22, an object renderer 24, an OAM decoder 25, a SAOC decoder 26, and a HOA decoder 28.
  • the rendering unit 20 performs rendering using any one of the above configurations according to the type of the decoded signal.
  • the format converter 22 converts the transmitted channel signal into an output speaker channel signal. That is, the format converter 22 performs conversion between the transmitted channel configuration and the speaker channel configuration to be reproduced. If the number of output speaker channels (such as 5.1 channels) is less than the number of transmitted channels (such as 22.2 channels) or the transmitted channel configuration is different from the channel configuration to be reproduced, the format converter 22 transmits the transmitted channel. Perform a downmix on the signal.
  • the audio signal decoder of the present invention may generate an optimal downmix matrix using a combination of an input channel signal and an output speaker channel signal, and perform a downmix using the matrix.
  • the channel signal processed by the format converter 22 may include a pre-rendered object signal.
  • at least one object signal may be pre-rendered and mixed with the channel signal before encoding the audio signal.
  • the mixed object signal may be converted into an output speaker channel signal by the format converter 22 together with the channel signal.
  • the object renderer 24 and the SAOC decoder 26 perform rendering for the object based audio signal.
  • the object-based audio signal may include individual object waveforms and parametric object waveforms.
  • each object signal is provided to the encoder as a monophonic waveform, and the encoder transmits the respective object signals using single channel elements (SCEs).
  • SCEs single channel elements
  • a parametric object waveform a plurality of object signals are downmixed into at least one channel signal, and characteristics of each object and a relationship between them are represented by a spatial audio object coding (SAOC) parameter.
  • SAOC spatial audio object coding
  • compressed object metadata corresponding thereto may be transmitted together.
  • Object metadata quantizes object attributes in units of time and space to specify the position and gain of each object in three-dimensional space.
  • the OAM decoder 25 of the rendering unit 20 receives the compressed object metadata, decodes it, and passes it to the object renderer 24 and / or the SAOC decoder 26.
  • the object renderer 24 uses object metadata to render each object signal in accordance with a given playback format.
  • each object signal may be rendered to specific output channels based on the object metadata.
  • the SAOC decoder 26 recovers the object / channel signal from the decoded SAOC transport channels and parametric information.
  • the SAOC decoder 26 may generate an output audio signal based on the reproduction layout information and the object metadata. As such, the object renderer 24 and the SAOC decoder 26 may render the object signal as a channel signal.
  • the HOA decoder 28 receives a Higher Order Ambisonics (HOA) signal and HOA side information and decodes it.
  • the HOA decoder 28 generates a sound scene by modeling a channel signal or an object signal with a separate equation. When the location of the speaker in the generated sound scene is selected, rendering may be performed with the speaker channel signal.
  • HOA Higher Order Ambisonics
  • DRC dynamic range control
  • the channel-based audio signal and the object-based audio signal processed by the rendering unit 20 are transferred to the mixer 30.
  • the mixer 30 adjusts delays of the channel-based waveform and the rendered object waveform and sums them in units of samples.
  • the audio signal summed by the mixer 30 is passed to the post processing unit 40.
  • the post processing unit 40 includes a speaker renderer 100 and a binaural renderer 200.
  • the speaker renderer 100 performs post processing for outputting the multichannel and / or multiobject audio signal transmitted from the mixer 30.
  • Such post processing may include dynamic range control (DRC), loudness normalization (LN) and peak limiter (PL).
  • DRC dynamic range control
  • LN loudness normalization
  • PL peak limiter
  • the binaural renderer 200 generates a binaural downmix signal of the multichannel and / or multiobject audio signal.
  • the binaural downmix signal is a two-channel audio signal such that each input channel / object signal is represented by a virtual sound source located in three dimensions.
  • the binaural renderer 200 may receive an audio signal supplied to the speaker renderer 100 as an input signal.
  • Binaural rendering is performed based on a Binaural Room Impulse Response (BRIR) filter and may be performed on a time domain or a QMF domain.
  • BRIR Binaural Room Impulse Response
  • DRC dynamic range control
  • LN volume normalization
  • PL peak limit
  • the binaural renderer 200 is a BRIR parameterization unit 210, high-speed convolution unit 230, late reverberation generation unit 240, QTDL processing unit 250, Mixer & combiner 260 may be included.
  • the binaural renderer 200 performs binaural rendering on various types of input signals to generate 3D audio headphone signals (ie, 3D audio two channel signals).
  • the input signal may be an audio signal including at least one of a channel signal (ie, a speaker channel signal), an object signal, and a HOA signal.
  • the binaural renderer 200 when the binaural renderer 200 includes a separate decoder, the input signal may be an encoded bitstream of the aforementioned audio signal.
  • Binaural rendering converts the decoded input signal into a binaural downmix signal, so that the surround sound can be experienced while listening to the headphones.
  • the binaural renderer 200 may perform binaural rendering of the input signal on the QMF domain.
  • the binaural renderer 200 may receive a multi-channel (N channels) signal of a QMF domain and perform binaural rendering on the multi-channel signal using a BRIR subband filter of the QMF domain.
  • Is Is the time domain BRIR filter transformed into a subband filter in the QMF domain.
  • binaural rendering may be performed by dividing a channel signal or an object signal of a QMF domain into a plurality of subband signals, convolving each subband signal with a corresponding BRIR subband filter, and then summing them.
  • the BRIR parameterization unit 210 converts and edits BRIR filter coefficients and generates various parameters for binaural rendering in the QMF domain.
  • the BRIR parameterization unit 210 receives time domain BRIR filter coefficients for a multichannel or multiobject and converts them into QMF domain BRIR filter coefficients.
  • the QMF domain BRIR filter coefficients include a plurality of subband filter coefficients respectively corresponding to the plurality of frequency bands.
  • the subband filter coefficients indicate each BRIR filter coefficient of the QMF transformed subband domain.
  • Subband filter coefficients may also be referred to herein as BRIR subband filter coefficients.
  • the BRIR parameterization unit 210 may edit the plurality of BRIR subband filter coefficients of the QMF domain, respectively, and transmit the edited subband filter coefficients to the high speed convolution unit 230.
  • the BRIR parameterization unit 210 may be included as one component of the binaural renderer 200, or may be provided as a separate device.
  • the configuration including the high-speed convolution unit 230, the late reverberation generation unit 240, the QTDL processing unit 250, the mixer & combiner 260 except for the BRIR parameterization unit 210 is The binaural rendering unit 220 may be classified.
  • the BRIR parameterization unit 210 may receive, as an input, a BRIR filter coefficient corresponding to at least one position of the virtual reproduction space.
  • Each position of the virtual reproduction space may correspond to each speaker position of the multichannel system.
  • each BRIR filter coefficient received by the BRIR parameterization unit 210 may be directly matched to each channel or each object of the input signal of the binaural renderer 200.
  • each of the received BRIR filter coefficients may have a configuration independent of the input signal of the binaural renderer 200.
  • the BRIR filter coefficients received by the BRIR parameterization unit 210 may not directly match the input signal of the binaural renderer 200, and the number of received BRIR filter coefficients may correspond to the channel of the input signal and / or Or it may be smaller or larger than the total number of objects.
  • the BRIR parameterization unit 210 converts and edits the BRIR filter coefficients corresponding to each channel or each object of the input signal of the binaural renderer 200 to perform the binaural rendering unit 220.
  • the corresponding BRIR filter coefficients may be matching BRIR or fallback BRIR for each channel or each object.
  • BRIR matching may be determined according to whether or not there is a BRIR filter coefficient targeting the position of each channel or each object in the virtual reproduction space. If there is a BRIR filter coefficient targeting at least one of each channel or the position of each object of the input signal, the corresponding BRIR filter coefficient may be a matching BRIR of the input signal.
  • the binaural rendering unit 220 assigns the BRIR filter coefficients targeting the position most similar to that channel or object to the corresponding channel or object. Can be provided as a fallback for BRIR.
  • the BRIR parameterization unit 210 may convert and edit all of the received BRIR filter coefficients and transmit the converted BRIR filter coefficients to the binaural rendering unit 220.
  • the screening operation of the BRIR filter coefficients (or the edited BRIR filter coefficients) corresponding to each channel or each object of the input signal may be performed by the binaural rendering unit 220.
  • the binaural rendering unit 220 includes a high speed convolution unit 230, a late reverberation generation unit 240, and a QTDL processing unit 250, and outputs a multi audio signal including a multichannel and / or multiobject signal. Receive.
  • an input signal including a multichannel and / or multiobject signal is referred to as a multi audio signal.
  • the binaural rendering unit 220 receives the multi-channel signal of the QMF domain according to an embodiment.
  • the input signal of the binaural rendering unit 220 may be a time domain multi-channel signal and a multi-channel. Object signals and the like.
  • the input signal may be an encoded bitstream of the multi audio signal.
  • the present invention will be described based on the case of performing BRIR rendering on the multi-audio signal, but the present invention is not limited thereto. That is, the features provided by the present invention may be applied to other types of rendering filters other than BRIR, and may be applied to an audio signal of a single channel or a single object rather than a multi-audio signal.
  • the fast convolution unit 230 performs fast convolution between the input signal and the BRIR filter to process direct sound and early reflection on the input signal.
  • the high speed convolution unit 230 may perform high speed convolution using a truncated BRIR.
  • the truncated BRIR includes a plurality of subband filter coefficients truncated depending on each subband frequency, and is generated by the BRIR parameterization unit 210. In this case, the length of each truncated subband filter coefficient is determined depending on the frequency of the corresponding subband.
  • the fast convolution unit 230 may perform variable order filtering in the frequency domain by using truncated subband filter coefficients having different lengths according to subbands.
  • fast convolution may be performed between the QMF domain subband audio signal and the truncated subband filters of the corresponding QMF domain for each frequency band.
  • the direct sound & early reflection (D & E) part may be referred to as a front part.
  • the late reverberation generator 240 generates a late reverberation signal with respect to the input signal.
  • the late reverberation signal represents an output signal after the direct sound and the initial reflection sound generated by the fast convolution unit 230.
  • the late reverberation generator 240 may process the input signal based on the reverberation time information determined from each subband filter coefficient transmitted from the BRIR parameterization unit 210.
  • the late reverberation generator 240 may generate a mono or stereo downmix signal for the input audio signal and perform late reverberation processing on the generated downmix signal.
  • the late reverberation (LR) part herein may be referred to as a parametric (P) -part.
  • the QMF domain trapped delay line (QTDL) processing unit 250 processes a signal of a high frequency band among the input audio signals.
  • the QTDL processing unit 250 receives at least one parameter corresponding to each subband signal of a high frequency band from the BRIR parameterization unit 210 and performs tap-delay line filtering in the QMF domain using the received parameter.
  • the binaural renderer 200 separates the input audio signal into a low frequency band signal and a high frequency band signal based on a predetermined constant or a predetermined frequency band, and the low frequency band signal is a high speed signal.
  • the high frequency band signal may be processed by the QTDL processing unit 250, respectively.
  • the fast convolution unit 230, the late reverberation generator 240, and the QTDL processing unit 250 output two QMF domain subband signals, respectively.
  • the mixer & combiner 260 performs mixing by combining the output signal of the fast convolution unit 230, the output signal of the late reverberation generator 240, and the output signal of the QTDL processing unit 250. At this time, the combination of the output signal is performed separately for the left and right output signals of the two channels.
  • the binaural renderer 200 QMF synthesizes the combined output signal to produce a final output audio signal in the time domain.
  • the audio signal processing apparatus may refer to the binaural renderer 200 or the binaural rendering unit 220 illustrated in FIG. 2.
  • the audio signal processing apparatus may broadly refer to the audio signal decoder of FIG. 1 including a binaural renderer.
  • Each binaural renderer illustrated in FIGS. 3 to 7 may represent only a partial configuration of the binaural renderer 200 illustrated in FIG. 2 for convenience of description.
  • an embodiment of a multichannel input signal may be mainly described, but unless otherwise stated, the channel, multichannel, and multichannel input signals respectively include an object, a multiobject, and a multiobject input signal. Can be used as a concept.
  • the multichannel input signal may be used as a concept including a HOA decoded and rendered signal.
  • FIG. 3 illustrates a binaural renderer 200A according to an embodiment of the present invention.
  • Generalizing binaural rendering using BRIR is M-to-O processing to obtain O output signals for multi-channel input signals with M channels.
  • Binaural filtering can be regarded as filtering using filter coefficients corresponding to each input channel and output channel in this process.
  • the original filter set H denotes transfer functions from the speaker position of each channel signal to the left and right ear positions.
  • One of these transfer functions measured in a general listening room, that is, a room with reverberation, is called a Binaural Room Impulse Response (BRIR).
  • BRIR Binaural Room Impulse Response
  • the BRIR contains not only the direction information but also the information of the reproduction space.
  • the HRTF and an artificial reverberator may be used to replace the BRIR.
  • a binaural rendering using BRIR will be described.
  • the present invention is not limited thereto, and the present invention is equally applicable to binaural rendering using various types of FIR filters.
  • the BRIR may have a length of 96K samples, and multi-channel binaural rendering is performed using M * O different filters, thus requiring a high throughput process.
  • the BRIR parameterization unit 210 may generate modified filter coefficients from the original filter set H to optimize the calculation amount.
  • the BRIR parameterization unit 210 separates the original filter coefficients into F (front) -part coefficients and P (parametric) -part coefficients.
  • the F-part represents the direct sound and the early reflection sound (D & E) part
  • the P-part represents the late reverberation (LR) part.
  • an original filter coefficient having a 96K sample length may be separated into an F-part cut only up to the previous 4K sample and a P-part corresponding to the remaining 92K sample.
  • the binaural rendering unit 220 receives the F-part coefficients and the P-part coefficients from the BRIR parameterization unit 210 and renders the multi-channel input signal using the F-part coefficients.
  • the fast convolution unit 230 illustrated in FIG. 2 renders a multi-audio signal using the F-part coefficient received from the BRIR parameterization unit 210, and generates a late reverberation generator 240.
  • F-part rendering (binaural rendering using F-part coefficients) is implemented with a conventional Finite Impulse Response (FIR) filter, and P-part rendering (binaural using P-part coefficients). Rendering) can be implemented in a parametric way.
  • FIR Finite Impulse Response
  • P-part rendering (binaural using P-part coefficients). Rendering) can be implemented in a parametric way.
  • the complexity-quality control input provided by the user or control system may be used to determine the information generated by the F-part and / or P-part.
  • FIG. 4 illustrates a more detailed method of implementing F-part rendering as a binaural renderer 200B according to another embodiment of the present invention.
  • the P-part rendering unit is omitted in FIG. 4.
  • FIG. 4 shows a filter implemented in the QMF domain, the present invention is not limited thereto and may be applicable to all subband processing of other domains.
  • F-part rendering may be performed by the fast convolution unit 230 on the QMF domain.
  • the QMF analyzer 222 performs time domain input signals x0, x1,... x_M-1 is the QMF domain signal X0, X1,... Convert to X_M-1.
  • the input signals x0, x1,... x_M-1 may be a multi-channel audio signal, for example, a channel signal corresponding to a 22.2 channel speaker.
  • the QMF domain may use 64 subbands in total, but the present invention is not limited thereto.
  • the QMF analyzer 222 may be omitted from the binaural renderer 200B.
  • the binaural renderer 200B directly performs QMF domain signals X0, X1,... Without QMF analysis.
  • X_M-1 can be received as an input. Therefore, when receiving the QMF domain signal as an input directly, the QMF used in the binaural renderer according to the present invention is characterized in that it is the same as the QMF used in the previous processing unit (for example, SBR).
  • the QMF synthesizing unit 244 performs QMF synthesizing of the left and right signals Y_L and Y_R of the two channels on which the binaural rendering is performed to generate the two-channel output audio signals yL and yR of the time domain.
  • 5 through 7 illustrate embodiments of binaural renderers 200C, 200D, and 200E that perform F-part rendering and P-part rendering, respectively.
  • the F-part rendering is performed by the fast convolution unit 230 on the QMF domain
  • the P-part rendering is performed by the late reverberation generation unit 240 on the QMF domain or the time domain. do.
  • FIGS. 5 to 7 detailed description of parts overlapping with the embodiments of the previous drawings will be omitted.
  • the binaural renderer 200C may perform both F-part rendering and P-part rendering in the QMF domain. That is, the QMF analysis unit 222 of the binaural renderer 200C receives the time domain input signals x0, x1,... x_M-1 is the QMF domain signal X0, X1,... X_M-1 is converted to the high speed convolution unit 230 and the late reverberation generation unit 240, respectively.
  • the high speed convolution unit 230 and the late reverberation generation unit 240 perform the QMF domain signals X0, X1,... Render X_M-1 to generate two channels of output signals Y_L, Y_R and Y_Lp and Y_Rp, respectively.
  • the fast convolution unit 230 and the late reverberation generator 240 may perform rendering using the F-part filter coefficients and the P-part filter coefficients received by the BRIR parameterization unit 210, respectively.
  • the output signals Y_L, Y_R of the F-part rendering and the output signals Y_Lp, Y_Rp of the P-part rendering are combined by the left and right channels in the mixer & combiner 260 and transmitted to the QMF synthesis unit 224.
  • the QMF synthesizing unit 224 QMF synthesizes the input two left and right signals to generate two channel output audio signals yL and yR in the time domain.
  • the binaural renderer 200D may perform F-part rendering in the QMF domain and P-part rendering in the time domain, respectively.
  • the QMF analyzer 222 of the binaural renderer 200D QMF-converts the time domain input signal to the fast convolution unit 230.
  • the fast convolution unit 230 generates the output signals Y_L and Y_R of two channels by F-part rendering the QMF domain signal.
  • the QMF synthesizing unit 224 converts the output signal of the F-part rendering into a time domain output signal and delivers it to the mixer & combiner 260.
  • the late reverberation generator 240 directly receives the time domain input signal and performs P-part rendering.
  • the output signals yLp and yRp of the P-part rendering are sent to the mixer & combiner 260.
  • the mixer & combiner 260 combines the F-part rendering output signal and the P-part rendering output signal in the time domain, respectively, to generate the two-channel output audio signals yL and yR in the time domain.
  • the F-part rendering and the P-part rendering are performed in parallel, respectively.
  • the binaural renderer 200E performs the F-part rendering.
  • P-part rendering can be performed sequentially, respectively. That is, the fast convolution unit 230 performs F-part rendering on the QMF-converted input signal, and the F-part rendered two-channel signals Y_L and Y_R are converted into time domain signals by the QMF synthesis unit 224 and then late reverberation. It may be delivered to the generation unit 240.
  • the late reverberation generator 240 performs P-part rendering on the input two-channel signal to generate two-channel output audio signals yL and yR in the time domain.
  • 5 to 7 illustrate an embodiment of performing F-part rendering and P-part rendering, respectively, and binaural rendering may be performed by combining or modifying the embodiments of each drawing.
  • the binaural renderer may perform P-part rendering for each of the input multi-audio signals separately, but downmixes the input signal to two channels of left, right or mono signals and then down P-part rendering may be performed on the mixed signal.
  • 8 to 10 illustrate a method for generating an FIR filter for binaural rendering according to an embodiment of the present invention.
  • an FIR filter converted to a plurality of subband filters of the QMF domain may be used for binaural rendering in the QMF domain.
  • subband filters truncated depending on the subband frequencies may be used for F-part rendering. That is, the fast convolution unit of the binaural renderer may perform variable order filtering in the QMF domain by using truncated subband filters having different lengths according to subbands. 8 to 10 described below may be performed by the BRIR parameterization unit 210 of FIG. 2.
  • FIG. 8 shows an embodiment of the length according to each QMF band of the QMF domain filter used for binaural rendering.
  • the FIR filter is converted into I QMF subband filters
  • Fi represents the truncated subband filter of QMF subband i.
  • the QMF domain may use 64 subbands in total, but the present invention is not limited thereto.
  • N represents the length (number of taps) of the original subband filter
  • the length of the truncated subband filter is represented by N1, N2, and N3, respectively. Where the lengths N, N1, N2 and N3 represent the number of taps in the downsampled QMF domain.
  • truncated subband filters having different lengths N1, N2, N3 according to each subband may be used for F-part rendering.
  • the truncated subband filter is a front filter cut from the original subband filter, and may also be referred to as a front subband filter.
  • the rear after truncation of the original subband filter may be referred to as a rear subband filter and may be used for P-part rendering.
  • the filter order for each subband may include parameters extracted from the original BRIR filter, for example, reverberation time (RT) information for each subband filter, and EDC (Energy). Decay Curve) value, energy decay time information and the like can be determined.
  • the reverberation time may vary from frequency to frequency, due to the acoustic characteristics of the attenuation in the air for each frequency, the sound absorption of the wall and ceiling material is different. In general, a lower frequency signal has a longer reverberation time. Long reverberation time means that a lot of information remains behind the FIR filter.
  • each truncated subband filter of the present invention is determined based at least in part on the characteristic information (eg, reverberation time information) extracted from the subband filter.
  • each subband may be classified into a plurality of groups, and the length of each truncated subband filter may be determined according to the classified group.
  • each subband may be classified into three zones (Zone 1, Zone 2, and Zone 3), wherein the truncated subband filters of Zone 1 corresponding to the low frequency are Zone corresponding to the high frequency. It may have a longer filter order (ie, filter length) than truncated subband filters of 2 and Zone 3. Also, as the high frequency zone goes, the filter order of the truncated subband filter in that zone may gradually decrease.
  • the length of each truncated subband filter may be determined independently and variably for each subband according to the characteristic information of the original subband filter.
  • the length of each truncated subband filter is determined based on the truncation length determined in that subband and is not affected by the length of the truncated subband filter of neighboring or other subbands.
  • the length of some or all truncated subband filters of Zone 2 may be longer than the length of at least one truncated subband filter of Zone 1.
  • frequency domain variable order filtering may be performed only on a part of subbands classified into a plurality of groups. That is, truncated subband filters having different lengths may be generated only for subbands belonging to some of the classified at least two groups.
  • the group in which the truncated subband filter is generated may be a subband group classified into a low frequency band (for example, Zone 1) based on a preset constant or a preset frequency band.
  • the length of the truncated filter may be determined based on additional information obtained by the audio signal processing apparatus, such as complexity of the decoder, complexity level (profile), or required quality information.
  • the complexity may be determined according to hardware resources of the audio signal processing apparatus or based on a value directly input by the user.
  • the quality may be determined according to a user's request, or may be determined by referring to a value transmitted through the bitstream or other information included in the bitstream.
  • the quality may be determined according to an estimated value of the quality of the transmitted audio signal. For example, the higher the bit rate, the higher the quality.
  • the length of each truncated subband filter may increase proportionally according to complexity and quality, or may vary at different rates for each band.
  • each truncated subband filter may be determined as a multiple of a power unit, for example, a power of 2, so as to obtain an additional gain by high-speed processing such as an FFT described later.
  • the length of the truncated subband filter may be adjusted to the length of the actual subband filter.
  • the BRIR parameterization unit generates truncated subband filter coefficients (F-part coefficients) corresponding to each truncated subband filter determined according to the above-described embodiment, and transfers them to the fast convolution unit.
  • the fast convolution unit performs frequency domain variable order filtering on each subband signal of the multi-audio signal using the truncated subband filter coefficients.
  • FIG. 9 shows another embodiment of the length of each QMF band of the QMF domain filter used for binaural rendering.
  • the same or corresponding parts as those of the embodiment of FIG. 8 will be omitted.
  • Fi_L and Fi_R represent truncated subband filters (front subband filters) used for F-part rendering of QMF subband i, respectively, and Pi is used for P-part rendering of QMF subband i.
  • N denotes the length (number of taps) of the original subband filter
  • NiF and NiP denote lengths of the front subband filter and the rear subband filter of subband i, respectively.
  • NiF and NiP represent the number of taps in the down sampled QMF domain.
  • the length of the rear subband filter as well as the front subband filter may be determined based on parameters extracted from the original subband filter. That is, the lengths of the front subband filter and the rear subband filter of each subband are determined based at least in part on the characteristic information extracted from the corresponding subband filter. For example, the length of the front subband filter may be determined based on the first reverberation time information of the corresponding subband filter, and the length of the rear subband filter may be determined based on the second reverberation time information.
  • the front subband filter is a filter of the front part cut based on the first reverberation time information in the original subband filter
  • the rear subband filter is a section after the front subband filter between the first reverberation time and the second reverberation time.
  • the filter may be a later part corresponding to the interval of.
  • the first reverberation time information may be RT20 and the second reverberation time information may be RT60, but the present invention is not limited thereto.
  • the second reverberation time there is a portion that switches from the early reflection part to the late reverberation part.
  • a point of transition from a section having a deterministic characteristic to a section having a stochastic characteristic is called a mixing time in view of the BRIR of the entire band.
  • information that provides directionality for each position is mainly present, which is unique for each channel.
  • the late reverberation part since the late reverberation part has a common characteristic for each channel, it may be efficient to process a plurality of channels at once. Therefore, it is possible to estimate the mixing time for each subband and perform fast convolution through the F-part rendering before the mixing time, and perform the processing reflecting the common characteristics of each channel through the P-part rendering after the mixing time. have.
  • the length of the F-part that is, the length of the front subband filter may be longer or shorter than the length corresponding to the mixing time according to the complexity-quality control.
  • the model of reducing the filter of the subband to a lower order is possible.
  • a typical method is FIR filter modeling using frequency sampling, and it is possible to design a filter that is minimized in terms of least squares.
  • the lengths of the front subband filter and / or the rear subband filter for each subband may have the same value for each channel of the corresponding subband.
  • the length of the filter may be determined based on the inter-channel or sub-band interrelationships to reduce this effect.
  • the BRIR parameterization unit extracts first characteristic information (eg, first reverberation time information) from subband filters corresponding to respective channels of the same subband, and combines the extracted first characteristic information.
  • One piece of filter order information (or first truncation point information) for the corresponding subband may be obtained.
  • the front subband filter for each channel of the corresponding subband may be determined to have the same length based on the obtained filter order information (or the first truncation point information).
  • the BRIR parameterization unit extracts second characteristic information (eg, second reverberation time information) from subband filters corresponding to respective channels of the same subband, and combines the extracted second characteristic information to correspond to the corresponding subbands.
  • Second cut point information to be commonly applied to a rear subband filter corresponding to each channel of may be obtained.
  • the front subband filter is a front filter cut based on the first cut point information in the original subband filter
  • the rear subband filter is a section after the front subband filter between the first cut point and the second cut point. Can be the latter filter corresponding to the interval of
  • only F-part processing may be performed on subbands of a specific subband group.
  • the processing when the processing is performed using only the filter up to the first truncation point for the corresponding subband, the user may be perceived by the energy difference of the filter processed compared to when the processing is performed using the entire subband filter. This level of distortion can occur.
  • energy compensation may be performed for regions not used for processing in the corresponding subband filter, that is, regions after the first cutting point.
  • the energy compensation can be performed by dividing the F-part coefficients (front subband filter coefficients) by the filter power up to the first truncation point of the corresponding subband filter and multiplying the energy of the desired area, ie the total power of the corresponding subband filter. Do.
  • the energy of the F-part coefficients can be adjusted to be equal to the energy of the entire subband filter.
  • the binaural rendering unit may not perform the P-part processing based on the complexity-quality control. In this case, the binaural rendering unit may perform the energy compensation for the F-part coefficients using the P-part coefficients.
  • the filter coefficients of truncated subband filters having different lengths for each subband are obtained from one time-domain filter (ie, proto-type filter). That is, since one time-domain filter is converted into a plurality of QMF subband filters and the lengths of the filters corresponding to each subband are varied, each truncated subband filter is obtained from one circular filter.
  • one time-domain filter ie, proto-type filter
  • the BRIR parameterization unit generates front subband filter coefficients (F-part coefficients) corresponding to each front subband filter determined according to the above-described embodiment, and transfers them to the fast convolution unit.
  • the fast convolution unit performs frequency domain variable order filtering on each subband signal of the multi-audio signal using the received front subband filter coefficients.
  • the BRIR parameterization unit may generate rear subband filter coefficients (P-part coefficients) corresponding to each rear subband filter determined according to the above-described embodiments, and may transfer them to the late reverberation generation unit.
  • the late reverberation generator may perform reverberation processing for each subband signal using the received rear subband filter coefficients.
  • the BRIR parameterization unit may generate a downmix subband filter coefficient (downmix P-part coefficient) by combining rear subband filter coefficients for each channel, and transmit the downmix subband filter coefficients to the late reverberation generator.
  • the late reverberation generator may generate two channels of left and right subband reverberation signals using the received downmix subband filter coefficients.
  • FIG. 10 illustrates another embodiment of a method for generating an FIR filter used for binaural rendering.
  • the same or corresponding parts as those of FIGS. 8 and 9 will be omitted.
  • a plurality of QMF transformed subband filters may be classified into a plurality of groups, and different processing may be applied to each classified group.
  • the plurality of subbands are classified into a first subband group Zone 1 of a low frequency and a second subband group Zone 2 of a high frequency based on a preset frequency band QMF band i. Can be.
  • F-part rendering may be performed on the input subband signals of the first subband group
  • QTDL processing described below may be performed on the input subband signals of the second subband group.
  • the BRIR parameterization unit generates front subband filter coefficients for each subband of the first subband group, and transfers the front subband filter coefficients to the fast convolution unit.
  • the fast convolution unit performs F-part rendering on the subband signals of the first subband group by using the received front subband filter coefficients.
  • P-part rendering of subband signals of the first subband group may be additionally performed by the late reverberation generator.
  • the BRIR parameterization unit obtains at least one parameter from each subband filter coefficient of the second subband group and transfers it to the QTDL processing unit.
  • the QTDL processing unit performs tap-delay line filtering on each subband signal of the second subband group using the obtained parameter as described below.
  • the predetermined frequency (QMF band i) for distinguishing the first subband group and the second subband group may be determined based on a predetermined constant value, and the bit of the transmitted audio input signal may be determined. It may be determined depending on the thermal characteristics. For example, in the case of an audio signal using SBR, the second subband group may be set to correspond to the SBR band.
  • the plurality of subbands may be classified into three subband groups based on the first frequency band QMF band i and the second frequency band QMF band j. That is, the plurality of subbands may include a first subband group Zone 1 which is a low frequency zone smaller than or equal to the first frequency band, and a second subband that is an intermediate frequency zone greater than or equal to the second frequency band. Band group Zone 2 and a third subband group Zone 3 that is a higher frequency region larger than the second frequency band.
  • F-part rendering and QTDL processing may be performed on the subband signals of the first subband group and the subband signals of the second subband group, respectively, as described above, and the subbands of the third subband group Rendering may not be performed on the signals.
  • FIGS. 11 to 14 various embodiments of the P-part rendering of the present invention will be described with reference to FIGS. 11 to 14. That is, various embodiments of the late reverberation generation unit 240 of FIG. 2 performing P-part rendering in the QMF domain will be described with reference to FIGS. 11 to 14.
  • FIGS. 11 to 14 it is assumed that a multichannel input signal is received as a subband signal of a QMF domain. Accordingly, the processing of each component of FIGS. 11 to 14, that is, the decorrelator 241, the subband filtering unit 242, the IC matching unit 243, the downmixing unit 244, and the energy attenuation matching unit 246 is performed. May be performed for each QMF subband.
  • FIGS. 11 to 14 detailed descriptions of parts overlapping with the embodiments of the previous drawings will be omitted.
  • Pi (P1, P2, P3, ...) corresponding to the P-part corresponds to the rear portion of each subband filter removed according to the frequency variable truncation.
  • the length of the P-part may be defined as the entire filter after the cut point of each subband filter, or may be defined as a smaller length with reference to the second reverberation time information of the corresponding subband filter. have.
  • P-part rendering may be performed independently for each channel, or may be performed for downmixed channels.
  • the P-part rendering may be applied through different processing for each preset subband group or for each subband, or may be applied to the same processing for all subbands.
  • the processing applicable to the P-part includes energy reduction compensation for the input signal, tap-delay line filtering, processing using an Infinite Impulse Response (IIR) filter, processing using an artificial reverberator, and frequency (FIIC) -independent interaural coherence (FDIC) compensation, and frequency-dependent interaural coherence (FDIC) compensation.
  • IIR Infinite Impulse Response
  • FDIC frequency-independent interaural coherence
  • EDR Energy Decay Relief
  • FDIC Frequency-dependent Interaural Coherence
  • Impulse response STFT Short Time Fourier Transform
  • n time index
  • i frequency index
  • k frame index
  • m output channel index (L, R).
  • the function of the molecule Outputs the real value of the input x, Denotes the complex conjugate of x.
  • the molecular part in the above formula may be replaced with a function that takes an absolute value instead of a real value.
  • FDIC since the binaural rendering in the present invention is performed in the QMF domain, FDIC may be defined by the following equation.
  • i is the subband index
  • k is the time index in the subband
  • the FDIC of the late reverberation part is a parameter that is mainly influenced by the position of the two microphones when the BRIR is recorded. Assuming the listener's head is a sphere, BRIR's theoretical FDIC (IC ideal ) can satisfy the following equation:
  • r is the distance between the listener's ears, ie, the distance between the two microphones, and k is the frequency index.
  • the initial reflection sound mainly included in the F-part is very different for each channel.
  • the FDIC of the F-part varies very differently from channel to channel.
  • the FDIC varies greatly, but this is because a large measurement error occurs due to the characteristics of the high frequency band signal, which rapidly decays energy, and when the average of each channel is taken, the FDIC converges to almost zero.
  • the difference in FDIC for each channel occurs due to measurement error, but it can be seen that the average converges to the sync function as shown in Equation 5.
  • the late reverberation generation unit for P-part rendering may be implemented based on the above characteristics.
  • the late reverberation generation unit 240A may include a subband filtering unit 242 and downmixing units 244a and 244b.
  • the subband filtering unit 242 uses the P-part coefficients to multi-channel input signals X0, X1,... , X_M-1 is filtered for each subband.
  • the P-part coefficient is received from a BRIR parameterization unit (not shown) as described above, and may include coefficients of a rear subband filter having different lengths for each subband.
  • the subband filtering unit 242 performs fast convolution between the QMF domain subband signal and the rear subband filter of the QMF domain corresponding to each frequency.
  • the length of the rear subband filter may be determined based on the RT60 as described above, but may be set to a value larger or smaller than the RT60 according to the complexity-quality control.
  • the multi-channel input signals are left channel signals X_L0, X_L1, ... by the subband filtering unit 242, respectively. , X_L_M-1 and the right channel signals X_R0, X_R1,... , Rendered with X_R_M-1.
  • the downmix units 244a and 244b downmix the rendered plurality of left channel signals and the plurality of right channel signals by left and right channels, respectively, to generate two channels of left and right output signals Y_Lp and Y_Rp.
  • the late reverberation generation unit 240B includes a decorator 241, an IC matching unit 243, a downmixing units 244a and 244b, and energy attenuation matching units 246a and 246b. can do.
  • the BRIR parameterization unit (not shown) may include an IC estimator 213 and a downmix subband filter generator 216.
  • the late reverberation generation unit 240B may reduce the amount of calculation by using the same energy decay characteristic for each channel of the late reverberation part. That is, the late reverberation generation unit 240B performs decorrelation and interaural coherence (IC) adjustment for each multichannel signal, and downmixes the adjusted input signal and decorrelation signal for each channel into left and right channel signals. Afterwards, two channels of left and right output signals are generated by compensating for energy attenuation of the downmixed signal. More specifically, the decorrelator 241 is configured for each multichannel input signal X0, X1,... , The decoration signals D0, D1, ... for X_M-1. , D_M-1 is generated. The decorrelator 241 is a kind of preprocessor for adjusting coherence between both ears, and a phase randomizer may be used, and the phase of the input signal may be phased in units of 90 degrees for efficiency of computation. You can also change
  • the IC estimator 213 of the BRIR parameterization unit estimates an IC value and transmits the IC value to the binaural rendering unit (not shown).
  • the binaural rendering unit may store the received IC value in the memory 255 and transmit the received IC value to the IC matching unit 243.
  • the IC matching unit 243 may directly receive an IC value from the BRIR parameterization unit and may obtain an IC value previously stored in the memory 255.
  • the input signal and the decoration signal for each channel are X_L0, X_L1, ... which are left channel signals in the IC matching unit 243. , X_L_M-1 and the right channel signals X_R0, X_R1,... , Rendered with X_R_M-1.
  • the IC matching unit 243 performs weighted summation between the decorrelated signal and the original input signal for each channel by referring to the IC value, and adjusts the coherence between the two channel signals.
  • the input signal for each channel is a signal of the subband domain
  • the above-described FDIC can be matched.
  • the left and right channel signals X_L and X_R on which IC matching is performed may be expressed by the following equation.
  • the downmix units 244a and 244b downmix the plurality of left channel signals and the plurality of right channel signals rendered through IC matching for each left and right channel to generate two left and right rendering signals.
  • the energy attenuation matching units 246a and 246b generate the two channel left and right output signals Y_Lp and Y_Rp by reflecting the energy decay of the two channel left and right rendering signals, respectively.
  • the energy attenuation matching units 246a and 246b perform energy attenuation matching using the downmix subband filter coefficients obtained from the downmix subband filter generation unit 216.
  • the downmix subband filter coefficients are generated by a combination of rear subband filter coefficients for each channel of the corresponding subband.
  • the downmix subband filter coefficients may include subband filter coefficients rooted on the average of the square amplitude response of the rear subband filter coefficients for each channel with respect to the corresponding subband. Accordingly, the downmix subband filter coefficients reflect energy reduction characteristics of the late reverberation part for the corresponding subband signal.
  • the downmix subband filter coefficients may include downmix subband filter coefficients that are downmixed in mono or stereo, depending on the embodiment, and may be received directly from the BRIR parameterization section, as in FDIC, or from values previously stored in the memory 225. Can be obtained.
  • FIG. 13 illustrates a late reverberation generation unit 240C according to another embodiment of the present invention.
  • Each configuration of the late reverberation generation unit 240C of FIG. 13 may be the same as each configuration of the late reverberation generation unit 240B described in the embodiment of FIG. 12, and the data processing order between the elements may be partially different.
  • the late reverberation generation unit 240C may further reduce the amount of calculation by using the same FDIC for each channel of the late reverberation part. That is, the late reverberation generation unit 240C downmixes each multichannel signal into left and right channel signals, adjusts the IC of the downmixed left and right channel signals, and then adjusts the energy of the adjusted left and right channel signals. The attenuation can be compensated to generate two channels of left and right output signals.
  • the decorrelator 241 is configured for each multichannel input signal X0, X1,... ,
  • the decoration signals D0, D1, ... for X_M-1. , D_M-1 is generated.
  • the downmix units 244a and 244b downmix the multi-channel input signal and the decoration signal to generate two-channel downmix signals X_DMX and D_DMX, respectively.
  • the IC matching unit 243 weights and sums the two-channel downmix signal with reference to the IC value, thereby adjusting the coherence between the two channel signals.
  • the energy attenuation compensators 246a and 246b perform energy compensation on each of the left and right channel signals X_L and X_R on which IC matching is performed by the IC matching unit 243 to output the left and right output signals X_Lp and Y_Rp of two channels.
  • the energy compensation information used for energy compensation may include downmix subband filter coefficients for each subband.
  • Each configuration of the late reverberation generation unit 240D of FIG. 14 may be the same as each configuration of the late reverberation generation units 240B and 240C described in the embodiments of FIGS. 12 and 13, but has a more simplified feature.
  • the down mix unit 244 performs multichannel input signals X0, X1,... , Downmixing X_M-1 for each subband to generate a mono downmix signal (ie, a mono subband signal) X_DMX.
  • the energy decay matching unit 246 reflects the energy decay of the generated mono downmix signal.
  • downmix subband filter coefficients for each subband may be used to reflect energy attenuation.
  • the decorrelator 241 generates a decoration signal D_DMX of the mono downmix signal reflecting the energy decay.
  • the IC matching unit 243 weights the mono downmix signal and the decoration signal reflecting the energy decay with reference to the FDIC value, thereby generating two left and right output signals Y_Lp and Y_Rp. According to the embodiment of FIG. 14, the energy attenuation matching is performed only once for the mono downmix signal X_DMX, thereby further reducing the amount of computation.
  • FIGS. 15 and 16 assume that the multi-channel input signal is received as a subband signal in the QMF domain. Accordingly, in the embodiment of FIGS. 15 and 16, the tap-delay line filter and the one-tap-delay line filter may perform processing for each QMF subband. In addition, QTDL processing may be performed only on the input signal of the high frequency band classified based on a predetermined constant or a predetermined frequency band as described above. If SBR (Spectral Band Replication) is applied to the input audio signal, the high frequency band may correspond to the SBR band. 15 and 16, detailed description of parts overlapping with those of the previous drawings will be omitted.
  • SBR Spectrum Band Replication
  • SBR Spectral Band Replication
  • the high frequency band is generated using information of the low frequency band that is encoded and transmitted and additional information of the high frequency band signal transmitted by the encoder.
  • SBR band is a high frequency band, and as described above, the reverberation time of the frequency band is very short. That is, the BRIR subband filter of the SBR band has less valid information and has a fast attenuation rate. Therefore, the BRIR rendering for the high frequency band that corresponds to the SBR band may be very effective in terms of the amount of computation compared to the quality of sound quality rather than performing the convolution.
  • the QTDL processing unit 250A uses a tap-delay line filter to multi-channel input signals X0, X1,... , Sub-band filtering is performed on X_M-1.
  • the tap-delay line filter convolutions only a few taps preset for each channel signal. In this case, the number of taps used may be determined based on a parameter directly extracted from a BRIR subband filter coefficient corresponding to the corresponding subband signal.
  • the parameter includes delay information for each tap to be used in the tap-delay line filter and gain information corresponding thereto.
  • the number of taps used in the tap-delay line filter can be determined by complexity-quality control.
  • the QTDL processing unit 250A receives, from the BRIR parameterization unit, a set of parameters (gain information and delay information) corresponding to the number of taps for each channel and subband based on the predetermined number of taps.
  • the received parameter set is extracted from the BRIR subband filter coefficients corresponding to the corresponding subband signal, and may be determined according to various embodiments. For example, a set of parameters for each of the peaks extracted by the predetermined number of taps may be received among the plurality of peaks of the corresponding BRIR subband filter coefficients in order of absolute value magnitude, real value magnitude, or imaginary value magnitude. have.
  • the delay information of each parameter represents position information of a corresponding peak, and has an integer value of a sample unit in the QMF domain.
  • the gain information is determined based on the magnitude of the peak corresponding to the delay information.
  • the weight value of the corresponding peak after energy compensation for the entire subband filter coefficients may be used.
  • the gain information is obtained by using both real weight and imaginary weight for the corresponding peak, and thus has a complex value.
  • the plurality of channel signals filtered by the tap-delay line filter are summed into two channel left and right output signals Y_L and Y_R for each subband.
  • parameters used in each tap-delay line filter of the QTDL processing unit 250A may be stored in a memory during initialization of binaural rendering, and QTDL processing may be performed without additional calculation for parameter extraction.
  • the QTDL processing unit 250B uses the one-tap-delay line filter to multi-channel input signals X0, X1,... , Sub-band filtering is performed on X_M-1.
  • One-tap-delay line filters can be understood to perform convolution on only one tap for each channel signal.
  • the tap used may be determined based on a parameter directly extracted from a BRIR subband filter coefficient corresponding to the corresponding subband signal.
  • the parameter includes delay information extracted from the BRIR subband filter coefficients and corresponding gain information.
  • L_0, L_1,... L_M-1 represents the delay for the BRIR to the left ear in M channels, respectively, and R_0, R_1,. , R_M-1 represents the delay for the BRIR from the M channel to the right ear, respectively.
  • the delay information indicates position information of the maximum peak among the corresponding BRIR subband filter coefficients in order of absolute value, real value, or imaginary value.
  • G_L_0, G_L_1,... , G_L_M-1 represent gains corresponding to the delay information of the left channel
  • G_R_0, G_R_1,... And G_R_M-1 indicate gains corresponding to the delay information of the right channel, respectively.
  • each gain information is determined based on the magnitude of the peak corresponding to the corresponding delay information.
  • the weight value of the corresponding peak after energy compensation for the entire subband filter coefficients may be used.
  • the gain information is obtained by using both real weight and imaginary weight for the corresponding peak, and thus has a complex value.
  • the plurality of channel signals filtered by the one-tap-delay line filter are added to the left and right output signals Y_L and Y_R of two channels for each subband.
  • parameters used in each one-tap-delay line filter of the QTDL processing unit 250B may be stored in a memory during initialization of binaural rendering, and QTDL processing may be performed without additional operations for parameter extraction. have.
  • the present invention can be applied to a multimedia signal processing apparatus including various types of audio signal processing apparatuses and video signal processing apparatuses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 오디오 신호를 효과적으로 재생하기 위한 신호 처리 방법 및 장치에 관한 것으로서, 더욱 상세하게는 멀티채널 혹은 멀티오브젝트 오디오 신호를 스테레오로 재생하기 위한 바이노럴 렌더링을 낮은 연산량으로 구현하기 위한 오디오 신호 처리 방법 및 장치에 관한 것이다. 이를 위해 본 발명은, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신하는 단계, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 복수의 서브밴드 신호들은 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함함; 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하는 단계, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 BRIR(Binaural Room Impulse Response) 서브밴드 필터 계수로부터 추출됨; 상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법 및 이를 이용한 오디오 신호 처리 장치를 제공한다.

Description

오디오 신호 처리 방법 및 장치
본 발명은 오디오 신호를 효과적으로 재생하기 위한 신호 처리 방법 및 장치에 관한 것으로서, 더욱 상세하게는 멀티채널 혹은 멀티오브젝트 오디오 신호를 스테레오로 재생하기 위한 바이노럴 렌더링을 낮은 연산량으로 구현하기 위한 오디오 신호 처리 방법 및 장치에 관한 것이다.
멀티채널 신호를 스테레오로 청취하기 위한 바이노럴 렌더링(binaural rendering)은 타겟 필터의 길이가 증가할수록 많은 연산량을 요구하는 문제가 있다. 특히, 녹음실의 특성을 반영한 BRIR(Binaural Room Impulse Response) 필터를 이용하는 경우 그 길이는 48,000 ~ 96,000 샘플에 이르기도 한다. 여기에 22.2 채널 포맷과 같이 입력 채널 수가 증가하게 되면 그 연산량은 막대하다.
i번째 채널의 입력 신호를
Figure PCTKR2014008678-appb-I000001
, 해당 채널의 좌, 우 BRIR 필터를 각각
Figure PCTKR2014008678-appb-I000002
,
Figure PCTKR2014008678-appb-I000003
, 출력 신호를
Figure PCTKR2014008678-appb-I000004
,
Figure PCTKR2014008678-appb-I000005
이라고 하면, 바이노럴 필터링(binaural filtering)은 다음과 같은 식으로 표현할 수 있다.
수학식 1
Figure PCTKR2014008678-appb-M000001
여기에서
Figure PCTKR2014008678-appb-I000006
이며, *는 콘볼루션(convolution)을 의미한다. 위의 시간-도메인 콘볼루션은 일반적으로 고속 퓨리에 변환(Fast Fourier Transform, FFT)에 기반한 고속 콘볼루션(fast convolution)을 이용하여 수행된다. 고속 콘볼루션을 이용하여 바이노럴 렌더링을 수행하는 경우, 입력 채널수에 해당하는 횟수의 FFT와 출력 채널수에 해당하는 횟수의 역 고속 퓨리에 변환(Inverse FFT)을 수행해야 한다. 게다가 멀티채널 오디오 코덱과 같이 실시간 재생 환경에서의 경우 딜레이를 고려해야 하기 때문에 블록 단위(block-wise)의 고속 콘볼루션을 수행해야 하며, 이는 전체 길이에 대하여 단순히 고속 콘볼루션을 수행했을 때보다 더 많은 연산량을 소모할 수 있다.
그러나 대부분의 코딩 방식(coding scheme)들은 주파수 도메인에서 이루어지며, 일부 코딩 방식(이를테면, HE-AAC, USAC 등)의 경우 복호화 과정의 마지막 단계가 QMF 도메인에서 수행된다. 따라서 위의 수학식 1과 같이 바이노럴 필터링이 시간 도메인에서 수행될 경우 채널 수만큼의 QMF 합성(QMF synthesis)을 위한 연산이 추가적으로 필요하므로 매우 비효율적이다. 따라서 바이노럴 렌더링을 QMF 도메인에서 직접 수행할 경우 이득이 있다.
본 발명은 멀티채널 혹은 멀티오브젝트 신호를 스테레오로 재생함에 있어서, 원신호와 같은 입체감을 보존하기 위한 바이노럴 렌더링에서 많은 연산량을 필요로 하는 필터링 과정을 음질 손실을 최소화하면서도 매우 낮은 연산량으로 구현하기 위한 목적을 가지고 있다.
또한, 본 발명은 입력 신호 자체에 왜곡이 있는 경우 고품질 필터를 통해 왜곡의 확산이 발생하는 것을 최소화하고자 하는 목적을 가지고 있다.
또한, 본 발명은 매우 긴 길이를 갖는 FIR(Finite Impulse Response) 필터를 더 작은 길이의 필터로 구현하고자 하는 목적을 가지고 있다.
또한, 본 발명은 축약된 FIR 필터를 이용한 필터링의 수행시, 누락된 필터 계수에 의해 손상된 부분의 왜곡을 최소화하고자 하는 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 오디오 신호 처리 방법 및 오디오 신호 처리 장치를 제공한다.
먼저 본 발명은, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신하는 단계; 상기 멀티 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하는 단계, 상기 절단된 서브밴드 필터 계수는 상기 멀티 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 특성 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정되고, 적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다름; 및 상기 멀티 오디오 신호의 각 서브밴드 신호에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 상기 서브밴드 신호를 필터링 하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호에 대한 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 각 서브밴드 신호에 대한 직접음 및 초기 반사음 파트의 렌더링을 수행하기 위한 고속 콘볼루션부; 및 상기 각 서브밴드 신호에 대한 후기잔향 파트의 렌더링을 수행하기 위한 후기잔향 생성부를 포함하되, 상기 고속 콘볼루션부는, 상기 멀티 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하되, 상기 절단된 서브밴드 필터 계수는 상기 멀티 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 특성 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정되고, 적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다름, 상기 멀티 오디오 신호의 각 서브밴드 신호에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 상기 서브밴드 신호를 필터링 하는 것을 특징으로 하는 오디오 신호 처리 장치를 제공한다.
이때, 상기 특성 정보는 해당 서브밴드 필터 계수의 제1 잔향 시간 정보를 포함하며, 상기 필터 차수 정보는 각 서브밴드 별로 하나의 값을 갖는 것을 특징으로 한다.
또한, 상기 절단된 서브밴드 필터의 길이는 2의 거듭 제곱의 배수 값을 갖는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 상기 복수의 서브밴드 필터 계수들 및 복수의 서브밴드 신호들은 각각 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹과 고주파수의 제2 서브밴드 그룹을 포함하며, 상기 필터링 하는 단계는 상기 제1 서브밴드 그룹의 절단된 서브밴드 필터 계수들 및 서브밴드 신호들에 대하여 수행되는 것을 특징으로 한다.
또한 본 발명의 실시예에 따르면, 상기 필터링 하는 단계는 해당 서브밴드 필터 계수의 제1 잔향 시간 정보에 적어도 부분적으로 기초하여 절단된 프론트 서브밴드 필터 계수를 이용하여 수행되며, 상기 서브밴드 필터 계수 중 상기 프론트 서브밴드 필터 계수 이후의 구간에 대응하는 상기 서브밴드 신호의 잔향 처리 단계를 더 포함하는 것을 특징으로 한다.
이때, 상기 잔향 처리 단계는, 각 서브밴드에 대한 다운믹스 서브밴드 필터 계수를 수신하는 단계, 상기 다운믹스 서브밴드 필터 계수는 해당 서브밴드의 각 채널 별 또는 각 오브젝트 별 리어 서브밴드 필터 계수들을 조합하여 생성되며, 상기 리어 서브밴드 필터 계수는 해당 서브밴드 필터 계수 중 상기 프론트 서브밴드 필터 계수 이후의 구간으로부터 획득됨; 상기 각 서브밴드에 대한 다운믹스 서브밴드 신호를 생성하는 단계, 상기 다운믹스 서브밴드 신호는 해당 서브밴드의 각 채널 별 또는 각 오브젝트 별 서브밴드 신호들을 다운믹스 하여 생성됨; 및 상기 다운믹스 서브밴드 신호와 이에 대응하는 상기 다운믹스 서브밴드 필터 계수를 이용하여 2채널의 좌, 우 서브밴드 잔향 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 다운믹스 서브밴드 신호는 모노 서브밴드 신호이고, 상기 다운믹스 서브밴드 필터 계수는 해당 서브밴드 신호에 대한 잔향부의 에너지 감소 특성을 반영하며, 상기 필터링 된 모노 서브밴드 신호에 대한 디코릴레이션(decorrelation) 신호를 생성하는 단계; 및 상기 필터링 된 모노 서브밴드 신호와 상기 디코릴레이션 신호 간의 가중치 합산을 수행하여 2채널의 좌, 우 신호를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신하는 단계, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 복수의 서브밴드 신호들은 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함함; 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하는 단계, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 BRIR(Binaural Room Impulse Response) 서브밴드 필터 계수로부터 추출됨; 상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호에 대한 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 복수의 서브밴드 신호들은 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함하고, 상기 제1 서브밴드 그룹의 각 서브밴드 신호에 대한 렌더링을 수행하기 위한 고속 콘볼루션부; 및 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대한 렌더링을 수행하기 위한 탭-딜레이 라인 프로세싱부를 포함하되, 상기 탭-딜레이 라인 프로세싱부는, 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하되, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 BRIR(Binaural Room Impulse Response) 서브밴드 필터 계수로부터 추출되고, 상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 것을 특징으로 하는 오디오 신호 처리 장치를 제공한다.
이때, 상기 파라메터는 해당 BRIR 서브밴드 필터 계수에 대한 하나의 딜레이 정보 및 상기 딜레이 정보에 대응하는 하나의 게인 정보를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 상기 탭-딜레이 라인 필터링은 상기 파라메터를 이용한 원-탭-딜레이 라인 필터링인 것을 특징으로 한다.
또한, 상기 딜레이 정보는 상기 BRIR 서브밴드 필터 계수 중 최대 피크에 대한 위치 정보를 나타내는 것을 특징으로 한다.
또한, 상기 딜레이 정보는 QMF 도메인에서 샘플 단위의 정수 값을 갖는 것을 특징으로 한다.
또한, 상기 게인 정보는 복소수 값을 갖는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 필터링 된 멀티 오디오 신호를 각 서브밴드 별로 2채널의 좌, 우 서브밴드 신호로 합산하는 단계; 상기 합산된 좌, 우 서브밴드 신호를 상기 제1 서브밴드 그룹의 멀티 오디오 신호로부터 생성된 좌, 우 서브밴드 신호와 결합하는 단계; 및 상기 결합된 좌, 우 서브밴드 신호를 각각 QMF 합성하는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 복수의 서브밴드를 갖는 멀티미디어 신호를 수신하는 단계; 상기 멀티미디어 신호의 각 서브밴드 신호의 필터링을 위한 적어도 하나의 원형(proto-type) 렌더링 필터 계수를 수신하는 단계; 상기 원형 렌더링 필터 계수를 복수의 서브밴드 필터 계수들로 변환하는 단계; 상기 각 서브밴드 필터 계수를 해당 서브밴드 필터 계수에서 추출된 특성 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 절단하는 단계, 적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다름; 및 상기 각 서브밴드 신호에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 상기 멀티미디어 신호를 필터링하는 단계; 를 포함하는 것을 특징으로 하는 멀티미디어 신호 처리 방법을 제공한다.
또한, 복수의 서브밴드를 갖는 멀티미디어 신호 처리 장치로서, 상기 멀티미디어 신호의 각 서브밴드 신호의 필터링을 위한 적어도 하나의 원형(proto-type) 렌더링 필터 계수를 수신하고, 상기 원형 렌더링 필터 계수를 복수의 서브밴드 필터 계수들로 변환하고, 상기 각 서브밴드 필터 계수를 해당 서브밴드 필터 계수에서 추출된 특성 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 절단하되, 적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다른, 파라메터화부; 및 상기 멀티미디어 신호를 수신하고, 상기 각 서브밴드 신호에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 상기 멀티미디어 신호를 필터링하는 렌더링 유닛;을 포함하는 것을 특징으로 하는 멀티미디어 신호 처리 장치를 제공한다.
이때, 상기 멀티미디어 신호는 멀티채널 또는 멀티오브젝트 신호를 포함하며, 상기 원형 렌더링 필터 계수는 시간 도메인의 BRIR 필터 계수인 것을 특징으로 한다.
또한, 상기 특성 정보는 해당 서브밴드 필터 계수의 에너지 감쇄 시간 정보를 포함하며, 상기 필터 차수 정보는 각 서브밴드 별로 하나의 값을 갖는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신하는 단계, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호를 포함하며, 상기 복수의 서브밴드 신호는 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함함; 상기 제1 서브밴드 그룹의 상기 멀티 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하는 단계, 상기 절단된 서브밴드 필터 계수는 상기 멀티 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 제1 서브밴드 그룹의 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 특성 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정됨; 및 상기 절단된 서브밴드 필터 계수를 이용하여 상기 제1 서브밴드 그룹의 서브밴드 신호를 필터링 하는 단계; 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하는 단계, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 서브밴드 필터 계수로부터 추출됨; 및 상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호에 대한 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 복수의 서브밴드 신호들은 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함하고, 상기 제1 서브밴드 그룹의 각 서브밴드 신호에 대한 렌더링을 수행하기 위한 고속 콘볼루션부; 및 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대한 렌더링을 수행하기 위한 탭-딜레이 라인 프로세싱부를 포함하되, 상기 고속 콘볼루션부는, 상기 제1 서브밴드 그룹의 상기 멀티 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하되, 상기 절단된 서브밴드 필터 계수는 상기 멀티 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 제1 서브밴드 그룹의 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 특성 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정되고, 상기 절단된 서브밴드 필터 계수를 이용하여 상기 제1 서브밴드 그룹의 서브밴드 신호를 필터링 하며, 상기 탭-딜레이 라인 프로세싱부는, 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하되, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 BRIR(Binaural Room Impulse Response) 서브밴드 필터 계수로부터 추출되고, 상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 것을 특징으로 하는 오디오 신호 처리 장치를 제공한다.
이때, 상기 제1 서브밴드 그룹의 서브밴드 신호를 필터링하여 생성된 2채널의 좌, 우 서브밴드 신호와 상기 제2 서브밴드 그룹의 서브밴드 신호를 탭-딜레이 라인 필터링하여 생성된 2채널의 좌, 우 서브밴드 신호를 결합하는 단계; 및 상기 결합된 좌, 우 서브밴드 신호를 각각 QMF 합성하는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 멀티채널 혹은 멀티오브젝트 신호에 대한 바이노럴 렌더링의 수행시 음질 손실을 최소화 하면서 연산량을 획기적으로 낮출 수 있다.
본 발명의 실시예에 따르면, 기존에 저전력 장치에서 실시간 처리가 불가능했던 멀티채널 혹은 멀티오브젝트 오디오 신호에 대한 고음질의 바이노럴 렌더링이 가능하도록 한다.
도 1은 본 발명의 실시예에 따른 오디오 신호 디코더를 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 바이노럴 렌더러의 각 구성을 나타낸 블록도.
도 3 내지 도 7은 본 발명에 따른 오디오 신호 처리 장치의 다양한 실시예들을 나타낸 도면.
도 8 내지 도 10은 본 발명의 실시예에 따른 바이노럴 렌더링을 위한 FIR 필터 생성 방법을 나타낸 도면.
도 11 내지 도 14는 본 발명의 P-파트 렌더링부의 다양한 실시예를 나타낸 도면.
도 15 및 도 16은 본 발명의 QTDL 프로세싱의 다양한 실시예를 나타낸 도면.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 오디오 신호 디코더를 나타낸 블록도이다. 본 발명의 오디오 신호 디코더는 코어 디코더(10), 렌더링 유닛(20), 믹서(30), 및 포스트 프로세싱 유닛(40)을 포함한다.
먼저, 코어 디코더(10)는 스피커(loudspeaker) 채널 신호, 개별(discrete) 오브젝트 신호, 오브젝트 다운믹스 신호 및 사전-렌더링된(pre-rendered) 신호 등을 복호화 한다. 일 실시예에 따르면 상기 코어 디코더(10)에서는 USAC(Unified Speech and Audio Coding) 기반의 코덱이 사용될 수 있다. 코어 디코더(10)는 수신된 비트스트림을 복호화 하여 렌더링 유닛(20)으로 전달한다.
렌더링 유닛(20)은 코어 디코더(10)에 의해 복호화 된 신호를 재생 레이아웃(reproduction layout) 정보를 이용하여 렌더링 한다. 렌더링 유닛(20)은 포맷 컨버터(22), 오브젝트 렌더러(24), OAM 디코더(25), SAOC 디코더(26) 및 HOA 디코더(28)를 포함할 수 있다. 렌더링 유닛(20)은 복호화 된 신호의 타입에 따라 상기 구성 중 어느 하나를 이용하여 렌더링을 수행한다.
포맷 컨버터(22)는 전송된 채널 신호를 출력 스피커 채널 신호로 변환한다. 즉, 포맷 컨버터(22)는 전송된 채널 구성(configuration)과 재생될 스피커 채널 구성 간의 변환을 수행한다. 만약, 출력 스피커 채널의 개수(이를테면, 5.1 채널)가 전송된 채널의 개수(이를테면, 22.2 채널)보다 적거나 전송된 채널 구성과 재생될 채널 구성이 다를 경우, 포맷 컨버터(22)는 전송된 채널 신호에 대한 다운믹스를 수행한다. 본 발명의 오디오 신호 디코더는 입력 채널 신호와 출력 스피커 채널 신호간의 조합을 이용하여 최적의 다운믹스 매트릭스를 생성하고, 상기 매트릭스를 이용하여 다운믹스를 수행할 수 있다. 본 발명의 실시예에 따르면, 포맷 컨버터(22)가 처리하는 채널 신호에는 사전-렌더링된 오브젝트 신호가 포함될 수 있다. 일 실시예에 따르면, 오디오 신호의 부호화 전에 적어도 하나의 오브젝트 신호가 사전-렌더링되어 채널 신호에 믹스(mix)될 수 있다. 이와 같이 믹스 된 오브젝트 신호는 채널 신호와 함께 포맷 컨버터(22)에 의해 출력 스피커 채널 신호로 변환될 수 있다.
오브젝트 렌더러(24) 및 SAOC 디코더(26)는 오브젝트 기반의 오디오 신호에 대한 렌더링을 수행한다. 오브젝트 기반의 오디오 신호에는 개별 오브젝트 웨이브폼과 파라메트릭 오브젝트 웨이브폼이 포함될 수 있다. 개별 오브젝트 웨이브폼의 경우, 각 오브젝트 신호들은 모노포닉(monophonic) 웨이브폼으로 인코더에 제공되며, 인코더는 단일 채널 엘리먼트들(Single Channel Elements, SCEs)을 이용하여 각 오브젝트 신호들을 전송한다. 파라메트릭 오브젝트 웨이브폼의 경우, 복수의 오브젝트 신호들이 적어도 하나의 채널 신호로 다운믹스 되며, 각 오브젝트의 특징과 이들 간의 관계가 SAOC(Spatial Audio Object Coding) 파라메터로 표현된다. 오브젝트 신호들은 다운믹스 되어 코어 코덱으로 부호화되며, 이때 생성되는 파라메트릭 정보가 함께 디코더로 전송된다.
한편, 개별 오브젝트 웨이브폼 또는 파라메트릭 오브젝트 웨이브폼이 오디오 신호 디코더로 전송될 때, 이에 대응하는 압축된 오브젝트 메타데이터가 함께 전송될 수 있다. 오브젝트 메타데이터는 오브젝트 속성을 시간과 공간 단위로 양자화하여 3차원 공간에서의 각 오브젝트의 위치 및 이득값을 지정한다. 렌더링 유닛(20)의 OAM 디코더(25)는 압축된 오브젝트 메타데이터를 수신하고, 이를 복호화하여 오브젝트 렌더러(24) 및/또는 SAOC 디코더(26)로 전달한다.
오브젝트 렌더러(24)는 오브젝트 메타데이터를 이용하여 각 오브젝트 신호를 주어진 재생 포맷에 따라 렌더링한다. 이때, 각 오브젝트 신호는 오브젝트 메타데이터에 기초하여 특정 출력 채널들로 렌더링될 수 있다. SAOC 디코더(26)는 복호화된 SAOC 전송 채널들과 파라메트릭 정보로부터 오브젝트/채널 신호를 복원한다. 상기 SAOC 디코더(26)는 재생 레이아웃 정보와 오브젝트 메타데이터에 기초하여 출력 오디오 신호를 생성할 수 있다. 이와 같이 오브젝트 렌더러(24) 및 SAOC 디코더(26)는 오브젝트 신호를 채널 신호로 렌더링할 수 있다.
HOA 디코더(28)는 HOA(Higher Order Ambisonics) 신호 및 HOA 부가 정보를 수신하고, 이를 복호화한다. HOA 디코더(28)는 채널 신호나 오브젝트 신호를 별도의 수학식으로 모델링하여 사운드씬(sound scene)을 생성한다. 생성된 사운드씬에서 스피커가 있는 공간상의 위치를 선택하면, 스피커 채널 신호로 렌더링이 수행될 수 있다.
한편, 도 1에는 도시되지 않았지만, 렌더링 유닛(20)의 각 구성요소로 오디오 신호가 전달될 때, 전처리 과정으로서 동적 범위 제어(Dynamic Range Control, DRC)가 수행될 수 있다. DRC는 재생되는 오디오 신호의 동적 범위를 일정 레벨로 제한하는 것으로, 기 설정된 쓰레숄드(threshold) 보다 작은 소리는 더 크게, 기 설정된 쓰레숄드 보다 큰 소리는 더 작게 조정 한다.
렌더링 유닛(20)에 의해 처리된 채널 기반의 오디오 신호 및 오브젝트 기반의 오디오 신호는 믹서(30)로 전달된다. 믹서(30)는 채널 기반의 웨이브폼과 렌더링된 오브젝트 웨이브폼의 딜레이(delay)를 조정하고, 이를 샘플 단위로 합산한다. 믹서(30)에 의해 합산된 오디오 신호는 포스트 프로세싱 유닛(40)으로 전달된다.
포스트 프로세싱 유닛(40)은 스피커 렌더러(100)와 바이노럴 렌더러(200)를 포함한다. 스피커 렌더러(100)는 믹서(30)로부터 전달된 멀티채널 및/또는 멀티오브젝트 오디오 신호를 출력하기 위한 포스트 프로세싱을 수행한다. 이러한 포스트 프로세싱에는 동적 범위 제어(DRC), 음량 정규화(Loudness Normalization, LN) 및 피크 제한(Peak Limiter, PL) 등이 포함될 수 있다.
바이노럴 렌더러(200)는 멀티채널 및/또는 멀티오브젝트 오디오 신호의 바이노럴 다운믹스 신호를 생성한다. 바이노럴 다운믹스 신호는 각 입력 채널/오브젝트 신호가 3차원상에 위치한 가상의 음원에 의해 표현되도록 하는 2채널의 오디오 신호이다. 바이노럴 렌더러(200)는 스피커 렌더러(100)에 공급되는 오디오 신호를 입력 신호로서 수신할 수 있다. 바이노럴 렌더링은 BRIR(Binaural Room Impulse Response) 필터를 기초로 수행되며, 시간 도메인 또는 QMF 도메인 상에서 수행될 수 있다. 실시예에 따르면, 바이노럴 렌더링의 후처리 과정으로서 전술한 동적 범위 제어(DRC), 음량 정규화(LN) 및 피크 제한(PL) 등이 추가로 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 바이노럴 렌더러의 각 구성을 나타낸 블록도이다. 도시된 바와 같이, 본 발명의 실시예에 따른 바이노럴 렌더러(200)는 BRIR 파라메터화부(210), 고속 콘볼루션부(230), 후기잔향 생성부(240), QTDL 프로세싱부(250), 믹서&콤바이너(260)를 포함할 수 있다.
바이노럴 렌더러(200)는 다양한 타입의 입력 신호에 대한 바이노럴 렌더링을 수행하여 3D 오디오 헤드폰 신호(즉, 3D 오디오 2채널 신호)를 생성한다. 이때, 입력 신호는 채널 신호(즉, 스피커 채널 신호), 오브젝트 신호 및 HOA 신호 중 적어도 하나를 포함하는 오디오 신호가 될 수 있다. 본 발명의 다른 실시예에 따르면, 바이노럴 렌더러(200)가 별도의 디코더를 포함할 경우, 상기 입력 신호는 전술한 오디오 신호의 부호화된 비트스트림이 될 수 있다. 바이노럴 렌더링은 복호화된 입력 신호를 바이노럴 다운믹스 신호로 변환하여, 헤드폰으로 청취시 서라운드 음향을 체험할 수 있도록 한다.
본 발명의 실시예에 따르면, 바이노럴 렌더러(200)는 입력 신호에 대한 바이노럴 렌더링을 QMF 도메인 상에서 수행할 수 있다. 이를테면, 바이노럴 렌더러(200)는 QMF 도메인의 멀티채널(N channels) 신호를 수신하고, QMF 도메인의 BRIR 서브밴드 필터를 이용하여 상기 멀티채널 신호에 대한 바이노럴 렌더링을 수행할 수 있다. QMF 분석 필터뱅크를 통과한 i번째 채널의 k번째 서브밴드(subband) 신호를
Figure PCTKR2014008678-appb-I000007
, 서브밴드 도메인에서의 시간 인덱스를 l이라고 하면, QMF 도메인에서의 바이노럴 렌더링은 다음과 같은 식으로 표현할 수 있다.
수학식 2
Figure PCTKR2014008678-appb-M000002
여기서,
Figure PCTKR2014008678-appb-I000008
이며,
Figure PCTKR2014008678-appb-I000009
은 시간 도메인 BRIR 필터를 QMF 도메인의 서브밴드 필터로 변환한 것이다.
즉, 바이노럴 렌더링은 QMF 도메인의 채널 신호 또는 오브젝트 신호를 복수의 서브밴드 신호로 나누고, 각 서브밴드 신호를 이에 대응하는 BRIR 서브밴드 필터와 콘볼루션 한 후 합산하는 방법으로 수행될 수 있다.
BRIR 파라메터화부(210)는 QMF 도메인에서의 바이노럴 렌더링을 위해 BRIR 필터 계수를 변환 및 편집하고 각종 파라메터를 생성한다. 먼저, BRIR 파라메터화부(210)는 멀티채널 또는 멀티오브젝트에 대한 시간 도메인 BRIR 필터 계수를 수신하고, 이를 QMF 도메인 BRIR 필터 계수로 변환한다. 이때, QMF 도메인 BRIR 필터 계수는 복수의 주파수 밴드에 각각 대응하는 복수의 서브밴드 필터 계수들을 포함한다. 본 발명에서 서브밴드 필터 계수는 QMF 변환된 서브밴드 도메인의 각 BRIR 필터 계수를 가리킨다. 본 명세서에서 서브밴드 필터 계수는 BRIR 서브 밴드 필터 계수로도 지칭될 수 있다. BRIR 파라메터화부(210)는 QMF 도메인의 복수의 BRIR 서브밴드 필터 계수를 각각 편집하고, 편집된 서브밴드 필터 계수를 고속 콘볼루션부(230) 등에 전달할 수 있다. 본 발명의 실시예에 따르면, BRIR 파라메터화부(210)는 바이노럴 렌더러(200)의 일 구성요소로 포함될 수도 있으며, 별도의 장치로 구비될 수도 있다. 일 실시예에 따르면, BRIR 파라메터화부(210)를 제외한 고속 콘볼루션부(230), 후기잔향 생성부(240), QTDL 프로세싱부(250), 믹서&콤바이너(260)를 포함하는 구성이 바이노럴 렌더링 유닛(220)으로 분류될 수 있다.
일 실시예에 따르면, BRIR 파라메터화부(210)는 가상 재생 공간의 적어도 하나의 위치에 대응되는 BRIR 필터 계수를 입력으로 수신할 수 있다. 상기 가상 재생 공간의 각 위치는 멀티채널 시스템의 각 스피커 위치에 대응될 수 있다. 일 실시예에 따르면, BRIR 파라메터화부(210)가 수신한 각 BRIR 필터 계수는 바이노럴 렌더러(200)의 입력 신호의 각 채널 또는 각 오브젝트에 직접 매칭될 수 있다. 반면에, 본 발명의 다른 실시예에 따르면 상기 수신된 각 BRIR 필터 계수는 바이노럴 렌더러(200)의 입력 신호에 독립적인 구성(configuration)을 가질 수 있다. 즉, BRIR 파라메터화부(210)가 수신한 BRIR 필터 계수 중 적어도 일부는 바이노럴 렌더러(200)의 입력 신호에 직접 매칭되지 않을 수 있으며, 수신된 BRIR 필터 계수의 개수는 입력 신호의 채널 및/또는 오브젝트의 총 개수보다 작거나 클 수도 있다.
본 발명의 실시예에 따르면, BRIR 파라메터화부(210)는 바이노럴 렌더러(200)의 입력 신호의 각 채널 또는 각 오브젝트에 대응하는 BRIR 필터 계수를 변환 및 편집하여 바이노럴 렌더링 유닛(220)으로 전달할 수 있다. 상기 대응하는 BRIR 필터 계수는 각 채널 또는 각 오브젝트에 대한 매칭 BRIR 또는 폴백(fallback) BRIR이 될 수 있다. BRIR 매칭은 가상 재생 공간상에서 각 채널 또는 각 오브젝트의 위치를 타겟으로 하는 BRIR 필터 계수가 존재하는지 여부에 따라 결정될 수 있다. 만약, 입력 신호의 각 채널 또는 각 오브젝트의 위치 중 적어도 하나를 타겟으로 하는 BRIR 필터 계수가 존재할 경우, 해당 BRIR 필터 계수는 입력 신호의 매칭 BRIR이 될 수 있다. 그러나 특정 채널 또는 오브젝트의 위치를 타겟으로 하는 BRIR 필터 계수가 존재하지 않을 경우, 바이노럴 렌더링 유닛(220)은 해당 채널 또는 오브젝트와 가장 유사한 위치를 타겟으로 하는 BRIR 필터 계수를 해당 채널 또는 오브젝트에 대한 폴백 BRIR로 제공할 수 있다.
한편 본 발명의 다른 실시예에 따르면, BRIR 파라메터화부(210)는 수신된 BRIR 필터 계수 전체를 변환 및 편집하여 바이노럴 렌더링 유닛(220)으로 전달할 수 있다. 이때, 입력 신호의 각 채널 또는 각 오브젝트에 대응하는 BRIR 필터 계수(또는, 편집된 BRIR 필터 계수)의 선별 작업은 바이노럴 렌더링 유닛(220)에서 수행될 수 있다.
바이노럴 렌더링 유닛(220)은 고속 콘볼루션부(230), 후기잔향 생성부(240) 및 QTDL 프로세싱부(250)를 포함하며, 멀티채널 및/또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신한다. 본 명세서에서는 멀티채널 및/또는 멀티오브젝트 신호를 포함하는 입력 신호를 멀티 오디오 신호로 지칭하기로 한다. 도 2에서는 일 실시예에 따라 바이노럴 렌더링 유닛(220)이 QMF 도메인의 멀티채널 신호를 수신하는 것으로 도시되어 있으나, 바이노럴 렌더링 유닛(220)의 입력 신호에는 시간 도메인 멀티채널 신호 및 멀티오브젝트 신호 등이 포함될 수 있다. 또한, 바이노럴 렌더링 유닛(220)이 별도의 디코더를 추가적으로 포함할 경우, 상기 입력 신호는 상기 멀티 오디오 신호의 부호화된 비트스트림이 될 수 있다. 이에 더하여, 본 명세서에서는 멀티 오디오 신호에 대한 BRIR 렌더링을 수행하는 케이스를 기준으로 본 발명을 설명하지만, 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 제공하는 특징들은 BRIR이 아닌 다른 종류의 렌더링 필터에도 적용될 수 있으며, 멀티 오디오 신호가 아닌 단일 채널 또는 단일 오브젝트의 오디오 신호에 대해서도 적용될 수 있다.
고속 콘볼루션부(230)는 입력 신호와 BRIR 필터간의 고속 콘볼루션을 수행하여 입력 신호에 대한 직접음(direct sound)과 초기 반사음(early reflection)을 처리한다. 이를 위해, 고속 콘볼루션부(230)는 절단된(truncated) BRIR을 사용하여 고속 콘볼루션을 수행할 수 있다. 절단된 BRIR은 각 서브밴드 주파수에 종속적으로 절단된 복수의 서브밴드 필터 계수를 포함하며, BRIR 파라메터화부(210)에서 생성된다. 이때, 각 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드의 주파수에 종속적으로 결정된다. 고속 콘볼루션부(230)는 서브밴드에 따라 서로 다른 길이를 갖는 절단된 서브밴드 필터 계수를 이용함으로 주파수 도메인에서의 가변차수(variable order) 필터링을 수행할 수 있다. 즉, 각 주파수 밴드 별로 QMF 도메인 서브밴드 오디오 신호와 이에 대응하는 QMF 도메인의 절단된 서브밴드 필터들 간의 고속 콘볼루션이 수행될 수 있다. 본 명세서에서 직접음 및 초기 반사음(Direct sound & Early reflection, D&E) 파트는 F(front)-파트로 지칭될 수 있다.
후기잔향 생성부(240)는 입력 신호에 대한 후기잔향(late reverberation) 신호를 생성한다. 후기잔향 신호는 고속 콘볼루션부(230)에서 생성된 직접음 및 초기 반사음 이후의 출력 신호를 나타낸다. 후기잔향 생성부(240)는 BRIR 파라메터화부(210)로부터 전달된 각 서브밴드 필터 계수로부터 결정된 잔향 시간 정보에 기초하여 입력 신호를 처리할 수 있다. 본 발명의 실시예에 따르면, 후기잔향 생성부(240)는 입력 오디오 신호에 대한 모노 또는 스테레오 다운믹스 신호를 생성하고, 생성된 다운믹스 신호에 대한 후기잔향 처리를 수행할 수 있다. 본 명세서에서 후기잔향(Late Reverberation, LR) 파트는 P(parametric)-파트로 지칭될 수 있다.
QTDL(QMF domain Tapped Delay Line) 프로세싱부(250)는 입력 오디오 신호 중 고 주파수 밴드의 신호를 처리한다. QTDL 프로세싱부(250)는 고 주파수 밴드의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 BRIR 파라메터화부(210)로부터 수신하고, 수신된 파라메터를 이용하여 QMF 도메인에서 탭-딜레이 라인 필터링을 수행한다. 본 발명의 실시예에 따르면, 바이노럴 렌더러(200)는 기 설정된 상수 또는 기 설정된 주파수 밴드를 기초로 입력 오디오 신호를 저 주파수 밴드 신호와 고 주파수 밴드 신호로 분리하고, 저 주파수 밴드 신호는 고속 콘볼루션부(230) 및 후기잔향 생성부(240)에서, 고 주파수 밴드 신호는 QTDL 프로세싱부(250)에서 각각 처리할 수 있다.
고속 콘볼루션부(230), 후기잔향 생성부(240) 및 QTDL 프로세싱부(250)는 각각 2채널의 QMF 도메인 서브밴드 신호를 출력한다. 믹서&콤바이너(260)는 고속 콘볼루션부(230)의 출력 신호, 후기잔향 생성부(240)의 출력 신호 및 QTDL 프로세싱부(250)의 출력 신호를 결합하여 믹싱을 수행한다. 이때, 출력 신호의 결합은 2채널의 좌, 우 출력 신호에 대해 각각 별도로 수행된다. 바이노럴 렌더러(200)는 결합된 출력 신호를 QMF 합성하여 시간 도메인의 최종 출력 오디오 신호를 생성한다.
이하, 각 도면을 참조로 하여 도 2의 고속 콘볼루션부(230), 후기잔향 생성부(240), QTDL 프로세싱부(250) 및 이들의 조합에 대한 다양한 실시예들을 구체적으로 설명하도록 한다.
도 3 내지 도 7은 본 발명에 따른 오디오 신호 처리 장치의 다양한 실시예들을 나타내고 있다. 본 발명에서 오디오 신호 처리 장치는 협의의 의미로는 도 2에 도시된 바이노럴 렌더러(200) 또는 바이노럴 렌더링 유닛(220)을 가리킬 수 있다. 그러나 본 발명에서 오디오 신호 처리 장치는 광의의 의미로는 바이노럴 렌더러를 포함하는 도 1의 오디오 신호 디코더를 가리킬 수 있다. 도 3 내지 도 7에 도시된 각 바이노럴 렌더러는 설명의 편의를 위해 도 2에 도시된 바이노럴 렌더러(200)의 일부 구성만을 나타낼 수 있다. 또한, 이하 본 명세서에서는 멀티채널 입력 신호에 대한 실시예를 주로 기술할 수 있으나, 별도의 언급이 없을 경우 채널, 멀티채널 및 멀티채널 입력 신호는 각각 오브젝트, 멀티오브젝트 및 멀티오브젝트 입력 신호를 포함하는 개념으로 사용될 수 있다. 뿐만 아니라, 멀티채널 입력 신호는 HOA 디코딩 및 렌더링된 신호를 포함하는 개념으로도 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 바이노럴 렌더러(200A)를 나타내고 있다. BRIR을 이용한 바이노럴 렌더링을 일반화하면 M개의 채널을 갖는 멀티채널의 입력 신호에 대해 O개의 출력신호를 얻기 위한 M-to-O 프로세싱이다. 바이노럴 필터링은 이 과정에서 각각의 입력 채널과 출력 채널에 대응되는 필터 계수를 이용한 필터링으로 볼 수 있다. 도 3에서 원본 필터 셋 H는 각 채널 신호의 스피커 위치에서부터 좌, 우 귀의 위치까지의 전달함수들을 의미한다. 이러한 전달함수 중 일반적인 청음공간, 즉 잔향이 있는 공간에서 측정한 것을 Binaural Room Impulse Response(BRIR)라 부른다. 반면 재생 공간의 영향이 없도록 무향실에서 측정한 것을 Head Related Impulse Response(HRIR)이라고 하며, 이에 대한 전달함수를 Head Related Transfer Function(HRTF)라 부른다. 따라서, BRIR은 HRTF와는 다르게 방향 정보뿐만 아니라 재생 공간의 정보를 함께 담고 있다. 일 실시예에 따르면, HRTF와 인공 잔향기(artificial reverberator)를 이용하여 BRIR을 대체할 수도 있다. 본 명세서에서는 BRIR을 이용한 바이노럴 렌더링에 대하여 설명하지만, 본 발명은 이에 한정되지 않으며 다양한 형태의 FIR 필터를 이용한 바이노럴 렌더링에도 동일하게 적용 가능하다. 한편, BRIR은 전술한 바와 같이 96K개의 샘플 길이를 가질 수 있으며, 멀티 채널 바이노럴 렌더링은 M*O개의 서로 다른 필터를 이용하여 수행되므로 고 연산량의 처리 과정이 요구된다.
본 발명의 실시예에 따르면, BRIR 파라메터화부(210)는 연산량 최적화를 위해 원본 필터 셋 H로부터 변형된 필터 계수들을 생성할 수 있다. BRIR 파라메터화부(210)는 원본 필터 계수를 F(front)-파트 계수와 P(parametric)-파트 계수로 분리한다. 여기서, F-파트는 직접음 및 초기 반사음(D&E) 파트를 나타내고, P-파트는 후기잔향(LR) 파트를 나타낸다. 예를 들어, 96K 샘플 길이를 갖는 원본 필터 계수는 앞의 4K 샘플까지만을 절단한 F-파트와, 나머지 92K 샘플에 대응되는 부분인 P-파트로 각각 분리될 수 있다.
바이노럴 렌더링 유닛(220)은 BRIR 파라메터화부(210)로부터 F-파트 계수 및 P-파트 계수를 각각 수신하고, 이를 이용하여 멀티채널 입력 신호를 렌더링 한다. 본 발명의 실시예에 따르면, 도 2에 도시된 고속 콘볼루션부(230)는 BRIR 파라메터화부(210)로부터 수신된 F-파트 계수를 이용하여 멀티 오디오 신호를 렌더링 하고, 후기잔향 생성부(240)는 BRIR 파라메터화부(210)로부터 수신된 P-파트 계수를 이용하여 멀티 오디오 신호를 렌더링 할 수 있다. 즉, 고속 콘볼루션부(230)와 후기잔향 생성부(240)는 각각 본 발명의 F-파트 렌더링부와 P-파트 렌더링부에 대응될 수 있다. 일 실시예에 따르면, F-파트 렌더링(F-파트 계수를 이용한 바이노럴 렌더링)은 통상적인 FIR(Finite Impulse Response) 필터로 구현되고, P-파트 렌더링(P-파트 계수를 이용한 바이노럴 렌더링)은 파라메트릭한 방법으로 구현될 수 있다. 한편, 유저 또는 제어 시스템에 의해 제공되는 복잡도-퀄리티 제어 입력은 F-파트 및/또는 P-파트로 생성되는 정보를 결정하는데 사용될 수 있다.
도 4는 본 발명의 다른 실시예에 따른 바이노럴 렌더러(200B)로서, F-파트 렌더링을 구현하는 보다 상세한 방법을 도시하고 있다. 설명의 편의를 위해 도 4에서 P-파트 렌더링부는 생략되었다. 또한, 도 4에서는 QMF 도메인에서 구현된 필터를 나타내고 있으나, 본 발명은 이에 한정하지 않으며 다른 도메인의 서브밴드 프로세싱에 모두 적용 가능하다.
도 4를 참조하면, F-파트 렌더링은 QMF 도메인 상에서 고속 콘볼루션부(230)에 의해 수행될 수 있다. QMF 도메인 상에서의 렌더링을 위해 QMF 분석부(222)는 시간 도메인 입력 신호 x0, x1, … x_M-1을 QMF 도메인 신호 X0, X1, … X_M-1으로 변환한다. 이때, 입력신호 x0, x1, … x_M-1은 멀티채널 오디오 신호, 이를테면 22.2 채널 스피커에 대응되는 채널 신호일 수 있다. QMF 도메인은 총 64개의 서브밴드를 사용할 수 있으나, 본 발명은 이에 한정하지 않는다. 한편, 본 발명의 일 실시예에 따르면 QMF 분석부(222)는 바이노럴 렌더러(200B)에서 생략될 수 있다. SBR(Spectral Band Replication)을 사용하는 HE-AAC나 USAC의 경우 QMF 도메인에서 프로세싱을 수행하므로, 바이노럴 렌더러(200B)는 QMF 분석 없이 바로 QMF 도메인 신호 X0, X1, … X_M-1을 입력으로 수신할 수 있다. 따라서, 이와 같이 QMF 도메인 신호를 직접 입력으로 수신하는 경우, 본 발명에 따른 바이노럴 렌더러에서 이용하는 QMF는 이전 처리부(이를테면, SBR)에서 사용하는 QMF와 동일한 것을 특징으로 한다. QMF 합성부(244)는 바이노럴 렌더링이 수행된 2채널의 좌, 우 신호 Y_L, Y_R을 QMF 합성하여 시간 도메인의 2채널 출력 오디오 신호 yL, yR을 생성한다.
도 5 내지 도 7은 각각 F-파트 렌더링과 P-파트 렌더링을 함께 수행하는 바이노럴 렌더러(200C, 200D, 200E)의 실시예를 나타내고 있다. 도 5 내지 도 7의 실시예에서 F-파트 렌더링은 QMF 도메인 상에서 고속 콘볼루션부(230)에 의해 수행되며, P-파트 렌더링은 QMF 도메인 또는 시간 도메인 상에서 후기잔향 생성부(240)에 의해 수행된다. 도 5 내지 도 7의 실시예에서 이전 도면의 실시예와 중복되는 부분은 구체적인 설명을 생략하도록 한다.
도 5를 참조하면, 바이노럴 렌더러(200C)는 F-파트 렌더링 및 P-파트 렌더링을 모두 QMF 도메인에서 수행할 수 있다. 즉, 바이노럴 렌더러(200C)의 QMF 분석부(222)는 시간 도메인 입력 신호 x0, x1, … x_M-1을 QMF 도메인 신호 X0, X1, … X_M-1으로 변환하여 각각 고속 콘볼루션부(230) 및 후기잔향 생성부(240)로 전달한다. 고속 콘볼루션부(230) 및 후기잔향 생성부(240)는 QMF 도메인 신호 X0, X1, … X_M-1을 렌더링하여 각각 2채널의 출력 신호 Y_L, Y_R 및 Y_Lp, Y_Rp를 생성한다. 이때, 고속 콘볼루션부(230) 및 후기잔향 생성부(240)는 BRIR 파라메터화부(210)에서 수신한 F-파트 필터 계수 및 P-파트 필터 계수를 각각 이용하여 렌더링을 수행할 수 있다. F-파트 렌더링의 출력 신호 Y_L, Y_R과 P-파트 렌더링의 출력 신호 Y_Lp, Y_Rp는 믹서&콤바이너(260)에서 좌, 우 채널 별로 결합되어 QMF 합성부(224)로 전달된다. QMF 합성부(224)는 입력된 2채널의 좌, 우 신호를 QMF 합성하여 시간 도메인의 2채널 출력 오디오 신호 yL, yR을 생성한다.
도 6을 참조하면, 바이노럴 렌더러(200D)는 QMF 도메인에서 F-파트 렌더링을, 시간 도메인에서 P-파트 렌더링을 각각 수행할 수 있다. 바이노럴 렌더러(200D)의 QMF 분석부(222)는 시간 도메인 입력 신호를 QMF 변환하여 고속 콘볼루션부(230)로 전달한다. 고속 콘볼루션부(230)는 QMF 도메인 신호를 F-파트 렌더링하여 2채널의 출력 신호 Y_L, Y_R을 생성한다. QMF 합성부(224)는 F-파트 렌더링의 출력 신호를 시간 도메인 출력 신호로 변환하여 믹서&콤바이너(260)로 전달한다. 한편, 후기잔향 생성부(240)는 시간 도메인 입력 신호를 직접 수신하여 P-파트 렌더링을 수행한다. P-파트 렌더링의 출력 신호 yLp, yRp는 믹서&콤바이너(260)로 전달된다. 믹서&콤바이너(260)는 시간 도메인 상에서 F-파트 렌더링 출력 신호 및 P-파트 렌더링 출력 신호를 각각 결합하여 시간 도메인의 2채널 출력 오디오 신호 yL, yR을 생성한다.
도 5와 도 6의 실시예에서 F-파트 렌더링 및 P-파트 렌더링이 각각 병렬적(parallel)으로 수행된 반면, 도 7의 실시예에 따르면 바이노럴 렌더러(200E)는 F-파트 렌더링과 P-파트 렌더링을 각각 순차적(sequential)으로 수행할 수 있다. 즉, 고속 콘볼루션부(230)는 QMF 변환된 입력 신호를 F-파트 렌더링하고, F-파트 렌더링된 2채널 신호 Y_L, Y_R은 QMF 합성부(224)에서 시간 도메인 신호로 변환된 뒤 후기잔향 생성부(240)로 전달될 수 있다. 후기잔향 생성부(240)는 입력된 2채널 신호에 대한 P-파트 렌더링을 수행하여 시간 도메인의 2채널 출력 오디오 신호 yL, yR을 생성한다.
도 5 내지 도 7은 각각 F-파트 렌더링과 P-파트 렌더링을 수행하는 일 실시예를 나타낸 것이며, 각 도면의 실시예들을 조합 또는 변형하여 바이노럴 렌더링을 수행할 수 있다. 이를테면, 각 실시예에서 바이노럴 렌더러는 입력된 멀티 오디오 신호 각각에 대해 개별적으로 P-파트 렌더링을 수행할 수도 있지만, 입력 신호를 2채널의 좌, 우 신호 또는 모노 신호로 다운믹스 한 후 다운믹스 신호에 대한 P-파트 렌더링을 수행할 수도 있다.
<주파수 도메인 가변차수 필터링(Variable Order Filtering in Frequency-domain, VOFF)>
도 8 내지 도 10은 본 발명의 실시예에 따른 바이노럴 렌더링을 위한 FIR 필터 생성 방법을 나타내고 있다. 본 발명의 실시예에 따르면, QMF 도메인에서의 바이노럴 렌더링을 위해, QMF 도메인의 복수의 서브밴드 필터로 변환된 FIR 필터가 사용될 수 있다. 이때, F-파트 렌더링에는 각 서브밴드 주파수에 종속적으로 절단된 서브밴드 필터들이 사용될 수 있다. 즉, 바이노럴 렌더러의 고속 콘볼루션부는 서브밴드에 따라 서로 다른 길이를 갖는 절단된 서브밴드 필터를 이용함으로 QMF 도메인에서의 가변차수 필터링을 수행할 수 있다. 이하, 설명되는 도 8 내지 도 10의 필터 생성 실시예는 도 2의 BRIR 파라메터화부(210)에 의해 수행될 수 있다.
도 8은 바이노럴 렌더링에 사용되는 QMF 도메인 필터의 각 QMF 밴드에 따른 길이의 일 실시예를 나타내고 있다. 도 8의 실시예에서 FIR 필터는 I개의 QMF 서브밴드 필터로 변환되며, Fi는 QMF 서브밴드 i의 절단된 서브밴드 필터를 나타낸다. QMF 도메인은 총 64개의 서브밴드를 사용할 수 있으나, 본 발명은 이에 한정하지 않는다. 또한, N은 원본 서브밴드 필터의 길이(탭 수)를 나타내며, 절단된 서브밴드 필터의 길이는 각각 N1, N2, N3로 표현되었다. 이때, 길이 N, N1, N2 및 N3는 다운 샘플된 QMF 도메인에서의 탭 수를 나타낸다.
본 발명의 실시예에 따르면, 각 서브밴드에 따라 서로 다른 길이(N1, N2, N3)를 갖는 절단된 서브밴드 필터가 F-파트 렌더링에 사용될 수 있다. 이때, 절단된 서브밴드 필터는 원본 서브밴드 필터에서 절단된 앞부분(front)의 필터이며, 프론트 서브밴드 필터로도 지칭될 수 있다. 또한, 원본 서브밴드 필터의 절단 이후의 뒷부분(rear)은 리어 서브밴드 필터로 지칭될 수 있으며, P-파트 렌더링에 이용될 수 있다.
BRIR 필터를 이용한 렌더링의 경우, 각 서브밴드 별 필터 차수(즉, 필터 길이)는 원본 BRIR 필터로부터 추출된 파라메터들 이를 테면, 각 서브밴드 필터 별 잔향 시간(Reverberation Time, RT) 정보, EDC(Energy Decay Curve) 값, 에너지 감쇄 시간 정보 등에 기초하여 결정될 수 있다. 각 주파수 별로 공기 중에서의 감쇄, 벽 및 천장의 재질에 따른 흡음 정도가 다른 음향적 특성으로 인해, 잔향 시간은 주파수에 따라 서로 달라질 수 있다. 일반적으로는 낮은 주파수의 신호일수록 잔향 시간이 긴 특성을 갖는다. 잔향 시간이 길면 FIR 필터의 뒷부분에 많은 정보가 남아 있음을 의미하므로, 해당 필터를 길게 절단하여 사용하는 것이 잔향 정보를 제대로 전달하는데 바람직하다. 따라서, 본 발명의 각 절단된 서브밴드 필터의 길이는 해당 서브밴드 필터에서 추출된 특성 정보(이를테면, 잔향 시간 정보)에 적어도 부분적으로 기초하여 결정된다.
절단된 서브밴드 필터의 길이는 다양한 실시예에 따라 결정될 수 있다. 먼저 일 실시예에 따르면, 각 서브밴드는 복수의 그룹으로 분류되고, 분류된 그룹에 따라 각 절단된 서브밴드 필터의 길이가 결정될 수 있다. 도 8의 예시에 따르면, 각 서브밴드는 3개의 구역(Zone 1, Zone 2, Zone 3)으로 분류될 수 있는데, 저 주파수에 해당하는 Zone 1의 절단된 서브밴드 필터들은 고 주파수에 해당하는 Zone 2 및 Zone 3의 절단된 서브밴드 필터들보다 더 긴 필터 차수(즉, 필터 길이)를 가질 수 있다. 또한, 고 주파수의 구역으로 감에 따라 해당 구역의 절단된 서브밴드 필터의 필터 차수는 점점 줄어들 수 있다.
본 발명의 다른 실시예에 따르면, 각 절단된 서브밴드 필터의 길이는 원본 서브밴드 필터의 특성 정보에 따라 각 서브밴드 별로 독립적 및 가변적으로 결정될 수 있다. 각 절단된 서브밴드 필터의 길이는 해당 서브밴드에서 결정된 절단 길이에 기초하여 결정되며, 이웃하는 또는 다른 서브밴드의 절단된 서브밴드 필터의 길이에 영향을 받지 않는다. 이를테면, Zone 2의 일부 혹은 전부의 절단된 서브밴드 필터의 길이가 Zone 1의 적어도 하나의 절단된 서브밴드 필터의 길이보다 길 수 있다.
본 발명의 또 다른 실시예에 따르면, 복수의 그룹으로 분류된 서브밴드 중 일부에 대해서만 주파수 도메인 가변차수 필터링이 수행될 수 있다. 즉, 분류된 적어도 2개의 그룹 중 일부의 그룹에 속한 서브밴드에 대해서만 서로 다른 길이를 갖는 절단된 서브밴드 필터가 생성될 수 있다. 일 실시예에 따르면, 절단된 서브밴드 필터가 생성되는 그룹은 기 설정된 상수 또는 기 설정된 주파수 밴드를 기초로 저 주파수 밴드로 분류된 서브밴드 그룹(이를테면, Zone 1)이 될 수 있다.
절단된 필터의 길이는 오디오 신호 처리 장치가 획득한 추가적인 정보 이를 테면, 디코더의 복잡도(complexity), 복잡도 레벨(프로파일), 또는 요구되는 퀄리티 정보에 기초하여 결정될 수 있다. 복잡도는 오디오 신호 처리 장치의 하드웨어 리소스(resource)에 따라 결정되거나 유저가 직접 입력한 값에 따라 결정될 수 있다. 퀄리티는 유저의 요구에 따라 결정되거나, 비트스트림을 통해 전송된 값 또는 비트스트림에 포함된 다른 정보를 참조하여 결정될 수 있다. 또한, 퀄리티는 전송되는 오디오 신호의 품질을 추정한 값에 따라 결정될 수도 있는데, 이를테면 비트 레이트가 높을수록 더 높은 퀄리티로 간주할 수 있다. 이때, 각 절단된 서브밴드 필터의 길이는 복잡도 및 퀄리티에 따라 비례적으로 증가할 수도 있고, 각 밴드별로 서로 다른 비율로 변화할 수도 있다. 또한, 각 절단된 서브밴드 필터의 길이는 후술하는 FFT 등의 고속 프로세싱에 의한 추가적인 이득을 얻기 위해 이에 대응되는 크기 단위 이를 테면, 2의 거듭제곱의 배수로 결정될 수 있다. 반면, 절단된 서브밴드 필터의 결정된 길이가 실제 서브밴드 필터의 총 길이보다 길 경우, 절단된 서브밴드 필터의 길이는 실제 서브밴드 필터의 길이로 조정될 수 있다.
BRIR 파라메터화부는 전술한 실시예에 따라 결정된 각 절단된 서브밴드 필터에 대응하는 절단된 서브밴드 필터 계수(F-파트 계수)들을 생성하고, 이를 고속 콘볼루션부로 전달한다. 고속 콘볼루션부는 절단된 서브밴드 필터 계수를 이용하여 멀티 오디오 신호의 각 서브밴드 신호에 대한 주파수 도메인 가변차수 필터링을 수행한다.
도 9는 바이노럴 렌더링에 사용되는 QMF 도메인 필터의 각 QMF 밴드 별 길이의 다른 실시예를 나타내고 있다. 도 9의 실시예에서 도 8의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
도 9의 실시예에서 Fi_L, Fi_R은 각각 QMF 서브밴드 i의 F-파트 렌더링에 사용되는 절단된 서브밴드 필터(프론트 서브밴드 필터)를 나타내며, Pi는 QMF 서브밴드 i의 P-파트 렌더링에 사용되는 리어 서브밴드 필터를 나타낸다. N은 원본 서브밴드 필터의 길이(탭 수)를 나타내며, NiF 및 NiP는 각각 서브밴드 i의 프론트 서브밴드 필터 및 리어 서브밴드 필터의 길이를 나타낸다. 전술한 바와 같이, NiF 및 NiP는 다운 샘플된 QMF 도메인에서의 탭 수를 나타낸다.
도 9의 실시예에 따르면, 프론트 서브밴드 필터뿐만 아니라 리어 서브밴드 필터의 길이도 원본 서브밴드 필터에서 추출된 파라메터에 기초하여 결정될 수 있다. 즉, 각 서브밴드의 프론트 서브밴드 필터 및 리어 서브밴드 필터의 길이는 해당 서브밴드 필터에서 추출된 특성 정보에 적어도 부분적으로 기초하여 결정된다. 예를 들어, 프론트 서브밴드 필터의 길이는 해당 서브밴드 필터의 제1 잔향 시간 정보에 기초하여, 리어 서브밴드 필터의 길이는 제2 잔향 시간 정보에 기초하여 결정될 수 있다. 즉, 프론트 서브밴드 필터는 원본 서브밴드 필터에서 제1 잔향 시간 정보에 기초하여 절단된 앞부분의 필터이며, 리어 서브밴드 필터는 프론트 서브밴드 필터 이후의 구간으로서 제1 잔향 시간과 제2 잔향 시간 사이의 구간에 대응하는 뒷부분의 필터가 될 수 있다. 일 실시예에 따르면 제1 잔향 시간 정보는 RT20, 제2 잔향 시간 정보는 RT60이 될 수 있으나, 본 발명은 이에 한정하지 않는다.
제2 잔향 시간 이내에는 초기 반사음 파트에서 후기잔향 파트로 전환되는 부분이 존재한다. 즉, 결정성(deterministic characteristic)을 갖는 구간에서 추계적 특성(stochastic characteristic)을 갖는 구간으로 전환 되는 지점이 존재하며, 전체 밴드의 BRIR의 관점에서 이 지점을 믹싱 타임이라고 부른다. 믹싱 타임 이전 구간의 경우 각 위치 별로 방향성을 제공하는 정보가 주로 존재하며, 이는 채널 별로 고유하다. 반면에 후기잔향 파트의 경우 채널 별로 공통된 특징을 지니기 때문에 복수개의 채널을 한꺼번에 처리하는 것이 효율적일 수 있다. 따라서 서브밴드 별 믹싱 타임을 추정하여 믹싱 타임 이전에 대해서는 F-파트 렌더링을 통해 고속 콘볼루션을 수행하고, 믹싱 타임 이후에 대해서는 P-파트 렌더링을 통해 각 채널 별 공통된 특성이 반영된 프로세싱을 수행할 수 있다.
그러나 믹싱 타임을 추정하는 것은 지각적(perceptual) 관점에서 편향(bias)에 의한 에러가 발생할 수 있다. 따라서, 정확한 믹싱 타임을 추정하여 해당 경계를 기준으로 F-파트와 P-파트로 나누어 처리하는 것 보다는, F-파트의 길이를 최대한 길게 하여 고속 콘볼루션을 수행하는 것이 퀄리티 관점에서는 우수하다. 따라서, F-파트의 길이 즉, 프론트 서브밴드 필터의 길이는 복잡도-퀄리티 제어에 따라 믹싱 타임에 해당하는 길이보다 길거나 짧아질 수 있다.
이에 더하여, 각 서브밴드 필터의 길이를 줄이기 위해 전술한 바와 같이 절단하는 방법 이외에도, 특정 서브밴드의 주파수 응답이 단조로울(monotonic) 경우 해당 서브밴드의 필터를 낮은 차수로 감소시키는 모델링이 가능하다. 대표적인 방법으로는, 주파수 샘플링을 이용한 FIR 필터 모델링이 있으며, 최소 자승 관점에서 최소화되는 필터를 디자인할 수 있다.
본 발명의 실시예에 따르면, 각 서브밴드 별 프론트 서브밴드 필터 및/또는 리어 서브밴드 필터의 길이는 해당 서브밴드의 각 채널에 대해 동일한 값을 가질 수 있다. BRIR에는 측정 상의 에러가 존재할 수 있으며, 잔향 시간을 추정하는데 있어서도 편향 등의 오차 요소가 존재한다. 따라서, 이러한 영향을 줄이기 위해 채널간 또는 서브밴드간 상호 관계에 기초하여 필터의 길이가 결정될 수 있다. 일 실시예에 따르면, BRIR 파라메터화부는 동일한 서브밴드의 각 채널에 대응하는 서브밴드 필터로부터 각각 제1 특성 정보(이를 테면, 제1 잔향 시간 정보)를 추출하고, 추출된 제1 특성 정보를 조합하여 해당 서브밴드에 대한 하나의 필터 차수 정보(또는, 제1 절단 지점 정보)를 획득할 수 있다. 해당 서브밴드의 각 채널 별 프론트 서브밴드 필터는 상기 획득된 필터 차수 정보(또는, 제1 절단 지점 정보)에 기초하여 동일한 길이를 갖도록 결정될 수 있다. 마찬가지로, BRIR 파라메터화부는 동일한 서브밴드의 각 채널에 대응하는 서브밴드 필터로부터 각각 제2 특성 정보(이를 테면, 제2 잔향 시간 정보)를 추출하고, 추출된 제2 특성 정보를 조합하여 해당 서브밴드의 각 채널에 대응하는 리어 서브밴드 필터에 공통으로 적용될 제2 절단 지점 정보를 획득할 수 있다. 여기서, 프론트 서브밴드 필터는 원본 서브밴드 필터에서 제1 절단 지점 정보에 기초하여 절단된 앞부분의 필터이며, 리어 서브밴드 필터는 프론트 서브밴드 필터 이후의 구간으로서 제1 절단 지점과 제2 절단 지점 사이의 구간에 대응하는 뒷부분의 필터가 될 수 있다
한편 본 발명의 다른 실시예에 따르면, 특정 서브밴드 그룹의 서브밴드에 대해서는 F-파트 프로세싱만 수행될 수 있다. 이때, 해당 서브밴드에 대해서 제1 절단 지점까지의 필터만 이용하여 프로세싱이 수행되면, 전체 서브밴드 필터를 이용하여 프로세싱이 수행될 때와 비교하여 처리되는 필터의 에너지 차이에 의하여 사용자가 지각할 수 있는 수준의 왜곡이 발생할 수 있다. 이러한 왜곡을 방지하기 위해, 해당 서브밴드 필터에서 프로세싱에 사용되지 않는 영역, 즉 제1 절단 지점 이후의 영역에 대한 에너지 보상이 이루어 질 수 있다. 상기 에너지 보상은 F-파트 계수(프론트 서브밴드 필터 계수)에 해당 서브밴드 필터의 제1 절단 지점까지의 필터 파워를 나누고, 원하는 영역의 에너지, 이를테면 해당 서브밴드 필터의 전체 파워를 곱함으로써 수행 가능하다. 따라서, F-파트 계수의 에너지가 전체 서브밴드 필터의 에너지와 같아지도록 조정될 수 있다. 또한, BRIR 파라메터화부에서 P-파트 계수가 전송되었음에도 불구하고, 바이노럴 렌더링 유닛에서는 복잡도-퀄리티 제어에 기초하여 P-파트 프로세싱을 수행하지 않을 수 있다. 이 경우, 바이노럴 렌더링 유닛은 P-파트 계수를 이용하여 F-파트 계수에 대한 상기 에너지 보상을 수행할 수 있다.
전술한 방법들에 의한 F-파트 프로세싱에 있어서, 각 서브밴드 별로 다른 길이를 갖는 절단된 서브밴드 필터의 필터 계수는 하나의 시간 영역 필터(즉, proto-type 필터)로부터 획득된다. 즉, 하나의 시간 영역 필터를 복수의 QMF 서브밴드 필터로 변환하고, 각 서브밴드에 대응되는 필터들의 길이를 가변 시킨 것이므로, 각 절단된 서브밴드 필터는 하나의 원형필터로부터 획득된 것이다.
BRIR 파라메터화부는 전술한 실시예에 따라 결정된 각 프론트 서브밴드 필터에 대응하는 프론트 서브밴드 필터 계수(F-파트 계수)를 생성하고, 이를 고속 콘볼루션부로 전달한다. 고속 콘볼루션부는 수신된 프론트 서브밴드 필터 계수를 이용하여 멀티 오디오 신호의 각 서브밴드 신호에 대한 주파수 도메인 가변차수 필터링을 수행한다. 또한, BRIR 파라메터화부는 전술한 실시예에 따라 결정된 각 리어 서브밴드 필터에 대응하는 리어 서브밴드 필터 계수(P-파트 계수)를 생성하고, 이를 후기잔향 생성부로 전달할 수 있다. 후기잔향 생성부는 수신된 리어 서브밴드 필터 계수를 이용하여 각 서브밴드 신호에 대한 잔향 처리를 수행할 수 있다. 본 발명의 실시예에 따르면, BRIR 파라메터화부는 각 채널 별 리어 서브밴드 필터 계수들을 조합하여 다운믹스 서브밴드 필터 계수(다운믹스 P-파트 계수)를 생성하고, 이를 후기잔향 생성부로 전달할 수 있다. 후술하는 바와 같이, 후기잔향 생성부는 수신된 다운믹스 서브밴드 필터 계수를 이용하여 2채널의 좌, 우 서브밴드 잔향 신호를 생성할 수 있다.
도 10은 바이노럴 렌더링에 사용되는 FIR 필터 생성 방법의 또 다른 실시예를 나타내고 있다. 도 10의 실시예에서 도 8 및 도 9의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
도 10을 참조하면, QMF 변환된 복수의 서브밴드 필터들은 복수의 그룹으로 분류되고, 분류된 각 그룹별로 서로 다른 프로세싱이 적용될 수 있다. 예를 들어, 복수의 서브밴드는 기 설정된 주파수 밴드(QMF 밴드 i)를 기준으로 한 저 주파수의 제1 서브밴드 그룹(Zone 1)과, 고 주파수의 제2 서브밴드 그룹(Zone 2)으로 분류될 수 있다. 이때, 제1 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 F-파트 렌더링이 , 제2 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 후술하는 QTDL 프로세싱이 수행될 수 있다.
따라서, BRIR 파라메터화부는 제1 서브밴드 그룹의 각 서브밴드 별로 프론트 서브밴드 필터 계수를 생성하고, 이를 고속 콘볼루션부에 전달한다. 고속 콘볼루션부는 수신된 프론트 서브밴드 필터 계수를 이용하여 제1 서브밴드 그룹의 서브밴드 신호에 대한 F-파트 렌더링을 수행한다. 실시예에 따라서, 제1 서브밴드 그룹의 서브밴드 신호에 대한 P-파트 렌더링이 후기잔향 생성부에 의해 추가적으로 수행될 수도 있다 . 또한, BRIR 파라메터화부는 제2 서브밴드 그룹의 각 서브밴드 필터 계수로부터 적어도 하나의 파라메터를 획득하고 이를 QTDL 프로세싱부로 전달한다. QTDL 프로세싱부는 획득된 파라메터를 이용하여 후술하는 바와 같이 제2 서브밴드 그룹의 각 서브밴드 신호에 대한 탭-딜레이 라인 필터링을 수행한다. 본 발명의 실시예에 따르면, 제1 서브밴드 그룹과 제2 서브밴드 그룹을 구분하는 기 설정된 주파수(QMF 밴드 i)는 사전에 정해진 상수 값에 기초하여 결정될 수도 있고, 전송된 오디오 입력 신호의 비트열 특성에 따라 결정될 수도 있다. 이를 테면, SBR을 사용하는 오디오 신호의 경우, 제2 서브밴드 그룹이 SBR 밴드에 대응하도록 설정될 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 서브밴드는 기 설정된 제1 주파수 밴드(QMF 밴드 i) 및 제 2 주파수 밴드(QMF 밴드 j)를 기초로 3개의 서브밴드 그룹으로 분류될 수도 있다. 즉, 복수의 서브밴드는 제1 주파수 밴드보다 작거나 같은 저 주파수 구역인 제1 서브밴드 그룹(Zone 1), 제1 주파수 밴드 보다 크고 제2 주파수 밴드보다 작거나 같은 중간 주파수 구역인 제2 서브밴드 그룹(Zone 2), 및 제2 주파수 밴드 보다 큰 고 주파수 구역인 제3 서브밴드 그룹(Zone 3)으로 분류될 수 있다. 이때, 제1 서브밴드 그룹의 서브밴드 신호 및 제2 서브밴드 그룹의 서브밴드 신호들에 대해서는 전술한 바와 같이 각각 F-파트 렌더링 및 QTDL 프로세싱이 수행될 수 있으며, 제3 서브밴드 그룹의 서브밴드 신호들에 대해서는 렌더링을 수행하지 않을 수 있다.
<후기잔향 렌더링>
다음으로 도 11 내지 도 14를 참조로 본 발명의 P-파트 렌더링의 다양한 실시예에 대해 설명하도록 한다. 즉, QMF 도메인에서 P-파트 렌더링을 수행하는 도 2의 후기잔향 생성부(240)의 다양한 실시예가 도 11 내지 도 14를 참조로 설명된다. 도 11 내지 도 14의 실시예에서 멀티채널 입력 신호는 QMF 도메인의 서브밴드 신호로 수신된다고 가정한다. 따라서, 도 11 내지 도 14의 각 구성 즉, 디코릴레이터(241), 서브밴드 필터링부(242), IC 매칭부(243), 다운 믹스부(244) 및 에너지 감쇄 매칭부(246)의 프로세싱은 각 QMF 서브밴드 별로 수행될 수 있다. 도 11 내지 도 14의 실시예에서 이전 도면의 실시예와 중복되는 부분은 구체적인 설명을 생략하도록 한다.
전술한 도 8 내지 도 10의 실시예에서 P-파트에 대응되는 Pi(P1, P2, P3, …)는 주파수 가변 절단에 따라 제거된 각 서브밴드 필터의 뒷부분에 해당하며, 통상적으로 후기잔향에 대한 정보를 포함하고 있다. 복잡도-퀄리티 제어에 따라 P-파트의 길이는 각 서브밴드 필터의 절단된 지점 이후의 전체 필터로 정의될 수도 있고, 해당 서브밴드 필터의 제2 잔향 시간 정보를 참조하여 보다 작은 길이로 정의될 수도 있다.
P-파트 렌더링은 각 채널 별로 독립적으로 수행될 수도 있고, 다운믹스 된 채널에 대해 수행될 수도 있다. 또한, P-파트 렌더링은 기 설정된 서브밴드 그룹 별로 또는 각 서브밴드 별로 서로 다른 프로세싱을 통해 적용될 수도 있으며, 전체 서브밴드에 대하여 동일한 프로세싱으로 적용될 수도 있다. 이때, P-파트에 적용 가능한 프로세싱으로는 입력 신호에 대한 에너지 감소 보상, 탭-딜레이 라인 필터링, IIR(Infinite Impulse Response) 필터를 이용한 프로세싱, 인공 잔향기(artificial reverberator)를 이용한 프로세싱, FIIC(Frequency-independent Interaural Coherence) 보상, FDIC(Frequency-dependent Interaural Coherence) 보상 등이 포함될 수 있다.
한편, P-파트에 대한 파라메트릭(parametric) 프로세싱을 위해서는 크게 두 가지 특징 즉, EDR(Energy Decay Relief)과 FDIC(Frequency-dependent Interaural Coherence)의 특징을 보존하는 것이 중요하다. 먼저, P-파트를 에너지 관점에서 관찰하면, 각 채널 별로 EDR이 동일 또는 유사함을 알 수 있다. 각 채널이 공통된 EDR을 가지고 있기 때문에, 모든 채널을 한 개 또는 두 개의 채널로 다운 믹스한 후, 다운 믹스 된 채널에 대한 P-파트 렌더링을 수행하는 것은 에너지 관점에서 타당하다. 이때, M개의 채널에 대하여 M회의 콘볼루션을 수행해야 하는 P-파트 렌더링의 연산을, M-to-O 다운믹스와 1회(또는, 2회)의 콘볼루션으로 줄임으로 상당한 연산량의 이득을 제공할 수 있다.
다음으로, P-파트 렌더링에서 FDIC를 보상하는 과정이 필요하다. FDIC를 추정하는 방법에는 여러 가지가 있으나, 다음과 같은 수식이 사용될 수 있다.
수학식 3
Figure PCTKR2014008678-appb-M000003
여기서,
Figure PCTKR2014008678-appb-I000010
는 임펄스 응답
Figure PCTKR2014008678-appb-I000011
의 STFT(Short Time Fourier Transform) 계수, n은 시간 인덱스, i는 주파수 인덱스, k는 프레임 인덱스, m은 출력 채널 인덱스(L, R)를 나타낸다. 또한, 분자의 함수
Figure PCTKR2014008678-appb-I000012
는 입력 x의 실수 값을 출력하고,
Figure PCTKR2014008678-appb-I000013
는 x의 복소 켤레(complex conjugate) 값을 나타낸다. 상기 수식에서 분자 부분은 실수 값 대신 절대값을 취하는 함수로 치환될 수도 있다.
한편, 본 발명에서 바이노럴 렌더링은 QMF 도메인에서 수행되기 때문에, FDIC는 다음과 같은 수식으로 정의될 수도 있다.
수학식 4
Figure PCTKR2014008678-appb-M000004
여기서, i는 서브밴드 인덱스, k는 서브밴드에서의 시간 인덱스,
Figure PCTKR2014008678-appb-I000014
는 BRIR의 서브밴드 필터를 나타낸다.
후기잔향 파트의 FDIC는 BRIR이 레코딩 될 때 두 마이크로폰의 위치에 주로 영향을 받는 파라메터로서, 스피커의 위치, 즉 방향과 거리에는 영향을 받지 않는다. 청자의 머리를 구(sphere)라고 가정했을 때, BRIR의 이론적인 FDIC(ICideal)는 다음과 같은 수식을 만족시킬 수 있다.
수학식 5
Figure PCTKR2014008678-appb-M000005
여기서, r은 청자의 양 귀 사의 거리, 즉 두 마이크로폰 사이의 거리이며, k는 주파수 인덱스이다.
복수 채널의 BRIR을 이용한 FDIC를 분석하면, F-파트에 주로 포함된 초기 반사음은 각 채널 별로 매우 다름을 알 수 있다. 즉, F-파트의 FDIC는 채널 별로 매우 다르게 변화한다. 한편, 고 주파수 대역의 경우 FDIC가 매우 크게 변화하지만, 이는 에너지가 빠르게 감쇄하는 고 주파수 대역 신호의 특성상 큰 측정 오차가 발생하기 때문이고, 채널 별 평균을 취하게 될 경우 FDIC는 거의 0에 수렴한다. 반면, P-파트의 경우에도 측정 오차로 인해 채널 별 FDIC의 차이가 발생하지만, 평균적으로 수학식 5와 같은 싱크 함수에 수렴하는 것을 확인할 수 있다. 본 발명의 실시예에 따르면, 전술한 바와 같은 특성에 기초하여 P-파트 렌더링을 위한 후기잔향 생성부를 구현할 수 있다.
도 11은 본 발명의 일 실시예에 따른 후기잔향 생성부(240A)를 나타내고 있다. 도 11의 실시예에 따르면, 후기잔향 생성부(240A)는 서브밴드 필터링부(242) 및 다운믹스부(244a, 244b)를 포함할 수 있다.
서브밴드 필터링부(242)는 P-파트 계수를 이용하여 멀티채널 입력 신호 X0, X1, …, X_M-1을 각 서브밴드 별로 필터링 한다. P-파트 계수는 전술한 바와 같이 BRIR 파라메터화부(미도시)로부터 수신되며, 서브밴드 별로 서로 다른 길이를 갖는 리어 서브밴드 필터의 계수를 포함할 수 있다. 서브밴드 필터링부(242)는 각 주파수 별로 QMF 도메인 서브밴드 신호와 이에 대응하는 QMF 도메인의 리어 서브밴드 필터 간의 고속 콘볼루션을 수행한다. 이때, 리어 서브밴드 필터의 길이는 전술한 바와 같이 RT60에 기초하여 결정될 수 있으나, 복잡도-퀄리티 제어에 따라 RT60보다 크거나 작은 값으로 설정될 수도 있다.
멀티채널 입력 신호는 서브밴드 필터링부(242)에 의해 각각 좌 채널 신호인 X_L0, X_L1, …, X_L_M-1과 우 채널 신호인 X_R0, X_R1, …, X_R_M-1로 렌더링 된다. 다운믹스부(244a, 244b)는 렌더링 된 복수의 좌 채널 신호와 복수의 우 채널 신호를 각각 좌, 우 채널 별로 다운믹스 하여 2채널의 좌, 우 출력 신호 Y_Lp, Y_Rp를 생성한다.
도 12는 본 발명의 다른 실시예에 따른 후기잔향 생성부(240B)를 나타내고 있다. 도 12의 실시예에 따르면, 후기잔향 생성부(240B)는 디코릴레이터(241), IC 매칭부(243), 다운믹스부(244a, 244b) 및 에너지 감쇄 매칭부(246a, 246b)를 포함할 수 있다. 또한, 후기잔향 생성부(240B)의 프로세싱을 위해, BRIR 파라메터화부(미도시)는 IC 추정부(213) 및 다운믹스 서브밴드 필터 생성부(216)를 포함할 수 있다.
도 12의 실시예에 따르면, 후기잔향 생성부(240B)는 후기잔향 파트의 채널 별 에너지 감쇄(energy decay) 특성이 동일함을 이용하여 연산량을 감소시킬 수 있다. 즉, 후기잔향 생성부(240B)는 각 멀티채널 신호에 대한 디코릴레이션 및 IC(Interaural Coherence) 조정을 수행하고, 조정된 각 채널 별 입력 신호 및 디코릴레이션 신호를 좌, 우 채널 신호로 다운믹스 한 뒤, 다운믹스 된 신호의 에너지 감쇄를 보상하여 2채널의 좌, 우 출력 신호를 생성한다. 더욱 구체적으로, 디코릴레이터(241)는 각 멀티채널 입력 신호 X0, X1, …, X_M-1에 대한 디코릴레이션 신호 D0, D1, …, D_M-1를 생성한다. 디코릴레이터(241)는 양 귀 간의 코히어런스(coherence)를 조정하기 위한 일종의 전처리기로서, 위상 랜덤화기(phase randomizer)가 사용될 수 있으며, 연산량의 효율을 위해 90도 단위로 입력 신호의 위상을 바꾸어 줄 수도 있다.
한편, BRIR 파라메터화부(미도시)의 IC 추정부(213)는 IC 값을 추정하여 바이노럴 렌더링 유닛(미도시)으로 전달한다. 바이노럴 렌더링 유닛은 수신된 IC 값을 메모리(255)에 저장할 수 있으며, IC 매칭부(243)로 전달한다. IC 매칭부(243)는 BRIR 파라메터화부로부터 IC 값을 직접 수신할 수도 있으며, 메모리(255)에 기 저장된 IC 값을 획득할 수도 있다. 각 채널 별 입력 신호 및 디코릴레이션 신호는 IC 매칭부(243)에서 좌 채널 신호인 X_L0, X_L1, …, X_L_M-1과 우 채널 신호인 X_R0, X_R1, …, X_R_M-1로 렌더링 된다. IC 매칭부(243)는 IC 값을 참조하여 각 채널 별로 디코릴레이션 신호와 원래의 입력 신호 간의 가중치 합산을 수행하며, 이를 통해 두 채널 신호 간의 코히어런스를 조정한다. 이때, 각 채널 별 입력 신호는 서브밴드 도메인의 신호이므로, 전술한 FDIC의 매칭이 가능하다. 원래의 채널 신호를 X, 디코릴레이션 채널 신호를 D, 해당 서브밴드의 IC를
Figure PCTKR2014008678-appb-I000015
라고 했을 때, IC 매칭이 수행된 좌, 우 채널 신호 X_L, X_R은 다음 수식과 같이 표현될 수 있다.
수학식 6
Figure PCTKR2014008678-appb-M000006
(복부호 동순)
다운믹스부(244a, 244b)는 IC 매칭을 통해 렌더링 된 복수의 좌 채널 신호와 복수의 우 채널 신호를 각각 좌, 우 채널 별로 다운믹스 하여 2채널의 좌, 우 렌더링 신호를 생성한다. 다음으로, 에너지 감쇄 매칭부(246a, 246b)는 2채널의 좌, 우 렌더링 신호의 에너지 감쇄를 각각 반영하여 2채널의 좌, 우 출력 신호 Y_Lp, Y_Rp를 생성한다. 에너지 감쇄 매칭부(246a, 246b)는 다운믹스 서브밴드 필터 생성부(216)로부터 획득된 다운믹스 서브밴드 필터 계수를 이용하여 에너지 감쇄 매칭을 수행한다. 다운믹스 서브밴드 필터 계수는 해당 서브밴드의 각 채널 별 리어 서브밴드 필터 계수의 조합에 의해 생성된다. 이를테면, 다운믹스 서브밴드 필터 계수는 해당 서브밴드에 대하여 각 채널 별 리어 서브밴드 필터 계수의 제곱 진폭 응답의 평균에 루트를 취한 서브밴드 필터 계수를 포함할 수 있다. 따라서 다운믹스 서브밴드 필터 계수는 해당 서브밴드 신호에 대한 후기잔향 파트의 에너지 감소 특성을 반영한다. 다운믹스 서브밴드 필터 계수는 실시예에 따라 모노 또는 스테레오로 다운믹스 된 다운믹스 서브밴드 필터 계수를 포함할 수 있으며, FDIC와 마찬가지로 BRIR 파라메터화부로부터 직접 수신되거나, 메모리(225)에 기 저장된 값으로부터 획득될 수 있다. M개의 채널 중 k번째 채널에서의 F-파트가 절단된 BRIR을
Figure PCTKR2014008678-appb-I000016
, k번째 채널에서의 N번째 샘플까지의 절단된 BRIR을
Figure PCTKR2014008678-appb-I000017
, N번째 샘플 이후의 절단된 부분의 에너지를 보상한 다운믹스 서브밴드 필터 계수를
Figure PCTKR2014008678-appb-I000018
라고 한다면,
Figure PCTKR2014008678-appb-I000019
는 다음과 같은 수식을 이용하여 구할 수 있다.
수학식 7
Figure PCTKR2014008678-appb-M000007
여기서,
Figure PCTKR2014008678-appb-I000020
도 13은 본 발명의 또 다른 실시예에 따른 후기잔향 생성부(240C)를 나타내고 있다. 도 13의 후기잔향 생성부(240C)의 각 구성은 도 12의 실시예에서 설명된 후기잔향 생성부(240B)의 각 구성과 동일할 수 있으며, 각 구성간의 데이터 처리 순서가 일부 다를 수 있다.
도 13의 실시예에 따르면, 후기잔향 생성부(240C)는 후기잔향 파트의 각 채널 별 FDIC가 동일함을 이용하여 연산량을 더욱 감소시킬 수 있다. 즉, 후기잔향 생성부(240C)는 각 멀티채널 신호를 좌, 우 채널 신호로 다운믹스 하고, 다운믹스 된 좌, 우 채널 신호의 IC를 조정한 뒤, 조정된 좌, 우 채널 신호에 대한 에너지 감쇄를 보상하여 2채널의 좌, 우 출력 신호를 생성할 수 있다.
더욱 구체적으로, 디코릴레이터(241)는 각 멀티채널 입력 신호 X0, X1, …, X_M-1에 대한 디코릴레이션 신호 D0, D1, …, D_M-1를 생성한다. 다음으로, 다운믹스부(244a, 244b)는 멀티채널 입력 신호 및 디코릴레이션 신호를 각각 다운믹스하여 2채널 다운믹스 신호 X_DMX, D_DMX를 생성한다. IC 매칭부(243)는 IC 값을 참조하여 2채널 다운믹스 신호를 가중치 합산하며, 이를 통해 두 채널 신호 간의 코히어런스를 조정한다. 에너지 감쇄 보상부(246a, 246b)는 IC 매칭부(243)에 의해 IC 매칭이 수행된 좌, 우 채널 신호 X_L, X_R 각각에 대한 에너지 보상을 수행하여 2채널의 좌, 우 출력 신호 X_Lp, Y_Rp를 생성한다. 이때, 에너지 보상에 사용되는 에너지 보상 정보에는 각 서브밴드에 대한 다운믹스 서브밴드 필터 계수가 포함될 수 있다.
도 14는 본 발명의 또 다른 실시예에 따른 후기잔향 생성부(240D)를 나타내고 있다. 도 14의 후기잔향 생성부(240D)의 각 구성은 도 12 및 도 13의 실시예에서 설명된 후기잔향 생성부(240B, 240C)의 각 구성과 동일할 수 있으나, 더욱 간략화 된 특징을 갖는다.
먼저, 다운 믹스부(244)는 멀티채널 입력 신호 X0, X1, …, X_M-1를 각 서브밴드 별로 다운믹스 하여 모노 다운믹스 신호(즉, 모노 서브밴드 신호) X_DMX를 생성한다. 에너지 감쇄 매칭부(246)는 생성된 모노 다운믹스 신호에 대한 에너지 감쇄를 반영한다. 이때, 에너지 감쇄를 반영하기 위해 각 서브밴드에 대한 다운믹스 서브밴드 필터 계수가 사용될 수 있다. 다음으로, 디코릴레이터(241)는 에너지 감쇄가 반영된 모노 다운믹스 신호의 디코릴레이션 신호 D_DMX를 생성한다. IC 매칭부(243)는 에너지 감쇄가 반영된 모노 다운믹스 신호와 디코릴레이션 신호를 FDIC 값을 참조하여 가중치 합산하며, 이를 통해 2채널의 좌, 우 출력 신호 Y_Lp, Y_Rp를 생성한다. 도 14의 실시예에 따르면, 에너지 감쇄 매칭을 모노 다운믹스 신호(X_DMX)에 대해 1회만 수행하게 되므로 연산량을 더욱 절약할 수 있다.
<고 주파수 밴드의 QTDL 프로세싱>
다음으로 도 15 및 도 16을 참조로 본 발명의 QTDL 프로세싱의 다양한 실시예에 대해 설명하도록 한다. 즉, QMF 도메인에서 QTDL 프로세싱을 수행하는 도 2의 QTDL 프로세싱부(250)의 다양한 실시예가 도 15 및 도 16을 참조로 설명된다. 도 15 및 도 16의 실시예에서 멀티채널 입력 신호는 QMF 도메인의 서브밴드 신호로 수신된다고 가정한다. 따라서, 도 15 및 도 16의 실시예에서 탭-딜레이 라인 필터 및 원-탭-딜레이 라인 필터는 각 QMF 서브밴드 별로 프로세싱을 수행할 수 있다. 또한, QTDL 프로세싱은 전술한 바와 같이 기 설정된 상수 또는 기 설정된 주파수 밴드를 기초로 분류된 고 주파수 밴드의 입력 신호에 대해서만 수행될 수 있다. 만약, 입력 오디오 신호에 SBR(Spectral Band Replication)이 적용된 경우, 상기 고 주파수 밴드는 SBR 밴드에 대응될 수 있다. 도 15 및 도 16의 실시예에서 이전 도면의 실시예와 중복되는 부분은 구체적인 설명을 생략하도록 한다.
고 주파수 대역의 효율적인 부호화를 위해 사용되는 SBR(Spectral Band Replication)은 저 비트율 부호화 시 고 주파수 대역의 신호를 버림으로 인해 좁아진 밴드 폭을 다시 확장하여, 원 신호만큼의 밴드 폭을 확보하기 위한 도구이다. 이때, 고 주파수 대역은 부호화되어 전송되는 저 주파수 대역의 정보와 인코더에서 전송한 고 주파수 대역 신호의 부가 정보를 활용하여 생성된다. 그러나 SBR을 이용하여 생성된 고 주파수 성분은 부정확한 고조파(harmonic)의 생성으로 인하여 왜곡이 발생할 수 있다. 또한, SBR 밴드는 고 주파수 대역이며, 전술한 바와 같이 해당 주파수 대역의 잔향 시간은 매우 짧다. 즉, SBR 밴드의 BRIR 서브밴드 필터는 유효 정보가 적으며, 빠른 감쇄율을 갖는다. 따라서, SBR 대역에 준하는 고 주파수 대역에 대한 BRIR 렌더링은 콘볼루션을 수행하는 것 보다는 유효한 소수의 탭을 이용하여 렌더링을 수행하는 것이 음질의 퀄리티 대비 연산량 측면에서 매우 효과적일 수 있다.
도 15는 본 발명의 일 실시예에 따른 QTDL 프로세싱부(250A)를 나타내고 있다. 도 15의 실시예에 따르면, QTDL 프로세싱부(250A)는 탭-딜레이 라인 필터를 이용하여 멀티채널 입력 신호 X0, X1, …, X_M-1에 대한 서브밴드 별 필터링을 수행한다. 탭-딜레이 라인 필터는 각 채널 신호에 대하여 기 설정된 소수의 탭만 콘볼루션을 수행한다. 이때 사용되는 소수의 탭은 해당 서브밴드 신호에 대응하는 BRIR 서브밴드 필터 계수로부터 직접 추출된 파라메터에 기초하여 결정될 수 있다. 상기 파라메터는 탭-딜레이 라인 필터에 사용될 각 탭에 대한 딜레이(delay) 정보 및 이에 대응하는 게인(gain) 정보를 포함한다.
탭-딜레이 라인 필터에 사용되는 탭의 수는 복잡도-퀄리티 제어에 의해 결정될 수 있다. QTDL 프로세싱부(250A)는 기 결정된 탭 수에 기초하여, 각 채널 및 서브밴드 별로 해당 탭 수에 대응하는 파라메터(게인 정보, 딜레이 정보) 셋을 BRIR 파라메터화부로부터 수신한다. 이때, 수신되는 파라메터 셋은 해당 서브밴드 신호에 대응하는 BRIR 서브밴드 필터 계수로부터 추출되며, 다양한 실시예에 따라 결정될 수 있다. 이를테면, 해당 BRIR 서브밴드 필터 계수의 복수의 피크들 중에서 절대 값 크기 순, 실수 값 크기 순, 또는 허수 값 크기 순으로 상기 기 결정된 탭 수 만큼 추출된 피크들 각각에 대한 파라메터의 셋이 수신될 수 있다. 이때, 각 파라메터의 딜레이 정보는 해당 피크의 위치 정보를 나타내며, QMF 도메인에서 샘플 단위의 정수 값을 갖는다. 또한, 게인 정보는 해당 딜레이 정보에 대응하는 피크의 크기에 기초하여 결정된다. 이때, 게인 정보는 서브밴드 필터 계수에서의 해당 피크값 자체가 사용될 수도 있지만, 전체 서브밴드 필터 계수에 대한 에너지 보상이 수행된 이후의 해당 피크의 가중치 값이 사용될 수도 있다. 상기 게인 정보는 해당 피크에 대한 실수 가중치 및 허수 가중치를 함께 이용하여 획득되며, 따라서 복소수 값을 갖는다.
탭-딜레이 라인 필터에 의해 필터링 된 복수의 채널 신호는 각 서브밴드 별로 2채널의 좌, 우 출력 신호 Y_L, Y_R로 합산된다. 한편, QTDL 프로세싱부(250A)의 각 탭-딜레이 라인 필터에서 사용되는 파라메터는 바이노럴 렌더링의 초기화 과정에서 메모리에 저장될 수 있으며, 파라메터 추출을 위한 추가적인 연산 없이 QTDL 프로세싱이 수행될 수 있다.
도 16은 본 발명의 다른 실시예에 따른 QTDL 프로세싱부(250B)를 나타내고 있다. 도 16의 실시예에 따르면, QTDL 프로세싱부(250B)는 원-탭-딜레이 라인 필터를 이용하여 멀티채널 입력 신호 X0, X1, …, X_M-1에 대한 서브밴드 별 필터링을 수행한다. 원-탭-딜레이 라인 필터는 각 채널 신호에 대하여 한 개의 탭에서만 콘볼루션을 수행하는 것으로 이해할 수 있다. 이때 사용되는 탭은 해당 서브밴드 신호에 대응하는 BRIR 서브밴드 필터 계수로부터 직접 추출된 파라메터에 기초하여 결정될 수 있다. 상기 파라메터는 전술한 바와 같이 BRIR 서브밴드 필터 계수로부터 추출된 딜레이 정보 및 이에 대응하는 게인 정보를 포함한다.
도 16에서 L_0, L_1, … L_M-1은 각각 M개의 채널에서 왼쪽 귀로의 BRIR에 대한 딜레이를 나타내고, R_0, R_1, …, R_M-1은 각각 M개의 채널에서 오른쪽 귀로의 BRIR에 대한 딜레이를 나타낸다. 이때, 딜레이 정보는 해당 BRIR 서브밴드 필터 계수 중 절대 값 크기 순, 실수 값 크기 순, 또는 허수 값 크기 순으로 최대 피크에 대한 위치 정보를 나타낸다. 또한, 도 16에서 G_L_0, G_L_1, …, G_L_M-1은 좌 채널의 각 딜레이 정보에 대응하는 게인을 나타내고, G_R_0, G_R_1, …, G_R_M-1은 각각 우 채널의 각 딜레이 정보에 대응하는 게인을 나타낸다. 전술한 바와 같이, 각 게인 정보는 해당 딜레이 정보에 대응하는 피크의 크기에 기초하여 결정된다. 이때, 게인 정보는 서브밴드 필터 계수에서의 해당 피크값 자체가 사용될 수도 있지만, 전체 서브밴드 필터 계수에 대한 에너지 보상이 수행된 이후의 해당 피크의 가중치 값이 사용될 수도 있다. 상기 게인 정보는 해당 피크에 대한 실수 가중치 및 허수 가중치를 함께 이용하여 획득되며, 따라서 복소수 값을 갖는다.
도 15의 실시예와 같이, 원-탭-딜레이 라인 필터에 의해 필터링 된 복수의 채널 신호는 각 서브밴드 별로 2채널의 좌, 우 출력 신호 Y_L, Y_R로 합산된다. 또한, QTDL 프로세싱부(250B)의 각 원-탭-딜레이 라인 필터에서 사용되는 파라메터는 바이노럴 렌더링의 초기화 과정에서 메모리에 저장될 수 있으며, 파라메터 추출을 위한 추가적인 연산 없이 QTDL 프로세싱이 수행될 수 있다.
이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 발명은 멀티 오디오 신호에 대한 바이노럴 렌더링의 실시예에 대하여 설명하였지만, 본 발명은 오디오 신호 뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련된 사항을 서술하였다.
본 발명은 다양한 형태의 오디오 신호 처리 장치 및 비디오 신호 처리 장치 등을 포함하는 멀티미디어 신호 처리 장치에 적용될 수 있다.

Claims (12)

  1. 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신하는 단계, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 복수의 서브밴드 신호들은 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함함;
    상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하는 단계, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 BRIR(Binaural Room Impulse Response) 서브밴드 필터 계수로부터 추출됨;
    상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 단계;
    를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제1 항에 있어서,
    상기 파라메터는 해당 BRIR 서브밴드 필터 계수에 대한 하나의 딜레이 정보 및 상기 딜레이 정보에 대응하는 하나의 게인 정보를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제2 항에 있어서,
    상기 딜레이 정보는 상기 BRIR 서브밴드 필터 계수 중 최대 피크에 대한 위치 정보를 나타내는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제2 항에 있어서,
    상기 딜레이 정보는 QMF 도메인에서 샘플 단위의 정수 값을 갖는 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제2 항에 있어서,
    상기 게인 정보는 복소수 값을 갖는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제1 항에 있어서,
    상기 필터링 된 멀티 오디오 신호를 각 서브밴드 별로 2채널의 좌, 우 서브밴드 신호로 합산하는 단계;
    상기 합산된 좌, 우 서브밴드 신호를 상기 제1 서브밴드 그룹의 멀티 오디오 신호로부터 생성된 좌, 우 서브밴드 신호와 결합하는 단계; 및
    상기 결합된 좌, 우 서브밴드 신호를 각각 QMF 합성하는 단계;
    를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 멀티채널 또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호에 대한 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 멀티 오디오 신호는 각각 복수의 서브밴드 신호들을 포함하며, 상기 복수의 서브밴드 신호들은 기 설정된 주파수 밴드를 기준으로 한 저주파수의 제1 서브밴드 그룹의 신호와 고주파수의 제2 서브밴드 그룹의 신호를 포함하고,
    상기 제1 서브밴드 그룹의 각 서브밴드 신호에 대한 렌더링을 수행하기 위한 고속 콘볼루션부; 및
    상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대한 렌더링을 수행하기 위한 탭-딜레이 라인 프로세싱부를 포함하되,
    상기 탭-딜레이 라인 프로세싱부는,
    상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 수신하되, 상기 적어도 하나의 파라메터는 상기 제2 서브밴드 그룹의 각 서브밴드 신호에 대응하는 BRIR(Binaural Room Impulse Response) 서브밴드 필터 계수로부터 추출되고,
    상기 수신된 파라메터를 이용하여 상기 제2 서브밴드 그룹의 서브밴드 신호에 대하여 탭-딜레이 라인 필터링을 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제7 항에 있어서,
    상기 파라메터는 해당 BRIR 서브밴드 필터 계수에 대한 하나의 딜레이 정보 및 상기 딜레이 정보에 대응하는 하나의 게인 정보를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제8 항에 있어서,
    상기 딜레이 정보는 상기 BRIR 서브밴드 필터 계수 중 최대 피크에 대한 위치 정보를 나타내는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제8 항에 있어서,
    상기 딜레이 정보는 QMF 도메인에서 샘플 단위의 정수 값을 갖는 것을 특징으로 하는 오디오 신호 처리 장치.
  11. 제8 항에 있어서,
    상기 게인 정보는 복소수 값을 갖는 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제7 항에 있어서,
    상기 탭-딜레이 라인 프로세싱부는, 상기 필터링 된 멀티 오디오 신호를 각 서브밴드 별로 2채널의 좌, 우 서브밴드 신호로 합산하고,
    상기 오디오 신호 처리 장치는,
    상기 합산된 좌, 우 서브밴드 신호를 상기 제1 서브밴드 그룹의 멀티 오디오 신호로부터 생성된 좌, 우 서브밴드 신호와 결합하는 믹서; 및
    상기 결합된 좌, 우 서브밴드 신호를 각각 QMF 합성하는 QMF 합성부;
    를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
PCT/KR2014/008678 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치 WO2015041477A1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP14845972.0A EP3048814B1 (en) 2013-09-17 2014-09-17 Method and device for audio signal processing
US15/022,922 US9961469B2 (en) 2013-09-17 2014-09-17 Method and device for audio signal processing
KR1020217003585A KR102294100B1 (ko) 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치
KR1020167006858A KR101815079B1 (ko) 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치
KR1020177037593A KR102215129B1 (ko) 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치
CN201480051253.XA CN105706468B (zh) 2013-09-17 2014-09-17 用于音频信号处理的方法和设备
US15/942,588 US10455346B2 (en) 2013-09-17 2018-04-02 Method and device for audio signal processing

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361878638P 2013-09-17 2013-09-17
US61/878,638 2013-09-17
KR20130125936 2013-10-22
KR10-2013-0125936 2013-10-22
US201361894442P 2013-10-23 2013-10-23
US61/894,442 2013-10-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/022,922 A-371-Of-International US9961469B2 (en) 2013-09-17 2014-09-17 Method and device for audio signal processing
US15/942,588 Continuation US10455346B2 (en) 2013-09-17 2018-04-02 Method and device for audio signal processing

Publications (1)

Publication Number Publication Date
WO2015041477A1 true WO2015041477A1 (ko) 2015-03-26

Family

ID=52689083

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/KR2014/008678 WO2015041477A1 (ko) 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치
PCT/KR2014/008677 WO2015041476A1 (ko) 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치
PCT/KR2014/008679 WO2015041478A1 (ko) 2013-09-17 2014-09-17 멀티미디어 신호 처리 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
PCT/KR2014/008677 WO2015041476A1 (ko) 2013-09-17 2014-09-17 오디오 신호 처리 방법 및 장치
PCT/KR2014/008679 WO2015041478A1 (ko) 2013-09-17 2014-09-17 멀티미디어 신호 처리 방법 및 장치

Country Status (9)

Country Link
US (7) US10469969B2 (ko)
EP (6) EP3767970B1 (ko)
JP (1) JP6121052B2 (ko)
KR (6) KR101782916B1 (ko)
CN (4) CN108200530B (ko)
BR (1) BR112016005956B8 (ko)
CA (3) CA3194257A1 (ko)
ES (1) ES2932422T3 (ko)
WO (3) WO2015041477A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605195A (zh) * 2015-11-27 2018-09-28 诺基亚技术有限公司 智能音频呈现

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665482B2 (en) 2011-12-23 2023-05-30 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
CN108806706B (zh) 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
KR101782916B1 (ko) 2013-09-17 2017-09-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
WO2015058818A1 (en) * 2013-10-22 2015-04-30 Huawei Technologies Co., Ltd. Apparatus and method for compressing a set of n binaural room impulse responses
WO2015060654A1 (ko) 2013-10-22 2015-04-30 한국전자통신연구원 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
DE102013223201B3 (de) * 2013-11-14 2015-05-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
WO2015099429A1 (ko) 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
CN108600935B (zh) 2014-03-19 2020-11-03 韦勒斯标准与技术协会公司 音频信号处理方法和设备
KR101856127B1 (ko) 2014-04-02 2018-05-09 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
CN105448312B (zh) * 2014-06-12 2019-02-19 华为技术有限公司 音频同步播放方法、装置及系统
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
WO2017035281A2 (en) * 2015-08-25 2017-03-02 Dolby International Ab Audio encoding and decoding using presentation transform parameters
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US10492016B2 (en) * 2016-09-29 2019-11-26 Lg Electronics Inc. Method for outputting audio signal using user position information in audio decoder and apparatus for outputting audio signal using same
US10492018B1 (en) 2016-10-11 2019-11-26 Google Llc Symmetric binaural rendering for high-order ambisonics
CN106454643A (zh) * 2016-12-03 2017-02-22 邯郸学院 一种补偿频率可调的音频播放器
US9992602B1 (en) 2017-01-12 2018-06-05 Google Llc Decoupled binaural rendering
US10009704B1 (en) 2017-01-30 2018-06-26 Google Llc Symmetric spherical harmonic HRTF rendering
US10158963B2 (en) 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
DE102017102988B4 (de) 2017-02-15 2018-12-20 Sennheiser Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Verarbeitung eines digitalen Audiosignals für binaurale Wiedergabe
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10939222B2 (en) * 2017-08-10 2021-03-02 Lg Electronics Inc. Three-dimensional audio playing method and playing apparatus
US11200906B2 (en) 2017-09-15 2021-12-14 Lg Electronics, Inc. Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information
RU2020112483A (ru) * 2017-10-20 2021-09-27 Сони Корпорейшн Устройство, способ и программа для обработки сигнала
US11257478B2 (en) * 2017-10-20 2022-02-22 Sony Corporation Signal processing device, signal processing method, and program
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
JP7102024B2 (ja) * 2018-04-10 2022-07-19 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理装置
JP7137694B2 (ja) 2018-09-12 2022-09-14 シェンチェン ショックス カンパニー リミテッド 複数の音響電気変換器を有する信号処理装置
BR112022003131A2 (pt) * 2019-09-03 2022-05-17 Dolby Laboratories Licensing Corp Banco de filtros de áudio com componentes de descorrelação
CN110853658B (zh) * 2019-11-26 2021-12-07 中国电影科学技术研究所 音频信号的下混方法、装置、计算机设备及可读存储介质
GB2593170A (en) 2020-03-16 2021-09-22 Nokia Technologies Oy Rendering reverberation
CN112336380A (zh) * 2020-10-29 2021-02-09 成都信息工程大学 一种基于Golay码的超声弹性成像应变估计方法
CN112770227B (zh) * 2020-12-30 2022-04-29 中国电影科学技术研究所 音频处理方法、装置、耳机和存储介质
US11568884B2 (en) * 2021-05-24 2023-01-31 Invictumtech, Inc. Analysis filter bank and computing procedure thereof, audio frequency shifting system, and audio frequency shifting procedure
KR102652643B1 (ko) * 2021-06-09 2024-03-29 코클 아이엔씨 오디오 음질 변환 장치 및 그의 제어방법
CN116095595B (zh) * 2022-08-19 2023-11-21 荣耀终端有限公司 音频处理方法和装置
KR20240057243A (ko) * 2022-10-24 2024-05-02 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117762A1 (en) * 2003-11-04 2005-06-02 Atsuhiro Sakurai Binaural sound localization using a formant-type cascade of resonators and anti-resonators
KR20050123396A (ko) * 2004-06-25 2005-12-29 삼성전자주식회사 저비트율 부호화/복호화 방법 및 장치
KR20090047341A (ko) * 2007-11-07 2009-05-12 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
KR20100063113A (ko) * 2007-10-09 2010-06-10 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 바이노럴 오디오 신호를 생성하기 위한 방법 및 장치
KR20120013893A (ko) * 2010-08-06 2012-02-15 삼성전자주식회사 디코딩 방법 및 그에 따른 디코딩 장치

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329587A (en) 1993-03-12 1994-07-12 At&T Bell Laboratories Low-delay subband adaptive filter
US5371799A (en) 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
DE4328620C1 (de) 1993-08-26 1995-01-19 Akg Akustische Kino Geraete Verfahren zur Simulation eines Raum- und/oder Klangeindrucks
WO1995034883A1 (fr) * 1994-06-15 1995-12-21 Sony Corporation Processeur de signaux et dispositif de reproduction sonore
JP2985675B2 (ja) * 1994-09-01 1999-12-06 日本電気株式会社 帯域分割適応フィルタによる未知システム同定の方法及び装置
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
WO1999014983A1 (en) 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
US6668061B1 (en) * 1998-11-18 2003-12-23 Jonathan S. Abel Crosstalk canceler
FI118247B (fi) 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
RU2005135650A (ru) * 2003-04-17 2006-03-20 Конинклейке Филипс Электроникс Н.В. (Nl) Синтез аудиосигнала
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
US7949141B2 (en) 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
KR100595202B1 (ko) * 2003-12-27 2006-06-30 엘지전자 주식회사 디지털 오디오 워터마크 삽입/검출 장치 및 방법
US7486498B2 (en) * 2004-01-12 2009-02-03 Case Western Reserve University Strong substrate alloy and compressively stressed dielectric film for capacitor with high energy density
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
KR100617165B1 (ko) * 2004-11-19 2006-08-31 엘지전자 주식회사 워터마크 삽입/검출 기능을 갖는 오디오 부호화/복호화장치 및 방법
US7715575B1 (en) * 2005-02-28 2010-05-11 Texas Instruments Incorporated Room impulse response
ATE459216T1 (de) * 2005-06-28 2010-03-15 Akg Acoustics Gmbh Verfahren zur simulierung eines raumeindrucks und/oder schalleindrucks
CN102395098B (zh) 2005-09-13 2015-01-28 皇家飞利浦电子股份有限公司 生成3d声音的方法和设备
KR101333031B1 (ko) 2005-09-13 2013-11-26 코닌클리케 필립스 일렉트로닉스 엔.브이. ＨＲＴＦｓ을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스
KR101562379B1 (ko) 2005-09-13 2015-10-22 코닌클리케 필립스 엔.브이. 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법
CN101263739B (zh) 2005-09-13 2012-06-20 Srs实验室有限公司 用于音频处理的系统和方法
US7917561B2 (en) 2005-09-16 2011-03-29 Coding Technologies Ab Partially complex modulated filter bank
US8443026B2 (en) 2005-09-16 2013-05-14 Dolby International Ab Partially complex modulated filter bank
EP1942582B1 (en) 2005-10-26 2019-04-03 NEC Corporation Echo suppressing method and device
JP4637725B2 (ja) * 2005-11-11 2011-02-23 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
CN101361117B (zh) * 2006-01-19 2011-06-15 Lg电子株式会社 处理媒体信号的方法和装置
ES2339888T3 (es) 2006-02-21 2010-05-26 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de audio.
KR100754220B1 (ko) * 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
CN101401455A (zh) * 2006-03-15 2009-04-01 杜比实验室特许公司 使用子带滤波器的立体声呈现技术
FR2899424A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
FR2899423A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
KR101244910B1 (ko) * 2006-04-03 2013-03-18 삼성전자주식회사 시분할 입체 영상 디스플레이 장치 및 그 구동 방법
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
EP2337224B1 (en) * 2006-07-04 2017-06-21 Dolby International AB Filter unit and method for generating subband filter impulse responses
US7876903B2 (en) 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
EP1885154B1 (en) * 2006-08-01 2013-07-03 Nuance Communications, Inc. Dereverberation of microphone signals
US9496850B2 (en) 2006-08-04 2016-11-15 Creative Technology Ltd Alias-free subband processing
EP3288027B1 (en) 2006-10-25 2021-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating complex-valued audio subband values
JP5450085B2 (ja) 2006-12-07 2014-03-26 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
KR20080076691A (ko) 2007-02-14 2008-08-20 엘지전자 주식회사 멀티채널 오디오신호 복호화방법 및 그 장치, 부호화방법및 그 장치
KR100955328B1 (ko) 2007-05-04 2010-04-29 한국전자통신연구원 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법
US8140331B2 (en) 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
KR100899836B1 (ko) 2007-08-24 2009-05-27 광주과학기술원 실내 충격응답 모델링 방법 및 장치
CN101884065B (zh) 2007-10-03 2013-07-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成的方法
CN101136197B (zh) * 2007-10-16 2011-07-20 得理微电子（上海）有限公司 基于时变延迟线的数字混响处理器
US8125885B2 (en) 2008-07-11 2012-02-28 Texas Instruments Incorporated Frequency offset estimation in orthogonal frequency division multiple access wireless networks
WO2010012478A2 (en) 2008-07-31 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal generation for binaural signals
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR20100062784A (ko) 2008-12-02 2010-06-10 한국전자통신연구원 객체 기반 오디오 컨텐츠 생성/재생 장치
US8660281B2 (en) 2009-02-03 2014-02-25 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2237270B1 (en) 2009-03-30 2012-07-04 Nuance Communications, Inc. A method for determining a noise reference signal for noise compensation and/or noise reduction
JP2012525051A (ja) 2009-04-21 2012-10-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号の合成
JP4893789B2 (ja) 2009-08-10 2012-03-07 ヤマハ株式会社 音場制御装置
US9432790B2 (en) * 2009-10-05 2016-08-30 Microsoft Technology Licensing, Llc Real-time sound propagation for dynamic sources
EP2365630B1 (en) * 2010-03-02 2016-06-08 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive fir-filtering
ES2522171T3 (es) 2010-03-09 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para procesar una señal de audio usando alineación de borde de patching
KR101844511B1 (ko) 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8693677B2 (en) 2010-04-27 2014-04-08 Freescale Semiconductor, Inc. Techniques for updating filter coefficients of an adaptive filter
NZ587483A (en) 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
CA3191597C (en) 2010-09-16 2024-01-02 Dolby International Ab Cross product enhanced subband block based harmonic transposition
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
EP2464146A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
US9462387B2 (en) 2011-01-05 2016-10-04 Koninklijke Philips N.V. Audio system and method of operation therefor
EP2541542A1 (en) 2011-06-27 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
EP2503800B1 (en) 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
US9117440B2 (en) 2011-05-19 2015-08-25 Dolby International Ab Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal
EP2530840B1 (en) * 2011-05-30 2014-09-03 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive FIR-filtering
KR101809272B1 (ko) * 2011-08-03 2017-12-14 삼성전자주식회사 다 채널 오디오 신호의 다운 믹스 방법 및 장치
EP2891338B1 (en) * 2012-08-31 2017-10-25 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US20140270189A1 (en) 2013-03-15 2014-09-18 Beats Electronics, Llc Impulse response approximation methods and related systems
US9420393B2 (en) 2013-05-29 2016-08-16 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
EP2840811A1 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR101782916B1 (ko) 2013-09-17 2017-09-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
WO2015060654A1 (ko) 2013-10-22 2015-04-30 한국전자통신연구원 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
WO2015099429A1 (ko) 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
CN108600935B (zh) 2014-03-19 2020-11-03 韦勒斯标准与技术协会公司 音频信号处理方法和设备
JP6084264B1 (ja) 2015-09-28 2017-02-22 Ｋｙｂ株式会社 スプール弁装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117762A1 (en) * 2003-11-04 2005-06-02 Atsuhiro Sakurai Binaural sound localization using a formant-type cascade of resonators and anti-resonators
KR20050123396A (ko) * 2004-06-25 2005-12-29 삼성전자주식회사 저비트율 부호화/복호화 방법 및 장치
KR20100063113A (ko) * 2007-10-09 2010-06-10 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 바이노럴 오디오 신호를 생성하기 위한 방법 및 장치
KR20090047341A (ko) * 2007-11-07 2009-05-12 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
KR20120013893A (ko) * 2010-08-06 2012-02-15 삼성전자주식회사 디코딩 방법 및 그에 따른 디코딩 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605195A (zh) * 2015-11-27 2018-09-28 诺基亚技术有限公司 智能音频呈现

Also Published As

Publication number Publication date
CN105659630B (zh) 2018-01-23
JP6121052B2 (ja) 2017-04-26
CN108200530A (zh) 2018-06-22
EP3048814A1 (en) 2016-07-27
US11096000B2 (en) 2021-08-17
KR20160048832A (ko) 2016-05-04
EP3048816A4 (en) 2017-05-31
EP3048816A1 (en) 2016-07-27
KR20170110738A (ko) 2017-10-11
KR102215129B1 (ko) 2021-02-10
US20180227692A1 (en) 2018-08-09
EP3048815A4 (en) 2017-05-31
CN108200530B (zh) 2020-06-12
WO2015041478A1 (ko) 2015-03-26
EP3767970A1 (en) 2021-01-20
CN105659630A (zh) 2016-06-08
EP3806498A1 (en) 2021-04-14
CA3122726A1 (en) 2015-03-26
CN105706467A (zh) 2016-06-22
CN105706468B (zh) 2017-08-11
US10455346B2 (en) 2019-10-22
US20210337335A1 (en) 2021-10-28
US20200021936A1 (en) 2020-01-16
CN105706468A (zh) 2016-06-22
US11622218B2 (en) 2023-04-04
BR112016005956B8 (pt) 2022-07-12
KR102159990B1 (ko) 2020-09-25
CA3122726C (en) 2023-05-09
EP3806498B1 (en) 2023-08-30
CA2924458C (en) 2021-08-31
US20160198281A1 (en) 2016-07-07
EP3767970B1 (en) 2022-09-28
CN105706467B (zh) 2017-12-19
CA3194257A1 (en) 2015-03-26
EP3048815A1 (en) 2016-07-27
CA2924458A1 (en) 2015-03-26
EP3048814B1 (en) 2019-10-23
KR20180004316A (ko) 2018-01-10
EP3048815B1 (en) 2020-11-11
US20160234620A1 (en) 2016-08-11
EP4120699A1 (en) 2023-01-18
US9584943B2 (en) 2017-02-28
KR101815079B1 (ko) 2018-01-04
KR20160052575A (ko) 2016-05-12
KR20160074458A (ko) 2016-06-28
WO2015041476A1 (ko) 2015-03-26
KR101815082B1 (ko) 2018-01-04
EP3048814A4 (en) 2017-05-31
US20160249149A1 (en) 2016-08-25
KR101782916B1 (ko) 2017-09-28
US20160219388A1 (en) 2016-07-28
KR20180004317A (ko) 2018-01-10
BR112016005956B1 (pt) 2022-06-07
KR102163266B1 (ko) 2020-10-08
BR112016005956A2 (ko) 2017-09-05
JP2016534586A (ja) 2016-11-04
EP3048816B1 (en) 2020-09-16
US10469969B2 (en) 2019-11-05
US9961469B2 (en) 2018-05-01
US9578437B2 (en) 2017-02-21
ES2932422T3 (es) 2023-01-19

Similar Documents

Publication Publication Date Title
WO2015041477A1 (ko) 오디오 신호 처리 방법 및 장치
WO2015060654A1 (ko) 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
WO2015099429A1 (ko) 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
WO2015142073A1 (ko) 오디오 신호 처리 방법 및 장치
WO2015152665A1 (ko) 오디오 신호 처리 방법 및 장치
KR102317732B1 (ko) 오디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14845972

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167006858

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15022922

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014845972

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014845972

Country of ref document: EP