WO2015142073A1 - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2015142073A1
WO2015142073A1 PCT/KR2015/002669 KR2015002669W WO2015142073A1 WO 2015142073 A1 WO2015142073 A1 WO 2015142073A1 KR 2015002669 W KR2015002669 W KR 2015002669W WO 2015142073 A1 WO2015142073 A1 WO 2015142073A1
Authority
WO
WIPO (PCT)
Prior art keywords
subband
brir
filter
audio signal
signal
Prior art date
Application number
PCT/KR2015/002669
Other languages
English (en)
French (fr)
Inventor
오현오
이태규
곽진삼
손주형
Original Assignee
주식회사 윌러스표준기술연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020207036848A priority Critical patent/KR102272099B1/ko
Priority to US15/124,029 priority patent/US9832585B2/en
Priority to CN201580014818.1A priority patent/CN106105269B/zh
Priority to EP15764805.6A priority patent/EP3122073B1/en
Priority to EP23206330.5A priority patent/EP4294055A1/en
Priority to KR1020167024550A priority patent/KR101782917B1/ko
Priority to KR1020177026839A priority patent/KR102149216B1/ko
Priority to KR1020207024276A priority patent/KR102195976B1/ko
Application filed by 주식회사 윌러스표준기술연구소 filed Critical 주식회사 윌러스표준기술연구소
Publication of WO2015142073A1 publication Critical patent/WO2015142073A1/ko
Priority to US15/795,180 priority patent/US10070241B2/en
Priority to US16/105,945 priority patent/US10321254B2/en
Priority to US16/395,242 priority patent/US10771910B2/en
Priority to US16/993,267 priority patent/US10999689B2/en
Priority to US17/197,047 priority patent/US11343630B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Definitions

  • the present invention relates to an audio signal processing method and apparatus, and more particularly, to an audio signal processing method and apparatus capable of synthesizing an object signal and a channel signal and effectively binaural rendering them.
  • 3D audio is a series of signal processing, transmission, encoding, and playback methods for providing a realistic sound in three-dimensional space by providing another axis corresponding to the height direction to a sound scene on a horizontal plane (2D) provided by conventional surround audio. Also known as technology.
  • a rendering technique is required in which a sound image is formed at a virtual position in which no speaker exists even if a larger number of speakers or a smaller number of speakers are used.
  • 3D audio is expected to be an audio solution for ultra-high definition televisions (UHDTVs), as well as sound in vehicles that are evolving into high-quality infotainment spaces, as well as theater sounds, personal 3DTVs, tablets, smartphones, and cloud games. It is expected to be applied in.
  • UHDTVs ultra-high definition televisions
  • infotainment spaces as well as theater sounds, personal 3DTVs, tablets, smartphones, and cloud games. It is expected to be applied in.
  • a channel based signal and an object based signal may exist in the form of a sound source provided to 3D audio.
  • a sound source in which a channel-based signal and an object-based signal are mixed, thereby providing a user with a new type of listening experience.
  • a performance difference may exist between a channel renderer for processing a channel based signal and an object renderer for processing an object based signal in the audio signal processing apparatus.
  • binaural rendering of the audio signal processing apparatus may be implemented based on a channel-based signal.
  • the corresponding sound scene may not be reproduced as intended through binaural rendering. Therefore, there is a need to solve various problems that may occur due to the performance difference between the channel renderer and the object renderer.
  • the present invention is to solve the above-mentioned problems of the prior art, by implementing an object renderer and a channel renderer corresponding to the spatial resolution that can be provided by the binaural renderer, to produce an output signal that matches the performance of the binaural renderer
  • An object of the present invention is to provide an audio signal processing method and apparatus.
  • the present invention is to reproduce a multi-channel or multi-object signal in stereo, a filtering process that requires a large amount of computation in the binaural rendering to preserve the three-dimensional effect such as the original signal with a very low computational amount while minimizing sound quality loss It has a purpose to implement.
  • the present invention has an object to minimize the diffusion of distortion through a high quality filter when there is distortion in the input signal itself.
  • the present invention has an object to implement a finite impulse response (FIR) filter having a very long length to a filter of a smaller length.
  • FIR finite impulse response
  • the present invention has an object to minimize the distortion of the portion damaged by the missing filter coefficients when performing the filtering using the abbreviated FIR filter.
  • the present invention provides an audio signal processing method and an audio signal processing apparatus as follows.
  • the present invention includes the steps of receiving an input audio signal including a multi-channel signal; Receiving truncated subband filter coefficients for filtering the input audio signal, wherein the truncated subband filter coefficients are obtained from a Binaural Room Impulse Response (BRIR) filter coefficient for binaural filtering of the input audio signal At least a portion of a subband filter coefficient, wherein the length of the truncated subband filter coefficient is determined based on filter order information obtained at least in part using reverberation time information extracted from the corresponding subband filter coefficient; Obtaining vector information indicating the BRIR filter coefficients corresponding to each channel of the input audio signal; And filtering each subband signal of the multichannel signal using the truncated subband filter coefficients corresponding to the corresponding channel and the subband based on the vector information. It provides an audio signal processing method comprising a.
  • BRIR Binaural Room Impulse Response
  • the present invention also provides an audio signal processing apparatus for performing binaural rendering on an input audio signal, comprising: a parameterizer for generating a filter of the input audio signal; And a binaural rendering unit configured to receive an input audio signal including a multichannel signal and to filter the input audio signal using the parameter generated by the parameterization unit, wherein the binaural rendering unit includes the parameter.
  • BRIR Binaural Room Impulse Response
  • a length of the truncated subband filter coefficients is determined based on filter order information obtained by using at least part of reverberation time information extracted from the corresponding subband filter coefficients.
  • the BRIR filter coefficients corresponding to each channel of the input audio signal Obtaining vector information, and filtering each subband signal of the multichannel signal using the truncated subband filter coefficients corresponding to the corresponding channel and the subband based on the vector information. Provides ..
  • the vector information is converted into the BRIR filter coefficient corresponding to the specific channel. It is characterized by indicating.
  • the vector information may have a minimum geometric distance from the position information of the specific channel when a BRIR filter coefficient having position information matching the position information of the specific channel of the input audio signal is not present in the BRIR filter set.
  • the BRIR filter coefficients may be indicated by the BRIR filter coefficients corresponding to the specific channel.
  • the geometric distance is characterized in that the sum of the absolute value of the absolute deviation and the azimuth deviation of the altitude deviation between the two positions.
  • the length of at least one truncated subband filter coefficient is different from the length of the truncated subband filter coefficient of another subband.
  • receiving a bitstream of an audio signal comprising at least one of a channel signal and an object signal; Decoding each audio signal included in the bitstream; Receiving virtual layout information corresponding to a Binaural Room Impulse Response (BRIR) filter set for binaural rendering of the audio signal, wherein the virtual layout information includes information of target channels determined based on the BRIR filter set ; Rendering each of the decoded audio signals into a signal of the target channel based on the received virtual layout information; It provides an audio signal processing method comprising a.
  • BRIR Binaural Room Impulse Response
  • an audio signal processing apparatus comprising: a core decoder for receiving a bitstream of an audio signal including at least one of a channel signal and an object signal, and decoding each audio signal included in the bitstream; And receiving virtual layout information corresponding to a Binaural Room Impulse Response (BRIR) filter set for binaural rendering of the audio signal, wherein the virtual layout information includes information of target channels determined based on the BRIR filter set.
  • a renderer for rendering each of the decoded audio signals into a signal of the target channel based on the received virtual layout information; It provides an audio signal processing apparatus comprising a.
  • the position set corresponding to the virtual layout information is a subset of the position set corresponding to the BRIR filter set, and the position set of the virtual layout information represents position information of each target channel.
  • the BRIR filter set is received from a binaural renderer that performs the binaural rendering.
  • the apparatus may further include a mixer configured to generate an output signal for each target channel by mixing each audio signal rendered as the signal of the target channel for each target channel.
  • the apparatus further includes a binaural renderer configured to binaurally render the mixed target channel-specific output signal using the BRIR filter coefficients of the BRIR filter set corresponding to the corresponding target channel.
  • the binaural renderer converts the BRIR filter coefficients into a plurality of subband filter coefficients, and obtains each of the subband filter coefficients by using at least partially reverberation time information extracted from the corresponding subband filter coefficients. Truncated based on the filtered filter order information, wherein a length of at least one truncated subband filter coefficient is different from a truncated subband filter coefficient of another subband, and each subband of the output signal for each mixed target channel The signal is filtered using the truncated subband filter coefficients corresponding to the corresponding channel and the subband.
  • effective binaural rendering may be implemented by performing channel and object rendering based on the data set held by the binaural renderer.
  • object rendering may be implemented to provide improved sound quality.
  • the amount of computation can be dramatically lowered while minimizing sound quality loss when performing binaural rendering on a multichannel or multiobject signal.
  • the present invention provides a method for efficiently performing various types of filtering of a multimedia signal including an audio signal with a low calculation amount.
  • FIG. 1 is a block diagram showing an overall audio signal processing system including an audio encoder and an audio decoder according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an arrangement of a multichannel speaker according to an exemplary embodiment of the multichannel audio system.
  • FIG. 3 is a diagram schematically showing positions of sound objects constituting a three-dimensional sound scene in a listening space
  • FIG. 4 is a block diagram illustrating an audio signal decoder according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating an audio decoder according to a further embodiment of the present invention.
  • FIG. 6 illustrates an embodiment of the invention performing rendering for an exception object.
  • FIG. 7 is a block diagram showing each configuration of a binaural renderer according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a filter generation method for binaural rendering according to an embodiment of the present invention.
  • FIG 9 illustrates in detail QTDL processing according to an embodiment of the present invention.
  • FIG. 10 is a block diagram showing each configuration of the BRIR parameterization unit of the present invention.
  • FIG. 11 is a block diagram showing each configuration of a VOFF parameterization unit of the present invention.
  • FIG. 12 is a block diagram showing the detailed configuration of the VOFF parameter generating unit of the present invention.
  • FIG. 13 is a block diagram showing each configuration of a QTDL parameterization unit of the present invention.
  • FIG. 14 illustrates an embodiment of a method for generating FFT filter coefficients for fast convolution in units of blocks.
  • FIG. 1 is a block diagram showing an overall audio signal processing system including an audio encoder and an audio decoder according to an embodiment of the present invention.
  • the audio encoder 1100 encodes an input sound scene to generate a bitstream.
  • the audio decoder 1200 may receive the generated bitstream and decode and render the corresponding bitstream using the audio signal processing method according to an embodiment of the present invention to generate an output sound scene.
  • the audio signal processing apparatus may refer to the audio decoder 1200 in a narrow sense, but is not limited thereto and may refer to a detailed configuration included in the audio decoder 1200, and the audio encoder 1100 and the audio decoder may be referred to. It may also refer to an entire audio signal processing system including 1200.
  • FIG. 2 is a diagram illustrating a configuration of a multichannel speaker according to an exemplary embodiment of the multichannel audio system.
  • a plurality of speaker channels may be used to increase presence, and in particular, a plurality of speakers may be arranged in width, depth, and height directions to provide a sense of presence in three-dimensional space.
  • 2 illustrates a speaker layout of 22.2 channels as an embodiment, but the present invention is not limited to a specific channel number or a specific speaker layout.
  • a speaker set of 22.2 channels may be composed of three layers, a top layer, a middle layer, and a bottom layer.
  • the front side a total of nine speakers may be arranged in the upper layer, three in the front side, three in the middle position, and three in the surround position.
  • the middle layer may be arranged in front of five, two in the middle position, three in the surround position can be arranged a total of 10 speakers.
  • three speakers may be disposed in front of the lower layer, and two LFE channel speakers may be provided.
  • 3 schematically illustrates positions of sound objects constituting a three-dimensional sound scene in a listening space.
  • the positions of the respective sound objects 51 constituting the three-dimensional sound scene on the listening space 50 in which the listener 52 listens to the 3D audio may vary in the form of a point source. Can be distributed at a location.
  • the sound scene may include a plane wave type sound source, an ambient sound source, etc. in addition to the point source. As such, in order to clearly provide the listeners 52 with the objects and sound sources that are variously distributed in the 3D space, an efficient rendering method is required.
  • the audio decoder 1200 of the present invention includes a core decoder 10, a rendering unit 20, a mixer 30, and a post processing unit 40.
  • the core decoder 10 decodes the received bitstream and delivers it to the rendering unit 20.
  • a signal output from the core decoder 10 and delivered to the rendering unit includes a loudspeaker channel signal 411, an object signal 412, a SAOC channel signal 414, a HOA signal 415, and object metadata. Bitstream 413 and the like.
  • the core decoder 10 may use the core codec used when encoding in the encoder. For example, a codec based on MP3, AAC, AC3 or USAC (Unified Speech and Audio Coding) may be used.
  • the received bitstream may further include an identifier for identifying whether the signal decoded by the core decoder 10 is a channel signal, an object signal, or a HOA signal.
  • the bitstream when the signal to be decoded is the channel signal 411, the bitstream further includes an identifier for identifying which channel (eg, left speaker correspondence, top rear right speaker correspondence, etc.) in each multichannel corresponds to the signal. Can be.
  • the signal to be decoded is the object signal 412, which indicates in which position the signal is reproduced, such as object metadata information 425a and 425b obtained by decoding the object metadata bitstream 413. Information can be further obtained.
  • the audio decoder may perform flexible rendering to increase the quality of the output audio signal.
  • Flexible rendering may mean a process of converting a format of a decoded audio signal based on a loudspeaker arrangement (playback layout) of a real playback environment or a virtual speaker arrangement (virtual layout) of a Binaural Room Impulse Response (BRIR) filter set.
  • BRIR Binaural Room Impulse Response
  • speakers placed in a living room environment will have different orientation angles and distances compared to standard recommendations. As the height, direction, and distance of the speaker from the speaker differ from the speaker layout according to the specification recommendation, it may be difficult to provide an ideal 3D sound scene when reproducing the original signal at the changed speaker position.
  • a flexible rendering that converts an audio signal and corrects a change due to a positional difference between speakers is required.
  • the rendering unit 20 renders the signal decoded by the core decoder 10 into the target output signal using the reproduction layout information or the virtual layout information.
  • the reproduction layout information indicates the configuration of the target channel and may be expressed as loudspeaker layout information of the reproduction environment.
  • the virtual layout information may be obtained based on a Binaural Room Impulse Response (BRIR) filter set used in the binaural renderer 200, wherein a set of positions corresponding to the virtual layout is a BRIR. It may consist of a subset of the position set corresponding to the filter set. In this case, the position set of the virtual layout represents position information of each target channel.
  • BRIR Binaural Room Impulse Response
  • the rendering unit 20 may include a format converter 22, an object renderer 24, an OAM decoder 25, a SAOC decoder 26, and a HOA decoder 28.
  • the rendering unit 20 performs rendering using at least one of the above configurations according to the type of the decoded signal.
  • the format converter 22 may also be referred to as a channel renderer, and converts the transmitted channel signal 411 into an output speaker channel signal. That is, the format converter 22 performs conversion between the transmitted channel configuration and the speaker channel arrangement to be reproduced. If the number of output speaker channels (e.g., 5.1 channels) is less than the number of transmitted channels (e.g., 22.2 channels), or if the transmitted channel arrangement and the channel arrangement to be reproduced are different, the format converter 22 is a channel signal. Perform a downmix or transform on 411. According to an embodiment of the present invention, the audio decoder may generate an optimal downmix matrix using a combination of an input channel signal and an output speaker channel signal, and perform the downmix using the matrix.
  • a channel renderer converts the transmitted channel signal 411 into an output speaker channel signal. That is, the format converter 22 performs conversion between the transmitted channel configuration and the speaker channel arrangement to be reproduced. If the number of output speaker channels (e.g., 5.1 channels) is less than the number of transmitted channels (e.g.
  • the channel signal 411 processed by the format converter 22 may include a pre-rendered object signal.
  • at least one object signal may be pre-rendered and mixed with the channel signal before encoding the audio signal.
  • the mixed object signal may be converted into an output speaker channel signal by the format converter 22 together with the channel signal.
  • the object renderer 24 and the SAOC decoder 26 perform rendering for the object based audio signal.
  • the object-based audio signal may include individual object waveforms and parametric object waveforms.
  • each object signal is provided to the encoder as a monophonic waveform, and the encoder transmits the respective object signals using single channel elements (SCEs).
  • SCEs single channel elements
  • a parametric object waveform a plurality of object signals are downmixed into at least one channel signal, and characteristics of each object and a relationship between them are represented by a spatial audio object coding (SAOC) parameter.
  • SAOC spatial audio object coding
  • compressed object metadata corresponding thereto may be transmitted together.
  • Object metadata quantizes object attributes in units of time and space to specify the position and gain of each object in three-dimensional space.
  • the OAM decoder 25 of the rendering unit 20 receives the compressed object metadata bitstream 413, decodes it, and forwards it to the object renderer 24 and / or the SAOC decoder 26.
  • the object renderer 24 uses the object metadata information 425a to render each object signal 412 according to a given playback format.
  • each object signal 412 may be rendered to specific output channels based on the object metadata information 425a.
  • SAOC decoder 26 recovers the object / channel signal from SAOC channel signal 414 and parametric information.
  • the SAOC decoder 26 may generate an output audio signal based on the reproduction layout information and the object metadata information 425b. That is, the SAOC decoder 26 generates a decoded object signal using the SAOC channel signal 414 and performs rendering that maps it to a target output signal.
  • the object renderer 24 and the SAOC decoder 26 may render the object signal as a channel signal.
  • the HOA decoder 28 receives a Higher Order Ambisonics (HOA) signal 415 and the HOA side information and decodes it.
  • the HOA decoder 28 generates a sound scene by modeling a channel signal or an object signal with a separate equation. When a location in the space where the speaker is located is selected in the generated sound scene, rendering may be performed with the speaker channel signal.
  • HOA Higher Order Ambisonics
  • DRC dynamic range control
  • the channel-based audio signal and the object-based audio signal processed by the rendering unit 20 are transferred to the mixer 30.
  • the mixer 30 generates a mixer output signal by mixing the partial signals rendered in each sub unit of the rendering unit 20. If the partial signals are signals matched to the same position on the reproduction / virtual layout, they are added to each other. If signals matched to non-identical positions, they are mixed into output signals corresponding to separate positions.
  • the mixer 30 may determine whether destructive interference occurs between the partial signals added to each other, and may further perform an additional process for preventing this.
  • the mixer 30 adjusts delays of the channel-based waveform and the rendered object waveform and adds them in sample units. As such, the audio signal summed by the mixer 30 is delivered to the post processing unit 40.
  • the post processing unit 40 includes a speaker renderer 100 and a binaural renderer 200.
  • the speaker renderer 100 performs post processing for outputting the multichannel and / or multiobject audio signal transmitted from the mixer 30.
  • Such post processing may include dynamic range control (DRC), loudness normalization (LN) and peak limiter (PL).
  • DRC dynamic range control
  • LN loudness normalization
  • PL peak limiter
  • the output signal of the speaker renderer 100 may be transmitted to the loudspeaker of the multichannel audio system and output.
  • the binaural renderer 200 generates a binaural downmix signal of the multichannel and / or multiobject audio signal.
  • the binaural downmix signal is a two-channel audio signal such that each input channel / object signal is represented by a virtual sound source located in three dimensions.
  • the binaural renderer 200 may receive an audio signal supplied to the speaker renderer 100 as an input signal.
  • Binaural rendering is performed based on a Binaural Room Impulse Response (BRIR) filter and may be performed on a time domain or a QMF domain.
  • BRIR Binaural Room Impulse Response
  • DRC dynamic range control
  • LN volume normalization
  • PL peak limit
  • the output signal of the binaural renderer 200 may be transmitted to and output to a two-channel audio output device such as headphones or earphones.
  • FIG. 5 is a block diagram illustrating an audio decoder according to a further embodiment of the present invention.
  • the same reference numerals are used for the same configuration as the embodiment of FIG. 4, and overlapping descriptions thereof will be omitted.
  • the audio decoder 1200-A may further include a rendering setting unit 21 that controls the rendering of the decoded audio signal.
  • the rendering setting unit 21 receives the reproduction layout information 401 and / or the BRIR filter set information 402 and generates target format information 421 for rendering the audio signal using the reproduction layout information 401 and / or the BRIR filter set information 402.
  • the rendering setting unit 21 may obtain the loudspeaker arrangement of the actual reproduction environment as the reproduction layout information 401, and generate the target format information 421 based on the reproduction layout information 401.
  • the target format information 421 may indicate the position (channel) of the loudspeakers of the actual playback environment, or may indicate a superset based on a subset or a combination thereof.
  • the rendering setting unit 21 may obtain the BRIR filter set information 402 from the binaural renderer 200 and generate the target format information 421 using the same.
  • the target format information 421 indicates target positions (channels) supported by the BRIR filter set of the binaural renderer 200 (ie, capable of binaural rendering), or a subset thereof or a combination thereof. It can represent a superset based.
  • the BRIR filter set information 402 may include different target positions from the reproduction layout information 401 indicating the arrangement of the physical loudspeakers, or may include a larger number of target positions. can do.
  • the target position of the signal decoded by the core decoder 10 may be provided by the BRIR filter set information 402, but may not be provided by the reproduction layout information 401.
  • the rendering setting unit 21 of the present invention generates the target format information 421 using the BRIR filter set information 402 obtained from the binaural renderer 200 when the final output audio signal is a binaural signal. can do.
  • the rendering unit 20 performs rendering of the audio signal using the target format information 421 generated as described above, which may occur due to the two-step processing of the rendering and the binaural rendering based on the reproduction layout information 401. Sound degradation can be minimized.
  • the rendering setting unit 21 may further obtain information about the type of the final output audio signal.
  • the rendering setting unit 21 may generate the target format information 421 based on the reproduction layout information 401 and transmit it to the rendering unit 20.
  • the rendering setting unit 21 may generate the target format information 421 based on the BRIR filter set information 402 and transmit it to the rendering unit 20.
  • the rendering setting unit 21 may further obtain control information 403 indicating the audio system or the user's selection that the user is using, and use the control information 403 together.
  • the target format information 421 may be generated.
  • the generated target format information 421 is transferred to the rendering unit 20.
  • Each sub unit of the rendering unit 20 may perform flexible rendering using the target format information 421 transmitted from the rendering setting unit 21. That is, the format converter 22 converts the decoded channel signal 411 into an output signal of the target channel based on the target format information 421.
  • the object renderer 24 and the SAOC decoder 26 use the object signal 412 and the SAOC channel signal 414 as the output signal of the target channel using the target format information 421 and the object metadata information 425, respectively. Convert to In this case, the mixing matrix for rendering the object signal 412 may be updated based on the target format information 421, and the object renderer 24 may output the object signal 412 using the updated mixing matrix.
  • the rendering may be performed by a conversion process of mapping the audio signal to at least one target location (ie, target channel) on the target format.
  • the target format information 421 may also be transmitted to the mixer 30, and may be used in a process of mixing partial signals rendered in each sub unit of the rendering unit 20. If the partial signals are signals matched to the same position on the target format, they are added to each other, and if the signals matched to non-identical positions, they may be mixed into output signals corresponding to separate positions.
  • the target format may be set according to various methods.
  • the rendering setting unit 21 may set a target format having a higher spatial resolution than the obtained reproduction layout information 401 or the BRIR filter set information 402. That is, the rendering setting unit 21 obtains a first target position set, which is a set of original target positions indicated by the reproduction layout information 401 or the BRIR filter set information 402, and combines at least one original target position to add additional target positions. (extra) Create target locations.
  • the additional target positions may include a position generated by interpolation between a plurality of original target positions, a position generated by extrapolation, and the like.
  • the second target location set may be configured with the set of additional target locations generated as described above.
  • the rendering setting unit 21 may generate a target format including the first target position set and the second target position set, and transmit the corresponding target format information 421 to the rendering unit 20.
  • the rendering unit 20 may render the audio signal using the high resolution target format information 421 including the additional target position.
  • the rendering unit 20 may obtain an output signal mapped to each target position of the target format information 421 through the rendering of the audio signal. If an output signal mapped to an additional target position of the second target position set is obtained, the rendering unit 20 may perform a downmix process of re-rendering the corresponding output signal to the original target position of the first target position set. have.
  • the downmix process may be implemented through VBAP (Vector-Based Amplitude Panning) or Amplitude Panning.
  • the rendering setting unit 21 may set a target format having a lower spatial resolution than the obtained BRIR filter set information 402. That is, the rendering setting unit 21 may obtain N (N ⁇ M) abbreviated target positions through a subset of M original target positions or a combination thereof, and generate a target format composed of the abbreviated target positions. .
  • the rendering setting unit 21 may transmit the corresponding target format information 421 of low resolution to the rendering unit 20, and the rendering unit 20 may perform rendering of the audio signal using the rendering unit 20.
  • the computation amount of the rendering unit 20 and the subsequent computation of the binaural renderer 200 may be reduced.
  • the rendering setting unit 21 may set different target formats for each sub unit of the rendering unit 20.
  • the target format provided to the format converter 22 and the target format provided to the object renderer 24 may be different from each other. If different target formats are provided for each sub unit, the amount of operation can be controlled or the sound quality can be improved for each sub unit.
  • the rendering setting unit 21 may set the target format provided to the rendering unit 20 and the target format provided to the mixer 30 differently.
  • the target format provided to the rendering unit 20 may have a higher spatial resolution than the target format provided to the mixer 30.
  • the mixer 30 can be implemented to accompany the process of downmixing the input signal with high spatial resolution.
  • the rendering setting unit 21 may set the target format based on the user's selection, the environment or setting of the device to be used.
  • the rendering setting unit 21 may receive such information through the control information 403.
  • the control information 403 may vary based on at least one of the calculation performance, the amount of power, and the user's selection that the device can provide.
  • the rendering unit 20 is illustrated as performing rendering through different sub-units according to a signal to be rendered, but all or some sub-units may be implemented through an integrated renderer.
  • the format converter 22 and the object renderer 24 may be implemented through one integrated renderer.
  • At least a part of the output signal of the object renderer 24 may be input to the format converter 22.
  • the output signal of the object renderer 24 input to the format converter 22 is used to solve the spatial mismatch that may occur between the two signals due to the difference in the performance of the flexible rendering of the object signal and the flexible rendering of the channel signal.
  • the object renderer 24 when the object signal 412 and the channel signal 411 are simultaneously received as inputs, the object renderer 24 does not separately perform flexible rendering based on the target format information 421.
  • the output signal can be passed to the format converter 22.
  • the output signal of the object renderer 24 transmitted to the format converter 22 may be a signal corresponding to the channel format of the input channel signal 411.
  • the format converter 22 may mix the output signal of the object renderer 24 with the channel signal 411 and perform flexible rendering based on the target format information 421 with respect to the mixed signal.
  • the object renderer 24 may generate a virtual speaker corresponding to the location of the exception object, and perform rendering by using the real loudspeaker information and the virtual speaker information together.
  • FIG. 6 illustrates an embodiment of the present invention for performing rendering on an exception object.
  • solid lines denoted by 601 to 609 represent respective target positions supported by the target format, and an area surrounded by the target positions forms an output channel space that can be rendered.
  • the dashed lines indicated by 611 to 613 are virtual positions that are not supported by the target format, and may indicate positions of the virtual speakers generated by the object renderer 24.
  • the asterisk points denoted by S1 701 to S4 704 indicate the playback position in space in which the specific object S should be rendered at a specific time while moving along the path 700.
  • the reproduction position in the space of the object may be obtained based on object metadata information 425.
  • the object signal may be rendered based on whether or not the reproduction position of the object matches the target position of the target format.
  • the object signal is converted into an output signal of the target channel corresponding to the target position 604. That is, the object signal may be rendered by 1: 1 mapping with the target channel.
  • the object signal may be divided into output signals of a plurality of target positions adjacent to the reproduction position. For example, the object signal of S1 701 may be rendered as an output signal of adjacent target positions 601, 602 and 603.
  • the object signal When an object signal is mapped to two or three target positions, the object signal may be rendered as an output signal of each target channel by a method such as VBAP (Vector-Based Amplitude Panning). Accordingly, the object signal may be rendered by 1: N mapping with the plurality of target channels.
  • VBAP Vector-Based Amplitude Panning
  • the object renderer 24 may project the object on the output channel space configured by the target format, and perform rendering from the projected position to the adjacent target position.
  • the rendering method from the projected position to the target position may use the above-described rendering method of S1 701 or S2 702. That is, S3 703 and S4 704 may be projected to P3 and P4 on the output channel space, respectively, and the signals of the projected P3 and P4 may be rendered as output signals of adjacent target positions 604, 605 and 607. .
  • the object renderer 24 may use the target position and the position of the virtual speaker together to perform rendering of the object. Can be.
  • the object renderer 24 renders the object signal as an output signal including at least one virtual speaker signal. For example, when the reproduction position of the object is directly matched with the position of the virtual speaker 611, such as S4 704, the object signal is rendered as an output signal of the virtual speaker 611. However, if there is no virtual speaker that matches the playback position of the object, such as S3 703, the object signal may be rendered as an output signal of the adjacent virtual speaker 611 and the target channels 605 and 607.
  • the object renderer 24 re-renders the rendered virtual speaker signal to the output signal of the target channel. That is, the signal of the virtual speaker 611 in which the object signal of S3 703 or S4 704 is rendered may be downmixed to an output signal of an adjacent target channel (eg, 605, 607).
  • an adjacent target channel eg, 605, 607
  • the target format may include additional target positions 621, 622, 623, and 624 generated by combining the original target positions.
  • the binaural renderer 200 is a BRIR parameterization unit 300, high-speed convolution unit 230, late reverberation generation unit 240, QTDL processing unit 250, Mixer & combiner 260 may be included.
  • the binaural renderer 200 performs binaural rendering on various types of input signals to generate 3D audio headphone signals (ie, 3D audio two channel signals).
  • the input signal may be an audio signal including at least one of a channel signal (ie, a speaker channel signal), an object signal, and a HOA signal.
  • the binaural renderer 200 when the binaural renderer 200 includes a separate decoder, the input signal may be an encoded bitstream of the aforementioned audio signal.
  • Binaural rendering converts the decoded input signal into a binaural downmix signal, so that the surround sound can be experienced while listening to the headphones.
  • the binaural renderer 200 may perform binaural rendering using a Binaural Room Impulse Response (BRIR) filter.
  • BRIR Binaural Room Impulse Response
  • Generalizing binaural rendering using BRIR is M-to-O processing to obtain O output signals for multi-channel input signals with M channels.
  • Binaural filtering can be regarded as filtering using filter coefficients corresponding to each input channel and output channel in this process.
  • the original filter set H denotes transfer functions from the speaker position of each channel signal to the left and right ear positions.
  • One of these transfer functions measured in a general listening room, that is, a room with reverberation, is called a Binaural Room Impulse Response (BRIR).
  • the BRIR contains not only the direction information but also the information of the reproduction space.
  • the HRTF and an artificial reverberator may be used to replace the BRIR.
  • the binaural rendering using the BRIR is described, but the present invention is not limited thereto and may be applied to the binaural rendering using various types of FIR filters including HRIR and HRTF.
  • the present invention is applicable not only to binaural rendering of an audio signal but also to various types of filtering operations of an input signal.
  • the BRIR may have a length of 96K samples, and multi-channel binaural rendering is performed using M * O different filters, thus requiring a high throughput process.
  • the audio signal processing apparatus may refer to the binaural renderer 200 or the binaural rendering unit 220 illustrated in FIG. 7. However, in the present invention, the audio signal processing apparatus may broadly refer to the audio decoder of FIG. 4 or 5 including a binaural renderer.
  • an embodiment of a multichannel input signal may be mainly described, but unless otherwise stated, the channel, multichannel, and multichannel input signals respectively include an object, a multiobject, and a multiobject input signal. Can be used as a concept.
  • the multichannel input signal may be used as a concept including a HOA decoded and rendered signal.
  • the binaural renderer 200 may perform binaural rendering of the input signal on the QMF domain.
  • the binaural renderer 200 may receive a multi-channel (N channels) signal of a QMF domain and perform binaural rendering on the multi-channel signal using a BRIR subband filter of the QMF domain.
  • binaural rendering may be performed by dividing a channel signal or an object signal of a QMF domain into a plurality of subband signals, convolving each subband signal with a corresponding BRIR subband filter, and then summing them.
  • the BRIR parameterization unit 300 converts and edits BRIR filter coefficients and generates various parameters for binaural rendering in the QMF domain.
  • the BRIR parameterization unit 300 receives time domain BRIR filter coefficients for a multichannel or multiobject, and converts them into QMF domain BRIR filter coefficients.
  • the QMF domain BRIR filter coefficients include a plurality of subband filter coefficients respectively corresponding to the plurality of frequency bands.
  • the subband filter coefficients indicate each BRIR filter coefficient of the QMF transformed subband domain.
  • Subband filter coefficients may also be referred to herein as BRIR subband filter coefficients.
  • the BRIR parameterization unit 300 may edit the plurality of BRIR subband filter coefficients of the QMF domain, respectively, and transmit the edited subband filter coefficients to the high speed convolution unit 230.
  • the BRIR parameterization unit 300 may be included as one component of the binaural renderer 200 or may be provided as a separate device.
  • the configuration including the high-speed convolution unit 230, the late reverberation generation unit 240, the QTDL processing unit 250, the mixer & combiner 260 except for the BRIR parameterization unit 300 is The binaural rendering unit 220 may be classified.
  • the BRIR parameterization unit 300 may receive, as an input, a BRIR filter coefficient corresponding to at least one position of the virtual reproduction space.
  • Each position of the virtual reproduction space may correspond to each speaker position of the multichannel system.
  • each BRIR filter coefficient received by the BRIR parameterization unit 300 may be directly matched to each channel or each object of the input signal of the binaural renderer 200.
  • each of the received BRIR filter coefficients may have a configuration independent of the input signal of the binaural renderer 200.
  • the BRIR filter coefficients received by the BRIR parameterization unit 300 may not directly match the input signal of the binaural renderer 200, and the number of received BRIR filter coefficients may correspond to the channel of the input signal and / or Or it may be smaller or larger than the total number of objects.
  • the BRIR parameterization unit 300 may additionally receive the control parameter information and generate the above-described binaural rendering parameter based on the input control parameter information.
  • the control parameter information may include a complexity-quality control parameter and the like as described below, and may be used as a threshold for various parameterization processes of the BRIR parameterization unit 300. Based on this input value, the BRIR parameterization unit 300 generates a binaural rendering parameter and transmits it to the binaural rendering unit 220. If the input BRIR filter coefficients or control parameter information are changed, the BRIR parameterization unit 300 may recalculate the binaural rendering parameters and transmit them to the binaural rendering unit.
  • the BRIR parameterization unit 300 converts and edits the BRIR filter coefficients corresponding to each channel or each object of the input signal of the binaural renderer 200 to perform the binaural rendering unit 220.
  • the corresponding BRIR filter coefficients may be a matching BRIR or fallback BRIR for each channel or each object selected in the BRIR filter set.
  • BRIR matching may be determined according to whether or not there is a BRIR filter coefficient targeting the position of each channel or each object in the virtual reproduction space. In this case, location information of each channel (or object) may be obtained from an input parameter signaling a channel layout.
  • the corresponding BRIR filter coefficient may be a matching BRIR of the input signal. However, if there is no BRIR filter coefficient that targets the position of a particular channel or object, the BRIR parameterization unit 300 falls back the BRIR filter coefficient that targets the position most similar to that channel or object to the channel or object. It can be provided by BRIR.
  • the corresponding BRIR filter coefficient may be selected. For example, a BRIR filter coefficient having the same altitude as the desired position and an azimuth deviation within +/ ⁇ 20 ° may be selected. If there is no corresponding BRIR filter coefficient, a BRIR filter coefficient having a minimum geometric distance from the desired position among the BRIR filter sets may be selected. That is, a BRIR filter coefficient may be selected that minimizes the geometric distance between the location of the BRIR and the desired location.
  • the position of the BRIR represents the position of the speaker corresponding to the corresponding BRIR filter coefficients.
  • the geometric distance between the two positions may be defined as the sum of the absolute value of the altitude deviation of the two positions and the absolute value of the azimuth deviation.
  • the BRIR filter set may be matched to a desired position by interpolating the BRIR filter coefficients.
  • the interpolated BRIR filter coefficients may be considered to be part of the BRIR filter set. That is, in this case, the BRIR filter coefficients may be always present at a desired position.
  • the BRIR filter coefficients corresponding to each channel or each object of the input signal may be transmitted through separate vector information m conv .
  • the vector information m conv indicates a BRIR filter coefficient corresponding to each channel or object of the input signal among the BRIR filter sets. For example, when the BRIR filter coefficients having position information matching the position information of a specific channel of the input signal exist in the BRIR filter set, the vector information m conv indicates that the BRIR filter coefficients correspond to the BRIR filter corresponding to the specific channel. Indicate by count.
  • the parameterization unit 300 may determine the BRIR filter coefficients corresponding to each channel or object of the input audio signal in the entire BRIR filter set using the vector information m conv .
  • the BRIR parameterization unit 300 may convert and edit all of the received BRIR filter coefficients and transmit the converted BRIR filter coefficients to the binaural rendering unit 220.
  • the selection process of the BRIR filter coefficients (or the edited BRIR filter coefficients) corresponding to each channel or each object of the input signal may be performed by the binaural rendering unit 220.
  • the binaural rendering parameter generated by the BRIR parameterization unit 300 is transmitted to the rendering unit 220 in a bitstream.
  • the binaural rendering unit 220 may decode the received bitstream to obtain binaural rendering parameters.
  • the transmitted binaural rendering parameters include various parameters necessary for processing in each subunit of the binaural rendering unit 220, and include transformed and edited BRIR filter coefficients or original BRIR filter coefficients. can do.
  • the binaural rendering unit 220 includes a high speed convolution unit 230, a late reverberation generation unit 240, and a QTDL processing unit 250, and outputs a multi audio signal including a multichannel and / or multiobject signal. Receive.
  • an input signal including a multichannel and / or multiobject signal is referred to as a multi audio signal.
  • the binaural rendering unit 220 receives the multi-channel signal of the QMF domain, according to an embodiment.
  • the input signal of the binaural rendering unit 220 may include a time domain multi-channel signal and a multi-channel signal. Object signals and the like.
  • the input signal may be an encoded bitstream of the multi audio signal.
  • the present invention will be described based on the case of performing BRIR rendering on the multi-audio signal, but the present invention is not limited thereto. That is, the features provided by the present invention may be applied to other types of rendering filters other than BRIR, and may be applied to an audio signal of a single channel or a single object rather than a multi-audio signal.
  • the fast convolution unit 230 performs fast convolution between the input signal and the BRIR filter to process direct sound and early reflection on the input signal.
  • the high speed convolution unit 230 may perform high speed convolution using a truncated BRIR.
  • the truncated BRIR includes a plurality of subband filter coefficients truncated depending on each subband frequency, and is generated by the BRIR parameterization unit 300. In this case, the length of each truncated subband filter coefficient is determined depending on the frequency of the corresponding subband.
  • the fast convolution unit 230 may perform variable order filtering in the frequency domain by using truncated subband filter coefficients having different lengths according to subbands.
  • fast convolution may be performed between the QMF domain subband signal and the truncated subband filters of the corresponding QMF domain for each frequency band.
  • the truncated subband filter corresponding to each subband signal may be identified through the above-described vector information m conv .
  • the late reverberation generator 240 generates a late reverberation signal with respect to the input signal.
  • the late reverberation signal represents an output signal after the direct sound and the initial reflection sound generated by the fast convolution unit 230.
  • the late reverberation generator 240 may process the input signal based on the reverberation time information determined from each subband filter coefficient transmitted from the BRIR parameterization unit 300.
  • the late reverberation generator 240 may generate a mono or stereo downmix signal for the input audio signal and perform late reverberation processing on the generated downmix signal.
  • the QMF domain trapped delay line (QTDL) processing unit 250 processes a signal of a high frequency band among the input audio signals.
  • the QTDL processing unit 250 receives at least one parameter corresponding to each subband signal of a high frequency band from the BRIR parameterization unit 300 and performs tap-delay line filtering in the QMF domain using the received parameter. .
  • Parameters corresponding to each subband signal may be identified through the above-described vector information m conv .
  • the binaural renderer 200 separates the input audio signal into a low frequency band signal and a high frequency band signal based on a predetermined constant or a predetermined frequency band, and the low frequency band signal is a high speed signal.
  • the high frequency band signal may be processed by the QTDL processing unit 250, respectively.
  • the fast convolution unit 230, the late reverberation generator 240, and the QTDL processing unit 250 output two QMF domain subband signals, respectively.
  • the mixer & combiner 260 performs mixing by combining the output signal of the fast convolution unit 230, the output signal of the late reverberation generator 240, and the output signal of the QTDL processing unit 250. At this time, the combination of the output signal is performed separately for the left and right output signals of the two channels.
  • the binaural renderer 200 QMF synthesizes the combined output signal to produce a final binaural output audio signal in the time domain.
  • FIG. 8 illustrates a filter generation method for binaural rendering according to an embodiment of the present invention.
  • an FIR filter transformed into a plurality of subband filters may be used.
  • the fast convolution unit of the binaural renderer may perform variable order filtering in the QMF domain by using a truncated subband filter having a different length according to each subband frequency.
  • Fk represents a truncated subband filter used for fast convolution for processing direct and early reflections of the QMF subband k.
  • Pk also represents a filter used to produce late reverberation of QMF subband k.
  • the truncated subband filter Fk is a front filter cut from the original subband filter, and may also be referred to as a front subband filter.
  • Pk is also a rear filter after truncation of the original subband filter, and may be referred to as a rear subband filter.
  • the QMF domain has a total of K subbands. According to an embodiment, 64 subbands may be used.
  • N represents the length (number of taps) of the original subband filter
  • N Filter [k] represents the length of the front subband filter of subband k.
  • the length N Filter [k] represents the number of taps in the down-sampled QMF domain.
  • the filter order for each subband may include parameters extracted from the original BRIR filter, for example, reverberation time (RT) information for each subband filter, and energy decay. Curve) value, energy decay time information, and the like.
  • the reverberation time may vary from frequency to frequency, due to the acoustic characteristics of the attenuation in the air for each frequency, the sound absorption of the wall and ceiling material is different. In general, a lower frequency signal has a longer reverberation time. Long reverberation time means that a lot of information remains behind the FIR filter. Therefore, it is preferable to cut the filter for a long time to properly transmit reverberation information.
  • the length of each truncated subband filter Fk of the present invention is determined based at least in part on the characteristic information (eg, reverberation time information) extracted from the corresponding subband filter.
  • the length of the truncated subband filter Fk may be determined based on additional information obtained by the audio signal processing apparatus, for example, the complexity of the decoder, the complexity level (profile), or the required quality information. .
  • the complexity may be determined according to hardware resources of the audio signal processing apparatus or based on a value directly input by the user.
  • the quality may be determined according to a user's request, or may be determined by referring to a value transmitted through the bitstream or other information included in the bitstream. In addition, the quality may be determined according to an estimated value of the quality of the transmitted audio signal. For example, the higher the bit rate, the higher the quality.
  • the length of each truncated subband filter may increase proportionally according to complexity and quality, or may vary at different rates for each band.
  • the length of each truncated subband filter may be determined as a multiple of a power unit corresponding to the size unit, for example, a power of two, so as to obtain an additional gain by a fast processing such as an FFT.
  • the determined length of the truncated subband filter is longer than the total length of the actual subband filter, the length of the truncated subband filter may be adjusted to the length of the actual subband filter.
  • the BRIR parameterization unit of the present invention generates truncated subband filter coefficients corresponding to the lengths of the truncated subband filters determined in this way, and transfers them to the fast convolution unit.
  • the fast convolution unit performs frequency domain variable order filtering (VOFF processing) on each subband signal of the multi-audio signal using the truncated subband filter coefficients. That is, for the first subband and the second subband, which are different frequency bands, the fast convolution unit generates the first subband binaural signal by applying the first truncated subband filter coefficients to the first subband signal.
  • a second subband binaural signal is generated by applying the second truncated subband filter coefficients to the second subband signal.
  • the first truncated subband filter coefficients and the second truncated subband filter coefficients may have different lengths independently from each other, and are obtained from circular filters (prototype filters) having the same time domain. That is, since one time-domain filter is converted into a plurality of QMF subband filters and the lengths of the filters corresponding to each subband are varied, each truncated subband filter is obtained from one circular filter.
  • the plurality of QMF-transformed subband filters may be classified into a plurality of groups and used for different processing for each classified group.
  • the plurality of subbands are classified into a first subband group Zone 1 of a low frequency and a second subband group Zone 2 of a high frequency based on a preset frequency band QMF band i. Can be.
  • VOFF processing may be performed on the input subband signals of the first subband group
  • QTDL processing which will be described later, may be performed on the input subband signals of the second subband group.
  • the BRIR parameterization unit generates truncated subband filter (front subband filter) coefficients for each subband of the first subband group and transfers the coefficients to the fast convolution unit.
  • the fast convolution unit performs VOFF processing on the subband signals of the first subband group by using the received front subband filter coefficients.
  • late reverberation processing on the subband signals of the first subband group may be additionally performed by the late reverberation generator.
  • the BRIR parameterization unit obtains at least one parameter from each subband filter coefficient of the second subband group and transfers it to the QTDL processing unit.
  • the QTDL processing unit performs tap-delay line filtering on each subband signal of the second subband group using the obtained parameter as described below.
  • the predetermined frequency (QMF band i) for distinguishing the first subband group and the second subband group may be determined based on a predetermined constant value, and the bit of the transmitted audio input signal may be determined. It may be determined according to the stream characteristics. For example, in the case of an audio signal using SBR, the second subband group may be set to correspond to the SBR band.
  • the plurality of subbands may be classified into three subband groups based on the first frequency band QMF band i and the second frequency band QMF band j as shown in FIG. 8. It may be. That is, the plurality of subbands may include a first subband group Zone 1 which is a low frequency zone smaller than or equal to the first frequency band, and a second subband that is an intermediate frequency zone greater than or equal to the second frequency band and larger than the first frequency band. Band group Zone 2 and a third subband group Zone 3 that is a higher frequency region larger than the second frequency band.
  • the first subband group includes a total of 32 subbands having indices of 0 to 31
  • the second subband group may include a total of 16 subbands having indices of 32 to 47
  • the third subband group may include subbands having indices of the remaining 48 to 63.
  • the subband index has a lower value as the subband frequency is lower.
  • binaural rendering may be performed only on the subband signals of the first subband group and the second subband group. That is, VOFF processing and late reverberation processing may be performed on the subband signals of the first subband group as described above, and QTDL processing may be performed on the subband signals of the second subband group. In addition, binaural rendering may not be performed on the subband signals of the third subband group.
  • the first frequency band (QMF band i) is set to a subband of index Kconv-1
  • the second frequency band (QMF band j) is set to a subband of index Kproc-1.
  • the values of the information Kproc of the maximum frequency band and the information Kconv of the frequency band performing the convolution may vary depending on the sampling frequency of the original BRIR input, the sampling frequency of the input audio signal, and the like.
  • the length of the rear subband filter Pk as well as the front subband filter Fk may be determined based on parameters extracted from the original subband filter. That is, the lengths of the front subband filter and the rear subband filter of each subband are determined based at least in part on the characteristic information extracted from the corresponding subband filter. For example, the length of the front subband filter may be determined based on the first reverberation time information of the corresponding subband filter, and the length of the rear subband filter may be determined based on the second reverberation time information.
  • the front subband filter is a filter of the front part cut based on the first reverberation time information in the original subband filter
  • the rear subband filter is a section after the front subband filter between the first reverberation time and the second reverberation time.
  • the filter may be a later part corresponding to the interval of.
  • the first reverberation time information may be RT20 and the second reverberation time information may be RT60, but the present invention is not limited thereto.
  • the mixing time for each subband may be estimated to perform high-speed convolution through VOFF processing before the mixing time, and post-reverberation processing may be performed after the mixing time to reflect the common characteristics of each channel.
  • the mixing time may cause an error due to bias from a perceptual perspective. Therefore, rather than estimating the correct mixing time and dividing it into a VOFF processing part and a late reverberation processing part on the basis of the boundary, it is excellent in terms of quality to perform fast convolution with the length of the VOFF processing part as long as possible. Accordingly, the length of the VOFF processing part, that is, the length of the front subband filter may be longer or shorter than the length corresponding to the mixing time according to the complexity-quality control.
  • the model of reducing the filter of the subband to a lower order is possible.
  • a typical method is FIR filter modeling using frequency sampling, and it is possible to design a filter that is minimized in terms of least squares.
  • the QTDL processing unit 250 uses the one-tap-delay line filter to multi-channel input signals X0, X1,... , Sub-band filtering is performed on X_M-1.
  • the multi-channel input signal is received as a subband signal of the QMF domain.
  • the one-tap-delay line filter may perform processing for each QMF subband.
  • the one-tap-delay line filter performs only one tap convolution on each channel signal.
  • the tap used may be determined based on a parameter directly extracted from a BRIR subband filter coefficient corresponding to the corresponding subband signal.
  • the parameter includes delay information for the tap to be used in the one-tap-delay line filter and corresponding gain information.
  • L_0, L_1,... , L_M-1 represent delays for the BRIR from the M channels to the left ear, respectively, and R_0, R_1,... , R_M-1 represents the delay for the BRIR from the M channel to the right ear, respectively.
  • the delay information indicates position information of the maximum peak among the corresponding BRIR subband filter coefficients in order of absolute value, real value, or imaginary value.
  • G_L_0, G_L_1,... , G_L_M-1 represent gains corresponding to the delay information of the left channel
  • G_R_0, G_R_1,... , G_R_M-1 represents a gain corresponding to each delay information of the right channel.
  • Each gain information may be determined based on the total power of the corresponding BRIR subband filter coefficients, the magnitude of the peak corresponding to the corresponding delay information, and the like.
  • the corresponding peak value itself in the subband filter coefficients may be used as the gain information
  • the weight value of the corresponding peak after energy compensation for the entire subband filter coefficients may be used.
  • the gain information is obtained by using both real weight and imaginary weight for the corresponding peak, and thus has a complex value.
  • the QTDL processing may be performed only on the input signal of the high frequency band classified based on the predetermined constant or the preset frequency band as described above.
  • SBR Spectral Band Replication
  • the high frequency band may correspond to the SBR band.
  • SBR Spectral Band Replication
  • SBR Spectral Band Replication
  • the high frequency band is generated by using information of the low frequency band that is encoded and transmitted and additional information of the high frequency band signal transmitted by the encoder.
  • high frequency components generated using SBR may cause distortion due to inaccurate harmonics.
  • the SBR band is a high frequency band, and as described above, the reverberation time of the frequency band is very short. That is, the BRIR subband filter of the SBR band has less valid information and has a fast attenuation rate. Therefore, the BRIR rendering for the high frequency band that corresponds to the SBR band may be very effective in terms of the amount of computation compared to the quality of sound quality rather than performing the convolution.
  • the plurality of channel signals filtered by the one-tap-delay line filter are summed into two channel left and right output signals Y_L and Y_R for each subband.
  • the parameters used in each one-tap-delay line filter of the QTDL processing unit 250 may be stored in a memory during initialization of binaural rendering, and QTDL processing may be performed without additional operations for parameter extraction. have.
  • the BRIR parameterization unit 300 may include a VOFF parameterization unit 320, a late reverberation parameterization unit 360, and a QTDL parameterization unit 380.
  • the BRIR parameterization unit 300 receives the BRIR filter set in the time domain as an input, and each sub unit of the BRIR parameterization unit 300 generates various parameters for binaural rendering using the received BRIR filter set.
  • the BRIR parameterization unit 300 may additionally receive a control parameter and generate a parameter based on the input control parameter.
  • the VOFF parameterization unit 320 generates truncated subband filter coefficients necessary for frequency domain variable order filtering (VOFF) and corresponding auxiliary parameters. For example, the VOFF parameterization unit 320 calculates frequency band reverberation time information, filter order information, etc. for generating the truncated subband filter coefficients, and performs a fast Fourier transform in block units on the truncated subband filter coefficients. Determine the size of the block to perform. Some parameters generated by the VOFF parameterization unit 320 may be transferred to the late reverberation parameterization unit 360 and the QTDL parameterization unit 380.
  • VOFF frequency domain variable order filtering
  • the transmitted parameter is not limited to the final output value of the VOFF parameterization unit 320, and may include parameters generated in the middle according to the processing of the VOFF parameterization unit 320, for example, a truncated BRIR filter coefficient in the time domain. have.
  • the late reverberation parameterization unit 360 generates a parameter necessary for generating late reverberation.
  • the late reverberation parameterization unit 360 may generate downmix subband filter coefficients, IC values, and the like.
  • the QTDL parameterization unit 380 generates a parameter for QTDL processing. More specifically, the QTDL parameterization unit 380 receives the subband filter coefficients from the VOFF parameterization unit 320 and generates delay information and gain information in each subband using the subband filter coefficients.
  • the QTDL parameterization unit 380 may receive the information (Kproc) of the maximum frequency band to perform binaural rendering and the information (Kconv) of the frequency band to perform convolution as control parameters, and receive Kproc and Kconv. Delay information and gain information can be generated for each frequency band of the subband group serving as a boundary. According to an embodiment, the QTDL parameterization unit 380 may be provided in a configuration included in the VOFF parameterization unit 320.
  • Parameters generated by the VOFF parameterization unit 320, the late reverberation parameterization unit 360, and the QTDL parameterization unit 380 are transmitted to a binaural rendering unit (not shown).
  • the late reverberation parameterization unit 360 and the QTDL parameterization unit 380 may determine whether to generate parameters according to whether late reverberation processing and QTDL processing are performed in the binaural rendering unit, respectively. If at least one of the late reverberation processing and the QTDL processing is not performed in the binaural rendering unit, the corresponding late reverberation parameterization unit 360 and the QTDL parameterization unit 380 do not generate the parameter or generate the generated parameter. It may not be sent to the binaural rendering unit.
  • the VOFF parameterization unit 320 may include a propagation time calculator 322, a QMF converter 324, and a VOFF parameter generator 330.
  • the VOFF parameterization unit 320 performs a process of generating truncated subband filter coefficients for VOFF processing using the received time domain BRIR filter coefficients.
  • the propagation time calculator 322 calculates propagation time information of the time domain BRIR filter coefficients and cuts the time domain BRIR filter coefficients based on the calculated propagation time information.
  • the propagation time information represents the time from the initial sample of the BRIR filter coefficients to the direct sound.
  • the propagation time calculator 322 may cut a portion corresponding to the calculated propagation time from the time domain BRIR filter coefficients and remove the same.
  • the propagation time may be estimated based on the first point information at which an energy value larger than a threshold value proportional to the maximum peak value of the BRIR filter coefficients appears.
  • the propagation time may be different for each channel.
  • the propagation time truncation length of all channels must be the same.
  • the probability of error occurrence in an individual channel can be reduced.
  • the frame energy E (k) for the frame unit index k may be defined first.
  • the frame energy E (k) in the k-th frame may be calculated by the following equation.
  • N BRIR represents the total number of filters in the BRIR filter set
  • N hop represents a preset hop size
  • L frm represents a frame size. That is, the frame energy E (k) may be calculated as an average value of the frame energy of each channel for the same time domain.
  • the propagation time pt may be calculated by the following equation.
  • the propagation time calculation unit 322 shifts by a predetermined hop unit, measures the frame energy, and identifies the first frame in which the frame energy is larger than the preset threshold. At this time, the propagation time may be determined as an intermediate point of the identified first frame.
  • the threshold value is illustrated as being set to a value 60 dB lower than the maximum frame energy, but the present invention is not limited thereto, and the threshold value is a value proportional to the maximum frame energy or a predetermined difference from the maximum frame energy. It can be set to a value having.
  • the hop size N hop and the frame size L frm may vary based on whether the input BRIR filter coefficients are Head Related Impulse Response (HRIR) filter coefficients.
  • the information flag_HRIR indicating whether the input BRIR filter coefficients are HRIR filter coefficients may be received from the outside, or may be estimated using the length of the time domain BRIR filter coefficients.
  • the boundary between the early reflection part and the late reverberation part is known as 80ms.
  • the propagation time calculator 322 may cut the time domain BRIR filter coefficients based on the calculated propagation time information, and transfer the truncated BRIR filter coefficients to the QMF converter 324.
  • the truncated BRIR filter coefficients indicate the filter coefficients remaining after cutting and removing a portion corresponding to the propagation time from the original BRIR filter coefficients.
  • the propagation time calculator 322 cuts the time-domain BRIR filter coefficients for each input channel and each output left / right channel, and transmits them to the QMF converter 324.
  • the QMF conversion unit 324 performs conversion between the time domain and the QMF domain of the input BRIR filter coefficients. That is, the QMF converter 324 receives the truncated BRIR filter coefficients in the time domain and converts them into a plurality of subband filter coefficients respectively corresponding to the plurality of frequency bands. The converted subband filter coefficients are transferred to the VOFF parameter generator 330, and the VOFF parameter generator 330 generates truncated subband filter coefficients using the received subband filter coefficients. If QMF domain BRIR filter coefficients other than the time domain BRIR filter coefficients are received as inputs to the VOFF parameterization unit 320, the input QMF domain BRIR filter coefficients may bypass the QMF converter 324. . According to another exemplary embodiment, when the input filter coefficients are QMF domain BRIR filter coefficients, the QMF converter 324 may be omitted from the VOFF parameterization unit 320.
  • the VOFF parameter generator 330 may include a reverberation time calculator 332, a filter order determiner 334, and a VOFF filter coefficient generator 336.
  • the VOFF parameter generator 330 may receive the subband filter coefficients of the QMF domain from the QMF converter 324 of FIG. 11.
  • control parameters such as maximum frequency band information Kproc for performing binaural rendering, frequency band information Kconv for performing convolution, and preset maximum FFT size information may be input to the VOFF parameter generator 330. Can be.
  • the reverberation time calculator 332 obtains reverberation time information by using the received subband filter coefficients.
  • the obtained reverberation time information is transmitted to the filter order determiner 334 and used to determine the filter order of the corresponding subband.
  • the reverberation time information may have a bias or a deviation depending on the measurement environment, a uniform value may be used by using a correlation with other channels.
  • the reverberation time calculator 332 generates average reverberation time information of each subband, and transmits the average reverberation time information to the filter order determiner 334.
  • Average reverberation time information RT k of subband k when reverberation time information of subband filter coefficients for input channel index m, output left / right channel index i, subband index k is RT (k, m, i) Can be calculated through the following equation.
  • N BRIR is the total number of filters in the BRIR filter set.
  • the reverberation time calculator 332 extracts reverberation time information RT (k, m, i) from each subband filter coefficient corresponding to the multichannel input, and extracts reverberation time information RT for each channel extracted for the same subband. Obtain an average value of (k, m, i) (ie, average reverberation time information RT k ). The obtained average reverberation time information RT k is transmitted to the filter order determiner 334, and the filter order determiner 334 may determine one filter order applied to the corresponding subband.
  • the obtained average reverberation time information may include RT20, and other reverberation time information, for example, RT30, RT60, may be obtained according to an embodiment.
  • the reverberation time calculating unit 332 determines the filter order as the representative reverberation time information of the corresponding subband as the maximum and / or minimum value of the reverberation time information for each channel extracted for the same subband. May be passed to the unit 334.
  • the filter order determiner 334 determines the filter order of the corresponding subband based on the obtained reverberation time information.
  • the reverberation time information obtained by the filter order determiner 334 may be average reverberation time information of the corresponding subband, and may be representative of the maximum and / or minimum values of the reverberation time information for each channel, according to an exemplary embodiment. It may also be reverberation time information.
  • the filter order is used to determine the length of truncated subband filter coefficients for binaural rendering of the corresponding subband.
  • the filter order information N Filter [k] of the corresponding subband may be obtained through the following equation.
  • the filter order information may be determined as a power of 2, which is an approximation of an approximated integer value of an integer unit of a log scale of average reverberation time information of a corresponding subband.
  • the filter order information may be determined as a power of 2 rounded up, rounded up, or rounded down to average log reverberation time information of the subband. If the original length of the corresponding subband filter coefficients, that is, the length up to the last time slot n end is smaller than the value determined in Equation 7, the filter order information is set to the original length value n end of the subband filter coefficients. Can be replaced. That is, the filter order information may be determined as a smaller value between the reference truncation length determined by Equation 7 and the original length of the subband filter coefficients.
  • the filter order determiner 334 may obtain filter order information using a polynomial curve fitting method. To this end, the filter order determiner 334 may obtain at least one coefficient for curve fitting of average reverberation time information. For example, the filter order determiner 334 may curve-fit the average reverberation time information for each subband to a logarithmic linear equation, and obtain the slope value a and the intercept value b of the linear equation.
  • Curve-fit filter order information N ' Filter [k] in subband k may be obtained through the following equation using the obtained coefficient.
  • the curve-fitted filter order information may be determined as a power of 2, which is an approximation of an integer unit of the polynomial curve-fitted value of the average reverberation time information of the corresponding subband.
  • the curve-fitted filter order information may be determined as a power of 2 rounded up, rounded up, or rounded down to the polynomial curve-fitted value of the average reverberation time information of the corresponding subband. .
  • the filter order information is the original length value n end of the subband filter coefficient. Can be replaced. That is, the filter order information may be determined as a smaller value between the reference truncation length determined by Equation 8 and the original length of the subband filter coefficients.
  • the filter order information using any one of Equations 7 and 8 above. Can be obtained.
  • the filter order information may be determined as a value that is not curve-fitted according to Equation (7). That is, the filter order information may be determined based on the average reverberation time information of the corresponding subband without performing curve fitting. This is because HRIR is not affected by room, so the tendency to energy decay is not apparent.
  • Filter order information of each subband determined according to the above-described embodiment is transferred to the VOFF filter coefficient generator 336.
  • the VOFF filter coefficient generator 336 generates the truncated subband filter coefficients based on the obtained filter order information.
  • the truncated subband filter coefficients may include at least one fast Fourier transform (FFT) performed on a predetermined block basis for block-wise fast convolution. It may consist of FFT filter coefficients.
  • FFT fast Fourier transform
  • the VOFF filter coefficient generator 336 may generate the FFT filter coefficients for block-wise high-speed convolution as described below with reference to FIG. 14.
  • the QTDL parameterization unit 380 may include a peak search unit 382 and a gain generator 384.
  • the QTDL parameterization unit 380 may receive the subband filter coefficients of the QMF domain from the VOFF parameterization unit 320.
  • the QTDL parameterization unit 380 may receive the maximum frequency band information Kproc for binaural rendering and the frequency band information Kconv for convolution as control parameters, and receive Kproc and Kconv. Delay information and gain information can be generated for each frequency band of a subband group (second subband group) serving as a boundary.
  • the BRIR subband filter coefficients for the input channel index m, the output left and right channel index i, the subband index k, and the time slot index n of the QMF domain are determined.
  • Delay information And gain information Can be obtained as follows.
  • n end represents the last time slot of the corresponding subband filter coefficients.
  • the delay information may indicate information of a time slot in which the size of the corresponding BRIR subband filter coefficient is maximum, which indicates position information of the maximum peak of the corresponding BRIR subband filter coefficient.
  • the gain information may be determined by multiplying the total power value of the corresponding BRIR subband filter coefficients by the sign of the BRIR subband filter coefficients at the maximum peak position.
  • the peak search unit 382 obtains the position of the maximum peak in each subband filter coefficient of the second subband group, that is, delay information, based on Equation (7).
  • the gain generator 384 obtains gain information for each subband filter coefficient based on Equation (8). Equations 7 and 8 show an example of an equation for obtaining delay information and gain information, but a specific form of the equation for calculating each information may be variously modified.
  • fast convolution of a predetermined block unit may be performed for optimal binaural rendering in terms of efficiency and performance.
  • High-speed convolution based on FFT reduces the amount of computation as the FFT size increases, but increases the overall processing delay and increases the memory usage. If a high-speed convolution of a BRIR with a length of 1 second with an FFT size that is twice the length is effective, it is efficient in terms of throughput but a delay of 1 second is generated and corresponding buffer and processing memory. You will need An audio signal processing method having a long delay time is not suitable for an application for real time data processing. Since the minimum unit capable of performing decoding in the audio signal processing apparatus is a frame, it is preferable that binaural rendering also performs fast convolution of a block unit in a size corresponding to the frame unit.
  • the circular FIR filter is converted into K subband filters, and Fk and Pk are truncated subband filters (front subband filters) and rear subbands of subband k, respectively. Indicates a filter.
  • Each subband Band 0 to Band K-1 may represent a subband in the frequency domain, that is, a QMF subband.
  • the QMF domain may use 64 subbands in total, but the present invention is not limited thereto.
  • N represents the length (number of taps) of the original subband filter
  • N Filter [k] represents the length of the front subband filter of subband k.
  • the plurality of subbands of the QMF domain includes a first subband group Zone 1 of a low frequency and a second subband group of a high frequency based on a preset frequency band QMF band i. Can be classified as (Zone 2).
  • the plurality of subbands may be divided into three subband groups, that is, the first subband group Zone 1 and the second, based on a preset first frequency band QMF band i and a second frequency band QMF band j.
  • the subband group Zone 2 and the third subband group Zone 3 may be classified.
  • VOFF processing using fast convolution on a block basis may be performed on the input subband signals of the first subband group, and QTDL processing may be performed on the input subband signals of the second subband group.
  • the subband signals of the third subband group may not be rendered.
  • late reverberation processing may be additionally performed on the input subband signals of the first subband group.
  • the VOFF filter coefficient generator 336 of the present invention may generate FFT filter coefficients by performing fast Fourier transform on the truncated subband filter coefficients in predetermined block units in the corresponding subband.
  • the length N FFT [k] of the preset block in each subband k is determined based on the preset maximum FFT size 2L. More specifically, the length N FFT [k] of the predetermined block in the subband k may be represented by the following equation.
  • 2L is a preset maximum FFT size and N Filter [k] is filter order information of subband k.
  • the length NFFT [k] of the preset block is twice the length of the reference filter of the truncated subband filter coefficient ( ) And a smaller value among the preset maximum FFT size 2L.
  • the reference filter length represents either a true value or an approximation of a power of 2 of the filter order N Filter [k] (that is, the length of truncated subband filter coefficients) in the corresponding subband k.
  • the filter order N Filter [k] is used as the reference filter length in subband k, and if it is not a power of 2 (eg, n end )
  • the rounded, rounded, or rounded down power of the filter order N Filter [k] is used as the reference filter length.
  • the length N FFT [k] and the reference filter length of a predetermined block Are all powers of two.
  • the length of the predetermined block of the corresponding subband N FFT [0] , N FFT [1] is determined by the maximum FFT size (2L), respectively.
  • the length N FFT [5] of the predetermined block of the corresponding subband is determined. Is twice the length of the filter Is determined.
  • the length N FFT [k] of the block for the fast Fourier transform is It may be determined based on a comparison result between the double value and the preset maximum FFT size (2L).
  • the VOFF filter coefficient generator 336 performs fast Fourier transform on the subband filter coefficients truncated in the determined block unit. More specifically, the VOFF filter coefficient generator 336 divides the truncated subband filter coefficients in units of half (N FFT [k] / 2) units of the predetermined block. An area of a dotted line boundary of the VOFF processing part illustrated in FIG. 14 represents subband filter coefficients divided into half units of a preset block. Next, the BRIR parameterization unit generates temporary filter coefficients of a predetermined block unit N FFT [k] by using each divided filter coefficient.
  • the first half of the temporary filter coefficients is composed of the divided filter coefficients, and the second half is composed of zero-padded values.
  • a temporary filter coefficient of a predetermined block length N FFT [k] is generated using a filter coefficient of half length (N FFT [k] / 2) of the preset block.
  • the BRIR parameterization unit performs fast Fourier transform on the generated temporary filter coefficients to generate FFT filter coefficients.
  • the FFT filter coefficients generated as described above may be used for fast convolution of a predetermined block unit for the input audio signal.
  • the VOFF filter coefficient generator 336 generates FFT filter coefficients by performing fast Fourier transform on the truncated subband filter coefficients in blocks of lengths independently determined for each subband. can do. Accordingly, fast convolution using different numbers of blocks for each subband may be performed. At this time, the number N blk [k] of the blocks in the subband k may satisfy the following equation.
  • N blk (k) is a natural number.
  • the number N blk [k] of the blocks in the subband k may be determined as a value obtained by dividing a value twice the length of the reference filter in the corresponding subband by the length N FFT [k] of the predetermined block.
  • the above-described process of generating FFT filter coefficients in units of blocks may be limitedly performed on the front subband filters Fk of the first subband group.
  • the late reverberation processing may be performed by the late reverberation generating unit for the subband signals of the first subband group according to the embodiment.
  • late reverberation processing on the input audio signal may be performed based on whether the length of the circular BRIR filter coefficient exceeds a preset value. As described above, whether the length of the circular BRIR filter coefficients exceeds a preset value may be indicated through a flag indicating that (eg, flag_BRIR).
  • VOFF processing may be performed on each subband signal of the first subband group.
  • the energy compensation may be performed by dividing the filter power up to the cutting point and multiplying the total filter power of the corresponding subband filter coefficients by the filter coefficient before the cutting point based on the filter order information N Filter [k]. .
  • the total filter power may be defined as the sum of the powers for the filter coefficients from the initial sample to the last sample n end of the corresponding subband filter coefficients.
  • the filter order of each subband filter coefficient may be set differently for each channel.
  • the filter order for front channels where the input signal contains more energy may be set higher than the filter order for rear channels containing relatively less energy.
  • the resolution reflected after the binaural rendering of the front channel may be increased, and the rendering may be performed on the rear channel with a low calculation amount.
  • the division of the front channel and the rear channel is not limited to a channel name assigned to each channel of the multi-channel input signal, and each channel may be classified into a front channel and a rear channel based on a predetermined spatial reference.
  • each channel of the multi-channel may be classified into three or more channel groups based on a predetermined spatial criterion, and different filter orders may be used for each channel group.
  • different weighted values may be used based on position information of the corresponding channel in the virtual reproduction space.
  • the present invention can be applied to a multimedia signal processing apparatus including various types of audio signal processing apparatuses and video signal processing apparatuses.
  • the present invention can be applied to a parameterization device for generating a parameter used in the processing of the audio signal processing device and the video signal device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 오디오 신호 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 오브젝트 신호와 채널 신호를 합성하고 이를 효과적으로 바이노럴 렌더링할 수 있는 오디오 신호 처리 방법 및 장치에 관한 것이다. 이를 위해 본 발명은, 멀티채널 신호를 포함하는 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하는 단계, 상기 절단된 서브밴드 필터 계수는 상기 입력 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 잔향 시간 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정됨; 상기 입력 오디오 신호의 각 채널에 대응하는 상기 BRIR 필터 계수를 지시하는 벡터 정보를 획득하는 단계; 및 상기 벡터 정보에 기초하여, 상기 멀티채널 신호의 각 서브밴드 신호를 해당 채널 및 서브밴드에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 필터링 하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법 및 이를 이용한 오디오 신호 처리 장치를 제공한다.

Description

오디오 신호 처리 방법 및 장치
본 발명은 오디오 신호 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 오브젝트 신호와 채널 신호를 합성하고 이를 효과적으로 바이노럴 렌더링할 수 있는 오디오 신호 처리 방법 및 장치에 관한 것이다.
3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면(2D) 상의 사운드 장면에 높이 방향에 해당하는 또 다른 축을 제공함으로써, 3차원 공간상에서 임장감 있는 사운드를 제공하기 위한 일련의 신호 처리, 전송, 부호화 및 재생기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 요구된다.
3D 오디오는 초고해상도 TV(UHDTV)에 대응되는 오디오 솔루션이 될 것으로 예상되며, 고품질 인포테인먼트 공간으로 진화하고 있는 차량에서의 사운드를 비롯하여 그밖에 극장 사운드, 개인용 3DTV, 태블릿, 스마트폰 및 클라우드 게임 등 다양한 분야에서 응용될 것으로 예상된다.
한편, 3D 오디오에 제공되는 음원의 형태로는 채널 기반의 신호와 오브젝트 기반의 신호가 존재할 수 있다. 이 뿐만 아니라, 채널 기반의 신호와 오브젝트 기반의 신호가 혼합된 형태의 음원이 존재할 수 있으며, 이를 통해 유저로 하여금 새로운 형태의 청취 경험을 제공할 수 있다.
한편, 오디오 신호 처리 장치에서 채널 기반 신호를 처리하기 위한 채널 렌더러와 오브젝트 기반 신호를 처리하기 위한 오브젝트 렌더러 간에는 성능 차이가 존재할 수 있다. 이를테면, 오디오 신호 처리 장치의 바이노럴 렌더링은 채널 기반 신호를 중심으로 구현될 수 있다. 이때, 오디오 신호 처리 장치의 입력으로 채널 기반 신호와 오브젝트 기반 신호가 혼합된 사운드 신(sound scene)이 수신될 경우, 바이노럴 렌더링을 통해 해당 사운드 신이 의도한 대로 재생되지 못할 수 있다. 따라서, 채널 렌더러와 오브젝트 렌더러 간의 성능 차이로 인해 발생할 수 있는 여러가지 문제점을 해결할 필요가 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 바이노럴 렌더러가 제공 가능한 공간 해상도에 대응하는 오브젝트 렌더러와 채널 렌더러를 구현함으로써, 바이노럴 렌더러가 가진 성능에 부합되는 출력 신호를 만들 수 있는 오디오 신호 처리 방법 및 장치를 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 멀티채널 혹은 멀티오브젝트 신호를 스테레오로 재생함에 있어서, 원신호와 같은 입체감을 보존하기 위한 바이노럴 렌더링에서 많은 연산량을 필요로 하는 필터링 과정을 음질 손실을 최소화하면서도 매우 낮은 연산량으로 구현하기 위한 목적을 가지고 있다.
또한, 본 발명은 입력 신호 자체에 왜곡이 있는 경우 고품질 필터를 통해 왜곡의 확산이 발생하는 것을 최소화하고자 하는 목적을 가지고 있다.
또한, 본 발명은 매우 긴 길이를 갖는 FIR(Finite Impulse Response) 필터를 더 작은 길이의 필터로 구현하고자 하는 목적을 가지고 있다.
또한, 본 발명은 축약된 FIR 필터를 이용한 필터링의 수행시, 누락된 필터 계수에 의해 손상된 부분의 왜곡을 최소화하고자 하는 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 오디오 신호 처리 방법 및 오디오 신호 처리 장치를 제공한다.
먼저 본 발명은, 멀티채널 신호를 포함하는 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하는 단계, 상기 절단된 서브밴드 필터 계수는 상기 입력 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 잔향 시간 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정됨; 상기 입력 오디오 신호의 각 채널에 대응하는 상기 BRIR 필터 계수를 지시하는 벡터 정보를 획득하는 단계; 및 상기 벡터 정보에 기초하여, 상기 멀티채널 신호의 각 서브밴드 신호를 해당 채널 및 서브밴드에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 필터링 하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 본 발명은 입력 오디오 신호에 대한 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호의 필터를 생성하기 위한 파라메터화부; 및 멀티채널 신호를 포함하는 입력 오디오 신호를 수신하고, 상기 파라메터화부에서 생성된 파라메터를 이용하여 상기 입력 오디오 신호를 필터링하는 바이노럴 렌더링 유닛을 포함하되, 상기 바이노럴 렌더링 유닛은, 상기 파라메터화부로부터 상기 입력 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하되, 상기 절단된 서브밴드 필터 계수는 상기 입력 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 잔향 시간 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정되고, 상기 입력 오디오 신호의 각 채널에 대응하는 상기 BRIR 필터 계수를 지시하는 벡터 정보를 획득하고, 상기 벡터 정보에 기초하여, 상기 멀티채널 신호의 각 서브밴드 신호를 해당 채널 및 서브밴드에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 필터링 하는, 오디오 신호 처리 장치를 제공한다..
이때, 상기 벡터 정보는, 상기 입력 오디오 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재할 경우, 해당 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시하는 것을 특징으로 한다.
또한, 상기 벡터 정보는, 상기 입력 오디오 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재하지 않을 경우, 상기 특정 채널의 위치 정보와 최소의 기하학적 거리를 갖는 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시하는 것을 특징으로 한다.
이때, 상기 기하학적 거리는 두 위치간의 고도 편차의 절대값과 방위각 편차의 절대값을 합산한 값인 것을 특징으로 한다.
본 발명의 실시예에 따르면, 적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다른 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 채널 신호 및 오브젝트 신호 중 적어도 하나를 포함하는 오디오 신호의 비트스트림을 수신하는 단계; 상기 비트스트림에 포함된 각 오디오 신호를 복호화 하는 단계; 상기 오디오 신호의 바이노럴 렌더링을 위한 BRIR(Binaural Room Impulse Response) 필터 셋에 대응하는 가상 레이아웃 정보를 수신하는 단계, 상기 가상 레이아웃 정보는 상기 BRIR 필터 셋에 기초하여 결정된 타겟 채널들의 정보를 포함함; 상기 수신된 가상 레이아웃 정보에 기초하여 상기 복호화된 각 오디오 신호를 상기 타겟 채널의 신호로 렌더링하는 단계; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 오디오 신호 처리 장치로서, 채널 신호 및 오브젝트 신호 중 적어도 하나를 포함하는 오디오 신호의 비트스트림을 수신하고, 상기 비트스트림에 포함된 각 오디오 신호를 복호화 하는 코어 디코더; 및 상기 오디오 신호의 바이노럴 렌더링을 위한 BRIR(Binaural Room Impulse Response) 필터 셋에 대응하는 가상 레이아웃 정보를 수신하되, 상기 가상 레이아웃 정보는 상기 BRIR 필터 셋에 기초하여 결정된 타겟 채널들의 정보를 포함하고, 상기 수신된 가상 레이아웃 정보에 기초하여 상기 복호화된 각 오디오 신호를 상기 타겟 채널의 신호로 렌더링하는 렌더러; 를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치를 제공한다.
이때, 상기 가상 레이아웃 정보에 대응하는 위치 셋은 상기 BRIR 필터 셋에 대응하는 위치 셋의 서브 셋이며, 상기 가상 레이아웃 정보의 위치 셋은 상기 각 타겟 채널들의 위치 정보를 나타내는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 BRIR 필터 셋은 상기 바이노럴 렌더링을 수행하는 바이노럴 렌더러로부터 수신되는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 상기 타겟 채널의 신호로 렌더링된 각 오디오 신호를 각 타겟 채널 별로 믹싱하여 상기 타겟 채널 별 출력 신호를 생성하는 믹서를 더 포함한다.
또한, 상기 믹싱된 타겟 채널 별 출력 신호를 해당 타겟 채널에 대응하는 상기 BRIR 필터 셋의 BRIR 필터 계수를 이용하여 바이노럴 렌더링하는 바이노럴 렌더러를 더 포함한다.
이때, 상기 바이노럴 렌더러는, 상기 BRIR 필터 계수를 복수의 서브밴드 필터 계수들로 변환하고, 상기 각 서브밴드 필터 계수를 해당 서브밴드 필터 계수에서 추출된 잔향 시간 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 절단하되, 적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다르고, 상기 믹싱된 타겟 채널 별 출력 신호의 각 서브밴드 신호를 해당 채널 및 서브밴드에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 필터링 하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 바이노럴 렌더러에서 보유한 데이터 셋에 기초한 채널 및 오브젝트 렌더링을 수행함으로, 효과적인 바이노럴 렌더링을 구현할 수 있다.
또한, 채널 수보다 더 많은 데이터 셋을 가진 바이노럴 렌더러를 이용하는 경우 더욱 향상된 음질을 제공하는 객체 렌더링을 구현할 수 있다.
또한 본 발명의 실시예에 따르면, 멀티채널 혹은 멀티오브젝트 신호에 대한 바이노럴 렌더링의 수행시 음질 손실을 최소화 하면서 연산량을 획기적으로 낮출 수 있다.
또한, 기존에 저전력 장치에서 실시간 처리가 불가능했던 멀티채널 혹은 멀티오브젝트 오디오 신호에 대한 고음질의 바이노럴 렌더링이 가능하도록 한다.
본 발명은 오디오 신호를 포함한 다양한 형태의 멀티미디어 신호의 필터링을 낮은 연산량으로 효율적으로 수행하는 방법을 제공한다.
도 1은 본 발명의 실시예에 따른 오디오 인코더 및 오디오 디코더를 포함하는 전체 오디오 신호 처리 시스템을 나타낸 구성도.
도 2는 멀티채널 오디오 시스템의 일 실시예에 따른 멀티 채널 스피커의 배치를 나타낸 구성도.
도 3은 청취 공간상에서 3차원의 사운드 장면을 구성하는 각 사운드 오브젝트들의 위치를 개략적으로 나타낸 도면.
도 4는 본 발명의 실시예에 따른 오디오 신호 디코더를 나타낸 블록도.
도 5는 본 발명의 추가적인 실시예에 따른 오디오 디코더를 나타낸 블록도.
도 6은 예외 오브젝트에 대한 렌더링을 수행하는 본 발명의 일 실시예를 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 바이노럴 렌더러의 각 구성을 나타낸 블록도.
도 8은 본 발명의 실시예에 따른 바이노럴 렌더링을 위한 필터 생성 방법을 나타낸 도면.
도 9는 본 발명의 실시예에 따른 QTDL 프로세싱을 상세하게 나타낸 도면.
도 10은 본 발명의 BRIR 파라메터화부의 각 구성을 나타낸 블록도.
도 11은 본 발명의 VOFF 파라메터화부의 각 구성을 나타낸 블록도.
도 12는 본 발명의 VOFF 파라메터 생성부의 세부 구성을 나타낸 블록도.
도 13은 본 발명의 QTDL 파라메터화부의 각 구성을 나타낸 블록도.
도 14는 블록 단위의 고속 콘볼루션을 위한 FFT 필터 계수 생성 방법의 일 실시예를 나타낸 도면.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 오디오 인코더 및 오디오 디코더를 포함하는 전체 오디오 신호 처리 시스템을 나타낸 구성도이다.
도 1에 따르면 오디오 인코더(1100)는 입력 사운드 장면(sound scene)을 부호화하여 비트스트림을 생성한다. 오디오 디코더(1200)는 생성된 비트스트림을 수신할 수 있으며, 본 발명의 실시예에 따른 오디오 신호 처리 방법을 이용하여 해당 비트스트림을 디코딩 및 렌더링하여 출력 사운드 장면을 생성한다. 본 명세서에서 오디오 신호 처리 장치는 협의의 의미로는 오디오 디코더(1200)를 가리킬 수 있으나, 이에 한정하지 않으며 오디오 디코더(1200)에 포함된 세부 구성을 가리킬 수도 있고, 오디오 인코더(1100) 및 오디오 디코더(1200)를 포함하는 전체 오디오 신호 처리 시스템을 가리킬 수도 있다.
도 2는 멀티채널 오디오 시스템의 일 실시예에 따른 멀티채널 스피커의 배치(configuration)를 나타낸 구성도이다.
멀티채널 오디오 시스템에서는 임장감(presence)을 높이기 위해 복수의 스피커 채널이 사용될 수 있으며, 특히 3차원 공간상에서의 임장감을 제공하기 위해 너비, 깊이 및 높이 방향으로 복수의 스피커가 배치될 수 있다. 도 2는 일 실시예로써 22.2 채널의 스피커 배치를 도시하고 있으나, 본 발명은 특정 채널 수 또는 특정 스피커의 배치에 한정되지 않는다. 도 2를 참조하면, 22.2 채널의 스피커 셋은 상부 레이어(top layer), 중간 레이어(middle layer) 및 하부 레이어(bottom layer)의 3개의 레이어로 구성될 수 있다. TV 스크린의 위치를 전면이라고 할 때, 상부 레이어에는 전면에 3개, 중간 위치에 3개, 서라운드 위치에 3개가 배치되어 총 9개의 스피커가 배치될 수 있다. 또한, 중간 레이어에는 전면에 5개, 중간 위치에 2개, 서라운드 위치에 3개가 배치되어 총 10개의 스피커가 배치될 수 있다. 한편, 하부 레이어에는 전면에 3개의 스피커가 배치되고, 2개의 LFE 채널 스피커가 구비될 수 있다.
이와 같이 최대 수십 개의 채널에 이르는 멀티채널 신호를 전송 및 재생하기 위해서는 높은 연산량이 요구된다. 또한, 통신 환경 등을 고려할 때, 해당 신호에 대한 높은 압축률이 요구될 수 있다. 뿐만 아니라, 일반 가정에서는 22.2 채널과 같은 멀티채널 스피커 시스템을 구비하는 유저는 극히 드물고, 2 채널 또는 5.1 채널 셋업을 갖는 시스템이 구비되는 경우가 많다. 따라서, 모든 유저에게 공통적으로 전송되는 신호가 멀티채널을 각각 인코딩한 신호인 경우, 해당 멀티채널 신호를 다시 2 채널 또는 5.1 채널에 대응하도록 변환하는 과정이 필요하다. 이에 따라, 통신적인 비효율이 발생할 뿐만 아니라, 22.2 채널의 PCM(Pulse Code Modulationi) 신호를 저장해야 하므로 메모리 관리에 있어서도 비효율적인 문제가 발생할 수 있다.
도 3은 청취 공간상에서 3차원의 사운드 장면을 구성하는 각 사운드 오브젝트들의 위치를 개략적으로 나타내고 있다.
도 3에 도시된 바와 같이, 청자(52)가 3D 오디오를 청취하는 청취 공간(50) 상에서 3차원의 사운드 장면을 구성하는 각 사운드 오브젝트(51)들의 위치는 점 소스(point source) 형태로 다양한 위치에 분포될 수 있다. 뿐만 아니라, 사운드 장면에는 점 소스 이외에도 평면파(plain wave) 형태의 음원이나, 앰비언트(ambient) 음원 등이 포함될 수 있다. 이와 같이 3차원 공간상에 다양하게 분포 되어 있는 오브젝트 및 음원들을 청자(52)에게 명확하게 제공하기 위해서는 효율적인 렌더링 방법이 필요하다.
도 4는 본 발명의 실시예에 따른 오디오 디코더를 나타낸 블록도이다. 본 발명의 오디오 디코더(1200)는 코어 디코더(10), 렌더링 유닛(20), 믹서(30), 및 포스트 프로세싱 유닛(40)을 포함한다.
먼저, 코어 디코더(10)는 수신된 비트스트림을 복호화하여 렌더링 유닛(20)으로 전달한다. 이때, 코어 디코더(10)에서 출력되어 렌더링 유닛으로 전달되는 신호에는 라우드스피커(loudspeaker) 채널 신호(411), 오브젝트 신호(412), SAOC 채널 신호(414), HOA 신호(415) 및 오브젝트 메타데이터 비트스트림(413) 등이 포함될 수 있다. 코어 디코더(10)에는 인코더에서 부호화시에 사용된 코어 코덱이 사용될 수 있는데, 이를테면, MP3, AAC, AC3 또는 USAC(Unified Speech and Audio Coding) 기반의 코덱이 사용될 수 있다.
한편, 수신된 비트스트림에는 코어 디코더(10)에서 복호화되는 신호가 채널 신호인지, 오브젝트 신호인지 또는 HOA 신호인지 등을 식별할 수 있는 식별자가 더 포함될 수 있다. 또한, 복호화되는 신호가 채널 신호(411)일 경우, 각 신호가 멀티채널 내의 어느 채널 (이를테면 left speaker 대응, top rear right speaker 대응 등)에 대응되는지를 식별할 수 있는 식별자가 비트스트림에 더 포함될 수 있다. 복호화되는 신호가 오브젝트 신호(412)일 경우, 오브젝트 메타데이터 비트스트림(413)을 복호화하여 획득되는 오브젝트 메타데이터 정보(425a, 425b) 등과 같이, 해당 신호가 재생 공간의 어느 위치에 재생되는지를 나타내는 정보가 추가로 획득될 수 있다.
본 발명의 실시예에 따르면, 오디오 디코더는 유연한 렌더링(flexible rendering)을 수행하여 출력 오디오 신호의 품질을 높일 수 있다. 유연한 렌더링이란 실제 재생 환경의 라우드스피커 배치(재생 레이아웃) 또는 BRIR(Binaural Room Impulse Response) 필터 셋의 가상 스피커 배치(가상 레이아웃)에 기초하여, 복호화된 오디오 신호의 포맷을 변환하는 과정을 의미할 수 있다. 일반적으로, 실제 거실 환경에 배치된 스피커는 규격(standard) 권고안 대비 방향각과 거리 등이 모두 달라지게 된다. 스피커의 높이, 방향, 청자와의 거리 등이 규격 권고안에 따른 스피커 배치와 상이하게 됨에 따라, 변경된 스피커의 위치에서 원래 신호를 재생할 경우 이상적인 3D 사운드 장면을 제공하기 어렵게 될 수 있다. 이와 같이 상이한 스피커 배치에서도 컨텐츠 제작자가 의도한 사운드 장면을 효과적으로 제공하기 위해서는, 오디오 신호를 변환하여 스피커들 간의 위치 차이에 따른 변화를 보정하는 유연한 렌더링이 필요하다.
따라서, 렌더링 유닛(20)은 코어 디코더(10)에 의해 복호화 된 신호를 재생 레이아웃(reproduction layout) 정보 또는 가상 레이아웃(virtual layout) 정보를 이용하여 타겟 출력 신호로 렌더링한다. 재생 레이아웃 정보는 타겟 채널의 배치(configuration)를 나타내며, 재생 환경의 라우드스피커 레이아웃 정보로 표현될 수 있다. 또한, 가상 레이아웃 정보는 바이노럴 렌더러(200)에서 사용되는 BRIR(Binaural Room Impulse Response) 필터 셋(set)에 기초하여 획득될 수 있는데, 가상 레이아웃에 대응하는 위치 셋(set of positions)은 BRIR 필터 셋에 대응하는 위치 셋의 서브셋(subset)으로 이루어 질 수 있다. 이때, 상기 가상 레이아웃의 위치 셋은 각 타겟 채널들의 위치 정보를 나타낸다. 렌더링 유닛(20)은 포맷 컨버터(22), 오브젝트 렌더러(24), OAM 디코더(25), SAOC 디코더(26) 및 HOA 디코더(28)를 포함할 수 있다. 렌더링 유닛(20)은 복호화 된 신호의 타입에 따라 상기 구성 중 적어도 하나를 이용하여 렌더링을 수행한다.
포맷 컨버터(22)는 채널 렌더러로도 지칭될 수 있으며, 전송된 채널 신호(411)를 출력 스피커 채널 신호로 변환한다. 즉, 포맷 컨버터(22)는 전송된 채널 배치(configuration)와 재생될 스피커 채널 배치 간의 변환을 수행한다. 만약, 출력 스피커 채널의 개수(이를테면, 5.1 채널)가 전송된 채널의 개수(이를테면, 22.2 채널)보다 적거나, 전송된 채널 배치와 재생될 채널 배치가 다를 경우, 포맷 컨버터(22)는 채널 신호(411)에 대한 다운믹스 또는 변환을 수행한다. 본 발명의 실시예에 따르면, 오디오 디코더는 입력 채널 신호와 출력 스피커 채널 신호간의 조합을 이용하여 최적의 다운믹스 매트릭스를 생성하고, 상기 매트릭스를 이용하여 다운믹스를 수행할 수 있다. 또한, 포맷 컨버터(22)가 처리하는 채널 신호(411)에는 사전-렌더링된 오브젝트 신호가 포함될 수 있다. 일 실시예에 따르면, 오디오 신호의 부호화 전에 적어도 하나의 오브젝트 신호가 사전-렌더링되어 채널 신호에 믹스(mix)될 수 있다. 이와 같이 믹스 된 오브젝트 신호는 채널 신호와 함께 포맷 컨버터(22)에 의해 출력 스피커 채널 신호로 변환될 수 있다.
오브젝트 렌더러(24) 및 SAOC 디코더(26)는 오브젝트 기반의 오디오 신호에 대한 렌더링을 수행한다. 오브젝트 기반의 오디오 신호에는 개별 오브젝트 웨이브폼과 파라메트릭 오브젝트 웨이브폼이 포함될 수 있다. 개별 오브젝트 웨이브폼의 경우, 각 오브젝트 신호들은 모노포닉(monophonic) 웨이브폼으로 인코더에 제공되며, 인코더는 단일 채널 엘리먼트들(Single Channel Elements, SCEs)을 이용하여 각 오브젝트 신호들을 전송한다. 파라메트릭 오브젝트 웨이브폼의 경우, 복수의 오브젝트 신호들이 적어도 하나의 채널 신호로 다운믹스 되며, 각 오브젝트의 특징과 이들 간의 관계가 SAOC(Spatial Audio Object Coding) 파라메터로 표현된다. 오브젝트 신호들은 다운믹스 되어 코어 코덱으로 부호화되며, 이때 생성되는 파라메트릭 정보가 함께 디코더로 전송된다.
한편, 개별 오브젝트 웨이브폼 또는 파라메트릭 오브젝트 웨이브폼이 오디오 디코더로 전송될 때, 이에 대응하는 압축된 오브젝트 메타데이터가 함께 전송될 수 있다. 오브젝트 메타데이터는 오브젝트 속성을 시간과 공간 단위로 양자화하여 3차원 공간에서의 각 오브젝트의 위치 및 이득값을 지정한다. 렌더링 유닛(20)의 OAM 디코더(25)는 압축된 오브젝트 메타데이터 비트스트림(413)을 수신하고, 이를 복호화하여 오브젝트 렌더러(24) 및/또는 SAOC 디코더(26)로 전달한다.
오브젝트 렌더러(24)는 오브젝트 메타데이터 정보(425a)를 이용하여 각 오브젝트 신호(412)를 주어진 재생 포맷에 따라 렌더링한다. 이때, 각 오브젝트 신호(412)는 오브젝트 메타데이터 정보(425a)에 기초하여 특정 출력 채널들로 렌더링될 수 있다. SAOC 디코더(26)는 SAOC 채널 신호(414)와 파라메트릭 정보로부터 오브젝트/채널 신호를 복원한다. 또한, 상기 SAOC 디코더(26)는 재생 레이아웃 정보와 오브젝트 메타데이터 정보(425b)에 기초하여 출력 오디오 신호를 생성할 수 있다. 즉, SAOC 디코더(26)는 SAOC 채널 신호(414)를 이용하여 복호화된 오브젝트 신호를 생성하고, 이를 타겟 출력 신호로 매핑하는 렌더링을 수행한다. 이와 같이 오브젝트 렌더러(24) 및 SAOC 디코더(26)는 오브젝트 신호를 채널 신호로 렌더링할 수 있다.
HOA 디코더(28)는 HOA(Higher Order Ambisonics) 신호(415) 및 HOA 부가 정보를 수신하고, 이를 복호화한다. HOA 디코더(28)는 채널 신호나 오브젝트 신호를 별도의 수학식으로 모델링하여 사운드 장면을 생성한다. 생성된 사운드 장면에서 스피커가 있는 공간상의 위치를 선택하면, 스피커 채널 신호로 렌더링이 수행될 수 있다.
한편, 도 4에는 도시되지 않았지만, 렌더링 유닛(20)의 각 구성요소로 오디오 신호가 전달될 때, 전처리 과정으로서 동적 범위 제어(Dynamic Range Control, DRC)가 수행될 수 있다. DRC는 재생되는 오디오 신호의 동적 범위를 일정 레벨로 제한하는 것으로, 기 설정된 쓰레숄드(threshold) 보다 작은 소리는 더 크게, 기 설정된 쓰레숄드 보다 큰 소리는 더 작게 조정 한다.
렌더링 유닛(20)에 의해 처리된 채널 기반의 오디오 신호 및 오브젝트 기반의 오디오 신호는 믹서(30)로 전달된다. 믹서(30)는 렌더링 유닛(20)의 각 서브 유닛에서 렌더링 된 부분 신호들을 믹싱하여 믹서 출력 신호를 생성한다. 만약 부분 신호들이 재생/가상 레이아웃 상의 동일한 위치에 매칭되는 신호일 경우에는 서로 더해지며, 동일하지 않은 위치에 매칭되는 신호일 경우에는 각각 별개의 위치에 대응되는 출력 신호로 믹싱된다. 믹서(30)는 서로 더해지는 부분 신호들 간에 상쇄 간섭이 발생하는지 여부를 판별하고, 이를 방지하기 위한 추가적인 프로세스를 더 수행할 수 있다. 또한, 믹서(30)는 채널 기반의 웨이브폼과 렌더링된 오브젝트 웨이브폼의 딜레이(delay)를 조정하고, 이를 샘플 단위로 합산한다. 이와 같이, 믹서(30)에 의해 합산된 오디오 신호는 포스트 프로세싱 유닛(40)으로 전달된다.
포스트 프로세싱 유닛(40)은 스피커 렌더러(100)와 바이노럴 렌더러(200)를 포함한다. 스피커 렌더러(100)는 믹서(30)로부터 전달된 멀티채널 및/또는 멀티오브젝트 오디오 신호를 출력하기 위한 포스트 프로세싱을 수행한다. 이러한 포스트 프로세싱에는 동적 범위 제어(DRC), 음량 정규화(Loudness Normalization, LN) 및 피크 제한(Peak Limiter, PL) 등이 포함될 수 있다. 스피커 렌더러(100)의 출력 신호는 멀티채널 오디오 시스템의 라우드스피커로 전달되어 출력될 수 있다.
바이노럴 렌더러(200)는 멀티채널 및/또는 멀티오브젝트 오디오 신호의 바이노럴 다운믹스 신호를 생성한다. 바이노럴 다운믹스 신호는 각 입력 채널/오브젝트 신호가 3차원상에 위치한 가상의 음원에 의해 표현되도록 하는 2채널의 오디오 신호이다. 바이노럴 렌더러(200)는 스피커 렌더러(100)에 공급되는 오디오 신호를 입력 신호로서 수신할 수 있다. 바이노럴 렌더링은 BRIR(Binaural Room Impulse Response) 필터를 기초로 수행되며, 시간 도메인 또는 QMF 도메인 상에서 수행될 수 있다. 실시예에 따르면, 바이노럴 렌더링의 후처리 과정으로서 전술한 동적 범위 제어(DRC), 음량 정규화(LN) 및 피크 제한(PL) 등이 추가로 수행될 수 있다. 바이노럴 렌더러(200)의 출력 신호는 헤드폰, 이어폰 등과 같은 2채널 오디오 출력 장치로 전달되어 출력될 수 있다.
<유연한 렌더링을 위한 렌더링 설정부>
도 5는 본 발명의 추가적인 실시예에 따른 오디오 디코더를 나타낸 블록도이다. 도 5의 실시예에서 도 4의 실시예와 동일한 구성에 대해서는 동일한 도면 부호가 사용되었으며, 중복되는 설명은 생략하도록 한다.
도 5를 참조하면, 오디오 디코더(1200-A)는 복호화된 오디오 신호의 렌더링을 제어하는 렌더링 설정부(21)를 더 포함할 수 있다. 렌더링 설정부(21)는 재생 레이아웃 정보(401) 및/또는 BRIR 필터 셋 정보(402)를 입력 받고, 이를 이용하여 오디오 신호의 렌더링을 위한 타겟 포맷 정보(421)를 생성한다. 일 실시예에 따르면 렌더링 설정부(21)는 실제 재생 환경의 라우드스피커 배치를 재생 레이아웃 정보(401)로 획득하고, 이에 기초하여 타겟 포맷 정보(421)를 생성할 수 있다. 이때, 타겟 포맷 정보(421)는 실제 재생 환경의 라우드스피커들의 위치(채널)를 나타내거나, 이들의 서브셋(subset) 또는 이들의 조합에 기초한 슈퍼셋(superset)을 나타낼 수 있다.
또한, 렌더링 설정부(21)는 바이노럴 렌더러(200)로부터 BRIR 필터 셋 정보(402)를 획득하고, 이를 이용하여 타겟 포맷 정보(421)를 생성할 수 있다. 이때, 타겟 포맷 정보(421)는 바이노럴 렌더러(200)의 BRIR 필터 셋이 지원하는(즉, 바이노럴 렌더링이 가능한) 타겟 위치(채널)들을 나타내거나, 이들의 서브셋 또는 이들의 조합에 기초한 슈퍼셋을 나타낼 수 있다. 본 발명의 실시예에 따르면, BRIR 필터 셋 정보(402)는 물리적인 라우드스피커의 배치를 나타내는 재생 레이아웃 정보(401)와 상이한 타겟 위치를 포함할 수 있으며, 혹은 보다 더 많은 수의 타겟 위치를 포함할 수 있다. 따라서, 재생 레이아웃 정보(401)에 기초하여 렌더링된 오디오 신호가 바이노럴 렌더러(200)에 입력되면, 렌더링된 오디오 신호의 타겟 위치와 바이노럴 렌더러(200)가 지원하는 타겟 위치 간의 차이가 발생할 수 있다. 또는, 코어 디코더(10)에서 복호화된 신호의 타겟 위치는 BRIR 필터 셋 정보(402)에 의해서는 제공되지만, 재생 레이아웃 정보(401)에 의해서는 제공되지 않을 수 있다.
그러므로 본 발명의 렌더링 설정부(21)는 최종 출력 오디오 신호가 바이노럴 신호일 경우, 바이노럴 렌더러(200)로부터 획득된 BRIR 필터 셋 정보(402)를 이용하여 타겟 포맷 정보(421)를 생성할 수 있다. 렌더링 유닛(20)은 이와 같이 생성된 타겟 포맷 정보(421)를 이용하여 오디오 신호의 렌더링을 수행함으로, 재생 레이아웃 정보(401)에 기초한 렌더링 및 바이노럴 렌더링의 2단계 프로세싱으로 인해 발생할 수 있는 음질 저하 현상을 최소화 수 있다.
한편, 렌더링 설정부(21)는 최종 출력 오디오 신호의 타입에 대한 정보를 더 획득할 수 있다. 최종 출력 오디오 신호가 라우드스피커 신호일 경우, 렌더링 설정부(21)는 재생 레이아웃 정보(401)에 기초하여 타겟 포맷 정보(421)를 생성하고 이를 렌더링 유닛(20)에 전달할 수 있다. 또한 최종 출력 오디오 신호가 바이노럴 신호일 경우, 렌더링 설정부(21)는 BRIR 필터 셋 정보(402)에 기초하여 타겟 포맷 정보(421)를 생성하고 이를 렌더링 유닛(20)에 전달할 수 있다. 본 발명의 추가적인 실시예에 따르면, 렌더링 설정부(21)는 유저가 사용 중인 오디오 시스템 또는 유저의 선택 사항을 나타내는 컨트롤 정보(403)를 더 획득할 수 있으며, 해당 컨트롤 정보(403)를 함께 이용하여 타겟 포맷 정보(421)를 생성할 수 있다.
생성된 타겟 포맷 정보(421)는 렌더링 유닛(20)에 전달된다. 렌더링 유닛(20)의 각 서브 유닛들은 렌더링 설정부(21)로부터 전달된 타겟 포맷 정보(421)를 이용하여 유연한 렌더링을 수행할 수 있다. 즉, 포맷 컨버터(22)는 복호화된 채널 신호(411)를 타겟 포맷 정보(421)에 기초하여 타겟 채널의 출력 신호로 변환한다. 마찬가지로, 오브젝트 렌더러(24) 및 SAOC 디코더(26)는 각각 오브젝트 신호(412) 및 SAOC 채널 신호(414)를 타겟 포맷 정보(421) 및 오브젝트 메타데이터 정보(425)를 이용하여 타겟 채널의 출력 신호로 변환한다. 이때, 오브젝트 신호(412)의 렌더링을 위한 믹싱 행렬은 타겟 포맷 정보(421)에 기초하여 업데이트 될 수 있으며, 오브젝트 렌더러(24)는 업데이트 된 믹싱 행렬을 이용하여 오브젝트 신호(412)를 출력 채널 신호로 렌더링 할 수 있다. 이와 같이, 렌더링은 오디오 신호를 타겟 포맷 상의 적어도 하나의 타겟 위치(즉, 타겟 채널)로 매핑하는 변환 과정으로 수행될 수 있다.
한편, 타겟 포맷 정보(421)는 믹서(30)로도 전달될 수 있으며, 렌더링 유닛(20)의 각 서브 유닛에서 렌더링 된 부분 신호들을 믹싱하는 과정에 사용될 수 있다. 만약 부분 신호들이 타겟 포맷 상의 동일한 위치에 매칭되는 신호일 경우에는 서로 더해지며, 동일하지 않은 위치에 매칭되는 신호일 경우에는 각각 별개의 위치에 대응되는 출력 신호로 믹싱될 수 있다.
본 발명의 실시예에 따르면 타겟 포맷은 다양한 방법에 따라 설정될 수 있다. 먼저, 렌더링 설정부(21)는 획득된 재생 레이아웃 정보(401) 또는 BRIR 필터 셋 정보(402) 보다 높은 공간 해상도를 갖는 타겟 포맷을 설정할 수 있다. 즉, 렌더링 설정부(21)는 재생 레이아웃 정보(401) 또는 BRIR 필터 셋 정보(402)가 나타내는 원본 타겟 위치들의 집합인 제1 타겟 위치 셋을 획득하고, 적어도 하나의 원본 타겟 위치를 조합하여 추가적인(extra) 타겟 위치들을 생성한다. 이때, 추가적인 타겟 위치들에는 복수의 원본 타겟 위치들 간의 보간(interpolation)에 의해 생성된 위치, 외삽(extrapolation)에 의해 생성된 위치 등이 포함될 수 있다. 이와 같이 생성된 추가적인 타겟 위치들의 집합으로 제2 타겟 위치 셋이 구성될 수 있다. 렌더링 설정부(21)는 제1 타겟 위치 셋과 제2 타겟 위치 셋을 포함하는 타겟 포맷을 생성하고, 해당 타겟 포맷 정보(421)를 렌더링 유닛(20)으로 전달할 수 있다.
렌더링 유닛(20)은 추가적인 타겟 위치가 포함된 고해상도의 타겟 포맷 정보(421)를 이용하여 오디오 신호에 대한 렌더링을 수행할 수 있다. 고해상도의 타겟 포맷 정보(421)를 이용하여 렌더링을 수행할 경우, 렌더링 과정의 해상도가 향상되어 연산이 용이하고 음질이 향상되는 장점이 있다. 렌더링 유닛(20)은 오디오 신호의 렌더링을 통해 타겟 포맷 정보(421)의 각 타겟 위치에 매핑되는 출력 신호를 획득할 수 있다. 만약 제2 타겟 위치 셋의 추가적인 타겟 위치로 매핑되는 출력 신호가 획득될 경우, 렌더링 유닛(20)은 해당 출력 신호를 제1 타겟 위치 셋의 원본 타겟 위치로 재 렌더링 하는 다운믹스 프로세스를 수행할 수 있다. 이때 다운믹스 프로세스는 VBAP(Vector-Based Amplitude Panning)나 진폭 패닝(Amplitude Panning) 등을 통해 구현될 수 있다.
타겟 포맷을 설정하는 다른 방법으로, 렌더링 설정부(21)는 획득된 BRIR 필터 셋 정보(402) 보다 낮은 공간 해상도를 갖는 타겟 포맷을 설정할 수 있다. 즉, 렌더링 설정부(21)는 M개의 원본 타겟 위치들의 서브셋 혹은 이의 조합을 통해 N(N<M)개의 축약된 타겟 위치들을 획득하고, 축약된 타겟 위치들로 구성된 타겟 포맷을 생성할 수 있다. 렌더링 설정부(21)는 저해상도의 해당 타겟 포맷 정보(421)를 렌더링 유닛(20)으로 전달하고, 렌더링 유닛(20)은 이를 이용하여 오디오 신호에 대한 렌더링을 수행할 수 있다. 저해상도의 타겟 포맷 정보(421)를 이용하여 렌더링을 수행할 경우, 렌더링 유닛(20)의 연산량 및 이후의 바이노럴 렌더러(200)의 연산량을 절감할 수 있다.
타겟 포맷을 설정하는 또 다른 방법으로, 렌더링 설정부(21)는 렌더링 유닛(20)의 각 서브 유닛 별로 서로 다른 타겟 포맷을 설정할 수 있다. 예를 들어, 포맷 컨버터(22)에 제공되는 타겟 포맷과 오브젝트 렌더러(24)에 제공되는 타겟 포맷은 서로 상이할 수 있다. 각 서브 유닛에 따라 서로 다른 타겟 포맷이 제공되면, 각 서브 유닛 별로 연산량을 제어하거나 음질을 향상시킬 수 있게 된다.
뿐만 아니라, 렌더링 설정부(21)는 렌더링 유닛(20)에 제공되는 타겟 포맷과 믹서(30)에 제공되는 타겟 포맷을 다르게 설정할 수도 있다. 이를테면, 렌더링 유닛(20)에 제공되는 타겟 포맷은 믹서(30)에 제공되는 타겟 포맷보다 높은 공간 해상도를 가질 수 있다. 따라서, 믹서(30)는 높은 공간 해상도를 갖는 입력 신호를 다운믹스하는 과정을 동반하도록 구현될 수 있다.
한편, 렌더링 설정부(21)는 유저의 선택, 사용되는 디바이스의 환경 또는 설정에 기초하여 타겟 포맷을 설정할 수도 있다. 렌더링 설정부(21)는 이와 같은 정보를 컨트롤 정보(403)를 통해 수신할 수 있다. 이때, 컨트롤 정보(403)는 디바이스가 제공할 수 있는 연산량 성능, 전력량 및 유저의 선택 사항 중 적어도 하나에 기초하여 가변할 수 있다.
도 4 및 도 5의 실시예에서, 렌더링 유닛(20)은 렌더링 대상 신호에 따라 서로 다른 서브 유닛을 통해 렌더링을 수행하는 것으로 도시되어 있으나, 전체 또는 일부 서브 유닛이 통합된 렌더러를 통해 구현될 수도 있다. 예를 들어, 포맷 컨버터(22)와 오브젝트 렌더러(24)는 하나의 통합된 렌더러를 통해 구현될 수 있다.
또한 본 발명의 일 실시예에 따르면, 도 5에 도시된 바와 같이 오브젝트 렌더러(24)의 출력 신호의 적어도 일부가 포맷 컨버터(22)로 입력될 수 있다. 포맷 컨버터(22)로 입력된 오브젝트 렌더러(24)의 출력 신호는 오브젝트 신호에 대한 유연한 렌더링과 채널 신호에 대한 유연한 렌더링의 성능이 다름으로 인해 양 신호 간에 발생할 수 있는 공간상의 미스매치를 해결하기 위한 정보로 이용될 수 있다. 예를 들어, 오브젝트 신호(412)와 채널 신호(411)가 동시에 입력으로 수신 되어 두 신호를 믹스한 형태의 사운드 장면을 제공하고자 할 경우, 각 신호에 대한 렌더링 프로세스가 상이하기 때문에 공간상의 미스매치에 의한 왜곡이 발생하기 쉬운 문제가 있다. 따라서 본 발명의 일 실시예에 따르면, 오브젝트 신호(412)와 채널 신호(411)가 동시에 입력으로 수신되는 경우, 오브젝트 렌더러(24)는 타겟 포맷 정보(421)에 기초한 유연한 렌더링을 별도로 수행하지 않고 출력 신호를 포맷 컨버터(22)로 전달할 수 있다. 이때, 포맷 컨버터(22)로 전달되는 오브젝트 렌더러(24)의 출력 신호는 입력된 채널 신호(411)의 채널 포맷에 대응되는 신호일 수 있다. 포맷 컨버터(22)는 오브젝트 렌더러(24)의 출력 신호를 채널 신호(411)에 믹스하고, 믹스된 신호에 대하여 타겟 포맷 정보(421)에 기초한 유연한 렌더링을 수행할 수 있다.
한편, 사용 가능한 스피커 영역 밖에 위치한 예외 오브젝트의 경우, 기존 스피커만으로는 컨텐츠 제작자의 의도에 맞는 소리를 재생하기 어려운 문제가 있다. 따라서, 예외 오브젝트가 존재하는 경우 오브젝트 렌더러(24)는 예외 오브젝트의 위치에 대응하는 가상 스피커를 생성하고, 실제 라우드스피커 정보와 가상 스피커 정보를 함께 이용하여 렌더링을 수행할 수 있다.
도 6은 예외 오브젝트에 대한 렌더링을 수행하는 본 발명의 일 실시예를 나타내고 있다. 도 6에서 601 내지 609로 표시된 실선 점들은 타겟 포맷이 지원하는 각 타겟 위치들을 나타내며, 타겟 위치들에 의해 둘러싸인 영역은 렌더링이 가능한 출력 채널 공간을 형성한다. 또한, 611 내지 613으로 표시된 파선 점들은 타겟 포맷이 지원하지 않는 가상의 위치들이며, 오브젝트 렌더러(24)에 의해 생성된 가상 스피커의 위치를 나타낼 수 있다. 한편, S1(701) 내지 S4(704)로 표시된 별표 점들은 특정 오브젝트 S가 경로(700)를 따라 이동하면서 특정 시점에 렌더링 되어야 하는 공간상의 재생 위치를 나타낸다. 상기 오브젝트의 공간상의 재생 위치는 오브젝트 메타데이터 정보(425)에 기초하여 획득될 수 있다.
도 6의 실시예에서, 오브젝트 신호는 해당 오브젝트의 재생 위치가 타겟 포맷의 타겟 위치에 매칭되는지 여부에 기초하여 렌더링될 수 있다. S2(702)와 같이 오브젝트의 재생 위치가 특정 타겟 위치(604)에 매칭되는 경우, 해당 오브젝트 신호는 상기 타겟 위치(604)에 대응하는 타겟 채널의 출력 신호로 변환된다. 즉, 오브젝트 신호는 타겟 채널과의 1:1 매핑에 의해 렌더링이 수행될 수 있다. 그러나 S1(701)와 같이 오브젝트의 재생 위치가 출력 채널 공간상에는 위치하지만 타겟 위치에 직접 매칭되지 않는 경우, 해당 오브젝트 신호는 재생 위치에 인접한 복수의 타겟 위치의 출력 신호로 분배될 수 있다. 예를 들어, S1(701)의 오브젝트 신호는 인접한 타겟 위치(601, 602 및 603)의 출력 신호로 렌더링될 수 있다. 오브젝트 신호가 2개 또는 3개의 타겟 위치로 매핑되는 경우, 해당 오브젝트 신호는 VBAP(Vector-Based Amplitude Panning) 등의 방법에 의해 각 타겟 채널의 출력 신호로 렌더링될 수 있다. 따라서, 오브젝트 신호는 복수의 타겟 채널과의 1:N 매핑에 의해 렌더링이 수행될 수 있다.
한편, S3(703) 및 S4(704)와 같이 오브젝트의 재생 위치가 타겟 포맷이 구성하는 출력 채널 공간 상에 위치하지 않는 경우, 해당 오브젝트는 별도의 프로세스를 통해 렌더링이 수행될 수 있다. 일 실시예에 따르면, 오브젝트 렌더러(24)는 해당 오브젝트를 타겟 포맷이 구성하는 출력 채널 공간 상에 투영(projection) 시키고, 투영된 위치에서 인접한 타겟 위치로의 렌더링을 수행할 수 있다. 이때, 투영된 위치에서 타겟 위치로의 렌더링은 전술한 S1(701) 또는 S2(702)의 렌더링 방법이 사용될 수 있다. 즉, S3(703) 및 S4(704)는 각각 출력 채널 공간 상의 P3 및 P4로 투영되고, 투영된 P3 및 P4의 신호는 인접한 타겟 위치(604, 605 및 607)의 출력 신호로 렌더링될 수 있다.
다른 실시예에 따르면, 오브젝트의 재생 위치가 타겟 포맷이 구성하는 출력 채널 공간 상에 위치하지 않는 경우, 오브젝트 렌더러(24)는 타겟 위치와 가상 스피커의 위치를 함께 이용하여 해당 오브젝트의 렌더링을 수행할 수 있다. 먼저, 오브젝트 렌더러(24)는 해당 오브젝트 신호를 적어도 하나의 가상 스피커 신호를 포함하는 출력 신호로 렌더링 한다. 예를 들어, S4(704)와 같이 오브젝트의 재생 위치가 가상 스피커(611)의 위치에 직접 매칭되는 경우, 해당 오브젝트 신호는 상기 가상 스피커(611)의 출력 신호로 렌더링된다. 그러나 S3(703)와 같이 오브젝트의 재생 위치에 매칭되는 가상 스피커가 존재하지 않을 경우, 해당 오브젝트 신호는 인접한 가상 스피커(611) 및 타겟 채널(605, 607)의 출력 신호로 렌더링될 수 있다. 다음으로, 오브젝트 렌더러(24)는 렌더링된 가상 스피커 신호를 타겟 채널의 출력 신호로 재 렌더링한다. 즉, S3(703) 또는 S4(704)의 오브젝트 신호가 렌더링된 가상 스피커(611)의 신호는 인접한 타겟 채널(이를테면, 605, 607)의 출력 신호로 다운믹스 될 수 있다.
한편, 도 6에 도시된 바와 같이 타겟 포맷은 원본 타겟 위치를 조합하여 생성된 추가적인 타겟 위치들(621, 622, 623, 624)을 포함할 수 있다. 이와 같이 추가적인 타겟 위치들을 생성하여 사용함으로, 렌더링의 해상도를 높일 수 있다.
<바이노럴 렌더러 상세>
도 7은 본 발명의 일 실시예에 따른 바이노럴 렌더러의 각 구성을 나타낸 블록도이다. 도시된 바와 같이, 본 발명의 실시예에 따른 바이노럴 렌더러(200)는 BRIR 파라메터화부(300), 고속 콘볼루션부(230), 후기잔향 생성부(240), QTDL 프로세싱부(250), 믹서&콤바이너(260)를 포함할 수 있다.
바이노럴 렌더러(200)는 다양한 타입의 입력 신호에 대한 바이노럴 렌더링을 수행하여 3D 오디오 헤드폰 신호(즉, 3D 오디오 2채널 신호)를 생성한다. 이때, 입력 신호는 채널 신호(즉, 스피커 채널 신호), 오브젝트 신호 및 HOA 신호 중 적어도 하나를 포함하는 오디오 신호가 될 수 있다. 본 발명의 다른 실시예에 따르면, 바이노럴 렌더러(200)가 별도의 디코더를 포함할 경우, 상기 입력 신호는 전술한 오디오 신호의 부호화된 비트스트림이 될 수 있다. 바이노럴 렌더링은 복호화된 입력 신호를 바이노럴 다운믹스 신호로 변환하여, 헤드폰으로 청취시 서라운드 음향을 체험할 수 있도록 한다.
본 발명의 실시예에 따른 바이노럴 렌더러(200)는 BRIR(Binaural Room Impulse Response) 필터를 이용하여 바이노럴 렌더링을 수행할 수 있다. BRIR을 이용한 바이노럴 렌더링을 일반화하면 M개의 채널을 갖는 멀티채널의 입력 신호에 대해 O개의 출력신호를 얻기 위한 M-to-O 프로세싱이다. 바이노럴 필터링은 이 과정에서 각각의 입력 채널과 출력 채널에 대응되는 필터 계수를 이용한 필터링으로 볼 수 있다. 도 3에서 원본 필터 셋 H는 각 채널 신호의 스피커 위치에서부터 좌, 우 귀의 위치까지의 전달함수들을 의미한다. 이러한 전달함수 중 일반적인 청음공간, 즉 잔향이 있는 공간에서 측정한 것을 Binaural Room Impulse Response(BRIR)라 부른다. 반면 재생 공간의 영향이 없도록 무향실에서 측정한 것을 Head Related Impulse Response(HRIR)이라고 하며, 이에 대한 전달함수를 Head Related Transfer Function(HRTF)라 부른다. 따라서, BRIR은 HRTF와는 다르게 방향 정보뿐만 아니라 재생 공간의 정보를 함께 담고 있다. 일 실시예에 따르면, HRTF와 인공 잔향기(artificial reverberator)를 이용하여 BRIR을 대체할 수도 있다. 본 명세서에서는 BRIR을 이용한 바이노럴 렌더링에 대하여 설명하지만, 본 발명은 이에 한정되지 않으며 HRIR, HRTF를 포함하는 다양한 형태의 FIR 필터를 이용한 바이노럴 렌더링에도 동일하거나 상응하는 방법으로 적용 가능하다. 또한, 본 발명은 오디오 신호의 바이노럴 렌더링 뿐만 아니라, 입력 신호의 다양한 형태의 필터링 연산시에도 적용 가능하다. 한편, BRIR은 전술한 바와 같이 96K개의 샘플 길이를 가질 수 있으며, 멀티 채널 바이노럴 렌더링은 M*O개의 서로 다른 필터를 이용하여 수행되므로 고 연산량의 처리 과정이 요구된다.
본 발명에서 오디오 신호 처리 장치는 협의의 의미로는 도 7에 도시된 바이노럴 렌더러(200) 또는 바이노럴 렌더링 유닛(220)을 가리킬 수 있다. 그러나 본 발명에서 오디오 신호 처리 장치는 광의의 의미로는 바이노럴 렌더러를 포함하는 도 4 또는 도 5의 오디오 디코더를 가리킬 수 있다. 또한, 이하 본 명세서에서는 멀티채널 입력 신호에 대한 실시예를 주로 기술할 수 있으나, 별도의 언급이 없을 경우 채널, 멀티채널 및 멀티채널 입력 신호는 각각 오브젝트, 멀티오브젝트 및 멀티오브젝트 입력 신호를 포함하는 개념으로 사용될 수 있다. 뿐만 아니라, 멀티채널 입력 신호는 HOA 디코딩 및 렌더링된 신호를 포함하는 개념으로도 사용될 수 있다.
본 발명의 실시예에 따르면, 바이노럴 렌더러(200)는 입력 신호에 대한 바이노럴 렌더링을 QMF 도메인 상에서 수행할 수 있다. 이를테면, 바이노럴 렌더러(200)는 QMF 도메인의 멀티채널(N channels) 신호를 수신하고, QMF 도메인의 BRIR 서브밴드 필터를 이용하여 상기 멀티채널 신호에 대한 바이노럴 렌더링을 수행할 수 있다. QMF 분석 필터뱅크를 통과한 i번째 채널의 k번째 서브밴드(subband) 신호를
Figure PCTKR2015002669-appb-I000001
, 서브밴드 도메인에서의 시간 인덱스를 l이라고 하면, QMF 도메인에서의 바이노럴 렌더링은 다음과 같은 식으로 표현할 수 있다.
Figure PCTKR2015002669-appb-M000001
여기서, m은 L(좌) 또는 R(우)이며,
Figure PCTKR2015002669-appb-I000002
은 시간 도메인 BRIR 필터를 QMF 도메인의 서브밴드 필터로 변환한 것이다.
즉, 바이노럴 렌더링은 QMF 도메인의 채널 신호 또는 오브젝트 신호를 복수의 서브밴드 신호로 나누고, 각 서브밴드 신호를 이에 대응하는 BRIR 서브밴드 필터와 콘볼루션 한 후 합산하는 방법으로 수행될 수 있다.
BRIR 파라메터화부(300)는 QMF 도메인에서의 바이노럴 렌더링을 위해 BRIR 필터 계수를 변환 및 편집하고 각종 파라메터를 생성한다. 먼저, BRIR 파라메터화부(300)는 멀티채널 또는 멀티오브젝트에 대한 시간 도메인 BRIR 필터 계수를 수신하고, 이를 QMF 도메인 BRIR 필터 계수로 변환한다. 이때, QMF 도메인 BRIR 필터 계수는 복수의 주파수 밴드에 각각 대응하는 복수의 서브밴드 필터 계수들을 포함한다. 본 발명에서 서브밴드 필터 계수는 QMF 변환된 서브밴드 도메인의 각 BRIR 필터 계수를 가리킨다. 본 명세서에서 서브밴드 필터 계수는 BRIR 서브 밴드 필터 계수로도 지칭될 수 있다. BRIR 파라메터화부(300)는 QMF 도메인의 복수의 BRIR 서브밴드 필터 계수를 각각 편집하고, 편집된 서브밴드 필터 계수를 고속 콘볼루션부(230) 등에 전달할 수 있다. 본 발명의 실시예에 따르면, BRIR 파라메터화부(300)는 바이노럴 렌더러(200)의 일 구성요소로 포함될 수도 있으며, 별도의 장치로 구비될 수도 있다. 일 실시예에 따르면, BRIR 파라메터화부(300)를 제외한 고속 콘볼루션부(230), 후기잔향 생성부(240), QTDL 프로세싱부(250), 믹서&콤바이너(260)를 포함하는 구성이 바이노럴 렌더링 유닛(220)으로 분류될 수 있다.
일 실시예에 따르면, BRIR 파라메터화부(300)는 가상 재생 공간의 적어도 하나의 위치에 대응되는 BRIR 필터 계수를 입력으로 수신할 수 있다. 상기 가상 재생 공간의 각 위치는 멀티채널 시스템의 각 스피커 위치에 대응될 수 있다. 일 실시예에 따르면, BRIR 파라메터화부(300)가 수신한 각 BRIR 필터 계수는 바이노럴 렌더러(200)의 입력 신호의 각 채널 또는 각 오브젝트에 직접 매칭될 수 있다. 반면에, 본 발명의 다른 실시예에 따르면 상기 수신된 각 BRIR 필터 계수는 바이노럴 렌더러(200)의 입력 신호에 독립적인 구성(configuration)을 가질 수 있다. 즉, BRIR 파라메터화부(300)가 수신한 BRIR 필터 계수 중 적어도 일부는 바이노럴 렌더러(200)의 입력 신호에 직접 매칭되지 않을 수 있으며, 수신된 BRIR 필터 계수의 개수는 입력 신호의 채널 및/또는 오브젝트의 총 개수보다 작거나 클 수도 있다.
BRIR 파라메터화부(300)는 제어 파라메터 정보를 추가적으로 입력 받고, 입력된 제어 파라메터 정보에 기초하여 전술한 바이노럴 렌더링을 위한 파라메터를 생성할 수 있다. 제어 파라메터 정보는 후술하는 실시예와 같이 복잡도-퀄리티 제어 파라메터 등을 포함할 수 있으며, BRIR 파라메터화부(300)의 각종 파라메터화 과정을 위한 임계값으로 사용될 수 있다. 이러한 입력 값에 기초하여 BRIR 파라메터화부(300)는 바이노럴 렌더링 파라메터를 생성하고, 이를 바이노럴 렌더링 유닛(220)에 전달한다. 만약 입력 BRIR 필터 계수나 제어 파라메터 정보가 변경될 경우, BRIR 파라메터화부(300)는 바이노럴 렌더링 파라메터를 재 계산하여 바이노럴 렌더링 유닛에 전달할 수 있다.
본 발명의 실시예에 따르면, BRIR 파라메터화부(300)는 바이노럴 렌더러(200)의 입력 신호의 각 채널 또는 각 오브젝트에 대응하는 BRIR 필터 계수를 변환 및 편집하여 바이노럴 렌더링 유닛(220)으로 전달할 수 있다. 상기 대응하는 BRIR 필터 계수는 BRIR 필터 셋에서 선택된 각 채널 또는 각 오브젝트에 대한 매칭 BRIR 또는 폴백(fallback) BRIR이 될 수 있다. BRIR 매칭은 가상 재생 공간상에서 각 채널 또는 각 오브젝트의 위치를 타겟으로 하는 BRIR 필터 계수가 존재하는지 여부에 따라 결정될 수 있다. 이때, 각 채널(또는 오브젝트)의 위치 정보는 채널 배치를 시그널링 하는 입력 파라메터로부터 획득될 수 있다. 만약, 입력 신호의 각 채널 또는 각 오브젝트의 위치 중 적어도 하나를 타겟으로 하는 BRIR 필터 계수가 존재할 경우, 해당 BRIR 필터 계수는 입력 신호의 매칭 BRIR이 될 수 있다. 그러나 특정 채널 또는 오브젝트의 위치를 타겟으로 하는 BRIR 필터 계수가 존재하지 않을 경우, BRIR 파라메터화부(300)는 해당 채널 또는 오브젝트와 가장 유사한 위치를 타겟으로 하는 BRIR 필터 계수를 해당 채널 또는 오브젝트에 대한 폴백 BRIR로 제공할 수 있다.
먼저, 원하는 위치(특정 채널 또는 오브젝트)와 기 설정된 범위 내의 고도 및 방위각 편차를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 있을 경우 해당 BRIR 필터 계수가 선택될 수 있다. 이를테면, 원하는 위치와 동일한 고도 및 +/- 20˚ 이내의 방위각 편차를 갖는 BRIR 필터 계수가 선택될 수 있다. 만약 이에 해당하는 BRIR 필터 계수가 없을 경우, BRIR 필터 셋 중 상기 원하는 위치와 최소의 기하학적 거리를 갖는 BRIR 필터 계수가 선택될 수 있다. 즉, 해당 BRIR의 위치와 상기 원하는 위치 간의 기하학적 거리를 최소로 하는 BRIR 필터 계수가 선택될 수 있다. 여기서, BRIR의 위치는 해당 BRIR 필터 계수에 대응하는 스피커의 위치를 나타낸다. 또한, 두 위치 간의 기하학적 거리는 두 위치의 고도 편차의 절대값과 방위각 편차의 절대값을 합산한 값으로 정의될 수 있다. 한편, 일 실시예에 따르면 BRIR 필터 계수를 보간(interpolation)하는 방법으로, BRIR 필터 셋의 위치를 원하는 위치에 일치시킬 수도 있다. 이때, 보간된 BRIR 필터 계수는 BRIR 필터 셋의 일부인 것으로 간주될 수 있다. 즉, 이 경우는 원하는 위치에 항상 BRIR 필터 계수가 존재하는 것으로 구현될 수 있다.
입력 신호의 각 채널 또는 각 오브젝트에 대응하는 BRIR 필터 계수는 별도의 벡터 정보(mconv)를 통해 전달될 수 있다. 상기 벡터 정보(mconv)는 BRIR 필터 셋 중에서 입력 신호의 각 채널 또는 오브젝트에 대응하는 BRIR 필터 계수를 지시한다. 예를 들어, 입력 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재할 경우, 벡터 정보(mconv)는 해당 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시한다. 그러나 입력 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재하지 않을 경우, 벡터 정보(mconv)는 상기 특정 채널의 위치 정보와 최소의 기하학적 거리를 갖는 폴백 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시한다. 따라서, 파라메터화부(300)는 벡터 정보(mconv)를 이용하여 입력 오디오 신호의 각 채널 또는 객체에 대응하는 BRIR 필터 계수를 전체 BRIR 필터 셋에서 결정할 수 있다.
한편 본 발명의 다른 실시예에 따르면, BRIR 파라메터화부(300)는 수신된 BRIR 필터 계수 전체를 변환 및 편집하여 바이노럴 렌더링 유닛(220)으로 전달할 수 있다. 이때, 입력 신호의 각 채널 또는 각 오브젝트에 대응하는 BRIR 필터 계수(또는, 편집된 BRIR 필터 계수)의 선택 과정은 바이노럴 렌더링 유닛(220)에서 수행될 수 있다.
만약 BRIR 파라메터화부(300)가 바이노럴 렌더링 유닛(220)과 별도의 장치로 구성될 경우, BRIR 파라메터화부(300)에서 생성된 바이노럴 렌더링 파라메터는 비트스트림으로 렌더링 유닛(220)에 전송될 수 있다. 바이노럴 렌더링 유닛(220)은 수신된 비트스트림을 디코딩하여 바이노럴 렌더링 파라메터를 획득할 수 있다. 이때, 전송되는 바이노럴 렌더링 파라메터는 바이노럴 렌더링 유닛(220)의 각 서브 유닛에서의 프로세싱을 위해 필요한 각종 파라메터를 포함하며, 변환 및 편집된 BRIR 필터 계수, 또는 원본 BRIR 필터 계수 등을 포함할 수 있다.
바이노럴 렌더링 유닛(220)은 고속 콘볼루션부(230), 후기잔향 생성부(240) 및 QTDL 프로세싱부(250)를 포함하며, 멀티채널 및/또는 멀티오브젝트 신호를 포함하는 멀티 오디오 신호를 수신한다. 본 명세서에서는 멀티채널 및/또는 멀티오브젝트 신호를 포함하는 입력 신호를 멀티 오디오 신호로 지칭하기로 한다. 도 7에서는 일 실시예에 따라 바이노럴 렌더링 유닛(220)이 QMF 도메인의 멀티채널 신호를 수신하는 것으로 도시되어 있으나, 바이노럴 렌더링 유닛(220)의 입력 신호에는 시간 도메인 멀티채널 신호 및 멀티오브젝트 신호 등이 포함될 수 있다. 또한, 바이노럴 렌더링 유닛(220)이 별도의 디코더를 추가적으로 포함할 경우, 상기 입력 신호는 상기 멀티 오디오 신호의 부호화된 비트스트림이 될 수 있다. 이에 더하여, 본 명세서에서는 멀티 오디오 신호에 대한 BRIR 렌더링을 수행하는 케이스를 기준으로 본 발명을 설명하지만, 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 제공하는 특징들은 BRIR이 아닌 다른 종류의 렌더링 필터에도 적용될 수 있으며, 멀티 오디오 신호가 아닌 단일 채널 또는 단일 오브젝트의 오디오 신호에 대해서도 적용될 수 있다.
고속 콘볼루션부(230)는 입력 신호와 BRIR 필터간의 고속 콘볼루션을 수행하여 입력 신호에 대한 직접음(direct sound)과 초기 반사음(early reflection)을 처리한다. 이를 위해, 고속 콘볼루션부(230)는 절단된(truncated) BRIR을 사용하여 고속 콘볼루션을 수행할 수 있다. 절단된 BRIR은 각 서브밴드 주파수에 종속적으로 절단된 복수의 서브밴드 필터 계수를 포함하며, BRIR 파라메터화부(300)에서 생성된다. 이때, 각 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드의 주파수에 종속적으로 결정된다. 고속 콘볼루션부(230)는 서브밴드에 따라 서로 다른 길이를 갖는 절단된 서브밴드 필터 계수를 이용함으로 주파수 도메인에서의 가변차수(variable order) 필터링을 수행할 수 있다. 즉, 각 주파수 밴드 별로 QMF 도메인 서브밴드 신호와 이에 대응하는 QMF 도메인의 절단된 서브밴드 필터들 간의 고속 콘볼루션이 수행될 수 있다. 각 서브밴드 신호에 대응하는 절단된 서브밴드 필터는 전술한 벡터 정보(mconv)를 통해 식별할 수 있다.
후기잔향 생성부(240)는 입력 신호에 대한 후기잔향(late reverberation) 신호를 생성한다. 후기잔향 신호는 고속 콘볼루션부(230)에서 생성된 직접음 및 초기 반사음 이후의 출력 신호를 나타낸다. 후기잔향 생성부(240)는 BRIR 파라메터화부(300)로부터 전달된 각 서브밴드 필터 계수로부터 결정된 잔향 시간 정보에 기초하여 입력 신호를 처리할 수 있다. 본 발명의 실시예에 따르면, 후기잔향 생성부(240)는 입력 오디오 신호에 대한 모노 또는 스테레오 다운믹스 신호를 생성하고, 생성된 다운믹스 신호에 대한 후기잔향 처리를 수행할 수 있다.
QTDL(QMF domain Tapped Delay Line) 프로세싱부(250)는 입력 오디오 신호 중 고 주파수 밴드의 신호를 처리한다. QTDL 프로세싱부(250)는 고 주파수 밴드의 각 서브밴드 신호에 대응하는 적어도 하나의 파라메터를 BRIR 파라메터화부(300)로부터 수신하고, 수신된 파라메터를 이용하여 QMF 도메인에서 탭-딜레이 라인 필터링을 수행한다. 각 서브밴드 신호에 대응하는 파라메터는 전술한 벡터 정보(mconv)를 통해 식별할 수 있다. 본 발명의 실시예에 따르면, 바이노럴 렌더러(200)는 기 설정된 상수 또는 기 설정된 주파수 밴드를 기초로 입력 오디오 신호를 저 주파수 밴드 신호와 고 주파수 밴드 신호로 분리하고, 저 주파수 밴드 신호는 고속 콘볼루션부(230) 및 후기잔향 생성부(240)에서, 고 주파수 밴드 신호는 QTDL 프로세싱부(250)에서 각각 처리할 수 있다.
고속 콘볼루션부(230), 후기잔향 생성부(240) 및 QTDL 프로세싱부(250)는 각각 2채널의 QMF 도메인 서브밴드 신호를 출력한다. 믹서&콤바이너(260)는 고속 콘볼루션부(230)의 출력 신호, 후기잔향 생성부(240)의 출력 신호 및 QTDL 프로세싱부(250)의 출력 신호를 결합하여 믹싱을 수행한다. 이때, 출력 신호의 결합은 2채널의 좌, 우 출력 신호에 대해 각각 별도로 수행된다. 바이노럴 렌더러(200)는 결합된 출력 신호를 QMF 합성하여 시간 도메인의 최종 바이노럴 출력 오디오 신호를 생성한다.
<주파수 도메인 가변차수 필터링(Variable Order Filtering in Frequency-domain, VOFF)>
도 8은 본 발명의 실시예에 따른 바이노럴 렌더링을 위한 필터 생성 방법을 나타내고 있다. QMF 도메인에서의 바이노럴 렌더링을 위해, 복수의 서브밴드 필터로 변환된 FIR 필터가 사용될 수 있다. 본 발명의 실시예에 따르면, 바이노럴 렌더러의 고속 콘볼루션부는 각 서브밴드 주파수에 따라 서로 다른 길이를 갖는 절단된 서브밴드 필터를 이용함으로 QMF 도메인에서의 가변차수 필터링을 수행할 수 있다.
도 8에서 Fk는 QMF 서브밴드 k의 직접음 및 초기반사음(direct & early)의 처리를 위해 고속 콘볼루션에 사용되는 절단된 서브밴드 필터를 나타낸다. 또한, Pk는 QMF 서브밴드 k의 후기잔향 생성에 사용되는 필터를 나타낸다. 이때, 절단된 서브밴드 필터 Fk는 원본 서브밴드 필터에서 절단된 앞부분(front)의 필터이며, 프론트 서브밴드 필터로도 지칭될 수 있다. 또한, Pk는 원본 서브밴드 필터의 절단 이후의 뒷부분(rear)의 필터이며, 리어 서브밴드 필터로 지칭될 수 있다. QMF 도메인은 총 K개의 서브밴드를 가지는데, 일 실시예에 따르면 64개의 서브밴드가 사용될 수 있다. 또한, N은 원본 서브밴드 필터의 길이(탭 수)를 나타내며, NFilter[k]는 서브밴드 k의 프론트 서브밴드 필터의 길이를 나타낸다. 이때, 길이 NFilter[k]는 다운 샘플된 QMF 도메인에서의 탭 수를 나타낸다.
BRIR 필터를 이용한 렌더링의 경우, 각 서브밴드 별 필터 차수(즉, 필터 길이)는 원본 BRIR 필터로부터 추출된 파라메터들 이를테면, 각 서브밴드 필터 별 잔향 시간(Reverberation Time, RT) 정보, EDC(Energy Decay Curve) 값, 에너지 감쇄 시간 정보 등에 기초하여 결정될 수 있다. 각 주파수 별로 공기 중에서의 감쇄, 벽 및 천장의 재질에 따른 흡음 정도가 다른 음향적 특성으로 인해, 잔향 시간은 주파수에 따라 서로 달라질 수 있다. 일반적으로는 낮은 주파수의 신호일수록 잔향 시간이 긴 특성을 갖는다. 잔향 시간이 길면 FIR 필터의 뒷부분에 많은 정보가 남아 있음을 의미하므로, 해당 필터를 길게 절단하여 사용하는 것이 잔향 정보를 제대로 전달하는데 바람직하다. 따라서, 본 발명의 각 절단된 서브밴드 필터 Fk의 길이는 해당 서브밴드 필터에서 추출된 특성 정보(이를테면, 잔향 시간 정보)에 적어도 부분적으로 기초하여 결정된다.
일 실시예에 따르면, 절단된 서브밴드 필터 Fk의 길이는 오디오 신호 처리 장치가 획득한 추가적인 정보 이를테면, 디코더의 복잡도(complexity), 복잡도 레벨(프로파일), 또는 요구되는 퀄리티 정보에 기초하여 결정될 수 있다. 복잡도는 오디오 신호 처리 장치의 하드웨어 리소스(resource)에 따라 결정되거나 유저가 직접 입력한 값에 따라 결정될 수 있다. 퀄리티는 유저의 요구에 따라 결정되거나, 비트스트림을 통해 전송된 값 또는 비트스트림에 포함된 다른 정보를 참조하여 결정될 수 있다. 또한, 퀄리티는 전송되는 오디오 신호의 품질을 추정한 값에 따라 결정될 수도 있는데, 이를테면 비트 레이트가 높을수록 더 높은 퀄리티로 간주할 수 있다. 이때, 각 절단된 서브밴드 필터의 길이는 복잡도 및 퀄리티에 따라 비례적으로 증가할 수도 있고, 각 밴드별로 서로 다른 비율로 변화할 수도 있다. 또한, 각 절단된 서브밴드 필터의 길이는 FFT 등의 고속 프로세싱에 의한 추가적인 이득을 얻기 위해 이에 대응되는 크기 단위 이를테면, 2의 거듭제곱의 배수로 결정될 수 있다. 반면, 절단된 서브밴드 필터의 결정된 길이가 실제 서브밴드 필터의 총 길이보다 길 경우, 절단된 서브밴드 필터의 길이는 실제 서브밴드 필터의 길이로 조정될 수 있다.
본 발명의 BRIR 파라메터화부는 이와 같이 결정된 각 절단된 서브밴드 필터의 길이에 대응하는 절단된 서브밴드 필터 계수들을 생성하고, 이를 고속 콘볼루션부로 전달한다. 고속 콘볼루션부는 절단된 서브밴드 필터 계수를 이용하여 멀티 오디오 신호의 각 서브밴드 신호에 대한 주파수 도메인 가변차수 필터링(VOFF 프로세싱)을 수행한다. 즉, 서로 다른 주파수 밴드인 제1 서브밴드와 제2 서브밴드에 대하여, 고속 콘볼루션부는 제1 서브밴드 신호에 제1 절단된 서브밴드 필터 계수를 적용하여 제1 서브밴드 바이노럴 신호를 생성하고, 제2 서브밴드 신호에 제2 절단된 서브밴드 필터 계수를 적용하여 제2 서브밴드 바이노럴 신호를 생성한다. 이때, 제1 절단된 서브밴드 필터 계수와 제2 절단된 서브밴드 필터 계수는 각각 독립적으로 서로 다른 길이를 가질 수 있으며, 동일한 시간 영역을 갖는 원형 필터(프로토타입 필터)로부터 획득된다. 즉, 하나의 시간 영역 필터를 복수의 QMF 서브밴드 필터로 변환하고, 각 서브밴드에 대응되는 필터들의 길이를 가변 시킨 것이므로, 각 절단된 서브밴드 필터는 하나의 원형필터로부터 획득된 것이다.
한편 본 발명의 일 실시예에 따르면, QMF 변환된 복수의 서브밴드 필터들은 복수의 그룹으로 분류되고, 분류된 각 그룹별로 서로 다른 프로세싱에 이용될 수 있다. 예를 들어, 복수의 서브밴드는 기 설정된 주파수 밴드(QMF 밴드 i)를 기준으로 한 저 주파수의 제1 서브밴드 그룹(Zone 1)과, 고 주파수의 제2 서브밴드 그룹(Zone 2)으로 분류될 수 있다. 이때, 제1 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 VOFF 프로세싱이, 제2 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 후술하는 QTDL 프로세싱이 수행될 수 있다.
따라서, BRIR 파라메터화부는 제1 서브밴드 그룹의 각 서브밴드 별로 절단된 서브밴드 필터(프론트 서브밴드 필터) 계수를 생성하고, 이를 고속 콘볼루션부에 전달한다. 고속 콘볼루션부는 수신된 프론트 서브밴드 필터 계수를 이용하여 제1 서브밴드 그룹의 서브밴드 신호에 대한 VOFF 프로세싱을 수행한다. 실시예에 따라서, 제1 서브밴드 그룹의 서브밴드 신호에 대한 후기잔향 프로세싱이 후기잔향 생성부에 의해 추가적으로 수행될 수도 있다. 또한, BRIR 파라메터화부는 제2 서브밴드 그룹의 각 서브밴드 필터 계수로부터 적어도 하나의 파라메터를 획득하고 이를 QTDL 프로세싱부로 전달한다. QTDL 프로세싱부는 획득된 파라메터를 이용하여 후술하는 바와 같이 제2 서브밴드 그룹의 각 서브밴드 신호에 대한 탭-딜레이 라인 필터링을 수행한다. 본 발명의 실시예에 따르면, 제1 서브밴드 그룹과 제2 서브밴드 그룹을 구분하는 기 설정된 주파수(QMF 밴드 i)는 사전에 정해진 상수 값에 기초하여 결정될 수도 있고, 전송된 오디오 입력 신호의 비트스트림 특성에 따라 결정될 수도 있다. 이를테면, SBR을 사용하는 오디오 신호의 경우, 제2 서브밴드 그룹이 SBR 밴드에 대응하도록 설정될 수 있다.
다른 실시예에 따르면, 복수의 서브밴드는 도 8에 도시된 바와 같이 기 설정된 제1 주파수 밴드(QMF 밴드 i) 및 제 2 주파수 밴드(QMF 밴드 j)를 기초로 3개의 서브밴드 그룹으로 분류될 수도 있다. 즉, 복수의 서브밴드는 제1 주파수 밴드보다 작거나 같은 저 주파수 구역인 제1 서브밴드 그룹(Zone 1), 제1 주파수 밴드 보다 크고 제2 주파수 밴드보다 작거나 같은 중간 주파수 구역인 제2 서브밴드 그룹(Zone 2), 및 제2 주파수 밴드 보다 큰 고 주파수 구역인 제3 서브밴드 그룹(Zone 3)으로 분류될 수 있다. 예를 들어, 총 64개의 QMF 서브밴드(서브밴드 인덱스 0~63)가 상기 3개의 서브밴드 그룹으로 분류될 경우, 제1 서브밴드 그룹은 0부터 31의 인덱스를 갖는 총 32개의 서브밴드를, 제2 서브밴드 그룹은 32부터 47의 인덱스를 갖는 총 16개의 서브밴드를, 제3 서브밴드 그룹은 나머지 48부터 63의 인덱스를 갖는 서브밴드를 포함할 수 있다. 여기서, 서브밴드 인덱스는 서브밴드 주파수가 낮을수록 낮은 값을 갖는다.
이때, 본 발명의 실시예에 따르면 제1 서브밴드 그룹과 제2 서브밴드 그룹의 서브밴드 신호들에 대해서만 바이노럴 렌더링이 수행될 수 있다. 즉, 제1 서브밴드 그룹의 서브밴드 신호들에 대해서는 전술한 바와 같이 VOFF 프로세싱 및 후기잔향 프로세싱이 수행될 수 있으며, 제2 서브밴드 그룹의 서브밴드 신호들에 대해서는 QTDL 프로세싱이 수행될 수 있다. 또한, 제3 서브밴드 그룹의 서브밴드 신호들에 대해서는 바이노럴 렌더링이 수행되지 않을 수 있다. 한편, 바이노럴 렌더링을 수행하는 최대 주파수 밴드의 정보(Kproc=48) 및 콘볼루션을 수행하는 주파수 밴드의 정보(Kconv=32)는 미리 결정된 값일 수 있으며, 또는 BRIR 파라메터화부에 의해 결정되어 바이노럴 렌더링 유닛으로 전달될 수 있다. 이때, 제1 주파수 밴드(QMF 밴드 i)는 인덱스 Kconv-1의 서브밴드로 설정되며, 제2 주파수 밴드(QMF 밴드 j)는 인덱스 Kproc-1의 서브밴드로 설정된다. 한편, 최대 주파수 밴드의 정보(Kproc) 및 콘볼루션을 수행하는 주파수 밴드의 정보(Kconv)의 값은 원본 BRIR 입력의 샘플링 주파수, 입력 오디오 신호의 샘플링 주파수 등에 의하여 가변할 수 있다.
한편 도 8의 실시예에 따르면, 프론트 서브밴드 필터 Fk 뿐만 아니라 리어 서브밴드 필터 Pk의 길이도 원본 서브밴드 필터에서 추출된 파라메터에 기초하여 결정될 수 있다. 즉, 각 서브밴드의 프론트 서브밴드 필터 및 리어 서브밴드 필터의 길이는 해당 서브밴드 필터에서 추출된 특성 정보에 적어도 부분적으로 기초하여 결정된다. 예를 들어, 프론트 서브밴드 필터의 길이는 해당 서브밴드 필터의 제1 잔향 시간 정보에 기초하여, 리어 서브밴드 필터의 길이는 제2 잔향 시간 정보에 기초하여 결정될 수 있다. 즉, 프론트 서브밴드 필터는 원본 서브밴드 필터에서 제1 잔향 시간 정보에 기초하여 절단된 앞부분의 필터이며, 리어 서브밴드 필터는 프론트 서브밴드 필터 이후의 구간으로서 제1 잔향 시간과 제2 잔향 시간 사이의 구간에 대응하는 뒷부분의 필터가 될 수 있다. 일 실시예에 따르면 제1 잔향 시간 정보는 RT20, 제2 잔향 시간 정보는 RT60이 될 수 있으나, 본 발명은 이에 한정하지 않는다.
제2 잔향 시간 이내에는 초기 반사음 파트에서 후기잔향 파트로 전환되는 부분이 존재한다. 즉, 결정성(deterministic characteristic)을 갖는 구간에서 추계적 특성(stochastic characteristic)을 갖는 구간으로 전환 되는 지점이 존재하며, 전체 밴드의 BRIR의 관점에서 이 지점을 믹싱 타임이라고 부른다. 믹싱 타임 이전 구간의 경우 각 위치 별로 방향성을 제공하는 정보가 주로 존재하며, 이는 채널 별로 고유하다. 반면에 후기잔향 파트의 경우 채널 별로 공통된 특징을 지니기 때문에 복수개의 채널을 한꺼번에 처리하는 것이 효율적일 수 있다. 따라서 서브밴드 별 믹싱 타임을 추정하여 믹싱 타임 이전에 대해서는 VOFF 프로세싱을 통해 고속 콘볼루션을 수행하고, 믹싱 타임 이후에 대해서는 후기잔향 프로세싱을 통해 각 채널 별 공통된 특성이 반영된 프로세싱을 수행할 수 있다.
그러나 믹싱 타임을 추정하는 것은 지각적(perceptual) 관점에서 편향(bias)에 의한 에러가 발생할 수 있다. 따라서, 정확한 믹싱 타임을 추정하여 해당 경계를 기준으로 VOFF 프로세싱 파트와 후기잔향 프로세싱 파트로 나누어 처리하는 것 보다는, VOFF 프로세싱 파트의 길이를 최대한 길게 하여 고속 콘볼루션을 수행하는 것이 퀄리티 관점에서는 우수하다. 따라서, VOFF 프로세싱 파트의 길이 즉, 프론트 서브밴드 필터의 길이는 복잡도-퀄리티 제어에 따라 믹싱 타임에 해당하는 길이보다 길거나 짧아질 수 있다.
이에 더하여, 각 서브밴드 필터의 길이를 줄이기 위해 전술한 바와 같이 절단하는 방법 이외에도, 특정 서브밴드의 주파수 응답이 단조로울(monotonic) 경우 해당 서브밴드의 필터를 낮은 차수로 감소시키는 모델링이 가능하다. 대표적인 방법으로는, 주파수 샘플링을 이용한 FIR 필터 모델링이 있으며, 최소 자승 관점에서 최소화되는 필터를 디자인할 수 있다.
<고 주파수 밴드의 QTDL 프로세싱>
도 9는 본 발명의 실시예에 따른 QTDL 프로세싱을 더욱 상세하게 나타내고 있다. 11의 실시예에 따르면, QTDL 프로세싱부(250)는 원-탭-딜레이 라인 필터를 이용하여 멀티채널 입력 신호 X0, X1, …, X_M-1에 대한 서브밴드 별 필터링을 수행한다. 이때, 멀티채널 입력 신호는 QMF 도메인의 서브밴드 신호로 수신된다고 가정한다. 따라서, 도 9의 실시예에서 원-탭-딜레이 라인 필터는 각 QMF 서브밴드 별로 프로세싱을 수행할 수 있다. 원-탭-딜레이 라인 필터는 각 채널 신호에 대하여 한 개의 탭만 콘볼루션을 수행한다. 이때 사용되는 탭은 해당 서브밴드 신호에 대응하는 BRIR 서브밴드 필터 계수로부터 직접 추출된 파라메터에 기초하여 결정될 수 있다. 상기 파라메터는 원-탭-딜레이 라인 필터에 사용될 탭에 대한 딜레이(delay) 정보 및 이에 대응하는 게인(gain) 정보를 포함한다.
도 9에서 L_0, L_1, …, L_M-1은 각각 M개의 채널에서 왼쪽 귀로의 BRIR에 대한 딜레이를 나타내고, R_0, R_1, …, R_M-1은 각각 M개의 채널에서 오른쪽 귀로의 BRIR에 대한 딜레이를 나타낸다. 이때, 딜레이 정보는 해당 BRIR 서브밴드 필터 계수 중 절대 값 크기 순, 실수 값 크기 순, 또는 허수 값 크기 순으로 최대 피크에 대한 위치 정보를 나타낸다. 또한, 도 9에서 G_L_0, G_L_1, …, G_L_M-1은 좌 채널의 각 딜레이 정보에 대응하는 게인을 나타내고, G_R_0, G_R_1, …, G_R_M-1은 우 채널의 각 딜레이 정보에 대응하는 게인을 나타낸다. 각 게인 정보는 해당 BRIR 서브밴드 필터 계수의 전체 파워, 해당 딜레이 정보에 대응하는 피크의 크기 등에 기초하여 결정될 수 있다. 이때, 게인 정보는 서브밴드 필터 계수에서의 해당 피크값 자체가 사용될 수도 있지만, 전체 서브밴드 필터 계수에 대한 에너지 보상이 수행된 이후의 해당 피크의 가중치 값이 사용될 수 있다. 상기 게인 정보는 해당 피크에 대한 실수 가중치 및 허수 가중치를 함께 이용하여 획득되며, 따라서 복소수 값을 갖는다.
한편, QTDL 프로세싱은 전술한 바와 같이 기 설정된 상수 또는 기 설정된 주파수 밴드를 기초로 분류된 고 주파수 밴드의 입력 신호에 대해서만 수행될 수 있다. 만약, 입력 오디오 신호에 SBR(Spectral Band Replication)이 적용된 경우, 상기 고 주파수 밴드는 SBR 밴드에 대응될 수 있다. 고 주파수 대역의 효율적인 부호화를 위해 사용되는 SBR(Spectral Band Replication)은 저 비트율 부호화 시 고 주파수 대역의 신호를 버림으로 인해 좁아진 밴드 폭을 다시 확장하여, 원 신호만큼의 밴드 폭을 확보하기 위한 도구이다. 이때, 고 주파수 대역은 부호화되어 전송되는 저 주파수 대역의 정보와 인코더에서 전송한 고 주파수 대역 신호의 부가 정보를 활용하여 생성된다. 그러나 SBR을 이용하여 생성된 고 주파수 성분은 부정확한 고조파(harmonic)의 생성으로 인하여 왜곡이 발생할 수 있다. 또한, SBR 밴드는 고 주파수 대역이며, 전술한 바와 같이 해당 주파수 대역의 잔향 시간은 매우 짧다. 즉, SBR 밴드의 BRIR 서브밴드 필터는 유효 정보가 적으며, 빠른 감쇄율을 갖는다. 따라서, SBR 대역에 준하는 고 주파수 대역에 대한 BRIR 렌더링은 콘볼루션을 수행하는 것 보다는 유효한 소수의 탭을 이용하여 렌더링을 수행하는 것이 음질의 퀄리티 대비 연산량 측면에서 매우 효과적일 수 있다.
이와 같이, 원-탭-딜레이 라인 필터에 의해 필터링 된 복수의 채널 신호는 각 서브밴드 별로 2채널의 좌, 우 출력 신호 Y_L, Y_R로 합산된다. 한편, QTDL 프로세싱부(250)의 각 원-탭-딜레이 라인 필터에서 사용되는 파라메터는 바이노럴 렌더링의 초기화 과정에서 메모리에 저장될 수 있으며, 파라메터 추출을 위한 추가적인 연산 없이 QTDL 프로세싱이 수행될 수 있다.
<BRIR 파라메터화 상세>
도 10는 본 발명의 실시예에 따른 BRIR 파라메터화부의 각 구성을 나타낸 블록도이다. 도시된 바와 같이 BRIR 파라메터화부(300)는 VOFF 파라메터화부(320), 후기잔향 파라메터화부(360) 및 QTDL 파라메터화부(380)를 포함할 수 있다. BRIR 파라메터화부(300)는 시간 도메인의 BRIR 필터 셋을 입력으로 수신하고, BRIR 파라메터화부(300)의 각 서브 유닛은 수신된 BRIR 필터 셋을 이용하여 바이노럴 렌더링을 위한 각종 파라메터를 생성한다. 실시예에 따라 BRIR 파라메터화부(300)는 제어 파라메터를 추가적으로 입력 받을 수 있으며, 입력된 제어 파라메터에 기초하여 파라메터를 생성할 수 있다.
먼저, VOFF 파라메터화부(320)는 주파수 도메인 가변차수 필터링(VOFF)에 필요한 절단된 서브밴드 필터 계수와 그에 따른 보조 파라메터들을 생성한다. 예를 들어, VOFF 파라메터화부(320)는 절단된 서브밴드 필터 계수를 생성하기 위한 주파수 밴드별 잔향 시간 정보, 필터 차수 정보 등을 산출하며, 절단된 서브밴드 필터 계수에 대한 블록 단위의 고속 퓨리에 변환을 수행하기 위한 블록의 크기를 결정한다. VOFF 파라메터화부(320)에서 생성된 일부 파라메터는 후기잔향 파라메터화부(360) 및 QTDL 파라메터화부(380)로 전달될 수 있다. 이때, 전달되는 파라메터는 VOFF 파라메터화부(320)의 최종 출력값으로 한정되지 않으며, VOFF 파라메터화부(320)의 프로세싱에 따라 중간에 생성된 파라메터 이를테면, 시간 도메인의 절단된 BRIR 필터 계수 등을 포함할 수 있다.
후기잔향 파라메터화부(360)는 후기잔향 생성을 위해 필요한 파라메터를 생성한다. 예를 들어, 후기잔향 파라메터화부(360)는 다운믹스 서브밴드 필터 계수, IC 값 등을 생성할 수 있다. 또한, QTDL 파라메터화부(380)는 QTDL 프로세싱을 위한 파라메터를 생성한다. 더욱 구체적으로, QTDL 파라메터화부(380)는 VOFF 파라메터화부(320)로부터 서브밴드 필터 계수를 입력 받고, 이를 이용하여 각 서브밴드에서의 딜레이 정보 및 게인 정보를 생성한다. 이때, QTDL 파라메터화부(380)는 바이노럴 렌더링을 수행하는 최대 주파수 밴드의 정보(Kproc) 및 콘볼루션을 수행하는 주파수 밴드의 정보(Kconv)를 제어 파라메터로 수신할 수 있으며, Kproc과 Kconv을 경계로 하는 서브밴드 그룹의 각 주파수 밴드에 대하여 딜레이 정보 및 게인 정보를 생성할 수 있다. 일 실시예에 따르면, QTDL 파라메터화부(380)는 VOFF 파라메터화부(320)에 포함된 구성으로 제공될 수 있다.
VOFF 파라메터화부(320), 후기잔향 파라메터화부(360) 및 QTDL 파라메터화부(380)에서 각각 생성된 파라메터들은 바이노럴 렌더링 유닛(미도시)으로 전송된다. 일 실시예에 따르면, 후기잔향 파라메터화부(360)와 QTDL 파라메터화부(380)는 바이노럴 렌더링 유닛에서 후기잔향 프로세싱, QTDL 프로세싱이 각각 수행되는지 여부에 따라 파라메터 생성 여부를 결정할 수 있다. 만약 바이노럴 렌더링 유닛에서 후기잔향 프로세싱 및 QTDL 프로세싱 중 적어도 하나가 수행되지 않을 경우, 이에 대응하는 후기잔향 파라메터화부(360), QTDL 파라메터화부(380)는 파라메터를 생성하지 않거나, 생성된 파라메터를 바이노럴 렌더링 유닛에 전송하지 않을 수 있다.
도 11은 본 발명의 VOFF 파라메터화부의 각 구성을 나타낸 블록도이다. 도시된 바와 같이 VOFF 파라메터화부(320)는 전파 시간 산출부(322), QMF 변환부(324) 및 VOFF 파라메터 생성부(330)를 포함할 수 있다. VOFF 파라메터화부(320)는 수신된 시간 도메인 BRIR 필터 계수를 이용하여 VOFF 프로세싱을 위한 절단된 서브밴드 필터 계수를 생성하는 과정을 수행한다.
먼저, 전파 시간 산출부(322)는 시간 도메인 BRIR 필터 계수의 전파 시간 정보를 산출하고, 산출된 전파 시간 정보에 기초하여 시간 도메인 BRIR 필터 계수를 절단한다. 여기서, 전파 시간 정보는 BRIR 필터 계수의 초기 샘플로부터 직접음까지의 시간을 나타낸다. 전파 시간 산출부(322)는 시간 도메인 BRIR 필터 계수에서 상기 산출된 전파 시간에 해당하는 부분을 절단하여 이를 제거할 수 있다.
BRIR 필터 계수의 전파 시간을 추정하기 위해 다양한 방법이 사용될 수 있다. 일 실시예에 따르면 BRIR 필터 계수의 최대 피크 값에 비례하는 임계 값보다 큰 에너지 값이 나타나는 최초의 지점 정보에 기초하여 전파 시간을 추정할 수 있다. 이때, 멀티 채널 입력의 각 채널에서 청자까지의 거리는 모두 다르므로 채널 별로 전파 시간이 각각 다를 수 있다. 그러나 바이노럴 렌더링의 수행시 전파 시간이 절단된 BRIR 필터 계수를 이용하여 콘볼루션을 수행하고, 최종 바이노럴 렌더링 된 신호를 딜레이로 보상하기 위해서는 모든 채널의 전파 시간 절단 길이가 동일해야 한다. 또한, 각 채널에 동일한 전파 시간 정보를 적용하여 절단을 수행하면, 개별 채널에서의 오차 발생 확률을 줄일 수 있다.
본 발명의 실시예에 따른 전파 시간 정보를 산출하기 위해, 먼저 프레임(frame) 단위 인덱스 k에 대한 프레임 에너지 E(k)가 먼저 정의될 수 있다. 입력 채널 인덱스 m, 출력 좌/우 채널 인덱스 i, 시간 도메인의 타임 슬롯 인덱스 v에 대한 시간 도메인 BRIR 필터 계수를
Figure PCTKR2015002669-appb-I000003
라고 할 때, k번째 프레임에서의 프레임 에너지 E(k)는 다음 수식으로 산출될 수 있다.
Figure PCTKR2015002669-appb-M000002
여기서, NBRIR은 BRIR 필터 셋의 전체 필터 개수, Nhop은 기 설정된 홉 사이즈, Lfrm은 프레임 사이즈를 나타낸다. 즉, 프레임 에너지 E(k)는 동일 시간 영역에 대한 각 채널별 프레임 에너지의 평균값으로 산출될 수 있다.
상기 정의된 프레임 에너지 E(k)를 이용하여, 전파 시간(pt)은 다음 수식으로 산출될 수 있다.
Figure PCTKR2015002669-appb-M000003
즉, 전파 시간 산출부(322)는 기 설정된 홉 단위로 시프팅(shifting) 하며 프레임 에너지를 측정하고, 프레임 에너지가 기 설정된 임계값 보다 큰 최초의 프레임을 식별한다. 이때, 전파 시간은 식별된 최초의 프레임의 중간 지점으로 결정될 수 있다. 한편, 수학식 5에서는 임계값이 최대 프레임 에너지 보다 60dB 낮은 값으로 설정되는 것으로 예시되어 있지만, 본 발명은 이에 한정하지 않으며 임계값은 최대 프레임 에너지에 비례하는 값 또는 최대 프레임 에너지와 기 설정된 차이를 갖는 값으로 설정될 수 있다.
한편, 홉 사이즈(Nhop) 및 프레임 사이즈(Lfrm)는 입력 BRIR 필터 계수가 HRIR(Head Related Impulse Response) 필터 계수인지 여부에 기초하여 가변될 수 있다. 이때, 입력 BRIR 필터 계수가 HRIR 필터 계수인지 여부를 나타내는 정보(flag_HRIR)는 외부로부터 수신될 수도 있으며, 시간 도메인 BRIR 필터 계수의 길이를 이용하여 추정될 수도 있다. 일반적으로 초기 반사음 파트와 후기잔향 파트의 경계는 80ms라고 알려져 있다. 따라서, 시간 도메인 BRIR 필터 계수의 길이가 80ms 이하일 경우 해당 BRIR 필터 계수는 HRIR 필터 계수로 판별되고(flag_HRIR=1), 80ms를 초과할 경우 해당 BRIR 필터 계수는 HRIR 필터 계수가 아닌 것으로 판별될 수 있다(flag_HRIR=0). 만약 입력 BRIR 필터 계수가 HRIR 필터 계수인 것으로 판별될 경우(flag_HRIR=1)의 홉 사이즈(Nhop) 및 프레임 사이즈(Lfrm)는 해당 BRIR 필터 계수가 HRIR 필터 계수가 아닌 것으로 판별될 경우(flag_HRIR=0)에 비하여 작은 값으로 설정될 수 있다. 이를테면, flag_HRIR=0일 경우 홉 사이즈(Nhop) 및 프레임 사이즈(Lfrm)는 각각 샘플 단위로 8 및 32로 설정되고, flag_HRIR=1일 경우 홉 사이즈(Nhop) 및 프레임 사이즈(Lfrm)는 각각 샘플 단위로 1 및 8로 설정될 수 있다.
본 발명의 실시예에 따르면, 전파 시간 산출부(322)는 산출된 전파 시간 정보에 기초하여 시간 도메인 BRIR 필터 계수를 절단하고, 절단된 BRIR 필터 계수를 QMF 변환부(324)로 전달할 수 있다. 여기서, 절단된 BRIR 필터 계수는 원본 BRIR 필터 계수에서 상기 전파 시간에 해당하는 부분을 절단 및 제거한 후 잔존하는 필터 계수를 가리킨다. 전파 시간 산출부(322)는 입력 채널 별, 출력 좌/우 채널 별로 시간 도메인 BRIR 필터 계수를 절단하여 QMF 변환부(324)로 전달한다.
QMF 변환부(324)는 입력된 BRIR 필터 계수의 시간 도메인-QMF 도메인 간의 변환을 수행한다. 즉, QMF 변환부(324)는 시간 도메인의 절단된 BRIR 필터 계수를 수신하고, 이를 복수의 주파수 밴드에 각각 대응하는 복수의 서브밴드 필터 계수들로 변환한다. 변환된 서브밴드 필터 계수들은 VOFF 파라메터 생성부(330)로 전달되며, VOFF 파라메터 생성부(330)는 수신된 서브밴드 필터 계수를 이용하여 절단된 서브밴드 필터 계수를 생성한다. 만약 VOFF 파라메터화부(320)의 입력으로 시간 도메인 BRIR 필터 계수가 아닌 QMF 도메인 BRIR 필터 계수가 수신될 경우, 입력된 QMF 도메인 BRIR 필터 계수는 QMF 변환부(324)를 바이패스(bypass)할 수 있다. 또한 다른 실시예에 따르면, 입력 필터 계수가 QMF 도메인 BRIR 필터 계수일 경우, QMF 변환부(324)는 VOFF 파라메터화부(320)에서 생략될 수도 있다.
도 12는 도 11의 VOFF 파라메터 생성부의 세부 구성을 나타낸 블록도이다. 도시된 바와 같이, VOFF 파라메터 생성부(330)는 잔향 시간 산출부(332), 필터 차수 결정부(334) 및 VOFF 필터 계수 생성부(336)를 포함할 수 있다. VOFF 파라메터 생성부(330)는 도 11의 QMF 변환부(324)로부터 QMF 도메인의 서브밴드 필터 계수를 수신할 수 있다. 또한, 바이노럴 렌더링을 수행하는 최대 주파수 밴드 정보(Kproc), 콘볼루션을 수행하는 주파수 밴드 정보(Kconv), 기 설정된 최대 FFT 크기 정보 등의 제어 파라메터가 VOFF 파라메터 생성부(330)로 입력될 수 있다.
먼저, 잔향 시간 산출부(332)는 수신된 서브밴드 필터 계수를 이용하여 잔향 시간 정보를 획득한다. 획득된 잔향 시간 정보는 필터 차수 결정부(334)로 전달되며, 해당 서브밴드의 필터 차수를 결정하는데 사용될 수 있다. 한편, 잔향 시간 정보는 측정 환경에 따라 바이어스(bias)나 편차가 존재할 수 있으므로, 다른 채널과의 상호 관계를 이용하여 통일된 값을 이용할 수 있다. 일 실시예에 따르면, 잔향 시간 산출부(332)는 각 서브밴드의 평균 잔향 시간 정보를 생성하고, 이를 필터 차수 결정부(334)로 전달한다. 입력 채널 인덱스 m, 출력 좌/우 채널 인덱스 i, 서브밴드 인덱스 k에 대한 서브밴드 필터 계수의 잔향 시간 정보를 RT(k, m, i)라고 할 때, 서브밴드 k의 평균 잔향 시간 정보 RTk는 다음 수식을 통해 산출될 수 있다.
Figure PCTKR2015002669-appb-M000004
여기서, NBRIR은 BRIR 필터 셋의 전체 필터 개수이다.
즉, 잔향 시간 산출부(332)는 멀티채널 입력에 대응하는 각 서브밴드 필터 계수로부터 잔향 시간 정보 RT(k, m, i)를 추출하고, 동일 서브밴드에 대하여 추출된 채널별 잔향 시간 정보 RT(k, m, i)들의 평균값(즉, 평균 잔향 시간 정보 RTk)을 획득한다. 획득된 평균 잔향 시간 정보 RTk는 필터 차수 결정부(334)로 전달되며, 필터 차수 결정부(334)는 이를 이용하여 해당 서브밴드에 적용되는 하나의 필터 차수를 결정할 수 있다. 이때, 획득되는 평균 잔향 시간 정보는 RT20을 포함할 수 있으며, 실시예에 따라 다른 잔향 시간 정보 이를테면 RT30, RT60 등이 획득될 수도 있다. 한편, 본 발명의 다른 실시예에 따르면 잔향 시간 산출부(332)는 동일 서브밴드에 대하여 추출된 채널별 잔향 시간 정보의 최대값 및/또는 최소값을 해당 서브밴드의 대표 잔향 시간 정보로서 필터 차수 결정부(334)에 전달할 수 있다.
다음으로, 필터 차수 결정부(334)는 획득된 잔향 시간 정보에 기초하여 해당 서브밴드의 필터 차수를 결정한다. 전술한 바와 같이, 필터 차수 결정부(334)가 획득하는 잔향 시간 정보는 해당 서브밴드의 평균 잔향 시간 정보일 수 있으며, 실시예에 따라 채널별 잔향 시간 정보의 최대값 및/또는 최소값 등의 대표 잔향 시간 정보가 될 수도 있다. 필터 차수는 해당 서브밴드의 바이노럴 렌더링을 위한 절단된 서브밴드 필터 계수의 길이를 결정하는데 사용된다.
서브밴드 k에서의 평균 잔향 시간 정보를 RTk라고 했을 때, 해당 서브밴드의 필터 차수 정보 NFilter[k]는 다음 수식을 통해 획득될 수 있다.
Figure PCTKR2015002669-appb-M000005
즉, 필터 차수 정보는 해당 서브밴드의 평균 잔향 시간 정보의 로그 스케일의 정수 단위의 근사값(approximated integer value)을 지수로 하는 2의 거듭 제곱 값으로 결정될 수 있다. 다시 말해서, 필터 차수 정보는 해당 서브밴드의 평균 잔향 시간 정보를 로그 스케일로 반올림한 값, 올림한 값, 또는 내림한 값을 지수로 하는 2의 거듭 제곱 값으로 결정될 수 있다. 만약, 해당 서브밴드 필터 계수의 원본 길이 즉, 마지막 타임 슬롯(nend)까지의 길이가 수학식 7에서 결정된 값보다 작을 경우, 필터 차수 정보는 서브밴드 필터 계수의 원본 길이 값(nend)으로 대체될 수 있다. 즉, 필터 차수 정보는 수학식 7에 의해 결정된 기준 절단 길이와, 서브밴드 필터 계수의 원본 길이 중 작은 값으로 결정될 수 있다.
한편, 주파수에 따른 에너지의 감쇄는 로그 스케일에서 선형적으로 근사 가능하다. 따라서, 커브 피팅(curve fitting) 방법을 이용하면 각 서브밴드의 최적화 된 필터 차수 정보를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 필터 차수 결정부(334)는 다항식 커브 피팅(polynomial curve fitting) 방법을 이용하여 필터 차수 정보를 획득할 수 있다. 이를 위해, 필터 차수 결정부(334)는 평균 잔향 시간 정보의 커브 피팅을 위한 적어도 하나의 계수를 획득할 수 있다. 예를 들어, 필터 차수 결정부(334)는 각 서브밴드 별 평균 잔향 시간 정보를 로그 스케일의 일차 방정식으로 커브 피팅하고, 해당 일차 방정식의 기울기 값 a와 절편 값 b를 획득할 수 있다.
서브밴드 k에서의 커브 피팅된 필터 차수 정보 N'Filter[k]는 상기 획득된 계수를 이용하여 다음 수식을 통해 획득될 수 있다.
Figure PCTKR2015002669-appb-M000006
즉, 커브 피팅된 필터 차수 정보는 해당 서브밴드의 평균 잔향 시간 정보의 다항식 커브 피팅된 값의 정수 단위의 근사값을 지수로 하는 2의 거듭 제곱 값으로 결정될 수 있다. 다시 말해서, 커브 피팅된 필터 차수 정보는 해당 서브밴드의 평균 잔향 시간 정보의 다항식 커브 피팅된 값을 반올림한 값, 올림한 값, 또는 내림한 값을 지수로 하는 2의 거듭 제곱 값으로 결정될 수 있다. 만약, 해당 서브밴드 필터 계수의 원본 길이 즉, 마지막 타임 슬롯(nend)까지의 길이가 수학식 8에서 결정된 값보다 작을 경우, 필터 차수 정보는 서브밴드 필터 계수의 원본 길이 값(nend)으로 대체될 수 있다. 즉, 필터 차수 정보는 수학식 8에 의해 결정된 기준 절단 길이와, 서브밴드 필터 계수의 원본 길이 중 작은 값으로 결정될 수 있다.
본 발명의 실시예에 따르면, 원형 BRIR 필터 계수 즉, 시간 도메인의 BRIR 필터 계수가 HRIR 필터 계수인지 여부(flag_HRIR)에 기초하여, 상기 수학식 7 또는 수학식 8 중 어느 하나를 이용하여 필터 차수 정보가 획득될 수 있다. 전술한 바와 같이, flag_HRIR의 값은 원형 BRIR 필터 계수의 길이가 기 설정된 값을 초과하는지 여부에 기초하여 결정될 수 있다. 만약, BRIR 필터 계수의 길이가 기 설정된 값을 초과할 경우(즉, flag_HRIR=0), 필터 차수 정보는 상기 수학식 8에 따라 커브 피팅된 값으로 결정될 수 있다. 그러나 BRIR 필터 계수의 길이가 기 설정된 값을 초과하지 않을 경우(즉, flag_HRIR=1), 필터 차수 정보는 상기 수학식 7에 따라 커브 피팅되지 않은 값으로 결정될 수 있다. 즉, 필터 차수 정보는 커브 피팅의 수행 없이 해당 서브밴드의 평균 잔향 시간 정보에 기초하여 결정될 수 있다. 이는 HRIR의 경우 룸(room)의 영향을 받지 않으므로 에너지 감쇄에 대한 경향이 뚜렷하지 않기 때문이다.
한편 본 발명의 실시예에 따르면, 0번째 서브밴드(서브밴드 인덱스 0)에 대한 필터 차수 정보의 획득시에는 커브 피팅을 수행하지 않은 평균 잔향 시간 정보를 이용할 수 있다. 룸 모드(room mode)의 영향 등으로 0번째 서브밴드의 잔향 시간은 다른 서브밴드의 잔향 시간과 다른 경향을 가질 수 있기 때문이다. 따라서, 본 발명의 실시예에 따르면 수학식 8에 따른 커브 피팅된 필터 차수 정보는 인덱스 0이 아닌 서브밴드에서 flag_HRIR=0일 때에만 이용될 수 있다.
전술한 실시예에 따라 결정된 각 서브밴드의 필터 차수 정보들은 VOFF 필터 계수 생성부(336)로 전달된다. VOFF 필터 계수 생성부(336)는 획득된 필터 차수 정보에 기초하여 절단된 서브밴드 필터 계수를 생성한다. 본 발명의 일 실시예에 따르면, 절단된 서브밴드 필터 계수는 블록 단위(block-wise)의 고속 콘볼루션을 위해 기 설정된 블록 단위로 고속 퓨리에 변환(Fast Fourier Transforrm, FFT)이 수행된 적어도 하나의 FFT 필터 계수로 구성될 수 있다. VOFF 필터 계수 생성부(336)는 도 14를 참조로 후술하는 바와 같이 블록 단위(block-wise)의 고속 콘볼루션을 위한 상기 FFT 필터 계수를 생성할 수 있다.
도 13은 본 발명의 QTDL 파라메터화부의 각 구성을 나타낸 블록도이다. 도시된 바와 같이 QTDL 파라메터화부(380)는 피크 탐색부(382) 및 게인 생성부(384)를 포함할 수 있다. QTDL 파라메터화부(380)는 VOFF 파라메터화부(320)로부터 QMF 도메인의 서브밴드 필터 계수를 수신할 수 있다. 또한, QTDL 파라메터화부(380)는 바이노럴 렌더링을 수행하는 최대 주파수 밴드의 정보(Kproc) 및 콘볼루션을 수행하는 주파수 밴드의 정보(Kconv)를 제어 파라메터로 수신할 수 있으며, Kproc과 Kconv을 경계로 하는 서브밴드 그룹(제2 서브밴드 그룹)의 각 주파수 밴드에 대하여 딜레이 정보 및 게인 정보를 생성할 수 있다.
더욱 구체적인 실시예에 따르면, 입력 채널 인덱스 m, 출력 좌/우 채널 인덱스 i, 서브밴드 인덱스 k, QMF 도메인의 타임 슬롯 인덱스 n에 대한 BRIR 서브밴드 필터 계수를
Figure PCTKR2015002669-appb-I000004
라고 할 때, 딜레이 정보
Figure PCTKR2015002669-appb-I000005
및 게인 정보
Figure PCTKR2015002669-appb-I000006
는 다음과 같이 획득될 수 있다.
Figure PCTKR2015002669-appb-M000007
Figure PCTKR2015002669-appb-M000008
여기서, nend는 해당 서브밴드 필터 계수의 마지막 타임 슬롯을 나타낸다.
즉, 수학식 7을 참조하면 딜레이 정보는 해당 BRIR 서브밴드 필터 계수의 크기가 최대가 되는 타임 슬롯의 정보를 나타낼 수 있으며, 이는 해당 BRIR 서브밴드 필터 계수의 최대 피크의 위치 정보를 나타낸다. 또한, 수학식 8을 참조하면 게인 정보는 해당 BRIR 서브밴드 필터 계수의 전체 파워 값에, 상기 최대 피크 위치에서의 BRIR 서브밴드 필터 계수의 부호를 곱한 값으로 결정될 수 있다.
피크 탐색부(382)는 수학식 7에 기초하여, 제2 서브밴드 그룹의 각 서브밴드 필터 계수에서의 최대 피크의 위치 즉, 딜레이 정보를 획득한다. 또한, 게인 생성부(384)는 수학식 8에 기초하여 각 서브밴드 필터 계수에 대한 게인 정보를 획득한다. 수학식 7 및 수학식 8은 딜레이 정보 및 게인 정보를 획득하는 수식의 일 예를 나타내었으나, 각 정보를 산출하기 위한 수식의 구체적인 형태는 다양하게 변형 가능할 수 있다.
<블록 단위의 고속 콘볼루션>
한편 본 발명의 실시예에 따르면, 효율 및 성능 관점에서의 최적의 바이노럴 렌더링을 위해 기 설정된 블록 단위의 고속 콘볼루션을 수행할 수 있다. FFT에 기반한 고속 콘볼루션은 FFT 크기가 클수록 연산량이 줄어들지만, 전체 프로세싱 딜레이가 증가하고 메모리 사용량이 늘어나는 특징을 갖는다. 만일 1초의 길이를 갖는 BRIR을 해당 길이의 2배에 해당하는 길이를 갖는 FFT 크기로 고속 콘볼루션 할 경우, 연산량 관점에서는 효율적이지만 1초에 해당하는 딜레이가 발생하게 되고 이에 대응하는 버퍼와 프로세싱 메모리를 필요로 하게 된다. 긴 딜레이 시간을 갖는 오디오 신호 처리 방법은 실시간 데이터 처리를 위한 어플리케이션 등에 적합하지 않다. 오디오 신호 처리 장치에서 디코딩을 수행할 수 있는 최소의 단위는 프레임이므로, 바이노럴 렌더링 역시 프레임 단위에 대응되는 크기로 블록 단위의 고속 콘볼루션을 수행하는 것이 바람직하다.
도 14는 블록 단위의 고속 콘볼루션을 위한 FFT 필터 계수 생성 방법의 일 실시예를 나타내고 있다. 전술한 실시예와 마찬가지로, 도 14의 실시예에서 원형 FIR 필터는 K개의 서브밴드 필터로 변환되며, Fk와 Pk는 각각 서브밴드 k의 절단된 서브밴드 필터(프론트 서브밴드 필터) 및 리어 서브밴드 필터를 나타낸다. 각 서브밴드(Band 0 ~ Band K-1)는 주파수 도메인에서의 서브밴드 즉, QMF 서브밴드를 나타낼 수 있다. QMF 도메인은 총 64개의 서브밴드를 사용할 수 있으나, 본 발명은 이에 한정하지 않는다. 또한, N은 원본 서브밴드 필터의 길이(탭 수)를 나타내며, NFilter[k]는 서브밴드 k의 프론트 서브밴드 필터의 길이를 나타낸다.
전술한 실시예와 같이, QMF 도메인의 복수의 서브밴드는 기 설정된 주파수 밴드(QMF 밴드 i)를 기준으로 한 저 주파수의 제1 서브밴드 그룹(Zone 1)과, 고 주파수의 제2 서브밴드 그룹(Zone 2)으로 분류될 수 있다. 또는, 복수의 서브밴드는 기 설정된 제1 주파수 밴드(QMF 밴드 i) 및 제 2 주파수 밴드(QMF 밴드 j)를 기초로 3개의 서브밴드 그룹 즉, 제1 서브밴드 그룹(Zone 1), 제2 서브밴드 그룹(Zone 2), 및 제3 서브밴드 그룹(Zone 3)으로 분류될 수도 있다. 이때, 제1 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 블록 단위의 고속 콘볼루션을 이용한 VOFF 프로세싱이, 제2 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 QTDL 프로세싱이 수행될 수 있다. 그리고 제3 서브밴드 그룹의 서브밴드 신호들에 대해서는 렌더링을 수행하지 않을 수 있다. 실시예에 따라, 제1 서브밴드 그룹의 입력 서브밴드 신호들에 대해서는 후기잔향 프로세싱이 추가적으로 수행될 수 있다.
도 14를 참조하면, 본 발명의 VOFF 필터 계수 생성부(336)는 절단된 서브밴드 필터 계수를 해당 서브밴드에서의 기 설정된 블록 단위로 고속 퓨리에 변환을 수행하여 FFT 필터 계수를 생성할 수 있다. 이때, 각 서브밴드 k에서의 기 설정된 블록의 길이 NFFT[k]는 기 설정된 최대 FFT 크기(2L)에 기초하여 결정된다. 더욱 구체적으로, 서브밴드 k에서의 기 설정된 블록의 길이 NFFT[k]는 다음과 같은 수식으로 나타낼 수 있다.
Figure PCTKR2015002669-appb-M000009
여기서, 2L은 기 설정된 최대 FFT 크기이고, NFilter[k]는 서브밴드 k의 필터 차수 정보임.
즉, 기 설정된 블록의 길이 NFFT[k]는 절단된 서브밴드 필터 계수의 기준 필터 길이의 2배(
Figure PCTKR2015002669-appb-I000007
)와, 기 설정된 최대 FFT 크기(2L) 중 작은 값으로 결정될 수 있다. 여기서, 기준 필터 길이는 해당 서브밴드 k에서의 필터 차수 NFilter[k] (즉, 절단된 서브밴드 필터 계수의 길이)의 2의 거듭 제곱 형태의 참값 또는 근사값 중 어느 하나를 나타낸다. 즉, 서브밴드 k의 필터 차수가 2의 거듭 제곱 형태일 경우 해당 필터 차수 NFilter[k]가 서브밴드 k에서의 기준 필터 길이로 사용되며, 2의 거듭 제곱 형태가 아닐 경우(이를테면, nend) 해당 필터 차수 NFilter[k]의 2의 거듭 제곱 형태의 반올림 값, 올림 값 또는 내림 값이 기준 필터 길이로 사용된다. 한편 본 발명의 실시예에 따르면, 기 설정된 블록의 길이 NFFT[k] 및 기준 필터 길이
Figure PCTKR2015002669-appb-I000008
는 모두 2의 거듭 제곱 값이 될 수 있다.
만약 도 14의 F0, F1 등과 같이, 기준 필터 길이의 2배 값이 최대 FFT 크기(2L) 보다 크거나 같을 경우(또는, 클 경우), 해당 서브밴드의 기 설정된 블록의 길이 NFFT[0], NFFT[1]는 각각 최대 FFT 크기(2L)로 결정된다. 그러나 도 14의 F5와 같이, 기준 필터 길이의 2배 값이 최대 FFT 크기(2L) 보다 작을 경우(또는, 작거나 같을 경우), 해당 서브밴드의 기 설정된 블록의 길이 NFFT[5]는 기준 필터 길이의 2배 값인
Figure PCTKR2015002669-appb-I000009
로 결정된다. 후술하는 바와 같이, 절단된 서브밴드 필터 계수는 제로-패딩을 통해 2배의 길이로 확장된 후 고속 퓨리에 변환이 수행되므로, 고속 퓨리에 변환을 위한 블록의 길이 NFFT[k]는 기준 필터 길이의 2배 값과 기 설정된 최대 FFT 크기(2L) 간의 비교 결과에 기초하여 결정될 수 있다.
이와 같이, 각 서브밴드에서의 블록의 길이 NFFT[k]가 결정되면, VOFF 필터 계수 생성부(336)는 결정된 블록 단위로 절단된 서브밴드 필터 계수에 대한 고속 퓨리에 변환을 수행한다. 더욱 구체적으로, VOFF 필터 계수 생성부(336)는 절단된 서브밴드 필터 계수를 기 설정된 블록의 절반(NFFT[k]/2) 단위로 분할한다. 도 14에 도시된 VOFF 프로세싱 파트의 점선 경계의 영역은 기 설정된 블록의 절반 단위로 분할되는 서브밴드 필터 계수를 나타낸다. 다음으로, BRIR 파라메터화부는 각각의 분할된 필터 계수를 이용하여 기 설정된 블록 단위 NFFT[k]의 임시 필터 계수를 생성한다. 이때, 임시 필터 계수의 전반부는 분할된 필터 계수로 구성되며, 후반부는 제로-패딩된 값으로 구성된다. 이를 통해, 기 설정된 블록의 절반 길이(NFFT[k]/2)의 필터 계수를 이용하여 기 설정된 블록 길이 NFFT[k]의 임시 필터 계수가 생성된다. 다음으로, BRIR 파라메터화부는 상기 생성된 임시 필터 계수를 고속 퓨리에 변환하여 FFT 필터 계수를 생성한다. 이와 같이 생성된 FFT 필터 계수는 입력 오디오 신호에 대한 기 설정된 블록 단위의 고속 콘볼루션에 사용될 수 있다.
이처럼 본 발명의 실시예에 따르면, VOFF 필터 계수 생성부(336)는 각 서브밴드 별로 독립적으로 결정된 길이의 블록 단위로, 절단된 서브밴드 필터 계수에 대한 고속 퓨리에 변환을 수행하여 FFT 필터 계수를 생성할 수 있다. 이에 따라, 각 서브밴드 별로 서로 다른 개수의 블록을 이용한 고속 콘볼루션이 수행될 수 있다. 이때, 서브밴드 k에서의 블록의 개수 Nblk[k]는 다음과 같은 수식을 만족할 수 있다.
Figure PCTKR2015002669-appb-M000010
여기서, Nblk(k)는 자연수.
즉, 서브밴드 k에서의 블록의 개수 Nblk[k]는 해당 서브밴드에서의 기준 필터 길이의 2배 값을 기 설정된 블록의 길이 NFFT[k]로 나눈 값으로 결정될 수 있다.
한편, 본 발명의 일 실시예에 따르면 전술한 기 설정된 블록 단위의 FFT 필터 계수 생성 과정은 제1 서브밴드 그룹의 프론트 서브밴드 필터(Fk)들에 대해서 한정적으로 수행될 수 있다. 한편, 실시예에 따라 제1 서브밴드 그룹의 서브밴드 신호에 대한 후기잔향 프로세싱이 후기잔향 생성부에 의해 수행될 수 있음은 전술한 바와 같다. 본 발명의 실시예에 따르면, 입력 오디오 신호에 대한 후기잔향 프로세싱은 원형 BRIR 필터 계수의 길이가 기 설정된 값을 초과하는지 여부에 기초하여 수행될 수 있다. 전술한 바와 같이, 원형 BRIR 필터 계수의 길이가 기 설정된 값을 초과하는지 여부는 이를 지시하는 플래그(즉, flag_BRIR)를 통해 나타날 수 있다. 만약 원형 BRIR 필터 계수의 길이가 기 설정된 값을 초과할 경우(flag_HRIR=0), 입력 오디오 신호에 대한 후기잔향 프로세싱이 수행될 수 있다. 그러나 원형 BRIR 필터 계수의 길이가 기 설정된 값을 초과하지 않을 경우(flag_HRIR=1), 입력 오디오 신호에 대한 후기잔향 프로세싱이 수행되지 않을 수 있다.
만약 후기잔향 프로세싱이 수행되지 않으면, 제1 서브밴드 그룹의 각 서브밴드 신호에는 VOFF 프로세싱만이 수행될 수 있다. 그러나 VOFF 프로세싱을 위해 지정된 각 서브밴드의 필터 차수(즉, 절단 지점)는 해당 서브밴드 필터 계수의 전체 길이보다 작을 수 있고, 이로 인해 에너지 부조화(energy mismatch)가 발생할 수 있다. 따라서, 이를 방지하기 위해 본 발명의 실시예에 따르면, flag_HRIR 정보에 기초하여 절단된 서브밴드 필터 계수에 대한 에너지 보상이 수행될 수 있다. 즉, 원형 BRIR 필터 계수의 길이가 기 설정된 값을 초과하지 않을 경우(flag_HRIR=1), 절단된 서브밴드 필터 계수 또는 이를 구성하는 각 FFT 필터 계수에는 에너지 보상이 수행된 필터 계수가 사용될 수 있다. 이때, 에너지 보상은 필터 차수 정보(NFilter[k])에 기초한 절단 지점 이전의 필터 계수에 대하여, 절단 지점까지의 필터 파워를 나누고 해당 서브밴드 필터 계수의 전체 필터 파워를 곱함으로 수행될 수 있다. 전체 필터 파워는 해당 서브밴드 필터 계수의 초기 샘플로부터 마지막 샘플(nend)까지의 필터 계수에 대한 파워의 합으로 정의될 수 있다.
한편 본 발명의 다른 실시예에 따르면, 각 서브밴드 필터 계수의 필터 차수는 채널마다 서로 다르게 설정될 수 있다. 예를 들어, 입력 신호가 더 많은 에너지를 포함하는 프론트 채널(front channels)에 대한 필터 차수는 상대적으로 적은 에너지를 포함하는 리어 채널(rear channels)에 대한 필터 차수 보다 높게 설정될 수 있다. 이를 통해, 프로트 채널에 대해서는 바이노럴 렌더링 이후 반영되는 해상도를 높이고, 리어 채널에 대해서는 낮은 연산량으로 렌더링을 수행할 수 있다. 여기서 프론트 채널과 리어 채널의 구분은 멀티 채널 입력 신호의 각 채널에 할당된 채널 명칭으로 한정되지 않으며, 각 채널은 기 설정된 공간적 기준에 기초하여 프론트 채널과 리어 채널로 분류될 수 있다. 또한 본 발명의 추가적인 실시예에 따르면, 멀티 채널의 각 채널은 기 설정된 공간적 기준에 기초하여 3개 이상의 채널 그룹으로 분류될 수 있고, 각 채널 그룹 별로 서로 다른 필터 차수가 사용될 수 있다. 또는, 각 채널에 대응하는 서브밴드 필터 계수의 필터 차수는 가상 재생 공간상의 해당 채널의 위치 정보에 기초하여 서로 다른 가중치가 적용된 값이 사용될 수 있다.
이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 발명은 멀티 오디오 신호에 대한 바이노럴 렌더링의 실시예에 대하여 설명하였지만, 본 발명은 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련된 사항을 서술하였다.
본 발명은 다양한 형태의 오디오 신호 처리 장치 및 비디오 신호 처리 장치 등을 포함하는 멀티미디어 신호 처리 장치에 적용될 수 있다.
또한, 본 발명은 상기 오디오 신호 처리 장치 및 비디오 신호 장치의 프로세싱에 사용되는 파라메터를 생성하는 파라메터화 장치에 적용될 수 있다.

Claims (10)

  1. 멀티채널 신호를 포함하는 입력 오디오 신호를 수신하는 단계;
    상기 입력 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하는 단계, 상기 절단된 서브밴드 필터 계수는 상기 입력 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 잔향 시간 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정됨;
    상기 입력 오디오 신호의 각 채널에 대응하는 상기 BRIR 필터 계수를 지시하는 벡터 정보를 획득하는 단계; 및
    상기 벡터 정보에 기초하여, 상기 멀티채널 신호의 각 서브밴드 신호를 해당 채널 및 서브밴드에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 필터링 하는 단계;
    를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제1 항에 있어서,
    상기 벡터 정보는, 상기 입력 오디오 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재할 경우, 해당 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제1 항에 있어서,
    상기 벡터 정보는, 상기 입력 오디오 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재하지 않을 경우, 상기 특정 채널의 위치 정보와 최소의 기하학적 거리를 갖는 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제3 항에 있어서,
    상기 기하학적 거리는 두 위치간의 고도 편차의 절대값과 방위각 편차의 절대값을 합산한 값인 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제1 항에 있어서,
    적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다른 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 입력 오디오 신호에 대한 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치로서,
    상기 입력 오디오 신호의 필터를 생성하기 위한 파라메터화부; 및
    멀티채널 신호를 포함하는 입력 오디오 신호를 수신하고, 상기 파라메터화부에서 생성된 파라메터를 이용하여 상기 입력 오디오 신호를 필터링하는 바이노럴 렌더링 유닛을 포함하되,
    상기 바이노럴 렌더링 유닛은,
    상기 파라메터화부로부터 상기 입력 오디오 신호의 필터링을 위한 절단된 서브밴드 필터 계수들을 수신하되, 상기 절단된 서브밴드 필터 계수는 상기 입력 오디오 신호의 바이노럴 필터링을 위한 BRIR(Binaural Room Impulse Response) 필터 계수로부터 획득된 서브밴드 필터 계수의 적어도 일 부분이며, 상기 절단된 서브밴드 필터 계수의 길이는 해당 서브밴드 필터 계수에서 추출된 잔향 시간 정보를 적어도 부분적으로 이용하여 획득된 필터 차수 정보에 기초하여 결정되고,
    상기 입력 오디오 신호의 각 채널에 대응하는 상기 BRIR 필터 계수를 지시하는 벡터 정보를 획득하고,
    상기 벡터 정보에 기초하여, 상기 멀티채널 신호의 각 서브밴드 신호를 해당 채널 및 서브밴드에 대응하는 상기 절단된 서브밴드 필터 계수를 이용하여 필터링 하는,
    오디오 신호 처리 장치.
  7. 제6 항에 있어서,
    상기 벡터 정보는, 상기 입력 오디오 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재할 경우, 해당 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시하는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제6 항에 있어서,
    상기 벡터 정보는, 상기 입력 오디오 신호의 특정 채널의 위치 정보와 매칭되는 위치 정보를 갖는 BRIR 필터 계수가 BRIR 필터 셋에 존재하지 않을 경우, 상기 특정 채널의 위치 정보와 최소의 기하학적 거리를 갖는 BRIR 필터 계수를 상기 특정 채널에 대응하는 BRIR 필터 계수로 지시하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제8 항에 있어서,
    상기 기하학적 거리는 두 위치간의 고도 편차의 절대값과 방위각 편차의 절대값을 합산한 값인 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제6 항에 있어서,
    적어도 하나의 상기 절단된 서브밴드 필터 계수의 길이는 다른 서브밴드의 절단된 서브밴드 필터 계수의 길이와 다른 것을 특징으로 하는 오디오 신호 처리 장치.
PCT/KR2015/002669 2014-03-19 2015-03-19 오디오 신호 처리 방법 및 장치 WO2015142073A1 (ko)

Priority Applications (13)

Application Number Priority Date Filing Date Title
KR1020177026839A KR102149216B1 (ko) 2014-03-19 2015-03-19 오디오 신호 처리 방법 및 장치
CN201580014818.1A CN106105269B (zh) 2014-03-19 2015-03-19 音频信号处理方法和设备
EP15764805.6A EP3122073B1 (en) 2014-03-19 2015-03-19 Audio signal processing method and apparatus
EP23206330.5A EP4294055A1 (en) 2014-03-19 2015-03-19 Audio signal processing method and apparatus
KR1020167024550A KR101782917B1 (ko) 2014-03-19 2015-03-19 오디오 신호 처리 방법 및 장치
KR1020207036848A KR102272099B1 (ko) 2014-03-19 2015-03-19 오디오 신호 처리 방법 및 장치
KR1020207024276A KR102195976B1 (ko) 2014-03-19 2015-03-19 오디오 신호 처리 방법 및 장치
US15/124,029 US9832585B2 (en) 2014-03-19 2015-03-19 Audio signal processing method and apparatus
US15/795,180 US10070241B2 (en) 2014-03-19 2017-10-26 Audio signal processing method and apparatus
US16/105,945 US10321254B2 (en) 2014-03-19 2018-08-20 Audio signal processing method and apparatus
US16/395,242 US10771910B2 (en) 2014-03-19 2019-04-26 Audio signal processing method and apparatus
US16/993,267 US10999689B2 (en) 2014-03-19 2020-08-14 Audio signal processing method and apparatus
US17/197,047 US11343630B2 (en) 2014-03-19 2021-03-10 Audio signal processing method and apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461955243P 2014-03-19 2014-03-19
US61/955,243 2014-03-19
KR20140033966 2014-03-24
KR10-2014-0033966 2014-03-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/124,029 A-371-Of-International US9832585B2 (en) 2014-03-19 2015-03-19 Audio signal processing method and apparatus
US15/795,180 Continuation US10070241B2 (en) 2014-03-19 2017-10-26 Audio signal processing method and apparatus

Publications (1)

Publication Number Publication Date
WO2015142073A1 true WO2015142073A1 (ko) 2015-09-24

Family

ID=54144960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002669 WO2015142073A1 (ko) 2014-03-19 2015-03-19 오디오 신호 처리 방법 및 장치

Country Status (5)

Country Link
US (6) US9832585B2 (ko)
EP (2) EP3122073B1 (ko)
KR (2) KR101782917B1 (ko)
CN (2) CN106105269B (ko)
WO (1) WO2015142073A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3194257A1 (en) 2013-09-17 2015-03-26 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
JP6151866B2 (ja) 2013-12-23 2017-06-21 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置
WO2015142073A1 (ko) 2014-03-19 2015-09-24 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
EP3128766A4 (en) 2014-04-02 2018-01-03 Wilus Institute of Standards and Technology Inc. Audio signal processing method and device
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
JP2018101452A (ja) * 2016-12-20 2018-06-28 カシオ計算機株式会社 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
EP3619922B1 (en) 2017-05-04 2022-06-29 Dolby International AB Rendering audio objects having apparent size
CN107039043B (zh) * 2017-06-08 2018-08-03 腾讯科技（深圳）有限公司 信号处理的方法及装置、多人会话的方法及系统
WO2019031652A1 (ko) * 2017-08-10 2019-02-14 엘지전자 주식회사 3차원 오디오 재생 방법 및 재생 장치
EP3704875B1 (en) 2017-10-30 2023-05-31 Dolby Laboratories Licensing Corporation Virtual rendering of object based audio over an arbitrary set of loudspeakers
KR102561608B1 (ko) 2017-12-12 2023-08-01 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램
US10872602B2 (en) 2018-05-24 2020-12-22 Dolby Laboratories Licensing Corporation Training of acoustic models for far-field vocalization processing systems
US11272310B2 (en) * 2018-08-29 2022-03-08 Dolby Laboratories Licensing Corporation Scalable binaural audio stream generation
EP3869826A4 (en) * 2018-10-16 2022-03-16 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
BR112022017928A2 (pt) * 2020-03-13 2022-10-18 Fraunhofer Ges Forschung Aparelho e método para renderizar uma cena de áudio com uso de trajetórias de difração intermediária válida
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
CN113808569B (zh) * 2021-11-19 2022-04-19 科大讯飞(苏州)科技有限公司 一种混响构建方法及其相关设备
CN116709159B (zh) * 2022-09-30 2024-05-14 荣耀终端有限公司 音频处理方法及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103738A1 (en) * 2006-03-28 2009-04-23 France Telecom Method for Binaural Synthesis Taking Into Account a Room Effect
KR20100062784A (ko) * 2008-12-02 2010-06-10 한국전자통신연구원 객체 기반 오디오 컨텐츠 생성/재생 장치
US20100246832A1 (en) * 2007-10-09 2010-09-30 Koninklijke Philips Electronics N.V. Method and apparatus for generating a binaural audio signal
US20100322431A1 (en) * 2003-02-26 2010-12-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method for reproducing natural or modified spatial impression in multichannel listening
JP5084264B2 (ja) * 2003-11-12 2012-11-28 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329587A (en) 1993-03-12 1994-07-12 At&T Bell Laboratories Low-delay subband adaptive filter
US5371799A (en) * 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
DE4328620C1 (de) 1993-08-26 1995-01-19 Akg Akustische Kino Geraete Verfahren zur Simulation eines Raum- und/oder Klangeindrucks
WO1995034883A1 (fr) 1994-06-15 1995-12-21 Sony Corporation Processeur de signaux et dispositif de reproduction sonore
JP2985675B2 (ja) 1994-09-01 1999-12-06 日本電気株式会社 帯域分割適応フィルタによる未知システム同定の方法及び装置
JPH0879879A (ja) * 1994-09-08 1996-03-22 Victor Co Of Japan Ltd オーディオ信号処理装置
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
JP4627880B2 (ja) 1997-09-16 2011-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用
KR100416757B1 (ko) * 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US7680289B2 (en) 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
ATE430360T1 (de) 2004-03-01 2009-05-15 Dolby Lab Licensing Corp Mehrkanalige audiodekodierung
KR100634506B1 (ko) 2004-06-25 2006-10-16 삼성전자주식회사 저비트율 부호화/복호화 방법 및 장치
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US7715575B1 (en) 2005-02-28 2010-05-11 Texas Instruments Incorporated Room impulse response
US8917874B2 (en) * 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
EP1740016B1 (en) 2005-06-28 2010-02-24 AKG Acoustics GmbH Method for the simulation of a room impression and/or sound impression
EP1927265A2 (en) 2005-09-13 2008-06-04 Koninklijke Philips Electronics N.V. A method of and a device for generating 3d sound
KR101562379B1 (ko) 2005-09-13 2015-10-22 코닌클리케 필립스 엔.브이. 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법
JP4921470B2 (ja) 2005-09-13 2012-04-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置
JP4927848B2 (ja) 2005-09-13 2012-05-09 エスアールエス・ラブス・インコーポレーテッド オーディオ処理のためのシステムおよび方法
US7917561B2 (en) 2005-09-16 2011-03-29 Coding Technologies Ab Partially complex modulated filter bank
US8443026B2 (en) 2005-09-16 2013-05-14 Dolby International Ab Partially complex modulated filter bank
US8090587B2 (en) * 2005-09-27 2012-01-03 Lg Electronics Inc. Method and apparatus for encoding/decoding multi-channel audio signal
EP1942582B1 (en) 2005-10-26 2019-04-03 NEC Corporation Echo suppressing method and device
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
WO2007083958A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for decoding a signal
BRPI0707969B1 (pt) 2006-02-21 2020-01-21 Koninklijke Philips Electonics N V codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
EP1994796A1 (en) 2006-03-15 2008-11-26 Dolby Laboratories Licensing Corporation Binaural rendering using subband filters
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
EP3236587B1 (en) 2006-07-04 2018-11-21 Dolby International AB Filter system comprising a filter converter and a filter compressor and method for operating the filter system
US7876903B2 (en) 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US9496850B2 (en) 2006-08-04 2016-11-15 Creative Technology Ltd Alias-free subband processing
EP2076901B8 (en) 2006-10-25 2017-08-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio subband values and apparatus and method for generating time-domain audio samples
EP2102858A4 (en) * 2006-12-07 2010-01-20 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
EP2595149A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for transcoding downmix signals
KR20080076691A (ko) 2007-02-14 2008-08-20 엘지전자 주식회사 멀티채널 오디오신호 복호화방법 및 그 장치, 부호화방법및 그 장치
KR100955328B1 (ko) 2007-05-04 2010-04-29 한국전자통신연구원 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법
US8140331B2 (en) 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
KR100899836B1 (ko) 2007-08-24 2009-05-27 광주과학기술원 실내 충격응답 모델링 방법 및 장치
GB2467668B (en) 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
KR100971700B1 (ko) 2007-11-07 2010-07-22 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
US8125885B2 (en) 2008-07-11 2012-02-28 Texas Instruments Incorporated Frequency offset estimation in orthogonal frequency division multiple access wireless networks
CN103561378B (zh) * 2008-07-31 2015-12-23 弗劳恩霍夫应用研究促进协会 双耳信号的信号生成
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010091077A1 (en) 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
US8718285B2 (en) * 2009-03-26 2014-05-06 Panasonic Corporation Decoding device, coding and decoding device, and decoding method
EP2237270B1 (en) 2009-03-30 2012-07-04 Nuance Communications, Inc. A method for determining a noise reference signal for noise compensation and/or noise reduction
WO2010122455A1 (en) 2009-04-21 2010-10-28 Koninklijke Philips Electronics N.V. Audio signal synthesizing
JP4893789B2 (ja) 2009-08-10 2012-03-07 ヤマハ株式会社 音場制御装置
US9432790B2 (en) 2009-10-05 2016-08-30 Microsoft Technology Licensing, Llc Real-time sound propagation for dynamic sources
EP2365630B1 (en) 2010-03-02 2016-06-08 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive fir-filtering
PL3570278T3 (pl) 2010-03-09 2023-03-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Rekonstrukcja wysokiej częstotliwości wejściowego sygnału audio przy użyciu kaskadowych banków filtrów
KR101844511B1 (ko) 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8693677B2 (en) 2010-04-27 2014-04-08 Freescale Semiconductor, Inc. Techniques for updating filter coefficients of an adaptive filter
EP2389016B1 (en) * 2010-05-18 2013-07-10 Harman Becker Automotive Systems GmbH Individualization of sound signals
KR101819027B1 (ko) 2010-08-06 2018-01-17 삼성전자주식회사 오디오 재생 방법 및 그에 따른 오디오 재생 장치, 및 정보 저장 매체
NZ587483A (en) 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
CA3067155C (en) 2010-09-16 2021-01-19 Dolby International Ab Cross product enhanced subband block based harmonic transposition
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
EP2464146A1 (en) 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
TR201815799T4 (tr) 2011-01-05 2018-11-21 Anheuser Busch Inbev Sa Bir audio sistemi ve onun operasyonunun yöntemi.
EP2541542A1 (en) * 2011-06-27 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
EP2503800B1 (en) 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
CN103548077B (zh) * 2011-05-19 2016-02-10 杜比实验室特许公司 参数化音频编译码方案的取证检测
EP2530840B1 (en) 2011-05-30 2014-09-03 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive FIR-filtering
KR101809272B1 (ko) * 2011-08-03 2017-12-14 삼성전자주식회사 다 채널 오디오 신호의 다운 믹스 방법 및 장치
TWI575962B (zh) * 2012-02-24 2017-03-21 杜比國際公司 部份複數處理之重疊濾波器組中的低延遲實數至複數轉換
JP5897219B2 (ja) * 2012-08-31 2016-03-30 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクト・ベースのオーディオの仮想レンダリング
WO2014036121A1 (en) 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US9860663B2 (en) * 2013-01-15 2018-01-02 Koninklijke Philips N.V. Binaural audio processing
CN104919820B (zh) * 2013-01-17 2017-04-26 皇家飞利浦有限公司 双耳音频处理
US20140270189A1 (en) * 2013-03-15 2014-09-18 Beats Electronics, Llc Impulse response approximation methods and related systems
US9369818B2 (en) 2013-05-29 2016-06-14 Qualcomm Incorporated Filtering with binaural room impulse responses with content analysis and weighting
EP2840811A1 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
CA3194257A1 (en) 2013-09-17 2015-03-26 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
JP6151866B2 (ja) 2013-12-23 2017-06-21 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置
WO2015142073A1 (ko) 2014-03-19 2015-09-24 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
EP3128766A4 (en) 2014-04-02 2018-01-03 Wilus Institute of Standards and Technology Inc. Audio signal processing method and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322431A1 (en) * 2003-02-26 2010-12-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method for reproducing natural or modified spatial impression in multichannel listening
JP5084264B2 (ja) * 2003-11-12 2012-11-28 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法
US20090103738A1 (en) * 2006-03-28 2009-04-23 France Telecom Method for Binaural Synthesis Taking Into Account a Room Effect
US20100246832A1 (en) * 2007-10-09 2010-09-30 Koninklijke Philips Electronics N.V. Method and apparatus for generating a binaural audio signal
KR20100062784A (ko) * 2008-12-02 2010-06-10 한국전자통신연구원 객체 기반 오디오 컨텐츠 생성/재생 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
US10419867B2 (en) 2016-01-19 2019-09-17 Gaudio Lab, Inc. Device and method for processing audio signal

Also Published As

Publication number Publication date
US10999689B2 (en) 2021-05-04
KR20170110739A (ko) 2017-10-11
US20200374644A1 (en) 2020-11-26
US20180048975A1 (en) 2018-02-15
KR101782917B1 (ko) 2017-09-28
US20190253822A1 (en) 2019-08-15
US9832585B2 (en) 2017-11-28
EP3122073A1 (en) 2017-01-25
CN106105269B (zh) 2018-06-19
US10070241B2 (en) 2018-09-04
US20170019746A1 (en) 2017-01-19
US11343630B2 (en) 2022-05-24
EP4294055A1 (en) 2023-12-20
KR102149216B1 (ko) 2020-08-28
KR20160124139A (ko) 2016-10-26
US10321254B2 (en) 2019-06-11
CN108600935A (zh) 2018-09-28
EP3122073B1 (en) 2023-12-20
EP3122073A4 (en) 2017-10-18
CN108600935B (zh) 2020-11-03
CN106105269A (zh) 2016-11-09
US20180359587A1 (en) 2018-12-13
US20210195356A1 (en) 2021-06-24
US10771910B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
WO2015142073A1 (ko) 오디오 신호 처리 방법 및 장치
WO2015152663A2 (ko) 오디오 신호 처리 방법 및 장치
WO2015099429A1 (ko) 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
WO2015060652A1 (ko) 오디오 신호 처리 방법 및 장치
WO2015041476A1 (ko) 오디오 신호 처리 방법 및 장치
KR101358700B1 (ko) 오디오 인코딩 및 디코딩
US9973871B2 (en) Binaural audio processing with an early part, reverberation, and synchronization
WO2015147530A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2014175669A1 (ko) 음상 정위를 위한 오디오 신호 처리 방법
WO2016089180A1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
KR20080078882A (ko) 입체 오디오 신호 디코딩
CN114556973A (zh) 空间音频表示和渲染
US20240089692A1 (en) Spatial Audio Representation and Rendering
KR102195976B1 (ko) 오디오 신호 처리 방법 및 장치
CN114762040A (zh) 将双耳信号转换为立体声音频信号

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15764805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167024550

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15124029

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015764805

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015764805

Country of ref document: EP