WO2016204581A1 - 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 - Google Patents

저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 Download PDF

Info

Publication number
WO2016204581A1
WO2016204581A1 PCT/KR2016/006495 KR2016006495W WO2016204581A1 WO 2016204581 A1 WO2016204581 A1 WO 2016204581A1 KR 2016006495 W KR2016006495 W KR 2016006495W WO 2016204581 A1 WO2016204581 A1 WO 2016204581A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel
internal channel
signal
output
cpe
Prior art date
Application number
PCT/KR2016/006495
Other languages
English (en)
French (fr)
Inventor
김선민
전상배
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/577,639 priority Critical patent/US10490197B2/en
Priority to CN201680035415.XA priority patent/CN107771346B/zh
Priority to KR1020177033556A priority patent/KR102657547B1/ko
Priority to EP16811994.9A priority patent/EP3285257A4/en
Priority to KR1020247011942A priority patent/KR20240050483A/ko
Publication of WO2016204581A1 publication Critical patent/WO2016204581A1/ko
Priority to US16/657,444 priority patent/US11404068B2/en
Priority to US17/866,106 priority patent/US11810583B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems

Definitions

  • the present invention relates to a method and apparatus for processing an internal channel for low computation format conversion, and more particularly, to reduce the number of input channels of a format converter by performing internal channel processing on input channels in a stereo output layout environment.
  • the present invention relates to a method and apparatus for reducing the number of covariance operations performed in a format converter.
  • MPEG-H 3D audio can handle various kinds of signals, and it is easy to control input and output types, and thus serves as a solution for processing next-generation audio signals.
  • an audio reproduction environment is being reproduced by mobile devices in a stereo reproduction environment.
  • immersive audio signals such as 22.2 channels
  • all input channels must be decoded and downmixed and converted to stereo format.
  • the present invention solves the problems of the prior art described above, and aims to reduce the complexity of format conversion in a decoder.
  • a method of processing an audio signal including: receiving an audio bitstream encoded using MPS212 (MPEG Surroud 212); Generating an internal channel signal for one channel pair element (CPE) based on gain (Equalization) values and gain values of rendering parameters for the MPS212 output channels defined in the received audio bitstream and format converter; ; And generating stereo output signals based on the generated internal channel signal.
  • MPS212 MPEG Surroud 212
  • CPE channel pair element
  • CLD Channel Level Difference
  • generating the internal channel signal further includes determining whether to generate an internal channel signal for one CPE.
  • whether to generate an internal channel signal is determined based on whether a channel pair included in one CPE corresponds to the same internal channel group.
  • the internal channel signal when all channel pairs included in one CPE are included in the left internal channel group, the internal channel signal is output only to the left output channel of the stereo output channel and included in one CPE.
  • the internal channel signal is output only to the right output channel among the stereo output channels.
  • the internal channel signal is a stereo output channel.
  • the left output channel and the right output channel are equally output.
  • the audio signal is an immersive audio signal.
  • generating an internal channel signal includes: calculating an internal channel gain; And applying internal channel gain.
  • the receiving unit for receiving the audio bit stream encoded using the MPS212 (MPEG Surroud 212); Based on the EQ (Equalization) values and the gain values of the rendering parameters for the MPS212 output channels defined in the received audio bitstream and format converter, an inter channel signal for generating an internal channel signal for one channel pair element (CPE) A null channel generator; And a stereo output signal generator configured to generate stereo output signals based on the generated internal channel signal.
  • MPS212 MPEG Surroud 212
  • the internal channel signal generation unit based on the channel level difference (CLD) included in the MPS212 payload, the received audio bitstream, for a channel pair included in one CPE Upmix to the signal, scale the upmixed bitstream based on the rendering parameters, and mix the scaled bitstream.
  • CLD channel level difference
  • the internal channel generator determines whether to generate an internal channel signal for one CPE.
  • the channel pairs included in one CPE are determined based on whether they correspond to the same internal channel group.
  • the internal channel signal when all channel pairs included in one CPE are included in the left internal channel group, the internal channel signal is output only to the left output channel of the stereo output channel and included in one CPE.
  • the internal channel signal is output only to the right output channel among the stereo output channels.
  • the internal channel signal is a stereo output channel.
  • the left output channel and the right output channel are equally output.
  • the audio signal is an immersive audio signal.
  • the internal channel signal generator calculates an internal channel gain and applies an internal channel gain.
  • a computer-readable recording medium recording a program for executing the above-described method.
  • a computer readable recording medium for recording another method for implementing the present invention, another system, and a computer program for executing the method.
  • the number of channels input to the format converter can be reduced, thereby reducing the complexity of the format converter. More specifically, since the number of channels input to the format converter is reduced, the covariance analysis performed in the format converter is simplified to reduce the complexity.
  • FIG. 1 illustrates an embodiment of a decoding structure for format converting 24 input channels into a stereo output channel.
  • FIG. 2 illustrates an embodiment of a decoding structure for converting a 22.2 channel immersive audio signal into a stereo output channel using 13 internal channels.
  • FIG 3 shows an embodiment of generating one internal channel from one CPE.
  • FIG. 4 is a detailed block diagram of an internal channel gain applying unit to an internal channel signal in a decoder according to an embodiment of the present invention.
  • FIG. 5 is a decoding block diagram when internal channel gain is pre-processed in an encoder according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a method for processing an internal channel in a structure of MPS decoding after mono SBR decoding when a CPE is output in a stereo reproduction layout according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a method for processing an internal channel in a structure for stereo SBR decoding after MPS decoding when a CPE is output in a stereo reproduction layout according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of an internal channel processing method in a structure using stereo SBR when QCE is output in a stereo reproduction layout according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of an internal channel processing method in a structure using stereo SBR when QCE is output in a stereo reproduction layout according to another embodiment of the present invention.
  • FIG. 10A illustrates an embodiment of determining a temporal envelope grid when the starting boundaries of the first envelope are the same and the ending boundaries of the last envelope are the same.
  • FIG. 10B illustrates an embodiment in which the starting boundaries of the first envelope are different and the ending boundaries of the last envelope determine the temporal envelope grid in the same case.
  • FIG. 10C illustrates an embodiment in which a temporal envelope grid is determined when the starting boundaries of the first envelope are the same and the ending boundaries of the last envelope are different.
  • FIG. 10D illustrates an embodiment of determining a temporal envelope grid when the starting boundaries of the first envelope are different and the ending boundaries of the last envelope are different.
  • Table 1 shows one embodiment of a mixing matrix of a format converter that renders a 22.2 channel immersive audio signal into a stereo signal.
  • Table 2 shows one embodiment of a mixing matrix of a format converter that renders a 22.2 channel immersive audio signal into an internal channel as a stereo signal.
  • Table 3 shows a CPE structure for configuring 22.2 channels as internal channels according to an embodiment of the present invention.
  • Table 4 shows types of internal channels corresponding to decoder input channels according to an embodiment of the present invention.
  • Table 5 shows the positions of channels that are additionally defined according to the internal channel type, according to an embodiment of the present invention.
  • Table 6 shows a format converter output channel corresponding to an internal channel type and a gain and an EQ index to be applied to each output channel according to an embodiment of the present invention.
  • Table 7 shows syntax of ICGConfig, according to an embodiment of the present invention.
  • Table 8 shows the syntax of mpegh3daExtElementConfig (), according to an embodiment of the present invention.
  • Table 9 shows usacExtElementType according to an embodiment of the present invention.
  • Table 10 shows speakerLayoutType according to an embodiment of the present invention.
  • Table 11 shows the syntax of SpeakerConfig3d () according to an embodiment of the present invention.
  • Table 12 shows immersiveDownmixFlag, according to an embodiment of the present invention.
  • Table 13 shows the syntax of SAOC3DgetNumChannels (), according to an embodiment of the present invention.
  • Table 14 shows a channel assignment order according to an embodiment of the present invention.
  • Table 15 shows the syntax of mpegh3daChannelPairElementConfig () according to an embodiment of the present invention.
  • Table 16 shows decoding scenarios of MPS and SBR determined based on channel components and playback layout, according to an embodiment of the present invention.
  • a method of processing an audio signal including: receiving an audio bitstream encoded using MPS212 (MPEG Surroud 212); Generating an internal channel signal for one channel pair element (CPE) based on gain (Equalization) values and gain values of rendering parameters for the MPS212 output channels defined in the received audio bitstream and format converter; ; And generating stereo output signals based on the generated internal channel signal.
  • MPS212 MPEG Surroud 212
  • CPE channel pair element
  • ICs Internal Channels
  • MPS212 MPEG Surround stereo
  • FC Format Converter
  • Internal channel signals are mono signals that are mixed in a format converter to provide a stereo signal and are generated using internal channel gains.
  • Internal channel processing refers to a process of generating an internal channel signal based on the MPS212 decoding block, and is performed in the internal channel processing block.
  • ICG Internal channel gain
  • CLD channel level difference
  • the internal channel group means an internal channel type determined based on the core codec output channel position, and the core codec output channel position and the internal channel group are defined in Table 4. (Described below).
  • FIG. 1 illustrates an embodiment of a decoding structure for format converting 24 input channels into a stereo output channel.
  • the input channel layout is downmixed with the output channel layout of the playback system at the decoder.
  • the format converter 130 included in the decoder is configured to have 24 inputs according to the format converter rules defined inside the format converter. Downmix the channel layout to the two output channel layouts.
  • the 22.2 channel input signal input to the decoder includes CPE bitstreams 110 down-mixed with signals for two channels included in one channel pair element (CPE). Since the CPE bitstream is encoded using MPS212 (MPEG Surround based stereo), the received CPE bitstream is decoded using MPS212 (120). At this time, the LFE channel, that is, the woofer channel, is not configured as CPE. Thus, for a 22.2 channel input, the decoder input signal consists of a bitstream for 11 CPEs and a bitstream for two woofer channels.
  • CPE channel pair element
  • phase alignment according to covariance analysis is performed to prevent timberal distortion due to phase difference between multi-channel signals.
  • the covariance matrix has a dimension of NinXNin, in order to analyze the covariance matrix, (NinX (Nin-1) / 2 + Nin) X71bandX2X16X (48000/2048) times complex number multiplication must be performed.
  • Table 1 shows one embodiment of a mixing matrix of a format converter that renders a 22.2 channel immersive audio signal into a stereo signal.
  • the horizontal axis 140 and the vertical axis 150 are numbered for 24 input channels, and the order in covariance analysis does not have much meaning.
  • each element of the mixing matrix has a value of 1 (160), covariance analysis is required, but if a value of 0 (170), covariance analysis may be omitted.
  • CM_M_L030 and CH_M_R030 channels For example, for input channels that are not mixed with each other during the format conversion to the stereo output layout, such as CM_M_L030 and CH_M_R030 channels, the covariance between CM_M_L030 and CH_M_R030 channels that are not mixed with each other becomes zero in the mixing matrix.
  • the analysis process can be omitted.
  • the mixing matrix is configured symmetrically according to the input channel
  • the lower end 190 and the upper end 180 may be divided based on a diagonal line, and a covariance analysis may be omitted in an area corresponding to the lower end.
  • a covariance analysis may be performed only on the areas written in bold letters among the areas corresponding to the upper ends of the diagonal lines, 236 covariance analyzes are finally performed.
  • the covariance analysis needs to perform complex multiplication of 236 71bandX2X16X (48000/2048) times.
  • FIG. 2 illustrates an embodiment of a decoding structure for converting a 22.2 channel immersive audio signal into a stereo output channel using 13 internal channels.
  • MPEG-H 3D audio uses CPE to more efficiently deliver multichannel audio signals in limited transmission environments.
  • CPE inter-channel correlation
  • the upmixed channel pairs have the same panning coefficients (to be described later).
  • One internal channel is created by mixing two in-phase channels included in one CPE.
  • One internal channel signal is downmixed based on a mixing gain and an EQ (Equalization) value according to a format converter conversion rule when two input channels included in the internal channel are converted to a stereo output channel.
  • EQ Equalization
  • the stereo output signals of the MPS212 upmixer do not have a phase difference, but since the embodiment disclosed in FIG. 1 does not consider this, complexity is unnecessarily increased.
  • the playback layout is stereo, the number of input channels of the format converter can be reduced by using one internal channel instead of the CPE channel pair upmixed as the input of the format converter.
  • the internal channel processing 220 is performed on the CPE bitstream to generate one internal channel 221. .
  • each woofer channel signal becomes an internal channel signal.
  • the complexity of the decoder can be further reduced by additionally eliminating unnecessary processes occurring during upmixing through the MPS212 and downmixing again through format conversion by using an internal channel.
  • the internal channel is defined as a virtual intermediate channel corresponding to the input of the format converter.
  • each internal channel processing block 220 generates an internal channel signal using MPS212 payload such as CLD and rendering parameters such as EQ and gain value.
  • the EQ and gain values mean rendering parameters for the output channel of the MPS212 block, defined in the conversion rule table of the format converter.
  • Table 2 shows one embodiment of a mixing matrix of a format converter that renders a 22.2 channel immersive audio signal into an internal channel as a stereo signal.
  • the horizontal axis and the vertical axis represent the indexes of the input channels, and in covariance analysis, the order does not have much meaning.
  • the mixing matrix disclosed in Table 2 may also omit a covariance analysis of a part by selecting a top or bottom configuration based on the diagonal.
  • covariance analysis may be omitted for input channels that are not mixed during the format conversion process with the stereo output channel layout.
  • 13 channels including 11 internal channels consisting of 22 general channels and 2 woofer channels are downmixed to a stereo output channel, and a format converter
  • the number of input channels Nin is 13.
  • the format converter is a downmix matrix for downmixing. Is defined, the mixing matrix As follows It is calculated using
  • Each OTT decoding block outputs two channels corresponding to channel numbers i and j, and mixing matrix Is 1 Upmix matrix of Wow Do not use the decorrelator.
  • Table 3 shows a CPE structure for configuring 22.2 channels as internal channels according to an embodiment of the present invention.
  • 13 internal channels may be defined from ICH_A to ICH_M, and the mixing matrix for the 13 internal channels may be determined as shown in Table 2 below.
  • the first column of Table 3 shows the index for the input channel, and the first row shows whether the input channel constitutes a CPE, the mixing gain to the stereo channel, and the internal channel index.
  • both the mixing gain applied to the left output channel and the mixing gain applied to the right output channel are used to upmix this CPE to the stereo output channel.
  • the mixing gain applied to the left output channel is 1 to upmix this CPE to the stereo output channel, and the mixing gain applied to the right output channel is It has a value of zero. That is, all signals are played back only to the left output channel, not to the right output channel.
  • the mixing gain applied to the left output channel to upmix this CPE to the stereo output channel is 0, and the mixing gain applied to the right output channel is Has a value of 1. That is, all the signals are not played back to the left output channel but only to the right output channel.
  • FIG 3 shows an embodiment of an apparatus for generating one internal channel from one CPE.
  • the internal channel for one CPE can be derived by applying format conversion parameters of the QMF domain, such as CLD and gain and EQ, to the downmixed mono signal.
  • the apparatus for generating an internal channel disclosed in FIG. 3 includes an upmixer 310, a scaler 320, and a mixer 330.
  • the upmixer 310 upmixes the CPE signal using the CLD parameter.
  • the CPE signal passing through the upmixer 310 is upmixed with the signal 351 for CH_M_000 and the signal 352 for CH_L_000, and the phases of the upmixed signals are also kept the same and can be mixed together in the format converter.
  • Each of the upmixed CH_M_000 channel signal and CH_L_000 channel signal is scaled 320 and 321 for each subband by a gain and an EQ corresponding to a conversion rule defined in a format converter.
  • the mixer 330 mixes the scaled signals 361 and 362 and performs a format conversion by power normalizing the mixed signal.
  • An internal channel signal ICH_A 370 which is an intermediate channel signal, is generated.
  • the internal channel is the same as the original input channel.
  • Core codec output using internal channels is performed in the hybrid Quadrature Mirror Filter (QMF) domain, so the process of ISO IEC23308-3 10.3.5.2 is not processed.
  • QMF Quadrature Mirror Filter
  • additional channel allocation rules and downmix rules as shown in Tables 4 to 6 are defined.
  • Table 4 shows types of internal channels corresponding to decoder input channels according to an embodiment of the present invention.
  • the internal channel corresponds to an intermediate channel between the core coder and the input channel of the format converter, and there are four types of woofer channel, center channel, left channel and right channel.
  • the internal channel may be used because the format converter has the same panning coefficient and mixing matrix. That is, when the channel pairs included in the CPE have the same internal channel type, internal channel processing is possible. Therefore, when configuring the CPE, the CPE needs to be configured with channels having the same internal channel type.
  • the decoder input channel corresponds to a woofer channel, that is, CH_LFE1, CH_LFE2 or CH_LFE3
  • the internal channel type is determined as CH_I_LFE, which is a woofer channel.
  • the internal channel type is determined as CH_I_CNTR, which is a center channel.
  • the decoder input channel is the left channel, that is, CH_M_L022, CH_M_L030, CH_M_L045, CH_M_L060, CH_M_L090, CH_M_L110, CH_M_L135, CH_M_L150, CH_L_L045, CH_U_L045, CH_U_L030, CH_U_L_45, CH_U_U_L_45 It is determined by the left channel CH_I_LEFT.
  • the decoder input channel is the right channel, that is, CH_M_R022, CH_M_R030, CH_M_R045, CH_M_R060, CH_M_R090, CH_M_R110, CH_M_R135, CH_M_R150, CH_L_R045, CH_U_R045, CH_U_R030, CH_U_R_R_45 It is determined as CH_I_RIGHT, the right channel.
  • Table 5 shows the positions of channels that are additionally defined according to the internal channel type, according to an embodiment of the present invention.
  • CH_I_LFE is a woofer channel and is located at 0 degrees altitude
  • CH_I_CNTR corresponds to a channel where both altitude and azimuth are located at 0 degrees.
  • CH_I_LFET corresponds to a channel located at a sector between 0 degrees and azimuth is between 30 degrees and 60 degrees left.
  • CH_I_RIGHT corresponds to a channel located at 0 degrees and azimuth is located at a sector between 30 degrees and 60 degrees right.
  • the positions of newly defined internal channels are absolute positions relative to the reference point, not relative positions between channels.
  • Quadruple Channel Element consisting of a CPE pair
  • an internal channel may be applied (to be described later).
  • the first method is pre-processing in the MPEG-H 3D audio encoder
  • the second method is post-processing in the MPEG-H 3D audio decoder.
  • Table 5 may be added as new rows in ISO / IEC 23008-3 Table 90.
  • Table 6 shows a format converter output channel corresponding to an internal channel type and a gain and an EQ index to be applied to each output channel according to an embodiment of the present invention.
  • the internal channel signal is generated taking into account the gain and EQ values of the format converter. Therefore, as shown in Table 6, the internal channel signal may be generated using an additional conversion rule, in which the gain value is 1 and the EQ index is 0.
  • the output channels are CH_M_L030 and CH_M_R030.
  • the gain value is set to 1
  • the EQ index is set to 0
  • each output channel signal needs to be multiplied by 1 / ⁇ 2 to maintain the output signal power.
  • the output channel is CH_M_L030.
  • gain 1 is applied to CH_M_L030 and gain 0 is applied to CH_M_R030.
  • the output channel is CH_M_R030.
  • the gain value is set to 1 and the EQ index is set to 0. Since only the output channel on the right side is used, gain 1 is applied to CH_M_R030 and gain 0 is applied to CH_M_L030.
  • Table 6 may be added as new rows in ISO / IEC 23008-3 Table 96.
  • Tables 7 to 15 show portions in which an existing standard should be changed in order to use an internal channel in MPEG.
  • Table 7 shows syntax of ICGConfig, according to an embodiment of the present invention.
  • ICGconfig shown in Table 7, defines the types of processes that should be processed in the internal channel processing block.
  • ICGDisabledPresent indicates whether at least one internal channel processing for CPEs is disabled due to channel allocation. That is, it is an indicator indicating whether at least one ICGDisabledCPE has a value of 1.
  • ICGDisabledCPE indicates whether each internal channel processing for CPEs is not used for channel allocation reasons. That is, it is an indicator indicating whether each CPE uses an internal channel.
  • ICGPreAppliedPresent indicates whether at least one CPE is encoded in consideration of internal channel gain.
  • ICGPreAppliedCPE is an indicator indicating whether each CPE has been encoded in consideration of internal channel gain, that is, whether or not internal channel gain has been preprocessed at the encoder.
  • ICGAppliedPresent For each CPE, if ICGAppliedPresent is set to 1, ICGPreAppliedCPE, which is a 1-bit flag of ICGPreAppliedCPE, is read. That is, check whether Internal Channel Gain (ICG) should be applied to each CPE, and if it should be applied, check whether it is preprocessed and if it is preprocessed at the encoder, the decoder does not apply internal channel gain at the decoder. If no preprocessing is done at the encoder, the internal channel gain is applied at the decoder.
  • ICG Internal Channel Gain
  • an internal channel signal is generated inside the core codec decoder to reduce the number of format converter input channels.
  • internal channel signal generation is omitted for the CPE in which ICGDisabledCPE is set to 1.
  • Internal channel processing corresponds to the process of multiplying the decoded mono signal by the internal channel gain, and the internal channel gain is calculated from the CLD and the format conversion parameters.
  • ICGDisabledCPE [n] indicates whether the nth CPE is capable of internal channel processing.
  • the corresponding CPE can process internal channels and ICGDisabledCPE [n] is set to 0.
  • CH_M_L060 and CH_T_L045 among the input channels are configured as one CPE, since two channels belong to the same channel group, ICGDisabledCPE [n] is set to 0 and an internal channel of CH_I_LEFT may be generated.
  • ICGDisabledCPE [n] is set to 1 because the two channels belong to different channel groups, and internal channel processing is not performed.
  • Quadruple Channel Element consisting of CPE pairs
  • a QCE consists of four channels belonging to one group, or (2) two channels belonging to one group and two belonging to another group Internal channel processing is possible when the channel is composed of and ICGDisableCPE [n] and ICGDisableCPE [n + 1] are both set to 0.
  • both ICGDisableCPE [n] and ICGDisableCPE [n + 1] shall be set to 1 for the CPE pair constituting the QCE.
  • ICGPreAppliedCPE [n] of ICGConfig indicates whether the nth CPE has applied internal channel gain at the encoder. If ICGPreAppliedCPE [n] is true, the decoder's internal channel processing block bypasses the downmix signal for stereo reproduction of the nth CPE. On the other hand, if ICGPreAppliedCPE [n] is false, the internal channel processing block of the downmix signal applies internal channel gain to the downmix signal.
  • ICGPreApplied [n] is set to 0 since the calculation of internal channel gain for the corresponding QCE or CPE is impossible.
  • the index ICGPreApplied [n] and ICGPreApplied [n + 1] for each CPE included in the QCE must have the same value.
  • bitstream configuration and syntax to be changed or added for internal channel processing will be described using Tables 8 to 16.
  • Table 8 shows the syntax of mpegh3daExtElementConfig (), according to an embodiment of the present invention.
  • ICGConfig can be called during configuration to acquire whether to use Internal Channel and whether to apply ICG as shown in Table 7.
  • Table 9 shows usacExtElementType according to an embodiment of the present invention.
  • ID_EXT_ELE_ICG is added for internal channel processing, and its value may be 9.
  • Table 10 shows speakerLayoutType according to an embodiment of the present invention.
  • speaker layout type speakerLayoutType for internal channel should be defined. Table 10 shows the meaning of each speakerLayoutType value.
  • LCChannelConfiguration has the same layout as ChannelConfiguration, but has a channel assignment order to enable an optimal internal channel structure using CPE.
  • Table 11 shows the syntax of SpeakerConfig3d () according to an embodiment of the present invention.
  • Table 12 shows immersiveDownmixFlag, according to an embodiment of the present invention.
  • the speakerLayoutType must be 0 or 3
  • CICPspeakerLayoutIdx has one of 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15, 16, 17, and 18.
  • Table 13 shows the syntax of SAOC3DgetNumChannels (), according to an embodiment of the present invention.
  • Table 14 shows a channel assignment order according to an embodiment of the present invention.
  • Table 14 shows the channel number, order, and possible internal channel types according to the loudspeaker layout or LCChannelConfiguration, as a newly defined channel allocation order for internal channels.
  • Table 15 shows the syntax of mpegh3daChannelPairElementConfig () according to an embodiment of the present invention.
  • mpegh3daChannelPairElementConfig should be modified to process isInternal Channel Processed () after Mps212Config () processing when stereoConfigIndex is greater than 0 as shown in Table 15.
  • FIG. 4 is a detailed block diagram of an internal channel gain applying unit to an internal channel signal in a decoder according to an embodiment of the present invention.
  • the internal channel gain applicator disclosed in FIG. 4 includes an internal channel gain acquirer 410 and a multiplier 420.
  • the internal channel gain acquisition unit 410 uses the CLD to internal Acquire channel gain.
  • the multiplier 420 obtains the internal channel signal ICH_A 440 by multiplying the obtained internal channel gain by the received mono QMF subband sample.
  • the internal channel signal is internal channel gain to mono QMF subband samples for CPE. Can be reconstructed simply by multiplying Where l is the time index m is the frequency index.
  • FIG. 5 is a decoding block diagram when internal channel gain is pre-processed in an encoder according to an embodiment of the present invention.
  • the MPS212 can be bypassed at the decoder by pre-processing the internal channel gain corresponding to the CPE at the MPEG-H 3D audio encoder, further reducing the decoder complexity.
  • an input CPE is composed of a channel pair of CH_M_000 and CH_L_000.
  • the decoder determines 510 whether the output layout is stereo.
  • the output layout is stereo, since the internal channel is used, the mono QMF subband samples 540 received as the internal channel signal for the internal channel ICH_A 550 are output.
  • the output layout is not stereo, since internal channel processing does not use the internal channel, the inverse internal channel gain processing 520 is performed to restore the internal channel processed signal (560).
  • the MPS212 upmix 530 is used to output the signal for each of the CH_M_000 571 and the CH_L_000 572.
  • the problem caused by the covariance analysis of the format converter is that the number of input channels and the number of output channels are small compared to the number of input channels, and have the largest decoding complexity when the output layout is stereo in MPEG-H audio.
  • the amount of computation added to multiply the inverse of the internal channel gain is assumed to be two sets of CLDs per frame (multiplication 5, addition 2, division 1, square root 1). 55 arithmetic) (71 bands) X (2 parameter sets) X (48000/2048) X (13 internal channels), which is approximately 2.4 MOPS and does not place a heavy load on the system.
  • the QMF subband samples of the internal channel, the number of internal channels, and the type of each internal channel are passed to the format converter, where the number of internal channels is the size of the covariance matrix in the format converter. Determine.
  • Table 16 shows decoding scenarios of MPS and SBR determined based on channel components and playback layout, according to an embodiment of the present invention.
  • MPS uses a multichannel audio signal using ancillary data consisting of downmix summed into a minimum number of channels (mono or stereo) and spatial cue parameters that represent human perception of the multichannel audio signal. Is the technique of encoding.
  • the MPS encoder receives N multi-channel audio signals and extracts spatial parameters expressed as difference information between two ears based on positive effects and correlation between channels as additional information. Since the extracted spatial parameter is very small information (within 4kbps per channel), it is possible to provide high quality multichannel audio even in a bandwidth that can provide only mono or stereo audio service.
  • the MPS encoder generates a downmix signal from the input multi-channel input signal, and the generated downmix signal is encoded by MPEG USAC, which is an audio compression technology, and transmitted along with spatial parameters.
  • the N multi-channel signals input to the encoder are decomposed into frequency bands by an analysis filter bank.
  • a typical method of dividing the frequency domain into subbands is to use a Discrete Fourier Transform (DFT) or Quadrature Mirror Filter (QMF), which uses a QMF filter to perform this with lower complexity in MPEG surround.
  • DFT Discrete Fourier Transform
  • QMF Quadrature Mirror Filter
  • SBR Spectral Band Replication
  • SBR is a technology that copies and pastes low frequency bands into high frequency bands, which are difficult for humans to detect, and transmits information about high frequency band signals by parameterization, and can realize wide bandwidth with low bitrate.
  • High compression rate and bitrate are mainly used in low codecs, and it is difficult to express harmonics because some information in the high frequency band is lost, but has a high reconstruction rate in an audible frequency.
  • the SBR applied to internal channel processing is the same as ISO / IEC 23003-3: 2012 except for the difference in the domain being processed.
  • the SBR of ISO / IEC 23003-3: 2012 is defined in the QMF domain, but internal channels are handled in the hybrid QMF domain. Therefore, if the number of indexes in the QMF domain is k, the number of frequency indexes for overall SBR processing for the internal channel is k + 7.
  • FIG. 7 In the case where the CPE is output in a stereo playback layout, an embodiment of a decoding scenario of stereo SBR decoding after MPS decoding is disclosed in FIG. 7.
  • FIGS. 8 and 9 an embodiment of a scenario of respectively performing SBR decoding on the decoded signals after MPS decoding on the CPE pair, respectively, is disclosed in FIGS. 8 and 9.
  • MPS212 encoded CPE signals processed at the decoder is as follows.
  • the definition of the MPS212 encoded QCE signals processed at the decoder is as follows.
  • cplx_out_dmx_L_ICG_SBR 22.2-to-2 First full-band decoded internal channel signal comprising downmixed parameters for format conversion and a high frequency component generated by SBR
  • cplx_out_dmx_R_ICG_SBR A second full-band decoded internal channel signal comprising downmixed parameters for 22.2-to-2 format conversion and a high frequency component generated by the SBR.
  • FIG. 6 is a flowchart of a method for processing an internal channel in a structure of MPS decoding after mono SBR decoding when a CPE is output in a stereo reproduction layout according to an embodiment of the present invention.
  • ICGDisabledCPE [n] is TRUE, the CPE bitstream is decoded (620) as defined in ISO / IEC 23008-3. If ICGDisabledCPE [n] is FALSE, mono SBR is performed on the CPE bitstream if SBR is required. Stereo decoding generates a downmix signal cplx_out_dmx (630).
  • the ICGPreAppliedCPE is checked 640 to determine whether internal channel gain has already been applied at the encoder end.
  • the downmix signal cplx_out_dmx is subjected to hybrid QMF domain internal channel processing 650 to generate the ICG post-application downmix signal cplx_out_dmx_postICG.
  • MPS parameters are used to calculate internal channel gains.
  • the dequantized linear CLD value for CPE is calculated by ISO / IEC 23008-3, and the internal channel gain is calculated according to equation (2).
  • Cplx_out_dmx_postICG is generated by multiplying the downmix signal cplx_out_dmx by the internal channel gain according to equation (2).
  • the downmix signal cplx_out_dmx is analyzed 660 to obtain the downmix signal cplx_out_dmx_preICG for ICG shipment.
  • Cplx_out_dmx_preICG or cplx_out_dmx_postICG becomes the final internal channel processing output signal cplx_out_dmx_ICG according to the setting of ICGPreApplied CPE [n].
  • FIG. 7 is a flowchart of a method for processing an internal channel for stereo SBR decoding after MPS decoding when a CPE is output in a stereo reproduction layout according to an embodiment of the present invention.
  • the step S downmixes the SBR parameters for two channels to generate an SBR parameter for one channel (780) and performs a mono SBR using the generated SBR parameters (770). Is added, and cplx_out_dmx_ICG on which mono SBR has been performed becomes the final internal channel processing output signal cplx_out_dmx_ICG.
  • the cplx_out_dmx_preICG signal or the cplx_out_dmx_postICG signal corresponds to a bandlimited signal.
  • the SBR parameter pair for the upmixed stereo signal should be downmixed in the parameter domain for bandwidth extension of the bandlimited internal channel signal cplx_out_dmx_preICG or cplx_out_dmx_postICG.
  • the SBR parameter downmixer should include multiplying the high frequency bands extended by the SBR with the EQ and gain parameters of the format converter. A detailed method of downmixing the SBR parameters will be described later.
  • FIG. 8 is a block diagram of an internal channel processing method in a structure using stereo SBR when QCE is output in a stereo reproduction layout according to an embodiment of the present invention.
  • ICGPreApplied [n] and ICGPreApplied [n + 1] are both 0, that is, a method of applying internal channel gain in a decoder.
  • the overall decoding structure proceeds in the order of bitstream decoding 810, stereo decoding 820, hybrid QMF analysis 830, internal channel processing 840 and stereo SBR 850. do.
  • bitstreams for each of the CPE pairs constituting the QCE are decoded 811 and 812
  • the SBR payload, the MPS212 payload, and the CplxPred payload are extracted from the decoded signal.
  • Stereo decoding 821 is performed using the decoded CplxPred payload, and the stereo decoded signals cplx_dmx_L and cplx_dmx_R are input to the internal channel processing unit 841 and 842 through hybrid QMF analysis 831 and 832 respectively. Delivered.
  • the generated internal channel signals cplx_dmx_L_PostICG and cplx_dmx_R_PostICG are band limited signals. Therefore, the two internal channel signals are stereo SBR 851 using downmix SBR parameters downmixing the SBR payload extracted from the bitstream of each CPE.
  • the band limited internal channel signal is high frequency extended through the stereo SBR to generate cplx_dmx_L_ICG and cplx_dmx_R_ICG, which are full-band internal channel processing output signals.
  • the downmix SBR parameters are used to band widen the bandlimited internal channel signal to produce a full band internal channel signal.
  • the stereo decoding block 822 and the stereo SBR block 852 may be omitted since only one stereo decoding block and one stereo SBR block are used. That is, by using QCE, a simpler decoding structure can be implemented than when each CPE is processed separately.
  • FIG. 9 is a block diagram of an internal channel processing method in a structure using stereo SBR when QCE is output in a stereo reproduction layout according to another embodiment of the present invention.
  • the embodiment disclosed in FIG. 9 is an embodiment of a method in which ICGPreApplied [n] and ICGPreApplied [n + 1] are all 1, that is, an internal channel gain is applied in an encoder.
  • the overall decoding structure proceeds in the order of bitstream decoding 910, stereo decoding 920, hybrid QMF analysis 930, and stereo SBR 950.
  • the decoder When the internal channel gain is applied to the encoder, the decoder does not perform separate internal channel processing, and thus, in FIG. 9, internal channel processing blocks 841 and 842 are omitted in comparison with FIG. 8. Since other processes are similar to those of FIG. 8, redundant descriptions are omitted.
  • the stereo decoded signals cplx_dmx_L and cplx_dmx_R are respectively transferred to the input signal of the stereo SBR block 951 through hybrid QMF analysis 931 and 932. Passing through the stereo SBR block, cplx_dmx_L_ICG and cplx_dmx_R_ICG, which are full-band internal channel processing output signals, are generated.
  • the decoder should apply inverse ICG (IG) if the output channel is not a stereo output channel.
  • Inverse internal channel gain IG is calculated using Equation 3 using MPS parameters and format conversion parameters.
  • nth cplx_dmx must be multiplied by the reverse internal channel gain before the MPS block and the rest of the decoding process should follow ISO / IEC 23008-3.
  • the band-limited inter-band instead of the MPS upmixed stereo / quad channel signal for CPE / QCE before the SBR block.
  • the null channel signal is generated.
  • the SBR payload is stereo SBR encoded for the MPS upmixed stereo / quad channel signal
  • the stereo SBR payload must be downmixed by multiplying the gain and EQ of the format converter in the parameter domain.
  • Inverse filtering mode is selected by ensuring that the stereo SBR parameters have maximum values in each noise floor band.
  • the additional harmonic is a combination of additional sine waves, and may be expressed as shown in Equation 5.
  • FIG. 10 is a diagram for a method of determining a time boundary, which is an SBR parameter, according to an embodiment of the present invention.
  • FIG. 10A shows a temporal envelope grid when the starting boundaries of the first envelope are the same and the ending boundaries of the last envelope are the same.
  • 10b shows the temporal envelope grid in the case where the starting boundaries of the first envelope are different and the ending boundaries of the last envelope are the same.
  • 10C shows a temporal envelope grid in which the starting boundaries of the first envelope are the same and the ending boundaries of the last envelope are different.
  • FIG. 10D shows a temporal envelope grid when the starting boundaries of the first envelope are different and the ending boundaries of the last envelope are different.
  • Time Envelope Grid for Internal Channel SBR Is generated by dividing the stereo SBR time grid into the smallest pieces with the highest resolution.
  • the starting threshold of is set to the largest starting threshold for the stereo channel.
  • the envelope between time grid 0 and the starting boundary has already been processed in the previous frame.
  • the largest value among the end boundaries of the last envelopes of the two channels is selected as the end boundary of the last envelope.
  • the start / end boundaries of the first and last envelopes are determined to have the most granular resolution. If there are more than 5 envelopes, Starting at the end of We need to reduce the number of envelopes by searching up to the starting point of, and finding the number of envelopes less than four and removing the starting boundary of the envelopes. This process continues until five envelopes remain.
  • Downmixed Noise Time Boundary The number of times is determined by taking a large value between the noise time boundaries of the two channels.
  • First grid and merge noise time boundary Envelope time boundary Is determined by taking the first grid and the last grid.
  • noise time boundary Is greater than 1
  • the noise time boundary Of channels greater than 1 Is selected. If both channels are greater than 1 If you have The minimum value of Is selected.
  • FIG. 11 is a diagram for describing a method of merging frequency resolution which is an SBR parameter according to an embodiment of the present invention.
  • Frequency Resolution of Pathology Envelope Time Boundaries Is selected. Frequency resolution for each section of , The maximum value is as shown in FIG. Is selected.
  • Merged Noise Floor Data Is a sum of two channel data and is determined according to Equation 7.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함한다.

Description

저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
본 발명은 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치에 대한 것으로, 보다 상세하게는, 스테레오 출력 레이아웃 환경에서 입력 채널들에 대한 인터널 채널 처리를 수행함으로써 포맷 변환기의 입력 채널 개수를 감소시켜 포맷 변환기에서 수행되는 공분산 연산 횟수를 감소시키는 방법 및 장치에 대한 발명이다.
MPEG-H 3D 오디오는 다양한 종류의 신호를 처리할 수 있으며, 입출력 형태의 제어가 용이하여 차세대 오디오 신호 처리를 위한 해결책으로 기능한다. 또한, 기기의 소형화 경향 및 시대의 흐름에 따라 오디오 재생 환경은 스테레오 재생 환경의 모바일 기기를 통해 재생되는 비율이 높아지고 있다.
22.2 채널 등 다채널로 구현되는 실감 오디오(immersive audio) 신호가 스테레오 재생 시스템으로 전달되는 경우, 모든 입력 채널이 디코딩되어야 하며 실감 오디오 신호를 다운믹스하여 스테레오 포맷으로 변환해야 한다.
입력 채널의 개수가 증가할수록, 또한 출력 채널의 개수가 감소할수록 이와 같은 과정에서 공분산 분석 및 위상 정합을 위해 필요한 디코더의 복잡도는 증가한다. 이와 같은 복잡도의 증가는 모바일 기기에서 연산 속도뿐 아니라 배터리 소모에도 큰 영향을 미치게 된다.
상술한 바와 같이, 실감 음향을 제공하기 위하여 입력 채널의 개수는 증가하는 반면 휴대성을 위하여 출력 채널의 개수는 감소하는 환경에서, 디코딩시 포맷 변환을 위한 복잡도가 문제된다.
본 발명은 전술한 종래 기술의 문제점을 해결하며, 디코더에서 포맷 변환의 복잡도를 감소시키는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호를 생성하는 단계는, 수신된 오디오 비트스트림을, MPS212 페이로드에 포함된 CLD(Channel Level Difference)에 기초하여, 하나의 CPE에 포함된 채널 쌍에 대한 신호로 업믹싱하는 단계; 및 업믹싱된 비트스트림을, 렌더링 파라미터들에 기초하여, 스케일링하는 단계; 및 스케일링된 비트스트림을 믹싱하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호를 생성하는 단계는, 하나의 CPE에 대한 인터널 채널 신호 생성 여부를 결정하는 단계를 더 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호 생성 여부는, 하나의 CPE에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고, 하나의 CPE에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect)채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력된다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호는 실감 오디오(immersive audio) 신호이다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호를 생성하는 단계는, 인터널 채널 게인을 계산하는 단계; 및 인터널 채널 게인을 적용하는 단계;를 더 포함한다.
상기 기술적 과제를 해결하기 위한 오디오 신호를 처리하는 장치는, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 수신부; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 인터널 채널 생성부; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 스테레오 출력 신호 생성부;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호 생성부는, 수신된 오디오 비트스트림을, MPS212 페이로드에포함된 CLD(Channel Level Difference)에 기초하여, 하나의 CPE에 포함된 채널 쌍에 대한 신호로 업믹싱하고, 업믹싱된 비트스트림을, 렌더링 파라미터들에 기초하여, 스케일링하고, 스케일링된 비트스트림을 믹싱한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 생성부는, 하나의 CPE에 대한 인터널 채널 신호 생성 여부를 결정한다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고, 하나의 CPE에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect)채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력된다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호는 실감 오디오(immersive audio) 신호이다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호 생성부는, 인터널 채널 게인을 계산하고, 인터널 채널 게인을 적용한다.
한편, 본 발명의 일 실시예에 따르면, 전술한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 인터널 채널을 이용함으로써 포맷 변환기(format converter)에 입력되는 채널의 숫자를 감소시켜, 포맷 변환기의 복잡도를 감소시킬 수 있다. 보다 구체적으로, 포맷 변환기에 입력되는 채널의 숫자가 감소됨으로써 포맷 변환기에서 수행되는 공분산 분석이 간소화되어 복잡도가 감소되는 효과가 있다.
도 1 은 24개의 입력 채널을 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13 개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 일 실시예를 나타낸다.
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
도 6 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, 모노 SBR 디코딩 후 MPS 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
도 7 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, MPS디코딩 후 스테레오 SBR 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
도 8 은 본 발명의 일 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 9 는 본 발명의 또 다른 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 10a 는 첫번째 포락선의 시작 경계들이 서로 같고, 마지막 포락선의 종료 경계들이 서로 같은 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10b 는 첫번째 포락선의 시작 경계들은 서로 다르고, 마지막 포락선의 종료 경계들은 같은 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10c 는 첫번째 포락선의 시작 경계들은 서로 같고, 마지막 포락선의 종료 경계들은 서로 다른 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10d 는 첫번째 포락선의 시작 경계들이 서로 다르고, 마지막 포락선의 종료 경계들이 서로 다른 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
표 7 은 본 발명의 일 실시예에 따른, ICGConfig의 신택스를 나타낸다.
표 8 은 본 발명의 일 실시예에 따른, mpegh3daExtElementConfig()의 신택스를 나타낸다.
표 9 는 본 발명의 일 실시예에 따른, usacExtElementType를 나타낸다.
표 10 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
표 11 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
표 12 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
표 13 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
표 14 는 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 15는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
표 16 은 본 발명의 일 실시예에 따른, 채널 구성 요소 및 재생 레이아웃에 기초하여 결정되는 MPS와 SBR의 디코딩 시나리오를 나타낸다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.
예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서 사용되는 용어의 정의는 다음과 같다.
인터널 채널(IC, Internal Channel)은, MPS212(MPEG Surround stereo) 업믹싱과 포맷 변환기(FC, Format Converter) 다운믹싱에서 발생하는 불필요한 연산을 제거하기 위해, 포맷 변환 과정에서 사용되는 가상의 중간단계(intermediate) 채널로, 스테레오 출력을 고려한다.
인터널 채널 신호(internal channel signal)는, 스테레오 신호를 제공하기 위하여 포맷 변환기에서 믹싱되는 모노신호로, 인터널 채널 게인을 이용하여 생성된다.
인터널 채널 처리(internal channel processing)는, MPS212 디코딩 블록에 기초하여 인터널 채널 신호를 생성하는 처리를 의미하며, 인터널 채널 처리 블록에서 수행된다.
인터널 채널 게인(ICG, Internal Channel Gain)은, CLD(Channel Level Difference) 값과 포맷 변환 파라미터들로부터 계산되는, 인터널 채널 신호에 적용되는 게인을 의미한다.
인터널 채널 그룹(internal channel group)은, 코어 코덱(core codec) 출력 채널 위치에 기초하여 결정되는 인터널 채널의 타입을 의미하며 코어 코덱 출력 채널 위치 및 인터널 채널 그룹은 표 4에 정의되어 있다(후술함).
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 24개의 입력 채널을 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
멀티 채널 입력의 비트스트림이 디코더로 전달되면, 디코더에서는 입력 채널 레이아웃이 재생 시스템의 출력 채널 레이아웃에 맞게 다운믹싱된다. 예를 들어, 도 1 과 같이 MPEG 표준을 따르는 22.2 채널 입력 신호가 스테레오 채널 출력 시스템으로 재생될 때, 디코더에 포함되는 포맷 변환기(130)는 포맷 변환기 내부에 규정된 포맷 변환기 규칙에 따라 24 개의 입력 채널 레이아웃을 2 개의 출력 채널 레이아웃으로 다운믹싱한다.
이 때, 디코더에 입력되는 22.2 채널 입력 신호는 하나의 CPE(Channel Pair Element)에 포함되는 두개의 채널에 대한 신호들이 다운믹스된 CPE 비트스트림(110)들을 포함한다. CPE 비트스트림은 MPS212(MPEG Surround based stereo)를 이용해 인코딩되어 있으므로, 수신된 CPE 비트스트림은 MPS212(120)를 이용해 디코딩된다. 이 때, LFE채널, 즉 우퍼채널은 CPE로 구성되지 않는다. 따라서, 22.2 채널 입력이라면 디코더 입력 신호는11개의 CPE에 대한 비트스트림과 두개의 우퍼채널에 대한 비트스트림으로 구성된다.
22.2 채널 입력 신호를 구성하는 CPE 비트스트림들에 대한 MPS212 디코딩이 수행되면, 각각의 CPE에 대한 두개의 MPS212 출력 채널(121, 122)이 생성되며, MPS212를 이용해 디코딩 된 출력 채널(121, 122)들은 포맷 변환기의 입력 채널이 된다. 도 1 과 같은 경우 포맷 변환기의 입력 채널 개수 Nin은 우퍼채널을 포함하여 24가 된다. 따라서, 포맷 변환기에서는 24*2 다운믹싱이 수행되어야 한다.
포맷 변환기에서는, 멀티 채널 신호들 사이의 위상 차이에 의한 음색 왜곡(timbral distortion)을 방지하기 위해, 공분산 분석(covariance analysis)에 따른 위상 정합(phase alignment)이 수행된다. 이 때, 공분산 매트릭스는 NinⅩNin 차원을 가지므로, 공분산 매트릭스를 분석하기 위해서는 이론적으로 (NinⅩ(Nin-1)/2+Nin)Ⅹ71bandⅩ2Ⅹ16Ⅹ(48000/2048)번의 복소수 곱셈이 수행되어야 한다.
입력 채널의 개수 Nin이 24인 경우, 한번의 복소수 곱셈을 위해서는 네번의 연산이 수행되어야 하며 대략 64 MOPS(Million Operations Per Second)의 성능이 요구된다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 1 의 믹싱 매트릭스에서 가로축(140)과 세로축(150)은 24개의 입력 채널에 대해 번호를 매긴 것으로 공분산 분석에서 그 순서는 큰 의미를 가지지 않는다. 표 1 에 개시된 실시예에서 믹싱 매트릭스의 각 요소(element)가 1의 값을 갖는 경우(160)는 공분산 분석이 필요하지만, 0의 값을 갖는 경우(170)는 공분산 분석이 생략될 수 있다.
예를 들어, CM_M_L030 및 CH_M_R030 채널과 같이 스테레오 출력 레이아웃으로의 포맷 변환 과정에서 서로 믹싱되지 않은 입력 채널들의 경우, 믹싱 매트릭스에서 해당 요소의 값이 0이 되며 서로 믹싱되지 않는 CM_M_L030 및 CH_M_R030채널 상호간의 공분산 분석 과정이 생략될 수 있다.
따라서 24*24번의 공분산 분석 중 서로 믹싱되지 않는 입력 채널들에 대한 128번의 공분산 분석을 제외할 수 있다.
또한, 믹싱 매트릭스는 입력 채널에 따라 대칭으로 구성되므로, 표 1 에서
표 1
Figure PCTKR2016006495-appb-T000001
대각선을 기준으로 하단(190)과 상단(180)을 나누어, 하단에 해당하는 영역은 공분산 분석을 생략할 수 있다. 또한 대각선의 상단에 해당하는 영역 중 굵은 글씨로 기재된 부분에 대해서만 공분산 분석이 수행되므로, 최종적으로 236번의 공분산 분석이 수행된다.
이와 같이 믹싱 매트릭스의 값이 0인 경우(서로 믹싱되지 않는 채널들) 및 믹싱 매트릭스의 대칭성을 이용해 불필요한 공분산 분석 과정을 제거하면 공분산 분석은 236Ⅹ71bandⅩ2Ⅹ16Ⅹ (48000/2048)번의 복소수 곱셈이 수행되어야 한다.
따라서, 이와 같은 경우 50 MOPS가 요구되므로 모든 믹싱 매트릭스에 대하여 공분산 분석을 수행하는 경우에 비해 공분산 분석에 의한 시스템 부하가 개선되는 효과가 있다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
한편 MPEG-H 3D 오디오는 제한된 전송 환경에서 멀티채널 오디오 신호를 보다 효율적으로 전달하기 위해 CPE를 이용한다. 하나의 채널 쌍에 해당하는 두 개의 채널들이 스테레오 레이아웃으로 믹싱되는 경우, 채널간 상관도(ICC, Inter Channel Correlation) ICC=1로 설정되어 역상관기(decorrelator)가 적용되지 않으므로 두 개의 채널은 서로 같은 위상 정보를 갖는다.
즉, 스테레오 출력을 고려하여 각각의 CPE에 포함되는 채널쌍을 결정하면, 업믹스된 채널쌍들은 서로 같은 패닝 계수를 갖게 된다(후술함).
하나의 인터널 채널은 하나의 CPE에 포함되는 두 개의 동위상(in-phase) 채널이 믹싱되어 생성된다. 하나의 인터널 채널 신호는 인터널 채널에 포함되는 두개의 입력 채널이, 스테레오 출력 채널로 변환되는 경우의 포맷 변환기 변환 규칙에 따른 믹싱 게인과 EQ(Equalization) 값에 기초하여 다운믹싱된다. 이 때 하나의 CPE에 포함되는 채널쌍은 서로 동위상 채널이므로 다운믹싱 후 채널간 위상을 정합하는 과정이 필요하지 않다.
MPS212 업믹서의 스테레오 출력 신호들은 위상차이가 없지만, 도 1 에 개시된 실시예에서는 이를 고려하지 않으므로 복잡도가 불필요하게 증가하게 된다. 재생 레이아웃이 스테레오인 경우, 포맷 변환기의 입력으로 업믹스된 CPE 채널 쌍 대신 하나의 인터널 채널을 이용함으로써, 포맷 변환기의 입력 채널 개수를 줄일 수 있다.
도 2 에 개시된 실시예에서는, CPE 비트스트림(210)을 MPS212 업믹싱하여 두개의 채널을 생성하는 과정 대신, CPE 비트스트림를 인터널 채널 처리(220)하여 하나의 인터널 채널(221)을 생성한다. 이 때, 우퍼 채널은 CPE로 구성되지 않으므로 각각의 우퍼채널 신호가 인터널 채널 신호가 된다.
도 2에 개시된 실시예에서 22.2 채널인 경우를 가정하면 이론적으로 22개의 일반 채널에 대한 11개의 CPE에 대한 인터널 채널과 2개의 우퍼 채널에 대한 인터널 채널을 포함하여 Nin=13개의 인터널 채널이 포맷 변환기의 입력 채널이 된다. 따라서, 포맷 변환기에서는 13*2 다운믹싱이 수행된다.
이와 같이 스테레오 재생 레이아웃인 경우, 인터널 채널을 이용함으로써 MPS212를 통해 업믹싱하고, 포맷 변환을 통해 다시 다운믹싱하는 과정에서 발생하는 불필요한 과정을 추가적으로 제거함으로써 디코더의 복잡도를 보다 더 감소시킬 수 있다.
하나의 CPE에 대한 두 개의 출력 채널 i, j 에 대한 믹싱 매트릭스
Figure PCTKR2016006495-appb-I000001
값이 1인 경우 채널간 상관도(ICC, Inter Channel Correlation)
Figure PCTKR2016006495-appb-I000002
로 설정되며, 역상관기(decorrelation) 및 잔여(residual) 처리 단계는 생략될 수 있다.
인터널 채널은 포맷 변환기의 입력에 해당하는 가상의 중간단계 채널로 정의된다. 도 2 에 도시된 것과 같이 각각의 인터널 채널 처리 블록(220)은 CLD와 같은 MPS212 페이로드 및 EQ, 게인값과 같은 렌더링 파라미터들을 이용하여 인터널 채널 신호를 생성한다. 이 때, EQ 및 게인값들은 포맷 변환기의 변환 규칙 테이블에 정의된, MPS212 블록의 출력 채널에 대한 렌더링 파라미터를 의미한다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 2
Figure PCTKR2016006495-appb-T000002
표 1 과 마찬가지로, 표 2 의 믹싱 매트릭스에서 가로축과 세로축은 입력 채널의 인덱스를 의미하며 공분산 분석에서 그 순서는 큰 의미를 가지지 않는다.
상술한 바와 같이, 믹싱 매트릭스는 대각선을 기준으로 대칭 성질을 가지므로, 표 2 에 개시된 믹싱 매트릭스 역시 대각선을 기준으로 상단 혹은 하단의 구성을 선택함으로써 일부에 대한 공분산 분석을 생략할 수 있다. 또한, 스테레오 출력 채널 레이아웃으로 포맷 변환 과정에서 믹싱되지 않는 입력 채널들에 대해서 역시 공분산 분석을 생략할 수 있다.
그러나 표 1 에 개시된 실시예와 달리 표 2 에 개시된 실시예에서는 22개의 일반 채널로 구성되는 11개의 인터널 채널 및 2개의 우퍼 채널을 포함하는 13개의 채널이 스테레오 출력 채널로 다운믹싱되며, 포맷 변환기의 입력 채널 개수 Nin은 13이 된다.
그 결과, 표 2 와 같이 인터널 채널을 이용하는 경우의 실시예에서는, 75번의 공분산 분석이 수행되며 이론적으로 19MOPS가 요구되므로 인터널 채널을 이용하지 않는 경우와 비교해 공분산 분석에 의한 포맷 변환기의 부하를 크게 감소시킬 수 있다.
포맷 변환기는, 다운믹싱을 위한 다운믹스 매트릭스
Figure PCTKR2016006495-appb-I000003
가 정의되어 있으며, 믹싱 매트릭스
Figure PCTKR2016006495-appb-I000004
는 다음과 같이
Figure PCTKR2016006495-appb-I000005
를 이용하여 계산된다.
Figure PCTKR2016006495-appb-I000006
각 OTT 디코딩 블록은 채널 번호 i 및 j에 해당하는 두 개의 채널을 출력하며, 믹싱 매트릭스
Figure PCTKR2016006495-appb-I000007
가 1인 경우는
Figure PCTKR2016006495-appb-I000008
로 설정되어 업믹스 매트릭스
Figure PCTKR2016006495-appb-I000009
의
Figure PCTKR2016006495-appb-I000010
와
Figure PCTKR2016006495-appb-I000011
가 계산되므로 역상관기를 사용하지 않는다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
표 3
Figure PCTKR2016006495-appb-T000003
22.2 채널 비트스트림이 표 3 과 같은 구조를 가지면, 13개의 인터널 채널들은 ICH_A 부터 ICH_M까지 정의될 수 있으며, 13개의 인터널 채널들에 대한 믹싱 매트릭스는 표 2와 같이 결정될 수 있다.
표 3 의 첫번째 열은 입력 채널에 대한 인덱스를 나타내며, 첫번째 행은 입력 채널이 CPE를 구성하는지 여부, 스테레오 채널로의 믹싱 게인 및 인터널 채널 인덱스를 나타낸다.
예를 들어 CM_M_000과 CM_L_000이 하나의 CPE로 구성되는 ICH_A 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인과 우 출력 채널에 적용되는 믹싱 게인은 모두 0.707의 값을 갖는다. 즉, 좌 출력 채널과 우 출력 채널로 업믹싱된 신호는 서로 동일한 크기로 재생된다.
또는, CH_M_L135와 CH_U_L135가 하나의 CPE로 구성되는 ICH_F 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인은 1, 우 출력 채널에 적용되는 믹싱 게인은 0의 값을 갖는다. 즉, 모든 신호는 좌 출력 채널로만 재생되며 우 출력 채널로는 재생되지 않는다.
반대로, CH_M_R135와 CH_U_R135가 하나의 CPE로 구성되는 ICH_J 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인은 0, 우 출력 채널에 적용되는 믹싱 게인은 1의 값을 갖는다. 즉, 모든 신호는 좌 출력 채널로는 재생되지 않고 우 출력 채널로만 재생된다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 장치의 일 실시예를 나타낸다.
하나의 CPE에 대한 인터널 채널은 다운믹스된 모노신호에 CLD와 게인 및 EQ와 같은 QMF 도메인의 포맷 변환 파라미터들을 적용함으로써 유도될 수 있다.
도 3 에 개시된 인터널 채널을 생성하는 장치는, 업믹서(310), 스케일러(320) 및 믹서(330)를 포함한다.
CH_M_000과 CH_L_000의 채널쌍에 대한 신호가 다운믹스된 CPE(340)가 입력되는 경우를 가정하면, 업믹서(310)는 CLD 파라미터를 이용하여 CPE 신호를 업믹싱한다. 업믹서(310)를 통과한 CPE 신호는 CH_M_000에 대한 신호(351)와 CH_L_000에 대한 신호(352)로 업믹스되며, 업믹스된 신호들의 위상 역시 같게 유지되며 포맷 변환기에서 함께 믹스될 수 있다.
업믹스된 CH_M_000 채널 신호 및 CH_L_000 채널 신호 각각은 포맷 변환기에 정의되어 있는 변환 규칙에 해당하는 게인 및 EQ에 의해 각 서브밴드별로 스케일링(320, 321)된다.
CH_M_000과 CH_L_000의 채널 쌍에 대해 각각 스케일링 된 신호들(361, 362)이 생성되면, 믹서(330)는 스케일링 된 신호들(361, 362)을 믹싱하고, 믹싱된 신호를 파워 정규화함으로써 포맷 변환을 위한 중간단계 채널 신호(intermediate channel signal)인 인터널 채널 신호 ICH_A(370)를 생성한다.
이 때, CLD를 이용하여 업믹스되지 않는, SCE(Single Channel Element) 및 우퍼채널 등의 경우, 인터널 채널은 원래의 입력 채널과 동일하다.
인터널 채널을 이용하는 코어 코덱 출력은 하이브리드 QMF(Quadrature Mirror Filter) 도메인에서 수행되므로, ISO IEC23308-3 10.3.5.2의 과정은 처리되지 않는다. 코어 코더의 각 채널을 할당하기 위하여, 표 4 내지 표 6 과 같은 추가적인 채널 할당 규칙 및 다운믹스 규칙이 정의된다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
표 4
Figure PCTKR2016006495-appb-T000004
인터널 채널은 코어 코더와 포맷 변환기의 입력채널 사이의 중간단계 채널에 해당하며 우퍼채널, 센터 채널, 좌측 채널 및 우측 채널의 네가지 타입이 있다.
CPE로 표현된 각 타입의 채널 쌍들이 동일한 인터널 채널 타입일 경우, 포맷 변환기에서 동일한 패닝 계수와 믹싱 매트릭스를 가지므로 인터널 채널을 이용할 수 있다. 즉, CPE에 포함된 채널 쌍이 같은 인터널 채널 타입을 갖는 경우 인터널 채널 처리가 가능하며 따라서 CPE를 구성할 때 같은 인터널 채널 타입을 갖는 채널들로 CPE를 구성하도록 할 필요가 있다.
디코더 입력 채널이 우퍼 채널, 즉 CH_LFE1, CH_LFE2 또는 CH_LFE3에 해당하면, 인터널 채널 타입은 우퍼 채널인 CH_I_LFE로 결정된다.
디코더 입력 채널이 센터 채널, 즉 CH_M_000, CH_L_000, CH_U_000, CH_T_000, CH_M_180 또는 CH_U_180에 해당하면, 인터널 채널 타입은 센터 채널인 CH_I_CNTR로 결정된다.
디코더 입력 채널이 좌측 채널, 즉 CH_M_L022, CH_M_L030, CH_M_L045, CH_M_L060, CH_M_L090, CH_M_L110, CH_M_L135, CH_M_L150, CH_L_L045, CH_U_L045, CH_U_L030, CH_U_L045, CH_U_L090, CH_U_L110, CH_U_L135, CH_M_LSCR 또는 CH_M_LSCH에 해당하면, 인터널 채널 타입은 좌측 채널인 CH_I_LEFT로 결정된다.
디코더 입력 채널이 우측 채널, 즉 CH_M_R022, CH_M_R030, CH_M_R045, CH_M_R060, CH_M_R090, CH_M_R110, CH_M_R135, CH_M_R150, CH_L_R045, CH_U_R045, CH_U_R030, CH_U_R045, CH_U_R090, CH_U_R110, CH_U_R135, CH_M_RSCR 또는 CH_M_RSCH에 해당하면, 인터널 채널 타입은 우측 채널인 CH_I_RIGHT로 결정된다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
표 5
Figure PCTKR2016006495-appb-T000005
CH_I_LFE는 우퍼채널로 고도각 0도에 위치하고 CH_I_CNTR 은 고도각 및 방위각이 모두 0도에 위치하는 채널에 해당한다. CH_I_LFET 는 고도각은 0도이고 방위각은 좌측 30도~60도 사이의 섹터에 위치하는 채널에 해당하며, CH_I_RIGHT 는 고도각은 0도이고 방위각은 우측 30도~60도 사이의 섹터에 위치하는 채널에 해당한다.
이 때 새로 정의된 인터널 채널들의 위치는 채널간 상대적 위치가 아닌 기준점에 대한 절대적인 위치이다.
CPE 쌍으로 구성된 QCE(Quadruple Channel Element)의 경우에도 인터널 채널이 적용될 수 있다(후술함).
인터널 채널을 생성하는 구체적인 방법은 두가지로 구현될 수 있다.
첫번째는 MPEG-H 3D 오디오 인코더에서 전처리(pre-processing) 하는 방법이고, 두번째는 MPEG-H 3D 오디오 디코더에서 후처리(post-processing) 하는 방법이다.
인터널 채널이 MPEG에서 이용되는 경우, 표 5 는 ISO/IEC 23008-3 표 90에 새로운 행으로 추가될 수 있다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
표 6
Figure PCTKR2016006495-appb-T000006
인터널 채널을 이용하기 위하여, 포맷 변환기에는 표 6 과 같은 추가적인 규칙이 추가되어야 한다.
인터널 채널 신호는 포맷 변환기의 게인 및 EQ 값들을 고려하여 생성된다. 따라서, 표 6에 나타난 것과 같이 게인 값은 1이고, EQ 인덱스는 0인, 추가적인 변환 규칙을 이용하여 인터널 채널 신호를 생성할 수 있다.
인터널 채널 타입이 센터 채널에 해당하는 CH_I_CNTR 채널이거나, 우퍼 채널에 해당하는 CH_I_LFE이면, 출력 채널은 CH_M_L030 및 CH_M_R030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 두개의 스테레오 출력 채널을 모두 이용하므로 출력 신호의 파워를 유지하기 위해 각 출력 채널 신호에 1/√2를 곱해야 한다.
인터널 채널 타입이 좌측 채널에 해당하는 CH_I_LEFT이면, 출력 채널은 CH_M_L030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 좌측의 출력 채널만을 이용하므로, CH_M_L030에는 게인 1이 적용되고 CH_M_R030에는 게인 0이 적용된다.
인터널 채널 타입이 우측 채널에 해당하는 CH_I_RIGHT이면, 출력 채널은 CH_M_R030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 우측의 출력 채널만을 이용하므로 CH_M_R030에는 게인 1이 적용되고 CH_M_L030에는 게인 0이 적용된다.
이 때, 인터널 채널과 입력 채널이 동일한 SCE 채널등의 경우, 일반적인 포맷 변환 규칙이 적용된다.
인터널 채널이 MPEG에서 이용되는 경우, 표 6 은 ISO/IEC 23008-3 표 96에 새로운 행으로 추가될 수 있다.
표 7 내지 표 15 는 MPEG에서 인터널 채널을 사용하기 위해 기존 규격이 변경되어야 하는 부분을 나타낸다.
표 7 은 본 발명의 일 실시예에 따른, ICGConfig의 신택스를 나타낸다.
표 7
Figure PCTKR2016006495-appb-T000007
표 7 에 도시된 ICGconfig는, 인터널 채널 처리 블록에서 처리되어야 하는 프로세스의 타입들을 정의한다.
ICGDisabledPresent는 CPE들에 대한 적어도 하나의 인터널 채널 처리가 채널 할당을 이유로 사용되지 않는지(disable) 여부를 나타낸다. 즉, 적어도 하나의 ICGDisabledCPE가 1의 값을 갖는지 여부를 나타내는 인디케이터이다.
ICGDisabledCPE는 CPE들에 대한 각각의 인터널 채널 처리가 채널 할당을 이유로 사용되지 않는지 여부를 나타낸다. 즉, 각각의 CPE가 인터널 채널을 사용하는지 여부를 나타내는 인디케이터이다.
ICGPreAppliedPresent는 적어도 하나의 CPE가 인터널 채널 게인을 고려하여 인코딩 되었는지 여부를 나타낸다.
ICGPreAppliedCPE는 각각의 CPE가 인터널 채널 게인을 고려하여 인코딩 되었는지 여부, 즉 인터널 채널 게인이 인코더에서 전처리되었는지 여부를 나타내는 인디케이터이다.
각각의 CPE에 대하여, ICGAppliedPresent가 1로 설정되어 있으면, ICGPreAppliedCPE의 1비트 플래그인 ICGPreAppliedCPE를 읽는다. 즉, 각각의 CPE에 인터널 채널 게인(ICG, Internal Channel Gain)이 적용되어야 하는지 여부를 확인하고, 적용되어야 한다면 전처리 된 것인지 여부를 확인하여 인코더에서 전처리 되었다면 디코더에서 인터널 채널 게인을 적용하지 않고, 인코더에서 전처리되지 않았다면 디코더에서 인터널 채널 게인을 적용하는 것이다.
실감 오디오 입력 신호가 CPE 또는 QCE를 이용해 MPS212 인코딩 되고 출력 레이아웃이 스트레오이면, 포맷 변환기 입력 채널 개수를 감소시키기 위해 코어 코덱 디코더 내부에서 인터널 채널 신호가 생성된다. 이 때, ICGDisabledCPE 가 1로 설정된 CPE에 대해서는 인터널 채널 신호 생성이 생략된다. 인터널 채널 처리는 디코딩 된 모노 신호에 인터널 채널 게인을 곱하는 과정에 해당하며, 인터널 채널 게인은 CLD와 포맷 변환 파라미터로부터 계산된다.
ICGDisabledCPE[n] 은 n번째 CPE가 인터널 채널 처리가 가능한지 여부를 나타낸다. n번째 CPE 채널 쌍에 포함되는 두 개의 채널이 표 4에 정의된 같은 채널 그룹에 속하는 경우, 해당 CPE는 인터널 채널 처리가 가능하며 ICGDisabledCPE[n]은 0으로 설정된다.
예를 들어, 입력 채널 중 CH_M_L060 과 CH_T_L045가 하나의 CPE로 구성된 경우, 두 채널은 같은 채널 그룹에 속하므로 ICGDisabledCPE[n]는 0으로 설정되며 CH_I_LEFT의 인터널 채널이 생성될 수 있다. 반면, 입력 채널 중 CH_M_L060 and CH_M_000이 하나의 CPE로 구성된 경우, 두 채널은 서로 다른 채널 그룹에 속하므로 ICGDisabledCPE[n]는 1로 설정되며, 인터널 채널 처리가 수행되지 않는다.
CPE 쌍으로 구성된 QCE(Quadruple Channel Element)의 경우, (1) QCE가 하나의 그룹에 속하는 네개의 채널로 구성된 경우 또는 (2) QCE가 하나의 그룹에 속하는 두개의 채널과 또 다른 그룹에 속하는 두개의 채널로 구성된 경우 인터널 채널 처리가 가능하며 ICGDisableCPE[n] 와 ICGDisableCPE[n+1]이 모두 0으로 설정된다.
(1)의 예를 들면, QCE가 CH_M_000, CH_L_000, CH_U_000 및 CH_T_000 네개의 채널로 구성된 경우, 인터널 채널 처리가 가능하며 인터널 채널 타입은 CH_I_CNTR이 된다. (2)의 예를 들면, QCE가 CH_M_L060, CH_U_L045, CH_M_R060 및 CH_U_R045 네 개의 채널로 구성된 경우, 인터널 처리가 가능하며 인터널 채널 타입은 CH_I_LEFT 및 CH_I_RIGHT이 된다.
(1) 또는 (2) 경우를 제외하면, 해당 QCE를 구성하는 CPE 쌍에 대한 ICGDisableCPE[n] 와 ICGDisableCPE[n+1]이 모두 1로 설정되어야 한다.
인터널 채널 게인이 인코더에서 적용되면 인터널 채널 게인이 디코더에서 적용되는 경우와 비교해 디코더에 요구되는 복잡도를 감소시킬 수 있다.
ICGConfig의 ICGPreAppliedCPE[n]는 n번째 CPE가 인코더에서 인터널 채널 게인이 적용되었는지 여부를 나타낸다. 만일 ICGPreAppliedCPE[n]가 참이라면, 디코더의 인터널 채널 처리 블록은 n번째 CPE의 스테레오 재생을 위한 다운믹스 신호 을 바이패스(bypass)한다. 반면, ICGPreAppliedCPE[n]가 거짓이라면, 다운믹스 신호는 디코더의 인터널 채널 처리 블록은 다운믹스 신호에 인터널 채널 게인을 적용한다.
ICGDisableCPE[n]가 1이면 해당 QCE 또는 CPE를 위한 인터널 채널 게인의 계산이 불가능하므로 ICGPreApplied[n]은 0으로 설정된다. CPE 쌍으로 구성되는 QCE에 대해서는, QCE에 포함되는 각각의 CPE에 대한 인덱스 ICGPreApplied[n] 와 ICGPreApplied[n+1]가 같은 값을 가져야 한다.
이하에서는 표 8 내지 표 16 을 이용해 인터널 채널 처리를 위해 변경 또는 추가되어야 하는 비트스트림 구성 및 신택스를 설명한다.
표 8 은 본 발명의 일 실시예에 따른, mpegh3daExtElementConfig()의 신택스를 나타낸다.
표 8
Figure PCTKR2016006495-appb-T000008
표 8 의mpegh3daExtElementConfig()에서의 예시와 같이 Configuration 과정에서 ICGConfig()를 호출하여 각 표 7과 같은 Internal Channel 사용 여부 및 ICG 적용 여부를 획득할 수 있다.
표 9 는 본 발명의 일 실시예에 따른, usacExtElementType를 나타낸다.
표 9
Figure PCTKR2016006495-appb-T000009
표 9 에 나타난 바와같이, usacExtElementType에서는 인터널 채널 처리를 위해 ID_EXT_ELE_ICG가 추가되고, 그 값은 9가 될 수 있다.
표 10 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
표 10
Figure PCTKR2016006495-appb-T000010
인터널 채널 처리를 위해서는 인터널 채널을 위한 스피커 레이아웃 타입 speakerLayoutType 이 정의되어야 한다. 표 10은 의 speakerLayoutType각 값에 대한 의미를 나타낸다.
speakerLayoutType==3인 경우, 라우드 스피커 레이아웃은 LCChannelConfiguration 인덱스의 의미에 의해 시그널링된다. LCChannelConfiguration는 ChannelConfiguration과 동일한 레이아웃을 가지지만, CPE를 이용하는 최적의 인터널 채널 구조를 가능하기 위한 채널 할당 순서(order)를 가진다.
표 11 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
표 11
Figure PCTKR2016006495-appb-T000011
상술한 바와 같이 speakerLayoutType==3인 경우, CICPspeakerLayoutIdx와 동일한 레이아웃을 이용하지만 인터널 채널을 위한 최적화된 채널 할당 순서(ordering)에서 차이가 있다.
speakerLayoutType==3이고 출력 레이아웃이 스테레오인 경우, 입력 채널 번호 Nin 는 코어 코덱 이후 인터널 채널의 번호로 변경된다.
표 12 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
표 12
Figure PCTKR2016006495-appb-T000012
인터널 채널을 위한 스피커 레이아웃 타입을 새로 정의함으로써 immersiveDownmixFlag 역시 수정되어야 한다. immersiveDownmixFlag가 1인 경우, 표 12와 같이 speakerLayoutType==3인 경우의 처리를 위한 구문이 추가되어야 한다.
오브젝트 확산(object spreading)은 다음과 같은 요건이 만족되어야 한다.
- 로컬 라우드스피커 설정은 LoudspeakerRendering()에 의해 시그널링되며,
- the speakerLayoutType은 0 또는 3이어야 하며,
- CICPspeakerLayoutIdx는 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18 중 하나의 값을 가진다.
표 13 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
SAOC3DgetNumChannels 은 표 13 에 나타난 것처럼 speakerLayoutType==3인 경우를 포함하도록 수정되어야 한다.
표 13
Figure PCTKR2016006495-appb-T000013
표 14 는 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 14 는 인터널 채널을 위해 새로 정의되는 채널 할당 순서로, 라우드스피커 레이아웃 또는 LCChannelConfiguration에 따른 채널 개수, 순서 및 가능한 인터널 채널 타입을 나타낸다.
표 14
Figure PCTKR2016006495-appb-T000014
Figure PCTKR2016006495-appb-I000012
표 15는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
인터널 채널 처리를 위해, 표 15에 개시된 것과 같이 stereoConfigIndex가 0보다 큰 경우 Mps212Config()처리를 한 후 isInternal Channel Processed()가 처리되도록 mpegh3daChannelPairElementConfig ()가 수정되어야 한다.
표 15
Figure PCTKR2016006495-appb-T000015
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
speakerLayout==3이고, isInternalProcessed가 0이고, 재생 레이아웃이 스테레오인 조건이 만족되어 Internal Channel Gain을 Decoder에서 적용시키는 경우, 도 4 와 같은 인터널 채널 처리 과정이 수행된다.
도 4 에 개시된 인터널 채널 게인 적용부는 인터널 채널 게인 획득부(410) 및 곱셈기(420)를 포함한다.
입력되는 CPE가 CH_M_000과 CH_L_000의 채널쌍으로 구성되는 경우를 가정하면, 해당 CPE에 대한 모노 QMF 서브밴드 샘플들(430)이 입력되면 인터널 채널 게인 획득부(410)는 CLD를 이용하여 인터널 채널 게인을 획득한다. 곱셈기(420)는 획득된 인터널 채널 게인을 수신된 모노 QMF 서브밴드 샘플에 곱해줌으로써 인터널 채널 신호 ICH_A(440)를 획득한다.
인터널 채널 신호는 CPE에 대한 모노 QMF 서브밴드 샘플들에 인터널 채널 게인
Figure PCTKR2016006495-appb-I000013
을 곱함으로써 간단히 재구성될 수 있다. 이 때, l은 시간 인덱스 m은 주파수 인덱스를 나타낸다.
인터널 채널 게인
Figure PCTKR2016006495-appb-I000014
은 [수학식 1]과 같이 정의된다.
수학식 1
Figure PCTKR2016006495-appb-M000001
이 때,
Figure PCTKR2016006495-appb-I000015
및
Figure PCTKR2016006495-appb-I000016
는 CLD의 패닝 계수를,
Figure PCTKR2016006495-appb-I000017
및
Figure PCTKR2016006495-appb-I000018
는 포맷 변환 규칙에 정의된 게인을,
Figure PCTKR2016006495-appb-I000019
및
Figure PCTKR2016006495-appb-I000020
는 포맷 변환 규칙에 정의된 EQ의 m번째 밴드의 게인을 의미한다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
speakerLayout==3이고, isInternalProcessed가 1이고, 재생 레이아웃이 스테레오인 조건이 만족되어 Internal Channel Gain이 Encoder에서 적용되어 전달되는 경우, 도 5 와 같은 인터널 채널 처리 과정이 수행된다.
출력 레이아웃이 스테레오인 경우라면, MPEG-H 3D 오디오 인코더에서 CPE에 해당하는 인터널 채널 게인을 미리 처리함으로써 디코더에서 MPS212가 바이패스될 수 있으므로 디코더 복잡도를 더 감소시킬 수 있다.
그러나 출력 레이아웃이 스테레오가 아닌 경우라면 인터널 채널 처리를 수행하지 않으므로, 디코더에서 도 5와 같이 인터널 채널 게인의 역수
Figure PCTKR2016006495-appb-I000021
를 곱하고 MPS212 처리하여 원복하는 과정이 필요하다.
도 3 및 도 4와 마찬가지로 입력되는 CPE가 CH_M_000과 CH_L_000의 채널쌍으로 구성되는 경우를 가정한다. 인코더에서 인터널 채널 게인이 전처리된 모노 QMF 서브밴드 샘플들(540)이 입력되면, 디코더는 출력 레이아웃이 스테레오인지 여부를 판단(510)한다.
출력 레이아웃이 스테레오라면, 인터널 채널을 사용하는 경우이므로 인터널 채널 ICH_A(550)에 대한 인터널 채널 신호로 수신된 모노 QMF 서브밴드 샘플들(540)를 출력한다. 반면 출력 레이아웃이 스테레오가 아니라면, 인터널 채널 처리가 인터널 채널을 사용하지 않으므로, 역 인터널 채널 게인(inverse internal channel gain)처리(520)를 수행하여 인터널 채널 처리된 신호를 원복(560)하고, 원복된 신호를 MPS212 업믹싱(530)하여 CH_M_000(571) 및 CH_L_000(572) 각각에 대한 신호를 출력한다.
포맷 변환기의 공분산 분석에 의한 부하가 문제되는 경우는 입력 채널의 개수에 비해 많고 출력 채널의 개수가 적은 경우로, MPEG-H 오디오에서 출력 레이아웃이 스테레오인 경우 가장 큰 디코딩 복잡도를 갖는다.
반면 스테레오가 아닌 다른 출력 레이아웃인 경우 인터널 채널 게인의 역수를 곱하기 위해 추가되는 연산량은, 프레임당 두 세트의 CLD인 경우를 가정하면 (곱셈 5번, 덧셈 2번, 나눗셈 1번, 제곱근 1번
Figure PCTKR2016006495-appb-I000022
55 연산)Ⅹ(71밴드)Ⅹ (2 파라미터 세트)Ⅹ(48000/2048)Ⅹ(13 인터널 채널)로, 대략 2.4 MOPS가 되며 시스템에 큰 부하로 작용하지 않는다.
인터널 채널이 생성된 후, 인터널 채널의 QMF 서브밴드 샘플들, 인터널 채널들의 개수 및 각 인터널 채널들의 타입은 포맷 변환기로 전달되며, 인터널 채널들의 개수는 포맷 변환기에서 공분산 매트릭스의 크기를 결정한다.
표 16 은 본 발명의 일 실시예에 따른, 채널 구성 요소 및 재생 레이아웃에 기초하여 결정되는 MPS와 SBR의 디코딩 시나리오를 나타낸다.
표 16
Figure PCTKR2016006495-appb-T000016
MPS는 최소의 채널(모노 또는 스테레오)로 합쳐진 다운믹스와 멀티채널 오디오 신호에 대한 인간의 지각 특성을 나타내는 공간 단서(spatial cue)파라미터들로 구성된 부가 정보(ancillary data)를 이용하여 멀티 채널 오디오 신호를 인코딩하는 기술이다.
MPS 인코더는 N개의 멀티채널 오디오 신호를 입력받아 부가정보로서 양이 효과에 바탕을 둔 두 귀 사이의 소리 크기 차이 및 채널 사이의 상관도 등으로 표현되는 공간 파라미터를 추출한다. 추출된 공간 파라미터는 매우 작은 정보량(채널당 4kbps 이내)이므로, 모노 또는 스테레오 오디오 서비스만 제공할 수 있는 대역폭에서도 고품질의 멀티채널 오디오를 제공할 수 있다.
또한 MPS 인코더는 입력된 멀티 채널 입력 신호로부터 다운믹스 신호를 생성하며, 생성된 다운믹스 신호는 오디오 입축 기술인 MPEG USAC 등으로 부호화되어 공간 파라미터와 함께 전송된다.
이 때 부호화기에 입력된 N개의 멀티 채널 신호는 분석 필터 뱅크(analysis filter bank)에 의해 주파수 밴드로 분해된다. 주파수 영역을 서브밴드로 분할하는 대표적인 방법은 DFT(Discrete Fourier Transform)이나 QMF(Quadrature Mirror Filter)를 이용하는 것인데, MPEG 서라운드에서는 보다 낮은 복잡도로 이를 수행하기 위하여 QMF 필터를 사용한다. QMF 필터를 사용하는 경우, SBR(Spectral Band Replication)과의 호환성이 보장되어 보다 효율적인 부호화를 수행할 수 있다.
SBR은 사람이 상대적으로 감지하기 힘든 대역인 고주파 대역에 저주파 대역을 복사하여 붙여넣고 고주파 대역 신호에 대한 정보는 파라미터화 하여 전송하는 기술로, 낮은 비트레이트로 넓은 대역폭을 구현할 수 있다. 압축율이 높고 비트레이트는 낮은 코덱에서 주로 사용되며 고주파 대역의 일부 정보가 소실되므로 고조파(harmonics)를 표현하기 어렵지만, 가청 주파수 내에서는 높은 복원율을 갖는다.
인터널 채널 처리에 적용되는 SBR은 처리되는 도메인에 대한 차이를 제외하고 ISO/IEC 23003-3:2012와 동일하다. ISO/IEC 23003-3:2012의 SBR은 QMF 도메인에서 정의되지만 인터널 채널은 하이브리드 QMF 도메인에서 처리된다. 따라서, QMF 도메인의 인덱스 개수가 k라면 인터널 채널에 대한 전체 SBR 처리를 위한 주파수 인덱스 개수는 k+7이 된다.
CPE가 스테레오 재생 레이아웃으로 출력되는 경우로, 모노 SBR 디코딩 후 MPS 디코딩하는 디코딩 시나리오에 대한 실시예는 도 6 에서 개시된다.
CPE가 스테레오 재생 레이아웃으로 출력되는 경우로, MPS 디코딩 후 스테레오 SBR 디코딩하는 디코딩 시나리오에 대한 실시예는 도 7 에서 개시된다.
QCE가 스테레오 재생 레이아웃으로 출력되는 경우로, CPE 쌍에 대하여 각각 MPS 디코딩 후, 디코딩 된 신호들에 대하여 각각 스테레오 SBR 디코딩하는 시나리오에 대한 실시예는 도 8 및 도 9에서 개시된다.
CPE 또는 QCE가 출력되는 재생 레이아웃이 스테레오가 아닌 경우는 MPS 디코딩과 SBR 디코딩 순서는 상관없다.
디코더에서 처리되는, MPS212로 인코딩 된 CPE 신호들에 대한 정의는 다음과 같다.
cplx_out_dmx[] 복소수 예측(complex prediction) 스테레오 디코딩 된 CPE 다운믹스 신호
cplx_out_dmx_preICG[] 하이브리드 QMF 도메인에서 복소수 예측 스테레오 디코딩 및 하이브리드 QMF 분석 필터뱅크 디코딩을 하여, ICG가 인코더에서 이미 적용된 모노 신호
cplx_out_dmx_postICG[] 하이브리드 QMF 도메인에서 복소수 예측 스테레오 디코딩 및 인터널 채널 처리를 한, ICG가 디코더에서 적용되는 모노 신호
cplx_out_dmx_ICG[] 하이브리드 QMF 도메인의 전대역(fullband) 인터널 채널 신호
디코더에서 처리되는, MPS212로 인코딩 된 QCE 신호들에 대한 정의는 다음과 같다.
cplx_out_dmx_L[] 복소수 예측 스테레오 디코딩 된 제 1 CPE의 제 1 채널 신호
cplx_out_dmx_R[] 복소수 예측 스테레오 디코딩 된 제 1 CPE의 제 2 채널 신호
cplx_out_dmx_L_preICG[] 하이브리드 QMF 도메인의 제 1 ICG 선적용(pre-applied) 인터널 채널 신호
cplx_out_dmx_R_preICG[] 하 이브리드 QMF 도메인의 제 2 ICG 선적용 인터널 채널 신호
cplx_out_dmx_L_postICG[] 하이브리드 QMF 도메인의 제 1 ICG 후적용(post-applied) 인터널 채널 신호
cplx_out_dmx_R_postICG[] 하이브리드 QMF 도메인의 제 2 ICG 후적용 인터널 채널 신호
cplx_out_dmx_L_ICG_SBR 22.2-to-2 포맷 변환을 위한 다운믹스된 파라미터들과 SBR에 의해 생성된 고주파 요소(component)를 포함하는, 제 1 전대역 디코딩된 인터널 채널 신호
cplx_out_dmx_R_ICG_SBR 22.2-to-2 포맷 변환을 위한 다운믹스된 파라미터들과 SBR에 의해 생성된 고주파 요소(component)를 포함하는, 제 2 전대역 디코딩된 인터널 채널 신호
도 6 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, 모노 SBR 디코딩 후 MPS 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
CPE 비트스트림이 수신되면, 제일 먼저 ICGDisabledCPE[n] 플래그를 통해 CPE 사용 여부를 판단(610)한다.
ICGDisabledCPE[n]이 TRUE라면, CPE 비트스트림은 ISO/IEC 23008-3에 정의된대로 디코딩(620)되며, ICGDisabledCPE[n]이 FALSE라면, SBR이 필요한경우 CPE 비트스트림에 모노 SBR을 수행하고, 스테레오 디코딩하여 다운믹스 시그널 cplx_out_dmx를 생성(630) 한다.
인터널 채널 게인이 인코더단에서 이미 적용되었는지 여부를 판단하기 위해 ICGPreAppliedCPE를 확인(640)한다.
ICGPreAppliedCPE[n]이 FALSE이면, 다운믹스 시그널 cplx_out_dmx를 하이브리드 QMF 도메인 인터널 채널 처리(650)하여 ICG 후적용 다운믹스 신호 cplx_out_dmx_postICG가 생성된다. 인터널 채널 처리(650)에서, 인터널 채널 게인을 계산하기 위해 MPS 파라미터가 사용된다. CPE에 대한 역양자화된 선형 CLD 값은 ISO/IEC 23008-3에 의해 계산되며, 인터널 채널 게인은 수학식 2에 따라 계산된다.
다운믹스 신호 cplx_out_dmx에 수학식 2에 의한 인터널 채널 게인을 곱하여 cplx_out_dmx_postICG가 생성된다.
수학식 2
Figure PCTKR2016006495-appb-M000002
이 때,
Figure PCTKR2016006495-appb-I000023
와
Figure PCTKR2016006495-appb-I000024
는 CPE 신호 에 대한 l번째 타임슬롯과 m번째 하이브리드 QMF 밴드의 역양자화된 선형 CLD 값을,
Figure PCTKR2016006495-appb-I000025
와
Figure PCTKR2016006495-appb-I000026
는 ISO/IEC 23008-3 테이블 96, 즉 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 게인열의 값을 나타내며,
Figure PCTKR2016006495-appb-I000027
와
Figure PCTKR2016006495-appb-I000028
는 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 EQ의 m번째 밴드의 게인을 나타낸다.
ICGPreAppliedCPE[n]이 TRUE이면, 다운믹스 시그널 cplx_out_dmx를 분석(660)하여 ICG 선적용 다운믹스 신호 cplx_out_dmx_preICG를 획득한다.
ICGPreApplied CPE[n]의 설정에 따라 cplx_out_dmx_preICG 또는 cplx_out_dmx_postICG가 최종 인터널 채널 처리 출력 신호 cplx_out_dmx_ICG가 된다.
도 7 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, MPS디코딩 후 스테레오 SBR 디코딩하는 인터널 채널 처리 방법의 순서도이다.
도 7 에 개시된 실시예에서는, 도 6 에 개시된 실시예와 달리, MPS 디코딩 된 후 SBR 디코딩을 수행하므로 인터널 채널을 이용하지 않는 경우라면 스테레오 SBR 디코딩이 수행되지만, 인터널 채널을 이용하는 경우라면 모노 SBR이 수행되며 이를 위해 스테레오 SBR을 위한 파라미터들이 다운믹스된다.
따라서, 도 6 과 비교하여 도 7 에서는, 2채널에 대한 SBR 파라미터들을 다운믹스하여 1채널에 대한 SBR 파라미터를 생성(780)하고, 생성된 SBR 파라미터를 이용하여 모노 SBR을 수행(770)하는 단계가 추가되며, 모노 SBR이 수행된 cplx_out_dmx_ICG가 최종 인터널 채널 처리 출력 신호 cplx_out_dmx_ICG가 된다.
도 7 과 같은 동작 순서 배치에서, 인터널 채널 처리 후 SBR가 수행되어 고주파 성분이 확장되므로 cplx_out_dmx_preICG 신호 또는 cplx_out_dmx_postICG 신호는 대역제한(bandlimited) 신호에 해당한다. 업믹스된 스테레오 신호를 위한 SBR 파라미터 쌍은 대역제한된 인터널 채널 신호 cplx_out_dmx_preICG 또는 cplx_out_dmx_postICG의 대역폭 확장을 위해 파라미터 도메인에서 다운믹스 되어야 한다.
SBR 파라미터 다운믹서는 SBR에 의해 확장된 고주파 밴드들을 포맷 변환기의 EQ, 게인 파라미터와 곱하는 과정을 포함해야 한다. SBR 파라미터를 다운믹싱하는 구체적인 방법은 후술한다.
도 8 은 본 발명의 일 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 8 에 개시된 실시예는, ICGPreApplied[n]과 ICGPreApplied[n+1]이 모두 0인 경우, 즉 디코더에서 인터널 채널 게인을 적용하는 방법에 대한 실시예이다.
도 8 에 도시된 블록도에서 전체적인 디코딩 구조는, 비트스트림 디코딩(810), 스테레오 디코딩(820), 하이브리드 QMF 분석(830), 인터널 채널 처리(840) 및 스테레오 SBR(850)의 순서로 진행된다.
QCE를 구성하는 CPE 쌍 각각에 대한 비트스트림이 디코딩(811, 812)되면, 디코딩 된 신호로부터 SBR 페이로드, MPS212 페이로드 및 CplxPred 페이로드가 추출된다.
디코딩된 CplxPred 페이로드를 이용하여 스테레오 디코딩(821)이 수행되며, 스테레오 디코딩 된 신호 cplx_dmx_L와 cplx_dmx_R가 각각 하이브리드 QMF 분석(831, 832)과정을 거쳐 인터널 채널 처리부(841, 842)의 입력 신호로 전달된다.
이 때, 생성되는 인터널 채널 신호 cplx_dmx_L_PostICG 및 cplx_dmx_R_PostICG는 대역제한 신호이다. 따라서, 두 인터널 채널 신호는 각 CPE의 비트스트림에서 추출한 SBR 페이로드를 다운믹스한 다운믹스 SBR 파라미터들을 이용하여 스테레오 SBR(851)된다. 대역 제한 인터널 채널 신호는 스테레오 SBR을 통해 고주파 확장되어, 전대역 인터널 채널 처리 출력 신호인 cplx_dmx_L_ICG 및 cplx_dmx_R_ICG가 생성된다.
다운믹스 SBR 파라미터들은 대역제한된 인터널 채널 신호를 대역 확장하여 전대역 인터널 채널 신호를 생성하기 위해 이용된다.
이와 같이, QCE에 대한 인터널 채널을 이용하는 경우, 스테레오 디코딩 블록 및 스테레오 SBR 블록은 두개가 아닌 하나만 이용하므로 스테레오 디코딩 블록 822 및 스테레오 SBR 블록 852는 생략될 수 있다. 즉 QCE를 이용함으로써 각각의 CPE를 각각 처리하는 경우보다 보다 간단한 디코딩 구조의 구현이 가능하다.
도 9 는 본 발명의 또 다른 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 9 에 개시된 실시예는, ICGPreApplied[n]과 ICGPreApplied[n+1]이 모두 1인 경우, 즉 인코더에서 인터널 채널 게인을 적용하는 방법에 대한 실시예이다.
도 9 에 도시된 블록도에서 전체적인 디코딩 구조는, 비트스트림 디코딩(910), 스테레오 디코딩(920), 하이브리드 QMF 분석(930) 및 스테레오 SBR(950)의 순서로 진행된다.
인코더에서 인터널 채널 게인을 적용한 경우, 디코더에서는 별도의 인터널 채널 처리를 수행하지 않으므로, 도 9 에서는 도 8과 비교해 인터널 채널 처리 블록(841, 842)이 생략되어 있다. 그 외의 과정은 도 8과 유사하므로 중복되는 설명은 생략한다.
스테레오 디코딩 된 신호 cplx_dmx_L와 cplx_dmx_R는 각각 하이브리드 QMF 분석(931, 932)과정을 거쳐 바로 스테레오 SBR 블록(951)의 입력 신호로 전달된다. 스테레오 SBR 블록을 통과하면, 전대역 인터널 채널 처리 출력 신호인 cplx_dmx_L_ICG 및 cplx_dmx_R_ICG가 생성된다.
한편, 출력 채널이 스테레오 채널이 아닌 경우 인터널 채널을 이용하는 것을 적절하지 않을 수 있다. 따라서, 인코더에서 인터널 채널 게인이 적용된 경우, 출력 채널이 스테레오 출력 채널이 아니라면 디코더는 역 인터널 채널 게인(IG, inverse ICG)을 적용하여야 한다.
이 때, 표 8에 도시된 것처럼 MPS와 SBR의 디코딩 순서는 상관이 없지만, 설명의 편의를 위해 모노 SBR 디코딩 후 MPS212 디코딩 하는 시나리오에 대해 설명한다.
역 인터널 채널 게인 IG는 MPS 파라미터들과 포맷 변환 파라미터들을 이용하여, 수학식 3과 같이 계산된다.
수학식 3
Figure PCTKR2016006495-appb-M000003
이 때,
Figure PCTKR2016006495-appb-I000029
와
Figure PCTKR2016006495-appb-I000030
는 CPE 신호 에 대한 l번째 타임슬롯과 m번째 하이브리드 QMF 밴드의 역양자화된 선형 CLD 값을,
Figure PCTKR2016006495-appb-I000031
와
Figure PCTKR2016006495-appb-I000032
는 ISO/IEC 23008-3 테이블 96, 즉 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 게인열의 값을 나타내며,
Figure PCTKR2016006495-appb-I000033
와
Figure PCTKR2016006495-appb-I000034
는 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 EQ의 m번째 밴드의 게인을 나타낸다.
만일 ICGPreAppliedCPE[n]가 참이라면, n 번째 cplx_dmx는 MPS 블록 이전에 역 인터널채널 게인이 곱해져야 하며 나머지 디코딩 과정은 ISO/IEC 23008-3를 따라야 한다.
디코더에서 인터널 채널 처리 블록이 이용되거나 인코더에서 인터널 채널 게인이 전처리되고, 출력 레이아웃이 스테레오인 경우, SBR 블록 이전단에서 CPE/QCE에 대한 MPS 업믹스된 스테레오/쿼드 채널 신호 대신 대역제한 인터널 채널 신호가 생성된다.
SBR 페이로드는 MPS 업믹스된 스테레오/쿼드 채널 신호를 위해 스테레오 SBR 인코딩 되어 있으므로, 인터널 채널 처리를 위해서 스테레오 SBR 페이로드는 파라미터 도메인에서 포맷 변환기의 게인 및 EQ를 곱함으로써 다운믹스되어야 한다.
이하에서는 스테레오 SBR을 파라미터 다운믹싱하는 구체적인 방법에 대해 설명한다.
(1) 역필터링(inverse filtering)
각 노이즈 플로어 밴드에서 스테레오 SBR 파라미터들이 최대값을 가지도록 함으로써 역필터링 모드가 선택된다.
이를 구현하기 위한 구체적인 식은 [수학식 4]와 같다.
수학식 4
Figure PCTKR2016006495-appb-M000004
(2) 추가 고조파(additional harmonics)
기본주파수(f) 및 기본주파수의 홀수 고조파(3f, 5f, 7f,…)로 구성된 음파는, 반파대칭이 된다. 그러나 기본 주파수의 짝수 고조파(0f, 2f, 3,…)로 구성된 음파는 대칭성을 가지지 않는다. 반대로, 단순 스케일링 또는 이동 이외의 음원 파형 변화를 야기하는 비선형 시스템은 추가 고조파를 발생시켜 조화 왜곡(harmonic distortion)이 일어난다.
추가 고조파는 추가적인 사인파들의 조합으로, 수학식 5와 같이 표현될 수 있다.
수학식 5
Figure PCTKR2016006495-appb-M000005
(3) 포락선 시간 경계(envelope time borders)
도 10 은 본 발명의 일 실시예에 따른, SBR 파라미터인 시간 경계를 결정하는 방법을 나타내는 도면이다.
도 10a 는 첫번째 포락선의 시작 경계들이 서로 같고, 마지막 포락선의 종료 경계들이 서로 같은 경우의 시간 포락선 그리드를 나타낸다.
도 10b 는 첫번째 포락선의 시작 경계들은 서로 다르고, 마지막 포락선의 종료 경계들은 같은 경우의 시간 포락선 그리드를 나타낸다.
도 10c 는 첫번째 포락선의 시작 경계들은 서로 같고, 마지막 포락선의 종료 경계들은 서로 다른 경우의 시간 포락선 그리드를 나타낸다.
도 10d 는 첫번째 포락선의 시작 경계들이 서로 다르고, 마지막 포락선의 종료 경계들이 서로 다른 경우의 시간 포락선 그리드를 나타낸다.
인터널 채널 SBR에 대한 시간 포락선 그리드
Figure PCTKR2016006495-appb-I000035
는 스테레오 SBR 시간 그리드를 가장 높은 해상도를 갖는 가장 작은 조각들로 분할함으로써 생성된다.
Figure PCTKR2016006495-appb-I000036
의 시작 경계값은 스테레오 채널에 대한 가장 큰 시작 경계값으로 설정된다. 시간 그리드 0과 시작 경계 사이의 포락선은 이전 프레임에서 이미 처리되어 있다. 두 채널들의 마지막 포락선들의 종료 경계들 중에서 가장 큰 값이 마지막 포락선의 종료 경계로 선택된다.
도 10 에 도시된 것과 같이, 두 채널들의 시간 경계들의 교차점을 취함으로써 첫번째 포락선과 마지막 포락선의 시작/종료 경계들은 가장 세분화된 해상도를 갖도록 결정된다. 만일 5개 이상의 포락선이 있다면,
Figure PCTKR2016006495-appb-I000037
의 종료점에서부터 시작하여 역으로
Figure PCTKR2016006495-appb-I000038
의 시작점까지를 검색하여 4 보다 작은 개수의 포락선을 찾아 그 포락선의 시작 경계를 제거함으로써 포락선의 개수를 감소시켜야 한다. 이와 같은 과정은 5개의 포락선이 남을때까지 계속된다.
(4) 잡음 시간 경계(noise time borders)
다운믹스된 잡음 시간 경계
Figure PCTKR2016006495-appb-I000039
의 개수는 두개의 채널들의 잡음 시간 경계들 사이에 큰 값을 취함으로써 결정된다. 첫번째 그리드와 병합 잡음 시간 경계
Figure PCTKR2016006495-appb-I000040
는 포락선 시간 경계
Figure PCTKR2016006495-appb-I000041
의 첫번째 그리드와 마지막 그리드를 취함으로써 결정된다.
만일 잡음 시간 경계
Figure PCTKR2016006495-appb-I000042
가 1보다 크다면,
Figure PCTKR2016006495-appb-I000043
이 잡음 시간 경계
Figure PCTKR2016006495-appb-I000044
가 1보다 큰 채널의
Figure PCTKR2016006495-appb-I000045
로 선택된다. 만일 두 채널 모두 1보다 큰
Figure PCTKR2016006495-appb-I000046
를 갖는다면,
Figure PCTKR2016006495-appb-I000047
의 최소값이
Figure PCTKR2016006495-appb-I000048
로 선택된다.
(5) 포락선 데이터(envelope data)
도 11 은 본 발명의 일 실시예에 따른, SBR 파라미터인 주파수 해상도를 병합하는 방법을 설명하기 위한 도면이다.
병학 포락선 시간 경계의 주파수 해상도
Figure PCTKR2016006495-appb-I000049
가 선택된다.
Figure PCTKR2016006495-appb-I000050
의 각 섹션에 대한 주파수 해상도
Figure PCTKR2016006495-appb-I000051
,
Figure PCTKR2016006495-appb-I000052
사으이 최대값이 도 11과 같이
Figure PCTKR2016006495-appb-I000053
로 선택된다.
모든 포락선에 대한 포락선 데이터
Figure PCTKR2016006495-appb-I000054
는 포락선 데이터
Figure PCTKR2016006495-appb-I000055
로부터 포맷 변환 파라미터들을 고려하여, 수학식 6과 같이 계산된다.
수학식 6
Figure PCTKR2016006495-appb-M000006
이 때,
Figure PCTKR2016006495-appb-I000056
,
Figure PCTKR2016006495-appb-I000057
,
Figure PCTKR2016006495-appb-I000058
이며,
Figure PCTKR2016006495-appb-I000059
,
Figure PCTKR2016006495-appb-I000060
이고,
Figure PCTKR2016006495-appb-I000061
는
Figure PCTKR2016006495-appb-I000062
,
Figure PCTKR2016006495-appb-I000063
는
Figure PCTKR2016006495-appb-I000064
와 같이 정의된다.
(6) 잡음 플로어 데이터(noise floor data)
병합된 잡음 플로어 데이터
Figure PCTKR2016006495-appb-I000065
는 두 채널 데이터의 합으로 수학식 7에 따라 결정된다.
수학식 7
Figure PCTKR2016006495-appb-M000007
이 때,
Figure PCTKR2016006495-appb-I000066
는
Figure PCTKR2016006495-appb-I000067
,
Figure PCTKR2016006495-appb-I000068
는
Figure PCTKR2016006495-appb-I000069
와 같이 정의된다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계;
    상기 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및
    상기 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함하는,
    오디오 신호를 처리하는 방법.
  2. 제 1 항에 있어서,
    상기 인터널 채널 신호를 생성하는 단계는,
    상기 수신된 오디오 비트스트림을, MPS212 페이로드에 포함된 CLD(Channel Level Difference)에 기초하여, 상기 하나의 CPE에 포함된 채널 쌍에 대한 신호로 업믹싱하는 단계;
    상기 업믹싱된 비트스트림을, 상기 EQ(Equalization) 값들 및 게인 값들에 기초하여, 스케일링하는 단계; 및
    상기 스케일링된 비트스트림을 믹싱하는 단계;를 포함하는,
    오디오 신호를 처리하는 방법.
  3. 제 1 항에 있어서,
    상기 인터널 채널 신호를 생성하는 단계는,
    상기 하나의 CPE에 대한 인터널 채널 신호 생성 여부를 결정하는 단계를 더 포함하는,
    오디오 신호를 처리하는 방법.
  4. 제 3 항에 있어서,
    상기 인터널 채널 신호 생성 여부는,
    상기 하나의 CPE에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정되는,
    오디오 신호를 처리하는 방법.
  5. 제 4 항에 있어서,
    상기 하나의 CPE에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 상기 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고,
    상기 하나의 CPE에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 상기 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력되는,
    오디오 신호를 처리하는 방법.
  6. 제 4 항에 있어서,
    상기 하나의 CPE에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect) 인터널 채널 그룹에 포함되는 경우, 상기 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력되는,
    오디오 신호를 처리하는 방법.
  7. 제 1 항에 있어서,
    상기 인터널 채널 신호를 생성하는 단계는,
    인터널 채널 게인을 계산하는 단계; 및
    상기 인터널 채널 게인을 적용하는 단계;를 더 포함하는,
    오디오 신호를 처리하는 방법.
  8. MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 수신부;
    상기 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 인터널 채널 신호 생성부; 및
    상기 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 스테레오 출력 신호 생성부;를 포함하는,
    오디오 신호를 처리하는 장치.
  9. 제 8 항에 있어서,
    상기 인터널 채널 신호 생성부는,
    상기 수신된 오디오 비트스트림을, MPS212 페이로드에 포함된 CLD(Channel Level Difference)에 기초하여, 상기 하나의 CPE에 포함된 채널 쌍에 대한 신호로 업믹싱하고,
    상기 업믹싱된 비트스트림을, 상기 EQ(Equalization) 값들 및 게인 값들들에 기초하여, 스케일링하고,
    상기 스케일링된 비트스트림을 믹싱하는,
    오디오 신호를 처리하는 장치.
  10. 제 8 항에 있어서,
    상기 인터널 채널 신호 생성부는,
    상기 하나의 CPE에 대한 인터널 채널 신호 생성 여부를 결정하는,
    오디오 신호를 처리하는 방법.
  11. 제 10 항에 있어서,
    상기 인터널 채널 신호 생성 여부는 상기 하나의 CPE에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정되는,
    오디오 신호를 처리하는 장치.
  12. 제 11 항에 있어서,
    상기 하나의 CPE에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 상기 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고,
    상기 하나의 CPE에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 상기 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력되는,
    오디오 신호를 처리하는 장치.
  13. 제 11 항에 있어서,
    상기 하나의 CPE에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect) 인터널 채널 그룹에 포함되는 경우, 상기 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력되는,
    오디오 신호를 처리하는 장치.
  14. 제 8 항에 있어서,
    상기 인터널 채널 신호 생성부는,
    인터널 채널 게인을 계산하고, 상기 인터널 채널 게인을 적용하는,
    오디오 신호를 처리하는 장치.
  15. 제 1 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
PCT/KR2016/006495 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 WO2016204581A1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US15/577,639 US10490197B2 (en) 2015-06-17 2016-06-17 Method and device for processing internal channels for low complexity format conversion
CN201680035415.XA CN107771346B (zh) 2015-06-17 2016-06-17 实现低复杂度格式转换的内部声道处理方法和装置
KR1020177033556A KR102657547B1 (ko) 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
EP16811994.9A EP3285257A4 (en) 2015-06-17 2016-06-17 Method and device for processing internal channels for low complexity format conversion
KR1020247011942A KR20240050483A (ko) 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
US16/657,444 US11404068B2 (en) 2015-06-17 2019-10-18 Method and device for processing internal channels for low complexity format conversion
US17/866,106 US11810583B2 (en) 2015-06-17 2022-07-15 Method and device for processing internal channels for low complexity format conversion

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201562181096P 2015-06-17 2015-06-17
US62/181,096 2015-06-17
US201562241098P 2015-10-13 2015-10-13
US201562241082P 2015-10-13 2015-10-13
US62/241,098 2015-10-13
US62/241,082 2015-10-13
US201562245191P 2015-10-22 2015-10-22
US62/245,191 2015-10-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/577,639 A-371-Of-International US10490197B2 (en) 2015-06-17 2016-06-17 Method and device for processing internal channels for low complexity format conversion
US16/657,444 Continuation US11404068B2 (en) 2015-06-17 2019-10-18 Method and device for processing internal channels for low complexity format conversion

Publications (1)

Publication Number Publication Date
WO2016204581A1 true WO2016204581A1 (ko) 2016-12-22

Family

ID=57546014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006495 WO2016204581A1 (ko) 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치

Country Status (5)

Country Link
US (3) US10490197B2 (ko)
EP (1) EP3285257A4 (ko)
KR (2) KR20240050483A (ko)
CN (2) CN107771346B (ko)
WO (1) WO2016204581A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312834A4 (en) * 2015-06-17 2018-04-25 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
US11432099B2 (en) 2018-04-11 2022-08-30 Dolby International Ab Methods, apparatus and systems for 6DoF audio rendering and data representations and bitstream structures for 6DoF audio rendering

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607622B2 (en) 2015-06-17 2020-03-31 Samsung Electronics Co., Ltd. Device and method for processing internal channel for low complexity format conversion
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190766A1 (en) * 1996-11-07 2009-07-30 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording playback and methods for providing same
KR100917843B1 (ko) * 2006-09-29 2009-09-18 한국전자통신연구원 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및복호화 장치 및 방법
KR101325339B1 (ko) * 2005-06-17 2013-11-08 디티에스 (비브이아이) 에이지 리서치 리미티드 계층적 필터뱅크 및 다중 채널 조인트 코딩을 이용한 인코더 및 디코더 그리고 그 방법들과 시간 도메인 출력신호 및 입력신호의 시간 샘플을 재구성하는 방법, 그리고 입력신호를 필터링하는 방법
KR20150038156A (ko) * 2012-07-20 2015-04-08 퀄컴 인코포레이티드 오브젝트-기반의 서라운드 코덱에 대한 피드백을 가진 스케일러블 다운믹스 설계
WO2015058991A1 (en) * 2013-10-22 2015-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
KR100953642B1 (ko) * 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
EP2146342A1 (en) * 2008-07-15 2010-01-20 LG Electronics Inc. A method and an apparatus for processing an audio signal
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR20100138806A (ko) * 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
AU2012230442B2 (en) * 2011-03-18 2016-02-25 Dolby International Ab Frame element length transmission in audio coding
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
WO2014108738A1 (en) 2013-01-08 2014-07-17 Nokia Corporation Audio signal multi-channel parameter encoder
TWI546799B (zh) * 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
US9679571B2 (en) * 2013-04-10 2017-06-13 Electronics And Telecommunications Research Institute Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal
EP2830336A3 (en) * 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Renderer controlled spatial upmix
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
KR102160254B1 (ko) 2014-01-10 2020-09-25 삼성전자주식회사 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
CN103905834B (zh) * 2014-03-13 2017-08-15 深圳创维－Rgb电子有限公司 音频数据编码格式转换的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190766A1 (en) * 1996-11-07 2009-07-30 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording playback and methods for providing same
KR101325339B1 (ko) * 2005-06-17 2013-11-08 디티에스 (비브이아이) 에이지 리서치 리미티드 계층적 필터뱅크 및 다중 채널 조인트 코딩을 이용한 인코더 및 디코더 그리고 그 방법들과 시간 도메인 출력신호 및 입력신호의 시간 샘플을 재구성하는 방법, 그리고 입력신호를 필터링하는 방법
KR100917843B1 (ko) * 2006-09-29 2009-09-18 한국전자통신연구원 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및복호화 장치 및 방법
KR20150038156A (ko) * 2012-07-20 2015-04-08 퀄컴 인코포레이티드 오브젝트-기반의 서라운드 코덱에 대한 피드백을 가진 스케일러블 다운믹스 설계
WO2015058991A1 (en) * 2013-10-22 2015-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312834A4 (en) * 2015-06-17 2018-04-25 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
US10504528B2 (en) 2015-06-17 2019-12-10 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
US11432099B2 (en) 2018-04-11 2022-08-30 Dolby International Ab Methods, apparatus and systems for 6DoF audio rendering and data representations and bitstream structures for 6DoF audio rendering

Also Published As

Publication number Publication date
US20200051574A1 (en) 2020-02-13
US11404068B2 (en) 2022-08-02
EP3285257A1 (en) 2018-02-21
KR20240050483A (ko) 2024-04-18
US10490197B2 (en) 2019-11-26
EP3285257A4 (en) 2018-03-07
CN107771346A (zh) 2018-03-06
KR20180009337A (ko) 2018-01-26
KR102657547B1 (ko) 2024-04-15
US20180166082A1 (en) 2018-06-14
CN114005454A (zh) 2022-02-01
CN107771346B (zh) 2021-09-21
US11810583B2 (en) 2023-11-07
US20220358938A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
WO2010107269A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2016024847A1 (ko) 음향 신호를 생성하고 재생하는 방법 및 장치
WO2010087614A2 (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
WO2013183977A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2016204581A1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2014046526A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2012144878A2 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2012144877A2 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
AU2012246799A1 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2016018058A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2012091464A1 (ko) 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
AU2012246798A1 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2012157931A2 (en) Noise filling and audio decoding
WO2015199508A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2014175669A1 (ko) 음상 정위를 위한 오디오 신호 처리 방법
WO2016195455A1 (ko) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2014185569A1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
WO2018139884A1 (en) Method for processing vr audio and corresponding equipment
WO2022158943A1 (ko) 다채널 오디오 신호 처리 장치 및 방법
WO2014148844A1 (ko) 단말 장치 및 그의 오디오 신호 출력 방법
WO2019031652A1 (ko) 3차원 오디오 재생 방법 및 재생 장치
WO2015170899A1 (ko) 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
WO2015093742A1 (en) Method and apparatus for encoding/decoding an audio signal
WO2016204579A1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2022158912A1 (ko) 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811994

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177033556

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15577639

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE