WO2015126228A1 - 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치 - Google Patents

신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치 Download PDF

Info

Publication number
WO2015126228A1
WO2015126228A1 PCT/KR2015/001783 KR2015001783W WO2015126228A1 WO 2015126228 A1 WO2015126228 A1 WO 2015126228A1 KR 2015001783 W KR2015001783 W KR 2015001783W WO 2015126228 A1 WO2015126228 A1 WO 2015126228A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
current frame
classification result
music
classification
Prior art date
Application number
PCT/KR2015/001783
Other languages
English (en)
French (fr)
Inventor
주기현
빅토로비치 포로브안톤
새르기비치 오시포브콘스탄틴
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to ES15751981T priority Critical patent/ES2702455T3/es
Priority to KR1020227036099A priority patent/KR102552293B1/ko
Priority to CN201580021378.2A priority patent/CN106256001B/zh
Priority to US15/121,257 priority patent/US10090004B2/en
Priority to SG11201607971TA priority patent/SG11201607971TA/en
Priority to JP2016570753A priority patent/JP6599368B2/ja
Priority to KR1020227001823A priority patent/KR102457290B1/ko
Priority to KR1020167023217A priority patent/KR102354331B1/ko
Priority to EP15751981.0A priority patent/EP3109861B1/en
Publication of WO2015126228A1 publication Critical patent/WO2015126228A1/ko
Priority to US16/148,708 priority patent/US10504540B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/125—Pitch excitation, e.g. pitch synchronous innovation CELP [PSI-CELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Definitions

  • the present invention relates to audio encoding, and more particularly, to a signal classification method and apparatus for improving reconstructed sound quality and reducing delay due to switching of encoding mode, and an audio encoding method and apparatus using the same.
  • An object of the present invention is to provide a signal classification method and apparatus capable of improving a reconstructed sound quality by determining an encoding mode suitable for a characteristic of an audio signal, and an audio encoding method and apparatus using the same.
  • An object of the present invention is to provide a signal classification method and apparatus for reducing a delay due to coding mode switching while determining an encoding mode to suit the characteristics of an audio signal, and an audio encoding method and apparatus using the same.
  • the signal classification method may include classifying a current frame into one of a voice signal and a music signal, determining whether an error exists in a classification result of the current frame based on feature parameters obtained from a plurality of frames, and determining the error.
  • the method may include modifying a classification result of the current frame.
  • the apparatus for classifying a signal classifies the current frame into one of a voice signal and a music signal, determines whether an error exists in the classification result of the current frame based on a feature parameter obtained from a plurality of frames, and corresponds to the determination result.
  • the processor may include at least one processor configured to modify the classification result of the current frame.
  • an audio encoding method includes classifying a current frame into one of a voice signal and a music signal, and determining whether an error exists in a classification result of the current frame based on feature parameters obtained from a plurality of frames. Correspondingly, modifying a classification result of the current frame, and encoding the current frame based on the classification result or the modified classification result of the current frame.
  • the audio encoding apparatus classifies a current frame into one of a voice signal and a music signal, determines whether an error exists in a classification result of the current frame based on a feature parameter obtained from a plurality of frames, and corresponds to the determination result.
  • at least one processor configured to modify a classification result of the current frame and to encode the current frame based on the classification result of the current frame or the modified classification result.
  • FIG. 1 is a block diagram showing the configuration of an audio signal classification apparatus according to an embodiment.
  • FIG. 2 is a block diagram showing a configuration of an audio signal classification apparatus according to another embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of an audio encoding apparatus according to an embodiment.
  • FIG. 4 is a flowchart illustrating a signal classification modification method in a CELP core according to an embodiment.
  • FIG. 5 is a flowchart illustrating a signal classification modification method in an HQ core according to an embodiment.
  • FIG. 6 illustrates a state machine for context-based signal classification modification in a CELP core according to an embodiment.
  • FIG. 7 illustrates a state machine for context-based signal classification modification in an HQ core according to an embodiment.
  • FIG. 8 is a block diagram illustrating a configuration of an encoding mode determining apparatus according to an embodiment.
  • FIG. 9 is a flowchart illustrating an audio signal classification method, according to an exemplary embodiment.
  • FIG. 10 is a block diagram illustrating a configuration of a multimedia apparatus according to an embodiment.
  • FIG. 11 is a block diagram illustrating a configuration of a multimedia apparatus according to another embodiment.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used only for the purpose of distinguishing one component from another component.
  • each component shown in the embodiments are shown independently to represent different characteristic functions, and does not mean that each component is made of separate hardware or one software component unit.
  • Each component is listed as each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • FIG. 1 is a block diagram showing the configuration of an audio signal classification apparatus according to an embodiment.
  • the audio signal classification apparatus 100 illustrated in FIG. 1 may include a signal classification unit 110 and a correction unit 130.
  • each component may be integrated into at least one module and implemented as at least one processor (not shown), except that it may be necessary to implement a separate hardware.
  • the audio signal may mean a music signal or a voice signal, or a mixed signal of music and voice.
  • the signal classifier 110 may classify whether an audio signal corresponds to a music signal or a voice signal based on various initial classification parameters.
  • the audio signal classification process may include at least one step.
  • the audio signal may be classified into a voice signal or a music signal based on signal characteristics of a current frame and a plurality of previous frames.
  • the signal characteristic may include at least one of a short-term characteristic and a long-term characteristic.
  • the signal characteristic may include at least one of a time domain characteristic and a frequency domain characteristic.
  • CELP Code Excited Linear Prediction
  • the music signal may be encoded using a transform coder.
  • an example of a transform coder may be a Modified Discrete Cosine Transform (MDCT) coder, but is not limited thereto.
  • MDCT Modified Discrete Cosine Transform
  • the audio signal classification process includes a first step of classifying an audio signal into a voice signal and a general audio signal, that is, a music signal, and a general audio signal according to whether the audio signal has a voice characteristic. And a second step of determining whether it is suitable for a generic signal audio coder (GSC).
  • GSC generic signal audio coder
  • the classification result of the first step and the classification result of the second step may be combined to determine whether the audio signal can be classified as a voice signal or a music signal.
  • a voice signal it may be encoded by a CELP type coder.
  • CELP type coders can be used in Unvoiced Coding (UC) mode, Voiced Coding (VC) mode, Transient Coding (TC) mode, and Generic Coding (GC) mode depending on the bit rate or signal characteristics. It may include a plurality. Meanwhile, the GSC mode may be implemented as a separate coder or included as one mode of a CELP type coder. When classified as a music signal, it can be encoded using either a transform coder or a CELP / transform hybrid coder. In detail, the transform coder may be applied to a music signal, and the CELP / transform hybrid coder may be applied to a non-music signal or a mixed signal of music and voice, not a voice signal.
  • UC Unvoiced Coding
  • VC Voiced Coding
  • TC Transient Coding
  • GC Generic Coding
  • both the CELP type coder, the CELP / transform hybrid coder and the transform coder may be used, or the CELP type coder and the transform coder may be used depending on the bandwidth.
  • CELP type coders and transform coders are used, for wideband (WB), ultra-wideband (SWB), and full-band (FB)
  • WB wideband
  • SWB ultra-wideband
  • FB full-band
  • CELP type coders CELP / transform hybrid coders and transformers.
  • Foam coders can be used.
  • the CELP / Transform hybrid coder is a combination of an LP-based coder and a transform domain coder that operates in the time domain, and is also known as a generic signal audio coder (GSC).
  • GSC generic signal audio coder
  • the signal classification of the first step may be based on a Gaussian Mixture Model (GMM).
  • GMM Gaussian Mixture Model
  • Various signal characteristics may be used for the GMM. Examples of signal characteristics include characteristics such as open loop pitch, normalized correlation, spectral envelope, tonal stability, signal non-stationary, LP register error, spectral difference, and spectral stationary. However, the present invention is not limited thereto.
  • Examples of signal characteristics used for the second stage signal classification include spectral energy fluctuation characteristics, tilt characteristics of LP analysis residual energy, high-band spectral peaking characteristics, correlation characteristics, voicing characteristics, and tonal characteristics. It is not limited to this.
  • the feature used in the first step is to determine whether it is suitable to be coded by a CELP type coder or not
  • the feature used in the second step is to determine whether it is suitable to be encoded by GSC.
  • the set of frames classified as the music signal in the first step may be converted to the voice signal in the second step and encoded in one of the CELP modes. That is, in the case of a signal or an attack signal having a large pitch period and high stability and having a high correlation, it may be converted from a music signal to a voice signal in a second step.
  • the encoding mode may be changed according to the signal classification result.
  • the correction unit 130 may correct or maintain the classification result of the signal classification unit 110 based on at least one correction parameter.
  • the correction unit 130 may modify or maintain the classification result of the signal classification unit 110 based on the context. For example, when the current frame is classified as a voice signal, it may be modified as a music signal or maintained as a voice signal. When the current frame is classified as a music signal, it may be modified as a voice signal or maintained as a music signal.
  • the characteristics of a plurality of frames including the current frame may be used to determine whether an error exists in the classification result of the current frame. For example, eight frames may be used, but the present invention is not limited thereto.
  • the SAT neolreo tea may comprise a one or two soil neolreo T (ton 3) of the kHz region Sat neolreo T (ton 2) and 2 ⁇ 4 kHz region, and each can be defined by the following expressions (1) and (2) have.
  • tonality2 [-1] represents tonality in the 1-2 kHz region of one frame before the frame.
  • lt_tonality may indicate long-term tonality of the entire band.
  • linear prediction error LP err may be defined by Equation 3 below.
  • sfa i and sfb i may vary according to the type and bandwidth of the feature parameter, and are used to approximate each feature parameter to the range [0; 1].
  • E (1) represents the energy of the first LP coefficient
  • E (13) represents the energy of the 13th LP coefficient.
  • M cor represents a correlation map of a frame.
  • condition 1 and condition 2 may indicate conditions for changing the voice state SPEECH_STATE
  • condition 3 and condition 4 may refer to conditions for changing the music state MUSIC_STATE.
  • condition 1 may change the voice state SPEECH_STATE from 0 to 1
  • condition 2 may change the voice state SPEECH_STATE from 1 to 0.
  • condition 3 may change the music state MUSIC_STATE from 0 to 1
  • condition 4 may change the music state MUSIC_STATE from 1 to 0.
  • the speech state SPEECH_STATE is 1, it means that the probability of speech is high, that is, CELP type coding is appropriate, and if it is 0, it means that the probability of speech is not high.
  • a music state (MUSIC_STATE) of 1 means that it is suitable for transform coding, and 0 means that it is suitable for CELP / transform hybrid coding, that is, GSC.
  • the music state MUSIC_STATE is 1, it may be suitable for transform coding, and 0 may mean that it is suitable for CELP type coding.
  • Condition 1 may be defined as follows, for example. That is, d vcor > 0.4 AND d ft ⁇ 0.1 AND FV s (1)> (2 * FV s (7) +0.12) AND ton 2 ⁇ d vcor AND ton 3 ⁇ d vcor AND ton LT ⁇ d vcor AND FV s (7) If ⁇ d vcor AND FV s (1)> d vcor AND FV s (1)> 0.76, f A may be set to one.
  • Condition 2 (f B ) may be defined as follows, for example. That is, if d vcor ⁇ 0.4, f B may be set to one.
  • Condition 3 may be defined as follows, for example. That is, if 0.26 ⁇ ton 2 ⁇ 0.54 AND ton 3 > 0.22 AND 0.26 ⁇ ton LT ⁇ 0.54 AND LP err > 0.5, f C may be set to 1.
  • Condition 4 may be defined as follows, for example. That is, if ton 2 ⁇ 0.34 AND ton 3 ⁇ 0.26 AND 0.26 ⁇ ton LT ⁇ 0.45, f D may be set to 1.
  • each constant value is merely exemplary and may be set to an optimal value according to an implementation method.
  • the correction unit 130 may correct an error existing in the initial classification result by using two independent state machines, for example, a voice state machine and a music state machine.
  • Each state machine has two states, and hangovers are used in each state to prevent frequent transitions.
  • the hangover may consist of six frames, for example. If the hangover variable is hang sp in the voice state machine and the hangover variable is hang mus in the music state machine. It decreases by 1 for. State changes can only occur if the hangover is reduced to zero.
  • Each state machine may use a correction parameter generated by combining at least one feature extracted from the audio signal.
  • FIG. 2 is a block diagram showing a configuration of an audio signal classification apparatus according to another embodiment.
  • the audio signal classification apparatus 200 illustrated in FIG. 2 may include a signal classification unit 210, a correction unit 230, and a fine classifier 250.
  • the difference from the audio signal classification apparatus 100 of FIG. 1 further includes a fine classifier 250, and the functions of the signal classifier 210 and the correction unit 230 are the same as those of FIG. Detailed description will be omitted.
  • the detailed classification unit 250 may classify the classification result modified or maintained in the correction unit 230 based on the detailed classification parameter.
  • the detailed classifier 250 determines and corrects whether an audio signal classified as a music signal is suitable to be encoded by a CELP / transform hybrid coder, that is, GSC. In this case, as a modification method, a specific parameter or a flag is changed to prevent the transform coder from being selected. If the classification result output from the correction unit 230 is a music signal, the subdivision classification unit 250 may classify whether the music signal or the voice signal is performed again by performing the subdivision.
  • the classification code When the classification result of the subclassifier 250 is a music signal, the classification code may be encoded using the transform coder as it is, and when the classification result of the subclassifier 250 is a voice signal, it may be encoded as the third encoding mode. It can be coded using a CELP / Transform hybrid coder. On the other hand, when the classification result output from the correction unit 230 is a speech signal, it may be encoded using a CELP type coder as the first encoding mode.
  • An example of the subdivision parameter may include features such as tonality, voicing, correlation, pitch gain, pitch difference, and the like, but is not limited thereto.
  • FIG. 3 is a block diagram illustrating a configuration of an audio encoding apparatus according to an embodiment.
  • the audio encoding apparatus 300 illustrated in FIG. 3 may include an encoding mode determiner 310 and an encoding module 330.
  • the encoding mode determiner 310 may include components of the audio signal classification apparatus 100 of FIG. 1 or the audio signal classification apparatus 200 of FIG. 2.
  • the encoding module 330 may include first to third encoding units 331, 333, 335.
  • the first encoder 331 may correspond to a CELP type coder
  • the second encoder 333 may correspond to a CELP / transform hybrid coder
  • the third encoder 335 may correspond to a transform coder.
  • the encoding module 330 may include first and third encoders 331 and 335.
  • the encoding module 330 and the first encoder 331 may have various configurations according to the bit rate or the bandwidth.
  • the encoding mode determiner 310 may classify whether an audio signal is a music signal or an audio signal based on signal characteristics, and determine an encoding mode according to the classification result.
  • the encoding mode may be performed in a superframe unit, a frame unit, or a band unit.
  • the encoding mode may be performed in units of a plurality of superframe groups, a plurality of frame groups, and a plurality of band groups.
  • two examples of the encoding mode may be a transform domain mode and a linear prediction domain mode, but are not limited thereto.
  • the linear prediction domain mode may include UC, VC, TC, and GC modes.
  • the GSC mode may be classified as a separate encoding mode or may be included as a detailed mode of the linear prediction domain mode.
  • the encoding mode may be further subdivided, and the encoding scheme may be further subdivided according to the encoding mode.
  • the encoding mode determiner 310 may classify the audio signal into one of a music signal and a voice signal based on an initial classification parameter.
  • the encoding mode determiner 310 may modify or maintain the classification result, which is a music signal, as a voice signal or correct or maintain the classification result, which is a voice signal, as a music signal based on the correction parameter.
  • the encoding mode determiner 310 may classify the modified or maintained classification result into, for example, one of a music signal and a voice signal based on the detailed classification parameter.
  • the encoding mode determiner 310 may determine encoding modes using the final classification result.
  • the encoding mode determiner 310 may determine an encoding mode based on at least one of a bit rate and a bandwidth.
  • the first encoding unit 331 may operate when the classification result of the correction unit 130 or 230 corresponds to a voice signal.
  • the second encoder 333 may operate when the classification result of the correction unit 130 corresponds to a music signal or the classification result of the sub classification unit 350 corresponds to a voice signal.
  • the third encoder 335 may be operated when the classification result of the correction unit 130 corresponds to a music signal or the classification result of the sub classification unit 350 corresponds to a music signal.
  • FIG. 4 is a flowchart illustrating a signal classification correction method in a CELP core according to an embodiment, which may be performed by the correction units 130 and 230 of FIG. 1 or 2.
  • correction parameters such as condition 1 and condition 2 may be received.
  • the hangover information of the voice state machine may be received.
  • an initial classification result may be received.
  • the initial classification result may be provided from the signal classification unit 110 or 210 of FIG. 1 or 2.
  • step 420 it may be determined whether the voice state is 0, the condition 1 (f A ) is 1, and the hang sp of the voice state machine is 0.
  • the speech state is zero, while condition 1 is 1 and the voice state when it is determined that the hangover (hang sp) is 0, the machine, change in step 430 the speech state to 1 and the hangover (hang sp) 6 Can be initialized.
  • the initialized hangover value may be provided in step 460.
  • step 420 if the voice state is not 0, condition 1 is not 1, or the hang sp of the voice state machine is not 0, the process may proceed to step 440.
  • step 440 it may be determined whether the voice state is 1, the condition 2 (f B ) is 1, and the hang sp of the voice state machine is 0.
  • a negative status is one, yet Condition 2 is 1 in the negative state when it is determined that the hangover (hang sp) is 0, the machine, at 450 steps to change the voice state to zero, and the hangover (hang sp) 6 Can be initialized.
  • the initialized hangover value may be provided in step 460.
  • the process proceeds to step 460 to reduce the hangover by 1; Can be done.
  • FIG. 5 is a flowchart illustrating a signal classification correction method in an HQ core according to an embodiment, which may be performed by the correction units 130 and 230 of FIG. 1 or 2.
  • correction parameters such as condition 3 and condition 4 may be received.
  • the hangover information of the music state machine may be received.
  • an initial classification result may be received.
  • the initial classification result may be provided from the signal classification unit 110 or 210 of FIG. 1 or 2.
  • step 520 it may be determined whether the music state is 1, the condition 3 (f C ) is 1, and the hang mus of the music state machine is 0. If it is determined in step 520 that the music state is 1, condition 3 is 1, and the hang nus of the music state machine is 0, in step 530, the music state is changed to 0 and the hang mus is set to 6; Can be initialized. The initialized hangover value may be provided in step 560. In contrast , when the music state is not 1, the condition 3 is not 1, or the hang mus of the music state machine is not 0 in step 520, the process proceeds to step 540.
  • step 540 it may be determined whether the music state is 0, the condition 4 (f D ) is 1, and the hang mus of the music state machine is 0. If it is determined in step 540 that the music state is 0, condition 4 is 1, and the hang mus of the music state machine is 0, in step 550, the music state is changed to 1 and the hang mus is set to 6; Can be initialized. The initialized hangover value may be provided in step 560. On the other hand, if the music state is not 0, the condition 4 is not 1, or the hang mus of the music state machine is not 0 in step 540, the process proceeds to step 560 to reduce the hangover by 1. Can be done.
  • FIG. 6 illustrates a state machine for context-based signal classification modification in a state suitable for a CELP core, that is, a voice state, according to an embodiment, and may correspond to FIG. 4.
  • a correction for the classification result may be applied according to the music state determined at the music state machine and the voice state determined at the voice state machine.
  • the initial classification result when the initial classification result is set to the music signal, it may be changed to the voice signal based on the correction parameter.
  • the classification result of the first stage is a music signal and the voice state becomes 1 among the initial classification results
  • both the classification result of the first stage and the classification result of the second stage may be changed to the speech signal. In this case, it is determined that an error exists in the initial classification result, so that the classification result can be corrected.
  • FIG. 7 illustrates a state machine for modifying a context-based signal classification in a state suitable for a high quality (HQ) core, that is, a music state, according to an embodiment, and may correspond to FIG. 5.
  • HQ high quality
  • a correction for the classification result may be applied according to the music state determined by the music state machine and the voice state determined by the voice state machine.
  • the initial classification result when the initial classification result is set to the voice signal, it may be changed to the music signal based on the correction parameter.
  • the classification result of the first stage is an audio signal and the music state becomes 1 among the initial classification results
  • both the classification result of the first stage and the classification result of the second stage may be changed to the music signal.
  • the initial classification result is set to the music signal, it can be changed to the audio signal based on the correction parameter. In this case, it is determined that an error exists in the initial classification result, so that the classification result can be corrected.
  • FIG. 8 is a block diagram illustrating a configuration of an encoding mode determining apparatus according to an embodiment.
  • the encoding mode determiner illustrated in FIG. 8 may include an initial encoding mode determiner 810 and a correction unit 830.
  • the initial encoding mode determiner 810 may determine whether an audio signal has a voice characteristic, and may determine the first encoding mode as the initial encoding mode when the audio signal has the voice characteristic.
  • the audio signal may be encoded by a CELP type coder.
  • the initial encoding mode determiner 810 may determine the second encoding mode as the initial encoding mode when the audio signal does not have speech characteristics.
  • the audio signal may be encoded by a transform coder.
  • the initial encoding mode determiner 810 may determine one of the second encoding mode and the third encoding mode as the initial encoding mode according to the bit rate.
  • the audio signal may be encoded by a CELP / transform hybrid coder.
  • the initial encoding mode determiner 810 may use a three-way method.
  • the correction unit 830 may correct the second encoding mode based on the correction parameter when the initial encoding mode is determined as the first encoding mode. For example, if the initial classification result is a voice signal but has a music characteristic, the initial classification result may be modified to a music signal. Meanwhile, when the initial encoding mode is determined as the second encoding mode, the correction unit 830 may modify the first encoding mode or the third encoding mode based on the correction parameter. For example, if the initial classification result is a music signal but has a voice characteristic, the initial classification result may be modified into a voice signal.
  • FIG. 9 is a flowchart illustrating an audio signal classification method, according to an exemplary embodiment.
  • an audio signal may be classified into one of a music signal and a voice signal.
  • the current frame may be classified as a music signal or a voice signal based on signal characteristics. Operation 910 may be performed by the signal classification units 110 and 210 of FIG. 1 or 2.
  • operation 930 it may be determined whether an error exists in the classification result in operation 910 based on the correction parameter.
  • operation 950 when it is determined that an error exists in the classification result in operation 930, the classification result may be corrected.
  • operation 970 when it is determined that no error exists in the classification result in operation 930, the classification result may be maintained as it is. Steps 930 to 970 may be performed by the correction units 130 and 230 of FIG. 1 or 2.
  • FIG. 10 is a block diagram illustrating a configuration of a multimedia apparatus according to an embodiment.
  • the multimedia apparatus 1000 illustrated in FIG. 10 may include a communication unit 1010 and an encoding module 1030.
  • the storage unit 1050 may further include an audio bitstream according to the use of the audio bitstream obtained as a result of the encoding.
  • the multimedia apparatus 1000 may further include a microphone 1070. That is, the storage unit 1050 and the microphone 1070 may be provided as an option.
  • the multimedia apparatus 1000 illustrated in FIG. 28 may further include an arbitrary decoding module (not shown), for example, a decoding module for performing a general decoding function or a decoding module according to an embodiment of the present invention.
  • the encoding module 1030 may be integrated with other components (not shown) included in the multimedia apparatus 1000 and implemented as at least one or more processors (not shown).
  • the communication unit 1010 may receive at least one of audio and an encoded bitstream provided from the outside, or may transmit at least one of reconstructed audio and an audio bitstream obtained as a result of encoding the encoding module 1030. Can be.
  • the communication unit 1010 includes wireless Internet, wireless intranet, wireless telephone network, wireless LAN (LAN), Wi-Fi, Wi-Fi Direct (WFD), 3G (Generation), 4G (4 Generation), and Bluetooth.
  • Wireless networks such as Bluetooth, Infrared Data Association (IrDA), Radio Frequency Identification (RFID), Ultra WideBand (UWB), Zigbee, Near Field Communication (NFC), wired telephone networks, wired Internet It is configured to send and receive data with external multimedia device or server through wired network.
  • the encoding module 1030 may perform encoding on an audio signal of a time domain provided through the communication unit 1010 or the microphone 1050.
  • the encoding process may be implemented using the apparatus or method shown in FIGS. 1 to 9.
  • the storage unit 1050 may store various programs necessary for operating the multimedia apparatus 1000.
  • the microphone 1070 may provide a user or an external audio signal to the encoding module 1030.
  • FIG. 11 is a block diagram illustrating a configuration of a multimedia apparatus according to another embodiment.
  • the multimedia device 1100 illustrated in FIG. 11 may include a communication unit 1110, an encoding module 1120, and a decoding module 1130.
  • the storage unit 1140 may further include an audio bitstream or a restored audio signal according to a use of the audio bitstream obtained from the encoding or the restored audio signal obtained as the decoding result.
  • the multimedia device 1100 may further include a microphone 1150 or a speaker 1160.
  • the encoding module 1120 and the decoding module 1130 may be integrated with other components (not shown) included in the multimedia device 1100 and implemented as at least one processor (not shown).
  • the decoding module 1130 may receive a bitstream provided through the communication unit 1110 and perform decoding on an audio spectrum included in the bitstream.
  • the decoding module 1130 may be implemented corresponding to the encoding module 330 of FIG. 3.
  • the speaker 1170 may output the restored audio signal generated by the decoding module 1130 to the outside.
  • the multimedia apparatus 1000 and 1100 include a voice communication terminal including a telephone, a mobile phone, and the like, a broadcast or music dedicated apparatus including a TV, an MP3 player, and the like.
  • a fusion terminal device of a broadcast or music dedicated device may be included, but is not limited thereto.
  • the multimedia devices 1000 and 1100 may be used as a client, a server, or a transducer disposed between the client and the server.
  • the multimedia device (1000, 1100) is a mobile phone, for example, although not shown, a user input unit, such as a keypad, a display unit for displaying information processed in the user interface or mobile phone, processor for controlling the overall function of the mobile phone It may further include.
  • the mobile phone may further include a camera unit having an imaging function and at least one component that performs a function required by the mobile phone.
  • the multimedia apparatus 1000 or 1100 when the multimedia apparatus 1000 or 1100 is a TV, for example, although not shown, the multimedia apparatus 1000 or 1100 may further include a user input unit such as a keypad, a display unit for displaying received broadcast information, and a processor for controlling overall functions of the TV. .
  • the TV may further include at least one or more components that perform a function required by the TV.
  • the method according to the embodiments can be written in a computer executable program and can be implemented in a general-purpose digital computer operating the program using a computer readable recording medium.
  • data structures, program instructions, or data files that can be used in the above-described embodiments of the present invention can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium may include all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include magnetic media, such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, floppy disks, and the like.
  • Such as magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium may also be a transmission medium for transmitting a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

Abstract

본 발명은 오디오 부호학에 관한 것으로서, 복원음질을 항상시키는 한편 부호학 모드 스위칭으로 인한 딜레이를 줄일 수 있는 신호 분류 방법 및 장치와 이를 이용한 오디오 부호학방법 및 장치에 관한 것이다. 신호 분류방법은 현재 프레임을 음성신호와 음악신호 증 하나로 분류하는 단계, 복수개의 프레임으로부터 얻어지는 특 징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가존재하는지 판단하는 단계, 및 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계를 포함할 수 있다. 오디오 신호의 초기 분류 결과를 수정 파라미터에 근거하여 수정함으로써, 오디오 신호의 특성에 최적인 부호학 모드를 결정하면서도 프레임간 빈번한 부호학모드의 스위칭을방지할수 있다.

Description

신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
본 발명은 오디오 부호화에 관한 것으로서, 좀 더 구체적으로는 복원음질을 향상시키는 한편 부호화 모드 스위칭으로 인한 딜레이를 줄일 수 있는 신호 분류 방법 및 장치와 이를 이용한 오디오 부호화방법 및 장치에 관한 것이다.
음악신호의 경우 주파수 도메인에서의 부호화가 효율적이고, 음성신호의 경우 시간 도메인에서의 부호화가 효율적임이 널리 알려져 있다. 따라서, 음악신호와 음성신호가 혼합된 오디오 신호에 대하여 음악신호에 해당하는지 음성신호에 해당하는지 분류하고, 분류 결과에 대응하여 부호화 모드를 결정하는 기술이 다양하게 제안되어 있다.
그러나, 빈번한 부호화 모드의 스위칭으로 인하여 딜레이가 발생할 뿐 아니라 복원음질의 열화를 초래하고, 초기 분류 결과를 수정하는 기술이 제안되어 있지 않아, 일차적인 신호 분류에 오류가 존재하는 경우 복원음질의 열화가 발생되는 문제가 있었다.
본 발명의 기술적 과제는 오디오신호의 특성에 적합하도록 부호화 모드를 결정하여 복원음질을 향상시킬 수 있는 신호 분류방법 및 장치와 이를 이용한 오디오 부호화방법 및 장치를 제공하는데 있다.
본 발명의 기술적 과제는 오디오신호의 특성에 적합하도록 부호화 모드를 결정하면서 부호화 모드 스위칭으로 인한 딜레이를 줄일 수 있는 신호 분류 방법 및 장치와 이를 이용한 오디오 부호화방법 및 장치를 제공하는데 있다.
일측면에 따르면, 신호 분류 방법은 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계, 및 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계를 포함할 수 있다.
일측면에 따르면, 신호 분류 장치는 현재 프레임을 음성신호과 음악신호 중 하나로 분류하고, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하고, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다.
일측면에 따르면 오디오 부호화방법은 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계, 및 상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하는 단계를 포함할 수 있다.
일측면에 따르면 오디오 부호화장치는 현재 프레임을 음성신호과 음악신호 중 하나로 분류하고, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하고, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하고, 상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다.
오디오 신호의 초기 분류 결과를 수정 파라미터에 근거하여 수정함으로써, 오디오 신호의 특성에 최적인 부호화 모드를 결정하면서도 프레임간 빈번한 부호화 모드의 스위칭을 방지할 수 있다.
도 1은 일실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 2는 다른 실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 3은 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 4는 일실시예에 따른 CELP 코어에서 신호 분류 수정방법을 설명하는 흐름도이다.
도 5는 일실시예에 따른 HQ 코어에서 신호 분류 수정방법을 설명하는 흐름도이다.
도 6은 일실시예에 따른 CELP 코어에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타낸다.
도 7은 일실시예에 따른 HQ 코어에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타낸다.
도 8은 일실시예에 따른 부호화모드 결정장치의 구성을 나타낸 블록도이다.
도 9는 일실시예에 따른 오디오 신호 분류방법을 설명하는 흐름도이다.
도 10는 일실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 11는 다른 실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명하기로 한다. 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다.
실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 각 구성부는 설명의 편의상 각각의 구성부로 나열한 것으로, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있다.
도 1은 일실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 1에 도시된 오디오 신호 분류장치(100)는 신호 분류부(110)와 수정부(130)을 포함할 수 있다. 여기서, 각 구성요소는 별도의 하드웨어로 구현되어야 할 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 오디오 신호는 음악 신호 혹은 음성 신호, 혹은 음악과 음성의 혼합신호를 의미할 수 있다.
도 1을 참조하면, 신호 분류부(110)은 다양한 초기 분류 파라미터에 근거하여 오디오신호가 음악 신호에 해당하는지 음성 신호에 해당하는지 분류할 수 있다. 오디오 신호 분류과정은 적어도 하나 이상의 단계를 포함할 수 있다. 일실시예에 따르면, 현재 프레임과 복수개의 이전 프레임의 신호 특성에 근거하여 오디오 신호를 음성 신호 혹은 음악 신호로 분류할 수 있다. 신호 특성은 단구간 특성과 장구간 특성 중 적어도 하나를 포함할 수 있다. 또한, 신호 특성은 시간 도메인 특성과 주파수 도메인 특성 중 적어도 하나를 포함할 수 있다. 여기서, 음성 신호로 분류되면, CELP(Code Excited Linear Prediction) 타입 코더를 이용하여 부호화될 수 있다. 한편, 음악 신호로 분류되면 트랜스폼 코더를 이용하여 부호화될 수 있다. 여기서, 트랜스폼 코더의 일예로는 MDCT(Modified Discrete Cosine Transform) 코더를 들 수 있으나 이에 한정되는 것은 아니다.
다른 실시예에 따르면, 오디오 신호 분류과정은 오디오 신호가 음성 특성을 갖는지 여부에 따라서 오디오 신호를 음성 신호와 일반적인 오디오 신호(generic audio signal) 즉, 음악 신호로 분류하는 제1 단계와 일반 오디오 신호가 GSC(Generic Signal audio Coder)에 적합한지를 판단하기 위한 제2 단계를 포함할 수 있다. 제1 단계의 분류결과와 제2 단계의 분류결과를 조합하여 오디오 신호가 음성신호로 분류될 수 있는지 음악신호로 분류될 수 있는지를 결정할 수 있다. 음성 신호로 분류되면 CELP 타입 코더로 부호화될 수 있다. CELP 타입 코더는 비트율 혹은 신호특성에 따라서 무성음 부호화(Unvoiced Coding; UC) 모드, 유성음 부호화(Voiced Coding; VC) 모드, 트랜지언트 부호화(Transition Coding; TC) 모드, 일반 부호화(Generic Coding; GC) 모드 중 복수개를 포함할 수 있다. 한편, GSC(Generic Signal audio Coding) 모드는 별도의 코더로 구현되거나 CELP 타입 코더의 하나의 모드로 포함될 수 있다. 음악 신호로 분류되면 트랜스폼 코더 혹은 CELP/트랜스폼 하이브리드 코더 중 하나를 이용하여 부호화될 수 있다. 세부적으로 트랜스폼 코더는 음악신호에, CELP/트랜스폼 하이브리드 코더는 음성신호가 아닌 비음악(non-music) 신호 혹은 음악과 음성이 혼합된 신호(mixed signal)에 적용될 수 있다. 일실시예에 따르면, 대역폭에 따라서 CELP 타입 코더, CELP/트랜스폼 하이브리드 코더와 트랜스폼 코더 모두가 사용되거나, CELP 타입 코더와 트랜스폼 코더가 사용될 수 있다. 예를 들어, 협대역(NB)인 경우 CELP 타입 코더와 트랜스폼 코더가 사용되고, 광대역(WB), 초광대역(SWB), 전대역(FB)의 경우 CELP 타입 코더, CELP/트랜스폼 하이브리드 코더와 트랜스폼 코더가 사용될 수 있다. CELP/트랜스폼 하이브리드 코더는 시간 도메인에서 동작하는 LP 기반 코더와 트랜스폼 도메인 코더를 결합한 것으로서, GSC(Generic Signal audio Coder)라고도 한다.
제1 단계의 신호 분류는 GMM(Gaussian Mixture Model)에 근거할 수 있다. GMM을 위하여 다양한 신호 특성이 사용될 수 있다. 신호 특성의 예로는, 오픈 루프 피치, 정규화된 상관도, 스펙트럼 엔벨로프, 토널 안정도, 신호의 넌-스테이셔너리티, LP 레지듈 에러, 스펙트럼 차이값, 스펙트럼 스테이셔너리티 등과 같은 특성을 들 수 있으나, 이에 한정되는 것은 아니다. 제2 단계의 신호 분류를 위하여 사용되는 신호 특성의 예로는 스펙트럼 에너지 변동 특성, LP 분석 레지듈 에너지의 틸트 특성, 고대역 스펙트럼 피키니스 특성, 상관도 특성, 보이싱 특성, 토널 특성 등을 들 수 있으나, 이에 한정되는 것은 아니다. 제1 단계에서 사용되는 특성은 CELP 타입 코더로 부호화하는 것이 적합한지를 판단하기 위하여 음성 특성인지 비음성 특성인지를 판단하기 위한 것이고, 제2 단계에서 사용되는 특성은 GSC로 부호화하는 것이 적합한지를 판단하기 위하여 음악 특성인지 비음악 특성인지를 판단하기 위한 것일 수 있다. 예를 들어, 제1 단계에서 음악 신호로 분류된 한 세트의 프레임들은 제2 단계에서 음성 신호로 전환되어 CELP 모드들 중 하나로 부호화될 수 있다. 즉, 큰 피치 주기 및 높은 안정도를 가지면서 상관도가 큰 신호 혹은 어택신호인 경우 제2 단계에서 음악 신호로부터 음성 신호로 전환될 수 있다. 이와 같은 신호 분류 결과에 따라서 부호화모드가 변경될 수 있다.
수정부(130)는 신호 분류부(110)의 분류 결과를 적어도 하나의 수정 파라미터에 근거하여 수정하거나 유지할 수 있다. 수정부(130)는 컨텍스트에 기반하여 신호 분류부(110)의 분류 결과를 수정하거나 유지할 수 있다. 예를 들어, 현재 프레임이 음성 신호로 분류된 경우 음악 신호로 수정되거나 음성 신호로 유지될 수 있고, 현재 프레임이 음악 신호로 분류된 경우 음성 신호로 수정되거나 음악 신호로 유지될 수 있다. 현재 프레임의 분류 결과에 에러가 존재하는지를 판단하기 위하여 현재 프레임을 포함하는 복수개의 프레임들의 특성이 사용될 수 있다. 예를 들면, 8개의 프레임이 사용될 수 있으나, 이에 한정되는 것은 아니다.
수정 파라미터의 예로는 토널러티, 선형예측에러, 보이싱, 상관도 등과 같은 특성 중 적어도 하나를 조합하여 사용될 수 있다. 여기서, 토널러티는 1~2 kHz 영역의 토널러티(ton2)과 2~4 kHz 영역의 토널러티(ton3)을 포함할 수 있으며, 각각 다음 수학식 1 및 2로 정의될 수 있다.
수학식 1
Figure PCTKR2015001783-appb-M000001
수학식 2
Figure PCTKR2015001783-appb-M000002
여기서, 위첨자(superscript) [-i]는 이전 프레임을 나타낸다. 예를 들어, tonality2[-1]는 1 프레임 이전 프레임의 1~2 kHz 영역의 토널러티를 나타낸다.
한편, 저대역의 장구간 토널러티 tonLT는 tonLT = 0.2 * log10[lt_tonality]와 같이 정의될 수 있다. 여기서, lt_tonality은 전대역의 장구간 토널리티를 나타낼 수 있다.
한편, n 프레임에서 1~2 kHz 영역의 토널러티(ton2)과 2~4 kHz 영역의 토널러티(ton3)간의 차이 dft는 dft = 0.2 * {log10(tonality2(n))-log10(tonality3(n)))와 같이 정의될 수 있다.
다음, 선형예측에러 LPerr은 다음 수학식 3으로 정의될 수 있다.
수학식 3
Figure PCTKR2015001783-appb-M000003
여기서, FVs(9)는 FVs(i) = sfaiFVi + sfbi (여기서, i = 0, ..., 11)에 의해 정의되며, 신호 분류부(110,210)에서 사용되는 특징 파라미터 중 다음 수학식 4로 정의되는 LP 레지듈 로그-에너지 비율 특징 파라미터를 스케일링한 값에 해당하는 것이다. 여기서, sfai, sfbi는 특징 파라미터의 종류 및 대역폭에 따라서 달라질 수 있으며, 각 특징 파라미터를 [0;1] 범위로 근사화하기 위하여 사용된다.
수학식 4
Figure PCTKR2015001783-appb-M000004
여기서, E(1)는 첫번째 LP 계수의 에너지, E(13)은 13번째 LP 계수의 에너지를 나타낸다.
다음, 신호 분류부(110,210)에서 사용되는 특징 파라미터 중 하기 수학식 5에 의해 정의되는 정규화된 상관도 특징 혹은 보이싱 특징 FV1을 FVs(i) = sfaiFVi + sfbi (여기서, i = 0, ..., 11)에 근거하여 스케일링한 값 FVs(1)과 다음 수학식 6으로 정의되는 상관도 맵 특징 FV(7)을 FVs(i) = sfaiFVi + sfbi (여기서, i = 0, ..., 11)에 근거하여 스케일링한 값 FVs(7) 간의 차이 dvcor는 dvcor = max(FVs(1)-FVs(7),0)로 정의될 수 있다.
수학식 5
Figure PCTKR2015001783-appb-M000005
여기서,
Figure PCTKR2015001783-appb-I000001
은 첫번째 혹은 두번째 하프 프레임에서의 정규화된 상관도를 나타낸다.
수학식 6
Figure PCTKR2015001783-appb-M000006
여기서, Mcor은 프레임의 상관도 맵을 나타낸다.
상기 복수개의 특징 파라미터를 조합하거나 단일한 특징 파라미터를 이용하여 다음 조건 1 내지 조건 4 중 적어도 하나 이상을 포함하는 수정 파라미터를 생성할 수 있다. 여기서, 조건 1과 조건 2은 음성 상태(SPEECH_STATE)를 변경할 수 있는 조건을 의미하며, 조건 3과 조건 4는 음악 상태(MUSIC_STATE)를 변경할 수 있는 조건을 의미할 수 있다. 구체적으로, 조건 1은 음성 상태(SPEECH_STATE)를 0에서 1로 변경할 수 있고, 조건 2는 음성 상태(SPEECH_STATE)를 1에서 0으로 변경할 수 있다. 한편, 조건 3은 음악 상태(MUSIC_STATE)를 0에서 1로 변경할 수 있고, 조건 4는 음악 상태(MUSIC_STATE)를 1에서 0으로 변경할 수 있다. 음성 상태(SPEECH_STATE)가 1이면 음성일 확률이 높음 즉, CELP 타입 코딩이 적합함을 의미하고 0이면 음성이 아닐 확률이 높음을 의미할 수 있다. 음악 상태(MUSIC_STATE)가 1이면 트랜스폼 코딩에 적합함을 의미하고, 0이면 CELP/트랜스폼 하이브리드 코딩 즉, GSC에 적합함을 의미할 수 있다. 다른 예로서, 음악 상태(MUSIC_STATE)가 1이면 트랜스폼 코딩에 적합함을 의미하고, 0이면 CELP 타입 코딩에 적합함을 의미할 수 있다.
조건 1(fA)은 예를 들어 다음과 같이 정의될 수 있다. 즉, dvcor > 0.4 AND dft < 0.1 AND FVs(1) > (2*FVs(7)+0.12) AND ton2 < dvcor AND ton3 < dvcor AND tonLT < dvcor AND FVs(7) < dvcor AND FVs(1) > dvcor AND FVs(1) > 0.76이면, fA 는 1로 설정될 수 있다.
조건 2(fB)은 예를 들어 다음과 같이 정의될 수 있다. 즉, dvcor < 0.4이면, fB 는 1로 설정될 수 있다.
조건 3(fC)은 예를 들어 다음과 같이 정의될 수 있다. 즉, 0.26 < ton2 < 0.54 AND ton3 > 0.22 AND 0.26 < tonLT < 0.54 AND LPerr > 0.5이면, fC 는 1로 설정될 수 있다.
조건 4(fD)은 예를 들어 다음과 같이 정의될 수 있다. 즉, ton2 < 0.34 AND ton3 < 0.26 AND 0.26 < tonLT < 0.45이면, fD 는 1로 설정될 수 있다.
각 조건을 생성하기 위하여 사용된 특징 혹은 특징들의 조합은 이에 한정되지 않는다. 또한, 각 상수값은 예시적인 것에 불과하며 구현 방식에 따라서 최적값으로 설정될 수 있다.
구체적으로, 수정부(130)는 두개의 독립적인 상태 머쉰, 예를 들면 음성 상태 머쉰과 음악 상태 머쉰을 이용하여 초기 분류 결과에 존재하는 에러를 정정할 수 있다. 각 상태 머쉰은 두개의 상태를 가지며, 각 상태에서 행오버가 사용되어 빈번한 트랜지션을 방지할 수 있다. 행오버는 예를 들어 6개 프레임으로 구성될 수 있다. 음성 상태 머쉰에서 행오버 변수를 hangsp로, 음악 상태 머쉰에서 행오버 변수를 hangmus로 나타내는 경우, 주어진 상태에서 분류 결과에 변화가 있는 경우, 각각 6으로 초기화되고, 이후 행오버가 각 다음 프레임에 대하여 1씩 감소하게 된다. 상태 변화는 행오버가 제로로 감소되는 경우에만 발생할 수 있다. 각 상태 머쉰에는 오디오 신호로부터 추출되는 적어도 하나 이상의 특징이 조합되어 생성되는 수정 파라미터가 사용될 수 있다.
도 2는 다른 실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 2에 도시된 오디오 신호 분류장치(200)는 신호 분류부(210), 수정부(230) 및 세부 분류부(fine classifier, 250)를 포함할 수 있다. 도 1의 오디오 신호 분류장치(100)와의 차이점은 세부 분류부(fine classifier, 250)를 더 포함하는데 있고, 신호 분류부(210)와 수정부(230)의 기능은 도 1에서와 동일하므로 그 세부적인 설명은 생략하기로 한다.
도 2를 참조하면, 세부 분류부(250)는 수정부(230)에서 수정되거나 유지된 분류결과에 대하여 세부 분류 파라미터에 근거하여 세부적으로 분류할 수 있다. 일실시예에 따르면, 세부 분류부(250)는 음악 신호로 분류된 오디오 신호가 CELP/트랜스폼 하이브리드 코더 즉 GSC로 부호화하는 것이 적합한지를 판단하여 수정하기 위한 것이다. 이때, 수정 방법으로는 특정 파라미터 혹은 플래그를 변경하여 트랜스폼 코더가 선택되지 않도록 한다. 세부 분류부(250)는 수정부(230)에서 출력되는 분류결과가 음악 신호인 경우 세부 분류를 수행하여 재차 음악 신호인지 음성 신호인지를 분류할 수 있다. 세부 분류부(250)의 분류결과가 음악 신호인 경우 제2 부호화모드로서 트랜스폼 코더를 그대로 이용하여 부호화할 수 있고, 세부 분류부(250)의 분류결과가 음성 신호인 경우 제3 부호화모드로서 CELP/트랜스폼 하이브리드 코더를 이용하여 부호화할 수 있다. 한편, 수정부(230)에서 출력되는 분류결과가 음성 신호인 경우 제1 부호화모드로서 CELP 타입 코더를 이용하여 부호화할 수 있다. 세부 분류 파라미터의 일예로는 토널러티, 보이싱, 상관도, 피치 이득, 피치 차이 등과 같은 특징을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 3은 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 3에 도시된 오디오 부호화장치(300)는 부호화모드 결정부(310)와 부호화모듈(330)를 포함할 수 있다. 부호화모드 결정부(310)는 도 1의 오디오신호 분류장치(100) 혹은 도 2의 오디오신호 분류장치(200)의 구성요소를 포함할 수 있다. 부호화모듈(330)은 제1 내지 제3 부호화부(331,333,335)를 포함할 수 있다. 여기서, 제1 부호화부(331)는 CELP 타입 코더, 제2 부호화부(333)는 CELP/트랜스폼 하이브리도 코더, 제3 부호화부(335)는 트랜스폼 코더에 해당할 수 있다. 한편, GSC가 CELP 타입 코더의 하나의 모드로 구현시 부호화모듈(330)은 제1 및 제3 부호화부(331,335)를 포함할 수 있다. 부호화모듈(330) 및 제1 부호화부(331)은 비트율 혹은 대역폭에 따라서 다양한 구성(configuration)을 가질 수 있다.
도 3을 참조하면, 부호화모드 결정부(310)는 신호 특성에 근거하여 오디오신호가 음악 신호인지 음성 신호인지를 분류하고, 분류결과에 대응하여 부호화모드를 결정할 수 있다. 부호화모드는 슈퍼프레임 단위, 프레임 단위, 혹은 밴드 단위로 수행될 수 있다. 또한, 부호화모드는 복수의 슈퍼프레임 그룹, 복수의 프레임 그룹, 복수의 밴드 그룹 단위로 수행될 수 있다. 여기서, 부호화모드의 예로는 트랜스폼 도메인 모드과 선형예측 도메인 모드의 두가지가 있을 수 있으나, 이에 한정되는 것은 아니다. 선형예측 도메인 모드는 UC, VC, TC, GC 모드를 포함할 수 있다. 한편, GSC 모드는 별도의 부호화모드로 분류되거나, 선형예측 도메인 모드의 세부 모드로 포함될 수 있다. 프로세서의 성능 및 처리속도 등이 지원되고, 부호화모드 스위칭에 따른 딜레이가 해결될 수 있는 경우, 부호화모드를 좀 더 세분화시킬 수 있으며, 부호화모드에 대응하여 부호화방식도 세분화시킬 수 있다. 구체적으로, 부호화모드 결정부(310)는 초기 분류 파라미터에 근거하여 오디오신호를 음악 신호와 음성 신호 중 하나로 분류할 수 있다. 부호화모드 결정부(310)는 수정 파라미터에 근거하여 음악 신호인 분류결과를 음성 신호로 수정하거나 그대로 유지하거나, 음성 신호인 분류결과를 음악 신호로 수정하거나 그대로 유지할 수 있다. 부호화모드 결정부(310)는 수정되거나 유지된 분류결과, 예를 들면 음악 신호인 분류결과에 대하여 세부 분류 파라미터에 근거하여 음악 신호와 음성 신호 중 하나로 분류할 수 있다. 부호화모드 결정부(310)는 최종 분류 결과를 이용하여 부호화모드들 결정할 수 있다. 일실시예에 따르면, 부호화모드 결정부(310)는 비트율과 대역폭 중 적어도 하나에 근거하여 부호화모드를 결정할 수 있다.
부호화모듈(330)에서 제1 부호화부(331)는 수정부(130,230)의 분류결과가 음성 신호에 해당하는 경우 동작될 수 있다. 제2 부호화부(333)는 수정부(130)의 분류결과가 음악 신호에 해당하거나 세부 분류부(350)의 분류결과가 음성신호에 해당하는 경우 동작될 수 있다. 제3 부호화부(335)는 수정부(130)의 분류결과가 음악 신호에 해당하거나 세부 분류부(350)의 분류결과가 음악신호에 해당하는 경우 동작될 수 있다.
도 4는 일실시예에 따른 CELP 코어에서 신호 분류 수정방법을 설명하는 흐름도로서, 도 1 혹은 도 2의 수정부(130,230)에서 수행될 수 있다.
도 4를 참조하면, 410 단계에서는 수정 파라미터, 예를 들면 조건 1 및 조건 2를 수신할 수 있다. 또한, 410 단계에서는 음성 상태 머쉰의 행오버 정보를 수신할 수 있다. 또한, 410 단계에서는 초기 분류 결과를 수신할 수 있다. 초기 분류 결과는 도 1 혹은 도 2의 신호 분류부(110,210)로부터 제공될 수 있다.
420 단계에서는 초기 분류 결과 즉, 음성 상태가 0이면서 조건 1(fA)이 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인지를 판단할 수 있다. 420 단계에서 음성 상태가 0이면서 조건 1이 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인 것으로 판단된 경우, 430 단계에서 음성 상태를 1로 변경하고 행오버(hangsp)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 460 단계로 제공될 수 있다. 한편, 420 단계에서 음성 상태가 0이 아니거나 조건 1이 1이 아니거나 음성 상태 머쉰의 행오버(hangsp)가 0이 아닌 경우 440 단계로 이행할 수 있다.
440 단계에서는 초기 분류 결과 즉, 음성 상태가 1이면서 조건 2(fB)가 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인지를 판단할 수 있다. 440 단계에서 음성 상태가 1이면서 조건 2가 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인 것으로 판단된 경우, 450 단계에서 음성 상태를 0으로 변경하고 행오버(hangsp)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 460 단계로 제공될 수 있다. 한편, 440 단계에서 음성 상태가 1이 아니거나 조건 2가 1이 아니거나 음성 상태 머쉰의 행오버(hangsp)가 0이 아닌 경우 460 단계로 이행하여 행오버를 1만큼 감소시키는 행오버 업데이트를 수행할 수 있다.
도 5는 일실시예에 따른 HQ 코어에서 신호 분류 수정방법을 설명하는 흐름도로서, 도 1 혹은 도 2의 수정부(130,230)에서 수행될 수 있다.
도 5를 참조하면, 510 단계에서는 수정 파라미터, 예를 들면 조건 3 및 조건 4를 수신할 수 있다. 또한, 510 단계에서는 음악 상태 머쉰의 행오버 정보를 수신할 수 있다. 또한, 510 단계에서는 초기 분류 결과를 수신할 수 있다. 초기 분류 결과는 도 1 혹은 도 2의 신호 분류부(110,210)로부터 제공될 수 있다.
520 단계에서는 초기 분류 결과 즉, 음악 상태가 1이면서 조건 3(fC)이 1이고 음악 상태 머쉰의 행오버(hangmus)가 0인지를 판단할 수 있다. 520 단계에서 음악 상태가 1이면서 조건 3이 1이고 음악 상태 머쉰의 행오버(hangnus)가 0인 것으로 판단된 경우, 530 단계에서 음악 상태를 0으로 변경하고 행오버(hangmus)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 560 단계로 제공될 수 있다. 한편, 520 단계에서 음악 상태가 1이 아니거나 조건 3이 1이 아니거나 음악 상태 머쉰의 행오버(hangmus)가 0이 아닌 경우 540 단계로 이행할 수 있다.
540 단계에서는 초기 분류 결과 즉, 음악 상태가 0이면서 조건 4(fD)가 1이고 음악 상태 머쉰의 행오버(hangmus)가 0인지를 판단할 수 있다. 540 단계에서 음악 상태가 0이면서 조건 4가 1이고 음악 상태 머쉰의 행오버(hangmus)가 0인 것으로 판단된 경우, 550 단계에서 음악 상태를 1로 변경하고 행오버(hangmus)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 560 단계로 제공될 수 있다. 한편, 540 단계에서 음악 상태가 0이 아니거나 조건 4가 1이 아니거나 음악 상태 머쉰의 행오버(hangmus)가 0이 아닌 경우 560 단계로 이행하여 행오버를 1만큼 감소시키는 행오버 업데이트를 수행할 수 있다.
도 6은 일실시예에 따른 CELP 코어에 적합한 상태 즉, 음성 상태에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타내는 것으로서, 도 4에 대응될 수 있다.
도 6에 따르면, 수정부(도 1의 130,230)에서는 음악 상태 머쉰에서 결정되는 음악 상태와 음성 상태 머쉰에서 결정되는 음성 상태에 따라서 분류 결과에 대한 수정(corection)이 적용될 수 있다. 예를 들어, 초기 분류 결과가 음악 신호로 설정된 경우, 수정 파라미터에 근거하여 음성 신호로 변경할 수 있다. 구체적으로, 초기 분류 결과 중 제1 단계의 분류결과가 음악 신호이고 음성 상태가 1이 된 경우, 제1 단계의 분류결과와 제2 단계의 분류결과 모두를 음성 신호로 변경할 수 있다. 이러한 경우, 초기 분류 결과에 에러가 존재하는 것으로 판단되어 분류 결과에 대한 수정이 이루어질 수 있다.
도 7은 일실시예에 따른 HQ(High Quality) 코어에 적합한 상태 즉, 음악 상태에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타내는 것으로서, 도 5에 대응될 수 있다.
도 7에 따르면, 수정부(도 1의 130,230)에서는 음악 상태 머쉰에서 결정되는 음악 상태와 음성 상태 머쉰에서 결정되는 음성 상태에 따라서 분류 결과에 대한 수정(corection)이 적용될 수 있다. 예를 들어, 초기 분류 결과가 음성 신호로 설정된 경우, 수정 파라미터에 근거하여 음악 신호로 변경할 수 있다. 구체적으로, 초기 분류 결과 중 제1 단계의 분류결과가 음성 신호이고 음악 상태가 1이 된 경우, 제1 단계의 분류결과와 제2 단계의 분류결과 모두를 음악 신호로 변경할 수 있다. 한편, 초기 분류 결과가 음악신호로 설정된 경우, 수정 파라미터에 근거하여 음성신호로 변경할 수 있다. 이러한 경우, 초기 분류 결과에 에러가 존재하는 것으로 판단되어 분류 결과에 대한 수정이 이루어질 수 있다.
도 8은 일실시예에 따른 부호화모드 결정장치의 구성을 나타낸 블록도이다.
도 8에 도시된 부호화모드 결정장치는 초기 부호화모드 결정부(810)와 수정부(830)를 포함할 수 있다.
도 8을 참조하면, 초기 부호화모드 결정부(810)는 오디오 신호가 음성 특성을 갖는지를 판단하고, 음성 특성을 갖는 경우 제1 부호화모드를 초기 부호화모드로 결정할 수 있다. 제1 부호화모드인 경우 오디오 신호를 CELP 타입 코더로 부호화할 수 있다. 초기 부호화모드 결정부(810)는 오디오 신호가 음성 특성을 갖지 않는 경우, 제2 부호화모드를 초기 부호화모드로 결정할 수 있다. 제2 부호화모드인 경우 오디오 신호를 트랜스폼 코더로 부호화할 수 있다. 한편, 초기 부호화모드 결정부(810)는 오디오 신호가 음성 특성을 갖지 않는 경우, 비트율에 따라서 제2 부호화모드와 제3 부호화모드 중 하나를 초기 부호화모드로 결정할 수 있다. 여기서, 제3 부호화모드인 경우 오디오 신호를 CELP/트랜스폼 하이브리드 코더로 부호화할 수 있다. 일실시예에 따르면, 초기 부호화모드 결정부(810)는 쓰리 웨이(3-way) 방식을 사용할 수 있다.
수정부(830)는 초기 부호화모드가 제1 부호화모드로 결정된 경우, 수정 파라미터에 근거하여 제2 부호화모드로 수정할 수 있다. 예를 들어, 초기 분류 결과가 음성 신호이지만 음악 특성을 갖는 경우, 초기 분류 결과를 음악 신호로 수정할 수 있다. 한편, 수정부(830)는 초기 부호화모드가 제2 부호화모드로 결정된 경우, 수정 파라미터에 근거하여 제1 부호화모드 혹은 제3 부호화모드로 수정할 수 있다. 예를 들어, 초기 분류 결과가 음악 신호이지만 음성 특성을 갖는 경우, 초기 분류 결과를 음성 신호로 수정할 수 있다.
도 9는 일실시예에 따른 오디오 신호 분류방법을 설명하는 흐름도이다.
도 9를 참조하면, 910 단계에서는 오디오신호를 음악신호 혹은 음성신호 중 하나로 분류할 수 있다. 구체적으로, 910 단계에서는 신호 특성에 근거하여 현재 프레임이 음악신호에 해당하는지 음성신호에 해당하는지 분류할 수 있다. 910 단계는 도 1 혹은 도 2의 신호분류부(110,210)에서 수행될 수 있다.
930 단계에서는 수정 파라미터에 근거하여 910 단계에서의 분류 결과에 에러가 존재하는지를 판단할 수 있다. 950 단계에서는 930 단계에서 분류 결과에 에러가 존재하는 것으로 판단된 경우, 분류 결과를 수정할 수 있다. 한편, 970 단계에서는 930 단계에서 분류 결과에 에러가 존재하지 않는 것으로 판단된 경우, 분류 결과를 그대로 유지할 수 있다. 930 내지 970 단계는 도 1 혹은 도 2의 수정부(130,230)에서 수행될 수 있다.
도 10는 일실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 10에 도시된 멀티미디어 기기(1000)는 통신부(1010)와 부호화모듈(1030)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림의 용도에 따라서, 오디오 비트스트림을 저장하는 저장부(1050)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1000)는 마이크로폰(1070)을 더 포함할 수 있다. 즉, 저장부(1050)와 마이크로폰(1070)은 옵션으로 구비될 수 있다. 한편, 도 28에 도시된 멀티미디어 기기(1000)는 임의의 복호화모듈(미도시), 예를 들면 일반적인 복호화 기능을 수행하는 복호화모듈 혹은 본 발명의 일실시예에 따른 복호화모듈을 더 포함할 수 있다. 여기서, 부호화모듈(1030)은 멀티미디어 기기(1000)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 10을 참조하면, 통신부(1010)는 외부로부터 제공되는 오디오와 부호화된 비트스트림 중 적어도 하나를 수신하거나, 복원된 오디오와 부호화모듈(1030)의 부호화결과 얻어지는 오디오 비트스트림 중 적어도 하나를 송신할 수 있다.
통신부(1010)는 무선 인터넷, 무선 인트라넷, 무선 전화망, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee), NFC(Near Field Communication)와 같은 무선 네트워크 또는 유선 전화망, 유선 인터넷과 같은 유선 네트워크를 통해 외부의 멀티미디어 기기 혹은 서버와 데이터를 송수신할 수 있도록 구성된다.
부호화모듈(1030)은 일실시예에 따르면, 통신부(1010) 혹은 마이크로폰(1050)을 통하여 제공되는 시간 도메인의 오디오 신호에 대하여 부호화를 수행할 수 있다. 부호화처리는 도 1 내지 도 9에 도시된 장치 혹은 방법을 이용하여 구현될 수 있다.
저장부(1050)는 멀티미디어 기기(1000)의 운용에 필요한 다양한 프로그램을 저장할 수 있다.
마이크로폰(1070)은 사용자 혹은 외부의 오디오신호를 부호화모듈(1030)로 제공할 수 있다.
도 11는 다른 실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 11에 도시된 멀티미디어 기기(1100)는 통신부(1110), 부호화모듈(1120)과 복호화모듈(1130)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림 혹은 복호화 결과 얻어지는 복원된 오디오신호의 용도에 따라서, 오디오 비트스트림 혹은 복원된 오디오신호를 저장하는 저장부(1140)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1100)는 마이크로폰(1150) 혹은 스피커(1160)를 더 포함할 수 있다. 여기서, 부호화모듈(1120)과 복호화모듈(1130)은 멀티미디어 기기(1100)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 11에 도시된 각 구성요소 중 도 10에 도시된 멀티미디어 기기(1000)와 중복되는 구성요소에 대해서는 그 상세한 설명은 생략하기로 한다.
복호화 모듈(1130)은 일실시예에 따르면, 통신부(1110)를 통하여 제공되는 비트스트림을 수신하고, 비트스트림에 포함된 오디오 스펙트럼에 대하여 복호화를 수행할 수 있다. 복호화모듈(1130)은 도 3의 부호화모듈(330)에 대응하여 구현될 수 있다.
스피커(1170)는 복호화 모듈(1130)에서 생성되는 복원된 오디오신호를 외부로 출력할 수 있다.
도 10 및 도 11에 도시된 멀티미디어 기기(1000, 1100)에는, 전화, 모바일 폰 등을 포함하는 음성통신 전용단말, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용장치, 혹은 음성통신 전용단말과 방송 혹은 음악 전용장치의 융합 단말장치가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 멀티미디어 기기(1000, 1100)는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
한편, 멀티미디어 기기(1000, 1100)가 예를 들어 모바일 폰인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 유저 인터페이스 혹은 모바일 폰에서 처리되는 정보를 디스플레이하는 디스플레이부, 모바일 폰의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, 모바일 폰은 촬상 기능을 갖는 카메라부와 모바일 폰에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
한편, 멀티미디어 기기(1000, 1100)가 예를 들어 TV인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 수신된 방송정보를 디스플레이하는 디스플레이부, TV의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, TV는 TV에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 스코프는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계;
    복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계; 및
    상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계를 포함하는 신호 분류방법.
  2. 제1 항에 있어서, 상기 수정 단계는 복수개의 독립적인 상태 머쉰에 근거하여 수행되는 신호 분류방법.
  3. 제2 항에 있어서, 상기 복수개의 독립적인 상태 머쉰은 음악 상태 머쉰과 음성 상태 머쉰을 포함하는 신호 분류방법.
  4. 제1 항에 있어서, 상기 특징 파라미터는 현재 프레임과 복수개의 이전 프레임으로부터 얻어지는 신호 분류방법.
  5. 제1 항에 있어서, 상기 판단 단계는 상기 현재 프레임의 분류결과가 음악 신호이고, 상기 현재 프레임이 음성 특징을 갖는 것으로 판단된 경우 상기 분류결과에 에러가 존재하는 것으로 판단하는 신호 분류방법.
  6. 제1 항에 있어서, 상기 판단 단계는 상기 현재 프레임의 분류결과가 음성 신호이고, 상기 현재 프레임이 음악 특징을 갖는 것으로 판단된 경우 상기 분류결과에 에러가 존재하는 것으로 판단하는 신호 분류방법.
  7. 제2 항에 있어서, 상기 각 상태 머쉰은 빈번한 상태 트랜지션을 방지하기 위하여 복수개의 프레임에 해당하는 행오버를 사용하는 신호 분류방법.
  8. 제1 항에 있어서, 상기 수정 단계는 상기 현재 프레임의 분류결과가 음악 신호이고, 상기 현재 프레임이 음성 특징을 갖는 것으로 판단된 경우 상기 분류결과를 음성 신호로 수정하는 신호 분류방법.
  9. 제1 항에 있어서, 상기 수정 단계는 상기 현재 프레임의 분류결과가 음성 신호이고, 상기 현재 프레임이 음악 특징을 갖는 것으로 판단된 경우 상기 분류결과를 음악 신호로 수정하는 신호 분류방법.
  10. 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계;
    복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계; 및
    상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계를 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계;
    복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계;
    상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계; 및
    상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하는 단계를 포함하는 오디오 부호화방법.
  12. 제12 항에 있어서, 상기 부호화 단계는 CELP 타입 코더와 트랜스폼 코더 중 하나를 이용하여 수행되는 오디오 부호화방법.
  13. 제12 항에 있어서, 상기 부호화 단계는 CELP 타입 코더, 트랜스폼 코더 및 CELP/트랜스폼 하이브리드 코더 중 하나를 이용하여 수행되는 오디오 부호화방법.
  14. 현재 프레임을 음성신호과 음악신호 중 하나로 분류하고, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하고, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하도록 구성된 적어도 하나의 프로세서를 포함하는 신호 분류 장치.
  15. 현재 프레임을 음성신호과 음악신호 중 하나로 분류하고, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하고, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하고, 상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하도록 구성된 적어도 하나의 프로세서를 포함하는 오디오 부호화 장치.
PCT/KR2015/001783 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치 WO2015126228A1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
ES15751981T ES2702455T3 (es) 2014-02-24 2015-02-24 Procedimiento y dispositivo de clasificación de señales, y procedimiento y dispositivo de codificación de audio que usan los mismos
KR1020227036099A KR102552293B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
CN201580021378.2A CN106256001B (zh) 2014-02-24 2015-02-24 信号分类方法和装置以及使用其的音频编码方法和装置
US15/121,257 US10090004B2 (en) 2014-02-24 2015-02-24 Signal classifying method and device, and audio encoding method and device using same
SG11201607971TA SG11201607971TA (en) 2014-02-24 2015-02-24 Signal classifying method and device, and audio encoding method and device using same
JP2016570753A JP6599368B2 (ja) 2014-02-24 2015-02-24 信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置
KR1020227001823A KR102457290B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
KR1020167023217A KR102354331B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
EP15751981.0A EP3109861B1 (en) 2014-02-24 2015-02-24 Signal classifying method and device, and audio encoding method and device using same
US16/148,708 US10504540B2 (en) 2014-02-24 2018-10-01 Signal classifying method and device, and audio encoding method and device using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461943638P 2014-02-24 2014-02-24
US61/943,638 2014-02-24
US201462029672P 2014-07-28 2014-07-28
US62/029,672 2014-07-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/121,257 A-371-Of-International US10090004B2 (en) 2014-02-24 2015-02-24 Signal classifying method and device, and audio encoding method and device using same
US16/148,708 Continuation US10504540B2 (en) 2014-02-24 2018-10-01 Signal classifying method and device, and audio encoding method and device using same

Publications (1)

Publication Number Publication Date
WO2015126228A1 true WO2015126228A1 (ko) 2015-08-27

Family

ID=53878629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001783 WO2015126228A1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Country Status (8)

Country Link
US (2) US10090004B2 (ko)
EP (1) EP3109861B1 (ko)
JP (1) JP6599368B2 (ko)
KR (3) KR102552293B1 (ko)
CN (2) CN106256001B (ko)
ES (1) ES2702455T3 (ko)
SG (1) SG11201607971TA (ko)
WO (1) WO2015126228A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO2780522T3 (ko) 2014-05-15 2018-06-09
CN111177454B (zh) * 2019-12-11 2023-05-30 广州荔支网络技术有限公司 一种音频节目分类的修正方法
JP2023539121A (ja) * 2020-08-18 2023-09-13 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオコンテンツの識別
CN115881138A (zh) * 2021-09-29 2023-03-31 华为技术有限公司 解码方法、装置、设备、存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110751A2 (ko) * 2008-03-04 2009-09-11 Lg Electronics Inc. 오디오 신호 처리 방법 및 장치
WO2010008173A2 (ko) * 2008-07-14 2010-01-21 한국전자통신연구원 오디오 신호의 상태결정 장치
WO2010008179A1 (ko) * 2008-07-14 2010-01-21 한국전자통신연구원 음성/음악 통합 신호의 부호화/복호화 방법 및 장치
US20110046965A1 (en) * 2007-08-27 2011-02-24 Telefonaktiebolaget L M Ericsson (Publ) Transient Detector and Method for Supporting Encoding of an Audio Signal
US20120069899A1 (en) * 2002-09-04 2012-03-22 Microsoft Corporation Entropy encoding and decoding using direct level and run-length/level context-adaptive arithmetic coding/decoding modes

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453285B1 (en) * 1998-08-21 2002-09-17 Polycom, Inc. Speech activity detector for use in noise reduction system, and methods therefor
JP3616307B2 (ja) * 2000-05-22 2005-02-02 日本電信電話株式会社 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
RU2426179C2 (ru) * 2006-10-10 2011-08-10 Квэлкомм Инкорпорейтед Способ и устройство для кодирования и декодирования аудиосигналов
KR100883656B1 (ko) * 2006-12-28 2009-02-18 삼성전자주식회사 오디오 신호의 분류 방법 및 장치와 이를 이용한 오디오신호의 부호화/복호화 방법 및 장치
CN101025918B (zh) * 2007-01-19 2011-06-29 清华大学 一种语音/音乐双模编解码无缝切换方法
CN101393741A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种宽带音频编解码器中的音频信号分类装置及分类方法
AU2009220321B2 (en) * 2008-03-03 2011-09-22 Intellectual Discovery Co., Ltd. Method and apparatus for processing audio signal
US8428949B2 (en) * 2008-06-30 2013-04-23 Waves Audio Ltd. Apparatus and method for classification and segmentation of audio content, based on the audio signal
KR101224560B1 (ko) * 2008-07-11 2013-01-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인코드된 오디오 신호를 디코딩하는 장치 및 방법
WO2010003521A1 (en) * 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and discriminator for classifying different segments of a signal
KR101381513B1 (ko) 2008-07-14 2014-04-07 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
KR101230183B1 (ko) 2008-07-14 2013-02-15 광운대학교 산학협력단 오디오 신호의 상태결정 장치
KR101073934B1 (ko) * 2008-12-22 2011-10-17 한국전자통신연구원 음성/음악 판별장치 및 방법
CN102044244B (zh) * 2009-10-15 2011-11-16 华为技术有限公司 信号分类方法和装置
CN102237085B (zh) * 2010-04-26 2013-08-14 华为技术有限公司 音频信号的分类方法及装置
RU2010152225A (ru) * 2010-12-20 2012-06-27 ЭлЭсАй Корпорейшн (US) Обнаружение музыки с использованием анализа спектральных пиков
CN102543079A (zh) * 2011-12-21 2012-07-04 南京大学 一种实时的音频信号分类方法及设备
US9111531B2 (en) * 2012-01-13 2015-08-18 Qualcomm Incorporated Multiple coding mode signal classification
WO2014010175A1 (ja) * 2012-07-09 2014-01-16 パナソニック株式会社 符号化装置及び符号化方法
KR102446441B1 (ko) * 2012-11-13 2022-09-22 삼성전자주식회사 부호화 모드 결정방법 및 장치, 오디오 부호화방법 및 장치와, 오디오 복호화방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069899A1 (en) * 2002-09-04 2012-03-22 Microsoft Corporation Entropy encoding and decoding using direct level and run-length/level context-adaptive arithmetic coding/decoding modes
US20110046965A1 (en) * 2007-08-27 2011-02-24 Telefonaktiebolaget L M Ericsson (Publ) Transient Detector and Method for Supporting Encoding of an Audio Signal
WO2009110751A2 (ko) * 2008-03-04 2009-09-11 Lg Electronics Inc. 오디오 신호 처리 방법 및 장치
WO2010008173A2 (ko) * 2008-07-14 2010-01-21 한국전자통신연구원 오디오 신호의 상태결정 장치
WO2010008179A1 (ko) * 2008-07-14 2010-01-21 한국전자통신연구원 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3109861A4 *

Also Published As

Publication number Publication date
EP3109861B1 (en) 2018-12-12
KR20220013009A (ko) 2022-02-04
JP2017511905A (ja) 2017-04-27
JP6599368B2 (ja) 2019-10-30
US20170011754A1 (en) 2017-01-12
US10504540B2 (en) 2019-12-10
ES2702455T3 (es) 2019-03-01
US10090004B2 (en) 2018-10-02
EP3109861A4 (en) 2017-11-01
KR102552293B1 (ko) 2023-07-06
CN106256001B (zh) 2020-01-21
EP3109861A1 (en) 2016-12-28
SG11201607971TA (en) 2016-11-29
KR20160125397A (ko) 2016-10-31
KR102354331B1 (ko) 2022-01-21
CN110992965A (zh) 2020-04-10
CN106256001A (zh) 2016-12-21
KR20220148302A (ko) 2022-11-04
KR102457290B1 (ko) 2022-10-20
US20190103129A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6790029B2 (ja) 音声プロファイルを管理し、発話信号を生成するためのデバイス
US9218820B2 (en) Audio fingerprint differences for end-to-end quality of experience measurement
US9552845B2 (en) Automatic generation of metadata for audio dominance effects
WO2012053798A2 (en) Apparatus and method for determining weighting function having low complexity for linear predictive coding (lpc) coefficients quantization
WO2015126228A1 (ko) 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
JPH09507105A (ja) 分散音声認識システム
JP5319704B2 (ja) オーディオ信号の処理方法及び装置
JP2006099124A (ja) デジタル無線チャネル上の自動音声／話者認識
WO2010072115A1 (zh) 信号分类处理方法、分类处理装置及编码系统
WO2016024853A1 (ko) 음질 향상 방법 및 장치, 음성 복호화방법 및 장치와 이를 채용한 멀티미디어 기기
WO2015065137A1 (ko) 광대역 신호 생성방법 및 장치와 이를 채용하는 기기
US20140365212A1 (en) Receiver Intelligibility Enhancement System
CN114203163A (zh) 音频信号处理方法及装置
US20190295559A1 (en) Inter-channel phase difference parameter modification
US8868418B2 (en) Receiver intelligibility enhancement system
US11463833B2 (en) Method and apparatus for voice or sound activity detection for spatial audio
US20210089863A1 (en) Method and apparatus for recurrent auto-encoding
JP2013537325A (ja) ピッチサイクルエネルギーを判断し、励起信号をスケーリングすること
WO2015152666A1 (ko) Hoa 신호를 포함하는 오디오 신호를 디코딩하는 방법 및 장치
CN117995225A (zh) 语音检测方法及其相关设备
CN112435680A (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
CN117711420A (zh) 目标人声提取方法、电子设备及存储介质
CN114927127A (zh) 一种多媒体音频分析和处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15751981

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016570753

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167023217

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015751981

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015751981

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15121257

Country of ref document: US