WO2010008173A2 - 오디오 신호의 상태결정 장치 - Google Patents

오디오 신호의 상태결정 장치 Download PDF

Info

Publication number
WO2010008173A2
WO2010008173A2 PCT/KR2009/003850 KR2009003850W WO2010008173A2 WO 2010008173 A2 WO2010008173 A2 WO 2010008173A2 KR 2009003850 W KR2009003850 W KR 2009003850W WO 2010008173 A2 WO2010008173 A2 WO 2010008173A2
Authority
WO
WIPO (PCT)
Prior art keywords
state
harmonic
input signal
probability
observation probability
Prior art date
Application number
PCT/KR2009/003850
Other languages
English (en)
French (fr)
Other versions
WO2010008173A3 (ko
Inventor
백승권
이태진
김민제
장대영
강경옥
서정일
홍진우
박호종
박영철
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090061645A external-priority patent/KR101230183B1/ko
Application filed by 한국전자통신연구원, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US13/054,343 priority Critical patent/US20110119067A1/en
Publication of WO2010008173A2 publication Critical patent/WO2010008173A2/ko
Publication of WO2010008173A3 publication Critical patent/WO2010008173A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters

Definitions

  • Embodiments according to the present invention relate to an apparatus for determining an audio signal for obtaining an encoding gain in encoding an audio signal.
  • audio (or speech) encoders have evolved based on different technical philosophies and approaches.
  • the coding schemes are different from each other, and the coding gain is also different according to characteristics of the input signal.
  • the encoder is designed by embodying and modularizing the sound generation process based on a human speech model.
  • the encoder is based on an auditory model in which a person perceives sound. Because it was designed.
  • the speech coder is the core technology for linear signal encoding based on LPC (Linear Predictive Coding), which maximizes the compression efficiency by applying CELP (Code Excitation Linear Prediction) structure to the residual signal.
  • LPC Linear Predictive Coding
  • CELP Code Excitation Linear Prediction
  • the encoder maximized audio compression efficiency by applying auditory psychoacoustic model in frequency domain.
  • the speech coder shows excellent performance at low bit rates in speech, but the performance improvement is slower as the general audio signal or bit rate increases, while the audio coder shows severe degradation of sound quality at low bits, but as the bit rate increases. This is clear.
  • an LPC Linear Predictive Coding
  • CELP Code Excitation Linear Prediction
  • a transform based audio coder may be appropriately selected according to the characteristics of the input signal.
  • an apparatus for determining a state of an audio signal that can be selected.
  • One embodiment of the present invention provides a consistent audio quality regardless of the type of the input audio signal through the existing LPC-based encoder and the module that bridges the performance barrier in the conversion-based audio encoding period Provides an integrated audio encoder that can provide.
  • An apparatus for determining a state of an audio signal includes a signal state observer for classifying features of an input signal and outputting each state observation probability, and outputting a state identifier of a frame of the input signal based on the state observation probability. It includes a state chain portion. At this time, the encoder to encode the frame of the input signal is determined according to the state identifier.
  • the signal state observer extracts a harmonic-related feature and an energy-related feature, respectively, as a feature, at least one of a harmonic-related feature and an energy-related feature using a decision tree.
  • Entropy-based decision tree that determines the probability of one state and when the energy-related feature among the extracted features does not exceed a certain threshold value (S-Thr), the state of the frame corresponding to the extracted feature It may include a silence state determination unit to determine as a state observation probability for the (silence state). In this case, each state observation probability may be defined in the terminal node.
  • the feature extraction unit is a T / F conversion unit for converting the input signal into the frequency domain through the complex conversion, the bin operation result between the result of the curl operation on the complex number of the converted input signal and the converted input signal
  • a harmonic analyzer for extracting harmonic-related features by applying to an inverse discrete Fourier transform and an energy extractor for dividing the transformed input signal into subband units and extracting a ratio between energy of each subband as an energy-related feature.
  • the harmonic analysis unit in the function to which the inverse discrete Fourier transform is applied (1) the absolute value of the dependent variable when the independent variable is '0', (2) the absolute value of the peak value, At least one of (3) the number from the first frame to the frame corresponding to the peak value and (4) the zero crossing rate may be extracted as the harmonic related feature.
  • the energy extraction unit may divide the input signal converted based on at least one of the critical bandwidth and the Equivalent Rectangular Bandwidth (ERB) into subband units.
  • ERP Equivalent Rectangular Bandwidth
  • the entropy-based decision tree unit may determine a corresponding terminal node among terminal nodes of the decision tree with respect to an input feature, and output a probability corresponding to each terminal node as a state observation probability.
  • the state observation probability is Steady-Harmonic (SH) state observation probability, Steady-Noise (SN) state observation probability, Complex-Harmonic , CH) state observation probability, complex-noise (CN) state observation probability, and silence (Si) state observation probability may include two or more.
  • the state chain unit determines the state sequence probability from the state observation probability, calculates the observation cost of the current frame through the state sequence probability, and calculates the state identifier of the frame of the input signal based on the observation cost. You can decide.
  • the state chain unit through the comparison between the maximum value of the observation cost in the steady-noise state and the maximum value of the observation cost in the steady-noise state and the complex-noise state It may be determined whether a current frame of the input signal is in a noise state or a harmonic state.
  • the state chain unit compares the observation cost of the complex-harmonic state and the observation cost of the complex-noise state with respect to the current frame determined as the noise state, and compares the state identifier of the current frame with the steady-noise state and complex. -Can be determined as one of the noise states.
  • the state chain unit may determine whether the state of the current frame determined as the harmonic state is a silence state, and may initialize the state sequence probability when it is in a silence state.
  • the state chain unit determines whether the state of the current frame determined to be the harmonic state is a silence state, and determines that the state identifier of the current frame is one of the steady-harmonic state and the complex harmonic state if it is not a silence state. Can be.
  • the state chain unit assigns a weight of '0' to '0.95' to one of the state sequence probabilities corresponding to the state identifier of the previous frame. It can be given.
  • the encoder may include an LPC-based encoder and a transform-based encoder, the LPC-based encoder when the state identifier is a steady state (transformation-based encoding) when the state identifier is a complex state Negatively, frames of the input signal may be input and encoded.
  • An apparatus for determining a state of an audio signal includes a feature extractor for extracting harmonic-related and energy-related features from an input signal, a harmonic-related feature using a decision tree, and An entropy-based decision tree that determines the probability of state observation of at least one of the energy-related features and an input corresponding to the extracted feature if the energy-related features of the extracted features do not exceed a certain threshold value (S-Thr) And a silence state determiner configured to determine a state of a frame of the signal as a state observation probability with respect to a silence state.
  • each state observation probability is defined in the terminal node.
  • an LPC Linear Predictive Coding
  • audio audio
  • transform-based audio coder a coder and a transform-based audio coder are integrated into one structure and serve as a bridge to maximize the coding performance. It can provide a module to perform the.
  • two encoders may be integrated into one codec, and the disadvantages of each encoder may be overcome by a module. That is, the LPC-based encoder can maximize the performance by encoding only a signal similar to speech, and conversely, the audio encoder can maximize the encoding gain by encoding only a signal similar to a general audio signal.
  • FIG. 1 is a block diagram illustrating an internal configuration of an apparatus for determining a state of an audio signal according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an internal configuration of a signal state observation unit according to an exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an internal configuration of a feature extraction unit in an embodiment of the present invention.
  • FIG. 4 is an example of a graph showing a value used to extract a feature in a harmonic analysis unit according to an embodiment of the present invention.
  • FIG. 5 is an example of a decision tree generation method applicable to an entropy-based decision tree unit according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a relationship between states in which a transition occurs through a state chain unit according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of determining an output of a state chain unit according to an embodiment of the present invention.
  • the apparatus 100 for determining the state of an audio signal according to the present embodiment includes a signal state observer (SSO) 101 and a state chain machine 102 as shown in FIG. .
  • SSO signal state observer
  • the signal state observation unit 101 classifies the characteristics of the input signal and outputs each state observation probability.
  • the input signal may include a pulse code modulation (PCM) signal. That is, the PCM signal may be input to the signal state observer 101, and the signal state observer 101 may classify the characteristics of the PCM signal and output each state observation probability.
  • State observation probabilities include Steady-Harmonic (SH) state observation probability, Steady-Noise (SN) state observation probability, Complex-Harmonic (CH) state observation probability, It may include two or more of the Complex-Noise (CN) state observation probability and the Silence (Si) state observation probability.
  • the steady-harmonic state may refer to a state of a signal section in which the harmonic component of the signal is clear and appears to be stable.
  • voiced sound intervals of speech may be representatively included, and single-ton sinusoidal signals may also be classified as present states.
  • the steady-noise state may refer to a state of a signal section such as white noise.
  • a signal section such as white noise.
  • an unvoiced section of speech may be basically included.
  • the complex-harmonic state may refer to a state of a signal section in which various tone components are mixed to form a complex harmonic structure. For example, playing sections of general music may be included.
  • the complex-noise state may refer to a state of a signal section including unstable noise components. For example, it may be a signal of an 'attack' of everyday ambient noise or music playing section.
  • the silence state may mean a state of a signal section having a small energy intensity.
  • the signal state observer 101 may analyze and classify the characteristics of the input signal and output a state observation probability observed for each of the five states.
  • the output state observation probability may be defined as follows (1) to (5).
  • the state observation probability for the steady-harmonic state may be defined as 'P SH '.
  • the state observation probability for the steady-noise state may be defined as 'P SN '.
  • the state observation probability for the complex-harmonic state may be defined as 'P CH '.
  • the state observation probability for the complex-noise state may be defined as 'P CN '.
  • the state observation probability for the silence state may be defined as 'P Si '.
  • the input signal may be basically PCM data provided in the unit of frame provided as the PCM signal, and the PCM data may be expressed by Equation 1 below.
  • ' ' May indicate an input PCM data sample
  • ' L ' may indicate a frame length
  • ' b ' may indicate a frame time index
  • the output state observation probability may satisfy a condition expressed through Equation 2 below.
  • the state chain unit 102 outputs a state identifier (hereinafter, state ID) of a frame of the input signal based on the state observation probability. That is, the state observation probability output from the signal state observation unit 101 is input to the state chain unit 102, and the state chain unit 102 outputs the state ID of the frame of the corresponding input signal based on the state observation probability.
  • the output state ID is a steady-state such as a steady-harmonic 'SH' or a steady-noise 'SN' and a complex-state such as a complex-harmonic 'CH' or a complex-noise 'CN' ( Complex-state).
  • the input PCM data may be encoded using the LPC-based encoder 103 in the steady-state, and may be encoded through the transform-based encoder 104 in the complex-state.
  • the LPC-based encoder 103 may use an existing LPC-based audio encoder
  • the transform-based encoder 104 may use an existing transform-based audio encoder.
  • a speech coder of an adaptive multi-rate (AMR) series and a code exclusion linear prediction (CELP) series may be used as the LPC-based encoder 103
  • an audio encoder of the AAC series may be used as the transform-based encoder 104.
  • AMR adaptive multi-rate
  • CELP code exclusion linear prediction
  • the LPC-based encoder 103 and the transform-based encoder 104 may be selectively selected according to the characteristics of the input signal and encoded. As a result, high coding efficiency can be achieved.
  • the signal state observer 101 includes a feature extraction unit 201, an entropy based decision tree 202, and a silence state determiner. 203 may be included.
  • the feature extractor 201 extracts harmonic related features and energy related features, respectively, as features. Features extracted from the feature extractor 201 will be described in more detail with reference to FIG. 3.
  • the entropy-based decision tree unit 202 determines a state observation probability of at least one of harmonic related features and energy related features using a decision tree. At this time, each state observation probability is defined in the terminal node included in the decision tree.
  • the silence state determiner 203 observes a state observation probability of the energy-related feature so that the state of the frame corresponding to the extracted feature is in a silence state. Determine.
  • the feature extractor 201 extracts features including harmonic-related and energy-related features from the input PCM data, and the extracted features are entropy-based decision tree 202 and silence state determiner 203. Is entered.
  • the entropy-based decision tree unit 202 may use the decision tree to observe each state.
  • Each state observation probability can be defined in a terminal node of the decision tree, and a method of reaching the terminal node of the decision tree, that is, a method for obtaining a corresponding state observation probability for the features corresponding to each node, corresponds to each node. It can be determined according to whether the characteristics of the features to satisfy the conditional statement.
  • the entropy-based decision tree unit 202 will be described in more detail with reference to FIG. 5.
  • the silence state determiner 203 determines the state of the frame of the input signal as a silence state when the energy-related feature value of the extracted features does not exceed a predetermined threshold value (S-Thr), and at this time, observes the state of the silence state.
  • S-Thr a predetermined threshold value
  • the probability is Will become ',' ',' 'And' 'Can be forced to a zero value.
  • the feature extractor 201 may include a time-to-frequency (T / F) converter 301, a harmonic analyzer 302, and an energy analyzer 303. .
  • the T / F converter 301 first inputs Convert to the frequency domain.
  • the transformation method uses a complex transform, and for example, a Discrete Fourier Transform (DFT) such as Equation 3 may be used.
  • DFT Discrete Fourier Transform
  • the harmonic analysis unit 302 extracts a feature by applying a bin operation result between the transformed input signal and the result of the curl operation on the complex number of the converted input signal to the inverse discrete Fourier transform.
  • the harmonic analyzer 302 may perform an operation represented by Equation 4 below.
  • 'conj' may be a conjugate operator on a complex number and operator ' ' May be an operator for each bin.
  • 'IDFT' may mean an inverse discrete fourier transform.
  • Equation 4 features represented by Equations 5 to 8 may be extracted.
  • ' 'Is an operator that takes an absolute value
  • ' May be a function for finding a peak value in the function
  • ' ZCR () ' may be a function for obtaining a zero crossing rate
  • the graph 400 may be represented by the 'Corr (b)' function described through Equation 4, and as shown in the graph 400, fx h1 (b, which is a feature described through Equations 5 to 8, respectively. ), 'fx h2 (b)', 'fx h3 (b)' and 'fx h4 (b)' can be extracted.
  • a predetermined threshold value S-Thr is adjustable according to a signal-to-noise ratio (SNR) of the input signal.
  • the energy analyzer 303 bundles the converted input signal into subband units and extracts a ratio between the energy of each subband as a feature. That is, the value 'input from the T / F converter 301' 'Can be grouped into sub-band units to obtain the energy for each subband, and can be utilized as a feature of the calculated energy ratios.
  • input ' ' May be divided into subbands according to a critical bandwidth or an equivalent rectangular bandwidth (ERB). For example, enter ' 'Is divided into subbands using a 1024 Discrete Fourier Transform, and when the boundary of the subband follows the ERB, it may be defined as in Equation 9 below.
  • 'Ab []' is array information indicating an ERB boundary.
  • the ERB boundary may follow Equation 9.
  • Equation 10 the energy 'Pm (i)' of any subband may be defined as in Equation 10 below.
  • Equation 11 the energy features extracted from Equation 10 may be represented by Equation 11 below.
  • the extracted features may be input to the entropy-based decision tree unit 202, and the entropy-based decision tree unit 202 applies a decision tree to the features, thereby inputting the input value ' Each state observation probability of 'can be output.
  • the decision tree is one of classification algorithms and is a widely used algorithm.
  • training is basically required.
  • sample features can be extracted from the training data, condition statements for the sample features can be generated, and the decision tree can grow according to whether each conditional statement is satisfied.
  • the features extracted by the feature extractor 201 may be used as the sample feature.
  • the features extracted by the feature extractor 201 may be used as sample features extracted from the training data, and may also be used for classification of test data.
  • the split process may be repeated and grown to generate an appropriate decision tree. After the decision tree is created, one can prun the small contribution to the final entropy to reduce complexity.
  • Equation 12 the selection of the conditional statement for the split process must satisfy a criterion represented by Equation 12 below.
  • 'q' is a conditional statement
  • 'Is the entropy at the node before the split process ' May refer to entropy in the r-node and l-node after the split process, respectively.
  • the probability used for entropy in each node may mean a value obtained by converting a sample feature input to the node into a sample feature number for each state and dividing by the total sample feature number. For example, the probability used for entropy at each node may be converted into Equation 13 below.
  • 'number of Steady-Harmonic samples' may mean the remaining number of sample features in the steady state minus the number of sample features in the harmonic state, and total number of samples at note () means the total number of sample features. can do.
  • Equation 14 ' 'Can be defined as in Equation 14 below.
  • 'P (t)' may be defined as in Equation 15 below.
  • the entropy-based decision tree unit 202 may enter the input value ' Determining the corresponding terminal node among the terminal nodes of the decision tree trained on the characteristics of ', and the probability value corresponding to each terminal node is the state observation probability' ',' ',' 'And' Can be output as'
  • the output state observation probability may be input to the state chain unit 102 and generate a final state ID.
  • FIG. 6 is a diagram illustrating a relationship between states in which a transition occurs through a state chain unit according to an embodiment of the present invention.
  • Each state may perform state transition as shown in FIG. 6.
  • the underlying main-state may be a steady-harmonic state and a complex-harmonic state, and a transition between the steady-harmonic state and the complex-harmonic state may occur strictly.
  • ' 'If this was a steady-harmonic state,' To become a complex harmonic state The state observation probability for 'is relatively high to enable transition. The opposite is also true.
  • the freely transitionable states are the steady-harmonic state and the steady-noise state, the complex-harmonic state and the complex-noise state.
  • the steady-noise state and the complex noise state can also be transitioned to each other, but unlike the relationship between the steady-harmonic state and the complex harmonic state, it may be easily transitioned or transformed depending on the state observation probability of the main-state.
  • the transition may mean that, unlike the transition, even if the current state is a steady-noise state, it may be replaced with a complex-noise state according to the main-state. The reverse is also true.
  • Two state sequences (vectors) of Equation 16 and Equation 17 may be defined from state observation probabilities input to the state chain unit 102.
  • 'P SH (b)', 'P SN (b)', 'P CH (b)' and 'P CN (b)' may be represented by Equations 18 to 21, respectively.
  • 'M' may represent the number of elements of C (b).
  • ' ' May mean an output value of the signal state observer 102 in the b-frame.
  • temporary " 'Value may be set as in Equation 22 below.
  • Equations 16 and 17 are referred to as state sequence probabilities, respectively.
  • the output of the state chain section 102 is the final state ID, where each weighting factor is It can have a default value of 0.95.
  • An example of value selection is to focus on the current observation, , If you use past observations with the same statistical data, Each of these can be used.
  • Equation 23 the observation cost of the current frame from Equations 16 to 21 may be expressed as Equation 23 below.
  • 'Cst SH (b)' may be expressed as in Equation 24 and Equation 26, and 'Cst SN (b)', 'Cst CH (b)' and 'Cst CN (b)' , Can be calculated in the same way.
  • the 'trace ()' operator may refer to an operator that performs a sum of diagonal elements of a matrix as shown in Equation 25 below.
  • Equation 28 it may be processed as in Equation 28 according to the state transition. If by equation 27 Although determined as', when the condition of the following equation (28) is satisfied Can be converted to '.
  • 'SN' may mean a state ID indicating a steady-noise state
  • 'CN' may mean a state ID indicating a complex-noise state.
  • a weight may be applied to the state sequence probability as shown in Equation 29 below.
  • 'SH' may mean a state ID indicating a steady-harmonic state
  • 'CH' may mean a state ID indicating a complex-harmonic state.
  • ' ' May have a value between 0 and 0.95. That is, when the state identifiers of the current frame and the previous frame are not the same, the state chain unit 102 may assign a weight of '0' to '0.95' to one of the state sequence probabilities corresponding to the state identifier of the previous frame. Can be. This is to hardly control the transition between harmonic states in FIG. 6.
  • the state sequence probability may be initialized as in Equation 30 to Equation 34 below.
  • FIG. 7 is a flowchart illustrating a method of determining an output of a state chain unit according to an embodiment of the present invention.
  • step S701 the state chain section 102 calculates a state sequence. That is, the state chain unit 102 may perform equations (16) and (17).
  • step S702 the state chain section 102 calculates the observation cost.
  • the state chain unit 102 may calculate the observation cost through the equation (23).
  • step S703 the state chain unit 102 checks whether the state according to the state observation probability is a noise state, and performs step S704 when it is a noise state, and step S705 when it is not a noise state.
  • step S704 the state chain unit 102 compares the complex-harmonic 'CH' and the steady-harmonic 'SH' to obtain 'CN' when the complex-harmonic 'CH' is greater than the steady-harmonic 'SH', and the complex.
  • 'SN' may be output as a value of 'id (b)'.
  • step S705 the state chain unit 102 checks whether the state according to the state observation probability is in a silence state, and performs step S706 in case of not a silence state, and step S707 in case of a silence state.
  • step S706 the state chain unit 102 compares ' id ( b )' and ' id ( b -1)' to different values of ' id ( b )' and ' id ( b -1)'. If the step (S708) and ' id ( b )' and ' id ( b -1)' value is the same as each other 'SH' or 'CH' can be output as the value of ' id ( b )' have.
  • step S708 the state chain portion 102 is weighted to the value 'P id ( b- 1) ( b )' Is given. That is, the state chain unit 102 may perform equation (28). This is to strictly control the case where the transition between harmonic states as described above.
  • step S707 the state chain section 102 initializes the state sequence. That is, the state chain unit 102 may initialize the state sequence by performing the equations (30) to (34).
  • the LPC-based incubator 103 and the transform-based encoder 104 may be selectively driven according to the state ID output from the state chain unit 102. That is, when the state ID is 'SH' or 'SN', that is, in the steady-state, the LPC-based encoder 103 is driven, and the state ID is 'CH' or 'CN', that is, in the complex-state.
  • the input signal is driven by driving the transform-based encoding unit 104. Can be encoded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 LPC(Linear Predictive Coding) 기반(혹은 CELP(Code Excitation Linear Prediction) 기반)의 음성(혹은 오디오) 부호화기와 변환(transform) 기반의 오디오 부호화기를 입력 신호의 특징에 따라 적절하게 선택할 수 있는 모듈은 기존의 LPC 기반의 부호화기와 오디오 부호화기의 성능의 장벽을 메워 주기 위한 다리(bridge) 역할을 하는 모듈이며, 이를 통하여, 입력 오디오 신호의 종류와 상관없이 일관된 오디오 품질을 제공할 수 있는 통합 오디오 부호화기 설계가 가능하다.

Description

오디오 신호의 상태결정 장치
본 발명에 따른 실시예들은 오디오 신호를 부호화 하는데 있어서, 부호화 이득을 얻기 위한 오디오 신호의 상태결정 장치에 관한 것이다.
최근까지 오디오(혹은 음성) 부호화기들은 서로 다른 기술적 철학 및 접근방법을 기반으로 발전해 왔다. 특히 음성과 오디오의 경우 그 부호화 방식이 서로 상이하며 부호화 이득도 입력 신호의 특징에 따라 상이하게 나타난다. 이는 음성 부호화기의 경우, 사람의 발성모델을 근간으로 한 접근 방식으로 소리 생성 과정을 구체화 시키고 모듈화 함으로써 부호화기를 설계한 것에 반하여, 오디오 부호화기의 경우, 사람이 소리를 인지하는 청각모델을 기반으로 부호화기를 설계하였기 때문이다.
이러한 접근방식에 근거하여, 음성 부호화기는 LPC(Linear Predictive Coding) 기반 잔차신호의 부호화가 주된 핵심기술로써, CELP(Code Excitation Linear Prediction) 구조를 잔차신호에 적용하여 압축효율을 극대화 하였으며, 반면에 오디오 부호화기는 주파수 영역에서의 청각심리음향 모델을 적용하여 오디오 압축 효율을 극대화 하였다.
그러나, 음성 부호화기의 경우 음성에서는 저 비트율에서 탁월한 성능을 보이나, 일반 오디오 신호나 비트율이 증가할수록 성능 향상이 더디고, 반면에 오디오 부호화기는 저 비트에서 음질의 심각한 열화를 보이나, 비트율이 증가할수록 성능 향상이 분명하다.
본 발명의 일실시예는 LPC(Linear Predictive Coding) 기반(혹은 CELP(Code Excitation Linear Prediction) 기반)의 음성(혹은 오디오) 부호화기와 변환(transform) 기반의 오디오 부호화기를 입력 신호의 특징에 따라 적절하게 선택할 수 있는 오디오 신호의 상태결정 장치를 제공한다.
본 발명의 일실시예는 기존의 LPC 기반의 부호화기와 변환 기반의 오디오 부호화기간에 성능의 장벽을 메워 주기 위한 다리(bridge) 역할을 하는 모듈을 통해 입력 오디오 신호의 종류와 상관없이 일관된 오디오 품질을 제공할 수 있는 통합 오디오 부호화기를 제공한다.
본 발명의 일실시예에 따른 오디오 신호의 상태결정 장치는, 입력신호의 특징을 분류하여 각 상태 관측 확률을 출력하는 신호 상태 관측부 및 상태 관측 확률에 기초하여 입력신호의 프레임의 상태 식별자를 출력하는 상태 체인부를 포함한다. 이때, 상태 식별자에 따라 입력신호의 프레임이 부호화될 부호화부가 결정된다.
본 발명의 일측면에 따르면, 신호 상태 관측부는 특징으로서 하모닉(harmonic) 관련 특징 및 에너지 관련 특징을 각각 추출하는 특징 추출부, 결정 트리(decision tree)를 이용하여 하모닉 관련 특징 및 에너지 관련 특징 중 적어도 하나의 상태 관측 확률을 결정하는 엔트로피(entropy) 기반 결정 트리부 및 추출된 특징 중 에너지 관련 특징이 일정 문턱치 값(S-Thr)을 넘지 못할 경우, 추출된 특징에 해당하는 프레임의 상태를 사일런스 상태(silence state)에 대한 상태 관측 확률로서 결정하는 사일런스 상태 결정부를 포함할 수 있다. 이때, 결정 트리는 터미널 노드에 각 상태 관측 확률이 정의될 수 있다.
본 발명의 일측면에 따르면, 특징 추출부는 입력신호를 콤플렉스 변환을 통해 주파수 영역으로 변환하는 T/F 변환부, 변환된 입력신호와 변환된 입력신호의 복소수에 대한 컬레 연산 결과간의 빈 연산결과를 역 이산 푸리에 변환에 적용하여 하모닉 관련 특징을 추출하는 하모닉 분석부 및 변환된 입력신호를 서브밴드 단위로 분할하고 각 서브밴드별 에너지간의 비를 에너지 관련 특징으로서 추출하는 에너지 추출부를 포함할 수 있다.
본 발명의 일측면에 따르면, 하모닉 분석부는, 역 이산 푸리에 변환이 적용된 함수에서 (1) 독립변수가 '0'인 경우의 종속변수의 절대값, (2) 피크(peak) 값의 절대값, (3) 최초 프레임부터 피크(peak) 값에 해당하는 프레임까지의 수 및 (4) 제로 크로싱율(zero crossing rate) 중 적어도 하나를 하모닉 관련 특징으로서 추출할 수 있다.
본 발명의 일측면에 따르면, 에너지 추출부는, 크리티컬 밴드위스(critical bandwidth) 및 ERB(Equivalent Rectangular Bandwidth) 중 적어도 하나에 기초하여 변환된 입력신호를 서브밴드 단위로 분할할 수 있다.
본 발명의 일측면에 따르면, 엔트로피 기반 결정 트리부는 입력되는 특징에 대해 결정 트리의 터미널 노드 중 해당하는 터미널 노드를 결정하고 각 터미널 노드에 해당하는 확률을 상태 관측 확률로서 출력할 수 있다.
본 발명의 일측면에 따르면, 상태 관측 확률은 스테디-하모닉(Steady-Harmonic, SH) 상태(state) 관측 확률, 스테디-노이즈(Steady-Noise, SN) 상태 관측 확률, 콤플렉스-하모닉(Complex-Harmonic, CH) 상태 관측 확률, 콤플렉스-노이즈(Complex-Noise, CN) 상태 관측 확률 및 사일런스(Silence, Si) 상태 관측 확률 중 둘 이상을 포함할 수 있다.
본 발명의 일측면에 따르면, 상태 체인부는, 상태 관측 확률로부터 상태 시퀀스 확률을 결정하고, 상태 시퀀스 확률을 통해 현 프레임의 관측 비용을 계산하고, 관측 비용에 기초하여 입력신호의 프레임의 상태 식별자를 결정할 수 있다.
본 발명의 일측면에 따르면, 상태 체인부는, 스테디-하모닉 상태 및 콤플렉스-하모닉 상태의 관측 비용 중 최대값과 스테디-노이즈 상태의 관측 비용 및 콤플렉스-노이즈 상태의 관측 비용 중 최대값간의 비교를 통해 입력신호의 현재 프레임이 노이즈 상태인지 하모닉 상태인지 결정할 수 있다.
본 발명의 일측면에 따르면, 상태 체인부는 노이즈 상태로 결정된 현재 프레임에 대해 콤플렉스-하모닉 상태의 관측 비용 및 콤플렉스-노이즈 상태의 관측 비용을 서로 비교하여 현재 프레임의 상태 식별자를 스테디-노이즈 상태 및 콤플렉스-노이즈 상태 중 하나로 결정할 수 있다.
본 발명의 일측면에 따르면, 상태 체인부는, 하모닉 상태로 결정된 현재 프레임의 상태가 사일런스 상태인지 여부를 확인하여 사일런스 상태인 경우, 상태 시퀀스 확률을 초기화할 수 있다.
본 발명의 일측면에 따르면, 상태 체인부는 하모닉 상태로 결정된 현재 프레임의 상태가 사일런스 상태인지 여부를 확인하여 사일런스 상태가 아닌 경우, 현재 프레임의 상태 식별자를 스테디-하모닉 상태 및 콤플렉스 하모닉 상태 중 하나로 결정할 수 있다.
본 발명의 일측면에 따르면, 상태 체인부는 현재 프레임과 이전 프레임의 상태 식별자가 동일하지 않은 경우, 이전 프레임의 상태 식별자에 해당하는 상태 시퀀스 확률 중 하나에 '0' 이상 '0.95' 이하의 가중치를 부여할 수 있다.
본 발명의 일측면에 따르면, 부호화부는 LPC 기반 부호화부 및 변환 기반 부호화부를 포함할 수 있고, 상태 식별자가 스테디 상태(steady state)인 경우 LPC 기반 부호화부로, 상태 식별자가 콤플렉스 상태인 경우 변환 기반 부호화부로 입력신호의 프레임이 각각 입력되어 부호화될 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 상태결정 장치는, 입력신호에서 하모닉(harmonic) 관련 특징 및 에너지 관련 특징을 각각 추출하는 특징 추출부, 결정 트리(decision tree)를 이용하여 하모닉 관련 특징 및 에너지 관련 특징 중 적어도 하나의 상태 관측 확률을 결정하는 엔트로피(entropy) 기반 결정 트리부 및 추출된 특징 중 에너지 관련 특징이 일정 문턱치 값(S-Thr)을 넘지 못할 경우, 추출된 특징에 해당하는 입력신호의 프레임의 상태를 사일런스 상태(silence state)에 대한 상태 관측 확률로서 결정하는 사일런스 상태 결정부를 포함한다. 이때, 결정 트리는 터미널 노드에 각 상태 관측 확률이 정의된다.
본 발명의 일실시예에 따르면, LPC (Linear Predictive Coding) 기반의 음성(오디오) 부호화기와 변환(transform)기반의 오디오 부호화기를 하나의 구조에 통합하고 그 부호화 성능을 극대화 하기 위해 다리(bridge) 역할을 수행하는 모듈을 제공할 수 있다.
본 발명의 일실시예에 따르면, 두 개의 부호화기가 하나의 코덱으로 통합될 수 있으며, 이때 각 부호화기의 단점이 모듈을 통해 극복될 수 있다. 즉, LPC 기반의 부호화기는 음성과 유사한 신호만을 부호화 함으로써, 그 성능을 극대화 하고, 반대로 오디오 부호화기는 일반 오디오 신호와 유사한 신호만을 부호화 함으로써, 부호화 이득을 극대화 할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 상태결정 장치의 내부 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 신호 상태 관측부의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 특징 추출부의 내부 구성을 설명하기 위한 블록도이다.
도 4은 본 발명의 일실시예에 따른 하모닉 분석부에서 특징을 추출하기 위해 이용되는 값을 나타내는 그래프의 일례이다.
도 5는 본 발명의 일실시예에 따른 엔트로피 기반 결정 트리부에 적용 가능한 결정 트리 생성 방법의 일례이다.
도 6은 본 발명의 일실시예에 따른 상태 체인부를 통해 천이가 발생하는 상태들간의 관계를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 상태 체인부의 출력이 결정되는 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 상태결정 장치의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 오디오 신호의 상태결정 장치(100)는 도 1에 도시된 바와 같이 신호 상태 관찰부(Signal State Observation, SSO)(101) 및 상태 체인부(state chain machine)(102)를 포함한다.
신호 상태 관측부(101)는 입력신호의 특징을 분류하여 각 상태 관측 확률을 출력한다. 이때, 입력신호는 PCM(Pulse Code Modulation) 신호를 포함할 수 있다. 즉, PCM 신호는 신호 상태 관측부(101)로 입력될 수 있고, 신호 상태 관측부(101)는 PCM 신호의 특징을 분류하여 각 상태 관측 확률을 출력할 수 있다. 상태 관측 확률은, 스테디-하모닉(Steady-Harmonic, SH) 상태(state) 관측 확률, 스테디-노이즈(Steady-Noise, SN) 상태 관측 확률, 콤플렉스-하모닉(Complex-Harmonic, CH) 상태 관측 확률, 콤플렉스-노이즈(Complex-Noise, CN) 상태 관측 확률 및 사일런스(Silence, Si) 상태 관측 확률 중 둘 이상을 포함할 수 있다.
여기서, 스테디-하모닉 상태는 신호의 하모닉 성분이 분명하며, 안정되게 나타나는 신호구간의 상태를 의미할 수 있다. 예를 들어, 음성의 유성음 구간이 대표적으로 포함될 수 있고, 싱글-톤(single-ton)의 정현파 신호들도 본 상태로 분류될 수 있다.
스테디-노이즈 상태는 백색성 잡음과 같은 신호구간의 상태를 의미할 수 있다. 예를 들어, 음성의 무성음 구간이 기본적으로 포함될 수 있다.
콤플렉스-하모닉 상태는 여러 톤 성분들이 섞여 복잡한 하모닉 구조를 이루는 신호구간의 상태를 의미할 수 있다. 예를 들어, 일반적인 음악의 연주구간들이 포함될 수 있다.
콤플렉스-노이즈 상태는 안정적이지 못한 잡음 성분들이 포함된 신호구간의 상태를 의미할 수 있다. 예를 들어 일상의 주변 잡음들, 혹은 음악의 연주구간에서 '공격(attack)'성의 신호등이 해당될 수 있다.
사일런스 상태는 에너지 세기가 작은 신호구간의 상태를 의미할 수 있다.
신호 상태 관측부(101)는 입력 신호의 특징을 분석 분류하여, 총 5개의 각 상태 별로 관측되는 상태 관측 확률을 출력할 수 있다. 이때, 출력되는 상태 관측 확률은 다음 (1) 내지 (5)와 같이 정의될 수 있다.
스테디-하모닉 상태에 대한 상태 관측 확률은 'PSH'으로 정의할 수 있다.
스테디-노이즈 상태에 대한 상태 관측 확률은 'PSN'으로 정의할 수 있다.
콤플렉스-하모닉 상태에 대한 상태 관측 확률은 'PCH'으로 정의할 수 있다.
콤플렉스-노이즈 상태에 대한 상태 관측 확률은 'PCN'으로 정의할 수 있다.
사일런스 상태에 대한 상태 관측 확률은 'PSi'으로 정의할 수 있다.
여기서, 입력신호는 기본적으로 상술한 PCM 신호로서 제공되는 프레임 단위의 PCM 데이터일 수 있고, PCM 데이터는 하기 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure PCTKR2009003850-appb-I000001
여기서, '
Figure PCTKR2009003850-appb-I000002
'은 입력 PCM 데이터 샘플, 'L'은 프레임의 길이, 'b'는 프레임 시간 인덱스를 각각 나타낼 수 있다.
이때, 출력되는 상태 관측 확률은 하기 수학식 2를 통해 표현되는 조건을 만족할 수 있다.
[수학식 2]
Figure PCTKR2009003850-appb-I000003
상태 체인부(102)는 상태 관측 확률에 기초하여 입력신호의 프레임의 상태 식별자(state identification, 이하 상태 ID)를 출력한다. 즉, 신호 상태 관측부(101)에서 출력된 상태 관측 확률은 상태 체인부(102)에 입력되고, 상태 체인부(102)는 상태 관측 확률에 기초하여 해당 입력신호의 프레임의 상태 ID를 출력할 수 있다. 여기서, 출력되는 상태 ID는 스테디-하모닉 'SH' 또는 스테디-노이즈'SN'와 같은 스테디-상태(Steady-State) 그리고 콤플렉스-하모닉 'CH' 또는 콤플렉스-노이즈 'CN'와 같은 콤플렉스-상태(Complex-State) 중 적어도 하나를 나타낼 수 있다. 이때, 입력 PCM 데이터는 스테디-상태인 경우 LPC 기반 부호화부(103)를 이용하여 부호화될 수 있고, 콤플렉스-상태인 경우 변환 기반 부호화부(104)를 통해 부호화될 수 있다. LPC 기반 부호화부(103)로는 기존의 LPC 기반의 오디오 부호화기가 사용될 수 있고, 변환 기반 부호화부(104)는 기존의 변환 기반의 오디오 부호화기가 사용될 수 있다. 일례로, AMR(Adaptive Multi-Rate) 계열 및 CELP(Code Excitation Linear Prediction) 계열의 음성 부호화기가 LPC 기반 부호화부(103)로서 사용될 수 있으며, AAC 계열의 오디오 부호화기가 변환 기반 부호화부(104)로서 사용될 수 있다.
따라서, 본 발명의 일실시예에 따른 오디오 신호의 상태결정 장치(100)를 이용하면, LPC 기반 부호화부(103)와 변환 기반 부호화부(104)를 입력신호의 특징에 맞게 선택적으로 선정하여 부호화함으로써 높은 부호화 효율을 달성할 수 있다.
도 2는 본 발명의 일실시예에 있어서, 신호 상태 관측부의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 신호 상태 관측부(101)는 도 2에 도시된 바와 같이 특징 추출부(feature extraction)(201), 엔트로피 기반 결정 트리부(entropy based decision Tree)(202) 및 사일런스 상태 결정부(203)를 포함할 수 있다.
특징 추출부(201)는 특징으로서 하모닉 관련 특징 및 에너지 관련 특징을 각각 추출한다. 이러한 특징 추출부(201)에서 추출되는 특징에 대해서는 도 3을 통해 더욱 자세히 설명한다.
엔트로피 기반 결정 트리부(202)는 결정 트리(decision tree)를 이용하여 하모닉 관련 특징 및 에너지 관련 특징 중 적어도 하나의 상태 관측 확률을 결정한다. 이때, 결정 트리가 포함하는 터미널 노드에는 각 상태 관측 확률이 정의된다.
사일런스 상태 결정부(203)는 추출된 특징 중 에너지 관련 특징이 일정 문턱치 값(S-Thr)을 넘지 못할 경우, 추출된 특징에 해당하는 프레임의 상태가 사일런스 상태가 되도록 에너지 관련 특징의 상태 관측 확률을 결정한다.
보다 자세하게, 특징 추출부(201)는 입력된 PCM 데이터로부터 하모닉 관련 특징과 에너지 관련 특징을 포함하는 특징들을 추출하고 추출된 특징들은 엔트로피 기반 결정 트리부(202) 및 사일런스 상태 결정부(203)로 입력된다. 이때, 엔트로피 기반 결정 트리부(202)는 각 상태를 관측하기 위해 결정 트리를 이용할 수 있다. 결정 트리의 터미널 노드에는 각 상태 관측 확률이 정의될 수 있고, 결정 트리의 터미널 노드에 도달하는 방법 즉, 각 노드에 해당하는 특징들에 대해 해당하는 상태 관측 확률을 얻기 위한 방법은 각 노드에 해당하는 특징들의 조건문에 대한 만족여부에 따라 결정될 수 있다. 엔트로피 기반 결정 트리부(202)에 대해서는 도 5를 통해 더욱 자세히 설명한다.
상술한 '
Figure PCTKR2009003850-appb-I000004
', '
Figure PCTKR2009003850-appb-I000005
','
Figure PCTKR2009003850-appb-I000006
'및 '
Figure PCTKR2009003850-appb-I000007
'는 엔트로피 기반 결정 트리부(202)에서 결정될 수 있고, '
Figure PCTKR2009003850-appb-I000008
'는 사일런스 상태 결정부(203)에 의해 결정될 수 있다. 사일런스 상태 결정부(203)는 추출된 특징 중 에너지 관련 특징 값이 일정 문턱치 값(S-Thr)을 넘지 못할 경우, 입력신호의 프레임의 상태를 사일런스 상태로 판단하며, 이때 사일런스 상태에 대한 상태 관측 확률은 '
Figure PCTKR2009003850-appb-I000009
'이 되며, '
Figure PCTKR2009003850-appb-I000010
', '
Figure PCTKR2009003850-appb-I000011
', '
Figure PCTKR2009003850-appb-I000012
' 및 '
Figure PCTKR2009003850-appb-I000013
'는 제로 값으로 강제화될 수 있다.
도 3은 본 발명의 일실시예에 있어서, 특징 추출부의 내부 구성을 설명하기 위한 블록도이다. 여기서, 특징 추출부(201)는 도 3에 도시된 바와 같이 T/F(Time-to-Frequency) 변환부(301), 하모닉 분석부(302) 및 에너지 분석부(303)를 포함할 수 있다.
T/F 변환부(301)는 먼저 입력
Figure PCTKR2009003850-appb-I000014
를 주파수 영역으로 변환한다. 변환방식은 콤플렉스 변환(complex transform)을 사용하며, 일례로 하기 수학식 3과 같은 이산 푸리에 변환(Discrete Fourier Transform, DFT)이 사용될 수 있다.
[수학식 3]
Figure PCTKR2009003850-appb-I000015
여기서, 'o(b)'는 '
Figure PCTKR2009003850-appb-I000016
'와 같이 표현될 수 있고, '
Figure PCTKR2009003850-appb-I000017
'는 주파수 빈(bin)으로 콤플렉스 값, 예를
Figure PCTKR2009003850-appb-I000018
들어 와 같이 표현될 수 있다.
여기서, 하모닉 분석부(302)는 변환된 입력신호와 변환된 입력신호의 복소수에 대한 컬레 연산 결과간의 빈 연산결과를 역 이산 푸리에 변환에 적용하여 특징을 추출한다. 예를 들어, 하모닉 분석부(302)는 하기 수학식 4로 표현되는 동작을 수행할 수 있다.
[수학식 4]
Figure PCTKR2009003850-appb-I000019
여기서, 'conj'는 복소수에 대한 켤레(conjugate) 연산자일 수 있고, 연산자 '
Figure PCTKR2009003850-appb-I000020
'는 각 빈(bin)별 연산자일 수 있다. 또한, 'IDFT'는 역 이상 푸리에 변환(Inverse Discrete Fourier Transform)을 의미할 수 있다.
즉, 수학식 4를 이용하여 하기 수학식 5 내지 하기 수학식 8과 같이 표현되는 특징들이 추출될 수 있다.
[수학식 5]
Figure PCTKR2009003850-appb-I000021
[수학식 6]
Figure PCTKR2009003850-appb-I000022
[수학식 7]
Figure PCTKR2009003850-appb-I000023
[수학식 8]
Figure PCTKR2009003850-appb-I000024
여기서, '
Figure PCTKR2009003850-appb-I000025
'는 절대값을 취하는 연산자를, '
Figure PCTKR2009003850-appb-I000026
'는 함수에서 피크(peak) 값을 찾아내는 함수를, 'ZCR()'는 제로 크로싱율(zero crossing rate)을 구하는 함수를 각각 의미할 수 있다.
도 4은 본 발명의 일실시예에 따른 하모닉 분석부에서 특징을 추출하기 위해 이용되는 값을 나타내는 그래프의 일례이다. 여기서, 그래프(400)는 수학식 4를 통해 설명한 'Corr(b)' 함수에 의해 나타날 수 있고, 그래프(400)에서와 같이 수학식 5 내지 수학식 8을 통해 설명한 특징들인 'fxh1(b)', 'fxh2(b)', 'fxh3(b)' 및 'fxh4(b)'가 추출될 수 있다.
여기서, '
Figure PCTKR2009003850-appb-I000027
'는 도 2를 통해 설명한 사일런스 상태 결정부(203)로 입력되며, 일정 문턱치 값(S-Thr)에 따라, '
Figure PCTKR2009003850-appb-I000028
'를 정의할 수 있다. 일례로, 입력신호의 무발성 구간에 잡음이 존재하지 않을 경우, 사일런스 구간으로 간주하기 위한 일정 문턱치 값(S-Thr)의 값은 0.004일 수 있다. 일정 문턱치 값(S-Thr)은 입력신호의 신호대잡음비(Signal-to-Noise Ratio, SNR)에 따라 조절 가능하다.
에너지 분석부(303)는 변환된 입력신호를 서브밴드 단위로 묶고 각 서브밴드별 에너지간의 비를 특징으로서 추출한다. 즉, T/F 변환부(301)로부터 입력되는 값 '
Figure PCTKR2009003850-appb-I000029
'을 서브밴드(sub-band) 단위로 묶고 각 서브밴드 별 에너지를 구하여, 구해진 에너지들간의 비(ratio)를 특징으로서 활용할 수 있다. 입력 '
Figure PCTKR2009003850-appb-I000030
'를 서브밴드로 분할하는 방법은 크리티컬 밴드위스(critical bandwidth)나 ERB(Equivalent Rectangular Bandwidth)를 따를 수 있다. 일례로, 입력 '
Figure PCTKR2009003850-appb-I000031
'를 서브밴드로 분할하는 방법은 1024 이산 푸리에 변환을 이용하고, 서브밴드의 경계가 ERB를 따르는 경우, 하기 수학식 9와 같이 정의될 수 있다.
[수학식 9]
Figure PCTKR2009003850-appb-I000032
여기서, 'Ab[]'는 ERB 경계를 나타내는 배열 정보로, 1024 DFT의 경우 ERB 경계는 수학식 9를 따를 수 있다.
여기서, 임의의 서브밴드의 에너지 'Pm(i)'는 하기 수학식 10과 같이 정의될 수 있다.
[수학식 10]
Figure PCTKR2009003850-appb-I000033
이때, 수학식 10으로부터 추출되는 에너지 특징들은 하기 수학식 11과 같이 나타날 수 있다.
[수학식 11]
Figure PCTKR2009003850-appb-I000034
이렇게 추출된 특징들은 엔트로피 기반 결정 트리부(202)에 입력될 수 있고, 엔트로피 기반 결정 트리부(202)는 특징들에 결정 트리를 적용하여, 입력된 값 '
Figure PCTKR2009003850-appb-I000035
'의 각 상태 관측 확률을 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 엔트로피 기반 결정 트리부에 적용 가능한 결정 트리 생성 방법의 일례이다. 결정 트리는 분류 알고리즘(classification algorithm)의 하나로, 널리 사용되는 알고리즘이다. 결정 트리를 생성하기 위해서는 기본적으로 훈련과정이 필요하다. 훈련과정에서는 훈련데이터로부터 샘플 특징들을 추출하고, 샘플 특징들에 대한 조건문들을 생성하고 각 조건문들의 만족여부에 따라 결정 트리가 성장(growing)할 수 있다. 본 실시예에서는, 특징 추출부(201)에서 추출된 특징들이 샘플 특징으로서 이용될 수 있다. 이와 같이, 특징 추출부(201)에서 추출된 특징들은 훈련데이터로부터 추출되는 샘플 특징으로도 이용될 수 있고, 테스트 데이터의 분류(classification)를 위해서도 이용될 수 있다. 이때 훈련과정에서 터미널 노드(terminal node)의 엔트로피(entropy)가 최소화 될 수 있도록 스플리트(split) 과정을 반복하며 성장(growing)하여 적정의 결정 트리를 생성할 수 있다. 결정 트리가 생성된 후에는 복잡도를 줄이기 위해서 최종 엔트로피에 대해 기여도가 작은 것을 전정(pruning)할 수 있다.
일례로, 스플리트 과정을 위한 조건문의 선택은 하기 수학식 12와 같이 표현되는 기준(criteria)을 만족하여야 한다.
[수학식 12]
Figure PCTKR2009003850-appb-I000036
여기서, 'q'는 조건문을, '
Figure PCTKR2009003850-appb-I000037
'는 스플리트 과정 이전의 노드에서의 엔트로피를, '
Figure PCTKR2009003850-appb-I000038
'는 스플리트 과정 이후의 r-노드와 l-노드에서의 엔트로피를 각각 의미할 수 있다. 각 노드에서 엔트로피에 사용되는 확률은 노드에 입력되는 샘플 특징을 상태별 샘플 특징수로 환산하고, 전체 샘플 특징수로 나누어준 값을 의미할 수 있다. 일례로 각 노드에서 엔트로피에 사용되는 확률은 하기 수학식 13과 같이 환산될 수 있다.
[수학식 13]
Figure PCTKR2009003850-appb-I000039
여기서, 'number of Steady-Harmonic samples'는 스테디 상태의 샘플 특징수에서 하모닉 상태의 샘플 특징수를 뺀 나머지 수를 의미할 수 있고, total number of samples at note()'는 전체 샘플 특징수를 의미할 수 있다.
마찬가지로 '
Figure PCTKR2009003850-appb-I000040
', '
Figure PCTKR2009003850-appb-I000041
', '
Figure PCTKR2009003850-appb-I000042
'도 동일한 방법으로 계산될 수 있다.
이때, '
Figure PCTKR2009003850-appb-I000043
'는 하기 수학식 14와 같이 정의될 수 있다.
[수학식 14]
Figure PCTKR2009003850-appb-I000044
또한, 'P(t)'는 하기 수학식 15와 같이 정의될 수 있다.
[수학식 15]
Figure PCTKR2009003850-appb-I000045
엔트로피 기반 결정 트리부(202)는 입력된 값 '
Figure PCTKR2009003850-appb-I000046
'의 특징들에 대하여 훈련된 결정 트리의 터미널 노드 중 해당하는 터미널 노드를 결정하고 각 터미널 노드에 해당하는 확률 값을 상태 관측 확률인 '
Figure PCTKR2009003850-appb-I000047
', '
Figure PCTKR2009003850-appb-I000048
', '
Figure PCTKR2009003850-appb-I000049
' 및 '
Figure PCTKR2009003850-appb-I000050
'로서 출력할 수 있다.
출력된 상태 관측 확률은 상태 체인부(102)으로 입력되며, 최종 상태 ID를 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 상태 체인부를 통해 천이가 발생하는 상태들간의 관계를 나타내는 도면이다. 각 상태는 도 6와 같이 상태 천이를 할 수 있다. 기본이 되는 메인-상태(main-state)는 스테디-하모닉 상태와 콤플렉스-하모닉 상태일 수 있고, 스테디-하모닉 상태와 콤플렉스-하모닉 상태간의 천이는 엄격하게 발생할 수 있다. 예를 들어, '
Figure PCTKR2009003850-appb-I000051
'이 스테디-하모닉 상태였다면, '
Figure PCTKR2009003850-appb-I000052
'가 콤플렉스 하모닉 상태가 되기 위해서는 '
Figure PCTKR2009003850-appb-I000053
'에 대한 상태 관측 확률이 상대적으로 매우 높아야 천이가 가능하다. 반대의 경우도 마찬가지이다. 자유롭게 천이할 수 있는 상태는 스테디-하모닉 상태와 스테디-노이즈 상태, 콤플렉스-하모닉 상태와 콤플렉스-노이즈 상태이다.
'
Figure PCTKR2009003850-appb-I000054
'인 경우는 '
Figure PCTKR2009003850-appb-I000055
'와 관계없이 사일런스 상태로 무조건 천이할 수 있다.
스테디-노이즈 상태와 콤플렉스 노이즈 상태도 상호간에 천이가 가능하나, 스테디-하모닉 상태 및 콤플렉스 하모닉 상태간의 관계와는 다르게, 메인-상태의 상태 관측 확률에 종속되어 쉽게 천이 또는 변환이 가능할 수 있다. 여기서, 변환은 천이와는 다르게, 현 상태가 스테디-노이즈 상태일 지라도, 메인-상태에 따라, 콤플렉스-노이즈 상태로 대체될 수 있음을 의미할 수 있다. 그 반대의 경우도 마찬가지이다.
상태 체인부(102)에 입력되는 상태 관측 확률로부터 하기 수학식 16 및 하기 수학식 17의 두 가지 상태 시퀀스(벡터)가 정의될 수 있다.
[수학식 16]
Figure PCTKR2009003850-appb-I000056
[수학식 17]
Figure PCTKR2009003850-appb-I000057
여기서, 'PSH(b)', 'PSN(b)', 'PCH(b)' 및 'PCN(b)'는 각각 하기 수학식 18 내지 하기 수학식 21과 같이 표현될 수 있고, 'M'은 C(b)의 요소 개수를 나타낼 수 있다.
[수학식 18]
Figure PCTKR2009003850-appb-I000058
[수학식 19]
Figure PCTKR2009003850-appb-I000059
[수학식 20]
Figure PCTKR2009003850-appb-I000060
[수학식 21]
Figure PCTKR2009003850-appb-I000061
또한, '
Figure PCTKR2009003850-appb-I000062
'는 b-프레임에서의 신호 상태 관측부(102)의 출력 값을 의미할 수 있다. 일례로, 여기서는 일차적으로 임시적 '
Figure PCTKR2009003850-appb-I000063
' 값을 하기 수학식 22와 같이 설정될 수 있다.
[수학식 22]
Figure PCTKR2009003850-appb-I000064
여기서, 수학식 16 및 수학식 17에 나타난 'stateP(b)' 및 'stateC(b)'를 각각 상태 시퀀스 확률이라 명한다. 상태 체인부(102)의 출력은 최종 상태 ID로서, 각 가중 계수는
Figure PCTKR2009003850-appb-I000065
이며, 0.95값을 기본값으로 가질 수 있다. 값 선정에 대한 일례는, 현재 관측결과에 초점을 맞추고자 한다면,
Figure PCTKR2009003850-appb-I000066
, 과거의 관측 결과를 동일한 통계적 데이터로 사용한다면,
Figure PCTKR2009003850-appb-I000067
이 각각 이용될 수 있다.
또한, 수학식 16 내지 수학식 21로부터 현 프레임의 관측 비용(cost)은 하기 수학식 23과 같이 표현될 수 있다.
[수학식 23]
Figure PCTKR2009003850-appb-I000068
여기서, 'CstSH(b)'는 하기 수학식 24 및 하기 수학식 26과 같이 표현될 수 있고, 'CstSN(b)', 'CstCH(b)' 및 'CstCN(b)' 또한, 동일한 방법으로 계산될 수 있다.
[수학식 24]
Figure PCTKR2009003850-appb-I000069
'trace()' 연산자는 하기 수학식 25와 같이 행렬의 대각요소의 합을 수행하는 연산자를 의미할 수 있다.
[수학식 25]
Figure PCTKR2009003850-appb-I000070
[수학식 26]
Figure PCTKR2009003850-appb-I000071
결정 단계로, 먼저 현 '
Figure PCTKR2009003850-appb-I000072
'가 노이즈 상태인지 하모닉 상태인지를 하기 수학식 27을 통해 결정할 수 있다.
[수학식 27]
Figure PCTKR2009003850-appb-I000073
Figure PCTKR2009003850-appb-I000074
마찬가지로 그 역인 경우에도 동일하게 처리될 수 있다.
후처리 단계로 상태천이에 따라 하기 수학식 28과 같이 처리할 수 있다. 만약 수학식 27에 의해 '
Figure PCTKR2009003850-appb-I000075
'으로 결정되었으나, 하기 수학식 28의 조건을 만족할 경우에는 '
Figure PCTKR2009003850-appb-I000076
'로 변환될 수 있다. 여기서, 'SN'은 스테디-노이즈 상태를 나타내는 상태 ID를, 'CN'은 콤플렉스-노이즈 상태를 나타내는 상태 ID를 각각 의미할 수 있다.
[수학식 28]
Figure PCTKR2009003850-appb-I000077
Figure PCTKR2009003850-appb-I000078
마찬가지로 그 역인 경우에도 동일하게 처리될 수 있다. 즉,
Figure PCTKR2009003850-appb-I000079
일 경우 하기 수학식 29과 같이 상태 시퀀스 확률에 가중치(weight)가 가해질 수 있다. 여기서, 'SH'는 스테디-하모닉 상태를 나타내는 상태 ID를, 'CH'은 콤플렉스-하모닉 상태를 나타내는 상태 ID를 각각 의미할 수 있다.
[수학식 29]
Figure PCTKR2009003850-appb-I000080
Figure PCTKR2009003850-appb-I000081
여기서, '
Figure PCTKR2009003850-appb-I000082
'는 0 이상 0.95 이하의 값을 가질 수 있다. 즉, 상태 체인부(102)는 현재 프레임과 이전 프레임의 상태 식별자가 동일하지 않은 경우, 이전 프레임의 상태 식별자에 해당하는 상태 시퀀스 확률 중 하나에 '0' 이상 '0.95' 이하의 가중치를 부여할 수 있다. 이는 도 6에서 하모닉 상태간에 천이되는 경우를 엄격하게(hardly) 제어하기 위함이다.
'
Figure PCTKR2009003850-appb-I000083
'이 상태 체인부(102)에 입력될 경우, 상태 시퀀스 확률은 하기 수학식 30 내지 하기 수학식 34와 같이 초기화 될 수 있다.
[수학식 30]
Figure PCTKR2009003850-appb-I000084
[수학식 31]
Figure PCTKR2009003850-appb-I000085
[수학식 32]
Figure PCTKR2009003850-appb-I000086
[수학식 33]
Figure PCTKR2009003850-appb-I000087
[수학식 34]
Figure PCTKR2009003850-appb-I000088
과정은 도 7을 통해 더욱 자세히 설명한다.
도 7은 본 발명의 일실시예에 따른 상태 체인부의 출력이 결정되는 방법을 설명하기 위한 흐름도이다.
단계(S701)에서 상태 체인부(102)는 상태 시퀀스를 계산한다. 즉, 상태 체인부(102)는 수학식 16 및 수학식 17을 수행할 수 있다.
단계(S702)에서 상태 체인부(102)는 관찰 비용을 계산한다. 이 경우, 상태 체인부(102)는 수학식 23을 통해 관찰 비용을 계산할 수 있다.
단계(S703)에서 상태 체인부(102)는 상태 관측 확률에 따른 상태가 노이즈 상태인지를 확인하여 노이즈 상태인 경우 단계(S704)를, 노이즈 상태가 아닌 경우 단계(S705)를 각각 수행한다.
단계(S704)에서 상태 체인부(102)는 콤플렉스-하모닉 'CH'과 스테디-하모닉 'SH'을 비교하여 콤플렉스-하모닉 'CH'가 스테디-하모닉 'SH'보다 큰 경우 'CN'을, 콤플렉스-하모닉 'CH'가 스테디-하모닉 'SH'보다 작거나 같은 경우 'SN'을 'id(b)'의 값으로서 출력할 수 있다.
단계(S705)에서 상태 체인부(102)는 상태 관측 확률에 따른 상태가 사일런스 상태인지를 확인하여 사일런스 상태가 아닌 경우 단계(S706)을, 사일런스 상태인 경우 단계(S707)을 각각 수행한다.
단계(S706)에서 상태 체인부(102)는 'id(b)'와 'id(b-1)'을 비교하여 'id(b)'와 'id(b-1)'의 값이 서로 다른 경우 단계(S708)을 수행하고, 'id(b)'와 'id(b-1)'의 값이 서로 동일한 경우 'SH' 또는 'CH'를 'id(b)'의 값으로서 출력할 수 있다.
단계(S708)에서 상태 체인부(102)는 'P id ( b -1)(b)'값에 가중치 '
Figure PCTKR2009003850-appb-I000089
'를 부여한다. 즉, 상태 체인부(102)는 수학식 28을 수행할 수 있다. 이는 상술한 바와 같이 하모닉 상태간에 천이되는 경우를 엄격하게(hardly) 제어하기 위함이다.
단계(S707)에서 상태 체인부(102)는 상태 시퀀스를 초기화한다. 즉, 상태 체인부(102)는 수학식 30 내지 수학식 34를 수행함으로써, 상태 시퀀스를 초기화할 수 있다.
여기서 다시 도 1을 살펴보면, 상태 체인부(102)에서 출력된 상태 ID에 따라 LPC 기반 부화화부(103) 및 변환 기반 부호화부(104)를 선택적으로 구동시킬 수 있다. 즉, 상태 ID가 'SH' 또는 'SN' 다시 말해, 스테디-상태일 경우는 LPC 기반 부호화부(103)를 구동시키고, 상태 ID가 'CH' 또는 'CN' 다시 말해, 콤플렉스-상태일 경우는 변환 기반 부호화부(104)를 구동시켜 입력신호
Figure PCTKR2009003850-appb-I000090
를 부호화할 수 있다.
이상과 같이 본 명세서에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 입력신호의 특징을 분류하여 각 상태 관측 확률을 출력하는 신호 상태 관측부; 및
    상기 상태 관측 확률에 기초하여 상기 입력신호의 프레임의 상태 식별자를 출력하는 상태 체인부
    를 포함하고,
    상기 상태 식별자에 따라 상기 입력신호의 프레임이 부호화될 부호화부가 결정되는, 오디오 신호의 상태결정 장치.
  2. 제1항에 있어서,
    상기 신호 상태 관측부는,
    상기 특징으로서 하모닉(harmonic) 관련 특징 및 에너지 관련 특징을 각각 추출하는 특징 추출부;
    결정 트리(decision tree)를 이용하여 상기 하모닉 관련 특징 및 상기 에너지 관련 특징 중 적어도 하나의 상태 관측 확률을 결정하는 엔트로피(entropy) 기반 결정 트리부; 및
    상기 추출된 특징 중 상기 에너지 관련 특징이 일정 문턱치 값(S-Thr)을 넘지 못할 경우, 상기 추출된 특징에 해당하는 프레임의 상태를 사일런스 상태(silence state)에 대한 상태 관측 확률로서 결정하는 사일런스 상태 결정부
    를 포함하고,
    상기 결정 트리는 터미널 노드에 각 상태 관측 확률이 정의되는, 오디오 신호의 상태결정 장치.
  3. 제2항에 있어서,
    상기 특징 추출부는,
    상기 입력신호를 콤플렉스 변환을 통해 주파수 영역으로 변환하는 T/F 변환부;
    상기 변환된 입력신호와 상기 변환된 입력신호의 복소수에 대한 컬레 연산 결과간의 빈 연산결과를 역 이산 푸리에 변환에 적용하여 상기 하모닉 관련 특징을 추출하는 하모닉 분석부; 및
    상기 변환된 입력신호를 서브밴드 단위로 분할하고 각 서브밴드별 에너지간의 비를 상기 에너지 관련 특징으로서 추출하는 에너지 추출부
    를 포함하는, 오디오 신호의 상태결정 장치.
  4. 제3항에 있어서,
    상기 하모닉 분석부는,
    상기 역 이산 푸리에 변환이 적용된 함수에서 (1) 독립변수가 '0'인 경우의 종속변수의 절대값, (2) 피크(peak) 값의 절대값, (3) 최초 프레임부터 상기 피크(peak) 값에 해당하는 프레임까지의 수 및 (4) 제로 크로싱율(zero crossing rate) 중 적어도 하나를 상기 하모닉 관련 특징으로서 추출하는, 오디오 신호의 상태결정 장치.
  5. 제3항에 있어서,
    상기 에너지 추출부는,
    크리티컬 밴드위스(critical bandwidth) 및 ERB(Equivalent Rectangular Bandwidth) 중 적어도 하나에 기초하여 상기 변환된 입력신호를 상기 서브밴드 단위로 분할하는, 오디오 신호의 상태결정 장치.
  6. 제2항에 있어서,
    상기 엔트로피 기반 결정 트리부는,
    입력되는 특징에 대해 상기 결정 트리의 터미널 노드 중 해당하는 터미널 노드를 결정하고 각 터미널 노드에 해당하는 확률을 상기 상태 관측 확률로서 출력하는, 오디오 신호의 상태결정 장치.
  7. 제1항에 있어서,
    상기 상태 관측 확률은 스테디-하모닉(Steady-Harmonic, SH) 상태(state) 관측 확률
    , 스테디-노이즈(Steady-Noisy, SN) 상태 관측 확률, 콤플렉스-하모닉(Complex-Harmonic, CH) 상태 관측 확률, 콤플렉스-노이즈(Complex-Noise, CN) 상태 관측 확률 및 사일런스(Silence, Si) 상태 관측 확률 중 둘 이상을 포함하는, 오디오 신호의 상태결정 장치.
  8. 제1항에 있어서,
    상기 상태 체인부는,
    상기 상태 관측 확률로부터 상태 시퀀스 확률을 결정하고, 상기 상태 시퀀스 확률을 통해 현 프레임의 관측 비용을 계산하고, 상기 관측 비용에 기초하여 상기 입력신호의 프레임의 상태 식별자를 결정하는, 오디오 신호의 상태결정 장치.
  9. 제8항에 있어서,
    상기 상태 체인부는,
    스테디-하모닉 상태 및 콤플렉스-하모닉 상태의 관측 비용 중 최대값과 스테디-노이즈 상태의 관측 비용 및 콤플렉스-노이즈 상태의 관측 비용 중 최대값간의 비교를 통해 상기 입력신호의 현재 프레임이 노이즈 상태인지 하모닉 상태인지 결정하는, 오디오 신호의 상태결정 장치.
  10. 제9항에 있어서,
    상기 상태 체인부는,
    상기 노이즈 상태로 결정된 현재 프레임에 대해 상기 콤플렉스-하모닉 상태의 관측 비용 및 상기 콤플렉스-노이즈 상태의 관측 비용을 서로 비교하여 상기 현재 프레임의 상태 식별자를 상기 스테디-노이즈 상태 및 상기 콤플레스-노이즈 상태 중 하나로 결정하는, 오디오 신호의 상태결정 장치.
  11. 제9항에 있어서,
    상기 상태 체인부는,
    상기 하모닉 상태로 결정된 현재 프레임의 상태가 사일런스 상태인지 여부를 확인하여 상기 사일런스 상태인 경우, 상기 상태 시퀀스 확률을 초기화하는, 오디오 신호의 상태결정 장치.
  12. 제9항에 있어서,
    상기 상태 체인부는,
    상기 하모닉 상태로 결정된 현재 프레임의 상태가 사일런스 상태인지 여부를 확인하여 상기 사일런스 상태가 아닌 경우, 상기 현재 프레임의 상태 식별자를 스테디-하모닉 상태 및 콤플렉스 하모닉 상태 중 하나로 결정하는, 오디오 신호의 상태결정 장치.
  13. 제12항에 있어서,
    상기 상태 체인부는,
    상기 현재 프레임과 이전 프레임의 상태 식별자가 동일하지 않은 경우, 이전 프레임의 상태 식별자에 해당하는 상태 시퀀스 확률 중 하나에 가중치를 부여하는, 오디오 신호의 상태결정 장치.
  14. 제11항에 있어서,
    상기 부호화부는 LPC 기반 부호화부 및 변환 기반 부호화부를 포함하고,
    상기 상태 식별자가 스테디 상태(steady state)인 경우 상기 LPC 기반 부호화부로, 상기 상태 식별자가 콤플렉스 상태인 경우 상기 변환 기반 부호화부로 상기 입력신호의 프레임이 각각 입력되어 부호화되는, 오디오 신호의 상태결정 장치.
  15. 입력신호에서 하모닉(harmonic) 관련 특징 및 에너지 관련 특징을 각각 추출하는 특징 추출부;
    결정 트리(decision tree)를 이용하여 상기 하모닉 관련 특징 및 상기 에너지 관련 특징 중 적어도 하나의 상태 관측 확률을 결정하는 엔트로피(entropy) 기반 결정 트리부; 및
    상기 추출된 특징 중 상기 에너지 관련 특징이 일정 문턱치 값(S-Thr)을 넘지 못할 경우, 상기 추출된 특징에 해당하는 상기 입력신호의 프레임의 상태를 사일런스 상태(silence state)에 대한 상태 관측 확률로서 결정하는 사일런스 상태 결정부
    를 포함하고,
    상기 결정 트리는 터미널 노드에 각 상태 관측 확률이 정의되는, 오디오 신호의 상태결정 장치.
  16. 제15항에 있어서,
    상기 특징 추출부는,
    상기 입력신호를 콤플렉스 변환을 통해 주파수 영역으로 변환하는 T/F 변환부;
    상기 변환된 입력신호와 상기 변환된 입력신호의 복소수에 대한 컬레 연산 결과간의 빈 연산결과를 역 이산 푸리에 변환에 적용하여 특징을 추출하는 하모닉 분석부; 및
    상기 변환된 입력신호를 서브밴드 단위로 분할하고 각 서브밴드별 에너지간의 비를 특징으로서 추출하는 에너지 추출부
    를 포함하는, 오디오 신호의 상태결정 장치.
  17. 제15항에 있어서,
    상기 엔트로피 기반 결정 트리부는,
    입력되는 특징에 대해 상기 결정 트리의 터미널 노드 중 해당하는 터미널 노드를 결정하고 각 터미널 노드에 해당하는 확률을 상기 상태 관측 확률로서 출력하는, 오디오 신호의 상태결정 장치.
  18. 제15항에 있어서,
    상기 상태 관측 확률은 스테디-하모닉(Steady-Harmonic, SH) 상태(state) 관측 확률, 스테디-노이즈(Steady-Noisy, SN) 상태 관측 확률, 콤플렉스-하모닉(Complex-Harmonic, CH) 상태 관측 확률, 콤플렉스-노이즈(Complex-Noise, CN) 상태 관측 확률 및 사일런스(Silence, Si) 상태 관측 확률 중 둘 이상을 포함하는, 오디오 신호의 상태결정 장치.
  19. 제15항에 있어서,
    상기 상태 관측 확률에 기초하여 상기 입력신호의 프레임의 상태 식별자를 출력하는 상태 체인부
    를 더 포함하고,
    상기 상태 식별자에 따라 상기 입력신호의 프레임이 부호화될 부호화부가 결정되는, 오디오 신호의 상태결정 장치.
  20. 제19항에 있어서,
    상기 상태 체인부는,
    상기 상태 관측 확률로부터 상태 시퀀스 확률을 결정하고, 상기 상태 시퀀스 확률을 통해 현 프레임의 관측 비용을 계산하고, 상기 관측 비용에 기초하여 상기 입력신호의 프레임의 상태 식별자를 결정하는, 오디오 신호의 상태결정 장치.
PCT/KR2009/003850 2008-07-14 2009-07-14 오디오 신호의 상태결정 장치 WO2010008173A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/054,343 US20110119067A1 (en) 2008-07-14 2009-07-14 Apparatus for signal state decision of audio signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080068368 2008-07-14
KR10-2008-0068368 2008-07-14
KR1020090061645A KR101230183B1 (ko) 2008-07-14 2009-07-07 오디오 신호의 상태결정 장치
KR10-2009-0061645 2009-07-07

Publications (2)

Publication Number Publication Date
WO2010008173A2 true WO2010008173A2 (ko) 2010-01-21
WO2010008173A3 WO2010008173A3 (ko) 2010-02-25

Family

ID=41550825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/003850 WO2010008173A2 (ko) 2008-07-14 2009-07-14 오디오 신호의 상태결정 장치

Country Status (1)

Country Link
WO (1) WO2010008173A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126228A1 (ko) * 2014-02-24 2015-08-27 삼성전자 주식회사 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890108A (en) * 1995-09-13 1999-03-30 Voxware, Inc. Low bit-rate speech coding system and method using voicing probability determination
JP2003316398A (ja) * 2002-04-25 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法、符号化器及びそのプログラム
WO2008045846A1 (en) * 2006-10-10 2008-04-17 Qualcomm Incorporated Method and apparatus for encoding and decoding audio signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890108A (en) * 1995-09-13 1999-03-30 Voxware, Inc. Low bit-rate speech coding system and method using voicing probability determination
JP2003316398A (ja) * 2002-04-25 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法、符号化器及びそのプログラム
WO2008045846A1 (en) * 2006-10-10 2008-04-17 Qualcomm Incorporated Method and apparatus for encoding and decoding audio signals

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126228A1 (ko) * 2014-02-24 2015-08-27 삼성전자 주식회사 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
US10090004B2 (en) 2014-02-24 2018-10-02 Samsung Electronics Co., Ltd. Signal classifying method and device, and audio encoding method and device using same
US10504540B2 (en) 2014-02-24 2019-12-10 Samsung Electronics Co., Ltd. Signal classifying method and device, and audio encoding method and device using same

Also Published As

Publication number Publication date
WO2010008173A3 (ko) 2010-02-25

Similar Documents

Publication Publication Date Title
WO2019080248A1 (zh) 语音识别方法、装置、设备以及计算机可读存储介质
WO2017144007A1 (zh) 一种基于经验模态分解的音频识别方法及系统
WO2019117466A1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
WO2012053798A2 (en) Apparatus and method for determining weighting function having low complexity for linear predictive coding (lpc) coefficients quantization
WO2015170899A1 (ko) 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치
WO2015005679A1 (ko) 음성 인식 방법, 장치 및 시스템
WO2011049416A2 (en) Apparatus and method encoding/decoding with phase information and residual information
WO2013002623A4 (ko) 대역폭 확장신호 생성장치 및 방법
IT1270438B (it) Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
EP2617033A2 (en) Apparatus and method for encoding and decoding signal for high frequency bandwidth extension
WO2014185569A1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
WO2020050509A1 (en) Voice synthesis device
WO2021034106A1 (ko) 환경 예측 모델의 훈련지표 최적화 장치 및 그 동작방법
EP4248441A1 (en) Speech recognition method, apparatus, electronic device and computer readable storage medium
WO2013115625A1 (ko) 낮은 복잡도로 오디오 신호를 처리하는 방법 및 장치
WO2019172734A2 (ko) 데이터 마이닝 장치, 이를 이용하는 음성인식 방법 및 시스템
WO2010008173A2 (ko) 오디오 신호의 상태결정 장치
WO2014163231A1 (ko) 복수의 음원이 출력되는 환경하에서 음성 인식에 이용될 음성 신호의 추출 방법 및 음성 신호의 추출 장치
EP3980991A1 (en) System and method for recognizing user&#39;s speech
WO2011122875A2 (ko) 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
WO2011068315A4 (ko) 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치 및 그 방법
WO2009123412A1 (ko) 노이지 음성 신호의 처리 방법과 이를 위한 장치 및 컴퓨터 판독 가능한 기록매체
WO2021167318A1 (en) Position detection method, apparatus, electronic device and computer readable storage medium
WO2021137419A1 (ko) 디제이변환에 기초한 기본주파수 추출 방법
WO2023140488A1 (en) Bandwidth extension and speech enhancement of audio

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09798076

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13054343

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09798076

Country of ref document: EP

Kind code of ref document: A2