WO2018107874A1 - 一种音频数据的自动增益控制方法与装置 - Google Patents

一种音频数据的自动增益控制方法与装置 Download PDF

Info

Publication number
WO2018107874A1
WO2018107874A1 PCT/CN2017/104796 CN2017104796W WO2018107874A1 WO 2018107874 A1 WO2018107874 A1 WO 2018107874A1 CN 2017104796 W CN2017104796 W CN 2017104796W WO 2018107874 A1 WO2018107874 A1 WO 2018107874A1
Authority
WO
WIPO (PCT)
Prior art keywords
current frame
data
noise
frame
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/104796
Other languages
English (en)
French (fr)
Inventor
雷延强
程雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Publication of WO2018107874A1 publication Critical patent/WO2018107874A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to audio signal processing technologies, and in particular, to an automatic gain control method and apparatus for audio data.
  • the volume intensity of different audio signals is often different, and accompanied by noise, but as a user, it is expected that the conversation with each person is the same volume intensity without the control of the volume keys. Realize and enhance the user experience.
  • the existing automatic gain control method performs gain control on the two parts by analyzing the speech part and the noise part in the audio signal.
  • the existing automatic gain control methods use time domain analysis to distinguish between speech and noise. This method of differentiation has great limitations and cannot effectively distinguish the characteristics of speech and noise. It often recognizes speech as noise or noise. Recognized as speech, causing erroneous gain control of the audio signal. For example, in a cochlear/hearing aid device, if the noise is erroneously amplified, the user experience is very poor, and even the user may be seriously uncomfortable.
  • an object of the present invention is to provide an automatic gain control method and apparatus for audio data, which can accurately and effectively distinguish between a voice portion and a noise portion in audio data, and separately perform gain control thereon, thereby greatly improving the user. Comfort.
  • an aspect of the present invention provides an automatic gain control method for audio data, including:
  • the gain of the current frame data is controlled according to a pre-configured speech frame gain control rule, and the pre-configured noise frame gain is performed when the current frame data is determined to be a noise frame.
  • a control rule controls the gain of the current frame data.
  • the automatic gain control method of the audio data further comprises the steps of constructing a speech class Gaussian mixture model and constructing a noise class Gaussian mixture model;
  • the step of constructing a voice category Gaussian mixture model specifically includes:
  • the weight, mean and covariance of the Gaussian submodel corresponding to each speech category are iteratively optimized by the EM algorithm to obtain a Gaussian mixture model of the speech category;
  • the step of constructing the noise class Gaussian mixture model specifically includes:
  • the weight, mean and covariance of the Gaussian submodel corresponding to each noise class are iteratively optimized by the EM algorithm to obtain the Gaussian mixture model of the noise class.
  • the probability that the current frame data belongs to a voice frame and the probability of belonging to a noise frame according to a voice class condition probability of the current frame data and a noise class condition probability of the current frame data includes:
  • T is a frame number of the current frame data in the audio data
  • X T is a feature parameter of the current frame data
  • T-W+1 is a frame number of a front W frame of the current frame data
  • ⁇ is the default value.
  • any adjacent two frames of data obtained by performing frame processing on the audio data have overlapping portions.
  • the gain of the current frame data is controlled according to a preset voice frame gain control rule, and the current frame data is determined as a noise frame according to a pre-
  • the configured noise frame gain control rule controls the gain of the current frame data, including:
  • the current frame data is determined to be a speech frame, acquiring time domain energy of the current frame data and calculating a ratio of a preset expected energy value to the time domain energy, and each data point of the current frame data is obtained. Multiplying the ratio to enlarge or reduce the current frame data;
  • the current frame data is determined to be a noise frame
  • the current frame data is kept unchanged.
  • Another aspect of the present invention provides an automatic gain control apparatus for audio data, including:
  • a pre-processing module configured to perform frame processing on the audio data, and extract feature parameters of each frame data
  • a first probability acquisition module configured to use a feature parameter of the current frame data and a pre-configured voice class Obtaining a conditional probability of the speech condition of the current frame data; and obtaining a noise-like conditional probability of the current frame data according to a feature parameter of the current frame data and a pre-configured noise class Gaussian mixture model;
  • a second probability acquisition module configured to calculate a probability that the current frame data belongs to a voice frame and a probability of belonging to a noise frame according to a voice class condition probability of the current frame data and a noise class condition probability of the current frame data;
  • a determining module configured to determine, as the voice frame, the current frame audio data when the probability that the current frame data belongs to the voice frame is greater than the probability of belonging to the noise frame; and the probability that the current frame data belongs to the voice frame is less than the noise frame The probability of the current frame data is determined as a noise frame;
  • a gain control module configured to: when the current frame data is determined to be a voice frame, control a gain of the current frame data according to a preset voice frame gain control rule, and when the current frame data is determined to be a noise frame, A pre-configured noise frame gain control rule controls the gain of the current frame data.
  • the automatic gain control device of the audio data further includes a first model building module and a second model building module;
  • the first model building module includes:
  • a first pre-processing unit configured to perform frame-by-frame processing on the voice sample data and extract feature parameters of each frame data by using the same processing method as the audio data;
  • a first classifying unit configured to divide feature parameters of the voice sample data into a plurality of voice categories according to a K-means algorithm
  • a first initial parameter obtaining unit configured to acquire an initial weight, an initial mean value, and an initial covariance of a Gaussian submodel corresponding to each voice category;
  • the first model optimization unit is configured to perform iterative optimization on the weight, the mean value and the covariance of the Gaussian submodel corresponding to each voice category by using an EM algorithm to obtain a Gaussian mixture model of the voice category;
  • the second model building module includes:
  • a second pre-processing unit configured to perform frame-by-frame processing on the noise sample data and extract feature parameters of each frame data by using the same processing method as the audio data;
  • a second classifying unit configured to divide a feature parameter of the noise sample data into a plurality of noise categories according to a K-means algorithm
  • a second initial parameter obtaining unit configured to acquire an initial weight, an initial mean, and an initial covariance of the Gaussian submodel corresponding to each noise category
  • the second model optimization unit is configured to iteratively optimize the weight, mean and covariance of the Gaussian submodel corresponding to each noise class by using the EM algorithm to obtain a Gaussian mixture model of the noise class.
  • the second probability acquisition module comprises:
  • a posterior probability acquiring unit configured to combine Bayesian with a conditional probability p(x T /Y 1 ) of the current frame data and a noise-like conditional probability p(x T /Y 2 ) of the current frame data after formula to calculate the current frame data belonging to the speech frame posteriori probabilities p '(Y 1 / x T ) , and after the noise frame belonging posterior probability p' (Y 2 / x T );
  • T is a frame number of the current frame data in the audio data
  • X T is a feature parameter of the current frame data
  • T-W+1 is a frame number of a front W frame of the current frame data
  • ⁇ is the default value.
  • any adjacent two frames of data obtained by performing frame processing on the audio data have overlapping portions.
  • the gain control module comprises:
  • a first gain control unit configured to acquire time domain energy of the current frame data and calculate a ratio of a preset expected energy value to the time domain energy when the current frame data is determined to be a speech frame, Multiplying each data point of the current frame data by the ratio to enlarge or reduce the current frame data;
  • a second gain control unit configured to: when the current frame data is determined to be a noise frame, The current frame data does not change.
  • an embodiment of the present invention provides an audio data automatic gain control method and apparatus, where the method includes: performing frame processing on audio data, and extracting data of each frame. a feature parameter; obtaining a voice class conditional probability of the current frame data according to a feature parameter of the current frame data and a pre-configured voice class Gaussian mixture model; and a Gaussian mixture model according to the feature parameter of the current frame data and a pre-configured noise class Obtaining a noise-like conditional probability of the current frame data; calculating a probability that the current frame data belongs to a speech frame and a noise frame according to a speech-like conditional probability of the current frame data and a noise-like conditional probability of the current frame data Probability of determining the current frame audio data as a speech frame when the probability that the current frame data belongs to the speech frame is greater than the probability of belonging to the noise frame; and the probability that the current frame data belongs to the speech frame is less than the probability of belonging to the noise frame Determining the current frame data as
  • the noise is changed with the change of the environment.
  • the embodiment of the present invention by introducing a Gaussian mixture model, it is very accurately determined whether the current frame is a speech segment or a noise segment, and respectively Gain control is performed on the speech segment and the noise end to implement automatic gain control to avoid erroneously amplifying the noise.
  • the technical solution of the invention greatly improves the recognition level of speech and noise, and performs automatic gain control accordingly, thereby effectively improving the user experience.
  • FIG. 1 is a schematic flow chart of an automatic gain control method for audio data according to an embodiment of the present invention
  • FIG. 2 is a structural block diagram of an automatic gain control apparatus for audio data according to an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of an automatic gain control method for audio data according to an embodiment of the present invention, including:
  • any adjacent two frames of data obtained by performing frame processing on the audio data have overlapping portions.
  • the framing can adopt the method of continuous segmentation, the method of overlapping segmentation can make the frame-frame transition smoothly and maintain its continuity.
  • the overlapping portion of the previous frame and the next frame is called frame shift, and the ratio of frame shift to frame length is preferably 0 to 1/2.
  • the method for extracting the feature parameters may be an MFCC (Mel Frequency Cepstral Coefficient) algorithm, an LPC (Linear Predictive Analysis) algorithm, an LPL (Linear Predictive Analysis) algorithm, or the like.
  • MFCC Mel Frequency Cepstral Coefficient
  • LPC Linear Predictive Analysis
  • LPL Linear Predictive Analysis
  • S2 obtaining a voice class condition probability of the current frame data according to a feature parameter of the current frame data and a pre-configured voice class Gaussian mixture model; and a Gaussian mixture model according to the feature parameter of the current frame data and a pre-configured noise class, Obtaining a noise-like conditional probability of the current frame data;
  • the current frame data may be determined as a voice frame or a noise frame according to a preset setting. Those skilled in the art should be able to understand.
  • the noise is changed with the change of the environment.
  • the embodiment of the present invention by introducing a Gaussian mixture model, it is very accurately determined whether the current frame is a speech segment or a noise segment, and respectively Gain control is performed on the speech segment and the noise end to implement automatic gain control to avoid erroneously amplifying the noise.
  • the technical solution of the invention greatly improves the recognition level of speech and noise, and performs automatic gain control accordingly, thereby effectively improving the user experience.
  • the automatic gain control method of the audio data further comprises the steps of constructing a speech class Gaussian mixture model and constructing a noise class Gaussian mixture model;
  • the step of constructing a voice category Gaussian mixture model specifically includes:
  • the weight, mean and covariance of the Gaussian submodel corresponding to each phonetic category are iteratively optimized by the EM algorithm (expected maximum algorithm) to obtain a Gaussian mixture model of the speech category;
  • the step of constructing the noise class Gaussian mixture model specifically includes:
  • the weight, mean and covariance of the Gaussian submodel corresponding to each noise class are iteratively optimized by the EM algorithm to obtain the Gaussian mixture model of the noise class.
  • a Gaussian mixture model of speech categories and a Gaussian mixture model of noise categories can be constructed. Since the steps of constructing the Gaussian mixture model of the speech category and the Gaussian mixture model of the noise category are basically the same, the following is an example of constructing the Gaussian mixture model of the speech category.
  • the voice sample data is divided into m frame data, and the feature parameters of the voice sample data are divided into K voice categories according to the K-means algorithm, that is, the voice category Gaussian mixture model is composed of K Gaussian sub-models.
  • the initial mean value can be obtained.
  • Initial covariance And set the initial weight of any Gaussian submodel
  • t is the number of iterations, and t is greater than or equal to 0; It is a standard Gaussian function; x i represents the characteristic parameter of the i-th frame speech sample data.
  • Substituting the feature parameter x T of the current frame data into the speech class Gaussian mixture model p(x/Y 1 ) can obtain the speech-like conditional probability p(x T /Y 1 ) of the current frame data.
  • the noise class Gaussian mixture model p(x/Y 2 ) can be obtained; the characteristic parameter x T of the current frame data is substituted into the noise class Gaussian mixture model p(x/Y 2 ) to obtain the noise conditional probability of the current frame data. p(x T /Y 2 ).
  • the Gaussian mixture model of the noise category and the Gaussian mixture model of the speech category are identical in form, and all belong to the Gaussian mixture model, but the number of specific Gaussian submodels and the specific parameters may be different. One skilled in the art should be able to understand.
  • step S3 the probability of the current frame data belonging to the voice frame is calculated according to the voice class condition probability of the current frame data and the noise class condition probability of the current frame data.
  • the probability of belonging to a noise frame including:
  • the posterior probability that the current frame data belongs to the speech frame is
  • the posterior probability that the current frame data belongs to the noise frame is
  • p(Y 1 ) is the prior probability of the speech class
  • T is a frame number of the current frame data in the audio data
  • x T is a feature parameter of the current frame data
  • T-W+1 is a frame number of a front W frame of the current frame data
  • ⁇ is the default value.
  • p(Y 1 /x T ) is the probability that p'(Y 1 /x T ) is weighted and smoothed; similarly, p(Y 2 /x T ) is p'(Y 1 /x T ) weighted smoothing
  • W represents the window width of the weighted smoothing.
  • p'(Y1/x T ) and p'(Y2/x T ) it can be determined whether the current frame data belongs to a speech frame or a noise frame, but the speech or noise is usually a continuous multi-frame, weighted smoothing. It can make the transition of the recognition result more stable and prevent some abnormal mutation results.
  • step S5 when the current frame data is determined to be a speech frame, the gain of the current frame data is controlled according to a pre-configured speech frame gain control rule, and the current frame data is determined as The noise frame controls the gain of the current frame data according to a pre-configured noise frame gain control rule, including:
  • the current frame data is determined to be a speech frame, acquiring time domain energy of the current frame data and calculating a ratio of a preset expected energy value to the time domain energy, and each data point of the current frame data is obtained. Multiplying the ratio to enlarge or reduce the current frame data;
  • the current frame data is determined to be a noise frame
  • the current frame data is kept unchanged.
  • the ratio When the ratio is greater than 1, it means that the time domain energy does not reach the expected energy value, and the current frame data needs to be amplified; when the ratio is less than 1, it represents that the time domain energy exceeds the expected energy. The value needs to be reduced.
  • step S5 the speech frame can be enlarged or reduced according to the time domain energy of the speech frame to achieve the automatic gain control effect, and the noise frame remains unchanged, thereby avoiding erroneously amplifying the noise frame.
  • the above is only one implementation manner of the speech frame gain control rule and the noise frame gain control rule, and the purpose is to automatically perform gain amplification or reduction on the speech frame, and avoid the amplification operation of the noise frame, and other implementations.
  • the way to compress the gain of a noise frame, for example, is also optional.
  • FIG. 2 is a structural block diagram of an automatic gain control apparatus for audio data according to an embodiment of the present invention.
  • the automatic gain control device of the audio data includes:
  • the pre-processing module 1 is configured to perform frame processing on the audio data, and extract feature parameters of each frame data;
  • the first probability acquisition module 2 is configured to obtain a voice class condition probability of the current frame data according to a feature parameter of the current frame data and a pre-configured voice class Gaussian mixture model; and pre-configure according to the feature parameter of the current frame data a noise class Gaussian mixture model to obtain a noise-like conditional probability of the current frame data;
  • the second probability acquisition module 3 is configured to calculate a probability that the current frame data belongs to a voice frame and a probability of belonging to a noise frame according to a voice class condition probability of the current frame data and a noise class condition probability of the current frame data;
  • the determining module 4 is configured to determine the current frame audio data as a voice frame when the probability that the current frame data belongs to the voice frame is greater than the probability of belonging to the noise frame; and the probability that the current frame data belongs to the voice frame is less than the noise When the probability of the frame is determined, the current frame data is determined as a noise frame;
  • a gain control module 5 configured to: when the current frame data is determined to be a voice frame, control a gain of the current frame data according to a preset voice frame gain control rule, and when the current frame data is determined to be a noise frame The gain of the current frame data is controlled in accordance with a pre-configured noise frame gain control rule.
  • the automatic gain control device of the audio data further includes a first model building module and a second model building module;
  • the first model building module includes:
  • a first pre-processing unit configured to perform frame-by-frame processing on the voice sample data and extract feature parameters of each frame data by using the same processing method as the audio data;
  • a first classifying unit configured to divide feature parameters of the voice sample data into a plurality of voice categories according to a K-means algorithm
  • a first initial parameter obtaining unit configured to acquire an initial weight, an initial mean value, and an initial covariance of a Gaussian submodel corresponding to each voice category;
  • the first model optimization unit is configured to perform iterative optimization on the weight, the mean value and the covariance of the Gaussian submodel corresponding to each voice category by using an EM algorithm to obtain a Gaussian mixture model of the voice category;
  • the second model building module includes:
  • a second pre-processing unit configured to perform frame-by-frame processing on the noise sample data and extract feature parameters of each frame data by using the same processing method as the audio data;
  • a second classifying unit configured to divide a feature parameter of the noise sample data into a plurality of noise categories according to a K-means algorithm
  • a second initial parameter obtaining unit configured to acquire an initial weight, an initial mean, and an initial covariance of the Gaussian submodel corresponding to each noise category
  • the second model optimization unit is configured to iteratively optimize the weight, mean and covariance of the Gaussian submodel corresponding to each noise class by using the EM algorithm to obtain a Gaussian mixture model of the noise class.
  • the second probability acquisition module 3 includes:
  • a posterior probability acquiring unit configured to combine Bayesian with a conditional probability p(x T /Y 1 ) of the current frame data and a noise-like conditional probability p(x T /Y 2 ) of the current frame data after formula to calculate the current frame data belonging to the speech frame posteriori probabilities p '(Y 1 / x T ) , and after the noise frame belonging posterior probability p' (Y 2 / x T );
  • T is a frame number of the current frame data in the audio data
  • x T is a feature parameter of the current frame data
  • T-W+1 is a frame number of a front W frame of the current frame data
  • ⁇ is the default value.
  • any adjacent two frames of data obtained by performing frame processing on the audio data have overlapping portions.
  • the gain control module 5 comprises:
  • a first gain control unit configured to acquire time domain energy of the current frame data and calculate a ratio of a preset expected energy value to the time domain energy when the current frame data is determined to be a speech frame, Multiplying each data point of the current frame data by the ratio to enlarge or reduce the current frame data;
  • a second gain control unit configured to keep the current frame data unchanged when the current frame data is determined to be a noise frame.
  • the automatic gain control apparatus for audio data provided by the embodiment of the present invention is used to perform the above-mentioned automatic gain control method for audio data, and the beneficial effects and working principles of the two are corresponding one-to-one, and thus will not be described again.
  • an embodiment of the present invention provides an audio data automatic gain control method and apparatus, where the method includes: performing frame processing on audio data, and extracting data of each frame. a feature parameter; obtaining a voice class conditional probability of the current frame data according to a feature parameter of the current frame data and a pre-configured voice class Gaussian mixture model; and a Gaussian mixture model according to the feature parameter of the current frame data and a pre-configured noise class Obtaining a noise-like conditional probability of the current frame data; calculating a probability that the current frame data belongs to a speech frame and a noise frame according to a speech-like conditional probability of the current frame data and a noise-like conditional probability of the current frame data Probability of determining the current frame audio data as a speech frame when the probability that the current frame data belongs to the speech frame is greater than the probability of belonging to the noise frame; and the probability that the current frame data belongs to the speech frame is less than the probability of belonging to the noise frame Determining the current frame data as
  • the noise is changed with the change of the environment.
  • the embodiment of the present invention by introducing a Gaussian mixture model, it is very accurately determined whether the current frame is a speech segment or a noise segment, and respectively Gain control is performed on the speech segment and the noise end to implement automatic gain control to avoid erroneously amplifying the noise.
  • the technical solution of the invention greatly improves the recognition level of speech and noise, and performs automatic gain control accordingly, thereby effectively improving the user experience.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种音频数据自动增益控制方法与装置，该方法包括：对音频数据进行分帧处理，并提取各帧数据的特征参数（S1）；根据当前帧数据的特征参数与语音类别高斯混合模型得到当前帧数据的语音类条件概率，以及根据当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到当前帧数据的噪声类条件概率（S2）；根据当前帧数据的语音类条件概率与当前帧的噪声类条件概率计算当前帧数据属于语音帧的概率以及属于噪声帧的概率（S3）；当当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧，当当前帧数据属于语音帧的概率小于噪声帧的概率时，将当前帧数据判定为噪声帧（S4）；当当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制其增益，当前帧数据被判定为噪声帧时，按照预先配置的噪声帧增益控制规则控制其增益（S5）。该方法能提高语音与噪声的识别水平，并依此进行自动增益控制，有效改善使用者的体验。

Description

一种音频数据的自动增益控制方法与装置 技术领域
本发明涉及音频信号处理技术，尤其涉及一种音频数据的自动增益控制方法及装置。
背景技术
在语音信号处理过程中，不同音频信号的音量强度往往是不一样的，且伴随有噪声，但作为用户，期望与每个人之间的通话都是相同的音量强度而不通过音量键的控制来实现，提升用户体验。现有的自动增益控制方法通过分析出音频信号中的语音部分和噪声部分，分别对这两部分进行增益控制。
现有的自动增益控制方法都是通过时域分析来区分语音与噪声，这种区分方法的局限性较大，无法有效地区分语音和噪声的特征，往往会把语音识别为噪声，或者将噪声识别为语音，造成错误地对音频信号进行增益控制。例如，在人工耳蜗/助听器设备中，若错误地将噪声进行放大，对使用者的体验是非常差的，甚至会造成使用者严重的不舒适感。
发明内容
针对上述问题，本发明的目的在于提供一种音频数据的自动增益控制方法与装置，能够精确有效地区分音频数据中的语音部分和噪声部分，并分别对其进行增益控制，极大地提高了用户的舒适度。
为了实现上述目的，本发明一方面提供了一种音频数据的自动增益控制方法，包括：
对音频数据进行分帧处理，并提取各帧数据的特征参数；
根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配 置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；
根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；
当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；
当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。
优选地，所述音频数据的自动增益控制方法还包括构建语音类别高斯混合模型的步骤以及构建噪声类别高斯混合模型的步骤；
所述构建语音类别高斯混合模型的步骤具体包括：
通过与所述音频数据相同的处理方法，对语音样本数据进行分帧处理并提取各帧数据的特征参数；
根据K-means算法将所述语音样本数据的特征参数划分为若干个语音类别；
获取每个语音类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
通过EM算法对每个语音类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到语音类别高斯混合模型；
所述构建噪声类别高斯混合模型的步骤具体包括：
通过与所述音频数据相同的处理方法，对噪声样本数据进行分帧处理并提取各帧数据的特征参数；
根据K-means算法将所述噪声样本数据的特征参数划分为若干个噪声类别；
获取每个噪声类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
通过EM算法对每个噪声类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到噪声类别高斯混合模型。
优选地，所述根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率，包括：
根据所述当前帧数据的语音类条件概率p(xT/Y1)与所述当前帧数据的噪声类条件概率p(xT/Y2)结合贝叶斯公式，计算所述当前帧数据属于语音帧的后验概率p’(Y1/xT)以及属于噪声帧的后验概率p’(Y2/xT)；
根据p(Y1/xT)＝α1·p(Y1/xT-W+1)+…αW-1·p(Y1/xT-1)+αW·p′(Y1/xT)计算p(Y1/xT)；
根据p(Y2/xT)＝α1·p(Y2/xT-W+1)+…αW-1·p(Y2/xT-1)+αW·p′(Y2/xT)计算p(Y2/xT)；
其中，
Figure PCTCN2017104796-appb-000001
T是所述当前帧数据在所述音频数据中的帧序号；XT为所述当前帧数据的特征参数；T-W+1是所述当前帧数据的前W帧的帧序号；W与σ为预设值。
优选地，对所述音频数据进行分帧处理后得到的任意相邻的两帧数据具有重叠的部分。
优选地，所述当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益，包括：
当所述当前帧数据被判定为语音帧时，获取所述当前帧数据的时域能量并计算预设的期望能量值与所述时域能量的比值，将所述当前帧数据的各数据点乘以所述比值以放大或缩小所述当前帧数据；
当所述当前帧数据被判定为噪声帧时，保持所述当前帧数据不变。
本发明实施例另一方面还提供一种音频数据的自动增益控制装置，包括：
预处理模块，用于对音频数据进行分帧处理，并提取各帧数据的特征参数；
第一概率获取模块，用于根据当前帧数据的特征参数与预先配置的语音类 别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；
第二概率获取模块，用于根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；
判定模块，用于当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；
增益控制模块，用于当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。
优选地，所述音频数据的自动增益控制装置还包括第一模型构建模块以及第二模型构建模块；
所述第一模型构建模块包括：
第一预处理单元，用于通过与所述音频数据相同的处理方法，对语音样本数据进行分帧处理并提取各帧数据的特征参数；
第一分类单元，用于根据K-means算法将所述语音样本数据的特征参数划分为若干个语音类别；
第一初始参数获取单元，用于获取每个语音类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
第一模型优化单元，用于通过EM算法对每个语音类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到语音类别高斯混合模型；
所述第二模型构建模块包括：
第二预处理单元，用于通过与所述音频数据相同的处理方法，对噪声样本数据进行分帧处理并提取各帧数据的特征参数；
第二分类单元，用于根据K-means算法将所述噪声样本数据的特征参数划分为若干个噪声类别；
第二初始参数获取单元，用于获取每个噪声类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
第二模型优化单元，用于通过EM算法对每个噪声类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到噪声类别高斯混合模型。
优选地，所述第二概率获取模块包括：
后验概率获取单元，用于根据所述当前帧数据的语音类条件概率p(xT/Y1)与所述当前帧数据的噪声类条件概率p(xT/Y2)结合贝叶斯公式，计算所述当前帧数据属于语音帧的后验概率p’(Y1/xT)以及属于噪声帧的后验概率p’(Y2/xT)；
概率加权平滑单元，用于
根据p(Y1/xT)＝α1·p(Y1/xT-W+1)+…αW-1·p(Y1/xT-1)+αW·p′(Y1/xT)计算p(Y1/xT)；以及用于
根据p(Y2/xT)＝α1·p(Y2/xT-W+1)+…αW-1·p(Y2/xT-1)+αW·p′(Y2/xT)计算p(Y2/xT)；
其中，
Figure PCTCN2017104796-appb-000002
T是所述当前帧数据在所述音频数据中的帧序号；XT为所述当前帧数据的特征参数；T-W+1是所述当前帧数据的前W帧的帧序号；W与σ为预设值。
优选地，对所述音频数据进行分帧处理后得到的任意相邻的两帧数据具有重叠的部分。
优选地，所述增益控制模块包括：
第一增益控制单元，用于当所述当前帧数据被判定为语音帧时，获取所述当前帧数据的时域能量并计算预设的期望能量值与所述时域能量的比值，将所述当前帧数据的各数据点乘以所述比值以放大或缩小所述当前帧数据；
第二增益控制单元，用于当所述当前帧数据被判定为噪声帧时，保持所述 当前帧数据不变。
相对于现有技术，本发明实施例的有益效果在于：本发明实施例提供了一种音频数据自动增益控制方法与装置，其中方法包括：对音频数据进行分帧处理，并提取各帧数据的特征参数；根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。在语音实时通信中，由于使用环境的多样性，噪声是随着环境的变化而变换的，本发明实施例通过引入高斯混合模型，非常准确地判断出当前帧是语音段还是噪声段，并且分别对语音段和噪声端进行增益控制，实现自动增益控制，避免错误地将噪声进行放大。本发明技术方案极大地提高了语音与噪声的识别水平，并依此进行自动增益控制，有效改善了使用者的体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种音频数据的自动增益控制方法的流程示意图；
图2是本发明实施例提供的一种音频数据的自动增益控制装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其是本发明实施例提供的一种音频数据的自动增益控制方法的流程示意图，包括：
S1，对音频数据进行分帧处理，并提取各帧数据的特征参数；
优选地，对所述音频数据进行分帧处理后得到的任意相邻的两帧数据具有重叠的部分。分帧虽然可以采用连续分段的方法，但采用交叠分段的方法可以使帧与帧之间平滑过渡，保持其连续性。前一帧和后一帧的交叠部分称为帧移，帧移与帧长的比值优选为0～1/2。
提取特征参数的方法可以采用MFCC(Mel频率倒谱系数)算法、LPC(线性预测分析)算法、LPL(线性预测分析)算法等。
S2，根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；
S3，根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；
S4，当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；
需要说明的是，当所述当前帧数据属于语音帧的概率与属于噪声帧的概率相等时，可以根据预先设定将当前帧数据判定为语音帧或者噪声帧，这一点本 领域技术人员应当能够理解。
S5，当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。
在语音实时通信中，由于使用环境的多样性，噪声是随着环境的变化而变换的，本发明实施例通过引入高斯混合模型，非常准确地判断出当前帧是语音段还是噪声段，并且分别对语音段和噪声端进行增益控制，实现自动增益控制，避免错误地将噪声进行放大。本发明技术方案极大地提高了语音与噪声的识别水平，并依此进行自动增益控制，有效改善了使用者的体验。
优选地，所述音频数据的自动增益控制方法还包括构建语音类别高斯混合模型的步骤以及构建噪声类别高斯混合模型的步骤；
所述构建语音类别高斯混合模型的步骤具体包括：
通过与所述音频数据相同的处理方法，对语音样本数据进行分帧处理并提取各帧数据的特征参数；
根据K-means算法将所述语音样本数据的特征参数划分为若干个语音类别；
获取每个语音类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
通过EM算法(期望最大值算法)对每个语音类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到语音类别高斯混合模型；
所述构建噪声类别高斯混合模型的步骤具体包括：
通过与所述音频数据相同的处理方法，对噪声样本数据进行分帧处理并提取各帧数据的特征参数；
根据K-means算法将所述噪声样本数据的特征参数划分为若干个噪声类别；
获取每个噪声类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
通过EM算法对每个噪声类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到噪声类别高斯混合模型。
通过以上的步骤可以构建出语音类别高斯混合模型与噪声类别高斯混合模型。由于构建出语音类别高斯混合模型与噪声类别高斯混合模型的步骤是基本一致的，因此以下以构建出语音类别高斯混合模型为例进行具体说明。
1、假设将所述语音样本数据分割为m帧数据，根据K-means算法将所述语音样本数据的特征参数划分为K个语音类别，即语音类别高斯混合模型由K个高斯子模型构成。
2、对于第k个高斯子模型，可以得到其初始均值
Figure PCTCN2017104796-appb-000003
和初始协方差
Figure PCTCN2017104796-appb-000004
并且设定任意一个高斯子模型的初始权重
Figure PCTCN2017104796-appb-000005
3、对第k个高斯子模型的均值μk、协方差∑k、权重ωk进行迭代优化：
Figure PCTCN2017104796-appb-000006
Figure PCTCN2017104796-appb-000007
Figure PCTCN2017104796-appb-000008
Figure PCTCN2017104796-appb-000009
其中，t为迭代次数，t大于或等于0；
Figure PCTCN2017104796-appb-000010
为标准高斯函数；xi表示第i帧语音样本数据的特征参数。
4、假设在t＝t1时EM算法稳定了，则可以将
Figure PCTCN2017104796-appb-000011
赋给ωk，将
Figure PCTCN2017104796-appb-000012
赋给μk，将
Figure PCTCN2017104796-appb-000013
赋给Ck，从而得到语音类别高斯混合模型：
Figure PCTCN2017104796-appb-000014
将当前帧数据的特征参数xT代入语音类别高斯混合模型p(x/Y1)可以得到当前帧数据的语音类条件概率p(xT/Y1)。
同理，可以得到噪声类别高斯混合模型p(x/Y2)；将当前帧数据的特征参数xT代入噪声类别高斯混合模型p(x/Y2)可以得到当前帧数据的噪声类条件概率p(xT/Y2)。需要说明的是，噪声类别高斯混合模型与语音类别高斯混合模型在形式上是相同的，都是属于高斯混合模型，但具体各自包含的高斯子模型的个数以及具体的参数都可能不同，这一点本领域技术人员应当能够理解。
作为对本发明实施例的进一步改进，在步骤S3中，所述根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率，包括：
S31，根据所述当前帧数据的语音类条件概率p(xT/Y1)与所述当前帧数据的噪声类条件概率p(xT/Y2)结合贝叶斯公式，计算所述当前帧数据属于语音帧的后验概率p’(Y1/xT)以及属于噪声帧的后验概率p’(Y2/xT)；
具体地，根据贝叶斯公式，所述当前帧数据属于语音帧的后验概率为
Figure PCTCN2017104796-appb-000015
所述当前帧数据属于噪声帧的后验概率为
Figure PCTCN2017104796-appb-000016
p(Y1)为语音类别的先验概率，p(Y2)为噪声类别的先验概率。因为实际应用场景中，噪声和语音的出现概率是无法估计的，故可以设置p(Y1)＝p(Y2)为相等，因而p’(Y1/xT)和p’(Y2/xT)变换为：
Figure PCTCN2017104796-appb-000017
Figure PCTCN2017104796-appb-000018
S32，根据p(Y1/xT)＝α1·p(Y1/xT-W+1)+…αW-1·p(Y1/xT-1)+αW·p′(Y1/xT)计算 p(Y1/xT)；以及，
根据p(Y2/xT)＝α1·p(Y2/xT-W+1)+…αW-1·p(Y2/xT-1)+αW·p′(Y2/xT)计算p(Y2/xT)；
其中，
Figure PCTCN2017104796-appb-000019
T是所述当前帧数据在所述音频数据中的帧序号；xT为所述当前帧数据的特征参数；T-W+1是所述当前帧数据的前W帧的帧序号；W与σ为预设值。
p(Y1/xT)为p’(Y1/xT)经过加权平滑后得到的概率；同理，p(Y2/xT)为p’(Y1/xT)经过加权平滑后得到的概率。W代表加权平滑的窗口宽度。
α1～αw为加权系数。从αj的表达式可知，α1～αw服从高斯分布且α1+...+αw-1+αw＝1。在α1～αw中，αw为最大值。即当前帧数据的后验概率的加权系数最大。
原则上根据p’(Y1/xT)和p’(Y2/xT)的大小可以判定所述当前帧数据属于语音帧还是噪声帧，但语音或噪声通常都是连续的多帧，加权平滑可以使识别结果过渡更平稳，防止一些异常突变结果。
优选地，在步骤S5中，所述当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益，包括：
当所述当前帧数据被判定为语音帧时，获取所述当前帧数据的时域能量并计算预设的期望能量值与所述时域能量的比值，将所述当前帧数据的各数据点乘以所述比值以放大或缩小所述当前帧数据；
当所述当前帧数据被判定为噪声帧时，保持所述当前帧数据不变。
当所述比值大于1时，代表所述时域能量达不到所述期望能量值，需要对当前帧数据进行放大；当所述比值小于1时，代表所述时域能量超过所述期望能量值，需要进行缩小。
通过步骤S5可以根据语音帧的时域能量对语音帧进行放大或者缩小，达到自动增益控制效果，同时噪声帧则保持不变，避免错误地对噪声帧进行放大。
需要说明的是，以上只是语音帧增益控制规则与噪声帧增益控制规则的其中一种实施方式，目的是实现自动对语音帧进行增益放大或缩小，同时避免对噪声帧进行了放大操作，其他实施的方式例如将噪声帧的增益进行压缩也是可选的。
为了执行上述的音频数据的自动增益控制方法，本发明实施例还提供了一种音频数据的自动增益控制装置。如图2所示，其是本发明实施例提供的一种音频数据的自动增益控制装置的结构框图。所述音频数据的自动增益控制装置，包括：
预处理模块1，用于对音频数据进行分帧处理，并提取各帧数据的特征参数；
第一概率获取模块2，用于根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；
第二概率获取模块3，用于根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；
判定模块4，用于当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；
增益控制模块5，用于当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。
优选地，所述音频数据的自动增益控制装置还包括第一模型构建模块以及第二模型构建模块；
所述第一模型构建模块包括：
第一预处理单元，用于通过与所述音频数据相同的处理方法，对语音样本数据进行分帧处理并提取各帧数据的特征参数；
第一分类单元，用于根据K-means算法将所述语音样本数据的特征参数划分为若干个语音类别；
第一初始参数获取单元，用于获取每个语音类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
第一模型优化单元，用于通过EM算法对每个语音类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到语音类别高斯混合模型；
所述第二模型构建模块包括：
第二预处理单元，用于通过与所述音频数据相同的处理方法，对噪声样本数据进行分帧处理并提取各帧数据的特征参数；
第二分类单元，用于根据K-means算法将所述噪声样本数据的特征参数划分为若干个噪声类别；
第二初始参数获取单元，用于获取每个噪声类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
第二模型优化单元，用于通过EM算法对每个噪声类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到噪声类别高斯混合模型。
优选地，所述第二概率获取模块3包括：
后验概率获取单元，用于根据所述当前帧数据的语音类条件概率p(xT/Y1)与所述当前帧数据的噪声类条件概率p(xT/Y2)结合贝叶斯公式，计算所述当前帧数据属于语音帧的后验概率p’(Y1/xT)以及属于噪声帧的后验概率p’(Y2/xT)；
概率加权平滑单元，用于
根据p(Y1/xT)＝α1·p(Y1/xT-W+1)+…αW-1·p(Y1/xT-1)+αW·p′(Y1/xT)计算p(Y1/xT)；以及用于
根据p(Y2/xT)＝α1·p(Y2/xT-W+1)+…αW-1·p(Y2/xT-1)+αW·p′(Y2/xT)计算 p(Y2/xT)；
其中，
Figure PCTCN2017104796-appb-000020
T是所述当前帧数据在所述音频数据中的帧序号；xT为所述当前帧数据的特征参数；T-W+1是所述当前帧数据的前W帧的帧序号；W与σ为预设值。
优选地，对所述音频数据进行分帧处理后得到的任意相邻的两帧数据具有重叠的部分。
优选地，所述增益控制模块5包括：
第一增益控制单元，用于当所述当前帧数据被判定为语音帧时，获取所述当前帧数据的时域能量并计算预设的期望能量值与所述时域能量的比值，将所述当前帧数据的各数据点乘以所述比值以放大或缩小所述当前帧数据；
第二增益控制单元，用于当所述当前帧数据被判定为噪声帧时，保持所述当前帧数据不变。
需要说明的是，本发明实施例提供的一种音频数据的自动增益控制装置用于执行上述的音频数据的自动增益控制方法，两者的有益效果以及工作原理一一对应，因而不再赘述。
相对于现有技术，本发明实施例的有益效果在于：本发明实施例提供了一种音频数据自动增益控制方法与装置，其中方法包括：对音频数据进行分帧处理，并提取各帧数据的特征参数；根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；当所述当前帧数据被判定为语 音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。在语音实时通信中，由于使用环境的多样性，噪声是随着环境的变化而变换的，本发明实施例通过引入高斯混合模型，非常准确地判断出当前帧是语音段还是噪声段，并且分别对语音段和噪声端进行增益控制，实现自动增益控制，避免错误地将噪声进行放大。本发明技术方案极大地提高了语音与噪声的识别水平，并依此进行自动增益控制，有效改善了使用者的体验。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

  1. 一种音频数据的自动增益控制方法，其特征在于，包括：
    对音频数据进行分帧处理，并提取各帧数据的特征参数；
    根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；
    根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；
    当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；
    当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。
  2. 如权利要求1所述的音频数据的自动增益控制方法，其特征在于，所述音频数据的自动增益控制方法还包括构建语音类别高斯混合模型的步骤以及构建噪声类别高斯混合模型的步骤；
    所述构建语音类别高斯混合模型的步骤具体包括：
    通过与所述音频数据相同的处理方法，对语音样本数据进行分帧处理并提取各帧数据的特征参数；
    根据K-means算法将所述语音样本数据的特征参数划分为若干个语音类别；
    获取每个语音类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
    通过EM算法对每个语音类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到语音类别高斯混合模型；
    所述构建噪声类别高斯混合模型的步骤具体包括：
    通过与所述音频数据相同的处理方法，对噪声样本数据进行分帧处理并提取各帧数据的特征参数；
    根据K-means算法将所述噪声样本数据的特征参数划分为若干个噪声类别；
    获取每个噪声类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
    通过EM算法对每个噪声类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到噪声类别高斯混合模型。
  3. 如权利要求1所述的音频数据的自动增益控制方法，其特征在于，所述根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率，包括：
    根据所述当前帧数据的语音类条件概率p(xT/Y1)与所述当前帧数据的噪声类条件概率p(xT/Y2)结合贝叶斯公式，计算所述当前帧数据属于语音帧的后验概率p’(Y1/xT)以及属于噪声帧的后验概率p’(Y2/xT)；
    根据p(Y1/xT)＝α1·p(Y1/xT-W+1)+…αW-1·p(Y1/xT-1)+αW·p′(Y1/xT)计算p(Y1/xT)；
    根据p(Y2/xT)＝α1·p(Y2/xT-W+1)+…αW-1·p(Y2/xT-1)+αW·p′(Y2/xT)计算p(Y2/xT)；
    其中，
    Figure PCTCN2017104796-appb-100001
    T是所述当前帧数据在所述音频数据中的帧序号；XT为所述当前帧数据的特征参数；T-W+1是所述当前帧数据的前W帧的帧序号；W与σ为预设值。
  4. 如权利要求1所述的音频数据的自动增益控制方法，其特征在于，对所述音频数据进行分帧处理后得到的任意相邻的两帧数据具有重叠的部分。
  5. 如权利要求1～4任一项所述的音频数据的自动增益控制方法，其特征在于，所述当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益，包括：
    当所述当前帧数据被判定为语音帧时，获取所述当前帧数据的时域能量并计算预设的期望能量值与所述时域能量的比值，将所述当前帧数据的各数据点乘以所述比值以放大或缩小所述当前帧数据；
    当所述当前帧数据被判定为噪声帧时，保持所述当前帧数据不变。
  6. 一种音频数据的自动增益控制装置，其特征在于，包括：
    预处理模块，用于对音频数据进行分帧处理，并提取各帧数据的特征参数；
    第一概率获取模块，用于根据当前帧数据的特征参数与预先配置的语音类别高斯混合模型得到所述当前帧数据的语音类条件概率；以及根据所述当前帧数据的特征参数与预先配置的噪声类别高斯混合模型，得到所述当前帧数据的噪声类条件概率；
    第二概率获取模块，用于根据所述当前帧数据的语音类条件概率与所述当前帧数据的噪声类条件概率计算所述当前帧数据属于语音帧的概率以及属于噪声帧的概率；
    判定模块，用于当所述当前帧数据属于语音帧的概率大于属于噪声帧的概率时，将当前帧音频数据判定为语音帧；以及当所述当前帧数据属于语音帧的概率小于属于噪声帧的概率时，将当前帧数据判定为噪声帧；
    增益控制模块，用于当所述当前帧数据被判定为语音帧时，按照预先配置的语音帧增益控制规则控制所述当前帧数据的增益，以及所述当前帧数据被判定为噪声帧时按照预先配置的噪声帧增益控制规则控制所述当前帧数据的增益。
  7. 如权利要求6所述的音频数据的自动增益控制装置，其特征在于，所述 音频数据的自动增益控制装置还包括第一模型构建模块以及第二模型构建模块；
    所述第一模型构建模块包括：
    第一预处理单元，用于通过与所述音频数据相同的处理方法，对语音样本数据进行分帧处理并提取各帧数据的特征参数；
    第一分类单元，用于根据K-means算法将所述语音样本数据的特征参数划分为若干个语音类别；
    第一初始参数获取单元，用于获取每个语音类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
    第一模型优化单元，用于通过EM算法对每个语音类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到语音类别高斯混合模型；
    所述第二模型构建模块包括：
    第二预处理单元，用于通过与所述音频数据相同的处理方法，对噪声样本数据进行分帧处理并提取各帧数据的特征参数；
    第二分类单元，用于根据K-means算法将所述噪声样本数据的特征参数划分为若干个噪声类别；
    第二初始参数获取单元，用于获取每个噪声类别所对应的高斯子模型的初始权重、初始均值以及初始协方差；
    第二模型优化单元，用于通过EM算法对每个噪声类别所对应的高斯子模型的权重、均值以及协方差进行迭代优化，得到噪声类别高斯混合模型。
  8. 如权利要求6所述的音频数据的自动增益控制装置，其特征在于，所述第二概率获取模块包括：
    后验概率获取单元，用于根据所述当前帧数据的语音类条件概率p(xT/Y1)与所述当前帧数据的噪声类条件概率p(xT/Y2)结合贝叶斯公式，计算所述当前帧数据属于语音帧的后验概率p’(Y1/xT)以及属于噪声帧的后验概率p’(Y2/xT)；
    概率加权平滑单元，用于
    根据p(Y1/xT)＝α1·p(Y1/xT-W+1)+…αW-1·p(Y1/xT-1)+αW·p′(Y1/xT)计算p(Y1/xT)；以及用于
    根据p(Y2/xT)＝α1·p(Y2/xT-W+1)+…αW-1·p(Y2/xT-1)+αW·p′(Y2/xT)计算p(Y2/xT)；
    其中，
    Figure PCTCN2017104796-appb-100002
    T是所述当前帧数据在所述音频数据中的帧序号；XT为所述当前帧数据的特征参数；T-W+1是所述当前帧数据的前W帧的帧序号；W与σ为预设值。
  9. 如权利要求6所述的音频数据的自动增益控制装置，其特征在于，对所述音频数据进行分帧处理后得到的任意相邻的两帧数据具有重叠的部分。
  10. 如权利要求6～9任一项所述的音频数据的自动增益控制装置，其特征在于，所述增益控制模块包括：
    第一增益控制单元，用于当所述当前帧数据被判定为语音帧时，获取所述当前帧数据的时域能量并计算预设的期望能量值与所述时域能量的比值，将所述当前帧数据的各数据点乘以所述比值以放大或缩小所述当前帧数据；
    第二增益控制单元，用于当所述当前帧数据被判定为噪声帧时，保持所述当前帧数据不变。
PCT/CN2017/104796 2016-12-16 2017-09-30 一种音频数据的自动增益控制方法与装置 Ceased WO2018107874A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611169178.4A CN106653047A (zh) 2016-12-16 2016-12-16 一种音频数据的自动增益控制方法与装置
CN201611169178.4 2016-12-16

Publications (1)

Publication Number Publication Date
WO2018107874A1 true WO2018107874A1 (zh) 2018-06-21

Family

ID=58822148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/104796 Ceased WO2018107874A1 (zh) 2016-12-16 2017-09-30 一种音频数据的自动增益控制方法与装置

Country Status (2)

Country Link
CN (1) CN106653047A (zh)
WO (1) WO2018107874A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105798A (zh) * 2018-10-29 2020-05-05 宁波方太厨具有限公司 基于语音识别的设备控制方法
CN111192573A (zh) * 2018-10-29 2020-05-22 宁波方太厨具有限公司 基于语音识别的设备智能化控制方法
CN113542863A (zh) * 2020-04-14 2021-10-22 深圳Tcl数字技术有限公司 一种声音处理方法、存储介质以及智能电视
CN113593600A (zh) * 2021-01-26 2021-11-02 腾讯科技（深圳）有限公司 混合语音分离方法和装置、存储介质及电子设备
CN113593603A (zh) * 2021-07-27 2021-11-02 浙江大华技术股份有限公司 音频类别的确定方法、装置、存储介质及电子装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106653047A (zh) * 2016-12-16 2017-05-10 广州视源电子科技股份有限公司 一种音频数据的自动增益控制方法与装置
CN107134277A (zh) * 2017-06-15 2017-09-05 深圳市潮流网络技术有限公司 一种基于gmm模型的语音激活检测方法
CN107507621B (zh) * 2017-07-28 2021-06-22 维沃移动通信有限公司 一种噪声抑制方法及移动终端
CN108171271B (zh) * 2018-01-11 2022-04-29 湖南大唐先一科技有限公司 一种设备劣化早期预警方法和系统
CN109688284B (zh) * 2018-12-28 2021-10-08 广东美电贝尔科技集团股份有限公司 一种回音延时检测方法
CN110111805B (zh) * 2019-04-29 2021-10-29 北京声智科技有限公司 远场语音交互中的自动增益控制方法、装置及可读存储介质
CN112133299B (zh) * 2019-06-25 2021-08-27 大众问问(北京)信息科技有限公司 一种声音信号的处理方法、装置及设备
CN111028857B (zh) * 2019-12-27 2024-01-19 宁波蛙声科技有限公司 基于深度学习的多通道音视频会议降噪的方法及系统
CN112511785A (zh) * 2020-11-03 2021-03-16 视联动力信息技术股份有限公司 一种发言方的切换方法、装置、终端设备和存储介质
CN117612550A (zh) * 2023-11-17 2024-02-27 时擎智能科技(上海)有限公司 语音信号自动增益控制方法、装置、介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
CN101593522A (zh) * 2009-07-08 2009-12-02 清华大学 一种全频域数字助听方法和设备
US20100082339A1 (en) * 2008-09-30 2010-04-01 Alon Konchitsky Wind Noise Reduction
CN101976566A (zh) * 2010-07-09 2011-02-16 瑞声声学科技(深圳)有限公司 语音增强方法及应用该方法的装置
CN103236260A (zh) * 2013-03-29 2013-08-07 京东方科技集团股份有限公司 语音识别系统
CN105390142A (zh) * 2015-12-17 2016-03-09 广州大学 一种数字助听器语音噪声消除方法
CN105741849A (zh) * 2016-03-06 2016-07-06 北京工业大学 数字助听器中融合相位估计与人耳听觉特性的语音增强方法
CN105845150A (zh) * 2016-03-21 2016-08-10 福州瑞芯微电子股份有限公司 一种采用倒谱进行修正的语音增强方法及系统
CN106653047A (zh) * 2016-12-16 2017-05-10 广州视源电子科技股份有限公司 一种音频数据的自动增益控制方法与装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1322488C (zh) * 2004-04-14 2007-06-20 华为技术有限公司 一种语音增强的方法
CN100419854C (zh) * 2005-11-23 2008-09-17 北京中星微电子有限公司 一种语音增益因子估计装置和方法
CN101197130B (zh) * 2006-12-07 2011-05-18 华为技术有限公司 声音活动检测方法和声音活动检测器
CN101110217B (zh) * 2007-07-25 2010-10-13 北京中星微电子有限公司 一种音频信号的自动增益控制方法及装置
CN101930735B (zh) * 2009-06-23 2012-11-21 富士通株式会社 语音情感识别设备和进行语音情感识别的方法
WO2011010604A1 (ja) * 2009-07-21 2011-01-27 日本電信電話株式会社 音声信号区間推定装置と音声信号区間推定方法及びそのプログラムと記録媒体
CN102800322B (zh) * 2011-05-27 2014-03-26 中国科学院声学研究所 一种噪声功率谱估计与语音活动性检测方法
CN102324232A (zh) * 2011-09-12 2012-01-18 辽宁工业大学 基于高斯混合模型的声纹识别方法及系统
CN103646649B (zh) * 2013-12-30 2016-04-13 中国科学院自动化研究所 一种高效的语音检测方法
CN105931635B (zh) * 2016-03-31 2019-09-17 北京奇艺世纪科技有限公司 一种音频分割方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US20100082339A1 (en) * 2008-09-30 2010-04-01 Alon Konchitsky Wind Noise Reduction
CN101593522A (zh) * 2009-07-08 2009-12-02 清华大学 一种全频域数字助听方法和设备
CN101976566A (zh) * 2010-07-09 2011-02-16 瑞声声学科技(深圳)有限公司 语音增强方法及应用该方法的装置
CN103236260A (zh) * 2013-03-29 2013-08-07 京东方科技集团股份有限公司 语音识别系统
CN105390142A (zh) * 2015-12-17 2016-03-09 广州大学 一种数字助听器语音噪声消除方法
CN105741849A (zh) * 2016-03-06 2016-07-06 北京工业大学 数字助听器中融合相位估计与人耳听觉特性的语音增强方法
CN105845150A (zh) * 2016-03-21 2016-08-10 福州瑞芯微电子股份有限公司 一种采用倒谱进行修正的语音增强方法及系统
CN106653047A (zh) * 2016-12-16 2017-05-10 广州视源电子科技股份有限公司 一种音频数据的自动增益控制方法与装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105798A (zh) * 2018-10-29 2020-05-05 宁波方太厨具有限公司 基于语音识别的设备控制方法
CN111192573A (zh) * 2018-10-29 2020-05-22 宁波方太厨具有限公司 基于语音识别的设备智能化控制方法
CN111192573B (zh) * 2018-10-29 2023-08-18 宁波方太厨具有限公司 基于语音识别的设备智能化控制方法
CN111105798B (zh) * 2018-10-29 2023-08-18 宁波方太厨具有限公司 基于语音识别的设备控制方法
CN113542863A (zh) * 2020-04-14 2021-10-22 深圳Tcl数字技术有限公司 一种声音处理方法、存储介质以及智能电视
CN113542863B (zh) * 2020-04-14 2023-05-23 深圳Tcl数字技术有限公司 一种声音处理方法、存储介质以及智能电视
CN113593600A (zh) * 2021-01-26 2021-11-02 腾讯科技（深圳）有限公司 混合语音分离方法和装置、存储介质及电子设备
CN113593600B (zh) * 2021-01-26 2024-03-15 腾讯科技（深圳）有限公司 混合语音分离方法和装置、存储介质及电子设备
CN113593603A (zh) * 2021-07-27 2021-11-02 浙江大华技术股份有限公司 音频类别的确定方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN106653047A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
WO2018107874A1 (zh) 一种音频数据的自动增益控制方法与装置
US12112757B2 (en) Voice identity feature extractor and classifier training
US12057135B2 (en) Speech noise reduction method and apparatus, computing device, and computer-readable storage medium
US9349384B2 (en) Method and system for object-dependent adjustment of levels of audio objects
JP6243858B2 (ja) 音声モデル学習方法、雑音抑圧方法、音声モデル学習装置、雑音抑圧装置、音声モデル学習プログラム及び雑音抑圧プログラム
US9666186B2 (en) Voice identification method and apparatus
JP4107613B2 (ja) 残響除去における低コストのフィルタ係数決定法
CN109360572B (zh) 通话分离方法、装置、计算机设备及存储介质
WO2012158156A1 (en) Noise supression method and apparatus using multiple feature modeling for speech/noise likelihood
US20160099007A1 (en) Automatic gain control for speech recognition
US8503694B2 (en) Sound capture system for devices with two microphones
JP7621492B2 (ja) ホットワード特性に基づいた自動音声認識パラメータの適応
CN101727901A (zh) 嵌入式系统的汉英双语语音识别方法
CN114783454A (zh) 一种模型训练、音频降噪方法、装置、设备及存储介质
WO2017128910A1 (zh) 一种语音出现概率的确定方法、装置及电子设备
CN111048118A (zh) 一种语音信号处理方法、装置及终端
CN106571138B (zh) 一种信号端点的检测方法、检测装置及检测设备
WO2021016925A1 (zh) 音频处理方法及装置
US10600432B1 (en) Methods for voice enhancement
JP2025027120A (ja) ダイアログ検出器
CN110310658B (zh) 一种基于语音信号处理的语音分离办法
US20240355348A1 (en) Detecting environmental noise in user-generated content
CN116364107A (zh) 一种语音信号检测方法、装置、设备及存储介质
CN114974279A (zh) 音质控制方法、装置、设备及存储介质
KR101543300B1 (ko) 다중 선형회귀 분석 기반의 음성 존재 불확실성 추정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879685

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 24.10.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17879685

Country of ref document: EP

Kind code of ref document: A1