WO2020177380A1 - 基于短文本的声纹检测方法、装置、设备及存储介质 - Google Patents

基于短文本的声纹检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2020177380A1
WO2020177380A1 PCT/CN2019/117731 CN2019117731W WO2020177380A1 WO 2020177380 A1 WO2020177380 A1 WO 2020177380A1 CN 2019117731 W CN2019117731 W CN 2019117731W WO 2020177380 A1 WO2020177380 A1 WO 2020177380A1
Authority
WO
WIPO (PCT)
Prior art keywords
voiceprint
voice signal
neural network
vector
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117731
Other languages
English (en)
French (fr)
Inventor
王健宗
周新宇
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020177380A1 publication Critical patent/WO2020177380A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Definitions

  • This application relates to the field of information technology, and in particular to a short text-based voiceprint detection method, device, equipment and storage medium.
  • Voiceprint detection is a common and effective identification method, which can be applied to a series of scenarios that need to be combined with identity authentication, such as online payment, voiceprint lock control, survival authentication, and Internet of Things device verification. It is especially inconvenient to use video image verification In the remote verification, there is no device restriction at all.
  • identity authentication such as online payment, voiceprint lock control, survival authentication, and Internet of Things device verification.
  • video image verification In the remote verification, there is no device restriction at all.
  • the embodiments of the present application provide a short text-based voiceprint detection method, device, equipment, and storage medium to solve the problems of long voice signals, large sample information, and high computing resource requirements in the existing voiceprint detection methods.
  • a voiceprint detection method based on short text including:
  • the Mel frequency cepstrum coefficient is passed into a pre-trained deep neural network as input, and the output vector of the deep neural network in the last fully connected layer is obtained as the voiceprint vector of the speech signal.
  • Each element in the voiceprint vector represents the feature of the voice signal;
  • the training samples and speech signals are both short texts.
  • the acquiring training samples and using the training samples to train a preset deep neural network includes:
  • the Mel frequency cepstrum coefficients with user labels are used as input vectors to the preset deep neural network for training;
  • the mel frequency cepstral coefficients with user labels are used as input vectors to pass into the modified deep neural network for the next iterative training, until the deep neural network has an accurate recognition result of each mel frequency cepstral coefficient If the rate reaches the specified threshold, stop iteration.
  • the deep neural network includes an input layer, a four-layer fully connected layer, and an output layer, each fully connected layer is a 12-dimensional input, using a maxout excitation function, and the third fully connected layer and the fourth fully connected layer use Discard strategy for training.
  • the comparing the voiceprint vector of the voice signal with a pre-stored voiceprint vector in a voiceprint model library, and outputting a voiceprint detection result according to the comparison result includes:
  • the preprocessing the voice signal to be recognized, and performing feature extraction on the preprocessed voice signal to obtain the Mel frequency cepstrum coefficient includes:
  • the discrete cosine transform is performed on the logarithmic energy to obtain the Mel frequency cepstrum coefficient of the speech signal.
  • a voiceprint detection device based on short text including:
  • the training module is used to obtain training samples, and use the training samples to train a preset deep neural network
  • the signal acquisition module is used to acquire the voice signal to be recognized
  • the feature extraction module is configured to preprocess the voice signal to be recognized, and perform feature extraction on the preprocessed voice signal to obtain the Mel frequency cepstrum coefficient;
  • the feature acquisition module is used to input the Mel frequency cepstrum coefficients into a pre-trained deep neural network, and acquire the output vector of the deep neural network in the last fully connected layer as the voice signal A voiceprint vector, where each element in the voiceprint vector represents a feature of the voice signal;
  • the detection module is configured to compare the voiceprint vector of the voice signal with the pre-stored voiceprint vector in the voiceprint model library, and output a voiceprint detection result according to the comparison result;
  • the training samples and speech signals are both short texts.
  • the detection module includes:
  • the comparison unit is configured to compare the voiceprint vector of the voice signal with the pre-stored voiceprint vector in the voiceprint model library
  • the first result output unit is configured to obtain user information corresponding to the pre-stored voiceprint vector if there is a pre-stored voiceprint vector that is the same as the voiceprint vector of the voice signal in the voiceprint model library, and output the user information;
  • the second result output unit is configured to output a prompt message that the detection fails if there is no pre-stored voiceprint vector that is the same as the voiceprint vector of the voice signal in the voiceprint model library.
  • the deep neural network includes an input layer, a four-layer fully connected layer, and an output layer, each fully connected layer is a 12-dimensional input, using a maxout excitation function, and the third fully connected layer and the fourth fully connected layer use Discard strategy for training.
  • a computer device comprising a memory, a processor, and computer-readable instructions stored in the memory and capable of running on the processor, wherein the processor executes the computer-readable instructions as follows step:
  • the Mel frequency cepstrum coefficient is passed into a pre-trained deep neural network as input, and the output vector of the deep neural network in the last fully connected layer is obtained as the voiceprint vector of the speech signal.
  • Each element in the voiceprint vector represents the feature of the voice signal;
  • the training samples and speech signals are both short texts.
  • One or more non-volatile readable storage media storing computer readable instructions.
  • the computer readable instructions execute the following steps:
  • the Mel frequency cepstrum coefficient is passed into a pre-trained deep neural network as input, and the output vector of the deep neural network in the last fully connected layer is obtained as the voiceprint vector of the speech signal.
  • Each element in the voiceprint vector represents the feature of the voice signal;
  • the training samples and speech signals are both short texts.
  • FIG. 1 is a flowchart of a voiceprint detection method based on short text in an embodiment of the present application
  • step S101 in the voiceprint detection method based on short text in an embodiment of the present application
  • step S103 is a flowchart of step S103 in the voiceprint detection method based on short text in an embodiment of the present application
  • step S105 is a flowchart of step S105 in the short text-based voiceprint detection method in an embodiment of the present application
  • FIG. 5 is a functional block diagram of a voiceprint detection device based on short text in an embodiment of the present application
  • Fig. 6 is a schematic diagram of a computer device in an embodiment of the present application.
  • the voiceprint detection method based on short text provided by the embodiment of the present application is applied to a server.
  • the server can be implemented by an independent server or a server cluster composed of multiple servers.
  • a method for voiceprint detection based on short text is provided, which includes the following steps:
  • step S101 a training sample is obtained, and the training sample is used to train a preset deep neural network.
  • the embodiment of the application redesigned a deep neural network suitable for short text.
  • the deep neural network includes an input layer, a four-layer fully connected layer, and an output layer.
  • Each fully connected layer is a 12-dimensional input and is excited by maxout. Function, and the third fully connected layer and the fourth fully connected layer are trained using a discard strategy.
  • the deep neural network is not limited by the model structure, and can use short texts as training samples and input vectors, thereby reducing data requirements.
  • short text refers to a voice signal with a shorter length.
  • the short text may be specified by a length, such as a voice signal less than or equal to the specified length.
  • voice samples of multiple users are collected as training samples, and a preset deep neural network is trained based on the training samples.
  • the step S101 includes:
  • step S201 voice samples of multiple users are obtained as training samples.
  • voice samples corresponding to multiple users can be collected in advance in specific application scenarios.
  • voice samples corresponding to each user can be collected through channels such as professional knowledge bases, network databases, etc., as training samples.
  • step S202 the training samples of each user are preprocessed, and feature extraction is performed on the preprocessed training samples to obtain MFCC features.
  • the MFCC feature (Mel-scale Frequency Cepstral Coefficients, MFCC for short) is a recognizable component in the speech signal. It is a cepstral parameter extracted in the frequency domain of the Mel scale. Taking into account the human ear's perception of different frequencies, it is especially suitable for speech recognition and speaker recognition.
  • the embodiment of the present application designs a deep neural network based on the MFCC feature, and uses the MFCC feature as the input of the deep neural network. Before training the deep neural network, first perform preprocessing and feature extraction on the user samples to obtain corresponding MFCC features. The preprocessing and feature extraction of the training samples of the user are the same as step S103. For details, please refer to the description of step S103, which will not be repeated here.
  • a set of 128-dimensional MFCC features corresponding to the training sample is obtained by performing feature extraction on the preprocessed training sample.
  • the 128-dimensional MFCC feature is used as the input vector of the deep neural network.
  • step S203 the MFCC feature of each user is tagged with a user tag.
  • the user tag is used to identify the speaker to which the MFCC feature belongs.
  • Different users have different user tags for their corresponding MFCC features.
  • the 128-dimensional MFCC feature of each user needs to be tagged with a corresponding user label.
  • the following examples illustrate. Assuming that there are three users, user 1, user 2, and user 3, in step S203, user 1’s MFCC feature is labeled "01”, user 2’s MFCC feature is labeled “02”, and user 3’s MFCC feature is labeled “02”. Put the user tag "03".
  • the user tag may also be a tag of other forms.
  • step S204 the MFCC feature with the user tag is used as an input vector into a preset deep neural network for training.
  • the 128-dimensional MFCC feature with the same user label is used as an input vector, and then passed into a preset deep neural network for training, and the recognition result of the user is obtained.
  • the preset deep neural network includes an input layer, a four-layer fully connected layer, and an output layer.
  • Each fully connected layer is a 12-dimensional input, using the maxout excitation function, and the output expression of the hidden layer node is:
  • b represents the bias value
  • W represents the three-dimensional matrix composed of parameters
  • the size is d ⁇ m ⁇ k
  • d represents the number of nodes in the input layer
  • m represents the number of nodes in the hidden layer
  • k represents each The number of hidden hidden layer nodes corresponding to each hidden layer node, and the k hidden hidden layer nodes are all linearly output.
  • Each node of the maxout excitation function takes the maximum value among the output values of the k hidden layer nodes.
  • the number m of nodes in each fully connected layer is 12, and for each of the 12 nodes, take the maximum value of the output values of the k hidden layer nodes generated by the maxout excitation function, and combine the The maximum value corresponding to the 12 nodes is used as the output vector of the fully connected layer.
  • the embodiment of the present application uses the maxout excitation function to make the fully connected layer of the deep neural network non-linear conversion.
  • the deep neural network includes four fully connected layers, which are respectively denoted as the first fully connected layer, the second fully connected layer, the third fully connected layer, and the fourth fully connected layer.
  • the MFCC features with user labels are first passed through the first fully connected layer, and then the output vector of the first fully connected layer is used as the input vector of the second fully connected layer, and the second fully connected layer.
  • the output vector is used as the input vector of the third fully connected layer, the output vector of the third fully connected layer is used as the input vector of the fourth fully connected layer, and the output vector of the fourth fully connected layer is used as the input vector of the output layer.
  • the embodiment of the present application adopts a drop strategy, that is, a dropout strategy.
  • a drop strategy that is, a dropout strategy.
  • the first discarding probability and the second discarding probability are set according to actual requirements, and the embodiment of the present application is preferably 0.5.
  • step S205 a preset loss function is used to calculate the error between the recognition result of each MFCC feature through the deep neural network and the corresponding user tag, and the parameters of the deep neural network are modified according to the error .
  • each fully connected layer uses a maxout excitation function, which includes a three-dimensional parameter matrix W and a bias value b.
  • the error between the recognition result of each MFCC feature and the corresponding user tag is calculated using a preset loss function , And modify the parameter matrix W and the bias value b of the maxout excitation function in the deep neural network based on the error return.
  • the loss function includes but is not limited to a mutual entropy loss function and a square loss function.
  • step S206 the MFCC feature with the user tag is used as an input vector to pass into the modified deep neural network for the next iteration training, until the accuracy of the recognition result of each MFCC feature by the deep neural network reaches the specified Threshold, stop iteration.
  • the deep neural network whose parameters have been modified in step S205 is used for the next training, that is, the MFCC features with user tags are used as the input vector and then passed into the modified deep neural network for training.
  • the training process is the same as that in step S204.
  • Repeat steps S204, S205, and S206 until the accuracy of the recognition results of the MFCC features of all users by the deep neural network reaches the specified threshold, that is, the recognition results of each MFCC feature of the deep neural network and the corresponding user If the probability of the same label reaches the specified threshold, it indicates that each parameter in the deep neural network has been adjusted in place, it is determined that the training of the deep neural network has been completed, and the iteration is stopped.
  • the trained deep neural network can be used to extract the voiceprint vector from the speech signal.
  • step S102 a voice signal to be recognized is acquired.
  • the voice signal to be recognized is a short text, that is, a short-length voice signal, such as a sentence-length voice signal, so as to reduce the requirements for data.
  • the acquired voice signal to be recognized should be of a user to be recognized.
  • the voice signal to be recognized may be one voice signal or multiple voice signals.
  • step S103 preprocess the voice signal to be recognized, and perform feature extraction on the preprocessed voice signal to obtain the MFCC feature.
  • the step S103 Before using the deep neural network, first perform feature extraction on the speech signal to be recognized to obtain the corresponding MFCC feature.
  • the step S103 includes:
  • step S301 framing processing is performed on the waveform of the voice signal to be recognized.
  • the framing processing refers to cutting the waveform diagram of the voice signal of indefinite length into small segments of fixed length, usually 10-30 milliseconds as a frame. Since the speech signal changes rapidly, the Fourier transform is suitable for analyzing stationary signals. By framing the waveform of the speech signal, the intensity of the side lobe after Fourier transform can be reduced, and the quality of the obtained spectrum can be improved.
  • step S302 after framing processing, windowing processing is performed on each frame signal.
  • each frame signal is windowed to smooth the speech signal.
  • a Hamming window can be used for smoothing. Compared with a rectangular window function, the Hamming window enhances the continuity of the left and right ends of the speech signal, and can effectively reduce the intensity of side lobes and spectrum leakage after Fourier transform.
  • step S303 the discrete Fourier transform is performed on each frame signal after the windowing process to obtain the frequency spectrum corresponding to the frame signal.
  • step S304 the power spectrum of the speech signal is calculated according to the spectrum corresponding to all frame signals.
  • the energy distribution obtained is a frequency domain signal.
  • the energy of each frequency band is different, and the energy spectrum of different phonemes is also different. It is necessary to take the modulus square of the frequency spectrum of the speech signal to obtain the power spectrum of the speech signal.
  • step S305 the Mel filter bank is calculated according to the power spectrum.
  • the Mel filter bank is a set of nonlinearly distributed filter banks, which are densely distributed in the low-frequency part and sparsely distributed in the high-frequency part, which can better meet the human hearing characteristics.
  • a set of filter banks including n triangular filters are applied to the voice signal, that is, the power spectrum of the voice signal is multiplied by a set of n triangular filters to increase the power of the voice signal.
  • the spectrum is transformed into an n-dimensional vector.
  • the triangular filter can eliminate the effect of harmonics, highlight the formant of the original voice signal, and thereby reduce the amount of data.
  • step S306 logarithmic operation is performed on the output of each Mel filter to obtain logarithmic energy.
  • Each element in the n-dimensional vector obtained through step S305 is the output of a mel filter in the mel filter bank, and the embodiment of the present application further performs logarithm for each element in the n-dimensional vector obtained By calculation, the logarithmic energy output by the Mel filter bank, that is, log-mel filer bank energies, is obtained. The logarithmic energy is used for subsequent cepstrum analysis.
  • step S307 the discrete cosine transform is performed on the logarithmic energy to obtain the MFCC feature of the speech signal.
  • the embodiment of the present application After obtaining the logarithmic energy of the voice signal by performing step S306 above, the embodiment of the present application performs discrete cosine transform on the logarithmic energy, and takes the low 128-dimensional coefficient in the output result as the MFCC of the voice signal feature.
  • the output result obtained by the discrete cosine transform has a good energy accumulation effect. The larger value is concentrated in the low-energy part near the upper left corner, and the remaining part produces a large number of 0 or close to 0.
  • the embodiment of the present application takes the low 128-dimensional value in the output result as the MFCC feature, so that the amount of data can be further compressed.
  • the MFCC feature does not depend on the nature of the signal and does not impose any restrictions on the input signal. It has high robustness and conforms to the hearing coefficient of the human ear. It still has good recognition performance when the signal-to-noise ratio is reduced.
  • the MFCC feature is used as the sound feature of the voice signal to be recognized, and is transmitted to the deep neural network for recognition, which can improve the accuracy of deep neural network recognition.
  • step S104 the MFCC feature is input to a pre-trained deep neural network, and the output vector of the deep neural network in the last fully connected layer is obtained as the voiceprint vector of the speech signal.
  • Each element in the voiceprint vector represents the characteristics of the voice signal.
  • the MFCC feature of the voice signal is obtained, the MFCC feature is passed as an input to a pre-trained deep neural network, and the voice signal is recognized based on the MFCC feature through the deep neural network.
  • the pre-trained deep neural network includes four fully connected layers, each fully connected layer includes 12 nodes, and a 12-dimensional output vector is obtained through the excitation function maxout function.
  • the output vector of the neural network in the last fully connected layer is obtained as the d-vector vector of the speech signal.
  • the d-vector vector is the voiceprint vector of the voice signal, and each element in it represents the voiceprint feature of the voice signal.
  • step S105 the voiceprint vector of the voice signal is compared with the pre-stored voiceprint vector in the voiceprint model library, and the voiceprint detection result is output according to the comparison result.
  • the voiceprint model library is set according to needs in combination with the application scenarios of identity authentication, such as online payment, voiceprint lock control, and survival authentication.
  • identity authentication such as online payment, voiceprint lock control, and survival authentication.
  • the user who needs to be authenticated is identified in advance through the deep neural network, and the voiceprint vector is extracted and entered into the voiceprint model library.
  • the voiceprint vector of the voice signal to be recognized is compared with the pre-stored voiceprint vector in the voiceprint model library to perform speaker discrimination of the voice signal.
  • the step S105 includes:
  • step S401 the voiceprint vector of the voice signal is compared with the pre-stored voiceprint vector in the voiceprint model library.
  • the embodiment of the present application compares the voiceprint vector of the voice signal with each pre-stored voiceprint vector in the voiceprint model library to determine whether the elements in the two are the same.
  • step S402 if there is a pre-stored voiceprint vector that is the same as the voiceprint vector of the voice signal in the voiceprint model library, user information corresponding to the pre-stored voiceprint vector is obtained, and the user information is output.
  • the authenticated user in the voiceprint model library obtains user information corresponding to the pre-stored voiceprint vector, and outputs the user information, thereby completing the recognition of the voice signal to be recognized.
  • step S403 if there is no pre-stored voiceprint vector that is the same as the voiceprint vector of the voice signal in the voiceprint model library, a prompt message indicating that the detection fails is output.
  • the short text-based voiceprint detection method described in the embodiments of the present application can be applied to a series of application scenarios that need to be combined with identity authentication, such as online payment, voiceprint lock control, and survival authentication, and can also be used in IoT device verification.
  • identity authentication such as online payment, voiceprint lock control, and survival authentication
  • IoT device verification Especially in remote verification where video image verification is inconvenient, it is not restricted by equipment at all, and the identity can be confirmed by telephone, which can greatly reduce the cost of remote verification.
  • the embodiment of the present application redesigns the deep neural network suitable for short text in advance, and then uses the training samples of the short text to train the preset deep neural network; when performing voiceprint detection, obtain the A voice signal, the voice signal is a short text; the voice signal to be recognized is preprocessed, and the preprocessed voice signal is feature extracted to obtain the MFCC feature; the MFCC feature is passed as input
  • a pre-trained deep neural network obtains the output vector of the deep neural network in the last fully connected layer as the voiceprint vector of the voice signal, and each element in the voiceprint vector represents the value of the voice signal Features; compare the voiceprint vector of the voice signal with the pre-stored voiceprint vector in the voiceprint model library, and output the voiceprint detection result according to the comparison result; thus, the voiceprint detection based on short text is realized, greatly
  • the input vector of the model is reduced, and the problems of long speech signal, large amount of sample information, and high computing resource requirements in the existing voiceprint detection methods are solved.
  • a short text-based voiceprint detection device is provided, and the short text-based voiceprint detection device corresponds to the short text-based voiceprint detection method in the foregoing embodiment.
  • the short text-based voiceprint detection device includes a training module, an information acquisition module, a feature extraction module, a feature acquisition module, and a detection module.
  • the detailed description of each functional module is as follows:
  • the training module 51 is used for the training module, used to obtain training samples, and use the training samples to train a preset deep neural network;
  • the signal acquisition module 52 is used to acquire the voice signal to be recognized
  • the feature extraction module 53 is configured to preprocess the voice signal to be recognized, and perform feature extraction on the preprocessed voice signal to obtain the Mel frequency cepstrum coefficient;
  • the feature acquisition module 54 is used to input the Mel frequency cepstrum coefficients into a pre-trained deep neural network, and acquire the output vector of the deep neural network in the last fully connected layer as the speech signal
  • the detection module 55 is configured to compare the voiceprint vector of the voice signal with the pre-stored voiceprint vector in the voiceprint model library, and output a voiceprint detection result according to the comparison result;
  • the training samples and speech signals are both short texts.
  • the training module 51 includes:
  • the sample acquisition unit is used to acquire voice samples of multiple users as training samples
  • the feature extraction unit is configured to preprocess the training samples of each user, and perform feature extraction on the preprocessed training samples to obtain the Mel frequency cepstrum coefficient;
  • the tag unit is used to tag the Mel frequency cepstrum coefficient of each user with a user tag
  • the training unit is used to input the Mel frequency cepstrum coefficients with user tags as input vectors into the preset deep neural network for training;
  • the parameter modification unit is used to calculate the error between the recognition result of each Mel frequency cepstrum coefficient through the deep neural network and the corresponding user tag using a preset loss function, and modify the Parameters of deep neural network;
  • the training unit is also used to pass the Mel frequency cepstrum coefficients with user labels as an input vector to the modified deep neural network for the next iterative training, until the deep neural network performs the next iteration of training for each Mel frequency The accuracy of the recognition result of the cepstral coefficient reaches the specified threshold, and the iteration is stopped.
  • the deep neural network includes an input layer, a four-layer fully connected layer, and an output layer, each fully connected layer is a 12-dimensional input, using a maxout excitation function, and the third fully connected layer and the fourth fully connected layer use Dropout strategy for training.
  • the feature extraction module 53 includes:
  • the framing unit is configured to perform framing processing on the waveform diagram of the voice signal to be recognized
  • the windowing unit is used to perform windowing processing on each frame of signal after framing processing
  • a transforming unit for performing discrete Fourier transform on each frame signal after windowing processing to obtain the frequency spectrum corresponding to the frame signal
  • a power spectrum calculation unit configured to calculate the power spectrum of the voice signal according to the spectrum corresponding to all frame signals
  • a filter bank calculation unit for calculating a mel filter bank according to the power spectrum
  • Logarithmic unit used to perform logarithmic operation on the output of each mel filter to obtain logarithmic energy
  • the cosine transform unit is configured to perform discrete cosine transform on the logarithmic energy to obtain the Mel frequency cepstrum coefficient of the voice signal.
  • the detection module 55 includes:
  • the comparison unit is configured to compare the voiceprint vector of the voice signal with the pre-stored voiceprint vector in the voiceprint model library
  • the first result output unit is configured to obtain user information corresponding to the pre-stored voiceprint vector if there is a pre-stored voiceprint vector that is the same as the voiceprint vector of the voice signal in the voiceprint model library, and output the user information;
  • the second result output unit is configured to output a prompt message that the detection fails if there is no pre-stored voiceprint vector that is the same as the voiceprint vector of the voice signal in the voiceprint model library.
  • each module in the aforementioned short text-based voiceprint detection device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the foregoing modules may be embedded in the form of hardware or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the foregoing modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 6.
  • the computer equipment includes a processor, a memory, a network interface and a database connected through a system bus.
  • the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by the processor to realize a short text-based voiceprint detection method.
  • a computer device including a memory, a processor, and computer-readable instructions stored in the memory and capable of running on the processor, and the processor implements the following steps when the processor executes the computer-readable instructions:
  • the training samples and speech signals are both short texts.
  • one or more non-volatile readable storage media storing computer readable instructions are provided.
  • the computer readable instructions are executed by one or more processors, the one or more Each processor performs the following steps:
  • the training samples and speech signals are both short texts.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • ROM read only memory
  • PROM programmable ROM
  • EPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种基于短文本的声纹检测方法、装置、设备及存储介质，所述方法包括：采用训练样本对预设的深度神经网络进行训练；获取待识别的语音信号；对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量；将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；其中，所述训练样本和语音信号均为短文本。本申请解决了现有声纹检测方法中语音信号冗长、样本信息量大、运算资源要求高的问题。

Description

基于短文本的声纹检测方法、装置、设备及存储介质
本申请以2019年3月6日提交的申请号为201910167882.3，名称为“基于短文本的声纹检测方法、装置、设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及信息技术领域，尤其涉及一种基于短文本的声纹检测方法、装置、设备及存储介质。
背景技术
声纹检测是一种常见的有效的身份识别方法，可以应用于网络支付、声纹锁控、生存认证、物联网设备验证等一系列需要结合身份认证的场景，尤其在采用视频图像验证不方便的远程验证中，完全不受设备限制。在进行验证时，采用内容和声纹检测进行双重验证，可以大大地提高被攻击的门槛，提升安全性。在进行声纹检测时，目前常用的方法包括但不限于模板匹配法、概率模型法、人工神经网络法、I-vector模型法。然而这些方法中，由于受限于模型本身的结构，使用短文本难以完成文本训练，因此，只能通常采用特征较多的长文本作为模型输入向量。然而，语音信号越冗长，携带的特征越多，在训练时需要的样本信息量大，占用的计算机资源多。
发明内容
本申请实施例提供了一种基于短文本的声纹检测方法、装置、设备及存储介质，以解决现有声纹检测方法中语音信号冗长、样本信息量大、运算资源要求高的问题。
一种基于短文本的声纹检测方法，包括：
获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
获取待识别的语音信号；
对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
其中，所述训练样本和语音信号均为短文本。
可选地，所述获取训练样本，采用所述训练样本对预设的深度神经网络进行训练包括：
获取多个用户的语音样本作为训练样本；
对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到梅尔频率倒谱系数；
对每一个所述用户的梅尔频率倒谱系数打上用户标签；
将带有用户标签的梅尔频率倒谱系数作为输入向量传入预设的深度神经网络进行训练；
采用预设的损失函数计算每一所述梅尔频率倒谱系数经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数；
将带有用户标签的梅尔频率倒谱系数作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一梅尔频率倒谱系数的识别结果的准确率达到指定阈值，停止迭代。
可选地，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用丢弃策略进行训练。
可选地，所述将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果包括：
将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息；
若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
可选地，所述对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数包括：
对所述待识别的语音信号的波形图执行分帧处理；
在分帧处理之后，对每一帧信号执行加窗处理；
对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱；
根据所有帧信号对应的频谱计算所述语音信号的功率谱；
根据所述功率谱计算梅尔滤波器组；
对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量；
对所述对数能量执行离散余弦变换，得到所述语音信号的梅尔频率倒谱系数。
一种基于短文本的声纹检测装置，包括：
训练模块，用于获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
信号获取模块，用于获取待识别的语音信号；
特征提取模块，用于对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
特征获取模块，用于将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
检测模块，用于将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
其中，所述训练样本和语音信号均为短文本。
可选地，所述检测模块包括：
比对单元，用于将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
第一结果输出单元，用于若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息；
第二结果输出单元，用于若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
可选地，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用丢弃策略进行训练。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
获取待识别的语音信号；
对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
其中，所述训练样本和语音信号均为短文本。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
获取待识别的语音信号；
对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
其中，所述训练样本和语音信号均为短文本。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中基于短文本的声纹检测方法的一流程图；
图2是本申请一实施例中基于短文本的声纹检测方法中步骤S101的一流程图；
图3是本申请一实施例中基于短文本的声纹检测方法中步骤S103的一流程图；
图4是本申请一实施例中基于短文本的声纹检测方法中步骤S105的一流程图；
图5是本申请一实施例中基于短文本的声纹检测装置的一原理框图；
图6是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的基于短文本的声纹检测方法应用于服务器。所述服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图1所示，提供一种基于短文本的声纹检测方法，包括如下步骤：
在步骤S101中，获取训练样本，采用所述训练样本对预设的深度神经网络进行训练。
在这里，本申请实施例重新设计了适用于短文本的深度神经网络，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用丢弃策略进行训练。这样，所述深度神经网络就可以不受模型结构限制，能够以短文本为训练样本、输入向量，从而降低对数据的要求。其中，短文本即长度较短的语音信号。比如，一个句子长度的语音信号。可选地，可以通过指定长度来所述短文本，比如小于或等于所述指定长度的语音信号。本申请实施例收集多个用户的语音样本作为训练样本，并基于所述训练样本对预设的深度神经网络进行训练。可选地，如图2所示，所述步骤S101包括：
在步骤S201中，获取多个用户的语音样本作为训练样本。
在本实施例中，针对实际应用场景，可以预先在具体应用场景下收集多个用户对应的语音样本，比如可以通过专业知识库、网络数据库等渠道收集各个用户对应的语音样本，作为训练样本。
在步骤S202中，对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到MFCC特征。
在这里，MFCC特征(梅尔倒频谱系数，Mel-scale Frequency Cepstral Coefficients，简称MFCC)是一种语音信号中具有辨识性的成分，是在Mel标度频率域提取出来的倒谱参数，其参数考虑到了人耳对不同频率的感受程度，特别适用于语音辨别和语者辨识。本申请实施例基于所述MFCC特征设计深度神经网络，以所述MFCC特征作为深度神经网络的输入。在训练所述深度神经网络之前，首先对所述用户样本进行预处理和特征提取，得到对应的MFCC特征。对所述用户的训练样本进行预处理和特征提取与步骤S103相同，具体请参见步骤S103的叙述，此处不再赘述。
本申请实施例通过对所述预处理后的训练样本进行特征提取，得到所述训练样本对应的一组128维MFCC特征。所述128维MFCC特征作为所述深度神经网络的输入向量。
在步骤S203中，对每一个所述用户的MFCC特征打上用户标签。
在本申请实施例中，所述用户标签用于标识所述MFCC特征所属的说话人。不同用户，其对应的MFCC特征所打的用户标签不同。在对深度神经网络训练之前，需要对每一所述用户的128维MFCC特征打上对应的用户标签。为了便于理解，以下举例说明。假设存在三个用户，用户1、用户2、用户3，通过步骤S203对用户1的MFCC特征打上用户标签“01”，对用户2的MFCC特征打上用户标签“02”，对用户3的MFCC特征打上用户标签“03”。应当理解，以上仅为本申请的一个示例，并不用于限制本申请，在其他实施例中，所述用户标签还可以为其他形式的标签。
在步骤S204中，将带有用户标签的MFCC特征作为输入向量传入预设的深度神经网络进行训练。
在训练时，针对每一个用户，将带有同一用户标签的128维MFCC特征作为一个输入向量，传入预设的深度神经网络进行训练，得到所述用户的识别结果。
在这里，所述预设的深度神经网络包括输入层、四层全连接层以及输出层。每一全连接层为12维输入，使用的是maxout激发函数，其隐含层节点的输出表达式为：
Figure PCTCN2019117731-appb-000001
Figure PCTCN2019117731-appb-000002
在上式中，b表示偏置值，W表示由参数组成的三维矩阵，尺寸为d×m×k，d表示输入层的节点个数，m表示隐含层的节点个数，k表示每个隐含层节点对应的隐隐含层的节点个数，所述k个隐隐含层的节点都是线性输出的。maxout激发函数的每个节点均为取所述k个隐隐含层节点输出值中的最大值。
在本申请实施例中，每一全连接层的节点个数m为12，12个节点中的每一个节点，取maxout激发函数生成的k个隐隐含层节点输出值中的最大值，组合该12个节点对应的最大值，作为该全连接层的输出向量。本申请实施例通过使用maxout激发函数，使得深度神经网络的全连接层为非线性转换。
进一步地，在本申请实施例中，所述深度神经网络包括四层全连接层，分别记为第一全连接层、第二全连接层、第三全连接层、第四全连接层。在进行训练时，首先将所述带有用户标签的MFCC特征经过第一全连接层，然后将第一全连接层的输出向量作为第二全连接层的输入向量，将第二全连接层的输出向量作为第三全连接层的输入向量，将第三全连接层的输出向量作为第四全连接层的输入向量，将第四全连接层的输出向量作为输出层的输入向量。在第三全连接层和第四全连接层进行训练时，本申请实施例采用丢弃策略，即dropout策略。第二全连接层的输出向量传入第三全连接层时，按照预设第一丢弃概率随机丢弃第三全连接层的输出向量中的元素。应当理解，丢弃是指把这些元素从网络中“抹去”，相当于在本次训练中，这些被“抹去”的元素不参与本次训练。然后使用第三全连接层的maxout激发函数对剩余的元素进行训练，生成第三全连接层的输出向量。再按照预设第二丢弃概率随机丢弃第三全连接层得到的输出向量中的元素，将剩余的元素输入第四全连接层进行训练。在这 里，所述第一丢弃概率和第二丢弃概率根据实际需求设定，本申请实施例优选为0.5。通过使用dropout策略，有效地削弱了隐含层节点间的联合适应性，增强了泛化能力，从而防止了深度神经网络在训练过程中过拟合，有利于提升深度神经网络的训练效果。
在步骤S205中，采用预设的损失函数计算每一所述MFCC特征经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数。
所述深度神经网络经过四层全连接层后，第四全连接层的输出向量作为输出层的输入。输出层为softmax层，softmax层能够根据第四全连接层的输出向量进行分类，得到MFCC特征的识别结果。所述识别结果为所述深度神经网络预测所述MFCC特征所属的用户。如前所述，每一全连接层采用maxout激发函数，maxout激发函数包括一个三维的参数矩阵W和偏置值b。在通过步骤S204完成对每一所述MFCC特征的训练得到所述MFCC特征对应的识别结果后，采用预设的损失函数计算每一所述MFCC特征的识别结果与对应的用户标签之间的误差，并基于所述误差返回去修改所述深度神经网络中maxout激发函数的参数矩阵W和偏置值b。可选地，所述损失函数包括但不限于互熵损失函数、平方损失函数。
在步骤S206中，将带有用户标签的MFCC特征作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一MFCC特征的识别结果的准确率达到指定阈值，停止迭代。
通过步骤S205修改参数后的深度神经网络，用于进行下一次训练，即将带有用户标签的MFCC特征作为输入向量再次传入参数修改后的深度神经网络进行训练，训练过程和步骤S204的相同，具体参见上面的叙述，此处不再赘述。重复迭代步骤S204、S205、S206，直至所述深度神经网络对所有用户的MFCC特征的识别结果的准确率达到指定阈值，即所述深度神经网络每一所述MFCC特征的识别结果与对应的用户标签相同的概率达到所述指定阈值，则说明所述深度神经网络中的各个参数已经调整到位，确定所述深度神经网络已训练完成，停止迭代。
训练好的深度神经网络可用于对语音信号提取声纹向量。
在步骤S102中，获取待识别的语音信号。
所述待识别的语音信号为短文本，即长度较短的语音信号，比如一个句子长度的语音信号，以降低对数据的要求。在每一次识别过程中，所获取的待识别的语音信号应当为一个待识别用户的。所述待识别的语音信号可以是一条语音信号或者多条语音信号。
在步骤S103中，对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到MFCC特征。
在使用深度神经网络之前，首先对待识别的语音信号进行特征提取，得到对应的MFCC特征。可选地，如图3所示，所述步骤S103包括：
在步骤S301中，对所述待识别的语音信号的波形图执行分帧处理。
在这里，分帧处理是指将不定长度的语音信号的波形图切分成长度固定的小段，通常取10-30毫秒为一帧。由于语音信号是快速变化的，而傅里叶变换适用于分析平稳的信号。通过对语音信号的波形图进行分帧，可以降低傅里叶变换后旁瓣的强度，提高获取的频谱质量。
在步骤S302中，在分帧处理之后，对每一帧信号执行加窗处理。
本申请实施例通过对每一帧信号进行加窗处理，以平滑该语音信号。可选地，可以使用汉明窗加以平滑，相比于矩形窗函数，汉明窗加强了语音信号左端和右端的连续性，可以有效地减弱傅里叶变换后旁瓣的强度以及频谱泄露。
在步骤S303中，对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱。
由于语音信号在时域上的变化很难看出语音信号的特性，因此需要将语音信号转换成频域上的能量分布来观察。不同的能量分布表示不同语音的特性。在对每一帧语音信号进行加窗处理后，再进行离散傅里叶变换，得到该帧信号在频谱上的能量分布。对分帧加窗后的各帧信号进行离散傅里叶变换得到各帧的频谱，进而得到语音信号的频谱。
在步骤S304中，根据所有帧信号对应的频谱计算所述语音信号的功率谱。
在完成离散傅里叶变换后，得到的能量分布是频域信号。每一个频带范围的能量大小不一，不同音 素的能量谱也不一样，需要对所述语音信号的频谱取模平方得到所述语音信号的功率谱。
在步骤S305中，根据所述功率谱计算梅尔滤波器组。
在这里，梅尔滤波器组是一组非线性分布的滤波器组，其在低频部分分布密集，在高频部分分布稀疏，可以更好地满足人耳听觉特性。本申请实施例将一组包括n个三角滤波器的滤波器组作用到所述语音信号，即将所述语音信号的功率谱乘以一组n个三角滤波器，以将所述语音信号的功率谱转化为n维向量。在这里，所述三角滤波器能够消除谐波的作用，突显原有语音信号的共振峰，进而降低数据量。
在步骤S306中，对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量。
通过步骤S305得到的n维向量中的每一个元素为梅尔滤波器组中的一个梅尔滤波器的输出，本申请实施例进一步对所得到的n维向量中的每一个元素进行取对数运算，得到所述梅尔滤波器组输出的对数能量，即log-mel filer bank energies。所述对数能量应用于后续进行倒谱分析。
在步骤S307中，对所述对数能量执行离散余弦变换，得到所述语音信号的MFCC特征。
在通过对上述步骤S306得到所述语音信号的对数能量，本申请实施例对所述对数能量进行离散余弦变换，并取输出结果中的低128维的系数，作为所述语音信号的MFCC特征。在这里，通过离散余弦变换得到的输出结果具有很好的能量聚集效应，较大的值集中在靠近左上角的低能量部分，其余部分产生大量的0或者接近0的数。本申请实施例取输出结果中低128维的值，作为MFCC特征，从而可以进一步压缩数据量。
其中，MFCC特征不依赖于信号的性质，对输入信号不做任何的限制，具有较高的鲁棒性，符合人耳的听觉系数，当信噪比降低时仍然具有较好的识别性能，以所述MFCC特征作为所述待识别的语音信号的声音特征，传入深度神经网络中进行识别，可以提高深度神经网络识别的准确度。
在步骤S104中，将所述MFCC特征作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征。
在得到所述语音信号的MFCC特征之后，将所述MFCC特征作为输入传入至预先训练好的深度神经网络，通过所述深度神经网络基于所述MFCC特征对所述语音信号进行识别。在这里，所述预先训练好的深度神经网络中的包括四层全连接层，每一层全连接层包括12个节点，通过激发函数maxout函数得到一个12维的输出向量。当所述深度神经网络完成对所述语音信号的识别后，获取所述神经网络在最后一层全连接层的输出向量，作为所述语音信号的d-vector向量。所述d-vector向量为所述语音信号的声纹向量，其中的每个元素表示所述语音信号的声纹特征。
在步骤S105中，将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果。
在这里，所述声纹模型库根据需要结合身份认证的应用场景进行设置，比如网络支付、声纹锁控、生存认证等。所述声纹模型库中有多个预存声纹向量及其对应的用户信息。在具体的应用场景中，预先通过所述深度神经网络对需要进行认证的用户进行识别，提取声纹向量，并录入至所述声纹模型库中。
在进行声纹检测时，将所述待识别的语音信号的声纹向量与所述声纹模型库中的预存声纹向量进行比对，以执行对所述语音信号的语者辨别。可选地，如图4所示，所述步骤S105包括：
在步骤S401中，将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对。
在这里，本申请实施例将所述语音信号的声纹向量与声纹模型库中的每一预存声纹向量进行比对，判断两者中的元素是否相同。
在步骤S402中，若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息。
若声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，表明所述待识别的语音信号的说话人已录入到声纹模型库中，所述语音信号属于所述声纹模型库中已认证的用户，获取所述预存声纹向量对应的用户信息，输出所述用户信息，从而完成对所述待识别的语音信号的识别。
在步骤S403中，若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，表明所述待识别的 语音信号的说话者未录入到声纹模型库中，所述语音信号不属于所述声纹模型库中已认证的用户，则输出校验失败的提示信息。
本申请实施例所述的基于短文本的声纹检测方法可应用于网络支付、声纹锁控、生存认证等一系列需要结合身份认证的应用场景，也可用于在物联网设备验证中。尤其在采用视频图像验证不方便的远程验证中，完全不受设备的限制，通过电话即可确认身份，可以极大地减小远程验证的成本。
综上所述，本申请实施例通过预先重新设计适用于短文本的深度神经网络，然后采用短文本的训练样本对预设的深度神经网络进行训练；在进行声纹检测时，获取待识别的语音信号，所述语音信号为短文本；对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到MFCC特征；将所述MFCC特征作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；从而实现了基于短文本的声纹检测，大大地缩小了模型的输入向量，解决了现有声纹检测方法中语音信号冗长、样本信息量大、运算资源要求高的问题。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种基于短文本的声纹检测装置，该基于短文本的声纹检测装置与上述实施例中基于短文本的声纹检测方法一一对应。如图5所示，该基于短文本的声纹检测装置包括训练模块、信息获取模块、特征提取模块、特征获取模块、检测模块。各功能模块详细说明如下：
训练模块51，用于训练模块，用于获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
信号获取模块52，用于获取待识别的语音信号；
特征提取模块53，用于对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
特征获取模块54，用于将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
检测模块55，用于将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
其中，所述训练样本和语音信号均为短文本。
可选地，所述训练模块51包括：
样本获取单元，用于获取多个用户的语音样本作为训练样本；
特征提取单元，用于对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到梅尔频率倒谱系数；
标签单元，用于对每一个所述用户的梅尔频率倒谱系数打上用户标签；
训练单元，用于将带有用户标签的梅尔频率倒谱系数作为输入向量传入预设的深度神经网络进行训练；
参数修改单元，用于采用预设的损失函数计算每一所述梅尔频率倒谱系数经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数；
所述训练单元还用于，将带有用户标签的梅尔频率倒谱系数作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一梅尔频率倒谱系数的识别结果的准确率达到指定阈值，停止迭代。
可选地，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用dropout策略进行训练。
可选地，所述特征提取模块53包括：
分帧单元，用于对所述待识别的语音信号的波形图执行分帧处理；
加窗单元，用于在分帧处理之后，对每一帧信号执行加窗处理；
变换单元，用于对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱；
功率谱计算单元，用于根据所有帧信号对应的频谱计算所述语音信号的功率谱；
滤波器组计算单元，用于根据所述功率谱计算梅尔滤波器组；
对数单元，用于对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量；
余弦变换单元，用于对所述对数能量执行离散余弦变换，得到所述语音信号的梅尔频率倒谱系数。
可选地，所述检测模块55包括：
比对单元，用于将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
第一结果输出单元，用于若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息；
第二结果输出单元，用于若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
关于基于短文本的声纹检测装置的具体限定可以参见上文中对于基于短文本的声纹检测方法的限定，在此不再赘述。上述基于短文本的声纹检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于短文本的声纹检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
获取待识别的语音信号；
对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到MFCC特征；
将所述MFCC特征作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
其中，所述训练样本和语音信号均为短文本。
在一个实施例中，提供了一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
获取待识别的语音信号；
对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到MFCC特征；
将所述MFCC特征作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检 测结果；
其中，所述训练样本和语音信号均为短文本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种基于短文本的声纹检测方法，其特征在于，包括：
    获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
    获取待识别的语音信号；
    对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
    将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
    将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
    其中，所述训练样本和语音信号均为短文本。
  2. 如权利要求1所述的基于短文本的声纹检测方法，其特征在于，所述获取训练样本，采用所述训练样本对预设的深度神经网络进行训练包括：
    获取多个用户的语音样本作为训练样本；
    对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到梅尔频率倒谱系数；
    对每一个所述用户的梅尔频率倒谱系数打上用户标签；
    将带有用户标签的梅尔频率倒谱系数作为输入向量传入预设的深度神经网络进行训练；
    采用预设的损失函数计算每一所述梅尔频率倒谱系数经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数；
    将带有用户标签的梅尔频率倒谱系数作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一梅尔频率倒谱系数的识别结果的准确率达到指定阈值，停止迭代。
  3. 如权利要求2所述的基于短文本的声纹检测方法，其特征在于，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用丢弃策略进行训练。
  4. 如权利要求1至3任一项所述的基于短文本的声纹检测方法，其特征在于，所述将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果包括：
    将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
    若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向 量对应的用户信息，输出所述用户信息；
    若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
  5. 如权利要求1至3任一项所述的基于短文本的声纹检测方法，其特征在于，所述对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数包括：
    对所述待识别的语音信号的波形图执行分帧处理；
    在分帧处理之后，对每一帧信号执行加窗处理；
    对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱；
    根据所有帧信号对应的频谱计算所述语音信号的功率谱；
    根据所述功率谱计算梅尔滤波器组；
    对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量；
    对所述对数能量执行离散余弦变换，得到所述语音信号的梅尔频率倒谱系数。
  6. 一种基于短文本的声纹检测装置，其特征在于，包括：
    训练模块，用于获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
    信号获取模块，用于获取待识别的语音信号；
    特征提取模块，用于对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
    特征获取模块，用于将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
    检测模块，用于将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
    其中，所述训练样本和语音信号均为短文本。
  7. 如权利要求6所述的基于短文本的声纹检测装置，其特征在于，所述训练模块包括：
    样本获取单元，用于获取多个用户的语音样本作为训练样本；
    特征提取单元，用于对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到梅尔频率倒谱系数；
    标签单元，用于对每一个所述用户的梅尔频率倒谱系数打上用户标签；
    训练单元，用于将带有用户标签的梅尔频率倒谱系数作为输入向量传入预设的深度神经网络进行训练；
    参数修改单元，用于采用预设的损失函数计算每一所述梅尔频率倒谱系数经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数；
    所述训练单元还用于，将带有用户标签的梅尔频率倒谱系数作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一梅尔频率倒谱系数的识别结果的准确率达到指定阈值，停止迭代。
  8. 如权利要求7所述的基于短文本的声纹检测装置，其特征在于，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用丢弃策略进行训练。
  9. 如权利要求6至8任一项所述的基于短文本的声纹检测装置，其特征在于，所述检测模块包括：
    比对单元，用于将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
    第一结果输出单元，用于若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息；
    第二结果输出单元，用于若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
  10. 如权利要求6至8任一项所述的基于短文本的声纹检测装置，其特征在于，所述特征提取模块包括：
    分帧单元，用于对所述待识别的语音信号的波形图执行分帧处理；
    加窗单元，用于在分帧处理之后，对每一帧信号执行加窗处理；
    变换单元，用于对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱；
    功率谱计算单元，用于根据所有帧信号对应的频谱计算所述语音信号的功率谱；
    滤波器组计算单元，用于根据所述功率谱计算梅尔滤波器组；
    对数单元，用于对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量；
    余弦变换单元，用于对所述对数能量执行离散余弦变换，得到所述语音信号的梅尔频率倒谱系数。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
    获取待识别的语音信号；
    对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
    将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后 一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
    将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
    其中，所述训练样本和语音信号均为短文本。
  12. 如权利要求11所述的计算机设备，其特征在于，所述获取训练样本，采用所述训练样本对预设的深度神经网络进行训练包括：
    获取多个用户的语音样本作为训练样本；
    对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到梅尔频率倒谱系数；
    对每一个所述用户的梅尔频率倒谱系数打上用户标签；
    将带有用户标签的梅尔频率倒谱系数作为输入向量传入预设的深度神经网络进行训练；
    采用预设的损失函数计算每一所述梅尔频率倒谱系数经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数；
    将带有用户标签的梅尔频率倒谱系数作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一梅尔频率倒谱系数的识别结果的准确率达到指定阈值，停止迭代。
  13. 如权利要求12所述的计算机设备，其特征在于，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四全连接层采用丢弃策略进行训练。
  14. 如权利要求11至13任一项所述的计算机设备，其特征在于，所述将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果包括：
    将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
    若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息；
    若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
  15. 如权利要求11至13任一项所述的计算机设备，其特征在于，所述对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数包括：
    对所述待识别的语音信号的波形图执行分帧处理；
    在分帧处理之后，对每一帧信号执行加窗处理；
    对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱；
    根据所有帧信号对应的频谱计算所述语音信号的功率谱；
    根据所述功率谱计算梅尔滤波器组；
    对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量；
    对所述对数能量执行离散余弦变换，得到所述语音信号的梅尔频率倒谱系数。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    获取训练样本，采用所述训练样本对预设的深度神经网络进行训练；
    获取待识别的语音信号；
    对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数；
    将所述梅尔频率倒谱系数作为输入传入预先训练好的深度神经网络，获取所述深度神经网络在最后一层全连接层的输出向量，作为所述语音信号的声纹向量，所述声纹向量中的各个元素表示所述语音信号的特征；
    将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果；
    其中，所述训练样本和语音信号均为短文本。
  17. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述获取训练样本，采用所述训练样本对预设的深度神经网络进行训练包括：
    获取多个用户的语音样本作为训练样本；
    对每一个所述用户的训练样本进行预处理，对预处理后的训练样本进行特征提取，得到梅尔频率倒谱系数；
    对每一个所述用户的梅尔频率倒谱系数打上用户标签；
    将带有用户标签的梅尔频率倒谱系数作为输入向量传入预设的深度神经网络进行训练；
    采用预设的损失函数计算每一所述梅尔频率倒谱系数经过所述深度神经网络的识别结果与对应的用户标签之间的误差，并根据所述误差修改所述深度神经网络的参数；
    将带有用户标签的梅尔频率倒谱系数作为输入向量传入参数修改后的深度神经网络进行下一次迭代训练，直至所述深度神经网络对每一梅尔频率倒谱系数的识别结果的准确率达到指定阈值，停止迭代。
  18. 如权利要求17所述的非易失性可读存储介质，其特征在于，所述深度神经网络包括输入层、四层全连接层以及输出层，每一全连接层为12维输入，采用maxout激发函数，且第三全连接层和第四 全连接层采用丢弃策略进行训练。
  19. 如权利要求16至18任一项所述的非易失性可读存储介质，其特征在于，所述将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对，并根据比对结果输出声纹检测结果包括：
    将所述语音信号的声纹向量与声纹模型库中的预存声纹向量进行比对；
    若所述声纹模型库中存在与所述语音信号的声纹向量相同的预存声纹向量时，获取所述预存声纹向量对应的用户信息，输出所述用户信息；
    若所述声纹模型库中不存在与所述语音信号的声纹向量相同的预存声纹向量时，输出检测失败的提示信息。
  20. 如权利要求16至18任一项所述的非易失性可读存储介质，其特征在于，所述对所述待识别的语音信号进行预处理，并对预处理后的所述语音信号进行特征提取，得到梅尔频率倒谱系数包括：
    对所述待识别的语音信号的波形图执行分帧处理；
    在分帧处理之后，对每一帧信号执行加窗处理；
    对加窗处理后的每一帧信号执行离散傅里叶变换，得到该帧信号对应的频谱；
    根据所有帧信号对应的频谱计算所述语音信号的功率谱；
    根据所述功率谱计算梅尔滤波器组；
    对每一个所述梅尔滤波器的输出执行对数运算，得到对数能量；
    对所述对数能量执行离散余弦变换，得到所述语音信号的梅尔频率倒谱系数。
PCT/CN2019/117731 2019-03-06 2019-11-13 基于短文本的声纹检测方法、装置、设备及存储介质 Ceased WO2020177380A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910167882.3A CN110010133A (zh) 2019-03-06 2019-03-06 基于短文本的声纹检测方法、装置、设备及存储介质
CN201910167882.3 2019-03-06

Publications (1)

Publication Number Publication Date
WO2020177380A1 true WO2020177380A1 (zh) 2020-09-10

Family

ID=67166562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117731 Ceased WO2020177380A1 (zh) 2019-03-06 2019-11-13 基于短文本的声纹检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110010133A (zh)
WO (1) WO2020177380A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223568A (zh) * 2022-06-29 2022-10-21 厦门快商通科技股份有限公司 基于声纹识别的身份验证方法、装置、系统和存储介质
CN117746892A (zh) * 2023-12-18 2024-03-22 国网福建省电力有限公司 一种基于小波变换的变压器声纹故障识别方法及设备

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010133A (zh) * 2019-03-06 2019-07-12 平安科技（深圳）有限公司 基于短文本的声纹检测方法、装置、设备及存储介质
CN110751944B (zh) * 2019-09-19 2024-09-24 平安科技（深圳）有限公司 构建语音识别模型的方法、装置、设备和存储介质
CN110767239A (zh) * 2019-09-20 2020-02-07 平安科技（深圳）有限公司 一种基于深度学习的声纹识别方法、装置及设备
CN110570871A (zh) * 2019-09-20 2019-12-13 平安科技（深圳）有限公司 一种基于TristouNet的声纹识别方法、装置及设备
CN110880327B (zh) * 2019-10-29 2024-07-09 平安科技（深圳）有限公司 一种音频信号处理方法及装置
CN110875043B (zh) * 2019-11-11 2022-06-17 广州国音智能科技有限公司 声纹识别方法、装置、移动终端及计算机可读存储介质
CN111128234B (zh) * 2019-12-05 2023-02-14 厦门快商通科技股份有限公司 一种拼接语音的识别检测方法和装置以及设备
CN111145736B (zh) * 2019-12-09 2022-10-04 华为技术有限公司 语音识别方法及相关设备
CN111462757B (zh) * 2020-01-15 2024-02-23 北京远鉴信息技术有限公司 基于语音信号的数据处理方法、装置、终端及存储介质
CN113223536B (zh) * 2020-01-19 2024-04-19 Tcl科技集团股份有限公司 声纹识别方法、装置及终端设备
CN111227839B (zh) * 2020-01-19 2023-08-18 中国电子科技集团公司电子科学研究院 一种行为识别方法及装置
CN111326161B (zh) * 2020-02-26 2023-06-30 北京声智科技有限公司 一种声纹确定方法及装置
CN111341320B (zh) * 2020-02-28 2023-04-14 中国工商银行股份有限公司 短语语音的声纹识别方法及装置
CN111341307A (zh) * 2020-03-13 2020-06-26 腾讯科技（深圳）有限公司 语音识别方法、装置、电子设备及存储介质
CN111582020B (zh) * 2020-03-25 2024-06-18 平安科技（深圳）有限公司 信号处理方法、装置、计算机设备及存储介质
CN113470653B (zh) * 2020-03-31 2024-10-18 华为技术有限公司 声纹识别的方法、电子设备和系统
CN111583935A (zh) * 2020-04-02 2020-08-25 深圳壹账通智能科技有限公司 贷款智能进件方法、装置及存储介质
CN111326163B (zh) * 2020-04-15 2023-02-14 厦门快商通科技股份有限公司 一种声纹识别方法和装置以及设备
CN111524522B (zh) * 2020-04-23 2023-04-07 上海依图网络科技有限公司 一种基于多种语音特征融合的声纹识别方法及系统
CN111488947B (zh) * 2020-04-28 2024-02-02 深圳力维智联技术有限公司 电力系统设备的故障检测方法与装置
CN111783939B (zh) * 2020-05-28 2025-06-17 厦门快商通科技股份有限公司 声纹识别模型训练方法、装置、移动终端及存储介质
CN112185347A (zh) * 2020-09-27 2021-01-05 北京达佳互联信息技术有限公司 语种识别方法、装置、服务器及存储介质
CN112242137B (zh) * 2020-10-15 2024-05-17 上海依图网络科技有限公司 一种人声分离模型的训练以及人声分离方法和装置
CN112259114A (zh) 2020-10-20 2021-01-22 网易（杭州）网络有限公司 语音处理方法及装置、计算机存储介质、电子设备
CN112071322B (zh) * 2020-10-30 2022-01-25 北京快鱼电子股份公司 一种端到端的声纹识别方法、装置、存储介质及设备
CN112562691B (zh) * 2020-11-27 2024-07-02 平安科技（深圳）有限公司 一种声纹识别的方法、装置、计算机设备及存储介质
CN112562656A (zh) * 2020-12-16 2021-03-26 咪咕文化科技有限公司 一种信号分类方法、装置、设备及存储介质
CN112802481A (zh) * 2021-04-06 2021-05-14 北京远鉴信息技术有限公司 声纹验证方法、声纹识别模型训练方法、装置及设备
CN113407768B (zh) * 2021-06-24 2024-02-02 深圳市声扬科技有限公司 声纹检索方法、装置、系统、服务器及存储介质
CN114003885B (zh) * 2021-11-01 2022-08-26 浙江大学 一种智能语音认证方法、系统及可存储介质
CN114121025A (zh) * 2021-11-24 2022-03-01 国网信息通信产业集团有限公司 一种面向变电站设备的声纹故障智能检测方法及装置
CN116312547A (zh) * 2022-12-27 2023-06-23 西北工业大学 一种基于树莓派的轻量级语音输入实时检测方法
CN116506455A (zh) * 2023-03-31 2023-07-28 南京农业大学 一种基于神经网络的杀虫物联网多媒体数据压缩方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150301796A1 (en) * 2014-04-17 2015-10-22 Qualcomm Incorporated Speaker verification
CN105788592A (zh) * 2016-04-28 2016-07-20 乐视控股（北京）有限公司 一种音频分类方法及装置
CN107527620A (zh) * 2017-07-25 2017-12-29 平安科技（深圳）有限公司 电子装置、身份验证的方法及计算机可读存储介质
CN107610707A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种声纹识别方法及装置
CN107808664A (zh) * 2016-08-30 2018-03-16 富士通株式会社 基于稀疏神经网络的语音识别方法、语音识别装置和电子设备
CN110010133A (zh) * 2019-03-06 2019-07-12 平安科技（深圳）有限公司 基于短文本的声纹检测方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105185379B (zh) * 2015-06-17 2017-08-18 百度在线网络技术（北京）有限公司 声纹认证方法和装置
CN105869644A (zh) * 2016-05-25 2016-08-17 百度在线网络技术（北京）有限公司 基于深度学习的声纹认证方法和装置
CN108369813B (zh) * 2017-07-31 2022-10-25 深圳和而泰智能家居科技有限公司 特定声音识别方法、设备和存储介质
CN108417217B (zh) * 2018-01-11 2021-07-13 思必驰科技股份有限公司 说话人识别网络模型训练方法、说话人识别方法及系统
CN108877812B (zh) * 2018-08-16 2021-04-02 桂林电子科技大学 一种声纹识别方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150301796A1 (en) * 2014-04-17 2015-10-22 Qualcomm Incorporated Speaker verification
CN105788592A (zh) * 2016-04-28 2016-07-20 乐视控股（北京）有限公司 一种音频分类方法及装置
CN107808664A (zh) * 2016-08-30 2018-03-16 富士通株式会社 基于稀疏神经网络的语音识别方法、语音识别装置和电子设备
CN107610707A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种声纹识别方法及装置
CN107527620A (zh) * 2017-07-25 2017-12-29 平安科技（深圳）有限公司 电子装置、身份验证的方法及计算机可读存储介质
CN110010133A (zh) * 2019-03-06 2019-07-12 平安科技（深圳）有限公司 基于短文本的声纹检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何建超 (HE, JIANCHAO): "基于高层信息融合的短语音说话人识别方法研究 (The Research of High-Level Information Fusion Based Speaker Recognition Algorithm Using Short Utterance)", 中国优秀硕士学位论文全文数据库 (电子期刊) (CHINESE MASTER’S THESES FULL-TEXT DATABASE (ELECTRONIC JOURNALS)), 15 April 2017 (2017-04-15), XP055732004, ISSN: 1674-0246, DOI: 20200116100704A *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223568A (zh) * 2022-06-29 2022-10-21 厦门快商通科技股份有限公司 基于声纹识别的身份验证方法、装置、系统和存储介质
CN117746892A (zh) * 2023-12-18 2024-03-22 国网福建省电力有限公司 一种基于小波变换的变压器声纹故障识别方法及设备

Also Published As

Publication number Publication date
CN110010133A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
WO2020177380A1 (zh) 基于短文本的声纹检测方法、装置、设备及存储介质
CN110120224B (zh) 鸟声识别模型的构建方法、装置、计算机设备及存储介质
CN112183107B (zh) 音频的处理方法和装置
WO2020224114A1 (zh) 基于残差时延网络的说话人确认方法、装置、设备及介质
WO2019154107A1 (zh) 基于记忆性瓶颈特征的声纹识别的方法及装置
CN110378228A (zh) 面审视频数据处理方法、装置、计算机设备和存储介质
WO2019232829A1 (zh) 声纹识别方法、装置、计算机设备及存储介质
CN114155460B (zh) 用户类型识别的方法、装置、计算机设备以及存储介质
WO2023283823A1 (zh) 语音对抗样本检测方法、装置、设备及计算机可读存储介质
CN113869212B (zh) 多模态活体检测方法、装置、计算机设备及存储介质
WO2019237518A1 (zh) 模型库建立方法、语音识别方法、装置、设备及介质
CN110688499A (zh) 数据处理方法、装置、计算机设备和存储介质
WO2019232826A1 (zh) i-vector向量提取方法、说话人识别方法、装置、设备及介质
CN119479694A (zh) 风险事件识别方法、装置、计算机设备及存储介质
CN118588087A (zh) 一种基于融合特征降维的Fca-ProRes2Net说话人识别方法
Wang et al. Robust copy-move detection and localization of digital audio based CFCC feature
CN116469396A (zh) 基于时频域掩蔽效应的跨域语音鉴伪方法和系统
CN116386648A (zh) 跨域语音鉴伪方法和系统
Kuznetsov et al. Methods of countering speech synthesis attacks on voice biometric systems in banking
CN116631450A (zh) 多模态语音情感识别方法、装置、设备及存储介质
CN114974204A (zh) 合成攻击语音的检测方法、装置、计算机设备和存储介质
CN120220693A (zh) 声纹识别方法、装置、电子设备及存储介质
CN115881083B (zh) 合成音频的鉴别方法、设备和计算机程序产品
CN114783415B (zh) 声纹提取方法、身份识别方法及相关设备
CN113178196B (zh) 音频数据提取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918346

Country of ref document: EP

Kind code of ref document: A1