WO2017201912A1 - 基于深度学习的声纹认证方法和装置 - Google Patents

基于深度学习的声纹认证方法和装置 Download PDF

Info

Publication number
WO2017201912A1
WO2017201912A1 PCT/CN2016/098127 CN2016098127W WO2017201912A1 WO 2017201912 A1 WO2017201912 A1 WO 2017201912A1 CN 2016098127 W CN2016098127 W CN 2016098127W WO 2017201912 A1 WO2017201912 A1 WO 2017201912A1
Authority
WO
WIPO (PCT)
Prior art keywords
vector
speaker
features
voice
registration phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/098127
Other languages
English (en)
French (fr)
Inventor
吴本谷
李超
关勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to US16/096,049 priority Critical patent/US20190130918A1/en
Publication of WO2017201912A1 publication Critical patent/WO2017201912A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches

Definitions

  • the present invention relates to the field of voice processing technologies, and in particular, to a voiceprint authentication method and apparatus based on deep learning.
  • Deep learning stems from the study of artificial neural networks.
  • a multilayer perceptron with multiple hidden layers is a deep learning structure. Deep learning combines low-level features to form more abstract high-level representation attribute categories or features to discover distributed feature representations of data. Deep learning is a new field in machine learning research. Its motivation is to build and simulate a neural network for human brain analysis and learning. It mimics the mechanism of the human brain to interpret data such as images, sounds and texts.
  • Voiceprint authentication refers to the identity authentication of a speaker based on the voiceprint features in the voice emitted by the speaker.
  • voiceprint authentication is generally performed based on a Mel Frequency Cepstrum Coefficient (MFCC) or Perceptual Linear Predictive (PLP) feature, and a Gaussian Mixture Model (GMM).
  • MFCC Mel Frequency Cepstrum Coefficient
  • PLP Perceptual Linear Predictive
  • GMM Gaussian Mixture Model
  • the present invention aims to solve at least one of the technical problems in the related art to some extent.
  • an object of the present invention is to provide a voiceprint authentication method based on deep learning, which can improve the effect of voiceprint authentication.
  • Another object of the present invention is to provide a voiceprint authentication apparatus based on deep learning.
  • Yet another object of the present invention is to provide a terminal.
  • the depth learning-based voiceprint authentication method includes: receiving a speaker's voice; extracting a d-vector feature of the voice; and obtaining the speaker to determine at a registration stage. a d-vector feature; calculating a match value between the two d-vector features; and if the match value is greater than or equal to the threshold, determining that the speaker passes the authentication.
  • the depth learning based voiceprint authentication method proposed by the first aspect of the present invention is based on the d-vector feature Voiceprint authentication, since the d-vector feature is obtained through the DNN network, a more effective voiceprint feature can be obtained compared to the GMM model, and therefore, the effect of voiceprint authentication can be improved.
  • the depth learning-based voiceprint authentication apparatus includes: a receiving module, configured to receive a speaker's voice; and a first extracting module, configured to extract the voice of the d- a first acquisition module, configured to acquire a d-vector feature determined by the speaker during a registration phase; a first calculation module, configured to calculate a matching value between the two d-vector features; and an authentication module And if the matching value is greater than or equal to the threshold, determining that the speaker passes the authentication.
  • the voice learning device based on the depth learning method according to the second aspect of the present invention performs voiceprint authentication based on the d-vector feature. Since the d-vector feature is obtained through the DNN network, a more effective sound can be obtained compared to the GMM model. The pattern features, therefore, the effect of voiceprint authentication can be improved.
  • a terminal includes: one or more processors; a memory; one or more programs, the one or more programs are stored in the memory, when The one or more processors perform the following operations: receiving the speaker's voice; extracting the d-vector feature of the voice; acquiring the d-vector feature determined by the speaker during the registration phase; and calculating the two d- A match value between the vector features; if the match value is greater than or equal to the threshold, determining that the speaker passes the authentication.
  • a storage medium for storing an application for performing a deep learning-based voiceprint authentication method according to the first aspect of the present invention.
  • FIG. 1 is a schematic flow chart of a voiceprint authentication method based on deep learning according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a DNN used in an embodiment of the present invention.
  • FIG. 3 is a schematic flow chart of a registration phase in an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of a deep learning voiceprint authentication apparatus according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a deep learning voiceprint authentication apparatus according to an embodiment of the present invention.
  • FIG. 1 is a schematic flow chart of a voice learning authentication method based on deep learning according to an embodiment of the present invention.
  • the method of this embodiment includes:
  • the authentication can be divided into text-related or text-independent.
  • the speaker can issue the corresponding voice according to the prompt or the fixed content, and the voice can be issued without restriction when the text is irrelevant.
  • the d-vector feature is a feature extracted by Deep Neural Network (DNN), specifically the output of the last hidden layer in the DNN.
  • DNN Deep Neural Network
  • a schematic of the DNN can be seen in Figure 2. As shown in FIG. 2, the DNN can be divided into an input layer 21, a hidden layer 22, and an output layer 23.
  • the input layer is configured to receive input features extracted from speech, such as a FBANK feature of size 41*40, the number of nodes in the output layer is the same as the number of speakers, and each node corresponds to one speaker.
  • the number of layers in the hidden layer can be set.
  • the DNN can be specifically connected.
  • the FBANK feature is that the output of the log filter of the log domain is an acoustic feature, that is, a Filter-bank feature.
  • the FBANK feature of the speech may be extracted first, and then the FBANK feature is input to the DNN input layer, and the DNN after the parameter has been determined (determined by model training) may be The output 24 of the last hidden layer is obtained, which is determined as a d-vector feature.
  • the output layer is used when training the model, and the input layer and hidden layer are used.
  • the identity of the speaker can also be obtained.
  • the identity identifier and the d-vector feature can be saved correspondingly, so that the d-vector feature determined by the registration phase can be obtained according to the identity identifier.
  • registration can be done before the certification phase.
  • the speaker registration process can include:
  • S31 Acquire a plurality of voices sent by the speaker during the registration phase.
  • each speaker can send multiple voices, and the client can send the voice to the server for processing.
  • the server can extract the d-vector feature of the voice after receiving each voice, so that when the voice is multiple, the d-vector feature is also multiple.
  • the server When the server extracts the d-vector feature of the voice, it can be extracted by using the DNN shown in FIG. 2 (specifically, the final output layer is not used).
  • the DNN shown in FIG. 2 specifically, the final output layer is not used.
  • S33 A plurality of d-vector features are averaged to determine a d-vector feature determined by the speaker during the registration phase.
  • the registration process may further include:
  • the speaker can enter an identity such as an account when registering.
  • S35 Store the identity identifier and the d-vector feature determined by the registration phase, and establish a correspondence between the identity identifier and the d-vector.
  • the identity of the speaker is ID1
  • the average value of the d-vector obtained by the above calculation is d-vector-avg
  • ID1 and d-vector-avg can be stored, and the correspondence between ID1 and d-vector-avg is established.
  • the d-vector feature extracted during the authentication phase is represented by d-vector1, and the d-vector feature determined during the registration phase, as represented by d-vector2, can be calculated between d-vector1 and d-vector2. Match value.
  • the calculation method of the degree of matching between vectors can be used, for example, using cosine distance and linear discriminant analysis (LDA).
  • LDA linear discriminant analysis
  • the matching value is less than the threshold, it is determined that the speaker has not passed the authentication.
  • voiceprint authentication is performed based on the d-vector feature. Since the d-vector feature is obtained through the DNN network, a more effective voiceprint feature can be obtained with respect to the GMM model, and therefore, the effect of voiceprint authentication can be improved.
  • FIG. 4 is a schematic structural diagram of a voiceprint authentication apparatus based on deep learning according to an embodiment of the present invention.
  • the apparatus 40 of this embodiment includes: a receiving module 401, a first extracting module 402, a first obtaining module 403, a first calculating module 404, and an authentication module 405.
  • the receiving module 401 is configured to receive a voice of the speaker
  • a first extraction module 402 configured to extract a d-vector feature of the voice
  • a first obtaining module 403, configured to acquire a d-vector feature determined by the speaker during a registration phase
  • a first calculating module 404 configured to calculate a matching value between the two d-vector features
  • the authentication module 405 is configured to determine that the speaker passes the authentication if the matching value is greater than or equal to the threshold.
  • the apparatus 40 further includes:
  • a second obtaining module 406 configured to acquire multiple voices sent by the speaker during the registration phase
  • a second extraction module 407 configured to extract d-vector features corresponding to each voice, to obtain multiple d-vector features
  • the second calculating module 408 is configured to average a plurality of d-vector features to determine a d-vector feature determined by the speaker during the registration phase.
  • the apparatus 40 further includes:
  • the third obtaining module 409 is configured to acquire the identity identifier of the speaker during the registration phase
  • the storage module 410 is configured to store the identity identifier and the d-vector feature determined by the registration phase, and establish a correspondence between the identity identifier and the d-vector.
  • the first obtaining module 403 is specifically configured to:
  • the first extraction module 402 is specifically configured to:
  • the output of the last layer of the hidden layer of the DNN is obtained, and the output is determined to be the d-vector feature.
  • the input features include:
  • voiceprint authentication is performed based on the d-vector feature. Since the d-vector feature is obtained through the DNN network, a more effective voiceprint feature can be obtained with respect to the GMM model, and therefore, the effect of voiceprint authentication can be improved.
  • the present invention also proposes a terminal comprising: one or more processors; a memory; one or more programs, one or more programs stored in the memory when being one or more processors Perform the following operations when performing:
  • the present invention also proposes a storage medium.
  • the storage medium can be used to store an application, and the application can be used to perform the deep learning-based voiceprint authentication method according to any of the above embodiments of the present invention.
  • portions of the invention may be implemented in hardware, software, firmware or a combination thereof.
  • multiple steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it can be implemented by any one or combination of the following techniques well known in the art: having logic gates for implementing logic functions on data signals. Discrete logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), etc.
  • each functional unit in each embodiment of the present invention may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于深度学习的声纹认证方法和装置，该基于深度学习的声纹认证方法包括：接收说话人的语音（S11）；提取所述语音的d-vector特征（S12）；获取所述说话人在注册阶段确定的d-vector特征（S13）；计算上述两个d-vector特征之间的匹配值（S14）；如果所述匹配值大于或等于阈值，则确定所述说话人通过认证（S15）。该方法能够提高声纹认证的效果。

Description

基于深度学习的声纹认证方法和装置
相关申请的交叉引用
本申请要求百度在线网络技术(北京)有限公司于2016年5月25日提交的、发明名称为“基于深度学习的声纹认证方法和装置”的、中国专利申请号“201610353878.2”的优先权。
技术领域
本发明涉及语音处理技术领域，尤其涉及一种基于深度学习的声纹认证方法和装置。
背景技术
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。声纹认证是指根据说话人发出的语音中的声纹特征，对说话人进行身份认证。
相关技术中，通常基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)或感知加权线性预测(Perceptual Linear Predictive，PLP)特征，以及高斯混合模型(Gaussian Mixture Model，GMM)进行声纹认证。相关技术中的声纹认证效果有待提高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习的声纹认证方法，该方法可以提高声纹认证的效果。
本发明的另一个目的在于提出一种基于深度学习的声纹认证装置。
本发明的又一个目的在于提出一种终端。
本发明的再一个目的在于提出一种存储介质。
为达到上述目的，本发明第一方面实施例提出的基于深度学习的声纹认证方法，包括：接收说话人的语音；提取所述语音的d-vector特征；获取所述说话人在注册阶段确定的d-vector特征；计算上述两个d-vector特征之间的匹配值；如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
本发明第一方面实施例提出的基于深度学习的声纹认证方法，基于d-vector特征进行 声纹认证，由于d-vector特征是通过DNN网络得到的，相对于GMM模型可以得到更有效的声纹特征，因此，可以提高声纹认证的效果。
为达到上述目的，本发明第二方面实施例提出的基于深度学习的声纹认证装置，包括：接收模块，用于接收说话人的语音；第一提取模块，用于提取所述语音的d-vector特征；第一获取模块，用于获取所述说话人在注册阶段确定的d-vector特征；第一计算模块，用于计算上述两个d-vector特征之间的匹配值；认证模块，用于如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
本发明第二方面实施例提出的基于深度学习的声纹认证装置，基于d-vector特征进行声纹认证，由于d-vector特征是通过DNN网络得到的，相对于GMM模型可以得到更有效的声纹特征，因此，可以提高声纹认证的效果。
为达到上述目的，本发明第三方面实施例提出的终端，包括：一个或者多个处理器；存储器；一个或多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时进行如下操作：接收说话人的语音；提取所述语音的d-vector特征；获取所述说话人在注册阶段确定的d-vector特征；计算上述两个d-vector特征之间的匹配值；如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
为达到上述目的，本发明第四方面实施例提出的存储介质，用于存储应用程序，所述应用程序用于执行本发明第一方面实施例所述的基于深度学习的声纹认证方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例提出的基于深度学习的声纹认证方法的流程示意图；
图2是本发明实施例中采用的DNN的示意图；
图3是本发明实施例中注册阶段的流程示意图；
图4是本发明一个实施例提出的基于深度学习声纹认证装置的结构示意图；
图5是本发明一个实施例提出的基于深度学习声纹认证装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描 述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一个实施例提出的基于深度学习的声纹认证方法的流程示意图。
参见图1，本实施例的方法包括：
S11：接收说话人的语音。
其中，认证可以分为文本有关或文本无关，文本有关时，说话人可以根据提示或固定内容发出相应的语音，文本无关时可以不限制的发出语音。
S12：提取所述语音的d-vector特征。
其中，d-vector特征是通过深度神经网络(Deep Neural Network，DNN)提取的一种特征，具体是DNN中最后一层隐层的输出。
DNN的示意图可以参见图2。如图2所示，DNN可以分为输入层21、隐层22和输出层23。
其中，输入层用于接收从语音中提取的输入特征，如大小为41*40的FBANK特征，输出层的节点个数与说话人个数相同，每个节点对应一个说话人。隐层的层数可以设置。DNN可以具体采用全连接方式。
其中，FBANK特征是对数域的Mel滤波器的输出为声学特征，即Filter-bank特征。
如图2所示，在需要提取语音的d-vector特征时，可以先提取该语音的FBANK特征，再将FBANK特征输入到DNN输入层，经过参数已确定(通过模型训练确定)的DNN，可以得到最后一个隐层的输出24，将该输出确定为d-vector特征。从该流程可以看出，在确定语音的d-vector特征时，不需要使用DNN的输出层。而在训练模型时会用到输出层，当然还会用到输入层和隐层等。
S13：获取所述说话人在注册阶段确定的d-vector特征。
其中，在认证阶段，还可以获取说话人的身份标识，而在注册阶段，可以对应保存身份标识和d-vector特征，从而可以根据身份标识获取到注册阶段确定的d-vector特征。
其中，在认证阶段之前可以先进行注册。
参见图3，说话人的注册流程可以包括：
S31：获取所述说话人在注册阶段发出的多条语音。
例如，在注册阶段，每个说话人可以发出多条语音，客户端接收到语音后可以发送给服务端进行处理。
S32：对应每条语音提取d-vector特征，得到多个d-vector特征。
其中，服务端在接收到每条语音后，可以提取该语音的d-vector特征，从而当语音为多条时，d-vector特征也为多个。
服务端在提取语音的d-vector特征时，可以采用图2所示的DNN(具体不使用最后的输出层)进行提取，具体内容可以参见上述相关描述，在此不再详细说明。
S33：将多个d-vector特征求平均，确定为所述说话人在注册阶段确定的d-vector特征。
进一步的，注册流程还可以包括：
S34：获取所述说话人的身份标识。
例如，说话人在注册时可以输入账号等身份标识。
S35：存储所述身份标识和所述注册阶段确定的d-vector特征，并建立身份标识和d-vector之间的对应关系。
例如，说话人的身份标识是ID1，经过上述计算得到的d-vector的均值是d-vector-avg，则可以存储ID1和d-vector-avg，且建立ID1与d-vector-avg的对应关系。
S14：计算上述两个d-vector特征之间的匹配值。
例如，在认证阶段提取出的d-vector特征用d-vector1表示，注册阶段确定的d-vector特征，如上述的均值用d-vector2表示，则可以计算d-vector1与d-vector2之间的匹配值。
由于d-vector1和d-vector2都是向量，因此可以采用向量间匹配度的计算方式，例如，采用余弦距离、线性鉴别分析(Linear Discriminant Analysis，LDA)等。
S15：如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
另一方面，如果所述匹配值小于阈值，则确定所述说话人未通过认证。
本实施例中，基于d-vector特征进行声纹认证，由于d-vector特征是通过DNN网络得到的，相对于GMM模型可以得到更有效的声纹特征，因此，可以提高声纹认证的效果。
图4是本发明一个实施例提出的基于深度学习的声纹认证装置的结构示意图。
参见图4，本实施例的装置40包括：接收模块401、第一提取模块402、第一获取模块403、第一计算模块404和认证模块405。
接收模块401，用于接收说话人的语音；
第一提取模块402，用于提取所述语音的d-vector特征；
第一获取模块403，用于获取所述说话人在注册阶段确定的d-vector特征；
第一计算模块404，用于计算上述两个d-vector特征之间的匹配值；
认证模块405，用于如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
一些实施例中，参见图5，该装置40还包括：
第二获取模块406，用于获取所述说话人在注册阶段发出的多条语音；
第二提取模块407，用于对应每条语音提取d-vector特征，得到多个d-vector特征；
第二计算模块408，用于将多个d-vector特征求平均，确定为所述说话人在注册阶段确定的d-vector特征。
一些实施例中，参见图5，该装置40还包括：
第三获取模块409，用于在注册阶段，获取所述说话人的身份标识；
存储模块410，用于存储所述身份标识和所述注册阶段确定的d-vector特征，并建立身份标识和d-vector之间的对应关系。
一些实施例中，所述第一获取模块403具体用于：
接收说话人的语音后，获取所述说话人的身份标识；
根据所述对应关系，获取与所述身份标识对应的d-vector特征。
一些实施例中，所述第一提取模块402具体用于：
提取语音的输入特征；
采用预先确定的DNN和所述输入特征，得到DNN的最后一层隐层的输出，将所述输出确定为所述d-vector特征。
一些实施例中，所述输入特征包括：
FBANK特征。
可以理解的是，本实施例的装置与上述方法实施例对应，具体内容可以参见相关描述，在此不再详细说明。
本实施例中，基于d-vector特征进行声纹认证，由于d-vector特征是通过DNN网络得到的，相对于GMM模型可以得到更有效的声纹特征，因此，可以提高声纹认证的效果。
为了实现上述实施例，本发明还提出了一种终端，包括：一个或者多个处理器；存储器；一个或多个程序，一个或者多个程序存储在存储器中，当被一个或者多个处理器执行时进行如下操作：
S11’，接收说话人的语音。
S12’，提取语音的d-vector特征。
S13’，获取说话人在注册阶段确定的d-vector特征。
S14’，计算上述两个d-vector特征之间的匹配值。
S15’，如果匹配值大于或等于阈值，则确定说话人通过认证。
为了实现上述实施例，本发明还提出了一种存储介质。其中，该存储介质可用于存储应用程序，该应用程序可用于执行本发明上述任一个实施例所述的基于深度学习的声纹认证方法。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而 不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

  1. 一种基于深度学习的声纹认证方法，其特征在于，包括：
    接收说话人的语音；
    提取所述语音的d-vector特征；
    获取所述说话人在注册阶段确定的d-vector特征；
    计算上述两个d-vector特征之间的匹配值；
    如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
  2. 根据权利要求1所述的方法，其特征在于，还包括：
    获取所述说话人在注册阶段发出的多条语音；
    对应每条语音提取d-vector特征，得到多个d-vector特征；
    将多个d-vector特征求平均，确定为所述说话人在注册阶段确定的d-vector特征。
  3. 根据权利要求2所述的方法，其特征在于，还包括：
    在注册阶段，获取所述说话人的身份标识；
    存储所述身份标识和所述注册阶段确定的d-vector特征，并建立身份标识和d-vector之间的对应关系。
  4. 根据权利要求3所述的方法，其特征在于，所述获取所述说话人在注册阶段确定的d-vector特征，包括：
    接收说话人的语音后，获取所述说话人的身份标识；
    根据所述对应关系，获取与所述身份标识对应的d-vector特征。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，提取语音的d-vector特征包括：
    提取语音的输入特征；
    采用预先确定的DNN和所述输入特征，得到DNN的最后一层隐层的输出，将所述输出确定为所述d-vector特征。
  6. 根据权利要求5所述的方法，其特征在于，所述输入特征包括：
    FBANK特征。
  7. 一种基于深度学习的声纹认证装置，其特征在于，包括：
    接收模块，用于接收说话人的语音；
    第一提取模块，用于提取所述语音的d-vector特征；
    第一获取模块，用于获取所述说话人在注册阶段确定的d-vector特征；
    第一计算模块，用于计算上述两个d-vector特征之间的匹配值；
    认证模块，用于如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
  8. 根据权利要求7所述的装置，其特征在于，还包括：
    第二获取模块，用于获取所述说话人在注册阶段发出的多条语音；
    第二提取模块，用于对应每条语音提取d-vector特征，得到多个d-vector特征；
    第二计算模块，用于将多个d-vector特征求平均，确定为所述说话人在注册阶段确定的d-vector特征。
  9. 根据权利要求8所述的装置，其特征在于，还包括：
    第三获取模块，用于在注册阶段，获取所述说话人的身份标识；
    存储模块，用于存储所述身份标识和所述注册阶段确定的d-vector特征，并建立身份标识和d-vector之间的对应关系。
  10. 根据权利要求9所述的装置，其特征在于，所述第一获取模块具体用于：
    接收说话人的语音后，获取所述说话人的身份标识；
    根据所述对应关系，获取与所述身份标识对应的d-vector特征。
  11. 根据权利要求7-10任一项所述的装置，其特征在于，所述第一提取模块具体用于：
    提取语音的输入特征；
    采用预先确定的DNN和所述输入特征，得到DNN的最后一层隐层的输出，将所述输出确定为所述d-vector特征。
  12. 根据权利要求11所述的装置，其特征在于，所述输入特征包括：
    FBANK特征。
  13. 一种终端，其特征在于，包括：
    一个或者多个处理器；
    存储器；
    一个或多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时进行如下操作：
    接收说话人的语音；
    提取所述语音的d-vector特征；
    获取所述说话人在注册阶段确定的d-vector特征；
    计算上述两个d-vector特征之间的匹配值；
    如果所述匹配值大于或等于阈值，则确定所述说话人通过认证。
  14. 一种存储介质，其特征在于，用于存储应用程序，所述应用程序用于执行权利要求1至6中任一项所述的基于深度学习的声纹认证方法。
PCT/CN2016/098127 2016-05-25 2016-09-05 基于深度学习的声纹认证方法和装置 Ceased WO2017201912A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/096,049 US20190130918A1 (en) 2016-05-25 2016-09-05 Voiceprint authentication method based on deep learning and terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610353878.2A CN105869644A (zh) 2016-05-25 2016-05-25 基于深度学习的声纹认证方法和装置
CN201610353878.2 2016-05-25

Publications (1)

Publication Number Publication Date
WO2017201912A1 true WO2017201912A1 (zh) 2017-11-30

Family

ID=56635995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/098127 Ceased WO2017201912A1 (zh) 2016-05-25 2016-09-05 基于深度学习的声纹认证方法和装置

Country Status (3)

Country Link
US (1) US20190130918A1 (zh)
CN (1) CN105869644A (zh)
WO (1) WO2017201912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899765B2 (en) 2019-12-23 2024-02-13 Dts Inc. Dual-factor identification system and method with adaptive enrollment

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869644A (zh) * 2016-05-25 2016-08-17 百度在线网络技术（北京）有限公司 基于深度学习的声纹认证方法和装置
CN107610707B (zh) * 2016-12-15 2018-08-31 平安科技（深圳）有限公司 一种声纹识别方法及装置
CN109215643B (zh) * 2017-07-05 2023-10-24 阿里巴巴集团控股有限公司 一种交互方法、电子设备及服务器
CN107527620B (zh) * 2017-07-25 2019-03-26 平安科技（深圳）有限公司 电子装置、身份验证的方法及计算机可读存储介质
CN111630934B (zh) * 2018-01-22 2023-10-13 诺基亚技术有限公司 隐私保护的声纹认证装置和方法
CN108447489B (zh) * 2018-04-17 2020-05-22 清华大学 一种带反馈的连续声纹认证方法及系统
CN108766442B (zh) * 2018-06-15 2020-11-06 清华大学 一种基于声纹图形标识的身份认证方法及装置
CN109473105A (zh) * 2018-10-26 2019-03-15 平安科技（深圳）有限公司 与文本无关的声纹验证方法、装置和计算机设备
CN109801636A (zh) * 2019-01-29 2019-05-24 北京猎户星空科技有限公司 声纹识别模型的训练方法、装置、电子设备及存储介质
CN110010133A (zh) * 2019-03-06 2019-07-12 平安科技（深圳）有限公司 基于短文本的声纹检测方法、装置、设备及存储介质
CN110827453A (zh) * 2019-11-18 2020-02-21 成都启英泰伦科技有限公司 一种指纹声纹双重认证方法及认证系统
KR20210073975A (ko) 2019-12-11 2021-06-21 삼성전자주식회사 화자를 인식하는 방법 및 장치
CN111048097B (zh) * 2019-12-19 2022-11-29 中国人民解放军空军研究院通信与导航研究所 一种基于3d卷积的孪生网络声纹识别方法
CN111933153B (zh) * 2020-07-07 2024-03-08 北京捷通华声科技股份有限公司 一种语音分割点的确定方法和装置
US11700250B2 (en) * 2020-10-14 2023-07-11 Paypal, Inc. Voice vector framework for authenticating user interactions
CN112738344B (zh) * 2020-12-28 2022-12-09 北京三快在线科技有限公司 一种识别用户身份的方法、装置、存储介质及电子设备
US11798562B2 (en) * 2021-05-16 2023-10-24 Google Llc Attentive scoring function for speaker identification
CN113393847B (zh) * 2021-05-27 2022-11-15 杭州电子科技大学 基于Fbank特征和MFCC特征融合的声纹识别方法
CN116610062B (zh) * 2023-07-20 2023-11-03 钛玛科（北京）工业科技有限公司 一种传感器自动对中的语音控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732978A (zh) * 2015-03-12 2015-06-24 上海交通大学 基于联合深度学习的文本相关的说话人识别方法
WO2015157036A1 (en) * 2014-04-09 2015-10-15 Google Inc. Text-dependent speaker identification
CN105575394A (zh) * 2016-01-04 2016-05-11 北京时代瑞朗科技有限公司 基于全局变化空间及深度学习混合建模的声纹识别方法
CN105869644A (zh) * 2016-05-25 2016-08-17 百度在线网络技术（北京）有限公司 基于深度学习的声纹认证方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036780B (zh) * 2013-03-05 2017-05-24 阿里巴巴集团控股有限公司 一种人机识别方法及系统
CN103247197A (zh) * 2013-03-29 2013-08-14 上海众实科技发展有限公司 一种基于声纹识别的用户在线学习监测方法
CN104598796B (zh) * 2015-01-30 2017-08-25 科大讯飞股份有限公司 身份识别方法及系统
CN105244031A (zh) * 2015-10-26 2016-01-13 北京锐安科技有限公司 说话人识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157036A1 (en) * 2014-04-09 2015-10-15 Google Inc. Text-dependent speaker identification
CN104732978A (zh) * 2015-03-12 2015-06-24 上海交通大学 基于联合深度学习的文本相关的说话人识别方法
CN105575394A (zh) * 2016-01-04 2016-05-11 北京时代瑞朗科技有限公司 基于全局变化空间及深度学习混合建模的声纹识别方法
CN105869644A (zh) * 2016-05-25 2016-08-17 百度在线网络技术（北京）有限公司 基于深度学习的声纹认证方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, LANTIAN ET AL. ET AL.: "Improved Deep Speaker Feature Learning for Text-Dependent Speaker Recognition", PROCEEDINGS OF APSIPA ANNUAL SUMMIT AND CONFERENCE 2015, 19 December 2015 (2015-12-19), XP032870577 *
VARIANI, E. ET AL.: "Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification", IEEE INTERNATIONAL CONFERENCE ON ACOUSTIC, SPEECH AND SIGNAL PROCESSING (ICASSP, 9 May 2014 (2014-05-09), XP032617560 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899765B2 (en) 2019-12-23 2024-02-13 Dts Inc. Dual-factor identification system and method with adaptive enrollment

Also Published As

Publication number Publication date
CN105869644A (zh) 2016-08-17
US20190130918A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
US20190130918A1 (en) Voiceprint authentication method based on deep learning and terminal
US20250378841A1 (en) System and method for creating timbres
US20210256981A1 (en) Speaker verification
CN110675886B (zh) 音频信号处理方法、装置、电子设备及存储介质
US9940935B2 (en) Method and device for voiceprint recognition
US20150294670A1 (en) Text-dependent speaker identification
WO2017215558A1 (zh) 一种声纹识别方法和装置
CN113129914A (zh) 跨语言语音转换系统和方法
WO2018068396A1 (zh) 语音质量评价方法和装置
KR20240132372A (ko) 멀티태스크 음성 모델을 이용한 화자 검증
CN105096955B (zh) 一种基于模型生长聚类的说话人快速识别方法及系统
WO2017067246A1 (zh) 声学模型的生成方法和装置及语音合成方法和装置
CN112992109B (zh) 辅助歌唱系统、辅助歌唱方法及其非瞬时计算机可读取记录媒体
CN112863476B (zh) 个性化语音合成模型构建、语音合成和测试方法及装置
US11887602B1 (en) Audio-based device locationing
CN104765996A (zh) 声纹密码认证方法及系统
CN104299612B (zh) 模仿音相似度的检测方法和装置
WO2017206375A1 (zh) 声纹注册、认证方法及装置
CN108039168B (zh) 声学模型优化方法及装置
CN112885326A (zh) 个性化语音合成模型创建、语音合成和测试方法及装置
US11227591B1 (en) Controlled access to data
CN107818792A (zh) 音频转换方法及装置
CN107545898B (zh) 一种区分说话人语音的处理方法及装置
Srinivas et al. Optimization-based support vector neural network for speaker recognition
CN113241054B (zh) 语音平滑处理模型生成方法、语音平滑处理方法及装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16902897

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16902897

Country of ref document: EP

Kind code of ref document: A1