WO2020232997A1 - 语音合成方法、装置、设备及计算机可读存储介质 - Google Patents

语音合成方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2020232997A1
WO2020232997A1 PCT/CN2019/117254 CN2019117254W WO2020232997A1 WO 2020232997 A1 WO2020232997 A1 WO 2020232997A1 CN 2019117254 W CN2019117254 W CN 2019117254W WO 2020232997 A1 WO2020232997 A1 WO 2020232997A1
Authority
WO
WIPO (PCT)
Prior art keywords
style
speech
target
sequence
speech synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117254
Other languages
English (en)
French (fr)
Inventor
王健宗
孙奥兰
彭话易
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020232997A1 publication Critical patent/WO2020232997A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Definitions

  • This application relates to the technical field of speech synthesis, and in particular to a speech synthesis method, device, equipment, and computer-readable storage medium.
  • the neural network model is capable of synthesis Expressive effect The performance of speech, but in order to synthesize more human-like speech, the neural network model must learn prosody, and prosody is a combination of a set of phenomena in speech, such as paralingual information, accent, accent, and style.
  • Style contains a wealth of information, such as intentions, emotions, and the tone and voice flow that affect the speaker. Therefore, it is difficult to accurately define the style of speech.
  • the current TTS system and end-to-end speech synthesis system can only learn one input
  • the average prosody distribution of the data, without style control cannot synthesize accurate and expressive speech for longer text sentences. Therefore, how to improve the expressiveness and accuracy of synthesized speech is a problem to be solved urgently.
  • the main purpose of this application is to provide a speech synthesis method, device, equipment and computer-readable storage medium, aiming to improve the accuracy of the expression of synthesized speech.
  • the speech synthesis method includes the following steps:
  • the speech synthesis model at least includes a reference encoder, a style marking layer, and a speech synthesis layer;
  • the speech synthesis layer executes a speech synthesis operation based on the target text vector and the target style embedding vector to obtain the target speech.
  • this application also provides a speech synthesis device, the speech synthesis device including:
  • the determining module is used to determine the reference voice sequence
  • An acquiring module configured to acquire a speech synthesis model and a target text vector corresponding to the target text sequence to be synthesized, wherein the speech synthesis model at least includes a reference encoder, a style marking layer, and a speech synthesis layer;
  • An encoding module configured to encode the reference speech sequence by the reference encoder to obtain a target reference embedding vector corresponding to the reference speech sequence
  • a style marking module configured to perform style marking on the target reference embedding vector through the style marking layer to obtain the target style embedding vector corresponding to the reference speech sequence
  • the speech synthesis module is configured to perform a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer to obtain the target speech.
  • the present application also provides a computer device that includes a processor, a memory, and a computer program that is stored on the memory and can be executed by the processor, wherein the computer program is When the processor is executed, the steps of the above-mentioned speech synthesis method are realized.
  • the present application also provides a computer-readable storage medium having a computer program stored on the computer-readable storage medium, and when the computer program is executed by a processor, the steps of the above-mentioned speech synthesis method are realized.
  • This application provides a speech synthesis method, device, equipment, and computer-readable storage medium.
  • This application processes the reference speech sequence through the reference encoder and the style mark layer in the speech synthesis model, and can obtain the target style embedding vector, namely the speech The vector expression of prosody, and then through the speech synthesis layer in the speech synthesis model, based on the target style embedding vector and the target text vector, the speech is synthesized together, and the speech prosody synthesized speech expressed according to the target style embedding vector can be obtained, which can effectively improve the synthesis Accuracy of voice expression.
  • FIG. 1 is a schematic flowchart of a speech synthesis method provided by an embodiment of this application
  • Figure 2 is a hierarchical schematic diagram of a speech synthesis model in an embodiment of the application
  • FIG. 3 is a schematic flowchart of another speech synthesis method provided by an embodiment of this application.
  • FIG. 4 is a schematic block diagram of a speech synthesis device provided by an embodiment of the application.
  • FIG. 5 is a schematic block diagram of another speech synthesis apparatus provided by an embodiment of the application.
  • FIG. 6 is a schematic block diagram of the structure of a computer device related to an embodiment of the application.
  • the embodiments of the present application provide a speech synthesis method, device, computer equipment, and computer-readable storage medium.
  • the speech synthesis method can be applied to a server, and the server can be a single server or a server cluster.
  • FIG. 1 is a schematic flowchart of a speech synthesis method provided by an embodiment of the application.
  • the speech synthesis method is used to improve the accuracy of the expressive power of synthesized speech, wherein the speech synthesis method includes steps S101 to S104.
  • Step S101 Determine a reference speech sequence, and obtain a speech synthesis model and a target text vector corresponding to the target text sequence to be synthesized, where the speech synthesis model at least includes a reference encoder, a style marking layer and a speech synthesis layer.
  • the speech sequence can be an audio signal
  • the audio signal can be variable length or fixed length
  • the speech sequence can be composed of phonemes, which are the smallest unit or the smallest speech segment that constitutes a syllable, and are divided from the perspective of sound quality The smallest linear phonetic unit.
  • the reference speech sequence may be determined by a selection method. Specifically, when a speech synthesis request is monitored, the speech style number is obtained from the speech synthesis request, and the speech is obtained The speech sequence corresponding to the style label is then determined as the reference speech sequence.
  • the server stores a mapping relationship table between the voice style number and the voice sequence, and the voice sequence corresponding to each voice style number can be obtained by querying the mapping relationship table.
  • the speech synthesis model includes at least a reference encoder, a style marking layer and a speech synthesis layer.
  • the speech synthesis model is It is obtained through training, and the training process is: determine the speech synthesis model to be trained, including the reference encoder, style labeling layer and speech synthesis layer, and input the sample speech sequence into the reference encoder to obtain the reference embedding vector, and then Input the reference embedding vector into the style labeling layer to obtain the style embedding vector, and input the sample text vector and the style embedding vector into the speech synthesis layer to train the speech synthesis model.
  • the speech synthesis model converges .
  • the content expressed by the speech sequence is the same as the content expressed by the text vector.
  • Step S102 Encode the reference speech sequence by the reference encoder to obtain a target reference embedding vector corresponding to the reference speech sequence.
  • the server After determining the reference speech sequence, the server encodes the reference speech sequence through the reference encoder in the speech synthesis model to obtain the target reference embedding vector corresponding to the reference speech sequence.
  • the reference encoder is composed of a convolutional neural network (Convolutional Neural Networks, CNN) layer and a recurrent neural network (Recurrent Neural Network, RNN) layer, and the convolutional neural network layer is composed of multiple layers of two-dimensional convolutions.
  • the cyclic neural network layer is composed of an RNN, where the core of the two-dimensional convolutional layer can be selected as 3*3, and the step size can be selected as 2*2. For example, if the CNN layer is 6 layers and 2 For the two-dimensional convolutional layer, the output channels of 32, 32, 64, 64, 128, and 128 can be sequentially set for the six-layer two-dimensional convolutional layer.
  • the reference speech sequence is processed by the convolutional neural network layer in the reference encoder to obtain the three-dimensional tensor corresponding to the reference speech sequence, that is, the audio features are extracted from the reference speech sequence and passed through the volume in turn
  • Each two-dimensional convolutional layer in the product neural network layer processes the audio feature to obtain a tensor, and transforms the tensor into a three-dimensional tensor, but maintains the time complexity of the output; then passes through the loop in the reference encoder
  • the neural network layer processes the three-dimensional tensor to obtain the target reference embedding vector corresponding to the reference speech sequence.
  • Step S103 Perform style labeling on the target reference embedding vector through the style labeling layer to obtain a target style embedding vector corresponding to the reference speech sequence.
  • the server After obtaining the target reference embedding vector, the server performs style marking on the target reference embedding vector through the style labeling layer of the speech synthesis model to obtain the target style embedding vector corresponding to the reference speech sequence.
  • the style tag layer stores the style weight that each style tag contributes to the reference speech sequence, and the sum of the style weights contributed by each style tag to the reference speech sequence is 1. It should be noted that each style tag pair The style weight contributed by the reference speech sequence is obtained when the training speech synthesis model converges.
  • the style weight contributed by each style marker to the reference speech sequence is obtained from the style marker layer, and the style weight contributed by each style marker to the reference speech sequence is multiplied by the target reference embedding vector to obtain each style marker Then, the sum of the style embedding vectors of each style tag is determined as the target style embedding vector corresponding to the reference speech sequence.
  • the style weights of each style marker together constitute a weighted set, which represents a kind of voice prosody, and can control the speech synthesis of the reference voice sequence, so that the reference voice sequence is played according to the voice prosody expressed by the weighted set.
  • Step S104 Perform a speech synthesis operation by the speech synthesis layer based on the target text vector and the target style embedding vector to obtain the target speech.
  • the server After obtaining the target style embedding vector, the server performs a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer in the speech synthesis model to obtain the target speech.
  • Figure 2 is a hierarchical schematic diagram of the speech synthesis model in the embodiment of this application.
  • the speech synthesis model includes a reference encoder, a style marking layer and a speech synthesis layer.
  • the input of the reference encoder is With reference to the speech sequence, the input of the speech synthesis layer is the target style embedding vector and the target text vector, and the output of the speech synthesis layer is the target speech.
  • the speech synthesis layer includes a vector splicing sublayer and a speech synthesis sublayer.
  • the speech synthesis sublayer is composed of an end-to-end speech synthesis model, namely a Tacotron model, which in turn consists of an encoder -Attention mechanism-decoder composition.
  • the target text vector and the target style embedding vector are spliced by the vector splicing sublayer in the speech synthesis layer to obtain the splicing vector of the target text sequence, and the speech synthesis sublayer in the speech synthesis layer is based on The splicing vector performs a speech synthesis operation to obtain the target speech corresponding to the target text sequence.
  • a state identifier is added to the speech synthesis layer.
  • the speech synthesis is ended.
  • the target text vector and the target style The embedded vector is input into the speech synthesis layer to perform the speech synthesis operation, and then during the execution of the speech synthesis operation, it is monitored in real time whether the state identifier of the speech synthesis layer is the identifier corresponding to the synthesis end state, and when the state of the speech synthesis layer is monitored.
  • the identifier is the identifier corresponding to the synthesis end state, stop performing the speech synthesis operation, and output the target speech corresponding to the target text sequence.
  • the reference speech sequence is processed by the reference encoder and the style labeling layer in the speech synthesis model, and the target style embedding vector, that is, the vector expression of the speech prosody, can be obtained.
  • the speech synthesis layer synthesizes speech together based on the target style embedding vector and the target text vector, and can obtain the speech prosody synthesized speech expressed according to the target style embedding vector, which can effectively improve the expressive accuracy of the synthesized speech.
  • FIG. 3 is a schematic flowchart of another speech synthesis method according to an embodiment of the application.
  • the speech synthesis method includes steps S201 to 204.
  • Step S201 Determine a reference speech sequence, and obtain a speech synthesis model and a target text vector corresponding to the target text sequence to be synthesized, where the speech synthesis model at least includes a reference encoder, a style marking layer and a speech synthesis layer.
  • the speech sequence can be an audio signal
  • the audio signal can be variable length or fixed length
  • the speech sequence can be composed of phonemes, which are the smallest unit or the smallest speech segment that constitutes a syllable, and are divided from the perspective of sound quality The smallest linear phonetic unit.
  • the speech synthesis model includes at least a reference encoder, a style marking layer and a speech synthesis layer, and the speech synthesis model is obtained through training.
  • Step S202 Encode the reference speech sequence by the reference encoder to obtain a target reference embedding vector corresponding to the reference speech sequence.
  • the server After determining the reference speech sequence, the server encodes the reference speech sequence through the reference encoder in the speech synthesis model to obtain the target reference embedding vector corresponding to the reference speech sequence.
  • the reference speech sequence is processed by the convolutional neural network layer in the reference encoder to obtain the three-dimensional tensor corresponding to the reference speech sequence, that is, the audio features are extracted from the reference speech sequence and passed through the volume in turn
  • Each two-dimensional convolutional layer in the product neural network layer processes the audio feature to obtain a tensor, and transforms the tensor into a three-dimensional tensor, but maintains the time complexity of the output; then passes through the loop in the reference encoder
  • the neural network layer processes the three-dimensional tensor to obtain the target reference embedding vector corresponding to the reference speech sequence.
  • Step S203 Perform style labeling on the target reference embedding vector through the style labeling layer to obtain the target style embedding vector corresponding to the reference speech sequence.
  • step S203 includes sub-steps S2031 to S2033.
  • Sub-step S2031 through the attention mechanism in the style tag layer, calculate the similarity between the preset vector corresponding to each style tag and the target reference embedding vector.
  • the attention mechanism in the style labeling layer is also trained together.
  • the attention mechanism in the style labeling layer also converges accordingly.
  • each style of convergence is obtained. Mark the corresponding reference embedding vector, and then fix the reference embedding vector corresponding to each style mark as a preset vector in the style mark layer.
  • the attention mechanism in the style marker layer is used to calculate the similarity between the preset vector corresponding to each style marker and the target reference embedding vector.
  • the attention mechanism may be a multi-head attention mechanism, or a content-based attention mechanism, or a location-based attention mechanism, or a combination of several attention mechanisms.
  • Sub-step S2032 according to the similarity between the preset vector corresponding to each style marker and the target reference embedding vector, determine the style weight that each style marker contributes to the reference speech sequence.
  • each style marker After determining the similarity between the preset vector corresponding to each style marker and the target reference embedding vector, determine each style marker according to the similarity between the preset vector corresponding to each style marker and the target reference embedding vector.
  • the style weight contributed by the style tag to the reference speech sequence that is, the similarity between the preset vector corresponding to each style tag and the target reference embedding vector is accumulated to obtain the total similarity, and the preset vector corresponding to each style tag is calculated
  • the ratio of the similarity with the target reference embedding vector to the total similarity, and then the ratio of the similarity between the preset vector corresponding to each style marker and the target reference embedding vector to the total similarity is determined as The style weight that each style tag contributes to the reference speech sequence.
  • each style marker is 0.3, 0.15, 0.2, 0.2, and 0.15, respectively
  • the style weight of each style marker's contribution to the reference speech sequence is 0.3, 0.15, 0.2, 0.2, and 0.15, respectively.
  • Sub-step S2033 Determine the target style embedding vector corresponding to the reference speech sequence according to the style weight contributed by each style marker to the reference speech sequence.
  • each style tag After determining the style weight that each style tag contributes to the reference speech sequence, multiply the style weight contributed by each style tag to the reference speech sequence by the target reference embedding vector to obtain the style embedding vector of each style tag, and then The style embedding vector of each style marker is accumulated to obtain the target style embedding vector corresponding to the reference speech sequence.
  • Step S204 Perform a speech synthesis operation by the speech synthesis layer based on the target text vector and the target style embedding vector to obtain the target speech.
  • the server After obtaining the target style embedding vector, the server performs a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer in the speech synthesis model to obtain the target speech.
  • the target text vector and the target style embedding vector are spliced by the vector splicing sublayer in the speech synthesis layer to obtain the splicing vector of the target text sequence, and the speech synthesis sublayer in the speech synthesis layer is based on The splicing vector performs a speech synthesis operation to obtain the target speech corresponding to the target text sequence.
  • the attention mechanism in the style tag layer can accurately calculate the style weight that each style tag contributes to the reference speech sequence, so that the speech prosody representation of the reference speech sequence can be accurately determined.
  • the speech synthesis layer in the speech synthesis model based on the target style embedding vector and the target text vector, the speech is synthesized together, and the speech prosody synthesized speech expressed according to the target style embedding vector can be obtained, which can effectively improve the expressive accuracy of the synthesized speech .
  • FIG. 4 is a schematic block diagram of a speech synthesis device provided by an embodiment of the application.
  • the speech synthesis device 300 includes: a determination module 301, an acquisition module 302, an encoding module 303, a style marking module 304, and a speech synthesis module 305.
  • the determining module 301 is used to determine a reference voice sequence.
  • the determining module 301 is further configured to obtain a voice style number from the voice synthesis request when a voice synthesis request is monitored; obtain a voice sequence corresponding to the voice style number, and combine the The speech sequence is determined as the reference speech sequence.
  • the obtaining module 302 is configured to obtain a speech synthesis model and a target text vector corresponding to the target text sequence to be synthesized, where the speech synthesis model at least includes a reference encoder, a style marking layer, and speech synthesis.
  • the encoding module 303 is configured to encode the reference speech sequence through the reference encoder to obtain a target reference embedding vector corresponding to the reference speech sequence.
  • the encoding module 303 is further configured to process the reference voice sequence through the convolutional neural network layer in the reference encoder to obtain the three-dimensional tensor corresponding to the reference voice sequence;
  • the recurrent neural network layer in the reference encoder processes the three-dimensional tensor to obtain the target reference embedding vector corresponding to the reference speech sequence.
  • the style marking module 304 is configured to perform style marking on the target reference embedding vector through the style marking layer to obtain the target style embedding vector corresponding to the reference speech sequence.
  • the style tagging module 304 is further configured to obtain the style weight of each style tag's contribution to the reference speech sequence from the style tag layer; The contributed style weight is multiplied by the target reference embedding vector to obtain the style embedding vector of each style marker; the style embedding vector of each style marker is accumulated to obtain the target style embedding vector corresponding to the reference speech sequence.
  • the speech synthesis module 305 is configured to perform a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer to obtain the target speech.
  • the speech synthesis module 305 is further configured to splice the target text vector and the target style embedding vector through the vector splicing sublayer in the speech synthesis layer to obtain the target text sequence
  • the splicing vector; the speech synthesis sublayer in the speech synthesis layer performs a speech synthesis operation based on the splicing vector to obtain the target speech corresponding to the target text sequence.
  • the speech synthesis module 305 is further configured to input the target text vector and the target style embedding vector into the speech synthesis layer to perform a speech synthesis operation; in the process of performing the speech synthesis operation, Real-time monitoring of whether the state identifier of the speech synthesis layer is the identifier corresponding to the synthesis end state; when monitoring the state identifier of the speech synthesis layer is the identifier corresponding to the synthesis end state, stop performing the speech synthesis operation and output The target voice corresponding to the target text sequence.
  • FIG. 5 is a schematic block diagram of another speech synthesis apparatus provided by an embodiment of the application.
  • the speech synthesis device 400 includes: a determination module 401, an acquisition module 402, an encoding module 403, a style marking module 404, and a speech synthesis module 405.
  • the determining module 401 is used to determine a reference voice sequence.
  • the obtaining module 402 is configured to obtain a speech synthesis model and a target text vector corresponding to a target text sequence to be synthesized, wherein the speech synthesis model at least includes a reference encoder, a style marking layer, and speech synthesis.
  • the encoding module 403 is configured to encode the reference speech sequence through the reference encoder to obtain a target reference embedding vector corresponding to the reference speech sequence.
  • the style marking module 404 is configured to perform style marking on the target reference embedding vector through the style marking layer to obtain the target style embedding vector corresponding to the reference speech sequence.
  • the style marking module 404 includes:
  • the calculation sub-module 4041 is configured to calculate the similarity between the preset vector corresponding to each style mark and the target reference embedding vector through the attention mechanism in the style mark layer.
  • the weight determination sub-module 4042 is configured to determine the style weight that each style marker contributes to the reference speech sequence according to the similarity between the preset vector corresponding to each style marker and the target reference embedding vector.
  • the vector determining sub-module 4043 is configured to determine the target style embedding vector corresponding to the reference speech sequence according to the style weight of each style tag's contribution to the reference speech sequence.
  • the speech synthesis module 405 is configured to perform a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer to obtain the target speech.
  • the apparatus provided in the foregoing embodiment may be implemented in the form of a computer program, and the computer program may run on the computer device as shown in FIG. 6.
  • FIG. 6 is a schematic block diagram of a structure of a computer device provided by an embodiment of the application.
  • the computer device may be a server.
  • the computer device includes a processor, a memory, and a network interface connected through a system bus, where the memory may include a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium can store an operating system and a computer program.
  • the computer program includes program instructions, and when the program instructions are executed, the processor can execute any speech synthesis method.
  • the processor is used to provide computing and control capabilities and support the operation of the entire computer equipment.
  • the internal memory provides an environment for the operation of the computer program in the non-volatile storage medium.
  • the processor can execute any speech synthesis method.
  • the network interface is used for network communication, such as sending assigned tasks.
  • the network interface is used for network communication, such as sending assigned tasks.
  • FIG. 6 is only a block diagram of part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device to which the solution of the present application is applied.
  • the specific computer device may Including more or fewer parts than shown in the figure, or combining some parts, or having a different arrangement of parts.
  • the processor may be a central processing unit (Central Processing Unit, CPU), the processor may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), and application specific integrated circuits (Application Specific Integrated Circuits). Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • the processor is used to run a computer program stored in a memory to implement the following steps:
  • the speech synthesis model at least includes a reference encoder, a style marking layer, and a speech synthesis layer;
  • the speech synthesis layer performs a speech synthesis operation based on the target text vector and the target style embedding vector to obtain the target speech.
  • the processor when the processor implements the encoding of the reference speech sequence by the reference encoder to obtain the target reference embedding vector corresponding to the reference speech sequence, the processor is configured to implement:
  • the three-dimensional tensor is processed by the recurrent neural network layer in the reference encoder to obtain the target reference embedding vector corresponding to the reference speech sequence.
  • the processor when the processor implements style labeling on the target reference embedding vector through the style labeling layer to obtain the target style embedding vector corresponding to the reference speech sequence, the processor is configured to implement:
  • the style embedding vector of each style marker is accumulated to obtain the target style embedding vector corresponding to the reference speech sequence.
  • the processor when the processor implements a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer to obtain the target speech, it is used to achieve:
  • the speech synthesis sublayer in the speech synthesis layer performs a speech synthesis operation based on the splicing vector to obtain the target speech corresponding to the target text sequence.
  • the processor when the processor implements a speech synthesis operation based on the target text vector and the target style embedding vector through the speech synthesis layer to obtain the target speech, it is used to achieve:
  • the state identifier of the monitored speech synthesis layer is the identifier corresponding to the synthesis end state, stop performing the speech synthesis operation, and output the target voice corresponding to the target text sequence.
  • the processor when the processor implements the determination of the reference speech sequence, it is used to implement:
  • the processor is configured to run a computer program stored in a memory, so as to implement style marking on the target reference embedding vector through the style marking layer to obtain the corresponding reference speech sequence
  • the steps of embedding the target style into the vector include:
  • the target style embedding vector corresponding to the reference speech sequence is determined.
  • the embodiments of the present application also provide a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes program instructions, and the method implemented when the program instructions are executed can refer to this Apply for various embodiments of the speech synthesis method.
  • the computer-readable storage medium may be the internal storage unit of the computer device described in the foregoing embodiment, such as the hard disk or memory of the computer device.
  • the computer-readable storage medium may also be an external storage device of the computer device, such as a plug-in hard disk, a smart memory card (SMC), or a secure digital (Secure Digital, SD) equipped on the computer device. ) Card, Flash Card, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种语音合成方法、装置、设备及计算机可读存储介质，该方法包括：确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量（S101）；通过参考编码器对参考语音序列进行编码，得到参考语音序列对应的目标参考嵌入向量（S102）；通过风格标记层对目标参考嵌入向量进行风格标记，得到参考语音序列对应的目标风格嵌入向量（S103）；通过语音合成层基于目标文本向量和目标风格嵌入向量，执行语音合成操作，得到目标语音（S104）。该方法能够得到目标风格嵌入向量表达的语音韵律合成语音，有效提高合成语音的表达力和精确性。

Description

语音合成方法、装置、设备及计算机可读存储介质
本申请要求于2019年5月20日提交中国专利局、申请号为201910420154.9、发明名称为“语音合成方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及语音合成的技术领域，尤其涉及一种语音合成方法、装置、设备及计算机可读存储介质。
背景技术
随着TTS(Text To Speech，从文本到语音)系统的快速发展，使用TTS系统的场景也越来越多，如语音书的朗读、新闻阅读和交谈助手等，其中，神经网络模型具备合成有表达性效果语音的性能，但为了合成更像真人的语音，神经网络模型必须学习韵律，而韵律是语音中一组现象的组合，例如副语言信息、腔调、重音和风格等。
风格包含了丰富的信息，如意图、情绪和影响说话者的腔调和语音流等，因此很难精准的定义语音的风格，而目前的TTS系统以及端到端的语音合成系统，仅能学习一个输入数据的平均韵律分布，没有风格的控制，对于较长的文本句子无法合成具备精准表达力的语音。因此，如何提高合成语音的表达力精确性是目前亟待解决的问题。
发明内容
本申请的主要目的在于提供一种语音合成方法、装置、设备及计算机可读存储介质，旨在提高合成语音的表达力精确性。
第一方面，本申请提供一种语音合成方法，所述语音合成方法包括以下步骤：
确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述 参考语音序列对应的目标风格嵌入向量；
通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
第二方面，本申请还提供一种语音合成装置，所述语音合成装置包括：
确定模块，用于确定参考语音序列；
获取模块，用于获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
编码模块，用于通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
风格标记模块，用于通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量；
语音合成模块，用于通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的语音合成方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的语音合成方法的步骤。
本申请提供一种语音合成方法、装置、设备及计算机可读存储介质，本申请通过语音合成模型中的参考编码器和风格标记层对参考语音序列进行处理，可以得到目标风格嵌入向量，即语音韵律的向量表达，然后通过语音合成模型中的语音合成层，基于目标风格嵌入向量和目标文本向量，共同合成语音，可以得到按照该目标风格嵌入向量表达的语音韵律合成语音，可以有效的提高合成语音的表达力精确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种语音合成方法的流程示意图；
图2为本申请实施例中的语音合成模型的一层级示意图；
图3为本申请实施例提供的另一种语音合成方法的流程示意图；
图4为本申请实施例提供的一种语音合成装置的示意性框图；
图5为本申请实施例提供的另一种语音合成装置的示意性框图；
图6为本申请一实施例涉及的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种语音合成方法、装置、计算机设备及计算机可读存储介质。其中，该语音合成方法可应用于服务器中，该服务器可以为单台的服务器，也可以为服务器集群。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请的实施例提供的一种语音合成方法的流程示意图。
如图1所示，该语音合成方法，用于提高合成语音的表达力精确性，其中该语音合成方法包括步骤S101至步骤S104。
步骤S101、确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层。
在需要合成具有精确表达力的语音时，需要先确定参与语音合成的参考语音序列，然后按照参考语音序列的语音韵律来合成文本对应的语音，为此可以预存至少一个语音序列，在需要合成语音时，将预存的至少一个语音序列确定为参考语音序列。其中，语音序列可以是音频信号，该音频信号可以是变长的或者是固定长度的，该语音序列可由音素组成，音素是构成音节的最小单位或最小的语音片段，是从音质的角度划分出来的最小的线性的语音单位。
在一实施例中，为了灵活的改变合成语音的韵律，可以通过选择的方式确定参考语音序列，具体为当监测到语音合成请求时，从该语音合成请求中 获取语音风格编号，并获取该语音风格标号对应的语音序列，然后将该语音序列确定为参考语音序列。其中，服务器中存储有语音风格编号与语音序列的映射关系表，通过查询该映射关系表即可得到每个语音风格编号对应的语音序列。
在确定参考语音序列的同时，获取语音合成模型和参与语音合成的目标文本序列对应的目标文本向量，其中，语音合成模型至少包括参考编码器、风格标记层和语音合成层，该语音合成模型是通过训练得到的，且训练过程为：确定待训练的语音合成模型，包括参考编码器、风格标记层和语音合成层，并将作为样本的语音序列输入该参考编码器，得到参考嵌入向量，然后将该参考嵌入向量输入该风格标记层，得到风格嵌入向量，并将作为样本的文本向量与该风格嵌入向量输入至该语音合成层，从而训练语音合成模型，通过不断迭代训练直到语音合成模型收敛。其中，该语音序列所表达的内容与该文本向量表达的内容相同。
步骤S102、通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量。
在确定参考语音序列之后，该服务器通过该语音合成模型中的参考编码器对该参考语音序列进行编码，得到该参考语音序列对应的目标参考嵌入向量。在一实施例中，该参考编码器由卷积神经网络(Convolutional Neural Networks，CNN)层和循环神经网络(Recurrent Neural Network，RNN)层组成，且该卷积神经网络层由多层二维卷积层组成，该循环神经网络层由一个RNN组成，其中，该二维卷积层的核可选为3*3，步长可选为2*2，例如，如果该CNN层为6层二维卷积层，则可以为这六层的二维卷积层依次设置32、32、64、64、128和128的输出通道。
具体地，通过该参考编码器中的卷积神经网络层对该参考语音序列进行处理，得到该参考语音序列对应的三维张量，即从该参考语音序列中提取音频特征，并依次通过该卷积神经网络层中的每个二维卷积层处理该音频特征，得到张量，并将该张量变换为三维张量，但保持输出的时间复杂度；然后通过该参考编码器中的循环神经网络层对该三维张量进行处理，得到该参考语音序列对应的目标参考嵌入向量。
步骤S103、通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量。
在得到目标参考嵌入向量之后，该服务器通过该语音合成模型的风格标记层对该目标参考嵌入向量进行风格标记，得到该参考语音序列对应的目标风格嵌入向量。其中，该风格标记层中存储有每个风格标记对参考语音序列贡献的风格权重，且每个风格标记对参考语音序列贡献的风格权重之和为1， 需要说明的是，每个风格标记对参考语音序列贡献的风格权重是在训练语音合成模型收敛时得到的。
具体地，从该风格标记层获取每个风格标记对该参考语音序列贡献的风格权重，并用每个风格标记对该参考语音序列贡献的风格权重乘以该目标参考嵌入向量，得到每个风格标记的风格嵌入向量，然后将每个风格标记的风格嵌入向量之和确定为该参考语音序列对应的目标风格嵌入向量。需要说明的是，该每个风格标记的风格权重共同构成一个权重组，表示一种语音韵律，可以控制参考语音序列的语音合成，使得参考语音序列按照该权重组表达的语音韵律播放。
步骤S104、通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
在得到目标风格嵌入向量之后，该服务器通过语音合成模型中的语音合成层基于该目标文本向量和该目标风格嵌入向量，执行语音合成操作，得到目标语音。请参照图2，图2为本申请实施例中语音合成模型的一层级示意图，如图2所示，该语音合成模型包括参考编码器、风格标记层和语音合成层，参考编码器的输入为参考语音序列，语音合成层的输入为目标风格嵌入向量和目标文本向量，语音合成层的输出为目标语音。
在一实施例中，该语音合成层包括向量拼接子层和语音合成子层，可选地，该语音合成子层由端对端的语音合成模型，即Tacotron模型组成，该Tacotron模型依次由编码器-注意力机制-解码器组成。具体地，通过该语音合成层中的向量拼接子层对该目标文本向量和该目标风格嵌入向量进行拼接，得到该目标文本序列的拼接向量，并通过该语音合成层中的语音合成子层基于该拼接向量，执行语音合成操作，得到该目标文本序列对应的目标语音。
在一实施例中，为提高语音合成速度，在语音合成层中加入状态标识符，当状态标识符为合成结束状态对应的标识符时，结束语音合成，具体地，将目标文本向量和目标风格嵌入向量输入语音合成层，执行语音合成操作，然后在执行语音合成操作的过程中，实时监测该语音合成层的状态标识符是否为合成结束状态对应的标识符，当监测该语音合成层的状态标识符为合成结束状态对应的标识符时，停止执行语音合成操作，并输出该目标文本序列对应的目标语音。
上述实施例提供的语音合成方法，通过语音合成模型中的参考编码器和风格标记层对参考语音序列进行处理，可以得到目标风格嵌入向量，即语音韵律的向量表达，然后通过语音合成模型中的语音合成层，基于目标风格嵌入向量和目标文本向量，共同合成语音，可以得到按照该目标风格嵌入向量表达的语音韵律合成语音，可以有效的提高合成语音的表达力精确性。
请参照图3，图3为本申请实施例提供的另一种语音合成方法的流程示意图。
如图3所示，该语音合成方法包括步骤S201至204。
步骤S201、确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层。
在需要合成具有精确表达力的语音时，需要先确定参与语音合成的参考语音序列，然后按照参考语音序列的语音韵律来合成文本对应的语音，为此可以预存至少一个语音序列，在需要合成语音时，将预存的至少一个语音序列确定为参考语音序列。其中，语音序列可以是音频信号，该音频信号可以是变长的或者是固定长度的，该语音序列可由音素组成，音素是构成音节的最小单位或最小的语音片段，是从音质的角度划分出来的最小的线性的语音单位。其中，语音合成模型至少包括参考编码器、风格标记层和语音合成层，该语音合成模型是通过训练得到的。
步骤S202、通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量。
在确定参考语音序列之后，该服务器通过该语音合成模型中的参考编码器对该参考语音序列进行编码，得到该参考语音序列对应的目标参考嵌入向量。具体地，通过该参考编码器中的卷积神经网络层对该参考语音序列进行处理，得到该参考语音序列对应的三维张量，即从该参考语音序列中提取音频特征，并依次通过该卷积神经网络层中的每个二维卷积层处理该音频特征，得到张量，并将该张量变换为三维张量，但保持输出的时间复杂度；然后通过该参考编码器中的循环神经网络层对该三维张量进行处理，得到该参考语音序列对应的目标参考嵌入向量。
步骤S203、通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量。
在得到目标参考嵌入向量之后，该服务器通过该语音合成模型的风格标记层对该目标参考嵌入向量进行风格标记，得到该参考语音序列对应的目标风格嵌入向量。目标风格嵌入向量表示一种参考语音序列的语音韵律，为准确的确定参考语音序列的语音韵律表示，具体地，参照图3，步骤S203包括子步骤S2031至S2033。
子步骤S2031、通过所述风格标记层中的注意力机制，计算每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度。
其中，在训练语音合成模型的过程中，风格标记层中的注意力机制也一起训练，在语音合成模型收敛时，风格标记层中的注意力机制也相应的收敛， 同时获取收敛时每个风格标记对应的参考嵌入向量，然后将每个风格标记对应的参考嵌入向量作为预设向量固化在风格标记层中。
在得到目标参考嵌入向量之后，通过风格标记层中的注意力机制，计算每个风格标记对应的预设向量与该目标参考嵌入向量之间的相似度。其中，该注意力机制可以是多头注意力机制，或者是基于内容的注意力机制，或者是基于位置的注意力机制，或者是基于几种注意力机制的结合。
子步骤S2032、根据每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度，确定每个风格标记对所述参考语音序列贡献的风格权重。
在确定每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度之后，根据每个风格标记对应的预设向量与该目标参考嵌入向量之间的相似度，确定每个风格标记对参考语音序列贡献的风格权重，即累加每个风格标记对应的预设向量与该目标参考嵌入向量之间的相似度，得到总相似度，并计算每个风格标记对应的预设向量与该目标参考嵌入向量之间的相似度占该总相似度的比率，然后将每个风格标记对应的预设向量与该目标参考嵌入向量之间的相似度占该总相似度的比率确定为每个风格标记对参考语音序列贡献的风格权重。
例如，风格标记的数量为5，且每个风格标记对应的预设向量与该目标参考嵌入向量之间的相似度分别为0.6、0.3、0.4、0.4和0.3，则总相似度为2，每个风格标记的该相似度与总相似度之比分别为0.3、0.15、0.2、0.2和0.15，则每个风格标记对参考语音序列贡献的风格权重分别为0.3、0.15、0.2、0.2和0.15。
子步骤S2033、根据每个风格标记对所述参考语音序列贡献的风格权重，确定所述参考语音序列对应的目标风格嵌入向量。
在确定每个风格标记对该参考语音序列贡献的风格权重之后，用每个风格标记对该参考语音序列贡献的风格权重乘以该目标参考嵌入向量，得到每个风格标记的风格嵌入向量，然后累加每个风格标记的风格嵌入向量，得到该参考语音序列对应的目标风格嵌入向量。
步骤S204、通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
在得到目标风格嵌入向量之后，该服务器通过语音合成模型中的语音合成层基于该目标文本向量和该目标风格嵌入向量，执行语音合成操作，得到目标语音。具体地，通过该语音合成层中的向量拼接子层对该目标文本向量和该目标风格嵌入向量进行拼接，得到该目标文本序列的拼接向量，并通过该语音合成层中的语音合成子层基于该拼接向量，执行语音合成操作，得到该目标文本序列对应的目标语音。
上述实施例提供的语音合成方法，通过风格标记层中的注意力机制，可以准确计算出每个风格标记对参考语音序列贡献的风格权重，从而可以准确的确定参考语音序列的语音韵律表示，同时通过语音合成模型中的语音合成层，基于目标风格嵌入向量和目标文本向量，共同合成语音，可以得到按照该目标风格嵌入向量表达的语音韵律合成语音，可以有效的提高合成语音的表达力精确性。
请参照图4，图4为本申请实施例提供的一种语音合成装置的示意性框图。
如图4所示，该语音合成装置300，包括：确定模块301、获取模块302、编码模块303、风格标记模块304和语音合成模块305。
确定模块301，用于确定参考语音序列。
在一实施例中，所述确定模块301，还用于当监测到语音合成请求时，从所述语音合成请求中获取语音风格编号；获取所述语音风格编号对应的语音序列，并将所述语音序列确定为参考语音序列。
获取模块302，用于获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成。
编码模块303，用于通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量。
在一实施例中，所述编码模块303，还用于通过所述参考编码器中的卷积神经网络层对所述参考语音序列进行处理，得到所述参考语音序列对应的三维张量；通过所述参考编码器中的循环神经网络层对所述三维张量进行处理，得到所述参考语音序列对应的目标参考嵌入向量。
风格标记模块304，用于通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量。
在一实施例中，所述风格标记模块304，还用于从所述风格标记层中获取每个风格标记对所述参考语音序列贡献的风格权重；用每个风格标记对所述参考语音序列贡献的风格权重乘以所述目标参考嵌入向量，得到每个风格标记的风格嵌入向量；累加每个风格标记的风格嵌入向量，得到所述参考语音序列对应的目标风格嵌入向量。
语音合成模块305，用于通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
在一实施例中，所述语音合成模块305，还用于通过所述语音合成层中的向量拼接子层对所述目标文本向量和所述目标风格嵌入向量进行拼接，得到所述目标文本序列的拼接向量；通过所述语音合成层中的语音合成子层基于所述拼接向量，执行语音合成操作，得到所述目标文本序列对应的目标语音。
在一实施例中，所述语音合成模块305，还用于将所述目标文本向量和所述目标风格嵌入向量输入所述语音合成层，执行语音合成操作；在执行语音合成操作的过程中，实时监测所述语音合成层的状态标识符是否为合成结束状态对应的标识符；当监测所述语音合成层的状态标识符为合成结束状态对应的标识符时，停止执行语音合成操作，并输出所述目标文本序列对应的目标语音。
请参照图5，图5为本申请实施例提供的另一种语音合成装置的示意性框图。
如图5所示，该语音合成装置400，包括：确定模块401、获取模块402、编码模块403、风格标记模块404和语音合成模块405。
确定模块401，用于确定参考语音序列。
获取模块402，用于获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成。
编码模块403，用于通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量。
风格标记模块404，用于通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量。
在一实施例中，如图5所示，所述风格标记模块404包括：
计算子模块4041，用于通过所述风格标记层中的注意力机制，计算每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度。
权重确定子模块4042，用于根据每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度，确定每个风格标记对所述参考语音序列贡献的风格权重。
向量确定子模块4043，用于根据每个风格标记对所述参考语音序列贡献的风格权重，确定所述参考语音序列对应的目标风格嵌入向量。
语音合成模块405，用于通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述语音合成方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器。
如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种语音合成方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种语音合成方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量；
通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
在一个实施例中，所述处理器在实现通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量时，用于实现：
通过所述参考编码器中的卷积神经网络层对所述参考语音序列进行处理，得到所述参考语音序列对应的三维张量；
通过所述参考编码器中的循环神经网络层对所述三维张量进行处理，得 到所述参考语音序列对应的目标参考嵌入向量。
在一个实施例中，所述处理器在实现通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量时，用于实现：
从所述风格标记层中获取每个风格标记对所述参考语音序列贡献的风格权重；
用每个风格标记对所述参考语音序列贡献的风格权重乘以所述目标参考嵌入向量，得到每个风格标记的风格嵌入向量；
累加每个风格标记的风格嵌入向量，得到所述参考语音序列对应的目标风格嵌入向量。
在一个实施例中，所述处理器在实现通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音时，用于实现：
通过所述语音合成层中的向量拼接子层对所述目标文本向量和所述目标风格嵌入向量进行拼接，得到所述目标文本序列的拼接向量；
通过所述语音合成层中的语音合成子层基于所述拼接向量，执行语音合成操作，得到所述目标文本序列对应的目标语音。
在一个实施例中，所述处理器在实现通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音时，用于实现：
将所述目标文本向量和所述目标风格嵌入向量输入所述语音合成层，执行语音合成操作；
在执行语音合成操作的过程中，实时监测所述语音合成层的状态标识符是否为合成结束状态对应的标识符；
当监测所述语音合成层的状态标识符为合成结束状态对应的标识符时，停止执行语音合成操作，并输出所述目标文本序列对应的目标语音。
在一个实施例中，所述处理器在实现确定参考语音序列时，用于实现：
当监测到语音合成请求时，从所述语音合成请求中获取语音风格编号；
获取所述语音风格编号对应的语音序列，并将所述语音序列确定为参考语音序列。
其中，在另一实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量的步骤包括：
通过所述风格标记层中的注意力机制，计算每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度；
根据每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度，确定每个风格标记对所述参考语音序列贡献的风格权重；
根据每个风格标记对所述参考语音序列贡献的风格权重，确定所述参考语音序列对应的目标风格嵌入向量。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请语音合成方法的各个实施例。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种语音合成方法，包括：
    确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
    通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
    通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量；
    通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
  2. 如权利要求1所述的语音合成方法，其中，所述通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量的步骤包括：
    通过所述参考编码器中的卷积神经网络层对所述参考语音序列进行处理，得到所述参考语音序列对应的三维张量；
    通过所述参考编码器中的循环神经网络层对所述三维张量进行处理，得到所述参考语音序列对应的目标参考嵌入向量。
  3. 如权利要求1所述的语音合成方法，其中，所述通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量的步骤包括：
    通过所述风格标记层中的注意力机制，计算每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度；
    根据每个风格标记对应的预设向量与所述目标参考嵌入向量之间的相似度，确定每个风格标记对所述参考语音序列贡献的风格权重；
    根据每个风格标记对所述参考语音序列贡献的风格权重，确定所述参考语音序列对应的目标风格嵌入向量。
  4. 如权利要求1所述的语音合成方法，其中，所述通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量的步骤包括：
    从所述风格标记层中获取每个风格标记对所述参考语音序列贡献的风格权重；
    用每个风格标记对所述参考语音序列贡献的风格权重乘以所述目标参考嵌入向量，得到每个风格标记的风格嵌入向量；
    累加每个风格标记的风格嵌入向量，得到所述参考语音序列对应的目标风格嵌入向量。
  5. 如权利要求1所述的语音合成方法，其中，所述通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音的步骤包括：
    通过所述语音合成层中的向量拼接子层对所述目标文本向量和所述目标风格嵌入向量进行拼接，得到所述目标文本序列的拼接向量；
    通过所述语音合成层中的语音合成子层基于所述拼接向量，执行语音合成操作，得到所述目标文本序列对应的目标语音。
  6. 如权利要求1-5中任一项所述的语音合成方法，其中，所述通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音的步骤包括：
    将所述目标文本向量和所述目标风格嵌入向量输入所述语音合成层，执行语音合成操作；
    在执行语音合成操作的过程中，实时监测所述语音合成层的状态标识符是否为合成结束状态对应的标识符；
    当监测所述语音合成层的状态标识符为合成结束状态对应的标识符时，停止执行语音合成操作，并输出所述目标文本序列对应的目标语音。
  7. 如权利要求1-5中任一项所述的语音合成方法，其中，所述确定参考语音序列的步骤包括：
    当监测到语音合成请求时，从所述语音合成请求中获取语音风格编号；
    获取所述语音风格编号对应的语音序列，并将所述语音序列确定为参考语音序列。
  8. 一种语音合成装置，其中，所述语音合成装置包括：
    确定模块，用于确定参考语音序列；
    获取模块，用于获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
    编码模块，用于通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
    风格标记模块，用于通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量；
    语音合成模块，用于通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
  9. 一种计算机设备，其中，所述计算机设备包括处理器、存储器、以及 存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现以下步骤：
    确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
    通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
    通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量；
    通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
  10. 如权利要求9所述的计算机设备，其中，所述处理器在实现通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量时，用于实现：
    通过所述参考编码器中的卷积神经网络层对所述参考语音序列进行处理，得到所述参考语音序列对应的三维张量；
    通过所述参考编码器中的循环神经网络层对所述三维张量进行处理，得到所述参考语音序列对应的目标参考嵌入向量。
  11. 如权利要求9所述的计算机设备，其中，所述处理器在实现通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量时，用于实现：
    从所述风格标记层中获取每个风格标记对所述参考语音序列贡献的风格权重；
    用每个风格标记对所述参考语音序列贡献的风格权重乘以所述目标参考嵌入向量，得到每个风格标记的风格嵌入向量；
    累加每个风格标记的风格嵌入向量，得到所述参考语音序列对应的目标风格嵌入向量。
  12. 如权利要求9所述的计算机设备，其中，所述处理器在实现通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量时，用于实现：
    通过所述语音合成层中的向量拼接子层对所述目标文本向量和所述目标风格嵌入向量进行拼接，得到所述目标文本序列的拼接向量；
    通过所述语音合成层中的语音合成子层基于所述拼接向量，执行语音合成操作，得到所述目标文本序列对应的目标语音。
  13. 如权利要求9所述的计算机设备，其中，所述处理器在实现通过所 述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音时，用于实现：
    将所述目标文本向量和所述目标风格嵌入向量输入所述语音合成层，执行语音合成操作；
    在执行语音合成操作的过程中，实时监测所述语音合成层的状态标识符是否为合成结束状态对应的标识符；
    当监测所述语音合成层的状态标识符为合成结束状态对应的标识符时，停止执行语音合成操作，并输出所述目标文本序列对应的目标语音。
  14. 如权利要求9-13中任一项所述的计算机设备，其中，所述处理器在实现确定参考语音序列时，用于实现：
    当监测到语音合成请求时，从所述语音合成请求中获取语音风格编号；
    获取所述语音风格编号对应的语音序列，并将所述语音序列确定为参考语音序列。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如下步骤：
    确定参考语音序列，并获取语音合成模型和待合成的目标文本序列对应的目标文本向量，其中，所述语音合成模型至少包括参考编码器、风格标记层和语音合成层；
    通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量；
    通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量；
    通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音。
  16. 如权利要求15所述的计算机可读存储介质，其中，所述处理器在实现通过所述参考编码器对所述参考语音序列进行编码，得到所述参考语音序列对应的目标参考嵌入向量时，用于实现：
    通过所述参考编码器中的卷积神经网络层对所述参考语音序列进行处理，得到所述参考语音序列对应的三维张量；
    通过所述参考编码器中的循环神经网络层对所述三维张量进行处理，得到所述参考语音序列对应的目标参考嵌入向量。
  17. 如权利要求15所述的计算机可读存储介质，其中，所述处理器在实现通过所述风格标记层对所述目标参考嵌入向量进行风格标记，得到所述参考语音序列对应的目标风格嵌入向量时，用于实现：
    从所述风格标记层中获取每个风格标记对所述参考语音序列贡献的风格 权重；
    用每个风格标记对所述参考语音序列贡献的风格权重乘以所述目标参考嵌入向量，得到每个风格标记的风格嵌入向量；
    累加每个风格标记的风格嵌入向量，得到所述参考语音序列对应的目标风格嵌入向量。
  18. 如权利要求15所述的计算机可读存储介质，其中，所述处理器在实现通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音时，用于实现：
    通过所述语音合成层中的向量拼接子层对所述目标文本向量和所述目标风格嵌入向量进行拼接，得到所述目标文本序列的拼接向量；
    通过所述语音合成层中的语音合成子层基于所述拼接向量，执行语音合成操作，得到所述目标文本序列对应的目标语音。
  19. 如权利要求15所述的计算机可读存储介质，其中，所述处理器在实现通过所述语音合成层基于所述目标文本向量和所述目标风格嵌入向量，执行语音合成操作，得到目标语音时，用于实现：
    将所述目标文本向量和所述目标风格嵌入向量输入所述语音合成层，执行语音合成操作；
    在执行语音合成操作的过程中，实时监测所述语音合成层的状态标识符是否为合成结束状态对应的标识符；
    当监测所述语音合成层的状态标识符为合成结束状态对应的标识符时，停止执行语音合成操作，并输出所述目标文本序列对应的目标语音。
  20. 如权利要求15-19中任一项所述的计算机可读存储介质，其中，所述处理器在实现确定参考语音序列时，用于实现：
    当监测到语音合成请求时，从所述语音合成请求中获取语音风格编号；
    获取所述语音风格编号对应的语音序列，并将所述语音序列确定为参考语音序列。
PCT/CN2019/117254 2019-05-20 2019-11-11 语音合成方法、装置、设备及计算机可读存储介质 Ceased WO2020232997A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910420154.9A CN110288973B (zh) 2019-05-20 2019-05-20 语音合成方法、装置、设备及计算机可读存储介质
CN201910420154.9 2019-05-20

Publications (1)

Publication Number Publication Date
WO2020232997A1 true WO2020232997A1 (zh) 2020-11-26

Family

ID=68002489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117254 Ceased WO2020232997A1 (zh) 2019-05-20 2019-11-11 语音合成方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110288973B (zh)
WO (1) WO2020232997A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118840998A (zh) * 2024-07-25 2024-10-25 平安科技（深圳）有限公司 基于人工智能的语音合成方法、装置、计算机设备及介质
CN119580701A (zh) * 2024-12-05 2025-03-07 平安科技（深圳）有限公司 一种语音合成方法、装置、计算机设备及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288973B (zh) * 2019-05-20 2024-03-29 平安科技（深圳）有限公司 语音合成方法、装置、设备及计算机可读存储介质
CN110738026B (zh) * 2019-10-23 2022-04-19 腾讯科技（深圳）有限公司 用于生成描述文本的方法和设备
SG10201912562SA (en) * 2019-12-18 2021-07-29 Yitu Pte Ltd A training method, a readable storage medium and a voice cloning method for a voice cloning model
CN111145720B (zh) * 2020-02-04 2022-06-21 清华珠三角研究院 一种将文本转换成语音的方法、系统、装置和存储介质
CN111508470B (zh) * 2020-04-26 2024-04-12 北京声智科技有限公司 一种语音合成模型的训练方法及装置
CN112837669B (zh) * 2020-05-21 2023-10-24 腾讯科技（深圳）有限公司 语音合成方法、装置及服务器
US11798527B2 (en) 2020-08-19 2023-10-24 Zhejiang Tonghu Ashun Intelligent Technology Co., Ltd. Systems and methods for synthesizing speech
CN111968616B (zh) * 2020-08-19 2024-11-08 浙江同花顺智能科技有限公司 一种语音合成模型的训练方法、装置、电子设备和存储介质
CN112349273B (zh) * 2020-11-05 2024-05-31 携程计算机技术（上海）有限公司 基于说话人的语音合成方法、模型训练方法及相关设备
CN112349271B (zh) * 2020-11-06 2024-07-16 北京乐学帮网络技术有限公司 语音信息处理方法、装置、电子设备及存储介质
CN112365881A (zh) * 2020-11-11 2021-02-12 北京百度网讯科技有限公司 语音合成方法及对应模型的训练方法、装置、设备与介质
CN112489620B (zh) * 2020-11-20 2022-09-09 北京有竹居网络技术有限公司 语音合成方法、装置、可读介质及电子设备
CN112289302B (zh) * 2020-12-18 2021-03-26 北京声智科技有限公司 音频数据的合成方法、装置、计算机设备及可读存储介质
CN112735377B (zh) * 2020-12-28 2024-01-02 平安科技（深圳）有限公司 语音合成方法、装置、终端设备及存储介质
CN112908294B (zh) * 2021-01-14 2024-04-05 杭州倒映有声科技有限公司 一种语音合成方法以及语音合成系统
CN112786009A (zh) * 2021-02-26 2021-05-11 平安科技（深圳）有限公司 语音合成方法、装置、设备及存储介质
CN113096634B (zh) * 2021-03-30 2024-03-01 平安科技（深圳）有限公司 语音合成方法、装置、服务器及存储介质
CN113345412A (zh) * 2021-05-31 2021-09-03 平安科技（深圳）有限公司 语音合成方法、装置、设备以及存储介质
CN113870828B (zh) * 2021-09-28 2025-06-03 维沃移动通信有限公司 音频合成方法、装置、电子设备和可读存储介质
CN116469372A (zh) * 2023-05-31 2023-07-21 平安科技（深圳）有限公司 语音合成方法、语音合成装置、电子设备及存储介质
CN117894294B (zh) * 2024-03-14 2024-07-05 暗物智能科技(广州)有限公司 拟人化的副语言语音合成方法及系统
CN119274535B (zh) * 2024-09-27 2025-12-26 腾讯科技（深圳）有限公司 一种语音处理方法、装置、设备、介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336880A1 (en) * 2017-05-19 2018-11-22 Baidu Usa Llc Systems and methods for multi-speaker neural text-to-speech
CN109616127A (zh) * 2018-11-15 2019-04-12 建湖云飞数据科技有限公司 一种音频数据融合方法
CN109754779A (zh) * 2019-01-14 2019-05-14 出门问问信息科技有限公司 可控情感语音合成方法、装置、电子设备及可读存储介质
CN110288973A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 语音合成方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201233A (zh) * 2011-05-20 2011-09-28 北京捷通华声语音技术有限公司 一种混搭语音合成方法和系统
KR102222122B1 (ko) * 2014-01-21 2021-03-03 엘지전자 주식회사 감성음성 합성장치, 감성음성 합성장치의 동작방법, 및 이를 포함하는 이동 단말기
CN108460365B (zh) * 2018-03-27 2022-04-12 百度在线网络技术（北京）有限公司 身份认证方法和装置
CN109036375B (zh) * 2018-07-25 2023-03-24 腾讯科技（深圳）有限公司 语音合成方法、模型训练方法、装置和计算机设备
CN110264991B (zh) * 2019-05-20 2023-12-22 平安科技（深圳）有限公司 语音合成模型的训练方法、语音合成方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336880A1 (en) * 2017-05-19 2018-11-22 Baidu Usa Llc Systems and methods for multi-speaker neural text-to-speech
CN109616127A (zh) * 2018-11-15 2019-04-12 建湖云飞数据科技有限公司 一种音频数据融合方法
CN109754779A (zh) * 2019-01-14 2019-05-14 出门问问信息科技有限公司 可控情感语音合成方法、装置、电子设备及可读存储介质
CN110288973A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 语音合成方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. WANG ET AL.: "Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis", ARXIV PREPRINT ARXIV:1803.09017, 23 March 2018 (2018-03-23), XP080862481 *
YE JIA ET AL.: "Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis", ARXIV PREPRINT ARXIV: 1806.04558V4, 12 June 2018 (2018-06-12), XP081425976 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118840998A (zh) * 2024-07-25 2024-10-25 平安科技（深圳）有限公司 基于人工智能的语音合成方法、装置、计算机设备及介质
CN119580701A (zh) * 2024-12-05 2025-03-07 平安科技（深圳）有限公司 一种语音合成方法、装置、计算机设备及存储介质
CN119580701B (zh) * 2024-12-05 2025-11-18 平安科技（深圳）有限公司 一种语音合成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110288973B (zh) 2024-03-29
CN110288973A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
WO2020232997A1 (zh) 语音合成方法、装置、设备及计算机可读存储介质
US20240177705A1 (en) Optimal human-machine conversations using emotion-enhanced natural speech using artificial neural networks and reinforcement learning
US11322133B2 (en) Expressive text-to-speech utilizing contextual word-level style tokens
WO2022178941A1 (zh) 语音合成方法、装置、设备及存储介质
CN111460115B (zh) 智能人机对话模型训练方法、模型训练装置及电子设备
CN114842826B (zh) 语音合成模型的训练方法、语音合成方法及相关设备
CN112163067A (zh) 一种语句答复方法、语句答复装置及电子设备
CN111951780A (zh) 语音合成的多任务模型训练方法及相关设备
CN114242033A (zh) 语音合成方法、装置、设备、存储介质及程序产品
CN114464164B (zh) 语音合成方法、装置、可读介质及电子设备
WO2022121179A1 (zh) 语音合成方法、装置、设备及存储介质
CN115083413B (zh) 语音交互方法、服务器和存储介质
CN116403558A (zh) 语音克隆模型的训练及语音合成的方法、装置和相关设备
CN110008476B (zh) 语义解析方法、装置、设备及存储介质
WO2018227169A1 (en) Optimal human-machine conversations using emotion-enhanced natural speech
CN114090727A (zh) 模型蒸馏方法、装置及存储介质
CN116152019A (zh) 法律文书结构化处理方法及装置
CN112735377B (zh) 语音合成方法、装置、终端设备及存储介质
CN114691716A (zh) Sql语句转换方法、装置、设备及计算机可读存储介质
CN117496925B (zh) 基于深度神经网络的音乐情感风格迁移方法、设备及介质
US11386056B2 (en) Duplicate multimedia entity identification and processing
US20250036874A1 (en) Prompt-based few-shot entity extraction
CN109559752A (zh) 语音识别方法和装置
CN111353295A (zh) 序列标注方法、装置、存储介质及计算机设备
CN115312026B (zh) 一种语音合成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930010

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930010

Country of ref document: EP

Kind code of ref document: A1