WO2021189984A1 - 语音合成方法、装置、设备及计算机可读存储介质 - Google Patents

语音合成方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2021189984A1
WO2021189984A1 PCT/CN2020/136421 CN2020136421W WO2021189984A1 WO 2021189984 A1 WO2021189984 A1 WO 2021189984A1 CN 2020136421 W CN2020136421 W CN 2020136421W WO 2021189984 A1 WO2021189984 A1 WO 2021189984A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
text
synthesized
prosodic
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/136421
Other languages
English (en)
French (fr)
Inventor
曾振
王健宗
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021189984A1 publication Critical patent/WO2021189984A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation

Definitions

  • This application relates to artificial intelligence, in particular to natural language processing, and in particular to a method, device, electronic device, and computer-readable storage medium for speech synthesis.
  • Speech synthesis technology is to generate understandable and anthropomorphic speech based on input text information.
  • human-computer interaction system it is widely used in various artificial intelligence terminals, such as smart speakers and smart customers.
  • mainstream speech synthesis systems can basically synthesize very stable and reliable speech. Therefore, the performance of a speech synthesis system is mainly judged based on the degree of personification of its synthesized voice, which has a very important impact on the experience of the interactive system.
  • the inventor realizes that people are very variable when speaking. Different emotions and rhythms will produce differentiated speech, while traditional speech synthesis technology directly synthesizes the corresponding speech according to the provided text.
  • the synthesized speech of the same text is basically the same, so it is difficult for us to synthesize specific emotional and prosodic speech.
  • the present application provides a speech synthesis method, device, electronic equipment, and computer-readable storage medium, the main purpose of which is to be able to switch the mood, emotion and prosody characteristics of synthesized speech in real time.
  • a speech synthesis method provided by this application includes:
  • the voice feature spectrum and the text to be synthesized are synthesized into a voice with prosodic emotion.
  • the present application also provides a speech synthesis device, the device includes:
  • the semantic extraction module is used to perform semantic extraction processing on the acquired text to be synthesized to obtain a semantic feature sequence
  • a prosodic emotion feature acquisition module configured to perform prosody prediction processing on the semantic feature sequence through a prosody prediction model to obtain the prosodic emotion feature of the text to be synthesized
  • Voice feature acquisition module used to simultaneously input the prosodic emotion feature and the pre-acquired syllable sequence of the text to be synthesized into a voice feature prediction model, perform voice prediction processing, and obtain the voice feature spectrum of the text to be synthesized;
  • Speech synthesis module used to synthesize speech with prosodic emotion from the speech feature spectrum and the text to be synthesized.
  • the present application also provides an electronic device, the electronic device including:
  • At least one processor and,
  • a memory communicatively connected with the at least one processor; wherein,
  • the memory stores instructions executable by the at least one processor, and the instructions are executed by the at least one processor, so that the at least one processor can execute the following steps:
  • the voice feature spectrum and the text to be synthesized are synthesized into a voice with prosodic emotion.
  • the present application also provides a computer-readable storage medium having at least one instruction stored in the computer-readable storage medium, and the at least one instruction is executed by a processor in an electronic device to implement The following steps:
  • the voice feature spectrum and the text to be synthesized are synthesized into a voice with prosodic emotion.
  • the speech synthesis method, device, electronic equipment and computer-readable storage medium proposed in this application obtain the semantic feature sequence by performing semantic extraction processing on the acquired text to be synthesized; and then perform prosody prediction processing on the semantic feature sequence through the prosody prediction model, Obtain prosodic emotional features; then simultaneously input the prosodic emotional features and the pre-acquired syllable sequence of the text to be synthesized into the voice feature prediction model, perform voice prediction processing, and obtain the voice feature spectrum; finally synthesize the voice feature spectrum with the text to be synthesized with prosody Emotional speech; can directly model and extract the prosodic emotional characteristics of the speech, obtain accurate prosody information to improve the prediction effect of speech synthesis; can synthesize more accurate and more natural prosodic speech according to the text to be synthesized; This application can be applied to scenarios that require high diversity of speech synthesis.
  • prosodic and emotional speech can be synthesized.
  • it can be based on the attributes of the current conversation user, conversation status, and conversation.
  • Emotion adjust the prosodic emotion of synthesized speech in real time, so as to realize more humanized artificial intelligence speech service.
  • FIG. 1 is a schematic flowchart of a speech synthesis method provided by an embodiment of this application
  • FIG. 2 is a schematic diagram of modules of a Chinese speech synthesis device provided by an embodiment of this application.
  • FIG. 3 is a schematic diagram of the internal structure of an electronic device for implementing a Chinese speech synthesis method provided by an embodiment of the application;
  • This application provides a speech synthesis method.
  • FIG. 1 it is a schematic flowchart of a speech synthesis method provided by an embodiment of this application.
  • the method can be executed by a device, and the device can be implemented by software and/or hardware.
  • the speech synthesis method includes:
  • S110 Perform semantic extraction processing on the acquired text to be synthesized to obtain a semantic feature sequence.
  • the text semantic information is introduced according to the input text to be synthesized, so as to improve the prosody prediction effect.
  • performing semantic extraction processing on the acquired text to be synthesized to obtain a semantic feature sequence includes:
  • the pre-training language model includes:
  • the input layer for the input character collection, the vector coding layer for vector conversion processing of the character collection of the input layer, and the self-attention for enhancing the semantic vector processing of the word vector, text vector and position vector obtained by the vector coding layer A force mechanism layer, a pooling layer for dimensionality reduction and splicing processing of the enhanced semantic vector of each word obtained by the self-attention mechanism layer, and an output layer for outputting the semantic feature sequence obtained by the pooling layer.
  • the entire sentence in the text to be synthesized is separated in a word by word manner to obtain a character set, and then the character set is input into a pre-training language model for semantic extraction processing, where the pre-training language model is a natural language A speech extraction model in NLP.
  • the preferred pre-training language model in this application is the BERT model, which can calculate a feature sequence that can reflect the semantics of the text based on the input text to be synthesized.
  • This model is also a unified network model, and the open source model can be used directly. Its structure can include input Layer, vector encoding layer, self-attention mechanism layer, pooling layer, and output layer.
  • the character collection with words as elements in the text to be synthesized is input from the input layer to the pre-training language model. Characters are encoded according to the vector template learned by the model in advance, and the word vector, text vector and position vector corresponding to each character are obtained.
  • the value of the text vector is automatically learned during the model training process to describe the text to be synthesized
  • the global semantic information is integrated with the semantic information of a single character; the semantic information carried by the characters that appear in the position vector at different positions of the text to be synthesized is different (for example: "I miss you” and "You miss me”), so It is distinguished by attaching a different vector to characters in different positions; the meaning of a word in a text is usually related to its context. Therefore, the contextual information of a word helps to enhance its semantic representation.
  • the self-attention mechanism layer the semantic representation of the word vector, text vector and position vector is enhanced, and finally the enhanced semantic vector of each word is obtained. Then the enhanced semantic vector is feature-reduced and spliced through the pooling layer, and then passed The output layer outputs the semantic feature sequence.
  • S120 Perform prosodic prediction processing on the semantic feature sequence through the prosody prediction model to obtain the prosodic emotional features of the text to be synthesized.
  • the prosody emotion feature is obtained from the input speech feature by the prosody prediction model.
  • the information contained in the speech can be divided into two parts: 1) The first part is the pronunciation information of the corresponding syllable in the speech, that is, the syllable sequence of the spoken text content; 2) Other pronunciation characteristics of the syllable information are removed , Mainly including voice information such as prosody, emotion, pitch, etc., which are summarized as prosodic emotional features. Since prosodic emotional features cannot be extracted directly from speech, a prosody prediction model is needed to learn the ability to acquire prosodic emotional features from speech features during the training process of speech synthesis.
  • the prosody prediction model is stored in the blockchain, and the prosody prediction model includes:
  • the prosody prediction model is a deep learning network.
  • the output linear layer of the prosody prediction model outputs a lower-dimensional feature sequence, that is, the prosody emotion feature (the dimension of the feature sequence can be set to 3, 4, or 5 as needed. , Preferably not more than 10).
  • S130 Simultaneously input the prosodic emotion feature and the pre-acquired syllable sequence of the text to be synthesized into the voice feature prediction model, and perform voice prediction processing to obtain the voice feature spectrum of the text to be synthesized.
  • the syllable sequence of the text to be synthesized is first converted into a syllable embedding vector, and the prosodic emotion feature (sequence vector) is linearly processed, and the result is superimposed on the syllable embedding vector to obtain a speech feature spectrum.
  • the syllable sequence of the text to be synthesized refers to the pinyin sequence corresponding to the text to be synthesized, which is split according to syllables.
  • the pinyin sequence is "zhong1guo2ping2an1”
  • the syllable sequence is [zh,ong1,g,uo2, p,ing2,an1].
  • the method before simultaneously inputting the prosodic emotion feature and the pre-acquired syllable sequence of the text to be synthesized into the voice feature prediction model, performing voice prediction processing, and obtaining the voice feature spectrum of the text to be synthesized, the method further includes:
  • the prosodic emotional characteristics are adjusted to obtain the ready-to-use prosodic emotional characteristics of the text to be synthesized.
  • the preset pitch adjustment rules include the pitch value corresponding to the prosodic emotional feature of each word in different scenarios, and the pitch value of the prosodic emotional feature is adjusted according to different scenarios, so as to obtain the corresponding pitch value of each word in different scenarios.
  • Prosodic emotional characteristics thus, the prosody emotional of the synthesized speech can be adjusted in real time according to the needs of the application scenario, and the synthesized speech with different prosodic effects can be synthesized.
  • the pitch adjustment of the prosodic emotion feature according to the preset pitch adjustment rule to obtain the ready-to-use prosodic emotion feature of the text to be synthesized includes:
  • the value of the sequence element vector is adjusted according to the preset pitch adjustment rule to obtain the prosodic emotional characteristics of the text to be synthesized.
  • the prosody prediction model predicts a prosody emotion feature, which is actually a sequence.
  • Each element in the sequence represents the prosody emotion feature vector of each character, and the prosody emotion of each character can be modified according to preset pitch adjustment rules.
  • the value of the feature vector is used to realize the adjustment of the rhythmic emotion.
  • the preset tone adjustment rules can be set according to needs.
  • the voice feature prediction model includes:
  • a character embedding layer used to convert a syllable sequence into a syllable embedding vector, a superimposed layer used to superimpose prosodic emotion features to the syllable embedding vector after linear processing, and a voice feature output layer used to output the speech feature spectrum obtained by the superimposed layer .
  • the voice feature prediction model mainly includes a voice feature prediction network, which can directly use mature acoustic models.
  • a voice feature prediction network which can directly use mature acoustic models.
  • Tacotron2 is used as the basic network structure, and the network needs to be slightly adjusted.
  • the syllable sequence will be First, after a character embedding (Character Embedding) network (or layer), which is converted into a syllable embedding vector, passes the prosodic emotional features through a linear layer, and then superimposes the result on the syllable embedding vector.
  • S140 Synthesize a voice with prosodic emotion from the voice feature spectrum and the text to be synthesized.
  • the speech signal generated by the speech feature spectrum that is, the speech with prosodic emotion is generated, as the synthesized speech of the text to be synthesized.
  • synthesizing a voice with a prosodic emotion from the phonetic feature spectrum and the text to be synthesized includes:
  • the vocoder performs speech synthesis on the synthesized text according to the speech feature spectrum, and obtains the speech with prosodic emotion.
  • the speech feature spectrum can synthesize speech through a vocoder, and the vocoder generates a speech signal based on the speech feature (mel spectrum).
  • the vocoder has a certain versatility, this application preferably uses Parallel WaveGAN acts as a network of vocoders.
  • FIG. 2 it is a functional module diagram of a speech synthesis device according to an embodiment of the present application.
  • the speech synthesis apparatus 200 described in this application can be installed in an electronic device.
  • the speech synthesis device may include a semantic extraction module 210, a prosodic emotion feature acquisition module 220, a speech feature acquisition module 230, and a speech synthesis module 240.
  • the module described in the present invention can also be called a unit, which refers to a series of computer program segments that can be executed by the processor of an electronic device and can complete fixed functions, and are stored in the memory of the electronic device.
  • each module/unit is as follows:
  • the semantic extraction module 210 is configured to perform semantic extraction processing on the acquired text to be synthesized to obtain a semantic feature sequence.
  • the text semantic information is introduced according to the input text to be synthesized, so as to improve the prosody prediction effect.
  • performing semantic extraction processing on the acquired text to be synthesized to obtain a semantic feature sequence includes:
  • the pre-training language model includes:
  • the input layer for the input character collection, the vector coding layer for vector conversion processing of the character collection of the input layer, and the self-attention for enhancing the semantic vector processing of the word vector, text vector and position vector obtained by the vector coding layer A force mechanism layer, a pooling layer for dimensionality reduction and splicing processing of the enhanced semantic vector of each word obtained by the self-attention mechanism layer, and an output layer for outputting the semantic feature sequence obtained by the pooling layer.
  • the entire sentence in the text to be synthesized is separated in a word by word manner to obtain a character set, and then the character set is input into a pre-training language model for semantic extraction processing, where the pre-training language model is a natural language A speech extraction model in NLP.
  • the preferred pre-training language model in this application is the BERT model, which can calculate a feature sequence that can reflect the semantics of the text based on the input text to be synthesized.
  • This model is also a unified network model, and the open source model can be used directly.
  • Its structure can include input Layer, vector encoding layer, self-attention mechanism layer, pooling layer, and output layer.
  • the character set with characters as elements in the text to be synthesized is input from the input layer to the pre-training language model.
  • the vector encoding layer is Characters are encoded according to the vector template learned by the model in advance, and the word vector, text vector and position vector corresponding to each character are obtained.
  • the value of the text vector is automatically learned during the model training process to describe the text to be synthesized
  • the global semantic information is integrated with the semantic information of a single character; the semantic information carried by the characters that appear in the position vector at different positions of the text to be synthesized is different (for example: "I miss you” and "You miss me”), so It is distinguished by attaching a different vector to characters in different positions; the meaning of a word in a text is usually related to its context. Therefore, the contextual information of a word helps to enhance its semantic representation.
  • the self-attention mechanism layer the semantic representation of the word vector, text vector and position vector is enhanced, and finally the enhanced semantic vector of each word is obtained. Then the enhanced semantic vector is feature-reduced and spliced through the pooling layer, and then passed The output layer outputs the semantic feature sequence.
  • the prosody emotion feature acquisition module 220 is used to perform prosody prediction processing on the semantic feature sequence through the prosody prediction model to obtain the prosody emotion feature of the text to be synthesized. It should be emphasized that the prosody prediction model is stored in the blockchain.
  • the prosody emotion feature is obtained from the input speech feature by the prosody prediction model.
  • the information contained in the speech can be divided into two parts: 1) The first part is the pronunciation information of the corresponding syllable in the speech, that is, the syllable sequence of the spoken text content; 2) Other pronunciation characteristics of the syllable information are removed , Mainly including voice information such as prosody, emotion, pitch, etc., which are summarized as prosodic emotional features. Since prosodic emotional features cannot be extracted directly from speech, a prosody prediction model is needed to learn the ability to acquire prosodic emotional features from speech features during the training process of speech synthesis.
  • the prosody prediction model includes:
  • the prosody prediction model is a deep learning network.
  • the output linear layer of the prosody prediction model outputs a lower-dimensional feature sequence, that is, the prosody emotional feature (the dimension of the feature sequence can be set to 3, 4, or 5 as needed. , Preferably not more than 10).
  • the voice feature acquisition module 230 is used to input the prosodic emotion feature and the pre-acquired syllable sequence of the text to be synthesized into the voice feature prediction model at the same time, perform voice prediction processing, and obtain the voice feature spectrum of the text to be synthesized.
  • the syllable sequence of the text to be synthesized is first converted into a syllable embedding vector, and the prosodic emotion feature (sequence vector) is linearly processed, and the result is superimposed on the syllable embedding vector to obtain a speech feature spectrum.
  • the syllable sequence of the text to be synthesized refers to the pinyin sequence corresponding to the text to be synthesized, which is split according to syllables.
  • the pinyin sequence is "zhong1guo2ping2an1”
  • the syllable sequence is [zh,ong1,g,uo2, p,ing2,an1].
  • the method before simultaneously inputting the prosodic emotion feature and the pre-acquired syllable sequence of the text to be synthesized into the voice feature prediction model, performing voice prediction processing, and obtaining the voice feature spectrum of the text to be synthesized, the method further includes:
  • the prosodic emotional characteristics are adjusted to obtain the ready-to-use prosodic emotional characteristics of the text to be synthesized.
  • the preset pitch adjustment rule includes the pitch value corresponding to the prosodic emotional feature of each word in different scenarios, and the pitch value of the prosody emotional feature is adjusted according to different scenarios, so as to obtain the corresponding pitch value of each word in different scenarios.
  • Prosodic emotional characteristics thus, the prosody emotional of the synthesized speech can be adjusted in real time according to the needs of the application scenario, and the synthesized speech with different prosodic effects can be synthesized.
  • the pitch adjustment of the prosodic emotion feature according to the preset pitch adjustment rule to obtain the ready-to-use prosodic emotion feature of the text to be synthesized includes:
  • the value of the sequence element vector is adjusted according to the preset pitch adjustment rule to obtain the prosodic emotional characteristics of the text to be synthesized.
  • the prosody prediction model predicts a prosodic emotional feature.
  • the prosodic emotional feature is actually a sequence.
  • Each element in the sequence represents the prosodic emotional feature vector of each character.
  • the prosody of each character can be modified according to the preset pitch adjustment rules.
  • the preset tone adjustment rules can be set according to needs.
  • the voice feature prediction model includes:
  • a character embedding layer used to convert a syllable sequence into a syllable embedding vector, a superimposed layer used to superimpose prosodic emotion features to a syllable embedding vector after linear processing, and a voice feature output layer used to output the speech feature spectrum obtained by the superimposed layer .
  • the voice feature prediction model mainly includes a voice feature prediction network, which can directly use a mature acoustic model.
  • a voice feature prediction network which can directly use a mature acoustic model.
  • Tacotron2 is used as the basic network structure, and the network needs to be slightly adjusted.
  • the syllable sequence will be First, after a character embedding (Character Embedding) network (or layer), which is converted into a syllable embedding vector, passes the prosodic emotional features through a linear layer, and then superimposes the result on the syllable embedding vector.
  • a prosody prediction model is designed to learn from the voice features and model the prosody, emotion and other information of the voice. During the model training process, the prosody prediction model and the speech feature prediction model can be trained together.
  • the speech synthesis module 240 synthesizes a Chinese speech with prosodic emotions from the speech feature spectrum and the text to be synthesized.
  • the speech signal generated by the speech feature spectrum that is, the speech with prosodic emotion is generated, as the synthesized speech of the text to be synthesized.
  • synthesizing a voice with a prosodic emotion from the phonetic feature spectrum and the text to be synthesized includes:
  • the vocoder performs speech synthesis on the synthesized text according to the speech feature spectrum, and obtains the speech with prosodic emotion.
  • the speech feature spectrum can synthesize speech through a vocoder, and the vocoder generates a speech signal based on the speech feature (mel spectrum).
  • the vocoder has a certain versatility, this application preferably uses Parallel WaveGAN acts as a network of vocoders.
  • FIG. 3 it is a schematic structural diagram of an electronic device that implements a speech synthesis method according to an embodiment of the present application.
  • the electronic device 1 may include a processor 10, a memory 11, and a bus, and may also include a computer program stored in the memory 11 and running on the processor 10, such as a speech synthesis program 12.
  • the memory 11 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, mobile hard disk, multimedia card, card-type memory (for example: SD or DX memory, etc.), magnetic memory, magnetic disk, CD etc.
  • the memory 11 may be an internal storage unit of the electronic device 1 in some embodiments, for example, a mobile hard disk of the electronic device 1.
  • the memory 11 may also be an external storage device of the electronic device 1, such as a plug-in mobile hard disk or a smart memory card (Smart Memory Card) equipped on the electronic device 1.
  • the memory 11 may also include both an internal storage unit of the electronic device 1 and an external storage device.
  • the memory 11 can be used not only to store application software and various data installed in the electronic device 1, such as the code of a speech synthesis program, etc., but also to temporarily store data that has been output or will be output.
  • the processor 10 may be composed of integrated circuits in some embodiments, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits with the same function or different functions, including one or more Central processing unit Processing unit, CPU), microprocessor, digital processing chip, graphics processor and a combination of various control chips, etc.
  • the processor 10 is the control core (Control Unit) of the electronic device, which uses various interfaces and lines to connect the various components of the entire electronic device, and runs or executes programs or modules (such as voice) stored in the memory 11 Synthesize programs, etc.), and call data stored in the memory 11 to execute various functions of the electronic device 1 and process data.
  • Control Unit Control Unit
  • the bus may be a peripheral component interconnect (PCI) bus or an extended industry standard structure (extended industry standard structure). industry standard architecture, EISA for short) bus, etc.
  • PCI peripheral component interconnect
  • extended industry standard structure extended industry standard structure
  • EISA industry standard architecture
  • the bus can be divided into address bus, data bus, control bus and so on.
  • the bus is configured to implement connection and communication between the memory 11 and at least one processor 10 and the like.
  • FIG. 3 only shows an electronic device with components. Those skilled in the art can understand that the structure shown in FIG. 3 does not constitute a limitation on the electronic device 1, and may include fewer or more components than shown in the figure. Components, or a combination of certain components, or different component arrangements.
  • the electronic device 1 may also include a power source (such as a battery) for supplying power to various components.
  • the power source may be logically connected to the at least one processor 10 through a power management device, thereby controlling power
  • the device implements functions such as charge management, discharge management, and power consumption management.
  • the power supply may also include any components such as one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, and power status indicators.
  • the electronic device 1 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the electronic device 1 may also include a network interface.
  • the network interface may include a wired interface and/or a wireless interface (such as a Wi-Fi interface, a Bluetooth interface, etc.), which is usually used in the electronic device 1 Establish a communication connection with other electronic devices.
  • the electronic device 1 may also include a user interface.
  • the user interface may be a display (Display) and an input unit (such as a keyboard (Keyboard)).
  • the user interface may also be a standard wired interface or a wireless interface.
  • the display may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, and an OLED (Organic Light-Emitting Diode, organic light-emitting diode) touch device, etc.
  • the display can also be appropriately called a display screen or a display unit, which is used to display the information processed in the electronic device 1 and to display a visualized user interface.
  • the speech synthesis program 12 stored in the memory 11 in the electronic device 1 is a combination of multiple instructions. When running in the processor 10, it can realize:
  • the speech feature spectrum and the text to be synthesized are synthesized into speech with prosodic emotion.
  • the above-mentioned prosody prediction model can also be stored in a node of a blockchain.
  • the integrated module/unit of the electronic device 1 is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the computer-readable medium may include: any entity or device capable of carrying the computer program code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory).
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional modules.
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

一种语音合成方法，包括：对获取的待合成文本进行语义提取处理，得到语义特征序列（S110）；通过韵律预测模型对语义特征序列进行韵律预测处理，得到待合成文本的韵律情感特征（S120）；将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到待合成文本的语音特征谱（S130）；将语音特征谱与待合成文本合成带有韵律情感的语音（S140）。韵律预测模型存储于区块链中。能够实时切换合成语音的语气情感以及韵律特点。

Description

语音合成方法、装置、设备及计算机可读存储介质
本申请要求于2020年10月22日提交中国专利局、申请号为202011138907.6，发明名称为“语音合成方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能，特别涉及自然语言处理，尤其涉及一种语音合成的方法、装置、电子设备及计算机可读存储介质。
 背景技术
语音合成技术是根据输入的文字信息生成出可理解的、拟人的语音，其作为人机交互系统非常重要的一环，被广泛应用于各种人工智能终端，例如智能音箱、智能客户等。目前，主流的语音合成系统基本都能够合成非常稳定、可靠的语音，因此评判一个语音合成系统的性能主要是依据其合成声音的拟人程度，这对交互系统的体验有非常重要的影响。
发明人意识到，人在说话时是具有非常的多变性，以不同的情感、韵律去表达会产生差异化的语音，而传统的语音合成技术是直接根据提供的文本合成出对应的语音，对于相同的文本，其合成的语音也基本一致，因此我们很难让其合成出特定情感、韵律语音。然而在某些对合成效果有较高要求的场景，例如智能客户，需要根据用户的回答及时调整语音的情感、语速以及韵律来实现对服务内容的高效体现。
目前已有的语音合成系统大多都是直接根据输入的文本序列，合成出对应语音，而对于相同的文本输入，其合成的语音也是基本一样。无法根据特定语音合成应用场景以及当前的对话状态对合成语音进行调整。
 技术问题
本申请提供一种语音合成方法、装置、电子设备及计算机可读存储介质，其主要目的在于能够实时切换合成语音的语气情感以及韵律特点。
第一方面，为实现上述目的，本申请提供的一种语音合成方法，包括：
对获取的待合成文本进行语义提取处理，得到语义特征序列；
通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
第二方面，为了解决上述问题，本申请还提供一种语音合成装置，所述装置包括：
语义提取模块，用于对获取的待合成文本进行语义提取处理，得到语义特征序列；
韵律情感特征获取模块，用于通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
语音特征获取模块：用于将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
语音合成模块：用于将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
第三方面，为了解决上述问题，本申请还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下步骤：
对获取的待合成文本进行语义提取处理，得到语义特征序列；
通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
第四方面，为了解决上述问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如下步骤：
对获取的待合成文本进行语义提取处理，得到语义特征序列；
通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
本申请提出的语音合成方法、装置、电子设备及计算机可读存储介质，通过对获取的待合成文本进行语义提取处理，得到语义特征序列；然后通过韵律预测模型对语义特征序列进行韵律预测处理，得到韵律情感特征；再将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到语音特征谱；最后将语音特征谱与待合成文本合成带有韵律情感的语音；能够直接从语音中建模、提取出语音的韵律情感特征，可以获得准确的韵律信息以提升语音合成的预测效果；可以根据待合成文本合成出韵律更加准确、更加自然的语音；本申请可以适用于对语音合成多样性要求较高的场景，对于相同的文本，可以合成出多种韵律情感的语音，尤其在人工智能服务中，能够根据当前对话用户的属性、对话状态、对话情感，实时调整合成语音的韵律情感，从而实现更加人性化的人工智能语音服务。
 技术解决方案
在此处键入技术解决方案描述段落。
 有益效果
在此处键入有益效果描述段落。
 附图说明
图1为本申请一实施例提供的语音合成方法的流程示意图；
图2为本申请一实施例提供的中文语音合成装置的模块示意图；
图3为本申请一实施例提供的实现中文语音合成方法的电子设备的内部结构示意图；
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
 本发明的最佳实施方式
在此处键入本发明的最佳实施方式描述段落。
 本发明的实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种语音合成方法。参照图1所示，为本申请一实施例提供的语音合成方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，语音合成方法包括：
S110、对获取的待合成文本进行语义提取处理，得到语义特征序列。
具体的，由于每句话的韵律情感往往会与该话术的语义相关，由此根据输入的待合成文本，引入文本语义信息，从而提升韵律预测效果。
作为本申请的一个优选实施例，对获取的待合成文本进行语义提取处理，得到语义特征序列包括：
将待合成文本进行字分隔处理，得到字符合集；
将字符合集输入预训练语言模型进行语义提取处理，得到语义特征序列；其中，预训练语言模型包括：
用于输入字符合集的输入层、用于对输入层的字符合集进行向量转化处理的向量编码层、用于对向量编码层得到的字向量、文本向量和位置向量进行增强语义向量处理的自注意力机制层、用于将自注意力机制层得到的每个字的增强语义向量进行降维及拼接处理的池化层和用于将池化层得到的语义特征序列输出的输出层。
具体的，将待合成文本中的整句话以一个一个字的方式进行分隔，得到字符合集，然后将字符合集输入到预训练语言模型中进行语义提取处理，其中，预训练语言模型为自然语言处理（NLP）中的一种语音提取模型。
本申请优选的预训练语言模型为 BERT模型，它可以根据输入待合成文本计算出一个能够体现文本语义的特征序列，该模型也是一个统一网络模型，直接使用开源模型即可，其结构可以包括输入层、向量编码层、自注意力机制层、池化层和输出层，将待合成文本中以字为元素的字符合集由输入层输入到预训练语言模型，向量编码层对字符合集中的每个字符根据模型预先学习的向量模板进行向量编码处理，得到每个字符对应的字向量、文本向量和位置向量，其中，文本向量的取值在模型训练过程中自动学习，用于刻画待合成文本的全局语义信息，并与单字符的语义信息相融合；位置向量出现在待合成文本不同位置的字符所携带的语义信息存在差异（比如：“我想你”和“你想我”），因此通过对不同位置的字符附加一个不同的向量以作区分；一个字在一篇文本中表达的意思通常与它的上下文有关。因此，一个字的上下文信息有助于增强其语义表示。通过自注意力机制层对字向量、文本向量和位置向量的语义表示进行增强处理，最终得到每个字的增强语义向量，然后通过池化层对增强语义向量进行特征降维及拼接，再通过输出层将语义特征序列输出。
S120、通过韵律预测模型对语义特征序列进行韵律预测处理，得到待合成文本的韵律情感特征。
具体的，韵律情感特征由韵律预测模型从输入语音特征中获得。对于一段语音，可以将语音内部包含的信息分为两个部分：1）第一部分是语音中所对应的音节发音信息，即所说的文本内容的音节序列；2）除去音节信息的其他发音特征，主要包括韵律、情感、音调等语音信息，将其概述为韵律情感特征。由于韵律情感特征无法直接从语音中提取出来，所以需要韵律预测模型，能够在语音合成的训练过程中，学习到从语音特征中获取韵律情感特征的能力。
作为本申请的一个优选实施例，韵律预测模型存储于区块链中，韵律预测模型包括：
用于输入语义特征序列的输入线性层、用于根据输入线性层的语义特征序列从预先学习到的韵律情感样本中找到与语义特征序列相对应的韵律情感特征的记忆网络层；用于将相对应的韵律情感特征输出的输出线性层。
具体的，韵律预测模型是一个深度学习网络，由韵律预测模型的输出线性层输出一个较低维的特征序列，即韵律情感特征（该特征序列的维度可以按需设定为3、4或5，优选不超过10）。
S130、将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到待合成文本的语音特征谱。
具体的，待合成文本的音节序列首先转换成音节嵌入向量，将韵律情感特征（序列向量）经过线性处理后，将结果叠加到音节嵌入向量上，得到语音特征谱。其中，待合成文本的音节序列指待合成文本所对应的拼音序列，按照音节拆分而成的，例如 中国平安，拼音序列为 “zhong1guo2ping2an1”，其音节序列为[zh，ong1，g,uo2,p,ing2,an1]。
作为本申请的一个优选实施例，在将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到待合成文本的语音特征谱之前还包括：
按照预设音调调整规则对韵律情感特征进行音调调整，得到待合成文本的待用韵律情感特征。
具体的，预设音调调整规则中包括每个字对应的韵律情感特征在不同场景下对应的音调数值，根据不同的场景对韵律情感特征进行音调数值调整，从而得到不同场景下每个字对应的韵律情感特征；从而可以根据应用场景需求，对合成语音的韵律情感进行实时的调整，合成韵律效果不同语音。
作为本申请的一个优选实施例，按照预设音调调整规则对韵律情感特征进行音调调整，得到待合成文本的待用韵律情感特征包括：
获取韵律情感特征的序列元素向量；
按照预设音调调整规则对所述序列元素向量的数值进行调整，得到待合成文本的待用韵律情感特征。
具体的，韵律预测模型预测出一个韵律情感特征，韵律情感特征实际为一个序列，序列中每一个元素表示每个字符的韵律情感特征向量，可以按照预设音调调整规则修改每个字符的韵律情感特征向量的数值来实现对韵律情感的调整。举例如下，用 z={z_1,z_2,…,z_n} 表示韵律预测模型预测的韵律情感特征序列，α={α_1,α_2,…,α_n}表示调整系数(系数范围为-1到1之间)，则调整后的韵律为：z=z+U∙α其中，U表示可调整的韵律范围。其中，预设音调调整规则可根据需要自行设定。
作为本申请的一个优选实施例，语音特征预测模型包括：
用于将音节序列转化为音节嵌入向量的字符嵌入层、用于将韵律情感特征经过线性处理后叠加至音节嵌入向量的叠加层、用于将叠加层得到的语音特征谱输出的语音特征输出层。
具体的，语音特征预测模型主要包含了一个语音特征预测网络，可以直接使用成熟的声学模型，例如Tacotron2作为基础网络结构，需要对网络进行稍微的调整，具体而言，在Tacotron2中，音节序列会首先经过一个字符嵌入（Character Embedding）网络（或层），转换成音节嵌入向量，将韵律情感特征经过一个线性层，然后将结果叠加到音节嵌入向量上。
传统的声学模型只是根据音节序列来预测语音特征，这很难建模目标语音特征中所包含的韵律、情感等信息，因为对于相同的音节序列，以不同的韵律来表达，会产生不同语音，因此语音特征也会有区别，设计一个韵律预测模型从语音特征中学习、建模语音的韵律、情感等信息。模型训练过程中，韵律预测模型与语音特征预测模型可以一起训练。
S140、将语音特征谱与待合成文本合成带有韵律情感的语音。
具体的，将语音特征谱生成的语音信号，即，生成带有韵律情感的语音，作为待合成文本的合成语音。
作为本申请的一个优选实施例，将音特征谱与待合成文本合成带有韵律情感的语音包括：
通过声码器根据语音特征谱对待合成文本进行语音合成，得到带有韵律情感的语音。
具体的，语音特征谱可通过声码器合成语音，声码器是根据语音特征（梅尔谱）生成语音信号。声码器具有一定的通用性，本申请优选使用 Parallel WaveGAN作为声码器的网络。
如图2所示，是本申请一个实施例的语音合成装置的功能模块图。
本申请所述语音合成装置200可以安装于电子设备中。根据实现的功能，所述语音合成装置可以包括语义提取模块210、韵律情感特征获取模块220、语音特征获取模块230、语音合成模块240。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
语义提取模块210，用于对获取的待合成文本进行语义提取处理，得到语义特征序列。
具体的，由于每句话的韵律情感往往会与该话术的语义相关，由此根据输入的待合成文本，引入文本语义信息，从而提升韵律预测效果。
作为本申请的一个优选实施例，对获取的待合成文本进行语义提取处理，得到语义特征序列包括：
将待合成文本进行字分隔处理，得到字符合集；
将字符合集输入预训练语言模型进行语义提取处理，得到语义特征序列；其中，预训练语言模型包括：
用于输入字符合集的输入层、用于对输入层的字符合集进行向量转化处理的向量编码层、用于对向量编码层得到的字向量、文本向量和位置向量进行增强语义向量处理的自注意力机制层、用于将自注意力机制层得到的每个字的增强语义向量进行降维及拼接处理的池化层和用于将池化层得到的语义特征序列输出的输出层。
具体的，将待合成文本中的整句话以一个一个字的方式进行分隔，得到字符合集，然后将字符合集输入到预训练语言模型中进行语义提取处理，其中，预训练语言模型为自然语言处理（NLP）中的一种语音提取模型。
本申请优选的预训练语言模型为 BERT模型，它可以根据输入待合成文本计算出一个能够体现文本语义的特征序列，该模型也是一个统一网络模型，直接使用开源模型即可，其结构可以包括输入层、向量编码层、自注意力机制层、池化层和输出层，将待合成文本中以字符为元素的字符合集由输入层输入到预训练语言模型，向量编码层对字符合集中的每个字符根据模型预先学习的向量模板进行向量编码处理，得到每个字符对应的字向量、文本向量和位置向量，其中，文本向量的取值在模型训练过程中自动学习，用于刻画待合成文本的全局语义信息，并与单字符的语义信息相融合；位置向量出现在待合成文本不同位置的字符所携带的语义信息存在差异（比如：“我想你”和“你想我”），因此通过对不同位置的字符附加一个不同的向量以作区分；一个字在一篇文本中表达的意思通常与它的上下文有关。因此，一个字的上下文信息有助于增强其语义表示。通过自注意力机制层对字向量、文本向量和位置向量的语义表示进行增强处理，最终得到每个字的增强语义向量，然后通过池化层对增强语义向量进行特征降维及拼接，再通过输出层将语义特征序列输出。
韵律情感特征获取模块220，用于通过韵律预测模型对语义特征序列进行韵律预测处理，得到待合成文本的韵律情感特征。需要强调的是，韵律预测模型存储于区块链中。
具体的，韵律情感特征由韵律预测模型从输入语音特征中获得。对于一段语音，可以将语音内部包含的信息分为两个部分：1）第一部分是语音中所对应的音节发音信息，即所说的文本内容的音节序列；2）除去音节信息的其他发音特征，主要包括韵律、情感、音调等语音信息，将其概述为韵律情感特征。由于韵律情感特征无法直接从语音中提取出来，所以需要韵律预测模型，能够在语音合成的训练过程中，学习到从语音特征中获取韵律情感特征的能力。
作为本申请的一个优选实施例，韵律预测模型包括：
用于输入语义特征序列的输入线性层、用于根据输入线性层的语义特征序列从预先学习到的韵律情感样本中找到与语义特征序列相对应的韵律情感特征的记忆网络层；用于将相对应的韵律情感特征输出的输出线性层。
具体的，韵律预测模型是一个深度学习网络，由韵律预测模型的输出线性层输出一个较低维的特征序列，即韵律情感特征（该特征序列的维度可以按需设定为3、4或5，优选不超过10）。
语音特征获取模块230：用于将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到待合成文本的语音特征谱。
具体的，待合成文本的音节序列首先转换成音节嵌入向量，将韵律情感特征（序列向量）经过线性处理后，将结果叠加到音节嵌入向量上，得到语音特征谱。其中，待合成文本的音节序列指待合成文本所对应的拼音序列，按照音节拆分而成的，例如 中国平安，拼音序列为 “zhong1guo2ping2an1”，其音节序列为[zh，ong1，g,uo2,p,ing2,an1]。
作为本申请的一个优选实施例，在将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到待合成文本的语音特征谱之前还包括：
按照预设音调调整规则对韵律情感特征进行音调调整，得到待合成文本的待用韵律情感特征。
具体的，预设音调调整规则中包括每个字对应的韵律情感特征在不同场景下对应的音调数值，根据不同的场景对韵律情感特征进行音调数值调整，从而得到不同场景下每个字对应的韵律情感特征；从而可以根据应用场景需求，对合成语音的韵律情感进行实时的调整，合成韵律效果不同语音。
作为本申请的一个优选实施例，按照预设音调调整规则对韵律情感特征进行音调调整，得到待合成文本的待用韵律情感特征包括：
获取韵律情感特征的序列元素向量；
按照预设音调调整规则对所述序列元素向量的数值进行调整，得到待合成文本的待用韵律情感特征。
具体的，韵律预测模型预测出一个韵律情感特征，韵律情感特征实际为一个序列，序列中每一个元素表示每个字的韵律情感特征向量，可以按照预设设音调调整规则修改每个字的韵律情感特征向量的数值来实现对韵律情感的调整。举例如下，用 z={z_1,z_2,…,z_n} 表示韵律预测模型预测的韵律情感特征序列，α={α_1,α_2,…,α_n}表示调整系数(系数范围为-1到1之间)，则调整后的韵律为：z=z+U∙α其中，U表示可调整的韵律范围。其中，预设音调调整规则可根据需要自行设定。
作为本申请的一个优选实施例，语音特征预测模型包括：
用于将音节序列转化为音节嵌入向量的字符嵌入层、用于将韵律情感特征经过线性处理后叠加至音节嵌入向量的叠加层、用于将叠加层得到的语音特征谱输出的语音特征输出层。
具体的，语音特征预测模型主要包含了一个语音特征预测网络，可以直接使用成熟的声学模型，例如Tacotron2作为基础网络结构，需要对网络进行稍微的调整，具体而言，在Tacotron2中，音节序列会首先经过一个字符嵌入（Character Embedding）网络（或层），转换成音节嵌入向量，将韵律情感特征经过一个线性层，然后将结果叠加到音节嵌入向量上。
传统的声学模型只是根据音节序列来预测语音特征，这很难建模目标语音特征中所包含的韵律、情感等信息，因为对于相同的音节序列，以不同的韵律来表达，会产生不同语音，因此语音特征也会有区别，因此设计一个韵律预测模型从语音特征中学习、建模语音的韵律、情感等信息。模型训练过程中，韵律预测模型与语音特征预测模型可以一起训练。
语音合成模块240：将语音特征谱与待合成文本合成带有韵律情感的中文语音。
具体的，将语音特征谱生成的语音信号，即，生成带有韵律情感的语音，作为待合成文本的合成语音。
作为本申请的一个优选实施例，将音特征谱与待合成文本合成带有韵律情感的语音包括：
通过声码器根据语音特征谱对待合成文本进行语音合成，得到带有韵律情感的语音。
具体的，语音特征谱可通过声码器合成语音，声码器是根据语音特征（梅尔谱）生成语音信号。声码器具有一定的通用性，本申请优选使用 Parallel WaveGAN作为声码器的网络。
如图3所示，是本申请一个实施例实现语音合成方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如语音合成程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（Secure Digital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如语音合成程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如语音合成程序等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的语音合成程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
对获取的待合成文本进行语义提取处理，得到语义特征序列；
通过韵律预测模型对语义特征序列进行韵律预测处理，得到待合成文本的韵律情感特征；
将韵律情感特征与预先获取的待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到待合成文本的语音特征谱；
将语音特征谱与待合成文本合成带有韵律情感的语音。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述韵律预测模型的私密和安全性，上述韵律预测模型还可以存储于一区块链的节点中。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读存储介质可以是非易失性，也可以是易失性。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。
 工业实用性
在此处键入工业实用性描述段落。
 序列表自由内容
在此处键入序列表自由内容描述段落。

Claims (20)

  1. 一种语音合成方法，其中，所述方法包括：
    对获取的待合成文本进行语义提取处理，得到语义特征序列；
    通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
    将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
    将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
  2. 根据权利要求1所述的语音合成方法，其中，所述对获取的待合成文本进行语义提取处理，得到语义特征序列包括：
    将所述待合成文本进行字分隔处理，得到字符合集；
    将所述字符合集输入预训练语言模型进行语义提取处理，得到语义特征序列；其中，所述预训练语言模型包括：
    用于输入所述字符合集的输入层、用于对所述输入层的字符合集进行向量转化处理的向量编码层、用于对所述向量编码层得到的字向量、文本向量和位置向量进行增强语义向量处理的自注意力机制层、用于将所述自注意力机制层得到的每个字的增强语义向量进行降维及拼接处理的池化层和用于将所述池化层得到的语义特征序列输出的输出层。
  3. 根据权利要求1所述的语音合成方法，其中，所述韵律预测模型包括：
    用于输入所述语义特征序列的输入线性层、用于根据输入线性层的语义特征序列从预先学习到的韵律情感样本中找到与所述语义特征序列相对应的韵律情感特征的记忆网络层；用于将所述相对应的韵律情感特征输出的输出线性层。
  4. 根据权利要求1所述的语音合成方法，其中，在所述将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱之前还包括：
    按照预设音调调整规则对所述韵律情感特征进行音调调整，得到所述待合成文本的待用韵律情感特征。
  5. 根据权利要求4所述的语音合成方法，其中，所述按照预设音调调整规则对所述韵律情感特征进行音调调整，得到所述待合成文本的待用韵律情感特征谱包括：
    获取韵律情感特征的序列元素向量；
    按照预设音调调整规则对所述序列元素向量的数值进行调整，得到所述待合成文本的待用韵律情感特征谱。
  6. 根据权利要求1所述的语音合成方法，其中，所述语音特征预测模型包括：
    用于将所述音节序列转化为音节嵌入向量的字符嵌入层、用于将所述韵律情感特征经过线性处理后叠加至所述音节嵌入向量的叠加层、用于将所述叠加层得到的语音特征谱输出的语音特征输出层。
  7. 根据权利要求1所述的语音合成方法，其中，所述将所述语音特征谱与所述待合成文本合成带有韵律情感的语音包括：
    通过声码器根据所述语音特征谱对所述待合成文本进行语音合成，得到带有韵律情感的语音。
  8. 一种语音合成装置，其中，所述装置包括：
    语义提取模块，用于对获取的待合成文本进行语义提取处理，得到语义特征序列；
    韵律情感特征获取模块，用于通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
    语音特征获取模块：用于将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
    语音合成模块：用于将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
  9. 一种电子设备，其中，所述电子设备包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下步骤：
    对获取的待合成文本进行语义提取处理，得到语义特征序列；
    通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
    将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
    将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
  10. 根据权利要求9所述的电子设备，其中，所述对获取的待合成文本进行语义提取处理，得到语义特征序列包括：
    将所述待合成文本进行字分隔处理，得到字符合集；
    将所述字符合集输入预训练语言模型进行语义提取处理，得到语义特征序列；其中，所述预训练语言模型包括：
    用于输入所述字符合集的输入层、用于对所述输入层的字符合集进行向量转化处理的向量编码层、用于对所述向量编码层得到的字向量、文本向量和位置向量进行增强语义向量处理的自注意力机制层、用于将所述自注意力机制层得到的每个字的增强语义向量进行降维及拼接处理的池化层和用于将所述池化层得到的语义特征序列输出的输出层。
  11. 根据权利要求9所述的电子设备，其中，所述韵律预测模型包括：
    用于输入所述语义特征序列的输入线性层、用于根据输入线性层的语义特征序列从预先学习到的韵律情感样本中找到与所述语义特征序列相对应的韵律情感特征的记忆网络层；用于将所述相对应的韵律情感特征输出的输出线性层。
  12. 根据权利要求9所述的电子设备，其中，在所述将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱之前还包括：
    按照预设音调调整规则对所述韵律情感特征进行音调调整，得到所述待合成文本的待用韵律情感特征。
  13. 根据权利要求12所述的电子设备，其中，所述按照预设音调调整规则对所述韵律情感特征进行音调调整，得到所述待合成文本的待用韵律情感特征谱包括：
    获取韵律情感特征的序列元素向量；
    按照预设音调调整规则对所述序列元素向量的数值进行调整，得到所述待合成文本的待用韵律情感特征谱。
  14. 根据权利要求9所述的电子设备，其中，所述语音特征预测模型包括：
    用于将所述音节序列转化为音节嵌入向量的字符嵌入层、用于将所述韵律情感特征经过线性处理后叠加至所述音节嵌入向量的叠加层、用于将所述叠加层得到的语音特征谱输出的语音特征输出层。
  15. 根据权利要求9所述的电子设备，其中，所述将所述语音特征谱与所述待合成文本合成带有韵律情感的语音包括：
    通过声码器根据所述语音特征谱对所述待合成文本进行语音合成，得到带有韵律情感的语音。
  16. 一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下步骤：
    对获取的待合成文本进行语义提取处理，得到语义特征序列；
    通过韵律预测模型对所述语义特征序列进行韵律预测处理，得到所述待合成文本的韵律情感特征；
    将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱；
    将所述语音特征谱与所述待合成文本合成带有韵律情感的语音。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述对获取的待合成文本进行语义提取处理，得到语义特征序列包括：
    将所述待合成文本进行字分隔处理，得到字符合集；
    将所述字符合集输入预训练语言模型进行语义提取处理，得到语义特征序列；其中，所述预训练语言模型包括：
    用于输入所述字符合集的输入层、用于对所述输入层的字符合集进行向量转化处理的向量编码层、用于对所述向量编码层得到的字向量、文本向量和位置向量进行增强语义向量处理的自注意力机制层、用于将所述自注意力机制层得到的每个字的增强语义向量进行降维及拼接处理的池化层和用于将所述池化层得到的语义特征序列输出的输出层。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述韵律预测模型包括：
    用于输入所述语义特征序列的输入线性层、用于根据输入线性层的语义特征序列从预先学习到的韵律情感样本中找到与所述语义特征序列相对应的韵律情感特征的记忆网络层；用于将所述相对应的韵律情感特征输出的输出线性层。
  19. 根据权利要求16所述的计算机可读存储介质，其中，在所述将所述韵律情感特征与预先获取的所述待合成文本的音节序列同时输入语音特征预测模型，进行语音预测处理，得到所述待合成文本的语音特征谱之前还包括：
    按照预设音调调整规则对所述韵律情感特征进行音调调整，得到所述待合成文本的待用韵律情感特征。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述按照预设音调调整规则对所述韵律情感特征进行音调调整，得到所述待合成文本的待用韵律情感特征谱包括：
    获取韵律情感特征的序列元素向量；
    按照预设音调调整规则对所述序列元素向量的数值进行调整，得到所述待合成文本的待用韵律情感特征谱。
PCT/CN2020/136421 2020-10-22 2020-12-15 语音合成方法、装置、设备及计算机可读存储介质 Ceased WO2021189984A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011138907.6A CN112086086B (zh) 2020-10-22 2020-10-22 语音合成方法、装置、设备及计算机可读存储介质
CN202011138907.6 2020-10-22

Publications (1)

Publication Number Publication Date
WO2021189984A1 true WO2021189984A1 (zh) 2021-09-30

Family

ID=73730362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/136421 Ceased WO2021189984A1 (zh) 2020-10-22 2020-12-15 语音合成方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112086086B (zh)
WO (1) WO2021189984A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020930A (zh) * 2021-11-03 2022-02-08 宁波深擎信息科技有限公司 基于会话场景的用户标签识别方法及装置
CN114299911A (zh) * 2021-12-28 2022-04-08 科大讯飞股份有限公司 语音合成方法及相关装置、电子设备和存储介质
CN114360485A (zh) * 2021-12-27 2022-04-15 北海淇诚信息科技有限公司 语音处理方法、系统、装置及介质
CN114399991A (zh) * 2022-01-27 2022-04-26 北京有竹居网络技术有限公司 语音合成方法、装置、存储介质及电子设备
CN114529862A (zh) * 2021-11-11 2022-05-24 国网浙江省电力有限公司平湖市供电公司 一种soe信息的智能监控方法
CN114664284A (zh) * 2022-03-22 2022-06-24 科大讯飞股份有限公司 语音合成方法及相关装置、电子设备、存储介质
CN115410550A (zh) * 2022-06-02 2022-11-29 柯登峰 一种细粒度韵律可控的情感语音合成方法、系统及存储介质
CN115762466A (zh) * 2022-11-21 2023-03-07 四川启睿克科技有限公司 一种合成不同情感音频的方法和装置
CN115831089A (zh) * 2021-12-27 2023-03-21 北京百度网讯科技有限公司 声学特征的确定方法、装置、设备、介质及产品
CN116110369A (zh) * 2023-01-17 2023-05-12 鼎富新动力(北京)智能科技有限公司 一种语音合成方法和装置
CN116312468A (zh) * 2023-02-24 2023-06-23 阳光保险集团股份有限公司 一种合成含有情感的语音的方法、装置、设备和存储介质
CN116665643A (zh) * 2022-11-30 2023-08-29 荣耀终端有限公司 韵律标注方法、装置和终端设备
US12051421B2 (en) * 2022-12-21 2024-07-30 Actionpower Corp. Method for pronunciation transcription using speech-to-text model
CN118782018A (zh) * 2023-04-03 2024-10-15 科大讯飞股份有限公司 语音合成方法、装置、设备及存储介质
CN119207413A (zh) * 2024-11-26 2024-12-27 深圳市凯度电器有限公司 基于人工智能的烤箱语音识别控制方法及相关装置
CN119580697A (zh) * 2023-08-31 2025-03-07 荣耀终端股份有限公司 个性化语音合成方法、电子设备、服务器和存储介质
CN119724148A (zh) * 2025-02-27 2025-03-28 科大讯飞股份有限公司 语音合成方法及相关装置、设备和存储介质
CN119763539A (zh) * 2024-11-29 2025-04-04 平安科技（深圳）有限公司 一种保险业务端的语音合成方法、装置、设备及介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112086086B (zh) * 2020-10-22 2024-06-25 平安科技（深圳）有限公司 语音合成方法、装置、设备及计算机可读存储介质
CN112599113B (zh) * 2020-12-30 2024-01-30 北京大米科技有限公司 方言语音合成方法、装置、电子设备和可读存储介质
CN112750419B (zh) * 2020-12-31 2024-02-13 科大讯飞股份有限公司 一种语音合成方法、装置、电子设备和存储介质
CN113113047A (zh) * 2021-03-17 2021-07-13 北京大米科技有限公司 一种音频处理的方法、装置、可读存储介质和电子设备
CN113096634B (zh) * 2021-03-30 2024-03-01 平安科技（深圳）有限公司 语音合成方法、装置、服务器及存储介质
CN113112985B (zh) * 2021-04-21 2022-01-18 合肥工业大学 一种基于深度学习的语音合成方法
CN113345417B (zh) * 2021-05-31 2024-03-01 平安科技（深圳）有限公司 语音合成方法、装置、设备以及存储介质
CN113345412A (zh) * 2021-05-31 2021-09-03 平安科技（深圳）有限公司 语音合成方法、装置、设备以及存储介质
CN113782030B (zh) * 2021-09-10 2024-02-02 平安科技（深圳）有限公司 基于多模态语音识别结果纠错方法及相关设备
CN113990286B (zh) * 2021-10-29 2024-11-19 北京大学深圳研究院 语音合成方法、装置、设备及存储介质
CN113948062B (zh) * 2021-12-20 2022-08-16 阿里巴巴达摩院(杭州)科技有限公司 数据转换方法及计算机存储介质
CN114242038B (zh) * 2021-12-20 2025-04-11 浙江核新同花顺网络信息股份有限公司 一种语音合成方法及系统
CN114495927A (zh) * 2021-12-31 2022-05-13 魔珐(上海)信息科技有限公司 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端
CN114694633A (zh) * 2022-04-11 2022-07-01 平安科技（深圳）有限公司 语音合成方法、装置、设备及存储介质
CN114842880A (zh) * 2022-04-25 2022-08-02 未鲲(上海)科技服务有限公司 智能客服语音节奏调节方法、装置、设备及存储介质
CN116092478A (zh) * 2023-02-16 2023-05-09 平安科技（深圳）有限公司 语音情感转换的方法、装置、设备和存储介质
CN116434730B (zh) * 2023-03-15 2026-02-24 平安科技（深圳）有限公司 基于多尺度情感的语音合成方法、装置、设备、存储介质
CN116580691B (zh) * 2023-05-31 2026-04-28 平安科技（深圳）有限公司 语音合成方法、语音合成装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133890A (ja) * 2007-11-28 2009-06-18 Toshiba Corp 音声合成装置及びその方法
CN108470024A (zh) * 2018-03-12 2018-08-31 北京灵伴即时智能科技有限公司 一种融合句法语义语用信息的汉语韵律结构预测方法
CN110534087A (zh) * 2019-09-04 2019-12-03 清华大学深圳研究生院 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN110782870A (zh) * 2019-09-06 2020-02-11 腾讯科技（深圳）有限公司 语音合成方法、装置、电子设备及存储介质
CN112086086A (zh) * 2020-10-22 2020-12-15 平安科技（深圳）有限公司 语音合成方法、装置、设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4640063B2 (ja) * 2005-09-13 2011-03-02 沖電気工業株式会社 音声合成方法，音声合成装置，およびコンピュータプログラム
CN106652995A (zh) * 2016-12-31 2017-05-10 深圳市优必选科技有限公司 文本语音播报方法及系统
CN110335587B (zh) * 2019-06-14 2023-11-10 平安科技（深圳）有限公司 语音合成方法、系统、终端设备和可读存储介质
CN110299131B (zh) * 2019-08-01 2021-12-10 苏州奇梦者网络科技有限公司 一种可控制韵律情感的语音合成方法、装置、存储介质
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质
CN111754976B (zh) * 2020-07-21 2023-03-07 中国科学院声学研究所 一种韵律控制语音合成方法、系统及电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133890A (ja) * 2007-11-28 2009-06-18 Toshiba Corp 音声合成装置及びその方法
CN108470024A (zh) * 2018-03-12 2018-08-31 北京灵伴即时智能科技有限公司 一种融合句法语义语用信息的汉语韵律结构预测方法
CN110534087A (zh) * 2019-09-04 2019-12-03 清华大学深圳研究生院 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN110782870A (zh) * 2019-09-06 2020-02-11 腾讯科技（深圳）有限公司 语音合成方法、装置、电子设备及存储介质
CN112086086A (zh) * 2020-10-22 2020-12-15 平安科技（深圳）有限公司 语音合成方法、装置、设备及计算机可读存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020930A (zh) * 2021-11-03 2022-02-08 宁波深擎信息科技有限公司 基于会话场景的用户标签识别方法及装置
CN114529862A (zh) * 2021-11-11 2022-05-24 国网浙江省电力有限公司平湖市供电公司 一种soe信息的智能监控方法
CN115831089A (zh) * 2021-12-27 2023-03-21 北京百度网讯科技有限公司 声学特征的确定方法、装置、设备、介质及产品
CN114360485A (zh) * 2021-12-27 2022-04-15 北海淇诚信息科技有限公司 语音处理方法、系统、装置及介质
CN115831089B (zh) * 2021-12-27 2023-12-01 北京百度网讯科技有限公司 声学特征的确定方法、装置、设备、介质及产品
CN114299911A (zh) * 2021-12-28 2022-04-08 科大讯飞股份有限公司 语音合成方法及相关装置、电子设备和存储介质
CN114399991A (zh) * 2022-01-27 2022-04-26 北京有竹居网络技术有限公司 语音合成方法、装置、存储介质及电子设备
CN114664284A (zh) * 2022-03-22 2022-06-24 科大讯飞股份有限公司 语音合成方法及相关装置、电子设备、存储介质
CN115410550A (zh) * 2022-06-02 2022-11-29 柯登峰 一种细粒度韵律可控的情感语音合成方法、系统及存储介质
CN115410550B (zh) * 2022-06-02 2024-03-26 北京听见科技有限公司 一种细粒度韵律可控的情感语音合成方法、系统及存储介质
CN115762466A (zh) * 2022-11-21 2023-03-07 四川启睿克科技有限公司 一种合成不同情感音频的方法和装置
CN116665643B (zh) * 2022-11-30 2024-03-26 荣耀终端有限公司 韵律标注方法、装置和终端设备
CN116665643A (zh) * 2022-11-30 2023-08-29 荣耀终端有限公司 韵律标注方法、装置和终端设备
US12051421B2 (en) * 2022-12-21 2024-07-30 Actionpower Corp. Method for pronunciation transcription using speech-to-text model
CN116110369A (zh) * 2023-01-17 2023-05-12 鼎富新动力(北京)智能科技有限公司 一种语音合成方法和装置
CN116312468A (zh) * 2023-02-24 2023-06-23 阳光保险集团股份有限公司 一种合成含有情感的语音的方法、装置、设备和存储介质
CN118782018A (zh) * 2023-04-03 2024-10-15 科大讯飞股份有限公司 语音合成方法、装置、设备及存储介质
CN118782018B (zh) * 2023-04-03 2026-04-03 科大讯飞股份有限公司 语音合成方法、装置、设备及存储介质
CN119580697A (zh) * 2023-08-31 2025-03-07 荣耀终端股份有限公司 个性化语音合成方法、电子设备、服务器和存储介质
CN119207413A (zh) * 2024-11-26 2024-12-27 深圳市凯度电器有限公司 基于人工智能的烤箱语音识别控制方法及相关装置
CN119207413B (zh) * 2024-11-26 2025-03-18 深圳市凯度电器有限公司 基于人工智能的烤箱语音识别控制方法及相关装置
CN119763539A (zh) * 2024-11-29 2025-04-04 平安科技（深圳）有限公司 一种保险业务端的语音合成方法、装置、设备及介质
CN119763539B (zh) * 2024-11-29 2025-09-26 平安科技（深圳）有限公司 一种保险业务端的语音合成方法、装置、设备及介质
CN119724148A (zh) * 2025-02-27 2025-03-28 科大讯飞股份有限公司 语音合成方法及相关装置、设备和存储介质

Also Published As

Publication number Publication date
CN112086086A (zh) 2020-12-15
CN112086086B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
WO2021189984A1 (zh) 语音合成方法、装置、设备及计算机可读存储介质
CN112309366B (zh) 语音合成方法、装置、存储介质及电子设备
US11450313B2 (en) Determining phonetic relationships
EP4029010B1 (en) Neural text-to-speech synthesis with multi-level context features
CN111276120B (zh) 语音合成方法、装置和计算机可读存储介质
EP4352724B1 (en) TWO-LEVEL TEXT-SPEECH SYSTEMS USING SYNTHETIC TRAINING DATA
US12444401B2 (en) Method, apparatus, computer readable medium, and electronic device of speech synthesis
WO2022188734A1 (zh) 一种语音合成方法、装置以及可读存储介质
US20260088013A1 (en) Method and system for user-interface adaptation of text-to-speech synthesis
CN116034424A (zh) 两级语音韵律迁移
CN114694633A (zh) 语音合成方法、装置、设备及存储介质
CN113421550A (zh) 语音合成方法、装置、可读介质及电子设备
CN113450758B (zh) 语音合成方法、装置、设备及介质
WO2021212954A1 (zh) 极低资源下的特定发音人情感语音合成方法及装置
CN111696521A (zh) 语音克隆模型的训练方法、可读存储介质和语音克隆方法
CN112309367A (zh) 语音合成方法、装置、存储介质及电子设备
CN114373445A (zh) 语音生成方法、装置、电子设备及存储介质
Stan et al. Generating the voice of the interactive virtual assistant
CN115376483A (zh) 语音合成方法、装置、电子设备及计算机可读存储介质
TWI725608B (zh) 語音合成系統、方法及非暫態電腦可讀取媒體
US20260112356A1 (en) Method for training speech synthesis model, speech synthesis method, and electronic device
He et al. Automatic stress annotation and prediction for expressive mandarin tts
Anand et al. Email Access By Visually Impaired
CN118298797A (zh) 基于低资源的语音合成模型训练方法、装置、设备及介质
CN121148362A (zh) 语音合成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926654

Country of ref document: EP

Kind code of ref document: A1