WO2022178996A1 - 多语言语音模型生成方法、装置、计算机设备及存储介质 - Google Patents

多语言语音模型生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2022178996A1
WO2022178996A1 PCT/CN2021/096668 CN2021096668W WO2022178996A1 WO 2022178996 A1 WO2022178996 A1 WO 2022178996A1 CN 2021096668 W CN2021096668 W CN 2021096668W WO 2022178996 A1 WO2022178996 A1 WO 2022178996A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
voice
enhanced
preset
voice information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/096668
Other languages
English (en)
French (fr)
Inventor
陈闽川
马骏
王少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2022178996A1 publication Critical patent/WO2022178996A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • the present application relates to the field of artificial intelligence, and in particular, to a method, device, computer equipment and storage medium for generating a multilingual speech model.
  • multi-language speech synthesis is a hot topic in academia, and a complete and high-quality multi-speech synthesis system and model is still the focus of discussion.
  • a main system and a subordinate system usually one's own mother tongue is the main system, and the other language is the subordinate system, and the language as the subordinate system is in the Sentences do not appear continuously in large paragraphs, but are embedded in the sentence in the form of words to play an auxiliary role. For example, when people speak Chinese, sometimes English letters or part of English words are mixed.
  • the current multilingual speech synthesis system mainly includes the main language as the main system and the auxiliary language as the slave system. If only the main language is used to train the neural network model, it is difficult to obtain accurate speech for the auxiliary language. It is difficult to obtain datasets containing multiple languages during the training of neural network models, especially it is difficult to find speakers proficient in multiple languages for data collection.
  • training a neural network model with a multi-speaker mixed data set it is necessary to collect a large amount of data on the expectations of speakers whose native language is the main language and the expectations of speakers who use the auxiliary language as their native language.
  • due to the different timbres of different speakers there will be two obvious timbre phenomena in the sentences generated by the neural network model. Therefore, it can be seen that in the training of multilingual speech synthesis models, there are problems such as difficulty in collecting single-speaker training data and poor quality of models trained by multi-speakers.
  • the embodiments of the present application provide a method, device, computer equipment and storage medium for generating a multilingual speech model, which are not only convenient for data collection, but also can obtain a target model for generating multilingual speech information that is required for multilingual speech synthesis and single timbre, It can also be applied to scenarios such as smart government affairs, thereby promoting the construction of smart cities and improving user experience.
  • an embodiment of the present application provides a method for generating a multilingual speech model, the method comprising:
  • the voice data set including first voice information based on the first language and second voice information based on the second language provided by the consenting subject;
  • an embodiment of the present application also provides a device for generating a multilingual speech model, the device comprising:
  • a data acquisition unit configured to acquire a pre-collected first voice data set, the voice data set including the first voice information based on the first language and the second voice information based on the second language provided by the consenting subject;
  • a data enhancement unit configured to perform data enhancement on the second voice information according to a preset data enhancement script to obtain several enhanced voice samples
  • a voice processing unit for randomly inserting the enhanced voice samples into the first voice information to obtain target voice information
  • the first training unit is used to train a neural network by utilizing the target speech information to obtain an intermediate model
  • the second training unit is used to call the third voice information based on the first language in the preset second voice data set, to obtain the timbre in the third voice information, to train the intermediate model, and obtain a use A target model for synthesizing multilingual speech information.
  • an embodiment of the present application further provides a computer device, which includes a memory and a processor, where a computer program is stored on the memory, and the processor implements the following steps when executing the computer program:
  • the voice data set including first voice information based on the first language and second voice information based on the second language provided by the consenting subject;
  • an embodiment of the present application further provides a computer-readable storage medium, where the storage medium stores a computer program, and when the computer program is executed by a processor, the following steps can be implemented:
  • the voice data set including first voice information based on the first language and second voice information based on the second language provided by the consenting subject;
  • the embodiments of the present application provide a method, device, computer equipment, and storage medium for generating a multilingual speech model. Due to the convenience of data collection, the application can obtain the target of generating multilingual speech information for multilingual speech synthesis and monophonic requirements. The model can also be applied to scenarios such as smart government affairs and smart security, thereby promoting the construction of smart cities and improving user experience.
  • FIG. 1 is a schematic flowchart of a method for generating a multilingual speech model provided by an embodiment of the present application
  • 1a is a schematic diagram of an application scenario of a method for generating a multilingual speech model provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of a sub-flow of a method for generating a multilingual speech model provided by an embodiment of the present application
  • FIG. 3 is a schematic diagram of a sub-flow of a method for generating a multilingual speech model provided by an embodiment of the present application
  • FIG. 4 is a schematic diagram of a sub-flow of a method for generating a multilingual speech model provided by an embodiment of the present application
  • FIG. 5 is a schematic diagram of a sub-flow of a method for generating a multilingual speech model provided by an embodiment of the present application
  • FIG. 6 is a schematic block diagram of an apparatus for generating a multilingual speech model provided by an embodiment of the present application
  • FIG. 7 is a schematic block diagram of a data enhancement unit of an apparatus for generating a multilingual speech model provided by an embodiment of the present application;
  • FIG. 8 is a schematic block diagram of a data splicing unit of a device for generating a multilingual speech model provided by an embodiment of the present application;
  • FIG. 9 is a schematic block diagram of a flag insertion unit of a device for generating a multilingual speech model provided by an embodiment of the present application.
  • FIG. 10 is a schematic block diagram of a speech processing unit of a device for generating a multilingual speech model provided by an embodiment of the present application;
  • FIG. 11 is a schematic structural composition diagram of a computer device provided by an embodiment of the present application.
  • FIG. 1 is a schematic flowchart of a method for generating a multilingual speech model provided by an embodiment of the present application, and FIG.
  • the multilingual speech model generation method is applied in the management server 10 .
  • the management server 10 can realize data enhancement of the first voice information by collecting the first voice information of the first subject 20 based on the first language and the second voice information of the first subject 20 based on the second language , that is, the target voice information mixed with the second voice information is obtained, in which all the target voice information constitutes a target data set; a neural network is trained by using the target data set to obtain an intermediate model; the second voice based on the first language is obtained again.
  • the third voice information of the main body 30 uses the third voice information to train the intermediate model again to obtain the timbre of the third voice information, thereby obtaining a target model.
  • Each step of the method for generating a multilingual speech model will be described in detail below from the perspective of the processing server 10 .
  • FIG. 1 is a schematic flowchart of a method for generating a multilingual speech model provided by an embodiment of the present application. As shown in FIG. 1 , the steps of the method include steps S101 to S105.
  • Step S101 acquiring a pre-collected first voice data set, where the voice data set includes first voice information based on the first language and second voice information based on the second language provided by the consenting subject.
  • the pre-collected first voice information based on the first language is provided by the same subject, which may be a complete data set, and the data set may cover most types of voice data in the first language.
  • the pre-collected second voice information based on the second language is also provided by the subject, which may include basic voice data in the second language.
  • the first language may be Chinese
  • the second language may be English
  • the proportion of Chinese speech information is much larger than that of English language information.
  • the first speech information as a relatively complete Chinese speech data set, can cover most of the everyday languages in people's lives, so as to ensure the quality of the model obtained by subsequent training.
  • the second phonetic information as an English phonetic data set, can be the pronunciation of the 26 English letters provided by the above-mentioned subjects, because the above-mentioned subjects may not be able to provide a large amount of English phonetic information, and we cannot do without English letters in our daily life. That is to say, the count or number plate of the license plate, building number, etc. requires letters; through the acquisition of the pronunciation of the 26 English letters, more English phonetic information can be obtained through corresponding processing.
  • Step S102 performing data enhancement on the second voice information according to a preset data enhancement script to obtain several enhanced voice samples.
  • a data enhancement script needs to be preset at this time, and the data enhancement script is used to randomly combine the first voice information.
  • Two voice information so as to obtain a longer voice information, that is, to obtain a number of enhanced voice samples.
  • the second phonetic information is English letters
  • several English letters may be randomly selected to form a plurality of English words, thereby forming one or more short daily English sentences.
  • the second voice information includes several pieces of second voice data, and the step 102 includes steps S201-S202.
  • Step S201 running a preset data enhancement script to randomly extract multiple groups of second voice data from the second voice information; wherein, the number of second voice data in each group is at least two.
  • the management server can call and run the preset data enhancement script, so that multiple sets of second voice data can be randomly extracted from the second voice information.
  • the number of second voice data in each group is at least two, for example, it may be two or three or more.
  • Step S202 splicing each group of extracted second speech data to obtain a plurality of corresponding enhanced speech samples.
  • the management server needs to splicing each group of extracted second voice data, so as to obtain a plurality of corresponding enhanced voice samples. For example, a small amount of English voice data can be randomly combined to form daily life phrases and sentences Wait.
  • the step S202 includes steps S301 to S303.
  • Step S301 splicing each group of the extracted second speech data to obtain a plurality of intermediate phrases.
  • the management server can splicing each group of the extracted second voice data. Since the second voice data is usually the basic pronunciation and components in the second language, multiple intermediate phrases can be obtained by splicing at this time.
  • Step S302 combining the obtained intermediate phrases to obtain a plurality of intermediate sentences.
  • the management server can also combine the obtained intermediate phrases again to obtain a plurality of intermediate sentences, and through the combination of the intermediate sentences, a plurality of related everyday terms can be obtained.
  • Step S303 splicing the obtained intermediate sentences, and inserting preset mute marks at the splicing position to obtain enhanced speech samples, wherein different preset mute marks are associated with different mute time periods.
  • a mute mark can be inserted at the splicing position.
  • the overall rhythm of the sentence can be guaranteed without problems.
  • Different mute marks are associated with different mute time periods. There is usually no speech content in the time period, representing a pause in the recording.
  • the preset mute sign is a punctuation mark
  • the punctuation mark includes one or more of a comma, a comma, a full stop, a question mark and an exclamation mark.
  • the corresponding silence is represented by setting punctuation marks.
  • commas and commas are 200-300 milliseconds, and periods, question marks, and exclamation marks are paused for 400-500 milliseconds.
  • the punctuation mark includes a comma and a period
  • the silent period associated with the comma is 200-300 milliseconds
  • the silent period associated with the period is 400-500 milliseconds
  • the step S303 includes steps S401 to S403.
  • Step S401 splicing the obtained intermediate sentences to obtain a spliced sentence.
  • Step S402 judging whether the number of characters of the concatenated sentence exceeds a first preset value.
  • Step S403 if the number of characters of the splicing sentence exceeds the first preset value, insert a period at the splicing position to obtain an enhanced speech sample.
  • the method further includes the following steps. In step S404, if the number of characters of the spliced sentence does not exceed a first preset value, insert a comma at the splicing position to obtain an enhanced speech sample.
  • the management server can calculate whether the number of characters of the spliced sentence exceeds the first preset value.
  • preset mute marks such as periods or commas
  • the pause time associated with the comma can be 200-300 milliseconds, and the pause time associated with the period can be 400-500 milliseconds, that is, when the number of characters exceeds the first
  • a preset value is used, a period needs to be used to pause at this time, and if the number of characters does not exceed the first preset value, a comma is used to pause at this time.
  • Step S103 Randomly insert the enhanced speech sample into the first speech information to obtain target speech information.
  • the management server can randomly insert the enhanced voice samples into the first voice information, so as to obtain a plurality of target voice information including the enhanced voice samples.
  • the first voice information is Chinese voice information
  • one of the first voice information is "there is a car there”
  • one of the enhanced voice samples is "red”
  • the two can be combined into the target voice Message "There is a red car there”.
  • the step S103 may include steps S501-S502.
  • Step S501 acquiring the enhanced speech sample.
  • the management server can acquire the enhanced speech samples, so as to insert the enhanced speech samples into the corresponding first speech information.
  • Step S502 Randomly insert the acquired enhanced speech samples into different first speech information to obtain a plurality of different target speech information.
  • the management server can randomly insert the acquired enhanced voice samples into different first voice information, thereby obtaining multiple different target voice information.
  • the first voice information inserted into the enhanced voice sample may contain voice information in multiple languages.
  • Step S104 using the target speech information to train a neural network to obtain an intermediate model.
  • the management server can obtain the target voice information, thereby training a neural network, and an intermediate model can be obtained through the trained neural network.
  • the neural network can use a recurrent neural network (such as LSTM, etc.), and the loss of training
  • the function is the mean squared loss function.
  • the target voice information is the pronunciation information of the subject, and has nothing to do with the timbre of the subject's speech, so as to facilitate further improvement and training of the related model in the future, so as to obtain a more complete model.
  • Step S105 Acquire the third voice information based on the first language in the preset second voice data set, obtain the timbre in the third voice information to train the intermediate model, and obtain a multi-language code for synthesizing multiple languages.
  • a target model for speech information Acquire the third voice information based on the first language in the preset second voice data set, obtain the timbre in the third voice information to train the intermediate model, and obtain a multi-language code for synthesizing multiple languages.
  • the preset second voice data set includes third voice information based on the first language provided by another subject, and further refinement of the intermediate model is achieved by acquiring the timbre in the third voice information. train.
  • the management server acquires the timbre of the third speech information, so that the intermediate model can obtain a target model that can generate multilingual speech information that meets the user's requirement for multilingual speech synthesis after retraining.
  • the present application can not only collect data more conveniently, but also generate a target model of multilingual voice information that meets the user's requirements for multilingual speech synthesis and monophonic tone, thereby improving the user experience.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), and the like.
  • an embodiment of the present application further provides an apparatus for generating a multilingual speech model.
  • the apparatus 100 includes: a data acquisition unit 101 , a data enhancement unit 102 , and a speech processing unit 103 , a first training unit 104 and a second training unit 105 .
  • the data acquisition unit 101 is configured to acquire a pre-collected first voice data set, where the voice data set includes first voice information based on the first language and second voice information based on the second language provided by both consenting subjects.
  • the pre-collected first voice information based on the first language is provided by the same subject, which may be a complete data set, and the data set may cover most types of voice data in the first language.
  • the pre-collected second voice information based on the second language is also provided by the subject, which may include basic voice data in the second language.
  • the first language may be Chinese
  • the second language may be English
  • the proportion of Chinese speech information is much larger than that of English language information.
  • the first speech information as a relatively complete Chinese speech data set, can cover most of the everyday languages in people's lives, so as to ensure the quality of the model obtained by subsequent training.
  • the second phonetic information as an English phonetic data set, can be the pronunciation of the 26 English letters provided by the above-mentioned subjects, because the above-mentioned subjects may not be able to provide a large amount of English phonetic information, and we cannot do without English letters in our daily life. That is to say, the count or number plate of the license plate, building number, etc. requires letters; through the acquisition of the pronunciation of the 26 English letters, more English phonetic information can be obtained through corresponding processing.
  • the data enhancement unit 102 is configured to perform data enhancement on the second voice information according to a preset data enhancement script to obtain several enhanced voice samples.
  • a data enhancement script needs to be preset at this time, and the data enhancement script is used to randomly combine the first voice information.
  • Two voice information so as to obtain a longer voice information, that is, to obtain a number of enhanced voice samples.
  • the second phonetic information is English letters
  • several English letters may be randomly selected to form a plurality of English words, thereby forming one or more short daily English sentences.
  • the second voice information includes several pieces of second voice data
  • the data enhancement unit 102 includes a script running unit 201 and a data splicing unit 202 .
  • the script running unit 201 is configured to run a preset data enhancement script to randomly extract multiple groups of second voice data from the second voice information; wherein, the number of second voice data in each group is at least two.
  • the management server can call and run the preset data enhancement script, so that multiple sets of second voice data can be randomly extracted from the second voice information.
  • the number of second voice data in each group is at least two, for example, it may be two or three or more.
  • the data splicing unit 202 is used for splicing each group of extracted second speech data to obtain a plurality of corresponding enhanced speech samples.
  • the management server needs to splicing each group of extracted second voice data, so as to obtain a plurality of corresponding enhanced voice samples. For example, a small amount of English voice data can be randomly combined to form daily life phrases and sentences Wait.
  • the data splicing unit 202 includes a data extracting unit 301 , a phrase combining unit 302 and a flag inserting unit 303 .
  • the data extraction unit 301 is used for splicing each group of extracted second speech data to obtain a plurality of intermediate phrases.
  • the management server can splicing each group of the extracted second voice data. Since the second voice data is usually the basic pronunciation and components in the second language, multiple intermediate phrases can be obtained by splicing at this time.
  • the phrase combining unit 302 is configured to combine the obtained intermediate phrases to obtain a plurality of intermediate sentences.
  • the management server can also combine the obtained intermediate phrases again, so as to obtain a plurality of intermediate sentences, and through the combination of the intermediate sentences, can obtain a plurality of related everyday terms.
  • the marker inserting unit 303 is used for splicing the obtained intermediate sentences, and inserting preset silence markers at the splicing position to obtain enhanced speech samples, wherein different preset silence markers are associated with different silence time periods.
  • a mute mark can be inserted at the splicing position.
  • the overall rhythm of the sentence can be guaranteed without problems.
  • Different mute marks are associated with different mute time periods. There is usually no speech content in the time period, representing a pause in the recording.
  • the preset mute sign is a punctuation mark
  • the punctuation mark includes one or more of a comma, a comma, a full stop, a question mark and an exclamation mark.
  • the corresponding silence is represented by setting punctuation marks.
  • commas and commas are 200-300 milliseconds, and periods, question marks, and exclamation marks are paused for 400-500 milliseconds.
  • the flag inserting unit 303 includes a sentence splicing unit 401 , a numerical value judging unit 402 and a first inserting unit 403 .
  • the sentence splicing unit 401 is used for splicing the obtained intermediate sentences to obtain a spliced sentence.
  • the numerical value judgment unit 402 is used for judging whether the number of characters of the concatenated sentence exceeds a first preset value.
  • the first inserting unit 403 is configured to insert a period at the splicing position if the number of characters of the spliced sentence exceeds a first preset value, so as to obtain an enhanced speech sample.
  • the apparatus 100 further includes a second inserting unit 404, configured to insert a comma at the splicing position to obtain an enhanced speech sample if the number of characters of the spliced sentence does not exceed the first preset value.
  • the management server can calculate whether the number of characters of the spliced sentence exceeds the first preset value.
  • preset mute marks such as periods or commas
  • the pause time associated with the comma can be 200-300 milliseconds, and the pause time associated with the period can be 400-500 milliseconds, that is, when the number of characters exceeds the first
  • a preset value is used, a period needs to be used to pause at this time, and if the number of characters does not exceed the first preset value, a comma is used to pause at this time.
  • the voice processing unit 103 is configured to randomly insert the enhanced voice sample into the first voice information to obtain target voice information.
  • the management server can randomly insert the enhanced voice samples into the first voice information, so as to obtain a plurality of target voice information including the enhanced voice samples.
  • the first voice information is Chinese voice information
  • one of the first voice information is "there is a car there”
  • one of the enhanced voice samples is "red”
  • the two can be combined into the target voice The message "there's a red car there”.
  • the speech processing unit 103 may include a sample acquisition unit 501 and a sample insertion unit 502 .
  • the sample obtaining unit 501 is configured to obtain the enhanced speech sample.
  • the management server can acquire the enhanced speech samples, so as to insert the enhanced speech samples into the corresponding first speech information.
  • the sample inserting unit 502 is configured to randomly insert the acquired enhanced speech samples into different first speech information to obtain a plurality of different target speech information.
  • the management server can randomly insert the acquired enhanced voice samples into different first voice information, thereby obtaining multiple different target voice information.
  • the first voice information inserted into the enhanced voice sample may contain voice information in multiple languages.
  • the first training unit 104 is used for training a neural network using the target speech information to obtain an intermediate model.
  • the management server can obtain the target voice information, thereby training a neural network, and an intermediate model can be obtained through the trained neural network.
  • the neural network can use a recurrent neural network (such as LSTM, etc.), and the loss of training
  • the function is the mean squared loss function.
  • the target voice information is the pronunciation information of the subject, and has nothing to do with the timbre of the subject's speech, so as to facilitate further improvement and training of the related model in the future, so as to obtain a more complete model.
  • the second training unit 105 is configured to call the third voice information based on the first language in the preset second voice data set to obtain the timbre in the third voice information to train the intermediate model, and A target model for synthesizing multilingual speech information is obtained.
  • the preset second voice data set includes third voice information based on the first language provided by another subject, and further refinement of the intermediate model is achieved by acquiring the timbre in the third voice information. train.
  • the management server acquires the timbre of the third voice information, so that the intermediate model can obtain a target model that can generate multilingual voice information that meets the user's needs for multilingual speech synthesis after retraining.
  • the above data acquisition unit 101, data enhancement unit 102, speech processing unit 103, first training unit 104, and second training unit 105 can be embedded in hardware or independent of multilingual speech.
  • the model generation device it can also be stored in the memory of the multilingual speech model generation device in the form of software, so that the processor can call and execute the operations corresponding to the above units.
  • the processor may be a central processing unit (CPU), a microprocessor, a single-chip microcomputer, or the like.
  • the above-mentioned apparatus for generating a multilingual speech model can be implemented in the form of a computer program, and the computer program can be executed on a computer device as shown in FIG. 11 .
  • FIG. 11 is a schematic diagram of the structure and composition of a computer device of the present application.
  • the device may be a server, wherein the server may be an independent server or a server cluster composed of multiple servers.
  • the computer device 600 includes a processor 602 , a memory, an internal memory 604 and a network interface 605 connected through a system bus 601 , wherein the memory may include a non-volatile storage medium 603 and an internal memory 604 .
  • the non-volatile storage medium 603 can store an operating system 6031 and a computer program 6032.
  • the processor 602 can execute a method for generating a multilingual speech model.
  • the processor 602 is used to provide computing and control capabilities to support the operation of the entire computer device 600 .
  • the internal memory 604 provides an environment for running the computer program 6032 in the non-volatile storage medium 603.
  • the processor 602 can execute a method for generating a multilingual speech model.
  • the network interface 605 is used for network communication with other devices.
  • the structure shown in FIG. 11 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 600 to which the solution of the present application is applied.
  • the specific computer device 600 may include more or fewer components than shown, or combine certain components, or have a different arrangement of components.
  • the processor 602 is configured to run the computer program 6032 stored in the memory, so as to realize the steps in the method for generating a multilingual speech model in the above-mentioned embodiment.
  • the processor 602 may be a central processing unit (Central Processing Unit, CPU), and the processor 602 may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSP), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor can also be any conventional processor or the like.
  • the computer program can be stored in a storage medium, which is a computer-readable storage medium.
  • the computer program is executed by at least one processor in the computer system to implement the flow steps of the above-described method embodiments.
  • the present application also provides a storage medium.
  • the storage medium may be a computer-readable storage medium, and the computer-readable storage medium may be non-volatile or volatile.
  • the storage medium stores a computer program, and when the computer program is executed by the processor, causes the processor to execute the steps in the method for generating a multilingual speech model in the above-mentioned embodiment.
  • the storage medium is a physical, non-transitory storage medium, such as a U disk, a removable hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk or an optical disk and other physical storage that can store program codes. medium.
  • ROM Read-Only Memory
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as an independent product, may be stored in a storage medium.
  • the technical solutions of the present application are essentially or part of contributions to the prior art, or all or part of the technical solutions can be embodied in the form of software products, and the computer software products are stored in a storage medium , including several instructions to cause a computer device (which may be a personal computer, a terminal, or a network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

多语言语音模型生成方法包括获取预先采集的第一语音数据集（S101）；根据预设数据增强脚本对第二语音信息进行数据增强，以得到增强语音样本（S102）；将增强语音样本随机插入第一语音信息以得到目标语音信息（S103）；利用目标语音信息训练一神经网络，以得到一中间模型（S104）；获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取第三语音信息中的音色以对中间模型进行训练，并得到一用于合成多语言语音信息的目标模型（S105）。多语言语音模型生成方法、多语言语音模型生成装置（100）、计算机设备（600）及存储介质不仅数据收集便捷，可得到对多语言语音合成满足单音色需求的目标模型，还能应用于智慧政务等场景中，从而推动智慧城市的建设，提高用户使用体验度。

Description

多语言语音模型生成方法、装置、计算机设备及存储介质
本申请要求于2021年2月26日提交中国专利局、申请号为202110219479.8，发明名称为“多语言语音模型生成方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能领域，尤其涉及一种多语言语音模型生成方法、装置、计算机设备及存储介质。
背景技术
目前，多语言的语音合成是学术界的热门话题，完整的高质量的多语音合成体系和模型仍然是大家讨论的焦点所在。一般来说，在说话过程中，若存在两个语言体系，即会存在一个主体系及一个从体系，通常以自己的母语为主体系，而另一个语言为从体系，作为从体系的语言在语句中不会大段地连续出现，只是以单词的形式嵌入到句子中起辅助作用。例如人们在说汉语的时候，有时会夹杂着英语的字母或者部分英文的单词。
现今多语言语音合成体系主要包括作为主体系的主要语言和以及作为从体系的辅助语言，若只使用主要语言训练神经网络模型，即难以获得针对辅助语言的准确语音。在神经网络模型训练过程中获取包含多种语言的数据集是很困难的，尤其是较难找到精通多种语言的说话人进行数据采集。而使用多说话人的混合数据集训练神经网络模型时，需要收集大量的分别以主体语言为母语的说话人的预料以及以辅助语言为母语的说话人的预料等数据，但是发明人意识到在训练过程种由于不同说话人的音色不同，会导致神经网络模型生成的语句种存在明显的两个音色现象。故可知，在多语言语音合成模型的训练上，存在单说话人训练数据难收集以及多说话人训练得到的模型质量欠佳等问题。
发明内容
本申请实施例提供一种多语言语音模型生成方法、装置、计算机设备及存储介质，其不仅数据收集便捷，可得到用于生成对多语言语音合成单音色需求的多语言语音信息的目标模型，还能应用于智慧政务等场景中，从而推动智慧城市的建设，提高用户使用体验度。
第一方面，本申请实施例提供了一种多语言语音模型生成方法，该方法包括：
获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
利用目标语音信息训练一神经网络，以得到一中间模型；
获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
第二方面，本申请实施例还提供了一种多语言语音模型生成装置，该装置包括：
数据获取单元，用于获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
数据增强单元，用于根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
语音处理单元，用于将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
第一训练单元，用于利用目标语音信息训练一神经网络，以得到一中间模型；
第二训练单元，用于调用预设的第二语音数据集中的基于第一语言的第三语音信息，以获取所述第三语音信息中的音色对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
利用目标语音信息训练一神经网络，以得到一中间模型；
获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如下步骤：
获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
利用目标语音信息训练一神经网络，以得到一中间模型；
获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
本申请实施例提供了一种多语言语音模型生成方法、装置、计算机设备及存储介质，该申请由于数据收集便捷，可得到用于生成对多语言语音合成单音色需求的多语言语音信息的目标模型，还能应用于智慧政务、智慧安防等场景中，从而推动智慧城市的建设，提高用户使用体验度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种多语言语音模型生成方法的流程示意图；
图1a是本申请实施例提供的一种多语言语音模型生成方法的应用场景示意图；
图2是本申请实施例提供的一种多语言语音模型生成方法的子流程示意图；
图3是本申请实施例提供的一种多语言语音模型生成方法的子流程示意图；
图4是本申请实施例提供的一种多语言语音模型生成方法的子流程示意图；
图5是本申请实施例提供的一种多语言语音模型生成方法的子流程示意图；
图6是本申请实施例提供的一种多语言语音模型生成装置的示意性框图；
图7是本申请实施例提供的一种多语言语音模型生成装置的数据增强单元的示意性框图；
图8是本申请实施例提供的一种多语言语音模型生成装置的数据拼接单元的示意性框图；
图9是本申请实施例提供的一种多语言语音模型生成装置的标志插入单元的示意性框图；
图10是本申请实施例提供的一种多语言语音模型生成装置的语音处理单元的示意性框图；
图11是本申请实施例提供的一种计算机设备结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
请参阅图1和图1a，图1是本申请实施例提供的一种多语言语音模型生成方法的示意流程图，图1a是本申请实施例中多语言语音模型生成方法的场景示意图。该多语言语音模型生成方法应用于管理服务器10中。该管理服务器10能够通过对基于第一语言的第一主体20的第一语音信息的采集以及基于第二语言的第一主体20的第二语音信息的采集，实现对第一语音信息的数据增强，即得到混合有第二语音信息的目标语音信息，其中所有的目标语音信息构成一目标数据集；利用目标数据集训练一神经网络，以得到一中间模型；再次获取基于第一语言的第二主体30的第三语音信息，利用第三语音信息对中间模型再次进行训练，以获取第三语音信息的音色，从而得到一目标模型。以下将以处理服务器10的角度详细地介绍该多语言语音模型生成方法的各个步骤。
请参阅图1，图1是本申请实施例提供的一种多语言语音模型生成方法的示意流程图。如图1所示，该方法的步骤包括步骤S101～S105。
步骤S101，获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息。
在本实施例中，预先采集的基于第一语言的第一语音信息为同一个主体提供，其可以是一个完整的数据集，该数据集可以涵盖第一语言中的大部分语音数据的类型。预先采集的基于第二语言的第二语音信息也由上述主体提供，其可以包括第二语言中的基础语音数据。
例如，所述第一语言可以是汉语，所述第二语言可以是英语。作为优选地，在第一语音数据集中，汉语语音信息所占的比重远大于英语语信息据所占的比重。通常，第一语音信息作为一个较为完整的汉语语音数据集，可以涵盖人们生活中的大部分日常语言，从而保证后续训练得到的模型的质量。第二语音信息作为英语语音数据集，可以是上述主体提供的26个英文字母的读音，因为对于大量的英语语音信息，上述主体可能没有能力提供，而我们在日常生活中离不开英语字母，即车牌、楼门号等等计数或者号码牌都是需要字母的；通过26个英文字母的读音的获取，即可通过相应地处理得到更多的英语语音信息。
步骤S102，根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本。
在本实施例中，由于第一语音信息和第二语音信息是分开的，为了得到多语言的混合语音信息，此时需要预先设置一个数据增强脚本，该数据增强脚本用于随机组合所述第二语音信息，从而得到一个较长的语音信息，即得到若干增强语音样本。例如，当第二语音信息为英语字母时，可以随机抽取若干英语字母以组成多个英语单词，进而构成一个或多个简短的日常英语语句。
在另一实施例中，如图2所示，所述第二语音信息包括若干条第二语音数据，所述步骤102包括步骤S201～S202。
步骤S201，运行预设数据增强脚本以从第二语音信息中随机抽取多组第二语音数据；其中，每组中的第二语音数据的数量至少为两个。
在本实施例中，管理服务器可以调取预设数据增强脚本，并进行运行，从而可以从第二语音信息中随机抽取多组第二语音数据，为了确保拼接的相关语音信息更为合理，此时每组中的第二语音数据至少为两个，如可以是两个或者三个及以上的数量。
步骤S202，将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本。
在本实施例中，管理服务器需要将所抽取的每组第二语音数据进行拼接，从而得到多个相应的增强语音样本，例如，可以通过随机组合少量的英语语音数据，构成日常生活用语和句子等。
在进一步的实施例中，如图3所示，所述步骤S202包括步骤S301～S303。
步骤S301，将所抽取的每组第二语音数据进行拼接，以得到多个中间词组。
其中，管理服务器可以将所抽取的每组第二语音数据进行拼接，由于通常第二语音数据为第二语言中的基础发音和组成部分，故此时通过拼接，可以得到多个中间词组。
步骤S302，将所得到的中间词组进行组合，以得到多个中间语句。
其中，管理服务器还能够再次对所得到的中间词组进行组合，从而得到多个中间语句， 通过中间语句的组合，可以得到多个相关日常用语。
步骤S303，将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本，其中，不同的预设静音标志关联有不同的静音时间段。
其中，管理服务器将所得到的中间语句进行拼接时，可以在拼接位置插入静音标志，通过设置静音标志，可以保证语句的整体韵律不出现问题，不同的静音标志关联有不同的静音时间段，静音时间段中通常没有语音内容，代表录音中的停顿。
作为可选地，所述预设静音标志为标点符号，所述标点符号包括逗号、顿号、句号、问号以及感叹号中的一种或多种。例如，拼接两段中间语句，通过设置标点符号来表示相应的静音，一般逗号和顿号200-300毫秒，句号、问号、感叹号停顿400-500毫秒等。
在一实施例中，如图4所示，若所述标点符号包括逗号和句号，所述逗号关联的静音时间段为200～300毫秒，所述句号关联的静音时间段为400～500毫秒，所述步骤S303包括步骤S401～S403。
步骤S401，将所得到的中间语句进行拼接以得到一拼接语句。步骤S402，判断所述拼接语句的字符数是否超过第一预设值。步骤S403，若所述拼接语句的字符数超过第一预设值，在拼接位置插入句号，以得到增强语音样本。所述方法还包括以下步骤，步骤S404，若所述拼接语句的字符数没有超过第一预设值，在拼接位置插入逗号，以得到增强语音样本。
其中，管理服务器将所得到的中间语句进行拼接后，可以计算该拼接语句的字符数是否超过第一预设值，通常当字符数过多时，不便进行停顿，会导致语句的整体韵律出现问题，故可以再凭借语句中加入预设静音标志如句号或逗号，此时逗号所关联的停顿时间可以是200～300毫秒，句号所关联的停顿时间可以是400～500毫秒，即当字符数超过第一预设值时，此时需要使用句号进行停顿，若字符数没有超过第一预设值，此时则是使用逗号进行停顿。
步骤S103，将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息。
在本实施例中，管理服务器能够将所述增强语音样本随机地插入第一语音信息中，从而得到多个包括有增强语音样本地目标语音信息。
例如，当第一语音信息为汉语语音信息时，若其中一条第一语音信息为“那儿有一辆车”，此时，其中一条增强语音样本为“red”时，可以将两者合并为目标语音信息“那儿有一辆red车”。
在另一实施例中，如图5所示，所述步骤S103可以包括步骤S501～S502。
步骤S501，获取所述增强语音样本。其中，管理服务器能够获取所述增强语音样本，以便于将增强语音样本插入到相应的第一语音信息中。
步骤S502，将所获取的增强语音样本随机插入不同的第一语音信息中，以得到多个不同的目标语音信息。其中，管理服务器能够将所获取的增强语音样本随机插入到不同的第一语音信息中，从而得到多个不同的目标语音信息。通常插入增强语音样本的第一语音信息可以时包含多语言的语音信息。
步骤S104，利用目标语音信息训练一神经网络，以得到一中间模型。
在本实施例中，管理服务器能够获取目标语音信息，从而训练一神经网络，通过训练后 的神经网络可以得到一中间模型，该神经网络可以采用循环神经网络(如：LSTM等)，训练的损失函数为均方差损失函数。
在一实施例中，所述目标语音信息为上述主体的读音信息，与该主体的说话的音色无关，以便于后续对相关模型的进一步的提升训练，从而得到更为完善的模型。
步骤S105，获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
在本申请中，预设的第二语音数据集包括另一主体所提供的基于第一语言的第三语音信息，并通过获取所述第三语音信息中的音色来实现对中间模型的进一步的训练。管理服务器获取第三语音信息的音色，能够使得中间模型在再次训练之后得到一个可生成符合用户的对多语言语音合成需求的多语言语音信息的目标模型。
综上，本申请可以不仅数据收集更为便捷，还能生成符合用户的对多语言语音合成单音色需求的多语言语音信息的目标模型，提高了用户的使用体验度。
本领域普通技术员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
请参阅图6，对应上述一种多语言语音模型生成方法，本申请实施例还提出一种多语言语音模型生成装置，该装置100包括：数据获取单元101、数据增强单元102、语音处理单元103、第一训练单元104以及第二训练单元105。
所述数据获取单元101，用于获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息。
在本实施例中，预先采集的基于第一语言的第一语音信息为同一个主体提供，其可以是一个完整的数据集，该数据集可以涵盖第一语言中的大部分语音数据的类型。预先采集的基于第二语言的第二语音信息也由上述主体提供，其可以包括第二语言中的基础语音数据。
例如，所述第一语言可以是汉语，所述第二语言可以是英语。作为优选地，在第一语音数据集中，汉语语音信息所占的比重远大于英语语信息据所占的比重。通常，第一语音信息作为一个较为完整的汉语语音数据集，可以涵盖人们生活中的大部分日常语言，从而保证后续训练得到的模型的质量。第二语音信息作为英语语音数据集，可以是上述主体提供的26个英文字母的读音，因为对于大量的英语语音信息，上述主体可能没有能力提供，而我们在日常生活中离不开英语字母，即车牌、楼门号等等计数或者号码牌都是需要字母的；通过26个英文字母的读音的获取，即可通过相应地处理得到更多的英语语音信息。
所述数据增强单元102，用于根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本。
在本实施例中，由于第一语音信息和第二语音信息是分开的，为了得到多语言的混合语音信息，此时需要预先设置一个数据增强脚本，该数据增强脚本用于随机组合所述第二语音 信息，从而得到一个较长的语音信息，即得到若干增强语音样本。例如，当第二语音信息为英语字母时，可以随机抽取若干英语字母以组成多个英语单词，进而构成一个或多个简短的日常英语语句。
在另一实施例中，如图7所示，所述第二语音信息包括若干条第二语音数据，所述数据增强单元102包括脚本运行单元201以及数据拼接单元202。
所述脚本运行单元201，用于运行预设数据增强脚本以从第二语音信息中随机抽取多组第二语音数据；其中，每组中的第二语音数据的数量至少为两个。
在本实施例中，管理服务器可以调取预设数据增强脚本，并进行运行，从而可以从第二语音信息中随机抽取多组第二语音数据，为了确保拼接的相关语音信息更为合理，此时每组中的第二语音数据至少为两个，如可以是两个或者三个及以上的数量。
所述数据拼接单元202，用于将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本。
在本实施例中，管理服务器需要将所抽取的每组第二语音数据进行拼接，从而得到多个相应的增强语音样本，例如，可以通过随机组合少量的英语语音数据，构成日常生活用语和句子等。
在进一步的实施例中，如图8所示，所述所述数据拼接单元202包括数据抽取单元301、词组组合单元302以及标志插入单元303。
所述数据抽取单元301，用于将所抽取的每组第二语音数据进行拼接，以得到多个中间词组。
其中，管理服务器可以将所抽取的每组第二语音数据进行拼接，由于通常第二语音数据为第二语言中的基础发音和组成部分，故此时通过拼接，可以得到多个中间词组。
所述词组组合单元302，用于将所得到的中间词组进行组合，以得到多个中间语句。
其中，管理服务器还能够再次对所得到的中间词组进行组合，从而得到多个中间语句，通过中间语句的组合，可以得到多个相关日常用语。
所述标志插入单元303，用于将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本，其中，不同的预设静音标志关联有不同的静音时间段。
其中，管理服务器将所得到的中间语句进行拼接时，可以在拼接位置插入静音标志，通过设置静音标志，可以保证语句的整体韵律不出现问题，不同的静音标志关联有不同的静音时间段，静音时间段中通常没有语音内容，代表录音中的停顿。
作为可选地，所述预设静音标志为标点符号，所述标点符号包括逗号、顿号、句号、问号以及感叹号中的一种或多种。例如，拼接两段中间语句，通过设置标点符号来表示相应的静音，一般逗号和顿号200-300毫秒，句号、问号、感叹号停顿400-500毫秒等。
在一实施例中，如图9所示，若所述标点符号包括逗号和句号，所述逗号关联的静音时间段为200～300毫秒，所述句号关联的静音时间段为400～500毫秒，所述标志插入单元303包括语句拼接单元401、数值判断单元402以及第一插入单元403。
所述语句拼接单元401，用于将所得到的中间语句进行拼接以得到一拼接语句。所述数 值判断单元402，用于判断所述拼接语句的字符数是否超过第一预设值。所述第一插入单元403，用于若所述拼接语句的字符数超过第一预设值，在拼接位置插入句号，以得到增强语音样本。所述装置100还包括第二插入单元404，用于若所述拼接语句的字符数没有超过第一预设值，在拼接位置插入逗号，以得到增强语音样本。
其中，管理服务器将所得到的中间语句进行拼接后，可以计算该拼接语句的字符数是否超过第一预设值，通常当字符数过多时，不便进行停顿，会导致语句的整体韵律出现问题，故可以再凭借语句中加入预设静音标志如句号或逗号，此时逗号所关联的停顿时间可以是200～300毫秒，句号所关联的停顿时间可以是400～500毫秒，即当字符数超过第一预设值时，此时需要使用句号进行停顿，若字符数没有超过第一预设值，此时则是使用逗号进行停顿。
所述语音处理单元103，用于将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息。
在本实施例中，管理服务器能够将所述增强语音样本随机地插入第一语音信息中，从而得到多个包括有增强语音样本地目标语音信息。
例如，当第一语音信息为汉语语音信息时，若其中一条第一语音信息为“那儿有一辆车”，此时，其中一条增强语音样本为“red”时，可以将两者合并为目标语音信息“那儿有一辆red车”。
在另一实施例中，如图10所示，所述语音处理单元103可以包括样本获取单元501以及样本插入单元502。
所述样本获取单元501，用于获取所述增强语音样本。其中，管理服务器能够获取所述增强语音样本，以便于将增强语音样本插入到相应的第一语音信息中。
所述样本插入单元502，用于将所获取的增强语音样本随机插入不同的第一语音信息中，以得到多个不同的目标语音信息。其中，管理服务器能够将所获取的增强语音样本随机插入到不同的第一语音信息中，从而得到多个不同的目标语音信息。通常插入增强语音样本的第一语音信息可以时包含多语言的语音信息。
所述第一训练单元104，用于利用目标语音信息训练一神经网络，以得到一中间模型。
在本实施例中，管理服务器能够获取目标语音信息，从而训练一神经网络，通过训练后的神经网络可以得到一中间模型，该神经网络可以采用循环神经网络(如：LSTM等)，训练的损失函数为均方差损失函数。
在一实施例中，所述目标语音信息为上述主体的读音信息，与该主体的说话的音色无关，以便于后续对相关模型的进一步的提升训练，从而得到更为完善的模型。
所述第二训练单元105，用于调用预设的第二语音数据集中的基于第一语言的第三语音信息，以获取所述第三语音信息中的音色对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
在本申请中，预设的第二语音数据集包括另一主体所提供的基于第一语言的第三语音信息，并通过获取所述第三语音信息中的音色来实现对中间模型的进一步的训练。管理服务器获取第三语音信息的音色，能够使得中间模型在再次训练之后得到一个可生成符合用户的对 多语言语音合成需求的多语言语音信息的目标模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述多语言语音模型生成装置100和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
由以上可见，在硬件实现上，以上数据获取单元101、数据增强单元102、语音处理单元103、第一训练单元104以及第二训练单元105等可以以硬件形式内嵌于或独立于多语言语音模型生成装置中，也可以以软件形式存储于多语言语音模型生成装置的存储器中，以便处理器调用执行以上各个单元对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。
上述多语言语音模型生成装置可以实现为一种计算机程序的形式，计算机程序可以在如图11所示的计算机设备上运行。
图11为本申请一种计算机设备的结构组成示意图。该设备可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参照图11，该计算机设备600包括通过系统总线601连接的处理器602、存储器、内存储器604和网络接口605，其中，存储器可以包括非易失性存储介质603和内存储器604。
该非易失性存储介质603可存储操作系统6031和计算机程序6032，该计算机程序6032被执行时，可使得处理器602执行一种多语言语音模型生成方法。
该处理器602用于提供计算和控制能力，支撑整个计算机设备600的运行。
该内存储器604为非易失性存储介质603中的计算机程序6032的运行提供环境，该计算机程序6032被处理器602执行时，可使得处理器602执行一种多语言语音模型生成方法。
该网络接口605用于与其它设备进行网络通信。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备600的限定，具体的计算机设备600可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器602用于运行存储在存储器中的计算机程序6032，以实现如上述实施例中的多语言语音模型生成方法中的步骤。应当理解，在本申请实施例中，处理器602可以是中央处理单元(Central Processing Unit，CPU)，该处理器602还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质，所述计算 机可读存储介质可以是非易失性，也可以是易失性。该存储介质存储有计算机程序，该计算机程序被处理器执行时使处理器执行如上述实施例中的多语言语音模型生成方法中的步骤。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种多语言语音模型生成方法，包括：
    获取预先采集的第一语音数据集，该语音数据集包括均为同一主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
    根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
    将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
    利用目标语音信息训练一神经网络，以得到一中间模型；
    获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
  2. 如权利要求1所述的方法，其中，所述第二语音信息包括若干条第二语音数据，所述根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本的步骤，包括：
    运行预设数据增强脚本以从第二语音信息中随机抽取多组第二语音数据；其中，每组中的第二语音数据的数量至少为两个；
    将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本。
  3. 如权利要求2所述的方法，其中，所述将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本的步骤，包括：
    将所抽取的每组第二语音数据进行拼接，以得到多个中间词组；
    将所得到的中间词组进行组合，以得到多个中间语句；
    将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本，其中，不同的预设静音标志关联有不同的静音时间段。
  4. 如权利要求3所述的方法，其中，所述预设静音标志为标点符号，所述标点符号包括逗号、顿号、句号、问号以及感叹号中的一种或多种。
  5. 如权利要求4所述的方法，其中，若所述标点符号包括逗号和句号，所述逗号关联的静音时间段为200～300毫秒，所述句号关联的静音时间段为400～500毫秒，所述将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本的步骤，包括：
    将所得到的中间语句进行拼接以得到一拼接语句；
    判断所述拼接语句的字符数是否超过第一预设值；
    若所述拼接语句的字符数超过第一预设值，在拼接位置插入句号，以得到增强语音样本。
  6. 如权利要求5所述的方法，其中，所述方法还包括：
    若所述拼接语句的字符数没有超过第一预设值，在拼接位置插入逗号，以得到增强语音样本。
  7. 如权利要求1所述的方法，其中，所述将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息的步骤，包括：
    获取所述增强语音样本；
    将所获取的增强语音样本随机插入不同的第一语音信息中，以得到多个不同的目标语音 信息。
  8. 一种多语言语音模型生成装置，包括：
    数据获取单元，用于获取预先采集的第一语音数据集，该语音数据集包括均为同意主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
    数据增强单元，用于根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
    语音处理单元，用于将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
    第一训练单元，用于利用目标语音信息训练一神经网络，以得到一中间模型；
    第二训练单元，用于调用预设的第二语音数据集中的基于第一语言的第三语音信息，以获取所述第三语音信息中的音色对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
  9. 一种计算机设备，其中，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
    获取预先采集的第一语音数据集，该语音数据集包括均为同一主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
    根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
    将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
    利用目标语音信息训练一神经网络，以得到一中间模型；
    获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
  10. 如权利要求9所述的计算机设备，其中，所述第二语音信息包括若干条第二语音数据，所述根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本的步骤，包括：
    运行预设数据增强脚本以从第二语音信息中随机抽取多组第二语音数据；其中，每组中的第二语音数据的数量至少为两个；
    将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本。
  11. 如权利要求10所述的计算机设备，其中，所述将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本的步骤，包括：
    将所抽取的每组第二语音数据进行拼接，以得到多个中间词组；
    将所得到的中间词组进行组合，以得到多个中间语句；
    将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本，其中，不同的预设静音标志关联有不同的静音时间段。
  12. 如权利要求11所述的计算机设备，其中，所述预设静音标志为标点符号，所述标点符号包括逗号、顿号、句号、问号以及感叹号中的一种或多种。
  13. 如权利要求12所述的计算机设备，其中，若所述标点符号包括逗号和句号，所述逗 号关联的静音时间段为200～300毫秒，所述句号关联的静音时间段为400～500毫秒，所述将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本的步骤，包括：
    将所得到的中间语句进行拼接以得到一拼接语句；
    判断所述拼接语句的字符数是否超过第一预设值；
    若所述拼接语句的字符数超过第一预设值，在拼接位置插入句号，以得到增强语音样本。
  14. 如权利要求13所述的计算机设备，其中，所述处理器执行所述计算机程序时还实现如下步骤：
    若所述拼接语句的字符数没有超过第一预设值，在拼接位置插入逗号，以得到增强语音样本。
  15. 如权利要求9所述的计算机设备，其中，所述将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息的步骤，包括：
    获取所述增强语音样本；
    将所获取的增强语音样本随机插入不同的第一语音信息中，以得到多个不同的目标语音信息。
  16. 一种计算机可读存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如下步骤：
    获取预先采集的第一语音数据集，该语音数据集包括均为同一主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；
    根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；
    将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；
    利用目标语音信息训练一神经网络，以得到一中间模型；
    获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述第二语音信息包括若干条第二语音数据，所述根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本的步骤，包括：
    运行预设数据增强脚本以从第二语音信息中随机抽取多组第二语音数据；其中，每组中的第二语音数据的数量至少为两个；
    将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本。
  18. 如权利要求17所述的计算机可读存储介质，其中，所述将所抽取的每组第二语音数据进行拼接以得到多个相应的增强语音样本的步骤，包括：
    将所抽取的每组第二语音数据进行拼接，以得到多个中间词组；
    将所得到的中间词组进行组合，以得到多个中间语句；
    将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本，其中，不同的预设静音标志关联有不同的静音时间段。
  19. 如权利要求18所述的计算机可读存储介质，其中，所述预设静音标志为标点符号，所述标点符号包括逗号、顿号、句号、问号以及感叹号中的一种或多种。
  20. 如权利要求19所述的计算机可读存储介质，其中，若所述标点符号包括逗号和句号，所述逗号关联的静音时间段为200～300毫秒，所述句号关联的静音时间段为400～500毫秒，所述将所得到的中间语句进行拼接，并在拼接位置插入预设静音标志，以得到增强语音样本的步骤，包括：
    将所得到的中间语句进行拼接以得到一拼接语句；
    判断所述拼接语句的字符数是否超过第一预设值；
    若所述拼接语句的字符数超过第一预设值，在拼接位置插入句号，以得到增强语音样本。
PCT/CN2021/096668 2021-02-26 2021-05-28 多语言语音模型生成方法、装置、计算机设备及存储介质 Ceased WO2022178996A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110219479.8 2021-02-26
CN202110219479.8A CN112992117B (zh) 2021-02-26 2021-02-26 多语言语音模型生成方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2022178996A1 true WO2022178996A1 (zh) 2022-09-01

Family

ID=76351191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/096668 Ceased WO2022178996A1 (zh) 2021-02-26 2021-05-28 多语言语音模型生成方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112992117B (zh)
WO (1) WO2022178996A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115188365B (zh) * 2022-09-09 2022-12-27 中邮消费金融有限公司 一种停顿预测方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105845125A (zh) * 2016-05-18 2016-08-10 百度在线网络技术（北京）有限公司 语音合成方法和语音合成装置
CN107481713A (zh) * 2017-07-17 2017-12-15 清华大学 一种混合语言语音合成方法及装置
CN108711420A (zh) * 2017-04-10 2018-10-26 北京猎户星空科技有限公司 多语言混杂模型建立、数据获取方法及装置、电子设备
CN108831481A (zh) * 2018-08-01 2018-11-16 平安科技（深圳）有限公司 语音识别中符号添加方法、装置、计算机设备及存储介质
CN109616096A (zh) * 2018-12-29 2019-04-12 北京智能管家科技有限公司 多语种语音解码图的构建方法、装置、服务器和介质
CN110827805A (zh) * 2019-12-09 2020-02-21 苏州思必驰信息科技有限公司 语音识别模型训练方法、语音识别方法和装置
US20200160836A1 (en) * 2018-11-21 2020-05-21 Google Llc Multi-dialect and multilingual speech recognition
CN111816169A (zh) * 2020-07-23 2020-10-23 苏州思必驰信息科技有限公司 中英语种混杂语音识别模型训练方法和装置
CN112397051A (zh) * 2019-08-16 2021-02-23 武汉Tcl集团工业研究院有限公司 语音识别方法、装置及终端设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400577B (zh) * 2013-08-01 2015-09-16 百度在线网络技术（北京）有限公司 多语种语音识别的声学模型建立方法和装置
CN111566655B (zh) * 2018-01-11 2024-02-06 新智株式会社 多种语言文本语音合成方法
SG10201912562SA (en) * 2019-12-18 2021-07-29 Yitu Pte Ltd A training method, a readable storage medium and a voice cloning method for a voice cloning model
CN112001181B (zh) * 2020-07-17 2024-02-13 北京百度网讯科技有限公司 多语言语义表示模型的训练方法、装置、设备及存储介质
CN111833845B (zh) * 2020-07-31 2023-11-24 平安科技（深圳）有限公司 多语种语音识别模型训练方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105845125A (zh) * 2016-05-18 2016-08-10 百度在线网络技术（北京）有限公司 语音合成方法和语音合成装置
CN108711420A (zh) * 2017-04-10 2018-10-26 北京猎户星空科技有限公司 多语言混杂模型建立、数据获取方法及装置、电子设备
CN107481713A (zh) * 2017-07-17 2017-12-15 清华大学 一种混合语言语音合成方法及装置
CN108831481A (zh) * 2018-08-01 2018-11-16 平安科技（深圳）有限公司 语音识别中符号添加方法、装置、计算机设备及存储介质
US20200160836A1 (en) * 2018-11-21 2020-05-21 Google Llc Multi-dialect and multilingual speech recognition
CN109616096A (zh) * 2018-12-29 2019-04-12 北京智能管家科技有限公司 多语种语音解码图的构建方法、装置、服务器和介质
CN112397051A (zh) * 2019-08-16 2021-02-23 武汉Tcl集团工业研究院有限公司 语音识别方法、装置及终端设备
CN110827805A (zh) * 2019-12-09 2020-02-21 苏州思必驰信息科技有限公司 语音识别模型训练方法、语音识别方法和装置
CN111816169A (zh) * 2020-07-23 2020-10-23 苏州思必驰信息科技有限公司 中英语种混杂语音识别模型训练方法和装置

Also Published As

Publication number Publication date
CN112992117B (zh) 2023-05-26
CN112992117A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Babel et al. Expectations and speech intelligibility
Munson et al. Deconstructing phonetic transcription: Covert contrast, perceptual bias, and an extraterrestrial view of Vox Humana
CN113168336B (zh) 基于实验参数适配功能电话的客户端应用
King et al. The blizzard challenge 2009
Vermiglio The American English hearing in noise test
CN108447486A (zh) 一种语音翻译方法及装置
WO2017197809A1 (zh) 语音合成方法和语音合成装置
Wu et al. Research on business English translation framework based on speech recognition and wireless communication
CN109256133A (zh) 一种语音交互方法、装置、设备及存储介质
CN111553138B (zh) 用于规范内容结构文档的辅助写作方法及装置
CN103218924A (zh) 一种基于音视频双模态的口语学习监测方法
US20180288109A1 (en) Conference support system, conference support method, program for conference support apparatus, and program for terminal
Calderón et al. How to speak “geocentric” in an “egocentric” language: A multimodal study among Ngigua-Spanish bilinguals and Spanish monolinguals in a rural community of Mexico
Jones et al. Variation in voice onset time in stops in Gurindji Kriol: Picture naming and conversational speech
CN110853621A (zh) 语音顺滑方法、装置、电子设备及计算机存储介质
Huarte The Castilian Spanish hearing in noise test
CN109543021B (zh) 一种面向智能机器人的故事数据处理方法及系统
CN112002325A (zh) 多语种语音交互方法和装置
Chen et al. Development of the mandarin hearing in noise test for children
CN107886940B (zh) 语音翻译处理方法及装置
WO2025043996A1 (zh) 人机交互方法、装置、计算机可读存储介质及终端设备
CN117094329B (zh) 一种用于解决语音歧义的语音翻译方法及装置
Mai et al. Mnv-17: A high-quality performative mandarin dataset for nonverbal vocalization recognition in speech
WO2025035667A1 (zh) 一种音频生成方法、装置、设备及存储介质
WO2022178996A1 (zh) 多语言语音模型生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21927429

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21927429

Country of ref document: EP

Kind code of ref document: A1