WO2025224883A1 - 音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム - Google Patents

音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム

Info

Publication number
WO2025224883A1
WO2025224883A1 PCT/JP2024/016079 JP2024016079W WO2025224883A1 WO 2025224883 A1 WO2025224883 A1 WO 2025224883A1 JP 2024016079 W JP2024016079 W JP 2024016079W WO 2025224883 A1 WO2025224883 A1 WO 2025224883A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
speech synthesis
speaker
sequence information
speaker vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/016079
Other languages
English (en)
French (fr)
Inventor
健一 藤田
マーク デルクロア
勇祐 井島
孝典 芦原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/016079 priority Critical patent/WO2025224883A1/ja
Publication of WO2025224883A1 publication Critical patent/WO2025224883A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules

Definitions

  • the present invention relates to a voice synthesis training device, a voice synthesis device, a voice synthesis training method, a voice synthesis method, and a program.
  • Non-Patent Document 1 Non-Patent Document 2
  • Non-Patent Document 3 Non-Patent Document 4
  • a model capable of generating speech for multiple speakers is obtained by conditioning the speech synthesis model with speaker vectors and training it with speech data from multiple speakers.
  • Non-Patent Document 5 trains an extractor separately from the speech synthesis model
  • SSL model self-supervised learning model
  • the speaker vector extractor can extract speaker information even from speech not included in the training data, making it possible to generate speech for any speaker.
  • the generated speech will be less similar to the target speaker and less natural.
  • the present invention was made in consideration of the above points, and aims to achieve speech synthesis that is highly natural and similar while minimizing the increase in the number of parameters.
  • the speech synthesis training device has a speaker vector extraction unit that generates a speaker vector from speech spoken by a speaker, and an update unit that updates the parameters of the speech synthesis model based on the error between speech sequence information output by a speech synthesis model that has received input of the speaker vector and text sequence information and speech sequence information that is the correct answer corresponding to the text sequence information.
  • the speech synthesis model has a parallel structure that generates output in response to an input using some of multiple modules that have a parallel relationship, and a route determination unit that determines some of the multiple modules based on the speaker vector.
  • FIG. 2 is a diagram illustrating an example of the configuration of a voice synthesis model m1 according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of the configuration of a variance adapter 113.
  • FIG. 2 is a diagram illustrating an example of the basic configuration of a speech feature predictor 30x.
  • FIG. 10 is a diagram illustrating an example of the basic configuration of a voice synthesis model decoder 114.
  • FIG. 10 is a diagram illustrating the parallel structure of the speech feature predictor 30x.
  • FIG. 10 is a diagram illustrating the parallel structure of the voice synthesis model decoder 114.
  • 1 is a diagram illustrating an example of a hardware configuration of a voice synthesis training device 10 according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of a functional configuration of a voice synthesis training device 10 according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of the functional configuration of a speech synthesis training device 10 in an embodiment of the present invention when a speaker vector extraction model m2 is also trained at the same time.
  • 1 is a diagram illustrating an example of a functional configuration of a speech synthesis device 10a according to an embodiment of the present invention.
  • FIG. 1 shows an example configuration of a speech synthesis model m1 in an embodiment of the present invention.
  • the speech synthesis model m1 is a neural network that receives as input a speaker vector extracted from the reference target speaker speech by a speaker vector extraction unit 12 and input text sequence information, and generates output speech sequence information, causing a computer to function as a speech synthesis unit 11.
  • the speech synthesis model m1 is equivalent to the speech synthesis unit 11.
  • the output speech sequence information is a predicted value of the speech that will be obtained when the speaker associated with the input speaker vector speaks the input input text sequence information.
  • the speaker vector is a fixed-length vector that indicates characteristics of the speech of the speaker associated with the reference target speaker voice (hereinafter referred to as the "reference target speaker”), such as voice characteristics (voice quality, etc.) and speaking style (speaking slowly, rising pitch at the end of words).
  • the speaker vector extraction unit 12 is a machine learning model that extracts speaker vectors from reference target speaker speech.
  • the reference target speaker speech refers to the speech of a target speaker related to the output of the speech synthesis model m1.
  • the speaker vector extraction unit 12 may use a speaker vector extractor that has been trained separately from the speech synthesis model m1, such as x-vector (Non-Patent Document 5), or may use a speaker vector extractor that has been trained together with the speech synthesis model m1, such as a method that uses a speaker vector extractor based on a self-supervised learning model (SSL model) (Non-Patent Document 6).
  • SSL model self-supervised learning model
  • the speech synthesis model m1 (speech synthesis unit 11) includes a speech synthesis model encoder 111, an addition unit 112, a variance adapter 113, a speech synthesis model decoder 114, a route determination unit 115, and a route determination unit 116.
  • the speech synthesis model encoder 111 is a machine learning model that converts input text sequence information into post-encoder sequence information. It mainly converts information related to text.
  • the post-encoder sequence information is a vector sequence in which vectors of a certain dimension (e.g., 256 dimensions) are arranged in a sequence equal to the length of the input text sequence information (e.g., the number of tokens).
  • the addition unit 112 adds (connects) the speaker vector to the post-encoder series information.
  • the variance adapter 113 predicts multiple types of speech information (information indicating speech characteristics or speech features) for the speech to be generated from information about the text contained in the post-encoder sequence information of the post-speaker information-added sequence information, and information about the speech of the speaker to be generated contained in the speaker vector of the post-speaker information-added sequence information.
  • speech information information indicating speech characteristics or speech features
  • the variance adapter 113 predicts multiple types of speech information (information indicating speech characteristics or speech features) for the speech to be generated from information about the text contained in the post-encoder sequence information of the post-speaker information-added sequence information, and information about the speech of the speaker to be generated contained in the speaker vector of the post-speaker information-added sequence information.
  • predictions are made for three types of speech information, including pitch, energy, and duration.
  • Figure 2 is a diagram showing an example configuration of the variance adapter 113.
  • Figure 3 is a diagram illustrating an example of the basic configuration of a speech feature predictor 30x. While Figure 3 shows the configuration of one speech feature predictor 30x, each of the three speech feature predictors 30x shown in Figure 2 has the basic configuration shown in Figure 3.
  • one speech feature predictor 30x includes one feature transformer 31x.
  • the feature transformer 31x is a machine learning model that predicts speech information (pitch, energy, or duration) from series information after adding speaker information.
  • a normal MLP Multilayer Perceptron
  • the variance adapter 113 concatenates or adds the predicted results (vectors) of pitch and energy to the speaker information-added sequence information, and outputs the result as speaker information/voice information-added sequence information. Note that the duration length is not used for concatenation or addition, but rather for converting the length of the speaker information-added sequence information, which is input to the variance adapter 113 (output from the addition unit 112), into the length of the voice sequence.
  • the lengths of text sequences and voice sequences are different (the number of frames of generated voice is greater than the length of the text), so the variance adapter 113 estimates how many frames of voice each frame of text corresponds to using the voice feature predictor 30c, and performs conversion to match the length of the sequence output from the variance adapter 113 to the length of the voice sequence.
  • the speech synthesis model decoder 114 is a machine learning model that converts the sequence information after adding speaker information and speech information into a predicted output speech sequence.
  • the predicted output speech sequence is a predicted value of the output speech sequence (output value of the speech sequence).
  • the conversion mainly involves speech information.
  • the output speech sequence may be a vector that directly represents the speech waveform, or a vector that represents the speech waveform transformed by short-time Fourier transform, known as a spectrogram.
  • Figure 4 shows an example of the basic configuration of the speech synthesis model decoder 114.
  • a Transformer Encoder or the like can be used for the feature conversion units 41-i.
  • each speech feature predictor 30x and speech synthesis model decoder 114 included in the variance adapter 113 includes a parallel structure (a structure including modules (machine learning models) arranged in parallel) after the feature conversion unit 31x or each feature conversion unit 41-i. Details of the parallel structure will be described later.
  • the route determination unit 115 is a machine learning model that determines some of the modules to be used for the parallel structure included in each speech feature predictor 30x based on the speaker vector. More specifically, the route determination unit 115 outputs a weight (probability) for each module included in the parallel structure included in each speech feature predictor 30x based on the speaker vector.
  • the route determination unit 115 is represented by one block, but a route determination unit 115 is provided for each parallel structure. Because one speech feature predictor 30x includes one parallel structure, there are three route determination units 115 for the variance adapter 113 for each speech feature predictor 30x.
  • the route determination unit 116 determines, based on the speaker vector, which module to use for each parallel structure included in the speech synthesis model decoder 114 for each feature conversion unit 41-i. More specifically, based on the speaker vector, the route determination unit 116 outputs a weight (probability) for each module included in each parallel structure for each feature conversion unit 41-i. Note that while the route determination unit 116 is represented by a single block in Figure 2, a route determination unit 116 is provided for each parallel structure. If the speech synthesis model decoder 114 includes L layers of feature conversion units 41-i, there will be L route determination units 116 for the speech synthesis model decoder 114.
  • the parallel structure is composed of multiple modules (machine learning models) arranged in parallel, each of which consists of a small number of parameters called an adapter, which is made up of a structure that combines a linear transformation and an activation function (see Reference 1 below), for example.
  • Figure 5 is a diagram illustrating the parallel structure of the speech feature predictor 30x.
  • the same parts as in Figure 3 are assigned the same reference numerals, and their explanation will be omitted.
  • the speech feature predictor 30x of this embodiment includes, after the feature transformer 31x, a switch 32x, multiple (M) parallel units 33x-1 to M (hereinafter referred to as "parallel units 33x" when not distinguishing between them), and a parallel aggregation unit 34x.
  • the parallel unit 33x corresponds to the adapter described above. In other words, a parallel structure is formed by arranging M parallel units 33x in parallel.
  • the switch 32x inputs the output value from the feature conversion unit 31x directly to the parallel unit 33x determined to be used by the route determination unit 115x corresponding to the speech feature predictor 30x.
  • the route determination unit 115x outputs weights for a number of parallel units 33x (e.g., K) set in advance as hyperparameters, each of which has a total weight of 1 (real number), and outputs 0 as weights for the remaining M-K parallel units 33x.
  • K a number of parallel units 33x set in advance as hyperparameters, each of which has a total weight of 1 (real number)
  • the value of K may be greater than or equal to 1 and less than K.
  • the route determination unit 115x determines to use the preset number of parallel portions 33x.
  • the parallel aggregation unit 34x calculates a weighted sum based on the weights output from the route determination unit 115x for the output values from the parallel units 33x to which the output values from the feature conversion unit 31x have been input via the switch 32x (i.e., the parallel units 33x determined to be used by the route determination unit 115x), and outputs the weighted sum as predicted information for the audio features.
  • Figure 6 is a diagram illustrating the parallel structure of the speech synthesis model decoder 114.
  • the same parts as in Figure 4 are assigned the same reference numerals, and their explanation will be omitted.
  • the speech synthesis model decoder 114 of this embodiment includes, after each feature conversion unit 41-i, a switch 42-i, multiple (N) parallel units 43-i-1 to 43-i-N (hereinafter referred to as "parallel units 43-i-j" when not distinguishing between them), and a parallel aggregation unit 44-i.
  • the parallel units 43-i-j correspond to the adapters described above. In other words, a parallel structure is formed by arranging N parallel units 43-i-j in parallel.
  • the speech synthesis model decoder 114 includes a parallel structure for each feature transform unit 41-i. Therefore, the speech synthesis model decoder 114 including the L-layer feature transform units 41-i includes L parallel structures. Furthermore, as is clear from FIG. 6, a route determination unit 116 actually exists corresponding to each of the L parallel structures. That is, the route determination unit 116-i corresponds to the j-th parallel structure. Note that the processing content performed by each parallel structure included in the speech synthesis model decoder 114 is the same as that of the parallel structure included in the speech feature predictor 30x. The output from the parallel aggregation unit 44-i in the final-stage parallel structure is predicted output speech sequence information as output from the speech synthesis model m1 coder.
  • the location where the parallel structure is inserted is not limited to a specific location as long as it is within the speech feature predictor 30x or the speech synthesis model decoder 114.
  • One parallel structure may be inserted for one feature transformer 31x or feature transformer 41-i.
  • FIG. 7 is a diagram showing an example of the hardware configuration of the voice synthesis training device 10 in an embodiment of the present invention.
  • the voice synthesis training device 10 in Figure 7 has a drive device 100, an auxiliary storage device 102, a memory device 103, a processor 104, an interface device 105, and the like, all of which are interconnected by a bus B.
  • the program that realizes the processing in the speech synthesis training device 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100.
  • the program does not necessarily have to be installed from the recording medium 101; it can also be downloaded from another computer via a network.
  • the auxiliary storage device 102 stores the installed program as well as necessary files, data, etc.
  • the memory device 103 When an instruction to start a program is received, the memory device 103 reads the program from the auxiliary storage device 102 and stores it.
  • the processor 104 is a CPU or a GPU (Graphics Processing Unit), or a CPU and a GPU, and executes functions related to the speech synthesis training device 10 in accordance with the program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • FIG. 8 is a diagram showing an example of the functional configuration of a speech synthesis training device 10 according to an embodiment of the present invention.
  • the speech synthesis training device 10 has a text preprocessing unit 13, a speech preprocessing unit 14, a speaker vector extraction unit 12, a speech synthesis unit 11, and an update unit 15.
  • Each of these units is implemented by one or more programs installed in the speech synthesis training device 10, which are executed by the processor 104.
  • the speech synthesis unit 11 is implemented by a process executed by the processor 104 with the speech synthesis model m1.
  • the speaker vector extraction unit 12 is implemented by a process executed by the processor 104 with the speaker vector extraction model m2.
  • the speaker vector extraction model m2 is a machine learning model that causes a computer to function as the speaker vector extraction unit 12.
  • the voice synthesis training device 10 also uses a training data storage unit 16.
  • the training data storage unit 16 can be realized, for example, using an auxiliary storage device 102 or a storage device that can be connected to the voice synthesis training device 10 via a network.
  • the training data storage unit 16 stores a collection of training data for the voice synthesis model m1.
  • Each piece of training data is a pair of text data (hereinafter referred to as “training text data”) and voice data obtained by speaking the contents of the text data (hereinafter referred to as “training voice data”).
  • the text preprocessing unit 13 converts the learning text data into text sequence information (input text sequence information).
  • the input text sequence information is, for example, a language vector obtained by vectorizing text information.
  • the speech preprocessing unit 14 converts the training speech data into output speech sequence information (correct output speech sequence information).
  • the output speech sequence information is, for example, a mel spectrogram.
  • the speaker vector extraction unit 12 generates a speaker vector from the correct output speech sequence information.
  • the speech synthesis unit 11 inputs the speaker vector and input text sequence information based on the speech synthesis model m1 corresponding to the learning results up to that point, and outputs output speech sequence information (predicted output speech sequence information) through the above-mentioned processing.
  • the update unit 15 inputs the correct output speech sequence information and the predicted output speech sequence information, and updates the parameters of the speech synthesis model m1 so as to reduce the error between the correct output speech sequence information and the predicted output speech sequence information.
  • the speech synthesis model m1 learns the correspondence between the input text sequence information and speaker vectors and the speech sequence information.
  • the parameters to be updated are those of the speech synthesis model encoder 111, variance adapter 113, speech synthesis model decoder 114, and route determination unit.
  • the parameters of the variance adapter 113 are those of the feature conversion unit 31x and parallel unit 33x of each speech feature predictor 30x.
  • the parameters of the speech synthesis model decoder 114 are those of the feature conversion unit 41-i, parallel unit 43-i-j, and parallel aggregation unit 44-i.
  • the update unit 15 may also update (train) the parameters of the speaker vector extraction model m2 simultaneously (in parallel) with training of the speech synthesis model m1 so as to reduce the error between the correct output speech sequence information and the predicted output speech sequence information.
  • each parallel structure is also trained.
  • each module in the parallel structure specializes in speakers with different voice characteristics (similar modules are selected for speakers with similar voices, and different modules are selected for different speakers). By switching the route (module) for each speaker, speech synthesis with a high degree of naturalness and similarity is possible even with a small number of model parameters.
  • this embodiment describes an example in which both the variance adapter 113 and the voice synthesis model decoder 114 have a parallel structure, only one of them may have a parallel structure.
  • only the voice synthesis model decoder 114 may have a parallel structure, or only the variance adapter 113 may have a parallel structure.
  • the hardware configuration of the speech synthesis device 10a may be the same as that shown in Figure 7.
  • FIG. 10 is a diagram showing an example of the functional configuration of a speech synthesis device 10a according to an embodiment of the present invention.
  • the same components as those in FIG. 1 are assigned the same reference numerals.
  • the speech synthesis device 10a has a speech synthesis unit 11 and a speaker vector extraction unit 12.
  • the speech synthesis device 10a executes the following processing in response to input of text (input text sequence information) and reference target speaker speech.
  • the speaker vector extraction unit 12 generates a speaker vector based on the reference target speaker's voice.
  • the speech synthesis unit 11 executes the processing that the speech synthesis model m1 has trained based on the input text sequence information and the speaker vector of (1), and outputs predicted output speech sequence information.
  • the parallel unit 33x and the parallel unit 43-i-j to be used are switched depending on the speaker vector.
  • the reference target speaker's voice does not have to be the voice spoken in accordance with the contents of the input text.
  • the voice feature predictor 30x corresponding to duration will estimate the duration from voice unrelated to the text, but if the armband target speaker has a speaking tendency (for example, they tend to speak quickly or tend to extend the end of words), this tendency will be included as feature information in the voice even if the text content changes. Therefore, even if the speech content of the reference target speaker's voice is unrelated to the content of the input text, it is possible to estimate the duration to a certain extent, since it can reflect the likeliness of the reference target speaker.
  • Speech synthesis training device 10a Speech synthesis device 11 Speech synthesis unit 12 Speaker vector extraction unit 13 Text preprocessing unit 14 Speech preprocessing unit 15 Update unit 16 Learning data storage unit 30a Speech feature predictor 30b Speech feature predictor 30c Speech feature predictor 30x Speech feature predictor 31x Feature conversion unit 32x Switch 33x Parallel unit 34x Parallel consolidation unit 41 Feature conversion unit 41-i Feature conversion unit 42-i Switch 43-i-j Parallel unit 44-i Parallel consolidation unit 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 Processor 105 Interface device 111 Speech synthesis model encoder 112 Addition unit 113 Variance adapter 114 Speech synthesis model decoder 115 Route determination unit 116 Route determination unit B Bus m1 Speech synthesis model m2 Speaker vector extraction model

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

音声合成学習装置は、話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出部と、前記話者ベクトルとテキスト系列情報とを入力した音声合成モデルが出力する音声系列情報と前記テキスト系列情報に対応する正解としての音声系列情報との誤差に基づいて前記音声合成モデルのパラメータを更新する更新部と、を有し、前記音声合成モデルは、並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、含むことで、パラメータ数の増加を抑えながら自然性や類似性の高い音声合成を実現する。

Description

音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム
　本発明は、音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラムに関する。
　テキストを入力とし、テキストの内容を発話した音声を生成する音声合成の分野では、テキストと話者情報から複数の話者の音声合成を１つのモデルで行うＤＮＮモデルが提案されている（例えばTacotron2（非特許文献１）を用いた手法（非特許文献２）やFastSpeech2（非特許文献３）を用いた手法（非特許文献４））。これらの手法の多くでは、音声合成モデルを話者ベクトルで条件付けして、複数話者の音声データで学習を行うことで、複数話者の音声が生成できるモデルを獲得する。話者ベクトルの抽出には音声合成モデルとは別に抽出器の学習を行うx-vector（非特許文献５）を用いる手法や、音声合成モデルと話者ベクトルの抽出器の学習を同時に行う自己教師あり学習モデル（ＳＳＬモデル）に基づく話者ベクトル抽出器を用いる手法（非特許文献６）などがある。
　話者ベクトル抽出器は学習データに含まれない話者の音声からも話者の情報の抽出を行えるため、任意の話者の音声が生成できる。
Shen, Jonathan, et al.、"Natural tts synthesis by conditioning wavenet on mel spectrogram predictions"、2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2018 Cooper, Erica, et al.、"Zero-shot multi-speaker text-to-speech with state-of-the-art neural speaker embeddings"、ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020 Ren, Yi, et al.、"FastSpeech 2: Fast and High-Quality End-to-End Text to Speech"、International Conference on Learning Representations. 2020 Chien, Chung-Ming, et al.、"Investigating on incorporating pretrained and learnable speaker representations for multi-speaker multi-style text-to-speech"、ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021 Snyder, David, et al.、"X-vectors: Robust dnn embeddings for speaker recognition"、2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2018 Fujita, Kenichi, et al.、"Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model"、2023 IEEE international conference on acoustics, speech and signal processing workshop (ICASSPW). IEEE, 2023
　しかしながら、音声合成モデルのパラメータ数が少ないと、生成した音声の目標話者への類似性や自然性の低下が起こるという課題がある。
　例えば、音声合成をスマートホンやスマートウォッチなどのデバイスで行う場合、大きなパラメータ数のモデルは扱えない。少ないパラメータ数のモデルでの高品質な音声合成の実現は、音声合成技術の普及にとって重要である。
　本発明は、上記の点に鑑みてなされたものであって、パラメータ数の増加を抑えながら自然性や類似性の高い音声合成を実現することを目的とする。
　そこで上記課題を解決するため、音声合成学習装置は、話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出部と、前記話者ベクトルとテキスト系列情報とを入力した音声合成モデルが出力する音声系列情報と前記テキスト系列情報に対応する正解としての音声系列情報との誤差に基づいて前記音声合成モデルのパラメータを更新する更新部と、を有し、前記音声合成モデルは、並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、含む。
　パラメータ数の増加を抑えながら自然性や類似性の高い音声合成を実現することができる。
本発明の実施の形態における音声合成モデルｍ１の構成例を示す図である。 バリアンスアダブタ１１３の構成例を示す図である。 音声特徴予測器３０ｘの基本構成例を説明するための図である。 音声合成モデルデコーダ１１４の基本構成例を示す図である。 音声特徴予測器３０ｘの並列構造を説明するための図である。 音声合成モデルデコーダ１１４の並列構造を説明するための図である。 本発明の実施の形態における音声合成学習装置１０のハードウェア構成例を示す図である。 本発明の実施の形態における音声合成学習装置１０の機能構成例を示す図である。 本発明の実施の形態において話者ベクトル抽出モデルｍ２も同時に学習する場合の音声合成学習装置１０の機能構成例を示す図である。 本発明の実施の形態における音声合成装置１０ａの機能構成例を示す図である。
　以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における音声合成モデルｍ１の構成例を示す図である。音声合成モデルｍ１は、参照目標話者音声から話者ベクトル抽出部１２が抽出した話者ベクトルと入力テキスト系列情報とを入力とし、出力音声系列情報を生成するニューラルネットワークであり、コンピュータを音声合成部１１として機能させる。以下の説明において、音声合成モデルｍ１は音声合成部１１と等価である。出力音声系列情報は、入力された話者ベクトルに係る話者が、入力された入力テキスト系列情報を発話した場合に得られる音声の予測値である。
　なお、話者ベクトルは、声の特徴（声質等）や話し方（ゆっくり話す、語尾が上がる）等といった、参照目標話者音声に係る話者（以下、「参照目標話者」という。）の発話に関する特徴を示す固定長のベクトルである。
　話者ベクトル抽出部１２は、参照目標話者音声から話者ベクトルを抽出する機械学習モデルである。参照目標話者音声とは、音声合成モデルｍ１の出力に関して目標とする話者の発話の音声をいう。話者ベクトル抽出部１２は、x-vector（非特許文献５）などの音声合成モデルｍ１とは別に学習を行った話者ベクトル抽出器を用いてもよいし、自己教師あり学習モデル（ＳＳＬモデル）に基づく話者ベクトル抽出器を用いる手法（非特許文献６）などの、音声合成モデルｍ１と共に学習を行った話者ベクトル抽出器を用いてもよい。
　図１において、音声合成モデルｍ１（音声合成部１１）は、音声合成モデルエンコーダ１１１、付加部１１２、バリアンスアダブタ１１３（variance adapter）、音声合成モデルデコーダ１１４、ルート決定部１１５及びルート決定部１１６を含む。
　音声合成モデルエンコーダ１１１は、入力テキスト系列情報をエンコーダ後系列情報へ変換する機械学習モデルである。主にテキストに関する情報の変換が行われる。エンコーダ後系列情報は、或る次元（例えば２５６次元）のベクトルが入力テキスト系列情報の長さ（例えば、トークンの数）だけ並べられたベクトル系列である。
　付加部１１２は、エンコーダ後系列情報に対して話者ベクトルを付加（接続）する。
　バリアンスアダブタ（variance adapter）１１３は、話者情報付加後系列情報のうちのエンコーダ後系列情報に含まれるテキストに関する情報と、話者情報付加後系列情報のうちの話者ベクトルに含まれる生成したい話者の音声に関する情報とから、生成する音声に関して複数種類の音声情報（音声の特徴を示す情報又は音声特徴量）を予測する。本実施の形態では、ピッチ、エナジー及び継続時間長等の３種類の音声情報について予測が行われる例を説明する。
　図２は、バリアンスアダブタ１１３の構成例を示す図である。図２に示されるように、バリアンスアダブタ１１３は、音声特徴予測器３０ａ、音声特徴予測器３０ｂ及び音声特徴予測器３０ｃの３つの音声特徴予測器３０ｘ（ｘ＝ａ，ｂ又はｃ）を含む。
　図３は、音声特徴予測器３０ｘの基本構成例を説明するための図である。図３には、１つの音声特徴予測器３０ｘの構成が示されているが、図２に示した３つの音声特徴予測器３０ｘのそれぞれが、基本構成として図３に示される構成を有する。図３が示すように１つの音声特徴予測器３０ｘは、１つの特徴量変換部３１ｘを含む。特徴量変換部３１ｘは、話者情報付加後系列情報から音声情報（ピッチ、エナジー又は継続時間長）を予測する機械学習モデルである。特徴量変換部３１ｘには、例えば、通常のＭＬＰ（Multilayer perceptron）などを用いることができる。
　バリアンスアダブタ１１３は、話者情報付加後系列情報に対して、ピッチ、エナジーの予測結果（ベクトル）を接続又は足し合わせた結果を話者情報・音声情報付加後系列情報として出力する。なお、継続時間長は、接続又は足し合わせに用いられるのではなく、バリアンスアダブタ１１３への入力（付加部１１２からの出力）である話者情報付加後系列情報の長さを音声の系列長へ変換するために使用される。一般に、テキストの系列と音声の系列は長さが異なる（テキストの長さよりも生成される音声の方がフレーム数が多い）ため、バリアンスアダブタ１１３は、テキストの各フレームが音声で何フレームに相当するのかの推定を音声特徴予測器３０ｃで推定し、バリアンスアダブタ１１３からの出力の系列であるの長さを音声の系列長と合わせるための変換を行う。
　図１に戻る。音声合成モデルデコーダ１１４は、話者情報・音声情報付加後系列情報を予測出力音声系列へ変換する機械学習モデルである。予測出力音声系列は、出力音声系列（音声系列の出力値）の予測値である。主に音声に関する情報の変換が行われる。出力音声系列は、音声波形を直接に表現するベクトルであってもよいし、スペクトログラムと呼ばれる音声波形を短時間フーリエ変換によって変換したものを表現するベクトルであってもよい。
　図４は、音声合成モデルデコーダ１１４の基本構成例を示す図である。図４が示すように、音声合成モデルデコーダ１１４は、例えば、複数層（図４ではＬ層）の特徴量変換部４１－ｉ（ｊ＝１～Ｌ）を含む。特徴量変換部４１－ｉには、FastSpeech2（非特許文献３）同様にTransformer Encoderなどを用いることができる。
　なお、図３及び図４では省略されているが、本実施の形態において、バリアンスアダブタ１１３が含む各音声特徴予測器３０ｘや音声合成モデルデコーダ１１４は、特徴量変換部３１ｘ又各特徴量変換部４１－ｉの後ろに並列構造（並列的に配列されたモジュール（機械学習モデル）を含む構造）を含む。並列構造の詳細については後述する。
　図２に戻る。ルート決定部１１５は、話者ベクトルに基づいて、各音声特徴予測器３０ｘが含む並列構造について、使用する一部のモジュールを決定する機械学習モデルである。より詳しくは、ルート決定部１１５は、話者ベクトルに基づいて、各音声特徴予測器３０ｘが含む並列構造が含む各モジュールに対する重み（確率）を出力する。図２では、１つのブロックによってルート決定部１１５が表現されているが、ルート決定部１１５は、並列構造ごとに設けられる。１つの音声特徴予測器３０ｘは１つの並列構造を含むため、バリアンスアダブタ１１３に対するルート決定部１１５は、音声特徴予測器３０ｘごとに３つ存在する。
　ルート決定部１１６は、話者ベクトルに基づいて、音声合成モデルデコーダ１１４が特徴量変換部４１－ｉごとに含む並列構造のそれぞれについて、いずれのモジュールを使用するかを決定する。より詳しくは、ルート決定部１１６は、話者ベクトルに基づいて、特徴量変換部４１－ｉごとの並列構造のそれぞれについて、当該並列構造が含む各モジュールに対する重み（確率）を出力する。なお、図２では、１つのブロックによってルート決定部１１６が表現されているが、ルート決定部１１６は、並列構造ごとに設けられる。音声合成モデルデコーダ１１４がＬ層の特徴量変換部４１－ｉを含むのであれば、音声合成モデルデコーダ１１４に対するルート決定部１１６はＬ個存在する。
　ここで、上記した並列構造について説明する。並列構造は、例えば、線形変換と活性化関数を組み合わせた構造（後述の参考文献１）などからなるアダプタ（ａｄａｐｔｅｒ）と呼ばれる少量のパラメータからなるモジュール（機械学習モデル）が複数個並列に並べられることで構成される。
　図５は、音声特徴予測器３０ｘの並列構造を説明するための図である。図５中、図３と同一部分には同一符号を付し、その説明は省略する。
　本実施の形態の音声特徴予測器３０ｘは、特徴量変換部３１ｘの後段に、スイッチ３２ｘ、複数（Ｍ個）の並列部３３ｘ－１～Ｍ（以下、それぞれを区別しない場合「並列部３３ｘ」という。）、及び並列集約部３４ｘを含む。ここで、並列部３３ｘが、上記のアダプタに相当する。すなわち、Ｍ個の並列部３３ｘが並列に配置されることで並列構造が構成されている。
　スイッチ３２ｘは、音声特徴予測器３０ｘに対応するルート決定部１１５ｘによって使用することが決定された並列部３３ｘに対して特徴量変換部３１ｘからの出力値をそのまま入力する。ルート決定部１１５ｘは、例えばハイパーパラメータとして予め設定された個数（例えば、Ｋ個）の並列部３３ｘに対する重みとして、総和が１でありそれぞれの重みが０より大きい値（実数）を出力し、それ以外のＭ－Ｋ個の並列部３３ｘに対する重みとして０を出力する。Ｋの値は、１以上Ｋ未満であればよい。例えば、並列部３３ｘの総数が８（Ｍ＝８）であり、予め設定された個数が３である場合、ルート決定部１１５ｘは、３つの並列部３３ｘのみの値が０より大きく（総和は１）、それ以外の並列部３３ｘの値が０である重みの配列を出力する。また、並列部３３ｘの総数が８（Ｍ＝８）であり、予め設定された個数が１である場合、ルート決定部１１５ｘは、１つの並列部３３ｘのみの値が１であり、それ以外の並列部３３ｘの値が０である重みの配列を出力する。上記において、「ルート決定部１１５ｘによって使用することが決定された並列部３３ｘ」とは、ルート決定部１１５ｘから出力される重みが０より大きい並列部３３ｘを意味する。したがって、予め設定された個数の並列部３３ｘが、ルート決定部１１５ｘによって使用することが決定される。
　並列集約部３４ｘは、特徴量変換部３１ｘからの出力値がスイッチ３２ｘによって入力された並列部３３ｘ（つまり、ルート決定部１１５ｘによって使用することが決定された並列部３３ｘ）からの出力値について、これらの並列部３３ｘに対してルート決定部１１５ｘから出力された重みに基づく加重和を算出し、当該加重和を音声特徴の予測情報として出力する。
　図６は、音声合成モデルデコーダ１１４の並列構造を説明するための図である。図６中、図４と同一部分には同一符号を付し、その説明は省略する。
　本実施の形態の音声合成モデルデコーダ１１４は、各特徴量変換部４１－ｉの後段に、スイッチ４２－ｉ、複数（Ｎ個）の並列部４３－ｉ－１～Ｎ（以下、それぞれを区別しない場合「並列部４３－ｉ－ｊ」という。）、及び並列集約部４４－ｉを含む。ここで、並列部４３－ｉ－ｊが、上記のアダプタに相当する。すなわち、Ｎ個の並列部４３－ｉ－ｊが並列に配置されることで並列構造が構成されている。
　また、音声合成モデルデコーダ１１４は、特徴量変換部４１－ｉごとに並列構造を含む。したがって、Ｌ層の特徴量変換部４１－ｉを含む音声合成モデルデコーダ１１４は、Ｌ個の並列構造を含む。また、図６から明らかなように、ルート決定部１１６は、実際には、Ｌ個の並列構造のそれぞれに対応して存在する。すなわち、ルート決定部１１６－ｉは、ｊ番目の並列構造に対応する。なお、音声合成モデルデコーダ１１４が含む各並列構造が実行する処理内容は、音声特徴予測器３０ｘが含む並列構造と同様である。最後段の並列構造における並列集約部４４－ｉからの出力が、音声合成モデルｍ１コーダからの出力としての予測出力音声系列情報である。
　なお、図５及び図６において、並列構造の挿入場所は音声特徴予測器３０ｘ又は音声合成モデルデコーダ１１４の内部であれば特定の箇所に限定されない。１つの特徴量変換部３１ｘ又は特徴量変換部４１－ｉに対して１つの並列構造が挿入されればよい。
　次に、上記した音声合成モデルｍ１を学習する音声合成学習装置１０について説明する。図７は、本発明の実施の形態における音声合成学習装置１０のハードウェア構成例を示す図である。図７の音声合成学習装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
　音声合成学習装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従って音声合成学習装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　図８は、本発明の実施の形態における音声合成学習装置１０の機能構成例を示す図である。図８において、音声合成学習装置１０は、テキスト前処理部１３、音声前処理部１４、話者ベクトル抽出部１２、音声合成部１１及び更新部１５を有する。これら各部は、音声合成学習装置１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。例えば、音声合成部１１は、音声合成モデルｍ１がプロセッサ１０４に実行させる処理により実現される。また、話者ベクトル抽出部１２は、話者ベクトル抽出モデルｍ２がプロセッサ１０４に実行させる処理により実現される。つまり、話者ベクトル抽出モデルｍ２は、コンピュータを話者ベクトル抽出部１２として機能させる機械学習モデルである。
　音声合成学習装置１０は、また、学習用データ記憶部１６を利用する。学習用データ記憶部１６は、例えば、補助記憶装置１０２、又は音声合成学習装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
　学習用データ記憶部１６は、音声合成モデルｍ１の学習用データの集合を記憶する。１つの学習用データは、テキストデータ（以下、「学習用テキストデータ」という。）と当該テキストデータの内容を発話することで得られる音声データ（以下、「学習用音声データ」という。）とのペアである。
　テキスト前処理部１３は、学習用テキストデータをテキスト系列情報（入力テキスト系列情報）へ変換する。入力テキスト系列情報は、例えば、テキストの情報をベクトル化した言語ベクトルである。
　音声前処理部１４は、学習用音声データを出力音声系列情報（正解出力音声系列情報）へ変換する。出力音声系列情報は、例えば、メルスペクトログラムである。
　話者ベクトル抽出部１２は、正解出力音声系列情報から話者ベクトルを生成する。
　音声合成部１１は、その時点までの学習結果に応じた音声合成モデルｍ１に基づき、話者ベクトル及び入力テキスト系列情報を入力して、上記した処理により出力音声系列情報（予測出力音声系列情報）を出力する。
　更新部１５は、正解出力音声系列情報及び予測出力音声系列情報を入力し、正解出力音声系列情報と予測出力音声系列情報との誤差が小さくなるように、音声合成モデルｍ１のパラメータを更新する。そうすることで、音声合成モデルｍ１は、入力テキスト系列情報及び話者ベクトルと、音声系列情報との対応関係を学習することになる。
　更新対象のパラメータは、音声合成モデルエンコーダ１１１、バリアンスアダブタ１１３、音声合成モデルデコーダ１１４及びルート決定部のパラメータである。バリアンスアダブタ１１３のパラメータとは、各音声特徴予測器３０ｘの特徴量変換部３１ｘ、並列部３３ｘのパラメータである。音声合成モデルデコーダ１１４のパラメータとは、各特徴量変換部４１－ｉ、並列部４３－ｉ－ｊ及び並列集約部４４－ｉのパラメータである。また、図９に示されるように、更新部１５は、音声合成モデルｍ１の学習と同時に（並列的に）、正解出力音声系列情報と予測出力音声系列情報との誤差が小さくなるように話者ベクトル抽出モデルｍ２のパラメータも更新（学習）してもよい。
　このように、各並列構造についても学習が行われる。これによって、話者ベクトルによって、用いる並列部３３ｘ及び並列部４３－ｉ－ｊが切り替わり話者ベクトルによって適切な並列部３３ｘ及びは並列部４３－ｉ－ｊの選択が行われる音声合成モデルｍ１が学習される。つまり、並列構造内の各モジュールがそれぞれ異なる音声の特徴を持つ話者への専門性を持ち（声が似ている話者では似たようなモジュールが選択され、異なる話者では異なるモジュールが選択される。）、話者ごとにルート（モジュール）を切り替えることで、モデルのパラメータが少ない場合でも自然性・類似性の高い音声合成が可能になる。
　なお、本実施の形態では、バリアンスアダブタ１１３及び音声合成モデルデコーダ１１４の双方が並列構造を有する例について説明しているが、いずれか一方のみが並列構造を有してもよい。例えば、音声合成モデルデコーダ１１４のみが並列構造を有してもよいし、バリアンスアダブタ１１３のみが並列構造を有してもよい。
　次に、学習した音声合成モデルｍ１を用いて、入力されたテキストに対応する音声の生成を行う音声合成装置１０ａについて説明する。音声合成装置１０ａのハードウェア構成は図７と同様でよい。
　図１０は、本発明の実施の形態における音声合成装置１０ａの機能構成例を示す図である。図１０中、図１と同一部分には同一符号を付している。図１０が示すように、音声合成装置１０ａは、音声合成部１１及び話者ベクトル抽出部１２を有する。
　音声合成装置１０ａは、テキスト（入力テキスト系列情報）及び参照目標話者音声の入力に応じ、以下の処理を実行する。
（１）話者ベクトル抽出部１２が、参照目標話者音声に基づき話者ベクトルを生成する。
（２）音声合成部１１が、入力テキスト系列情報と（１）の話者ベクトルに基づいて、音声合成モデルｍ１が学習済みの処理を実行し、予測出力音声系列情報を出力する。この際、話者ベクトルに応じて使用される並列部３３ｘ及び並列部４３－ｉ－ｊが切り替えられる。
　推論時において、参照目標話者音声は、入力されるテキストの内容を発話したものでなくてよい。この場合、継続時間長に対応する音声特徴予測器３０ｘでは、テキストと無関係な音声から継続時間長を推定することになるが、腕章目標話者が話し方の傾向を持っているとすれば（例えば、早口な人であるや、語尾を伸ばしやすい人であるなど）、その傾向はテキスト内容が変わったとしても音声の中に特徴情報として含まれる。したがって、参照目標話者音声に係る発話内容が入力されるテキストの内容をは無関係であったとしても、参照目標話者らしさを反映できるという点において、継続時間長の推定を或る程度行うことが可能である。
　上述したように、本実施の形態によれば、並列関係を有する複数のモジュールの中から話者の特徴に応じて用いるモジュールを切り替えることで、パラメータ数の増加を抑えながら自然性や類似性の高い音声合成を実現することができる。
　［参考文献１］Houlsby, Neil, et al.、"Parameter-efficient transfer learning for NLP"、 International Conference on Machine Learning. PMLR, 2019.
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　　　音声合成学習装置
１０ａ　　　　　　音声合成装置
１１　　　　　　　音声合成部
１２　　　　　　　話者ベクトル抽出部
１３　　　　　　　テキスト前処理部
１４　　　　　　　音声前処理部
１５　　　　　　　更新部
１６　　　　　　　学習用データ記憶部
３０ａ　　　　　　音声特徴予測器
３０ｂ　　　　　　音声特徴予測器
３０ｃ　　　　　　音声特徴予測器
３０ｘ　　　　　　音声特徴予測器
３１ｘ　　　　　　特徴量変換部
３２ｘ　　　　　　スイッチ
３３ｘ　　　　　　並列部
３４ｘ　　　　　　並列集約部
４１　　　　　　　特徴量変換部
４１－ｉ　　　　　特徴量変換部
４２－ｉ　　　　　スイッチ
４３－ｉ－ｊ　　　並列部
４４－ｉ　　　　　並列集約部
１００　　　　　　ドライブ装置
１０１　　　　　　記録媒体
１０２　　　　　　補助記憶装置
１０３　　　　　　メモリ装置
１０４　　　　　　プロセッサ
１０５　　　　　　インタフェース装置
１１１　　　　　　音声合成モデルエンコーダ
１１２　　　　　　付加部
１１３　　　　　　バリアンスアダブタ
１１４　　　　　　音声合成モデルデコーダ
１１５　　　　　　ルート決定部
１１６　　　　　　ルート決定部
Ｂ　　　　　　　　バス
ｍ１　　　　　　　音声合成モデル
ｍ２　　　　　　　話者ベクトル抽出モデル

Claims (8)

  1. 　話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出部と、
    　前記話者ベクトルとテキスト系列情報とを入力した音声合成モデルが出力する音声系列情報と前記テキスト系列情報に対応する正解としての音声系列情報との誤差に基づいて前記音声合成モデルのパラメータを更新する更新部と、
    を有し、
    　前記音声合成モデルは、
    　並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、
    　前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、
    含む、
    ことを特徴とする音声合成学習装置。
  2. 　前記音声合成モデルは、
    　前記テキスト系列情報から生成されたベクトル系列と前記話者ベクトルから前記音声の特徴を示す音声情報を生成する音声特徴予測器と、
    　前記ベクトル系列、前記話者ベクトル及び前記音声情報から前記音声系列情報を生成する音声合成モデルデコーダと、
    を含み、
    　前記音声特徴予測器及び前記音声合成モデルデコーダの少なくともいずれ一方が前記並列構造を有する、
    ことを特徴とする請求項１記載の音声合成学習装置。
  3. 　前記ルート決定部は、前記一部のモジュールのそれぞれに対する重みを前記話者ベクトルに基づいて出力し、
    　前記並列構造は、前記一部のモジュールからの出力に対する前記重みに基づく加重和を出力する、
    ことを特徴とする請求項１又は２記載の音声合成学習装置。
  4. 　話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出部と、
    　テキスト系列情報及び話者ベクトルと音声系列情報との対応関係を学習済みの音声合成モデルを用いて、入力されたテキスト系列情報と話者ベクトル抽出部が生成した話者ベクトルとに対する音声系列情報を生成する音声合成部と、
    を有し、
    　前記音声合成モデルは、
    　並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、
    　前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、
    含む、
    ことを特徴とする音声合成装置。
  5. 　話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出手順と、
    　前記話者ベクトルとテキスト系列情報とを入力した音声合成モデルが出力する音声系列情報と前記テキスト系列情報に対応する正解としての音声系列情報との誤差に基づいて前記音声合成モデルのパラメータを更新する更新手順と、
    をコンピュータが実行し、
    　前記音声合成モデルは、
    　並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、
    　前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、
    含む、
    ことを特徴とする音声合成学習方法。
  6. 　話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出手順と、
    　テキスト系列情報及び話者ベクトルと音声系列情報との対応関係を学習済みの音声合成モデルを用いて、入力されたテキスト系列情報と話者ベクトル抽出手順が生成した話者ベクトルとに対する音声系列情報を生成する音声合成手順と、
    をコンピュータが実行し、
    　前記音声合成モデルは、
    　並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、
    　前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、
    含む、
    ことを特徴とする音声合成方法。
  7. 　話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出手順と、
    　前記話者ベクトルとテキスト系列情報とを入力した音声合成モデルが出力する音声系列情報と前記テキスト系列情報に対応する正解としての音声系列情報との誤差に基づいて前記音声合成モデルのパラメータを更新する更新手順と、
    をコンピュータに実行させ、
    　前記音声合成モデルは、
    　並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、
    　前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、
    含む、
    ことを特徴とするプログラム。
  8. 　話者が発話した音声から話者ベクトルを生成する話者ベクトル抽出手順と、
    　テキスト系列情報及び話者ベクトルと音声系列情報との対応関係を学習済みの音声合成モデルを用いて、入力されたテキスト系列情報と話者ベクトル抽出手順が生成した話者ベクトルとに対する音声系列情報を生成する音声合成手順と、
    をコンピュータに実行させ、
    　前記音声合成モデルは、
    　並列関係を有する複数のモジュールのうち、一部の前記モジュールを使用して入力に対する出力を生成する並列構造と、
    　前記話者ベクトルに基づいて、前記複数のモジュールのうち前記一部のモジュールを決定するルート決定部と、
    含む、
    ことを特徴とするプログラム。
PCT/JP2024/016079 2024-04-24 2024-04-24 音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム Pending WO2025224883A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016079 WO2025224883A1 (ja) 2024-04-24 2024-04-24 音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016079 WO2025224883A1 (ja) 2024-04-24 2024-04-24 音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2025224883A1 true WO2025224883A1 (ja) 2025-10-30

Family

ID=97489688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/016079 Pending WO2025224883A1 (ja) 2024-04-24 2024-04-24 音声合成学習装置、音声合成装置、音声合成学習方法、音声合成方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2025224883A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157066A1 (ja) * 2022-02-15 2023-08-24 日本電信電話株式会社 音声合成学習方法、音声合成方法、音声合成学習装置、音声合成装置及びプログラム
US20230335112A1 (en) * 2021-04-27 2023-10-19 Samsung Electronics Co., Ltd. Electronic device and method of generating text-to-speech model for prosody control of the electronic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230335112A1 (en) * 2021-04-27 2023-10-19 Samsung Electronics Co., Ltd. Electronic device and method of generating text-to-speech model for prosody control of the electronic device
WO2023157066A1 (ja) * 2022-02-15 2023-08-24 日本電信電話株式会社 音声合成学習方法、音声合成方法、音声合成学習装置、音声合成装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Doctoral Dissertation", 25 March 2022, OKAYAMA UNIVERSITY, JP, article INOUE KATSUYUKI: "Investigation of training method with low resource data for emotional speech synthesis based on deep learning", pages: 1 - 90, XP093369136 *

Similar Documents

Publication Publication Date Title
KR20230003056A (ko) 비음성 텍스트 및 스피치 합성을 사용한 스피치 인식
CN113948062B (zh) 数据转换方法及计算机存储介质
CN113470662A (zh) 生成和使用用于关键词检出系统的文本到语音数据和语音识别系统中的说话者适配
CN113439301A (zh) 使用序列到序列映射在模拟数据与语音识别输出之间进行协调
JP6437581B2 (ja) 話者適応型の音声認識
JPH06110493A (ja) 音声モデルの構成方法及び音声認識装置
US20230335107A1 (en) Reference-Free Foreign Accent Conversion System and Method
CN112489629A (zh) 语音转写模型、方法、介质及电子设备
CN112420050B (zh) 一种语音识别方法、装置和电子设备
KR102508640B1 (ko) 다화자 훈련 데이터셋에 기초한 음성합성 방법 및 장치
JP7146038B2 (ja) 音声認識システム及び方法
KR102890771B1 (ko) 종단간 음성 합성 장치, 프로그램 및 그것의 제어 방법
WO2024072481A1 (en) Text to speech synthesis without using parallel text-audio data
KR20240068723A (ko) Rnn-T로 구현된 자동 음성 인식 시스템에서 음향과 텍스트 표현의 융합
Cho et al. Learning speaker embedding from text-to-speech
US20040006469A1 (en) Apparatus and method for updating lexicon
JP7192882B2 (ja) 発話リズム変換装置、モデル学習装置、それらの方法、およびプログラム
WO2023157066A1 (ja) 音声合成学習方法、音声合成方法、音声合成学習装置、音声合成装置及びプログラム
CN119380695A (zh) 基于人工智能的语音合成方法、装置及相关设备
JP7179216B1 (ja) 声質変換装置、声質変換方法、声質変換ニューラルネットワーク、プログラム、および記録媒体
KR102300303B1 (ko) 발음 변이를 적용시킨 음성 인식 방법
JP7173339B2 (ja) 発話評価装置、発話評価方法、およびプログラム
KR102906848B1 (ko) wav2vec2.0의 은닉 표현을 활용한 분리 기반 음성 변조 장치 및 방법
CN119741909B (zh) 语音修复方法、装置、电子设备和存储介质
Zhou et al. UnitNet-Based Hybrid Speech Synthesis.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24937001

Country of ref document: EP

Kind code of ref document: A1