JP5268731B2 - Speech synthesis apparatus, method and program - Google Patents
Speech synthesis apparatus, method and program Download PDFInfo
- Publication number
- JP5268731B2 JP5268731B2 JP2009073988A JP2009073988A JP5268731B2 JP 5268731 B2 JP5268731 B2 JP 5268731B2 JP 2009073988 A JP2009073988 A JP 2009073988A JP 2009073988 A JP2009073988 A JP 2009073988A JP 5268731 B2 JP5268731 B2 JP 5268731B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- generation model
- speech synthesis
- correction information
- speech generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、音声生成モデルを予測し、予測された音声生成モデルに基づき音声波形を生成する音声合成装置、方法およびプログラムに関する。 The present invention relates to a speech synthesis apparatus, method, and program for predicting a speech generation model and generating a speech waveform based on the predicted speech generation model.
音声に特化した高効率な音声符号化方式として、ＣＥＬＰ（Code Excited Linear Prediction）方式が知られている。ＣＥＬＰ方式は音声波形の物理的な特徴に関する知見に基づいた方法だが、音声の言語的制約を直接的には用いていないため、どのような言語のどのようなスタイルの音声でも高効率に符号化可能な特徴を有する。しかし、符号化された音声のビットレートは最低でも数ｋｂｐｓ(bits per second)となる。これに対し、言語的な情報から音声を合成する技術は、一般に音声合成技術に属する。音声合成技術の代表的な利用方法は、テキスト音声変換（Text-To-Speech）だが、ここでは例えば、テキストを解析して得られる、音素の種類や韻律的特徴を表記した記号をその入力とし、音声波形を生成する装置を特に音声合成装置と呼び、その入力を構成する記号を、音声合成用記号と呼ぶ。音声合成用記号には様々な形式がありうるが、ここでは、一連の音声を構成する音韻的情報と、主としてポーズや声の高さとして表現される韻律的情報を同時に表記したものを考える。そのような音声合成記号の例として、ＪＥＩＴＡ（電子情報技術産業協会）規格ＩＴ−４００２「日本語テキスト音声合成用記号」（非特許文献１）がある。 A CELP (Code Excited Linear Prediction) method is known as a highly efficient speech coding method specialized for speech. The CELP method is based on knowledge about the physical characteristics of the speech waveform, but does not directly use the speech language constraints, so it can efficiently encode any style of speech in any language. Has possible characteristics. However, the bit rate of the encoded voice is at least several kbps (bits per second). On the other hand, the technology for synthesizing speech from linguistic information generally belongs to speech synthesis technology. Text-to-speech is a typical method of using speech synthesis technology. Here, for example, a symbol representing phoneme types and prosodic features obtained by analyzing text is used as input. A device for generating a speech waveform is particularly called a speech synthesizer, and symbols constituting its input are called speech synthesis symbols. There are various forms of symbols for speech synthesis. Here, a case is considered in which phonological information constituting a series of speech and prosodic information mainly expressed as a pose or a voice pitch are simultaneously described. As an example of such a speech synthesis symbol, there is JEITA (Electronic Information Technology Industry Association) standard IT-4002 “symbol for Japanese text speech synthesis” (Non-patent Document 1).
音声合成装置における音声波形の生成方法には様々な方式があるが、ここでは、ＣＥＬＰ方式と同様に、音源とフィルタを組み合わせた音源・フィルタモデル等に基づき、信号処理で音声波形を合成する方法を対象とする。音源・フィルタモデルでは、音声の響きをつくるフィルタを適当な音源で駆動することで、音声波形を信号処理的に合成するが、ここではＣＥＬＰ方式とは異なり、インパルス列や白色雑音源といった比較的に単純な構成の音源で駆動する場合を主に考える。また以下では、音源のパラメータとフィルタのパラメータをまとめて音声合成パラメータと呼ぶ。音声合成パラメータは、スペクトルの特徴を表現するためのＭＦＣＣ（Mel-Frequency Cepstral Coefficient）や、声の高さに対応する、波形の基本周波数（Ｆ０）などの複数のパラメータで構成される。また、フィルタにはＡＲ（自己回帰）型のフィルタや、ＭＦＣＣを直接そのパラメータとする、ＭＬＳＡ（メル対数スペクトル近似）フィルタ（非特許文献２）等が用いられる。 There are various methods for generating speech waveforms in the speech synthesizer. Here, similar to the CELP method, a method for synthesizing speech waveforms by signal processing based on a sound source / filter model combining a sound source and a filter. Is targeted. In the sound source / filter model, the sound waveform is synthesized in a signal processing manner by driving a filter that generates sound of sound with an appropriate sound source, but here, unlike the CELP method, relatively, such as an impulse train or a white noise source. Considering the case of driving with a simple sound source. Hereinafter, the sound source parameters and the filter parameters are collectively referred to as speech synthesis parameters. The speech synthesis parameter is composed of a plurality of parameters such as a MFCC (Mel-Frequency Cepstral Coefficient) for expressing spectral features and a fundamental frequency (F0) of the waveform corresponding to the voice pitch. As the filter, an AR (autoregressive) type filter, an MLSA (Mel logarithmic spectrum approximation) filter (Non-Patent Document 2), which directly uses MFCC as a parameter, and the like are used.
例えば子音のような音声を合成するためには、音声合成パラメータを時間的に変化させることが必要なため、この方法では、例えば５ｍｓ程度の一定周期で音声合成パラメータを更新し、その特徴を変化させながら音声を合成することが一般的である。この一定周期の１周期分は一般に１フレームと呼ばれる。したがって、この構成で音声を合成するためには、音声合成用記号からフレーム毎の音声合成パラメータの値を決める必要がある。もっとも簡単な方法としては、ある音素を合成するための音声合成パラメータの値のフレーム周期の時系列を、必要な音素のそれぞれについて事前に準備しておき、生成したい音声の音素系列に合わせて、それらの音声合成パラメータ時系列を繋ぎ１発声の音声合成パラメータ時系列とする方法が考えられる。しかし実際には、同じ音素であっても、前後の音素の種類や、話速や声の高さ、直前や直後のポーズからの時間的距離によって、その特徴は異なる。これらを全て区別する音素分類を用いた場合、音素の種類の個数は非常に莫大なものとなり、必要な全ての音声合成パラメータ時系列のセットを作成、蓄積することは困難である。 For example, in order to synthesize speech such as consonants, it is necessary to change the speech synthesis parameters over time. In this method, for example, the speech synthesis parameters are updated at a fixed period of about 5 ms and the characteristics are changed. It is common to synthesize speech while One period of this fixed period is generally called one frame. Therefore, in order to synthesize speech with this configuration, it is necessary to determine the value of the speech synthesis parameter for each frame from the speech synthesis symbol. The simplest method is to prepare the time series of the frame period of the speech synthesis parameter value for synthesizing a phoneme in advance for each of the necessary phonemes, and match the phoneme sequence of the speech to be generated, A method of concatenating these speech synthesis parameter time series into one speech synthesis parameter time series can be considered. In practice, however, the characteristics of the same phoneme differ depending on the type of phonemes before and after, the speaking speed and the voice pitch, and the temporal distance from the immediately preceding and immediately following pauses. When the phoneme classification that distinguishes all of them is used, the number of phoneme types becomes very large, and it is difficult to create and store all necessary speech synthesis parameter time series sets.
そこで実際には、音声合成パラメータ時系列の時間変化を適当なモデルに基づきモデル化し、そのモデルパラメータを音声合成用記号からまず予測することで生成し、得られたモデルから音声合成パラメータ時系列を生成することで、任意の音声を合成可能とする方法が用いられる。以下では、このモデルのことを音声生成モデルと呼ぶ。例えば、ある音素の音声合成パラメータの特徴が時間的に３つの状態に分かれ、各状態のフレーム数について、その統計的特徴を現すベクトルを最初の状態から順にd1、d2、d3とし、この３つのベクトルの要素を連結して１つのベクトルdを作り、また、各状態の統計的特徴を現すベクトルを最初の状態から順にv1、v2、v3とすれば、その音素を合成するための音声合成パラメータの特徴は、音声生成モデルのパラメータを構成するd、v1、v2、v3の４つのベクトルで表すことができる。 Therefore, in practice, the time change of the speech synthesis parameter time series is modeled based on an appropriate model, and the model parameters are generated by first predicting from the speech synthesis symbols, and the speech synthesis parameter time series is obtained from the obtained model. By generating, a method that enables synthesis of arbitrary speech is used. Hereinafter, this model is referred to as a speech generation model. For example, the speech synthesis parameter feature of a phoneme is divided into three states in terms of time. For the number of frames in each state, the vectors representing the statistical features are d1, d2, and d3 in order from the first state. Speech synthesis parameters for synthesizing the phoneme if the vector elements are concatenated to create one vector d, and the vectors representing the statistical features of each state are v1, v2, and v3 in order from the first state. Can be expressed by four vectors d, v1, v2, and v3 that constitute the parameters of the speech generation model.
このように全ての音素がこのように４つのベクトルで表すことができると仮定し、予めそれぞれのベクトルについて、最適なコードブックを作成しておく。あるいは、v1、v2、v3は同じコードブックを用いて表しても良い。音声合成の際は、まず、音声合成用記号から各音素の音声生成モデルのパラメータを構成する最適なコードブックのベクトルをそれぞれ予測し、各音素を合成するため音声生成モデルを構築する。そして、それらの音声生成モデルを時間順に連結して１発声分の音声生成モデルとし、そのモデルに基づき最適な音声合成パラメータ時系列を求める。この音声合成パラメータ時系列に基づき、音源・フィルタを制御することで、音声波形は生成される。 As described above, it is assumed that all phonemes can be represented by four vectors in this way, and an optimal codebook is created for each vector in advance. Alternatively, v1, v2, and v3 may be expressed using the same codebook. At the time of speech synthesis, first, an optimal codebook vector constituting the parameters of the speech generation model of each phoneme is predicted from the speech synthesis symbols, and a speech generation model is constructed to synthesize each phoneme. Then, these speech generation models are connected in time order to obtain a speech generation model for one utterance, and an optimal speech synthesis parameter time series is obtained based on the model. A voice waveform is generated by controlling the sound source / filter based on the voice synthesis parameter time series.
この方法に基づく音声合成装置の構成方法の代表的なものとして、ＨＭＭ音声合成方式がある。ＨＭＭ音声合成方式は、音声生成モデルとしてＨＭＭ（隠れマルコフモデル）に基づくモデルを仮定した方法であり、音声生成モデルのパラメータを構成する複数のベクトルは、音声認識技術における状態共有ＨＭＭで用いられる方法と同様に、それぞれ音声合成記号から決定木に基づき決定される（非特許文献３）。 A typical method for configuring a speech synthesizer based on this method is an HMM speech synthesis method. The HMM speech synthesis method is a method that assumes a model based on an HMM (Hidden Markov Model) as a speech generation model, and a plurality of vectors constituting parameters of the speech generation model are methods used in a state sharing HMM in speech recognition technology. In the same manner as above, the speech synthesis symbols are determined based on the decision tree (Non-patent Document 3).
音声を合成する際には、単位音声毎の音声生成モデルを連結して１発話分の音声生成モデルをまず構成し、その構成された音声生成モデルに対し、そのゆう度が最大となる音声合成パラメータ時系列を求め、これを音声波形生成に用いる。音声合成パラメータ時系列に対する、音声生成モデルのゆう度は、例えば、音声生成モデルにおいて、フレームｔにおける音声合成パラメータの種類ｉの値ｘｉ（ｔ）の統計的分布が他の種類の音声合成パラメータに対し独立でかつ正規分布に従うという形で音声合成パラメータ時系列がモデル化されていて、その分布の平均値がμｉ（ｔ）、分散がσｉ（ｔ）２であるとき、音声の長さが全体でＴフレーム（０≦ｔ≦Ｔ−１）とすると、音声合成パラメータｉの時系列ｘｉ（ｔ）（０≦ｔ≦Ｔ−１）に対する音声生成モデルのゆう度は、
ただし実際には、音声合成パラメータの連続的な変化も合わせてモデル化するために、音声合成パラメータだけでなく、そのデルタパラメータおよびデルタデルタパラメータについても、あわせて音声生成モデルによるモデリング対象とすることが多い。ある音声合成パラメータｉのｔ番目のフレームにおける値ｘｉ（ｔ）のデルタパラメータΔｘｉ（ｔ）およびデルタデルタパラメータΔ２ｘｉ（ｔ）は、例えばそれぞれ式２、式３により与えられる。
Δxi(t)＝｛xi(t＋1)−xi(t−1)｝／2 （２）
Δ2xi(t)＝xi(t＋1)−2xi(t)＋xi(t−1) （３）
However, in practice, in order to model continuous changes in speech synthesis parameters as well, not only speech synthesis parameters but also their delta parameters and delta-delta parameters must be modeled by the speech generation model. There are many. A delta parameter Δx i (t) and a delta delta parameter Δ 2 x i (t) of a value x i (t) in a t-th frame of a certain speech synthesis parameter i are given by, for example, Expression 2 and Expression 3, respectively.
Δx i (t) = {x i (t + 1) −x i (t−1)} / 2 (2)
Δ 2 x i (t) = x i (t + 1) −2x i (t) + x i (t−1) (3)
音声合成パラメータ時系列の生成では、このデルタおよびデルタデルタパラメータも含めて計算されるゆう度が最大となる音声合成パラメータ時系列を求める。これにより、滑らかな時間遷移を有する音声合成パラメータが生成される。このデルタおよびデルタデルタパラメータを考慮した、音声合成パラメータ時系列の生成方法の詳細は非特許文献４に示されている。 In the generation of the speech synthesis parameter time series, the speech synthesis parameter time series having the maximum likelihood calculated including the delta and delta delta parameters is obtained. As a result, a speech synthesis parameter having a smooth time transition is generated. Non-Patent Document 4 shows details of a method for generating a speech synthesis parameter time series in consideration of the delta and the delta-delta parameter.
以上、上記のような方法を用いることにより、音声合成記号列の形で表現された数百ｂｐｓ程度のデータから音声波形を生成することができる。 As described above, by using the method as described above, a speech waveform can be generated from data of about several hundred bps expressed in the form of a speech synthesis symbol string.
携帯端末等の、データサイズや通信ビットレートの限られた装置で音声を再生するために、あらかじめある話者による読み上げ音声データを、音声合成記号の形に一度符号化しておき、これを用いて上記構成の音声合成装置により音声合成し、元の音声を再現する場合を考える。原稿がある文章の読み上げ音声を合成する場合、音声合成に必要な音声合成記号は元の原稿から比較的容易に作成できるので、このような構成が可能であり、これにより高効率な符号化が達成される。 In order to play back speech on a device with limited data size or communication bit rate, such as a portable terminal, the speech data read out by a speaker in advance is encoded once into the form of a speech synthesis symbol. Consider a case where speech synthesis is performed by the speech synthesizer having the above-described configuration to reproduce the original speech. When synthesizing the reading speech of a sentence with a manuscript, the speech synthesis symbols necessary for speech synthesis can be created relatively easily from the original manuscript, so such a configuration is possible, which enables highly efficient coding. Achieved.
音声合成装置が出力する音声の声質や読み上げスタイルは、音声合成装置における、音声生成モデルの予測性能で主に決まるので、その話者の音声を再現するためには、そのための高精度な予測器を事前に構築しておき、これを用いて音声の合成を行えばよい。特に、合成する音声内容が予め決まっている場合、その音声内容に特化した、音声合成用記号からの音声生成モデル予測器を構築すればよい。 The voice quality and reading style of the voice output by the voice synthesizer are mainly determined by the prediction performance of the voice generation model in the voice synthesizer. Therefore, in order to reproduce the voice of the speaker, a high-precision predictor for that purpose is used. Can be constructed in advance, and speech synthesis can be performed using this. In particular, when speech content to be synthesized is determined in advance, a speech generation model predictor from speech synthesis symbols specialized for the speech content may be constructed.
しかしながら、実際には特定内容に特化した予測器を構築すると、その予測結果に予測器構築に用いたデータの特徴が強く現れ、予測器構築に用いた音声とは別の内容の音声を高品質に合成できない、という問題が生じる。この状態は一般に過学習と呼ばれる。実用上は、合成する音声を後で修正、あるいは追加したい場合が多く、このため予測器構築に用いる音声に極端に特化した予測器を用いることができない場合が一般的である。また、そのような極端に特化した予測器は、予測器構築に使ったデータの細かい特徴までもが予測器に含まれることになり、予測器自体のサイズが大きくなってしまうという問題がある。 However, in practice, when a predictor specialized for a specific content is constructed, the characteristics of the data used for constructing the predictor appear strongly in the prediction result, and speech with content different from the speech used for constructing the predictor is increased. The problem arises that quality cannot be combined. This state is generally called overlearning. In practice, there are many cases where it is desired to modify or add speech to be synthesized later. For this reason, a predictor extremely specialized for speech used for constructing a predictor cannot generally be used. In addition, such an extremely specialized predictor has a problem that even the fine features of the data used for constructing the predictor are included in the predictor, which increases the size of the predictor itself. .
このため実際には、ある程度の誤差を許容した予測器の構築が行われる。これにより、予測器構築に使ったデータとは別の入力に対しても、ある程度の予測性能が得られる。この能力のことは一般に汎化と呼ばれる。しかし、一般に汎化性能を獲得しようとするほど、符号化の元になったその話者の実際の音声との間では、大きな誤差が生じる。特に、話速や声の高さの微妙な変化といった特徴を音声合成用記号だけから正確に再現することは困難で、元の話者の音声の特徴が、充分に再現されない場合があった。 For this reason, a predictor that allows a certain amount of error is actually constructed. As a result, a certain degree of prediction performance can be obtained even for an input different from the data used for constructing the predictor. This ability is commonly called generalization. However, generally, the greater the generalization performance is obtained, the greater the error between the actual speech of the speaker that is the source of encoding. In particular, it is difficult to accurately reproduce features such as subtle changes in speech speed and voice pitch from the speech synthesis symbols alone, and the original speaker's speech features may not be sufficiently reproduced.
したがって、本発明は、特定音声に特化されていない音声生成モデル予測器を含む音声合成装置において、音声合成記号と比較的小さい修正情報を用いて、原音声の特徴を再現した音声を合成する音声合成装置を提供することを目的とする。 Therefore, the present invention synthesizes speech that reproduces the features of the original speech using speech synthesis symbols and relatively small correction information in a speech synthesizer including a speech generation model predictor that is not specialized for specific speech. An object is to provide a speech synthesizer.
上記目的を実現するため本発明による音声合成装置は、一連の音声合成記号入力に基づき音声生成モデルを生成し、生成された音声生成モデルに基づき音声波形を生成する音声合成装置であって、前記音声生成モデルの修正情報を入力する手段と、前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正する手段とを備えている。 In order to achieve the above object, a speech synthesizer according to the present invention is a speech synthesizer that generates a speech generation model based on a series of speech synthesis symbol inputs and generates a speech waveform based on the generated speech generation model. Means for inputting correction information of the voice generation model, and means for correcting the voice generation model generated based on the voice synthesis symbol input based on the correction information of the voice generation model.
また、音声生成モデル生成のためのコードブックをさらに備え、前記音声生成モデルの生成は、前記音声合成記号入力に対応するコードブックのベクトルを出力することであり、前記音声生成モデルの修正情報は、前記コードブックのベクトルを表す符号をその構成要素として含むことも好ましい。 The speech generation model generation method further comprises: generating a speech generation model, wherein the generation of the speech generation model is to output a codebook vector corresponding to the speech synthesis symbol input, and the modification information of the speech generation model is It is also preferable that a code representing the codebook vector is included as a component.
また、前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータを生成する音声生成モデルと、一連の音声合成記号入力から生成された音声生成モデルとの間で定義される、所定の誤差尺度が小さくなるように音声生成モデルを修正する情報で構成されることも好ましい。 The correction information is defined between a speech generation model that generates a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a speech generation model that is generated from a series of speech synthesis symbol inputs. It is also preferable that the voice generation model is configured with information that corrects the predetermined error measure to be small.
また、前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータと、一連の音声合成記号入力から生成された音声生成モデルに基づき生成された所定の音声合成パラメータとの間で定義される、所定の誤差尺度が小さくなるように音声生成モデルを修正する情報で構成されることも好ましい。 The correction information is between a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a predetermined speech synthesis parameter generated based on a speech generation model generated from a series of speech synthesis symbol inputs. It is also preferable that the defined information is composed of information for correcting the speech generation model so that a predetermined error measure is reduced.
また、前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータと、一連の音声合成記号入力から生成された音声生成モデルとの間で定義される、音声合成パラメータに対する音声生成モデルのゆう度を表す所定の尺度が大きくなるように音声生成モデルを修正する情報で構成されることことも好ましい。 Further, the correction information is a voice generation for a voice synthesis parameter defined between a predetermined voice synthesis parameter estimated from an original voice to be synthesized and a voice generation model generated from a series of voice synthesis symbol inputs. It is also preferable that the speech generation model is configured with information for correcting the speech generation model so that a predetermined scale representing the likelihood of the model becomes large.
上記目的を実現するため本発明による音声合成方法は、一連の音声合成記号入力に基づき音声生成モデルを生成し、生成された音声生成モデルに基づき音声波形を生成する音声合成方法であって、前記音声生成モデルの修正情報を入力するステップと、前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正するステップとを備えている。 In order to achieve the above object, a speech synthesis method according to the present invention is a speech synthesis method for generating a speech generation model based on a series of speech synthesis symbol inputs, and generating a speech waveform based on the generated speech generation model. Inputting correction information of a voice generation model; and correcting a voice generation model generated based on the voice synthesis symbol input based on the correction information of the voice generation model.
上記目的を実現するため本発明によるプログラムは、上記に記載の音声合成装置としてコンピュータを機能させる。 In order to achieve the above object, a program according to the present invention causes a computer to function as the speech synthesizer described above.
本発明により、音声合成記号だけから音声を合成した場合に生じる原音声との間との誤差を、音声波形生成の基となる音声生成モデルを修正することで、小さくすることができる。特に、誤差の大きい箇所に対応する音声生成モデルを選択的に修正することで、原音声の特性に近い音声を、音声合成記号と小さい修正情報で合成することができる。 According to the present invention, it is possible to reduce an error from the original speech generated when speech is synthesized from only speech synthesis symbols by correcting the speech generation model that is the basis of speech waveform generation. In particular, by selectively correcting a speech generation model corresponding to a portion having a large error, speech close to the characteristics of the original speech can be synthesized with speech synthesis symbols and small correction information.
また本発明により、音声生成モデルのパラメータ修正情報は、音声生成モデル予測器に組み込まれたコードブックを用いて構成できるので、修正情報はさらに小さくすることができる。 Further, according to the present invention, the parameter correction information of the speech generation model can be configured using a code book incorporated in the speech generation model predictor, so that the correction information can be further reduced.
また本発明により、修正情報は、原音声から推定された音声合成パラメータと、音声生成モデルから生成された音声合成パラメータとの間の誤差が小さくなるような音声生成モデルの修正情報を探すことで、決定することができる。 Further, according to the present invention, the correction information is obtained by searching for correction information of a speech generation model that reduces an error between the speech synthesis parameter estimated from the original speech and the speech synthesis parameter generated from the speech generation model. Can be determined.
また本発明により、修正情報は、原音声から推定された音声合成パラメータに対する、音声生成モデルのゆう度が大きくなるような音声生成モデルを探すことで、決定することができる。 Further, according to the present invention, the correction information can be determined by searching for a speech generation model that increases the likelihood of the speech generation model with respect to the speech synthesis parameter estimated from the original speech.
以上の特徴から、特定音声に特化されていない音声生成モデル予測器を含む音声合成装置でも、音声合成記号と比較的小さい修正情報のみを用いて、原音声の特徴を再現した音声を合成することができる。 From the above features, even a speech synthesizer including a speech generation model predictor that is not specialized for specific speech synthesizes speech that reproduces the features of the original speech using only speech synthesis symbols and relatively small correction information. be able to.
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。なお、以下において、“単位音声”とは、本発明による音声合成装置における、音声の最小処理単位である。単位音声の具体例としては、音素、音節、単語がある。ただしここでは、単位音声は、例えば前後の音素の種類といった音韻環境に関する違い、またアクセントやイントネーション、話速といった韻律的特徴の違いを考慮した分類が行われているものとする。また“音声合成用記号”とは、１発声の音声に含まれる単位音声のそれぞれの種類を記述するための一連の記号である。 The best mode for carrying out the present invention will be described in detail below with reference to the drawings. In the following, the “unit speech” is a minimum speech processing unit in the speech synthesizer according to the present invention. Specific examples of unit speech include phonemes, syllables, and words. However, here, unit speech is classified in consideration of differences in phonemic environment such as the types of phonemes before and after, and differences in prosodic features such as accent, intonation, and speech speed. A “speech synthesis symbol” is a series of symbols for describing each type of unit speech included in one speech.
図１は、本発明の第１の実施形態による音声合成装置のブロック図である。図１によると、音声合成装置１は、音声生成モデル生成部１１と、音声生成モデル修正部１２と、音声合成パラメータ生成部１３と、音声波形生成部１４を備えている。音声生成モデル生成部１１には、音声合成記号列から音声生成モデルのパラメータを予測するための、音声生成モデル予測器が組み込まれている。また、音声合成装置１は、音声合成記号と音声生成モデル修正情報（以下、修正情報と記す）をその入力とし、音声波形を出力する。 FIG. 1 is a block diagram of a speech synthesizer according to the first embodiment of the present invention. As shown in FIG. 1, the speech synthesizer 1 includes a speech generation model generation unit 11, a speech generation model correction unit 12, a speech synthesis parameter generation unit 13, and a speech waveform generation unit 14. The speech generation model generation unit 11 incorporates a speech generation model predictor for predicting the parameters of the speech generation model from the speech synthesis symbol string. The speech synthesizer 1 receives speech synthesis symbols and speech generation model modification information (hereinafter referred to as modification information) as inputs, and outputs a speech waveform.
ここでは、１発声に対応する音声生成モデルのパラメータ全てが、適当な次元数Ｎのベクトルで表現されるものとする。また修正情報には、０個以上の修正情報要素が含まれる。ここで１つの修正情報要素は、例えば、指令符号とその引数、といった形で表現できる。指令符号により示される指令の例としては、音声生成モデルのあるパラメータｊを値ａに書き換える、といったものがある。この値の修正を行う指令符号をＳ１とすると、この修正処理を表す修正情報要素は、Ｓ１，ｊ，ａの３つの記号で表現できる。なお、ｊにより指定される音声生成モデルのパラメータの例としては、音声生成モデルの特定の状態におけるＭＦＣＣの特定の次数の値の平均値、音声生成モデルの特定の状態におけるフレーム数分布の分散の値などがある。 Here, it is assumed that all the parameters of the speech generation model corresponding to one utterance are expressed by a vector having an appropriate number of dimensions N. The correction information includes zero or more correction information elements. Here, one correction information element can be expressed in the form of a command code and its argument, for example. As an example of the command indicated by the command code, there is a method in which a certain parameter j of the voice generation model is rewritten to a value a. If the command code for correcting this value is S1, the correction information element representing this correction process can be expressed by three symbols S1, j, and a. Note that examples of parameters of the speech generation model specified by j include an average value of a specific order value of the MFCC in a specific state of the speech generation model, and a distribution of the number of frames distribution in a specific state of the speech generation model. There are values.
この構成では、ある１発声がＫ個の単位音声で構成されるとき、その１発声の音声合成記号入力に対して、まず音声生成モデル生成部１１が、Ｋ個の単位音声のそれぞれについて、事前に構築された音声生成モデル予測器を用いて、その単位音声のための音声生成モデルのパラメータを予測する。そして、それらを連結してその１発声のための音声生成モデルのパラメータを構成するＮ次元のベクトルを構成し、音声生成モデル修正部１２にそのデータを送信する。以下、このベクトルを音声生成モデルパラメータベクトルと呼ぶ。次に音声生成モデル修正部１２で、音声生成モデルパラメータベクトルの、修正情報において指示されている次元の要素は、修正情報で指定された値に書き換えられる。そして、音声合成パラメータ生成部１３は、書き換えられた音声生成モデルパラメータベクトルに対して、音声合成パラメータ時系列を生成する。最後に音声波形生成部１４において、音声合成パラメータ時系列に基づき、音源およびフィルタが制御され、音声波形が合成される。 In this configuration, when a certain utterance is composed of K unit speeches, the speech generation model generation unit 11 first applies the speech synthesis model generation unit 11 to each of the K unit speeches in advance for the speech synthesis symbol input of the one utterance. Is used to predict the parameters of the speech generation model for the unit speech. Then, they are connected to form an N-dimensional vector constituting the parameters of the speech generation model for the one utterance, and the data is transmitted to the speech generation model correcting unit 12. Hereinafter, this vector is referred to as a speech generation model parameter vector. Next, the voice generation model correction unit 12 rewrites the dimension element indicated in the correction information of the voice generation model parameter vector to the value specified by the correction information. Then, the speech synthesis parameter generation unit 13 generates a speech synthesis parameter time series for the rewritten speech generation model parameter vector. Finally, in the speech waveform generation unit 14, the sound source and the filter are controlled based on the speech synthesis parameter time series, and the speech waveform is synthesized.
第１の実施形態における修正情報を作成する第１の作成手段を以下で説明する。図２は本発明の第１の実施形態による音声合成装置のための、修正情報を作成するための第１の手順を説明する図である。
Ｓ１１．音響分析により原音声から目標となる音声合成パラメータ時系列をまず作成する。
Ｓ１２．そして、原音声に対応する音声合成記号列から音声生成モデルを生成した場合と同じ構造のモデルのうちで、音声合成パラメータ時系列に対しゆう度が最大となる音声生成モデルを求める。音声生成モデルがＨＭＭに基づくものである場合は、音声生成モデルはフォワード・バックワードアルゴリズムにより効率的に求めることができる。または、ビタビアルゴリズムにより近似的に求めることができる。
Ｓ１３．一方、これとは別に、音声合成記号のみを用いて音声生成モデルを作成する。
Ｓ１４．作成されたパラメータベクトルをＳ１５で作成された指令情報で修正する。なお、最初は指令情報がないため修正は行わない。
Ｓ１５．作成された２つの音声生成モデルのパラメータベクトルについて、その要素をそれぞれ比較し、所定の誤差尺度が最も大きい要素について、その値を原音声から作成したモデルパラメータベクトルの要素の値で修正する指令情報を作成し、修正情報要素として出力する。
Ｓ１６．そして所定の条件を満たすまで、修正情報要素を蓄積しながらこのパラメータベクトル修正手順を繰り返す。ただし繰り返し以降の処理では、パラメータベクトルに対して、それまでに蓄積された音声生成モデル修正情報要素を適用し、パラメータベクトルを修正する。最終的に、蓄積された修正情報要素の集合が、当該の１発声を修正するための音声生成モデル修正情報となる。前記の条件の例としては、修正後の全パラメータにおける所定の誤差尺度の最大値が事前に設定したしきい値以下になった、修正情報のサイズがある設定値に達した、等がある。
The first creation means for creating correction information in the first embodiment will be described below. FIG. 2 is a diagram for explaining a first procedure for creating correction information for the speech synthesizer according to the first embodiment of the present invention.
S11. First, a target speech synthesis parameter time series is created from the original speech by acoustic analysis.
S12. Then, among the models having the same structure as the case where the speech generation model is generated from the speech synthesis symbol string corresponding to the original speech, a speech generation model having the maximum likelihood with respect to the speech synthesis parameter time series is obtained. When the speech generation model is based on HMM, the speech generation model can be efficiently obtained by a forward / backward algorithm. Or it can obtain | require approximately by a Viterbi algorithm.
S13. On the other hand, a speech generation model is created using only speech synthesis symbols.
S14. The created parameter vector is corrected with the command information created in S15. Since there is no command information at first, no correction is made.
S15. Instruction information for comparing the elements of the two created speech generation model parameter vectors, and correcting the value of the element having the largest predetermined error measure with the value of the element of the model parameter vector created from the original speech Is created and output as a modification information element.
S16. The parameter vector correction procedure is repeated while accumulating correction information elements until a predetermined condition is satisfied. However, in the subsequent processing, the parameter vector is corrected by applying the speech generation model correction information element accumulated so far to the parameter vector. Finally, the set of stored correction information elements becomes the voice generation model correction information for correcting the one utterance. Examples of the condition include that the maximum value of a predetermined error measure in all parameters after correction is equal to or less than a preset threshold value, the size of correction information has reached a certain setting value, and the like.
また誤差尺度としては、パラメータの種類ｊに対する原音声から作成された音声生成モデルにおけるそのパラメータの値と、音声合成記号から作成される音声生成モデルにおけるそのパラメータの値との差をｅｊとするとき、パラメータ毎の重要度を考慮した重み付け誤差ｅｊ’＝ｗｊｅｊがある。ただし、ｗｊは音声生成モデルのパラメータｊの重み係数である。例えば、この係数を比較的品質上影響の大きい音声の基本周波数といったパラメータに対し、特に音声上で大きな誤差を生じさせたくない箇所でのみ大きな値に設定することで、そのパラメータの影響のある部分を優先的に修正することができる。 As the error measure, to the value of the parameter in the speech production model created from the original speech for the type j parameter, the difference between the value of that parameter in the speech production model created from the speech synthesis Symbols and e j Then, there is a weighting error e j ′ = w j e j considering the importance for each parameter. Here, w j is a weighting factor of the parameter j of the speech generation model. For example, if this coefficient is set to a large value only for a parameter such as a fundamental frequency of a voice that has a relatively large effect on quality, especially in a place where a large error is not desired to be generated on the voice, a part affected by that parameter is affected. Can be corrected with priority.
次に、第１の実施形態における修正情報を作成する第２の作成手段を以下で説明する。図３は本発明の第１の実施形態による音声合成装置のための、修正情報を作成するための第２の手順を説明する図である。
Ｓ２１．この方法でも第１の手順と同様、音響分析により原音声から目標となる音声合成パラメータ時系列をまず作成する。
Ｓ２２．またそれとは独立に、原音声に対応する音声合成記号から音声生成モデルを構築する。
Ｓ２３．作成された音声生成モデルをＳ２５で作成された修正情報で修正する。なお、最初は修正情報がないため修正は行わない。
Ｓ２４．構築された音声生成モデルに基づき音声合成パラメータ時系列を作成する。
Ｓ２５．これら２つの音声合成パラメータの誤差を評価し、修正後の音声生成モデルを用いて音声合成パラメータ時系列を作成した時に目標音声合成パラメータ時系列との誤差指標が最小となる、音声生成モデルに対する音声生成モデル修正情報を作成する。このような修正情報要素は山登り法により求めることができる。
Ｓ２６．そして所定の条件を満たすまで、修正情報要素を蓄積しながらこの音声モデル修正手順を繰り返す。ただし繰り返し以降の処理では、音声合成記号から生成された音声生成モデルに対して、それまでに蓄積された音声生成モデル修正情報要素を適用し、音声生成モデルを修正する。前記の条件の例としては、誤差指標が事前に設定したしきい値以下になるか、修正情報のサイズがある設定値に達した、等がある。最終的に、蓄積された修正情報要素の集合が、当該の１発声を修正するための音声生成モデル修正情報となる。
Next, a second creation unit that creates correction information in the first embodiment will be described below. FIG. 3 is a diagram for explaining a second procedure for creating correction information for the speech synthesizer according to the first embodiment of the present invention.
S21. In this method, as in the first procedure, a target speech synthesis parameter time series is first created from the original speech by acoustic analysis.
S22. Independently of this, a speech generation model is constructed from speech synthesis symbols corresponding to the original speech.
S23. The created speech generation model is modified with the modification information created in S25. Since there is no correction information at first, no correction is performed.
S24. A speech synthesis parameter time series is created based on the constructed speech generation model.
S25. An error for these two speech synthesis parameters is evaluated, and when the speech synthesis parameter time series is created using the modified speech generation model, the speech for the speech generation model that minimizes the error index with the target speech synthesis parameter time series Create generation model modification information. Such a correction information element can be obtained by a hill-climbing method.
S26. Then, this speech model correction procedure is repeated while accumulating correction information elements until a predetermined condition is satisfied. However, in the processing after the repetition, the speech generation model is corrected by applying the speech generation model correction information element accumulated so far to the speech generation model generated from the speech synthesis symbol. Examples of the condition include that the error index is equal to or less than a preset threshold value, or that the size of the correction information has reached a certain set value. Finally, the set of stored correction information elements becomes the voice generation model correction information for correcting the one utterance.
ここでの誤差指標ｅは次のように与えられる。
ｅ＝ｆ（Ｘ，Ａ） （４）
ここで、Ａは目標となる音声合成パラメータ時系列を表す行列、Ｘは音声生成モデルに基づき生成される音声合成パラメータ時系列を表す行列で、それぞれ合成パラメータの種類ｉのフレームｔにおける値ａｉ（ｔ）、ｘｉ（ｔ）を、ｉ行ｔ列の要素とする。
The error index e here is given as follows.
e = f (X, A) (4)
Here, A is a matrix representing a target speech synthesis parameter time series, X is a matrix representing a speech synthesis parameter time series generated based on the speech generation model, and each value a i in the frame t of the synthesis parameter type i. Let (t) and x i (t) be elements of i rows and t columns.
ただし以下では、Ｘはその合計フレーム数がＡの合計フレーム数と等しくなる、という制約条件の下で１発話の音声生成モデルのゆう度が最大となる音声合成パラメータ時系列とする。つまり、ＸとＡの行列の大きさは等しい。この場合の誤差指標関数ｆは例えば次のように定義される。
次に、第１の実施形態における修正情報を作成する第３の作成手段を以下で説明する。本手段では、図３のＳ２４の音声合成パラメータ作成を行わず、図３のＳ２５で、音声合成パラメータ同士の誤差を評価ではなく、音声合成パラメータ時系列と音声生成モデルと間で定義されるゆう度の評価を行い、ゆう度が最大となるような修正情報を求める。 Next, the 3rd preparation means which produces the correction information in 1st Embodiment is demonstrated below. In this means, the speech synthesis parameter creation in S24 of FIG. 3 is not performed, and the error between the speech synthesis parameters is not evaluated in S25 of FIG. 3, but is defined between the speech synthesis parameter time series and the speech generation model. The degree of likelihood is evaluated, and correction information that maximizes the likelihood is obtained.
図４は、本発明の第２の実施形態による音声合成装置のブロック図である。本構成では、音声生成モデル生成のためのコードブック１５が備えられており、音声生成モデルパラメータベクトルを構築するために、このコードブック１５が用いられるようになっている。音声生成モデル修正部１２でも、そのコードブック１５を参照できるようになっている。修正情報には、このコードブック１５のベクトルを指す符号がその情報の一部として含まれており、符号に対応するコードブック１５のベクトルを用いて、音声生成モデルパラメータベクトルの修正が行われる。音声生成モデル修正部１２における修正処理では、音声生成モデルパラメータベクトルの要素のうち、修正に用いるコードブック１５のベクトルに関係する要素全てが、一度に変更される。 FIG. 4 is a block diagram of a speech synthesizer according to the second embodiment of the present invention. In this configuration, a code book 15 for generating a voice generation model is provided, and this code book 15 is used to construct a voice generation model parameter vector. The voice generation model correction unit 12 can also refer to the code book 15. The correction information includes a code indicating the vector of the code book 15 as a part of the information, and the speech generation model parameter vector is corrected using the vector of the code book 15 corresponding to the code. In the correction processing in the voice generation model correction unit 12, all the elements related to the vector of the code book 15 used for correction among the elements of the voice generation model parameter vector are changed at a time.
図５は、本発明の第３の実施形態による音声合成装置のブロック図である。本構成では、コードブック１５を参照する音声生成モデルパラメータベクトル構成部１６が備えられており、音声生成モデル生成部１１ではコードブック１５を直接参照せず、音声生成モデル生成部１１はコードブック１５を指すベクトル符号列のみを出力する。そしてその符号の列に対して、先に音声生成モデル修正部１２で符号を部分的に置換し、この修正された符号列に対して、音声生成モデルパラメータベクトル構成部１６でコードブック１５を参照し、音声生成モデルパラメータベクトルを構成する。図５の構成では、修正情報要素は、変更を表す指令符号と、変更するベクトルを表す値、修正後のコードブックのベクトルを指す符号で構成される。 FIG. 5 is a block diagram of a speech synthesizer according to the third embodiment of the present invention. In this configuration, a speech generation model parameter vector configuration unit 16 that refers to the code book 15 is provided. The speech generation model generation unit 11 does not directly refer to the code book 15, and the speech generation model generation unit 11 does not refer to the code book 15. Only the vector code string pointing to is output. Then, the code is partially replaced first by the voice generation model correction unit 12 for the code string, and the code book 15 is referred to by the voice generation model parameter vector construction unit 16 for the corrected code string. Then, a speech generation model parameter vector is constructed. In the configuration of FIG. 5, the correction information element includes a command code indicating change, a value indicating a vector to be changed, and a code indicating a codebook vector after correction.
図５の構成は、図４の構成と比較し、音声生成モデルの修正は限られたものとなるが、コードブックを参照しなければならない処理が減ることで、装置全体の規模を抑えることができる。 The configuration of FIG. 5 is limited in the modification of the speech generation model as compared with the configuration of FIG. 4, but the size of the entire apparatus can be suppressed by reducing the number of processes that have to refer to the code book. it can.
第２および第３の実施形態における修正情報を作成する手段を以下で説明する。これらの構成における修正情報の作成は、音声生成モデルパラメータの修正値を得た後、最適なコードワードを探索する処理が加わることを除くと、第１の実施形態における修正情報の作成手段１〜３と同様に作成することができる。 Means for creating correction information in the second and third embodiments will be described below. The creation of the correction information in these configurations is performed except that a process for searching for an optimal codeword is added after obtaining the correction value of the speech generation model parameter, and the correction information creating means 1 to 1 in the first embodiment is used. 3 can be created.
あるいは、修正値を一度求めてから最適なコードブックのベクトルを探索するのではなく、あるベクトルを用いた修正を幾つかのベクトルに対して試行し、その結果から最適なベクトルを選ぶという手順を繰り返して、修正に用いるベクトルを決定しても良い。 Alternatively, instead of searching for the optimal codebook vector after finding the correction value once, a procedure is performed in which correction using a certain vector is tried for several vectors, and the optimal vector is selected from the results. The vector used for correction may be determined repeatedly.
また第２の実施形態の場合は、コードブックの複数のベクトルを組み合わせて音声生成モデルパラメータの修正を表現しても良い。例えば、音声生成モデルに対する修正をＫ個のベクトルを用いて表現する時、それらの符号語をｃｋ（０≦ｋ≦Ｋ−１）、また、符号語ｃに対応するベクトルをＶｃとするとき、パラメータ修正値を構成するベクトルｄは式６で表現することができる。
なお、上記修正情報の作成でそれぞれ示した、修正情報の作成方法は例示であって、その作成方法はこれに限定されない。また音声生成モデルパラメータおよび音声合成パラメータの値の修正に関する表現は、修正後の値を直接的に修正情報上で表現する形式に限定されない。例えば、音声生成モデル生成部、あるいは音声合成パラメータ生成部の出力結果に対する差分値の形で表現してもよい。 Note that the creation method of the correction information shown in the creation of the correction information is an example, and the creation method is not limited to this. Further, the expression relating to the correction of the values of the speech generation model parameter and the speech synthesis parameter is not limited to a format in which the corrected value is directly expressed on the correction information. For example, you may express in the form of the difference value with respect to the output result of a speech production model production | generation part or a speech synthesis parameter production | generation part.
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。 Moreover, all the embodiments described above are illustrative of the present invention and are not intended to limit the present invention, and the present invention can be implemented in other various modifications and changes. Therefore, the scope of the present invention is defined only by the claims and their equivalents.
１ 音声合成装置
１１ 音声生成モデル生成部
１２ 音声生成モデル修正部
１３ 音声合成パラメータ生成部
１４ 音声波形生成部
１５ 音声生成モデル用コードブック
１６ 音声生成モデルパラメータベクトル構成部
DESCRIPTION OF SYMBOLS 1 Speech synthesizer 11 Speech generation model generation part 12 Speech generation model correction part 13 Speech synthesis parameter generation part 14 Speech waveform generation part 15 Codebook for speech generation model 16 Speech generation model parameter vector structure part
Claims (8)
前記音声生成モデルの修正情報を入力する手段と、
前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正する手段と、
を備え、
前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータを生成する音声生成モデルと、一連の音声合成記号入力から生成された音声生成モデルとの間で定義される、所定の誤差尺度が小さくなるように音声生成モデルを修正する情報で構成されることを特徴とする音声合成装置。 A speech synthesizer that generates a speech generation model based on a series of speech synthesis symbol inputs and generates a speech waveform based on the generated speech generation model,
Means for inputting correction information of the speech generation model;
Means for correcting the speech generation model generated based on the speech synthesis symbol input based on the correction information of the speech generation model;
Equipped with a,
The correction information is defined between a speech generation model that generates a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a speech generation model that is generated from a series of speech synthesis symbol inputs. A speech synthesizer comprising information for modifying a speech generation model so that an error measure is small .
前記音声生成モデルの修正情報を入力する手段と、
前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正する手段と、
を備え、
前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータと、一連の音声合成記号入力から生成された音声生成モデルに基づき生成された所定の音声合成パラメータとの間で定義される、所定の誤差尺度が小さくなるように音声生成モデルを修正する情報で構成されることを特徴とする音声合成装置。 A speech synthesizer that generates a speech generation model based on a series of speech synthesis symbol inputs and generates a speech waveform based on the generated speech generation model,
Means for inputting correction information of the speech generation model;
Means for correcting the speech generation model generated based on the speech synthesis symbol input based on the correction information of the speech generation model;
Equipped with a,
The correction information is defined between a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a predetermined speech synthesis parameter generated based on a speech generation model generated from a series of speech synthesis symbol inputs. A speech synthesizer comprising information for correcting the speech generation model so that a predetermined error measure is reduced .
前記音声生成モデルの修正情報を入力する手段と、
前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正する手段と、
を備え、
前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータと、一連の音声合成記号入力から生成された音声生成モデルとの間で定義される、音声合成パラメータに対する音声生成モデルのゆう度を表す所定の尺度が大きくなるように音声生成モデルを修正する情報で構成されることを特徴とする音声合成装置。 A speech synthesizer that generates a speech generation model based on a series of speech synthesis symbol inputs and generates a speech waveform based on the generated speech generation model,
Means for inputting correction information of the speech generation model;
Means for correcting the speech generation model generated based on the speech synthesis symbol input based on the correction information of the speech generation model;
Equipped with a,
The correction information is a speech generation model for a speech synthesis parameter defined between a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a speech generation model generated from a series of speech synthesis symbol inputs. A speech synthesizer comprising information for modifying a speech generation model so that a predetermined scale representing likelihood is increased .
前記音声生成モデルの生成は、前記音声合成記号入力に対応するコードブックのベクトルを出力することであり、
前記音声生成モデルの修正情報は、前記コードブックのベクトルを表す符号をその構成要素として含むことを特徴とする請求項１から３のいずれか１項に記載の音声合成装置。 A codebook for generating a voice generation model;
The generation of the speech generation model is to output a codebook vector corresponding to the speech synthesis symbol input,
The speech synthesis apparatus according to any one of claims 1 to 3 , wherein the modification information of the speech generation model includes a code representing a vector of the codebook as a constituent element thereof.
前記音声生成モデルの修正情報を入力するステップと、
前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正するステップと、
を備え、
前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータを生成する音声生成モデルと、一連の音声合成記号入力から生成された音声生成モデルとの間で定義される、所定の誤差尺度が小さくなるように音声生成モデルを修正する情報で構成されることを特徴とする音声合成方法。 A speech synthesis method for generating a speech generation model based on a series of speech synthesis symbol inputs and generating a speech waveform based on the generated speech generation model,
Inputting correction information of the speech generation model;
Modifying the speech generation model generated based on the speech synthesis symbol input based on the modification information of the speech generation model;
Equipped with a,
The correction information is defined between a speech generation model that generates a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a speech generation model that is generated from a series of speech synthesis symbol inputs. A speech synthesis method comprising information for correcting a speech generation model so that an error measure is small .
前記音声生成モデルの修正情報を入力するステップと、
前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正するステップと、
を備え、
前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータと、一連の音声合成記号入力から生成された音声生成モデルに基づき生成された所定の音声合成パラメータとの間で定義される、所定の誤差尺度が小さくなるように音声生成モデルを修正する情報で構成されることを特徴とする音声合成方法。 A speech synthesis method for generating a speech generation model based on a series of speech synthesis symbol inputs and generating a speech waveform based on the generated speech generation model,
Inputting correction information of the speech generation model;
Modifying the speech generation model generated based on the speech synthesis symbol input based on the modification information of the speech generation model;
Equipped with a,
The correction information is defined between a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a predetermined speech synthesis parameter generated based on a speech generation model generated from a series of speech synthesis symbol inputs. A speech synthesizing method comprising information for correcting a speech generation model so that a predetermined error measure is reduced .
前記音声生成モデルの修正情報を入力するステップと、
前記音声生成モデルの修正情報に基づき、前記音声合成記号入力に基づき生成された音声生成モデルを修正するステップと、
を備え、
前記修正情報は、合成対象の原音声から推定された所定の音声合成パラメータと、一連の音声合成記号入力から生成された音声生成モデルとの間で定義される、音声合成パラメータに対する音声生成モデルのゆう度を表す所定の尺度が大きくなるように音声生成モデルを修正する情報で構成されることを特徴とする音声合成方法。 A speech synthesis method for generating a speech generation model based on a series of speech synthesis symbol inputs and generating a speech waveform based on the generated speech generation model,
Inputting correction information of the speech generation model;
Modifying the speech generation model generated based on the speech synthesis symbol input based on the modification information of the speech generation model;
Equipped with a,
The correction information is a speech generation model for a speech synthesis parameter defined between a predetermined speech synthesis parameter estimated from an original speech to be synthesized and a speech generation model generated from a series of speech synthesis symbol inputs. A speech synthesis method comprising information for modifying a speech generation model so that a predetermined scale representing likelihood is increased .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009073988A JP5268731B2 (en) | 2009-03-25 | 2009-03-25 | Speech synthesis apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009073988A JP5268731B2 (en) | 2009-03-25 | 2009-03-25 | Speech synthesis apparatus, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010224418A JP2010224418A (en) | 2010-10-07 |
| JP5268731B2 true JP5268731B2 (en) | 2013-08-21 |
Family
ID=43041638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009073988A Active JP5268731B2 (en) | 2009-03-25 | 2009-03-25 | Speech synthesis apparatus, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5268731B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5457706B2 (en) * | 2009-03-30 | 2014-04-02 | 株式会社東芝 | Speech model generation device, speech synthesis device, speech model generation program, speech synthesis program, speech model generation method, and speech synthesis method |
| JP5763414B2 (en) * | 2011-05-20 | 2015-08-12 | Kddi株式会社 | Feature parameter generation device, feature parameter generation method, and feature parameter generation program |
| CN112530405B (en) * | 2019-09-18 | 2024-07-23 | 北京声智科技有限公司 | End-to-end speech synthesis error correction method, system and device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62254196A (en) * | 1986-04-28 | 1987-11-05 | 株式会社日立製作所 | Voice synthesization system |
| JPS63147200A (en) * | 1986-12-11 | 1988-06-20 | 富士通株式会社 | Voice parameter correction system |
| JP3616250B2 (en) * | 1997-05-21 | 2005-02-02 | 日本電信電話株式会社 | Synthetic voice message creation method, apparatus and recording medium recording the method |
| JP2000356995A (en) * | 1999-04-16 | 2000-12-26 | Matsushita Electric Ind Co Ltd | Voice communication system |
| JP2002244689A (en) * | 2001-02-22 | 2002-08-30 | Rikogaku Shinkokai | Synthesizing method for averaged voice and method for synthesizing arbitrary-speaker's voice from averaged voice |
| JP2002268660A (en) * | 2001-03-13 | 2002-09-20 | Japan Science & Technology Corp | Method and device for text voice synthesis |
| JP2003241776A (en) * | 2002-02-18 | 2003-08-29 | Nippon Telegr & Teleph Corp <Ntt> | Speech analyzing method and apparatus therefor, and speech analyzing program and recording medium therefor |
| FR2843479B1 (en) * | 2002-08-07 | 2004-10-22 | Smart Inf Sa | AUDIO-INTONATION CALIBRATION PROCESS |
-
2009
- 2009-03-25 JP JP2009073988A patent/JP5268731B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010224418A (en) | 2010-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12033611B2 (en) | Generating expressive speech audio from text data | |
| US20230058658A1 (en) | Text-to-speech (tts) processing | |
| US10186252B1 (en) | Text to speech synthesis using deep neural network with constant unit length spectrogram | |
| US7567896B2 (en) | Corpus-based speech synthesis based on segment recombination | |
| US8321222B2 (en) | Synthesis by generation and concatenation of multi-form segments | |
| US8571871B1 (en) | Methods and systems for adaptation of synthetic speech in an environment | |
| US20200410981A1 (en) | Text-to-speech (tts) processing | |
| JP4738057B2 (en) | Pitch pattern generation method and apparatus | |
| US11763797B2 (en) | Text-to-speech (TTS) processing | |
| WO2016042659A1 (en) | Speech synthesizer, and method and program for synthesizing speech | |
| KR100932538B1 (en) | Speech synthesis method and apparatus | |
| JP4829477B2 (en) | Voice quality conversion device, voice quality conversion method, and voice quality conversion program | |
| KR20210095010A (en) | Expressive text-to-speech system and method | |
| US20240087558A1 (en) | Methods and systems for modifying speech generated by a text-to-speech synthesiser | |
| CN117678013A (en) | Two-level text-to-speech system using synthesized training data | |
| JP5268731B2 (en) | Speech synthesis apparatus, method and program | |
| JP5474713B2 (en) | Speech synthesis apparatus, speech synthesis method, and speech synthesis program | |
| JP5376643B2 (en) | Speech synthesis apparatus, method and program | |
| JP2017167526A (en) | Multiple stream spectrum expression for synthesis of statistical parametric voice | |
| JP6618453B2 (en) | Database generation apparatus, generation method, speech synthesis apparatus, and program for speech synthesis | |
| JP2020129099A (en) | Estimation device, estimation method and program | |
| WO2023182291A1 (en) | Speech synthesis device, speech synthesis method, and program | |
| JP5345967B2 (en) | Speech synthesis apparatus, speech synthesis method, and speech synthesis program | |
| Pagarkar et al. | Language Independent Speech Compression using Devanagari Phonetics | |
| JP4630038B2 (en) | Speech waveform database construction method, apparatus and program for implementing this method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100823 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100730 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130507 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5268731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |