WO2006134736A1 - 音声合成装置、音声合成方法およびプログラム - Google Patents

音声合成装置、音声合成方法およびプログラム Download PDF

Info

Publication number
WO2006134736A1
WO2006134736A1 PCT/JP2006/309288 JP2006309288W WO2006134736A1 WO 2006134736 A1 WO2006134736 A1 WO 2006134736A1 JP 2006309288 W JP2006309288 W JP 2006309288W WO 2006134736 A1 WO2006134736 A1 WO 2006134736A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
unit
parameter
target
subset
Prior art date
Application number
PCT/JP2006/309288
Other languages
English (en)
French (fr)
Inventor
Yoshifumi Hirose
Takahiro Kamai
Yumiko Kato
Natsuki Saito
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006521338A priority Critical patent/JP3910628B2/ja
Publication of WO2006134736A1 publication Critical patent/WO2006134736A1/ja
Priority to US11/783,855 priority patent/US7454343B2/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management

Definitions

  • Speech synthesis apparatus speech synthesis method and program
  • the present invention relates to a speech synthesizer that provides synthesized sound with high sound quality and stable sound quality.
  • FIG. 1 shows a typical configuration of a waveform-connected speech synthesizer.
  • a waveform-connected speech synthesizer is a device that converts input text into synthesized speech, and includes a language analysis unit 101, a prosody generation unit 201, a speech unit DB (database) 202, and a unit.
  • a selection unit 104 and a waveform connection unit 203 are provided.
  • the language analysis unit 101 linguistically analyzes the input text and outputs phonetic symbols and incident information.
  • the prosody generation unit 201 generates prosody information such as a fundamental frequency, duration, and power for each phonetic symbol based on the phonetic symbol and accent information output from the language analysis unit 101.
  • the speech segment DB 202 holds a pre-recorded speech waveform.
  • the unit selection unit 104 is a processing unit that selects an optimal speech unit from the speech unit DB 202 based on the prosodic information generated by the prosody generation unit 201.
  • the waveform connection unit 203 connects the speech units selected by the unit selection unit 104 and generates synthesized speech.
  • Fig. 2 is a block diagram of a speech synthesizer using the HMM (Hidden Markov Model) speech synthesis method, which is one of the speech synthesis methods based on statistical models.
  • HMM Hidden Markov Model
  • the speech synthesizer includes a learning unit 100 and a speech synthesizer 200.
  • the learning unit 100 includes a speech DB 202, an excitation source spectral parameter extraction unit 401, a spectral parameter extraction unit 402, and an HMM learning unit 403.
  • the speech synthesis unit 200 includes a context-dependent HMM file 301, a language analysis unit 101, a parameter generation unit 404 from the HMM, An excitation source generation unit 405 and a synthesis filter 303 are provided.
  • the learning unit 100 has a function of learning the context-dependent HMM file 301 from the speech information stored in the speech DB 202.
  • the voice DB 202 stores a large number of voice information prepared as a compelling sample.
  • the audio information is obtained by adding labels (arayuru and nuuyooku) for identifying each phoneme part of the waveform to the audio signal as in the example shown in the figure.
  • the excitation source spectral parameter extraction unit 401 and the spectral parameter extraction unit 402 respectively extract the excitation source parameter sequence and the spectral parameter sequence for each audio signal extracted from the audio DB 202.
  • the HMM learning unit 403 performs HMM learning processing using the extracted excitation source parameter sequence and spectral parameter sequence using the label and time information extracted from the speech DB 202 together with the speech signal.
  • the learned HMM is stored in the context-dependent HMM file 301.
  • the parameters of the excitation source model are learned using a multi-spaced HMM.
  • the multi-spatial distribution HMM is an HMM extended to allow different dimensional forces of the parameter vector each time, and the pitch including the voiced Z-unvoiced flag is an example of a parameter sequence where such dimensions change. is there . In other words, it is a one-dimensional parameter vector when voiced and a zero-dimensional parameter vector when unvoiced.
  • the learning unit 100 performs learning using the multi-space distribution HMM.
  • the label information specifically refers to the following, for example, and each HMM has these as attribute names (contexts).
  • Such an HMM is called a context-dependent HMM.
  • the speech synthesizer 200 generates a speech signal sequence in a reading format from any electronic text. It has a function to achieve.
  • the language analysis unit 101 analyzes the input text and converts it into label information that is an array of phonemes.
  • the HMM-powered parameter generation unit 404 searches the context-dependent HMM file 301! /. Then, the obtained context-dependent HMM is connected to construct a sentence HMM.
  • the excitation source generation unit 405 generates an excitation source parameter from the obtained sentence HMM by a parameter generation algorithm.
  • the HMM force parameter generator 404 generates a sequence of spectral parameters. Further, the synthesis filter 303 generates a synthesized sound.
  • FIG. 3 is a diagram showing the configuration of the speech synthesizer disclosed in Patent Document 3.
  • the speech synthesizer of Patent Document 3 is provided with a phonological symbol analysis unit 1, and its output is connected to the control unit 2.
  • the speech synthesizer is provided with a personal information DB 10 and is connected to the control unit 2.
  • the speech synthesizer is provided with a natural speech unit channel 12 and a synthesized speech unit channel 11. Inside the natural speech unit channel 12, a speech unit DB6 and a speech unit reading unit 5 are provided.
  • the speech unit DB4 and the speech unit reading unit 3 are provided inside the synthesized speech unit channel 11.
  • the speech element reading unit 5 is connected to the speech element DB6.
  • the speech segment reading unit 3 is connected to the speech segment DB4.
  • Outputs of the speech unit reading unit 3 and the speech unit reading unit 5 are connected to two inputs of the mixing unit 7, and an output of the mixing unit 7 is input to the amplitude control unit 8.
  • the output of the amplitude control unit 8 is input to the output unit 9.
  • the control information includes natural speech unit index, synthesized speech unit index, mixing control information, and amplitude control information.
  • the natural speech unit index is input to the speech unit reading unit 5 of the natural speech unit channel 12.
  • the synthesized speech unit index is input to the speech unit reading unit 3 of the synthesized speech unit channel 11.
  • the mixing control information is input to the mixing unit 7.
  • the amplitude control information is input to the amplitude control unit 8.
  • both a natural speech unit and a synthesized speech unit are converted into CV units (Japan Mix by changing the ratio in terms of time, such as a unit of a pair of consonants and vowels corresponding to one syllable of a word). Therefore, it is possible to reduce the amount of memory compared to the case where natural speech segments are used, and to obtain a synthesized sound with a small amount of calculation.
  • Patent Document 1 Japanese Patent Laid-Open No. 10-247097 (paragraph 0007, FIG. 1)
  • Patent Document 2 JP 2002-268660 A (paragraphs 0008-0011, 01)
  • Patent Document 3 Japanese Patent Laid-Open No. 9-62295 (paragraphs 0030-0031, FIG. 1)
  • Patent Document 1 In the configuration of the conventional waveform-connected speech synthesizer (Patent Document 1), only the speech elements held in advance in the speech element DB 202 can be used for speech synthesis. That is, if there is no speech segment similar to the prosody generated by the prosody generation unit 201, a speech unit greatly different from the prosody generated by the prosody generation unit 201 must be selected. Therefore, there is a problem that the sound quality is locally degraded. In addition, when the speech unit DB 202 cannot be constructed sufficiently large, the above problem is conspicuous.
  • the present invention solves the above-described conventional problems, and combines high-quality and stable sound quality.
  • the purpose is to provide sound.
  • the speech synthesizer includes a target parameter generation unit that generates a target parameter that is a group of parameters capable of synthesizing speech from information including at least phonetic symbols, and a recording in advance.
  • the speech unit database, and the speech unit corresponding to the target parameter is stored in the speech unit database.
  • a waveform generation unit that generates a synthetic sound waveform.
  • the cost calculation unit is a cost indicating dissimilarity between a subset of the speech units selected by the unit selection unit and a subset of the target parameters corresponding to the subset of the speech units. You may have a target cost judgment part which computes.
  • the parameter group synthesis unit generates at least one parameter pattern obtained by dividing the target parameter generated by the target parameter generation unit into at least one subset.
  • a target parameter pattern generation unit that selects a speech unit corresponding to the subset from the speech unit database for each subset of the target parameters generated by the target parameter pattern generation unit. And selecting a subset of the speech unit based on the subset of the speech unit selected by the unit selection unit and the subset of the target parameter corresponding to the subset of the speech unit.
  • a cost calculation unit for calculating the cost of the target parameter, and a subset of the target parameters based on the cost value by the cost calculation unit.
  • a combination determination unit that determines an optimal combination for each unit, and a subset of the speech units selected by the unit selection unit based on the combination determined by the combination determination unit
  • a parameter integration unit that synthesizes the parameter group May be.
  • the speech unit database power based on the actual speech is stably mixed by appropriately mixing the parameters of the selected speech unit and the stable sound quality parameters based on the statistical model.
  • a high-quality synthesized sound can be obtained.
  • FIG. 1 is a configuration diagram of a conventional waveform connection type speech synthesizer.
  • FIG. 2 is a block diagram of a speech synthesizer based on a conventional statistical model.
  • FIG. 3 is a configuration diagram of a conventional parameter integration method.
  • FIG. 4 is a configuration diagram of a speech synthesizer according to Embodiment 1 of the present invention.
  • FIG. 5 is an explanatory diagram of speech segments.
  • FIG. 6 is a flowchart of the first embodiment of the present invention.
  • FIG. 7 is an explanatory diagram of the result of parameter mixing.
  • FIG. 8 is a flowchart of a mixing parameter determination unit.
  • FIG. 9 is an explanatory diagram of combination vector candidate generation.
  • FIG. 10 is an explanatory diagram of a Viterbi norego rhythm.
  • FIG. 11 is a diagram showing the result of parameter mixing when the mixture vector is a scalar value.
  • FIG. 12 is an explanatory diagram when voice quality conversion is performed.
  • FIG. 13 is a configuration diagram of a speech synthesizer according to Embodiment 2 of the present invention.
  • FIG. 14 is a flowchart of the second embodiment of the present invention.
  • FIG. 15 is an explanatory diagram of a target parameter pattern generation unit.
  • FIG. 16 is a flowchart of a combination vector determination unit.
  • FIG. 17A is an explanatory diagram of selection vector candidate generation. [17B] FIG. 17B is an explanatory diagram of selection vector candidate generation.
  • FIG. 18 is an explanatory diagram of a combination result.
  • FIG. 19 is a diagram illustrating an example of the configuration of a computer. Explanation of symbols
  • FIG. 4 is a configuration diagram of the speech synthesis apparatus according to Embodiment 1 of the present invention.
  • the speech synthesizer of the present embodiment is a device that synthesizes speech that achieves both high sound quality and sound quality stability, and includes a language analysis unit 101, a target parameter generation unit 102, and a speech element.
  • a segment DB 103, a segment selection unit 104, a cost calculation unit 105, a mixed parameter determination unit 106, a parameter integration unit 107, and a waveform generation unit 108 are provided.
  • the cost calculation unit 105 includes a target cost determination unit 105a and a continuity determination unit 105b.
  • the language analysis unit 101 analyzes the input text and outputs phonetic symbols and accent information. For example, when the text “Today's weather is” is input, a phonetic symbol such as “kyo'—noZte, Nkiwa” and accent information are output. Here, “'” indicates the accent position, and “Z” indicates the accent phrase boundary.
  • the target parameter generation unit 102 generates a parameter group necessary for synthesizing speech based on the phonetic symbols and the fact information output by the language analysis unit 101.
  • the method for generating the parameter group is not particularly limited. For example, as shown in Patent Document 2, by using an HMM (Hidden Markov Model), it is possible to generate parameters with stable sound quality.
  • HMM Hidden Markov Model
  • Patent Document 2 the method described in Patent Document 2 may be used. Note that the parameter generation method is not limited to this! /.
  • the speech unit DB 103 is a database that analyzes prerecorded speech (natural speech) and holds it as a re-synthesizeable parameter group.
  • a unit to be held is called a fragment.
  • the unit of the segment is not particularly limited, and a phoneme, syllable, mora, accent phrase, etc. may be used.
  • a phoneme is used as a unit of a segment.
  • the type of the noram is not particularly limited. For example, power, duration length, basic frequency, connected sound source information, and vocal tract information such as cepstrum may be parameterized and held.
  • One speech segment is represented by k-dimensional parameters of multiple frames as shown in FIG. In Fig. 5, segment P.
  • the unit selection unit 104 is a selection unit that selects a speech unit sequence from the speech unit DB 103 based on the target parameter generated by the target parameter generation unit 102.
  • the target cost determination unit 105a calculates, for each unit, a cost based on the similarity between the target parameter generated by the target parameter generation unit 102 and the speech unit selected by the unit selection unit 104. To do.
  • the continuity determination unit 105 b replaces some of the parameters of the speech unit selected by the unit selection unit 104 with the target parameter generated by the target parameter generation unit 102. Then, the distortion that occurs when speech units are connected, that is, the continuity of parameters is calculated.
  • the mixed parameter determination unit 106 uses a parameter selected from the speech unit DB 103 as a parameter used during speech synthesis. A selection vector indicating whether to use the parameter generated by the force / target parameter generation unit 102 is determined for each unit. The operation of the mixed parameter determination unit 106 will be described in detail later.
  • the parameter integration unit 107 integrates the parameters selected from the speech element DB 103 and the parameters generated by the target parameter generation unit 102 based on the selection vector determined by the mixed parameter determination unit 106.
  • the waveform generation unit 108 synthesizes a synthesized sound based on the synthesis parameter generated by the parameter integration unit 107.
  • FIG. 6 is a flowchart showing an operation flow of the speech synthesizer.
  • the language analysis unit 101 linguistically analyzes the input text and generates phonetic symbols and accent symbols (step S101).
  • the selected speech element sequence is referred to as a real speech parameter.
  • the selection method is not particularly limited, but can be selected by the method described in Patent Document 1, for example.
  • the mixed parameter determination unit 106 receives the target parameter and the actual speech parameter as input, and determines a selection vector sequence C indicating which parameter to use for each parameter dimension (step S104).
  • the selection vector sequence C also has a selection vector C force for each segment as shown in Equation 1.
  • the selection vector C shows the binary value of whether to use the target parameter or the actual speech parameter for each parameter dimension for the i-th segment. For example, if c is 0, the target parameter is used for the j-th parameter of the i-th segment. In addition, in the case of c-force ⁇ , it is indicated that the real speech parameter selected from the speech segment DB103 is used for the jth parameter of the i-th segment.
  • FIG. 7 shows an example in which the target parameter and the actual speech parameter are separated by the selected vector sequence C.
  • FIG. 7 shows areas 42 43 and 44 that use actual speech parameters, and areas 41 and 45 that use target parameters.
  • the first segment P the first segment P
  • this selection vector sequence C By appropriately determining this selection vector sequence C, it is possible to generate a high-quality and stable synthesized sound that achieves both a stable sound quality based on the target parameter and a high sound quality with a high real voice feeling based on the actual speech parameter. It becomes possible.
  • Ci c n , c i2 , --- , c ik
  • the mixed parameter determination unit 106 uses the real voice parameter when the real voice parameter is similar to the target parameter in order to generate a synthesized sound with high sound quality and stability, and when the real voice parameter is not similar, Use target parameters. At this time, the continuity with the preceding and following pieces is taken into account not only by the similarity to the target parameter. As a result, it is possible to reduce discontinuities due to parameter replacement. A selection vector sequence C satisfying this condition is searched using the Viterbi algorithm.
  • step S201 l,..., N.
  • the mixed parameter determination unit 106 generates p candidates h 1, h 2,..., H as candidate h for the selection vector C for the target segment (step S 201). .
  • the way to generate is especially
  • all combinations for each k-dimensional parameter may be generated.
  • the difference from the previous selection vector C is below a predetermined threshold.
  • the target cost determination unit 105a calculates each of the p candidates h, h, ..., h of the selection vector C.
  • Equation 2 the cost based on the similarity between the target parameter t generated by the target parameter generation unit 102 and the speech unit u selected by the unit selection unit 104 is Calculation is performed using Equation 2 (step S202).
  • TargetCost (hjj) ⁇ ⁇ • u i, h i j »tj) + 2> ⁇ Tc ⁇ i ⁇ h i j) * j, ⁇ l-hj j)» tj)
  • ⁇ 1 and ⁇ are weights, and ⁇ > ⁇ .
  • the method of determining the weight is particularly limited
  • H ⁇ ⁇ is a vector
  • the function Tc calculates a cost value based on the similarity between parameters.
  • the calculation method is not particularly limited.
  • the calculation can be performed by weighted addition of differences between parameter dimensions.
  • the function Tc is defined so that the cost value decreases as the similarity increases.
  • the cost value based on the similarity between the partial parameter set of the actual speech parameter u and the partial parameter set of the target parameter t is shown.
  • the value of the two-item function Tc in Equation 2 is the partial parameter set of the actual speech parameter u that was not adopted by the selection candidate vector h.
  • Equation 2 shows the weighted sum of these two cost values.
  • the continuity determination unit 105b performs the previous selection vector for each selection vector candidate h.
  • Equation 3 The cost based on continuity with the torr candidate is evaluated using Equation 3 (step S203).
  • ContCost (h,, ⁇ r ) Cc ⁇ h t ⁇ ⁇ u i + (1-h t ,. J ⁇ /,, h j _ lr ⁇ ⁇ one t + (1- ⁇ r ) ⁇ t M )
  • H -u + (l -h) -u is the parameter for the previous unit i 1
  • the function Cc is a function for evaluating the cost based on the continuity of two unit parameters.
  • the calculation method is not particularly limited.
  • the calculation may be performed by the weighted sum of the difference values of the parameter dimensions in the last frame of the unit i 1 and the first frame of the unit i.
  • the mixed parameter determination unit 106 calculates the cost (C (h)) for the selected vector candidate h based on Equation 4, and simultaneously selects the selected vector candidate h for the segment i ⁇ 1.
  • a connection source (B (h)) indicating which selection vector candidate to connect to is determined.
  • Step S204 In Fig. 10, h is selected as the connection source).
  • C (h, j) TargetCostf / ⁇ y) + MinlContCost (/ 7,., Zo, ⁇ / 3 ) + C (hj_i p ) ⁇
  • the mixed parameter determination unit 106 reduces the selected vector candidate h in the segment i based on the cost value (C (h)) (step S205). For example, by using a beam search, selection vector candidates having a cost value that has a minimum cost value force larger than a predetermined threshold value may be reduced. Or just leave a certain number of candidates for low-cost candidates.
  • step S205 is a process for reducing the amount of calculation, and if there is no problem with the amount of calculation, this process may be omitted! /.
  • the selection vector sequence C can be obtained by using Equation 5 below.
  • a sequence P p 1, p 2,..., P is generated using Equation 6 (step S105).
  • the synthesis method is not particularly limited. A synthesis method determined by the parameters generated by the target parameter generation unit may be used.
  • the synthesized sound may be synthesized using the excitation source generation and synthesis filter disclosed in Patent Document 2.
  • the target parameter generation unit that generates the target parameter
  • the segment selection unit that selects the actual speech parameter based on the target parameter
  • the target parameter and the actual speech Based on the similarity to the parameter
  • the mixed parameter determination unit that generates the selection vector sequence C that switches the target parameter and the actual speech parameter is used, and when the actual speech parameter is similar to the target parameter, Use voice parameters, otherwise target parameters can be used.
  • the format of the parameter generated by the target parameter generation unit 102 and the format of the segment held by the speech segment DB 103 are the same. Therefore, as shown in Fig. 7, in the conventional waveform-connected speech synthesis, the similarity to the target parameter is low!
  • the speech unit parameters By using the device itself, it is possible to obtain a high-quality synthesized sound with a high voice quality without lowering the voice quality. Therefore, it is possible to generate a synthesized sound that achieves both a stable sound quality based on the target parameter and a high sound quality with a real voice feeling based on the actual speech parameter.
  • the selection vector C is a force configured to be set for each dimension of the parameter. As shown in FIG.
  • the unit i may be configured to select whether to use the target parameter or the actual speech parameter.
  • segment regions 601 and 603 that use actual speech parameters and segment regions 602 and 604 that use target parameters are shown as examples.
  • the present invention is very effective in the case of generating synthesized voices of many voice qualities such as "anger” and "joy” that can be achieved with only one voice quality (for example, reading tone).
  • the HMM model and the speech unit are not particularly limited.
  • the force HMM model and the speech unit are configured as follows to generate a synthesized sound of many voice qualities. It is possible to That is, as shown in FIG. 12, in addition to the target parameter generation unit 102, a sentence HMM creation unit 302 is prepared to generate a target parameter, and the HMM model 301 referred to by the sentence HMM creation unit 302 is used as a standard speech DB. Created by normal reading voice DB1 101. Further, the sentence HMM creating unit 302 adapts the emotion to the HMM model 301 by using the emotional voice DB 1102 such as “anger” and “joy”. The sentence HMM creation unit 302 corresponds to a statistical model creation unit that creates a statistical model of speech having special emotions.
  • the target parameter generation unit 102 can generate a target parameter having emotion.
  • the method of adaptation is not particularly limited. For example, Makoto Tachibana and 4 others, "Model Interpolation in HMM Speech Synthesis' Examination of Diversity of Speech Styles by Adaptation", IEICE Technical Report TECHNICAL REPORT OF IEICE SP2003-80 ( It is possible to adapt by the method described in 2003-08).
  • the emotional speech DB 1102 is used as the speech segment DB to be selected by the segment selection unit 104.
  • the segment selection unit 104 can generate the emotion speech DB 1102 To select an emotional speech segment.
  • the mixed parameter determination unit 106 determines the mixing of the parameter generated by the HMM and the parameter selected from the emotional speech DB 1102, and integrates the parameter integration unit 107.
  • a conventional speech synthesizer that expresses a waveform superposition type emotion is difficult to generate a high-quality synthesized sound unless a sufficient speech segment DB is prepared.
  • model adaptation is possible, but since it is a statistical process, there is a problem that the synthesized speech is distorted (decreased feeling of real voice).
  • emotion voice DB 1102 is configured as HMM model application data and voice segment DB, so that stable sound quality according to the target parameters generated by the adaptive model and the actual voice selected from emotion voice DB 1102 can be selected. It is possible to generate a synthesized voice that is compatible with both high quality sound quality and high voice quality using voice parameters.
  • a synthesized sound adapted to a specific individual can be generated in the same manner.
  • FIG. 13 is a configuration diagram of the speech synthesizer according to the second embodiment of the present invention.
  • the same components as those in FIG. 4 are denoted by the same reference numerals, and description thereof is omitted.
  • a target parameter pattern generation unit 801 is a processing unit that generates a target parameter pattern (to be described later) based on the target parameters generated by the target parameter generation unit 102.
  • Speech unit DBs 103 A 1 to 103 C 2 are subsets of speech unit DB 103, and are speech unit DBs that store parameters corresponding to the target parameter patterns generated by target parameter pattern generation unit 801.
  • the unit selection units 104A1 to 104C2 are processing units that select the unit most similar to the target parameter pattern generated by the target parameter pattern generation unit 801 from the speech units DB103A1 to 103C2, respectively.
  • the speech synthesizer By configuring the speech synthesizer as described above, it is possible to combine a subset of parameters of speech units selected for each parameter pattern. This makes it possible to generate a parameter based on real speech that is more similar to the target parameter than in the case where the selection is based on a single segment.
  • the language analysis unit 101 linguistically analyzes the input text, and generates phonetic symbols and Generate an event symbol (step S101).
  • the target parameter pattern generation unit 801 divides the target parameter into parameter subsets as shown in FIG. 15 (step S301).
  • the division method is not particularly limited.
  • the division can be performed as follows. These divisions are merely examples, and the present invention is not limited to these.
  • pattern A A plurality of parameter patterns divided in this way are prepared (pattern A, pattern B, pattern C in Fig. 15).
  • pattern A is divided into three subsets: patterns Al, A2, and A3.
  • pattern B is divided into two subsets, patterns B1 and B2, and noturn C is divided into two subsets, patterns C1 and C2.
  • segment selection units 104A1 to 104C2 perform segment selection for each of the plurality of parameter patterns generated in step S301 (step S103).
  • step S103 the unit selection units 104A1 to 104C2 select the optimum speech unit for each subset of patterns (patterns A1, A2, ..., C2) generated by the target parameter pattern generation unit 801. Is selected from the speech segments DB103A1 to 103C2, and a segment candidate set sequence U is created.
  • the method of selecting each segment candidate u may be the same method as in the first embodiment.
  • the combination determination unit 802 determines a combination vector sequence S of real speech parameters selected by each unit selection unit (Al, A2,..., C2) (step S302).
  • the combination vector sequence S is defined as shown in Equation 8.
  • step S302 The method for determining the combination vector (step S302) will be described in detail with reference to FIG.
  • the search algorithm will be described with reference to the flowchart of FIG.
  • the combination determination unit 802 generates p candidates h 1, h 2,..., H as candidate h for the combination vector S for the target element (step S401). How to generate
  • FIG. 17A (a) and FIG. 17B (a) only a subset included in one pattern may be generated.
  • subsets belonging to a plurality of patterns may be generated between parameters (907 and 908) so as not to overlap.
  • parameter 909 in FIG. 17A (c) and FIG. 17B (c) subsets belonging to a plurality of patterns may be generated such that the parameters partially overlap each other. In this case, the center of gravity of each parameter is used for the parameter where the overlap occurred.
  • parameter 910 in FIGS. 17A (d) and 17B (d) when the subsets belonging to multiple patterns are combined with each other, it is generated so that some parameters are missing. You may make it. In this case, the missing parameters are replaced with the target parameters generated by the target parameter generation unit.
  • the target cost determination unit 105a uses the selection vector S candidates h 1, h 2,.
  • Equation 9 The cost based on the similarity with the target parameter t is calculated by Equation 9 (step S402).
  • TargetCos ( ⁇ hi j) ⁇ ⁇ ⁇ Tc ⁇ g )
  • ⁇ is a weight.
  • the method for determining the weight is not particularly limited.
  • the function Tc calculates a cost value based on the similarity between parameters.
  • the calculation method is not particularly limited, but for example, it can be calculated by weighted addition of differences between parameter dimensions.
  • Continuity determination unit 105b evaluates the cost based on continuity with selection vector candidate h for each of selection vector candidates h using Equation 10 (step S403).
  • the function Cc is a function that evaluates the cost based on the continuity of two segment parameters.
  • the calculation method is not particularly limited.
  • the calculation may be performed by the weighted sum of the difference values of the parameter dimensions in the last frame of the segment i 1 and the first frame of the segment i.
  • the combination determination unit 802 calculates the cost (C (h,)) for the selection vector candidate h, and at the same time, which selection vector candidate of the selection vector candidate h 1, for the element i 1 should be connected.
  • the connection source (B (h,)) indicating is determined based on the equation 11 (step S404).
  • the combination determination unit 802 reduces the selection vector candidate h, in the segment i based on the cost value (C (h,)) (step S405).
  • the cost value C (h,)
  • the combination determination unit 802 reduces the selection vector candidate h, in the segment i based on the cost value (C (h,)) (step S405). For example, by using a beam search, selection vector candidates having a cost value that has a minimum cost value force larger than a predetermined threshold value may be reduced. Or just leave a certain number of candidates for low-cost candidates.
  • step S405 is a step for reducing the amount of calculation. If there is no problem with the quantity, you can skip the process!
  • step S401 l,..., N.
  • Equation 17 the combined vector sequence S can be obtained by Equation 12.
  • the parameter integration unit 107 sets the parameter of the unit selected by each unit selection unit (Al, A2, ..., C2) based on the combination vector determined by the combination determination unit 802. Are integrated using Equation 13 (step S105).
  • the waveform generation unit 108 synthesizes a synthesized sound based on the synthesis parameter generated by the parameter integration unit 107 (step S106).
  • the synthesis method is not particularly limited.
  • the target parameter generation unit generates A parameter series close to the target parameter is combined with a real voice parameter that is a subset of a plurality of real voice segments. Accordingly, as shown in FIG. 18, in the conventional waveform-connected speech synthesis method, the similarity to the target parameter is low! When the real speech parameter is selected, the sound quality is locally degraded. On the other hand, when the similarity to the target parameter is low, the real speech parameters similar to the target parameter can be obtained by combining the real speech parameters of a plurality of real speech units selected for each of the plurality of parameter sets. It is possible to synthesize. This makes it possible to select a segment that is stable and close to the target parameter, and uses a real speech segment, resulting in high sound quality. In other words, it is possible to generate a synthesized sound that achieves both high sound quality and stability.
  • a parameter HMM creation unit 302 is prepared for the parameter generation unit 102 to generate a target parameter, and an HMM model referred to by the sentence HMM creation unit 302 is created as a standard speech DB by a normal reading speech DB 1101. Further, the HMM model 301 is adapted by the emotional voice DB 1102 such as “anger” and “joy”. The adaptation method is not particularly limited.
  • the emotion selection DB 1042 can be generated by the segment selection unit 104.
  • the mixed parameter determination unit determines the mixing of the parameter generated by the HMM and the parameter selected from the emotional speech DB 1102, and integrates it by the parameter integration unit 107.
  • a conventional speech synthesizer that expresses emotions would be difficult to generate high-quality synthesized speech unless sufficient speech segment DBs were prepared.
  • Fragment Even when it is used as a DB, it combines real speech parameters of multiple real speech units selected for multiple parameter sets. This makes it possible to generate synthesized speech that is compatible with high-quality sound by using parameters based on actual speech parameters similar to the target parameters.
  • the language analysis unit 101 may be configured such that phonetic symbols, accent information, and the like, which are the results of language analysis that are not necessarily essential structural requirements, are input to the speech synthesizer.
  • the speech synthesizer shown in the first and second embodiments can be realized by an LSI (integrated circuit).
  • a language analysis unit 101 a target parameter generation unit 102, a segment selection unit 104, a cost calculation unit 105, a mixed parameter determination unit 106, the parameter integration unit 107, and the waveform generation unit 108 can be realized by one LSI.
  • each processing unit can be realized by one LSI.
  • each processing unit can be composed of multiple LSIs.
  • the speech element DB 103 may be realized by a storage device external to the LSI, or may be realized by a memory provided inside the LSI. When the speech unit DB103 is realized by a storage device external to the LDI, the speech unit stored in the speech unit DB 103 via the Internet may be acquired.
  • IC integrated circuit
  • system LSI system LSI
  • super LSI super LSI
  • non-linear LSI depending on the difference in the power density of LSI.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. It is also possible to use a field programmable gate array (FPGA) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA field programmable gate array
  • FIG. 19 is a diagram illustrating an example of the configuration of a computer.
  • the computer 1200 includes a human power 1202, a memory 1204, a CPU 1206, a memory 1208, and an output 1210.
  • the input unit 1202 is a processing unit that receives input data of external force, and includes a keyboard, a mouse, a voice input device, a communication IZF unit and the like.
  • the memory 1204 is a storage device that temporarily stores programs and data.
  • the CPU 1206 is a processing unit that executes a program.
  • the storage unit 1208 is a device that stores programs and data, and also serves as a hard disk or the like.
  • the output unit 1210 is a processing unit that outputs data to the outside, and also has a monitor and speaker power.
  • the speech synthesizer according to Embodiment 1 when the speech synthesizer according to Embodiment 1 is realized by computer 1200, language analysis unit 101, target parameter generation unit 102, segment selection unit 104, cost calculation unit 105, mixed parameter determination Unit 106, parameter integration unit 107, and waveform generation unit 108 correspond to programs executed on CPU 1206, and speech segment DB 103 is stored in storage unit 1208.
  • the result calculated by the CPU 1206 is stored in the memory 1204 and the storage unit 1208.
  • the memory 1204 and the storage unit 1208 may be used to exchange data with each processing unit such as the language analysis unit 101.
  • the program for causing the computer to execute the speech synthesizer may be stored in a floppy (registered trademark) disk, CD-ROM, DVD-ROM, non-volatile memory, or the like, or via the Internet. May be loaded into CPU 1206 of computer 120 0! / ⁇ .
  • the speech synthesizer according to the present invention has characteristics of high sound quality by real speech and stability of model base synthesis, and is useful as a car navigation system, an interface of digital home appliances, and the like. It can also be applied to applications such as speech synthesizers that can change voice quality by applying model adaptation using a speech DB.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　高音質で且つ安定した音質の合成音を提供することができる音声合成装置は、目標パラメータ生成部（１０２）と、音声素片ＤＢ（１０３）と、素片選択部（１０４）と、目標パラメータと音声素片の最適なパラメータの組み合わせを判定する混合パラメータ判定部（１０６）と、パラメータを統合するパラメータ統合部（１０７）と、合成音を生成する波形生成部（１０８）を備え、目標パラメータ生成部（１０２）により生成される音質の安定したパラメータと、前記素片選択部（１０４）により選択される肉声感が高く音質の高い音声素片とをパラメータ次元毎に組み合わせることにより、高音質かつ安定した合成音を生成する。

Description

明 細 書
音声合成装置、音声合成方法およびプログラム
技術分野
[0001] 本発明は、高音質で、かつ安定した音質の合成音を提供する音声合成装置に関 するものである。
背景技術
[0002] 従来の肉声感の高い音声合成装置としては、大規模な素片 DBから波形を選択し て接続する波形接続方式を用いるものがあった (例えば、特許文献 1参照)。図 1は、 波形接続型音声合成装置の典型的な構成図である。
[0003] 波形接続型音声合成装置は、入力されたテキストを合成音声に変換する装置であ り、言語解析部 101と、韻律生成部 201と、音声素片 DB (データベース） 202と、素 片選択部 104と、波形接続部 203とを備えている。
[0004] 言語解析部 101は、入力されたテキストを言語的に解析し、発音記号およびァクセ ント情報を出力する。韻律生成部 201は、言語解析部 101より出力された発音記号 およびアクセント情報に基づいて、発音記号毎に基本周波数、継続時間長、パワー などの韻律情報を生成する。音声素片 DB202は、予め収録された音声波形を保持 する。素片選択部 104は、韻律生成部 201により生成された韻律情報に基づいて、 音声素片 DB202より最適な音声素片を選択する処理部である。波形接続部 203は 、素片選択部 104により選択された音声素片を接続し、合成音声を生成する。
[0005] また、安定した音質の音声を提供する音声合成装置としては、統計モデルを学習 することにより合成パラメータを生成し、音声を合成する装置も知られている（例えば 、特許文献 2参照)。図 2は、統計モデルによる音声合成方式の一つである HMM ( 隠れマルコフモデル)音声合成方式を用いた音声合成装置の構成図である。
[0006] 音声合成装置は、学習部 100および音声合成部 200から構成される。学習部 100 は、音声 DB202、励振源スペクトルパラメータ抽出部 401、スペクトルパラメータ抽出 部 402および HMMの学習部 403を備えている。また、音声合成部 200は、コンテキ スト依存 HMMファイル 301、言語解析部 101、 HMMからのパラメータ生成部 404、 励振源生成部 405および合成フィルタ 303を備えている。
[0007] 学習部 100は、音声 DB202に格納された音声情報よりコンテキスト依存 HMMファ ィル 301を学習させる機能をもつ。音声 DB202には、あら力じめサンプルとして用意 された多数の音声情報が格納されている。音声情報は、図示の例のように、音声信 号に波形の各音素等の部分を識別するラベル (arayuruや nuuyooku)を付加したも のである。励振源スペクトルパラメータ抽出部 401およびスペクトルパラメータ抽出部 402は、それぞれ音声 DB202から取り出した音声信号ごとに、励振源パラメータ列 およびスペクトルパラメータ列を抽出する。 HMMの学習部 403は、抽出された励振 源パラメータ列およびスペクトルパラメータ列につ 、て、音声 DB202から音声信号と ともに取り出したラベルおよび時間情報を用いて、 HMMの学習処理を行なう。学習 された HMMは、コンテキスト依存 HMMファイル 301に格納される。励振源モデル のパラメータは、多空間分布 HMMを用いて学習を行う。多空間分布 HMMは、パラ メータベクトルの次元力 毎回、異なることを許すように拡張された HMMであり、有 声 Z無声フラグを含んだピッチは、このような次元が変化するパラメータ列の例である 。つまり、有声時には 1次元、無声時には 0次元のパラメータベクトルとなる。学習部 1 00では、この多空間分布 HMMによる学習を行っている。ラベル情報とは、具体的に は、例えば、以下のようなものを指し、各 HMMは、これらを属性名（コンテキスト）とし て持つ。
· {先行、当該、後続 }音素
•当該音素のアクセント句内でのモーラ位置
· {先行、当該，後続 }の品詞，活用形，活用型
· {先行，当該、後続 }アクセント句のモーラ長，アクセント型
•当該アクセント句の位置，前後のポーズの有無
· {先行，当該，後続 }呼気段落のモーラ長
•当該呼気段落の位置
'文のモーラ長
このような HMMは、コンテキスト依存 HMMと呼ばれる。
[0008] 音声合成部 200は、任意の電子的なテキストから読み上げ形式の音声信号列を生 成する機能をもつ。言語解析部 101は、入力されたテキストを解析して、音素の配列 であるラベル情報に変換する。 HMM力ものパラメータ生成部 404は、言語解析部 1 01より出力されるラベル情報に基づ!/、てコンテキスト依存 HMMファイル 301を検索 する。そして、得られたコンテキスト依存 HMMを接続し、文 HMMを構成する。励振 源生成部 405は、得られた文 HMMから、さらにパラメータ生成アルゴリズムにより、 励振源パラメータを生成する。また、 HMM力 のパラメータ生成部 404は、スぺタト ルパラメータの列を生成する。さらに、合成フィルタ 303が、合成音を生成する。
[0009] また、実音声波形と、パラメータとを組み合わせる方法としては、例えば特許文献 3 の方法がある。図 3は、特許文献 3の音声合成装置の構成を示す図である。
[0010] 特許文献 3の音声合成装置には音韻記号解析部 1が設けられ、その出力は制御部 2に接続されている。また、音声合成装置には個人情報 DB10が設けられ、制御部 2 と互いに接続されている。さらに、音声合成装置には自然音声素片チャンネル 12と 合成音声素片チャンネル 11とが設けられて 、る。自然音声素片チャンネル 12の内 部には音声素片 DB6と音声素片読み出し部 5とが設けられている。合成音声素片チ ヤンネル 11の内部にも同様に音声素片 DB4と音声素片読み出し部 3とが設けられて いる。音声素片読み出し部 5は音声素片 DB6と互いに接続されている。音声素片読 み出し部 3は音声素片 DB4と互いに接続されている。音声素片読み出し部 3と音声 素片読み出し部 5との出力は混合部 7の二つの入力に接続されており、混合部 7の 出力は振幅制御部 8に入力されている。振幅制御部 8の出力は出力部 9に入力され ている。
[0011] 制御部 2からは各種の制御情報が出力される。制御情報には自然音声素片インデ ッタス、合成音声素片ンデッタス、混合制御情報および振幅制御情報が含まれる。ま ず、自然音声素片インデックスは自然音声素片チャンネル 12の音声素片読み出し 部 5に入力されている。合成音声素片インデックスは合成音声素片チャンネル 11の 音声素片読み出し部 3に入力されている。混合制御情報は混合部 7に入力されてい る。そして、振幅制御情報は振幅制御部 8に入力されている。
[0012] この方法では、予め作成しておいたパラメータによる合成素片と、収録された合成 素片とを混合する方法として、自然音声素片と合成音声素片の双方を CV単位（日本 語の 1音節に対応する一対の子音と母音の組み合わせの単位)などで時間的に比率 を変更しながら混合する。よって、自然音声素片を用いた場合と比較して記憶量を削 減でき、かつ、少ない計算量で、合成音を得ることができる。
特許文献 1 :特開平 10— 247097号公報 (段落 0007、図 1)
特許文献 2：特開 2002- 268660号公報（段落 0008 -0011, 01)
特許文献 3 :特開平 9— 62295号公報 (段落 0030— 0031、図 1)
発明の開示
発明が解決しょうとする課題
[0013] しかしながら、前記従来の波形接続型音声合成装置 (特許文献 1)の構成では、音 声素片 DB202に予め保持されている音声素片だけしか音声合成に利用することが 出来ない。つまり、韻律生成部 201により生成された韻律に類似した音声素片がな い場合には、韻律生成部 201により生成された韻律とは、大きく異なる音声素片を選 択せざるを得ない。したがって、局所的に音質が劣化するという課題を有している。ま た、音声素片 DB202が十分に大きく構築できない場合は、上記課題が顕著に生じ るという課題を有している。
[0014] 一方、前記従来の統計モデルによる音声合成装置 (特許文献 2)の構成では、予め 収録された音声 DB202により統計的に学習された HMMモデル（隠れマルコフモデ ル)を用いることにより、言語解析部 101により出力される発音記号およびアクセント 情報のコンテキストラベルに基づいて、統計的に合成パラメータを生成する。そのた め、全ての音韻において安定した音質の合成音を得ることが可能である。しかし、一 方で、 HMMモデルによる統計的な学習を用いていることにより、個々の音声波形が 保有する微細な特徴 (韻律の微細な変動で合成音声の自然さに影響を及ぼすマイク 口プロソディなど）が統計処理によって失われるために合成音声の肉声感は低下し、 鈍った音声になると!/、う課題を有して 、る。
[0015] また、前記従来のパラメータ統合方法では、合成音声素片と自然音声素片の混合 は、 CV間の過渡期に時間的に用いていた為、全時間にわたる均一な品質を得ること が困難であり、時間的に音声の質が変化するという課題が存在する。
[0016] 本発明は、前記従来の課題を解決するもので、高音質で且つ安定した音質の合成 音を提供することを目的とする。
課題を解決するための手段
[0017] 本発明に係る音声合成装置は、少なくとも発音記号を含む情報から、音声を合成 することが可能なパラメータ群である目標パラメータを素片単位で生成する目標パラ メータ生成部と、予め録音された音声を、前記目標パラメータと同じ形式のパラメータ 群力 なる音声素片として素片単位で記憶して 、る音声素片データベースと、前記 目標パラメータに対応する音声素片を前記音声素片データベースより選択する素片 選択部と、音声素片ごとに、前記目標パラメータのパラメータ群および前記音声素片 のパラメータ群を統合してパラメータ群を合成するパラメータ群合成部と、合成された 前記パラメータ群に基づいて、合成音波形を生成する波形生成部とを備えることを特 徴とする。例えば、前記コスト算出部は、前記素片選択部により選択された音声素片 の部分集合と、当該音声素片の部分集合に対応する前記目標パラメータの部分集 合との非類似性を示すコストを算出するターゲットコスト判定部を有していてもよい。
[0018] 本構成によって、 目標パラメータ生成部により生成される音質の安定したパラメータ と、前記素片選択部により選択される肉声感が高く音質の高い音声素片とを組み合 わせることにより、高音質かつ安定した音質の合成音を生成することができる。
[0019] また、前記パラメータ群合成部は、前記目標パラメータ生成部により生成された目 標パラメータを、少なくとも 1つ以上の部分集合に分割することによって得られるパラメ 一タパターンを少なくとも 1つ以上生成する目標パラメータパターン生成部と、前記目 標パラメータパターン生成部により生成された前記目標パラメータの部分集合ごとに 、当該部分集合に対応する音声素片を前記音声素片データベースより選択する素 片選択部と、前記素片選択部により選択された音声素片の部分集合と当該音声素 片の部分集合に対応する前記目標パラメータの部分集合とに基づいて、当該音声 素片の部分集合を選択することによるコストを算出するコスト算出部と、前記コスト算 出部によるコスト値に基づいて、前記目標パラメータの部分集合の最適な組み合わ せを、素片ごとに判定する組み合わせ判定部と、前記組み合わせ判定部により判定 された組み合わせに基づいて、前記素片選択部により選択された前記音声素片の 部分集合を統合することによりパラメータ群を合成するパラメータ統合部とを有してい てもよい。
[0020] 本構成によって、前記目標パラメータパターン生成部により生成される複数のノラメ ータの部分集合に基づいて、前記素片選択部により選択される肉声感が高く音質の 高い音声素片のパラメータの部分集合を組み合わせ判定部により適切に組み合わ せている。このため、高音質かつ安定した合成音を生成することができる。
発明の効果
[0021] 本発明の音声合成装置によれば、実音声に基づく音声素片データベース力 選択 した音声素片のパラメータと、統計モデルに基づく安定した音質のパラメータとを適 宜混合することにより、安定でかつ高音質の合成音を得ることができる。
図面の簡単な説明
[0022] [図 1]図 1は、従来の波形接続型音声合成装置の構成図である。
[図 2]図 2は、従来の統計モデルに基づく音声合成装置の構成図である。
[図 3]図 3は、従来のパラメータ統合方法の構成図である。
[図 4]図 4は、本発明の実施の形態 1における音声合成装置の構成図である。
[図 5]図 5は、音声素片の説明図である。
[図 6]図 6は、本発明の実施の形態 1のフローチャートである。
[図 7]図 7は、パラメータ混合結果の説明図である。
[図 8]図 8は、混合パラメータ判定部のフローチャートである。
[図 9]図 9は、組み合わせベクトル候補生成の説明図である。
[図 10]図 10は、ビタビアノレゴリズムの説明図である。
[図 11]図 11は、混合ベクトルをスカラー値にした場合のパラメータ混合結果を示す図 である。
[図 12]図 12は、声質変換を行う場合の説明図である。
[図 13]図 13は、本発明の実施の形態 2における音声合成装置の構成図である。
[図 14]図 14は、本発明の実施の形態 2のフローチャートである。
[図 15]図 15は、 目標パラメータパターン生成部の説明図である。
[図 16]図 16は、組み合わせベクトル判定部のフローチャートである。
[図 17A]図 17Aは、選択ベクトル候補生成の説明図である。 圆 17B]図 17Bは、選択ベクトル候補生成の説明図である。
[図 18]図 18は、組み合わせ結果の説明図である。
[図 19]図 19は、コンピュータの構成の一例を示す図である。 符号の説明
1 音韻記号列解析部
2 制御部
3 音声素片読み出し部
4 音声素片 DB
5 音声素片読み出し部
6 音声素片 DB
7 混合部
8 振幅制御部
9 出力部
10 個人情報 DB
11 合成音声素片チャンネル
12 自然音清素片チャンネル
41 目標パラメータを使用する領域
42 実音声パラメータを使用する領域
43 実音声パラメータを使用する領域
44 実音声パラメータを使用する領域
45 目標パラメータを使用する領域
100 学習部
200 音声合成部
101 言語解析部
102 目標パラメータ生成部
103 音声素片 DB
104 素片選択部
105 コスト算出部 105a ターゲットコスト判定部
105b 連続性コスト判定部
106 混合パラメータ判定部
107 パラメータ統合部
108 波形生成部
201 韻律生成部
202 音声素片 DB
203 波形接続部
301 コンテキスト依存 HMMファイル
302 文章 HMM作成部
303 合成フィルタ
401 励振源スペクトルパラメータ抽出部
402 スペクトルパラメータ抽出部
403 HMMの学習部
404 HMMからのパラメータ生成部
405 励振源生成部
601 実音声パラメータを使用する素片の領域
602 目標パラメータを使用する素片の領域
603 実音声パラメータを使用する素片の領域
604 目標パラメータを使用する素片の領域
801 目標パラメータパターン生成部
802 組み合わせ判定部
1101 標準音声 DB
1102 感情音声 DB
1501 ノ ターン A1により選択された素片
1502 パターン C2により選択された素片
発明を実施するための最良の形態
以下本発明の実施の形態について、図面を参照しながら説明する。 [0025] (実施の形態 1)
図 4は、本発明の実施の形態 1における音声合成装置の構成図である。
[0026] 本実施の形態の音声合成装置は、高音質と音質の安定性とを両立させた音声を合 成する装置であって、言語解析部 101と、目標パラメータ生成部 102と、音声素片 D B103と、素片選択部 104と、コスト算出部 105と、混合パラメータ判定部 106と、パラ メータ統合部 107と、波形生成部 108とを備えている。コスト算出部 105は、ターゲッ トコスト判定部 105aと、連続性判定部 105bとを備えている。
[0027] 言語解析部 101は、入力されたテキストを解析し、発音記号やアクセント情報を出 力する。例えば、「今日の天気は」というテキストが入力された場合、「kyo'— noZte ，Nkiwa」といったような発音記号、およびアクセント情報を出力する。ここで、 「'」は アクセント位置を示し、「Z」はアクセント句境界を示す。
[0028] 目標パラメータ生成部 102は、言語解析部 101により出力された発音記号やァクセ ント情報に基づいて、音声を合成するために必要なパラメータ群を生成する。パラメ 一タ群を生成する方法は特に限定するものではない。例えば、特許文献 2に示され て 、るように HMM (隠れマルコフモデル）を用いることにより、安定した音質のパラメ ータを生成することが可能である。
[0029] 具体的には特許文献 2に記載の方法を用いればよい。なおパラメータの生成方法 はこれに限るものではな!/、。
[0030] 音声素片 DB103は、予め収録した音声（自然音声)を分析し、再合成可能なパラメ ータ群として保持するデータベースである。また、保持する単位を素片と呼ぶ。素片 の単位は特に限定するものではなぐ音素、音節、モーラ、アクセント句などを用いれ ばよい。本発明の実施の形態では、素片の単位として音素を用いて説明する。また、 ノラメータの種類は特に限定するものではないが、例えば、パワー、継続時間長、基 本周波数と 、つた音源情報と、ケプストラムなどの声道情報をパラメータ化し保持す ればよい。 1つの音声素片は、図 5に示すように複数フレームの k次元のパラメータで 表現される。図 5では、素片 P.は、 mフレームにより構成されており、各フレームは k個 のパラメータにより構成される。このようにして構成されるパラメータにより音声を再合 成することが可能となる。例えば、図中、 P = (p , p , p , · ··, p )と示されている のは、素片 Ρ;における 1番目のパラメータの mフレームにわたる時間変化を示してい る。
[0031] 素片選択部 104は、 目標パラメータ生成部 102により生成された、 目標パラメータ に基づいて、音声素片 DB103から、音声素片系列を選択する選択部である。
[0032] ターゲットコスト判定部 105aは目標パラメータ生成部 102により生成された目標パ ラメータと、素片選択部 104により選択された音声素片との類似度に基づくコストを、 素片単位ごとに算出する。
[0033] 連続性判定部 105bは、素片選択部 104により選択された音声素片のパラメータの 一部を、 目標パラメータ生成部 102により生成された目標パラメータで置き換える。そ して、音声素片を接続した場合に起こる歪み、つまりパラメータの連続性を算出する
[0034] 混合パラメータ判定部 106は、ターゲットコスト判定部 105aと連続性判定部 105bと により算出されるコスト値に基づいて、音声合成時に使用するパラメータとして、音声 素片 DB103より選択したパラメータを用いる力、 目標パラメータ生成部 102により生 成されたパラメータを用いるかを示す選択ベクトルを素片単位毎に決定する。混合パ ラメータ判定部 106の動作は後で詳述する。
[0035] パラメータ統合部 107は混合パラメータ判定部 106により決定された選択ベクトル に基づいて、音声素片 DB103より選択されたパラメータと目標パラメータ生成部 102 により生成されたパラメータとを統合する。
[0036] 波形生成部 108は、パラメータ統合部 107により生成された合成パラメータに基づ いて合成音を合成する。
[0037] 上記のように構成した音声合成装置の動作にっ 、て、次に詳述する。
[0038] 図 6は、音声合成装置の動作の流れを示すフローチャートである。言語解析部 101 は、入力されたテキストを言語的に解析し、発音記号およびアクセント記号を生成す る (ステップ S101)。 目標パラメータ生成部 102は、発音記号およびアクセント記号に 基づいて、上述の HMM音声合成法により、再合成可能なパラメータ系列 T=t , t ,
1 2
· · · , tを生成する (nは素片数）（ステップ S102)。以後、この目標パラメータ生成部 1 02により生成されたパラメータ系列を目標パラメータと呼ぶ。 [0039] 素片選択部 104は、生成された目標パラメータに基づいて、音声素片 DB103から 目標パラメータに最も近い音声素片系列 U=u , u , · · · , uを選択する (ステップ S 10
1 2 n
3)。以降、選択された音声素片系列を実音声パラメータと呼ぶ。選択の方法は特に 限定するものではないが、例えば、特許文献 1に記載の方法により選択することが可 能である。
[0040] 混合パラメータ判定部 106は、 目標パラメータと実音声パラメータとを入力とし、パラ メータの次元毎にどちらのパラメータを使用するかを示す選択ベクトル系列 Cを決定 する (ステップ S 104)。選択ベクトル系列 Cは、式 1に示すように素片ごとの選択べタト ル C力もなる。選択ベクトル Cは、 i番目の素片について、パラメータ次元毎に目標パ ラメータと実音声パラメータのどちらを使用するかを 2値で示している。例えば、 cが 0 の場合には、 i番目の素片の j番目のパラメータにつ ヽては、 目標パラメータを使用す る。また、 c力^の場合には、 i番目の素片の j番目のパラメータについては、音声素片 DB103より選択された実音声パラメータを使用することを示している。
[0041] 図 7は、選択ベクトル系列 Cによって、 目標パラメータと、実音声パラメータとを切り 分けた例である。図 7には、実音声パラメータを使用する領域 42 43および 44と、 目 標パラメータを使用する領域 41および 45とが示されている。例えば、 1番目の素片 P
1 力も P に着目すると、 1番目のパラメータについては、 目標パラメータを使用し、 2番
1 kl
目力 k番目のパラメータにつ 、ては、実音声パラメータを使用することが示されて!/ヽ る。
[0042] この選択ベクトル系列 Cを適切に決定することにより、 目標パラメータによる安定した 音質と、実音声パラメータによる肉声感の高い高音質とを両立する高音質且つ安定 した合成音を生成することが可能になる。
[0043] [数 1] 1 '■ '，し"
但し
Ci = cn , ci2 , - - - , cik
|0 目標パラメ一タを使用する場合
J [I 実音声パラメ一タを使用する場合 （式 D [0044] 次に選択ベクトル系列 Cの決定方法（図 6のステップ S104)について説明する。混 合パラメータ判定部 106は、高音質で且つ安定し合成音を生成する為に、実音声パ ラメータが目標パラメータに類似している場合は、実音声パラメータを使用し、類似し ていない場合は目標パラメータを使用する。また、この時、目標パラメータとの類似度 だけではなぐ前後の素片との連続性を考慮する。これにより、パラメータの入替えに よる不連続を軽減することが可能である。この条件を満たす選択ベクトル系列 Cは、ビ タビアルゴリズムを用いて探索する。
[0045] 探索アルゴリズムを図 8に示すフローチャートを用いて説明する。素片 i=l, ···, n に対して順次ステップ S201からステップ S205までの処理が繰り返される。
[0046] 混合パラメータ判定部 106は、対象となる素片に対して、選択ベクトル Cの候補 hと して、 p個の候補 h , h , ···, h を生成する (ステップ S 201)。生成する方法は特に
ι,1 ι,2 ι,ρ
限定するものではない。例えば、生成方法として、 k次元のそれぞれのパラメータに 対しての全ての組み合わせを生成しても構わない。また、より効率的に候補の生成を 行うために、図 9に示すように、 1つ前の選択ベクトル C との差分が所定の閾値以下
i-1
になるような組み合わせのみを生成するようにしても構わない。また、最初の素片 (i= 1)に関しては、例えば、全て目標パラメータを使用するような候補を生成してもよいし
(C = (0, 0, ···, 0))、逆に全て実音声パラメータを使用するような候補を生成する
1
ようにしてもよい（C =(1, 1, ···, 1))。
1
[0047] ターゲットコスト判定部 105aは、選択ベクトル Cの p個の候補 h ， h ，…， h の各
1 ι,Ι ι,2 ι,ρ 々について、目標パラメータ生成部 102により生成された目標パラメータ tと、素片選 択部 104により選択された音声素片 uとの類似度に基づくコストを、式 2により計算す る（ステップ S 202)。
[0048] [数 2]
TargetCost(hjj) = ω χΤφι •ui,hi j»tj) + 2><Tc{ i~hi j)* j,{l-hj j)»tj)
7こ 7こし、 j = 1〜 p -·- (式 2)
[0049] ここで、 ω ,ωは、重みであり、 ω >ωとする。重みの決定方法は特に限定するも
1 2 1 2
のではないが、経験に基づき決定することが可能である。また、 h ·ιιは、は、ベクトル
1J 1
hとベクトル uの内積であり、実音声パラメータ uのうち、選択ベクトル候補 hによって
1，J 1 1 1，J 採用される部分パラメータ集合を示す。一方、（1 h ) 'uは、実音声パラメータ uの
1J 1 1 うち、選択ベクトル候補 h によって採用されなカゝつた部分パラメータ集合を示す。 目 標パラメータ tについても同様である。関数 Tcは、パラメータ間の類似度に基づくコス ト値を算出する。算出方法は特に限定するものではないが、例えば、各パラメータ次 元間の差分の重み付け加算により算出することが可能である。例えば、類似度が大 きくなるほどコスト値が小さくなるように関数 Tcが定められている。
[0050] 繰り返すと、式 2の 1項目の関数 Tcの値は、選択候補ベクトル h によって採用され
i,J
た、実音声パラメータ uの部分パラメータ集合および目標パラメータ tの部分パラメ一 タ集合同士の類似度に基づくコスト値を示す。式 2の 2項目の関数 Tcの値は、選択 候補ベクトル h によって採用されなかった実音声パラメータ uの部分パラメータ集合
1J 1
、および目標パラメータ tの部分パラメータ集合同士の類似度に基づくコスト値を示し て 、る。式 2はこれら 2つのコスト値の重み付け和を示したものである。
[0051] 連続性判定部 105bは、選択ベクトル候補 hそれぞれについて、 1つ前の選択べク
i，J
トル候補との連続性に基づくコストを式 3を用いて評価する (ステップ S203)。
[0052] [数 3]
ContCost(h, ， Μ r ) = Cc{ht } · ui + (1 - ht ,. j · /, , hj_l r · ι 一 t + (1 - Μ r ) · tM )
(式 3 )
[0053] ここで、 h ·ιι + (1—h ) 'uは、選択ベクトル候補 h によって規定される目標パラメ
1，J 1 i，J i 1，J
ータ部分集合と、実音声パラメータ部分集合の組み合わせによって構成される素片 i を形成するパラメータであり、 h -u + (l -h ) -u は、 1つ前の素片 i 1に対す
1-1, r 1—1 1~1, r ι— 1
る選択ベクトル候補 h により規定される素片 i 1を形成するパラメータである。
1-1, r
[0054] 関数 Ccは、 2つの素片パラメータの連続性に基づくコストを評価する関数である。
すなわち、 2つの素片パラメータの連続性力 い場合には、値が小さくなる関数であ る。算出方法は特に限定するものではないが、例えば、素片 i 1の最終フレームと素 片 iの先頭フレームにおける各パラメータ次元の差分値の重み付け和により計算すれ ばよい。
[0055] 混合パラメータ判定部 106は、図 10に示すように、式 4に基づいて選択ベクトル候 補 h に対するコスト (C (h ) )を算定し、同時に素片 i—1に対する選択ベクトル候補 h のうちどの選択ベクトル候補と接続すべきかを示す接続元 (B (h ) )を決定する (ス
- l，r
テツプ S204)。なお、図 10では、接続元として h が選択されている）。
i-1,3
[0056] 画
C(h,j) = TargetCostf/^y) + MinlContCost(/7,.，ゾ， Μ /3) + C(hj_i p)\
P '
B(hij) = argmin[C。ntC。st(/?,',ノ， Μ,ρ) + ίΓ(/?Μ,ρ)]
p (式 4 )
[0057] ただし、
[0058] [数 5]
は、 pを変化させたときに、括弧内の値が最小となる値を示し、
[0059] 園 arg min[ ]
p
は、 Pを変化させたときに、括弧内の値が最小となるときの Pの値を示す。
[0060] 混合パラメータ判定部 106は、探索の空間を削減する為に、素片 iにおける選択べ タトル候補 hをコスト値 (C (h ) )に基づいて削減する (ステップ S 205)。例えば、ビー ムサーチを用いて、最小コスト値力 所定の閾値以上大き 、コスト値を持つ選択べク トル候補を削減するようにすればよい。または、コストの小さい候補力も所定の個数の 候補のみを残すようにすればょ 、。
[0061] なお、ステップ S205の枝狩り処理は、計算量を削減する為の処理であり、計算量 に問題がな 、場合は、この処理を省!ヽても構わな!/、。
[0062] 以上のステップ S201からステップ S205までの処理を素片 i (i= l , · · · , n)について 繰り返す。混合パラメータ判定部 106は、最終素片 i=nの時の最小コストの選択候補 [0063] [数 7] j„ = argmm (/?„ )
J
を選択し、接続元の情報を用いて順次バックトラックを [0064] [数 8]
のように行 、、式 5を用いて選択ベクトル系列 Cを求めることが可能になる。
[0065] [数 9]
C = ChC2,---,Cn = / ' , / ,···, h„ (式 ）
[0066] このようにして得られた選択ベクトル系列 Cを用いることにより、実音声パラメータが 目標パラメータに類似している場合には、実音声パラメータを使用し、そうでない場 合は、 目標パラメータを用いることが可能となる。
[0067] ノ ラメータ統合部 107は、ステップ S102で得られた目標パラメータ系列 T=t , t ,
1 2
···, tとステップ S103で得られた実音声パラメータ系列 U=u , u , ···, uと、ステツ n 1 2 n プ S 104で得られた選択ベクトル系列 C = C , C , ···, Cを用いて、合成パラメータ系
1 2 n
列 P=p , p , ···, pを式 6を用いて生成する（ステップ S105)。
1 2 n
[0068] [数 10]
Pi =Ci» i + (\-C1)»ti (式 6)
[0069] 波形生成部 108は、ステップ S105により生成された合成パラメータ系列 Ρ=ρ , p
1 2
, ···, ρを用いて合成音を合成する (ステップ S 106)。合成方法は特に限定するもの ではない。 目標パラメータ生成部が生成するパラメータにより決定される合成方法を 用いればよぐ例えば、特許文献 2の励振源生成と合成フィルタとを用いて合成音を 合成するように構成すればょ ヽ。
[0070] 以上のように構成した音声合成装置によれば、 目標パラメータを生成する目標パラ メータ生成部と、 目標パラメータに基づいて実音声パラメータを選択する素片選択部 と、 目標パラメータと実音声パラメータとの類似度に基づいて、 目標パラメータおよび 実音声パラメータを切替える選択ベクトル系列 Cを生成する混合パラメータ判定部と を用いることにより、実音声パラメータが目標パラメータに類似している場合には、実 音声パラメータを使用し、そうでない場合は、 目標パラメータを用いることが可能とな る。 [0071] 以上のような構成によれば、 目標パラメータ生成部 102が生成するパラメータの形 式と、音声素片 DB103が保持する素片の形式とが同一である。そのため、図 7に示 すように、従来の波形接続型音声合成では目標パラメータとの類似度が低!、場合 ( すなわち、 目標パラメータに近い音声素片が音声素片 DB103に保持されていない 場合)でも、 目標パラメータに部分的に近い音声素片を選択し、その音声素片のパラ メータのうち、 目標パラメータと類似していないパラメータについては、 目標パラメータ 自体を使用することにより、実音声パラメータを使用していたことによる局所的な音声 品質の劣化を防止することが可能となる。
[0072] また、同時に、従来の統計モデルによる音声合成方式では、 目標パラメータに類似 した素片が存在する場合においても、統計モデルにより生成されるパラメータを用い ていた為、肉声感が低下していた力 実音声パラメータを使用することにより（すなわ ち、 目標パラメータに近い音声素片を選択し、その音声素片のパラメータのうち、 目 標パラメータと類似するパラメータについては、音声素片のパラメータ自体を使用す ることにより）、肉声感が低下することなぐ肉声感が高く高音質な合成音を得ることが 可能となる。したがって、 目標パラメータによる安定した音質と、実音声パラメータによ る肉声感の高い高音質とを両立させた合成音を生成することが可能となる。
[0073] なお、本実施の形態において、選択ベクトル C;はパラメータのそれぞれの次元毎に 設定するように構成した力 図 11に示すように全ての次元にぉ 、て同じ値とすること により、素片 iについて、 目標パラメータを使用するか、実音声パラメータを使用する かを選択するように構成しても良い。図 11には、実音声パラメータを使用する素片の 領域 601および 603と、 目標パラメータを使用する素片の領域 602および 604とが一 例として示されている。
[0074] 1つの声質 (例えば読上げ調)だけではなぐ「怒り」「喜び」等といった多数の声質 の合成音を生成する場合には、本発明は非常に効果的である。
[0075] なぜならば、多種多様な声質の音声データをそれぞれ十分な分量用意することは 、非常にコストが掛カることから、困難である。
[0076] 上記の説明では HMMモデルと音声素片とは特に限定していなかった力 HMM モデルと音声素片とを次のように構成することにより、多数の声質の合成音を生成す ることが可能となる。すなわち、図 12に示すように、 目標パラメータ生成部 102の他に 目標パラメータを生成する為に文章 HMM作成部 302を用意し、文章 HMM作成部 302が参照する HMMモデル 301を標準音声 DBとして、通常の読み上げ音声 DB1 101により作成しておく。更に、文章 HMM作成部 302が、「怒り」「喜び」等の感情音 声 DB1102により、当該感情を前記 HMMモデル 301に適応させる。なお、文章 H MM作成部 302は、特殊な感情を有する音声の統計モデルを作成する統計モデル 作成手段に対応する。
[0077] これにより、 目標パラメータ生成部 102は、感情を有する目標パラメータを生成する ことができる。適応させる方法は特に限定するものではなぐ例えば、橘誠、外 4名、 " HMM音声合成におけるモデル補間 '適応による発話スタイルの多様性の検討"、 信学技報 TECHNICAL REPORT OF IEICE SP2003 - 80 (2003 - 08) に記載の方法により適応することが可能である。また、一方で、素片選択部 104が選 択する音声素片 DBとして前記感情音声 DB1102を用いる。
[0078] このように構成することによって、感情音声 DB1102により適応された HMM301を 用いて安定した音質で、指定された感情の合成パラメータを生成でき、且つ、素片選 択部 104により感情音声 DB1102から、感情音声素片を選択する。混合パラメータ 判定部 106により、 HMMにより生成されたパラメータと、感情音声 DB1102から選 択されたパラメータとの混合を判定し、パラメータ統合部 107により統合する。
[0079] 従来の波形重畳型の感情を表現する音声合成装置は、十分な音声素片 DBを用 意しなければ、高音質な合成音を生成することが困難であった。また、従来の HMM 音声合成では、モデル適応は可能であるが、統計処理であるので合成音になまり（ 肉声感の低下）が生じるという問題があった。しかし、上記のように感情音声 DB110 2を HMMモデルの適用データおよび音声素片 DBとして構成することにより、適応モ デルにより生成される目標パラメータによる安定した音質と、感情音声 DB1102から 選択される実音声パラメータによる高品質で肉声感の高い音質とを両立した合成音 声を生成することが可能なる。つまり、 目標パラメータに類似した実音声パラメータが 選択できた場合には、従来は、統計モデルにより生成される肉声感が低いパラメータ を使用していたのに対して、実音声パラメータを使用することにより、肉声感が高ぐ 且つ自然な感情を含む音質を実現できる。一方、目標パラメータとの類似度が低い 実音声パラメータが選択された場合には、従来の波形接続型音声合成方式では、局 所的に音質が劣化していたのに対し、目標パラメータを使用することにより、局所的 な劣化を防ぐことが可能となる。
[0080] したがって、本発明によれば、複数の声質の合成音を作成したい場合においても、 それぞれの声質で大量の音声を収録することなぐかつ、統計モデルにより生成され る合成音よりも肉声感の高い合成音を生成することが可能となる。
[0081] また、感情音声 DB1102の変わりに、特定の人物による音声 DBを用いることにより 、特定の個人に適応した合成音を同様に生成することが可能である。
[0082] (実施の形態 2)
図 13は、本発明の実施の形態 2の音声合成装置の構成図である。図 13において、 図 4と同じ構成要素については同じ符号を用い、説明を省略する。
[0083] 図 13において、目標パラメータパターン生成部 801は、目標パラメータ生成部 102 で生成された目標パラメータに基づ 、て、後述する目標パラメータパターンを生成す る処理部である。
[0084] 音声素片 DB103A1〜103C2は、音声素片 DB103の部分集合であり、目標パラ メータパターン生成部 801により生成された目標パラメータパターンそれぞれに対応 したパラメータを格納する音声素片 DBである。
[0085] 素片選択部 104A1〜104C2は、目標パラメータパターン生成部 801により生成さ れた目標パラメータパターンに最も類似した素片を音声素片 DB103A1〜103C2 からそれぞれ選択する処理部である。
[0086] 以上のように音声合成装置を構成することにより、パラメータパターンごとに選択し た音声素片のパラメータの部分集合を組み合わせることができる。これにより、単一の 素片に基づいて選択した場合と比較して、目標パラメータにより類似した実音声に基 づくパラメータを生成することが可能となる。
[0087] 以下に、本発明の実施の形態 2の音声合成装置の動作について図 14のフローチ ヤートを用いて説明する。
[0088] 言語解析部 101は、入力されたテキストを言語的に解析し、発音記号およびァクセ ント記号を生成する (ステップ S101)。 目標パラメータ生成部 102は、発音記号およ びアクセント記号に基づいて、上述の HMM音声合成法により、再合成可能なパラメ ータ系列 T=t , t , · · · , tを生成する (ステップ S 102)。このパラメータ系列を目標
1 2 n
パラメータと呼ぶ。
[0089] 目標パラメータパターン生成部 801は、 目標パラメータを図 15に示すようなパラメ一 タの部分集合に分割する (ステップ S301)。分割の方法は特に限定するものではな いが、例えば以下のように分割することが可能である。なお、これらの分け方は一例 であり、これらに限定されるものではない。
[0090] ，音源情報と声道情報
•基本周波数とスペクトル情報と揺らぎ情報
•基本周波数と音源スペクトル情報と声道スペクトル情報と音源揺らぎ情報
[0091] このようにして分割したパラメータパターンを複数用意する（図 15のパターン A、 ノ ターン B、パターン C)。図 15では、ノ ターン Aを、パターン Al, A2および A3の 3つ の部分集合に分割している。また、同様にパターン Bを、パターン B1および B2の 2つ の部分集合に分割しており、ノターン Cを、パターン C1および C2の 2つの部分集合 に分割している。
[0092] 次に、素片選択部 104A1〜104C2は、ステップ S301で生成された複数のパラメ 一タパターンのそれぞれについて、素片選択を行なう（ステップ S 103)。
[0093] ステップ S103では、素片選択部 104A1〜104C2は、 目標パラメータパターン生 成部 801によって生成されたパターンの部分集合 (パターン A1、 A2、 · ··、 C2)毎に 最適な音声素片を音声素片 DB103A1〜103C2から選択し、素片候補集合列 Uを 作成する。各素片候補 uの選択の方法は、上記実施の形態 1と同じ方法でよい。
[0094] [数 11]
u = u u2,-,un
ひ ί = (»n = Ui2 = ' " ! »im ) ( 7、
[0095] 図 13では、素片選択部および音声素片 DBは複数用意されているが、物理的に用 意する必要はなぐ実施の形態 1の音声素片 DBおよび素片選択部を複数回使用す るように設計しても良い。 [0096] 組み合わせ判定部 802は、それぞれの素片選択部 (Al, A2, · · · , C2)により選 択された実音声パラメータの組み合わせベクトル系列 Sを決定する (ステップ S302) 。組み合わせベクトル系列 Sは式 8のように定義する。
[0097] [数 12] = ( ，…,^ ) (式 8 )
f0 :i番目の部分集合を採用しない場合
Si †l : i番目の部分集合を採用する場合
[0098] 組み合わせベクトルの決定方法 (ステップ S302)について図 16を用いて詳しく説 明する。探索アルゴリズムを図 16のフローチャートを用いて説明する。素片 i (i= l, · ··, n)に対して、ステップ S401からステップ S405の処理が順次繰り返される。
[0099] 組み合わせ判定部 802は、対象となる素片に対して、組み合わせベクトル Sの候補 hとして、 p個の候補 h , h , · ··, h を生成する (ステップ S401)。生成する方法は
1 ι,1 ι,2 ι,ρ
特に限定するものではない。例えば図 17A (a)および図 17B (a)に示すように、ある 一つのパターンに含まれる部分集合のみを生成しても良い。また、図 17A (b)および 図 17B (b)に示すように、複数のパターンに属する部分集合をパラメータ同士（907と 908)で、重なりが生じないように生成しても良い。また、図 17A (c)および図 17B (c) のパラメータ 909に示すように、複数のパターンに属する部分集合をパラメータ同士 で一部重なりが生じるように生成しても良い。この場合は、重なりが生じたパラメータ に関しては、それぞれのパラメータの重心点を用いるようにする。また、図 17A(d)お よび図 17B (d)のパラメータ 910に示すように、複数のパターンに属する部分集合を ノ メータ同士を組み合わせた時に、一部パラメータが欠落した状態になるように生 成しても良い。この場合は、欠落したパラメータに関しては、 目標パラメータ生成部に よって生成された目標パラメータで代用する。
[0100] ターゲットコスト判定部 105aは、選択ベクトル Sの候補 h , h , · ··, h と、素片 iの
1 ι,1 ι,2 ι,ρ
目標パラメータ tとの類似度に基づくコストを式 9により計算する (ステップ S402)。
[0101] [数 13]
TargetCos({hi j) = ω} χ Tcゆ g )
Figure imgf000022_0001
[0102] ここで、 ωは、重みである。重みの決定方法は特に限定するものではないが、経験
1
に基づき決定することが可能である。また、 h、 ·υは、ベクトル hとベクトル Uの内積 ，
であり、組み合わせベクトル h、によって決定される各素片候補の部分集合を示す。 関数 Tcは、パラメータ間の類似度に基づくコスト値を算出する。算出方法は特に限 定するものではないが、例えば、各パラメータ次元間の差分の重み付け加算により算 出することが可能である。
[0103] 連続性判定部 105bは、選択ベクトル候補 h、それぞれにつ ヽて、 1つ前の選択べ タトル候補との連続性に基づくコストを式 10を用いて評価する (ステップ S403)。
[0104] [数 14]
ContCost ' h,_l r ) = Cc(hu · Ui , h ,r · ) (式 1 0 )
[0105] 関数 Ccは、 2つの素片パラメータの連続性に基づくコストを評価する関数である。
算出方法は特に限定するものではないが、例えば、素片 i 1の最終フレームと素片 i の先頭フレームにおける各パラメータ次元の差分値の重み付け和により計算すれば よい。
[0106] 組み合わせ判定部 802は、選択ベクトル候補 h、 に対するコスト (C (h、））を算定し 、同時に素片 i 1に対する選択ベクトル候補 h 1、 のうちどの選択ベクトル候補と接 続すべきかを示す接続元 (B (h、））を式 11に基づ 、て決定する (ステップ S404)。
[0107] [数 15]
C{hUJ) = + C(/J,-_I )j
(hj ) =
Figure imgf000023_0001
(式 i l )
[0108] 組み合わせ判定部 802は、探索の空間を削減する為に、素片 iにおける選択べタト ル候補 h、 をコスト値 (C (h、 ））に基づ 、て削減する（ステップ S405)。例えば、ビー ムサーチを用いて、最小コスト値力 所定の閾値以上大き 、コスト値を持つ選択べク トル候補を削減するようにすればよい。または、コストの小さい候補力も所定の個数の 候補のみを残すようにすればょ 、。
[0109] なお、ステップ S405の枝狩り処理は、計算量を削減する為のステップであり、計算 量に問題がな!ヽ場合は、処理を省!ヽても構わな!/ヽ。
[0110] 以上のステップ S401からステップ S405までの処理を素片 i(i=l, ···, n)について 繰り返す。組み合わせ判定部 802は、最終素片 i=nの時の最小コストの選択候補 [0111] [数 16] sn =aigmin C(hn i)
j を選択する。以降は、接続元の情報を用いて順次バックトラックを
[0112] [数 17]
Figure imgf000024_0001
のように行い、式 12により組み合わせベクトル系列 Sを求めることが可能になる。
[0113] [数 18]
S = o o2,---,Sn = /¾j J( 5 ¾, j, = ' ·■ , hn,sn (式ェ 2)
[0114] パラメータ統合部 107は、組み合わせ判定部 802により決定された組み合わせべク トルに基づいて、各素片選択部 (Al, A2, ···, C2)により選択された素片のパラメ 一タを式 13を用いて統合する（ステップ S105)。図 18は、統合の例を示す図である。 この例では、素片 1の組み合わせベクトル S = (A , 0, 0, 0, 0, 0, C )であり、パタ
1 1 2
ーン Aによる A1と、パターン Cによる C2の組み合わせが選択されている。これにより、 ノ ターン A1により選択された素片 1501と、ノターン C2により選択された素片 1502 を組み合わせて素片 1のパラメータとしている。以下、 S , ···, Sまで繰り返すことによ
2 n
り、パラメータ系列を得ることが可能である。
[0115] [数 19]
Pi = ύί*υ<· (式 13)
[0116] 波形生成部 108は、パラメータ統合部 107により生成された合成パラメータに基づ いて合成音を合成する (ステップ S106)。合成方法は特に限定するものではない。
[0117] 以上のように構成した音声合成装置によれば、 目標パラメータ生成部が生成する 目標パラメータに近いパラメータ系列を、複数の実音声素片の部分集合である実音 声パラメータを組み合わせる。これによつて、図 18に示すように、従来の波形接続型 音声合成方式では目標パラメータとの類似度が低!ヽ実音声パラメータが選択された 場合には、局所的に音質が劣化していたの対し、目標パラメータとの類似度が低い 場合には、複数のパラメータ集合ごとに選択された複数の実音声素片の実音声パラ メータを組み合わせることにより、目標パラメータに類似した実音声パラメータを合成 することが可能となる。これにより安定して目標パラメータに近い素片を選択すること が可能となり、かつ実音声素片を用いている為、高音質となる。つまり、高音質と安定 性の双方を両立させた合成音を生成することが可能となる。
[0118] 特に、素片 DBが十分に大きくない場合においても、音質と安定性を両立した合成 音を得ることが可能となる。なお、本実施の形態において、 1つの声質 (例えば読上 げ調)だけではなぐ「怒り」「喜び」等といった多数の声質の合成音を生成する場合 には、図 12に示すように、目標パラメータ生成部 102が目標パラメータを生成する為 に文章 HMM作成部 302を用意し、文章 HMM作成部 302が参照する HMMモデ ルを標準音声 DBとして、通常の読み上げ音声 DB1101により作成しておく。更に、「 怒り」「喜び」等の感情音声 DB1102により、前記 HMMモデル 301を適応する。適 応する方法は特に限定するものではなぐ例えば、「橘誠外 4名、 "HMM音声合成 におけるモデル補間 ·適応による発話スタイルの多様性の検討"、 信学技報 TECH NICAL REPORT OF IEICE SP2003— 80 (2003— 08)」【こ記載の方法【こより 適応することが可能である。また、一方で、素片選択部 104が選択する音声素片 DB として前記感情音声 DB1102を用いる。
[0119] このように構成することによって、感情音声 DB1102により適応された HMM301を 用いて安定した音質で、指定された感情の合成パラメータを生成でき、且つ、素片選 択部 104により感情音声 DB1102から、感情音声素片を選択する。混合パラメータ 判定部により、 HMMにより生成されたパラメータと、感情音声 DB1102から選択され たパラメータとの混合を判定し、パラメータ統合部 107により統合する。これにより、従 来の感情を表現する音声合成装置は、十分な音声素片 DBを用意しなければ、高音 質な合成音を生成することが困難であつたのに対し、感情音声 DB1102を音声素片 DBとして用いた場合においても、複数のパラメータ集合ごとに選択された複数の実 音声素片の実音声パラメータを組み合わせる。これにより目標パラメータに類似した 実音声パラメータに基づくパラメータにより高品質な音質とを両立した合成音声を生 成することが可能なる。
[0120] また、感情音声 DB1102の変わりに、別人による音声 DBを用いることにより、個人 に適応した合成音を同様に生成することが可能である。
[0121] また、言語解析部 101は必ずしも必須の構成要件ではなぐ言語解析された結果 である発音記号やアクセント情報等が音声合成装置に入力されるような構成であって も構わない。
[0122] なお、本実施の形態 1および 2に示した音声合成装置を LSI (集積回路)で実現す ることち可會である。
[0123] 例えば、実施の形態 1に係る音声合成装置を LSI (集積回路)で実現すると、言語 解析部 101、目標パラメータ生成部 102、素片選択部 104、コスト算出部 105、混合 パラメータ判定部 106、パラメータ統合部 107、波形生成部 108のすベてを 1つの LS Iで実現することができる。または、各処理部を 1つの LSIで実現することもできる。さら に、各処理部を複数の LSIで構成することもできる。音声素片 DB103は、 LSIの外 部の記憶装置により実現してもよいし、 LSIの内部に備えられたメモリにより実現して もよい。 LDIの外部の記憶装置により音声素片 DB103を実現する場合には、インタ 一ネット経由で音声素片 DB 103に記憶されて 、る音声素片を取得しても良 、。
[0124] ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥ ノレ卜ラ LSIと呼称されることちある。
[0125] また、集積回路化の手法は LSIに限られるものではなぐ専用回路または汎用プロ セサにより実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programmable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリ コンフィギユラブル ·プロセッサを利用しても良 、。
[0126] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて音声合成装置を構成する処理 部の集積化を行ってもよい。ノィォ技術の適応等が可能性としてありえる。 [0127] また、本実施の形態 1および 2に示した音声合成装置をコンピュータで実現すること も可能である。図 19は、コンピュータの構成の一例を示す図である。コンピュータ 120 0は、人力咅 1202と、メモリ 1204と、 CPU1206と、記'隐咅 1208と、出力咅 1210と を備えている。入力部 1202は、外部力もの入力データを受け付ける処理部であり、 キーボード、マウス、音声入力装置、通信 IZF部等力も構成される。メモリ 1204は、 プログラムやデータを一時的に保持する記憶装置である。 CPU1206は、プログラム を実行する処理部である。記憶部 1208は、プログラムやデータを記憶する装置であ り、ハードディスク等力もなる。出力部 1210は、外部にデータを出力する処理部であ り、モニタやスピーカ等力もなる。
[0128] 例えば、実施の形態 1に係る音声合成装置をコンピュータ 1200で実現した場合に は、言語解析部 101、目標パラメータ生成部 102、素片選択部 104、コスト算出部 10 5、混合パラメータ判定部 106、パラメータ統合部 107、波形生成部 108は、 CPU12 06上で実行されるプログラムに対応し、音声素片 DB103は、記憶部 1208に記憶さ れる。また、 CPU 1206で計算された結果は、メモリ 1204や記憶部 1208にー且記 憶される。メモリ 1204や記憶部 1208は、言語解析部 101等の各処理部とのデータ の受け渡しに利用されてもよい。また、音声合成装置をコンピュータに実行させるた めのプログラムは、フロッピー（登録商標）ディスク、 CD— ROM、 DVD-ROM,不 揮発性メモリ等に記憶されていてもよいし、インターネットを経由してコンピュータ 120 0の CPU 1206に読み込まれてもよ!/ヽ。
[0129] 今回開示された実施の形態はすべての点で例示であって制限的なものではないと 考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲に よって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含ま れることが意図される。
産業上の利用可能性
[0130] 本発明にかかる音声合成装置は、実音声による高音質の特徴と、モデルベース合 成の安定性を有し、カーナビゲーシヨンシステムや、ディジタル家電のインタフェース 等として有用である。また、音声 DBを用いてモデル適応を行うことにより声質を変更 が可能な音声合成装置等の用途にも応用できる。

Claims

請求の範囲
[1] 少なくとも発音記号を含む情報から、音声を合成することが可能なパラメータ群であ る目標パラメータを素片単位で生成する目標パラメータ生成部と、
予め録音された音声を、前記目標パラメータと同じ形式のパラメータ群力 なる音 声素片として素片単位で記憶している音声素片データベースと、
前記目標パラメータに対応する音声素片を前記音声素片データベースより選択す る素片選択部と、
音声素片ごとに、前記目標パラメータのパラメータ群および前記音声素片のパラメ 一タ群を統合してパラメータ群を合成するパラメータ群合成部と、
合成された前記パラメータ群に基づいて、合成音波形を生成する波形生成部とを 備える
ことを特徴とする音声合成装置。
[2] 前記パラメータ群合成部は、
前記素片選択部により選択された音声素片の部分集合と当該音声素片の部分集 合に対応する前記目標パラメータの部分集合とに基づいて、当該音声素片の部分 集合を選択することによるコストまたは当該目標パラメータの部分集合を選択すること によるコストを算出するコスト算出部と、
前記コスト算出部によるコスト値に基づいて、前記目標パラメータと前記音声素片と の最適なパラメータの組み合わせを、素片単位ごとに判定する混合パラメータ判定 部と、
前記混合パラメータ判定部により判定された組み合わせに基づいて、前記目標パ ラメータと前記音声素片とを統合することによりパラメータ群を合成するパラメータ統 合部とを有する
ことを特徴とする請求項 1に記載の音声合成装置。
[3] 前記コスト算出部は、
前記素片選択部により選択された音声素片の部分集合と当該音声素片の部分集 合に対応する前記目標パラメータの部分集合との非類似性を示すコストを算出する ターゲットコスト判定部を有する ことを特徴とする請求項 2に記載の音声合成装置。
[4] 前記コスト算出部は、さらに、
前記素片選択部により選択された音声素片の部分集合を当該音声素片の部分集 合に対応する前記目標パラメータの部分集合に置き換えた音声素片に基づいて、時 間的に連続する音声素片同士の不連続性を示すコストを算出する連続性判定部を 有する
ことを特徴とする請求項 3に記載の音声合成装置。
[5] 前記音声素片データベースは、
標準的な感情を有する音声素片を記憶している標準音声データベースと、 特殊な感情を有する音声素片を記憶している感情音声データベースとを有し、 前記音声合成装置は、さらに、前記標準的な感情を有する音声素片および前記特 殊な感情を有する音声素片に基づいて、特殊な感情を有する音声の統計モデルを 作成する統計モデル作成手段を備え、
前記目標パラメータ生成部は、前記特殊な感情を有する音声の統計モデルに基づ いて、目標パラメータを素片単位で生成し、
前記素片選択部は、前記目標パラメータに対応する音声素片を前記感情音声デ ータベースより選択する
ことを特徴とする請求項 1に記載の音声合成装置。
[6] 前記パラメータ群合成部は、
前記目標パラメータ生成部により生成された目標パラメータを、少なくとも 1つ以上 の部分集合に分割することによって得られるパラメータパターンを少なくとも 1つ以上 生成する目標パラメータパターン生成部と、
前記目標パラメータパターン生成部により生成された前記目標パラメータの部分集 合ごとに、当該部分集合に対応する音声素片を前記音声素片データベースより選択 する素片選択部と、
前記素片選択部により選択された音声素片の部分集合と当該音声素片の部分集 合に対応する前記目標パラメータの部分集合とに基づいて、当該音声素片の部分 集合を選択することによるコストを算出するコスト算出部と、 前記コスト算出部によるコスト値に基づいて、前記目標パラメータの部分集合の最 適な組み合わせを、素片ごとに判定する組み合わせ判定部と、
前記組み合わせ判定部により判定された組み合わせに基づ 、て、前記素片選択 部により選択された前記音声素片の部分集合を統合することによりパラメータ群を合 成するパラメータ統合部とを有する
ことを特徴とする請求項 1に記載の音声合成装置。
[7] 前記組み合わせ判定部は、前記音声素片の部分集合を組み合わせる際に、部分 集合同士に重なりが生じる場合には、重なりが生じたパラメータに関しては平均値を 当該パラメータの値として、最適な組み合わせを判定する
ことを特徴とする請求項 6に記載の音声合成装置。
[8] 前記組み合わせ判定部は、前記音声素片の部分集合を組み合わせる際に、パラメ ータの欠落が生じる場合には、欠落したパラメータを目標パラメータにより代用して、 最適な組み合わせを判定する
ことを特徴とする請求項 6に記載の音声合成装置。
[9] 少なくとも発音記号を含む情報から、音声を合成することが可能なパラメータ群であ る目標パラメータを素片単位で生成するステップと、
前記目標パラメータに対応する音声素片を、予め録音された音声を前記目標パラ メータと同じ形式のパラメータ群力 なる音声素片として素片単位で記憶している音 声素片データベースより選択するステップと、
音声素片ごとに、前記目標パラメータのパラメータ群および前記音声素片のパラメ 一タ群を統合してパラメータ群を合成するステップと、
合成された前記パラメータ群に基づいて、合成音波形を生成するステップとを含む ことを特徴とする音声合成方法。
[10] 少なくとも発音記号を含む情報から、音声を合成することが可能なパラメータ群であ る目標パラメータを素片単位で生成するステップと、
前記目標パラメータに対応する音声素片を、予め録音された音声を前記目標パラ メータと同じ形式のパラメータ群力 なる音声素片として素片単位で記憶している音 声素片データベースより選択するステップと、 音声素片ごとに、前記目標パラメータのパラメータ群および前記音声素片のパラメ 一タ群を統合してパラメータ群を合成するステップと、
合成された前記パラメータ群に基づ 、て、合成音波形を生成するステップとをコン ピュータに実行させる
ことを特徴とするプログラム。
PCT/JP2006/309288 2005-06-16 2006-05-09 音声合成装置、音声合成方法およびプログラム WO2006134736A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006521338A JP3910628B2 (ja) 2005-06-16 2006-05-09 音声合成装置、音声合成方法およびプログラム
US11/783,855 US7454343B2 (en) 2005-06-16 2007-04-12 Speech synthesizer, speech synthesizing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005176974 2005-06-16
JP2005-176974 2005-06-16

Publications (1)

Publication Number Publication Date
WO2006134736A1 true WO2006134736A1 (ja) 2006-12-21

Family

ID=37532103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/309288 WO2006134736A1 (ja) 2005-06-16 2006-05-09 音声合成装置、音声合成方法およびプログラム

Country Status (3)

Country Link
US (1) US7454343B2 (ja)
JP (1) JP3910628B2 (ja)
WO (1) WO2006134736A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191477A (ja) * 2007-02-06 2008-08-21 Nippon Telegr & Teleph Corp <Ntt> ハイブリッド型音声合成方法、及びその装置とそのプログラムと、その記憶媒体
WO2018003849A1 (ja) * 2016-06-30 2018-01-04 ヤマハ株式会社 音声合成装置および音声合成方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080027725A1 (en) * 2006-07-26 2008-01-31 Microsoft Corporation Automatic Accent Detection With Limited Manually Labeled Data
JP4878538B2 (ja) * 2006-10-24 2012-02-15 株式会社日立製作所 音声合成装置
JP4246792B2 (ja) * 2007-05-14 2009-04-02 パナソニック株式会社 声質変換装置および声質変換方法
JP5238205B2 (ja) * 2007-09-07 2013-07-17 ニュアンス コミュニケーションズ，インコーポレイテッド 音声合成システム、プログラム及び方法
US8301447B2 (en) * 2008-10-10 2012-10-30 Avaya Inc. Associating source information with phonetic indices
CN101727904B (zh) * 2008-10-31 2013-04-24 国际商业机器公司 语音翻译方法和装置
GB0920480D0 (en) * 2009-11-24 2010-01-06 Yu Kai Speech processing and learning
JP5422754B2 (ja) * 2010-01-04 2014-02-19 株式会社東芝 音声合成装置及び方法
US8781835B2 (en) * 2010-04-30 2014-07-15 Nokia Corporation Methods and apparatuses for facilitating speech synthesis
US9564120B2 (en) * 2010-05-14 2017-02-07 General Motors Llc Speech adaptation in speech synthesis
US8731932B2 (en) * 2010-08-06 2014-05-20 At&T Intellectual Property I, L.P. System and method for synthetic voice generation and modification
US9570066B2 (en) * 2012-07-16 2017-02-14 General Motors Llc Sender-responsive text-to-speech processing
KR20160058470A (ko) * 2014-11-17 2016-05-25 삼성전자주식회사 음성 합성 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561498A (ja) * 1991-06-25 1993-03-12 Ricoh Co Ltd 音声出力装置
JPH0863187A (ja) * 1994-08-19 1996-03-08 Fujitsu Ltd 音声合成装置
JP2000181476A (ja) * 1998-12-16 2000-06-30 Toyota Motor Corp 波形接続型音声合成装置および方法
JP2003295880A (ja) * 2002-03-28 2003-10-15 Fujitsu Ltd 録音音声と合成音声を接続する音声合成システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0516498A (ja) 1991-07-17 1993-01-26 Nec Corp 印字異常診断機能付プリンタ装置
JP2987089B2 (ja) 1995-08-30 1999-12-06 松下電器産業株式会社 音声素片作成方法および音声合成方法とその装置
JP3091426B2 (ja) 1997-03-04 2000-09-25 株式会社エイ・ティ・アール音声翻訳通信研究所 自然発話音声波形信号接続型音声合成装置
WO2000030069A2 (en) * 1998-11-13 2000-05-25 Lernout & Hauspie Speech Products N.V. Speech synthesis using concatenation of speech waveforms
JP2002268660A (ja) 2001-03-13 2002-09-20 Japan Science & Technology Corp テキスト音声合成方法および装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561498A (ja) * 1991-06-25 1993-03-12 Ricoh Co Ltd 音声出力装置
JPH0863187A (ja) * 1994-08-19 1996-03-08 Fujitsu Ltd 音声合成装置
JP2000181476A (ja) * 1998-12-16 2000-06-30 Toyota Motor Corp 波形接続型音声合成装置および方法
JP2003295880A (ja) * 2002-03-28 2003-10-15 Fujitsu Ltd 録音音声と合成音声を接続する音声合成システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINOWA T. ET AL.: "Inritsu no Vector o Riyo shita Onsei Gosei Hoshiki", NATIONAL INSTITUTE OF ADVANCED INDUSTRIAL SCIENCE AND TECHNOLOGY, vol. 100, no. 97, SP2000-4, 19 May 2000 (2000-05-19), pages 25 - 31, XP003006490 *
SANO T. ET AL.: "Onso Setsuzokugata Onsei Gosei to Yokuyo Henkan Gijutsu no Yugo ni yoru Shizen na Gosei Onsei no Kakutoku", OMRON TECHNICS, vol. 39, no. 4, 15 January 2000 (2000-01-15), pages 324 - 329, XP003006491 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191477A (ja) * 2007-02-06 2008-08-21 Nippon Telegr & Teleph Corp <Ntt> ハイブリッド型音声合成方法、及びその装置とそのプログラムと、その記憶媒体
WO2018003849A1 (ja) * 2016-06-30 2018-01-04 ヤマハ株式会社 音声合成装置および音声合成方法
CN109416911A (zh) * 2016-06-30 2019-03-01 雅马哈株式会社 声音合成装置及声音合成方法
US11289066B2 (en) 2016-06-30 2022-03-29 Yamaha Corporation Voice synthesis apparatus and voice synthesis method utilizing diphones or triphones and machine learning

Also Published As

Publication number Publication date
US20070203702A1 (en) 2007-08-30
US7454343B2 (en) 2008-11-18
JPWO2006134736A1 (ja) 2009-01-08
JP3910628B2 (ja) 2007-04-25

Similar Documents

Publication Publication Date Title
JP3910628B2 (ja) 音声合成装置、音声合成方法およびプログラム
US8423367B2 (en) Apparatus and method for creating singing synthesizing database, and pitch curve generation apparatus and method
US8115089B2 (en) Apparatus and method for creating singing synthesizing database, and pitch curve generation apparatus and method
JP4328698B2 (ja) 素片セット作成方法および装置
US8386256B2 (en) Method, apparatus and computer program product for providing real glottal pulses in HMM-based text-to-speech synthesis
US7991616B2 (en) Speech synthesizer
US11763797B2 (en) Text-to-speech (TTS) processing
JP2007249212A (ja) テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ
JP5929909B2 (ja) 韻律生成装置、音声合成装置、韻律生成方法および韻律生成プログラム
JP2005266349A (ja) 声質変換装置および声質変換方法ならびに声質変換プログラム
Bettayeb et al. Speech synthesis system for the holy quran recitation.
JP5574344B2 (ja) １モデル音声認識合成に基づく音声合成装置、音声合成方法および音声合成プログラム
JP3346671B2 (ja) 音声素片選択方法および音声合成装置
JP6314828B2 (ja) 韻律モデル学習装置、韻律モデル学習方法、音声合成システム、および韻律モデル学習プログラム
JPH1195796A (ja) 音声合成方法
EP1589524B1 (en) Method and device for speech synthesis
JP3505364B2 (ja) 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置
JPH06318094A (ja) 音声規則合成装置
JP3571925B2 (ja) 音声情報処理装置
Qin et al. An improved spectral and prosodic transformation method in STRAIGHT-based voice conversion
JP2002268672A (ja) 音声データベース用文セットの選択方法
Anilkumar et al. Building of Indian Accent Telugu and English Language TTS Voice Model Using Festival Framework
JP2005121869A (ja) 音声変換関数抽出装置およびそれを用いた声質変換装置
Demenko et al. The design of polish speech corpus for unit selection speech synthesis
JP5449022B2 (ja) 音声素片データベース作成装置、代替音声モデル作成装置、音声素片データベース作成方法、代替音声モデル作成方法、プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2006521338

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11783855

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06746119

Country of ref document: EP

Kind code of ref document: A1