WO2016042626A1 - 音声処理装置、音声処理方法及びプログラム - Google Patents

音声処理装置、音声処理方法及びプログラム Download PDF

Info

Publication number
WO2016042626A1
WO2016042626A1 PCT/JP2014/074581 JP2014074581W WO2016042626A1 WO 2016042626 A1 WO2016042626 A1 WO 2016042626A1 JP 2014074581 W JP2014074581 W JP 2014074581W WO 2016042626 A1 WO2016042626 A1 WO 2016042626A1
Authority
WO
WIPO (PCT)
Prior art keywords
tone
model
prediction
calm
speech
Prior art date
Application number
PCT/JP2014/074581
Other languages
English (en)
French (fr)
Inventor
大和 大谷
悠 那須
正統 田村
眞弘 森田
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to PCT/JP2014/074581 priority Critical patent/WO2016042626A1/ja
Priority to JP2016548480A priority patent/JP6271748B2/ja
Publication of WO2016042626A1 publication Critical patent/WO2016042626A1/ja
Priority to US15/433,690 priority patent/US10157608B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335—Pitch control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Definitions

  • Embodiments described herein relate generally to a voice processing device, a voice processing method, and a program.
  • Speech synthesis is known in which arbitrary text input is converted into speech and output. Speech synthesis requires a speech model that represents speech prosody and phonemes. As a technique for statistically creating the speech model, for example, a speech synthesis technique based on a hidden Markov model is known.
  • Junichi YAMAGISHI and Takao KOBAYASHI “Average-Voice-Based Speech Synthesis Usage HSMM-Based SpeakerAdaptationTradeIonSensingTradeIonSTITreverIonSonTradeIntSonTradeIsSonTradeIonSTrAntEntIonSTrAntIsTrAntIonSTrAvSTrAInSTrAntIonSTrAntIsTrAntIonSTrAntIsTrAntIonSTrAntIsTrAntIonTrAS E90-D No. 2 pp. 533-543, 2007 Langzhou Chen, Norbert Braunschweiler, “Unsupervised Speaker and Expression Fabrication for Multi-Speaker Expressive Sessence Spenced” 1042-1045, 2013
  • the speech processing apparatus includes an input unit, a determination unit, and a prediction unit.
  • the input unit accepts calm tone data representing the speech of the speaker's calm tone.
  • the determination unit determines a prediction parameter according to the calm tone data.
  • the prediction unit predicts a tone conversion model that converts the calm tone of the speaker into a target tone using the prediction parameter.
  • FIG. 1 is a diagram illustrating an example of the configuration of the speech processing apparatus 100 according to the first embodiment.
  • the speech processing apparatus 100 according to the first embodiment includes an input unit 1, a determination unit 2, and a prediction unit 3.
  • the speech processing apparatus 100 according to the first embodiment stores the prediction parameter model 21 and the tone conversion model 22 in a storage unit that is not illustrated in FIG.
  • the prediction parameter model 21 is stored in advance in the storage unit of the speech processing apparatus 100, but the tone conversion model 22 is stored in the prediction unit 3.
  • the input unit 1 accepts calm tone data representing the speech of the speaker's calm tone.
  • the calm tone data of the first embodiment is a voice model representing the features of the speaker's calm tone.
  • the speech model is a probability model obtained by statistically modeling parameters extracted from acoustic feature data based on context (language attribute data).
  • the acoustic feature data is, for example, a prosody, a speech continuation length, and a speech spectrum representing phonology or voice color.
  • the speech model is, for example, a hidden Markov model (HMM: Hidden Markov Model), a hidden semi-Markov model (HSMM: Hidden Semi-Markov Model), or the like.
  • HMM Hidden Markov Model
  • HSMM Hidden Semi-Markov Model
  • the input unit 1 transmits calm tone data (HSMM) to the determination unit 2 and the prediction unit 3.
  • HSMM calm tone data
  • the decision unit 2 receives calm tone data (HSMM) from the input unit 1.
  • the determination unit 2 determines a prediction parameter from the prediction parameter model 21 according to calm tone data (HSMM).
  • FIG. 2 is a diagram showing an example of the configuration of the prediction parameter model 21 of the first embodiment.
  • the prediction parameter model 21 includes a plurality of calm tone prediction models 31 (a calm tone prediction model 31-1, a calm tone prediction model 31-2,..., A calm tone prediction model 31-S), and a tone conversion prediction model 41 ( Tone conversion prediction model 41-1, tone conversion prediction model 41-2, ..., tone conversion prediction model 41-S).
  • Each calm tone prediction model 31 is associated with a tone conversion prediction model 41 optimized for conversion to a target tone.
  • the calm tone prediction model 31-1, the calm tone prediction model 31-2,..., And the calm tone prediction model 31-S are speech models of S speakers.
  • the calm tone prediction model 31 is an HSMM learned from, for example, acoustic feature data of a speaker's calm tone and language attribute data of the speaker's calm tone.
  • the calm tone prediction model 31 may be configured by an HSMM generated by the speaker adaptation technique of Non-Patent Document 1 and a distribution selection decision tree described in Non-Patent Document 1.
  • the tone conversion prediction model 41 includes acoustic feature amount data of one type of tone to which the calm tone is converted (hereinafter referred to as “target tone”), and language attributes of one type of target tone. It is a model learned using data based on cluster adaptive learning (CAT: Cluster Adaptive Training) described in Non-Patent Document 2. However, the tone conversion prediction model 41 is a model having two clusters including a bias cluster. Specifically, the tone conversion prediction model 41 fixes the bias cluster to a speech model representing a calm tone, and obtains model parameters such that the other cluster represents the difference between the calm tone and the target tone. It is a model learned with constraints.
  • the calm tone prediction model 31 and the tone conversion prediction model 41 are associated on a one-to-one basis, but two or more types of tone conversion prediction models 41 are added to one calm tone prediction model 31. You may associate.
  • the number of clusters of the tone conversion prediction model 41 in this case is the sum of the number of target tone and the bias cluster. That is, the tone conversion prediction model 41 in this case is constrained so that model parameters can be obtained such that each cluster represents a difference between a calm tone and each target tone, as in the case of one type of target tone. It is a learned model.
  • the determination unit 2 calculates the distance between the calm tone data (HSMM) and the calm tone prediction model 31 using a predetermined distance function. Specifically, the determination unit 2 determines the distance between the calm tone data (HSMM) and the calm tone prediction model 31, for example, an average vector of the calm tone data (HSMM) and an average vector of the calm tone prediction model 31. Calculate by distance.
  • the distance function is a function for calculating, for example, the Euclidean distance, the Mahalanobis distance, the Batachariya distance, the Herringer distance, and the like. Also, Symmetric Kullback-Leibler divergence may be used as a measure instead of the distance function.
  • the determination unit 2 determines that the calm tone prediction model 31 that is closest to the calm tone data (HSMM) is the calm tone prediction model 31 that is most similar to the calm tone data (HSMM). And the determination part 2 determines the tone conversion prediction model 41 matched with the calm tone prediction model 31 with the nearest distance with calm tone data (HSMM) as a prediction parameter.
  • the determination unit 2 may determine the prediction parameter using one distance function, or may determine the prediction parameter using a plurality of distance functions.
  • the determination unit 2 may determine a prediction parameter from a plurality of distance functions, for example, by weighting or prioritizing the distance obtained by each distance function.
  • the determination unit 2 transmits the prediction parameter to the prediction unit 3.
  • the prediction unit 3 receives the prediction parameter from the determination unit 2.
  • the prediction unit 3 predicts a tone conversion model 22 that converts calm tone data (HSMM) into a target tone using prediction parameters.
  • HSMM calm tone data
  • FIG. 3 is a flowchart showing an example of the voice processing method of the first embodiment.
  • the input unit 1 accepts calm tone data (HSMM) representing speech of a speaker's calm tone (step S1).
  • the determination unit 2 calculates the distance between the calm tone data (HSMM) and the calm tone prediction model 31 using a predetermined distance function (step S2).
  • the determination unit 2 determines the tone conversion prediction model 41 associated with the calm tone prediction model 31 that is closest to the calm tone data (HSMM) as a prediction parameter (step S3).
  • the prediction unit 3 predicts a tone conversion model 22 that converts calm tone data (HSMM) into a target tone using the prediction parameter (step S4).
  • the tone conversion prediction model 41 associated with the calm tone prediction model 31 in which the determination unit 2 is closest to the calm tone data (HSMM) Determine the prediction parameter.
  • the prediction unit 3 predicts the tone conversion model 22 that converts the calm tone of the speaker into the target tone using the prediction parameter.
  • the speech processing apparatus 100 according to the modification of the first embodiment is different from the speech processing apparatus 100 of the first embodiment in the format of calm tone data received by the input unit 1.
  • the description of the configuration of the speech processing apparatus 100 according to the modified example of the first embodiment is the same as the configuration of the first embodiment (see FIG. 1), and will be omitted. In the description of the modified example of the first embodiment, portions different from the first embodiment will be described.
  • the input unit 1 accepts calm tone data representing the speech of the speaker's calm tone.
  • the calm tone data of the modified example of the first embodiment includes acoustic feature data of speech of the speaker's calm tone and language attribute data of the speech of the calm tone.
  • the acoustic feature data is data indicating the characteristics of the voice obtained by analyzing the voice.
  • the acoustic feature data is parameters related to prosody extracted from speech uttered by a person, and parameters extracted from a speech spectrum representing phonemes and voice colors.
  • the parameter related to the prosody is a time sequence of the fundamental frequency representing the pitch of the voice.
  • Parameters representing phonemes and timbres represent time series such as cepstrum, mel cepstrum, LPC, mel LPC, LSP, mel LSP, etc., indices representing the ratio of periodicity / non-periodicity of speech, and time changes of these acoustic data It is a feature quantity.
  • Language attribute data is data indicating language attributes obtained by analyzing speech or text.
  • the language attribute data is data obtained from character string information of spoken speech, for example.
  • language attribute data includes phonemes, pronunciation method information, phrase end position, sentence length, expiratory paragraph length, expiratory paragraph position, accent phrase length, accent phrase position, word length, word position, mora length, These include the mora position, accent type, dependency information, grammatical information, and phoneme boundary information regarding the preceding, preceding, succeeding, and succeeding features.
  • the determination unit 2 receives calm tone data (acoustic feature data and language attribute data) from the input unit 1.
  • the determination unit 2 determines a prediction parameter from the prediction parameter model 21 according to calm tone data (acoustic feature data and language attribute data).
  • the determination unit 2 calculates the likelihood of the calm tone prediction model 31 for the calm tone data (acoustic feature data and language attribute data).
  • ⁇ Likelihood is an index that quantifies how well the statistical model matches the input data.
  • the likelihood is represented by a probability P ( ⁇
  • the determination unit 2 determines the tone conversion prediction model 41 associated with the calm tone prediction model 31 selected based on the likelihood as a prediction parameter. That is, the determination unit 2 determines the tone conversion prediction model 41 associated with the calm tone prediction model 31 having the highest likelihood for the calm tone data (acoustic feature data and language attribute data) as a prediction parameter.
  • the prediction unit 3 receives the prediction parameter from the determination unit 2.
  • the prediction unit 3 predicts a tone conversion model 22 that converts calm tone data (acoustic feature data and language attribute data) into a target tone using prediction parameters.
  • the determination unit 2 corresponds to the calm tone prediction model 31 having the highest likelihood for calm tone data (acoustic feature data and language attribute data).
  • the attached tone conversion prediction model 41 is determined as a prediction parameter.
  • the prediction unit 3 predicts the tone conversion model 22 that converts the calm tone of the speaker into the target tone using the prediction parameter. This prevents the deterioration of the quality of the synthesized speech that is output even if the calm tone data (acoustic feature data and language attribute data) of any speaker is converted into data that represents a different tone by speaker adaptation technology. Can do.
  • the speech processing apparatus 100 according to the second embodiment is different from the speech processing apparatus 100 according to the first embodiment in the prediction parameter determination method by the determination unit 2.
  • the description of the configuration of the speech processing apparatus 100 of the second embodiment is the same as the configuration of the first embodiment (see FIG. 1), and will be omitted. In the description of the second embodiment, portions different from the first embodiment will be described.
  • the decision unit 2 receives calm tone data (HSMM) from the input unit 1.
  • the determination unit 2 determines a prediction parameter from the prediction parameter model 21 according to calm tone data (HSMM). Specifically, the determination unit 2 determines a prediction parameter suitable for calm tone data (HSMM) from the calm tone prediction model 31 and the tone conversion prediction model 41 using a predetermined prediction function.
  • the predetermined prediction function is, for example, a linear transformation function such as multiple regression and affine transformation, or a nonlinear transformation function such as kernel regression and neural network.
  • a prediction function for determining a prediction parameter for predicting two or more different tone conversion models 22 may be used at the same time.
  • a predetermined prediction function is a multiple linear regression function and a prediction parameter for predicting one type of tone conversion model 22 is determined.
  • the calm tone prediction model 31 of S speakers is the same. That is, it is assumed that the number of parameters of all the calm tone prediction models 31 and the corresponding relationship are uniquely determined. Therefore, the calm tone prediction model 31 of the second embodiment is constructed by speaker adaptation using maximum likelihood linear regression.
  • the tone conversion prediction model 41 of the second embodiment performs the shared decision tree context clustering described in Non-Patent Document 1 on the speech data of the target tone of the S speakers and the speech model of the calm tone.
  • the structure of the model it is created from the speech data of the target tone of the S speakers and the speech model of the calm tone.
  • FIG. 4 is a flowchart illustrating an example of a prediction parameter determination method according to the second embodiment.
  • the determination unit 2 calculates a super vector (step S11). Specifically, the determination unit 2 first extracts a parameter relating to the average of the calm tone prediction model 31-1 and a parameter relating to the average of the tone conversion prediction model 41-1. Then, the determination unit 2 combines the parameter related to the average of the calm tone prediction model 31-1 and the parameter related to the average of the tone conversion prediction model 41-1 to thereby obtain the calm tone prediction model 31-1 and the tone conversion prediction. A super vector indicating the average of the model 41-1 and the model 41-1 is calculated. Similarly, the determination unit 2 calculates super vectors for the calm tone prediction model 31-2 and the tone conversion prediction model 41-2, ..., the calm tone prediction model 31-S and the tone conversion prediction model 41-S. .
  • the determination unit 2 performs eigenvalue decomposition or singular value decomposition on the S super vectors to extract an average vector (bias vector) of the super vectors and S-1 eigen vectors (step S12). .
  • the determination unit 2 creates a prediction function using the average vector and the eigenvector as shown in the following formula (1) (step S13).
  • ⁇ b is an average vector of calm tone data (HSMM).
  • ⁇ c is an average vector of the tone conversion model 22.
  • e b (s) is the s-th eigenvector of the calm tone prediction model 31.
  • e c (s) is the s-th eigenvector of the tone conversion prediction model 41.
  • e b (0) is a vector indicating the dimension component corresponding to the calm tone prediction model 31 of the bias vector.
  • e c (0) is a vector indicating a dimension component corresponding to the tone vector conversion prediction model 41 of the bias vector.
  • w (s) is a coefficient (weight) of the sth eigenvector.
  • the determination unit 2 determines the coefficient (weight) w (s) of the prediction function represented by the equation (1) (step S14). Specifically, the determination unit 2 determines a combination (coefficient (weight)) w (s) of the prediction function (the following formula (3)) by the following formula (2).
  • the determination unit 2 calculates the linear sum of the average vector ⁇ b of the calm tone data (HSMM), the eigenvector e b of the calm tone prediction model 31 and the bias vector e b (0) of the calm tone prediction model 31 (the right side of Expression (1)).
  • the weight w (s) is determined so that the difference between the first component and the second component is minimized.
  • the prediction unit 3 of the second embodiment calculates the average of the tone conversion model 22 from the combination of the coefficient (weight) w (s) of the prediction function determined by Expression (2) (Expression (3)) and Expression (1). to predict the vector ⁇ c. That prediction unit 3 using predictive function expressed by the following equation (4), to predict the mean vector mu c of tone conversion model 22.
  • FIG. 5 is a conceptual diagram of the prediction function of the second embodiment.
  • the determination unit 2 predicts the tone conversion model 22 of the calm tone data (HSMM) from the plurality of calm tone prediction models 31 and the plurality of tone conversion prediction models 41. 4)) is determined as a prediction parameter. Then, the prediction unit 3 uses the prediction parameter to predict the tone conversion model 22 that converts the calm tone of the speaker into the target tone.
  • the prediction unit 3 uses the prediction parameter to predict the tone conversion model 22 that converts the calm tone of the speaker into the target tone.
  • the speech processing apparatus 100 of the second embodiment even if the calm tone data (HSMM) of an arbitrary speaker is converted into data representing a different tone depending on the speaker adaptation technique, it is output. Degradation of the quality of synthesized speech can be prevented.
  • HSMM calm tone data
  • the speech processing apparatus 100 according to the modification of the second embodiment is different from the speech processing apparatus 100 of the second embodiment in the format of calm tone data received by the input unit 1.
  • the description of the configuration of the speech processing apparatus 100 according to the modified example of the second embodiment is the same as the configuration of the first embodiment (see FIG. 1), and will be omitted. In the description of the modified example of the second embodiment, portions different from the second embodiment will be described.
  • the input unit 1 accepts calm tone data representing the speech of the speaker's calm tone.
  • the calm tone data of the modified example of the second embodiment includes the acoustic feature data of the speech of the speaker's calm tone and the language attribute data of the speech of the calm tone.
  • the description of the acoustic feature quantity data and the language attribute data is the same as the description of the modified example of the first embodiment, and is omitted.
  • the determination unit 2 receives calm tone data (acoustic feature data and language attribute data) from the input unit 1.
  • the determination unit 2 determines a prediction parameter from the prediction parameter model 21 according to calm tone data (acoustic feature data and language attribute data).
  • the determination unit 2 creates the prediction function of Expression (1) in the same manner as in the case of the speech processing apparatus 100 of the second embodiment.
  • the determination unit 2 of the modified example of the second embodiment uses the cluster adaptive learning described in Non-Patent Document 2, and uses the following formulas (5) and (6) to determine the weight w (s ) Combination (formula (3)) is determined.
  • N (;) indicates a normal distribution.
  • ⁇ indicates a covariance matrix.
  • the prediction unit 3 calculates the average vector of the tone conversion model 22 from the combination of the coefficients (weights) w (s) of the prediction function determined by the equations (5) and (6) (equation (3)) and the equation (1). to predict the ⁇ c. That prediction unit 3 predicts the mean vector mu c of tone conversion model 22 by equation (4).
  • the determination unit 2 includes a plurality of calm tone prediction models 31 and a plurality of tone conversion prediction models 41 according to calm tone data.
  • a prediction parameter for predicting the tone conversion model 22 of calm tone data is determined.
  • the prediction unit 3 uses the prediction parameter to predict the tone conversion model 22 that converts the calm tone of the speaker into the target tone. This prevents the deterioration of the quality of the synthesized speech that is output even if the calm tone data (acoustic feature data and language attribute data) of any speaker is converted into data that represents a different tone by speaker adaptation technology. Can do.
  • the speech processing apparatus 100 of the third embodiment is created by the processes of the determination unit 2 and the prediction unit 3 of the first embodiment, the modification example of the first embodiment, the second embodiment, or the modification example of the second embodiment. Speech synthesis is performed using the tone conversion model 22.
  • FIG. 6 is a diagram illustrating an example of the configuration of the speech processing apparatus 100 according to the third embodiment.
  • the speech processing apparatus 100 according to the third embodiment includes an input unit 1, a determination unit 2, a prediction unit 3, an analysis unit 4, a selection unit 5, a generation unit 6, a synthesis unit 7, and an output unit 8.
  • the speech processing apparatus 100 according to the third embodiment stores the prediction parameter model 21, the tone conversion model 22, and the target speaker model 23 in a storage unit that is not illustrated in FIG.
  • the input unit 1 accepts text data or calm tone data.
  • Text data is data indicating an arbitrary character string.
  • the calm tone data is HSMM or acoustic feature data and language attribute data.
  • the tone conversion model 22 is created by the processing of the determination unit 2 and the prediction unit 3. Since the processes of the determination unit 2 and the prediction unit 3 are the same as those of the first embodiment, the modified example of the first embodiment, the second embodiment, or the modified example of the second embodiment, description thereof is omitted.
  • the input unit 1 When the input unit 1 accepts text data, the input unit 1 transmits the text data to the analysis unit 4.
  • the analysis unit 4 receives text data from the input unit 1.
  • the analysis unit 4 analyzes the text data and acquires the language attribute data described above.
  • the analysis unit 4 transmits language attribute data to the selection unit 5.
  • the selection unit 5 receives language attribute data from the analysis unit 4.
  • the selection unit 5 selects model parameters from the tone conversion model 22 and the target speaker model 23 using a predetermined decision tree based on the language attribute data.
  • the tone conversion model 22 is associated with the target speaker model 23 indicating the speech model of the target speaker's calm tone. That is, the tone conversion model 22 is a model parameter for converting the target speaker's calm tone speech model (target speaker model 23) into the target tone.
  • the speech processing apparatus 100 may include a plurality of tone conversion models 22. Thereby, for example, according to an operation input indicating the type of tone from the user, it is possible to perform speech synthesis with different tone. Similarly, the speech processing apparatus 100 may include a plurality of target speaker models 23.
  • the selection unit 5 transmits the model parameter to the generation unit 6.
  • the generation unit 6 receives model parameters from the selection unit 5.
  • the generation unit 6 generates a voice parameter based on the model parameter.
  • the generation unit 6 generates a speech parameter from the model parameter by a method described in Non-Patent Document 2, for example.
  • the generation unit 6 transmits the voice parameter to the synthesis unit 7.
  • the synthesizing unit 7 receives the voice parameter from the generating unit 6.
  • the synthesizer 7 synthesizes a speech waveform from speech parameters.
  • the synthesizer 7 transmits the speech waveform to the output unit 8.
  • the output unit 8 receives a speech waveform from the synthesis unit 7.
  • the output unit 8 outputs sound corresponding to the sound waveform.
  • the output unit 8 outputs, for example, audio as an audio file.
  • the output unit 8 outputs, for example, sound through a sound output device such as a speaker.
  • FIG. 7 is a flowchart showing an example of the voice processing method of the third embodiment.
  • the input unit 1 receives text data (step S21).
  • the analysis part 4 analyzes text data and acquires the above-mentioned language attribute data (step S22).
  • the selection unit 5 selects model parameters from the tone conversion model 22 and the target speaker model 23 using a predetermined decision tree based on the language attribute data (step S23).
  • generation part 6 produces
  • the synthesis unit 7 synthesizes a speech waveform from the speech parameters (step S25).
  • the output unit 8 outputs a sound corresponding to the sound waveform (step S26).
  • the determination unit 2 and the prediction of the first embodiment, the modified example of the first embodiment, the second embodiment, or the modified example of the second embodiment can be synthesized from text data.
  • the voice processing apparatus 100 converts the tone of the input voice data into a target tone, and outputs the converted voice data.
  • the tone conversion model 22 created by the processing of the determination unit 2 and the prediction unit 3 of the modification of the first embodiment or the modification of the second embodiment is used.
  • FIG. 8 is a diagram illustrating an example of the configuration of the speech processing apparatus 100 according to the fourth embodiment.
  • the speech processing apparatus 100 according to the fourth embodiment includes an input unit 1, a determination unit 2, a prediction unit 3, an analysis unit 4, a selection unit 5, a generation unit 6, a synthesis unit 7, an output unit 8, a recognition unit 9, and an extraction unit 10. Is provided.
  • the speech processing apparatus 100 according to the fourth embodiment stores the prediction parameter model 21, the tone conversion model 22, the speech recognition model 24, and the speech data 25 in a storage unit that is not illustrated in FIG.
  • the input unit 1 accepts voice data including arbitrary utterance contents.
  • the input unit 1 receives audio data from an audio input device such as a microphone. Further, the input unit 1 accepts audio data, for example, using an audio file.
  • the input unit 1 transmits voice data to the recognition unit 9 and the extraction unit 10.
  • the recognition unit 9 receives voice data from the input unit 1.
  • the recognition unit 9 obtains text data from the speech data by performing speech recognition using the speech recognition model 24.
  • the speech recognition model 24 is model data necessary for recognizing text data from speech data.
  • the recognizing unit 9 simultaneously recognizes the phoneme time boundary, and also acquires phoneme boundary information indicating the phoneme time boundary.
  • the recognition unit 9 transmits text data and phoneme boundary information to the analysis unit 4.
  • the analysis unit 4 receives text data and phoneme boundary information from the recognition unit 9.
  • the analysis unit 4 analyzes the text data and acquires the language attribute data described above.
  • the analysis unit 4 associates phoneme boundary information with language attribute data.
  • Extraction unit 10 receives audio data from input unit 1.
  • the extraction unit 10 extracts acoustic feature data including parameters related to prosody (basic frequency time series representing voice pitch) or parameters related to prosody and timbre (such as cepstrum) from the speech data.
  • the voice data 25 stores text data and phoneme boundary information recognized by the recognition unit 9, language attribute data acquired by the analysis unit 4, and acoustic feature amount data extracted by the extraction unit 10.
  • the determining unit 2 determines a prediction parameter from the prediction parameter model 21 according to the language attribute data and the acoustic feature amount data included in the audio data 25. Since the description of the process in which the determination part 2 determines a prediction parameter is the same as the process of the determination part 2 of the modification of 1st Embodiment or the modification of 2nd Embodiment, it abbreviate
  • the determination unit 2 transmits the prediction parameter to the prediction unit 3.
  • the prediction unit 3 receives the prediction parameter from the determination unit 2.
  • the prediction unit 3 predicts a tone conversion model 22 that converts the voice represented by the voice data 25 into a target tone using the prediction parameter.
  • the description of the process in which the prediction unit 3 predicts the tone conversion model 22 is the same as the process of the prediction unit 3 in the modified example of the first embodiment or the modified example of the second embodiment, and will not be repeated.
  • the selection unit 5 selects model parameters from the tone conversion model 22 based on the language attribute data included in the voice data 25.
  • the selection unit 5 arranges the model parameters in a time series as a model parameter series based on the phoneme boundary information associated with the language attribute data of the speech data 25.
  • the generating unit 6 adds a model parameter series to the time series of the acoustic feature amount data included in the audio data 25, thereby generating an audio parameter representing the audio obtained by converting the tone of the audio data received by the input unit 1.
  • the generation unit 6 performs a smoothing process using a feature amount that represents a temporal change included in the acoustic feature amount data.
  • the smoothing process includes, for example, a speech parameter generation method based on the likelihood maximization standard used in Non-Patent Document 1 and Non-Patent Document 2, a Kalman filter and a Kalman smoother used in a linear dynamic system, and the like. At this time, shared information in each frame of the acoustic feature data is necessary, but the distributed information may be arbitrarily determined.
  • the generation unit 6 transmits the voice parameter to the synthesis unit 7.
  • the synthesizing unit 7 receives the voice parameter from the generating unit 6.
  • the synthesizer 7 synthesizes a speech waveform from speech parameters.
  • the synthesizer 7 transmits the speech waveform to the output unit 8.
  • the output unit 8 receives a speech waveform from the synthesis unit 7.
  • the output unit 8 outputs sound corresponding to the sound waveform.
  • the output unit 8 outputs, for example, audio as an audio file.
  • the output unit 8 outputs, for example, sound through a sound output device such as a speaker.
  • FIG. 9 is a flowchart showing an example of the voice processing method according to the fourth embodiment.
  • the input unit 1 receives audio data including arbitrary utterance content (step S31).
  • the recognition unit 9 performs voice recognition of the voice data (step S32). Specifically, the recognition unit 9 acquires text data from the speech data by performing speech recognition using the speech recognition model 24. The recognizing unit 9 simultaneously recognizes the phoneme time boundary, and also acquires phoneme boundary information indicating the phoneme time boundary.
  • the analysis unit 4 analyzes the text data (step S33). Specifically, the analysis unit 4 analyzes the text data and acquires the language attribute data described above. The analysis unit 4 associates phoneme boundary information with language attribute data.
  • the extraction unit 10 extracts acoustic feature data including parameters related to prosody (basic frequency time series representing voice pitch) or parameters related to prosody and tone (such as cepstrum) from the speech data (step) S34).
  • the determination unit 2 determines a prediction parameter from the prediction parameter model 21 according to the language attribute data and the acoustic feature amount data (step S35).
  • the prediction unit 3 predicts the tone conversion model 22 that converts the voice represented by the voice data 25 into the target tone using the prediction parameter (step S36).
  • the selection unit 5 selects a model parameter from the tone conversion model 22 (step S37). Specifically, the selection unit 5 selects model parameters from the tone conversion model 22 based on the language attribute data included in the audio data 25. The selection unit 5 arranges the model parameters in a time series as a model parameter series based on the phoneme boundary information associated with the language attribute data of the speech data 25.
  • the generating unit 6 adds the model parameter series to the time series of the acoustic feature amount data included in the audio data 25, so that an audio parameter representing the audio obtained by converting the tone of the audio data received in step S31 is obtained.
  • Generate step S38).
  • the synthesizer 7 synthesizes a speech waveform from the speech parameters (step S39).
  • the output unit 8 outputs a sound corresponding to the sound waveform (step S40).
  • the tone conversion model created by the determination unit 2 and the prediction unit 3 of the modification of the first embodiment or the modification of the second embodiment. 22 can be used to convert the tone of the input voice and output it.
  • the processing of the recognition unit 9, the analysis unit 4, the determination unit 2, and the prediction unit 3 may be performed in real time or in advance.
  • the voice data 25 may be stored as a voice model such as HSMM.
  • the processes of the determination unit 2 and the prediction unit 3 in this case are the same as those of the speech processing device 100 of the first embodiment or the second embodiment.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of the speech processing apparatus 100 according to the first to fourth embodiments.
  • the sound processing apparatus 100 according to the first to fourth embodiments includes a control device 51, a main storage device 52, an auxiliary storage device 53, a display device 54, an input device 55, a communication device 56, a microphone 57, and a speaker 58.
  • the control device 51, main storage device 52, auxiliary storage device 53, display device 54, input device 55, communication device 56, microphone 57 and speaker 58 are connected to each other via a bus 59.
  • the control device 51 executes the program read from the auxiliary storage device 53 to the main storage device 52.
  • the main storage device 52 is a memory such as a ROM (Read Only Memory) or a RAM (Random Access Memory).
  • the auxiliary storage device 53 is an HDD (Hard Disk Drive), an optical drive, or the like.
  • the display device 54 displays the state of the voice processing device 100 and the like.
  • the display device 54 is, for example, a liquid crystal display.
  • the input device 55 is an interface for operating the voice processing device 100.
  • the input device 55 is, for example, a keyboard or a mouse.
  • the communication device 56 is an interface for connecting to a network.
  • the microphone 57 acquires sound.
  • the speaker 58 outputs sound.
  • the programs executed by the sound processing apparatus 100 are files in an installable or executable format, such as a CD-ROM, a memory card, a CD-R, and a DVD (Digital Versatile Disk).
  • the program is recorded on a computer-readable storage medium and provided as a computer program product.
  • the program executed by the speech processing apparatus 100 according to the first to fourth embodiments may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. .
  • the program executed by the speech processing apparatus 100 according to the first to fourth embodiments may be provided via a network such as the Internet without being downloaded.
  • the program of the speech processing apparatus 100 of the first to fourth embodiments may be provided by being incorporated in advance in a ROM or the like.
  • the program executed by the speech processing apparatus 100 of the first to fourth embodiments includes the above-described functional blocks (input unit 1, determination unit 2, prediction unit 3, analysis unit 4, selection unit 5, generation unit 6, synthesis). Unit 7, output unit 8, recognition unit 9 and extraction unit 10).
  • each functional block is loaded onto the main storage device 52 by the control device 51 reading and executing the program from the storage medium. That is, each functional block is generated on the main storage device 52.
  • Note that some or all of the functional blocks described above may not be realized by software, but may be realized by hardware such as an IC (Integrated Circuit).

Abstract

　実施形態の音声処理装置は、入力部と、決定部と、予測部と、を備える。入力部は話者の平静口調の音声を表す平静口調データを受け付ける。決定部は平静口調データに応じて予測パラメータを決定する。予測部は予測パラメータを使用して、話者の平静口調を目標の口調に変換する口調変換モデルを予測する。

Description

音声処理装置、音声処理方法及びプログラム
　本発明の実施形態は音声処理装置、音声処理方法及びプログラムに関する。
　入力された任意のテキストを音声に変換して出力する音声合成が知られている。音声合成では、音声の韻律や音素片を表す音声モデルが必要となる。この音声モデルを統計的に作成する技術として、例えば隠れマルコフモデルに基づく音声合成技術が知られている。
　隠れマルコフモデルに基づく音声合成では、ある目標の話者の音声波形から抽出された、韻律パラメータ及び音声スペクトル等を表現したパラメータと、音素及び文法等の言語属性を表現するコンテキストと、を用いて隠れマルコフモデルを学習する。これにより目標の話者の声色や口調の特徴を再現した合成音声を生成することができる。また隠れマルコフモデルに基づく音声合成では、音声に関するパラメータをモデル化しているため、様々な処理を柔軟に行うことができる。例えば既存の音声モデルと、ある話者の目標の口調を表わす少量の音声データと、から話者適応技術により当該話者の目標の口調の音声モデルを作成することができる。
特開２０１１－２８１３０号公報
Ｊｕｎｉｃｈｉ　ＹＡＭＡＧＩＳＨＩ　ａｎｄ　Ｔａｋａｏ　ＫＯＢＡＹＡＳＨＩ　"Ａｖｅｒａｇｅ－Ｖｏｉｃｅ－Ｂａｓｅｄ　Ｓｐｅｅｃｈ　Ｓｙｎｔｈｅｓｉｓ　Ｕｓｉｎｇ　ＨＳＭＭ－Ｂａｓｅｄ　Ｓｐｅａｋｅｒ　Ａｄａｐｔａｔｉｏｎ　ａｎｄ　Ａｄａｐｔｉｖｅ　Ｔｒａｉｎｉｎｇ，"　ＩＥＩＣＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｓｙｓｔｅｍｓ　Ｖｏｌ．Ｅ９０－Ｄ　Ｎｏ．２　ｐｐ．５３３－５４３，　２００７ Ｌａｎｇｚｈｏｕ　Ｃｈｅｎ，　Ｎｏｒｂｅｒｔ　Ｂｒａｕｎｓｃｈｗｅｉｌｅｒ，　"Ｕｎｓｕｐｅｒｖｉｓｅｄ　Ｓｐｅａｋｅｒ　ａｎｄ　Ｅｘｐｒｅｓｓｉｏｎ　Ｆａｃｔｏｒｉｚａｔｉｏｎ　ｆｏｒ　Ｍｕｌｔｉ－Ｓｐｅａｋｅｒ　Ｅｘｐｒｅｓｓｉｖｅ　Ｓｙｎｔｈｅｓｉｓ　ｏｆ　Ｅｂｏｏｋｓ，"　Ｐｒｏｃｅｅｄｉｎｇｓ　ｉｎ　Ｉｎｔｅｒｓｐｅｅｃｈ　２０１３，　ｐｐ．　１０４２－１０４５，　２０１３
　しかしながら従来の技術では、任意の話者の平静口調を表すデータを、話者適応技術によって異なる口調を表すデータに変換すると、出力される合成音声の品質が劣化する場合があった。
　実施形態の音声処理装置は、入力部と、決定部と、予測部と、を備える。入力部は話者の平静口調の音声を表す平静口調データを受け付ける。決定部は前記平静口調データに応じて予測パラメータを決定する。予測部は前記予測パラメータを使用して、前記話者の平静口調を目標の口調に変換する口調変換モデルを予測する。
第１実施形態の音声処理装置の構成の例を示す図。 第１実施形態の予測パラメータモデルの構成の例を示す図。 第１実施形態の音声処理方法の例を示すフローチャート。 第２実施形態の予測パラメータの決定方法の例を示すフローチャート。 第２実施形態の予測関数の概念図。 第３実施形態の音声処理装置の構成の例を示す図。 第３実施形態の音声処理方法の例を示すフローチャート。 第４実施形態の音声処理装置の構成の例を示す図。 第４実施形態の音声処理方法の例を示すフローチャート。 第１乃至第４実施形態の音声処理装置のハードウェア構成の例を示す図。
（第１実施形態）
　図１は第１実施形態の音声処理装置１００の構成の例を示す図である。第１実施形態の音声処理装置１００は、入力部１、決定部２及び予測部３を備える。また第１実施形態の音声処理装置１００は、図１では図示されていない記憶部に、予測パラメータモデル２１及び口調変換モデル２２を記憶する。なお予測パラメータモデル２１は予め音声処理装置１００の記憶部に記憶されているが、口調変換モデル２２は予測部３により記憶される。
　入力部１は話者の平静口調の音声を表す平静口調データを受け付ける。第１実施形態の平静口調データは、話者の平静口調の音声の特徴を表す音声モデルである。音声モデルは音響特徴量データから抽出されたパラメータを、コンテキスト（言語属性データ）に基づいて統計的にモデル化した確率モデルである。音響特徴量データは、例えば韻律、発話の継続長、及び、音韻や声色を表す音声スペクトル等である。
　音声モデルは、具体的には、例えば隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）、及び隠れセミマルコフモデル（ＨＳＭＭ：Ｈｉｄｄｅｎ　Ｓｅｍｉ－Ｍａｒｋｏｖ　Ｍｏｄｅｌ）等である。以下、第１実施形態の説明では、平静口調データがＨＳＭＭである場合について説明する。
　入力部１は平静口調データ（ＨＳＭＭ）を決定部２及び予測部３に送信する。
　決定部２は入力部１から平静口調データ（ＨＳＭＭ）を受信する。決定部２は平静口調データ（ＨＳＭＭ）に応じて予測パラメータモデル２１から予測パラメータを決定する。
　ここで予測パラメータモデル２１について説明する。
　図２は第１実施形態の予測パラメータモデル２１の構成の例を示す図である。予測パラメータモデル２１は、複数の平静口調予測モデル３１（平静口調予測モデル３１－１、平静口調予測モデル３１－２、・・・、平静口調予測モデル３１－Ｓ）と、口調変換予測モデル４１（口調変換予測モデル４１－１、口調変換予測モデル４１－２、・・・、口調変換予測モデル４１－Ｓ）とを含む。それぞれの平静口調予測モデル３１には、目標の口調に変換するために最適化された口調変換予測モデル４１が対応付けられている。
　平静口調予測モデル３１－１、平静口調予測モデル３１－２、・・・、平静口調予測モデル３１－ＳはＳ人の話者の平静口調の音声モデルである。平静口調予測モデル３１は、例えば話者の平静口調の音響特徴量データと、話者の平静口調の言語属性データと、から学習されたＨＳＭＭである。なお平静口調予測モデル３１は非特許文献１の話者適応技術により生成されたＨＳＭＭ、及び非特許文献１に記載の分布選択用の決定木により構成されていてもよい。
　口調変換予測モデル４１は、平静口調の変換先の１種類の口調（以下、平静口調の変換先の口調を「目標口調」という。）の音響特徴量データ、及び１種類の目標口調の言語属性データを用いて、非特許文献２に記載のクラスタ適応学習（ＣＡＴ：Ｃｌｕｓｔｅｒ　Ａｄａｐｔｉｖｅ　Ｔｒａｉｎｉｎｇ）に基づいて学習されたモデルである。ただし口調変換予測モデル４１はバイアスクラスタを含めて、クラスタの数が２つのモデルである。具体的には、口調変換予測モデル４１は、バイアスクラスタを、平静口調を表す音声モデルに固定し、もう１つのクラスタが平静口調と目標口調との差を表すようなモデルパラメータが得られるように制約を付けて学習されたモデルである。
　なお図２の例では、平静口調予測モデル３１と口調変換予測モデル４１とが１対１に対応付けられているが、１つの平静口調予測モデル３１に、２種類以上の口調変換予測モデル４１を対応付けてもよい。この場合の口調変換予測モデル４１のクラスタ数は、目標口調の数とバイアスクラスタとの合計である。すなわち、この場合の口調変換予測モデル４１は、目標口調が１種類の場合と同様に、各クラスタが平静口調と各目標口調との差を表すようなモデルパラメータが得られるように制約を付けて学習されたモデルである。
　図１に戻り、決定部２が予測パラメータを決定する方法について説明する。まず決定部２は平静口調データ（ＨＳＭＭ）と、平静口調予測モデル３１と、の距離を所定の距離関数によって算出する。具体的には、決定部２は平静口調データ（ＨＳＭＭ）と、平静口調予測モデル３１との距離を、例えば平静口調データ（ＨＳＭＭ）の平均ベクトルと、平静口調予測モデル３１の平均ベクトルと、の距離により算出する。
　ここで、距離関数は、例えばユークリッド距離、マハラノビス距離、バタチャリヤ距離及びヘリンジャー距離等を算出する関数である。また距離関数の代わりの尺度としてＳｙｍｍｅｔｒｉｃ　Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ　ｄｉｖｅｒｇｅｎｃｅが用いられてもよい。
　決定部２は平静口調データ（ＨＳＭＭ）に距離が最も近い平静口調予測モデル３１を、平静口調データ（ＨＳＭＭ）に最も類似する平静口調予測モデル３１と判断する。そして決定部２は平静口調データ（ＨＳＭＭ）との距離が最も近い平静口調予測モデル３１に対応付けられた口調変換予測モデル４１を、予測パラメータに決定する。
　なお決定部２は、１つの距離関数を使用して予測パラメータを決定してもよいし、複数の距離関数を使用して予測パラメータを決定してもよい。決定部２は、例えば各距離関数により得られた距離に重み付け、又は優先度付け等を行うことにより、複数の距離関数から予測パラメータを決定してもよい。
　決定部２は予測パラメータを予測部３に送信する。
　予測部３は決定部２から予測パラメータを受信する。予測部３は予測パラメータを使用して、平静口調データ（ＨＳＭＭ）を目標の口調に変換する口調変換モデル２２を予測する。
　図３は第１実施形態の音声処理方法の例を示すフローチャートである。はじめに、入力部１が、話者の平静口調の音声を表す平静口調データ（ＨＳＭＭ）を受け付ける（ステップＳ１）。次に、決定部２が、平静口調データ（ＨＳＭＭ）と、平静口調予測モデル３１と、の距離を所定の距離関数によって算出する（ステップＳ２）。次に、決定部２が、平静口調データ（ＨＳＭＭ）との距離が最も近い平静口調予測モデル３１に対応付けられた口調変換予測モデル４１を、予測パラメータに決定する（ステップＳ３）。次に、予測部３は予測パラメータを使用して、平静口調データ（ＨＳＭＭ）を目標の口調に変換する口調変換モデル２２を予測する（ステップＳ４）。
　以上説明したように、第１実施形態の音声処理装置１００では、決定部２が平静口調データ（ＨＳＭＭ）との距離が最も近い平静口調予測モデル３１に対応付けられた口調変換予測モデル４１を、予測パラメータに決定する。そして予測部３が予測パラメータを使用して、話者の平静口調を目標の口調に変換する口調変換モデル２２を予測する。これにより任意の話者の平静口調データ（ＨＳＭＭ）を、話者適応技術によって異なる口調を表すデータに変換しても、出力される合成音声の品質の劣化を防ぐことができる。
（第１実施形態の変形例）
　次に第１実施形態の変形例について説明する。第１実施形態の変形例の音声処理装置１００は、入力部１が受け付ける平静口調データの形式が第１実施形態の音声処理装置１００と異なる。第１実施形態の変形例の音声処理装置１００の構成の説明は、第１実施形態の構成と同じ（図１参照）なので省略する。第１実施形態の変形例の説明では、第１実施形態と異なる箇所について説明する。
　入力部１は話者の平静口調の音声を表す平静口調データを受け付ける。第１実施形態の変形例の平静口調データは、話者の平静口調の音声の音響特徴量データと、平静口調の音声の言語属性データと、を含む。
　音響特徴量データは、音声を分析することにより得られた音声の特徴を示すデータである。具体的には、音響特徴量データは、人が発話した音声から抽出した韻律に関するパラメータ、及び、音韻や声色を表す音声スペクトルから抽出したパラメータである。韻律に関するパラメータは、声の高さを表す基本周波数の時間系列である。音韻や音色を表すパラメータは、ケプストラム、メルケプストラム、ＬＰＣ、メルＬＰＣ、ＬＳＰ、メルＬＳＰ等の時間系列、音声の周期・非周期性の割合を表す指標、及び、これら音響データの時間変化を表す特徴量である。
　言語属性データは、音声又はテキストを分析することにより得られた言語の属性を示すデータである。言語属性データは、例えば発話された音声の文字列情報から得られるデータである。具体的には、言語属性データは、音素、発音方法に関わる情報、句末位置、文長、呼気段落長、呼気段落位置、アクセント句長、アクセント句位置、単語長、単語位置、モーラ長、モーラ位置、アクセント型、係り受け情報、文法情報、及び、各特徴の先行、先々行、後続、後々続に関する音素境界情報等である。
　決定部２は入力部１から平静口調データ（音響特徴量データ及び言語属性データ）を受信する。決定部２は平静口調データ（音響特徴量データ及び言語属性データ）に応じて予測パラメータモデル２１から予測パラメータを決定する。
　具体的には、決定部２は平静口調データ（音響特徴量データ及び言語属性データ）に対する平静口調予測モデル３１の尤度を算出する。
　尤度は、入力データに対して統計モデルがどのくらいデータに合っているかを数値化した指標である。尤度は、確率Ｐ（λ｜Ｘ）（λ：モデルパラメータ、Ｘ：データ）で表される。
　決定部２は尤度に基づいて選択した平静口調予測モデル３１に対応付けられた口調変換予測モデル４１を予測パラメータに決定する。すなわち決定部２は平静口調データ（音響特徴量データ及び言語属性データ）に対する尤度が、最も高い平静口調予測モデル３１に対応付けられた口調変換予測モデル４１を予測パラメータに決定する。
　予測部３は決定部２から予測パラメータを受信する。予測部３は予測パラメータを使用して、平静口調データ（音響特徴量データ及び言語属性データ）を目標の口調に変換する口調変換モデル２２を予測する。
　以上説明したように、第１実施形態の変形例の音声処理装置１００では、決定部２が平静口調データ（音響特徴量データ及び言語属性データ）に対する尤度が最も高い平静口調予測モデル３１に対応付けられた口調変換予測モデル４１を、予測パラメータに決定する。そして予測部３は予測パラメータを使用して、話者の平静口調を目標の口調に変換する口調変換モデル２２を予測する。これにより任意の話者の平静口調データ（音響特徴量データ及び言語属性データ）を、話者適応技術によって異なる口調を表すデータに変換しても、出力される合成音声の品質の劣化を防ぐことができる。
（第２実施形態）
　次に第２実施形態について説明する。第２実施形態の音声処理装置１００は、決定部２による予測パラメータの決定方法が第１実施形態の音声処理装置１００と異なる。第２実施形態の音声処理装置１００の構成の説明は、第１実施形態の構成と同じ（図１参照）なので省略する。第２実施形態の説明では、第１実施形態と異なる箇所について説明する。
　決定部２は入力部１から平静口調データ（ＨＳＭＭ）を受信する。決定部２は平静口調データ（ＨＳＭＭ）に応じて予測パラメータモデル２１から予測パラメータを決定する。具体的には、決定部２は所定の予測関数により、平静口調予測モデル３１及び口調変換予測モデル４１から、平静口調データ（ＨＳＭＭ）に適した予測パラメータを決定する。
　所定の予測関数は、例えば重回帰及びアフィン変換等の線形変換関数、又はカーネル回帰及びニューラルネット等の非線形変換関数である。なお同時に２種類以上の異なる口調変換モデル２２を予測する予測パラメータを決定する予測関数を使用してもよい。
　第２実施形態の説明では、所定の予測関数を重回帰形の線形変換関数とし、１種類の口調変換モデル２２を予測する予測パラメータを決定する場合について説明する。
　なお重回帰形の線形変換を用いる場合では、Ｓ人の話者の平静口調予測モデル３１の構造が一致していることを想定する。すなわち全ての平静口調予測モデル３１のパラメータ数と、その対応関係が一意に決まっていることを想定する。そこで第２実施形態の平静口調予測モデル３１は、最尤線形回帰を用いた話者適応により構築されているものする。
　また同様に、重回帰形の線形変換を用いる場合では、それぞれの話者の口調変換予測モデル４１の構造が一致していることを想定する。そのため第２実施形態の口調変換予測モデル４１は、Ｓ人の話者の目標口調の音声データと、平静口調の音声モデルと、を非特許文献１に記載された共有決定木コンテキストクラスタリングを行うことにより、モデルの構造を共有化した後に、Ｓ人の話者の目標口調の音声データと、平静口調の音声モデルと、から作成される。
　次に第２実施形態の予測パラメータの決定方法について説明する。
　図４は第２実施形態の予測パラメータの決定方法の例を示すフローチャートである。はじめに、決定部２はスーパーベクトルを算出する（ステップＳ１１）。具体的には、まず決定部２は、平静口調予測モデル３１－１の平均に関するパラメータと、口調変換予測モデル４１－１の平均に関するパラメータと、を抽出する。そして決定部２が、平静口調予測モデル３１－１の平均に関するパラメータと、口調変換予測モデル４１－１の平均に関するパラメータと、を結合することにより、平静口調予測モデル３１－１と、口調変換予測モデル４１－１と、の平均を示すスーパーベクトルを算出する。同様に、決定部２は、平静口調予測モデル３１－２及び口調変換予測モデル４１－２、・・・、平静口調予測モデル３１－Ｓ及び口調変換予測モデル４１－Ｓについてもスーパーベクトルを算出する。
　次に、決定部２はＳ本のスーパーベクトルに、固有値分解又は特異値分解を行うことにより、スーパーベクトルの平均ベクトル（バイアスベクトル）と、Ｓ－１本の固有ベクトルとを抽出する（ステップＳ１２）。次に、決定部２は平均ベクトルと固有ベクトルとにより、下記式（１）のように予測関数を作成する（ステップＳ１３）。
Figure JPOXMLDOC01-appb-M000001
　ここで、μｂは平静口調データ（ＨＳＭＭ）の平均ベクトルである。μｃは口調変換モデル２２の平均ベクトルである。ｅｂ （ｓ）は平静口調予測モデル３１のｓ番目の固有ベクトルである。ｅｃ （ｓ）は口調変換予測モデル４１のｓ番目の固有ベクトルである。ｅｂ （０）はバイアスベクトルの平静口調予測モデル３１に対応する次元の成分を示すベクトルである。ｅｃ （０）はバイアスベクトルの口調変換予測モデル４１に対応する次元の成分を示すベクトルである。ｗ（ｓ）はｓ番目の固有ベクトルの係数（重み）である。
　次に、決定部２は式（１）により表される予測関数の係数（重み）ｗ（ｓ）を決定する（ステップＳ１４）。具体的には、決定部２は下記式（２）により予測関数の係数（重み）ｗ（ｓ）の組み合わせ（下記式（３））を決定する。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　すなわち決定部２は平静口調データ（ＨＳＭＭ）の平均ベクトルμｂと、平静口調予測モデル３１の固有ベクトルｅｂ及び平静口調予測モデル３１のバイアスベクトルｅｂ （０）の線形和（式（１）右辺の第１成分参照）と、の差が最小となるように重みｗ（ｓ）を決定する。
　第２実施形態の予測部３は、式（２）により決定した予測関数の係数（重み）ｗ（ｓ）の組み合わせ（式（３））、及び式（１）から、口調変換モデル２２の平均ベクトルμｃを予測する。すなわち予測部３は下記式（４）により表現される予測関数を使用して、口調変換モデル２２の平均ベクトルμｃを予測する。
Figure JPOXMLDOC01-appb-M000004
　図５は第２実施形態の予測関数の概念図である。決定部２が平静口調データ２０に応じて、複数の平静口調予測モデル３１と、複数の口調変換予測モデル４１とから、平静口調データ（ＨＳＭＭ）の口調変換モデル２２を予測する予測関数（式（４））を、予測パラメータとして決定する。そして予測部３が当該予測パラメータを使用して、話者の平静口調を目標の口調に変換する口調変換モデル２２を予測する。
　以上説明したように、第２実施形態の音声処理装置１００によれば、任意の話者の平静口調データ（ＨＳＭＭ）を、話者適応技術によって異なる口調を表すデータに変換しても、出力される合成音声の品質の劣化を防ぐことができる。
（第２実施形態の変形例）
　次に第２実施形態の変形例について説明する。第２実施形態の変形例の音声処理装置１００は、入力部１が受け付ける平静口調データの形式が第２実施形態の音声処理装置１００と異なる。第２実施形態の変形例の音声処理装置１００の構成の説明は、第１実施形態の構成と同じ（図１参照）なので省略する。第２実施形態の変形例の説明では、第２実施形態と異なる箇所について説明する。
　入力部１は話者の平静口調の音声を表す平静口調データを受け付ける。第２実施形態の変形例の平静口調データは、話者の平静口調の音声の音響特徴量データと、平静口調の音声の言語属性データと、を含む。音響特徴量データ及び言語属性データの説明は第１実施形態の変形例の説明と同じなので省略する。
　決定部２は入力部１から平静口調データ（音響特徴量データ及び言語属性データ）を受信する。決定部２は平静口調データ（音響特徴量データ及び言語属性データ）に応じて予測パラメータモデル２１から予測パラメータを決定する。
　具体的には、決定部２は第２実施形態の音声処理装置１００の場合と同様にして、式（１）の予測関数を作成する。第２実施形態の変形例の決定部２は、非特許文献２に記載のクラスタ適応学習を使用し、下記式（５）及び（６）により、尤度が最大となるように重みｗ（ｓ）の組み合わせ（式（３））を決定する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここでＮ（；）は正規分布を示す。Σは共分散行列を示す。
　予測部３は、式（５）及び（６）により決定した予測関数の係数（重み）ｗ（ｓ）の組み合わせ（式（３））、及び式（１）から、口調変換モデル２２の平均ベクトルμｃを予測する。すなわち予測部３は式（４）により口調変換モデル２２の平均ベクトルμｃを予測する。
　以上説明したように、第２実施形態の変形例の音声処理装置１００では、決定部２が平静口調データに応じて、複数の平静口調予測モデル３１と、複数の口調変換予測モデル４１とから、平静口調データ（音響特徴量データ及び言語属性データ）の口調変換モデル２２を予測する予測パラメータを決定する。そして予測部３が当該予測パラメータを使用して、話者の平静口調を目標の口調に変換する口調変換モデル２２を予測する。これにより任意の話者の平静口調データ（音響特徴量データ及び言語属性データ）を、話者適応技術によって異なる口調を表すデータに変換しても、出力される合成音声の品質の劣化を防ぐことができる。
（第３実施形態）
　次に第３実施形態について説明する。第３実施形態の音声処理装置１００は、第１実施形態、第１実施形態の変形例、第２実施形態又は第２実施形態の変形例の決定部２及び予測部３の処理により作成された口調変換モデル２２を使用して音声合成を行う。
　図６は第３実施形態の音声処理装置１００の構成の例を示す図である。第３実施形態の音声処理装置１００は、入力部１、決定部２、予測部３、解析部４、選択部５、生成部６、合成部７及び出力部８を備える。また第３実施形態の音声処理装置１００は、図６では図示されていない記憶部に、予測パラメータモデル２１、口調変換モデル２２及び目標話者モデル２３を記憶する。
　入力部１はテキストデータ又は平静口調データを受け付ける。テキストデータは任意の文字列を示すデータである。平静口調データは、ＨＳＭＭ、又は、音響特徴量データ及び言語属性データである。
　入力部１が平静口調データを受け付けた場合、決定部２及び予測部３の処理により口調変換モデル２２が作成される。決定部２及び予測部３の処理は、第１実施形態、第１実施形態の変形例、第２実施形態又は第２実施形態の変形例と同じなので説明を省略する。
　入力部１がテキストデータを受け付けた場合、入力部１はテキストデータを解析部４に送信する。
　解析部４は入力部１からテキストデータを受信する。解析部４はテキストデータを解析し、上述の言語属性データを取得する。解析部４は言語属性データを選択部５に送信する。
　選択部５は解析部４から言語属性データを受信する。選択部５は言語属性データに基づいて、所定の決定木により、口調変換モデル２２及び目標話者モデル２３からモデルパラメータを選択する。
　ここで、口調変換モデル２２は、目標の話者の平静口調の音声モデルを示す目標話者モデル２３に関連付けられている。すなわち口調変換モデル２２は、目標話者の平静口調の音声モデル（目標話者モデル２３）を、目標の口調に変換するためのモデルパラメータである。
　なお音声処理装置１００は口調変換モデル２２を複数備えていてもよい。これにより、例えばユーザからの口調の種類を示す操作入力に応じて、異なる口調の音声合成を行うことができる。同様に音声処理装置１００は目標話者モデル２３を複数備えていてもよい。
　選択部５はモデルパラメータを生成部６に送信する。
　生成部６は選択部５からモデルパラメータを受信する。生成部６はモデルパラメータに基づいて音声パラメータを生成する。生成部６は、例えば非特許文献２に記載されている方法によりモデルパラメータから音声パラメータを生成する。生成部６は音声パラメータを合成部７に送信する。
　合成部７は生成部６から音声パラメータを受信する。合成部７は音声パラメータから音声波形を合成する。合成部７は音声波形を出力部８に送信する。
　出力部８は合成部７から音声波形を受信する。出力部８は音声波形に応じた音声を出力する。出力部８は、例えば音声を音声ファイルとして出力する。また出力部８は、例えば音声をスピーカー等の音声出力用デバイスを通じて出力する。
　次に第３実施形態の音声処理方法について説明する。
　図７は第３実施形態の音声処理方法の例を示すフローチャートである。はじめに、入力部１が、テキストデータを受け付ける（ステップＳ２１）。次に、解析部４が、テキストデータを解析し、上述の言語属性データを取得する（ステップＳ２２）。次に、選択部５が、言語属性データに基づいて、所定の決定木により、口調変換モデル２２及び目標話者モデル２３からモデルパラメータを選択する（ステップＳ２３）。次に、生成部６が、モデルパラメータに基づいて音声パラメータを生成する（ステップＳ２４）。次に、合成部７が、音声パラメータから音声波形を合成する（ステップＳ２５）。次に、出力部８が、音声波形に応じた音声を出力する（ステップＳ２６）。
　以上説明したように、第３実施形態の音声処理装置１００によれば、第１実施形態、第１実施形態の変形例、第２実施形態又は第２実施形態の変形例の決定部２及び予測部３により作成された口調変換モデル２２を使用して、テキストデータから音声を合成することができる。
 （第４実施形態）
　次に第４実施形態について説明する。第４実施形態の音声処理装置１００は、入力された音声データの口調を目標の口調に変換し、変換後の音声データを出力する。このとき第１実施形態の変形例、又は第２実施形態の変形例の決定部２及び予測部３の処理により作成された口調変換モデル２２が使用される。
　図８は第４実施形態の音声処理装置１００の構成の例を示す図である。第４実施形態の音声処理装置１００は、入力部１、決定部２、予測部３、解析部４、選択部５、生成部６、合成部７、出力部８、認識部９及び抽出部１０を備える。また第４実施形態の音声処理装置１００は、図８では図示されていない記憶部に、予測パラメータモデル２１、口調変換モデル２２、音声認識用モデル２４及び音声データ２５を記憶する。
　入力部１は任意の発話内容を含む音声データを受け付ける。入力部１は、例えばマイク等の音声入力デバイスから音声データを受け付ける。また入力部１は、例えば音声ファイルにより音声データを受け付ける。入力部１は音声データを認識部９及び抽出部１０に送信する。
　認識部９は入力部１から音声データを受信する。認識部９は音声認識用モデル２４を使用して音声認識を行うことにより、音声データからテキストデータを取得する。ここで、音声認識用モデル２４は、音声データからテキストデータを認識するために必要なモデルデータである。また認識部９は、同時に音素の時間境界を認識し、音素の時間境界を示す音素境界情報も取得する。認識部９はテキストデータ及び音素境界情報を解析部４に送信する。
　解析部４は認識部９からテキストデータ及び音素境界情報を受信する。解析部４はテキストデータを解析し、上述の言語属性データを取得する。また解析部４は言語属性データに音素境界情報を関連付ける。
　抽出部１０は入力部１から音声データを受信する。抽出部１０は音声データから、韻律に関するパラメータ（声の高さを表す基本周波数の時間系列）、又は韻律及び音色に関するパラメータ（ケプストラム等）を含む音響特徴量データを抽出する。
　音声データ２５は、認識部９により認識されたテキストデータ及び音素境界情報、解析部４により取得された言語属性データ、及び、抽出部１０により抽出された音響特徴量データを記憶する。
　決定部２は音声データ２５に含まれる言語属性データ及び音響特徴量データに応じて予測パラメータモデル２１から予測パラメータを決定する。決定部２が予測パラメータを決定する処理の説明は、第１実施形態の変形例、又は第２実施形態の変形例の決定部２の処理と同様なので省略する。決定部２は予測パラメータを予測部３に送信する。
　予測部３は決定部２から予測パラメータを受信する。予測部３は予測パラメータを使用して、音声データ２５が表す音声を目標の口調に変換する口調変換モデル２２を予測する。予測部３が口調変換モデル２２を予測する処理の説明は、第１実施形態の変形例、又は第２実施形態の変形例の予測部３の処理と同様なので省略する。
　選択部５は音声データ２５に含まれる言語属性データに基づいて、口調変換モデル２２からモデルパラメータを選択する。また選択部５は音声データ２５の言語属性データに関連付けられた音素境界情報に基づいて、モデルパラメータをモデルパラメータ系列として時系列に並べる。
　生成部６は音声データ２５に含まれる音響特徴量データの時系列に、モデルパラメータ系列を加算することにより、入力部１で受け付けた音声データの口調を変換した音声を表す音声パラメータを生成する。
　ここで、モデルパラメータ系列はモデルパラメータの種類が変わると離散的に変化する系列であるため、モデルパラメータを加算した音響特徴量データに離散的な変化の影響が生じる。そこで、この影響を緩和するために、生成部６は音響特徴量データに含まれる時間変化を表す特徴量を用いて平滑化処理を行う。平滑化処理は、例えば非特許文献１及び非特許文献２で用いられている尤度最大化基準による音声パラメータ生成法、及び、線形動的システムで用いられるカルマンフィルタ・カルマンスムーザ等である。この際、音響特徴量データの各フレームにおける分散情報が必要となるが、分散情報は任意に決定してよい。
　生成部６は音声パラメータを合成部７に送信する。
　合成部７は生成部６から音声パラメータを受信する。合成部７は音声パラメータから音声波形を合成する。合成部７は音声波形を出力部８に送信する。
　出力部８は合成部７から音声波形を受信する。出力部８は音声波形に応じた音声を出力する。出力部８は、例えば音声を音声ファイルとして出力する。また出力部８は、例えば音声をスピーカー等の音声出力用デバイスを通じて出力する。
　次に第４実施形態の音声処理方法について説明する。
　図９は第４実施形態の音声処理方法の例を示すフローチャートである。はじめに、入力部１が、任意の発話内容を含む音声データを受け付ける（ステップＳ３１）。
　次に、認識部９が、音声データの音声認識を行う（ステップＳ３２）。具体的には、認識部９は音声認識用モデル２４を使用して音声認識を行うことにより、音声データからテキストデータを取得する。また認識部９は、同時に音素の時間境界を認識し、音素の時間境界を示す音素境界情報も取得する。
　次に、解析部４が、テキストデータを解析する（ステップＳ３３）。具体的には、解析部４はテキストデータを解析し、上述の言語属性データを取得する。また解析部４は言語属性データに音素境界情報を関連付ける。
　次に、抽出部１０が、音声データから、韻律に関するパラメータ（声の高さを表す基本周波数の時間系列）、又は韻律及び音色に関するパラメータ（ケプストラム等）を含む音響特徴量データを抽出する（ステップＳ３４）。
　次に、決定部２が、言語属性データ及び音響特徴量データに応じて予測パラメータモデル２１から予測パラメータを決定する（ステップＳ３５）。次に、予測部３が、予測パラメータを使用して、音声データ２５が表す音声を目標の口調に変換する口調変換モデル２２を予測する（ステップＳ３６）。
　次に、選択部５が、口調変換モデル２２からモデルパラメータを選択する（ステップＳ３７）。具体的には、選択部５は音声データ２５に含まれる言語属性データに基づいて、口調変換モデル２２からモデルパラメータを選択する。また選択部５は音声データ２５の言語属性データに関連付けられた音素境界情報に基づいて、モデルパラメータをモデルパラメータ系列として時系列に並べる。
　次に、生成部６が、音声データ２５に含まれる音響特徴量データの時系列に、モデルパラメータ系列を加算することにより、ステップＳ３１で受け付けた音声データの口調を変換した音声を表す音声パラメータを生成する（ステップＳ３８）。
　次に、合成部７が、音声パラメータから音声波形を合成する（ステップＳ３９）。次に、出力部８が、音声波形に応じた音声を出力する（ステップＳ４０）。
　以上説明したように、第４実施形態の音声処理装置１００によれば、第１実施形態の変形例、又は第２実施形態の変形例の決定部２及び予測部３により作成された口調変換モデル２２を使用して、入力された音声の口調を変換して出力することができる。
　なお認識部９、解析部４、決定部２及び予測部３の処理は、リアルタイムに行っても、事前に行ってもよい。
　また音声データ２５を、ＨＳＭＭ等の音声モデルとして記憶してもよい。この場合の決定部２及び予測部３の処理は、第１実施形態又は第２実施形態の音声処理装置１００と同様である。
　最後に、第１乃至第４実施形態の音声処理装置１００のハードウェア構成の例について説明する。
　図１０は第１乃至第４実施形態の音声処理装置１００のハードウェア構成の例を示す図である。第１乃至第４実施形態の音声処理装置１００は、制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５、通信装置５６、マイク５７及びスピーカー５８を備える。制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５、通信装置５６、マイク５７及びスピーカー５８は、バス５９を介して互いに接続されている。
　制御装置５１は補助記憶装置５３から主記憶装置５２に読み出されたプログラムを実行する。主記憶装置５２はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置５３はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）や光学ドライブ等である。
　表示装置５４は音声処理装置１００の状態等を表示する。表示装置５４は、例えば、液晶ディスプレイである。入力装置５５は音声処理装置１００を操作するためのインタフェースである。入力装置５５は、例えばキーボードやマウス等である。通信装置５６はネットワークに接続するためのインタフェースである。
　マイク５７は音声を取得する。スピーカー５８は音声を出力する。
　第１乃至第４実施形態の音声処理装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
　また第１乃至第４実施形態の音声処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第４実施形態の音声処理装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
　また第１乃至第４実施形態の音声処理装置１００のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
　第１乃至第４実施形態の音声処理装置１００で実行されるプログラムは、上述した各機能ブロック（入力部１、決定部２、予測部３、解析部４、選択部５、生成部６、合成部７、出力部８、認識部９及び抽出部１０）を含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置５１が上記記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置５２上にロードされる。すなわち上記各機能ブロックは主記憶装置５２上に生成される。なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (10)

  1. 　話者の平静口調の音声を表す平静口調データを受け付ける入力部と、
    　前記平静口調データに応じて予測パラメータを決定する決定部と、
    　前記予測パラメータを使用して、前記話者の平静口調を目標の口調に変換する口調変換モデルを予測する予測部と、
    　を備える音声処理装置。
  2. 　前記決定部は、複数の平静口調予測モデルに、それぞれの前記平静口調予測モデルを前記目標の口調に変換するために最適化された口調変換予測モデルが対応付けられた予測パラメータモデルに基づいて前記予測パラメータを決定する、
    　請求項１に記載の音声処理装置。
  3. 　前記平静口調データは、前記話者の平静口調の音声の特徴を表す音声モデルであり、
    　前記決定部は、前記音声モデルと、前記平静口調予測モデルと、の距離を所定の距離関数によって算出し、算出された距離に基づいて選択した前記平静口調予測モデルに対応付けられた前記口調変換予測モデルを前記予測パラメータに決定する、
    　請求項２に記載の音声処理装置。
  4. 　前記音声モデルは、隠れマルコフモデル又は隠れセミマルコフモデルであり、
    　前記距離は、前記隠れマルコフモデル又は前記隠れセミマルコフモデルと、前記平静口調予測モデルとの距離である、
    　請求項３に記載の音声処理装置。
  5. 　前記隠れマルコフモデル又は前記隠れセミマルコフモデルと、前記平静口調予測モデルとの距離は、前記隠れマルコフモデルの平均ベクトル又は前記隠れセミマルコフモデルの平均ベクトルと、前記平静口調予測モデルの平均ベクトルとの距離である、
    　請求項４に記載の音声処理装置。
  6. 　前記平静口調データは、前記話者の平静口調の音声を分析することにより得られた音声の特徴を示す音響特徴量データと、前記話者の平静口調の音声を分析することにより得られた言語の属性を示す言語属性データと、であり、
    　前記決定部は、前記音響特徴量データと、前記言語属性データと、に対する前記平静口調予測モデルの尤度を算出し、算出された尤度に基づいて選択した前記平静口調予測モデルに対応付けられた前記口調変換予測モデルを前記予測パラメータに決定する、
    　請求項２に記載の音声処理装置。
  7. 　前記平静口調データは、前記話者の平静口調の音声の特徴を表す音声モデルであり、
    　前記決定部は、前記音声モデルに応じて前記複数の平静口調予測モデルの重みを決定し、前記口調変換予測モデルそれぞれのモデルパラメータに、対応する前記平静口調予測モデルに対して決定された前記重みを付与して前記予測パラメータを決定する、
    　請求項２に記載の音声処理装置。
  8. 　前記平静口調データは、前記話者の平静口調の音声を分析することにより得られた音声の特徴を示す音響特徴量データと、前記話者の平静口調の音声を分析することに得られた言語の属性を示す言語属性データと、であり、
    　前記決定部は、前記音響特徴量データと、前記言語属性データと、に対する前記複数の平静口調予測モデルに基づくベクトルの線形和の尤度を算出し、算出された尤度が最大になる線形和の係数を重みとして決定し、前記口調変換予測モデルそれぞれのモデルパラメータに、対応する前記平静口調予測モデルに対して決定された前記重みを付与して生成された予測パラメータを決定する、
    　請求項２に記載の音声処理装置。
  9. 　入力部が、話者の平静口調の音声を表す平静口調データを受け付けるステップと、
    　決定部が、前記平静口調データに応じて予測パラメータを決定するステップと、
    　予測部が、前記予測パラメータを使用して、前記話者の平静口調を目標の口調に変換する口調変換モデルを予測するステップと、
    　を含む音声処理方法。
  10. 　コンピュータを、
    　話者の平静口調の音声を表す平静口調データを受け付ける入力部と、
    　前記平静口調データに応じて予測パラメータを決定する決定部と、
    　前記予測パラメータを使用して、前記話者の平静口調を目標の口調に変換する口調変換モデルを予測する予測部、
    　として機能させるためのプログラム。
PCT/JP2014/074581 2014-09-17 2014-09-17 音声処理装置、音声処理方法及びプログラム WO2016042626A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2014/074581 WO2016042626A1 (ja) 2014-09-17 2014-09-17 音声処理装置、音声処理方法及びプログラム
JP2016548480A JP6271748B2 (ja) 2014-09-17 2014-09-17 音声処理装置、音声処理方法及びプログラム
US15/433,690 US10157608B2 (en) 2014-09-17 2017-02-15 Device for predicting voice conversion model, method of predicting voice conversion model, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/074581 WO2016042626A1 (ja) 2014-09-17 2014-09-17 音声処理装置、音声処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/433,690 Continuation US10157608B2 (en) 2014-09-17 2017-02-15 Device for predicting voice conversion model, method of predicting voice conversion model, and computer program product

Publications (1)

Publication Number Publication Date
WO2016042626A1 true WO2016042626A1 (ja) 2016-03-24

Family

ID=55532692

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/074581 WO2016042626A1 (ja) 2014-09-17 2014-09-17 音声処理装置、音声処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10157608B2 (ja)
JP (1) JP6271748B2 (ja)
WO (1) WO2016042626A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6461660B2 (ja) * 2015-03-19 2019-01-30 株式会社東芝 検出装置、検出方法およびプログラム
US10304447B2 (en) * 2017-01-25 2019-05-28 International Business Machines Corporation Conflict resolution enhancement system
KR102401512B1 (ko) * 2018-01-11 2022-05-25 네오사피엔스 주식회사 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
US11373633B2 (en) * 2019-09-27 2022-06-28 Amazon Technologies, Inc. Text-to-speech processing using input voice characteristic data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187187A (ja) * 1996-12-24 1998-07-14 Tooa Syst:Kk 音声特徴変換システム
JP2008058696A (ja) * 2006-08-31 2008-03-13 Nara Institute Of Science & Technology 声質変換モデル生成装置及び声質変換システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2868587A1 (fr) 2004-03-31 2005-10-07 France Telecom Procede et systeme de conversion rapides d'un signal vocal
FR2868586A1 (fr) 2004-03-31 2005-10-07 France Telecom Procede et systeme ameliores de conversion d'un signal vocal
JP5275102B2 (ja) * 2009-03-25 2013-08-28 株式会社東芝 音声合成装置及び音声合成方法
JP2011028130A (ja) 2009-07-28 2011-02-10 Panasonic Electric Works Co Ltd 音声合成装置
GB2478314B (en) * 2010-03-02 2012-09-12 Toshiba Res Europ Ltd A speech processor, a speech processing method and a method of training a speech processor
JP5320341B2 (ja) 2010-05-14 2013-10-23 日本電信電話株式会社 発声用テキストセット作成方法、発声用テキストセット作成装置及び発声用テキストセット作成プログラム
JP5194197B2 (ja) * 2011-07-14 2013-05-08 パナソニック株式会社 声質変換システム、声質変換装置及びその方法、声道情報生成装置及びその方法
EP2595143B1 (en) * 2011-11-17 2019-04-24 Svox AG Text to speech synthesis for texts with foreign language inclusions
TWI471854B (zh) * 2012-10-19 2015-02-01 Ind Tech Res Inst 引導式語者調適語音合成的系統與方法及電腦程式產品
US20150046164A1 (en) * 2013-08-07 2015-02-12 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for text-to-speech conversion
US9183830B2 (en) * 2013-11-01 2015-11-10 Google Inc. Method and system for non-parametric voice conversion
WO2015092936A1 (ja) * 2013-12-20 2015-06-25 株式会社東芝 音声合成装置、音声合成方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187187A (ja) * 1996-12-24 1998-07-14 Tooa Syst:Kk 音声特徴変換システム
JP2008058696A (ja) * 2006-08-31 2008-03-13 Nara Institute Of Science & Technology 声質変換モデル生成装置及び声質変換システム

Also Published As

Publication number Publication date
JP6271748B2 (ja) 2018-01-31
JPWO2016042626A1 (ja) 2017-04-27
US10157608B2 (en) 2018-12-18
US20170162187A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
JP5665780B2 (ja) 音声合成装置、方法およびプログラム
JP6523893B2 (ja) 学習装置、音声合成装置、学習方法、音声合成方法、学習プログラム及び音声合成プログラム
JP5631915B2 (ja) 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置
JP7018659B2 (ja) 声質変換装置、声質変換方法およびプログラム
JP6293912B2 (ja) 音声合成装置、音声合成方法およびプログラム
JP2015180966A (ja) 音声処理システム
WO2008038082A2 (en) Prosody conversion
JP2005221678A (ja) 音声認識システム
JP4829477B2 (ja) 声質変換装置および声質変換方法ならびに声質変換プログラム
WO2015092936A1 (ja) 音声合成装置、音声合成方法およびプログラム
JP2008242317A (ja) 韻律パタン生成装置、音声合成装置、プログラムおよび韻律パタン生成方法
US10157608B2 (en) Device for predicting voice conversion model, method of predicting voice conversion model, and computer program product
JP5411845B2 (ja) 音声合成方法、音声合成装置及び音声合成プログラム
JP5807921B2 (ja) 定量的ｆ０パターン生成装置及び方法、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム
JP6631883B2 (ja) クロスリンガル音声合成用モデル学習装置、クロスリンガル音声合成用モデル学習方法、プログラム
WO2010050103A1 (ja) 音声合成装置
JP4922225B2 (ja) 音声認識装置及び音声認識プログラム
JP6840124B2 (ja) 言語処理装置、言語処理プログラムおよび言語処理方法
JP2011197124A (ja) データ作成システム及びプログラム
JP6748607B2 (ja) 音声合成学習装置、音声合成装置、これらの方法及びプログラム
JP6137708B2 (ja) 定量的ｆ０パターン生成装置、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム
JP6234134B2 (ja) 音声合成装置
JP4282609B2 (ja) 基本周波数パターン生成装置、基本周波数パターン生成方法及びプログラム
JP2018004997A (ja) 音声合成装置及びプログラム
Sulír et al. The influence of adaptation database size on the quality of HMM-based synthetic voice based on the large average voice model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14901876

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016548480

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14901876

Country of ref document: EP

Kind code of ref document: A1