WO2007063827A1 - 声質変換システム - Google Patents

声質変換システム Download PDF

Info

Publication number
WO2007063827A1
WO2007063827A1 PCT/JP2006/323667 JP2006323667W WO2007063827A1 WO 2007063827 A1 WO2007063827 A1 WO 2007063827A1 JP 2006323667 W JP2006323667 W JP 2006323667W WO 2007063827 A1 WO2007063827 A1 WO 2007063827A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
speaker
conversion
target
conversion function
Prior art date
Application number
PCT/JP2006/323667
Other languages
English (en)
French (fr)
Inventor
Tsuyoshi Masuda
Original Assignee
Asahi Kasei Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Kabushiki Kaisha filed Critical Asahi Kasei Kabushiki Kaisha
Priority to US12/085,922 priority Critical patent/US8099282B2/en
Priority to EP06833471A priority patent/EP2017832A4/en
Priority to JP2007547942A priority patent/JP4928465B2/ja
Priority to CN2006800453611A priority patent/CN101351841B/zh
Publication of WO2007063827A1 publication Critical patent/WO2007063827A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Definitions

  • the present invention relates to a voice quality conversion learning system, a voice quality conversion system, a voice quality conversion client-server system, and a program for converting a voice of an original speaker into a voice of a target speaker.
  • Patent Document 1 For example, see Patent Document 1 and Non-Patent Document 1).
  • FIG. 22 shows a process of basic voice quality conversion processing.
  • the voice conversion process consists of a learning process and a conversion process.
  • the learning process the voice of the original speaker and the target speaker that is the conversion target are recorded, the learning voice data is stored, and learning is performed on the basis of the learning voice data.
  • any speech uttered by the original speaker is converted to the target speaker's speech using the conversion function generated in the learning process.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-215198
  • Non-Patent Document 1 Alexander Kain and Michael W. Macon "SPECTRAL VOICE CONVE RSION FOR TEXT-TO-SPEECH SYNTHESIS"
  • the target speaker's voice is an anime character, a celebrity voice, a person who has passed away, etc., they will be asked to utter the voice set required for voice quality conversion. Doing this may be costly and impractical or impossible.
  • the present invention has been made to solve the conventional problems as described above.
  • a voice quality conversion learning system a voice quality conversion system, and a voice quality capable of performing voice quality conversion with a small learning burden.
  • a conversion client server system and a program are provided.
  • the invention according to claim 1 is a voice quality conversion system for converting a voice of an original speaker into a voice of a target speaker.
  • a voice quality conversion system characterized by comprising voice quality conversion means for converting into voice of a target speaker through conversion to voice.
  • the voice quality conversion system converts the voice of the original speaker into the voice of the target speaker via conversion to the voice of the intermediate speaker.
  • a conversion function for converting each of the original speaker's voice into an intermediate speaker's voice and a conversion function for converting the intermediate speaker's voice into each of the target speaker's voices are provided. If prepared, each voice of the original speaker can be converted into each voice of the target speaker. Therefore, follow Since the number of conversion functions required is less than converting each of the original speaker's voices directly to each of the target speaker's voices, the voice quality conversion is performed using the conversion functions generated with a small learning burden. Can be performed.
  • the invention according to claim 2 is the voice quality conversion learning system for learning a function for converting the voice of each of the one or more original speakers into the voice of each of the one or more target speakers.
  • the voice quality conversion learning system includes an intermediate conversion function for converting the speech of each of one or more former speakers into the speech of one intermediate speaker, and one intermediate speaker's speech.
  • an intermediate conversion function for converting speech to the speech of each of one or more target speakers
  • target conversion function for converting speech to the speech of each of one or more target speakers
  • Direct target speaker The number of conversion functions to be generated is reduced rather than converting to each speech, enabling voice quality conversion learning to be performed with less burden, intermediate conversion functions and targets generated with less burden of learning.
  • the voice of the original speaker can be converted to the voice of the target speaker.
  • the invention according to claim 3 is the voice conversion learning system according to claim 2, wherein the target conversion function generation unit is configured to convert the speech of the former speaker by the intermediate conversion function. Is generated as the target conversion function.
  • the voice of the original speaker is converted by the intermediate conversion function, and the converted voice is converted by the target conversion function. Therefore, the accuracy of the voice quality at the time of voice quality conversion is higher than the function for converting the recorded actual intermediate speaker's voice into the target speaker's voice as the target conversion function. Becomes higher.
  • the invention according to claim 4 is the voice quality conversion learning system according to claim 2 or 3.
  • the voice of the intermediate speaker used for the learning is a voice output from a voice synthesizer that outputs any voice content with a predetermined voice quality.
  • the voice content of the intermediate speaker used for learning is set as the voice output from the voice synthesizer, so that the same voice content as that of the original speaker or the target speaker is obtained. Power can also be output easily, which increases the convenience that the content of utterances of the original speaker and target speaker during learning is not restricted.
  • the invention according to claim 5 is the voice quality conversion learning system according to any one of claims 2 to 4, wherein the voice of the original speaker used for the learning has an arbitrary voice content.
  • the voice synthesizer power that is output with a predetermined voice quality is also output voice.
  • the voice of the original speaker used for learning as the voice output from the voice synthesizer
  • the same voice content as that of the target speaker can be easily output from the voice synthesizer. can do.
  • the user's speech content during learning is not restricted and the convenience is increased. For example, when the voice of an actor recorded in a movie is used as the target speaker's voice, learning can be easily performed even if only limited voice content is recorded.
  • the invention according to claim 6 is the voice conversion learning system according to any one of claims 2 to 5, wherein the intermediate conversion function generated by the intermediate conversion function generation means and the target conversion It further comprises conversion function synthesis means for generating a function for converting the voice of the original speaker into the voice of the target speaker by synthesizing with the target conversion function generated by the function generation means.
  • the voice of the original speaker is converted to the voice of the target speaker than when the intermediate conversion function and the target conversion function are used.
  • the calculation time required for is reduced. It is also possible to reduce the memory size used during voice quality conversion processing.
  • the invention according to claim 7 uses the function generated by the voice conversion learning system according to any one of claims 2 to 6 to convert the voice of the original speaker to the target speaker.
  • a voice quality conversion system characterized by comprising voice quality conversion means for converting to a voice of the above.
  • the voice quality conversion system uses a function generated with a small learning burden. Thus, it is possible to convert the speech of each of the one or more original speakers into the speech of each of the one or more target speakers.
  • the invention according to claim 8 is the voice quality conversion system according to claim 7, in which the intermediate conversion function is used as the voice quality conversion means from the voice of the former speaker using the intermediate conversion function.
  • the voice quality conversion system can convert the speech of each original speaker into the speech of each target speaker using a smaller number of conversion functions than in the past.
  • the invention according to claim 9 is the voice quality conversion system according to claim 7, wherein the voice quality conversion means uses the function obtained by synthesizing the intermediate conversion function and the target conversion function. The voice of the former speaker is converted into the voice of the target speaker.
  • the voice quality conversion system can convert the voice of the original speaker into the voice of the target speaker using a function in which the intermediate conversion function and the target conversion function are synthesized. Therefore, the calculation time required to convert the voice of the original speaker to the voice of the target speaker is shorter than when using the intermediate conversion function and the target conversion function. It is also possible to reduce the memory size used during voice quality conversion processing.
  • the invention according to claim 10 is the voice quality conversion system according to any one of claims 7 to 9, wherein the voice quality conversion means converts a spectral sequence that is a feature amount of speech.
  • voice quality conversion can be easily performed by converting code data transmitted to an existing speech encoder power speech decoder.
  • the invention according to claim 11 is a voice quality in which a client computer and a server computer are connected via a network, and each voice of one or more users is converted to voice of each of one or more target speakers.
  • the client computer includes user voice acquisition means for acquiring the user voice, and user voice transmission means for transmitting the user voice acquired by the user voice acquisition means to the server computer.
  • the voice of the user in common to each of the one or more users
  • Intermediate conversion function receiving means for receiving from the server computer an intermediate conversion function for converting the voice of one intermediate speaker provided, and for converting the voice of the intermediate speaker into the voice of the target speaker
  • a target conversion function receiving means for receiving the target conversion function by the server computer power, wherein the server computer receives the user's voice from the client computer; and a voice of the intermediate speaker.
  • Intermediate speaker voice storage means for storing in advance, intermediate conversion function generation means for generating an intermediate conversion function for converting the user's voice into the voice of the intermediate speaker, and voice of the target speaker are stored in advance
  • Target speaker voice storage means and target conversion function generation means for generating a target conversion function for converting the voice of the intermediate speaker into the voice of the target speaker
  • An intermediate conversion function transmitting means for transmitting the intermediate conversion function to the client computer; and a target conversion function transmitting means for transmitting the target conversion function to the client computer.
  • the client computer further includes the intermediate conversion function.
  • An intermediate voice quality conversion means for generating the intermediate speaker's voice from the user's voice using the function, and the target speaker's voice power using the target conversion function to generate the target speaker's voice
  • a voice quality conversion client-server system characterized by comprising a target conversion means.
  • the server computer generates the intermediate conversion function and the target conversion function for the user
  • the client computer receives the intermediate conversion function and the target conversion function from the server computer.
  • the client computer can convert the user's voice into the target speaker's voice.
  • the invention according to claim 12 is the intermediate conversion function generation for generating each of the intermediate conversion functions for converting the speech of each of the one or more original speakers into the speech of one intermediate speaker.
  • a target conversion function generating step for generating each of the target conversion functions for converting the voice of one intermediate speaker into the voice of each of the one or more target speakers.
  • an intermediate conversion function and a target conversion function for use in voice quality conversion can be generated by storing the program in one or more computers. Monkey.
  • the invention according to claim 13 is directed to a computer, an intermediate conversion function for converting the voice of the original speaker into the voice of the intermediate speaker, and the voice of the target speaker as the voice of the intermediate speaker.
  • the former speaker's voice power is generated using the transformation function obtaining step for obtaining a target transformation function for conversion into the intermediate function and the intermediate transformation function obtained in the transformation function obtaining step.
  • the target speech from the voice of the intermediate speaker generated in the intermediate voice quality conversion step.
  • the computer converts the voice of the original speaker into the voice of the target speaker through conversion to the voice of the intermediate speaker. Is possible.
  • the voice quality conversion learning system includes an intermediate conversion function for converting the speech of each of one or more former speakers into the speech of one intermediate speaker, and the one intermediate speaker.
  • the target conversion function for converting the voice of one or more target speakers into the voice of each of one or more target speakers
  • the voice quality conversion system can convert the voice of the original speaker into the voice of the target speaker using the function generated by the voice quality conversion learning system.
  • FIG. 1 is a diagram showing a configuration of a voice quality learning / conversion system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a configuration function of a server according to the embodiment.
  • FIG. 4 is a graph for showing an example of wl (f), w2 (f), w ′ (f) according to the embodiment.
  • FIG. 5 is a diagram showing a functional configuration of the mobile terminal according to the embodiment. 6] Each former speaker power according to the embodiment is a diagram for explaining the number of conversion functions required for voice quality conversion to each target speaker.
  • ⁇ 7] is a flowchart showing the flow of learning and storage processing of the conversion function Gy (i) in the server according to the embodiment.
  • FIG. 8 is a flowchart showing a procedure for obtaining the conversion function F for the original speaker X in the mobile terminal according to the embodiment.
  • ⁇ 11 A flowchart for explaining the second pattern of the conversion function generation process and the voice quality conversion process when the conversion function learning method according to the embodiment is a post-conversion feature value conversion method.
  • ⁇ 14 A flowchart for explaining the first pattern of the conversion function generation process and the voice quality conversion process when the conversion function learning method according to the embodiment is the pre-conversion feature value conversion method.
  • FIG. 17 is a graph for comparing cepstrum distortion between the method according to the embodiment and the conventional method.
  • FIG. 18 is a flowchart showing a generation procedure of the conversion function F in the mobile terminal when the mobile terminal according to the modification includes an intermediate conversion function generation unit.
  • FIG. 19 When voice quality of voice input to the mobile phone on the transmission side is converted and output from the mobile phone on the reception side according to the modification, voice conversion is performed on the mobile phone on the transmission side. It is a figure which shows an example of a processing pattern.
  • FIG. 20 shows a case in which voice quality conversion is performed on the receiving side mobile phone when the voice quality of the voice input to the transmitting side mobile phone is converted and output from the receiving side mobile phone according to the modification. It is a figure which shows an example of a processing pattern.
  • FIG. 21 is a diagram showing an example of a processing pattern when voice quality conversion is performed by a server according to a modified example.
  • FIG. 22 is a diagram showing a conventional basic voice quality conversion process.
  • FIG. 23 is a diagram for explaining an example of the number of conversion functions required for converting the voice of the former speaker into the voice of the target speaker in the past.
  • FIG. 1 shows the configuration of a voice quality conversion client server system 1 according to an embodiment of the present invention.
  • FIG. 1 shows the configuration of a voice quality conversion client server system 1 according to an embodiment of the present invention.
  • a voice quality conversion client-server system 1 includes a server (corresponding to a "voice quality conversion learning system") 10 and a plurality of mobile terminals ("voice quality conversion”). "Applicable to the system”).
  • the server 10 learns and generates a conversion function for converting the voice of the user holding the mobile terminal 20 into the voice of the target speaker.
  • the mobile terminal 20 acquires a conversion function from the server 10 and converts the user's voice into the target speaker's voice based on the conversion function.
  • speech represents a waveform or a parameter series extracted from the waveform by some method.
  • the server 10 includes an intermediate conversion function generation unit 101 and a target conversion function generation unit 102. These functions are realized when the CPU mounted on the server 10 executes processing according to the program stored in the storage device.
  • the intermediate conversion function generating unit 101 performs learning based on the voice of the original speaker and the voice of the intermediate speaker, thereby converting the voice of the original speaker into the voice of the intermediate speaker.
  • F (corresponding to “intermediate conversion function”) is generated.
  • the voice of the original speaker and the voice of the intermediate speaker are recorded in advance by uttering and recording the same approximately 50 sentences (one set of voice contents) by the original speaker and the intermediate speaker.
  • a learning method for example, a feature quantity conversion method based on a mixed normal distribution model (GMM) can be used. In addition to this, any known method can be used.
  • GMM mixed normal distribution model
  • the target conversion function generation unit 102 generates a conversion function G (corresponding to "target conversion function") for converting the voice of the intermediate speaker into the voice of the target speaker.
  • the first learning method is a method for learning the correspondence between the recorded feature of the original speaker's voice using the conversion function F and the recorded feature of the target speaker's voice. It is a formula.
  • This first conversion method is called “post-conversion feature conversion method”.
  • the voice of the original speaker is converted by the conversion function F, and the converted voice is converted by the conversion function G to generate the target speaker's voice. Learning can be performed in consideration of the processing procedure at the time of conversion.
  • the second learning method does not take into account the actual voice quality conversion procedure, and includes the recorded voice features of the intermediate speaker and the recorded voice features of the target speaker. This is a method for learning the correspondence between the two. This second conversion method is called “pre-conversion feature conversion method”.
  • the format of the conversion functions F and G is not limited to a mathematical expression, and may be expressed in the form of a conversion table.
  • the conversion function synthesis unit 103 synthesizes the conversion function F generated by the intermediate conversion function generation unit 101 and the conversion function G generated by the target conversion function generation unit 102, so that the voice of the original speaker is synthesized. Generate a function to convert to the target speaker's voice.
  • FIG. 3 shows that the conversion function F) and the conversion function Gy (i) are used to convert the voice of the original speaker x into the voice of the target speaker y (FIG. 3 (a)).
  • the conversion function Hy (x) generated by combining F (x) and the conversion function Gy (i) the speech of the original speaker X is converted to the speech of the target speaker y
  • Fig. 3 (b ) Is a diagram showing the procedure.
  • the conversion function Hy (X) compared to using the conversion function F (x) and the conversion function Gy (i)
  • the voice of the original speaker X is changed to the voice of the target speaker y.
  • the calculation time required for conversion is approximately halved.
  • since the feature amount of the middle speaker is not generated, it is possible to reduce the memory size used during the voice quality conversion process.
  • a function for converting the voice of the original speaker into the voice of the target speaker can be generated by synthesizing the conversion function F and the conversion function G.
  • the feature value is a spectral parameter.
  • the function for the spectral parameters is expressed by a linear function, and f is the frequency
  • the conversion from the pre-conversion spectrum s (f) to the post-conversion spectrum s' (f) is expressed by the following equation.
  • w () is a function representing frequency conversion.
  • former speaker power wl () for frequency conversion to intermediate speaker w2 () for frequency conversion from intermediate speaker to target speaker, If the spectrum is s (f), the intermediate speaker spectrum is s, (f), and the target speaker spectrum is s, (f), then
  • the mobile terminal 20 corresponds to, for example, a mobile phone. In addition to the mobile phone, a personal computer to which a microphone is connected may be used.
  • FIG. 5 shows a functional configuration of the mobile terminal 20. This functional configuration is realized by executing processing according to a program stored in the nonvolatile memory by the CPU mounted on the mobile terminal 20.
  • the mobile terminal 20 includes a voice quality conversion unit 21.
  • the voice quality conversion unit 21 converts the voice quality by converting a spectrum sequence.
  • the voice quality conversion unit 21 performs voice quality conversion by converting both the spectral sequence conversion and the sound source signal.
  • cepstrum coefficients or LSP (Line Spectral Pair) coefficients can be used.
  • Voice quality conversion unit 21 includes intermediate voice quality conversion unit 211 and target voice quality conversion unit 212.
  • the intermediate voice quality conversion unit 211 converts the voice of the original speaker into the voice of the intermediate speaker using the conversion function F.
  • the target voice quality conversion unit 212 uses the conversion function G to convert the voice of the intermediate speaker converted by the intermediate voice quality conversion unit 211 into the voice of the target speaker.
  • the conversion functions F and G are created by the server 10 and downloaded to the mobile terminal 20.
  • FIG. 6 when the original speakers ⁇ , ⁇ , ⁇ , Y, ⁇ , the intermediate speaker i, and the target speakers 1, 2, ⁇ , 9, 10 exist.
  • FIG. 5 is a diagram for explaining the number of conversion functions necessary for voice quality conversion from each original speaker to each target speaker.
  • the conversion function F is (A) ⁇ F (B),... ⁇ F (Y), F (Z) 26 types are required.
  • 260 types of conversion functions are required. Thus, in the present embodiment, the number of conversion functions can be significantly reduced.
  • the former speaker X and the intermediate speaker i are people or TTS (Text-to-Speech), and are prepared on the vendor side that owns the server 10.
  • TTS is a known device that converts an arbitrary text (character) into a corresponding voice and outputs the voice with a predetermined voice quality.
  • FIG. 7 (a) shows a processing procedure when learning the conversion function G by the post-conversion feature value conversion method.
  • the intermediate conversion function generation unit 101 obtains the voice of the original speaker X in advance and stores it in the storage device, and the voice of the intermediate speaker i (“intermediate speaker”). And a conversion function F (x) is generated. Then, the voice X after the voice of the original speaker X is converted by the conversion function F (X) is output (step S 101). [0062] Next, the target conversion function generation unit 102 converts the converted speech x 'and the speech of the target speaker y (corresponding to "target speaker speech storage means") obtained in advance and stored in the storage device. Based on the above, learning is performed to generate a conversion function Gy (i) (step S102), and the generated conversion function Gy (i) is stored in a storage device included in the server 10 (step S103).
  • FIG. 7 (b) shows a processing procedure when learning the conversion function G by the pre-conversion feature value conversion method.
  • the target conversion function generator 102 performs learning based on the voice of the intermediate speaker i and the voice of the target speaker y, and generates a conversion function Gy (i) (step S201). Then, the generated conversion function Gy (i) is stored in the storage device included in the server 10 (step S202).
  • FIG. 8 (a) shows a procedure when a human voice is used as the voice of the intermediate speaker i.
  • the mobile terminal 20 collects the voice of the original speaker X with a microphone ("user voice acquisition means"). ), The corresponding voice is transmitted to the server 10 (corresponding to “user voice transmission means”) (step S301).
  • the server 10 receives the voice of the original speaker X (corresponding to “user voice reception means”), and the intermediate conversion function generation unit 101 learns based on the voice of the original speaker X and the voice of the intermediate speaker i.
  • the conversion function F (x) is generated (step S302).
  • the server 10 transmits the generated conversion function F (x) to the mobile terminal 20 (corresponding to “intermediate conversion function transmission means”) (step S303).
  • FIG. 8 (b) shows the processing procedure when the voice output from the TTS is used as the voice of the intermediate speaker i.
  • the mobile terminal 20 20 collects the voice of the former speaker x with the microphone and transmits the voice to the server 10 (step S401).
  • the content of the voice of the former speaker X received by the server 10 is converted into text by a voice recognition device or manually (step S402), and the text is input to the TTS (step S403).
  • TTS generates and outputs the voice of intermediate speaker i (TTS) based on the input text (step S404).
  • Intermediate conversion function generation section 101 performs learning based on the voice of original speaker X and the voice of intermediate speaker i, and generates conversion function F (x) (step S405).
  • the server 10 transmits the generated conversion function F) to the mobile terminal 20 (step S406).
  • the portable terminal 20 stores the received conversion function F) in a nonvolatile memory. Conversion function F
  • the former speaker X downloads the desired conversion function G from the server 10 to the mobile terminal 20 ("Send target conversion function transmission").
  • the voice of the original speaker X can be converted into the voice of the desired target speaker.
  • the original speaker X had to speak in accordance with the contents of each target speaker's voice set, and obtain a conversion function for each target speaker.
  • Speaker X only needs to obtain one conversion function F (X) by uttering one set of speech, and the burden on the original speaker X can be reduced.
  • the nonvolatile memory of the mobile terminal 20 includes a conversion function F (A) for converting the voice of the original speaker A into the voice of the intermediate speaker, and the voice of the intermediate speaker as the voice of the target speaker y. It is assumed that the conversion function G for conversion is downloaded from Sano 10 and stored.
  • the intermediate voice quality conversion unit 211 uses the conversion function F (A) to convert the voice of the original speaker A to the intermediate speaker. Convert to audio (step S5 01).
  • the target voice quality conversion unit 212 converts the voice of the intermediate speaker into the voice of the target speaker y using the conversion function Gy (i) V (step S502), and converts the voice of the target speaker y.
  • Output step S503.
  • the output sound is transmitted through a communication network, for example. It is transmitted to the mobile terminal of the hand and output from the speaker provided in the mobile terminal. Further, the speaker A may be output from a speaker provided in the mobile terminal 20 in order to confirm the converted voice.
  • the conversion function learning method is a post-conversion feature value conversion method
  • Figure 10 shows the learning process and conversion process when the speech of the intermediate speaker recorded for use in learning is one set (setA).
  • the intermediate conversion function generation unit 101 performs learning based on the voice setA of the former speaker Src. 1 and the voice setA of the intermediate speaker In., And performs the conversion function F (Src. 1 ( A)) is generated (step S 1101).
  • the intermediate conversion function generation unit 101 performs learning based on the speech set A of the original speaker Src. 2 and the speech set A of the intermediate speaker In. And converts the conversion function F (Src. 2 (A) ) Is generated (step S 1102).
  • the target conversion function generation unit 102 converts the speech set A of the original speaker Src. 1 with the conversion function F (Src. 1 (A)) generated in step SI 101, and converts the converted Tr. SetA is generated (Step S1103). Then, the target conversion function generation unit 102 performs learning based on the converted Tr.setA and the speech setA of the target speaker Tag.1, and generates the conversion function Gl (Tr. (A)) (steps). S 1104).
  • the target conversion function generator 102 performs learning based on the converted Tr. SetA and the target speaker Tag. 2's voice setA, and generates the conversion function G2 (Tr. (A )) Is generated (step SI 1 05).
  • the intermediate voice quality conversion unit 211 uses the conversion function F (Src. 1 (A)) generated in the learning process to convert any speech of the original speaker Src. Convert to In. Audio (step S1107).
  • the target voice quality conversion unit 212 converts the voice of the intermediate speaker In. Using the number Gl (Tr. (A)) or the conversion function G2 (Tr. (A)), the speech is converted to the target speaker Tag. 1 or target speaker Tag. 2 (step SI 108).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into a conversion function F (Src.
  • the target voice quality conversion unit 212 uses the conversion function Gl (Tr. (A)) or the conversion function G2 (T r. (A)) to convert the voice of the intermediate speaker In. Conversion to voice of target speaker Tag. 2 (step S1110).
  • Fig. 11 shows the learning process and conversion process when the voice of the intermediate speaker is TTS or a set of voices (setA, setB) uttered by a person.
  • the intermediate conversion function generation unit 101 performs learning based on the speech set A of the former speaker Src. 1 and the speech set A of the intermediate speaker In. And converts the conversion function F (Src. 1 ( A)) is generated (step S 1201).
  • the intermediate conversion function generation unit 101 performs learning based on the speech setB of the original speaker Src. 2 and the speech setB of the intermediate speaker In., And performs the conversion function F (Src. 2 (B) ) (Step S1202) o
  • the target conversion function generation unit 102 converts the speech set A of the original speaker Src. 1 with the conversion function F (Src. 1 (A)) generated in step SI 201 and converts the converted Tr. SetA is generated (Step S1203). Then, the target conversion function generation unit 102 performs learning based on the converted Tr. SetA and the target speaker Tag g. 1 speech setA, and generates a conversion function Gl (Tr. (A)) ( Step S 1204).
  • the target conversion function generation unit 102 converts the speech setB of the original speaker Src. 2 with the conversion function F (Src. 2 (B)) generated in step SI 20 2, and converts the converted Tr Generate setB (step S1205). Then, the target conversion function generation unit 102 performs learning based on the converted Tr. SetB and the speech setB of the target speaker T ag. 2 to generate the conversion function G2 (Tr. (B)). Step S 1206).
  • the intermediate voice quality conversion unit 211 converts the arbitrary speech of the original speaker Src. 1 into the speech of the intermediate speaker In. Using the conversion function F (Src. 1 (A)). Convert (step S1207).
  • the target voice quality conversion unit 212 uses the conversion function Gl (Tr. (A)) or the conversion function G2 (Tr. (B)) to convert the voice of the intermediate speaker In. It is converted to the voice of speaker Tag. 2 (step S 1208).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into the voice of the intermediate speaker In. Using the conversion function F (Src. 2 (B)). (Step SI 209).
  • the target voice quality conversion unit 212 uses the conversion function Gl (Tr. (A)) or the conversion function G2 (Tr. (B)) to convert the voice of the intermediate speaker In. Conversion to target speaker Tag. 2 (step S 1210).
  • the utterance content of the original speaker and the utterance content of the target speaker must be the same (sets A and sets B).
  • the intermediate speaker is set to TTS, the utterance content of the intermediate speaker can be uttered according to the voice content of the original speaker and the target speaker. Convenience at the time of learning increases just by matching the utterance contents. If the intermediate speaker is TTS, the intermediate speaker's voice can be uttered semipermanently.
  • some of the voices of the original speaker used for learning are voices of multiple sets (setA, setB, setC) uttered by TTS or a person, and the voice of the intermediate speaker Shows the learning process and the conversion process when is a set of speech (setA).
  • the intermediate conversion function generation unit 101 converts the voice of the original speaker into the voice of the intermediate speaker In. Based on the voice set A of the original speaker and the voice set A of the intermediate speaker In. A conversion function F (TTS (A)) is generated (step S1301).
  • the target conversion function generation unit 102 converts the voice setB of the original speaker with the generated conversion function F (TTS (A)), and generates a converted Tr. SetB (step S1302).
  • the target conversion function generator 102 performs learning based on the converted Tr. SetB and the target speaker Tag. 1's voice setB, and uses the intermediate speaker In.'S voice as the target speaker Tag.
  • a conversion function Gl (Tr. (B)) for converting to speech is created (step SI 303).
  • the target conversion function generation unit 102 uses the generated conversion function F (TTS (A)) to Audio setC is converted and Tr. SetC is created after conversion (step SI 304).
  • the target conversion function generation unit 102 performs learning based on the converted Tr. SetC and the target speaker Tag. 1 speech set C, and uses the intermediate speaker In. As the target speaker Tag.
  • a conversion function G2 (Tr. (C)) for converting to voice 2 is created (step S1305).
  • the intermediate conversion function generation unit 101 converts the voice of the original speaker Src. 1 into the intermediate speaker In based on the voice set A of the original speaker Src. 1 and the voice set A of the intermediate speaker In.
  • a conversion function F (Src. 1 (A)) for converting to a voice of. Is generated (step S 1306).
  • the intermediate conversion function generation unit 101 converts the voice of the original speaker Src. 2 into the intermediate speaker In based on the voice set A of the original speaker Src. 1 and the voice set A of the intermediate speaker In.
  • a conversion function F (Src. 2 (A)) for converting to a voice of. Is generated (step S 1307).
  • the intermediate voice quality conversion unit 211 converts the arbitrary speech of the original speaker Src. 1 into the speech of the intermediate speaker In. Using the conversion function F (Src. 1 (A)). (Step S1308).
  • the target voice quality converter 212 uses the conversion function Gl (Tr. (B)) or the conversion function G2 (Tr. (C)) to convert the voice of the intermediate speaker In. 1 or target speaker Tag. 2 (step S 1309).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into a conversion function F (Src.
  • Step S1310 the target voice quality conversion unit 212 uses the conversion function Gl (Tr. (B)) or the conversion function G2 (Tr. (C)) to convert the voice of the intermediate speaker In. 1 or target speaker Tag. 2 is converted (step S 1311).
  • the speech content of the intermediate speaker and the speech content of the target speaker can be made non-parallel.
  • the content of the TSS utterance as the original speaker can be flexibly changed according to the utterance content of the target speaker. be able to.
  • the speech content of the intermediate speaker I n. Is only one set (setA) the conversion function F for the voice conversion of the former speakers Src. 1 and Src. 2 possessing the mobile terminal 10 is obtained.
  • the content spoken by the former speakers Src. 1 and Src. 2 must be setA, which is the same as the content spoken by the intermediate speaker In. (4)
  • some of the voices of the original speaker used for learning are voices of multiple sets (setA, setB) uttered by TTS or a person
  • the voice of the intermediate speaker is It shows the learning process and conversion process for multiple sets (setA, setC, setD) spoken by TTS or a person.
  • the intermediate conversion function generation unit 101 performs learning based on the speech set A of the original speaker and the speech set A of the intermediate speaker In.
  • the speech set A of the original speaker is converted to the intermediate speaker In.
  • a conversion function F (TTS (A)) for converting to the voice set A is generated (step S1401).
  • the target conversion function generation unit 102 generates the converted Tr. SetA by converting the voice setA of the original speaker with the conversion function F (TT S (A)) generated in step S1401. Yes (Step S 1402).
  • the target conversion function generator 102 performs learning based on the converted Tr. SetA and the speech set A of the target speaker Tag. 1, and uses the intermediate speaker's speech as the target speaker Tag.
  • a conversion function Gl (Tr. (A)) for converting to the voice of is created (step S 1403).
  • the target conversion function generation unit 102 generates a converted Tr. SetB by converting the voice set B of the original speaker with the conversion function F (TTS (A)) (step S 1404).
  • the target transformation function generation unit 102 performs learning based on the converted Tr.setB and the target speaker Tag.2 speech setB, and converts the intermediate speaker speech to the target speaker Tag.2 speech.
  • a conversion function G2 (Tr. (B)) for conversion is created (step S1405).
  • the intermediate conversion function generator 101 performs learning based on the voice setC of the original speaker Src. 1 and the voice setC of the intermediate speaker In.
  • a function F (Src. 1 (C)) for converting to the voice of the speaker In. Is generated (step S 1406).
  • the intermediate conversion function generation unit 101 performs learning based on the voice setD of the original speaker Src. 2 and the voice setD of the intermediate speaker In. A function F (Src. 2 (D)) for generating the voice of the speaker In. Is generated (step S 1407).
  • the intermediate voice quality conversion unit 211 converts the arbitrary speech of the original speaker Src. 1 into the speech of the intermediate speaker In. Using the conversion function F (Src. 1 (C)). (Step S1408).
  • the target voice quality conversion unit 212 uses the conversion function Gl (Tr. (A)) or the conversion function G2 (Tr. (B)) to convert the voice of the intermediate speaker In. Change to voice of speaker Tag. (Step S 1409).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into a conversion function F (Src.
  • Step S1410 the target voice quality conversion unit 212 converts the voice of the intermediate speaker In. Into the target speaker Tag using the conversion function Gl (Tr. (A)) or the conversion function G2 (Tr. (B)). 1 or target speaker Tag. 2 is converted (step S 1411).
  • the speech contents of the original speaker and the target speaker and the intermediate speaker and the target speaker at the time of learning can be made into a non-parallel corpus.
  • any utterance content can be output from TTS, so that the former speakers Src. 1 and Src.
  • the conversion function F to perform the content of the utterances of the original speakers Src.1, Src.2 does not have to be determined. If the original speaker is TTS, the target speaker's utterance may not be determined.
  • the conversion function learning method is a pre-conversion feature value conversion method.
  • the conversion function G is generated in consideration of the actual voice quality conversion processing procedure.
  • the conversion function F and the conversion function G are learned independently. In this method, the learning process is reduced, but the accuracy of the voice quality after conversion is slightly reduced.
  • Figure 14 shows the learning process and conversion process when the speech of the intermediate speaker for learning is a set of speech (setA).
  • the intermediate conversion function generation unit 101 performs learning based on the speech set A of the former speaker Src. 1 and the speech set A of the intermediate speaker In., And the conversion function F (Src. 1 ( A)) is generated (step S 1501). Similarly, the intermediate conversion function generation unit 101 performs learning based on the speech set A of the former speaker Src. 2 and the speech set A of the intermediate speaker In. And generates the conversion function F (Src. 2 (A)). (Step S 1502).
  • the target conversion function generation unit 102 performs learning based on the speech set A of the intermediate speaker In. And the speech set A of the target speaker Tag. 1, and performs the conversion function Gl (In. (A)). Generate (Step S1503) o Similarly, the target conversion function generation unit 102 performs training based on the intermediate speaker In. Voice SETA and the target speaker Tag. 2 to the voice SETA, the conversion function G2 (In. (A)) Is generated (step S 1503).
  • the intermediate voice quality conversion unit 211 converts the arbitrary speech of the original speaker Src. 1 into the speech of the intermediate speaker In. Using the conversion function F (Src. 1 (A)). (Step S1505).
  • the target voice quality conversion unit 212 uses the conversion function Gl (In. (A)) or the conversion function G2 (In. (A)) to convert the voice of the intermediate speaker In. 1 or the target speaker Tag. 2 (step S 1506).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into a conversion function F (Src.
  • Step S1507 the target voice quality conversion unit 212 uses the conversion function Gl (In. (A)) or the conversion function G2 (In. (A)) to convert the voice of the intermediate speaker In. Convert to voice of 1 or target speaker Tag. 2 (step S 1508).
  • FIG. 15 shows the learning process and conversion process when the voice of the intermediate speaker is a set of voices (setA, setB, setC, setD) uttered by TTS or a person.
  • the intermediate conversion function generation unit 101 performs learning based on the speech set A of the former speaker Src. 1 and the speech set A of the intermediate speaker In., And performs the conversion function F (Src. 1 ( A)) is generated (step S1601). Similarly, the intermediate conversion function generation unit 101 performs learning based on the voice setB of the former speaker Src. 2 and the voice setB of the intermediate speaker In. And generates the conversion function F (Src. 2 (B)). (Step S1602).
  • the target conversion function generation unit 102 performs learning based on the speech setC of the intermediate speaker In. And the speech setC of the target speaker Tag. 1, and performs the conversion function Gl (In. C)) is generated (step S1603). Similarly, the target conversion function generation unit 102 performs learning based on the speech set D of the intermediate speaker In. And the speech set A of the target speaker Tag. 2, and generates the conversion function G2 (In. (D)). (Step SI 604).
  • the intermediate voice quality conversion unit 211 converts any speech of the original speaker Src. 1 into the speech of the intermediate speaker In. Using the conversion function F (Src. 1 (A)). (Step S1605).
  • the target voice quality conversion unit 212 uses the conversion function Gl (In. (C)) or the conversion function G2 (In. (D)) to convert the voice of the intermediate speaker In. The voice is converted to the voice of speaker Tag. 2 (step S 1606).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into a conversion function F (Src.
  • Step S 1607 the target voice quality conversion unit 212 uses the conversion function Gl (In. (C)) or the conversion function G2 (In. (D)) to convert the voice of the intermediate speaker In.
  • the voice is converted to the voice of speaker Tag. 2 (step S1608).
  • the intermediate speaker when the intermediate speaker is set to TTS, it is possible to cause the intermediate speaker to utter a sound of a predetermined voice quality semipermanently.
  • the voice content that matches the utterance content of the original and intermediate speakers can be output from the TTS.
  • the person's utterance content is not restricted. For this reason, convenience is enhanced and a conversion function can be easily generated.
  • the utterance contents of the original speaker and the target speaker can be made into a non-parallel corpus.
  • Figure 16 shows multiple sets of voices (in this case, setA, setB) where a part of the voice of the original speaker is uttered by TTS or a person, and the voice of the intermediate speaker is TTS or person.
  • the learning process and the conversion process for multiple sets of voices (setA, setC, setD in this case) uttered by are shown.
  • the target conversion function generation unit 102 performs learning based on the speech set A of the intermediate speaker In. And the speech set A of the target speaker Tag. 1, and generates the conversion function Gl (In. (A)). (Step SI 701
  • the target conversion function generation unit 102 performs the speech setB of the intermediate speaker In. And the target speaker Tag.
  • the intermediate conversion function generation unit 101 performs the voice setC of the former speaker Src. 1 and the voice set of the intermediate speaker In. Learning based on C and generating the conversion function F (Src. 1 (C)) (Step SI 703)
  • the intermediate conversion function generation unit 101 performs learning based on the speech setD of the original speaker Src. 2 and the speech setD of the intermediate speaker In. And converts the conversion function F (Src. 2 (D) ) Is generated (step S 1704).
  • the intermediate voice quality conversion unit 211 converts the arbitrary speech of the original speaker Src. 1 into the speech of the intermediate speaker In. Using the conversion function F (Src. 1 (C)). (Step S1705).
  • the target voice quality converter 212 uses the conversion function Gl (In. (A)) or the conversion function G2 (In. (B)) to convert the voice of the intermediate speaker In. The voice is converted to the voice of 1 or target speaker Tag. 2 (step S 1706).
  • the intermediate voice quality conversion unit 211 converts an arbitrary voice of the original speaker Src. 2 into a conversion function F (Src.
  • the target voice quality conversion unit 212 uses the conversion function Gl (In. (A)) or the conversion function G2 (I n. (B)) to convert the voice of the intermediate speaker In. Convert to voice of 1 or target speaker Tag. 2 (step S 1708).
  • the utterance content of the original speaker can be changed according to the utterance content of the original speaker and the target speaker, and can be converted flexibly. Function learning is possible.
  • the speech content of the original speaker and the target speaker during learning can be made a non-parallel corpus.
  • the feature conversion method based on the mixed normal distribution model (GMM) (for example, A. Kain and MWMacon, Spectral voice conversion for text-to-speech synthesis, "Proc .ICASSP, pp.285-288, Seattle, USA May, 1998.).
  • GMM mixed normal distribution model
  • p is the number of dimensions of the feature value
  • T indicates transposition.
  • p (X) of the feature X of speech is
  • N (x; i, ⁇ i) is a normal distribution with mean vector ⁇ i and covariance matrix ⁇ i in class i
  • i (X) and i (y) represent the mean vectors of x and y in class i, respectively.
  • ⁇ i (XX) denotes the covariance matrix of X in class i
  • ⁇ i (yx) denotes the cross-covariance matrix in class i of y and X.
  • hi (x) is
  • the conversion parameters (a i, i (x), / z i (y) ⁇ ⁇ i (xx), ⁇ i (yx)) can be estimated by a publicly known EM algorithm.
  • ATR phoneme balance sentences for example, Anobu Nobunobu, Mozaka Yoshinori, Umeda Tetsuo, Kuwabara Naoo, "Research Japanese Speech Database Usage Manual (Speed Reading Speech Data),” ATR Technical Report, TR-I-0166, 1990.
  • Subset 50 sentences not included in the learning data are used as evaluation data.
  • STRAIGHT analysis eg, H. Kawahara et al. “Restructuring s speech representation using a pitch-adaptive time-frequency smoothing and an insta ntaneous—frequency—based AO extraction: possible role of a repetitive structure in sounds, "Speech Communication, Vol.27, No.3-4, pp.187-207, 1999.).
  • the sampling period is 16 kHz and the frame shift is 5 ms.
  • the 1st to 41st order cepstrum coefficients converted from the STRAIGHT spectrum are used.
  • the total number of GMM is 64.
  • Cepstral distortion is used as an evaluation measure of conversion accuracy. In the evaluation, the distortion between the cepstrum converted from the original speaker power and the cepstrum of the target speaker is calculated.
  • the cepstrum strain is expressed by equation (1), and the smaller the value, the higher the evaluation.
  • Ci (x) is the cepstrum coefficient of the target speaker's voice
  • Ci (y) is the cepstrum coefficient of the converted voice
  • P is the order of the cepstrum coefficient.
  • Figure 17 shows a graph of the experimental results.
  • the vertical axis of the graph is the cepstrum distortion, and this value is the average value of the cepstrum distortion obtained by Equation (1) for each frame in all frames.
  • (a) represents the distortion between the cepstrum of the original speaker (A, B) and the cepstrum of the target speaker T.
  • (b) corresponds to the conventional method, and the cepstrum converted from the original speaker (A, B) and the target speaker T when the original speaker (A, B) and the target speaker T learn directly. Represents distortion with the cepstrum.
  • (c) and (d) apply the method of the present application. Specifically, (c) is described as follows: the intermediate conversion function from the original speaker A to the intermediate speaker I is F (A), and the original speaker A uses the speech generated using F (A). Let G (A) be the target conversion function for speaker T's speech.
  • the intermediate conversion function from former speaker B to intermediate speaker I is converted to F (B), and the original speaker B uses F (B) to generate the target speaker T's voice.
  • G (B) be the target transformation function of.
  • the original speaker A force F (A) is used, the cepstrum is converted once to the cepstrum of the intermediate speaker I, and then converted to the target speaker T using G (A), and the target speaker T Distortion with the cepstrum (former speaker A ⁇ represents the target speaker T).
  • (d) represents the case where the target conversion function G other than the principal is used in (c).
  • the cepstrum converted from the original speaker A to the intermediate speaker I using F (A) and then converted to the target speaker T using G (B) and the target speaker T Denotes the distortion of the cepstrum (original speaker A ⁇ target speaker T).
  • the conventional method (b) and the method of the present application (c) have approximately the same cepstrum distortion, and therefore, conversion using an intermediate speaker is the same as the conventional method. It can be said that it can maintain a certain level of quality. Furthermore, since the cepstrum distortion is almost the same in the conventional method (b) and the method (d) of the present application, when performing conversion through an intermediate speaker, the intermediate speaker strength is targeted to the target speaker. It can be seen that the target conversion function can maintain the same level of quality as the conventional method even if one kind of G is commonly used for each target speaker created by any former speaker.
  • the server 10 converts the voice of each of one or more former speakers into the voice of one intermediate speaker and the voice of the one intermediate speaker.
  • a conversion function G for converting each of one or more target speakers into speech
  • each source speaker's speech If the conversion function for converting the voice of the middle speaker and the conversion function for converting the voice of the intermediate speaker to each voice of the target speaker are prepared, the voice of each of the original speakers is Can be converted to In other words, it is possible to perform voice quality conversion with a smaller number of conversion functions than in the prior art, in which a conversion function for converting each voice of the original speaker to each voice of the target speaker is prepared. Therefore, learning can be performed with a small burden to generate a conversion function, and voice conversion can be performed using the conversion function.
  • a user who performs voice quality conversion of his / her voice using the mobile terminal 20 creates one conversion function F for converting his / her voice into the voice of an intermediate speaker, and Memory
  • the conversion function G for converting the voice of the target speaker desired by the user into the target speaker's voice from the server 10, the user's voice can be easily converted into the target speaker's voice. It becomes possible.
  • the target conversion function generation unit 102 generates, as an intermediate conversion function, a function for converting the voice of the original speaker converted by the conversion function F into the target speaker's voice. Can do. Therefore, it is possible to generate a conversion function tailored to the actual voice quality conversion process, rather than generating a conversion function for converting the directly collected speech from the intermediate speaker to the target speaker's speech. However, the voice quality accuracy during actual voice quality conversion can be improved.
  • the voice of the intermediate speaker is set to the voice output from the TTS, so that the same voice can be output to the TTS regardless of what kind of voice is spoken. Can be uttered. For this reason, there are no restrictions on the utterance content of the original speaker and target speaker during learning, and it is possible to easily learn the conversion function by eliminating the trouble of collecting specific speech content from the original speaker and target speaker. be able to.
  • the voice of the original speaker is set to TTS, so that any voice content can be spoken to the TTS as the original speaker in accordance with the content of the target speaker.
  • the conversion function G can be easily learned without being restricted by the content of the target speaker's utterance.
  • the server 10 includes the intermediate conversion function generation unit 101 and the target conversion function generation unit 102, and the mobile terminal 20 includes the intermediate voice quality. It has been described that the converter 211 and the target voice quality converter 212 are provided. However, the device configuration of the voice quality conversion client server system 1 and the devices constituting the voice quality conversion client server system 1 are not limited to this. The arrangement of the intermediate conversion function generation unit 101, the target conversion function generation unit 102, the intermediate voice quality conversion unit 211, and the target voice quality conversion unit 212 may be any arrangement.
  • one apparatus may include all the functions of the intermediate conversion function generation unit 101, the target conversion function generation unit 102, the intermediate voice quality conversion unit 211, and the target voice quality conversion unit 212.
  • the mobile terminal 20 may include the intermediate conversion function generation unit 101, and the server 10 may include the target conversion function generation unit 102. In this case, it is necessary to store a program for learning and generating the conversion function F in the nonvolatile memory of the portable terminal 20.
  • Fig. 18 (a) shows the procedure when the utterance content of the former speaker A is fixed.
  • the speech of the intermediate speaker with the content is stored in advance in the nonvolatile memory of the mobile terminal 20.
  • learning is performed based on the voice of the original speaker X collected by the microphone included in the mobile terminal 20 and the voice of the intermediate speaker i stored in the mobile terminal 20 (step S601), and the conversion function F ( X) is acquired (step S602).
  • Fig. 18 (b) shows a processing procedure when the utterance content of the original speaker A is free.
  • the mobile terminal 20 is equipped with a speech recognition device that converts speech into text and a TTS that converts text into speech.
  • the speech recognition apparatus performs speech recognition of the voice of the original speaker X collected by the microphone included in the mobile terminal 20, and converts the utterance content of the original speaker X into text (step S701). Enter in TTS. TTS generates the speech of intermediate speaker i (TTS) from the text (step S702).
  • TTS speech of intermediate speaker i
  • Intermediate conversion function generation section 101 learns based on the voice of intermediate speaker i (TTS) and the voice of the original speaker (step S703), and acquires conversion function F (X) (step S704). .
  • the voice quality conversion unit 21 uses the conversion function F to convert the voice of the original speaker into the voice of the intermediate speaker, and the conversion function G
  • the target voice quality conversion unit 212 that converts the voice of the intermediate speaker into the voice of the target speaker is described. This is only an example, and the voice quality conversion unit 21 converts the conversion function F and the conversion function. It may have a function to directly convert the voice of the original speaker into the voice of the target speaker using a function synthesized with the number G.
  • the conversion function of the sender (speech input person) or the cluster of the conversion functions to which the sender belongs is accurate.
  • Information about the sender's conversion function such as an index to determine
  • TTS is used as a speech synthesizer.
  • a device that converts input speech content into a predetermined voice quality and outputs it may be used.
  • the two-stage voice quality conversion through the conversion to the voice of the intermediate speaker is described.
  • it is not limited to this, but it may be a multi-stage voice quality conversion through conversion to the speech of a plurality of intermediate speakers.
  • It can be used for voice quality conversion services that can convert many users 'voices into various target speakers' voices with less conversion learning and fewer conversion functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

　少ない学習の負担で声質変換を行うことを可能とする声質変換学習システム、声質変換システム、声質変換クライアントサーバシステム、及び、プログラムを提供する。 　サーバ１０の中間変換関数生成部１０１は中間変換関数Ｆを生成し、目標変換関数生成部１０２は目標変換関数Ｇを生成する。携帯端末２０の中間声質変換部２１１は、変換関数Ｆを用いて元話者の音声から中間話者の音声を生成し、目標声質変換部２１２は、変換関数Ｇを用いて中間声質変換部２１１により生成された中間話者の音声を目標話者の音声に変換する。

Description

声質変換システム
技術分野
[0001] 本発明は、元話者の音声を目標話者の音声に変換する声質変換学習システム、声 質変換システム、声質変換クライアントサーバシステム、及び、プログラムに関する。 背景技術
[0002] 従来、ある話者の音声を別の話者の音声に変換する声質変換技術が知られている
(例えば、特許文献 1、非特許文献 1参照)。
[0003] 図 22には、基本的な声質変換処理の過程を示す。声質変換処理の過程は、学習 過程と変換過程とで構成される。学習過程では、元話者及び変換目標となる目標話 者の音声を収録して学習用音声データを蓄積しておき、当該学習用音声データに 基づいて学習を行うことにより、元話者の音声を目標話者の音声に変換するための 変換関数を生成する。変換過程では、学習過程で生成された変換関数を用いて、元 話者が発声した任意の音声を目標話者の音声に変換する。これらの処理はコンビュ ータで行われる。
[0004] 特許文献 1 :特開 2002— 215198号公報
非特許文献 1： Alexander Kain and Michael W.Macon "SPECTRAL VOICE CONVE RSION FOR TEXT-TO-SPEECH SYNTHESIS"
発明の開示
発明が解決しょうとする課題
[0005] このような声質変換技術では、元話者の音声を目標話者の音声に変換するために は、元話者の声質と目標話者の声質との組合せに固有の変換関数を生成する必要 がある。従って、元話者及び目標話者が複数存在し、元話者の音声各々から目標話 者の音声各々へ変換するための変換関数を生成しょうとする場合には、元話者と目 標話者との組合せの数だけ学習を行う必要がある。
[0006] 例えば、図 23に示すように、 26人の元話者 Α、 Β、 · · ·、 Zと 10人の目標話者 1、 2、 …、 10とが存在し、元話者の音声各々を目標話者の音声各々に変換するための変 換関数を作成する場合、元話者 26人と目標話者 10人との組合せの数 260 ( = 26 X 10)だけ学習を行い変換関数を生成する必要がある。声質変換を実用化し声質変 換サービスを元話者に提供しょうとする場合、元話者及び目標話者の数の増加に伴 つて変換関数の数が増加するため、コンピュータが学習及び変換関数生成を行う負 荷が増大する。また、大量に生成した変換関数を蓄積しておくための大容量の記憶 装置が必要となる。
[0007] また、学習用音声データとして、元話者と目標話者とが同じ発声内容の文章を約 5 0文 (これを 1セットの音声内容という）収録する必要がある。もし、目標話者 10人から 収録された音声セットが各々異なる音声内容である場合には、 1人の元話者は 10通 りの音声セットを収録する必要がある。 1セットの音声内容を収録するのに 30分の時 間を要すると想定した場合、 1人の元話者は学習用音声データの収録に 5時間も費 やすことになる。
[0008] さらに、目標話者の音声がアニメのキャラクター、有名人の音声、他界した人等であ る場合には、これらの人々に声質変換に必要となる音声セットの発声を依頼して音声 収録を行うのは、費用的に現実的でな力つたり不可能であったりする。
[0009] 本発明は、以上のような従来の問題を解決するためになされたものであり、少ない 学習の負担で声質変換を行うことを可能とする声質変換学習システム、声質変換シ ステム、声質変換クライアントサーバシステム、及び、プログラムを提供する。
課題を解決するための手段
[0010] 上記課題を解決するために、請求項 1に記載の発明は、元話者の音声を目標話者 の音声に変換する声質変換システムにおいて、元話者の音声を、中間話者の音声 への変換を介して、目標話者の音声に変換する声質変換手段を備えることを特徴と する声質変換システムを提供する。
[0011] 本発明によれば、声質変換システムは、元話者の音声を、中間話者の音声への変 換を介して目標話者の音声に変換するため、元話者と目標話者とが複数存在する場 合、元話者の音声各々を中間話者の音声に変換するための変換関数、及び、中間 話者の音声を目標話者の音声各々に変換するための変換関数を用意しておけば、 元話者の音声各々を目標話者の音声各々に変換することが可能となる。従って、従 来のように元話者の音声各々を直接目標話者の音声各々に変換するよりも必要とな る変換関数の数が減少するため、少ない学習負担で生成された変換関数を用いて 声質変換を行うことが可能となる。
[0012] 請求項 2に記載の発明は、 1つ以上の元話者各々の音声を 1つ以上の目標話者各 々の音声に変換するための関数を学習する声質変換学習システムにおいて、前記 元話者の音声を、前記 1つ以上の元話者各々に対し共通に設けられた 1つの中間話 者の音声へ変換するための中間変換関数を学習し生成する中間変換関数生成手 段と、前記中間話者の音声を前記目標話者の音声に変換するための目標変換関数 を学習し生成する目標変換関数生成手段とを備えることを特徴とする声質変換学習 システムを提供する。
[0013] 本発明によれば、声質変換学習システムは、 1つ以上の元話者各々の音声を 1つ の中間話者の音声に変換するための中間変換関数と、 1つの中間話者の音声を 1つ 以上の目標話者各々の音声に変換するための目標変換関数とを学習し生成するた め、元話者と目標話者とが複数存在する場合、元話者各々の音声を直接目標話者 各々の音声に変換するよりも生成すべき変換関数の数が減少し、少ない負担で声質 変換学習を行うことが可能となり、少ない学習の負担で生成された中間変換関数及 び目標変換関数を用いて、元話者の音声を目標話者の音声に変換することが可能 となる。
[0014] 請求項 3に記載の発明は、請求項 2に記載の声質変換学習システムにおいて、前 記目標変換関数生成手段は、前記元話者の音声が前記中間変換関数によって変 換された後の音声を前記目標話者の音声に変換するための関数を、前記目標変換 関数として生成することを特徴とする。
[0015] 本発明によれば、実際の声質変換を行う際には、元話者の音声を中間変換関数に より変換し、その変換後の音声を目標変換関数で変換することにより目標話者の音 声を生成することとなるので、収録した実際の中間話者の音声を目標話者の音声に 変換するための関数を目標変換関数として生成するよりも、声質変換時の声質の精 度が高くなる。
[0016] 請求項 4に記載の発明は、請求項 2又は 3に記載の声質変換学習システムにおい て、前記学習に用いられる中間話者の音声は、任意の音声内容を所定の声質で出 力する音声合成装置力 出力される音声であることを特徴とする。
[0017] 本発明によれば、学習に用いられる中間話者の音声を音声合成装置から出力され る音声とすることで、元話者や目標話者の音声内容と同じ音声内容を音声合成装置 力も容易に出力することができるため、学習時の元話者や目標話者の発声内容が制 約されることがなぐ利便性が高まる。
[0018] 請求項 5に記載の発明は、請求項 2から 4の何れ力 1項に記載の声質変換関学習シ ステムにおいて、前記学習に用いられる元話者の音声は、任意の音声内容を所定の 声質で出力する音声合成装置力も出力される音声であることを特徴とする。
[0019] 本発明によれば、学習に用いられる元話者の音声を音声合成装置から出力される 音声とすることで、目標話者の音声内容と同じ音声内容を音声合成装置から容易に 出力することができる。そのため、学習時の目標話者の音声内容が制約されることが なぐ利便性が高まる。例えば、目標話者の音声として映画で収録された俳優の音声 を用いた場合、限られた音声内容しか収録されていなくても容易に学習を行うことが できる。
[0020] 請求項 6に記載の発明は、請求項 2から 5の何れ力 1項に記載の声質変換学習シス テムにおいて、前記中間変換関数生成手段により生成された中間変換関数と、前記 目標変換関数生成手段により生成された目標変換関数とを合成することにより、前記 元話者の音声を前記目標話者の音声に変換するための関数を生成する変換関数合 成手段をさらに備えることを特徴とする。
[0021] 本発明によれば、合成した関数を使用する場合の方が、中間変換関数及び目標変 換関数を使用する場合よりも、元話者の音声を目標話者の音声に変換するのに要す る計算時間が短縮される。また、声質変換処理時に使用されるメモリサイズを削減す ることが可能となる。
[0022] 請求項 7に記載の発明は、請求項 2から 6の何れ力 1項に記載の声質変換学習シス テムにより生成された関数を用いて、前記元話者の音声を前記目標話者の音声に変 換する声質変換手段を備えることを特徴とする声質変換システムを提供する。
[0023] 本発明によれば、声質変換システムは、少ない学習の負担で生成された関数を用 いて、 1つ以上の元話者各々の音声を 1つ以上の目標話者各々の音声に変換するこ とが可能となる。
[0024] 請求項 8に記載の発明は、請求項 7に記載の声質変換システムにおいて、前記声 質変換手段として、前記中間変換関数を用いて、前記元話者の音声から前記中間 話者の音声を生成する中間声質変換手段と、前記目標変換関数を用いて、前記中 間声質変換手段により生成された前記中間話者の音声力 前記目標話者の音声を 生成する目標声質変換手段とを備えることを特徴とする。
[0025] 本発明によれば、声質変換システムは、従来よりも少ない数の変換関数を用いて、 元話者各々の音声を目標話者各々の音声に変換することが可能となる。
[0026] 請求項 9に記載の発明は、請求項 7に記載の声質変換システムにおいて、前記声 質変換手段が、前記中間変換関数と前記目標変換関数とが合成された関数を用い て、前記元話者の音声を前記目標話者の音声に変換することを特徴とする。
[0027] 本発明によれば、声質変換システムは、中間変換関数と目標変換関数とが合成さ れた関数を用いて元話者の音声を目標話者の音声に変換することができる。そのた め、中間変換関数及び目標変換関数を使用する場合よりも、元話者の音声を目標話 者の音声に変換するのに要する計算時間が短縮される。また、声質変換処理時に使 用されるメモリサイズを削減することが可能となる。
[0028] 請求項 10に記載の発明は、請求項 7から 9の何れ力 1項に記載の声質変換システ ムにおいて、前記声質変換手段が、音声の特徴量であるスペクトル系列を変換する ことを特徴とする。
[0029] 本発明によれば、既存の音声エンコーダ力 音声デコーダに送信される符号デー タを変換することにより容易に声質変換を行うことができる。
[0030] 請求項 11に記載の発明は、クライアントコンピュータとサーバコンピュータとがネット ワークを介して接続され、 1つ以上のユーザ各々の音声を 1つ以上の目標話者各々 の音声に変換する声質変換クライアントサーバシステムにおいて、前記クライアントコ ンピュータは、前記ユーザの音声を取得するユーザ音声取得手段と、前記ユーザ音 声取得手段により取得した前記ユーザの音声を前記サーバコンピュータへ送信する ユーザ音声送信手段と、前記ユーザの音声を前記 1つ以上のユーザ各々に共通に 設けられた 1つの中間話者の音声へ変換するための中間変換関数を前記サーバコ ンピュータから受信する中間変換関数受信手段と、前記中間話者の音声を前記目標 話者の音声へ変換するための目標変換関数を、前記サーバコンピュータ力 受信す る目標変換関数受信手段と備え、前記サーバコンピュータは、前記クライアントコンビ ユータから前記ユーザの音声を受信するユーザ音声受信手段と、前記中間話者の 音声を予め記憶する中間話者音声記憶手段と、前記ユーザの音声を前記中間話者 の音声へ変換するための中間変換関数を生成する中間変換関数生成手段と、前記 目標話者の音声を予め記憶する目標話者音声記憶手段と、前記中間話者の音声を 前記目標話者の音声へ変換するための目標変換関数を生成する目標変換関数生 成手段と、前記中間変換関数を前記クライアントコンピュータへ送信する中間変換関 数送信手段と、前記目標変換関数を前記クライアントコンピュータへ送信する目標変 換関数送信手段とを備え、更に前記クライアントコンピュータは、前記中間変換関数 を用いて、前記ユーザの音声から前記中間話者の音声を生成する中間声質変換手 段と、前記目標変換関数を用いて、当該中間話者の音声力 前記目標話者の音声 を生成する目標変換手段とを備えることを特徴とする声質変換クライアントサーバシ ステムを提供する。
[0031] 本発明によれば、サーバコンピュータがユーザ用の中間変換関数、及び、目標変 換関数の生成を行い、クライアントコンピュータがサーバコンピュータから中間変換関 数及び目標変換関数を受信することで、クライアントコンピュータはユーザの音声を 目標話者の音声に変換することができる。
[0032] 請求項 12に記載の発明は、コンピュータに、 1つ以上の元話者各々の音声を 1つ の中間話者の音声に変換するための中間変換関数各々を生成する中間変換関数 生成ステップと、 1つの中間話者の音声を 1つ以上の目標話者各々の音声に変換す るための目標変換関数各々を生成する目標変換関数生成ステップとの少なくとも一 方のステップを実行させるためのプログラムを提供する。
[0033] 本発明によれば、上記プログラムを 1又は 2以上のコンピュータに記憶させておくこ とで、声質変換に使用するための中間変換関数、及び、目標変換関数を生成するこ とがでさる。 [0034] 請求項 13に記載の発明は、コンピュータに、元話者の音声を中間話者の音声に変 換するための中間変換関数、及び、前記中間話者の音声を目標話者の音声に変換 するための目標変換関数を取得する変換関数取得ステップと、前記変換関数取得ス テツプにおいて取得された中間変換関数を用いて、前記元話者の音声力 前記中 間話者の音声を生成する中間声質変換ステップと、前記変換関数取得ステップにお V、て取得された目標変換関数を用いて、前記中間声質変換ステップにお 、て生成さ れた前記中間話者の音声から前記目標話者の音声を生成する目標声質変換ステツ プとを実行させるためのプログラムを提供する。
[0035] 本発明によれば、前記プログラムをコンピュータに記憶させておくことで、コンビユー タは元話者の音声を中間話者の音声への変換を介して目標話者の音声に変換する ことが可能となる。
発明の効果
[0036] 本発明によれば、声質変換学習システムは、 1つ以上の元話者各々の音声を 1つ の中間話者の音声に変換するための中間変換関数と、前記 1つの中間話者の音声 を 1つ以上の目標話者各々の音声に変換するための目標変換関数とを学習し生成 するため、元話者と目標話者とが複数存在する場合、従来のように元話者各々の音 声を直接目標話者各々の音声に変換するよりも、生成すべき変換関数の数が減少し 、少ない負担で声質変換学習を行うことが可能となる。声質変換システムは、声質変 換学習システムにより生成された関数を用いて、元話者の音声を目標話者の音声に 変換することが可能となる。
図面の簡単な説明
[0037] [図 1]本発明の実施の形態に係る声質学習 ·変換システムの構成を示す図である。
[図 2]同実施の形態に係るサーバの構成機能を示す図である。
[図 3]変換関数 F (X)及び変換関数 Gy (i)を使用する代わりに、変換関数 F (x)及び 変換関数 Gy (i)を合成することにより生成した変換関数 Hy (x)を使用して、元話者 x の音声を目標話者 yの音声に変換する手順を示すための図である。
[図 4]同実施の形態に係る wl (f)、 w2 (f)、 w' (f)の一例を示すためのグラフである。
[図 5]同実施の形態に係る携帯端末の機能構成を示す図である。 圆 6]同実施の形態に係る各元話者力 各目標話者への声質変換に必要な変換関 数の数を説明するための図である。
圆 7]同実施の形態に係るサーバにおける変換関数 Gy(i)の学習及び蓄積処理の 流れを示すフローチャートである。
圆 8]同実施の形態に係る携帯端末における元話者 X用の変換関数 Fの取得手順を 示すフローチャートである。
圆 9]同実施の形態に係る携帯端末における声質変換処理の手順を示すフローチヤ ートである。
圆 10]同実施の形態に係る変換関数学習方式が変換後特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 1つ目のパターンについて説明するため のフローチャートである。
圆 11]同実施の形態に係る変換関数学習方式が変換後特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 2つ目のパターンについて説明するため のフローチャートである。
圆 12]同実施の形態に係る変換関数学習方式が変換後特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 3つ目のパターンについて説明するため のフローチャートである。
圆 13]同実施の形態に係る変換関数学習方式が変換後特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 4つ目のパターンについて説明するため のフローチャートである。
圆 14]同実施の形態に係る変換関数学習方式が変換前特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 1つ目のパターンについて説明するため のフローチャートである。
圆 15]同実施の形態に係る変換関数学習方式が変換前特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 2つ目のパターンについて説明するため のフローチャートである。
圆 16]同実施の形態に係る変換関数学習方式が変換前特徴量変換方式である場合 の変換関数生成処理及び声質変換処理の 3つ目のパターンについて説明するため のフローチャートである。
[図 17]同実施の形態に係る手法と従来法とにおけるケプストラムの歪みを比較するた めのグラフである。
[図 18]変形例に係る携帯端末が中間変換関数生成部を備えている場合の、携帯端 末における変換関数 Fの生成手順を示すフローチャートである。
[図 19]変形例に係る、送信側の携帯電話機に入力された音声の声質を変換して受 信側の携帯電話機から出力する場合に、送信側の携帯電話機で声質変換を行う場 合の処理パターンの一例を示す図である。
[図 20]変形例に係る、送信側の携帯電話機に入力された音声の声質を変換して受 信側の携帯電話機から出力する場合に、受信側の携帯電話機で声質変換を行う場 合の処理パターンの一例を示す図である。
[図 21]変形例に係る、サーバで声質変換を行う場合の処理パターンの一例を示す図 である。
[図 22]従来における基本的な声質変換処理の過程を示す図である。
[図 23]従来における元話者の音声を目標話者の音声に変換するのに必要となる変 換関数の数の一例を説明するための図である。
符号の説明
[0038] 1 声質変換クライアントサーバシステム
10 サーバ
101 中間変換関数生成部
102 目標変換関数生成部
20 携帯端末
21 声質変換部
211 中間声質変換部
212 目標声質変換部
発明を実施するための最良の形態
[0039] 以下、図面を参照して、本発明に係る実施の形態について説明する。
[0040] 図 1は、本発明の実施の形態に係る声質変換クライアントサーバシステム 1の構成 を示す図である。
[0041] 同図に示すように、本発明の実施の形態に係る声質変換クライアントサーバシステ ム 1は、サーバ（「声質変換学習システム」に該当） 10と、複数の携帯端末（「声質変 換システム」に該当） 20とを含んで構成されている。サーバ 10は携帯端末 20を所持 するユーザの音声を目標話者の音声に変換するための変換関数を学習し生成する 。携帯端末 20は、サーバ 10から変換関数を取得し、当該変換関数に基づいてユー ザの音声を目標話者の音声に変換する。ここで、音声は、波形もしくはその波形から 何らかの方法で抽出されたパラメータ系列などを表すものとする。
(サーバの機能構成）
次に、サーバ 10の構成機能について説明する。図 2に示すように、サーバ 10は、 中間変換関数生成部 101と、目標変換関数生成部 102とを備えている。これらの機 能は、サーバ 10に搭載されている CPUが記憶装置に記憶されているプログラムに従 つて処理を実行することにより実現される。
[0042] 中間変換関数生成部 101は、元話者の音声と中間話者の音声とに基づいて学習 を行うことにより、元話者の音声を中間話者の音声に変換するための変換関数 F (「中 間変換関数」に該当）を生成する。ここで、元話者の音声及び中間話者の音声は、予 め元話者と中間話者とに同じ約 50文（1セットの音声内容)を発声させ収録しておい たものを用いる。中間話者は 1人 (所定の声質)であり、元話者が複数存在する場合 には、複数の元話者各々の音声と 1つの中間話者の音声との学習をそれぞれ行う。 つまり、 1つの中間話者が 1以上の元話者各々に対して共通に設けられているといえ る。学習の手法としては、例えば、混合正規分布モデル (GMM)に基づく特徴量変 換法を用いることができる。これ以外にも、あらゆる公知の手法を用いることが可能で ある。
[0043] 目標変換関数生成部 102は、中間話者の音声を目標話者の音声に変換するため の変換関数 G (「目標変換関数」に該当）を生成する。
[0044] ここで、目標変換関数生成部 102が行う変換関数 Gの学習方式は 2通り存在する。
1つ目の学習方式は、収録された元話者の音声を変換関数 Fによって変換した後の 音声の特徴量と、収録された目標話者の音声の特徴量との対応関係を学習する方 式である。この 1つ目の変換方式を「変換後特徴量変換方式」という。実際の声質変 換時には、元話者の音声を変換関数 Fにより変換し、その変換後の音声を変換関数 Gで変換することにより目標話者の音声を生成するので、この方式では実際の声質 変換時の処理手順を考慮した学習を行うことができる。
[0045] 2つ目の学習方式は、実際の声質変換時の処理手順は考慮せずに、収録された 中間話者の音声の特徴量と、収録された目標話者の音声の特徴量との対応関係を 学習する方式である。この 2目の変換方式を「変換前特徴量変換方式」という。
[0046] なお、変換関数 F、 Gの形式は数式に限らず、変換テーブルの形で表されて ヽても よい。
[0047] 変換関数合成部 103は、中間変換関数生成部 101により生成された変換関数 Fと 、目標変換関数生成部 102により生成された変換関数 Gとを合成することにより、元 話者の音声を目標話者の音声に変換するための関数を生成する。
[0048] 図 3は、変換関数 F )及び変換関数 Gy (i)を使用して元話者 xの音声を目標話者 yの音声に変換する（図 3 (a) )代わりに、変換関数 F (x)及び変換関数 Gy (i)を合成 することにより生成した変換関数 Hy(x)を使用して、元話者 Xの音声を目標話者 yの 音声に変換する（図 3 (b) )手順を示す図である。変換関数 Hy (X)を使用する場合の 方が、変換関数 F (x)及び変換関数 Gy(i)を使用する場合に比較して、元話者 Xの 音声を目標話者 yの音声に変換するのに要する計算時間が約半分になる。また、中 間話者の特徴量を生成しないため声質変換処理時に使用されるメモリサイズを削減 することが可能となる。
[0049] 以下、変換関数 Fと変換関数 Gとを合成することにより、元話者の音声を目標話者 の音声に変換するための関数を生成することが可能であることを説明する。具体的な 例として、特徴量がスペクトルパラメータである場合について示す。スペクトルパラメ ータに対する関数を 1次関数で表した場合、 fを周波数とすると、変換前スペクトル s (f )から変換後スペクトル s' (f)への変換は、次式で表される。
[0050] s' (f) =s (w(f) )
ただし、 w ( )は周波数の変換を表す関数である。元話者力 中間話者への周波 数の変換を wl ( )、中間話者から目標話者への周波数の変換を w2 ( )、元話者の スぺクトノレを s (f)、中間話者のスペクトルを s， (f)、 目標話者のスペクトルを s，， (f)と すると、
s' (f)=s(wl(f))
s" (f)=s' (w2(f))
となる。例えば、図 4に示すように、
wl(f)=f/2
w2(f)=2f+5
とし、 wl (f)と w2 (f)との合成関数^ w' (f)とすると、
w' (f)=2(f/2)+5=f+5
となる。この結果、
s" (f)=s(w' (f))
と表すことができる。このことから、変換関数 Fと変換関数 Gとを合成することにより元 話者の音声を目標話者の音声に変換するための関数の生成が可能であることが判 る。
[0051] (携帯端末の機能構成）
次に携帯端末 20の機能構成について説明する。携帯端末 20は、例えば、携帯電 話機が該当する。なお、携帯電話機以外にも、マイクロフォンが接続されたパーソナ ルコンピュータであってもよい。図 5には、携帯端末 20の機能構成を示す。なお、こ の機能構成は、携帯端末 20に搭載されている CPUが不揮発性メモリに記憶されて いるプログラムに従って処理を実行することにより実現される。同図に示すように、携 帯端末 20は声質変換部 21を備えている。声質変換方法としては、例えば、声質変 換部 21は、スペクトル系列を変換することによって声質を変換する。或いは、声質変 換部 21は、スペクトル系列の変換と音源信号との両方の変換を行うことによって声質 変換を行う。スペクトル系列としては、ケプストラム係数あるいは LSP (Line Spectral P air;線形スペクトル対)係数などを用いることができる。スペクトル系列のみならず音源 信号に対しても声質変換を行うことで、より目標話者に近づいた音声を得ることが可 能である。
[0052] 声質変換部 21は、中間声質変換部 211と目標声質変換部 212とで構成される。 [0053] 中間声質変換部 211は、変換関数 Fを用いて、元話者の音声を中間話者の音声に 変換する。
[0054] 目標声質変換部 212は、変換関数 Gを用いて、中間声質変換部 211により変換さ れた中間話者の音声を目標話者の音声に変換する。
[0055] なお、本実施の形態においては、変換関数 F、 Gはサーバ 10で作成され、携帯端 末 20にダウンロードされる。
[0056] 図 6には、元話者 Α、 Β、 · · ·、 Y、 Ζと、中間話者 iと、目標話者 1、 2、 · · ·、 9、 10と力 存在する場合に、各元話者から各目標話者への声質変換に必要な変換関数の数を 説明するための図である。
[0057] 同図に示すように、元話者 Α、 Β、 · · ·、 Y、 Ζ各々の音声を目標話者 iの音声に変換 できるようにするためには、変換関数 Fは、 F (A)ゝ F (B)、…ゝ F (Y)、 F (Z)の 26種 類必要となる。また、中間話者 iの音声を目標話者 1、 2、 · · ·、 9、 10各々の音声に変 換できるようにするためには、変換関数 Gは Gl (i)、 G2 (i)、 · · ·、 G9 (i)、 G10 (i) 10 種類必要となる。従って、合計 26 + 10 = 36種類の変換関数が必要となる。これに対 して、従来例では、上述したように、 260種類の変換関数が必要となる。このように、 本実施の形態においては、変換関数の数を大幅に削減することが可能となる。
[0058] (サーバにおける変換関数 Gの学習及び蓄積処理）
次に、図 7を参照して、サーバ 10における変換関数 Gy(i)の学習及び蓄積処理を 説明する。
[0059] ここで、元話者 X及び中間話者 iは、人又は TTS (Text- to- Speech)であり、サーバ 1 0を所持するベンダ側で用意される。 TTSとは、任意のテキスト（文字)を対応する音 声に変換し、当該音声を所定の声質で出力する公知の装置である。
[0060] 図 7 (a)には、変換後特徴量変換方式により変換関数 Gを学習する場合の処理手 順を示す。
[0061] 同図に示すように、まず、中間変換関数生成部 101は、元話者 Xの音声と予め入手 して記憶装置に記憶されて 、る中間話者 iの音声（「中間話者音声記憶手段」に該当 )とに基づいて学習を行い、変換関数 F (x)を生成する。そして、元話者 Xの音声を変 換関数 F (X)で変換した後の音声 Xを出力する (ステップ S 101)。 [0062] 次に、目標変換関数生成部 102は、変換音声 x'と予め入手して記憶装置に記憶さ れている目標話者 y (「目標話者音声記憶手段」に該当）の音声とに基づいて学習を 行い、変換関数 Gy(i)を生成し (ステップ S102)、生成した変換関数 Gy(i)をサーバ 10が備える記憶装置に蓄積する (ステップ S103)。
[0063] 図 7 (b)には、変換前特徴量変換方式により変換関数 Gを学習する場合の処理手 順を示す。
[0064] 同図に示すように、目標変換関数生成部 102は、中間話者 iの音声と目標話者 yの 音声とに基づいて学習を行い、変換関数 Gy(i)を生成する (ステップ S201)。そして 、生成した変換関数 Gy (i)をサーバ 10が備える記憶装置に蓄積する (ステップ S202
) o
[0065] 従来においては、サーバ 10において元話者の人数 X目標話者の人数分学習を行 う必要があつたが、本実施の形態においては、中間話者の人数 1人 X目標話者の人 数分だけ学習を行えばよくなるため、生成される変換関数 Gの数が減少する。したが つて、学習のための処理負荷が低減され、また、変換関数 Gの管理が容易になる。
[0066] (携帯端末における変換関数 Fの取得手順）
次に、図 8を参照して、携帯端末 20における元話者 X用の変換関数 F (x)の取得手 順について説明する。
[0067] 図 8 (a)には、中間話者 iの音声として人の音声を使用する場合の手順を示す。
[0068] 同図に示すように、まず、元話者 Xが携帯端末 20に向力つて発声すると、携帯端末 20は、元話者 Xの音声をマイクロフォンで収集し（「ユーザ音声取得手段」に該当）、 当該音声をサーバ 10に送信する（「ユーザ音声送信手段」に該当）（ステップ S301) 。サーバ 10は元話者 Xの音声を受信し（「ユーザ音声受信手段」に該当）、中間変換 関数生成部 101は、元話者 Xの音声と中間話者 iの音声とに基づいて学習し、変換関 数 F (x)を生成する (ステップ S302)。サーバ 10は、生成した変換関数 F (x)を携帯 端末 20に送信する（「中間変換関数送信手段」に該当）（ステップ S 303)。
[0069] 図 8 (b)には、中間話者 iの音声として TTSから出力される音声を使用する場合の 処理手順を示す。
[0070] 同図に示すように、まず、元話者 Xが携帯端末 20に向力つて発声すると、携帯端末 20は元話者 xの音声をマイクロフォンで収集し、当該音声をサーバ 10に送信する (ス テツプ S401)。
[0071] サーバ 10に受信された元話者 Xの音声の内容は、音声認識装置又は人手でテキ ストに変換され (ステップ S402)、当該テキストは TTSに入力される（ステップ S403) 。 TTSは入力されたテキストに基づき中間話者 i(TTS)の音声を生成して出力する（ ステップ S404)。
[0072] 中間変換関数生成部 101は、元話者 Xの音声と中間話者 iの音声とに基づいて学 習を行い、変換関数 F (x)を生成する (ステップ S405)。サーバ 10は、生成した変換 関数 F )を携帯端末 20に送信する (ステップ S406)。
[0073] 携帯端末 20は、受信した変換関数 F )を不揮発性メモリに記憶する。変換関数 F
(X)が携帯端末 20に記憶された後は、図 1に示すように、元話者 Xは、所望の変換関 数 Gをサーバ 10から携帯端末 20にダウンロードすれば（「目標変換関数送信手段」、 「目標変換関数受信手段」に該当）、元話者 Xの音声を所望の目標話者の音声に変 換することが可能となる。従来においては、元話者 Xは各目標話者の音声セットの内 容に合わせて発声を行い、目標話者毎の変換関数を取得する必要があつたが、本 実施の形態においては、元話者 Xは 1セット分の音声を発声して 1つの変換関数 F (X )を取得するのみでよぐ元話者 Xの負担が軽減される。
[0074] (声質変換処理）
次に、図 9を参照して、携帯端末 20が声質変換を行う際の処理手順について説明 する。なお、携帯端末 20の不揮発性メモリには、元話者 Aの音声を中間話者の音声 に変換するための変換関数 F (A)と、中間話者の音声を目標話者 yの音声に変換す るための変換関数 Gとが、サーノ 10からダウンロードされて記憶されているものとする
[0075] まず、携帯端末 20に元話者 Aの音声が入力されると、中間声質変換部 211は、変 換関数 F (A)を用いて、元話者 Aの音声を中間話者の音声に変換する (ステップ S5 01)。次に、目標声質変換部 212は、その中間話者の音声を、変換関数 Gy(i)を用 V、て目標話者 yの音声に変換し (ステップ S502)、 目標話者 yの音声を出力する (ス テツプ S503)。ここで、出力された音声は、例えば、通信ネットワークを介して通信相 手の携帯端末に送信され、当該携帯端末が備えるスピーカから出力される。また、元 話者 Aが変換後の音声を確認するために、携帯端末 20が備えるスピーカから出力さ れるようにしてもよい。
[0076] (変換関数生成処理及び声質変換処理の各種処理パターン）
次に、図 10〜16を参照して、変換関数生成処理及び声質変換処理の各種処理パ ターンについて説明する。
[0077] [1]変換後特徴量変換方式
まず、変換関数学習方式が変換後特徴量変換方式である場合にっ 、て説明する
(1)図 10には、学習に使用するために収録された中間話者の音声が 1セット（setA) である場合の学習過程及び変換過程を示す。
[0078] まず、中間変換関数生成部 101は、元話者 Src. 1の音声 setAと中間話者 In.の 音声 setAとに基づ 、て学習を行 、、変換関数 F (Src. 1 (A) )を生成する (ステップ S 1101)。
[0079] 同様に、中間変換関数生成部 101は、元話者 Src. 2の音声 setAと中間話者 In. の音声 setAとに基づいて学習を行い、変換関数 F (Src. 2 (A) )を生成する (ステツ プ S 1102)。
[0080] 次に、目標変換関数生成部 102は、元話者 Src. 1の音声 setAをステップ SI 101 で生成した変換関数 F (Src. 1 (A) )で変換して、変換後 Tr. setAを生成する (ステツ プ S1103)。そして、目標変換関数生成部 102は、変換後 Tr. setAと目標話者 Tag . 1の音声 setAとに基づいて学習を行い、変換関数 Gl (Tr. (A) )を生成する (ステ ップ S 1104)。
[0081] 同様に、目標変換関数生成部 102は、変換後 Tr. setAと、目標話者 Tag. 2の音 声 setAとに基づ 、て学習を行 、、変換関数 G2 (Tr. (A) )を生成する (ステップ SI 1 05)。
[0082] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を、学 習過程で生成した変換関数 F (Src. 1 (A) )を用いて中間話者 In. の音声に変換す る (ステップ S1107)。次に、目標声質変換部 212は、中間話者 In.の音声を変換関 数 Gl (Tr. (A) )又は変換関数 G2 (Tr. (A) )を用いて目標話者 Tag. 1又は目標話 者 Tag. 2の音声へ変換する (ステップ SI 108)。
[0083] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を変換関数 F (Src.
2 (A) )を用いて中間話者 In.の音声に変換する (ステップ SI 109)。次に、目標声質 変換部 212は、中間話者 In.の音声を変換関数 Gl (Tr. (A) )又は変換関数 G2 (T r. (A) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変換する (ステップ S1110)。
[0084] 以上のように、学習時に中間話者の発声を setAの 1セットのみ使用した場合には、 元話者の発声内容と目標話者の発声内容も同じ setAである必要があるが、従来に 比較して、生成すべき変換関数の数を減少させることができる。
(2)図 11には、中間話者の音声が TTS又は人により発声された複数セット分 (setA , setB)の音声である場合の学習過程及び変換過程を示す。
[0085] まず、中間変換関数生成部 101は、元話者 Src. 1の音声 setAと中間話者 In.の 音声 setAとに基づ 、て学習を行 、、変換関数 F (Src. 1 (A) )を生成する (ステップ S 1201)。
[0086] 同様に、中間変換関数生成部 101は、元話者 Src. 2の音声 setBと中間話者 In. の音声 setBとに基づいて学習を行い、変換関数 F (Src. 2 (B) )を生成する (ステップ S1202) o
[0087] 次に、目標変換関数生成部 102は、元話者 Src. 1の音声 setAをステップ SI 201 で生成した変換関数 F (Src. 1 (A) )で変換して、変換後 Tr. setAを生成する (ステツ プ S1203)。そして、目標変換関数生成部 102は、変換後 Tr. setAと、目標話者 Ta g. 1の音声 setAと、に基づいて学習を行い、変換関数 Gl (Tr. (A) )を生成する (ス テツプ S 1204)。
[0088] 同様に、目標変換関数生成部 102は、元話者 Src. 2の音声 setBをステップ SI 20 2で生成した変換関数 F (Src. 2 (B) )で変換して、変換後 Tr. setBを生成する (ステ ップ S1205)。そして、目標変換関数生成部 102は、変換後 Tr. setBと、目標話者 T ag. 2の音声 setBとに基づいて学習を行い、変換関数 G2 (Tr. (B) )を生成する (ス テツプ S 1206)。 [0089] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を、変 換関数 F (Src. 1 (A) )を用いて中間話者 In.の音声に変換する (ステップ S1207)。 次に、目標声質変換部 212は、中間話者 In.の音声を変換関数 Gl (Tr. (A) )又は 変換関数 G2 (Tr. (B) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変 換する（ステップ S 1208)。
[0090] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を、変換関数 F (Src . 2 (B) )を用いて、中間話者 In.の音声に変換する (ステップ SI 209)。次に、目標 声質変換部 212は、中間話者 In.の音声を変換関数 Gl (Tr. (A) )又は変換関数 G 2 (Tr. (B) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2へ変換する (ステップ S 1210)。
[0091] このパターンの場合には、学習の際に、元話者の発声内容と目標話者との発声内 容とは同一（setA同士、 setB同士）である必要がある。一方、中間話者を TTSとした 場合には、中間話者の発声内容は元話者及び目標話者の音声内容に合わせて発 声させることができるため、元話者と目標話者との発声内容を合わせるだけでよぐ学 習時の利便性が高まる。また、中間話者を TTSとした場合には、半永久的に中間話 者の音声を発声させることができる。
(3)図 12には、学習に使用される元話者の音声の一部が TTS又は人により発声さ れた複数セット分 (setA, setB, setC)の音声であり、中間話者の音声が 1セット分 (s etA)の音声である場合の学習過程及び変換過程を示す。
[0092] まず、中間変換関数生成部 101は、元話者の音声 setAと中間話者 In.の音声 set Aとに基づいて、元話者の音声を中間話者 In.の音声に変換するための変換関数 F (TTS (A) )を生成する（ステップ S 1301)。
[0093] 次に、目標変換関数生成部 102は、生成した変換関数 F (TTS (A) )で元話者の音 声 setBを変換し、変換後 Tr. setBを作成する (ステップ S1302)。次に、目標変換関 数生成部 102は、変換後 Tr. setBと目標話者 Tag. 1の音声 setBとに基づいて学習 を行い、中間話者 In.の音声を目標話者 Tag. 1の音声に変換するための変換関数 Gl (Tr. (B) )を作成する（ステップ SI 303)。
[0094] 同様に、目標変換関数生成部 102は、生成した変換関数 F (TTS (A) )で元話者の 音声 setCを変換し、変換後 Tr. setCを作成する (ステップ SI 304)。
[0095] 次に、目標変換関数生成部 102は、変換後 Tr. setCと目標話者 Tag. 1の音声 set Cとに基づいて学習を行い、中間話者 In.の音声を目標話者 Tag. 2の音声に変換 するための変換関数 G2 (Tr. (C) )を作成する (ステップ S1305)。
[0096] また、中間変換関数生成部 101は、元話者 Src. 1の音声 setAと中間話者 In.の音 声 setAとに基づいて、元話者 Src. 1の音声を中間話者 In.の音声に変換するため の変換関数 F (Src. 1 (A) )を生成する (ステップ S 1306)。
[0097] 同様に、中間変換関数生成部 101は、元話者 Src. 1の音声 setAと中間話者 In. の音声 setAとに基づいて、元話者 Src. 2の音声を中間話者 In.の音声に変換する ための変換関数 F (Src. 2 (A) )を生成する（ステップ S 1307)。
[0098] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を変 換関数 F (Src. 1 (A) )を用いて中間話者 In.の音声に変換する (ステップ S1308)。 次に、目標声質変換部 212は、中間話者 In.の音声を、変換関数 Gl (Tr. (B) )又 は変換関数 G2 (Tr. (C) )を用いて、目標話者 Tag. 1又は目標話者 Tag. 2の音声 へ変換する（ステップ S 1309)。
[0099] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を変換関数 F (Src.
2 (A) )を用いて、中間話者 In.の音声に変換する (ステップ S1310)。次に、目標声 質変換部 212は、中間話者 In.の音声を、変換関数 Gl (Tr. (B) )又は変換関数 G2 (Tr. (C) )を用いて、目標話者 Tag. 1又は目標話者 Tag. 2へ変換する (ステップ S 1311)。
[0100] 以上のように、このパターンの場合には、中間話者の音声内容と目標話者との音声 内容を非パラレルコーノ スにすることできる。また、元話者として TTSを用いた場合に は、目標話者の発声内容に合わせて元話者としての TSSの発声内容を柔軟に変化 させることができるため、変換関数の学習を柔軟に行うことができる。なお、中間話者 I n.の音声内容は 1セット（setA)のみであるため、携帯端末 10を所持する元話者 Src . 1、 Src. 2が声質変換を行うための変換関数 Fを取得する場合には、元話者 Src. 1 、 Src. 2が発声する内容は中間話者 In.の発声内容と同一の setAである必要があ る。 (4)図 13には、学習に使用される元話者の音声の一部が、 TTS又は人により発声さ れた複数セット分 (setA, setB)の音声であり、中間話者の音声が TTS又は人により 発声された複数セット分 (setA, setC, setD)の音声である場合の学習過程及び変 換過程を示す。
[0101] まず、中間変換関数生成部 101は、元話者の音声 setAと中間話者の音声 In.の 音声 setAとに基づいて学習を行い、元話者の音声 setAを中間話者 In.の音声 set Aに変換するための変換関数 F (TTS (A) )を生成する (ステップ S1401)。
[0102] 次に、目標変換関数生成部 102は、ステップ S1401で生成された変換関数 F (TT S (A) )で元話者の音声 setAを変換することにより、変換後 Tr. setAを作成する (ス テツプ S 1402)。
[0103] 次に、目標変換関数生成部 102は、変換後 Tr. setAと目標話者 Tag. 1の音声 se tAとに基づいて学習を行い、中間話者の音声を目標話者 Tag. 1の音声に変換する ための変換関数 Gl (Tr. (A) )を作成する (ステップ S 1403)。
[0104] 同様に、目標変換関数生成部 102は、変換関数 F (TTS (A) )で元話者の音声 set Bを変換することにより、変換後 Tr. setBを作成する (ステップ S 1404)。次に、標変 換関数生成部 102は、変換後 Tr. setBと目標話者 Tag. 2の音声 setBとに基づいて 学習を行い、中間話者の音声を目標話者 Tag. 2の音声に変換するための変換関数 G2 (Tr. (B) )を作成する（ステップ S 1405)。
[0105] また、中間変換関数生成部 101は、元話者 Src. 1の音声 setCと中間話者 In.の音 声 setCとに基づいて学習を行い、元話者 Src. 1の音声を中間話者 In.の音声に変 換するための関数 F (Src. 1 (C) )を生成する (ステップ S 1406)。
[0106] 同様に、中間変換関数生成部 101は、元話者 Src. 2の音声 setDと中間話者 In. の音声 setDとに基づいて学習を行い、元話者 Src. 2の音声を中間話者 In.の音声 に変換するための関数 F (Src. 2 (D) )を生成する (ステップ S 1407)。
[0107] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を変 換関数 F (Src. 1 (C) )を用いて中間話者 In.の音声に変換する (ステップ S1408)。 次に、目標声質変換部 212は、中間話者 In.の音声を変換関数 Gl (Tr. (A) )又は 変換関数 G2 (Tr. (B) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変 換する（ステップ S 1409)。
[0108] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を変換関数 F (Src.
2 (D) )を用いて、中間話者 In.の音声に変換する (ステップ S1410)。次に、目標声 質変換部 212は、中間話者 In.の音声を、変換関数 Gl (Tr. (A) )又は変換関数 G 2 (Tr. (B) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2へ変換する (ステップ S 1411)。
[0109] このパターンの場合には、学習時の元話者と目標話者、及び、中間話者と目標話 者との音声内容を非パラレルコーパスとすることができる。
[0110] また、中間話者が TTSである場合には、 TTSから任意の発声内容を出力すること ができるため、携帯端末 10を所持する元話者 Src. 1, Src. 2が声質変換を行うため の変換関数 Fを取得する場合には、元話者 Src. 1, Src. 2が発声する内容は決めら れたものでなくてもよくなる。また、元話者が TTSである場合には、目標話者の発声 内容が決められたものでなくてもよくなる。
[0111] [2]変換前特徴量変換方式
次に、変換関数学習方式が変換前特徴量変換方式である場合について説明する 。上述した変換後特徴量変換方式では、実際の声質変換処理の手順を考慮して変 換関数 Gを生成した。これに対して、変換前特徴量変換方式では、変換関数 Fと変 換関数 Gとを独立に学習する。この方式では、学習工程は減少するが、変換後の声 質の精度が若干低下することとなる。
(1)図 14には、学習用の中間話者の音声が 1セット分 (setA)の音声である場合の学 習過程及び変換過程を示す。
[0112] まず、中間変換関数生成部 101は、元話者 Src. 1の音声 setAと中間話者 In.の 音声 setAとに基づ 、て学習を行 、、変換関数 F (Src. 1 (A) )を生成する (ステップ S 1501)。同様に、中間変換関数生成部 101は、元話者 Src. 2の音声 setAと中間話 者 In.の音声 setAとに基づいて学習を行い、変換関数 F (Src. 2 (A) )を生成する（ ステップ S 1502)。
[0113] 次に、目標変換関数生成部 102は、中間話者 In.の音声 setAと目標話者 Tag. 1 の音声 setAとに基づいて学習を行い、変換関数 Gl (In. (A) )を生成する (ステップ S1503) o同様に、目標変換関数生成部 102は、中間話者 In.の音声 setAと目標 話者 Tag. 2の音声 setAとに基づいて学習を行い、変換関数 G2 (In. (A) )を生成 する（ステップ S 1503)。
[0114] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を変 換関数 F (Src. 1 (A) )を用いて中間話者 In.の音声に変換する (ステップ S1505)。 次に、目標声質変換部 212は、中間話者 In.の音声を、変換関数 Gl (In. (A) )又 は変換関数 G2 (In. (A) )を用いて、目標話者 Tag. 1又は目標話者 Tag. 2の音声 へ変換する（ステップ S 1506)。
[0115] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を変換関数 F (Src.
2 (A) )を用いて中間話者 In.の音声に変換する (ステップ S1507)。次に、目標声質 変換部 212は、中間話者 In.の音声を、変換関数 Gl (In. (A) )又は変換関数 G2 (I n. (A) )を用いて、目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変換する (ステツ プ S 1508)。
[0116] このように、中間話者の発声内容を setAの 1セットのみ収録して学習を行う場合に は、変換後特徴量変換方式と同様に、元話者の発声内容と目標話者の発声内容と が同一の発声内容のセット（setA)である必要がある力 従来に比較して、学習により 生成すべき変換関数の数が減少する。
(2)図 15には、中間話者の音声が TTS又は人により発声された複数セット分 (setA , setB, setC, setD)の音声である場合の学習過程及び変換過程を示す。
[0117] まず、中間変換関数生成部 101は、元話者 Src. 1の音声 setAと中間話者 In.の 音声 setAとに基づ 、て学習を行 、、変換関数 F (Src. 1 (A) )を生成する (ステップ S 1601)。同様に、中間変換関数生成部 101は、元話者 Src. 2の音声 setBと中間話 者 In.の音声 setBとに基づいて学習を行い、変換関数 F (Src. 2 (B) )を生成する（ ステップ S 1602)。
[0118] 次に、目標変換関数生成部 102は、中間話者 In.の音声 setCと目標話者 Tag. 1 の音声 setCとに基づ 、て学習を行 、、変換関数 Gl (In. (C) )を生成する (ステップ S1603)。同様に、目標変換関数生成部 102は、中間話者 In.の音声 setDと目標 話者 Tag. 2の音声 setAとに基づいて学習を行い、変換関数 G2 (In. (D) )を生成 する（ステップ SI 604)。
[0119] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を変 換関数 F (Src. 1 (A) )を用いて中間話者 In.の音声に変換する (ステップ S1605)。 次に、目標声質変換部 212は、中間話者 In.の音声を変換関数 Gl (In. (C) )又は 変換関数 G2 (In. (D) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変 換する（ステップ S 1606)。
[0120] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を変換関数 F (Src.
2 (B) )を用いて中間話者 In. の音声に変換する (ステップ S 1607)。次に、目標声質 変換部 212は、中間話者 In.の音声を変換関数 Gl (In. (C) )又は変換関数 G2 (In . (D) )を用いて目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変換する (ステップ S1608)。
[0121] 以上のように、中間話者を TTSとした場合には、半永久的に中間話者に所定の声 質の音声を発声させることができる。また、元話者及び中間話者の発声内容に関わら ず、元話者及び中間話者の発声内容に合わせた音声内容を TTSから出力すること ができるため、学習時の元話者及び中間話者の発声内容が制約されることがない。 このため利便性が高まり、変換関数を容易に生成することができる。また、元話者と目 標話者との発声内容を非パラレルコーパスにすることができる。
(3)図 16には、元話者の音声の一部が TTS又は人により発声された複数セット分 (こ こでは、 setA, setB)の音声であり、中間話者の音声が TTS又は人により発声された 複数セット分 (ここでは、 setA, setC, setD)の音声である場合の学習過程及び変換 過程を示す。
[0122] 目標変換関数生成部 102は、中間話者 In.の音声 setAと目標話者 Tag. 1の音声 setAとに基づいて学習を行い、変換関数 Gl (In. (A) )を生成する（ステップ SI 701
) o
[0123] 同様に、目標変換関数生成部 102は、中間話者 In.の音声 setBと目標話者 Tag.
2の音声 setBとに基づいて学習を行い、変換関数 G2 (In. (B) )を生成する (ステツ プ S 1702)。
[0124] 中間変換関数生成部 101は、元話者 Src. 1の音声 setCと中間話者 In. の音声 set Cとに基づいて学習を行い、変換関数 F (Src. 1 (C) )を生成する (ステップ SI 703)
[0125] 同様に、中間変換関数生成部 101は、元話者 Src. 2の音声 setDと中間話者 In. の音声 setDとに基づいて学習を行い、変換関数 F (Src. 2 (D) )を生成する (ステツ プ S 1704)。
[0126] 変換過程においては、中間声質変換部 211は、元話者 Src. 1の任意の音声を変 換関数 F (Src. 1 (C) )を用いて中間話者 In.の音声に変換する (ステップ S1705)。 次に、目標声質変換部 212は、中間話者 In.の音声を、変換関数 Gl (In. (A) )又 は変換関数 G2 (In. (B) )を用いて、目標話者 Tag. 1又は目標話者 Tag. 2の音声 へ変換する（ステップ S 1706)。
[0127] 同様に、中間声質変換部 211は、元話者 Src. 2の任意の音声を変換関数 F (Src.
2 (D) )を用いて中間話者 In. の音声に変換する (ステップ S1707)。次に、目標声質 変換部 212は、中間話者 In.の音声を、変換関数 Gl (In. (A) )又は変換関数 G2 (I n. (B) )を用いて、目標話者 Tag. 1又は目標話者 Tag. 2の音声へ変換する (ステツ プ S 1708)。
[0128] このパターンの場合には、中間話者を TTSとした場合には、元話者及び目標話者 の発声内容に応じて元話者の発声内容を変化させることができ、柔軟に変換関数の 学習を行うことができる。また、学習時の元話者と目標話者との音声内容を非パラレ ルコーパスにすることできる。
[0129] (評価）
次に、従来法及び本願手法における声質変換の精度を客観的に評価するために 実施した実験手順及び実験結果につ!ヽて説明する。
[0130] ここでは、声質変換の手法として、混合正規分布モデル (GMM)に基づく特徴量 変換法 (例 は、 A. Kain and M.W.Macon, Spectral voice conversion for text- to- sp eech synthesis," Proc.ICASSP,pp.285- 288,Seattle,U.S.A.May,1998.参照）を用いる。
[0131] 以下、 GMMに基づく声質変換手法について説明しておく。時間領域においてフ レームごとに対応付けられた、変換元となる話者の音声の特徴量 Xおよび変換先とな る話者の音声の特徴量 yを、それぞれ [0132] [数 1]
[0133] と表す。ここで、 pは特徴量の次元数であり、 Tは転置を示す。 GMMでは、音声の 特徴量 Xの確率分布 p (X)を
[0134] [数 2]
Figure imgf000027_0001
ai =1, β, ≥ 0
[0135] と表す。ここで、 a iはクラス iの重み、 mはクラス数である。また、 N (x； i, ∑ i)はク ラス iでの平均ベクトル μ iおよび共分散行列∑ iを有する正規分布であり、
[0136] [数 3] exp! — — μ! 2_ti 、χ μ
Figure imgf000027_0002
[0137] と表される。次に、元話者の音声の特徴量 Xから目標話者の音声の特徴量 yへと変 換を行う変換関数 F(x)は、
[0138] [数 4]
F(x) = 2 , (χ)[μ ) +∑ 〔∑ )〕 (X― )]
[0139] と表される。ここで、 i (X)、 i (y)はそれぞれ xおよび yのクラス iでの平均ベクトル を表す。また、∑i (XX)は Xのクラス iでの共分散行列を示し、∑i(yx)は yと Xにおける クラス iでの相互共分散行列を示す。 hi(x)は、
[0140] [数 5]
N( )，∑( )) [0141] である。変換関数 F (x)の学習は、変換パラメータである（ a i、 i (X)、 i (y)、 ∑ i ( xx)、 ∑i (yx) )を推定することにより行われる。 Xおよび yの結合特徴量ベクトル zを [0142] 園 ，
[0143] と定義する。 ζの確率分布 ρ (ζ)は GMMにより
[0144] [数 7] z) = 2 ,.N(Z; p ,∑;-'))
[0145] と表される。ここで、 zのクラス iでの共分散行列∑ i (z)および平均ベクトル μ i (z)は それぞれ
[0146] [数 8]
Figure imgf000028_0001
∑Ϋ'Χ) ν(»
(-') ―
μ ( )
μ;
[0147] と表される。変換パラメータ（a i、 i (x)、 /z i (y)ゝ ∑i (xx)、 ∑i (yx) )の推定は、公 知の EMアルゴリズムにより行うことができる。
[0148] 学習にはテキストなどの言語情報は一切使用せず、特徴量の抽出や GMMの学習 はコンピュータを用いて全て自動で行う。実験には、元話者として男女各 1名（男性 話者 A、女性話者 B)、中間話者 Iとして女性話者 1名、目標話者 Tとして男性 1名を用 いる。
[0149] 学習データとして、 ATR音素バランス文 (例えば、阿部匡伸、匂坂芳典、梅田哲夫 、桑原尚夫著、 "研究用日本語音声データベース利用解説書 (速読音声データ編)、 "ATRテク-カルレポート、 TR-I-0166, 1990.参照）のうちサブセット 50文を使用し、 評価データとして学習データに含まれないサブセット 50文を使用する。
[0150] 音声に対しては、 STRAIGHT分析（例えば、 H. Kawahara et al. "Restructuring s peech representation using a pitch-adaptive time-frequency smoothing and an insta ntaneous— frequency— based AO extraction： possible role of a repetitive structure in s ounds," Speech Communication,Vol.27,No.3-4,pp.187-207, 1999.参照）を行う。サン プリング周期は 16kHz、フレームシフトは 5msである。音声のスペクトル特徴量として 、 STRAIGHTスペクトルから変換された 1〜41次のケプストラム係数を用いる。 GM Mの混合数は 64とする。変換精度の評価尺度として、ケプストラム歪（Cepstral Disto rtion)を用いる。評価は元話者力も変換したケプストラムと、目標話者のケプストラムと の歪を計算する。ケプストラム歪は式（1)で表され、値が小さいほど高い評価となる。
[0151] [数 9] (ς( Ο - c1" )2
Figure imgf000029_0001
[0152] ここで、 Ci (x)は目標話者の音声のケプストラム係数、 Ci(y)は変換音声のケプスト ラム係数、 Pはケプストラム係数の次数を示す。本実験では、 p=41である。
[0153] 実験結果のグラフを図 17に示す。グラフ縦軸はケプストラム歪みであり、当該値は 各フレームごとに式（1)により求められたケプストラム歪みを、全フレームにおいて平 均した値である。
[0154] (a)は元話者 (A、 B)のケプストラムと目標話者 Tのケプストラムとの歪みを表す。 (b )は、従来法に相当し、元話者 (A、 B)と目標話者 Tで直接学習を行った場合の元話 者 (A、B)から変換したケプストラムと、目標話者 Tのケプストラムとの歪みを表す。 (c )、 （d)は、本願の手法を適用したものである。（c)について具体的に説明すると、元 話者 Aから中間話者 Iへの中間変換関数を F (A)、元話者 Aより F (A)を使用して生 成された音声から目標話者 Tの音声への目標変換関数を G (A)とする。また同様に、 元話者 Bから中間話者 Iへの中間変換関数を F (B)、元話者 Bより F (B)を使用して生 成された音声から目標話者 Tの音声への目標変換関数を G (B)とする。ここで、元話 者 A力 F (A)を使用し、中間話者 Iのケプストラムに一度変換し、さらに G (A)を使用 して目標話者 Tに変換したケプストラムと、 目標話者 Tのケプストラムとの歪み (元話者 A→目標話者 T)を表す。同様に、元話者 Βから F (B)を使用し、中間話者 Iのケプスト ラムに一度変換し、さらに G (B)を使用して目標話者 Tに変換したケプストラムと、目 標話者 Tのケプストラムとの歪み (元話者 B→目標話者 T)も表す。
[0155] (d)は、（c)において本人以外の目標変換関数 Gを使用した場合について表す。具 体的には、元話者 Aから F (A)を使用して中間話者 Iに変換した後、 G (B)を使用して 目標話者 Tに変換したケプストラムと、目標話者 Tのケプストラムとの歪み (元話者 A →目標話者 T)を表す。また同様に、元話者 Bから F (B)を使用して中間話者 Iに変換 した後、 G (A)を使用して目標話者 Tに変換したケプストラムと、目標話者 Tのケプス トラムとの歪み (元話者 B→目標話者 T)も表す。
[0156] これらのグラフより、従来法 (b)と本願手法 (c)とでケプストラムの歪みはほぼ同じ値 をとつていることから、中間話者を介した変換を行っても従来法と同程度の品質を保 つことができることがわ力る。さらに、従来法 (b)と本願手法 (d)とでケプストラムの歪 みはほぼ同じ値をとつていることから、中間話者を介した変換を行うときに、中間話者 力 目標話者への目標変換関数は、任意の元話者により作成された目標話者ごと〖こ 1種類の Gを共通に使用しても、従来法と同程度の品質を保つことができることがわか る。
[0157] 以上説明したように、サーバ 10は、 1つ以上の元話者各々の音声を 1つの中間話 者の音声に変換するための変換関数 Fと、前記 1つの中間話者の音声を 1つ以上の 目標話者各々の音声に変換するための変換関数 Gとを学習し生成するため、元話者 と目標話者とが複数存在する場合、元話者の音声各々を中間話者の音声に変換す るための変換関数、及び、中間話者の音声を目標話者の音声各々に変換するため の変換関数を用意すれば、元話者各々の音声を目標話者各々の音声に変換するこ とができる。つまり、従来のように、元話者の音声各々を目標話者の音声各々に変換 するための変換関数を用意するよりも少ない変換関数で声質変換を行うことが可能と なる。従って、少ない負担で学習を行い変換関数を生成し、当該変換関数を用いて 声質変換を行うことが可能となる。
[0158] また、携帯端末 20を利用して自己の音声の声質変換を行うユーザは、自己の音声 を中間話者の音声に変換するための変換関数 Fを 1つ作成して携帯端末 20に記憶 させておき、中間話者力 ユーザ所望の目標話者の音声に変換するための変換関 数 Gをサーバ 10からダウンロードすることで、容易に自己の音声を目標話者の音声 に変換することが可能となる。
[0159] また、目標変換関数生成部 102は、元話者の音声が変換関数 Fによって変換され た後の音声を目標話者の音声に変換するための関数を、中間変換関数として生成 することができる。そのため、実際の声質変換時の処理に合わせた変換関数を生成 することができ、中間話者カゝら直接収集された音声を目標話者の音声に変換するた めの変換関数を生成するよりも、実際の声質変換時の声質精度を向上させることが できる。
[0160] また、中間話者の音声を TTSから出力される音声とすることで、元話者や目標話者 力 Sどのような内容の音声を発声しても、 TTSに同じ内容の音声を発声させることがで きる。そのため、学習時における元話者や目標話者の発声内容の制約がなくなり、元 話者や目標話者から特定の音声内容を収集するための手間が省け、変換関数の学 習を容易に行うことができる。
[0161] また、変換後特徴量変換方式にお!、て元話者の音声を TTSとすることで、目標話 者の発声内容に合わせて元話者としての TTSに任意の音声内容を発声させることが でき、目標話者の発声内容に制約されずに容易に変換関数 Gを学習することが可能 となる。
[0162] 例えば、目標話者の音声がアニメのキャラクターや映画俳優の音声であっても、過 去に収録された音源を用いて容易に学習を行うことができる。
[0163] また、変換関数 Fと変換関数 Gとを合成した変換関数を用いて声質変換を行うこと により、声質変換に要する時間やメモリを削減することができる。
[0164] (変形例）
(1)上述した実施の形態では、声質変換クライアントサーバシステム 1を構成する装 置のうち、サーバ 10が中間変換関数生成部 101及び目標変換関数生成部 102を備 え、携帯端末 20が中間声質変換部 211及び目標声質変換部 212を備えているとし て説明した。しかし、これに限定されることはなぐ声質変換クライアントサーバシステ ム 1の装置構成、及び、声質変換クライアントサーバシステム 1を構成する装置におけ る中間変換関数生成部 101、目標変換関数生成部 102、中間声質変換部 211、及 び、目標声質変換部 212の配置は 、かなる配置であっても構わな 、。
[0165] 例えば、 1つの装置が中間変換関数生成部 101、目標変換関数生成部 102、中間 声質変換部 211、目標声質変換部 212の全ての機能を備えて 、てもよ 、。
[0166] また、変換関数学習機能のうち、携帯端末 20が中間変換関数生成部 101を備えて おり、サーバ 10が目標変換関数生成部 102を備えていてもよい。この場合には、携 帯端末 20の不揮発性メモリに変換関数 Fを学習し生成するためのプログラムを記憶 させておく必要がある。
[0167] 以下、図 18を参照して、携帯端末 20が中間変換関数生成部 101を備えている場 合の、携帯端末 20における変換関数 Fの生成手順について説明する。
[0168] 図 18 (a)には、元話者 Aの発声内容が固定の場合の手順を示す。元話者 xの発声 内容が固定の場合には、予め当該内容の中間話者の音声を携帯端末 20の不揮発 性メモリに記憶させておく。そして、携帯端末 20が備えるマイクロフォンで収集された 元話者 Xの音声と、携帯端末 20に記憶させておいた中間話者 iの音声とに基づいて 学習し (ステップ S601)、変換関数 F (X)を取得する (ステップ S602)。
[0169] 図 18 (b)には、元話者 Aの発声内容が自由である場合の処理手順を示す。この場 合には、音声をテキストに変換する音声認識装置と、テキストを音声に変換する TTS とを携帯端末 20に搭載しておく。
[0170] まず、音声認識装置は、携帯端末 20が備えるマイクロフォンで収集された元話者 X の音声の音声認識を行 、、元話者 Xの発声内容をテキストに変換し (ステップ S 701 ) 、 TTSに入力する。 TTSは、テキストから中間話者 i(TTS)の音声を生成する (ステツ プ S702)。
[0171] 中間変換関数生成部 101は、中間話者 i (TTS)の音声と元話者の音声とに基づい て学習し (ステップ S703)、変換関数 F (X)を取得する (ステップ S704)。
[0172] (2)上述した実施の形態においては、声質変換部 21は、変換関数 Fを用いて元話者 の音声を中間話者の音声に変換する中間声質変換部 211と、変換関数 Gを用いて 中間話者の音声を目標話者の音声に変換する目標声質変換部 212と、で構成され ているとして説明した。これは一例に過ぎず、声質変換部 21は、変換関数 Fと変換関 数 Gとが合成された関数を用いて、元話者の音声を直接目標話者の音声に変換す る機能を備えていてもよい。
[0173] (3)本発明に係る声質変換機能を送信側及び受信側の携帯電話機に適用すること で、送信側の携帯電話機に入力された音声の声質を変換して、受信側の携帯電話 機力 出力することが可能となる。この場合、送信側及び受信側の携帯電話機にお ける処理パターンとしては、以下のパターンが考えられる。
1)送信側の携帯電話機で LSP (Line Spectral Pair)係数を変換した後（図 19 (a)参 照)、受信側の携帯電話機でデコードする（図 19 (c)参照)。
2)送信側の携帯電話機で LSP係数及び音源信号を変換した後（図 19 (b)参照)、 受信側の携帯電話機でデコードする（図 19 (c)参照)。
3)送信側の携帯電話機でエンコードした後（図 20 (a)参照)、受信側の携帯電話機 で LSP係数を変換した後デコードする（図 20 (b)参照)。
4)送信側の携帯電話機でエンコードした後（図 20 (a)参照)、受信側の携帯電話機 で LSP係数及び音源信号を変換した後、デコードする（図 20 (c)参照)。
[0174] なお、上記 3)、 4)のように受信側の携帯電話機で変換を行うためには、正確には、 送信者 (音声入力者)の変換関数又は送信者の属する変換関数のクラスタを決定す るインデックスなど、送信者の変換関数に関する情報が必要となる。
[0175] 以上のように、既存の携帯電話機に対して、 LSP係数変換、音源信号変換等を利 用した声質変換の機能を追加するだけで、システムやインフラの変更を伴わずに、携 帯電話機間で送受信される音声の声質変換を行うことができる。
[0176] また、図 21に示すように、サーバにおいて声質変換を行うことも可能である。図 21 では、 LSP係数及び音源信号の両方を変換している力 LSP係数のみの変換でもよ い。
(4)上述した実施の形態においては、音声合成装置として TTSを用いたが、入力さ れた音声内容を、所定の声質に変換して出力する装置を用いても良い。
(5)上述した実施の形態においては、中間話者の音声への変換を介する 2段階の声 質変換について説明している。しかし、これに限定されることはなぐ複数の中間話者 の音声への変換を介する多段階の声質変換であってもよ 、。 産業上の利用可能性
少ない変換学習及び少ない変換関数で、多くのユーザの音声を多様な目標話者 の音声に変換することを可能とする声質変換サービスに利用することができる。

Claims

請求の範囲
[1] 元話者の音声を目標話者の音声に変換する声質変換システムにおいて、
元話者の音声を、中間話者の音声への変換を介して、目標話者の音声に変換する 声質変換手段を備えることを特徴とする声質変換システム。
[2] 1つ以上の元話者各々の音声を 1つ以上の目標話者各々の音声に変換するため の関数を学習する声質変換学習システムにおいて、
前記元話者の音声を、前記 1つ以上の元話者各々に対し共通に設けられた 1つの 中間話者の音声へ変換するための中間変換関数を学習し生成する中間変換関数 生成手段と、
前記中間話者の音声を前記目標話者の音声に変換するための目標変換関数を学 習し生成する目標変換関数生成手段と
を備えることを特徴とする声質変換学習システム。
[3] 前記目標変換関数生成手段は、
前記元話者の音声が前記中間変換関数によって変換された後の音声を前記目標 話者の音声に変換するための関数を、前記目標変換関数として生成することを特徴 とする
請求項 2に記載の声質変換学習システム。
[4] 前記学習に用いられる中間話者の音声は、任意の音声内容を所定の声質で出力 する音声合成装置力 出力される音声であることを特徴とする
請求項 2又は 3に記載の声質変換学習システム。
[5] 前記学習に用いられる元話者の音声は、任意の音声内容を所定の声質で出力す る音声合成装置力 出力される音声であることを特徴とする
請求項 2から 4の何れか 1項に記載の声質変換学習システム。
[6] 前記中間変換関数生成手段により生成された中間変換関数と、前記目標変換関 数生成手段により生成された目標変換関数とを合成することにより、前記元話者の音 声を前記目標話者の音声に変換するための関数を生成する変換関数合成手段をさ らに備えることを特徴とする
請求項 2から 5の何れか 1項に記載の声質変換学習システム。
[7] 請求項 2から 6の何れか 1項に記載の声質変換学習システムにより生成された関数 を用いて、前記元話者の音声を前記目標話者の音声に変換する声質変換手段を備 えることを特徴とする声質変換システム。
[8] 前記声質変換手段は、
前記中間変換関数を用いて、前記元話者の音声から前記中間話者の音声を生成 する中間声質変換手段と、
前記目標変換関数を用いて、前記中間声質変換手段により生成された前記中間 話者の音声から前記目標話者の音声を生成する目標声質変換手段とを備えることを 特徴とする
請求項 7に記載の声質変換システム。
[9] 前記声質変換手段は、
前記中間変換関数と前記目標変換関数とが合成された関数を用いて、前記元話 者の音声を前記目標話者の音声に変換することを特徴とする
請求項 7に記載の声質変換システム。
[10] 前記声質変換手段は、音声の特徴量であるスペクトル系列を変換することを特徴と する
請求項 7から 9の何れか 1項に記載の声質変換システム。
[11] クライアントコンピュータとサーバコンピュータとがネットワークを介して接続され、 1 つ以上のユーザ各々の音声を 1つ以上の目標話者各々の音声に変換する声質変換 クライアントサーバシステムにお ヽて、
前記クライアントコンピュータは、
前記ユーザの音声を取得するユーザ音声取得手段と、
前記ユーザ音声取得手段により取得した前記ユーザの音声を前記サーバコンビュ ータへ送信するユーザ音声送信手段と、
前記ユーザの音声を前記 1つ以上のユーザ各々に共通に設けられた 1つの中間話 者の音声へ変換するための中間変換関数を前記サーバコンピュータ力 受信する中 間変換関数受信手段と、
前記中間話者の音声を前記目標話者の音声へ変換するための目標変換関数を、 前記サーバコンピュータから受信する目標変換関数受信手段と備え、 前記サーバコンピュータは、
前記クライアントコンピュータ力 前記ユーザの音声を受信するユーザ音声受信手 段と、
前記中間話者の音声を予め記憶する中間話者音声記憶手段と、
前記ユーザの音声を前記中間話者の音声へ変換するための中間変換関数を生成 する中間変換関数生成手段と、
前記目標話者の音声を予め記憶する目標話者音声記憶手段と、
前記中間話者の音声を前記目標話者の音声へ変換するための目標変換関数を生 成する目標変換関数生成手段と、
前記中間変換関数を前記クライアントコンピュータへ送信する中間変換関数送信 手段と、
前記目標変換関数を前記クライアントコンピュータへ送信する目標変換関数送信 手段とを備え、
更に前記クライアントコンピュータは、
前記中間変換関数を用いて、前記ユーザの音声から前記中間話者の音声を生成 する中間声質変換手段と、
前記目標変換関数を用いて、当該中間話者の音声力 前記目標話者の音声を生 成する目標変換手段と
を備えることを特徴とする声質変換クライアントサーバシステム。
[12] コンピュータに、
1つ以上の元話者各々の音声を 1つの中間話者の音声に変換するための中間変 換関数各々を生成する中間変換関数生成ステップと、
1つの中間話者の音声を 1つ以上の目標話者各々の音声に変換するための目標 変換関数各々を生成する目標変換関数生成ステップと
の少なくとも一方のステップを実行させるためのプログラム。
[13] コンピュータに、
元話者の音声を中間話者の音声に変換するための中間変換関数、及び、前記中 間話者の音声を目標話者の音声に変換するための目標変換関数を取得する変換関 数取得ステップと、
前記変換関数取得ステップにお 、て取得された中間変換関数を用いて、前記元話 者の音声力 前記中間話者の音声を生成する中間声質変換ステップと、
前記変換関数取得ステップにお 、て取得された目標変換関数を用いて、前記中間 声質変換ステップにおいて生成された前記中間話者の音声力 前記目標話者の音 声を生成する目標声質変換ステップと
を実行させるためのプログラム。
PCT/JP2006/323667 2005-12-02 2006-11-28 声質変換システム WO2007063827A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/085,922 US8099282B2 (en) 2005-12-02 2006-11-28 Voice conversion system
EP06833471A EP2017832A4 (en) 2005-12-02 2006-11-28 VOICE QUALITY CONVERSION SYSTEM
JP2007547942A JP4928465B2 (ja) 2005-12-02 2006-11-28 声質変換システム
CN2006800453611A CN101351841B (zh) 2005-12-02 2006-11-28 音质转换系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-349754 2005-12-02
JP2005349754 2005-12-02

Publications (1)

Publication Number Publication Date
WO2007063827A1 true WO2007063827A1 (ja) 2007-06-07

Family

ID=38092160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323667 WO2007063827A1 (ja) 2005-12-02 2006-11-28 声質変換システム

Country Status (6)

Country Link
US (1) US8099282B2 (ja)
EP (1) EP2017832A4 (ja)
JP (1) JP4928465B2 (ja)
KR (1) KR101015522B1 (ja)
CN (1) CN101351841B (ja)
WO (1) WO2007063827A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058696A (ja) * 2006-08-31 2008-03-13 Nara Institute Of Science & Technology 声質変換モデル生成装置及び声質変換システム
US20090094031A1 (en) * 2007-10-04 2009-04-09 Nokia Corporation Method, Apparatus and Computer Program Product for Providing Text Independent Voice Conversion
JP2010049196A (ja) * 2008-08-25 2010-03-04 Toshiba Corp 声質変換装置及び方法、音声合成装置及び方法
JP2017003622A (ja) * 2015-06-04 2017-01-05 国立大学法人神戸大学 声質変換方法および声質変換装置
JP2019109306A (ja) * 2017-12-15 2019-07-04 日本電信電話株式会社 音声変換装置、音声変換方法及びプログラム
JP2020056996A (ja) * 2018-08-16 2020-04-09 國立臺灣科技大學 音色選択可能なボイス再生システム、その再生方法、およびコンピュータ読み取り可能な記録媒体

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131550B2 (en) * 2007-10-04 2012-03-06 Nokia Corporation Method, apparatus and computer program product for providing improved voice conversion
ES2796493T3 (es) * 2008-03-20 2020-11-27 Fraunhofer Ges Forschung Aparato y método para convertir una señal de audio en una representación parametrizada, aparato y método para modificar una representación parametrizada, aparato y método para sintetizar una representación parametrizada de una señal de audio
US9058818B2 (en) * 2009-10-22 2015-06-16 Broadcom Corporation User attribute derivation and update for network/peer assisted speech coding
US9798653B1 (en) * 2010-05-05 2017-10-24 Nuance Communications, Inc. Methods, apparatus and data structure for cross-language speech adaptation
JP5961950B2 (ja) * 2010-09-15 2016-08-03 ヤマハ株式会社 音声処理装置
CN103856390B (zh) * 2012-12-04 2017-05-17 腾讯科技（深圳）有限公司 即时通讯方法及系统、通讯信息处理方法、终端
US9613620B2 (en) 2014-07-03 2017-04-04 Google Inc. Methods and systems for voice conversion
US10614826B2 (en) * 2017-05-24 2020-04-07 Modulate, Inc. System and method for voice-to-voice conversion
US20190362737A1 (en) * 2018-05-25 2019-11-28 i2x GmbH Modifying voice data of a conversation to achieve a desired outcome
CN109377986B (zh) * 2018-11-29 2022-02-01 四川长虹电器股份有限公司 一种非平行语料语音个性化转换方法
CN110085254A (zh) * 2019-04-22 2019-08-02 南京邮电大学 基于beta-VAE和i-vector的多对多语音转换方法
CN110071938B (zh) * 2019-05-05 2021-12-03 广州虎牙信息科技有限公司 虚拟形象互动方法、装置、电子设备及可读存储介质
US11854562B2 (en) * 2019-05-14 2023-12-26 International Business Machines Corporation High-quality non-parallel many-to-many voice conversion
WO2021030759A1 (en) 2019-08-14 2021-02-18 Modulate, Inc. Generation and detection of watermark for real-time voice conversion
KR20230130608A (ko) 2020-10-08 2023-09-12 모듈레이트, 인크 콘텐츠 완화를 위한 멀티-스테이지 적응 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104792A (ja) * 1993-10-01 1995-04-21 Nippon Telegr & Teleph Corp <Ntt> 声質変換方法
JP2002182683A (ja) * 2000-12-15 2002-06-26 Sharp Corp 話者特徴推定装置および話者特徴推定方法、クラスタモデル作成装置、音声認識装置、音声合成装置、並びに、プログラム記録媒体
JP2002215198A (ja) 2001-01-16 2002-07-31 Sharp Corp 声質変換装置および声質変換方法およびプログラム記憶媒体
JP2002244689A (ja) * 2001-02-22 2002-08-30 Rikogaku Shinkokai 平均声の合成方法及び平均声からの任意話者音声の合成方法
JP2005266349A (ja) * 2004-03-18 2005-09-29 Nec Corp 声質変換装置および声質変換方法ならびに声質変換プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993018505A1 (en) * 1992-03-02 1993-09-16 The Walt Disney Company Voice transformation system
FI96247C (fi) * 1993-02-12 1996-05-27 Nokia Telecommunications Oy Menetelmä puheen muuntamiseksi
JP3354363B2 (ja) 1995-11-28 2002-12-09 三洋電機株式会社 音声変換装置
US6336092B1 (en) * 1997-04-28 2002-01-01 Ivl Technologies Ltd Targeted vocal transformation
JPH1185194A (ja) 1997-09-04 1999-03-30 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 声質変換音声合成装置
TW430778B (en) * 1998-06-15 2001-04-21 Yamaha Corp Voice converter with extraction and modification of attribute data
IL140082A0 (en) * 2000-12-04 2002-02-10 Sisbit Trade And Dev Ltd Improved speech transformation system and apparatus
CN1369834B (zh) * 2001-01-24 2010-04-28 松下电器产业株式会社 语音转换设备
CN1156819C (zh) * 2001-04-06 2004-07-07 国际商业机器公司 由文本生成个性化语音的方法
JP2003157100A (ja) * 2001-11-22 2003-05-30 Nippon Telegr & Teleph Corp <Ntt> 音声通信方法及び装置、並びに音声通信プログラム
US7275032B2 (en) * 2003-04-25 2007-09-25 Bvoice Corporation Telephone call handling center where operators utilize synthesized voices generated or modified to exhibit or omit prescribed speech characteristics
FR2868587A1 (fr) * 2004-03-31 2005-10-07 France Telecom Procede et systeme de conversion rapides d'un signal vocal
US8666746B2 (en) * 2004-05-13 2014-03-04 At&T Intellectual Property Ii, L.P. System and method for generating customized text-to-speech voices
EP1846918B1 (fr) * 2005-01-31 2009-02-25 France Télécom Procede d'estimation d'une fonction de conversion de voix
US20080161057A1 (en) * 2005-04-15 2008-07-03 Nokia Corporation Voice conversion in ring tones and other features for a communication device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104792A (ja) * 1993-10-01 1995-04-21 Nippon Telegr & Teleph Corp <Ntt> 声質変換方法
JP2002182683A (ja) * 2000-12-15 2002-06-26 Sharp Corp 話者特徴推定装置および話者特徴推定方法、クラスタモデル作成装置、音声認識装置、音声合成装置、並びに、プログラム記録媒体
JP2002215198A (ja) 2001-01-16 2002-07-31 Sharp Corp 声質変換装置および声質変換方法およびプログラム記憶媒体
JP2002244689A (ja) * 2001-02-22 2002-08-30 Rikogaku Shinkokai 平均声の合成方法及び平均声からの任意話者音声の合成方法
JP2005266349A (ja) * 2004-03-18 2005-09-29 Nec Corp 声質変換装置および声質変換方法ならびに声質変換プログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. KAIN; M. W. MACON: "Spectral voice conversion for text-to-speech synthesis", PROC. ICASSP, May 1998 (1998-05-01), pages 285 - 288
H. KAWAHARA ET AL.: "Restructuring speech representation using a pitch-adaptive time-frequency smoothing and an instantaneous-frequency-based ill extraction: possible role of a repetitive structure in sounds", SPEECH COMMUNICATION, vol. 27, no. 3-4, 1999, pages 187 - 207
MASANOBU ABE ET AL.: "Laboratory Japanese speech database user's manual (speed- reading speech data", ATR TECHNICAL REPORT, TR-I-0166, 1990
See also references of EP2017832A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058696A (ja) * 2006-08-31 2008-03-13 Nara Institute Of Science & Technology 声質変換モデル生成装置及び声質変換システム
US20090094031A1 (en) * 2007-10-04 2009-04-09 Nokia Corporation Method, Apparatus and Computer Program Product for Providing Text Independent Voice Conversion
US20140249815A1 (en) * 2007-10-04 2014-09-04 Core Wireless Licensing, S.a.r.l. Method, apparatus and computer program product for providing text independent voice conversion
JP2010049196A (ja) * 2008-08-25 2010-03-04 Toshiba Corp 声質変換装置及び方法、音声合成装置及び方法
JP2017003622A (ja) * 2015-06-04 2017-01-05 国立大学法人神戸大学 声質変換方法および声質変換装置
JP2019109306A (ja) * 2017-12-15 2019-07-04 日本電信電話株式会社 音声変換装置、音声変換方法及びプログラム
JP2020056996A (ja) * 2018-08-16 2020-04-09 國立臺灣科技大學 音色選択可能なボイス再生システム、その再生方法、およびコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
KR20080070725A (ko) 2008-07-30
KR101015522B1 (ko) 2011-02-16
EP2017832A4 (en) 2009-10-21
US8099282B2 (en) 2012-01-17
EP2017832A1 (en) 2009-01-21
JPWO2007063827A1 (ja) 2009-05-07
JP4928465B2 (ja) 2012-05-09
US20100198600A1 (en) 2010-08-05
CN101351841A (zh) 2009-01-21
CN101351841B (zh) 2011-11-16

Similar Documents

Publication Publication Date Title
WO2007063827A1 (ja) 声質変換システム
CN111899719B (zh) 用于生成音频的方法、装置、设备和介质
US8898055B2 (en) Voice quality conversion device and voice quality conversion method for converting voice quality of an input speech using target vocal tract information and received vocal tract information corresponding to the input speech
US9430467B2 (en) Mobile speech-to-speech interpretation system
US10186252B1 (en) Text to speech synthesis using deep neural network with constant unit length spectrogram
EP2126900B1 (en) Method and system for creating entries in a speech recognition lexicon
TW394925B (en) A vocoder-based voice recognizer
US6119086A (en) Speech coding via speech recognition and synthesis based on pre-enrolled phonetic tokens
US20070213987A1 (en) Codebook-less speech conversion method and system
JP2000504849A (ja) 音響学および電磁波を用いた音声の符号化、再構成および認識
JPH10260692A (ja) 音声の認識合成符号化／復号化方法及び音声符号化／復号化システム
CN113470622B (zh) 一种可将任意语音转换成多个语音的转换方法及装置
US20070129946A1 (en) High quality speech reconstruction for a dialog method and system
JP7339151B2 (ja) 音声合成装置、音声合成プログラム及び音声合成方法
WO1997007498A1 (fr) Unite de traitement des signaux vocaux
EP2541544A1 (en) Voice sample tagging
JP2020013008A (ja) 音声処理装置、音声処理プログラムおよび音声処理方法
JP3914612B2 (ja) 通信システム
JP2003122395A (ja) 音声認識システム、端末およびプログラム、並びに音声認識方法
JP3465334B2 (ja) 音声対話装置及び音声対話方法
JP2023014765A (ja) 音声合成装置、音声合成プログラム及び音声合成方法並びに音声変換装置、音声変換プログラム及び音声変換方法
WO2014203329A1 (ja) 音声応答装置および応答音声生成方法
Zaim Two channel adaptive speech enhancement
JP2002287791A (ja) 専門家システムを用いた音声認識基盤の知能型対話装置及びその方法
JP2002099298A (ja) 音声認識システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680045361.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007547942

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2006833471

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087012959

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 12085922

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE