WO2018159403A1 - 学習装置、音声合成システムおよび音声合成方法 - Google Patents

学習装置、音声合成システムおよび音声合成方法 Download PDF

Info

Publication number
WO2018159403A1
WO2018159403A1 PCT/JP2018/006166 JP2018006166W WO2018159403A1 WO 2018159403 A1 WO2018159403 A1 WO 2018159403A1 JP 2018006166 W JP2018006166 W JP 2018006166W WO 2018159403 A1 WO2018159403 A1 WO 2018159403A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
residual signal
speech
input
autoregressive model
Prior art date
Application number
PCT/JP2018/006166
Other languages
English (en)
French (fr)
Inventor
橘　健太郎
戸田　智基
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Priority to US16/489,583 priority Critical patent/US10957303B2/en
Publication of WO2018159403A1 publication Critical patent/WO2018159403A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/75—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 for modelling vocal tract parameters

Definitions

  • the present invention relates to a speech synthesis technique for synthesizing and outputting speech according to input text.
  • SPSS statistical parametric speech synthesis
  • WaveNet a method for estimating an audio signal from an acoustic feature amount sequence
  • a method called “WaveNet” has been proposed in which an audio signal is directly estimated from a context label sequence (for example, non-patent literature). 1). WaveNet has been reported to perform better than the latest state-of-the-art methods.
  • the signal estimated and output in WaveNet disclosed in Non-Patent Document 1 is an audio signal quantized by the ⁇ -law method.
  • an estimation error when the signal is restored spreads over the entire band, so that there is a problem that noise in a high frequency band is particularly easily perceived.
  • the present invention takes the above-described problems into consideration and aims to improve the voice quality when the voice signal is directly estimated from the context label based on the input text.
  • a learning device directed to a speech synthesis system includes an autoregressive model that estimates a current signal from a past signal sequence and a current context label.
  • the autoregressive model has a network structure that enables statistical data modeling.
  • the learning device analyzes a voice signal and determines a vocal tract filter coefficient indicating a vocal tract characteristic by analyzing the voice signal, and between the voice signal predicted based on the vocal tract filter coefficient and the input voice signal.
  • a residual signal generator for outputting a residual signal, a quantizing unit for quantizing the residual signal output from the residual signal generator to generate a quantized residual signal, and an input corresponding to a known input text
  • the context label of the known input text is given as a condition to the autoregressive model, and the past and current context labels of the quantized residual signal for the input speech signal and the quantized residual signal
  • a learning control unit that performs learning of the autoregressive model by associating the current signal with each other.
  • a speech synthesis system that synthesizes and outputs speech corresponding to input text.
  • the speech synthesis system according to claim 1 wherein when an unknown input text is input, the context label of the unknown input text is given as a condition to the autoregressive model, and the past estimated quantized residual signal is learned according to claim 1.
  • a speech synthesis control unit that outputs a current quantized residual signal using an autoregressive model constructed by the apparatus is included.
  • the speech synthesis system performs inverse quantization on the past quantized residual signal output from the quantizing unit and the estimated quantized residual signal estimated from the current context label to generate an estimated residual signal.
  • a storage unit stores a quantization unit, a synthesis filter that outputs the result of filtering the estimated residual signal output from the inverse quantization unit based on the vocal tract filter coefficients as a speech signal, and a vocal tract filter coefficient for the input speech signal.
  • the vocal tract filter coefficient is adjustable by an auditory weighting coefficient.
  • the speech synthesis system further includes a text analysis unit that analyzes the input text to generate context information, and a context label generation unit that generates a context label of the input text based on the context information from the text analysis unit. Including.
  • a speech synthesis method for synthesizing and outputting speech corresponding to input text.
  • the speech synthesis method comprises: analyzing an input speech signal corresponding to a known input text to determine a vocal tract filter coefficient indicating vocal tract characteristics; a speech signal predicted based on the vocal tract filter coefficient; and an input speech signal Generating a residual signal between, a step of quantizing the residual signal to generate a quantized residual signal, and providing a context label of the known input text as a condition to the autoregressive model, Learning an autoregressive model that estimates a current quantized residual signal from a past quantized residual signal and a current context label.
  • the autoregressive model stores parameters for estimating a current value from a past signal sequence and a current context label, and has a network structure capable of statistical data modeling.
  • the present invention it is possible to improve the voice quality when the voice signal is directly estimated from the context label based on the input text.
  • FIG. 1 is a schematic diagram showing an outline of a multilingual translation system 1 using a speech synthesis system according to the present embodiment.
  • multilingual translation system 1 includes a service providing device 10.
  • the service providing apparatus 10 performs speech recognition, multilingual translation, etc. on the input speech (some words uttered in the first language) from the mobile terminal 30 connected via the network 2, and in the second language.
  • the corresponding words are synthesized and the synthesized result is output to the portable terminal 30 as output speech.
  • the mobile terminal 30 when the user 4 utters the English word “Where is the station?” To the mobile terminal 30, the mobile terminal 30 generates and generates input speech using a microphone or the like based on the generated words. The input voice is transmitted to the service providing apparatus 10. The service providing apparatus 10 synthesizes an output speech indicating the word “where is the station” in Japanese corresponding to “Where is the station?”. When receiving the output sound from the service providing apparatus 10, the portable terminal 30 plays back the received output sound. As a result, the conversation partner of user 4 can hear the phrase “Where is the station?” In Japanese.
  • the conversation partner of the user 4 may have the same portable terminal 30.
  • an answer “go straight and left” When it is directed to the terminal, the processing as described above is executed, and the corresponding English word “Go straight and turn left” is replied to the user 4.
  • translation can be freely performed between the language of the first language (speech) and the language of the second language (speech).
  • speech the language of the first language
  • speech the language of the second language
  • you may enable it to mutually translate automatically between arbitrary numbers not only in two languages.
  • the speech synthesis system reconstructs a corresponding speech signal from a context label sequence generated from input text using an autoregressive model, as will be described later.
  • the service providing apparatus 10 includes an analysis unit 12, a learning unit 14, an autoregressive model 16, and a speech synthesis unit 18 as components related to the speech synthesis system.
  • the service providing apparatus 10 includes a speech recognition unit 20 and a translation unit 22 as components relating to automatic translation.
  • Service providing apparatus 10 further includes a communication processing unit 24 for performing communication processing with portable terminal 30.
  • the analysis unit 12 and the learning unit 14 are in charge of machine learning for constructing the autoregressive model 16. That is, the analysis unit 12 and the learning unit 14 function as a learning device directed to the speech synthesis system and construct the autoregressive model 16. Details of functions and processes of the analysis unit 12 and the learning unit 14 (learning apparatus) will be described later.
  • the autoregressive model 16 corresponds to the result of machine learning by the analysis unit 12 and the learning unit 14.
  • the voice recognition unit 20 outputs voice recognition text by executing voice recognition processing on the input voice from the mobile terminal 30 received via the communication processing unit 24.
  • the translation unit 22 generates a text in a specified language (also referred to as “translation text” for convenience of explanation) from the speech recognition text from the speech recognition unit 20.
  • a specified language also referred to as “translation text” for convenience of explanation
  • any known method can be employed.
  • the speech synthesis unit 18 performs speech synthesis on the translated text from the translation unit 22 with reference to the autoregressive model 16 and transmits the resulting output speech to the portable terminal 30 via the communication processing unit 24. To do.
  • multilingual translation is performed using components (mainly the analysis unit 12 and the learning unit 14) in charge of machine learning for constructing the autoregressive model 16 and the generated autoregressive model 16.
  • the components mainly, the speech recognition unit 20, the translation unit 22, and the speech synthesis unit 18
  • auto-regression model 16 is constructed by performing machine learning in the first device, and speech synthesis and speech synthesis are used by using the generated auto-regression model 16 in the second device.
  • a service may be provided.
  • an application executed on the mobile terminal 30 may be in charge of at least some functions of the speech recognition unit 20 and the translation unit 22. Further, an application executed on the mobile terminal 30 may be in charge of the functions of the components in charge of speech synthesis (the autoregressive model 16 and the speech synthesizer 18).
  • the multilingual translation system 1 and a speech synthesis system that is a part of the multilingual translation system 1 can be realized by cooperation of the service providing apparatus 10 and the mobile terminal 30 in an arbitrary form.
  • the functions shared by the respective devices may be appropriately determined according to the situation, and are not limited to the multilingual translation system 1 shown in FIG.
  • FIG. 2 is a schematic diagram showing a hardware configuration example of the service providing apparatus 10 according to the present embodiment.
  • the service providing apparatus 10 is typically realized using a general-purpose computer.
  • the service providing apparatus 10 includes, as main hardware components, a processor 100, a main memory 102, a display 104, an input device 106, a network interface (I / F) 108, An optical drive 134 and a secondary storage device 112 are included. These components are connected to each other via an internal bus 110.
  • the processor 100 is an arithmetic entity that executes processes necessary for realizing the service providing apparatus 10 according to the present embodiment by executing various programs as will be described later.
  • the processor 100 includes one or more CPUs (central processing units). ) And GPU (graphics processing unit).
  • CPUs central processing units
  • GPU graphics processing unit
  • a CPU or GPU having a plurality of cores may be used.
  • the main memory 102 is a storage area for temporarily storing program code, work memory, and the like when the processor 100 executes a program.
  • a dynamic random access memory (DRAM) or a static random access memory (SRAM) is used. It consists of volatile memory devices.
  • the display 104 is a display unit that outputs a user interface related to processing, processing results, and the like, and includes, for example, an LCD (liquid crystal display) or an organic EL (electroluminescence) display.
  • the input device 106 is a device that accepts instructions and operations from the user, and includes, for example, a keyboard, a mouse, a touch panel, a pen, and the like. Further, the input device 106 may include a microphone for collecting sounds necessary for machine learning, or an interface for connecting to a sound collecting device that collects sounds necessary for machine learning. Also good.
  • the network interface 108 exchanges data with the mobile terminal 30 or any information processing apparatus on the Internet or an intranet.
  • any communication method such as Ethernet (registered trademark), wireless LAN (local area network), Bluetooth (registered trademark), or the like can be adopted.
  • the optical drive 134 reads information stored in an optical disc 136 such as a CD-ROM (compact disc read only memory) or DVD (digital versatile disc), and outputs the information to other components via the internal bus 110.
  • the optical disk 136 is an example of a non-transitory recording medium, and circulates in a state where an arbitrary program is stored in a nonvolatile manner.
  • the optical drive 134 reads out the program from the optical disk 136 and installs it in the secondary storage device 112 or the like, so that the general-purpose computer functions as the service providing device 10 (or speech synthesizer). Therefore, the subject of the present invention can also be a program itself installed in the secondary storage device 112 or the like, or a recording medium such as an optical disk 136 storing a program for realizing the functions and processes according to the present embodiment. .
  • FIG. 2 shows an optical recording medium such as an optical disk 136 as an example of a non-transitory recording medium.
  • a semiconductor recording medium such as a flash memory or a magnetic recording medium such as a hard disk or a storage tape.
  • a magneto-optical recording medium such as MO (magneto-optical disk) may be used.
  • the secondary storage device 112 includes a program executed by the processor 100, input data to be processed by the program (including input voice and text for learning, input voice from the mobile terminal 30, and the like), and a program Is a component that stores output data (including output audio transmitted to the mobile terminal 30) and the like generated by the execution of, and is composed of, for example, a nonvolatile storage device such as a hard disk or SSD (solid state drive) .
  • a program Is a component that stores output data (including output audio transmitted to the mobile terminal 30) and the like generated by the execution of, and is composed of, for example, a nonvolatile storage device such as a hard disk or SSD (solid state drive) .
  • the secondary storage device 112 typically has an OS (operating system) (not shown), an analysis program 121 for realizing the analysis unit 12, and learning for realizing the learning unit 14.
  • a program 141, a speech recognition program 201 for realizing the speech recognition unit 20, a translation program 221 for realizing the translation unit 22, and a speech synthesis program 181 for realizing the speech synthesis unit 18 are stored. Yes.
  • libraries and functional modules required when these programs are executed by the processor 100 may be replaced with libraries or functional modules provided by the OS as standard.
  • each program alone does not include all the program modules necessary for realizing the corresponding function, but the necessary function can be realized by being installed under the OS execution environment. . Even such a program that does not include some libraries or functional modules can be included in the technical scope of the present invention.
  • these programs may be distributed not only by being stored and distributed in any of the above-described recording media but also by being downloaded from a server device or the like via the Internet or an intranet.
  • the secondary storage device 112 may store, in addition to the autoregressive model 16, an input speech 130 for machine learning and a corresponding text 132 for constructing the autoregressive model 16.
  • FIG. 2 shows an example in which the service providing apparatus 10 is configured by a single computer.
  • the present invention is not limited to this, and a plurality of computers connected via a network are linked in an explicit or implicit manner in a multilingual manner. You may make it implement
  • All or part of the functions realized by the computer (processor 100) executing the program may be realized by using a hard-wired circuit such as an integrated circuit.
  • a hard-wired circuit such as an integrated circuit.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the speech synthesis system is a system that synthesizes and outputs speech corresponding to input text, and combines predictive quantization for input speech and the autoregressive model disclosed in Non-Patent Document 1 described above. As a result, auditory noise generated in the synthesized speech is reduced.
  • Prediction quantization is a method of quantizing a residual signal between a prediction value generated based on a prediction coefficient and an input signal, instead of directly quantizing the input signal. Predictive quantization separates the input signal into prediction coefficients and residual signals. When predictive quantization is applied to a speech signal, the prediction coefficient corresponds to a parameter indicating a vocal tract filter, and the residual signal corresponds to an excitation source. In the speech synthesis system according to the present embodiment, a residual signal is estimated using an autoregressive model. Typically, a method called WaveNet disclosed in Non-Patent Document 1 described above may be employed.
  • noise can be made difficult to perceive due to the auditory masking effect by shaping the spectrum shape of the noise resulting from the estimation error and concentrating the noise in a high power band.
  • FIG. 3 is a block diagram for explaining an outline of predictive quantization employed in the speech synthesis system according to the present embodiment.
  • predictive quantization includes an encoder 200 and a decoder 210 as a basic configuration.
  • the encoder 200 separates the input signal into a prediction coefficient and a residual signal.
  • the decoder 210 reconstructs an input signal from the residual signal.
  • the encoder 200 includes computing units 202 and 206, a quantizer 204, and a predictor 208.
  • the prediction unit 208 and the input signal x t residual signal e t with x ⁇ t generated based on past samples is calculated by the arithmetic unit 202, is the calculated residual signal e t
  • a quantized residual signal e ⁇ t is calculated.
  • “ ⁇ ” is arranged above “e”, but “e” and “ ⁇ ” are described side by side for convenience of usable character codes. The same applies to “ ⁇ ”.
  • the quantized residual signal e ⁇ t and x ⁇ t are added by the arithmetic unit 206, the addition result is supplied to the predictor 208 as the prediction signal x ⁇ t.
  • the prediction signal x ⁇ t is calculated for each cycle in the encoder 200, and the difference between the input signal xt and the calculated prediction signal x ⁇ t is quantized and then quantized.
  • the residual signal e ⁇ t is output.
  • the decoder 210 includes a predictor 212 that operates in the same manner as the predictor 208 of the encoder 200, and a calculator 214.
  • the arithmetic unit 214 adds the quantized residual signal e ⁇ t input for each cycle and the prediction result output from the predictor 208 to the quantized residual signal e ⁇ t , whereby the input signal to reconstruct the prediction signal x ⁇ t corresponding to x t.
  • the encoder 200 outputs the quantized residual signal e ⁇ t for the input signal x t for each cycle, and the decoder 210 performs the input signal x based on the quantized residual signal e ⁇ t. Restore t .
  • the autoregressive model 16 for the quantization residual corresponding to the context label sequence is constructed by learning the quantization residual signal e ⁇ t .
  • FIG. 4 is a block diagram for explaining processing of main parts in the speech synthesis system according to the present embodiment.
  • the speech synthesis system includes an analysis unit 12 and a learning unit 14 for constructing an autoregressive model 16, and a speech synthesizer 18 that outputs a speech signal using the autoregressive model 16.
  • an analysis unit 12 and a learning unit 14 for constructing an autoregressive model 16
  • a speech synthesizer 18 that outputs a speech signal using the autoregressive model 16.
  • Analyzer 12 is a part responsible for speech analysis, speech signal x t indicated by the input speech for learning, separating the vocal tract filter coefficients c, in the residual signal e t corresponding to the excitation source.
  • the vocal tract filter coefficient c is time-invariant.
  • the analysis unit 12 includes an inverse filter 120 and a vocal tract feature analysis unit 122.
  • the vocal tract feature analysis unit 122 analyzes the input speech signal x t and outputs a vocal tract filter coefficient c indicating the vocal tract feature.
  • the vocal tract feature analysis unit 122 outputs the vocal tract filter coefficient c to the inverse filter 120 and stores it in the vocal tract filter coefficient storage unit 146.
  • the filter coefficient any of LSP (line spectral pair), LPC (linear prediction coefficients), and mel cepstrum coefficients may be adopted. [G. Experimental evaluation] shows an example using the mel cepstrum coefficient.
  • the inverse filter 120 corresponds to a residual signal generation unit that outputs a residual signal between a speech signal predicted based on the vocal tract filter coefficient c and an input speech signal. More specifically, the inverse filter 120 internally predicts a speech signal based on the vocal tract filter coefficient c from the vocal tract feature analysis unit 122, and inputs the speech signal xt and the predicted speech signal. and it outputs a residual signal e t of the signal. The residual signal et is output from the inverse filter 120 to the learning unit 14.
  • a residual signal e t given from the analyzing unit 12 inputs the quantized residual signal obtained by quantizing the autoregressive model 16.
  • the error a numerical distance between the quantized residual signal and the estimated quantized residual signal, or a cross-entropy of a one-hot vector corresponding to the quantized bit may be employed.
  • the learning unit 14 constructs the autoregressive model 16 so that the difference (estimation error) between the quantization residual error and the quantization estimation error is minimized.
  • the learning unit 14 constructs an autoregressive model 16 based on each context label corresponding to each sample and a past input speech signal.
  • the autoregressive model 16 stores parameters for estimating current values from past signal sequences and current context labels.
  • the learning unit 14 includes a learning control unit 140, a quantization unit 142, and a vocal tract filter coefficient storage unit 146.
  • the error between the estimated residual signal e ⁇ t the residual signal e t may be minimized .
  • the configuration shown in FIG. 4 includes a text analysis unit 192 and a context label generation unit 194 as components that generate a context label sequence.
  • the text analysis unit 192 and the context label generation unit 194 generate a context label based on context information of known text.
  • the context label is used by both the learning unit 14 and the speech synthesis unit 18, a configuration example commonly used by the learning unit 14 and the speech synthesis unit 18 is shown. However, a component for generating a context label may be mounted on each of the learning unit 14 and the speech synthesis unit 18.
  • the text analysis unit 192 analyzes the input text for learning or synthesis and outputs the context information to the context label generation unit 194. Based on the branch information from the text analysis unit 192, the context label generation unit 194 determines the context label of the input text for learning or synthesis to be output to the learning control unit 140 and the speech synthesis control unit 180.
  • the quantization unit 142 quantizes the residual signal output from the inverse filter 120 (residual signal generation unit) to generate a quantized residual signal.
  • the quantization method may be a ⁇ -law method, or the quantization width may be determined statistically or linearly from learning data.
  • the number of quantization bits may be 16 bits generally used for speech, or may be set arbitrarily.
  • the learning control unit 140 learns the autoregressive model 16 on the condition of the context label given from the context label generation unit 194. That is, the learning control unit 140 gives a context label of the known input text as a condition to the autoregressive model 16 for the input speech signal corresponding to the known input text, and also provides a quantized residual signal for the input speech signal. Is input to the learning control unit 140 to learn the autoregressive model 16. Details of the autoregressive model 16 and its construction method will be described later.
  • the vocal tract filter coefficient storage unit 146 corresponds to a storage unit that stores the vocal tract filter coefficient c for the input voice signal.
  • the speech synthesizer 18 generates a context label for each sample generated from the text to be synthesized, and inputs a past estimated quantized residual signal to the autoregressive model 16 corresponding to the generated context label for each sample. To obtain the current estimated quantized residual signal.
  • the speech synthesis unit 18 includes a speech synthesis control unit 180, an inverse quantization unit 182, and a synthesis filter 184.
  • the text analysis unit 192 analyzes the input text and outputs context information, and the context label generation unit 194 generates a context label based on the branch information. That is, the text analysis unit 192 and the context label generation unit 194 determine a context label based on the context information of the text in response to input of arbitrary text.
  • the speech synthesis control unit 180 gives a context label of the unknown input text as a condition to the autoregressive model 16 and also uses a past estimated quantized residual signal as an autoregressive model. 16 to obtain the current estimated quantized residual signal.
  • the current estimated quantized residual signal is additionally input as one point of the past series, and the estimated quantized residual signal of the next one time ahead is estimated. This estimation is repeated recursively to the final point.
  • the inverse quantization unit 182 inversely quantizes the estimated quantized residual signal estimated by the speech synthesis control unit 180 up to the final point, and generates an estimated residual signal e ⁇ t .
  • the synthesis filter 184 outputs the synthesized speech signal by filtering the estimated residual signal from the inverse quantization unit 182 based on the vocal tract filter coefficient c read from the vocal tract filter coefficient storage unit 146. That is, the synthesis filter 184 outputs a result obtained by filtering the estimated residual signal output from the inverse quantization unit 182 based on the vocal tract filter coefficient c as a speech signal.
  • the quantized residual signal e t recursively estimated by autoregressive model 16 and the speech synthesis control section 180, by inverse quantizing the estimation result, An estimated residual signal e ⁇ t is generated.
  • the estimation error (
  • the voice spectrum of the generated voice signal is aurally weighted.
  • the estimation error included in the estimated residual signal e ⁇ t can be concentrated in a high power band according to the shape of the speech spectrum. Thereby, the auditory masking effect is exhibited and the noise contained in the synthesized speech can be reduced.
  • autoregressive model 16 used in the speech synthesis system according to the present embodiment will be described.
  • the autoregressive model 16 a configuration similar to WaveNet disclosed in Non-Patent Document 1 described above is assumed.
  • the context label h is added as a condition, and the conditional probability p (x
  • FIG. 5 is a block diagram for explaining an outline of the autoregressive model 16 used in the speech synthesis system according to the present embodiment.
  • autoregressive model 16 according to the present embodiment has a network structure capable of statistical data modeling.
  • a plurality of layer k (162) are stacked on the input via causal convolution (161).
  • s 1,... , S K outputted as skip connection elements from the respective layers (162) are coupled by the coupling element (163).
  • the combined output is input to the softmax function (168) after applying ReLu (activation functions 164, 166) and convolution (165, 167).
  • a signal output from the softmax function (168) is output as an estimated value.
  • a past signal sequence is efficiently modeled using a dilated causal convolution (1621).
  • the dilated causal convolution (1621) realizes the reduction of the calculation amount and learning of the global change by skipping the input signal for each sample and convolution.
  • the output of the dilated causal convolution (1621) is input to the gated activation unit (1622).
  • the output of the dilated causal convolution (1621) is input to the hyperbolic function 1623 and the sigmoid function 1624.
  • the output from each of the hyperbolic function 1623 and the sigmoid function 1624 is calculated by a Hadamard element 1625 for each element.
  • the output vector z k of the gated activation unit (1622) can be calculated according to the following equation (3).
  • * indicates a convolution operation
  • ⁇ indicates element-wise multiplication (for each element)
  • ⁇ () indicates a sigmoid function
  • k indicates a layer index.
  • W filter, k and W gate, k indicate a convolution filter of layer k
  • b filter, k and b gate, k indicate a convolution bias term of layer k .
  • residual connection (1628) After applying residual connection (1628) to the output vector z k , it is given as an input to the next layer.
  • the input vector x k is added to the output vector z k.
  • the output vector z k after the 1 ⁇ 1 convolution is applied, is output as an element s k of skip connection.
  • WaveNet disclosed in Non-Patent Document 1 employs the ⁇ -law method for quantization, and the quantized signal is distributed with a uniform probability in each quantization bit. Since this is a multi-class classification problem, the estimation error caused by WaveNet is also uniformly distributed, and the estimation error is uniformly distributed in the reconstructed signal. As a result, there is a problem that noise becomes relatively large in a band with a low signal power (particularly, a high frequency band), and the noise is easily perceived. On the other hand, in the speech synthesis system according to the present embodiment, such a problem is solved by combining predictive quantization.
  • the speech synthesis system according to the present embodiment is not limited to WaveNet disclosed in Non-Patent Document 1, but can directly reconstruct speech signals according to an autoregressive model, and can be applied to any network configuration. It is.
  • FIGS. 6 and 7 are flowcharts showing an example of a processing procedure in the speech synthesis system according to the present embodiment. More specifically, FIG. 6 shows a procedure related to a prior learning process for constructing the autoregressive model 16, and FIG. 7 shows a procedure related to a speech synthesis process using the autoregressive model 16. . Each step shown in FIGS. 6 and 7 may be realized by one or more processors (for example, processor 100 shown in FIG. 2) executing one or more programs.
  • step S100 when a known text and an audio signal corresponding to the text are input (step S100), the processor 100 analyzes the input text to generate context information (step S102). A context label is determined based on the generated context information (step S104).
  • the processor 100 analyzes the input speech signal to determine a vocal tract filter coefficient (step S106), and generates a residual signal from the input speech signal based on the determined vocal tract filter coefficient. (Step S108). Further, the processor 100 quantizes the generated residual signal to generate a quantized residual signal (step S110).
  • the processor 100 determines the internal parameters of the autoregressive model 16 at random, sets the determined context label as a condition (step S112), and sets the past quantized residual signal and the current context label as The autoregressive model 16 is learned in association with the current quantized residual signal (steps S114 and S116).
  • the processor 100 calculates an estimated quantized residual signal according to the autoregressive model 16 (step S116). Then, the processor 100 determines whether or not the learning end condition is satisfied (step S118).
  • the learning termination condition includes, for example, that the number of input speech signals has reached a specified value, and that the estimation error for the estimated value from the autoregressive model has fallen below a predetermined threshold. is assumed.
  • step S118 If the learning termination condition is not satisfied (NO in step S118), the processes in and after step S114 are repeated. By repeating the processes in steps S114 to S118, the autoregressive model 16 is constructed so that the difference (estimated error) between the residual signal input to the autoregressive model and the estimated residual signal is minimized. Is done.
  • the context label of the known input text is given as a condition to the autoregressive model 16 and the quantized residual signal is input to the autoregressive model 16 to learn the autoregressive model 16. Is done.
  • step S118 the learning process ends.
  • step S200 when the text to be synthesized is input (step S200), the processor 100 analyzes the input text and generates context information (step S202). Based on the context information, a context label for the corresponding frame is determined (step S204). Then, the processor 100 sets the context label determined in step S204 as a condition in the autoregressive model 16 (step S206).
  • the processor 100 inputs the past estimated quantized residual signal and the context label to the autoregressive model 16 (step S208), and calculates the estimated quantized residual signal for the input according to the autoregressive model 16 (step S208). S210). Then, the processor 100 determines whether or not the processing has been completed up to the final point of the autoregressive model 16 (step S212). If the process has not been completed up to the final point (NO in step S212), the processes in and after step S208 are repeated.
  • step S212 the processor 100 generates an estimated residual signal obtained by inversely quantizing the estimated quantized residual signal estimated recursively (In step S214), the vocal tract filter coefficient is set to a synthesis filter (vocal tract filter) (step S216), and the generated estimated residual signal is filtered by the synthesis filter in which the vocal tract filter coefficient is set. Is output (step S218). Then, the speech synthesis process for the input text ends.
  • a synthesis filter vocal tract filter
  • the context label of the unknown input text is given as a condition to the autoregressive model 16, and the past estimated quantized residual signal is recursively used by using the autoregressive model 16.
  • the speech signal is reconstructed from the estimated current quantized residual signal.
  • the comparative example to be compared with the example according to the present embodiment is a method using WaveNet disclosed in Non-Patent Document 1 described above.
  • the audio data used was a sample with a sampling frequency of 48 kHz, down-sampled to 16 kHz, and a high-pass filter applied to remove components below 50 Hz.
  • the quantization method was an 8-bit ⁇ -law method, and the input to the autoregressive model (WaveNet) was a one-hot vector.
  • mel cepstrum coefficients 120th order including 0th order were used as the vocal tract filter coefficient c (synthesis filter) in the examples.
  • residual signals were generated by filtering using time-invariant mel cepstrum coefficients calculated from learning data. The residual signal was normalized in the range of ⁇ 1 to 1.
  • auditory weighting coefficients were adopted for auditory weighting by the vocal tract filter. Specifically, the intensity of auditory weighting was adjusted by changing the dynamic range of the auditory weighting filter by multiplying the coefficients other than the zeroth order among the mel cepstrum coefficients by a constant.
  • the vocal tract filter coefficient may be adjustable by the auditory weighting coefficient.
  • the filter length of causal convolution is 32
  • the number of elements of skip connection is 50
  • the layer is 10 pieces with dilation from 1, 2, 4, 8 to 512 samples
  • Dilated causal convolution layer was used. That is, in the network configuration used for this evaluation, the receptive field is 320 ms (5120 samples).
  • the filter length of Residual connection was 2, the number of output channels was 32, the filter length of skip connection was 2, and the number of output channels was 512.
  • the model learning optimizer was Adam, the learning coefficient was 1.0e- 3 , the batch size was 100,000 samples, and the number of trials was 100,000.
  • “Comparative example” uses a method using WaveNet disclosed in Non-Patent Document 1 described above, and estimates a current sample from a past audio signal sequence quantized by a ⁇ -law method.
  • Example corresponds to the speech synthesis system according to the present embodiment as described above, and provides an autoregressive model for predictive quantization.
  • the current sample is estimated from the past residual signal sequence using WaveNet.
  • An estimated speech signal is obtained by filtering the estimated residual signal with a vocal tract filter.
  • the source signal was used as an input when generating the sound.
  • FIG. 8 is a diagram showing an example of the result of evaluating the noise shaping effect for the speech synthesis system according to the present embodiment.
  • FIG. 8 shows the result of sampling and averaging 10 sentences from the test data.
  • the legends in FIG. 8 have the following meanings.
  • ⁇ represents an auditory weighting coefficient employed in the embodiment.
  • Source signal means an error between a source signal and a signal that is re-quantized after the source signal is quantized by the ⁇ -law method. That is, it shows the frequency characteristics of errors caused by quantization by the ⁇ -law method.
  • the residual signal used in the example is quantized by the ⁇ -law method, and further re-quantized and reconstructed. It means the error between the signal obtained by filtering the signal with a vocal tract filter and the source signal. That is, it shows the frequency characteristics of errors that occur when it is assumed that there is no error in estimation using the autoregressive model.
  • “Comparative example” means an error between the source signal and the signal reconstructed by inverse quantization after estimating the signal obtained by quantizing the source signal by the ⁇ -law method using WaveNet. That is, it shows the frequency characteristics of errors that occur in the comparative example.
  • Example ( ⁇ 0.5)
  • the “source signal” and the “comparative example” have a uniform distribution of residuals over the entire band as expected.
  • the “residual” and “example” have a peak in the vicinity of 200 Hz to 300 Hz, and the power is lower than that of the “source signal” and “comparative example” in the high frequency band.
  • the shape of the power spectrum changes following the size of the auditory weighting coefficient ⁇ , and it can be confirmed that the degree of shaping can be controlled by adjusting the auditory weighting coefficient ⁇ .
  • source signal and “residual” include quantization errors
  • comparativative example and “example” include estimation errors and quantization errors. By comparing these, it can be confirmed that the estimation error greatly exceeds the quantization error.
  • the example showed slightly better results than the comparative example when the auditory weighting coefficient ⁇ was 0.1, but inferior in other cases. From this result, it is considered that the shaping of the audio spectrum does not contribute much in the improvement direction in terms of the SNR with respect to the source signal.
  • FIG. 9 is a diagram showing an example of an evaluation result of a paired comparison experiment for the speech synthesis system according to the present embodiment.
  • the comparative example showed a significant difference (p ⁇ 0.01) from the example.
  • the auditory weighting coefficient ⁇ 0.1, 0.5, the example was compared. Significant differences were shown for the examples.
  • noise that existed over the entire band of the reconstructed speech signal by combining a predictive quantization method with an autoregressive model that estimates a current value from a past signal sequence. Can be changed into a shape that takes into account auditory masking. Thereby, it is possible to improve the voice quality when the voice signal is directly estimated from the context label based on the input text.
  • 1 multilingual translation system 2 networks, 4 users, 10 service providing devices, 12 analysis units, 14 learning units, 16 autoregressive models, 18 speech synthesis units, 20 speech recognition units, 22 translation units, 24 communication processing units, 30
  • Mobile terminal 100 processor, 102 main memory, 104 display, 106 input device, 108 network interface, 110 internal bus, 112 secondary storage device, 120 inverse filter, 121 analysis program, 122 vocal tract feature analysis unit, 130 input speech, 132 text, 134 optical drive, 136 optical disc, 140 learning control unit, 141 learning program, 142 quantization unit, 146 vocal tract filter coefficient storage unit, 180 speech synthesis control unit, 181 speech synthesis program 182 Inverse quantization unit, 184 synthesis filter, 192 text analysis unit, 194 context label generation unit, 200 encoder, 201 speech recognition program, 202, 206, 214 arithmetic unit, 204 quantizer, 208, 212 predictor, 210 decoder 221 Translation program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

学習装置は、過去の信号系列および現在のコンテキストラベルから現在の信号を推定する自己回帰モデルと、入力音声信号を分析して声道特徴を示す声道フィルタ係数を決定する声道特徴分析部と、声道フィルタ係数に基づいて予測される音声信号と入力音声信号との間の残差信号を出力する残差信号生成部と、残差信号生成部から出力される残差信号を量子化して量子化残差信号を生成する量子化部と、既知の入力テキストに対応する入力音声信号について、既知の入力テキストのコンテキストラベルを自己回帰モデルに対して条件として与えるとともに、入力音声信号についての量子化残差信号の過去の系列および現在のコンテキストラベルと、量子化残差信号の現在の信号とを対応付けることで自己回帰モデルの学習を実施する学習制御部とを含む。

Description

学習装置、音声合成システムおよび音声合成方法
　本発明は、入力テキストに応じた音声を合成して出力する音声合成技術に関する。
　従来から、音声合成分野においては、統計モデルに基づいて音声信号を生成する枠組みである、統計的パラメトリック音声合成（statistical　parametric　speech　synthesis：以下、「ＳＰＳＳ」とも略称する。）が盛んに研究されてきた。ＳＰＳＳにおいては、入力されたテキストと当該テキストに対応する音声信号との対応関係を統計的にモデル化する。このような関係を直接モデル化することは容易ではないので、それぞれを特徴量系列として表現することで、統計モデルを構築する。具体的には、入力テキストは言語特徴量を表すコンテキストラベル系列で表現され、音声信号は音響特徴量系列で表現される。
　このような音響特徴量系列から音声信号を推定する方法に代えて、コンテキストラベル系列から音声信号を直接的に推定する、"WaveNet"と称される手法が提案されている（例えば、非特許文献１参照）。このWaveNetは、既存の最新手法を凌ぐ性能を示すことが報告されている。
A.　van　den　Oord　et　al.,"Wavenet:　A　Generative　Model　for　Raw　Audio",arXiv　preprint　arXiv:1609.03499,　2016 A.　van　den　Oord　et　al.,　"Pixel　Recurrent　Neural　Networks",　arXiv　preprint　arXiv:1601.06759v3,　2016.08.19
　非特許文献１に開示されるWaveNetにおいて推定出力される信号は、μ－ｌａｗ方式により量子化された音声信号である。μ－ｌａｗ方式により量子化された音声信号を推定する場合、その信号を復元した際の推定誤差は帯域全体に広がってしまうため、特に高周波帯域のノイズが知覚されやすくなるという課題がある。
　本発明は、上述したような課題を考慮するものであり、入力テキストに基づくコンテキストラベルから音声信号を直接的に推定する際の音声品質を高めることを目的としている。
　本発明のある局面に従えば、音声合成システムに向けられた学習装置が提供される。学習装置は、過去の信号系列および現在のコンテキストラベルから現在の信号を推定する自己回帰モデルを含む。自己回帰モデルは、統計的データモデリングが可能なネットワーク構造を有している。学習装置は、入力音声信号を分析して声道特徴を示す声道フィルタ係数を決定する声道特徴分析部と、声道フィルタ係数に基づいて予測される音声信号と入力音声信号との間の残差信号を出力する残差信号生成部と、残差信号生成部から出力される残差信号を量子化して量子化残差信号を生成する量子化部と、既知の入力テキストに対応する入力音声信号について、既知の入力テキストのコンテキストラベルを自己回帰モデルに対して条件として与えるとともに、入力音声信号についての量子化残差信号の過去の系列および現在のコンテキストラベルと、量子化残差信号の現在の信号とを、対応付けることで自己回帰モデルの学習を実施する学習制御部とを含む。
　本発明の別の局面に従えば、入力テキストに応じた音声を合成して出力する音声合成システムが提供される。音声合成システムは、未知の入力テキストが入力されると、未知の入力テキストのコンテキストラベルを自己回帰モデルに対して条件として与えるとともに、過去の推定量子化残差信号を請求項１に記載の学習装置によって構築された自己回帰モデルを用いて、現在の量子化残差信号を出力する音声合成制御部を含む。
　好ましくは、音声合成システムは、量子化部から出力される過去の量子化残差信号および現在のコンテキストラベルから推定された推定量子化残差信号を逆量子化して推定残差信号を生成する逆量子化部と、逆量子化部から出力される推定残差信号を声道フィルタ係数に基づいてフィルタリングした結果を音声信号として出力する合成フィルタと、入力音声信号についての声道フィルタ係数を格納する格納部とをさらに含む。
　好ましくは、声道フィルタ係数は、聴覚重み付け係数により調整可能になっている。
　好ましくは、音声合成システムは、入力テキストを分析して文脈情報を生成するテキスト分析部と、テキスト分析部からの文脈情報に基づいて、入力テキストのコンテキストラベルを生成するコンテキストラベル生成部とをさらに含む。
　本発明のさらに別の局面に従えば、入力テキストに応じた音声を合成して出力する音声合成方法が提供される。音声合成方法は、既知の入力テキストに対応する入力音声信号を分析して声道特徴を示す声道フィルタ係数を決定するステップと、声道フィルタ係数に基づいて予測される音声信号と入力音声信号との間の残差信号を生成するステップと、残差信号を量子化して量子化残差信号を生成するステップと、既知の入力テキストのコンテキストラベルを自己回帰モデルに対して条件として与えるとともに、過去の量子化残差信号および現在のコンテキストラベルから現在の量子化残差信号を推定する自己回帰モデルを学習するステップとを含む。自己回帰モデルは、過去の信号系列および現在のコンテキストラベルから現在値を推定するためのパラメータを格納しており、統計的データモデリングが可能なネットワーク構造を有している。
　本発明によれば、入力テキストに基づくコンテキストラベルから音声信号を直接的に推定する際の音声品質を高めることができる。
本実施の形態に従う音声合成システムを用いた多言語翻訳システムの概要を示す模式図である。 本実施の形態に従うサービス提供装置のハードウェア構成例を示す模式図である。 本実施の形態に従う音声合成システムにて採用する予測量子化の概要を説明するためのブロック図である。 本実施の形態に従う音声合成システムにおける要部の処理を説明するためのブロック図である。 本実施の形態に従う音声合成システムに用いられる自己回帰モデルの概要を説明するためのブロック図である。 本実施の形態に従う音声合成システムにおける処理手順の一例を示すフローチャートである。 本実施の形態に従う音声合成システムにおける処理手順の一例を示すフローチャートである。 本実施の形態に従う音声合成システムについてのノイズシェーピング効果を評価した結果の一例を示す図である。 本実施の形態に従う音声合成システムについての対比較実験の評価結果例を示す図である。
　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
　［Ａ．応用例］
　まず、本実施の形態に従う音声合成システムの一つの応用例について説明する。より具体的には、本実施の形態に従う音声合成システムを用いた多言語翻訳システムについて説明する。
　図１は、本実施の形態に従う音声合成システムを用いた多言語翻訳システム１の概要を示す模式図である。図１を参照して、多言語翻訳システム１は、サービス提供装置１０を含む。サービス提供装置１０は、ネットワーク２を介して接続される携帯端末３０からの入力音声（第１言語で発せられたなんらかのことば）に対して音声認識、多言語翻訳などを行なって、第２言語での対応することばを合成して、その合成結果を出力音声として携帯端末３０へ出力する。
　例えば、ユーザ４は、携帯端末３０に対して、「Where　is　the　station　？」という英語のことばを発すると、携帯端末３０は、その発せられたことばからマイクロフォンなどにより入力音声を生成し、生成した入力音声をサービス提供装置１０へ送信する。サービス提供装置１０は、「Where　is　the　station　？」に対応する、日本語の「駅はどこですか？」ということばを示す出力音声を合成する。携帯端末３０は、サービス提供装置１０から出力音声を受信すると、その受信した出力音声を再生する。これによって、ユーザ４の対話相手には、日本語の「駅はどこですか？」とのことばが聞こえる。
　図示していないが、ユーザ４の対話相手も同様の携帯端末３０を有していてもよく、例えば、ユーザ４からの質問に対して、「まっすぐ行って左です」との回答を自身の携帯端末に向かって発すると、上述したような処理が実行されて、ユーザ４に対して、対応する英語の「Go　straight　and　turn　left」ということばが回答される。
　このように、多言語翻訳システム１においては、第１言語のことば（音声）と第２言語のことば（音声）との間で自在に翻訳が可能である。なお、２つの言語に限らず、任意の数の言語間で相互に自動翻訳できるようにしてもよい。
　このような自動音声翻訳の機能を利用することで、外国旅行や外国人とのコミュニケーションを容易化できる。
　サービス提供装置１０に含まれる本実施の形態に従う音声合成システムは、後述するように、自己回帰モデルを用いて、入力テキストから生成されるコンテキストラベル系列から対応する音声信号を再構成する。サービス提供装置１０は、音声合成システムに関するコンポーネントとして、分析部１２と、学習部１４と、自己回帰モデル１６と、音声合成部１８とを含む。
　サービス提供装置１０は、自動翻訳に関するコンポーネントとして、音声認識部２０と、翻訳部２２とを含む。サービス提供装置１０は、さらに、携帯端末３０との間で通信処理を行なうための通信処理部２４を含む。
　より具体的には、分析部１２および学習部１４は、自己回帰モデル１６を構築するための機械学習を担当する。すなわち、分析部１２および学習部１４は、音声合成システムに向けられた学習装置として機能し、自己回帰モデル１６を構築する。分析部１２および学習部１４（学習装置）の機能および処理の詳細については、後述する。自己回帰モデル１６は、分析部１２および学習部１４による機械学習の結果に相当する。
　音声認識部２０は、通信処理部２４を介して受信した携帯端末３０からの入力音声に対して、音声認識処理を実行することで音声認識テキストを出力する。翻訳部２２は、音声認識部２０からの音声認識テキストから、指定された言語のテキスト（説明の便宜上、「翻訳テキスト」とも記す。）を生成する。音声認識部２０および翻訳部２２については、公知の任意の方法を採用できる。
　音声合成部１８は、翻訳部２２からの翻訳テキストに対して、自己回帰モデル１６を参照して音声合成を行ない、その結果得られる出力音声を、通信処理部２４を介して携帯端末３０へ送信する。
　図１には、説明の便宜上、自己回帰モデル１６を構築するための機械学習を担当するコンポーネント（主として、分析部１２および学習部１４）と、生成された自己回帰モデル１６を用いて多言語翻訳を担当するコンポーネント（主として、音声認識部２０、翻訳部２２、および音声合成部１８）が同一のサービス提供装置１０に実装されている例を示すが、これらの機能をそれぞれ別の装置に実装してもよい。この場合、第１の装置において、機械学習を実施することで自己回帰モデル１６を構築し、第２の装置において、当該生成された自己回帰モデル１６を用いて音声合成および当該音声合成を利用したサービスを提供するようにしてもよい。
　上述したような多言語翻訳サービスにおいては、音声認識部２０および翻訳部２２の少なくとも一部の機能を携帯端末３０で実行されるアプリケーションが担当するようにしてもよい。また、音声合成を担当するコンポーネント（自己回帰モデル１６および音声合成部１８）の機能を携帯端末３０で実行されるアプリケーションが担当するようにしてもよい。
　このように、サービス提供装置１０および携帯端末３０が任意の形態で協働することで、多言語翻訳システム１およびその一部である音声合成システムを実現できる。このとき、それぞれの装置が分担する機能については、状況に応じて適宜決定すればよく、図１に示される多言語翻訳システム１に限定されるようなものではない。
　［Ｂ．サービス提供装置のハードウェア構成］
　次に、サービス提供装置のハードウェア構成の一例について説明する。図２は、本実施の形態に従うサービス提供装置１０のハードウェア構成例を示す模式図である。サービス提供装置１０は、典型的には、汎用コンピュータを用いて実現される。
　図２を参照して、サービス提供装置１０は、主要なハードウェアコンポーネントとして、プロセッサ１００と、主メモリ１０２と、ディスプレイ１０４と、入力デバイス１０６と、ネットワークインターフェイス（Ｉ／Ｆ：interface）１０８と、光学ドライブ１３４と、二次記憶装置１１２とを含む。これらのコンポーネントは、内部バス１１０を介して互いに接続される。
　プロセッサ１００は、後述するような各種プログラムを実行することで、本実施の形態に従うサービス提供装置１０の実現に必要な処理を実行する演算主体であり、例えば、１または複数のＣＰＵ（central　processing　unit）やＧＰＵ（graphics　processing　unit）などで構成される。複数のコアを有するようなＣＰＵまたはＧＰＵを用いてもよい。
　主メモリ１０２は、プロセッサ１００がプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域であり、例えば、ＤＲＡＭ（dynamic　random　access　memory）やＳＲＡＭ（static　random　access　memory）などの揮発性メモリデバイスなどで構成される。
　ディスプレイ１０４は、処理に係るユーザインターフェイスや処理結果などを出力する表示部であり、例えば、ＬＣＤ（liquid　crystal　display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成される。
　入力デバイス１０６は、ユーザからの指示や操作などを受付けるデバイスであり、例えば、キーボード、マウス、タッチパネル、ペンなどで構成される。また、入力デバイス１０６としては、機械学習に必要な音声を収集するためのマイクロフォンを含んでいてもよいし、機械学習に必要な音声を収集した集音デバイスと接続するためのインターフェイスを含んでいてもよい。
　ネットワークインターフェイス１０８は、インターネット上またはイントラネット上の携帯端末３０や任意の情報処理装置などとの間でデータを遣り取りする。ネットワークインターフェイス１０８としては、例えば、イーサネット（登録商標）、無線ＬＡＮ（local　area　network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式を採用できる。
　光学ドライブ１３４は、ＣＤ－ＲＯＭ（compact　disc　read　only　memory）、ＤＶＤ（digital　versatile　disc）などの光学ディスク１３６に格納されている情報を読み出して、内部バス１１０を介して他のコンポーネントへ出力する。光学ディスク１３６は、非一過的（non-transitory）な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ１３４が光学ディスク１３６からプログラムを読み出して、二次記憶装置１１２などにインストールすることで、汎用コンピュータがサービス提供装置１０（または、音声合成装置）として機能するようになる。したがって、本発明の主題は、二次記憶装置１１２などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク１３６などの記録媒体でもあり得る。
　図２には、非一過的な記録媒体の一例として、光学ディスク１３６などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯ（magneto-optical　disk）などの光磁気記録媒体を用いてもよい。
　二次記憶装置１１２は、プロセッサ１００にて実行されるプログラム、プログラムが処理対象とする入力データ（学習用の入力音声およびテキスト、ならびに、携帯端末３０からの入力音声などを含む）、および、プログラムの実行により生成される出力データ（携帯端末３０へ送信される出力音声などを含む）などを格納するコンポーネントであり、例えば、ハードディスク、ＳＳＤ（solid　state　drive）などの不揮発性記憶装置で構成される。
　より具体的には、二次記憶装置１１２は、典型的には、図示しないＯＳ（operating　system）の他、分析部１２を実現するための分析プログラム１２１と、学習部１４を実現するための学習プログラム１４１と、音声認識部２０を実現するための音声認識プログラム２０１と、翻訳部２２を実現するための翻訳プログラム２２１と、音声合成部１８を実現するための音声合成プログラム１８１とを格納している。
　これらのプログラムをプロセッサ１００で実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳが標準で提供するライブラリまたは機能モジュールを用いて代替するようにしてもよい。この場合には、各プログラム単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳの実行環境下にインストールされることで、必要な機能を実現できる。このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。
　また、これらのプログラムは、上述したようないずれかの記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。
　なお、実際には、音声認識部２０および翻訳部２２を実現するためのデータベースが必要となるが、説明の便宜上、それらのデータベースについては描いていない。
　二次記憶装置１１２は、自己回帰モデル１６に加えて、自己回帰モデル１６を構築するための、機械学習用の入力音声１３０および対応するテキスト１３２を格納していてもよい。
　図２には、単一のコンピュータがサービス提供装置１０を構成する例を示すが、これに限らず、ネットワークを介して接続された複数のコンピュータが明示的または黙示的に連携して、多言語翻訳システム１およびその一部である音声合成システムを実現するようにしてもよい。
　コンピュータ（プロセッサ１００）がプログラムを実行することで実現される機能の全部または一部を、集積回路などのハードワイヤード回路（hard-wired　circuit）を用いて実現してもよい。例えば、ＡＳＩＣ（application　specific　integrated　circuit）やＦＰＧＡ（field-programmable　gate　array）などを用いて実現してもよい。
　当業者であれば、本発明が実施される時代に応じた技術を適宜用いて、本実施の形態に従う多言語翻訳システムを実現できるであろう。
　［Ｃ．概要］
　本実施の形態に従う音声合成システムは、入力テキストに応じた音声を合成して出力するシステムであって、入力音声に対する予測量子化と上述の非特許文献１に開示される自己回帰モデルとを組み合わせることで、合成音声に生じる聴覚上のノイズを低減させる。
　予測量子化は、入力信号を直接量子化するのではなく、予測係数に基づいて生成される予測値と入力信号との残差信号を量子化する手法である。予測量子化により、入力信号は予測係数と残差信号とに分離される。予測量子化を音声信号に適用した場合、予測係数は声道フィルタを示すパラメータに相当し、残差信号は励振源に相当する。本実施の形態に従う音声合成システムにおいては、自己回帰モデルを用いて残差信号を推定する。典型的には、上述の非特許文献１に開示されるWaveNetと称される方式を採用してもよい。
　このような、予測量子化を採用することで、推定誤差から生じるノイズのスペクトル形状をシェーピングしてノイズをパワーの大きい帯域へ集中させることで、聴覚マスキング効果により、ノイズを知覚しにくくできる。
　また、上述の非特許文献１に開示されるWaveNetとは異なり、残差信号を推定するため、音声信号を直接推定する場合と比較して、必要なダイナミックレンジを低減できる。そのため、同一の量子化ビット数であれば、高精度に量子化することができ、音声品質を向上できる。
　まず、予測量子化の概要について説明する。図３は、本実施の形態に従う音声合成システムにて採用する予測量子化の概要を説明するためのブロック図である。
　図３を参照して、予測量子化は、基本構成として、エンコーダ２００およびデコーダ２１０を含む。エンコーダ２００は、入力信号を予測係数および残差信号に分離する。デコーダ２１０は、残差信号から入力信号を再構成する。
　より具体的には、エンコーダ２００は、演算器２０２，２０６と、量子化器２０４と、予測器２０８とを含む。エンコーダ２００においては、入力信号ｘｔと予測器２０８が過去のサンプルに基づいて生成したｘ～ ｔとの残差信号ｅｔが演算器２０２により算出され、その算出された残差信号ｅｔが量子化器２０４により量子化されることで、量子化残差信号ｅ＾ ｔが算出される。なお、本来は、「＾」は「ｅ」の上に配置されるものであるが、使用可能な文字コードの都合上、「ｅ」と「＾」とを並べて記載する。また、「～」についても同様である。
　さらに、量子化残差信号ｅ＾ ｔとｘ～ ｔとが演算器２０６により加算され、その加算結果が予測信号ｘ＾ ｔとして予測器２０８へ与えられる。
　そして、時刻ｔにおける予測信号ｘ＾ ｔ（ｔ＝ｔ）に予測器２０８を適用することで時刻ｔ＋１における予測信号ｘ＾ ｔ（ｔ＝ｔ＋１）が算出される。このようにして、エンコーダ２００の内部では予測信号ｘ＾ ｔがサイクル毎に算出されるとともに、入力信号ｘｔと算出される予測信号ｘ＾ ｔとの差が量子化された上で、量子化残差信号ｅ＾ ｔとして出力される。
　デコーダ２１０は、エンコーダ２００の予測器２０８と同様の動きをする予測器２１２と、演算器２１４とを含む。演算器２１４は、サイクル毎に入力される量子化残差信号ｅ＾ ｔと、量子化残差信号ｅ＾ ｔに対して予測器２０８から出力される予測結果とを加算することで、入力信号ｘｔに対応する予測信号ｘ＾ ｔを再構成する。
　上述したような手順によって、エンコーダ２００は入力信号ｘｔについての量子化残差信号ｅ＾ ｔをサイクル毎に出力するとともに、デコーダ２１０は、量子化残差信号ｅ＾ ｔに基づいて入力信号ｘｔを復元する。
　本実施の形態に従う音声合成システムにおいては、量子化残差信号ｅ＾ ｔを学習することで、コンテキストラベル系列に応じた、量子化残差についての自己回帰モデル１６を構築する。
　［Ｄ．学習処理および音声合成処理］
　次に、本実施の形態に従う音声合成システムにおける学習処理および音声合成処理の詳細について説明する。図４は、本実施の形態に従う音声合成システムにおける要部の処理を説明するためのブロック図である。
　図４を参照して、音声合成システムは、自己回帰モデル１６を構築するための分析部１２および学習部１４と、自己回帰モデル１６を用いて音声信号を出力する音声合成部１８とを含む。以下、これらの各部の処理および機能について詳述する。
　（ｄ１：分析部１２）
　まず、分析部１２における処理および機能について説明する。分析部１２は、音声分析を担当する部分であり、学習用の入力音声が示す音声信号ｘｔを、声道フィルタ係数ｃと、励振源に相当する残差信号ｅｔとに分離する。本実施の形態において、声道フィルタ係数ｃは時不変とする。
　より具体的には、分析部１２は、逆フィルタ１２０と、声道特徴分析部１２２とを含む。声道特徴分析部１２２は、入力される音声信号ｘｔを分析して、声道特徴を示す声道フィルタ係数ｃを出力する。声道特徴分析部１２２は、声道フィルタ係数ｃを、逆フィルタ１２０へ出力するとともに、声道フィルタ係数格納部１４６に格納する。ここで、フィルタ係数は、ＬＳＰ（line　spectral　pair）、ＬＰＣ（linear　prediction　coefficients）、メルケプストラム係数のいずれを採用してもよい。以降［Ｇ．実験的評価］では、メルケプストラム係数を用いた例を示す。
　逆フィルタ１２０は、声道フィルタ係数ｃに基づいて予測される音声信号と入力される音声信号との間の残差信号を出力する残差信号生成部に相当する。より具体的には、逆フィルタ１２０は、声道特徴分析部１２２からの声道フィルタ係数ｃに基づいて、音声信号を内部的に予測するとともに、入力される音声信号ｘｔとその予測した音声信号との残差信号ｅｔを出力する。逆フィルタ１２０から出力される残差信号ｅｔは、学習部１４へ与えられる。
　（ｄ２：学習部１４）
　次に、学習部１４における処理および機能について説明する。学習部１４は、分析部１２から与えられる残差信号ｅｔを量子化することで得られる量子化残差信号を自己回帰モデル１６に入力する。ここで、誤差として、量子化残差信号と推定量子化残差信号との数値上での距離、または、量子化ビットに応じたone-hotベクトルのcross-entropyを採用してもよい。学習部１４は、量子化残差誤差と量子化推定誤差との間の差分（推定誤差）が最小化するように、自己回帰モデル１６を構築する。
　学習部１４は、各サンプルに対応するコンテキストラベル毎と、過去の入力された音声信号とに基づいて、自己回帰モデル１６を構築する。本質的には、自己回帰モデル１６は、過去の信号系列および現在のコンテキストラベルから現在値を推定するためのパラメータを格納する。より具体的には、学習部１４は、学習制御部１４０と、量子化部１４２と、声道フィルタ係数格納部１４６とを含む。
　なお、本実施の形態においては、量子化した信号同士の誤差を最小化しているが、推定残差信号ｅ＾ ｔをと残差信号ｅｔをとの誤差を最小化するようにしてもよい。
　図４に示す構成においては、コンテキストラベル系列を生成するコンポーネントとして、テキスト分析部１９２およびコンテキストラベル生成部１９４を含む。テキスト分析部１９２およびコンテキストラベル生成部１９４は、既知のテキストの文脈情報に基づくコンテキストラベルを生成する。
　コンテキストラベルは、学習部１４および音声合成部１８の両方で用いるため、学習部１４および音声合成部１８が共通に利用する構成例を示している。しかしながら、学習部１４および音声合成部１８の各々に、コンテキストラベルを生成するためのコンポーネントをそれぞれ実装するようにしてもよい。
　テキスト分析部１９２は、入力される学習用または合成対象のテキストを分析して、その文脈情報をコンテキストラベル生成部１９４へ出力する。コンテキストラベル生成部１９４は、テキスト分析部１９２からの分脈情報に基づいて、入力される学習用または合成対象のテキストのコンテキストラベルを決定して学習制御部１４０および音声合成制御部１８０へ出力する。
　量子化部１４２は、逆フィルタ１２０（残差信号生成部）から出力される残差信号を量子化して量子化残差信号を生成する。ここで、量子化方式はμ－ｌａｗ方式であってもよいし、学習データから統計的に、または、線形に、量子化幅を決定してもよい。また、量子化ビット数は一般的に音声で用いられる１６ビットでもよいし、任意に設定してもかまわない。
　学習制御部１４０は、コンテキストラベル生成部１９４から与えられるコンテキストラベルを条件として、自己回帰モデル１６を学習させる。すなわち、学習制御部１４０は、既知の入力テキストに対応する入力音声信号について、既知の入力テキストのコンテキストラベルを自己回帰モデル１６に対して条件として与えるとともに、入力音声信号についての量子化残差信号を学習制御部１４０に入力することで自己回帰モデル１６の学習を実施する。自己回帰モデル１６の詳細およびその構築方法については、後述する。
　声道フィルタ係数格納部１４６は、入力音声信号についての声道フィルタ係数ｃを格納する格納部に相当する。
　（ｄ３：音声合成部１８）
　次に、音声合成部１８における処理および機能について説明する。音声合成部１８は、合成対象のテキストから生成されるサンプル毎のコンテキストラベルを生成し、生成したサンプル毎のコンテキストラベルに応じた自己回帰モデル１６に過去の推定量子化残差信号を入力することで、現在の推定量子化残差信号を得る。
　より具体的には、音声合成部１８は、音声合成制御部１８０と、逆量子化部１８２と、合成フィルタ１８４とを含む。
　何らかの合成対象のテキストが入力されると、テキスト分析部１９２が入力されたテキストを分析して文脈情報を出力し、コンテキストラベル生成部１９４が分脈情報に基づいてコンテキストラベルを生成する。すなわち、テキスト分析部１９２およびコンテキストラベル生成部１９４は、任意のテキストの入力に応答して、当該テキストの文脈情報に基づくコンテキストラベルを決定する。
　音声合成制御部１８０は、未知の入力テキストが入力されると、当該未知の入力テキストのコンテキストラベルを自己回帰モデル１６に対して条件として与えるとともに、過去の推定量子化残差信号を自己回帰モデル１６に入力し、現在の推定量子化残差信号を得る。現在の推定量子化残差信号を過去の系列の１点として追加入力し、次の１時刻先の推定量子化残差信号を推定する。この推定を再帰的に最終点まで繰返す。
　逆量子化部１８２は、音声合成制御部１８０が最終点まで推定した推定量子化残差信号を逆量子化して、推定残差信号ｅ＾ ｔを生成する。
　合成フィルタ１８４は、声道フィルタ係数格納部１４６から読み出した声道フィルタ係数ｃに基づいて、逆量子化部１８２からの推定残差信号をフィルタリングすることで、合成後の音声信号を出力する。すなわち、合成フィルタ１８４は、逆量子化部１８２から出力される推定残差信号を声道フィルタ係数ｃに基づいてフィルタリングした結果を音声信号として出力する。
　本実施の形態に従う音声合成システムにおいては、量子化された残差信号ｅｔを自己回帰モデル１６および音声合成制御部１８０にて再帰的に推定し、その推定結果を逆量子化することで、推定残差信号ｅ＾ ｔが生成される。このとき、推定誤差（｜ｅｔ－ｅ＾ ｔ｜）は、量子化される各ビットに対して一様に分布する。合成フィルタ１８４にて推定残差信号ｅ＾ ｔが声道フィルタ係数ｃでフィルタリングされることにより、生成される音声信号の音声スペクトルは聴覚的に重み付けされる。その結果、推定残差信号ｅ＾ ｔに含まれる推定誤差は、音声スペクトルの形状に応じたパワーの大きい帯域に集中させることができる。これにより、聴覚マスキング効果が発揮され、合成音声に含まれるノイズを低減できる。
　［Ｅ．自己回帰モデル］
　次に、本実施の形態に従う音声合成システムに用いられる自己回帰モデル１６について説明する。自己回帰モデル１６として、上述の非特許文献１に開示されるWaveNetと同様の構成を想定する。
　WaveNetは、PixelCNN（例えば、非特許文献２参照）に類似した生成モデルであり、過去の信号系列から現在のサンプル（現在値）を推定する自己回帰モデルとして表現される。一般化すれば、音声信号ｘ＝｛ｘ１，...，ｘＴ｝の結合確率は、条件付き確率の積として以下の（１）式のように表現できる。
Figure JPOXMLDOC01-appb-M000001
　本実施の形態に従う音声合成システムのように、テキスト音声合成を行なう場合は，コンテキストラベルｈを条件として加え、条件付き確率ｐ（ｘ｜ｈ）として以下の（２）式のようにモデル化できる。
Figure JPOXMLDOC01-appb-M000002
　図５は、本実施の形態に従う音声合成システムに用いられる自己回帰モデル１６の概要を説明するためのブロック図である。図５に示すように、本実施の形態に従う自己回帰モデル１６は、統計的データモデリングが可能なネットワーク構造を有している。
　具体的には、WaveNetのネットワーク構成は、図５に示すように、入力に対して、causal　convolution（１６１）を経て、複数のlayerk（１６２）が積層されている。最終的に、それぞれのlayer（１６２）からskip　connectionの要素として出力されるｓ１，...，ｓＫが結合要素（１６３）にて結合される。
　結合された出力は、ReLu（activation関数１６４，１６６）および畳み込み（１６５，１６７）が適用された後、softmax関数（１６８）に入力される。softmax関数（１６８）から出力される信号が推定値として出力される。
　各layer（１６２）においては、dilated　causal　convolution（１６２１）を用いて、過去の信号系列を効率的にモデル化する。dilated　causal　convolution（１６２１）は、入力信号をあるサンプルずつスキップして畳み込むことにより、計算量の削減および大域的な変化を学習することを実現する。
　dilated　causal　convolution（１６２１）の出力は、gated　activation　unit（１６２２）に入力される。gated　activation　unit（１６２２）においては、dilated　causal　convolution（１６２１）の出力は、双曲線関数１６２３およびシグモイド関数１６２４に入力される。双曲線関数１６２３およびシグモイド関数１６２４のそれぞれからの出力は、アダマール要素１６２５にて要素毎の積が計算される。
　layerk（１６２）への入力ベクトルｘkに対して、gated　activation　unit（１６２２）の出力ベクトルｚkは、以下の（３）式に従って算出できる。
Figure JPOXMLDOC01-appb-M000003
　ここで、＊は畳み込み演算を示し、〇はelement-wise（要素毎）の掛け算を示し、σ（）はシグモイド関数を示し、ｋはlayerのインデックを示す。また、Ｗｆｉｌｔｅｒ，ｋおよびＷｇａｔｅ，ｋは、layerkの畳み込みフィルタを示し、ｂｆｉｌｔｅｒ，ｋおよびｂｇａｔｅ，ｋは、layerkの畳み込みバイアス項を示す。
　出力ベクトルｚkに対してresidual　connection（１６２８）を適用した後に、次のlayerへの入力として与える。residual　connection（１６２８）においては、出力ベクトルｚkに対して入力ベクトルｘkが加算される。また、出力ベクトルｚkは、１×１の畳み込みが適用された後、skip　connectionの要素ｓkとして出力される。
　図５に示す自己回帰モデルにおいて、誤差関数として、二乗誤差ではなく、softmaxに基づくcross　entropyが採用された場合、ガウス分布を仮定した平均ベクトルの誤差最小問題ではなく、音声信号の振幅値の多クラス分類問題へと置き換えられる。このような問題置き換えにより、入力に仮説を設けることなく、より柔軟でかつ曖昧な分布をモデル化できる。
　非特許文献１に開示されるWaveNetにおいては、量子化にμ－ｌａｗ方式が採用されており、量子化された信号は各量子化ビットにおいて一様な確率で分布する。多クラス分類問題であるため、WaveNetにより生じる推定誤差も一様に分布し、再構成された信号には推定誤差が一様に分布してしまう。その結果、信号パワーの小さい帯域（特に、高周波帯域）にてノイズが相対的に大きくなり、ノイズが知覚されやすくなるという課題がある。これに対して、本実施の形態に従う音声合成システムにおいては、予測量子化を組み合わせることで、このような課題を解決する。
　本実施の形態に従う音声合成システムにおいては、非特許文献１に開示されるWaveNetに限らず、自己回帰モデルに従って音声信号を直接的に再構成できるものであり、どのようなネットワーク構成にも適用可能である。
　［Ｆ．処理手順］
　図６および図７は、本実施の形態に従う音声合成システムにおける処理手順の一例を示すフローチャートである。より具体的には、図６には、自己回帰モデル１６を構築するための事前の学習処理に係る手順を示し、図７には、自己回帰モデル１６を用いた音声合成処理に係る手順を示す。図６および図７に示す各ステップは、１または複数のプロセッサ（例えば、図２に示すプロセッサ１００）が１または複数のプログラムを実行することで実現されてもよい。
　図６を参照して、プロセッサ１００は、既知のテキストおよび当該テキストに対応する音声信号が入力されると（ステップＳ１００）、入力されたテキストを分析して文脈情報を生成し（ステップＳ１０２）、当該生成された文脈情報に基づいてコンテキストラベルを決定する（ステップＳ１０４）。
　続いて、プロセッサ１００は、入力された音声信号を分析して声道フィルタ係数を決定し（ステップＳ１０６）、決定した声道フィルタ係数に基づいて、入力された音声信号から残差信号を生成する（ステップＳ１０８）。さらに、プロセッサ１００は、生成した残差信号を量子化して量子化残差信号を生成する（ステップＳ１１０）。
　そして、プロセッサ１００は、自己回帰モデル１６の内部パラメータをランダムに決定するとともに、決定したコンテキストラベルを条件として設定する（ステップＳ１１２）とともに、過去の量子化残差信号と現在のコンテキストラベルとを、現在の量子化残差信号に対応付けて自己回帰モデル１６を学習する（ステップＳ１１４，Ｓ１１６）。
　プロセッサ１００は、自己回帰モデル１６に従って推定量子化残差信号を算出する（ステップＳ１１６）。そして、プロセッサ１００は、学習の終了条件が満たされたか否かを判断する（ステップＳ１１８）。学習の終了条件としては、例えば、入力された音声信号の回数が規定値に到達したこと、自己回帰モデルからの推定値についての推定誤差が予め定められたしきい値以下になったことなどが想定される。
　学習の終了条件が満たされていない場合（ステップＳ１１８においてＮＯの場合）には、ステップＳ１１４以下の処理が繰返される。このステップＳ１１４～Ｓ１１８の処理が繰返されることで、自己回帰モデルに入力された残差信号と推定残差信号との間の差分（推定誤差）が最小化するように、自己回帰モデル１６が構築される。
　このように、既知の入力テキストのコンテキストラベルを自己回帰モデル１６に対して条件として与えるとともに、量子化残差信号を自己回帰モデル１６に対して入力することで、自己回帰モデル１６の学習が実施される。
　一方、学習の終了条件が満たされている場合（ステップＳ１１８においてＹＥＳの場合）には、学習処理は終了する。
　次に、図７を参照して、プロセッサ１００は、合成対象のテキストが入力されると（ステップＳ２００）、入力されたテキストを分析して文脈情報を生成し（ステップＳ２０２）、当該生成された文脈情報に基づいて、対応するフレームについてのコンテキストラベルを決定する（ステップＳ２０４）。そして、プロセッサ１００は、ステップＳ２０４において決定したコンテキストラベルを自己回帰モデル１６に条件として設定する（ステップＳ２０６）。
　続いて、プロセッサ１００は、過去の推定量子化残差信号およびコンテキストラベルを自己回帰モデル１６に入力し（ステップＳ２０８）、自己回帰モデル１６に従って、入力に対する推定量子化残差信号を算出する（ステップＳ２１０）。そして、プロセッサ１００は、自己回帰モデル１６の最終点まで処理が完了したか否かを判断する（ステップＳ２１２）。最終点まで処理が完了していない場合（ステップＳ２１２においてＮＯの場合）、ステップＳ２０８以下の処理が繰返される。
　最終点まで処理が完了している場合（ステップＳ２１２においてＹＥＳの場合）には、プロセッサ１００は、再帰的に推定された推定量子化残差信号を逆量子化した推定残差信号を生成し（ステップＳ２１４）、声道フィルタ係数を合成フィルタ（声道フィルタ）に設定し（ステップＳ２１６）、生成される推定残差信号を声道フィルタ係数が設定された合成フィルタでフィルタリングすることで、合成後の音声信号を出力する（ステップＳ２１８）。そして、入力されたテキストに対する音声合成処理は終了する。
　このように、未知の入力テキストのコンテキストラベルを自己回帰モデル１６に対して条件として与えるとともに、過去の推定量子化残差信号を自己回帰モデル１６を用いて、現在の量子化残差信号を再帰的に推定し、その推定された現在の量子化残差信号から音声信号を再構成する。
　［Ｇ．実験的評価］
　次に、本実施の形態に従う音声合成システムにおいて、ノイズ低減の有効性について実施した実験的評価について説明する。そのため、条件としてのコンテキストラベルを与えず、正解の音声波形のみを入力とする。
　（ｇ１：実験条件）
　本実施の形態に係る実施例の比較対象となる比較例は、上述の非特許文献１に開示されるWaveNetを用いる方式とした。
　音声データとして、日本語女性話者１名により発声されたＡＴＲ音素バランス文および旅行会話文からなる７３９５文を用いた。このうち、７３６５文を学習データとして用いるとともに、残り３０文をテストデータとして用いた。
　音声データは、サンプリング周波数が４８ｋＨｚであったものを１６ｋＨｚにダウンサンプリングした上で、ハイパスフィルタを適用して５０Ｈｚ以下の成分を除去したものを用いた。量子化方式は、８ｂｉｔのμ－ｌａｗ方式とし、自己回帰モデル（WaveNet）への入力はone-hotベクトルとした。
　実施例における声道フィルタ係数ｃ（合成フィルタ）としては、１１９次メルケプストラム係数（０次を含めて１２０次）を用いた。本評価においては、学習データから算出した時不変のメルケプストラム係数を用いてフィルタリングして残差信号を生成した。残差信号は、－１から１の範囲で正規化を行なった。
　また、声道フィルタによる聴覚重み付けについて、聴覚重み付け係数を採用した。具体的には，メルケプストラム係数のうち０次を除く各係数を定数倍することにより、聴覚重み付けフィルタのダイナミックレンジを変化させて、聴覚重み付けの強度を調整した。
　このように、声道フィルタ係数は、聴覚重み付け係数により調整可能になっていてもよい。
　自己回帰モデル（WaveNet）のネットワーク構成として、causal　convolutionのフィルタ長を３２とし、skip　connectionの要素数を５０とし、layerを１，２，４，８から５１２サンプルまでのdilationをもった１０個のdilated　causal　convolution　layerを５個積層されたものを採用した。すなわち、本評価に用いたネットワーク構成においては、receptive　fieldは３２０ｍｓ（５１２０サンプル）となる。Residual　connectionのフィルタ長を２とし、出力チャネル数を３２とし、skip　connectionのフィルタ長を２とし、出力チャネル数を５１２とした。
　モデル学習のoptimizerはAdamとし、学習係数は１．０ｅ－３とし、バッチサイズは１００，０００サンプルとし、試行回数は１０万回とした。
　プログラムの実行には、３台のＧＰＵを用いて、バッチサイズを等分割して、並列学習を行なった。
　「比較例」は、上述の非特許文献１に開示されるWaveNetを用いる方式を用いるものであり、μ－ｌａｗ方式により量子化された過去の音声信号系列から現在のサンプルを推定する。
　「実施例」は、上述したような本実施の形態に従う音声合成システムに対応するものであり、予測量子化に自己回帰モデルを提供したものである。過去の残差信号系列からWaveNetを用いて現在のサンプルを推定する。推定された残差信号から声道フィルタでフィルタリングすることで、推定された音声信号を得る。
　なお、「比較例」および「実施例」のいずれについても、音声生成時には、源信号を入力として用いた。
　（ｇ２：実験結果：ノイズシェーピング）
　まず、聴覚重み付けによるノイズシェーピング効果についての実験結果の評価について説明する。具体的には、以下に説明するような方法で生成された音声信号と源信号との誤差の周波数特性を分析した。
　図８は、本実施の形態に従う音声合成システムについてのノイズシェーピング効果を評価した結果の一例を示す図である。図８には、テストデータから１０文をサンプリングして、平均した結果を示す。図８中の凡例は、それぞれ以下のような意味を示す。なお、αは、実施例において採用する聴覚重み付け係数を示す。
　「源信号」：源信号をμ－ｌａｗ方式により量子化した後、さらに逆量子化して再構成した信号と源信号との誤差を意味する。すなわち、μ－ｌａｗ方式による量子化により生じる誤差の周波数特性を示す。
　「残差（α＝０．５）」，「残差（α＝１．０）」：実施例で用いる残差信号をμ－ｌａｗ方式により量子化した後、さらに逆量子化して再構成した信号を声道フィルタでフィルタリングすることで得られた信号と源信号との誤差を意味する。すなわち、自己回帰モデルを用いた推定に誤りがないと仮定した場合に生じる誤差の周波数特性を示す。
　「比較例」：源信号をμ－ｌａｗ方式により量子化した信号をWaveNetにより推定した後、逆量子化して再構成した信号と源信号との誤差を意味する。すなわち、比較例において生じる誤差の周波数特性を示す。
　「実施例（α＝０．５）」，「実施例（α＝１．０）」：実施例で用いる残差信号をμ－ｌａｗ方式により量子化した信号を自己回帰モデルにより推定した後、逆量子化して再構成した信号と源信号との誤差を意味する。すなわち、実施例において生じる誤差の周波数特性を示す。
　図８に示す実験結果によれば、「源信号」および「比較例」は、想定のとおり、帯域全体にわたって一様に残差が分布していることがわかる。これに対して、「残差」および「実施例」は、２００Ｈｚ～３００Ｈｚ付近にピークが存在しており、また高周波帯域では、「源信号」および「比較例」よりもパワーが小さくなっている。さらに、「残差」および「実施例」のパワースペクトラムの形状からも、聴覚特性に応じてシェーピングされていることが確認できる。
　また、聴覚重み付け係数αの大きさに追従してパワースペクトラムの形状も変化しており、聴覚重み付け係数αを調整することで、シェーピング度合いを制御できることも確認できる。
　図８において、「源信号」および「残差」は量子化誤差を含むものであり、「比較例」および「実施例」は推定誤差および量子化誤差を含むものとなる。これらを比較することで、推定誤差は、量子化誤差を大きく上回っていることが確認できる。
　（ｇ３：客観評価）
　次に、実施例と比較例との客観評価指標として、源信号と推定された音声信号との間のＳＮＲ（Ｓ／Ｎ比）を用いた。その結果を以下の表に示す。
　実施例は、聴覚重み付け係数αが０．１のときにわずかながら比較例より良好な結果を示したが、他の場合は劣ってしまっている。この結果から、音声スペクトルのシェーピングは、源信号に対するＳＮＲという面では改善方向にあまり寄与しないと考えられる。
Figure JPOXMLDOC01-appb-T000004
　（ｇ４：主観評価）
　次に、実施例と比較例との間における合成音声の自然性を対比較実験により比較した。評価音声は、テストデータから抽出した３０文とした。実施例および比較例のそれぞれによって生成された合成音声を被験者（内訳：男性３名、女性２名）に聞いてもらい、より自然性である（音声品質が高い）と感じたものを選択してもらった。但し、提示音声対に差が感じられない際には、「どちらでもない」という選択肢を認めた。
　図９は、本実施の形態に従う音声合成システムについての対比較実験の評価結果例を示す図である。図９において、聴覚重み付け係数α＝０．１，０．５，１．０におけるｐ値は、それぞれ、２．０ｅ－３，７．２ｅ－１０，０．８ｅ－３となった。聴覚重み付け係数α＝１．０では、比較例が実施例に対して有意差（ｐ＜０．０１）を示したが、聴覚重み付け係数α＝０．１，０．５では、実施例が比較例に対して有意差を示した。
　［Ｈ．まとめ］
　本実施の形態に従う音声合成システムにおいては、過去の信号系列から現在値を推定する自己回帰モデルに予測量子化の手法を組み合わせることで、再構成された音声信号の帯域全体にわたって存在していたノイズを聴覚マスキングを考慮した形状に変化させることができる。これによって、入力テキストに基づくコンテキストラベルから音声信号を直接的に推定する際の音声品質を高めることができる。
　今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１　多言語翻訳システム、２　ネットワーク、４　ユーザ、１０　サービス提供装置、１２　分析部、１４　学習部、１６　自己回帰モデル、１８　音声合成部、２０　音声認識部、２２　翻訳部、２４　通信処理部、３０　携帯端末、１００　プロセッサ、１０２　主メモリ、１０４　ディスプレイ、１０６　入力デバイス、１０８　ネットワークインターフェイス、１１０　内部バス、１１２　二次記憶装置、１２０　逆フィルタ、１２１　分析プログラム、１２２　声道特徴分析部、１３０　入力音声、１３２　テキスト、１３４　光学ドライブ、１３６　光学ディスク、１４０　学習制御部、１４１　学習プログラム、１４２　量子化部、１４６　声道フィルタ係数格納部、１８０　音声合成制御部、１８１　音声合成プログラム、１８２　逆量子化部、１８４　合成フィルタ、１９２　テキスト分析部、１９４　コンテキストラベル生成部、２００　エンコーダ、２０１　音声認識プログラム、２０２，２０６，２１４　演算器、２０４　量子化器、２０８，２１２　予測器、２１０　デコーダ、２２１　翻訳プログラム。

Claims (6)

  1. 　音声合成システムに向けられた学習装置であって、
    　過去の信号系列および現在のコンテキストラベルから現在の信号を推定する自己回帰モデルを備え、前記自己回帰モデルは、統計的データモデリングが可能なネットワーク構造を有しており、
    　入力音声信号を分析して声道特徴を示す声道フィルタ係数を決定する声道特徴分析部と、
    　前記声道フィルタ係数に基づいて予測される音声信号と前記入力音声信号との間の残差信号を出力する残差信号生成部と、
    　前記残差信号生成部から出力される前記残差信号を量子化して量子化残差信号を生成する量子化部と、
    　既知の入力テキストに対応する入力音声信号について、前記既知の入力テキストのコンテキストラベルを前記自己回帰モデルに対して条件として与えるとともに、前記入力音声信号についての前記量子化残差信号の過去の系列および現在のコンテキストラベルと、前記量子化残差信号の現在の信号とを対応付けることで前記自己回帰モデルの学習を実施する学習制御部とを備える、学習装置。
  2. 　入力テキストに応じた音声を合成して出力する音声合成システムであって、
    　未知の入力テキストが入力されると、前記未知の入力テキストのコンテキストラベルを前記自己回帰モデルに対して条件として与えるとともに、過去の推定量子化残差信号を請求項１に記載の学習装置によって構築された前記自己回帰モデルを用いて、現在の量子化残差信号を出力する音声合成制御部を備える、音声合成システム。
  3. 　前記量子化部から出力される過去の量子化残差信号および現在のコンテキストラベルから推定された推定量子化残差信号を逆量子化して推定残差信号を生成する逆量子化部と、
    　前記逆量子化部から出力される推定残差信号を前記声道フィルタ係数に基づいてフィルタリングした結果を音声信号として出力する合成フィルタと、
    　前記入力音声信号についての声道フィルタ係数を格納する格納部とをさらに備える、請求項２に記載の音声合成システム。
  4. 　前記声道フィルタ係数は、聴覚重み付け係数により調整可能になっている、請求項２または３に記載の音声合成システム。
  5. 　入力テキストを分析して文脈情報を生成するテキスト分析部と、
    　前記テキスト分析部からの文脈情報に基づいて、入力テキストのコンテキストラベルを生成するコンテキストラベル生成部とをさらに備える、請求項２～４のいずれか１項に記載の音声合成システム。
  6. 　入力テキストに応じた音声を合成して出力する音声合成方法であって、
    　既知の入力テキストに対応する入力音声信号を分析して声道特徴を示す声道フィルタ係数を決定するステップと、
    　前記声道フィルタ係数に基づいて予測される音声信号と前記入力音声信号との間の残差信号を生成するステップと、
    　前記残差信号を量子化して量子化残差信号を生成するステップと、
    　前記既知の入力テキストのコンテキストラベルを自己回帰モデルに対して条件として与えるとともに、過去の前記量子化残差信号および現在のコンテキストラベルから現在の前記量子化残差信号を推定する前記自己回帰モデルを学習するステップとを備え、前記自己回帰モデルは、過去の信号系列および現在のコンテキストラベルから現在値を推定するためのパラメータを格納しており、統計的データモデリングが可能なネットワーク構造を有している、音声合成方法。
PCT/JP2018/006166 2017-02-28 2018-02-21 学習装置、音声合成システムおよび音声合成方法 WO2018159403A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/489,583 US10957303B2 (en) 2017-02-28 2018-02-21 Training apparatus, speech synthesis system, and speech synthesis method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017037220A JP6860901B2 (ja) 2017-02-28 2017-02-28 学習装置、音声合成システムおよび音声合成方法
JP2017-037220 2017-02-28

Publications (1)

Publication Number Publication Date
WO2018159403A1 true WO2018159403A1 (ja) 2018-09-07

Family

ID=63371377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006166 WO2018159403A1 (ja) 2017-02-28 2018-02-21 学習装置、音声合成システムおよび音声合成方法

Country Status (3)

Country Link
US (1) US10957303B2 (ja)
JP (1) JP6860901B2 (ja)
WO (1) WO2018159403A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113345406A (zh) * 2021-05-19 2021-09-03 苏州奇梦者网络科技有限公司 神经网络声码器语音合成的方法、装置、设备以及介质
US11544059B2 (en) * 2018-12-28 2023-01-03 Cambricon (Xi'an) Semiconductor Co., Ltd. Signal processing device, signal processing method and related products

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127571B1 (ko) * 2018-10-24 2020-06-26 서울대학교산학협력단 자기회귀 생성모델 기반의 은닉 데이터 제거 방법 및 장치
EP3737115A1 (en) * 2019-05-06 2020-11-11 GN Hearing A/S A hearing apparatus with bone conduction sensor
CN112951245B (zh) * 2021-03-09 2023-06-16 江苏开放大学（江苏城市职业学院） 一种融入静态分量的动态声纹特征提取方法
CN112951203B (zh) * 2021-04-25 2023-12-29 平安创科科技(北京)有限公司 语音合成方法、装置、电子设备及存储介质
WO2022244818A1 (ja) * 2021-05-18 2022-11-24 ヤマハ株式会社 機械学習モデルを用いた音生成方法および音生成装置
CN113423005B (zh) * 2021-05-18 2022-05-03 电子科技大学 一种基于改进神经网络的智能音乐生成方法及系统
US20240339105A1 (en) * 2021-07-05 2024-10-10 Nippon Telegraph And Telephone Corporation Generating method, generating program, and generating device
CN113707124A (zh) * 2021-08-30 2021-11-26 平安银行股份有限公司 话术语音的联动播报方法、装置、电子设备及存储介质
CN114242034A (zh) * 2021-12-28 2022-03-25 深圳市优必选科技股份有限公司 一种语音合成方法、装置、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03269599A (ja) * 1990-03-20 1991-12-02 Tetsunori Kobayashi 音声合成装置
WO2009022454A1 (ja) * 2007-08-10 2009-02-19 Panasonic Corporation 音声分離装置、音声合成装置および声質変換装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4301329A (en) * 1978-01-09 1981-11-17 Nippon Electric Co., Ltd. Speech analysis and synthesis apparatus
JPS60123900A (ja) * 1983-12-09 1985-07-02 株式会社日立製作所 法則音声合成装置
US4890328A (en) * 1985-08-28 1989-12-26 American Telephone And Telegraph Company Voice synthesis utilizing multi-level filter excitation
JP2583883B2 (ja) * 1987-03-31 1997-02-19 博也 藤崎 音声分析装置および音声合成装置
US5774846A (en) * 1994-12-19 1998-06-30 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus, linear prediction coefficient analyzing apparatus and noise reducing apparatus
US6240384B1 (en) * 1995-12-04 2001-05-29 Kabushiki Kaisha Toshiba Speech synthesis method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03269599A (ja) * 1990-03-20 1991-12-02 Tetsunori Kobayashi 音声合成装置
WO2009022454A1 (ja) * 2007-08-10 2009-02-19 Panasonic Corporation 音声分離装置、音声合成装置および声質変換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KANEKO, TAKUHIRO ET AL.: "Generative Adversarial Network- based Postfiltering for Statistical Parametric Speech Synthesis", IEICE TECHNICAL REPORT, vol. 116, no. 378, 13 December 2016 (2016-12-13), pages 89 - 94, ISSN: 0913-5685 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544059B2 (en) * 2018-12-28 2023-01-03 Cambricon (Xi'an) Semiconductor Co., Ltd. Signal processing device, signal processing method and related products
CN113345406A (zh) * 2021-05-19 2021-09-03 苏州奇梦者网络科技有限公司 神经网络声码器语音合成的方法、装置、设备以及介质
CN113345406B (zh) * 2021-05-19 2024-01-09 苏州奇梦者网络科技有限公司 神经网络声码器语音合成的方法、装置、设备以及介质

Also Published As

Publication number Publication date
JP6860901B2 (ja) 2021-04-21
US10957303B2 (en) 2021-03-23
US20200135171A1 (en) 2020-04-30
JP2018141917A (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2018159403A1 (ja) 学習装置、音声合成システムおよび音声合成方法
Luo et al. Conv-tasnet: Surpassing ideal time–frequency magnitude masking for speech separation
Vasquez et al. Melnet: A generative model for audio in the frequency domain
Van Den Oord et al. Wavenet: A generative model for raw audio
JP6802958B2 (ja) 音声合成システム、音声合成プログラムおよび音声合成方法
EP1995723B1 (en) Neuroevolution training system
Wu et al. Collapsed speech segment detection and suppression for WaveNet vocoder
WO2017146073A1 (ja) 声質変換装置、声質変換方法およびプログラム
WO2024055752A1 (zh) 语音合成模型的训练方法、语音合成方法和相关装置
Shankar et al. A Multi-Speaker Emotion Morphing Model Using Highway Networks and Maximum Likelihood Objective.
Vignolo et al. Evolutionary cepstral coefficients
KR20040088364A (ko) 잔여 모델을 사용하여 포먼트 트랙킹을 하기 위한 방법 및장치
Islam et al. Supervised single channel speech enhancement based on stationary wavelet transforms and non-negative matrix factorization with concatenated framing process and subband smooth ratio mask
Ranjith et al. GTSO: Gradient tangent search optimization enabled voice transformer with speech intelligibility for aphasia
Anees Speech coding techniques and challenges: A comprehensive literature survey
JP7423056B2 (ja) 推論器および推論器の学習方法
Ali et al. Direct enhancement of pre-trained speech embeddings for speech processing in noisy conditions
Li et al. Deep causal speech enhancement and recognition using efficient long-short term memory Recurrent Neural Network
Shankarappa et al. A faster approach for direct speech to speech translation
Bouchakour et al. Noise-robust speech recognition in mobile network based on convolution neural networks
US20220208180A1 (en) Speech analyser and related method
Nirmal et al. Cepstrum liftering based voice conversion using RBF and GMM
Chou et al. AV2WAV: Diffusion-Based Re-Synthesis from Continuous Self-Supervised Features for Audio-Visual Speech Enhancement
Kurian et al. Connected digit speech recognition system for Malayalam language
JP6564744B2 (ja) 信号解析装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18761868

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18761868

Country of ref document: EP

Kind code of ref document: A1