WO2012160767A1 - 素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム - Google Patents

素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム Download PDF

Info

Publication number
WO2012160767A1
WO2012160767A1 PCT/JP2012/003060 JP2012003060W WO2012160767A1 WO 2012160767 A1 WO2012160767 A1 WO 2012160767A1 JP 2012003060 W JP2012003060 W JP 2012003060W WO 2012160767 A1 WO2012160767 A1 WO 2012160767A1
Authority
WO
WIPO (PCT)
Prior art keywords
waveform
speech
unit
segment
natural
Prior art date
Application number
PCT/JP2012/003060
Other languages
English (en)
French (fr)
Inventor
正徳 加藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2013516186A priority Critical patent/JP5983604B2/ja
Priority to US14/114,891 priority patent/US9401138B2/en
Publication of WO2012160767A1 publication Critical patent/WO2012160767A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules

Definitions

  • the present invention relates to a unit information generation apparatus, a unit information generation method, a unit information generation program, and a speech synthesis that synthesizes speech using unit information.
  • the present invention relates to a device, a speech synthesis method, and a speech synthesis program.
  • a speech synthesizer that analyzes character string information representing a character string and generates synthesized speech from the speech information indicated by the character string by rule synthesis.
  • a speech synthesizer that generates synthesized speech by rule synthesis, first, based on the analysis result of the input character string information, the prosody information of the synthesized speech (sound pitch (pitch frequency), sound length (phoneme duration length) ) And information related to the loudness (power) of the sound.
  • a plurality of optimum segments waveform generation parameter series having a length of about syllable / semi-syllable
  • one unit is selected. Create two optimal segment sequences.
  • a waveform generation parameter sequence is formed from the optimum segment sequence, and a speech waveform is generated from the waveform generation parameter sequence to obtain synthesized speech.
  • Segments stored in the segment dictionary are extracted and generated from a large amount of natural speech using various methods.
  • a speech synthesizer when a synthesized speech waveform is generated from a selected segment, a speech waveform having a prosody close to the generated prosodic information is generated from the segment for the purpose of ensuring high sound quality.
  • a method described in Non-Patent Document 1 is used as a method of generating both the synthesized speech waveform and the segment used for generating the synthesized speech waveform.
  • the waveform generation parameter generated by the method described in Non-Patent Document 1 is a waveform cut out from a speech waveform using a window function having a time domain parameter (more specifically, a time width calculated from the pitch frequency). is there. Therefore, processing such as frequency conversion, logarithmic conversion, and filtering is not necessary in waveform generation, and a synthesized speech waveform can be generated with a small amount of calculation.
  • Patent Document 1 describes a speech recognition device
  • Patent Document 2 describes a speech segment generation device.
  • Non-Patent Document 1 the waveform generation method and the segment dictionary creation method described in Non-Patent Document 1 have a problem that the analysis frame period cannot be freely set when creating the segment.
  • the waveform generation parameter is generated by cutting out the waveform at a time interval called an analysis frame period. That is, the analysis frame period is a time interval for generating a waveform generation parameter by cutting out a waveform when generating a waveform generation parameter from a natural speech waveform.
  • the technique described in Non-Patent Document 1 uses an analysis frame period that depends on the pitch frequency. Specifically, in the technique described in Non-Patent Document 1, an analysis frame period corresponding to the pitch frequency is used using the pitch frequency of natural speech (including a pitch frequency estimation value based on pitch frequency analysis). It was. In the technique described in Non-Patent Document 1, the analysis frame period is uniquely determined from the pitch frequency.
  • the present invention has the advantage that a waveform can be generated with a small amount of calculation that is a feature of the time domain parameter, and also when using a segment in a section where the pitch frequency of natural speech that is a segment creation source is low, Segment information generation apparatus, segment information generation method, and segment information generation program capable of preventing deterioration in the quality of synthesized speech and reducing the amount of segment information in a section having a high pitch frequency without impairing the quality of synthesized speech
  • An object of the present invention is to provide a speech synthesizer, a speech synthesis method, and a speech synthesis program.
  • the segment information generation apparatus includes a waveform cutout unit that cuts out a speech waveform from natural speech in a time period that does not depend on the pitch frequency of the natural speech, and a feature of the speech waveform from the speech waveform cut out by the waveform cutout unit. It is characterized by comprising a feature parameter extracting means for extracting a parameter and a time domain waveform generating means for generating a time domain waveform based on the feature parameter.
  • the speech synthesizer includes a waveform cutout unit that cuts out a speech waveform from natural speech in a time period that does not depend on the pitch frequency of the natural speech, and a feature of the speech waveform from the speech waveform cut out by the waveform cutout unit.
  • Feature parameter extracting means for extracting parameters
  • time domain waveform generating means for generating a time domain waveform based on the feature parameters
  • segment information that represents a segment and that includes the time domain waveform
  • the segment information generation method cuts out a speech waveform from natural speech at a time period that does not depend on the pitch frequency of the natural speech, extracts feature parameters of the speech waveform from the speech waveform, and based on the feature parameters. Generating a time domain waveform.
  • the speech synthesis method cuts out a speech waveform from natural speech at a time period that does not depend on the pitch frequency of the natural speech, extracts a feature parameter of the speech waveform from the speech waveform, and extracts time based on the feature parameter. Generates a region waveform, stores the segment information including the segment, including the segment information including the time domain waveform, selects the segment information according to the input character string, and selects the selected segment information. And generating a speech synthesis waveform.
  • segment information generation program allows a computer to perform a waveform extraction process for extracting a speech waveform from natural speech at a time period that does not depend on the pitch frequency of natural speech, A feature parameter extraction process for extracting a feature parameter of a speech waveform and a time domain waveform generation process for generating a time domain waveform based on the feature parameter are executed.
  • the speech synthesis program allows a computer to perform a waveform extraction process for extracting a speech waveform from natural speech in a time period that does not depend on the pitch frequency of natural speech, and a speech waveform extracted from the speech waveform extracted by the waveform extraction process.
  • Parameter extraction process for extracting feature parameters time domain waveform generation process for generating a time domain waveform based on the feature parameters, and segment information including a segment in the time domain waveform Storage processing, segment information selection processing for selecting segment information according to the input character string, and waveform generation processing for generating a speech synthesis waveform using the segment information selected in the segment information selection processing It is made to perform.
  • a waveform can be generated with a small amount of calculation, and even when a segment in a section where the pitch frequency of natural speech that is a segment creation source is low is used, deterioration in the quality of synthesized speech can be prevented, and synthesis can be performed. It is possible to reduce the data amount of the segment information in the section where the pitch frequency is high without impairing the sound quality.
  • FIG. FIG. 1 is a block diagram illustrating an example of the segment information generation apparatus according to the first embodiment of this invention.
  • the segment information generation apparatus according to the present embodiment includes a segment information storage unit 10, an attribute information storage unit 11, a natural speech storage unit 12, an analysis frame period storage unit 20, a waveform cutout unit 14, and a feature parameter extraction. Unit 15 and a time domain waveform conversion unit 22.
  • the natural speech storage unit 12 stores information representing basic speech (natural speech waveform) that is a basis for generating segment information.
  • the unit information includes speech unit information representing a speech unit and attribute information representing an attribute of each speech unit.
  • a speech segment is a part of basic speech (speech generated by humans (natural speech)) that is the basis of speech synthesis processing that synthesizes speech, and is divided by speech synthesis units. Generated.
  • the speech unit information includes time-series data of feature parameters extracted from the speech unit and representing the features of the speech unit.
  • the speech synthesis unit is a syllable. Note that the speech synthesis unit may be a phoneme, a semi-syllable such as CV (V represents a vowel and C represents a consonant), CVC, VCV, or the like, as shown in Reference 1 below. .
  • the attribute information includes the environment (phoneme environment) in the basic speech of each speech unit, and prosodic information (basic frequency (pitch frequency), amplitude, duration length, etc.).
  • the segment information includes speech segment information, attribute information, and waveform generation parameter generation conditions.
  • a case where the speech synthesis unit is “syllable” is taken as an example.
  • the speech unit information can also be referred to as a parameter (waveform generation parameter) for generating a synthesized speech waveform.
  • speech element information include, for example, a time series of a pitch waveform (a waveform generated by the time domain waveform conversion unit 22) described later, a time series of a cepstrum, or the waveform itself (the time length is a unit length (syllable length). ).
  • prosodic information or linguistic information is used as attribute information.
  • prosodic information include pitch frequency (leading / final / average pitch frequency, etc.), duration, power, and the like.
  • linguistic information from reading (for example, “ha (ha)” in Japanese “ohahayoyo u”), syllable string, phoneme string, position information from accent position, accent phrase delimiter Position information, morpheme parts of speech, and the like.
  • the syllable string is a preceding syllable (eg, “o (o)” in the above “ohahayoyouu”), a syllable that continues further before the preceding syllable, or a subsequent syllable (eg, “good morning (o In “ha yo u)”, “yo (yo)”) is a syllable string of syllables following the syllable.
  • the phoneme sequence is a preceding phoneme (for example, “o” in the above “ohahayoyou”), a phoneme that precedes the preceding phoneme, or a subsequent phoneme (for example, “ohahayoyou” described above).
  • the information on the position from the accent position is, for example, information indicating “the syllable number from the accent position”.
  • the information of the position from the accent phrase break is, for example, information indicating “the syllable number from the accent phrase break”.
  • Waveform generation parameter generation conditions include parameter type, number of parameter dimensions (for example, 10 dimensions, 24 dimensions, etc.), analysis frame length, analysis frame period, and the like.
  • parameter types include cepstrum, LPC (Linear Predictive Cefficient), MFCC, and the like.
  • the attribute information storage unit 11 stores linguistic information including information representing a character string (recorded sentence) corresponding to the basic speech stored in the natural speech storage unit 12 and prosodic information of the basic speech as attribute information.
  • the language information is, for example, information representing a kanji-kana mixed sentence. Furthermore, the language information may include information such as readings, syllable strings, phoneme strings, accent positions, accent phrase breaks, morpheme parts of speech, and the like.
  • the prosodic information includes a pitch frequency / amplitude, a time series of short-time power, and a duration of each syllable / phoneme / pause included in natural speech.
  • the analysis frame cycle storage unit 20 stores a time cycle (that is, an analysis frame cycle) at which the waveform cutout unit 14 cuts out a waveform from the natural speech waveform.
  • the analysis frame period storage unit 20 stores an analysis frame period determined without depending on the pitch frequency of natural speech. It should be noted that the analysis frame period determined without depending on the pitch frequency of the natural voice can be said to be an analysis frame period determined independently of the pitch frequency of the natural voice.
  • the sound quality of the synthesized speech is improved and the data amount of the segment information is increased.
  • reducing the analysis frame period does not always improve the sound quality.
  • the waveform cutout unit 14 cuts out a speech waveform from the natural speech stored in the natural speech storage unit 12 at the analysis frame cycle stored in the analysis frame cycle storage unit 20 and extracts a time series of the cut out speech waveform as a feature parameter.
  • the time length of the extracted waveform is called an analysis frame length, and a preset value is used.
  • As the analysis frame length for example, a value between 10 milliseconds and 50 milliseconds may be adopted.
  • the analysis frame length may always be the same value (for example, 20 milliseconds).
  • the length of the natural speech waveform to be cut out varies, but even if it is short, there are about several seconds, so it is almost several hundred times longer than the analysis frame length.
  • the analysis frame length is N
  • the analysis frame period is T.
  • the natural speech waveform length is L. Since a short waveform is cut out from a long natural speech waveform, the relationship L >> N is established. At this time, assuming that the cut-out waveform of the nth frame is x n (t), x n (t) is expressed by the following equation (1).
  • n 0, 1,... (L / N) ⁇ 1. If L / N is not an integer, the decimal part of L / N is rounded down, and (L / N) -1 is taken as an integer.
  • the feature parameter extraction unit 15 extracts a feature parameter of the speech waveform from the speech waveform supplied from the waveform cutout unit 14 and transmits the feature parameter to the time domain waveform conversion unit 22.
  • a plurality of cutout waveforms having a preset analysis frame length are supplied from the waveform cutout unit 14 to the feature parameter extraction unit 15 at time intervals of the analysis frame period.
  • the feature parameter extraction unit 15 extracts feature parameters one by one from the plurality of supplied cutout waveforms. Examples of feature parameters include power spectrum, linear prediction coefficient, cepstrum, mel cepstrum, LSP, STRAIGHT spectrum, and the like. Methods for extracting these characteristic parameters from the extracted speech waveform are described in the following references 2, 3, and 4.
  • the length K of the feature parameter may be a value smaller than N.
  • the time domain waveform conversion unit 22 converts the time series of feature parameters extracted by the feature parameter extraction unit 15 into time domain waveforms one by one in units of frames.
  • the converted time domain waveform becomes a waveform generation parameter of synthesized speech.
  • the waveform generated by the time domain waveform conversion unit 22 is referred to as a pitch waveform for the purpose of distinguishing from a natural speech waveform or a synthesized speech waveform.
  • the method for converting the time series of feature parameters extracted by the feature parameter extraction unit 15 into a time domain waveform differs depending on the characteristics of the feature parameters. For example, in the case of a subband power spectrum, an inverse Fourier transform is used.
  • y n (t) is represented by the following formula (3), and the time domain waveform conversion unit 22 may obtain y n (t) from formula (3).
  • the pitch waveform is obtained by performing Fourier transform on the cepstrum and further performing inverse Fourier transform.
  • the segment information storage unit 10 includes the attribute information supplied from the attribute information storage unit 11, the pitch waveform supplied from the time domain waveform conversion unit 22, and the analysis frame period stored in the analysis frame period storage unit 20.
  • the information including the segment information is stored.
  • the segment information stored in the segment information storage unit 10 is used for speech synthesis processing in a speech synthesizer (not shown in FIG. 1). That is, after the segment information is stored in the segment information storage unit 10, when the speech synthesizer accepts the text to be subjected to the speech synthesis process, the segment information stored in the segment information storage unit 10 is stored. Based on this, speech synthesis processing for synthesizing speech representing the accepted text is performed.
  • the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 are realized by, for example, a CPU of a computer that includes a storage device and operates according to a segment information generation program.
  • a computer program storage device (not shown) stores the segment information generation program, and the CPU reads the program, and in accordance with the program, the waveform cutout unit 14, the feature parameter extraction unit 15 and the time domain waveform are read. What is necessary is just to operate
  • the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 may be realized by separate hardware.
  • FIG. 2 is a flowchart showing an example of processing progress of the first embodiment of the present invention.
  • the waveform cutout unit 14 cuts out a speech waveform from the natural speech stored in the natural speech storage unit 12 at an analysis frame period determined without depending on the pitch frequency of the natural speech.
  • the analysis frame period is stored in advance in the analysis frame period storage unit 20, and the waveform cutout unit 14 may cut out the speech waveform at the analysis frame period stored in the analysis frame period storage unit 20.
  • the feature parameter extraction unit 15 extracts feature parameters from the speech waveform (step S2).
  • the time domain waveform converter 22 converts the time series of feature parameters into a pitch waveform in units of frames (step S3).
  • the segment information storage unit 10 includes attribute information supplied from the attribute information storage unit 11, pitch waveform supplied from the time domain waveform conversion unit 22, and analysis frame period stored in the analysis frame period storage unit 20. Is stored (step S4).
  • the segment information stored in the segment information storage unit 10 is used for speech synthesis processing in the speech synthesizer.
  • a pitch waveform is generated at a constant analysis frame period. For this reason, when generating the synthesized speech, it is possible to generate a waveform with a small amount of calculation as in the technique described in Non-Patent Document 1.
  • the analysis frame period used in the present embodiment is determined without depending on the pitch frequency of natural speech. Therefore, when speech synthesis is performed using a segment in a segment where the pitch frequency of natural speech that is a segment creation source is low, it is possible to prevent deterioration in the quality of synthesized speech compared to the technique described in Non-Patent Document 1. Compared with the technique described in Non-Patent Document 1, the data amount of the segment information in the section where the pitch frequency is high can be reduced without impairing the sound quality of the synthesized speech.
  • Embodiment 2 The segment information generation apparatus according to the second embodiment of the present invention controls the analysis frame period according to the attribute information of the speech segment.
  • FIG. 3 is a block diagram showing an example of the segment information generation apparatus according to the second embodiment of the present invention. Elements similar to those in the first embodiment are denoted by the same reference numerals as those in FIG. 1, and detailed description thereof is omitted.
  • the segment information generation apparatus of this embodiment includes a segment information storage unit 10, an attribute information storage unit 11, a natural speech storage unit 12, an analysis frame period control unit 30, a waveform cutout unit 14, and a feature parameter extraction. Unit 15 and a time domain waveform conversion unit 22. That is, the segment information generation apparatus of this embodiment includes an analysis frame cycle control unit 30 instead of the analysis frame cycle storage unit 20 in the first embodiment.
  • the analysis frame cycle control unit 30 calculates an appropriate analysis frame cycle based on the attribute information supplied from the attribute information storage unit 11 and transmits it to the waveform cutout unit 12.
  • the analysis frame period control unit 30 uses language information and prosodic information included in the attribute information for calculation of the analysis frame period.
  • it is effective to switch the frame period according to the shape change speed of the speech spectrum of the corresponding type. For example, if the analysis target section is a long vowel syllable, the analysis frame period control unit 30 increases the analysis frame period because the change in the spectrum shape is small. As a result, the number of frames in the corresponding section can be reduced without impairing the sound quality of the synthesized speech.
  • the analysis target section is a voiced consonant section, the analysis frame period is shortened because the change in the spectrum shape is large. As a result, the sound quality of the synthesized speech is improved when the segment of the corresponding section is used.
  • the analysis frame period control unit 30 shortens the analysis frame period in a section where the spectrum shape change degree is estimated to be large based on the element attribute information, and in the section where the spectrum shape change degree is estimated to be small. Increase the analysis frame period.
  • the spectral shape change degree is a degree of change of the spectral shape.
  • the waveform cutout unit 14 cuts out a speech waveform from natural speech at the analysis frame cycle controlled by the analysis frame cycle control unit 30.
  • the other points are the same as in the first embodiment.
  • the analysis frame cycle control unit 30, the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 are realized by a CPU of a computer that includes a storage device and operates according to the segment information generation program, for example.
  • the CPU may operate as the analysis frame period control unit 30, the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 in accordance with the segment information generation program.
  • the analysis frame period control unit 30, the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 may be realized by separate hardware.
  • the analysis frame period control unit 30 shortens the analysis frame period in a section where the spectrum shape change degree is estimated to be large, and lengthens the analysis frame period in a section where the spectrum shape change degree is estimated to be small. .
  • speech synthesis is performed using segments in a segment having a low pitch frequency of natural speech as a segment creation source, it is possible to prevent deterioration in the quality of the synthesized speech, and the pitch frequency can be reduced without impairing the quality of the synthesized speech.
  • the effect that the data amount of the segment information in the high section can be reduced can be made larger than that in the first embodiment.
  • the analysis frame cycle control unit 30 controls the analysis frame cycle based on the attribute information. At this time, the analysis frame cycle control unit 30 does not use the pitch frequency of natural speech. Therefore, the analysis frame period in the second embodiment does not depend on the pitch frequency as in the first embodiment.
  • Embodiment 3 The segment information generation apparatus according to the third embodiment of the present invention analyzes natural speech to calculate a spectrum shape change degree, and controls an analysis frame period according to the spectrum shape change degree.
  • FIG. 4 is a block diagram showing an example of the segment information generating apparatus according to the third embodiment of the present invention. Elements similar to those in the first embodiment and the second embodiment are denoted by the same reference numerals as those in FIG. 1 and FIG. 3, and detailed description thereof is omitted.
  • the segment information generation apparatus of the present embodiment includes a segment information storage unit 10, an attribute information storage unit 11, a natural speech storage unit 12, a spectrum shape change degree estimation unit 41, an analysis frame period control unit 40, A waveform cutout unit 14, a feature parameter extraction unit 15, and a time domain waveform conversion unit 22 are provided. That is, the segment information generation apparatus of this embodiment includes a spectrum shape change degree estimation unit 41 and an analysis frame cycle control unit 40 in place of the analysis frame cycle storage unit 20 in the first embodiment.
  • the spectrum shape change degree estimation unit 41 estimates the spectrum shape change degree of the natural speech supplied from the natural speech storage unit 12 and transmits it to the analysis frame period control unit 40.
  • an analysis frame period is determined by determining a section where the spectrum shape change degree is estimated to be large or a section where the spectrum shape change degree is estimated to be small based on the attribute information of the segment.
  • the spectrum shape change degree estimation unit 41 directly analyzes natural speech and estimates the spectrum shape change degree.
  • the spectrum shape change degree estimation unit 41 may obtain various parameters representing the spectrum shape, and the change amount of the parameter per unit time may be set as the spectrum shape change degree. It is assumed that a K-dimensional parameter representing the spectrum shape in the nth frame is pn, and pn is expressed by the following equation (4).
  • Equation (5) calculates the difference between the n-th frame and the (n + 1) -th frame for each order of pn represented by a vector (in other words, for each element), and the sum of squares is calculated as a spectral shape change degree ⁇ p n.
  • Equation (6) calculates the absolute value of the difference between the nth frame and the (n + 1) th frame for each order of pn represented by a vector (in other words, for each element), and the sum is calculated as the degree of change in spectrum shape. which means that the ⁇ p n.
  • the same parameter as the feature parameter extracted by the feature parameter extraction unit 15 can be used.
  • a cepstrum can be used as a parameter representing the spectrum shape.
  • the spectrum shape change degree estimation unit 41 may extract the cepstrum from the natural speech waveform by the same method as the method by which the feature parameter extraction unit 15 described in the first embodiment extracts the cepstrum.
  • the analysis frame cycle control unit 40 obtains an appropriate analysis frame cycle based on the spectrum shape change degree supplied from the spectrum shape change degree estimation unit 41 and transmits it to the waveform cutout unit 14.
  • the analysis frame cycle control unit 40 lengthens the analysis frame cycle in a section where the degree of change in spectrum shape is small. More specifically, the analysis frame cycle control unit 40 switches the analysis frame cycle to a value larger than the normal time when the degree of change in the spectrum shape falls below a predetermined first threshold.
  • the analysis frame period control unit 40 shortens the analysis frame period in a section where the degree of change in spectrum shape is large. More specifically, the analysis frame cycle control unit 40 switches the analysis frame cycle to a value smaller than normal when the degree of change in the spectrum shape exceeds a predetermined second threshold.
  • the second threshold value is set as a value larger than the first threshold value.
  • the spectrum shape change degree estimation unit 41, the analysis frame period control unit 40, the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 include, for example, a storage device and operate according to the segment information generation program This is realized by the CPU.
  • the CPU may operate as the spectrum shape change degree estimation unit 41, the analysis frame period control unit 40, the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 in accordance with the segment information generation program.
  • the spectrum shape change degree estimation unit 41, the analysis frame period control unit 40, the waveform cutout unit 14, the feature parameter extraction unit 15, and the time domain waveform conversion unit 22 may be realized by separate hardware.
  • the spectrum shape change degree estimation unit 41 analyzes the natural speech waveform to be analyzed to obtain the spectrum shape change degree. Then, the analysis frame period control unit 40 shortens the frame period in the section where the spectrum shape change degree is large, and lengthens the frame period in the section where the estimated change degree is small. Therefore, when speech synthesis is performed using segments in a segment having a low pitch frequency of natural speech that is a segment creation source, it is possible to prevent deterioration in the quality of the synthesized speech and a high pitch frequency without impairing the quality of the synthesized speech. The effect that the data amount of the segment information in the section can be reduced can be made larger than that in the first embodiment.
  • the analysis frame cycle control unit 40 controls the analysis frame cycle according to the degree of change in spectrum shape. At this time, the analysis frame cycle control unit 40 does not use the pitch frequency of natural speech. Therefore, the analysis frame period in the third embodiment does not depend on the pitch frequency as in the first embodiment.
  • FIG. 5 is a block diagram showing an example of a speech synthesizer according to the fourth embodiment of the present invention.
  • the speech synthesizer according to the fourth embodiment of the present invention includes a language processing unit 1 and prosody generation in addition to the constituent elements of the segment information generation device according to any one of the first to third embodiments.
  • a unit 2, a segment selection unit 3, and a waveform generation unit 4 are provided.
  • FIG. 5 only the element information storage unit 10 is illustrated among the elements of the element information generation apparatus, and the other elements of the element information generation apparatus are not illustrated.
  • the piece information stored in the piece information storage unit 10 may be simply referred to as a piece.
  • the language processing unit 1 analyzes the character string of the input text sentence. Specifically, the language processing unit 1 performs analysis such as morphological analysis, syntax analysis, or reading. Note that reading is a process of adding kana to a kanji. Then, based on the analysis result, the language processing unit 1 uses information representing the symbol string representing “reading” such as phoneme symbols and information representing the morpheme part-of-speech, utilization, accent type, etc. as the prosody. The data is output to the generation unit 2 and the segment selection unit 3.
  • analysis such as morphological analysis, syntax analysis, or reading. Note that reading is a process of adding kana to a kanji.
  • the language processing unit 1 uses information representing the symbol string representing “reading” such as phoneme symbols and information representing the morpheme part-of-speech, utilization, accent type, etc. as the prosody.
  • the data is output to the generation unit 2 and the segment selection unit 3.
  • the prosody generation unit 2 generates a prosody of the synthesized speech based on the language analysis processing result output from the language processing unit 1, and uses the prosody information indicating the generated prosody as target prosody information and the unit selection unit 3 and waveform generation Output to part 4.
  • the prosody generation unit 2 may generate a prosody by the method described in Reference Document 5 below, for example.
  • the segment selection unit 3 selects a segment that satisfies a predetermined requirement from the segments stored in the segment information storage unit 10 based on the language analysis processing result and the target prosody information, and selects the selected segment.
  • the pieces and the attribute information of the pieces are output to the waveform generation unit 4. The operation in which the element selection unit 3 selects an element satisfying a predetermined requirement from the elements stored in the element information storage unit 10 will be described.
  • the segment selection unit 3 Based on the input language analysis processing result and the target prosodic information, the segment selection unit 3 sets information indicating the characteristics of the synthesized speech (hereinafter referred to as “target segment environment”) for each speech synthesis unit. To generate.
  • the target segment environment is a phoneme (hereinafter referred to as a corresponding phoneme) that constitutes the synthesized speech of the target segment environment generation target, a preceding phoneme that is a phoneme before the corresponding phoneme, and a phoneme after the corresponding phoneme.
  • Information including subsequent phonemes, presence / absence of stress, distance from accent core, pitch frequency for each speech synthesis unit, power, duration of speech synthesis unit, cepstrum, MFCC (Mel Frequency Cepstral Coefficients), and ⁇ amount of these It is.
  • the ⁇ amount means a change amount per unit time.
  • the segment selection unit 3 acquires a plurality of segments corresponding to continuous phonemes from the segment information storage unit 10 for each synthesized speech unit based on the information included in the generated target segment environment. . That is, the segment selection unit 3 acquires a plurality of segments corresponding to each of the corresponding phoneme, the preceding phoneme, and the subsequent phoneme based on information included in the target segment environment.
  • the acquired segment is a candidate for a segment used to generate a synthesized speech, and is hereinafter referred to as a candidate segment.
  • the unit selection unit 3 synthesizes speech for each combination of a plurality of acquired candidate segments (for example, a combination of a candidate unit corresponding to the corresponding phoneme and a candidate unit corresponding to the preceding phoneme).
  • the cost which is an index indicating the appropriateness as the segment used for the calculation, is calculated.
  • the cost is a calculation result of the difference between the target element environment and the attribute information of the candidate element, and the difference between the attribute information of adjacent candidate elements.
  • the cost decreases as the similarity between the feature of the synthesized speech indicated by the target segment environment and the candidate segment increases, that is, as the appropriateness for synthesizing the speech increases. Then, the lower the cost, the higher the degree of naturalness that indicates the degree to which the synthesized speech is similar to the speech uttered by humans. Therefore, the segment selection unit 3 selects the segment with the lowest calculated cost.
  • the cost calculated by the segment selection unit 3 includes a unit cost and a connection cost.
  • the unit cost indicates the degree of sound quality degradation estimated to occur when the candidate segment is used in the environment indicated by the target segment environment.
  • the unit cost is calculated based on the similarity between the attribute information of the candidate segment and the target segment environment.
  • the connection cost indicates the degree of sound quality degradation estimated to be caused by the discontinuity of the element environment between connected speech elements.
  • the connection cost is calculated based on the affinity of the element environments between adjacent candidate elements.
  • the unit cost is used for calculating the unit cost.
  • the pitch frequency, cepstrum, MFCC, short-time autocorrelation, power, and ⁇ amount of these at the connection boundary between adjacent pieces are used.
  • the unit cost and the connection cost are calculated using a plurality of pieces of various pieces of information (pitch frequency, cepstrum, power, etc.) related to the segment.
  • FIG. 6 shows an example of each piece of information indicated by each piece of information indicated by the target element environment and attribute information of the candidate element A1 and the candidate element A2.
  • the pitch frequency indicated by the target segment environment is pitch0 [Hz]
  • the duration is dur0 [sec]
  • the power is pow0 [dB]
  • the distance from the accent kernel is pos0.
  • the pitch frequency indicated by the attribute information of the candidate segment A1 is pitch1 [Hz]
  • the duration is dur1 [sec]
  • the power is pow1 [dB]
  • the distance from the accent nucleus is pos1.
  • the pitch frequency indicated by the attribute information of the candidate segment A2 is pitch2 [Hz]
  • the duration is dur2 [sec]
  • the power is pow2 [dB]
  • the distance from the accent nucleus is pos2.
  • the distance from the accent nucleus is the distance from the phoneme that is the accent nucleus in the speech synthesis unit.
  • the distance from the accent nucleus of the segment corresponding to the first phoneme is “ ⁇ 2”
  • the second The distance from the accent kernel of the segment corresponding to the phoneme of “1” is “ ⁇ 1”
  • the distance from the accent kernel of the segment corresponding to the third phoneme is “0”, corresponding to the fourth phoneme.
  • the distance from the accent nucleus of the segment is “+1”, and the distance from the accent nucleus of the segment corresponding to the fifth phoneme is “+2”.
  • unit_score (A1) may be calculated by the following equation (7).
  • unit_score (A2) may be calculated by the following equation (8).
  • Equations (7) and (8) w1 to w4 are predetermined weighting factors.
  • FIG. 7 is an explanatory diagram showing each piece of information indicated by the attribute information of the candidate element A1, the candidate element A2, the candidate element B1, and the candidate element B2.
  • the candidate segment B1 and the candidate segment B2 are candidate segments that are subsequent segments of the segment having the candidate segment A1 and the candidate segment A2 as candidate segments.
  • the start pitch frequency of the candidate segment A1 is pitch_beg1 [Hz]
  • the end pitch frequency is pitch_end1 [Hz]
  • the start end power is pow_beg1 [dB]
  • the end power is pow_end1 [dB].
  • the starting pitch frequency of the candidate element A2 is pitch_beg2 [Hz]
  • the terminating pitch frequency is pitch_end2 [Hz]
  • the starting power is pow_beg2 [dB]
  • the terminating power is pow_end2 [dB].
  • the start pitch frequency of the candidate element B1 is pitch_beg3 [Hz]
  • the end pitch frequency is pitch_end3 [Hz]
  • the start end power is pow_beg3 [dB]
  • the end power is pow_end3 [dB].
  • concat_score (A1, B1) may be calculated by the following equation (9).
  • concat_score (A1, B2)
  • concat_score (A2, B1) may be calculated by the following equation (11).
  • concat_score (A2, B2) may be calculated by the following equation (12).
  • c1 and c2 are predetermined weighting factors.
  • the element selection unit 3 calculates the cost of the combination of the candidate element A1 and the candidate element B1 based on the calculated unit cost and connection cost. Specifically, the element selection unit 3 calculates the cost of the combination of the candidate element A1 and the candidate element B1 by the calculation formula of unit (A1) + unit (B1) + concat_score (A1, B1). Similarly, the element selection unit 3 calculates the cost of the combination of the candidate element A2 and the candidate element B1 by a calculation formula of unit (A2) + unit (B1) + concat_score (A2, B1).
  • the element selection unit 3 calculates the cost of the combination of the candidate element A1 and the candidate element B2 by a calculation formula of unit (A1) + unit (B2) + concat_score (A1, B2). In addition, the element selection unit 3 calculates the cost of the combination of the candidate element A2 and the candidate element B2 by a calculation formula of unit (A2) + unit (B2) + concat_score (A2, B2).
  • the element selection unit 3 selects an element of the combination that minimizes the calculated cost as the element most suitable for speech synthesis from the candidate elements.
  • the segment selected by the segment selection unit 3 is referred to as a “selected segment”.
  • the waveform generation unit 4 matches or is similar to the target prosody information based on the target prosody information output by the prosody generation unit 2, the segment output by the segment selection unit 3, and attribute information of the segment.
  • a speech waveform having prosody is generated.
  • the waveform generation part 4 connects the produced
  • the speech waveform generated by the waveform generation unit 4 in units of segments is referred to as a segment waveform for the purpose of distinguishing it from normal speech waveforms.
  • the waveform generation unit 4 adjusts the number of frames so that the time length of the selected segment matches or is similar to the duration length generated by the prosody generation unit.
  • FIG. 8 is a schematic diagram illustrating an example of adjusting the time length of the selected segment.
  • the number of frames of the selected segment is 12, and the number of frames when the time length is extended (in other words, when the number of frames is increased) is 18. Further, the number of frames when the time length is shortened (in other words, when the number of frames is reduced) is 6.
  • the frame numbers shown in FIG. 8 indicate the correspondence between frames when the number of frames is increased or decreased.
  • the waveform generator 4 inserts frames at an appropriate frequency when increasing the number of frames, and thins out frames when reducing the number of frames.
  • adjacent frames are used as frames inserted when the time length is extended.
  • FIG. 8 illustrates a case where frames are inserted so that frames with even frame numbers are continuous. An average of adjacent frames may be used. In the example shown in FIG. 8, when the time length is shortened, frames with even frame numbers are thinned out.
  • the frequency of inserting and decimating the frame is evenly divided inside the unit as shown in FIG. By doing so, the sound quality of the synthesized speech is unlikely to deteriorate.
  • the waveform generation unit 4 selects a waveform used for waveform generation in units of frames, and generates a segment waveform.
  • the frame selection method differs between voiced and unvoiced sounds.
  • the waveform generation unit 4 calculates a frame selection period from the frame length and the frame period so as to be closest to the duration length generated by the prosody generation unit 2. Then, a frame is selected according to the frame selection cycle, and the waveform of each selected frame is connected to generate an unvoiced sound waveform.
  • FIG. 9 is an explanatory diagram showing a state in which an unvoiced sound waveform is generated from a segment having 16 frames. In the example shown in FIG. 9, since the frame length is five times the frame period, the waveform generation unit 4 selects a frame used for generating an unvoiced sound waveform once every five frames.
  • the waveform generation unit 4 calculates the pitch synchronization time (also referred to as a pitch mark) from the pitch frequency time series generated by the prosody generation unit 2. Then, the waveform generation unit 4 selects a frame closest to the pitch synchronization time and generates a voiced sound waveform by arranging the center of the waveform of each selected frame at the pitch synchronization time.
  • FIG. 10 is an explanatory diagram showing a state in which a voiced sound waveform is generated from a segment having 16 frames. In the example shown in FIG. 10, since the frames corresponding to the pitch synchronization time are the first, fourth, seventh, tenth, thirteenth and sixteenth frames, the waveform generating unit 4 uses these frames to generate a waveform. Generate.
  • the method for calculating the pitch synchronization position from the pitch frequency time series is described in Reference Document 6 below, for example.
  • the waveform generation unit 4 may calculate the pitch synchronization position by the method described in Reference Document 6, for example.
  • the waveform generating unit 4 generates a synthesized speech waveform by connecting the voiced sound waveform and the unvoiced sound waveform generated in units of segments in order.
  • the language processing unit 1, the prosody generation unit 2, the segment selection unit 3, the waveform generation unit 4, and the parts corresponding to the constituent elements of the segment information generation device for example, the waveform segmentation unit 14, the feature parameter 15.
  • the time domain waveform conversion unit 22 and the like are realized by a CPU of a computer that operates according to a speech synthesis program, for example. In this case, the CPU may read the program and operate as each of these elements. Each of these elements may be realized by separate hardware.
  • FIG. 11 is a flowchart showing an example of processing progress of the present embodiment.
  • the segment information is stored in the segment information storage unit 10 by the operation shown in any one of the first to third embodiments.
  • the language processing unit 1 analyzes the character string of the input text sentence (step S11).
  • the prosody generation unit 2 generates target prosody information based on the result of step S1 (step S12).
  • the segment selection unit 3 selects a segment (step S13).
  • the waveform generation unit 4 has a speech waveform having a prosody that matches or is similar to the target prosody information. Is generated (step S14).
  • FIG. 12 is a block diagram showing an example of the minimum configuration of the segment information generation apparatus of the present invention.
  • the segment information generation apparatus of the present invention includes a waveform cutout unit 81, a feature parameter extraction unit 82, and a time domain waveform generation unit 83.
  • the waveform cutout unit 81 (for example, the waveform cutout unit 14) cuts out a speech waveform from natural speech at a time period that does not depend on the pitch frequency of the natural speech.
  • Feature parameter extraction unit 82 extracts a feature parameter of the voice waveform from the voice waveform cut out by the waveform cutout unit 81.
  • the time domain waveform generating unit 83 (for example, the time domain waveform converting unit 22) generates a time domain waveform based on the feature parameter.
  • a waveform can be generated with a small amount of calculation.
  • speech synthesis is performed using segments in a section where the pitch frequency of natural speech is low, it is possible to prevent deterioration in the quality of the synthesized speech, and in a section where the pitch frequency is high without impairing the quality of the synthesized speech.
  • the amount of fragment information can be reduced.
  • FIG. 13 is a block diagram showing an example of the minimum configuration of the speech synthesizer of the present invention.
  • the speech synthesizer according to the present invention includes a waveform segmentation unit 81, a feature parameter extraction unit 82, a time domain waveform generation unit 83, a segment information storage unit 84, a segment information selection unit 85, and a waveform generation unit 86. Is provided.
  • the waveform cutout means 81, the feature parameter extraction means 82, and the time domain waveform generation means 83 are the same as those elements shown in FIG.
  • the segment information storage unit 84 (for example, the segment information storage unit 10) stores segment information that is a segment information that represents a segment and includes the time domain waveform generated by the time domain waveform generation unit 83.
  • Element information selection means 85 selects element information corresponding to the input character string.
  • the waveform generation unit 86 (for example, the waveform generation unit 4) generates a speech synthesis waveform using the segment information selected by the segment information selection unit 85.
  • a waveform cutout unit that cuts out a speech waveform from the natural speech in a time period that does not depend on the pitch frequency of the natural speech, and a feature parameter of the speech waveform is extracted from the speech waveform cut out by the waveform cutout unit
  • a segment information generation apparatus comprising: a feature parameter extraction unit; and a time domain waveform generation unit that generates a time domain waveform based on the feature parameter.
  • the segment information generating apparatus according to supplementary note 1, further comprising a cycle control unit that determines a time cycle for extracting a speech waveform from the natural speech based on attribute information of the natural speech.
  • a spectrum shape change degree estimation unit for estimating a spectrum shape change degree indicating the degree of change in the spectrum shape of natural speech, and a time period for cutting out a speech waveform from the natural sound based on the spectrum shape change degree.
  • the segment information generation device according to Supplementary Note 1 or Supplementary Note 2, comprising a cycle control unit to be determined.
  • the cycle control unit makes the time period for cutting out a speech waveform from natural speech smaller than the time cycle in normal time.
  • Single information generation device When it is determined that the degree of change in spectrum shape is large, the cycle control unit makes the time period for cutting out a speech waveform from natural speech smaller than the time cycle in normal time.
  • a waveform cutout unit that cuts out a speech waveform from the natural speech in a time period that does not depend on the pitch frequency of the natural speech, and a feature parameter of the speech waveform is extracted from the speech waveform cut out by the waveform cutout unit
  • a feature parameter extraction unit a time domain waveform generation unit that generates a time domain waveform based on the feature parameter; and a segment information that represents a segment and that stores the segment information including the time domain waveform.
  • a speech synthesizer characterized by comprising:
  • the present invention is preferably applied to a unit information generating device that generates unit information used when synthesizing speech and a speech synthesizer that synthesizes speech using the unit information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　少ない計算量で波形を生成でき、素片作成元である自然音声のピッチ周波数が低い区間の素片を用いた場合にも、合成音声の音質低下を防止でき、また合成音声の音質を損なうことなくピッチ周波数が高い区間の素片情報のデータ量を削減できる素片情報生成装置を提供する。波形切り出し手段８１は、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出す。特徴パラメータ抽出手段８２は、波形切り出し手段８１によって切り出された音声波形から、その音声波形の特徴パラメータを抽出する。時間領域波形生成手段８３は、特徴パラメータに基づいて時間領域波形を生成する。

Description

素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム
　本発明は、音声を合成する際に用いられる素片情報を生成する素片情報生成装置、素片情報生成方法、素片情報生成プログラム、および、素片情報を用いて音声を合成する音声合成装置、音声合成方法、音声合成プログラムに関する。
　文字列を表す文字列情報を解析し、その文字列が示す音声情報から規則合成により合成音声を生成する音声合成装置が知られている。規則合成により合成音声を生成する音声合成装置では、先ず入力された文字列情報の解析結果を基に合成音声の韻律情報（音の高さ（ピッチ周波数）、音の長さ（音韻継続時間長）、および、音の大きさ（パワー）等に関する情報）を生成する。次に、文字列解析結果と生成された韻律情報とを基に、最適な素片(音節・半音節程度の長さを有する波形生成パラメータ系列)を素片辞書の中から複数選択し、一つの最適素片系列を作成する。そして、最適素片系列から波形生成パラメータ系列を形成し、その波形生成パラメータ系列から音声波形を生成することで合成音声を得る。素片辞書に蓄積されている素片は、多量の自然音声から様々な手法を用いて抽出・生成される。
　このような音声合成装置では、選択された素片から合成音声波形を生成する際に、高い音質を確保する目的で、生成された韻律情報に近い韻律を有する音声波形を素片から作り出す。合成音声波形と、その合成音声波形の生成に用いる素片の両者を生成する方法として、例えば、非特許文献１に記載された方法が用いられる。非特許文献１に記載の方法により生成される波形生成パラメータは、時間領域のパラメータ（より具体的にはピッチ周波数から算出した時間幅）を有する窓関数を用いて音声波形から切り出された波形である。従って、波形生成において周波数変換や対数変換、フィルタリングなどの処理が不要となるため、少ない計算量で合成音声波形を生成できる。
　また、特許文献１には、音声認識装置が記載され、特許文献２には、音声素片生成装置が記載されている。
特開２００１－８３９７８号 特開２００３－２２３１８０号
Eric Moulines, Francis Charpentier, "Pitch-Synchronous Waveform Processing Techniques For Text-To-Speech Synthesis Using Diphones", Speech Communication Vol.9, pp.453-467, １９９０年
　しかし、非特許文献１に記載された波形生成方法および素片辞書作成方法では、素片を作成する際に分析フレーム周期を自由に設定できない問題がある。
　自然音声波形から波形生成パラメータを生成するときに、分析フレーム周期と呼ばれる時間間隔で波形を切り出して波形生成パラメータを生成する。すなわち、分析フレーム周期とは、自然音声波形から波形生成パラメータを生成する場合に波形を切り出して波形生成パラメータを生成する時間間隔である。非特許文献１に記載された技術では、ピッチ周波数に依存する分析フレーム周期を用いる。具体的には、非特許文献１に記載された技術では、自然音声のピッチ周波数（ピッチ周波数分析に基づくピッチ周波数推定値を含む。）を用いて、ピッチ周波数に応じた分析フレーム周期を用いていた。そして、非特許文献１に記載された技術では、分析フレーム周期を、ピッチ周波数から一意に定めていた。
　このため、音声スペクトルの形状が急激に変化する区間において、十分な時間解像度（単位時間当たりのパラメータ量）を有する波形生成パラメータ時系列を得ることができず、合成音声の音質低下につながることがあった。このことは、分析対象音声のピッチ周波数が低い区間で顕著であった。また、音声スペクトルの形状変化が小さい区間においては、過剰な時間解像度を有する波形生成パラメータ時系列が生成されることになり、素片辞書のデータサイズを不要に大きくすることもあった。このことは、分析対象音声のピッチ周波数が高い区間で顕著であった。
　そこで、本発明は、時間領域パラメータの特徴である少ない計算量で波形を生成できる長所を備えつつ、素片作成元である自然音声のピッチ周波数が低い区間の素片を用いた場合にも、合成音声の音質低下を防止でき、また合成音声の音質を損なうことなくピッチ周波数が高い区間の素片情報のデータ量を削減できる素片情報生成装置、素片情報生成方法、素片情報生成プログラム、および、音声合成装置、音声合成方法、音声合成プログラムを提供することを目的とする。
　本発明による素片情報生成装置は、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出す波形切り出し手段と、波形切り出し手段によって切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出手段と、特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成手段とを備えることを特徴とする。
　また、本発明による音声合成装置は、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出す波形切り出し手段と、波形切り出し手段によって切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出手段と、特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成手段と、素片を表す素片情報であって、時間領域波形を含む素片情報を記憶する素片情報記憶手段と、入力された文字列に応じた素片情報を選択する素片情報選択手段と、素片情報選択手段によって選択された素片情報を用いて音声合成波形を生成する波形生成手段とを備えることを特徴とする。
　また、本発明による素片情報生成方法は、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出し、音声波形から、当該音声波形の特徴パラメータを抽出し、特徴パラメータに基づいて時間領域波形を生成することを特徴とする。
　また、本発明による音声合成方法は、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出し、音声波形から、当該音声波形の特徴パラメータを抽出し、特徴パラメータに基づいて時間領域波形を生成し、素片を表す素片情報であって、時間領域波形を含む素片情報を記憶し、入力された文字列に応じた素片情報を選択し、選択した素片情報を用いて音声合成波形を生成することを特徴とする。
　また、本発明による素片情報生成プログラムは、コンピュータに、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出す波形切り出し処理、波形切り出し処理で切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出処理、および、特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成処理を実行させることを特徴とする。
　また、本発明による音声合成プログラムは、コンピュータに、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出す波形切り出し処理、波形切り出し処理で切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出処理、特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成処理、素片を表す素片情報であって、時間領域波形を含む素片情報を記憶する記憶処理、入力された文字列に応じた素片情報を選択する素片情報選択処理、および、素片情報選択処理で選択された素片情報を用いて音声合成波形を生成する波形生成処理を実行させることを特徴とする。
　本発明によれば、少ない計算量で波形を生成でき、素片作成元である自然音声のピッチ周波数が低い区間の素片を用いた場合にも、合成音声の音質低下を防止でき、また合成音声の音質を損なうことなくピッチ周波数が高い区間の素片情報のデータ量を削減できる。
本発明の第１の実施形態の素片情報生成装置の例を示すブロック図である。 本発明の第１の実施形態の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の素片情報生成装置の例を示すブロック図である。 本発明の第３の実施形態の素片情報生成装置の例を示すブロック図である。 本発明の第４の実施形態の音声合成装置の例を示すブロック図である。 目標素片環境および候補素片によって示される各情報の例を示す説明図である。 候補素片の属性情報によって示される各情報を示す説明図である。 選択素片の時間長を調整する例を示す模式図である。 フレーム数が１６の素片から無声音波形を生成する様子を示した説明図である。 フレーム数が１６の素片から有声音波形を生成する様子を示した説明図である。 本発明の第４の実施形態の処理経過の例を示すフローチャートである。 本発明の素片情報生成装置の最小構成の例を示すブロック図である。 本発明の音声合成装置の最小構成の例を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明の第１の実施形態の素片情報生成装置の例を示すブロック図である。本実施形態の素片情報生成装置は、素片情報記憶部１０と、属性情報記憶部１１と、自然音声記憶部１２と、分析フレーム周期記憶部２０と、波形切り出し部１４と、特徴パラメータ抽出部１５と、時間領域波形変換部２２とを備える。
　自然音声記憶部１２は、素片情報を生成する基となる基礎音声(自然音声波形)を表す情報を記憶する。
　素片情報は、音声素片を表す音声素片情報と、各音声素片の属性を表す属性情報とを含む。ここで、音声素片は、音声を合成する音声合成処理の基となる基礎音声(人間が発した音声(自然音声))の一部であり、基礎音声を音声合成単位毎に分割することにより生成される。
　本例では、音声素片情報は、音声素片から抽出され、かつ当該音声素片の特徴を表す特徴パラメータの時系列データを含む。また、音声合成単位は、音節である。なお、音声合成単位は、以下の参考文献１に示されているとおり、音素、ＣＶ（Ｖは母音を表し、Ｃは子音を表す。）等の半音節、ＣＶＣ、ＶＣＶ等であってもよい。
［参考文献１］
　阿部匡伸、「音声合成のための合成単位の基礎」、社団法人電子情報通信学会、電子情報通信学会技術研究報告、Ｖｏｌ．１００、Ｎｏ．３９２、ｐｐ．３５－４２、２０００年
　また、属性情報は、各音声素片の基礎音声における環境(音素環境)、および、韻律情報(基本周波数(ピッチ周波数)、振幅、および、継続時間長等)を含む。
　素片情報の例をより具体的に示す。素片情報は、音声素片情報と、属性情報と、波形生成パラメータ生成条件とを含む。なお、ここでは、音声合成単位が「音節」である場合を例にする。
　音声素片情報は、合成音声波形を生成するためのパラメータ（波形生成パラメータ）と称することもできる。音声素片情報の例として、例えば、後述のピッチ波形（時間領域波形変換部２２が生成した波形）の時系列、ケプストラムの時系列、あるいは、波形そのもの等（時間長は、単位長（音節長）である。）が挙げられる。
　属性情報として、例えば、韻律情報や言語情報が用いられる。韻律情報の例として、ピッチ周波数（先頭・最終・平均ピッチ周波数等）、継続時間長、パワー等が挙げられる。また、言語情報として、読み（例えば、日本語の「おはよう（o ha yo u ）」における「は（ha）」等）、音節列、音素列、アクセント位置からの位置の情報、アクセント句区切りからの位置の情報、形態素の品詞等が挙げられる。音節列は、先行音節（例えば、上記の「おはよう（o ha yo u ）」における「お（o ）」）、先行音節からさらに前に続く音節や、後続音節（例えば、上記の「おはよう（o ha yo u ）」における「よ（yo）」）、後続音節からさらに後に続く音節の音節列である。音素列は、先行音素（例えば、上記の「おはよう（o ha yo u ）」における「o 」）、先行音素からさらに前に続く音素や、後続音素（例えば、上記の「おはよう（o ha yo u ）」における「y 」）、後続音素からさらに後に続く音素の音素列である。アクセント位置からの位置の情報は、例えば、「アクセント位置から何番目の音節であるか」を表す情報である。アクセント句区切りからの位置の情報は、例えば、「アクセント句区切りから何番目の音節であるか」を表す情報である。
　波形生成パラメータ生成条件として、パラメータ種別、パラメータの次元数（例えば、１０次元、２４次元等）、分析フレーム長、分析フレーム周期等が挙げられる。パラメータ種別の例として、例えば、ケプストラム、ＬＰＣ（Linear Predictive Cefficient）、ＭＦＣＣ等が挙げられる。
　属性情報記憶部１１は、自然音声記憶部１２に記憶されている基礎音声に対応する文字列(収録文)を表す情報を含む言語情報と、基礎音声の韻律情報とを属性情報として記憶する。言語情報は、例えば、漢字かな混じり文を表す情報である。さらに、言語情報は、読み・音節列・音素列・アクセント位置・アクセント句区切り・形態素の品詞等の情報を含んでいてもよい。また、韻律情報は、ピッチ周波数・振幅、短時間パワーの時系列、および、自然音声に含まれる各音節・音素・ポーズの継続時間長等を含む。
　分析フレーム周期記憶部２０は、波形切り出し部１４が自然音声波形から波形を切り出す時間周期（すなわち、分析フレーム周期）を記憶する。分析フレーム周期記憶部２０は、自然音声のピッチ周波数に依存せずに定められた分析フレーム周期を記憶する。なお、自然音声のピッチ周波数に依存せずに定められた分析フレーム周期は、自然音声のピッチ周波数とは独立に定められた分析フレーム周期と言うこともできる。
　基本的には、分析フレーム周期の値を小さくすれば、合成音声の音質は向上し、素片情報のデータ量は多くなる。但し、分析フレーム周期を小さくすれば必ず音質が改善するとは限らない。分析フレーム周期低下に伴う音質改善は、人間の声の高さ、より具体的には自然音声のピッチ周波数の上限値に制限される。例えば、大人の女性の声のピッチ周波数は１０００Ｈｚを超えることがほぼ無いため、女性アナウンサの声の場合、分析フレーム周期を１ミリ秒(＝１／１０００秒)以下に設定しても、合成音声の音質は殆ど向上しない。男性アナウンサの声の場合であれば、分析フレーム周期を２ミリ秒以下にしても合成音声の音質向上を見込むことは困難である。なお、歌声や子供の声を合成する場合は、上記の分析フレーム周期よりも更に小さな値を採用すべきである。また、分析フレーム周期を大きくし過ぎると、合成音声の品質に深刻な影響を与える。例えば、話し声に含まれる音素の時間長は、長いものでも５０００ミリ秒を超えることは無い。従って、素片情報のデータ量を削減する目的で５０００ミリ秒を超える分析フレーム周期を設定すべきではない。
　波形切り出し部１４は、分析フレーム周期記憶部２０に記憶された分析フレーム周期で、自然音声記憶部１２に記憶されている自然音声から音声波形を切り出し、切り出した音声波形の時系列を特徴パラメータ抽出部１５へ伝達する。切り出す波形の時間長は分析フレーム長と呼ばれ、予め設定された値が用いられる。分析フレーム長として、例えば、１０ミリ秒から５０ミリ秒の間の値を採用すればよい。そして、分析フレーム長として、常に同じ値(例えば２０ミリ秒)を用いてもよい。切り出し対象の自然音声波形の長さは様々であるが、短くても数秒程度はあるので、分析フレーム長の数百倍以上となることが殆どである。例えば、分析フレーム長をＮとし、自然音声波形をｓ（ｔ）とし（但し、ｔ＝０，１，・・・，Ｎ－１）、分析フレーム周期をＴとする。また、自然音声波形長をＬとする。長い自然音声波形から短い波形を切り出すので、Ｌ＞＞Ｎという関係が成立する。このとき、第ｎフレーム目の切り出し波形をｘｎ（ｔ）とすると、ｘｎ（ｔ）は、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　但し、ｎ＝０，１，・・・，（Ｌ／Ｎ）－１である。また、Ｌ／Ｎが整数でない場合は、Ｌ／Ｎの小数点以下を切り捨て、（Ｌ／Ｎ）－１を整数とする。
　特徴パラメータ抽出部１５は、波形切り出し部１４から供給された音声波形から、その音声波形の特徴パラメータを抽出し、時間領域波形変換部２２へ伝達する。波形切り出し部１４から特徴パラメータ抽出部１５へは、予め設定された分析フレーム長を有する切り出し波形が、分析フレーム周期の時間間隔で複数供給される。特徴パラメータ抽出部１５は、供給された複数の切り出し波形から、逐一、特徴パラメータを抽出する。特徴パラメータの例として、例えば、パワースペクトル、線形予測係数、ケプストラム、メルケプストラム、ＬＳＰ、ＳＴＲＡＩＧＨＴスペクトル等が挙げられる。切り出された音声波形から、これらの特徴パラメータを抽出する方法については、以下の参考文献２，３，４に記載されている。
［参考文献２］
　古井貞熙著、「音声情報処理」、森北出版株式会社、pp.16-33、１９９８年
［参考文献３］
　斎藤収三、中田和男著、「音声情報処理の基礎」、オーム社、pp.14-31、pp.73-77、１９８１年
［参考文献４］
　H.Kawahara, "Speech representation and transformation using adaptive interpolation of weighted spectrum: vocoder revisited", IEEE ICASSP-97, vol.2, pp.1303-1306, １９９７年
　ここでは、波形切り出し部１４で切り出された音声波形から特徴パラメータとしてケプストラムを抽出する場合を例にして説明する。
　第ｎフレームの切り出し波形をｘｎ（ｔ）とする。但し、ｔ＝０，１，・・・，Ｎ－１である。このとき、ケプストラムをｃｎ（ｋ）とすると、ｃｎ（ｋ）は、以下の式（２）で表され、特徴パラメータ抽出部１５は、式（２）によりケプストラムｃｎ（ｋ）を求めればよい。
Figure JPOXMLDOC01-appb-M000002
　ただし、ｋ＝０，１，・・・，Ｋ－１であり、Ｋは、特徴パラメータの長さである。すなわち、ケプストラムは、切り出し波形に対してフーリエ変換を行い、その絶対値（振幅スペクトルとも呼ばれる。）の対数を計算し、逆フーリエ変換を行うことによって得られる。特徴パラメータの長さＫは、Ｎよりも小さい値としてもよい。
　時間領域波形変換部２２は、特徴パラメータ抽出部１５が抽出した特徴パラメータの時系列をフレーム単位で時間領域波形に逐一変換する。変換された時間領域波形は、合成音声の波形生成パラメータとなる。本明細書では、自然音声波形や合成音声波形と区別する目的で、時間領域波形変換部２２が生成した波形をピッチ波形と呼ぶ。特徴パラメータ抽出部１５が抽出した特徴パラメータの時系列を時間領域波形に変換する方法は、特徴パラメータの性質に応じて異なる。例えば、サブバンドパワースペクトルの場合には、逆フーリエ変換を利用する。特徴パラメータ抽出部１５の説明で例に挙げた各種特徴パラメータ（パワースペクトル、線形予測係数、ケプストラム、メルケプストラム、ＬＳＰ、ＳＴＲＡＩＧＨＴスペクトル等）から時間領域波形への変換方法は、前述の参考文献２，３，４に記載されている。ここでは、ケプストラムから時間領域波形を求める方法を例にして説明する。
　第ｎフレームのケプストラムをｃｎ（ｋ）とする。但し、ｋ＝０，１，・・・，Ｋ－１である。また、時間領域波形（すなわち、ピッチ波形）をｙｎ（ｔ）とする。但し、ｔ＝０，１，・・・，Ｎ－１である。ｙｎ（ｔ）は、以下の式（３）で表され、時間領域波形変換部２２は、式（３）によりｙｎ（ｔ）を求めればよい。
Figure JPOXMLDOC01-appb-M000003
　すなわち、ピッチ波形は、ケプストラムをフーリエ変換し、更に逆フーリエ変換を行うことによって得られる。
　素片情報記憶部１０は、属性情報記憶部１１から供給された属性情報と、時間領域波形変換部２２から供給されたピッチ波形と、分析フレーム周期記憶部２０に記憶された分析フレーム周期とを含む素片情報を記憶する。
　素片情報記憶部１０に記憶された素片情報は、音声合成装置（図１において図示せず。）における音声合成処理に利用される。すなわち、素片情報記憶部１０に素片情報が記憶された後、音声合成装置は、音声合成処理の対象となるテキストを受け付けると、素片情報記憶部１０に記憶されている素片情報に基づいて、受け付けたテキストを表す音声を合成するための音声合成処理を行う。
　波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２は、例えば、記憶装置を備え、素片情報生成プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、例えば、コンピュータのプログラム記憶装置（図示略）が素片情報生成プログラムを記憶し、ＣＰＵがそのプログラムを読み込んで、そのプログラムに従って、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２として動作すればよい。また、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２が別々のハードウェアで実現されていてもよい。
　図２は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。第１の実施形態では、まず、波形切り出し部１４が、自然音声のピッチ周波数に依存せずに定められた分析フレーム周期で、自然音声記憶部１２に記憶されている自然音声から音声波形を切り出す（ステップＳ１）。この分析フレーム周期は、分析フレーム周期記憶部２０に予め記憶され、波形切り出し部１４は分析フレーム周期記憶部２０に記憶された分析フレーム周期で音声波形を切り出せばよい。次に、特徴パラメータ抽出部１５が、音声波形から特徴パラメータを抽出する（ステップＳ２）。そして、時間領域波形変換部２２は、特徴パラメータの時系列をフレーム単位でピッチ波形に変換する（ステップＳ３）。そして、素片情報記憶部１０が、属性情報記憶部１１から供給される属性情報と、時間領域波形変換部２２から供給されるピッチ波形と、分析フレーム周期記憶部２０に記憶される分析フレーム周期とを含む素片情報を記憶する（ステップＳ４）。素片情報記憶部１０に記憶された素片情報は、音声合成装置における音声合成処理に用いられる。
　本実施の形態によれば、素片情報を生成する際に一定の分析フレーム周期でピッチ波形を生成する。このため、合成音声を生成するときに、非特許文献１に記載された技術と同様に少ない計算量で波形を生成することができる。また、本実施の形態において用いる分析フレーム周期は、自然音声のピッチ周波数に依存せずに定められている。従って、素片作成元である自然音声のピッチ周波数が低い区間の素片を用いて音声合成を行う場合に、非特許文献１に記載された技術よりも合成音声の音質低下を防止できる。また、非特許文献１に記載された技術と比較して、合成音声の音質を損なうことなく、ピッチ周波数が高い区間の素片情報のデータ量を削減できる。
実施形態２．
　本発明の第２の実施形態の素片情報生成装置は、音声素片の属性情報に応じて分析フレーム周期を制御する。
　図３は、本発明の第２の実施形態の素片情報生成装置の例を示すブロック図である。第１の実施形態と同様の要素については、図１と同一の符号を付し、詳細な説明を省略する。本実施形態の素片情報生成装置は、素片情報記憶部１０と、属性情報記憶部１１と、自然音声記憶部１２と、分析フレーム周期制御部３０と、波形切り出し部１４と、特徴パラメータ抽出部１５と、時間領域波形変換部２２とを備える。すなわち、本実施形態の素片情報生成装置は、第１の実施形態における分析フレーム周期記憶部２０に代えて、分析フレーム周期制御部３０を備える。
　分析フレーム周期制御部３０は、属性情報記憶部１１から供給された属性情報に基づいて、適切な分析フレーム周期を算出し、波形切り出し部１２に伝達する。分析フレーム周期制御部３０は、分析フレーム周期の計算に、属性情報に含まれる言語情報や韻律情報を利用する。言語情報の中の音素や音節の種別を利用する場合は、該当する種別の音声スペクトルの形状変化速度に応じて、フレーム周期を切り替える方法が有効である。例えば、分析フレーム周期制御部３０は、分析対象区間が長母音の音節であれば、スペクトル形状の変化が小さい区間なので、分析フレーム周期を長くする。これにより、合成音声の音質を損なわずに該当区間のフレーム数を削減できる。また、分析対象区間が有声子音区間であれば、スペクトル形状の変化が大きい区間なので、分析フレーム周期を短くする。これにより、該当区間の素片を利用したときの合成音声の音質が向上する。
　すなわち、分析フレーム周期制御部３０は、素片の属性情報に基づいて、スペクトル形状変化度が大きいと推定される区間では分析フレーム周期を短くし、スペクトル形状変化度が小さいと推定される区間では分析フレーム周期を長くする。スペクトル形状変化度は、スペクトル形状の変化の度合である。
　波形切り出し部１４は、分析フレーム周期制御部３０に制御された分析フレーム周期で、自然音声から音声波形を切り出す。他の点に関しては、第１の実施形態と同様である。
　分析フレーム周期制御部３０、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２は、例えば、記憶装置を備え、素片情報生成プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、素片情報生成プログラムに従って、分析フレーム周期制御部３０、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２として動作すればよい。また、分析フレーム周期制御部３０、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２が別々のハードウェアで実現されていてもよい。
　本実施形態では、分析フレーム周期制御部３０が、スペクトル形状変化度が大きいと推定される区間では分析フレーム周期を短くし、スペクトル形状変化度が小さいと推定される区間では分析フレーム周期を長くする。この結果、素片作成元である自然音声のピッチ周波数が低い区間の素片を用いて音声合成する場合に、合成音声の音質低下を防止でき、合成音声の音質を損なうことなく、ピッチ周波数が高い区間の素片情報のデータ量を削減できるという効果を、第１の実施形態より大きくすることができる。
　第２の実施形態では、分析フレーム周期制御部３０が属性情報に基づいて分析フレーム周期を制御する。このとき、分析フレーム周期制御部３０は、自然音声のピッチ周波数は用いていない。従って、第２の実施形態における分析フレーム周期も、第１の実施形態と同様に、ピッチ周波数に依存していない。
実施形態３．
　本発明の第３の実施形態の素片情報生成装置は、自然音声を分析してスペクトル形状変化度を計算し、そのスペクトル形状変化度に応じて分析フレーム周期を制御する。
　図４は、本発明の第３の実施形態の素片情報生成装置の例を示すブロック図である。第１の実施形態や第２の実施形態と同様の要素については、図１や図３と同一の符号を付し、詳細な説明を省略する。本実施形態の素片情報生成装置は、素片情報記憶部１０と、属性情報記憶部１１と、自然音声記憶部１２と、スペクトル形状変化度推定部４１と、分析フレーム周期制御部４０と、波形切り出し部１４と、特徴パラメータ抽出部１５と、時間領域波形変換部２２とを備える。すなわち、本実施形態の素片情報生成装置は、第１の実施形態における分析フレーム周期記憶部２０に代えて、スペクトル形状変化度推定部４１および分析フレーム周期制御部４０を備える。
　スペクトル形状変化度推定部４１は、自然音声記憶部１２から供給された自然音声のスペクトル形状変化度を推定し、分析フレーム周期制御部４０に伝達する。
　前述の第２の実施形態では、素片の属性情報に基づいて、スペクトル形状変化度が大きいと推定される区間や、スペクトル形状変化度が小さいと推定される区間を判定して、分析フレーム周期を制御する。これに対し、第３の実施形態では、スペクトル形状変化度推定部４１が、自然音声を直接分析してスペクトル形状変化度を推定する。
　スペクトル形状変化度推定部４１は、例えば、スペクトル形状を表す各種パラメータを求め、そのパラメータの単位時間あたりの変化量をスペクトル形状変化度とすればよい。第ｎフレーム目におけるスペクトル形状を表すＫ次元パラメータをｐｎとし、ｐｎを以下の式（４）で表すとする。
Figure JPOXMLDOC01-appb-M000004
　このとき、第ｎフレーム目におけるスペクトル形状変化度をΔｐｎとすると、Δｐｎは、例えば、以下の式（５）で計算することができる。
Figure JPOXMLDOC01-appb-M000005
　式（５）は、ベクトルで表されるｐｎの次数ごと（換言すれば、要素ごと）に、第ｎフレームと第ｎ＋１フレームとの差分を計算し、その二乗和をスペクトル形状変化度Δｐｎとすることを意味する。
　また、以下の式（６）で計算したΔｐｎを、スペクトル形状変化度としてもよい。
Figure JPOXMLDOC01-appb-M000006
　式（６）は、ベクトルで表されるｐｎの次数ごと（換言すれば、要素ごと）に、第ｎフレームと第ｎ＋１フレームとの差分の絶対値を計算し、その和をスペクトル形状変化度Δｐｎとすることを意味する。
　スペクトル形状を表すパラメータとして、特徴パラメータ抽出部１５が抽出する特徴パラメータと同様のパラメータを利用できる。例えば、スペクトル形状を表すパラメータとして、ケプストラムを利用できる。この場合、第１の実施形態で説明した特徴パラメータ抽出部１５がケプストラムを抽出する方法と同様の方法で、スペクトル形状変化度推定部４１は、自然音声波形からケプストラムを抽出すればよい。
　分析フレーム周期制御部４０は、スペクトル形状変化度推定部４１から供給されたスペクトル形状変化度に基づいて、適切な分析フレーム周期を求め、波形切り出し部１４に伝達する。分析フレーム周期制御部４０は、スペクトル形状変化度が小さい区間では、分析フレーム周期を長くする。より具体的には、分析フレーム周期制御部４０は、スペクトル形状変化度が事前に定めた第１の閾値を下回った場合には、分析フレーム周期を通常時よりも大きい値に切り替える。一方、分析フレーム周期制御部４０は、スペクトル形状変化度が大きい区間では、分析フレーム周期を短くする。より具体的には、分析フレーム周期制御部４０は、スペクトル形状変化度が事前に定めた第２の閾値を上回った場合には、分析フレーム周期を通常時よりも小さい値に切り替える。ここで、第２の閾値は、第１の閾値よりも大きな値として定めておく。
　スペクトル形状変化度推定部４１、分析フレーム周期制御部４０、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２は、例えば、記憶装置を備え、素片情報生成プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、素片情報生成プログラムに従って、スペクトル形状変化度推定部４１、分析フレーム周期制御部４０、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２として動作すればよい。また、スペクトル形状変化度推定部４１、分析フレーム周期制御部４０、波形切り出し部１４、特徴パラメータ抽出部１５および時間領域波形変換部２２が別々のハードウェアで実現されていてもよい。
　本実施形態によれば、スペクトル形状変化度推定部４１が、分析対象の自然音声波形を分析してスペクトル形状変化度を求める。そして、分析フレーム周期制御部４０が、スペクトル形状変化度が大きい区間のフレーム周期を短くし、推定変化度が小さい区間のフレーム周期を長くする。従って、素片作成元である自然音声のピッチ周波数が低い区間の素片を用いて音声合成する場合に、合成音声の音質低下を防止でき、合成音声の音質を損なうことなく、ピッチ周波数が高い区間の素片情報のデータ量を削減できるという効果を、第１の実施形態より大きくすることができる。
　第３の実施形態では、分析フレーム周期制御部４０が、スペクトル形状変化度に応じて分析フレーム周期を制御する。このとき、分析フレーム周期制御部４０は、自然音声のピッチ周波数は用いていない。従って、第３の実施形態における分析フレーム周期も、第１の実施形態と同様に、ピッチ周波数に依存していない。
実施形態４．
　図５は、本発明の第４の実施形態の音声合成装置の例を示すブロック図である。本発明の第４の実施形態の音声合成装置は、第１の実施形態から第３の実施形態のうちのいずれかの素片情報生成装置の構成要素に加え、言語処理部１と、韻律生成部２と、素片選択部３と、波形生成部４とを備える。なお、図５では、素片情報生成装置の構成要素のうち素片情報記憶部１０のみを図示し、素片情報生成装置の他の構成要素については図示を省略している。
　なお、以下の説明において、素片情報記憶部１０に記憶された素片情報を、単に、素片と記す場合がある。
　言語処理部１は、入力されたテキスト文の文字列を分析する。具体的には、言語処理部１は、形態素解析、構文解析、または読み付け等の分析を行う。なお、読み付けとは、漢字に読み仮名を付ける処理である。そして、言語処理部１は分析結果に基づいて、音素記号等の「読み」を表す記号列を表す情報と、形態素の品詞、活用、およびアクセント型等を表す情報とを言語解析処理結果として韻律生成部２と素片選択部３とに出力する。
　韻律生成部２は、言語処理部１によって出力された言語解析処理結果に基づいて、合成音声の韻律を生成し、生成した韻律を示す韻律情報を目標韻律情報として素片選択部３および波形生成部４に出力する。韻律生成部２は、例えば、以下の参考文献５に記載された方法で韻律を生成すればよい。
［参考文献５］
　石川泰、「音声合成のための韻律制御の基礎」、社団法人電子情報通信学会、電子情報通信学会技術研究報告、Ｖｏｌ．１００、Ｎｏ．３９２、ｐｐ．２７－３４、２０００年
　素片選択部３は、言語解析処理結果と目標韻律情報とに基づいて、素片情報記憶部１０に記憶されている素片のうち、所定の要件を満たす素片を選択し、選択した素片とその素片の属性情報とを波形生成部４に出力する。素片選択部３が素片情報記憶部１０に記憶されている素片のうち、所定の要件を満たす素片を選択する動作について説明する。
　素片選択部３は、入力された言語解析処理結果と目標韻律情報とに基づいて、合成音声の特徴を示す情報（以下、これを「目標素片環境」と呼ぶ。）を音声合成単位毎に生成する。
　目標素片環境は、その目標素片環境の生成対象の合成音声を構成する音素（以下、該当音素と記す。）、該当音素の前の音素である先行音素、該当音素の後の音素である後続音素、ストレスの有無、アクセント核からの距離、音声合成単位毎のピッチ周波数、パワー、音声合成単位の継続時間長、ケプストラム、ＭＦＣＣ（Mel Frequency Cepstral Coefficients ）、およびこれらのΔ量等を含む情報である。なお、Δ量とは、単位時間あたりの変化量を意味する。
　次に、素片選択部３は、生成した目標素片環境に含まれる情報に基づいて、合成音声単位毎に、連続する音素に対応する素片を素片情報記憶部１０からそれぞれ複数取得する。つまり、素片選択部３は、目標素片環境に含まれる情報に基づいて、該当音素、先行音素、および後続音素のそれぞれに対応する素片をそれぞれ複数取得する。取得された素片は、合成音声を生成するために用いられる素片の候補であり、以下、候補素片と記す。
　そして、素片選択部３は、取得した複数の隣接する候補素片の組み合わせ（例えば、該当音素に対応する候補素片と先行音素に対応する候補素片との組み合わせ）毎に、音声を合成するために用いる素片としての適切度を示す指標であるコストを算出する。コストは、目標素片環境と候補素片の属性情報との差異、および隣接する候補素片の属性情報の差異の算出結果である。
　コストは、目標素片環境によって示される合成音声の特徴と候補素片との類似度が高いほど、つまり音声を合成するための適切度が高くなるほど小さくなる。そして、コストが小さい素片を用いるほど、合成された音声は、人間が発した音声と類似している程度を示す自然度が高くなる。従って、素片選択部３は、算出したコストが最も小さい素片を選択する。
　素片選択部３によって計算されるコストには、具体的には、単位コストと接続コストとがある。単位コストは、候補素片が目標素片環境によって示される環境で用いられた場合に生じると推定される音質劣化度を示す。単位コストは、候補素片の属性情報と目標素片環境との類似度に基づいて算出される。また、接続コストは、接続される音声素片間の素片環境が不連続であることによって生じると推定される音質劣化度を示す。接続コストは、隣接する候補素片同士の素片環境の親和度に基づいて算出される。単位コストおよび接続コストの算出方法は各種提案されている。
　一般に、単位コストの算出には、目標素片環境によって含まれる情報が用いられる。また、接続コストの算出には、隣接する素片の接続境界におけるピッチ周波数、ケプストラム、ＭＦＣＣ、短時間自己相関、パワー、およびこれらのΔ量等が用いられる。具体的には、単位コストおよび接続コストは、素片に関する各種情報（ピッチ周波数、ケプストラム、パワー等）を複数用いて算出される。
　単位コストの算出例について説明する。図６は、目標素片環境によって示される各情報と、候補素片Ａ１および候補素片Ａ２の属性情報によって示される各情報の例を示す。
　本例では、目標素片環境によって示されるピッチ周波数はｐｉｔｃｈ０［Ｈｚ］であり、継続時間長はｄｕｒ０［ｓｅｃ］であり、パワーはｐｏｗ０［ｄＢ］であり、アクセント核からの距離はｐｏｓ０であるとする。また、候補素片Ａ１の属性情報によって示されるピッチ周波数はｐｉｔｃｈ１［Ｈｚ］であり、継続時間長はｄｕｒ１［ｓｅｃ］であり、パワーはｐｏｗ１［ｄＢ］であり、アクセント核からの距離はｐｏｓ１であるとする。候補素片Ａ２の属性情報によって示されるピッチ周波数はｐｉｔｃｈ２［Ｈｚ］であり、継続時間長はｄｕｒ２［ｓｅｃ］であり、パワーはｐｏｗ２［ｄＢ］であり、アクセント核からの距離はｐｏｓ２であるとする。
　なお、アクセント核からの距離とは、音声合成単位において、アクセント核となる音素からの距離である。例えば、５個の音素からなる音声合成単位において、３番目の音素がアクセント核である場合に、１番目の音素に対応する素片のアクセント核からの距離は「－２」であり、２番目の音素に対応する素片のアクセント核からの距離は「－１」であり、３番目の音素に対応する素片のアクセント核からの距離は「０」であり、４番目の音素に対応する素片のアクセント核からの距離は「＋１」であり、５番目の音素に対応する素片のアクセント核からの距離は「＋２」である。
　そして、候補素片Ａ１の単位コストをｕｎｉｔ＿ｓｃｏｒｅ（Ａ１）とすると、ｕｎｉｔ＿ｓｃｏｒｅ（Ａ１）は以下の式（７）によって計算すればよい。
Figure JPOXMLDOC01-appb-M000007
　同様に、候補素片Ａ２の単位コストをｕｎｉｔ＿ｓｃｏｒｅ（Ａ２）とすると、ｕｎｉｔ＿ｓｃｏｒｅ（Ａ２）は以下の式（８）によって計算すればよい。
Figure JPOXMLDOC01-appb-M000008
　但し、式（７）および式（８）において、ｗ１～ｗ４は、予め決められた重み係数である。
　次に、接続コストの算出例について説明する。図７は、候補素片Ａ１、候補素片Ａ２、候補素片Ｂ１、および候補素片Ｂ２の属性情報によって示される各情報を示す説明図である。なお、候補素片Ｂ１および候補素片Ｂ２は、候補素片Ａ１および候補素片Ａ２を候補素片とする素片の後続素片の候補素片である。
　本例では、候補素片Ａ１の始端ピッチ周波数はｐｉｔｃｈ＿ｂｅｇ１［Ｈｚ］であり、終端ピッチ周波数はｐｉｔｃｈ＿ｅｎｄ１［Ｈｚ］であり、始端パワーはｐｏｗ＿ｂｅｇ１［ｄＢ］であり、終端パワーはｐｏｗ＿ｅｎｄ１［ｄＢ］であるとする。また、候補素片Ａ２の始端ピッチ周波数はｐｉｔｃｈ＿ｂｅｇ２［Ｈｚ］であり、終端ピッチ周波数はｐｉｔｃｈ＿ｅｎｄ２［Ｈｚ］であり、始端パワーはｐｏｗ＿ｂｅｇ２［ｄＢ］であり、終端パワーはｐｏｗ＿ｅｎｄ２［ｄＢ］であるとする。
　また、候補素片Ｂ１の始端ピッチ周波数はｐｉｔｃｈ＿ｂｅｇ３［Ｈｚ］であり、終端ピッチ周波数はｐｉｔｃｈ＿ｅｎｄ３［Ｈｚ］であり、始端パワーはｐｏｗ＿ｂｅｇ３［ｄＢ］であり、終端パワーはｐｏｗ＿ｅｎｄ３［ｄＢ］であるとする。候補素片Ｂ２の始端ピッチ周波数はｐｉｔｃｈ＿ｂｅｇ４［Ｈｚ］であり、終端ピッチ周波数はｐｉｔｃｈ＿ｅｎｄ４［Ｈｚ］であり、始端パワーはｐｏｗ＿ｂｅｇ４［ｄＢ］であり、終端パワーはｐｏｗ＿ｅｎｄ４［ｄＢ］であるとする。
　そして、候補素片Ａ１と候補素片Ｂ１との接続コストをｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ１，Ｂ１）とすると、ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ１，Ｂ１）は、以下の式（９）によって計算すればよい。
Figure JPOXMLDOC01-appb-M000009
　同様に、候補素片Ａ１と候補素片Ｂ２との接続コストをｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ１，Ｂ２）とすると、ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ１，Ｂ２）は、以下の式（１０）によって計算すればよい。
Figure JPOXMLDOC01-appb-M000010
　候補素片Ａ２と候補素片Ｂ１との接続コストをｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ２，Ｂ１）とすると、ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ２，Ｂ１）は、以下の式（１１）によって計算すればよい。
Figure JPOXMLDOC01-appb-M000011
　候補素片Ａ２と候補素片Ｂ２との接続コストをｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ２，Ｂ２）とすると、ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ２，Ｂ２）は、以下の式（１２）によって計算すればよい。
Figure JPOXMLDOC01-appb-M000012
　但し、式（９）から式（１２）において、ｃ１，ｃ２は、予め決められた重み係数である。
　素片選択部３は、算出した単位コストと接続コストとに基づいて、候補素片Ａ１と候補素片Ｂ１との組み合わせのコストを算出する。具体的には、素片選択部３は、候補素片Ａ１と候補素片Ｂ１との組み合わせのコストを、ｕｎｉｔ（Ａ１）＋ｕｎｉｔ（Ｂ１）＋ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ１，Ｂ１）の計算式により算出する。同様に、素片選択部３は、候補素片Ａ２と候補素片Ｂ１との組み合わせのコストを、ｕｎｉｔ（Ａ２）＋ｕｎｉｔ（Ｂ１）＋ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ２，Ｂ１）の計算式により算出する。また、素片選択部３は、候補素片Ａ１と候補素片Ｂ２との組み合わせのコストを、ｕｎｉｔ（Ａ１）＋ｕｎｉｔ（Ｂ２）＋ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ１，Ｂ２）の計算式により算出する。また、素片選択部３は、候補素片Ａ２と候補素片Ｂ２との組み合わせのコストを、ｕｎｉｔ（Ａ２）＋ｕｎｉｔ（Ｂ２）＋ｃｏｎｃａｔ＿ｓｃｏｒｅ（Ａ２，Ｂ２）の計算式により算出する。
　素片選択部３は、候補素片の中から音声の合成に最も適した素片として、算出したコストが最小となる組み合わせの素片を選択する。なお、素片選択部３によって選択された素片を「選択素片」と呼ぶ。
　波形生成部４は、韻律生成部２によって出力された目標韻律情報と、素片選択部３によって出力された素片およびその素片の属性情報とに基づいて、目標韻律情報に合致または類似する韻律を有する音声波形を生成する。そして、波形生成部４は、生成した音声波形を接続して合成音声を生成する。波形生成部４が素片単位で生成した音声波形を通常の音声波形と区別する目的で素片波形と記す。
　はじめに、波形生成部４は、選択素片の時間長が、韻律生成部で生成された継続時間長と合致または類似するようにフレーム数の調整を行う。図８は、選択素片の時間長を調整する例を示す模式図である。本例では、選択素片のフレーム数は１２であり、時間長を伸ばしたとき（換言すれば、フレーム数を増やしたとき）のフレーム数は１８である。また、時間長を縮めた場合（換言すれば、フレーム数を減らしたとき）のフレーム数は、６である。図８に示すフレーム番号は、フレーム数を伸ばしたり、縮めたりするときのフレームの対応関係を示している。波形生成部４は、フレーム数を増やす場合には適切な頻度でフレームの挿入を行い、フレーム数を減らす場合にはフレームの間引きを行う。時間長を伸ばすときに挿入されるフレームは、隣接するフレームが用いられることが多い。図８では、フレーム番号が偶数のフレームが連続するようにフレームを挿入する場合を例示している。また近接するフレームの平均を用いてもよい。また、図８に示す例では、時間長を縮める場合に、フレーム番号が偶数のフレームを間引いている。
　フレームを挿入したり、間引いたりする頻度は、図８に示すように、素片内部で均等に分かれていることが好ましい。そのようにすることによって、合成音声の音質が低下しにくくなる。
　次に、波形生成部４は、波形生成に用いられる波形をフレーム単位で選択し、素片波形を生成する。有声音と無声音でフレームの選択方法が異なる。
　波形生成部４は、無声音の場合、韻律生成部２で生成された継続時間長に最も近くなるように、フレーム長とフレーム周期からフレーム選択周期を計算する。そして、フレーム選択周期に従ってフレームを選択し、選択された各フレームの波形を連結して無声音波形を生成する。図９は、フレーム数が１６の素片から無声音波形を生成する様子を示した説明図である。図９に示す例では、フレーム長はフレーム周期の５倍であるため、波形生成部４は、５フレームに１回の頻度で無声音波形の生成に用いるフレームを選択する。
　波形生成部４は、有声音の場合、韻律生成部２で生成されたピッチ周波数時系列からピッチ同期時刻(ピッチマークとも呼ばれる。)を算出する。そして、波形生成部４は、ピッチ同期時刻に最も近いフレームを選択し、選択された各フレームの波形の中心をピッチ同期時刻に配置することで有声音波形を生成する。図１０は、フレーム数が１６の素片から有声音波形を生成する様子を示した説明図である。図１０に示す例では、ピッチ同期時刻に該当するフレームは、第１，４，７，１０，１３，１６のフレームとなっているので、波形生成部４は、これらのフレームを使って波形を生成する。ピッチ周波数時系列からピッチ同期位置を算出する方法については、例えば、以下の参考文献６に記載されている。波形生成部４は、例えば、参考文献６に記載の方法でピッチ同期位置を算出すればよい。
［参考文献６］
Huang, Acero, Hon, “Spoken Language Processing”, Prentice Hall, pp. 689-836, ２００１年
　最後に、波形生成部４は、素片単位で生成した有声音波形と無声音波形を先頭から順番に連結して合成音声波形を生成する。
　本実施形態において、言語処理部１、韻律生成部２、素片選択部３、波形生成部４、および素片情報生成装置の構成要素に該当する部分（例えば、波形切り出し部１４、特徴パラメータ１５、時間領域波形変換部２２等。）は、例えば、音声合成プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵがそのプログラムを読み込んで、これらの各要素として動作すればよい。また、これらの各要素が別々のハードウェアで実現されていてもよい。
　図１１は、本実施形態の処理経過の例を示すフローチャートである。なお、素片情報記憶部１０には、第１から第３までのいずれかの実施形態で示した動作により素片情報が記憶されているものとする。言語処理部１は、入力されたテキスト文の文字列を分析する（ステップＳ１１）。次に、韻律生成部２は、ステップＳ１の結果に基づいて、目標韻律情報を生成する（ステップＳ１２）。続いて、素片選択部３が、素片を選択する（ステップＳ１３）。波形生成部４は、ステップＳ１２で生成された目標韻律情報と、ステップＳ１３で選択された素片およびその素片の属性情報とに基づいて、目標韻律情報に合致または類似する韻律を有する音声波形を生成する（ステップＳ１４）。
　本実施形態においても、第１から第３の実施形態と同様の効果を得ることができる。
　次に、本発明の最小構成について説明する。図１２は、本発明の素片情報生成装置の最小構成の例を示すブロック図である。本発明の素片情報生成装置は、波形切り出し手段８１と、特徴パラメータ抽出手段８２と、時間領域波形生成手段８３とを備える。
　波形切り出し手段８１（例えば、波形切り出し部１４）は、自然音声のピッチ周波数に依存しない時間周期で、自然音声から音声波形を切り出す。
　特徴パラメータ抽出手段８２（例えば、特徴パラメータ抽出部１５）は、波形切り出し手段８１によって切り出された音声波形から、その音声波形の特徴パラメータを抽出する。
　時間領域波形生成手段８３（例えば、時間領域波形変換部２２）は、特徴パラメータに基づいて時間領域波形を生成する。
　このような構成により、少ない計算量で波形を生成することができる。また、自然音声のピッチ周波数が低い区間の素片を用いて音声合成を行う場合に、合成音声の音質低下を防止することができ、合成音声の音質を損なうことなく、ピッチ周波数が高い区間の素片情報のデータ量を削減できる。
　図１３は、本発明の音声合成装置の最小構成の例を示すブロック図である。本発明の音声合成装置は、波形切り出し手段８１と、特徴パラメータ抽出手段８２と、時間領域波形生成手段８３と、素片情報記憶手段８４と、素片情報選択手段８５と、波形生成手段８６とを備える。波形切り出し手段８１、特徴パラメータ抽出手段８２および時間領域波形生成手段８３に関しては、図１２に示すそれらの要素と同様であり、説明を省略する。
　素片情報記憶手段８４（例えば、素片情報記憶部１０）は、素片を表す素片情報であって、時間領域波形生成手段８３が生成した時間領域波形を含む素片情報を記憶する。
　素片情報選択手段８５（例えば、素片選択部３）は、入力された文字列に応じた素片情報を選択する。
　波形生成手段８６（例えば、波形生成部４）は、素片情報選択手段８５によって選択された素片情報を用いて音声合成波形を生成する。
　以上のような構成により、図１２に示す素片情報生成装置と同様の効果が得られる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出す波形切り出し部と、前記波形切り出し部によって切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出部と、前記特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成部とを備えることを特徴とする素片情報生成装置。
（付記２）自然音声の属性情報に基づいて、前記自然音声から音声波形を切り出す時間周期を決定する周期制御部を備える付記１に記載の素片情報生成装置。
（付記３）自然音声のスペクトル形状の変化の度合を示すスペクトル形状変化度を推定するスペクトル形状変化度推定部と、前記スペクトル形状変化度に基づいて、前記自然音声から音声波形を切り出す時間周期を決定する周期制御部とを備える付記１または付記２に記載の素片情報生成装置。
（付記４）周期制御部は、スペクトル形状変化度が小さいと判定される場合に、自然音声から音声波形を切り出す時間周期を通常時における時間周期よりも大きくする付記３に記載の素片情報生成装置。
（付記５）周期制御部は、スペクトル形状変化度が大きいと判定される場合に、自然音声から音声波形を切り出す時間周期を通常時における時間周期よりも小さくする付記３または付記４に記載の素片情報生成装置。
（付記６）自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出す波形切り出し部と、前記波形切り出し部によって切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出部と、前記特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成部と、素片を表す素片情報であって、前記時間領域波形を含む素片情報を記憶する素片情報記憶部と、入力された文字列に応じた素片情報を選択する素片情報選択部と、素片情報選択部によって選択された素片情報を用いて音声合成波形を生成する波形生成部とを備えることを特徴とする音声合成装置。
　この出願は、２０１１年５月２５日に出願された日本特許出願２０１１－１１７１５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　本発明は、音声を合成する際に用いられる素片情報を生成する素片情報生成装置、および、素片情報を用いて音声を合成する音声合成装置に好適に適用される。
　１　言語処理部
　２　韻律生成部
　３　素片選択部
　４　波形生成部
　１０　素片情報記憶部
　１１　属性情報記憶部
　１２　自然音声記憶部
　１４　波形切り出し部
　１５　特徴パラメータ抽出部
　２０　分析フレーム周期記憶部
　２２　時間領域波形変換部
　３０，４０　分析フレーム周期制御部
　４１　スペクトル形状変化度推定部

Claims (10)

  1. 　自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出す波形切り出し手段と、
    　前記波形切り出し手段によって切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出手段と、
    　前記特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成手段とを備える
    　ことを特徴とする素片情報生成装置。
  2. 　自然音声の属性情報に基づいて、前記自然音声から音声波形を切り出す時間周期を決定する周期制御手段を備える
    　請求項１に記載の素片情報生成装置。
  3. 　自然音声のスペクトル形状の変化の度合を示すスペクトル形状変化度を推定するスペクトル形状変化度推定手段と、
    　前記スペクトル形状変化度に基づいて、前記自然音声から音声波形を切り出す時間周期を決定する周期制御手段とを備える
    　請求項１または請求項２に記載の素片情報生成装置。
  4. 　周期制御手段は、
    　スペクトル形状変化度が小さいと判定される場合に、自然音声から音声波形を切り出す時間周期を通常時における時間周期よりも大きくする
    　請求項３に記載の素片情報生成装置。
  5. 　周期制御手段は、
    　スペクトル形状変化度が大きいと判定される場合に、自然音声から音声波形を切り出す時間周期を通常時における時間周期よりも小さくする
    　請求項３または請求項４に記載の素片情報生成装置。
  6. 　自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出す波形切り出し手段と、
    　前記波形切り出し手段によって切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出手段と、
    　前記特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成手段と、
    　素片を表す素片情報であって、前記時間領域波形を含む素片情報を記憶する素片情報記憶手段と、
    　入力された文字列に応じた素片情報を選択する素片情報選択手段と、
    　素片情報選択手段によって選択された素片情報を用いて音声合成波形を生成する波形生成手段とを備える
    　ことを特徴とする音声合成装置。
  7. 　自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出し、
    　前記音声波形から、当該音声波形の特徴パラメータを抽出し、
    　前記特徴パラメータに基づいて時間領域波形を生成する
    　ことを特徴とする素片情報生成方法。
  8. 　自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出し、
    　前記音声波形から、当該音声波形の特徴パラメータを抽出し、
    　前記特徴パラメータに基づいて時間領域波形を生成し、
    　素片を表す素片情報であって、前記時間領域波形を含む素片情報を記憶し、
    　入力された文字列に応じた素片情報を選択し、
    　選択した素片情報を用いて音声合成波形を生成する
    　ことを特徴とする音声合成方法。
  9. 　コンピュータに、
    　自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出す波形切り出し処理、
    　前記波形切り出し処理で切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出処理、および、
    　前記特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成処理
    　を実行させるための素片情報生成プログラム。
  10. 　コンピュータに、
    　自然音声のピッチ周波数に依存しない時間周期で、前記自然音声から音声波形を切り出す波形切り出し処理、
    　前記波形切り出し処理で切り出された音声波形から、当該音声波形の特徴パラメータを抽出する特徴パラメータ抽出処理、
    　前記特徴パラメータに基づいて時間領域波形を生成する時間領域波形生成処理、
    　素片を表す素片情報であって、前記時間領域波形を含む素片情報を記憶する記憶処理、
    　入力された文字列に応じた素片情報を選択する素片情報選択処理、および、
    　前記素片情報選択処理で選択された素片情報を用いて音声合成波形を生成する波形生成処理
    　を実行させるための音声合成プログラム。
PCT/JP2012/003060 2011-05-25 2012-05-10 素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム WO2012160767A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013516186A JP5983604B2 (ja) 2011-05-25 2012-05-10 素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム
US14/114,891 US9401138B2 (en) 2011-05-25 2012-05-10 Segment information generation device, speech synthesis device, speech synthesis method, and speech synthesis program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011117155 2011-05-25
JP2011-117155 2011-05-25

Publications (1)

Publication Number Publication Date
WO2012160767A1 true WO2012160767A1 (ja) 2012-11-29

Family

ID=47216861

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003060 WO2012160767A1 (ja) 2011-05-25 2012-05-10 素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム

Country Status (3)

Country Link
US (1) US9401138B2 (ja)
JP (1) JP5983604B2 (ja)
WO (1) WO2012160767A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016065900A (ja) * 2014-09-22 2016-04-28 カシオ計算機株式会社 音声合成装置、方法、およびプログラム
JP2016065899A (ja) * 2014-09-22 2016-04-28 カシオ計算機株式会社 音声合成装置、方法、およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247609B (zh) 2013-05-31 2019-04-12 雅马哈株式会社 利用言语合成对话语进行响应的方法及装置
CN113611325B (zh) * 2021-04-26 2023-07-04 珠海市杰理科技股份有限公司 基于清浊音实现的语音信号变速方法、装置和音频设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207488A (ja) * 1997-01-20 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 音声部品作成方法、音声部品データベース及び音声合成方法
JP2001034284A (ja) * 1999-07-23 2001-02-09 Toshiba Corp 音声合成方法及び装置、並びに文音声変換プログラムを記録した記録媒体
JP2011090218A (ja) * 2009-10-23 2011-05-06 Dainippon Printing Co Ltd 音素符号変換装置、音素符号データベース、および音声合成装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797930A (en) * 1983-11-03 1989-01-10 Texas Instruments Incorporated constructed syllable pitch patterns from phonological linguistic unit string data
FR2636163B1 (fr) * 1988-09-02 1991-07-05 Hamon Christian Procede et dispositif de synthese de la parole par addition-recouvrement de formes d'onde
US5860064A (en) * 1993-05-13 1999-01-12 Apple Computer, Inc. Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system
US5864812A (en) * 1994-12-06 1999-01-26 Matsushita Electric Industrial Co., Ltd. Speech synthesizing method and apparatus for combining natural speech segments and synthesized speech segments
JP2001083978A (ja) 1999-07-15 2001-03-30 Matsushita Electric Ind Co Ltd 音声認識装置
US7251601B2 (en) * 2001-03-26 2007-07-31 Kabushiki Kaisha Toshiba Speech synthesis method and speech synthesizer
JP3727885B2 (ja) 2002-01-31 2005-12-21 株式会社東芝 音声素片生成方法と装置及びプログラム、並びに音声合成方法と装置
US20050065784A1 (en) * 2003-07-31 2005-03-24 Mcaulay Robert J. Modification of acoustic signals using sinusoidal analysis and synthesis
US7542903B2 (en) * 2004-02-18 2009-06-02 Fuji Xerox Co., Ltd. Systems and methods for determining predictive models of discourse functions
WO2006040908A1 (ja) * 2004-10-13 2006-04-20 Matsushita Electric Industrial Co., Ltd. 音声合成装置及び音声合成方法
JP5275612B2 (ja) * 2007-07-18 2013-08-28 国立大学法人 和歌山大学 周期信号処理方法、周期信号変換方法および周期信号処理装置ならびに周期信号の分析方法
US8484035B2 (en) * 2007-09-06 2013-07-09 Massachusetts Institute Of Technology Modification of voice waveforms to change social signaling
JP2009237422A (ja) * 2008-03-28 2009-10-15 National Institute Of Information & Communication Technology 音声合成装置、音声合成方法、およびプログラム
JP5300975B2 (ja) * 2009-04-15 2013-09-25 株式会社東芝 音声合成装置、方法およびプログラム
JP5552797B2 (ja) * 2009-11-09 2014-07-16 ヤマハ株式会社 音声合成装置および音声合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207488A (ja) * 1997-01-20 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 音声部品作成方法、音声部品データベース及び音声合成方法
JP2001034284A (ja) * 1999-07-23 2001-02-09 Toshiba Corp 音声合成方法及び装置、並びに文音声変換プログラムを記録した記録媒体
JP2011090218A (ja) * 2009-10-23 2011-05-06 Dainippon Printing Co Ltd 音素符号変換装置、音素符号データベース、および音声合成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016065900A (ja) * 2014-09-22 2016-04-28 カシオ計算機株式会社 音声合成装置、方法、およびプログラム
JP2016065899A (ja) * 2014-09-22 2016-04-28 カシオ計算機株式会社 音声合成装置、方法、およびプログラム

Also Published As

Publication number Publication date
JP5983604B2 (ja) 2016-08-31
JPWO2012160767A1 (ja) 2014-07-31
US20140067396A1 (en) 2014-03-06
US9401138B2 (en) 2016-07-26

Similar Documents

Publication Publication Date Title
US20200410981A1 (en) Text-to-speech (tts) processing
CN109949791B (zh) 基于hmm的情感语音合成方法、装置及存储介质
EP2109096B1 (en) Speech synthesis with dynamic constraints
JPWO2005109399A1 (ja) 音声合成装置および方法
US20040030555A1 (en) System and method for concatenating acoustic contours for speech synthesis
WO2013018294A1 (ja) 音声合成装置および音声合成方法
JP2006171750A (ja) 音声認識のための特徴ベクトル抽出方法
JP5983604B2 (ja) 素片情報生成装置、音声合成装置、音声合成方法および音声合成プログラム
Vegesna et al. Prosody modification for speech recognition in emotionally mismatched conditions
JP6013104B2 (ja) 音声合成方法、装置、及びプログラム
US20110196680A1 (en) Speech synthesis system
JP5874639B2 (ja) 音声合成装置、音声合成方法及び音声合成プログラム
KR101560833B1 (ko) 음성 신호를 이용한 감정 인식 장치 및 방법
Abdelmalek et al. High quality Arabic text-to-speech synthesis using unit selection
JP5328703B2 (ja) 韻律パターン生成装置
WO2011118207A1 (ja) 音声合成装置、音声合成方法および音声合成プログラム
Cahyaningtyas et al. HMM-based indonesian speech synthesis system with declarative and question sentences intonation
JP2011141470A (ja) 素片情報生成装置、音声合成システム、音声合成方法、及び、プログラム
JP2013033103A (ja) 声質変換装置および声質変換方法
JP2003208188A (ja) 日本語テキスト音声合成方法
JP5245962B2 (ja) 音声合成装置、音声合成方法、プログラム及び記録媒体
JP2001034284A (ja) 音声合成方法及び装置、並びに文音声変換プログラムを記録した記録媒体
Ngo et al. A study on prosody of vietnamese emotional speech
Sarma et al. A study on detection of intonation events of Assamese speech required for tilt model
Phung et al. A concatenative speech synthesis for monosyllabic languages with limited data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12789152

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013516186

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14114891

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12789152

Country of ref document: EP

Kind code of ref document: A1