WO2016002879A1 - 音声合成装置、音声合成方法およびプログラム - Google Patents

音声合成装置、音声合成方法およびプログラム Download PDF

Info

Publication number
WO2016002879A1
WO2016002879A1 PCT/JP2015/069126 JP2015069126W WO2016002879A1 WO 2016002879 A1 WO2016002879 A1 WO 2016002879A1 JP 2015069126 W JP2015069126 W JP 2015069126W WO 2016002879 A1 WO2016002879 A1 WO 2016002879A1
Authority
WO
WIPO (PCT)
Prior art keywords
answer
unit
primary answer
voice
primary
Prior art date
Application number
PCT/JP2015/069126
Other languages
English (en)
French (fr)
Inventor
松原　弘明
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to EP15814984.9A priority Critical patent/EP3166104B1/en
Priority to CN201580035951.5A priority patent/CN106471569B/zh
Priority to JP2016531443A priority patent/JP6428774B2/ja
Priority to US15/316,850 priority patent/US10224021B2/en
Publication of WO2016002879A1 publication Critical patent/WO2016002879A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Definitions

  • the present invention relates to a speech synthesizer, a speech synthesis method, and a program.
  • JP 2003-271194 A Japanese Patent No. 4495907 Japanese Patent No. 4832097
  • a speech synthesizer that combines the above-described speech synthesis technology and a speech dialogue system and retrieves data from a user's speech and outputs it by speech synthesis is assumed.
  • the speech synthesizer assumed in this way it has been pointed out that the speech output by speech synthesis feels unnatural to the user, and in particular, sometimes gives the feeling that the machine is roaring. Yes.
  • the present invention has been made in view of such circumstances, and one of its purposes is to provide a speech synthesizer, a speech synthesis method, and a program capable of giving a user a natural feeling. is there.
  • a speech synthesizer includes a speech input unit that inputs speech, an acquisition unit that acquires a primary answer to speech input by the speech input unit, and the primary An analysis unit that analyzes whether or not an answer includes an object to be repeated, and if the primary answer is analyzed to include an object to be repeated, a second answer obtained by repeating the object twice or more is synthesized by speech synthesis. And a voice synthesizer for outputting the output.
  • the speech synthesizer according to the above aspect, if there is an object of repetition in the primary answer, the object is repeated and output by speech synthesis, so a natural impression as if interacting with a person is given. Can be given.
  • the repetition target is a moving verb having a syllable number of 2 or less
  • the analysis unit determines whether or not a moving verb is included in the primary answer.
  • it may be analyzed whether or not the number of syllables of the moving verb is 2 or less.
  • the acquisition unit creates a language analysis unit that analyzes the meaning of the speech input by the speech input unit, and a primary answer corresponding to the meaning analyzed by the language analysis unit And a primary answer creating unit.
  • a language analysis unit that analyzes the meaning of the speech input by the speech input unit
  • a primary answer corresponding to the meaning analyzed by the language analysis unit And a primary answer creating unit.
  • the speech synthesizer when it is analyzed that the primary answer has an object to be repeated, it may be configured to include an iterating unit that repeats and outputs the object twice or more. According to this configuration, it is possible to give an impression as if the user is actually interacting with a person, such as trying to get a sympathy or trying to gain empathy.
  • the speech synthesizer synthesizes the secondary answer in which the impression verb is repeated by the repeater if the number of syllables of the impression verb included in the primary answer is 2 or less, and If the number of syllables of the impression verb included in the primary answer is 3 or more, the primary answer may be synthesized as a secondary answer.
  • the speech synthesis unit may include a speech sequence creation unit that creates a speech sequence from the answer, and a synthesis unit that outputs a speech signal that is synthesized based on the speech sequence.
  • the first answer generation unit has a first mode and a second mode
  • the primary answer creating unit creates a primary answer in which specific contents are added to a moving verb in the first mode.
  • the second mode the primary answer only for the impression verb or the primary answer only for the specific content may be created. If it is the first mode, a secondary answer in which specific contents are added to the impression verb is created, while if the number of syllables of the impression verb is “2” or less, the impression verb is repeated.
  • Empathy for users can be further enhanced.
  • the speech synthesizer may synthesize a speech without repeating a moving verb having the number of syllables of 2 or less if the prohibit mode is set and the prohibit mode is set.
  • this prohibition mode can prevent such discomfort.
  • the repetitive unit may be configured to cancel the repetitive function of a moving verb whose syllable number is 2 or less in the prohibit mode.
  • a speech synthesizer not only a speech synthesizer but also a speech synthesis method, a program for causing a computer to function as the speech synthesizer, a computer-readable recording medium that records the program, and the like can be conceptualized. is there.
  • the inventor of the present invention has the number of syllables (number of syllables) of the moving verb included in the answer as “between” whether a part or all of the answer is repeated or not. I thought whether or not. In the above example, it is repeated for Japanese “yes” (“ha-i”) and English “No”, which are impression verbs and the number of syllables is “2” or less. However, although it is a moving verb, the Japanese “No” ([ii]) with a syllable number of “3” or more and the English “Yes” are rarely repeated. . In this way, it is considered that attention should be paid to the number of syllables of a moving verb, regardless of the meaning content such as positive or negative, and regardless of language.
  • impression verb is a word that can express a feeling, a response, a call, etc. and can be used alone without being utilized.
  • Other examples include “Fumu” ([fu-mu]) and “So” ([so-u]) in Japanese, and “Ah” and “Oh” in English.
  • “Ze” ([shi]), “obvious” ([mign-ba-i]) and the like are included, as well as animal calls as described later.
  • a syllable is a segment that divides a sound when it is uttered.
  • ⁇ 4. This is a voice (group) composed of one vowel as a single vowel or with one or more consonants before and after the vowel, and refers to a unit when a voice is heard. .
  • Vowel (V) 2.
  • Consonant + Vowel (CV) 3.
  • Consonant + vowel + consonant (CVC) For Japanese syllables, the above 1. And 2. There is a syllable that falls under And 4. There is no syllable corresponding to. The above 1. ⁇ 4.
  • a syllable may be configured by adding a tone based on a pitch change of a vowel to a combination of a vowel and a consonant.
  • the speech synthesizer according to the embodiment of the present invention can be summarized as a moving verb included in an answer to be answered in response to a question in order to give a feeling as if the user is interacting with a person. If the number of syllables is “2” or less, the moving verb is repeated two or more times to synthesize and output the speech. The reason why the impression verb having the number of syllables of “2” or less is repeated is that it is simple as described above, for example, because it is unconsciously pressed.
  • FIG. 1 is a diagram illustrating a hardware configuration of the speech synthesizer 10 according to the first embodiment.
  • the voice synthesizer 10 is a terminal device such as a mobile phone, for example, and as shown in the figure, a CPU (Central Processing Unit) 11, a memory 12, a display unit 13, a touch panel 14, and a voice input unit. 102, a communication unit 126, and an audio output unit 142.
  • a CPU Central Processing Unit
  • the CPU 11 controls the entire speech synthesizer 10, and the memory 12 is used as a main storage unit of the CPU 11, and stores a speech synthesis application program, various data, and the like.
  • the display unit 13 is a liquid crystal display device, for example, and displays various screens such as settings and operations.
  • the touch panel 14 detects a touch position on the display screen by the display unit 13 and outputs information indicating the detected touch position.
  • the audio input unit 102 is a microphone that converts audio into an electric signal, an LPF (low-pass filter) that cuts a high-frequency component of the converted audio signal, and an audio signal that is cut from a high-frequency component. It is composed of an A / D converter that converts digital signals.
  • the communication unit 126 communicates with an external server via the Internet or the like.
  • the audio output unit 142 includes a D / A converter that converts the synthesized audio signal into an analog signal, an amplifier that amplifies the audio signal converted into the analog signal, a speaker that acoustically converts the amplified signal and outputs the amplified signal, etc. Consists of.
  • the speech synthesizer 10 is configured to implement a function of synthesizing and outputting an answer to a question from a user by executing the application program. That is, the speech synthesizer 10 is realized by cooperation between an arithmetic processing unit such as a CPU and an application program.
  • the application program may be downloaded from a specific site via the Internet and installed in the terminal device, or provided and installed in a form stored in a readable recording medium such as a memory card. May be.
  • the following functional blocks are constructed by the CPU 11 executing the application program.
  • FIG. 2 is a block diagram showing the configuration of the speech synthesizer 10.
  • the speech synthesizer 10 an acquisition unit 22, a speech synthesis unit 24, an analysis unit 112, an iteration unit 114, a language database 122, an answer database 124, and a speech library 128 are constructed.
  • the acquisition unit 22 includes a language analysis unit 108 and a primary answer creation unit 110
  • the speech synthesis unit 24 includes a speech sequence creation unit 116 and a synthesis unit 118.
  • the voice input unit 102, the communication unit 126, and the voice output unit 142 are as described above.
  • the language analysis unit 108 analyzes (identifies) the meaning content of the voice input to the voice input unit 102 by processing the voice signal. Specifically, the language analysis unit 108 determines which phoneme the speech signal is close to by referring to a phoneme model created in advance in the language database 122, and analyzes the semantic content of the word. As such a phoneme model, for example, a hidden Markov model can be used.
  • the primary answer creating unit 110 creates a primary answer of the text corresponding to the semantic content of the speech analyzed by the language analyzing unit 108 with reference to the answer database 124 and the communication unit 126. For example, in response to the question “What time is it now?”, By acquiring time information from a built-in real-time clock (not shown) and acquiring information other than the time information (for example, fixed phrases) from the answer database 124, Create a primary answer, “I ’m XX hour now.” On the other hand, in response to the question “What is Asuno Tenki?”, The speech synthesizer 10 alone cannot create a primary answer unless the weather information is acquired by accessing an external server.
  • the communication unit 126 accesses the external server via the Internet and acquires information necessary for the primary answer.
  • the primary answer creating unit 110 is configured to acquire the primary answer to the question from the answer database 124 or the external server. When the necessary information is acquired, the primary answer creating unit 110 creates a primary answer “I am OO” in response to the question using the above-mentioned fixed sentence.
  • the primary answer creating unit 110 does not have a specific content as an answer to the question. For example, a simple affirmative / negative answer such as “Yes” or “No”, “Yes”, “Like”
  • inspirational verbs such as a sumo are created as the primary answer.
  • the primary answer here is one that has been created by the primary answer creating unit 110 and is in the previous stage of repeating the impression verb. This is a measure to distinguish it from the secondary answer that is finally the target of speech synthesis.
  • the analysis unit 112 first determines whether or not a moving verb is included in the primary answer created by the primary answer creating unit 110. If included, the analysis unit 112 secondly includes a syllable of the moving verb. Analyze the number. If the analyzing unit 112 analyzes that the primary answer includes a moving verb and the number of syllables of the moving verb is “2” or less, the analyzing unit 112 supplies the primary answer to the repeating unit 114. Note that when the analysis unit 112 determines that the primary answer does not include the moving verb, or analyzes that the number of syllables of the moving verb is “3” or more even if included, the primary answer Is directly output to the speech sequence creation unit 116 as a secondary answer.
  • the analyzing unit 112 determines that the primary answer does not include a moving verb. If the primary answer is “Yes” ([ha-i]) in Japanese, the analysis unit 112 determines that the primary answer includes a moving verb and also determines the number of syllables of the moving verb. Is analyzed to be “2” or less. If the primary answer is “No” in Japanese ([ii-e]), the analysis unit 112 determines that the primary answer includes an impression verb. The number of syllables is analyzed to be “3” or more.
  • the analysis unit 112 determines that the primary answer includes a moving verb, and the number of syllables of the moving verb is “3” or more. If the primary answer is “No” in English, it is determined that the primary answer includes a moving verb and the number of syllables in the moving verb is analyzed to be “2” or less. .
  • the analysis unit 112 may analyze the text of the primary answer for determining whether or not the primary answer is included in a moving verb whose syllable number is “2” or less.
  • the primary answer creating unit 110 creates a primary answer by making the impression verb distinguishable from other parts, and the analysis unit 112 registers in advance a plurality of impression verbs having a syllable number of “2” or less. If there is a moving verb identified in the created primary answer and it matches the registered moving verb, then the primary answer will be included in the moving verb whose syllable number is “2” or less.
  • the analysis unit 112 has a syllable number in the primary answer. It may be determined that it is not included in “2” or lower impression verbs.
  • the repeater 114 repeats a moving verb having a syllable number of “2” or less a plurality of times (twice in the first embodiment), and outputs it as a secondary answer to be synthesized.
  • the primary answer created by the primary answer creating unit 110 is “Yes” in Japanese
  • the iterating unit 114 repeats it twice and outputs a secondary answer “Yes Yes”.
  • the primary answer is “No” in English
  • the iterative unit 114 repeats it twice and outputs a secondary answer “No, no”.
  • the speech sequence creation unit 116 creates a speech sequence from the secondary answer in which the moving verb is repeated by the repetition unit 114 or the secondary answer output from the analysis unit 112 and supplies the speech sequence to the synthesis unit 118.
  • the voice sequence is data for synthesizing a secondary answer, and in detail, the secondary answer is given at what timing, at what pitch, at what volume, etc. This data defines whether to speak.
  • the synthesizer 118 synthesizes speech based on the speech sequence and outputs the synthesized speech signal as a digital signal.
  • the synthesizer 118 synthesizes speech as follows, for example. That is, the synthesizer 118 converts the response content defined by the speech sequence into a speech segment sequence, selects speech segment data corresponding to each speech segment sequence from the speech library 128, and connects them. The sound is synthesized by converting each pitch and sound volume of the connected speech element data in accordance with the pitch and sound volume specified by the sound sequence while correcting the parts so that they are continuous.
  • the speech library 128 here is a database of speech unit data that defines the waveforms of various speech units that serve as speech material, such as a single phoneme or a transition from phoneme to phoneme. It is.
  • FIG. 3 is a flowchart showing processing operations in the speech synthesizer 10.
  • the CPU 11 activates an application program corresponding to the process. .
  • the functional blocks shown in FIG. 2 are constructed.
  • the voice input unit 102 converts the voice into a digital voice signal and supplies the digital voice signal to the language analysis unit 108 (step). Sa11).
  • the language analysis unit 108 analyzes the questioned voice signal and supplies the meaning (text) to the primary answer creation unit 110 (step Sa12).
  • the primary answer creating unit 110 creates a primary answer corresponding to the analyzed voice by referring to the answer database 124 or referring to information acquired from an external server via the communication unit 126 as necessary. Then, the data is supplied to the analysis unit 112 (step Sa13).
  • the analysis unit 112 determines whether or not the generated primary answer includes a moving verb and the number of syllables of the moving verb is “2” or less (step Sa14). As a result of the determination, if the determination result is “Yes”, the analysis unit 112 supplies the primary answer to the repetitive unit 114, and the repetitive unit 114 applies the impression verb whose syllable number is “2” or less twice. It is repeated and supplied to the speech sequence creation unit 116 as a secondary answer to be synthesized (step Sa15).
  • the analysis unit 112 does not include a moving verb in the created primary answer, or if it includes the moving syllable number of “3” or more (the determination result in step Sa14 is “ In the case of “No”), the primary answer is directly supplied to the voice sequence creation unit 116 as a secondary answer to be synthesized.
  • the speech sequence creation unit 116 creates a speech sequence corresponding to the secondary answer output from either the primary answer creation unit 110 or the repetition unit 114, and supplies the speech sequence to the synthesis unit 118 (step Sa16).
  • the model data may be acquired from a database (not shown) for the utterance timing, pitch, volume, and the like of the answer defined by the voice sequence.
  • the synthesizer 118 synthesizes the secondary answer according to the voice sequence created by the voice sequence creator 116 (step Sa17).
  • the CPU 11 ends the execution of the application program and returns to the menu screen.
  • FIG. 4A is a diagram illustrating an example of an inquiry by a user
  • FIG. 4B is a diagram illustrating an example of an answer synthesized by the speech synthesizer 10 in response to the inquiry.
  • the user W asks the user “Would you like tomorrow?”, That is, the voice of the content requesting confirmation that the weather of tomorrow is sunny will be sent to the voice synthesizer 10 as the terminal device. The case where it inputs is assumed.
  • the primary answer created by the primary answer creating unit 110 is “Yes” in Japanese, which is positive for the question.
  • the primary answer includes a moving verb and the number of syllables of the moving verb is “2”. Therefore, as shown in FIG. 4B, the “Yes” ([ ha-i]) is repeated to synthesize “yes-yes” [ha-i-ha-i]). For this reason, the user W can obtain a natural feeling as if he / she is interacting with a person rather than being mechanical in response to his / her own question. From the viewpoint of the user W, empathy is enhanced by repeating the impression verb.
  • FIG. 5A is a diagram illustrating another example of an inquiry by a user
  • FIG. 5B is a diagram illustrating an example of an answer synthesized by the speech synthesizer 10 in response to the inquiry.
  • the user W inputs to the speech synthesizer 10 “What is Asuno Tenki?”, That is, a question asking what specific weather is tomorrow for.
  • the primary answer creating unit 110 uses “hare” in Japanese as the primary answer ([ha-re-de-su] ) Is not included, so as shown in FIG. 5B, the speech synthesis is performed as it is “hare” ([ha-re-de-su]).
  • “Hare is” is “It will be sunny.”
  • English In English.
  • FIG. 6 is a block diagram showing the configuration of the speech synthesizer 10 in the second embodiment. 6 differs from FIG. 2 in that the primary answer creating unit 110 creates the text of the primary answer corresponding to the question analyzed by the language analyzing unit 108 according to the mode set in the mode setting unit 130. It is in.
  • the mode setting unit 130 outputs the mode set by the user by the CPU 11 processing information output from the touch panel 14 (see FIG. 1).
  • the primary answer creating unit 110 there are two types of modes set in the primary answer creating unit 110.
  • the first mode for creating a primary answer by adding specific content after the impression verb and the user If it is sufficient to create only the impression verb for the question, it is necessary to create a primary answer only for the impression verb and to create a content that does not need to be the impression verb for the user's question If so, it is the second mode in which a primary answer is generated only for specific contents with respect to the question.
  • the primary answer created by the primary answer creating unit 110 is, for example, “Yes, it's positive if the answer is positive and Japanese. ([Ha-i ha-re-de-su]).
  • the primary answer creation unit 110 following the inspirational verb “yes” ([ha-i]) in Japanese, is a specific content for the question, and is “hare” in Japanese ([ha-re -De-su]) is added as the primary answer.
  • the primary answer created by the primary answer creating unit 110 is, for example, “Yes” ([ha-i]) if it is positive and Japanese, Become.
  • the primary answer created by the primary answer creating unit 110 is Similarly to the first embodiment, if it is in Japanese, it is “Hare is” ([ha-re-de-su]).
  • FIG. 7 is a flowchart showing processing operations in the speech synthesizer 10. 7 differs from FIG. 3 in that, for example, the primary answer creating unit 110 acquires the set mode in step Sa10 before step Sa11, and the language analysis unit 108 analyzed in step Sa13. The primary answer creating unit 110 creates the text of the primary answer corresponding to the meaning of the voice according to the set mode.
  • the analysis unit 112 analyzes the primary answer created in the first mode or the second mode, and the primary answer created by the primary answer creation unit 110 as described above. Is similar to the first embodiment in that the analysis unit 112 analyzes whether or not a moving verb is included and if the number of syllables of the moving verb is “2” or less.
  • FIG. 8 is a diagram illustrating an example of a response synthesized by the speech synthesizer 10 according to the second embodiment.
  • the user W inputs “Tomorrow?”.
  • the weather information acquired via the external server is “sunny” and the first mode is set, as described above, “Yes, it is” ([ha- i ha-re-de-su]) is created as the primary answer.
  • “Yes” ([ha-i]) of the moving verb included in the primary answer is repeated a plurality of times, here twice, and after the repeated moving verb, the question is answered.
  • Speech synthesis is performed with “Yes, yes, it is hare” ([ha-i-ha-i-ha-re-de-su]) followed by specific contents.
  • the user W has a specific content as if he / she confirms his / her question after the excuse verb having a syllable number of “2” or less is repeated. Since the added answer is synthesized with speech, the sympathy of the user W can be further enhanced.
  • the weather information acquired via the external server is “sunny” and the second mode is set, for example, the Japanese “yes” ([ha -I]) is created. Therefore, “Yes” ([ha-i]) of the moving verb is repeated a plurality of times, here twice, and “Yes” ([ha-i-ha-i]) as shown in FIG. 4B. Then, speech synthesis is performed.
  • the analysis unit 112 analyzes whether or not the primary answer includes an object (word) to be repeated as described below. May be supplied.
  • a moving verb having a syllable number of 2 or less is mentioned.
  • the second object is not limited to a moving verb, and is a simple word having a syllable number of “2” or less.
  • a moving verb having a syllable number of “3” or more is also mentioned.
  • Most preferred is the first subject, where the second subject and the third subject are alternatives to the first subject.
  • simple words with a syllable number of “2” or less may be difficult to analyze because they are simple.
  • a moving verb that has a syllable number of “3” or more and may be repeated is It is considered to be limited. Therefore, for example, the analysis unit 112 may analyze whether or not an object registered in advance is included in the primary answer.
  • the voice input unit 102 is configured to input a user's voice with a microphone and convert the voice into a voice signal.
  • the voice input unit 102 is not limited to this configuration, and the voice signal processed by another processing unit, A configuration may be adopted in which an audio signal supplied (or transferred) from the apparatus is input. That is, the voice input unit 102 may be configured to acquire the voice in some form.
  • the primary answer corresponding to the meaning content of the voice is created as text. However, it may be created as data other than text, for example, voice waveform data. When speech waveform data is used as the primary answer, the presence / absence of an object to be repeated may be analyzed by processing the speech waveform data.
  • the primary answer creating unit 110 may obtain a primary answer for the input voice directly from an external server, instead of creating a primary answer with reference to the fixed phrase in the answer database 124. In other words, it is sufficient for the primary answer creating unit 110 to acquire the primary answer for the input voice in some form.
  • the impression verb having the syllable number of “2” or less is repeated twice. For example, “yes” ([ha-i]) is repeated to “yes yes” ([ha-i-ha- When i]) is synthesized and output, the answer is so-called twice, and depending on the situation, the user may feel uncomfortable. Therefore, an operation mode (prohibition mode) that prohibits repetition of the impression verb is provided, and if the prohibit mode is set, the repetition function of the impression verb is canceled.
  • the repetitive unit 114 may be configured to prohibit the repetitive function of the impression verb, and the analysis unit 112 may make the primary answer by the primary answer creating unit 110.
  • the primary answer may be directly supplied to the speech sequence creation unit 116 instead of being supplied to the repetition unit 114.
  • the configuration is such that a moving verb having a syllable number of “2” or less is not repeated.
  • the primary answer created by the primary answer creating unit 110 is “yes” ([ha-i]) of two syllables or less, the primary answer is not repeated as shown in FIG. “Yes” ([ha-i]) is synthesized as shown in FIG.
  • prohibit mode and the first mode or the second mode described above may be set manually by the user, or the contents of the input voice, volume, answer contents, conversation history (situation).
  • the apparatus may be automatically set according to the result of analyzing the above.
  • the answers are synthesized by voice synthesis using human voices.
  • voice synthesis may be performed by animal calls. That is, the object of repetition is not limited to human voices, but is a concept that includes animal calls.
  • the speech synthesizer 10 reads the cat “Meow” (“Meow” in English). Is repeatedly synthesized, for example, “Menya” (“Meow, meow” in English).
  • the speech synthesizer 10 that synthesizes speech by the cry of an animal is not limited to a terminal device, and may be applied to a pet robot imitating the animal, a stuffed animal, or the like.
  • the number of repetitions is two, but may be three or more. Further, the CPU 11 may be configured to appropriately determine and set the number of repetitions based on the content of input voice, volume, answer content, conversation history (situation), and the like.
  • the language analysis unit 108, the language database 122, and the answer database 124 which are configurations for acquiring a primary answer to an inquiry, are provided on the speech synthesizer 10 side. Considering the point that the load becomes heavy and the limitation of the storage capacity, it may be configured to be provided on the external server side.
  • the speech synthesizer 10 it is sufficient if the primary answer to the question is acquired in some form, and the primary answer is created on the speech synthesizer 10 side, or other configuration other than the speech synthesizer 10. It does not matter whether it is created on the side of (for example, an external server). Note that the information acquisition unit 126 is not necessary if the speech synthesizer 10 can create an answer to a speech without accessing an external server or the like.
  • the speech synthesizer 10 may be realized by a dedicated electronic circuit or a general-purpose personal computer in addition to the terminal device.
  • a personal computer When realized by a personal computer, it is realized by connecting a microphone and a speaker and executing an application program installed in advance.
  • the application program to be installed in the personal computer may be downloaded via the Internet as with the terminal device, or may be provided in a state stored in a computer-readable recording medium.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but a semiconductor recording medium or a magnetic recording medium is arbitrary.
  • the speech synthesizer according to the embodiment can also be realized as a speech synthesis method for synthesizing speech.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

利用者の問い掛けに対する回答を自然な感じで音声合成する。音声を入力する音声入力部１０２と、音声入力部１０２により入力された音声に対する一次回答を取得する取得部２２と、一次回答に、反復の対象が含まれるか否かを解析する解析部１１２と、一次回答に反復の対象があると解析された場合に、当該対象を２回以上反復した二次回答を音声合成して出力する音声合成部２４と、を具備する。

Description

音声合成装置、音声合成方法およびプログラム
　本発明は、音声合成装置、音声合成方法およびプログラムに関する。
　近年、音声合成技術として、次のようなものが提案されている。すなわち、利用者の話調や声質に対応した音声を合成出力することによって、より人間らしく発音する技術（例えば特許文献１参照）や、利用者の音声を分析して、当該利用者の心理状態や健康状態などを診断する技術（例えば特許文献２参照）が提案されている。また、利用者が入力した音声を認識する一方で、シナリオで指定された内容を音声合成で出力して、利用者との音声対話を実現する音声対話システムも提案されている（例えば特許文献３参照）。
特開２００３－２７１１９４号公報 特許第４４９５９０７号公報 特許第４８３２０９７号公報
　ところで、上述した音声合成技術と音声対話システムとを組み合わせて、利用者の音声に対し、データを検索等して音声合成により出力する音声合成装置を想定する。このように想定した音声合成装置では、音声合成によって出力される音声が利用者に不自然な感じ、具体的には、いかにも機械が喋っている感じを与えるときがある、という問題が指摘されている。
　本発明は、このような事情に鑑みてなされたものであり、その目的の一つは、利用者に自然な感じを与えることが可能な音声合成装置、音声合成方法およびプログラムを提供することにある。
　上記目的を達成するために、本発明の一態様に係る音声合成装置は、音声を入力する音声入力部と、前記音声入力部により入力された音声に対する一次回答を取得する取得部と、前記一次回答に、反復の対象が含まれるか否かを解析する解析部と、前記一次回答に反復の対象があると解析された場合に、当該対象を２回以上反復した二次回答を音声合成して出力する音声合成部と、を具備することを特徴とする。上記一態様に係る音声合成装置によれば、一次回答に反復の対象があれば、当該対象が反復されて音声合成で出力されるので、あたかも人と対話しているかのような自然な印象を与えることができる。
　上記一態様に係る音声合成装置において、前記反復の対象は、音節数が２以下の感動詞であり、前記解析部は、前記一次回答に感動詞が含まれているか否かを判別し、感動詞が含まれていると判別した場合に、当該感動詞の音節数が２以下であるか否かを解析しても良い。
　上記一態様に係る音声合成装置において、前記取得部は、前記音声入力部により入力された音声の意味を解析する言語解析部と、前記言語解析部により解析された意味に対応する一次回答を作成する一次回答作成部と、を含む構成としても良い。この構成によれば、入力された音声に対して適切な内容の回答が音声合成で出力される。
　上記一態様に係る音声合成装置において、前記一次回答に反復の対象があると解析された場合に、当該対象を２回以上反復して出力する反復部を備える構成としても良い。この構成によれば、念押したり、共感を得ようとしたりするなど、実際に人と対話しているかのような印象を与えることができる。
　上記反復部を備える場合、前記音声合成部は、前記一次回答に含まれる感動詞の音節数が２以下であれば、前記反復部により感動詞が反復された二次回答を音声合成し、前記一次回答に含まれる感動詞の音節数が３以上であれば、当該一次回答を二次回答として音声合成しても良い。一次回答に含まれる感動詞の音節数が２以下であれば、当該感動詞が反復されて二次回答として音声合成される一方、３以上であれば、一次回答がそのまま二次回答として音声合成される。
　前記音声合成部は、前記回答から音声シーケンスを作成する音声シーケンス作成部と、前記音声シーケンスに基づいて音声合成した音声信号を出力する合成部と、を含んでも良い。
　上記一態様に係る音声合成装置において、第１モードおよび第２モードを有し、前記一次回答作成部は、前記第１モードであれば、感動詞に具体的内容を加えた一次回答を作成し、前記第２モードであれば、感動詞のみの一次回答、または、具体的内容のみの一次回答を、作成する構成としても良い。第１モードであれば、感動詞に具体的内容を加えた二次回答が作成される一方で、当該感動詞の音節数が「２」以下であれば、当該感動詞が反復されるので、利用者への共感をさらに高めることができる。
　上記一態様に係る音声合成装置において、禁止モードを有し、前記禁止モードであれば、前記音声合成部は、前記音節数が２以下の感動詞を反復しないで音声合成しても良い。感動詞の単なる反復は、状況によっては利用者に不快感を与えてしまう場合もあるが、この禁止モードによって、そのような不快感を与えてしまうことを防止することができる。この構成において、前記反復部は、前記禁止モードであれば、前記音節数が２以下の感動詞の反復機能をキャンセルする構成としても良い。
　なお、本発明においては、音声合成装置のみならず、音声合成方法や、コンピュータを当該音声合成として機能させるためのプログラム、当該プログラムを記録したコンピュータ読み取り可能な記録媒体などでも概念することが可能である。
第１実施形態に係る音声合成装置の構成を示す図である。 音声合成装置の機能構成を示すブロック図である。 第１実施形態に係る音声合成装置の動作を示すフローチャートである。 利用者による問い掛けの例を示す図である。 音声合成装置により合成される回答の例を示す図である。 利用者による問い掛けの例を示す図である。 音声合成装置により合成される回答の例を示す図である。 第２実施形態に係る音声合成装置の構成を示す図である。 第２実施形態に係る音声合成装置の動作を示すフローチャートである。 音声合成装置により合成される回答の例を示す図である。 音声合成装置により合成される回答の例を示す図である。
　まず、実施形態に係る音声合成装置の概要について説明する。
　人同士の対話において、一方の人（ａとする）による問い（問い掛け）に対し、他方の人（ｂとする）が回答する場合について検討する。この場合において、人ｂは、人ａが発した問い掛けに対し、当該問い掛けに対する回答をそのまま発するのではなく、当該回答の一部または全部を反復するケースが見受けられる。例えば、人ａによる問い掛けに対して、人ｂが日本語で肯定的な意味である「はい」（音をローマ字で、音節で区切って表記した場合に［ｈａ－ｉ］、以下において（ ）内の［ ］は、音節で区切って表記したもの、図において同じ）と回答しようとする場合、そのまま「はい」（［ｈａ－ｉ］）と回答するのではなく、「はいはい」（［ｈａ－ｉ－ｈａ－ｉ］）などのように反復するケースがある。
　一方で、人ａによる問い掛けに対して、人ｂが回答する場合、上記のように反復されないケースもある。例えば、人ａによる問い掛けに対して、人ｂが日本語で否定的な意味である「いいえ」（［ｉ－ｉ－ｅ］）と回答しようとする場合に、「いいえいいえ」（［ｉ－ｉ－ｅ－ｉ－ｉ－ｅ］）のように反復されることは少ない。
　回答の意味内容が同じでも、言語が異なれば、反復が真逆の関係になることもある。例えば、人ｂが英語で肯定的な意味である「Ｙｅｓ」と回答する場合、「Ｙｅｓ、ｙｅｓ」と反復されることは少ない。一方で、人ｂが英語で否定的な意味である「Ｎｏ」と回答する場合、「Ｎｏ、ｎｏ」と反復されるケースが見受けられる。
　また例えば、人ａが日本語で「明日は、晴れ？」（英語で「Ｗｉｌｌ　ｉｔ　ｂｅ　ｓｕｎｎｙ　ｔｏｍｏｒｒｏｗ？ 」）という問い掛けに対して、人ｂが日本語で「はい、はれです」（［ｈａ－ｉ　ｈａ－ｒｅ－ｄｅ－ｓｕ］）という意味内容で回答しようとする場合、「はいはい、はれです」（［ｈａ－ｉ－ｈａ－ｉ　ｈａ－ｒｅ－ｄｅ－ｓｕ］）などのように「はい」を反復して回答するケースもある。ただし、人ｂが同じ意味内容を英語で「Ｙｅｓ、ｉｔ　ｗｉｌｌ　ｂｅ　ｓｕｎｎｙ　ｔｏｍｏｒｒｏｗ．」）と回答しようとする場合、「Ｙｅｓ、ｙｅｓ、ｉｔ　ｗｉｌｌ　ｂｅ　ｓｕｎｎｙ　ｔｏｍｏｒｒｏｗ．」）のように「Ｙｅｓ」を反復して回答するケースは少ない。
　ここで、本件発明者は、回答の一部または全部が反復されるか、反復されないか、の境として、当該回答に含まれる感動詞の音節数（音節の数）が「２」以下であるか、否かであるか、と考えた。
　上記の例でいえば、感動詞であり、かつ、音節数が「２」以下である日本語の「はい」（「ｈａ－ｉ」）や英語の「Ｎｏ」については反復される。しかし、感動詞であるが、音節数が「３」以上である日本語の「いいえ」（［ｉ－ｉ－ｅ］）や、英語の「Ｙｅｓ」については反復されることは少ないからである。
　このように、肯定的であるか否定的であるかのような意味内容は関係なく、また、言語にも関係なく、まず、感動詞の音節数に着目すべきと考えられる。
　音節数が「２」以下である感動詞が反復される理由は、単純であるために無意識のうち念押しする、共感を得ようとする、相手の発言に共鳴している／寄り添いたいと思っていることを伝えようとする、相手に冷たい印象を与えないようにする、などが考えられる。
　なお、感動詞とは、感動や、応答、呼び掛けなどを表し、活用がなく、単独で文になり得る語である。上記以外の例としては、日本語では、相槌の「ふむ」（［ｆｕ－ｍｕ］）や、「そう」（［ｓｏ－ｕ］）などが挙げられ、英語では、「Ａｈ」、「Ｏｈ」などが挙げられ、中国語では「是」（［ｓｈｉ］）、「明白」（［ｍiｎｇ－ｂａ－ｉ］）などが挙げられるほか、後述するように動物の鳴き声が含まれる。
　また、音節とは、発声したときの音を区切る分節であり、典型的には次の１．～４．のように１つの母音に対し、その母音単独で構成、または、当該母音の前後に１乃至複数の子音を伴って構成される音声（群）であって、音声を聞いたときのまとまりを言う。
１．母音（V）
２．子音＋母音（CV）
３．母音＋子音（VC）
４．子音＋母音＋子音（CVC）
　日本語の音節には、上記１．および２．に該当する音節が存在するが、上記３．および４．に該当する音節は存在しない。
　なお、上記１．～４．については、音節を分類する上での例であり、言語によっては、音声を聞いたときのまとまりが、母音を中心とするのではなく、子音が中心となる場合がある。また、中国語などの声調言語（トーン言語）では、母音と子音の組合せに、さらに母音の音程の高低変化による声調を加えて音節を構成する場合もある。
　このように、実際の人同士の対話においては、人ａによる問い掛けに対し、人ｂが２音節以下の感動詞を反復して回答するケースが見受けられる。本発明の実施形態に係る音声合成装置は、概略すれば、あたかも人と対話しているかのような感じを与えるために、問い掛けに対して、返事をしようとする回答のなかに含まれる感動詞の音節数が「２」以下であれば、当該感動詞を２回以上反復させて音声合成して出力する構成としている。
　なお、音節数が「２」以下である感動詞が反復される理由は、上述したように単純であるために無意識のうち念押しする等であるので、音節数が「２」以下の単純な語であれば、感動詞でなくても、反復されやすい傾向がある。また、音節数が「３」以上の感動詞であっても、確認などで無意識に反復される場合もあり得る。この傾向を考慮した内容については後述することにする。
　以下、実施形態に係る音声合成装置の詳細について図面を参照して説明する。
＜第１実施形態＞
　図１は、第１実施形態に係る音声合成装置１０のハードウェアの構成を示す図である。
　この音声合成装置１０は、例えば携帯電話機のような端末装置であり、図に示されるように、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、表示部１３と、タッチパネル１４と、音声入力部１０２と、通信部１２６と、音声出力部１４２と、を含む。
　ＣＰＵ１１は、音声合成装置１０の全体を制御し、メモリ１２は、ＣＰＵ１１の主記憶部として用いられ、音声合成のアプリケーションプログラムや各種のデータなどを記憶する。表示部１３は、例えば液晶表示装置などであり、設定や操作などの各種画面を表示する。タッチパネル１４は、表示部１３による表示画面のタッチ位置を検出し、検出したタッチ位置を示す情報を出力する。
　音声入力部１０２は、詳細については省略するが、音声を電気信号に変換するマイクロフォンや、変換された音声信号の高域成分をカットするＬＰＦ（ローパスフィルタ）、高域成分をカットした音声信号をデジタル信号に変換するＡ／Ｄ変換器などで構成される。通信部１２６は、インターネットなどを介して外部サーバと通信する。音声出力部１４２は、合成された音声信号をアナログ信号に変換するＤ／Ａ変換器や、アナログ信号に変換された音声信号を増幅する増幅器、増幅された信号を音響変換して出力するスピーカなどで構成される。
　音声合成装置１０では、上記アプリケーションプログラムを実行することによって、利用者による問い掛けに対して回答を音声合成して出力する機能を実現する構成となっている。すなわち、音声合成装置１０は、ＣＰＵ等の演算処理装置とアプリケーションプログラムとの協働によって実現される。
　なお、このアプリケーションプログラムは、例えば特定のサイトからインターネット経由でダウンロードされて、端末装置にインストールされても良いし、メモリーカードのような読取可能な記録媒体に格納された形態で提供されてインストールされても良い。
　音声合成装置１０では、ＣＰＵ１１が、上記アプリケーションプログラムを実行することによって、次のような機能ブロックが構築される。
　図２は、音声合成装置１０の構成を示すブロック図である。
　この図に示されるように、音声合成装置１０では、取得部２２、音声合成部２４、解析部１１２、反復部１１４、言語データベース１２２、回答データベース１２４および音声ライブラリ１２８が構築される。このうち、取得部２２は、言語解析部１０８と、一次回答作成部１１０とを含み、音声合成部２４は、音声シーケンス作成部１１６と合成部１１８とを含む。なお、音声入力部１０２、通信部１２６および音声出力部１４２については上述した通りである。
　言語解析部１０８は、音声入力部１０２に入力された音声の意味内容を、音声信号の処理により解析（特定）する。詳細には、言語解析部１０８は、音声信号がどの音素に近いのかを、言語データベース１２２に予め作成された音素モデルを参照することにより判定して、言葉の意味内容を解析する。なお、このような音素モデルには、例えば隠れマルコフモデルを用いることができる。
　一次回答作成部１１０は、言語解析部１０８によって解析された音声の意味内容に対応するテキストの一次回答を、回答データベース１２４および通信部１２６を参照して作成する。
　例えば「今、何時？」という問い掛けに対しては、内蔵のリアルタイムクロック（図示省略）から時刻情報を取得するとともに、時刻情報以外の情報（例えば定型文）を回答データベース１２４から取得することで、「ただいま○○時○○分です」という一次回答を作成する。
　一方で、「あすのてんきは？」という問い掛けに対しては、外部サーバにアクセスして天気情報を取得しないと、音声合成装置１０の単体では一次回答を作成することができない。このように、回答データベース１２４のみでは一次回答が作成できない場合、通信部１２６が、インターネットを介し外部サーバにアクセスして、一次回答に必要な情報を取得する構成となっている。このように、一次回答作成部１１０は、問い掛けに対する一次回答を、回答データベース１２４または外部サーバから取得する構成となっている。
　なお、必要な情報を取得したとき、一次回答作成部１１０は、問い掛けに対して「○○です」という一次回答を、上記定型文を用いて作成する。また、一次回答作成部１１０は、問い掛けに対する回答として具体的内容でなく、例えば「はい」や「いいえ」のような単純な肯定／否定の返事や、「そう」、「いいね」のような相槌などの感動詞を一次回答として作成する場合もある。
　なお、ここでいう一次回答とは、一次回答作成部１１０で作成されたものであって、感動詞を反復する前段階のものをいう。最終的に音声合成の対象とされる二次回答と区別するための措置である。
　解析部１１２は、第１に、一次回答作成部１１０によって作成された一次回答に感動詞が含まれているか否かを判別するとともに、含まれていれば、第２に、当該感動詞の音節数を解析する。
　解析部１１２は、一次回答に感動詞が含まれ、かつ、当該感動詞の音節数が「２」以下であると解析すれば、当該一次回答を反復部１１４に供給する。なお、解析部１１２は、一次回答に感動詞が含まれていないと判別した場合、または、含まれていても当該感動詞の音節数が「３」以上であると解析した場合、当該一次回答をそのまま二次回答として音声シーケンス作成部１１６に出力する。
　さて、一次回答作成部１１０によって作成された一次回答が例えば「はれです」であれば、解析部１１２は、当該一次回答に感動詞が含まれていないと判別する。また、当該一次回答が日本語の「はい」（［ｈａ－ｉ］）であれば、解析部１１２は、当該一次回答に感動詞が含まれていると判別するとともに、当該感動詞の音節数は「２」以下であると解析する。なお、当該一次回答が日本語の「いいえ」（［ｉ－ｉ－ｅ］）であれば、解析部１１２は、当該一次回答に感動詞が含まれていると判別するが、当該感動詞の音節数は「３」以上であると解析する。
　また、解析部１１２は、作成された一次回答が英語の「Ｙｅｓ」であれば、当該一次回答に感動詞が含まれていると判別するとともに、当該感動詞の音節数は「３」以上であると解析し、当該一次回答が英語の「Ｎｏ」であれば、当該一次回答に感動詞が含まれていると判別するとともに、当該感動詞の音節数は「２」以下であると解析する。
　なお、一次回答に音節数が「２」以下の感動詞に含まれているか否かを判別することについては、解析部１１２が当該一次回答のテキストを解析しても良いし、例えば次のようにしても良い。詳細には、一次回答作成部１１０が一次回答について、感動詞を他の部分と識別可能にして作成し、解析部１１２が予め音節数が「２」以下の感動詞を複数登録しておくとともに、作成された一次回答のなかに識別される感動詞が存在し、かつ、登録しておいた感動詞とマッチすれば、当該一次回答に音節数が「２」以下の感動詞に含まれていると判別しても良い。一次回答のなかに識別される感動詞が存在せず、または、感動詞が存在しても、登録しておいた感動詞とマッチしなければ、解析部１１２は、当該一次回答に音節数が「２」以下の感動詞に含まれていないと判別しても良い。
　反復部１１４は、音節数が「２」以下の感動詞を、複数回（第１実施形態では２回）反復して、音声合成すべき二次回答として出力する。上記の例でいえば、一次回答作成部１１０によって作成された一次回答が日本語の「はい」であれば、反復部１１４によって２回反復されて「はいはい」という二次回答を出力する。また、一次回答が英語の「Ｎｏ」であれば、反復部１１４によって２回反復されて「Ｎｏ、ｎｏ」という二次回答を出力する。
　音声シーケンス作成部１１６は、反復部１１４により感動詞が反復された二次回答、または、解析部１１２から出力された二次回答から、音声シーケンスを作成して合成部１１８に供給する。
　ここで、音声シーケンスとは、二次回答を音声合成するためのデータであって、詳細には、当該二次回答を、どのようなタイミングで、どのようなピッチで、どのような音量等で、発声すべきかを規定するデータである。
　合成部１１８は、音声シーケンスに基づいて音声合成して、合成された音声信号をデジタル信号で出力する。
　なお、合成部１１８は、例えば次のようにして音声を合成する。すなわち、合成部１１８は、音声シーケンスで規定される回答内容を音声素片の列に変換するとともに、各音声素片の列に対応する音声素片データを、音声ライブラリ１２８から選択するとともに、繋ぎ部分が連続するように修正しつつ、接続した音声素片データに対する各々のピッチと音量を、当該音声シーケンスで規定されるピッチと音量に合わせて変換して、音声を合成する。
　なお、ここでいう音声ライブラリ１２８とは、単一の音素や音素から音素への遷移部分など、音声の素材となる各種の音声素片の波形を定義した音声素片データを予めデータベース化したものである。
　次に、音声合成装置１０の動作について説明する。図３は、音声合成装置１０における処理動作を示すフローチャートである。
　利用者が所定の操作をしたとき、例えば表示部１３に表示されたメインメニュー画面において、利用者が対話処理に対応したアイコンなどを選択したとき、ＣＰＵ１１が当該処理に対応したアプリケーションプログラムを起動する。このアプリケーションプログラムの実行によって、図２で示した機能ブロックが構築される。
　まず、利用者が音声入力部１０２に対して音声で問い掛けると（音声を入力すると）、音声入力部１０２は、当該音声をデジタルの音声信号に変換して、言語解析部１０８に供給する（ステップＳａ１１）。
　次に、言語解析部１０８は、問い掛けの音声信号を解析して、その意味（テキスト）を、一次回答作成部１１０に供給する（ステップＳａ１２）。
　一次回答作成部１１０は、解析された音声に対応する一次回答を、回答データベース１２４を参照したり、必要に応じて通信部１２６を介し外部サーバから取得した情報を参照したりして、作成し、解析部１１２に供給する（ステップＳａ１３）。
　解析部１１２は、作成された一次回答に感動詞が含まれ、かつ、当該感動詞の音節数が「２」以下であるか否かを判別する（ステップＳａ１４）。この判別の結果、解析部１１２は、この判別結果が「Ｙｅｓ」である場合、当該一次回答を反復部１１４に供給し、反復部１１４は、音節数が「２」以下の感動詞を２回反復させ、音声合成すべき二次回答として、音声シーケンス作成部１１６に供給する（ステップＳａ１５）。
　一方、解析部１１２は、作成された一次回答に感動詞が含まれない場合、または、含まれていても当該感動詞の音節数が「３」以上である場合（ステップＳａ１４の判別結果が「Ｎｏ」である場合）、当該一次回答をそのまま音声合成すべき二次回答として、直接、音声シーケンス作成部１１６に供給する。
　音声シーケンス作成部１１６は、一次回答作成部１１０または反復部１１４のいずれかから出力された二次回答に対応した音声シーケンスを作成して、合成部１１８に供給する（ステップＳａ１６）。なお、音声シーケンスで規定される回答の発声タイミングや、ピッチ、音量等については、モデルとなるデータを、図示省略したデータベースから取得しても良い。
　そして、合成部１１８は、音声シーケンス作成部１１６により作成された音声シーケンスにしたがって二次回答を音声合成する（ステップＳａ１７）。なお、二次回答を音声合成して出力すると、特に図示しないが、ＣＰＵ１１は、当該アプリケーションプログラムの実行を終了させて、メニュー画面に戻す。
　図４Ａは、利用者による問い掛けの例を示す図であり、図４Ｂは、当該問い掛けに対して音声合成装置１０により合成される回答の例を示す図である。
　図４Ａに示されるように、利用者Ｗが「あすははれ？」という問い掛け、つまり、明日の天気が晴れであることの確認を求める内容の音声を、端末装置である音声合成装置１０に入力する場合を想定している。このとき、外部サーバを介して取得された天気情報が「晴れ」であるために、一次回答作成部１１０により作成された一次回答が当該問い掛けに対して肯定の意味である日本語の「はい」（［ｈａ－ｉ］）であれば、当該一次回答に感動詞が含まれ、かつ、感動詞の音節数が「２」であるので、図４Ｂに示されるように、当該「はい」（［ｈａ－ｉ］）が反復されて「はいはい」［ｈａ－ｉ－ｈａ－ｉ］）と音声合成される。このため、利用者Ｗは、自身の問い掛けに対して、機械的ではなく、あたかも人と対話しているかのように、自然な感じを得ることができる。また、利用者Ｗからすれば、感動詞が反復されることで、共感が高められる。
　図５Ａは、利用者による問い掛けの別の例を示す図であり、図５Ｂは、当該問い掛けに対して音声合成装置１０により合成される回答の例を示す図である。
　図５Ａでは、利用者Ｗが「あすのてんきは？」つまり、明日の天気が何であるのかを具体的な内容を求める問い掛けを、音声合成装置１０に入力する場合を想定している。この場合に、外部サーバを介して取得された天気情報が「晴れ」であるために、一次回答作成部１１０が一次回答として日本語の「はれです」（［ｈａ－ｒｅ－ｄｅ－ｓｕ］）を作成したとき、感動詞が含まれないので、図５Ｂに示されるように、そのまま「はれです」（［ｈａ－ｒｅ－ｄｅ－ｓｕ］）と音声合成される。
　なお、日本語の「はれです」は、英語でいえば「Ｉｔ　ｗｉｌｌ　ｂｅ　ｓｕｎｎｙ．」である。
＜第２実施形態＞
　次に、第２実施形態について説明する。なお、以下において第１実施形態と同様な要素については、第１実施形態の説明で使用した符号を流用しつつ、詳細な説明を適宜省略する。
　図６は、第２実施形態における音声合成装置１０の構成を示すブロック図である。図６が図２と相違する部分は、一次回答作成部１１０が言語解析部１０８によって解析された問い掛けに対応する一次回答のテキストを、モード設定部１３０に設定されたモードに応じて作成する点にある。なお、第２実施形態において、モード設定部１３０は、タッチパネル１４（図１参照）から出力される情報をＣＰＵ１１が処理することで、利用者によって設定されたモードを出力する。
　第２実施形態において、一次回答作成部１１０に設定されるモードは２種類である。すなわち、利用者の問い掛けに対して感動詞だけの内容を作成すれば足りる場合であっても、敢えて当該感動詞の後に具体的内容を付加して一次回答を作成する第１モードと、利用者の問い掛けに対して感動詞だけの内容を作成すれば足りる場合であれば、当該感動詞のみの一次回答を作成し、利用者の問い掛けに対して感動詞では済まない内容を作成する必要がある場合であれば、当該問い掛けに対する具体的内容のみの一次回答を作成する第２モードとである。
　例えば問い掛けが「あすははれ？」である場合に、第１モードであれば、一次回答作成部１１０が作成する一次回答は、例えば、肯定的かつ日本語であれば「はい、はれです」（［ｈａ－ｉ　ｈａ－ｒｅ－ｄｅ－ｓｕ］）となる。すなわち、一次回答作成部１１０は、日本語の「はい」（［ｈａ－ｉ］）という感動詞に続けて、問い掛けに対する具体的内容であって日本語の「はれです」（［ｈａ－ｒｅ－ｄｅ－ｓｕ］）を付加したものを一次回答として作成する。
　なお、この場合に、第２モードであれば、一次回答作成部１１０が作成する一次回答は、例えば肯定的かつ日本語であれば「はい」（［ｈａ－ｉ］）となり、感動詞のみとなる。また、第２モードにおいて、問い掛けが「あすの天気は？」である場合に、外部サーバを介して取得された天気情報が「晴れ」であれば、一次回答作成部１１０が作成する一次回答は、第１実施形態と同様に日本語であれば「はれです」（［ｈａ－ｒｅ－ｄｅ－ｓｕ］）となる。
　次に、第２実施形態の動作について説明する。
　図７は、音声合成装置１０における処理動作を示すフローチャートである。
　図７が図３と相違する部分は、例えばステップＳａ１１の前のステップＳａ１０において、設定されたモードを一次回答作成部１１０が取得する点、および、ステップＳａ１３において、言語解析部１０８によって解析された音声の意味に対応する一次回答のテキストを、設定されたモードに応じて一次回答作成部１１０が作成する点にある。
　なお、第２実施形態では、ステップＳａ１４において、解析部１１２が、第１モードまたは第２モードで作成された一次回答を解析し、上述したように一次回答作成部１１０によって作成された当該一次回答に感動詞が含まれ、かつ、含まれていれば当該感動詞の音節数が「２」以下であるか否かを解析部１１２が解析する点については第１実施形態と同様である。
　図８は、第２実施形態に係る音声合成装置１０が合成する回答の例を示す図である。この例では、問い掛けとして図４Ａで示したように、利用者Ｗが「あすははれ？」と入力する場合を想定している。
　この場合に、外部サーバを介して取得された天気情報が「晴れ」であって、第１モードが設定されていれば、上述したように日本語で「はい、はれです」（［ｈａ－ｉ　ｈａ－ｒｅ－ｄｅ－ｓｕ］）が一次回答として作成される。ただし、第２実施形態では、当該一次回答に含まれる感動詞の「はい」（［ｈａ－ｉ］）が複数回、ここでは２回反復されるとともに、反復された感動詞の後に、問い掛けに対する具体的内容が続いた「はいはい、はれです」（［ｈａ－ｉ－ｈａ－ｉ　ｈａ－ｒｅ－ｄｅ－ｓｕ］）と、音声合成される。
　第２実施形態によれば、利用者Ｗは、自身の問い掛けに対して、音節数が「２」以下の感動詞が反復された後に、自身の問い掛けを確認するかのような具体的内容が加わった回答が音声合成されるので、当該利用者Ｗの共感をさらに高めることができる。
　なお、第２実施形態において、外部サーバを介して取得された天気情報が「晴れ」であって、第２モードが設定されていれば、例えば感動詞のみの日本語の「はい」（［ｈａ－ｉ］）が作成される。このため、当該感動詞の「はい」（［ｈａ－ｉ］）が複数回、ここでは２回反復されて、図４Ｂに示されるように「はいはい」（［ｈａ－ｉ－ｈａ－ｉ］）と、音声合成されることになる。
＜応用例・変形例＞
　本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の応用・変形が可能である。また、次に述べる応用・変形の態様は、任意に選択された一または複数を適宜に組み合わせることもできる。
＜反復の対象＞
　実施形態では、一次回答に、音節数が２以下の感動詞が含まれていれば、当該感動詞を２回以上反復して音声合成したが、上述したように、音節数が「２」以下の単純な語であれば、感動詞でなくても反復されやすい傾向がある。また、音節数が「３」以上の感動詞であっても、反復される傾向がある。
　このため、解析部１１２は、一次回答に、次のような反復の対象（語）が含まれるか否かを解析して、当該対象があると解析した場合に、当該一次回答を反復部１１４に供給しても良い。
　反復の第１対象としては、実施形態のように、音節数が２以下の感動詞が挙げられるが、第２対象としては、感動詞に限られず、音節数が「２」以下の単純な語も挙げられ、さらに、第３対象として、音節数が「３」以上の感動詞も挙げられる。最も好ましいのは、第１対象であって、第２対象および第３対象は、第１対象の代替案となる。
　なお、音節数が「２」以下の単純な語は、単純であるがゆえに解析しにくい場合があり、また、音節数が「３」以上であって、反復される可能性のある感動詞は限定的であると考えられる。そこで、解析部１１２は、例えば予め登録しておいた対象が、一次回答に含まれるか否かを解析しても良い。
＜音声入力部等＞
　実施形態では、音声入力部１０２は、利用者の音声をマイクロフォンで入力して音声信号に変換する構成としたが、この構成に限られず、他の処理部で処理された音声信号や、他の装置から供給された（または転送された）音声信号を入力する構成としても良い。すなわち、音声入力部１０２は、音声をなんらかの形で取得する構成であれば良い。
　また、実施形態では、音声の意味内容に対応する一次回答をテキストで作成したが、テキスト以外のデータ、例えば音声波形データで作成しても良い。一次回答として音声波形データを用いる場合には、当該音声波形データを処理することにより、反復の対象の有無を解析すれば良い。この場合、二次回答についても音声波形データを用いることが好ましい。
　なお、実施形態のよう一次回答をテキストで作成する構成の利点としては、反復の対象の解析精度が向上する点や、二次回答についてもテキストになるので、音声合成に際して都合が良い点などが挙げられる。
　くわえて、一次回答作成部１１０は、入力された音声に対する一次回答を、回答データベース１２４の定型文を参照して作成するのではなく、外部サーバから直接取得しても良い。すなわち、一次回答作成部１１０は、入力された音声に対する一次回答を、なんらかの形で取得すれば足りる。
＜禁止モード＞
　実施形態において、音節数が「２」以下の感動詞については２回反復しているが、例えば「はい」（［ｈａ－ｉ］）を反復して「はいはい」（［ｈａ－ｉ－ｈａ－ｉ］）と音声合成して出力すると、いわゆる二度返事になり、状況によっては、利用者に不快な感じを与えてしまう場合がある。
　そこで、感動詞の反復を禁止する動作モード（禁止モード）を設け、禁止モードが設定されていれば、感動詞の反復機能をキャンセルさせる構成とする。キャンセルさせる構成の例としては、禁止モードに設定されていれば、反復部１１４が、感動詞の反復機能を禁止する構成としても良いし、解析部１１２が、一次回答作成部１１０による一次回答に含まれる感動詞の音節数が「２」以下であっても、当該一次回答を反復部１１４に供給するのではなく、直接、音声シーケンス作成部１１６に供給する構成としても良い。いずれにしても、音節数が「２」以下の感動詞が反復されないような構成とする。
　これにより、一次回答作成部１１０により作成された一次回答が２音節以下の「はい」（［ｈａ－ｉ］）であっても、図９に示されるように、反復されることなく、一次回答の通り「はい」（［ｈａ－ｉ］）が音声合成されることになる。
　なお、禁止モードや、上述した第１モードまたは第２モードについては、利用者が手動で設定しても良いし、入力された音声の内容や、音量、回答の内容、会話の履歴（状況）などを解析した結果に応じて装置が自動設定しても良い。
＜音声・回答＞
　実施形態については、回答を、人の声で音声合成する構成としたが、人による声のほかにも、動物の鳴き声で音声合成しても良い。すなわち、反復の対象は、人の声に限られず、動物の鳴き声を含む概念である。
　例えば、利用者が言語を問わず「いいてんきだね」という意味内容の問い掛けの音声を音声合成装置１０に入力した場合、音声合成装置１０は、猫の「ニャー」（英語で「Ｍｅｏｗ」）を反復して例えば「ニャーニャー」（英語で「Ｍｅｏｗ、ｍｅｏｗ」）というように音声合成する。
　なお、動物の鳴き声を合成して出力する場合、利用者が望む情報を得ることはできない。つまり、利用者が問い掛けとして「あすのてんきは？」と質問しても、当該利用者は明日の天気情報を得ることはできない。しかしながら、利用者がなんらかの形で問い掛けたときに、当該問い掛けに対して、鳴き声で反応が返されると、当該利用者に対して、当該鳴き声を発する仮想的な動物とあたかも意志が通じているかのような、一種の癒しの効果を与えることが期待できるのである。
　また、動物の鳴き声で音声合成する音声合成装置１０については、端末装置に限られず、当該動物を模したペットロボットや、縫いぐるみなどに適用しても良い。
＜その他＞
　実施形態では、反復を２回としたが、３回以上であっても良い。
　また、ＣＰＵ１１が、入力された音声の内容や、音量、回答の内容、会話の履歴（状況）などに基づいて反復回数を適宜決定して設定する構成としても良い。
　実施形態にあっては、問い掛けに対する一次回答を取得するための構成である言語解析部１０８、言語データベース１２２および回答データベース１２４を音声合成装置１０の側に設けたが、端末装置などでは、処理の負荷が重くなる点や、記憶容量に制限がある点などを考慮して、外部サーバの側に設ける構成としても良い。すなわち、音声合成装置１０においては、問い掛けに対する一次回答をなんらかの形で取得する構成であれば足り、その一次回答を、音声合成装置１０の側で作成するのか、音声合成装置１０以外の他の構成（例えば外部サーバ）の側で作成するのか、については問われない。
　なお、音声合成装置１０において、音声に対する回答について、外部サーバ等にアクセスしないで作成可能な用途であれば、情報取得部１２６は不要である。
　実施形態に係る音声合成装置１０としては、端末装置のほか、専用の電子回路や、汎用のパーソナルコンピュータによって実現しても良い。パーソナルコンピュータで実現する場合、マイクロフォンとスピーカと接続するとともに、予めインストールしたアプリケーションプログラムを実行することによって実現される。この場合、パーソナルコンピュータにインストールするアプリケーションプログラムについては、端末装置と同様にインターネット経由でダウンロードしても良いし、コンピュータが読取可能な記録媒体に格納された状態で提供されても良い。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体など任意である。
　また、実施形態に係る音声合成装置は、音声を合成する音声合成方法としても実現可能である。
１０…音声合成装置、２２…取得部、２４…音声合成部、１０２…音声入力部、１０８…言語解析部、１１０…一次回答作成部、１１２…解析部、１１４…反復部、１１６…音声シーケンス作成部、１１８…合成部、１２６…通信部。
 

Claims (11)

  1. 　音声を入力する音声入力部と、
    　前記音声入力部により入力された音声に対する一次回答を取得する取得部と、
    　前記一次回答に、反復の対象が含まれるか否かを解析する解析部と、
    　前記一次回答に反復の対象があると解析された場合に、当該対象を２回以上反復した二次回答を音声合成して出力する音声合成部と、
    　を具備することを特徴とする音声合成装置。
  2. 　前記反復の対象は、音節数が２以下の感動詞であり、
    　前記解析部は、
    　前記一次回答に感動詞が含まれているか否かを判別し、
    　感動詞が含まれていると判別した場合に、当該感動詞の音節数が２以下であるか否かを解析する
    　ことを特徴とする請求項１に記載の音声合成装置。
  3. 　前記取得部は、
    　前記音声入力部により入力された音声の意味を解析する言語解析部と、
    　前記言語解析部により解析された意味に対応する一次回答を作成する一次回答作成部と、
    　を含む
    　ことを特徴とする請求項２に記載の音声合成装置。
  4. 　前記解析部によって、前記一次回答に含まれる感動詞の音節数が２以下であると解析された場合に、当該感動詞を２回以上反復して出力する反復部を備える
    　ことを特徴とする請求項２または３に記載の音声合成装置。
  5. 　前記音声合成部は、
    　前記一次回答に含まれる感動詞の音節数が２以下であれば、前記反復部により感動詞が反復された二次回答を音声合成し、
    　前記一次回答に含まれる感動詞の音節数が３以上であれば、当該一次回答を二次回答として音声合成する
    　ことを特徴とする請求項４に記載の音声合成装置。
  6. 　前記音声合成部は、
    　前記一次回答から音声シーケンスを作成する音声シーケンス作成部と、
    　前記音声シーケンスに基づいて音声合成した音声信号を出力する合成部と、
    　を含む
    　ことを特徴とする請求項５に記載の音声合成装置。
  7. 　第１モードおよび第２モードを有し、
    　前記一次回答作成部は、
    　前記第１モードであれば、感動詞に具体的内容を加えた一次回答を作成し、
    　前記第２モードであれば、感動詞のみの一次回答、または、具体的内容のみの一次回答を、作成する
    　ことを特徴とする請求項３に記載の音声合成装置。
  8. 　禁止モードを有し、
    　前記禁止モードであれば、
    　前記音声合成部は、
    　前記音節数が２以下の感動詞を反復しないで音声合成する
    　ことを特徴とする請求項５、６または７に記載の音声合成装置。
  9. 　前記反復部は、
    　前記禁止モードであれば、前記音節数が２以下の感動詞の反復機能をキャンセルする
    　ことを特徴とする請求項８に記載の音声合成装置。
  10. 　音声を入力し、
    　前記入力した音声に対する一次回答を取得し、
    　前記一次回答に、反復の対象が含まれるか否かを解析し、
    　前記一次回答に反復の対象があると解析した場合に、当該対象を２回以上反復した二次回答を音声合成して出力する
    　ことを特徴とする音声合成方法。
  11. 　コンピュータを、
    　音声を入力する音声入力部、
    　前記音声入力部により入力された音声に対する一次回答を取得する取得部、
    　前記一次回答に、反復の対象が含まれるか否かを解析する解析部、および、
    　前記一次回答に反復の対象があると解析された場合に、当該対象を２回以上反復した二次回答を音声合成して出力する音声合成部、
    　として機能させることを特徴とするプログラム。
     
PCT/JP2015/069126 2014-07-02 2015-07-02 音声合成装置、音声合成方法およびプログラム WO2016002879A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15814984.9A EP3166104B1 (en) 2014-07-02 2015-07-02 Voice synthesizing apparatus,voice synthesizing method, and program therefor
CN201580035951.5A CN106471569B (zh) 2014-07-02 2015-07-02 语音合成设备、语音合成方法及其存储介质
JP2016531443A JP6428774B2 (ja) 2014-07-02 2015-07-02 音声制御装置、音声制御方法およびプログラム
US15/316,850 US10224021B2 (en) 2014-07-02 2015-07-02 Method, apparatus and program capable of outputting response perceivable to a user as natural-sounding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014136812 2014-07-02
JP2014-136812 2014-07-02

Publications (1)

Publication Number Publication Date
WO2016002879A1 true WO2016002879A1 (ja) 2016-01-07

Family

ID=55019406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069126 WO2016002879A1 (ja) 2014-07-02 2015-07-02 音声合成装置、音声合成方法およびプログラム

Country Status (5)

Country Link
US (1) US10224021B2 (ja)
EP (1) EP3166104B1 (ja)
JP (2) JP6428774B2 (ja)
CN (1) CN106471569B (ja)
WO (1) WO2016002879A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200251104A1 (en) * 2018-03-23 2020-08-06 Amazon Technologies, Inc. Content output management based on speech quality
US11393471B1 (en) * 2020-03-30 2022-07-19 Amazon Technologies, Inc. Multi-device output management based on speech characteristics

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943583B1 (en) * 2017-07-20 2021-03-09 Amazon Technologies, Inc. Creation of language models for speech recognition
US10530465B2 (en) 2018-05-30 2020-01-07 Motorola Solutions, Inc. Apparatus, system and method for generating a virtual assistant on a repeater

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002311981A (ja) * 2001-04-17 2002-10-25 Sony Corp 自然言語処理装置および自然言語処理方法、並びにプログラムおよび記録媒体
WO2002097794A1 (en) * 2001-05-25 2002-12-05 Rhetorical Group Plc Speech synthesis
JP2004110673A (ja) * 2002-09-20 2004-04-08 Nippon Telegr & Teleph Corp <Ntt> 文章スタイル変換方法、文章スタイル変換装置、文章スタイル変換プログラム、文章スタイル変換プログラムを格納した記録媒体
JP2006528050A (ja) * 2003-05-15 2006-12-14 ゼットアイ コーポレイション オブ カナダ インコーポレイテッド ビデオゲーム内のテキスト入力
JP2010175717A (ja) * 2009-01-28 2010-08-12 Mitsubishi Electric Corp 音声合成装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216618A (ja) 1991-11-18 1993-08-27 Toshiba Corp 音声対話システム
DE69232407T2 (de) 1991-11-18 2002-09-12 Toshiba Kawasaki Kk Sprach-Dialog-System zur Erleichterung von Rechner-Mensch-Wechselwirkung
DE19861167A1 (de) * 1998-08-19 2000-06-15 Christoph Buskies Verfahren und Vorrichtung zur koartikulationsgerechten Konkatenation von Audiosegmenten sowie Vorrichtungen zur Bereitstellung koartikulationsgerecht konkatenierter Audiodaten
SE517026C2 (sv) 2000-11-17 2002-04-02 Forskarpatent I Syd Ab Metod och anordning för talanalys
GB0113581D0 (en) * 2001-06-04 2001-07-25 Hewlett Packard Co Speech synthesis apparatus
JP2003271194A (ja) 2002-03-14 2003-09-25 Canon Inc 音声対話装置及びその制御方法
JP4038211B2 (ja) * 2003-01-20 2008-01-23 富士通株式会社 音声合成装置，音声合成方法および音声合成システム
US20050154594A1 (en) * 2004-01-09 2005-07-14 Beck Stephen C. Method and apparatus of simulating and stimulating human speech and teaching humans how to talk
JP2006039120A (ja) * 2004-07-26 2006-02-09 Sony Corp 対話装置および対話方法、並びにプログラムおよび記録媒体
JP2006157538A (ja) * 2004-11-30 2006-06-15 Sony Corp 電話システムおよび電話システムの音声出力方法
JP4832097B2 (ja) 2006-02-13 2011-12-07 富士通テン株式会社 音声対話システム
KR100764174B1 (ko) * 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
CN100501782C (zh) * 2006-09-30 2009-06-17 山东建筑大学 智能语音警示系统
US8930192B1 (en) * 2010-07-27 2015-01-06 Colvard Learning Systems, Llc Computer-based grapheme-to-speech conversion using a pointing device
CN102324231A (zh) * 2011-08-29 2012-01-18 北京捷通华声语音技术有限公司 一种游戏对话声音合成方法和系统
US9064492B2 (en) * 2012-07-09 2015-06-23 Nuance Communications, Inc. Detecting potential significant errors in speech recognition results
US9799328B2 (en) * 2012-08-03 2017-10-24 Veveo, Inc. Method for using pauses detected in speech input to assist in interpreting the input during conversational interaction for information retrieval
JP5821824B2 (ja) * 2012-11-14 2015-11-24 ヤマハ株式会社 音声合成装置
KR101709187B1 (ko) * 2012-11-14 2017-02-23 한국전자통신연구원 계층적 대화 태스크 라이브러리를 이용한 이중 대화관리 기반 음성대화시스템
US9292488B2 (en) * 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002311981A (ja) * 2001-04-17 2002-10-25 Sony Corp 自然言語処理装置および自然言語処理方法、並びにプログラムおよび記録媒体
WO2002097794A1 (en) * 2001-05-25 2002-12-05 Rhetorical Group Plc Speech synthesis
JP2004110673A (ja) * 2002-09-20 2004-04-08 Nippon Telegr & Teleph Corp <Ntt> 文章スタイル変換方法、文章スタイル変換装置、文章スタイル変換プログラム、文章スタイル変換プログラムを格納した記録媒体
JP2006528050A (ja) * 2003-05-15 2006-12-14 ゼットアイ コーポレイション オブ カナダ インコーポレイテッド ビデオゲーム内のテキスト入力
JP2010175717A (ja) * 2009-01-28 2010-08-12 Mitsubishi Electric Corp 音声合成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3166104A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200251104A1 (en) * 2018-03-23 2020-08-06 Amazon Technologies, Inc. Content output management based on speech quality
US11562739B2 (en) * 2018-03-23 2023-01-24 Amazon Technologies, Inc. Content output management based on speech quality
US20230290346A1 (en) * 2018-03-23 2023-09-14 Amazon Technologies, Inc. Content output management based on speech quality
US11393471B1 (en) * 2020-03-30 2022-07-19 Amazon Technologies, Inc. Multi-device output management based on speech characteristics

Also Published As

Publication number Publication date
JP2019045867A (ja) 2019-03-22
US10224021B2 (en) 2019-03-05
JPWO2016002879A1 (ja) 2017-04-27
JP6428774B2 (ja) 2018-11-28
EP3166104B1 (en) 2019-09-18
CN106471569B (zh) 2020-04-28
US20170116978A1 (en) 2017-04-27
CN106471569A (zh) 2017-03-01
EP3166104A1 (en) 2017-05-10
EP3166104A4 (en) 2018-03-07
JP6648805B2 (ja) 2020-02-14

Similar Documents

Publication Publication Date Title
JP6648805B2 (ja) 音声制御方法、音声制御装置およびプログラム
JP4471128B2 (ja) 半導体集積回路装置、電子機器
JP4973337B2 (ja) 音声読み上げのための装置、プログラム及び方法
WO2005093713A1 (ja) 音声合成装置
JP2007264284A (ja) 感情付加装置、感情付加方法及び感情付加プログラム
JP6343895B2 (ja) 音声制御装置、音声制御方法およびプログラム
JP6566076B2 (ja) 音声合成方法およびプログラム
JP6424419B2 (ja) 音声制御装置、音声制御方法およびプログラム
JP6375604B2 (ja) 音声制御装置、音声制御方法およびプログラム
JP6289950B2 (ja) 読み上げ装置、読み上げ方法及びプログラム
JP2006330060A (ja) 音声合成装置、音声処理装置、およびプログラム
JP3282151B2 (ja) 音声制御方式
Udayashankara et al. Speech therapy system to Kannada language
JP6648786B2 (ja) 音声制御装置、音声制御方法およびプログラム
JP2002268664A (ja) 音声変換装置及びプログラム
JP6536713B2 (ja) 音声制御装置、音声制御方法およびプログラム
JP2011180368A (ja) 合成音声修正装置および合成音声修正方法
JP6343896B2 (ja) 音声制御装置、音声制御方法およびプログラム
JPH11259094A (ja) 規則音声合成装置
Hande A review on speech synthesis an artificial voice production
JP6232892B2 (ja) 音声合成装置およびプログラム
Naidoo et al. Telephone based speech interfaces in the developing world, from the perspective of human-human communication
KR20150056366A (ko) 운율을 변환시키는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814984

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016531443

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15316850

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015814984

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015814984

Country of ref document: EP