JP6291808B2 - Speech synthesis apparatus and method - Google Patents
Speech synthesis apparatus and method Download PDFInfo
- Publication number
- JP6291808B2 JP6291808B2 JP2013244525A JP2013244525A JP6291808B2 JP 6291808 B2 JP6291808 B2 JP 6291808B2 JP 2013244525 A JP2013244525 A JP 2013244525A JP 2013244525 A JP2013244525 A JP 2013244525A JP 6291808 B2 JP6291808 B2 JP 6291808B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- sentence
- data
- start position
- phoneme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
本発明は、音声を聞いた人が感じる親しさの程度を増減させた音声を再生することができる音声発生装置、音声を聞いた人が感じる親しさの程度を増減させることができる音声合成装置及び方法に関する。 The present invention relates to a voice generation apparatus capable of reproducing a voice in which the degree of familiarity felt by a person who has heard the voice is increased, and a voice synthesizer capable of increasing or decreasing the degree of familiarity in which the person who has heard the voice feels. And a method.
近年、電子機器の操作方法を操作者に音声で説明する音声ガイダンスが普及している。音声ガイダンスに用いられる音声は、韻律が平坦で感情のこもっていない音声であることが多い。特許文献1には、無感情な音声に感情を付与する音声合成装置が記載されている。
In recent years, voice guidance that explains an operation method of an electronic device to an operator by voice has become widespread. The voice used for voice guidance is often a voice that has a flat prosody and no emotion.
従来の音声合成装置である特許文献1に記載の音声合成装置は、ニューラルネットワークを用いて無感情な音声のパラメータを感情のこもったパラメータに変換する学習を行わせることによって、無感情な音声に感情を付与する。よって、特許文献1に記載の音声合成装置においては、煩雑な構成・手順が必要となってしまうという問題点がある。
A speech synthesizer described in
本発明はこのような問題点に鑑み、簡易な構成・手順で音声の親しさの程度を効果的に増大させることができる音声合成装置及び方法を提供することを目的とする。 The present invention has been made in view of such problems, and an object thereof is to provide a voice synthesizing apparatus and method capable of effectively increasing size of the degree of familiarity of the voice easy easy Do construction and procedure.
本発明は、文章における最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置とし、開始位置以降の周波数を一定の周波数だけ上昇させた韻律情報を含む音声とすることによって、人が感じる音声の親しさの程度を増大させる。 The present invention is later than the first phoneme of the last phrase in sentence as a starting position one of the positions in the last clause, the prosodic information of the frequency after the starting position was only on the temperature constant frequency By including the voice, the degree of familiarity of the voice felt by the person is increased .
本発明の音声合成装置及び方法によれば、簡易な構成・手順で音声の親しさの程度を効果的に増大させることができる。 According to the speech synthesis apparatus and method of the present invention, it is possible to effectively increase large degree of familiarity of the speech with a simple configuration and procedure.
以下、各実施形態の音声発生装置、音声合成装置及び方法について、添付図面を参照して説明する。各実施形態の音声発生装置、音声合成装置及び方法は、音声に親しさを付与して音声の親しさの程度を増大させることができる。また、各実施形態の音声発生装置、音声合成装置及び方法は、音声の親しさの程度を減少させることもできる。以下の説明では、音声の親しさの程度を増大させる動作を中心に説明することとする。 Hereinafter, a speech generation device, a speech synthesis device, and a method according to each embodiment will be described with reference to the accompanying drawings. The speech generation device, speech synthesis device, and method of each embodiment can increase the degree of familiarity of speech by adding familiarity to speech. In addition, the speech generation device, speech synthesis device, and method of each embodiment can reduce the degree of familiarity of speech. In the following description, the operation for increasing the degree of familiarity of sound will be mainly described.
<第1実施形態の音声発生装置及び音声合成装置>
図1に示す第1実施形態の音声発生装置及び音声合成装置は、音声合成によって音声データを生成する際に、音声の親しさの程度を増大させる構成例である。第1実施形態の音声発生装置及び音声合成装置は、文章を示すテキストデータに基づいて音声データを生成する音声合成装置である。
<Speech generator and speech synthesizer of first embodiment>
The speech generator and speech synthesizer of the first embodiment shown in FIG. 1 are configuration examples that increase the degree of familiarity of speech when generating speech data by speech synthesis. The speech generator and speech synthesizer of the first embodiment are speech synthesizers that generate speech data based on text data indicating a sentence.
図1において、所定の文章を示すテキストデータは、韻律情報生成部11と韻律情報修正部13と合成部14とに入力される。テキストデータは、例えばアスキーコードである。
In FIG. 1, text data indicating a predetermined sentence is input to a prosody
韻律辞書12は、複数の韻律情報のパターンを保持している。韻律情報とは、音声における声質以外の部分であり、アクセントやリズム等を形成する部分である。韻律情報生成部11は、韻律辞書12より、入力されたテキストデータの文章の各文節に適したパターンの韻律情報を読み出して、文章の韻律情報を生成する。韻律情報は、韻律情報修正部13に入力される。
The
例えば、テキストデータが示す文章が「…を設定いたします」という文章であり、文節「…を」と文節「設定」との間、文節「設定」と文節「いたします」との間に、息継ぎの時間に相当する短時間の間隔を設けるとする。この場合、テキストデータ自体に間隔を設けてもよいし、韻律情報生成部11において間隔を設けた状態の韻律情報を生成してもよい。
For example, the sentence indicated by the text data is a sentence “I will set…”, and between the phrase “…” and the phrase “setting”, between the phrase “setting” and the phrase “I will” It is assumed that a short interval corresponding to this time is provided. In this case, the text data itself may be provided with an interval, or the prosodic
韻律情報修正部13は、音声の親しさの程度を増大させるよう韻律情報を修正する。韻律情報修正部13における韻律情報の具体的な修正の仕方については後に詳述する。修正された韻律情報は合成部14に入力される。
The prosodic
音道辞書15は、複数の音道情報のパターンを保持している。音道情報とは、音声における声質の部分である。音道辞書15は、音道情報のパターンを文章単位で保持していてもよいし、単語単位で保持していてもよいし、音素単位で保持していてもよい。
The
合成部14は、入力されたテキストデータの文章に適したパターンの音道情報を読み出し、修正された韻律情報と音道情報とを合成することによってデジタル信号の音声データを生成する。音声データはD/A変換器16によってアナログ信号に変換されて、スピーカ17より音声として出力される。
The synthesizing
図1に示す音声合成装置によって構成した音声発生装置は、韻律情報生成部11〜音道辞書15の部分を、演算処理装置(マイクロプロセッサ)と記憶装置とを含むマイクロコンピュータで構成することができる。
Sound generating equipment constructed in accordance with the speech synthesis device shown in FIG. 1, a portion of the prosodic
<第2実施形態の音声発生装置及び音声合成装置>
図2に示す第2実施形態の音声発生装置及び音声合成装置は、音声データが予め音声ファイルとして形成されている場合に音声の親しさの程度を増大させる構成例である。第2実施形態の音声発生装置及び音声合成装置は、文章の音声データを含む音声ファイルと、文章を示すテキストデータと、テキストデータのタイミングデータとに基づいて、音声データの韻律情報を修正する音声処理装置である。
<Speech generator and speech synthesizer of second embodiment>
The speech generation device and speech synthesis device according to the second embodiment shown in FIG. 2 is a configuration example that increases the degree of familiarity of speech when speech data is previously formed as a speech file. The speech generator and speech synthesizer of the second embodiment are speech that corrects the prosodic information of speech data based on a speech file that includes speech data of a sentence, text data that indicates the sentence, and timing data of the text data. It is a processing device.
図2において、韻律・声道分離部21には文章の音声データを含む音声ファイルが入力される。音声ファイルは、例えばWAV形式である。音声ファイルはWAV形式に限定されない。
In FIG. 2, the prosody / vocal
韻律・声道分離部21は、音声ファイルの音声データを韻律情報と声道情報とに分離する。声道情報保持部22は声道情報を保持する。韻律情報保持部23は韻律情報を保持する。
The prosody / vocal
修正位置検出部26には、音声ファイルの音声データを示すテキストデータとタイミングデータとが入力される。タイミングデータは、音声データの時間位置を示す。タイミングデータによって、音素の発話開始位置や文節間に息継ぎの時間に相当する間隔を設定することができる。修正位置検出部26は、テキストデータ及びタイミングデータに基づいて、韻律情報修正部24において韻律情報を修正する際の修正位置を検出する。
Text data indicating the voice data of the voice file and timing data are input to the correction
韻律情報修正部24は、修正位置検出部26が検出した修正位置より韻律情報を修正することによって、音声の親しさの程度を増大させる。修正された韻律情報は合成部14に入力される。修正位置検出部26における修正位置の検出の仕方、及び、韻律情報修正部24における具体的な修正の仕方については後に詳述する。
The prosodic
合成部14は、修正された韻律情報と声道情報保持部22に保持された声道情報とを合成することによってデジタル信号の音声データを生成する。音声データはD/A変換器27によってアナログ信号に変換されて、スピーカ28より音声として出力される。
The
図2に示す音声処理装置によって構成した音声発生装置及び音声合成装置は、韻律・声道分離部21〜修正位置検出部26の部分を、演算処理装置と記憶装置とを含むマイクロコンピュータで構成することができる。
The speech generator and speech synthesizer configured by the speech processing device shown in FIG. 2 includes the prosody / vocal
<第3実施形態の音声発生装置及び音声合成装置>
図3に示す第3実施形態の音声発生装置及び音声合成装置は、人が話した音声の親しさの程度を増大させる構成例である。図3において、図2と同一部分には同一符号を付し、その説明を適宜省略する。
<Speech Generator and Speech Synthesizer of Third Embodiment>
The speech generator and speech synthesizer of the third embodiment shown in FIG. 3 is a configuration example that increases the degree of familiarity of speech spoken by a person. 3, the same parts as those in FIG. 2 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
第3実施形態の音声発生装置及び音声合成装置は、人が発する文章の音声をマイクロホンで収音した音声データと、音声データを音声認識することによって生成した文章を示すテキストデータとに基づいて、音声データの韻律情報を修正する音声処理装置である。 The speech generator and speech synthesizer of the third embodiment are based on speech data obtained by collecting speech of a sentence uttered by a person with a microphone, and text data indicating a sentence generated by speech recognition of the speech data. This is a speech processing device for correcting prosodic information of speech data.
図3において、マイクロホン31は人が発した音声を収音してアナログの音声信号を出力する。A/D変換器32は、アナログの音声信号をデジタルの音声データに変換する。音声データは、韻律・声道分離部21と音声認識部33とに入力される。
In FIG. 3, a
音声認識部33は、入力された音声データの音声を認識してテキストデータを出力する。テキストデータは、修正位置検出部34に入力される。修正位置検出部34は、例えば形態素解析の手法を用いて韻律情報を修正する際の修正位置を検出する。韻律情報修正部24は、修正位置検出部34が検出した修正位置より韻律情報を修正することによって、音声の親しさの程度を増大させる。
The
図3に示す音声処理装置によって構成した音声発生装置及び音声合成装置は、マイクロホン31,A/D変換器32,D/A変換器27,スピーカ28以外の部分を、演算処理装置と記憶装置とを含むマイクロコンピュータで構成することができる。
The speech generator and speech synthesizer configured by the speech processing device shown in FIG. 3 includes parts other than the
<実施形態の音声合成方法>
図1の韻律情報修正部13、図2及び図3の韻律情報修正部24における韻律情報の修正方法、及び、図2の修正位置検出部26、図3の修正位置検出部34における修正位置の検出方法について説明する。
<Speech Synthesis Method of Embodiment>
The prosody
図4の(a)は、第1の例文として「経由地にします」なる音声を発生させたときの振幅波形を示している。図4の(b)に示すように、「経由地にします」をローマ字表記した「KeIYuChiNiShiMaSu」のKe,I,Yu,Chi,Ni,Shi,Ma,Suはそれぞれ音素番号1〜8の音素を示している。音素番号1〜8の音素は、例えば時間位置2.22秒から2.85秒までのそれぞれの時間位置に位置している。
FIG. 4A shows an amplitude waveform when the first example sentence, “I will make a stopover”, is generated. As shown in Fig. 4 (b), Ke, I, Yu, Chi, Ni, Shi, Ma, and Su of "KeIYuChiNiShiMaSu" with "Make a stopover" in Roman letters are phonemes numbered 1-8. Show. The phonemes with
「KeIYuChi」は文節Ph1、「Ni」は文節Ph2、「ShiMaSu」は文節Ph3である。実施形態の音声合成方法においては、複数の文節を有する文章の音声を発生させるとき、文章における最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置とし、開始位置以降の周波数を一定の周波数だけ上昇させることによって、音声の親しさの程度を増大させる。 “KeIYuChi” is the phrase Ph1, “Ni” is the phrase Ph2, and “ShiMaSu” is the phrase Ph3. In the speech synthesis method of the embodiment, when generating speech of a sentence having a plurality of clauses, it is after the first phoneme of the last clause in the sentence, and any position in the last clause is a start position, By increasing the frequency after the start position by a certain frequency, the degree of familiarity of the voice is increased.
図4の(b)に示す例では、図1の韻律情報修正部13、図2及び図3の韻律情報修正部24は、最後の文節である文節Ph3の最初の音素「Shi」より後であり、文節Ph3内のいずれかの位置を開始位置とする。韻律情報修正部13,24は、その開始位置以降の周波数を一定の周波数だけ上昇させる。図2の修正位置検出部26、図3の修正位置検出部34は、最後の文節である文節Ph3を検出する。
In the example shown in FIG. 4B, the prosodic
図5の(a),(b)は他の例を示す。図5の(a)は、第2の例文として「ゆっくり楽しんできて下さいね」なる音声を発生させたときの振幅波形を示している。 FIGS. 5A and 5B show another example. FIG. 5A shows an amplitude waveform when a voice “Please enjoy yourself slowly” is generated as a second example sentence.
図5の(b)に示すように、「ゆっくり楽しんできて下さいね」をローマ字表記した「YuKkuRiTaNoShiNDeKiTeKuDaSaINe」のYu,Kku,Ri,Ta,No,Shi,N,De,Ki,Te,Ku,Da,Sa,I,Neはそれぞれ音素番号1〜15の音素を示している。音素番号1〜15の音素は、例えば時間位置2.22秒から3.49秒までのそれぞれの時間位置に位置している。
As shown in Fig. 5B, "YuKkuRiTaNoShiNDeKiTeKuDaSaINe" Yu, Kku, Ri, Ta, No, Shi, N, De, Ki, Te, Ku, Da , Sa, I, Ne indicate phonemes with
「YuKkuRi」は文節Ph1、「TaNoShiNDe」は文節Ph2、「KiTe」は文節Ph3、「KuDaSaINe」は文節Ph4である。図5の(b)に示す例では、図1の韻律情報修正部13、図2及び図3の韻律情報修正部24は、文章における最後の文節Ph4の文節の最初の音素「Ku」より後であり、最後の文節内のいずれかの位置を開始位置とする。韻律情報修正部13,24は、その開始位置以降の周波数を一定の周波数だけ上昇させることによって、音声の親しさの程度を増大させる。
“YuKkuRi” is the phrase Ph1, “TaNoShiNDe” is the phrase Ph2, “KiTe” is the phrase Ph3, and “KuDaSaINe” is the phrase Ph4. In the example shown in FIG. 5B, the prosodic
図6の(a),(b)は、図5の(b)における文節Ph4の語尾である音素「Ne」の部分の周波数を上昇させたときの振幅と周波数の特性を示している。図6の(b)に示す黒丸の点は、周波数特性における極大値もしくは極小値を示す極点、または、変曲点を示している。黒丸の点の位置は、音素の位置とは必ずしも一致しない。但し、音素の位置が極点または変曲点となる場合も多い。 6A and 6B show the amplitude and frequency characteristics when the frequency of the phoneme “Ne” part which is the ending of the phrase Ph4 in FIG. 5B is increased. Black dots shown in FIG. 6B indicate extreme points or inflection points indicating the maximum value or the minimum value in the frequency characteristics. The position of the black dot does not necessarily match the position of the phoneme. However, in many cases, the position of the phoneme is a pole or an inflection point.
図6の(a),(b)は、音素「Ne」における子音N以降の周波数を上昇させた場合を示している。図6の(b)において、破線は周波数を上昇させていない状態の特性、実線は周波数を上昇させた状態の特性を示している。ここでは、音素「Ne」の部分の韻律の周波数を40Hz上昇させた例を示している。 6A and 6B show a case where the frequency after the consonant N in the phoneme “Ne” is increased. In FIG. 6B, the broken line indicates the characteristic when the frequency is not increased, and the solid line indicates the characteristic when the frequency is increased. In this example, the frequency of the prosody of the phoneme “Ne” portion is increased by 40 Hz.
周波数を上昇させても、図6の(a)に示す振幅の特性には影響を与えない。よって、周波数を上昇させていない状態と周波数を上昇させた状態とで、振幅の特性には変化はない。 Increasing the frequency does not affect the amplitude characteristics shown in FIG. Therefore, there is no change in the amplitude characteristics between the state where the frequency is not increased and the state where the frequency is increased.
図7は、図6の(a),(b)と同様であり、最後の文節Ph4の最後の音素「Ne」を開始位置とした例である。図7では、文節Ph4における音素「Ne」の時間位置は3.49と設定されている。この時間位置3.49は子音Nの位置を示す。よって、文節Ph4の子音N以降の周波数が上昇することになる。 FIG. 7 is the same as (a) and (b) of FIG. 6 and shows an example in which the last phoneme “Ne” of the last phrase Ph4 is set as the start position. In FIG. 7, the time position of the phoneme “Ne” in the phrase Ph4 is set to 3.49. This time position 3.49 indicates the position of the consonant N. Therefore, the frequency after the consonant N of the phrase Ph4 increases.
図8は、最後の文節Ph4の最後の音素より1つ前の音素「I」を開始位置とした例である。文節Ph4の最初の音素「Ku」より後の開始位置としては、図7に示すように、語尾である最後の音素「Ne」が好適である。しかしながら、語尾が弱く発音されると、語尾を開始位置としてもさほど効果が得られない。この場合には、図8に示すように、語尾より1つ前の音素「I」を開始位置とするのがよい。 FIG. 8 shows an example in which the phoneme “I” immediately before the last phoneme of the last phrase Ph4 is set as the start position. As the start position after the first phoneme “Ku” of the phrase Ph4, as shown in FIG. 7, the last phoneme “Ne” that is the end is suitable. However, if the ending is pronounced weakly, even if the ending is used as the start position, the effect is not so much obtained. In this case, as shown in FIG. 8, the phoneme “I” immediately before the ending is preferably set as the start position.
特に図示していないが、文節Ph4では、語尾より前に最初の音素「Ku」以外で音素「Da」,「Sa」が存在している。音素「Sa」または「Da」を開始位置とすることも可能である。 Although not particularly illustrated, in the phrase Ph4, phonemes “Da” and “Sa” exist other than the first phoneme “Ku” before the ending. The phoneme “Sa” or “Da” can be set as the start position.
なお、文節Ph4の最初の音素「Ku」を開始位置とせず、音素「Da」以降を開始位置とすると、柔らかな印象となる場合が多い。 If the first phoneme “Ku” of the phrase Ph4 is not set as the start position, and the phoneme “Da” and subsequent positions are set as the start position, a soft impression is often obtained.
図9に示す例は、図4の(b)と同様、「経由地にします」(「KeIYuChiNiShiMaSu」)を示している。図9においては、音素「Su」の子音Sの時間位置が2.85、母音uの時間位置が2.90と別々に設定されている。このような場合には、最後の音素「Su」における母音u以降の周波数を上昇させてもよい。 The example shown in FIG. 9 shows “Make a transit point” (“KeIYuChiNiShiMaSu”), as in FIG. 4B. In FIG. 9, the time position of the consonant S of the phoneme “Su” is set to 2.85 and the time position of the vowel u is set separately to 2.90. In such a case, the frequency after the vowel u in the last phoneme “Su” may be increased.
最後の文節の最初の音素以外で、最後の音素より前の音素を開始位置とする場合においても、音素の子音の時間位置と母音の時間位置とが別々に設定されている場合には、子音を開始位置としてもよいし、母音を開始位置としてもよい。 If the start position is a phoneme other than the first phoneme of the last phrase, but the time position of the phoneme consonant and the time position of the vowel are set separately, the consonant May be used as the start position, or a vowel may be used as the start position.
図10を用いて、文章における最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置として、周波数を上昇させる際のさらに詳細かつ好ましい音声合成方法について説明する。ここでは、「ゆっくり楽しんできて下さいね」という文章の「…いね」の部分を例とする。「…いね」の部分の音声の韻律が図10の(a)に示すような周波数特性を有するとする。ここでは、簡略化のため周波数特性を概略的に示している。 With reference to FIG. 10, a more detailed and preferable speech synthesis method for increasing the frequency after the first phoneme of the last phrase in the sentence and starting from any position in the last phrase will be described. . Here, the “... Ie” part of the sentence “Please enjoy yourself slowly” is taken as an example. Assume that the prosody of the voice of “...” Portion has frequency characteristics as shown in FIG. Here, frequency characteristics are schematically shown for simplification.
図10の(a)〜(c)において、黒丸の点p1〜p6は、図6と同様、極点または変曲点を示している。点p1〜p6の位置は、音素の位置とは必ずしも一致しないが、音素の位置が極点または変曲点となる場合も多い。 In FIGS. 10A to 10C, black circle points p <b> 1 to p <b> 6 indicate pole points or inflection points as in FIG. 6. The positions of the points p1 to p6 do not necessarily coincide with the positions of the phonemes, but the positions of the phonemes are often extreme points or inflection points.
図1の韻律情報修正部13、図2及び図3の韻律情報修正部24は、最後の文節の最後の音素「ね」を選択した場合、音素「ね」に最も近い位置であり、文章の韻律が示す周波数特性の極点または変曲点を、周波数を一定の周波数だけ上昇させる開始位置とすることができる。
The prosodic
図10の(a)の例では、「…いね」の最後の音素「ね」に最も近い極点または変曲点は点p6である。図1の韻律情報修正部13、図2及び図3の韻律情報修正部24は、点p6を周波数上昇の開始位置として、点p6以降の周波数を上昇させる。
In the example of FIG. 10A, the pole or inflection point closest to the last phoneme “Ne” of “... The prosody
図10の(b)は、点p6以降の周波数を上昇させた状態を示している。周波数の上昇によって、点p6は点p6’へと移る。 FIG. 10B shows a state where the frequency after the point p6 is increased. As the frequency increases, point p6 moves to point p6 '.
図10の(b)に示すような周波数特性は、周波数が急激に変化する。そこで、周波数を一定の周波数だけ上昇させる開始位置(ここでは点p6(p6’))より所定時間前の位置より、開始位置まで周波数を連続的に変化させることが好ましい。開始位置より所定時間前の位置も、極点または変曲点であるのがよい。 In the frequency characteristic as shown in FIG. 10B, the frequency changes abruptly. Therefore, it is preferable to continuously change the frequency from a position a predetermined time before the start position (here, point p6 (p6 ')) where the frequency is increased by a certain frequency to the start position. The position a predetermined time before the start position may also be a pole or an inflection point.
図10の(c)の例では、所定時間前の位置を、開始位置より前に位置する極点または変曲点である点p5としている。点p5から点p6’まで周波数が連続的に上昇するように周波数を直線的に変化させてもよいし、上に凸の曲線状または下に凸の曲線状に変化させてもよい。 In the example of FIG. 10C, the position before the predetermined time is a point p5 that is a pole or an inflection point located before the start position. The frequency may be linearly changed so that the frequency continuously increases from the point p5 to the point p6 ', or may be changed to an upward convex curve or a downward convex curve.
ここで、点p5から点p6’までは0.05秒以上の時間があると自然に聞こえやすい。よって、開始位置である極点または変曲点と、開始位置の直前に位置する極点または変曲点との時間間隔が0.05秒未満である場合には、開始位置に対して、開始位置より前の0.05秒以上の時間間隔を有する極点または変曲点を選択するのがよい。 Here, if there is a time of 0.05 seconds or more from the point p5 to the point p6 ', it is easy to hear naturally. Therefore, when the time interval between the pole or inflection point that is the start position and the pole or inflection point located immediately before the start position is less than 0.05 seconds, A pole or inflection point having a time interval of 0.05 seconds or more is preferably selected.
文章の最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置とは、最後の文節の最初の音素を除き、最後の文節内のいずれかの音素に最も近い極点または変曲点であってもよい。 After the first phoneme of the last phrase of a sentence, any position in the last phrase means the extreme point closest to any phoneme in the last phrase, excluding the first phoneme of the last phrase It may be an inflection point.
なお、「はい」や「すみません」のように文章が1つの文節のみからなる場合も、周波数を上昇させる対象とする。1つの文節のみの文章における文節も最後の文節と称することとする。 It should be noted that even if the sentence is composed of only one phrase such as “Yes” or “I'm sorry”, the frequency is increased. A clause in a sentence with only one clause is also referred to as the last clause.
上述した開始位置以降全体の周波数を一定の周波数だけ上昇させた音声を複数の人が聞き、親しさの程度の変化を評価した結果、音声の親しさの程度を増大させる効果が確認されている。 As a result of a plurality of people listening to the voice whose overall frequency has been increased by a certain frequency after the start position described above and evaluating the change in the degree of familiarity, the effect of increasing the degree of familiarity of the voice has been confirmed. .
また、上述した開始位置以降の周波数を一定の周波数だけ下降させると、音声の親しさの程度が減少することも確認されている。各実施形態の音声発生装置、音声合成装置及び方法は、人が音声を聞いたときに感じる親しさの程度を意図的に減少させるために、上述した開始位置以降の周波数を一定の周波数だけ下降させることも可能である。 It has also been confirmed that when the frequency after the above-described start position is lowered by a certain frequency, the degree of familiarity with the sound decreases. The speech generator, speech synthesizer, and method of each embodiment lower the frequency after the start position described above by a certain frequency in order to intentionally reduce the degree of familiarity that a person feels when listening to speech. It is also possible to make it.
以上のように、各実施形態の音声発生装置及び音声合成装置は、韻律情報修正部13,24と、合成部14,25とを備える。韻律情報修正部13,24は、複数の文節よりなる文章を音声で表現するに際し、文章における最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置とする。韻律情報修正部13,24は、開始位置以降の周波数を一定の周波数だけ上昇または下降させるように韻律情報を修正する。
As described above, the speech generation device and the speech synthesis device according to each embodiment include the prosodic
合成部14,25は、韻律情報修正部13,24によって修正された韻律情報と音道情報とを合成することにより、文章の音声データを生成する。
The synthesizing
各実施形態の音声発生装置及び音声合成装置によれば、簡易な構成で音声の親しさの程度を効果的に増減させることができる。 According to the speech generator and speech synthesizer of each embodiment, the degree of familiarity of speech can be effectively increased or decreased with a simple configuration.
韻律情報修正部13,24は、最後の文節内の最初の音素を除くいずれかの音素の子音または母音の位置を、周波数を一定の周波数だけ上昇または下降させる開始位置とする。これによって、最後の文節の最初の音素より後の開始位置より韻律情報を修正することができる。
The prosodic
韻律情報修正部13,24は、上記のいずれかの音素を最後の文節の最後の音素とし、語尾の1文字のみ韻律情報を修正することができる。例えば語尾のみ周波数を上昇させると、柔らかな印象を与えつつ、音声の親しさの程度を増大させることができる。
The prosodic
韻律情報修正部13,24は、最後の文節内の最初の音素を除くいずれかの音素に最も近い位置であり、文章の韻律が示す周波数特性の極点または変曲点を開始位置としてもよい。これによって、最後の文節の最初の音素より後の開始位置より韻律情報を修正することができる。
The prosodic
このとき、韻律情報修正部13,24は、開始位置より所定時間前の位置より開始位置まで周波数を連続的に変化させることが好ましい。このようにすれば、違和感がほとんどなく、音声の親しさの程度を増減させることができる。
At this time, it is preferable that the prosodic
韻律情報修正部13,24は、所定時間前の位置を、開始位置より前に位置する極点または変曲点とするのがよい。このようにすれば、周波数特性の変化に合わせて周波数を連続的に変化させることができる。
The prosodic
実施形態の音声発生装置及び音声合成装置は、文章を示すテキストデータに基づいて音声データを生成する音声合成装置であってよい。音声合成装置は、音声合成によって音声の親しさの程度を増減させた音声データを生成することができる。 The speech generator and speech synthesizer of the embodiment may be a speech synthesizer that generates speech data based on text data indicating a sentence. Speech synthesizer can generate voice data to increase or decrease the degree of familiarity of the speech by the speech synthesis.
実施形態の音声発生装置及び音声合成装置は、文章の音声データを含む音声ファイルと、文章を示すテキストデータと、テキストデータのタイミングデータとに基づいて、音声データの韻律情報を修正する音声処理装置であってよい。音声発生装置及び音声合成装置をこのように動作する音声処理装置で構成すれば、音声ファイルとして記録された音声データの音声の親しさの程度を増減させることができる。 The speech generation device and the speech synthesis device according to the embodiment include a speech processing device that corrects prosodic information of speech data based on a speech file including speech data of a sentence, text data indicating the sentence, and timing data of the text data. It may be. If the voice generator and the voice synthesizer are configured by a voice processing device that operates in this manner, the degree of familiarity of the voice data recorded as a voice file can be increased or decreased.
実施形態の音声発生装置及び音声合成装置は、人が発する文章の音声をマイクロホンで収音した音声データと、音声データを音声認識することによって生成した文章を示すテキストデータとに基づいて、音声データの韻律情報を修正する音声処理装置であってよい。音声発生装置及び音声合成装置をこのように動作する音声処理装置で構成すれば、人が発する音声の親しさの程度を増減させることができる。 The speech generation device and the speech synthesis device according to the embodiment are based on speech data in which speech of a sentence uttered by a person is collected by a microphone and text data indicating a sentence generated by speech recognition of the speech data. It may be a speech processing device that corrects the prosodic information. If the voice generator and the voice synthesizer are configured by a voice processing device that operates in this way, it is possible to increase or decrease the degree of familiarity of voice uttered by a person.
実施形態の音声合成方法は、韻律情報修正工程と合成工程とを含む。韻律情報修正工程は、複数の文節よりなる文章の音声データを構成する韻律情報と音道情報とのうち、韻律情報における文章の最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置とする。韻律情報修正工程は、開始位置以降の周波数を一定の周波数だけ上昇または下降させるよう修正する。 The speech synthesis method according to the embodiment includes a prosodic information correction step and a synthesis step. The prosodic information correction step is after the first phoneme of the last phrase of the sentence in the prosodic information among the prosodic information and sound path information constituting the speech data of the sentence composed of a plurality of phrases, and in the last phrase Either position is set as the start position. In the prosodic information correction step, the frequency after the start position is corrected so as to increase or decrease by a certain frequency.
合成工程は、韻律情報修正工程にて修正された韻律情報と音道情報とを合成して、文章の音声データを発音させたときの音声が有する親しさの程度を変化させた音声データを生成する。 In the synthesis step, the prosody information corrected in the prosody information correction step and the sound path information are synthesized to generate voice data in which the degree of familiarity of the voice when the voice data of the sentence is pronounced is changed. To do.
実施形態の音声合成方法によれば、簡易な手順で音声の親しさの程度を効果的に増減させることができる。 According to the speech synthesis method of the embodiment, the degree of familiarity of speech can be effectively increased or decreased by a simple procedure.
本発明は以上説明した各実施形態の音声発生装置、音声合成装置及び方法に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 The present invention is not limited to the speech generator, speech synthesizer, and method of each embodiment described above, and various modifications can be made without departing from the scope of the present invention.
図1〜図3に示す音声発生装置は、音声合成装置を備えた構成を示している。音声発生装置が音声合成装置を備えず、音声合成装置を音声発生装置の外部に設けてもよい。音声発生装置は、文章における最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置とし、開始位置以降の周波数を一定の周波数だけ上昇または下降させた韻律情報を含むように生成された音声データを保持する記憶部と、記憶部より読み出された音声データを再生する音声再生部とを備える構成であってもよい。 The voice generator shown in FIGS. 1 to 3 has a configuration including a voice synthesizer . Sound generation device is not equipped with a voice synthesizer may be provided a voice synthesizing apparatus to an external sound generation device. The sound generation device is a prosodic information that is after the first phoneme of the last phrase in the sentence, has a start position at any position in the last phrase, and increases or decreases the frequency after the start position by a certain frequency. A configuration may be provided that includes a storage unit that holds audio data generated so as to include the audio data, and an audio reproduction unit that reproduces audio data read from the storage unit.
図1におけるD/A変換器16及びスピーカ17、図2,図3におけるD/A変換器27及びスピーカ28は、音声再生部の少なくとも一部を構成する。音声発生装置が音声データを保持する記憶部を備える場合、記憶部から音声データを読み出す読み出し部も音声再生部の一部とすることができる。
The D /
このように、音声発生装置は、文章における最後の文節の最初の音素より後であり、最後の文節内のいずれかの位置を開始位置とし、開始位置以降の周波数を一定の周波数だけ上昇または下降させた韻律情報を含むように生成された音声データを再生する音声再生部を備えればよい。 In this way, the sound generation device is after the first phoneme of the last phrase in the sentence, starts at any position in the last phrase, and increases or decreases the frequency after the start position by a certain frequency. What is necessary is just to provide the audio | voice reproduction | regeneration part which reproduce | regenerates the audio | voice data produced | generated so that the prosodic information made to be included may be included.
音声発生装置及び音声合成装置をハードウェアで構成してもよいし、ソフトウェアで構成してもよく、両者を混在させて構成してもよい。 The voice generation device and the voice synthesis device may be configured by hardware, may be configured by software, or may be configured by mixing both.
音声を韻律情報と声道とに分離して合成する際に、例えば、vocoderと称される一般的な音声分析合成系を用いることが可能である。ソフトウェアとしては、音声分析用ソフトウェアPraatを用いることが可能である。Praatで使われているT-SOLAアルゴリズムを用いるとよい。 When separating and synthesizing speech into prosodic information and vocal tract, for example, a general speech analysis / synthesis system called vocoder can be used. As software, voice analysis software Praat can be used. Use the T-SOLA algorithm used in Praat.
本発明を、コンピュータに、音声合成方法における韻律情報修正工程と合成工程と同等の、韻律情報修正ステップと合成ステップとを実行させる音声合成プログラムによって実現することも可能である。 The present invention, in the computer, equivalent to the prosody information correction step and the synthesis step in the speech synthesis method can also be implemented by a speech synthesis program for executing the synthetic steps with prosody information correction step.
13,24 韻律情報修正部
14,25 合成部
16,27 D/A変換器(音声再生部)
17,28 スピーカ(音声再生部)
13, 24 Prosodic
17, 28 Speaker (Audio playback unit)
Claims (12)
前記韻律情報修正部によって修正された韻律情報と音道情報とを合成することにより、前記文章の音声データを生成する合成部と、
を備え、
前記韻律情報修正部は、前記最後の文節内の最初の音素を除くいずれかの音素に最も近い位置であり、前記文章の韻律が示す周波数特性の極点または変曲点を前記開始位置とする
ことを特徴とする音声合成装置。 When expressing a sentence by voice, it is after the first phoneme of the last phrase in the sentence, any position in the last phrase is a start position, and the frequency after the start position is increased by a certain frequency. A prosody information correction unit that corrects the prosody information so as to increase,
A synthesizing unit that generates speech data of the sentence by synthesizing the prosodic information and the sound path information corrected by the prosody information correcting unit;
With
The prosodic information correction unit is a position closest to any phoneme except the first phoneme in the last phrase, and the extreme point or inflection point of the frequency characteristic indicated by the prosody of the sentence is set as the start position. A speech synthesizer characterized by the above.
前記韻律情報修正工程にて修正された韻律情報と前記音道情報とを合成して、前記文章の音声データを発音させたときの音声が有する親しさの程度を増大させた音声データを生成する合成工程と、
を含むことを特徴とする音声合成方法。 Of the prosodic information and sound path information constituting the speech data of the sentence, the position is after the first phoneme of the last phrase of the sentence in the prosodic information, and any position in the last phrase is a start position. Prosody information correction step for correcting the frequency after the start position to increase by a certain frequency;
Synthesizing the prosodic information corrected in the prosodic information correcting step and the sound path information to generate speech data in which the degree of familiarity of the speech when the speech data of the sentence is pronounced is increased A synthesis process;
A speech synthesis method comprising:
前記入力音声データから音声を認識してテキストデータを出力する音声認識工程と、A speech recognition step of recognizing speech from the input speech data and outputting text data;
前記テキストデータから前記開始位置を検出する開始位置検出工程と、A start position detecting step of detecting the start position from the text data;
をさらに備えることを特徴とする請求項7〜9のいずれか1項に記載の音声合成方法。The speech synthesis method according to claim 7, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013244525A JP6291808B2 (en) | 2013-11-27 | 2013-11-27 | Speech synthesis apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013244525A JP6291808B2 (en) | 2013-11-27 | 2013-11-27 | Speech synthesis apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015102773A JP2015102773A (en) | 2015-06-04 |
JP6291808B2 true JP6291808B2 (en) | 2018-03-14 |
Family
ID=53378487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013244525A Active JP6291808B2 (en) | 2013-11-27 | 2013-11-27 | Speech synthesis apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6291808B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021090376A1 (en) * | 2019-11-06 | 2021-05-14 | 三菱電機株式会社 | Pitch pattern correction device, program, and pitch pattern correction method |
JP6727477B1 (en) * | 2019-11-06 | 2020-07-22 | 三菱電機株式会社 | Pitch pattern correction device, program and pitch pattern correction method |
JP6762454B1 (en) * | 2019-11-06 | 2020-09-30 | 三菱電機株式会社 | Pitch pattern correction device, program and pitch pattern correction method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05113795A (en) * | 1991-05-31 | 1993-05-07 | Oki Electric Ind Co Ltd | Voice synthesizing device |
JP3006240B2 (en) * | 1991-10-31 | 2000-02-07 | インターナショナル・ビジネス・マシーンズ・コーポレイション | Voice synthesis method and apparatus |
JPH06342297A (en) * | 1993-06-02 | 1994-12-13 | Sony Corp | Speech synthesizing device |
JP3616250B2 (en) * | 1997-05-21 | 2005-02-02 | 日本電信電話株式会社 | Synthetic voice message creation method, apparatus and recording medium recording the method |
JP4651168B2 (en) * | 2000-08-23 | 2011-03-16 | 任天堂株式会社 | Synthetic voice output apparatus and method, and recording medium |
JP3625426B2 (en) * | 2000-12-22 | 2005-03-02 | シャープ株式会社 | Speech synthesizer |
JP2003036100A (en) * | 2001-07-23 | 2003-02-07 | Arcadia:Kk | Device and method for revising speech |
JP2004226505A (en) * | 2003-01-20 | 2004-08-12 | Toshiba Corp | Pitch pattern generating method, and method, system, and program for speech synthesis |
JP2007183421A (en) * | 2006-01-06 | 2007-07-19 | Matsushita Electric Ind Co Ltd | Speech synthesizer apparatus |
JP2009047957A (en) * | 2007-08-21 | 2009-03-05 | Toshiba Corp | Pitch pattern generation method and system thereof |
-
2013
- 2013-11-27 JP JP2013244525A patent/JP6291808B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015102773A (en) | 2015-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4363590B2 (en) | Speech synthesis | |
JP4878538B2 (en) | Speech synthesizer | |
US20050171778A1 (en) | Voice synthesizer, voice synthesizing method, and voice synthesizing system | |
US9147392B2 (en) | Speech synthesis device and speech synthesis method | |
JP6127422B2 (en) | Speech recognition apparatus and method, and semiconductor integrated circuit device | |
JP6291808B2 (en) | Speech synthesis apparatus and method | |
JP2012042974A (en) | Voice synthesizer | |
Petrushin et al. | Whispered speech prosody modeling for TTS synthesis | |
JP6260228B2 (en) | Speech synthesis apparatus and method | |
JP5360489B2 (en) | Phoneme code converter and speech synthesizer | |
JP6260227B2 (en) | Speech synthesis apparatus and method | |
JP2000250401A (en) | Method and device for learning language, and medium where program is recorded | |
JP2002525663A (en) | Digital voice processing apparatus and method | |
JP2007139868A (en) | Language learning device | |
JP2006139162A (en) | Language learning system | |
JP3578598B2 (en) | Speech synthesizer | |
US20180330742A1 (en) | Speech acquisition device and speech acquisition method | |
JP4736524B2 (en) | Speech synthesis apparatus and speech synthesis program | |
JPH07200554A (en) | Sentence read-aloud device | |
JP6894081B2 (en) | Language learning device | |
JP2016065976A (en) | Voice deformation device and method | |
JP6274470B1 (en) | Top and bottom vowel vowel notation | |
Zainkó et al. | Expressive speech synthesis using emotion-specific speech inventories | |
Madaminjonov | Formation of a Speech Database in the Karakalpak Language for Speech Synthesis Systems | |
JP2023121372A (en) | Data processing device, data processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6291808 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |