JP3361066B2 - 音声合成方法および装置 - Google Patents

音声合成方法および装置

Info

Publication number
JP3361066B2
JP3361066B2 JP33901998A JP33901998A JP3361066B2 JP 3361066 B2 JP3361066 B2 JP 3361066B2 JP 33901998 A JP33901998 A JP 33901998A JP 33901998 A JP33901998 A JP 33901998A JP 3361066 B2 JP3361066 B2 JP 3361066B2
Authority
JP
Japan
Prior art keywords
mora
speech
template
prosody
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33901998A
Other languages
English (en)
Other versions
JP2000163088A (ja
Inventor
利光 蓑輪
洋文 西村
亮 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP33901998A priority Critical patent/JP3361066B2/ja
Priority to US09/404,264 priority patent/US6438522B1/en
Priority to EP99308496A priority patent/EP1014337A3/en
Publication of JP2000163088A publication Critical patent/JP2000163088A/ja
Application granted granted Critical
Publication of JP3361066B2 publication Critical patent/JP3361066B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、カーナビゲーションや
パーソナルコンピュータなどで使用される音声合成方法
およびその装置に関する。
【０００２】
【従来の技術】例えば、リズムの制御に関しては、図１
３に示す、特開平6-274195号公報(「母音部エネルギー重
心点間に母音長、子音長規則を形成する日本語音声合成
システム」)に述べられているように、先行音節１１と後
続音節１２の相隣合う２つのモーラの母音部分エネルギ
ー重心点間の時間長によりモーラ間隔を求め、２つのモ
ーラの間の子音と発話速度とをパラメータとしてモーラ
間隔を決定し、さらに母音部エネルギー重心点位置間の
時間長と子音長をパラメータとしてモーラを構成する母
音長、 子音長を決定して、合成すべき文章の音韻継続時
間をモーラ間隔で調整するようになっている。
【０００３】また、ピッチ周波数制御に関しては、例え
ば、図１４に示す、特開平7-261778号公報（「音声情報
処理方法及び装置」）に述べられているものは、音声の
ピッチ周波数やパワー等の特徴量を音韻環境を考慮して
統計処理することにより、確率的に信頼度の高いピッチ
パターンを作成しようとするもので、音声ファイル２１
からピッチ周波数やその変化分、パワーやその変化分等
の音声の特徴量を抽出して作成した特徴量ファイル２５
と、ラベル付与部２３および音韻リスト作成部２４によ
るアクセント型、モーラ数、モーラ位置、音素等の音韻
環境を考慮したラベルファイル２６とを統計処理して特
徴を抽出する統計処理部２７と、統計処理した結果をも
とに音韻環境を考慮したピッチパターンを作成するピッ
チパターン作成部２８を備えている。
【０００４】このように、従来の音声合成方法によって
も、アクセント型、モーラ数、モーラ位置、音素等の音
韻環境を考慮した合成音声の韻律制御を行うことができ
る。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来の音声合成方法では、単語全体のリズムを考慮してお
らず、２音節間の時間関係のみを制御対象としているた
め、単語として自然なリズムが形成できなかったり、ピ
ッチ周波数パターンも統計処理した平均値であり、統計
処理対象のデータが充分でなければ自然性の高い合成音
声を作成できないという課題を有していた。
【０００６】本発明は、上記従来の課題を解決するもの
であり、より自然性の高い合成音声を実現できる音声合
成方法およびその装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明は、上記目的を達
成するために、単音節を連続的に発声した音声から韻律
成分を抽出して事前に格納しておき、合成しようとする
音声とモーラ数、アクセント型が同じ韻律テンプレート
を選択して、この韻律テンプレートのリズムパターン、
ピッチ周波数パターン、パワーパターンに合わせて合成
音声を作成するようにし、テンプレートの適用範囲を、
語頭２モーラと、アクセント核がある場合にはアクセン
ト核を含むモーラおよびそれに続く１モーラと、語尾の
２モーラとし、それ以外の部分は補間により韻律を制御
するようにしたものであり、従来よりも自然性の高い合
成音声を実現することができる。
【０００８】
【発明の実施の形態】本発明の請求項１に記載の発明
は、単音節を連続的に発声した音声からリズムとピッチ
とパワーから成る韻律成分を抽出して事前に蓄積してお
き、これらのうちから、合成しようとする音声とモーラ
数、アクセント型が同じテンプレートを選択し、このテ
ンプレートの音節の母音の時間長に合成しようとする音
声の母音時間長を合あわせるように調整したうえで、ピ
ッチ、パワーについても、韻律テンプレートに合わせて
合成音声素片の変形、接続を行うようにし、前記テンプ
レートの適用範囲を、語頭２モーラと、アクセント核が
ある場合にはアクセント核を含むモーラおよびそれに続
く１モーラと、語尾の２モーラとし、それ以外の部分は
補間により韻律を制御するようにしたものであり、きわ
めて自然性の高い合成音声を作成することができるとと
もに、記憶容量を減らせるという作用を有する。
【０００９】
【００１０】
【００１１】
【００１２】
【００１３】
【００１４】
【００１５】本発明の請求項２に記載の発明は、音声合
成のために入力された漢字仮名混じり文または韻律記号
付き読み仮名を発音表記に変換してモーラ数とアクセン
ト型を決定する手段と、音声合成のための音声素片を蓄
積する手段と、合成すべき音声を作成するための音声素
片を選択する手段と、単音節を連続的に発声した音声か
ら抽出したリズムとピッチとパワーパターンからなる韻
律テンプレートを蓄積する手段と、前記韻律テンプレー
トから合成しようとする音声とモーラ数、アクセント型
が同じ韻律テンプレートを選択する手段と、前記韻律テ
ンプレートの平均的話速を合成しようとする音声の話速
と合うように調整する調整手段と、前記調整した音声素
片をピッチ、パワーについても韻律テンプレートに合わ
せて修正する修正手段と、前記修正した音声素片を接続
する手段とを備えた音声合成装置において、前記韻律テ
ンプレートを蓄積する手段が、前記韻律テンプレートと
して、語頭２モーラと、アクセント核がある場合にはア
クセント核を含むモーラおよびそれに続く１モーラと、
語尾の２モーラ分だけを格納し、前記修正手段が、前記
以外のモーラの部分の韻律を補間により生成することを
特徴とするものであり、きわめて自然性の高い合成音声
を作成することができるとともに、記憶容量を減らせる
という作用を有する。
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】以下、本発明の実施の形態を図面を参照し
て説明する。 （実施の形態１）図１は本発明の実施の形態における韻
律テンプレート抽出のための音声波形を示している。例
えば、単語「緑ヶ丘」を想起しながら「ヤヤヤヤヤヤ」
と、第４音節にアクセント核を置きながら発声したもの
であり、（ａ）はリズムテンプレート、（ｂ）はピッチ
テンプレート、（ｃ）はパワーテンプレートを示してい
る。３１から３５は音節受聴タイミング点間隔である。
この波形から６モーラでアクセント核が第４音節にある
単語（６モーラ４型という）の単語の韻律テンプレート
が得られる。このような韻律テンプレートを多数作成し
て予めメモリに記憶しておく。一方、音声合成に必要な
音声素片も別のメモリに記憶しておく。
【００２３】図２は本発明の実施の形態１における音声
合成処理フローを示している。まず、音声合成のために
入力された漢字仮名混じり文または韻律情報付き読み仮
名から単語毎の発音表記が作成され、同時にモーラ数と
アクセント型が決定される（ステップ４２）。すなわ
ち、単語のモーラ数とアクセント型から韻律テンプレー
トが決定される。そして、合成しようとする音声の素片
をメモリから選択するとともに（ステップ４３）、合成
しようとする音声とモーラ数、アクセント型が同じ韻律
テンプレートをメモリから選択し（ステップ４４）、選
択された韻律テンプレートの音声の母音長に合うように
音声素片の母音長のピッチ波形を間引いたり、繰り返し
たりして長さを調整したうえで（ステップ４５）、母音
区間のピッチ波形毎に韻律テンプレートのピッチ波形の
振幅最大値が音声素片の振幅最大値に一致するように振
幅修正を行う（ステップ４６）。また、隣接するピッチ
波形との間隔も、韻律テンプレートのものに一致するよ
うに間隔を決定して重畳加算する。有声子音部分につい
ては、ピッチ波形間隔は韻律テンプレートのものを用い
るが、振幅は素片の振幅をそのまま使用する。無声子音
については、音声素片のものをそのまま使って変形はし
ない。このように変形された音声素片同士を１〜数ピッ
チの範囲で傾斜加算してつなぎあわせることにより（ス
テップ４７）、合成音声が作成される。
【００２４】なお、ピッチ波形の振幅調整は、最大値に
注目しなくても、平均パワーが一致するようにしても良
い。このようにすると、見かけの波形振幅は一致しない
が、音量的にはむしろ韻律テンプレートに近いものがで
きることが多い。
【００２５】（実施の形態２）次に、本発明の実施の形
態２について図３の音声合成処理フローを参照しながら
説明する。まず、音声合成のために入力された漢字仮名
混じり文または韻律情報付き読み仮名から単語毎の発音
表記が作成され、同時にモーラ数とアクセント型が決定
される（ステップ５２）。すなわち、単語のモーラ数と
アクセント型から韻律テンプレートが決定される。そし
て、合成しようとする音声の素片をメモリから選択する
とともに（ステップ５３）、合成しようとする音声とモ
ーラ数、アクセント型が同じ韻律テンプレートをメモリ
から選択し（ステップ５４）、選択された韻律テンプレ
ートの音声の各母音のパワー重心間隔長に合うように音
声素片の母音のピッチ波形を間引いたり、繰り返したり
して母音重心間隔長を調整したうえで（ステップ５
５）、母音区間のピッチ波形毎に韻律テンプレートのピ
ッチ波形の振幅最大値が音声素片の振幅最大値に一致す
るように振幅修正を行う（ステップ５６、５７）。この
繰り返しまたは間引き調整は、各母音毎に母音の先頭
側、終端側で交互に１ピッチ毎に行う。また、隣接する
ピッチ波形との間隔も、韻律テンプレートのものに一致
するように間隔を決定して重畳加算する。有声子音部分
については、ピッチ波形間隔は韻律テンプレートのもの
を用いるが、振幅は素片の振幅をそのまま使用する。無
声子音については、素片のものをそのまま使って変形は
しない。このように変形された音声素片同士を１〜数ピ
ッチの範囲で傾斜加算してつなぎあわせることにより
（ステップ５８）、合成音声が作成される。
【００２６】（実施の形態３）次に、本発明の実施の形
態３について図４の音声合成処理フローを参照しながら
説明する。まず、音声合成のために入力された漢字仮名
混じり文または韻律情報付き読み仮名から単語毎の発音
表記が作成され、同時にモーラ数とアクセント型が決定
される（ステップ６２）。すなわち、単語のモーラ数と
アクセント型から韻律テンプレートが決定される。そし
て、合成しようとする音声の素片をメモリから選択する
とともに（ステップ６３）、合成しようとする音声とモ
ーラ数、アクセント型が同じ韻律テンプレートをメモリ
から選択し（ステップ６４）、選択された韻律テンプレ
ートの音声の音節受聴タイミング点間隔に合うように音
声素片の母音のピッチ波形を間引いたり、繰り返したり
して音節受聴タイミング点間隔長を調整したうえで（ス
テップ６５）、母音区間のピッチ波形毎に韻律テンプレ
ートのピッチ波形の振幅最大値が音声素片の振幅最大値
に一致するように振幅修正を行う（ステップ６６、６
７）。図５は音節受聴タイミング点の一覧を示してい
る。このピッチ波形の繰り返しまたは間引き調整は、各
母音毎に母音の先頭側、終端側で交互に１ピッチ毎に行
う。また、隣接するピッチ波形との間隔も、韻律テンプ
レートのものに一致するように間隔を決定して重畳加算
する。有声子音部分については、ピッチ波形間隔は韻律
テンプレートのものを用いるが、振幅は素片の振幅をそ
のまま使用する。無声子音については、素片のものをそ
のまま使って変形はしない。このように変形された音声
素片同士を１〜数ピッチの範囲で傾斜加算してつなぎあ
わせることにより（ステップ６８）、合成音声が作成さ
れる。
【００２７】（実施の形態４）次に、本発明の実施の形
態４について図６の音声合成処理フローを参照しながら
説明する。まず、音声合成のために入力された漢字仮名
混じり文または韻律情報付き読み仮名から単語毎の発音
表記が作成され、同時にモーラ数とアクセント型が決定
される（ステップ８２）。すなわち、単語のモーラ数と
アクセント型から韻律テンプレートが決定される。そし
て、合成しようとする音声の素片をメモリから選択する
とともに（ステップ８３）、合成しようとする音声とモ
ーラ数、アクセント型が同じ韻律テンプレートをメモリ
から選択し（ステップ８４）、選択された韻律テンプレ
ートの音声の音節受聴タイミング点間隔に合うように音
声素片の母音のピッチ波形を間引いたり、繰り返したり
して音節受聴タイミング点間隔長を調整したうえで（ス
テップ８５）、母音区間のピッチ波形毎に韻律テンプレ
ートのピッチ波形の振幅最大値が音声素片の振幅最大値
に一致するように振幅修正を行う（ステップ８６）。こ
のピッチ波形の繰り返しまたは間引き調整は、各母音毎
に母音の先頭側、終端側で交互に１ピッチ毎に行う。ま
た、隣接するピッチ波形との間隔も、韻律テンプレート
のものに一致するように間隔を決定して重畳加算する。
有声子音部分については、ピッチ波形間隔は韻律テンプ
レートのものを用いるが、振幅は素片の振幅をそのまま
使用する。無声子音については、素片のものをそのまま
使って変形はしない。
【００２８】但し、以上の操作は語頭の２モーラ、アク
セント核がある場合には、アクセント核を含むモーラと
その次のモーラ、語尾の２モーラにのみ適用し、それ以
外の区間では、素片のピッチ間隔は、変形された語頭部
分とアクセント核（もしあれば）部分、および語尾部分
の間の線形補間によって計算する。ピッチのパワーは素
片のものをそのまま用いる。合成音声の音節受聴タイミ
ング点位置も、語頭２モーラの音節受聴タイミング点間
隔と、アクセント核（もしあれば）とその次のモーラの
音節受聴タイミング点間隔を元に補間計算によって求め
る。このように変形された音声素片同士を１〜数ピッチ
の範囲で傾斜加算してつなぎあわせることにより（ステ
ップ８７）、合成音声が作成される。
【００２９】（実施の形態５）次に、本発明の実施の形
態５について図７の音声合成処理フローを参照しながら
説明する。まず、音声合成のために入力された漢字仮名
混じり文または韻律情報付き読み仮名から単語毎の発音
表記が作成され、同時にモーラ数とアクセント型が決定
される（ステップ９２）。すなわち、単語のモーラ数と
アクセント型から韻律テンプレートが決定される。そし
て、合成しようとする音声の素片をメモリから選択する
とともに（ステップ９３）、合成しようとする音声とモ
ーラ数、アクセント型が同じ韻律テンプレートをメモリ
から選択し（ステップ９４）、選択された韻律テンプレ
ートの音声の音節受聴タイミング点間隔に合うように音
声素片の母音のピッチ波形を間引いたり、繰り返したり
して音節受聴タイミング点間隔長を調整したうえで（ス
テップ９５）、母音区間を３乃至４区間に分割する（ス
テップ９６）。韻律テンプレートも同様に母音区間を分
割し、その各区間の中の平均的なピッチ波形振幅とピッ
チ波形間隔を求めておく。そして、合成音声の対応する
区間毎にピッチ波形の振幅を韻律テンプレートのピッチ
波形の平均振幅に合わせるように振幅修正を行う（ステ
ップ９７）。また、隣接するピッチ波形との間隔も、韻
律テンプレートの対応する区間の平均的なものに一致す
るように間隔を決定して重畳加算する。有声子音部分に
ついては、ピッチ波形間隔は韻律テンプレートのものを
用いるが、振幅は素片の振幅をそのまま使用する。無声
子音については、素片のものをそのまま使って変形はし
ない。このように変形された音声素片同士を１〜数ピッ
チの範囲で傾斜加算してつなぎあわせることにより（ス
テップ９８）、合成音声が作成される。
【００３０】（実施の形態６）次に、本発明の実施の形
態６における音声合成装置について、図８のブロック図
を参照して説明する。図８において、１０１は入力文字
列を発音表記に変換する手段、１０２は韻律テンプレー
ト選択手段、１０３は韻律テンプレートメモリ、１０４
は音声素片選択手段、１０５は音声素片メモリ、１０６
は母音長調整手段、１０７は音声素片のピッチ、パワー
修正手段、１０８は音声素片接続手段である。
【００３１】次に、本実施の形態の動作について説明す
る。まず、入力文字列を発音表記に変換する手段１０１
により、音声合成のために入力された漢字仮名混じり文
または韻律記号付き読み仮名を発音表記に変換してモー
ラ数とアクセント型を決定する。次に、韻律テンプレー
ト選択手段１０２は、韻律テンプレートメモリ１０３か
ら合成しようとする音声とモーラ数、アクセント型が同
じ韻律テンプレートを選択する。韻律テンプレートメモ
リ１０３には、予め単語や文節や文を想起しつつ単音節
「ヤ」または「ミ」を連続的に発声した音声から抽出し
たリズムとピッチとパワーパターンからなる韻律テンプ
レートが蓄積されている。一方、音声素片選択手段１０
４は、音声合成すべき音声を作成するための音声素片を
音声素片メモリ１０５から選択する。母音長調整手段１
０６は、選択された韻律テンプレートの音声の母音長に
合うように音声素片の母音長のピッチ波形を間引いた
り、繰り返したりして長さを調整する。音声素片のピッ
チ、パワー修正手段１０７は、母音区間のピッチ波形毎
に韻律テンプレートのピッチ波形の振幅最大値が音声素
片の振幅最大値に一致するように振幅修正を行う。ま
た、隣接するピッチ波形との間隔も、韻律テンプレート
のものに一致するように間隔を決定して重畳加算する
る。有声子音部分については、ピッチ波形間隔は韻律テ
ンプレートのものを用いるが、振幅は素片の振幅をその
まま使用する。無声子音については、音声素片のものを
そのまま使って変形はしない。このように変形された音
声素片同士を、音声素片接続手段１０８が、１〜数ピッ
チの範囲で傾斜加算してつなぎあわせることにより、合
成音声が作成される。
【００３２】なお、音声素片変形部におけるピッチ波形
の振幅調整は、最大値に注目しなくても、平均パワーが
一致するようにしても良い。このようにすると、見かけ
の波形振幅は一致しないが、音量的にはむしろ韻律テン
プレートに近いものができることが多い。
【００３３】（実施の形態７）次に、本発明の実施の形
態７における音声合成装置について、図９のブロック図
を参照して説明する。図９において、１１１は入力文字
列を発音表記に変換する手段、１１２は韻律テンプレー
ト選択手段、１１３は韻律テンプレートメモリ、１１４
は音声素片選択手段、１１５は音声素片メモリ、１１６
は母音重心間隔調整手段、１１７は音声素片のピッチ、
パワー修正手段、１１８は音声素片接続手段である。
【００３４】次に、本実施の形態の動作について説明す
る。まず、入力文字列を発音表記に変換する手段１１１
により、音声合成のために入力された漢字仮名混じり文
または韻律記号付き読み仮名を発音表記に変換してモー
ラ数とアクセント型を決定する。次に、韻律テンプレー
ト選択手段１１２は、韻律テンプレートメモリ１１３か
ら合成しようとする音声とモーラ数、アクセント型が同
じ韻律テンプレートを選択する。韻律テンプレートメモ
リ１１３には、予め単語や文節や文を想起しつつ単音節
「ヤ」または「ミ」を連続的に発声した音声から抽出し
たリズムとピッチとパワーパターンからなる韻律テンプ
レートが蓄積されている。一方、音声素片選択手段１１
４は、音声合成すべき音声を作成するための音声素片を
音声素片メモリ１１５から選択する。母音重心間隔調整
手段１１６は、選択された韻律テンプレートの音声の各
母音のパワー重心間隔長に合うように音声素片の母音の
ピッチ波形を間引いたり、繰り返したりして母音重心間
隔長を調整する。音声素片のピッチ、パワー修正手段１
１７は、母音区間のピッチ波形毎に韻律テンプレートの
ピッチ波形の振幅最大値が音声素片の振幅最大値に一致
するように振幅修正を行う。この繰り返しまたは間引き
調整は、各母音毎に母音の先頭側、終端側で交互に１ピ
ッチ毎に行う。また、隣接するピッチ波形との間隔も、
韻律テンプレートのものに一致するように間隔を決定し
て重畳加算する。有声子音部分については、ピッチ波形
間隔は韻律テンプレートのものを用いるが、振幅は素片
の振幅をそのまま使用する。無声子音については、素片
のものをそのまま使って変形はしない。このように変形
された音声素片同士を、音声素片接続手段１１８が、１
〜数ピッチの範囲で傾斜加算してつなぎあわせることに
より、合成音声が作成される。
【００３５】（実施の形態８）次に、本発明の実施の形
態８における音声合成装置について、図１０のブロック
図を参照して説明する。図１０において、１２１は入力
文字列を発音表記に変換する手段、１２２は韻律テンプ
レート選択手段、１２３は韻律テンプレートメモリ、１
２４は音声素片選択手段、１２５は音声素片メモリ、１
２６は音節受聴タイミング点間隔調整手段、１２７は音
声素片のピッチ、パワー修正手段、１２８は音声素片接
続手段である。
【００３６】次に、本実施の形態の動作について説明す
る。まず、入力文字列を発音表記に変換する手段１２１
により、音声合成のために入力された漢字仮名混じり文
または韻律記号付き読み仮名を発音表記に変換してモー
ラ数とアクセント型を決定する。次に、韻律テンプレー
ト選択手段１２２は、韻律テンプレートメモリ１２３か
ら合成しようとする音声とモーラ数、アクセント型が同
じ韻律テンプレートを選択する。韻律テンプレートメモ
リ１２３には、予め単語や文節や文を想起しつつ単音節
「ヤ」または「ミ」を連続的に発声した音声から抽出し
たリズムとピッチとパワーパターンからなる韻律テンプ
レートが蓄積されている。一方、音声素片選択手段１１
４は、音声合成すべき音声を作成するための音声素片を
音声素片メモリ１１５から選択する。音節受聴タイミン
グ点間隔調整手段１２６は、選択された韻律テンプレー
トの音声の音節受聴タイミング点間隔に合うように声素
片の母音長のピッチ波形を間引いたり、繰り返したりし
て音節受聴タイミング点間隔長を調整する。音声素片の
ピッチ、パワー修正手段１２７は、母音区間のピッチ波
形毎に韻律テンプレートのピッチ波形の振幅最大値が音
声素片の振幅最大値に一致するように振幅修正を行う。
また、隣接するピッチ波形との間隔も、韻律テンプレー
トのものに一致するように間隔を決定して重畳加算す
る。有声子音部分については、ピッチ波形間隔は韻律テ
ンプレートのものを用いるが、振幅は素片の振幅をその
まま使用する。無声子音については、素片のものをその
まま使って変形はしない。このように変形された音声素
片同士を、音声素片接続手段１２８が、１〜数ピッチの
範囲で傾斜加算してつなぎあわせことにより、合成音声
が出力される。
【００３７】（実施の形態９）次に、本発明の実施の形
態９における音声合成装置について、図１１のブロック
図を参照して説明する。図１１において、１３１は入力
文字列を発音表記に変換する手段、１３２は韻律テンプ
レート選択手段、１３３は韻律テンプレートメモリ、１
３４は音声素片選択手段、１３５は音声素片メモリ、１
３６は音節受聴タイミング点間隔調整手段、１３７は音
声素片のピッチ、パワー修正手段、１３８は音声素片接
続手段である。
【００３８】次に、本実施の形態の動作について説明す
る。まず、入力文字列を発音表記に変換する手段１３１
により、音声合成のために入力された漢字仮名混じり文
または韻律記号付き読み仮名を発音表記に変換してモー
ラ数とアクセント型を決定する。次に、韻律テンプレー
ト選択手段１３２は、韻律テンプレートメモリ１３３か
ら合成しようとする音声とモーラ数、アクセント型が同
じ韻律テンプレートを選択する。韻律テンプレートメモ
リ１３３には、予め単語や文節や文を想起しつつ単音節
「ヤ」または「ミ」を連続的に発声した音声から抽出し
たリズムとピッチとパワーパターンからなる韻律テンプ
レートから、格納すべき韻律テンプレートとして語頭２
モーラ、およびアクセント核がある場合には、アクセン
ト核を含むモーラとそれに続く１モーラ、および語尾の
２モーラ分だけが蓄積されている。一方、音声素片選択
手段１３４は、音声合成すべき音声を作成するための音
声素片を音声素片メモリ１３５から選択する。音節受聴
タイミング点間隔調整手段１３６は、選択された韻律テ
ンプレートの音声の音節受聴タイミング点間隔に合うよ
うに声素片の母音長のピッチ波形を間引いたり、繰り返
したりして音節受聴タイミング点間隔長を調整する。音
声素片のピッチ、パワー修正手段１３７は、母音区間の
ピッチ波形毎に韻律テンプレートのピッチ波形の振幅最
大値が音声素片の振幅最大値に一致するように振幅修正
を行う。このピッチ波形の繰り返しまたは間引き調整
は、各母音毎に母音の先頭側、終端側で交互に１ピッチ
毎に行う。また、隣接するピッチ波形との間隔も、韻律
テンプレートのものに一致するように間隔を決定して重
畳加算する。有声子音部分については、ピッチ波形間隔
は韻律テンプレートのものを用いるが、振幅は素片の振
幅をそのまま使用する。無声子音については、素片のも
のをそのまま使って変形はしない。
【００３９】但し、以上の操作は、音声素片のピッチ、
パワー修正手段１３７において、語頭の２モーラ、アク
セント核がある場合には、アクセント核を含むモーラと
その次のモーラ、語尾の２モーラにのみ適用され、それ
以外の区間では、素片のピッチ間隔は、変形された語頭
部分とアクセント核（もしあれば）部分、および語尾部
分の間の線形補間によって計算する。ピッチのパワーは
素片のものをそのまま用いる。合成音声の音節受聴タイ
ミング点位置も、語頭２モーラの音節受聴タイミング点
間隔と、アクセント核（もしあれば）とその次のモーラ
の音節受聴タイミング点間隔を元に補間計算によって求
める。このように変形された音声素片同士を、音声素片
接続手段１３８が、１〜数ピッチの範囲で傾斜加算して
つなぎあわせことにより、合成音声が出力される。
【００４０】（実施の形態１０）次に、本発明の実施の
形態１０における音声合成装置について、図１２のブロ
ック図を参照して説明する。図１２において、１４１は
入力文字列を発音表記に変換する手段、１４２は韻律テ
ンプレート選択手段、１４３は韻律テンプレートメモ
リ、１４４は音声素片選択手段、１４５は音声素片メモ
リ、１４６は音節受聴タイミング点間隔調整手段、１４
７は音声素片の分割区間のピッチ、パワー修正手段、１
４８は音声素片接続手段である。
【００４１】次に、本実施の形態の動作について説明す
る。まず、入力文字列を発音表記に変換する手段１４１
により、音声合成のために入力された漢字仮名混じり文
または韻律記号付き読み仮名を発音表記に変換してモー
ラ数とアクセント型を決定する。次に、韻律テンプレー
ト選択手段１４２は、韻律テンプレートメモリ１４３か
ら合成しようとする音声とモーラ数、アクセント型が同
じ韻律テンプレートを選択する。韻律テンプレートメモ
リ１４３には、予め単語や文節や文を想起しつつ単音節
「ヤ」または「ミ」を連続的に発声した音声から抽出し
たリズムとピッチとパワーパターンからなる韻律テンプ
レートが蓄積されている。一方、音声素片選択手段１４
４は、音声合成すべき音声を作成するための音声素片を
音声素片メモリ１４５から選択する。音節受聴タイミン
グ点間隔調整手段１４６は、選択された韻律テンプレー
トの音声の音節受聴タイミング点間隔に合うように音声
素片の母音のピッチ波形を間引いたり、繰り返したりし
て音節受聴タイミング点間隔長を調整したうえで、母音
区間を３乃至４区間に分割する。韻律テンプレートも同
様に母音区間を分割し、その各区間の中の平均的なピッ
チ波形振幅とピッチ波形間隔を求めておく。音声素片の
分割区間のピッチ、パワー修正手段１４７は、合成音声
の対応する区間毎にピッチ波形の振幅を韻律テンプレー
トのピッチ波形の平均振幅に合わせるように振幅修正を
行う。また、隣接するピッチ波形との間隔も、韻律テン
プレートの対応する区間の平均的なものに一致するよう
に間隔を決定して重畳加算する。有声子音部分について
は、ピッチ波形間隔は韻律テンプレートのものを用いる
が、振幅は素片の振幅をそのまま使用する。無声子音に
ついては、素片のものをそのまま使って変形はしない。
このように変形された音声素片同士を、音声素片接続手
段１４８が、１〜数ピッチの範囲で傾斜加算してつなぎ
あわせることにより、合成音声が出力される。
【００４２】
【発明の効果】以上のように本発明によれば、単音節を
連続的に発声した音声から韻律成分を抽出して事前に格
納しておき、合成しようとする音声とモーラ数、アクセ
ント型が同じ韻律テンプレートを選択して、この韻律テ
ンプレートのリズムパターン、ピッチ周波数パターン、
パワーパターンに合わせて合成音声を作成するように
し、テンプレートの適用範囲を、語頭２モーラと、アク
セント核がある場合にはアクセント核を含むモーラおよ
びそれに続く１モーラと、語尾の２モーラとし、それ以
外の部分は補間により韻律を制御するようにしたもので
あり、従来よりも自然性の高い合成音声を実現すること
ができるとともに、記憶容量を減らせるという効果を有
する。
【図面の簡単な説明】
【図１】本発明の韻律テンプレート抽出のための音声波
形図
【図２】本発明の実施の形態１における音声合成処理フ
ロー図
【図３】本発明の実施の形態２における音声合成処理フ
ロー図
【図４】本発明の実施の形態３における音声合成処理フ
ロー図
【図５】本発明の実施の形態４における音声合成処理フ
ロー図
【図６】本発明の音節受聴タイミング点の一覧図
【図７】本発明の実施の形態５における音声合成処理フ
ロー図
【図８】本発明の実施の形態６における音声合成装置の
ブロック図
【図９】本発明の実施の形態７における音声合成装置の
ブロック図
【図１０】本発明の実施の形態８における音声合成装置
のブロック図
【図１１】本発明の実施の形態９における音声合成装置
のブロック図
【図１２】本発明の実施の形態１０における音声合成装
置のブロック図
【図１３】従来の音声合成方法のリズム制御の概念図
【図１４】従来の音声合成装置のブロック図
【符号の説明】
１０１、１１１、１２１、１３１、１４１ 入力文字列
を発音表記に変換する手段 １０２、１１２、１２２、１３２、１４２ 韻律テンプ
レート選択手段 １０３、１１３、１２３、１３３、１４３ 韻律テンプ
レートメモリ １０４、１１４、１２４、１３４、１４４ 音声素片選
択手段 １０５、１１５、１２５、１３５、１４５ 音声素片メ
モリ １０６ 母音長調整手段 １１６ 母音重心間隔調整手段 １２６、１３６、１４６ 音節受聴タイミング点間隔調
整手段 １０７、１１７、１２７、１３７ 音声素片のピッチ、
パワー修正手段 １４７ 音声素片の分割区間のピッチ、パワー修正手段 １０８、１１８、１２８、１３８、１４８ 音声素片接
続手段
フロントページの続き (56)参考文献 西村洋文、望月亮、蓑輪利光、釜井孝 浩，素片韻律と韻律テンプレートを利用 した音声合成システム，日本音響学会講 演論文集，日本，日本音響学会，1998年 ９月，平成10年秋季，291−292 蓑輪利光、西村洋文、望月亮、新居康 彦，単語合成音声のリズム制御に関する 一考察，日本音響学会講演論文集，日 本，日本音響学会，1998年 ３月，平成 10年春季，303−304 蓑輪利光、新居康彦、西村洋文，単一 音節連鎖発声を基とする単語音声合成用 韻律制御の検討，日本音響学会講演論文 集，日本，日本音響学会，1997年 ９ 月，平成９年秋季，239−240 (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 13/08

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】 単音節を連続的に発声した音声からリズ
    ムとピッチとパワーから成る韻律成分を抽出して事前に
    蓄積しておき、これらのうちから合成しようとする音声
    とモーラ数、アクセント型が同じテンプレートを選択
    し、このテンプレートの音節の母音の時間長に合成しよ
    うとする音声の母音時間長を合あわせるように調整した
    うえで、ピッチ、パワーについても、韻律テンプレート
    に合わせて合成音声素片の変形、接続を行うようにし、
    前記テンプレートの適用範囲を、語頭２モーラと、アク
    セント核がある場合にはアクセント核を含むモーラおよ
    びそれに続く１モーラと、語尾の２モーラとし、それ以
    外の部分は補間により韻律を制御するようにした音声合
    成方法。
  2. 【請求項２】 音声合成のために入力された漢字仮名混
    じり文または韻律記号付き読み仮名を発音表記に変換し
    てモーラ数とアクセント型を決定する手段と、音声合成
    のための音声素片を蓄積する手段と、合成すべき音声を
    作成するための音声素片を選択する手段と、単音節を連
    続的に発声した音声から抽出したリズムとピッチとパワ
    ーパターンからなる韻律テンプレートを蓄積する手段
    と、前記韻律テンプレートから合成しようとする音声と
    モーラ数、アクセント型が同じ韻律テンプレートを選択
    する手段と、前記韻律テンプレートの平均的話速を合成
    しようとする音声の話速と合うように調整する調整手段
    と、前記調整した音声素片をピッチ、パワーについても
    韻律テンプレートに合わせて修正する修正手段と、前記
    修正した音声素片を接続する手段とを備えた音声合成装
    置において、前記韻律テンプレートを蓄積する手段が、
    前記韻律テンプレートとして、語頭２モーラと、アクセ
    ント核がある場合にはアクセント核を含むモーラおよび
    それに続く１モーラと、語尾の２モーラ分だけを格納
    し、前記修正手段が、前記以外のモーラの部分の韻律を
    補間により生成することを特徴とする音声合成装置。
JP33901998A 1998-11-30 1998-11-30 音声合成方法および装置 Expired - Fee Related JP3361066B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP33901998A JP3361066B2 (ja) 1998-11-30 1998-11-30 音声合成方法および装置
US09/404,264 US6438522B1 (en) 1998-11-30 1999-09-22 Method and apparatus for speech synthesis whereby waveform segments expressing respective syllables of a speech item are modified in accordance with rhythm, pitch and speech power patterns expressed by a prosodic template
EP99308496A EP1014337A3 (en) 1998-11-30 1999-10-27 Method and apparatus for speech synthesis whereby waveform segments represent speech syllables

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33901998A JP3361066B2 (ja) 1998-11-30 1998-11-30 音声合成方法および装置

Publications (2)

Publication Number Publication Date
JP2000163088A JP2000163088A (ja) 2000-06-16
JP3361066B2 true JP3361066B2 (ja) 2003-01-07

Family

ID=18323516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33901998A Expired - Fee Related JP3361066B2 (ja) 1998-11-30 1998-11-30 音声合成方法および装置

Country Status (3)

Country Link
US (1) US6438522B1 (ja)
EP (1) EP1014337A3 (ja)
JP (1) JP3361066B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450237B2 (ja) * 1999-10-06 2003-09-22 株式会社アルカディア 音声合成装置および方法
JP2001117576A (ja) * 1999-10-15 2001-04-27 Pioneer Electronic Corp 音声合成方法
JP3728172B2 (ja) * 2000-03-31 2005-12-21 キヤノン株式会社 音声合成方法および装置
US7117215B1 (en) 2001-06-07 2006-10-03 Informatica Corporation Method and apparatus for transporting data for data warehousing applications that incorporates analytic data interface
US6990449B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. Method of training a digital voice library to associate syllable speech items with literal text syllables
US7451087B2 (en) * 2000-10-19 2008-11-11 Qwest Communications International Inc. System and method for converting text-to-voice
US6990450B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. System and method for converting text-to-voice
US6871178B2 (en) * 2000-10-19 2005-03-22 Qwest Communications International, Inc. System and method for converting text-to-voice
US6845358B2 (en) * 2001-01-05 2005-01-18 Matsushita Electric Industrial Co., Ltd. Prosody template matching for text-to-speech systems
US20030093280A1 (en) * 2001-07-13 2003-05-15 Pierre-Yves Oudeyer Method and apparatus for synthesising an emotion conveyed on a sound
US7720842B2 (en) 2001-07-16 2010-05-18 Informatica Corporation Value-chained queries in analytic applications
US6907367B2 (en) * 2001-08-31 2005-06-14 The United States Of America As Represented By The Secretary Of The Navy Time-series segmentation
US20030101045A1 (en) * 2001-11-29 2003-05-29 Peter Moffatt Method and apparatus for playing recordings of spoken alphanumeric characters
US7186051B2 (en) * 2003-05-09 2007-03-06 Newfrey Llc Metal/plastic insert molded sill plate fastener
JP2007504495A (ja) * 2003-08-26 2007-03-01 クリアプレイ，インク． 音響信号の演奏を制御する方法と装置
CN100498932C (zh) * 2003-09-08 2009-06-10 中国科学院声学研究所 通用的汉语两级混合模板口语对话语言生成方法
JP4080989B2 (ja) * 2003-11-28 2008-04-23 株式会社東芝 音声合成方法、音声合成装置および音声合成プログラム
US7254590B2 (en) * 2003-12-03 2007-08-07 Informatica Corporation Set-oriented real-time data processing based on transaction boundaries
US20050228663A1 (en) * 2004-03-31 2005-10-13 Robert Boman Media production system using time alignment to scripts
JP4551803B2 (ja) * 2005-03-29 2010-09-29 株式会社東芝 音声合成装置及びそのプログラム
US20070055526A1 (en) * 2005-08-25 2007-03-08 International Business Machines Corporation Method, apparatus and computer program product providing prosodic-categorical enhancement to phrase-spliced text-to-speech synthesis
US20070067174A1 (en) * 2005-09-22 2007-03-22 International Business Machines Corporation Visual comparison of speech utterance waveforms in which syllables are indicated
US20070219799A1 (en) * 2005-12-30 2007-09-20 Inci Ozkaragoz Text to speech synthesis system using syllables as concatenative units
US20080288527A1 (en) * 2007-05-16 2008-11-20 Yahoo! Inc. User interface for graphically representing groups of data
JP2009042509A (ja) * 2007-08-09 2009-02-26 Toshiba Corp アクセント情報抽出装置及びその方法
US8965768B2 (en) 2010-08-06 2015-02-24 At&T Intellectual Property I, L.P. System and method for automatic detection of abnormal stress patterns in unit selection synthesis
KR101246287B1 (ko) * 2011-03-28 2013-03-21 (주)클루소프트 음가의 강세를 이용한 발음기관 애니메이션 생성 장치 및 방법
JP6048726B2 (ja) 2012-08-16 2016-12-21 トヨタ自動車株式会社 リチウム二次電池およびその製造方法
JP5726822B2 (ja) * 2012-08-16 2015-06-03 株式会社東芝 音声合成装置、方法及びプログラム
CN104575519B (zh) * 2013-10-17 2018-12-25 清华大学 特征提取方法、装置及重音检测的方法、装置
US10008216B2 (en) * 2014-04-15 2018-06-26 Speech Morphing Systems, Inc. Method and apparatus for exemplary morphing computer system background
JP6524674B2 (ja) * 2015-01-22 2019-06-05 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
US9905267B1 (en) * 2016-07-13 2018-02-27 Gracenote, Inc. Computing system with DVE template selection and video content item generation feature
CN111091807B (zh) * 2019-12-26 2023-05-26 广州酷狗计算机科技有限公司 语音合成方法、装置、计算机设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1743131U (de) 1957-03-05 1957-04-11 Kabel Vogel & Schemmann Ag Wurfschaufel fuer putz- und entzunderungsanlagen.
JPS55111995A (en) 1979-02-20 1980-08-29 Sharp Kk Method and device for voice synthesis
JP3278486B2 (ja) 1993-03-22 2002-04-30 セコム株式会社 日本語音声合成システム
JP3450411B2 (ja) 1994-03-22 2003-09-22 キヤノン株式会社 音声情報処理方法及び装置
JP3085631B2 (ja) 1994-10-19 2000-09-11 日本アイ・ビー・エム株式会社 音声合成方法及びシステム
JPH1039895A (ja) 1996-07-25 1998-02-13 Matsushita Electric Ind Co Ltd 音声合成方法および装置
JP3242331B2 (ja) 1996-09-20 2001-12-25 松下電器産業株式会社 Ｖｃｖ波形接続音声のピッチ変換方法及び音声合成装置
US5905972A (en) * 1996-09-30 1999-05-18 Microsoft Corporation Prosodic databases holding fundamental frequency templates for use in speech synthesis
US6163769A (en) * 1997-10-02 2000-12-19 Microsoft Corporation Text-to-speech using clustered context-dependent phoneme-based units
US6260016B1 (en) * 1998-11-25 2001-07-10 Matsushita Electric Industrial Co., Ltd. Speech synthesis employing prosody templates
US6185533B1 (en) * 1999-03-15 2001-02-06 Matsushita Electric Industrial Co., Ltd. Generation and synthesis of prosody templates

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
蓑輪利光、新居康彦、西村洋文，単一音節連鎖発声を基とする単語音声合成用韻律制御の検討，日本音響学会講演論文集，日本，日本音響学会，１９９７年 ９月，平成９年秋季，２３９−２４０
蓑輪利光、西村洋文、望月亮、新居康彦，単語合成音声のリズム制御に関する一考察，日本音響学会講演論文集，日本，日本音響学会，１９９８年 ３月，平成１０年春季，３０３−３０４
西村洋文、望月亮、蓑輪利光、釜井孝浩，素片韻律と韻律テンプレートを利用した音声合成システム，日本音響学会講演論文集，日本，日本音響学会，１９９８年 ９月，平成１０年秋季，２９１−２９２

Also Published As

Publication number Publication date
EP1014337A3 (en) 2001-04-25
US6438522B1 (en) 2002-08-20
JP2000163088A (ja) 2000-06-16
EP1014337A2 (en) 2000-06-28
EP1014337A4 (ja) 2001-03-09

Similar Documents

Publication Publication Date Title
JP3361066B2 (ja) 音声合成方法および装置
US6778962B1 (en) Speech synthesis with prosodic model data and accent type
US6470316B1 (en) Speech synthesis apparatus having prosody generator with user-set speech-rate- or adjusted phoneme-duration-dependent selective vowel devoicing
US7249021B2 (en) Simultaneous plural-voice text-to-speech synthesizer
JPH0887296A (ja) 音声合成装置
JP3681111B2 (ja) 音声合成装置、音声合成方法および音声合成プログラム
JPH06318094A (ja) 音声規則合成装置
JP3308875B2 (ja) 音声合成方法および装置
JP3771565B2 (ja) 基本周波数パタン生成装置、基本周波数パタン生成方法、及びプログラム記録媒体
JP3081300B2 (ja) 残差駆動型音声合成装置
JP3113101B2 (ja) 音声合成装置
JPH037995A (ja) 歌音声合成データの作成装置
JP3318290B2 (ja) 音声合成方法および装置
JP3515268B2 (ja) 音声合成装置
JP3313310B2 (ja) 音声合成装置及び合成方法
JP6159436B2 (ja) 読み記号列編集装置および読み記号列編集方法
JP2995814B2 (ja) 音声合成方法
JPH1097268A (ja) 音声合成装置
JPS58168096A (ja) 複数言語音声合成装置
JPS60153099A (ja) 規則型音声合成装置
JP2004347994A (ja) 音声合成装置、音声合成方法およびこの音声合成方法を実行するプログラム
JPS61173300A (ja) 音声合成装置
JPH03203800A (ja) 音声合成方式
JPH08160990A (ja) 音声合成装置
JP2001255883A (ja) 音声合成装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees