JP5807921B2 - 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム - Google Patents

定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム Download PDF

Info

Publication number
JP5807921B2
JP5807921B2 JP2013173634A JP2013173634A JP5807921B2 JP 5807921 B2 JP5807921 B2 JP 5807921B2 JP 2013173634 A JP2013173634 A JP 2013173634A JP 2013173634 A JP2013173634 A JP 2013173634A JP 5807921 B2 JP5807921 B2 JP 5807921B2
Authority
JP
Japan
Prior art keywords
component
f0 pattern
f0
pattern
accent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013173634A
Other languages
English (en)
Other versions
JP2015041081A5 (ja
JP2015041081A (ja
Inventor
晋富 倪
晋富 倪
芳則 志賀
芳則 志賀
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Priority to JP2013173634A priority Critical patent/JP5807921B2/ja
Publication of JP2015041081A publication Critical patent/JP2015041081A/ja
Publication of JP2015041081A5 publication Critical patent/JP2015041081A5/ja
Application granted granted Critical
Publication of JP5807921B2 publication Critical patent/JP5807921B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/086Detection of language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0202Applications
    • G10L21/0205Enhancement of intelligibility of clean or coded speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts

Description

この発明は音声合成技術に関し、特に、音声合成時の基本周波数パターンの合成技術に関する。

音声の基本周波数の時間変化パターン(以下、「F0パターン」と呼ぶ。)は、文の区切りを明確にしたり、アクセント位置を表現したり、単語を区別したりするための助けになる。F0パターンはまた、発話に伴う感情等、非言語的な情報を伝える上でも大きな役割を果たす。さらに、発話の自然さにもF0パターンが大きな影響を与える。特に、発話中の焦点のある位置を明らかにし、文の構造を明確にするためには、文を適切なイントネーションで発話する必要がある。F0パターンが適切でないと、合成音声の了解性が損なわれてしまう。したがって、音声合成において、どのようにして所望のF0パターンを合成するかは大きな問題となる。

F0パターンの合成手法として、後掲の非特許文献1に開示された、藤崎モデルと呼ばれる手法がある。

藤崎モデルは、少数のパラメータによってF0パターンを定量的に記述するF0パターン生成過程モデルである。図1を参照して、このF0パターン生成過程モデル30は、F0パターンを、フレーズ成分と、アクセント成分と、基底成分との和として表現したものである。

フレーズ成分とは、発話の内、1つのフレーズの開始直後に立ち上がるピークを持ち、フレーズの終わりまでゆるやかに下降するように変化する成分のことを指す。アクセント成分とは、語に対応した局所的な凹凸で表される成分を指す。

図1の左側を参照して、藤崎モデルでは、フレーズ成分を、フレーズの先頭で発生するインパルス上のフレーズコマンド40に対するフレーズ制御機構42の応答で表す。一方、アクセント成分は、同様にステップ状のアクセントコマンド44に対するアクセント制御機構46の応答で表す。これらフレーズ成分とアクセント成分と基底成分Fbの対数logFbとを加算器48で加算することにより、F0パターン50の対数表現logF0(t)が得られる。

このモデルでは、アクセント成分及びフレーズ成分と、発話の言語学的情報及びパラ言語学的情報との間の対応関係が明確である。また、モデルパラメータを変化させるだけで容易に文の焦点を定めることができるという特徴もある。

しかしこのモデルでは、適切なパラメータを決定することが難しいという問題がある。最近の音声技術では、コンピュータの発達とともに、大量に収集した音声データからモデルを構築するという手法が主流である。藤崎モデルでは、音声コーパスで観測されたF0パターンからモデルパラメータを自動的に得ることが難しい。

一方、大量に収集した音声データからモデルを構築する手法の典型的なものとして、後掲の非特許文献2に記載されたような音声コーパスで観測されたF0パターンによりHMM(Hidden Marcov Model)を構築する手法がある。この手法は、様々な発話コンテキストにおけるF0パターンを音声コーパスから得てモデル化できるため、合成音声の自然さ及び情報伝達機能を実現する上で極めて重要である。

図2を参照して、この手法にしたがう従来の音声合成システム70は、音声コーパスからF0パターン合成用のHMMモデルの学習を行なうモデル学習部80と、入力されたテキストに対応する合成音声信号118を、学習により得たHMMを用いて得られたF0パターンにしたがって合成する音声合成部82とを含む。

モデル学習部80は、音素のコンテキストラベルが付された音声コーパスを記憶する音声コーパス記憶装置90と、音声コーパス記憶装置90に記憶された音声コーパス内の各発話の音声信号からF0を抽出するF0抽出部92と、同じく各発話からスペクトルパラメータとしてメルケプストラムパラメータを抽出するスペクトルパラメータ抽出部94と、F0抽出部92により抽出されたF0パターン、音声コーパス記憶装置90から得られる、F0パターンに対応する発話中の各音素のラベル、及びスペクトルパラメータ抽出部94から与えられるメルケプストラムパラメータとを用い、各フレームの素性ベクトルを生成し、生成対象となる音素のコンテキストラベルからなるラベル列が与えられると、そのフレームで各F0周波数とメルケプストラムパラメータとの組が出力される確率を出力するようにHMMの統計的な学習を行なうHMM学習部96とを含む。ここで、コンテキストラベルとは、音声合成用の制御記号であって、当該音素についてその音素環境などの様々な言語情報(コンテキスト)を付与したラベルである。

音声合成部82は、HMM学習部96による学習が行なわれたHMMのパラメータを記憶するHMM記憶装置110と、音声合成の対象となるテキストが与えられると、そのテキストに対してテキスト解析をし、発話中の単語及びその音素の特定、アクセントの決定、ポーズの挿入位置の決定、並びに文の種類の決定等を行ない、発話を表すラベル列を出力するテキスト解析部112と、テキスト解析部112からラベル列を受けると、HMM記憶装置110に記憶されたHMMとこのラベル列とを照合し、元のテキストを発話するときのF0パターン及びメルケプストラム列の組合せとして最も確率の高い組合せを生成し出力するパラメータ生成部114と、パラメータ生成部114から与えられたF0パターンにしたがって、パラメータ生成部114から与えられたメルケプストラムパラメータにより表される音声を合成し、合成音声信号118として出力する音声合成器116とを含む。

この音声合成システム70によれば、大量の音声データに基づいて、広範なコンテキストで、多彩なF0パターンを出力できるという効果を得ることができる。

Fujisaki, H., and Hirose, K. (1984), "Analysis of voice fundamental frequency contours for declarative sentences of Japanese," J. Acoust. Soc. Jpn., 5, 233-242. Tokuda, K., Masuko, T., Miyazaki, N., and Kobayashi, T. (1999), "Hidden Markov models based on multi-space probability distribution for pitch pattern modeling," Proc. of ICASSP1999, 229-232. Ni, J. and Nakamura, S. (2007), "Use of Poisson processes to generate fundamental frequency contours", Proc. of ICASSP2007, 825-828. Ni, J, Shiga, Y., Kawai, H., and Kashioka, H. (2012), "Resonance-based spectral deformation in HMM-based speech synthesis," Proc. of ISCSLP2012, 88-92.

実際の発話では、音素の境界等において、発話の仕方の変化等に伴い、音声のピッチに微細な変動が生ずる。これをマイクロ・プロソディと呼ぶ。特に有声/無声区間の境界等ではF0が急激に変化する。こうした変化は、音声を処理することにより観測はされるが、聴覚上はあまり意味を持たない。上記HMMを用いた音声合成システム70(図2参照)の場合、こうしたマイクロ・プロソディの影響を受けてF0パターンの誤差が大きくなるという問題がある。また、比較的長い区間にわたるF0の変化パターンに追従する能力が低いという問題もある。これらに加えてさらに、合成されるF0パターンと言語学的情報との間の関係が不明瞭であること、及び、文の焦点(コンテキストに依存しないF0の変動)を設定することが難しいという問題もある。

それ故に本発明は、統計的モデルによりF0パターンを生成する際に、精度を保ちながら、言語学的情報とF0パターンとの対応が明確となるようなF0パターンの合成装置及び方法を提供することを目的とする。

本発明の他の目的は、統計的モデルによりF0パターンを生成する際に、精度を保ちながら、言語学的情報とF0パターンとの対応が明確で、さらに文の焦点を容易に設定できる装置及び方法を提供することを目的とする。

本発明の第1の局面に係る定量的F0パターン生成装置は、テキスト解析により得られた、発話のアクセント句に対して、所与の数のターゲットポイントを用いてF0パターンのアクセント成分を生成する手段と、発話の構造を含む言語情報にしたがって、発話を1つ以上のアクセント句を含むグループに分けることにより、限定された数のターゲットポイントを用いてF0パターンのフレーズ成分を生成する手段と、アクセント成分とフレーズ成分に基づいてF0パターンを生成する手段とを含む。

本発明の第2の局面に係る定量的F0パターンの生成方法は、上記した定量的F0パターン生成装置を用いる方法であって、アクセント成分を生成する手段が、テキスト解析により得られた、発話のアクセント句に対して、所与の数のターゲットポイントを用いてF0パターンのアクセント成分を生成するステップと、フレーズ成分を生成する手段が、発話の構造を含む言語情報にしたがって、発話を1つ以上のアクセント句を含むグループに分けることにより、限定された数のターゲットポイントを用いてF0パターンのフレーズ成分を生成するステップと、F0パターンを生成する手段が、アクセント成分と前記フレーズ成分に基づいてF0パターンを生成する手段とを含む、定量的F0パターン生成装置を用いてF0パターンを生成するステップとを含む。

本発明の第3の局面に係るF0パターン生成のためのモデル学習装置は、音声データ信号からF0パターンを抽出するF0パターン抽出手段と、抽出されたF0パターンにフィットするF0パターンをフレーズ成分とアクセント成分との重畳により表すために、フレーズ成分を表すターゲットパラメータと、アクセント成分を表すターゲットパラメータとを推定するパラメータ推定手段と、パラメータ推定手段により推定されたフレーズ成分のターゲットパラメータ及びアクセント成分のターゲットパラメータにより表される、連続的なF0パターンを学習データとして、F0生成モデルの学習を行なうモデル学習手段とを含む。

本発明の第4の局面に係るF0パターン生成のためのモデル学習装置は、音声データ信号からF0パターンを抽出するF0パターン抽出手段と、抽出されたF0パターンにフィットするF0パターンをフレーズ成分とアクセント成分との重畳により表すために、フレーズ成分を表すターゲットパラメータと、アクセント成分を表すターゲットパラメータとを推定するパラメータ推定手段と、パラメータ推定手段により推定されたフレーズ成分のターゲットパラメータによって表されるフレーズ成分の時間変化パターンと、アクセント成分のターゲットパラメータにより表されるアクセント成分の時間変化パターンとを学習データとして、フレーズ成分生成用の生成モデルと、アクセント成分生成用の生成モデルとの学習を行なう第1のモデル学習手段とを含む。

上記したモデル学習装置はさらに、F0パターン抽出手段によって抽出されたF0パターンから、マイクロ・プロソディ成分を分離し、当該マイクロ・プロソディ成分を学習データとして、マイクロ・プロソディ成分生成用の生成モデルの学習を行なう第2のモデル学習手段を含んでもよい。

本発明の第5の局面に係る定量的F0パターン生成装置は、F0パターンのフレーズ成分のターゲットパラメータ生成用の生成モデルと、F0パターンのアクセント成分のターゲットパラメータ生成用の生成モデルとのパラメータを記憶するモデル記憶手段と、音声合成の対象となるテキストの入力を受けてテキスト解析し、音声合成用の制御記号列を出力するテキスト解析手段と、テキスト解析手段の出力する制御記号列をフレーズ成分生成用の生成モデルと照合することにより、F0パターンのフレーズ成分を生成するフレーズ成分生成手段と、テキスト解析手段の出力する制御記号列をアクセント成分生成用の生成モデルと照合することにより、F0パターンのアクセント成分を生成するアクセント成分生成手段と、フレーズ成分生成手段により生成されたフレーズ成分、及びアクセント成分生成手段により生成されたアクセント成分を合成することにより、F0パターンを生成するF0パターン合成手段とを含む。

モデル記憶手段はさらに、F0パターンのマイクロ・プロソディ成分推定用の生成モデルのパラメータを記憶してもよい。この場合、F0パターン生成装置はさらに、テキスト解析手段の出力する制御記号列をマイクロ・プロソディ成分生成用の生成モデルと照合することによりF0パターンのマイクロ・プロソディ成分を出力するマイクロ・プロソディ成分出力手段を含む。F0パターン生成手段は、フレーズ成分生成手段により生成されたフレーズ成分、アクセント成分生成手段により生成されたアクセント成分、及びマイクロ・プロソディ成分を合成することにより、F0パターンを生成する手段を含む。

本発明の第6の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかの定量的F0パターン生成装置の全ての手段として機能させる。

非特許文献1に係るF0パターン生成過程モデルの考え方を示す模式図である。 非特許文献2に係る音声合成システムの構成を示すブロック図である。 本発明の第1及び第2の実施の形態におけるF0パターンの生成過程を模式的に示すブロック図である。 F0パターンのアクセント成分とフレーズ成分とをそれぞれターゲットポイントで表し、それらを合成してF0パターンを生成する方法を示す模式図である。 アクセント成分及びフレーズ成分のターゲットポイントを決定するためのプログラムの制御構造を示すフローチャートである。 観測された不連続なF0パターンと、このパターンにフィットさせた連続なF0パターンとそれらを表すフレーズ成分及びアクセント成分とを示すグラフである。 本発明の第1の実施の形態に係る音声合成システムの構成を示すブロック図である。 生成されたF0パターンに対する主観的評価テストの結果を説明するための図である。 本発明の第2の実施の形態に係る音声合成システムの構成のブロック図である。 本発明の実施の形態を実現するためのコンピュータシステムの外観図である。 図10に外観を示すコンピュータシステムのち、コンピュータのハードウェア構成を示すブロック図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。なお、以下の実施の形態ではF0パターン生成モデルとしてHMMを用いるが、モデルはHMMのみに限定されるわけではない。例えば、CART(Classification and Regression Tree)モデリング(L.Breiman, J.H.Friedman, R.A. Olshen and C.J.Stone, "Classification and Regression Trees", Wadsworth (1984))、Simulated annealing (焼きなまし法)に基づくモデリング(S. Kirkpatrick, C.D. Gellatt, Jr., and M.P. Vecchi, "Optimization by simulated annealing," IBM Thomas J. Watson Research Center, Yorktown Heights, NY, 1982.)等を用いることもできる。

[基本的考え方]
図3を参照して、本願発明の基本的考え方は以下の通りである。最初に、音声コーパスからF0パターンを抽出し、観測F0パターン130を作成する。この観測F0パターンは通常は不連続である。この不連続なF0パターンを連続化・平滑化させ、連続F0パターン132を生成する。ここまでは先行技術を用いて実現できる。

第1の実施の形態では、この連続F0パターン132をフレーズ成分とアクセント成分との合成によりフィットし、フィット後のF0パターン133を推定する。このフィット後のF0パターン133を学習データとして、非特許文献2と同様の手法によりHMMの学習を行ない、学習後のHMMパラメータをHMM記憶装置139に格納する。F0パターン145の推定は、非特許文献2の手法と同様に行なうことができる。素性ベクトルは、ここでは0次を含む40個のメルケプストラムパラメータ及びF0の対数、並びにそれらのデルタ及びデルタデルタを要素として含む。

一方、第2の実施の形態では、得られた連続F0パターン132を、アクセント成分134、フレーズ成分136、及びマイクロ・プロソディ成分138に分解する。そして、これらについて別々にHMM140、142及び144の学習を行なう。ただしこのとき、これら3つの成分で時間情報を共有する必要がある。したがって、後述するようにHMM140、142及び144の学習には、素性ベクトルをこれら3つのHMMのためのマルチストリーム形式で1つにまとめたものを使用する。使用する素性ベクトルの構成は、第1の実施の形態と同様である。

音声合成時には、テキスト解析の結果を用い、アクセント成分のHMM140、フレーズ成分のHMM142、及びマイクロ成分のHMM144を用いて個別にF0パターンのアクセント成分146、フレーズ成分148、及びマイクロ成分150を生成する。これらを加算器152で加算することで最終的なF0パターン154を生成する。

この場合、連続F0パターンをアクセント成分、及びフレーズ成分、さらにマイクロ成分で表現する必要がある。もっとも、マイクロ成分はF0パターンからアクセント成分及びフレーズ成分を除いたものとして考えることができる。したがって、どのようにしてアクセント成分とフレーズ成分とを得るかが問題となる。

この場合、こうした特徴をターゲットポイントと呼ばれるもので記述することが直截的で分かり易い。アクセント成分及びフレーズ成分のいずれの場合も、ターゲットポイントでの記述とは、1つのアクセント又はフレーズを3又は4つの点で記述する方法である。4つの点の内2つは低ターゲット、残りの1つ又は2つの点は高ターゲットを表す。これらをターゲットポイントと呼ぶ。高ターゲットが2つある場合、いずれもその強さは同じものとする。

図4を参照して、例えば、観測F0パターン170から連続F0パターン174を生成する。さらにこの連続F0パターン174をフレーズ成分220,222とアクセント成分200、202,204,206、208とに分割し、それぞれをターゲットポイントで記述する。以下、アクセントのためのターゲットポイントをアクセントターゲットと呼び、フレーズのためのターゲットポイントをフレーズターゲットと呼ぶ。連続F0パターン174は、フレーズ成分172の上にアクセント成分が乗った形で表される。

このようにターゲットポイントでアクセント成分及びフレーズ成分を記述するのは、アクセント成分とフレーズ成分との間の非線形な相互作用を、互いを関係付けて定義することにより適切に処理するためである。ターゲットポイントをF0パターンから探し出すのは比較的容易である。ターゲットポイント間のF0の遷移は、ポアソンプロセス(非特許文献3)による内挿で表すことができる。

ただし、アクセント成分とフレーズ成分との間の非線形な相互作用を処理するためには、さらにこれらをより高いレベルで処理する必要がある。したがって、ここでは、F0パターンを2レベルの機構でモデル化する。第1のレベルではポアソンプロセスを用いた機構でアクセント成分及びフレーズ成分を生成する。さらに第2のレベルでは、レゾナンスを用いた機構によりこれらを合成してF0パターンを生成する。なお、マイクロ成分は、最初に得られた連続F0パターンからアクセント成分及びフレーズ成分を取除いたものとして得られる。

<レゾナンスを用いたF0パターンの分解>
F0は声帯の振動から生ずる。F0パターンを操作する上で、レゾナンス機構を用いることが有効であることが知られている。ここでは、レゾナンスを用いたマッピング(非特許文献4)を適用し、アクセント成分とフレーズ成分との間の潜在的干渉を、トポロジの変換の一種として取扱うことにより処理する。

λ(周波数比の二乗)とα(減衰率に関係した角度)との間の、レゾナンスを用いたマッピング(以下、λ=f(α)と書く。)は次の式(1)により定義される。


これはレゾナンスの変換を表す。説明を簡明にするために、α=f-1(λ)を上記マッピングの逆マッピングとする。λが0から1に変化するとき、αの値は1/3から0に減少する。

最低周波数f0bと最高周波数f0tとの間の音声周波数範囲の任意のFをfとする。fを[0,1]の区間で正規化する。


そして、非特許文献4に記載されているような、立方体と球との間のトポロジ的変換をfに適用する。具体的には以下のとおりである。


式4は、lnfの時間軸上での分解を表す。より具体的には、αf0rはフレーズ成分(基準値として取扱う。)を表し、φf0|f0rはアクセント成分を表す。アクセント成分をφf0|f0rで表し、フレーズ成分をαf0rで表すと、lnfは以下の式(5)により計算できる。


したがって、レゾナンスを用いた機構を用いてアクセント成分とフレーズ成分との間の非線形な干渉を処理し、統合してF0パターンを得ることができる。

<レゾナンスを用いたF0重畳モデル>
F0パターンを時間tの関数として表すモデルは、対数表現ではレゾナンスによる、フレーズ成分Cp(t)上へのアクセント成分Ca(t)の重畳として表現できる。


発話のF0パターンを表すモデルパラメータは以下の通りである。


式(7)中に「10」という定数係数があるが、これはCa(t)の値をαの領域(0,1/3)内に収まるようにするためのものである。

フレーズターゲットγpiは対数表現で[f0b,f0t]の範囲のF0により定義される。アクセントターゲットγaiは0.5をゼロ点として(0,1.5)の範囲で表される。アクセントターゲットγai<0.5であれば、アクセント成分はフレーズ成分に食込み(フレーズ成分の一部を除去し)、自然発話で観測されるように、F0パターンの末尾を引き下げる。すなわち、アクセント成分はフレーズ成分に重畳されるが、その際、アクセント成分によりフレーズ成分の一部が除去されることが許容される。

<F0重畳モデルのモデルパラメータの推定>
アクセント的フレーズ境界に関する情報が与えられたものとして、日本語の発話について観測されたF0パターンから、ターゲットポイントのパラメータを推定するためのアルゴリズムを開発した。パラメータf0b及びf0tを、観測されたF0パターンの集合のF0範囲と一致させる。日本語では、アクセント的フレーズはアクセント(アクセントタイプ0,1,2,…)を持つ。このアルゴリズムは以下のようなものである。

図5は、フローチャート形式で示された制御構造のプログラムであって、図3に示す観測F0パターン130からF0パターンを抽出する処理、抽出されたF0パターンを平滑化・連続化して連続F0パターン132を生成する処理、連続F0パターン132をいずれもターゲットポイントで表したフレーズ成分及びアクセント成分の和で表すためのターゲットポイントのパラメータの推定と、推定されたターゲットパラメータにより連続F0パターン132にフィットしたF0パターン133の生成とを実行する処理とを行なう機能を持つ。

図5を参照して、このプログラムは、観測された不連続なF0パターンを平滑化し、連続化して連続F0パターンを出力するステップ340と、ステップ340で出力された連続F0パターンをN個のグループに分割するステップ342とを含む。ここでNは予め指定される任意の正の整数(例えばN=2、N=3等)である。分割されるグループの各々は、呼気段落に相当する。以下に述べる実施の形態では、長いウィンドウ幅を用いて連続F0パターンを平滑化し、F0パターンが谷となる箇所を指定された個数だけ検出し、そこでF0パターンを分割する。

このプログラムはさらに、繰返制御変数kに0を代入するステップ344と、フレーズ成分Pを初期化するステップ346と、フレーズ成分P及びアクセント成分Aと連続F0パターンとの誤差を最小化するようにアクセント成分Aのターゲットパラメータ及びフレーズ成分Pのターゲットパラメータを推定するステップ348と、ステップ348の後、繰返制御変数kに1を加算するステップ354と、変数kの値が予め定めていた繰返数nより小さいか否かを判定し、判定がYESのときに制御の流れをステップ346に戻すステップ356と、ステップ356の判定がNOのときに、ステップ346〜ステップ356の繰返しにより得たアクセントのターゲットパラメータを最適化し、最適化後のアクセントターゲット及びフレーズターゲットを出力するステップ358とを含む。これらにより表されるF0パターンと元の連続F0パターンとの誤差がマイクロ・プロソディ成分に相当する。

ステップ348は、アクセントのターゲットパラメータを推定するステップ350と、ステップ350で推定されたアクセントのターゲットパラメータを用いてフレーズ成分Pのターゲットパラメータを推定するステップ352とを含む。

上記したアルゴリズムの詳細は、以下のようなものである。図5を参照しながら説明する。

(A)前処理
F0パターンを、f0r=f0bとしてφf0|f0rに変換し、2つのウィンドウサイズ(短期:10ポイント、長期:80ポイント)でともに平滑化し(ステップ340)、全体的な上昇―(フラット)−下降という日本語アクセントの特徴を考慮し、マイクロ・プロソディの影響を除去する(音素セグメントを用いてF0を変更する)。平滑化されたF0パターンを、パラメータ抽出のために式(5)を用いてF0に戻す。

(B)パラメータ抽出
ポーズ間のセグメントで0.3秒より長いものを呼気段落とみなし、呼気段落をさらに長期ウィンドウで平滑化したF0パターンを用いてN個の段落に分割する(ステップ342)。以下の処理を各グループに対して適用する。この際、F0誤差の絶対値を最小化するという基準を用いる。以下、ステップ348を繰返し実行するために繰返し制御変数kを0に設定する(ステップ344)。(a)初期値として、2つの低ターゲットポイントと1つの高ターゲットポイントとを持つ3ターゲットポイントのフレーズ成分Pを準備する(ステップ346)。このフレーズ成分Pは、例えば図4の最下部にあるフレーズ成分Pのグラフの、左半分と同様の形状である。この高ターゲットポイントのタイミングを第2モーラの開始時に合わせ、1番目の低ターゲットポイントを0.3秒だけ早めにずらす。さらに、2番目の低ターゲットポイントのタイミングを呼気段落の末尾に一致させる。γpiの初期値は、長期ウィンドウを用いて平滑化したF0パターンを用いて決定する。

次のステップ348では、(b)式(4)によって、平滑化されたF0パターンと現在のフレーズ成分Pとを用いてアクセント成分Aを計算する。さらに現在のアクセント成分Aからアクセントのターゲットポイントを推定する。(c)γaiを全ての高ターゲットポイントに対して[0.9,1.1]の範囲となるように、全ての低ターゲットポイントに対して[0.4,0.6]の範囲となるように調整し、調整されたターゲットポイントを用いてアクセント成分Aを再計算する(ステップ350)。(d)現在のアクセント成分Aを計算にいれてフレーズターゲットを推定し直す(ステップ352)。(e)予め定められた回数に達するまで(b)に戻ることを繰返すために、変数kに1を加算する(ステップ354)。(f)高フレーズターゲットポイントを挿入することで、生成されたF0パターンと平滑化されたF0パターンとの間の誤差の減少量があるしきい値より大きくなるなら、高フレーズターゲットポイントを挿入し、(b)に戻る。上記(b)に戻るべきか否かを判定するために、ステップ354で変数kに1を加算する。変数kの値がnに達していなければ制御をステップ346に戻す。この処理により、例えば図4下段の右半分のようなフレーズ成分Pが得られる。変数kの値がnに達していれば、ステップ358でアクセントパラメータの最適化が行なわれる。

(C)パラメータの最適化(ステップ358)
推定されたフレーズ成分Pを前提に、生成されたF0パターンと観測されたF0パターンとの間の誤差を最小化するようにアクセントのターゲットポイントを最適化する。この結果、平滑化されたF0パターンフィットするようなF0パターンを生成できるフレーズ成分P及びアクセント成分Aのターゲットポイントが得られる。

既に述べたように、平滑化されたF0パターンと、フレーズ成分P及びアクセント成分Aから生成されたF0パターンとの差に相当する部分からマイクロ・プロソディ成分Mが得られる。

図6に、テキストを解析した結果にしたがって、フレーズ成分Pとアクセント成分Aとを合成して、観測されたF0パターンにF0パターンをフィットさせる例を示す。図6には、2つのケースを重ねて示してある。図6において、目標となるF0パターン240(観測されたF0パターン)を記号「+」の列で表している。

図6に示される第1のケースは、破線で示されるフレーズ成分242に、同じく破線で示されるアクセント成分250を合成することにより、フィットされたF0パターン246を得るものである。第2のケースは、細線で示されるフレーズ成分244に、同じく細線で示されるアクセント成分252を合成することにより、F0パターン246を得るものである。

図6に示すように、アクセント成分250とアクセント成分252とはほとんど一致しているが、最初のアクセント要素の高ターゲットポイントと後ろ側の低ターゲットポイントとの位置が、アクセント成分252に比べて低くなっている。

フレーズ成分242とアクセント成分250とを組合せる場合と、フレーズ成分244とアクセント成分252とを組合せる場合との相違は、主としてテキスト解析の結果による。テキスト解析の結果、呼気段落が2つとされた場合にはフレーズ成分として2つのフレーズからなるフレーズ成分242を採用し、日本語のアクセントパターンにより得たアクセント成分252と合成する。テキスト解析の結果、呼気段落が3つとされた場合には、フレーズ成分244とアクセント成分250とを合成する。

図6に示す例では、フレーズ成分242もフレーズ成分244も、3つ目のアクセント要素と4つ目のアクセント要素との間にフレーズ境界がある。一方、テキスト解析の結果、縦線254で示される位置に3つめのフレーズ境界があるものとする。この場合には、フレーズ成分244が採用される。さらに、縦線254で示される位置でのF0パターンの谷部を表すために、アクセント成分250のように、この位置の直前に位置するアクセント要素の高ターゲットポイントと後ろ側の低ターゲットポイントとを引き下げる。こうすることで、テキスト解析の結果、3つのフレーズが存在する場合にも、F0パターンを精度よくテキスト解析の結果にあわせてフィットできる。これは、このアルゴリズムによれば、発話の構成とアクセントタイプとで発話の基礎をなす言語学的情報が表わされ、かつ、言語学的情報と、F0パターンとの対応関係が明確であることによる。

[第1の実施の形態]
<構成>
図7を参照して、第1の実施の形態に係るF0パターン合成部359は、音声コーパスに含まれる多数の音声信号の各々から観測された観測F0パターン130を平滑化・連続化して得た連続F0パターン132について、所与のアクセント境界に基づいて、上記した原理に従い、フレーズ成分Pを規定するターゲットポイント及びアクセント成分Aを規定するターゲットポイントのパラメータを推定するパラメータ推定部366と、パラメータ推定部366により推定されたフレーズ成分Pとアクセント成分Aとを合成することにより連続F0パターンにフィットしたフィット後のF0パターンを生成するF0パターンフィッティング部368と、フィット後のF0パターンを用いて従来と同様にHMMの学習を行なうHMM学習部369と、学習後のHMMパラメータを記憶するHMM記憶装置370とを含む。HMM記憶装置370に記憶されたHMMを用いてF0パターン372を合成する処理は、図2に示す音声合成部82と同様の装置で実現できる。

<動作>
図7を参照して、第1の実施の形態のシステムは以下のように動作する。観測F0パターン130の各々について、平滑化・連続化することにより連続F0パターン132を得る。パラメータ推定部366は、この連続F0パターン132をフレーズ成分Pとアクセント成分Aとに分解し、それぞれのターゲットパラメータを上記した手法で推定する。F0パターンフィッティング部368は、推定されたターゲットパラメータにより表現されるフレーズ成分Pとアクセント成分Aとを合成し、観測F0パターンにフィットしたフィット後のF0パターンを得る。このシステムは、このような動作を観測F0パターン130の各々に対して行なう。

HMM学習部369は、こうして得られた多数のフィット後のF0パターンを用い、従来と同様の手法によりHMMの学習を行なう。HMM記憶装置370は、学習後のHMMのパラメータを記憶する。HMMの学習が終了した後は、従来と同様、テキストが与えられると、このテキストを解析し、その結果にしたがってHMM記憶装置370に記憶されたHMMを用いてF0パターン372を合成する。このF0パターン372と、テキストの音素にあわせて選択されたメルケプストラム等の音声パラメータ列とを使用することで、従来と同様の手法で音声信号を得ることができる。

<第1の実施の形態の効果>
上記第1の実施の形態によりHMMの学習を行ない、学習後のHMMを使用して合成したF0パターンを利用して合成した音声について、主観的な評価(選好評価)テストを行なった。。

この評価テストの実験は、音声コーパスATR503setに含まれる503発話を用いて行なった。503発話の内、490発話をHMMの学習に用い、残りをテストに用いた。発話信号は16kHzのサンプリングレートでサンプリングし、5ミリ秒のフレームシフトによるSTRAIGHT分析でスペクトル包絡を抽出した。素性ベクトルは、第0次を含む40個のメルケプストラムパラメータ、logF0、並びにそれらのデルタ及びデルタデルタからなる。5ステートの左から右への一方向HMMモデルトポロジーを使用した。

HMM学習のために、以下の4つのF0パターンを準備した。

(1)音声波形から得たF0パターン(オリジナル)
(2)実施の形態1により生成されたF0パターン(Proposed)
(3)有声部分はオリジナル、無声部分は実施の形態1の方法により生成したF0パターン(Prop.+MP(Micro−prosody))
(4)有声部分はオリジナル、無声部分はスプラインによる内挿を使用したF0パターン(Spl+MP)
上記した4つのパターンの内、(2)〜(4)は連続F0パターンである。(2)はマイクロ・プロソディもF0抽出誤差も含まないが、(3)及び(4)は両者を含む点に注意が必要である。

オリジナルは従来の技術と同様、MSD−HMMを用いて学習した。(2)〜(4)は連続F0パターン(並びにそのデルタ及びデルタデルタ)を5番目のストリームに加え、その重みを0にしてMSD−HMMの学習を行なった。したがって(2)〜(4)についてはいずれも連続F0パターンが得られた。

音声合成時には、最初に連続F0パターンHMMを用いて連続F0パターンを合成し、さらにMSD−HMMを用いて有声・無声の判定を行なった。

選好評価テストでは、上のようにして得られた4つのF0パターンからF0パターンの組合せを4通りを選び、それらにより生成された音声信号のいずれがより自然かを5人の被験者により判定させた。これら被験者はいずれも日本語を母語とする。4つのパターン対は、以下のとおりである。

(1)Proposed 対 オリジナル
(2)Proposed 対 Prop+MP
(3)Proposed 対 Spl+MP
(4)Prop+MP 対 Spl+MP
学習に使用しなかった9文を用いて各被験者による評価を行なった。9つのwaveファイルの対を複製し、それぞれのバージョンで各対のwaveファイルの順序を入れ替えた。こうして得た72対(4×9×2)のwaveファイル対を各被験者に対してランダムな順番で提示し、どちらを好むか、又はどちらも同じかを答えさせた。

この被験者による評価の結果を図8に示す。図8から明らかなようにProposed手法により合成されたF0パターンを使った合成音声は、観測されたF0パターンを用いた合成音声よりも好まれた(Proposed 対 オリジナル)。Proposedにマイクロ・プロソディを加えても、発話の自然さに改善は得られない(Proposed 対 Prop+MP).スプライン内挿により得た連続F0パターンによる合成音声と比較しても、Proposedの音声が好まれる頻度が高い(Proposed 対 Spl+MP)。最後の2つの結果は、Prop+MP 対 Spl+MPの結果からも確認できた。

[第2の実施の形態]
第1の実施の形態では、フレーズ成分P及びアクセント成分Aをターゲットポイントで表し、それらを合成することでF0パターンをフィッティングしている。しかし、ターゲットポイントを使用するアイデアは、この第1の実施の形態に限定されるわけではない。第2の実施の形態は、上に説明した手法によって観測されたF0パターンをフレーズ成分P、アクセント成分A及びマイクロ・プロソディ成分Mに分離し、それらの時間変化パターンについてそれぞれHMM学習を行なう。F0生成の際には、学習済のHMMを用いてフレーズ成分P、アクセント成分A及びマイクロ・プロソディ成分Mの時間変化パターンを得て、さらにそれらを合成することでF0パターンを推定する。

<構成>
図9を参照して、この実施の形態に係る音声合成システム270は、音声合成のためのHMMの学習を行なうモデル学習部280と、モデル学習部280によって学習を行なったHMMを用い、テキストが入力されるとその音声を合成し合成音声信号284として出力する音声合成部282とを含む。

モデル学習部280は、図2に示す従来の音声合成システム70のモデル学習部80と同様、音声コーパス記憶装置90、F0抽出部92、及びスペクトルパラメータ抽出部94を持つ。ただしモデル学習部280は、モデル学習部80のHMM学習部96に代えて、F0抽出部92の出力する不連続なF0パターン93を平滑化し、連続化して連続F0パターン291を出力するF0平滑化部290と、F0平滑化部290の出力する連続なF0パターンを、フレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mに分離し、各成分それぞれの時間変化パターンを生成して、有声/無声情報を含む不連続なF0パターン93とあわせて出力するF0分離部292をもつ。さらにモデル学習部280は、スペクトルパラメータ抽出部94が出力するメルケプストラムパラメータ95と、F0分離部292の出力とからなるマルチストリーム形式のHMM学習データベクトル293(0次を含む40個のメルケプストラムパラメータ及び上記のF0の3成分の時間変化パターン、並びにそれらのデルタ及びデルタデルタ)から、音声コーパス記憶装置90から読出された学習データベクトル293に対応する音素のコンテキストラベルに基づいて、HMMの統計的な学習を行なうHMM学習部294とを含む。

音声合成部282は、HMM学習部294により学習の行なわれたHMMを記憶するHMM記憶装置310と、図2に示すものと同じテキスト解析部112と、テキスト解析部112から与えられたコンテキストラベル列について、HMM記憶装置310に記憶されたHMMを用いて、最も適切な(ラベル列の元となった音声である確率が高い)フレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mの時間変化パターン、並びにメルケプストラムパラメータを推定し出力するパラメータ生成部312と、パラメータ生成部312により出力されたフレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mの時間変化パターンを合成することによりF0パターンを生成して出力するF0パターン合成部314と、パラメータ生成部312が出力するメルケプストラムパラメータと、F0パターン合成部314が出力するF0パターンとから音声を合成する、図2に示すものと同じ音声合成器116とを含む。

図9に示すF0平滑化部290、F0分離部292及びHMM学習部294を実現するためのコンピュータプログラムの制御構造は、図5に示したものと同様である。

<動作>
音声合成システム270は以下のように動作する。音声コーパス記憶装置90には、大量の発話信号が記憶されている。発話信号はフレーム単位で記憶されており、各音素に対して音素のコンテキストラベルが付されている。F0抽出部92は、各発話の発話信号から不連続なF0パターン93を出力する。F0平滑化部290は、不連続なF0パターン93を平滑化し、連続F0パターン291を出力する。F0分離部292は、連続F0パターン291と、F0抽出部92の出力する不連続なF0パターン93とを受け、前述した方法にしたがって、各フレームについてフレーズ成分Pの時間変化パターン、アクセント成分Aの時間変化パターン、マイクロ・プロソディ成分Mの時間変化パターン、不連続なF0パターン93から得られる、各フレームが有声区間か無声区間かを示す情報F0(U/V)、及び、スペクトルパラメータ抽出部94が各発話の音声信号の各フレームについて算出したメルケプストラムパラメータからなる学習データベクトル293を、HMM学習部294に与える。

HMM学習部294は、各発話の音声信号の各フレームについて、音声コーパス記憶装置90から読出したラベルと、F0分離部292から与えられる学習データベクトル293と、スペクトルパラメータ抽出部94からのメルケプストラムパラメータとから、前述した構成の素性ベクトルを学習データとし、推定対象のフレームのコンテキストラベルが与えられると、そのフレームのフレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mの時間変化パターンと、メルケプストラムパラメータとの値の確率を出力するよう、統計的なHMMの学習を行なう。音声コーパス記憶装置90の全ての発話についてHMMの学習が完了すると、そのHMMのパラメータはHMM記憶装置310に格納される。

音声合成の対象となるテキストが与えられると、音声合成部282は以下のように動作する。テキスト解析部112は、与えられたテキストを解析し、合成すべき音声を示すコンテキストラベル列を生成し、パラメータ生成部312に与える。パラメータ生成部312は、このラベル列に含まれるラベルの各々について、HMM記憶装置310を参照することにより、そのラベル列についてそうしたラベル列を生成する音声である確率が最も高いパラメータ列(フレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mの時間変化パターン、並びにメルケプストラムパラメータ)を生成し、フレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分MはF0パターン合成部314に、メルケプストラムパラメータは音声合成器116に、それぞれ与える。

F0パターン合成部314はフレーズ成分P、アクセント成分A、マイクロ・プロソディ成分Mの時間変化パターンを合成してF0パターンとして音声合成器116に与える。なお、本実施の形態では、HMMの学習時には、フレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mはいずれも対数で表現している。したがってF0パターン合成部314の合成では、これらを対数表現から通常の周波数成分に変換した後、互いに加算すればよい。このとき、学習時に各成分のゼロ点を移動させているので、ゼロ点を元に戻す操作も必要である。

音声合成器116は、F0パターン合成部314から出力されるF0パターンにしたがった音声信号を合成し、さらにそれをパラメータ生成部312から与えられるメルケプストラムパラメータにしたがって変調するのに相当する信号処理を行ない、合成音声信号284を出力する。

<第2の実施の形態の効果>
この第2の実施の形態では、F0パターンをフレーズ成分P、アクセント成分A及びマイクロ・プロソディ成分Mに分解し、それらを用いて別々のHMMの学習を行なう。音声合成時には、テキスト解析の結果に基づき、これらHMMを用いてフレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mを別々に生成する。さらに、生成されたフレーズ成分P、アクセント成分A、及びマイクロ・プロソディ成分Mを合成することで、F0パターンを生成できる。こうして得られたF0パターンを用いると、第1の実施の形態と同様、自然な発話を得ることができる。さらに、アクセント成分AとF0パターンとの対応関係が明確なので、特定の単語についてアクセント成分Aのレンジを大きくとることによって、当該単語に焦点を当てたりすることが容易に行なえる。これは例えば図6のアクセント成分250において縦線254の直前の成分に関して周波数を下げている操作、及び図6のアクセント成分250及び252において、末尾のF0パターンの周波数を落とす操作からも分かる。

[コンピュータによる実現]
上記第1実施の形態及び第2の実施の形態に係るF0パターン合成部は、いずれも、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図10はこのコンピュータシステム530の外観を示し、図11はコンピュータシステム530の内部構成を示す。

図10を参照して、このコンピュータシステム530は、メモリポート552及びDVD(Digital Versatile Disc)ドライブ550を有するコンピュータ540と、キーボード546と、マウス548と、モニタ542とを含む。

図11を参照して、コンピュータ540は、メモリポート552及びDVDドライブ550に加えて、CPU(中央処理装置)556と、CPU556、メモリポート552及びDVDドライブ550に接続されたバス566と、ブートプログラム等を記憶する読出専用メモリ(ROM)558と、バス566に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ(RAM)560と、ハードディスク554を含む。コンピュータシステム530はさらに、他端末との通信を可能とするネットワーク568への接続を提供するネットワークインターフェイス(I/F)544を含む。

コンピュータシステム530を上記した実施の形態に係るF0パターン生成合成部の各機能部として機能させるためのコンピュータプログラムは、DVDドライブ550又はメモリポート552に装着されるDVD562又はリムーバブルメモリ564に記憶され、さらにハードディスク554に転送される。又は、プログラムはネットワーク568を通じてコンピュータ540に送信されハードディスク554に記憶されてもよい。プログラムは実行の際にRAM560にロードされる。DVD562から、リムーバブルメモリ564から又はネットワーク568を介して、直接にRAM560にプログラムをロードしてもよい。

このプログラムは、コンピュータ540を、上記実施の形態に係るF0パターン合成部の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ540にこの動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ540上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ540にインストールされる各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の内、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供するようにしてもよい。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

30 F0パターン生成過程モデル
40 フレーズコマンド
42 フレーズ制御機構
44 アクセントコマンド
46 アクセント制御機構
48,152 加算器
50 F0パターン
70,270 音声合成システム
80,280 モデル学習部
82,282 音声合成部
90 音声コーパス記憶装置
92 F0抽出部
93 不連続なF0パターン
94 スペクトルパラメータ抽出部
95 メルケプストラムパラメータ
96,294,369 HMM学習部
110,310,139,370 HMM記憶装置
112 テキスト解析部
114 パラメータ生成部
116 音声合成器
130,170 観測F0パターン
132,174,291 連続F0パターン
134,146,200,202,204,206,208,250,252 アクセント成分
136,148,220,222,242,244 フレーズ成分
138,150 マイクロ・プロソディ成分
140,142,144 HMM
48,152 加算器
154,240,246 F0パターン
172 フレーズ成分
290 F0平滑化部
292 F0分離部
293 学習データベクトル
312 パラメータ生成部
314,359 F0パターン合成部
366 パラメータ推定部
368 F0パターンフィッティング部

Claims (5)

  1. 音声データ信号から連続F0パターンを抽出する連続F0パターン抽出手段と、
    抽出された連続F0パターンにフィットする連続的なF0パターンをフレーズ成分とアクセント成分との重畳により表すために、前記抽出された連続F0パターンのフレーズ成分を表すターゲットパラメータと、アクセント成分を表すターゲットパラメータとを推定するパラメータ推定手段と、
    前記パラメータ推定手段により推定されたターゲットパラメータにしたがって、前記抽出された連続F0パターンにフィットする前記連続的なF0パターンを生成するF0パターン生成手段と、
    複数の音声データ信号から、前記連続F0パターン抽出手段、前記パラメータ推定手段、及び前記F0パターン生成手段により生成された複数の前記連続的なF0パターンを学習データとして、F0生成モデルの学習を行なう学習手段とを含む、F0パターン生成のためのモデル学習装置。
  2. 前記パラメータ推定手段は、
    前記抽出された連続F0パターンを、第1のウィンドウサイズ及び前記第1のウィンドウサイズより大きな第2のウィンドウサイズで平滑化する平滑化手段と、
    前記第2のウィンドウサイズを用いて前記平滑化手段により平滑化された連続F0パターンを、当該連続F0パターンが谷となる箇所を基準として、指定された個数のフレーズに分割する分割手段と、
    前記分割手段により分割されたフレーズの各々について、フレーズ成分を表すターゲットポイントと、当該フレーズに重畳されるアクセント成分を表すターゲットポイントとを、前記フレーズ成分と前記アクセント成分とを重畳して得られるF0パターンと、前記分割手段により分割された後のF0パターンとの誤差が最小化するように推定する推定手段とを含む、請求項1に記載のモデル学習装置。
  3. 前記推定手段は、各フレーズのフレーズ成分及びアクセント成分の各々を、2つの低ターゲットポイントと、1つ又は2つの高ターゲットポイントとにより表す、請求項1に記載のモデル学習装置。
  4. 前記学習手段により学習が行われる前記F0生成モデルは、隠れマルコフモデルである、請求項1〜請求項3のいずれかに記載のモデル学習装置。
  5. コンピュータにより実行されると、当該コンピュータを、請求項1〜請求項のいずれかに記載の全ての手段として機能させる、コンピュータプログラム。
JP2013173634A 2013-08-23 2013-08-23 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム Active JP5807921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013173634A JP5807921B2 (ja) 2013-08-23 2013-08-23 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013173634A JP5807921B2 (ja) 2013-08-23 2013-08-23 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム
PCT/JP2014/071392 WO2015025788A1 (ja) 2013-08-23 2014-08-13 定量的f0パターン生成装置及び方法、並びにf0パターン生成のためのモデル学習装置及び方法
EP14837587.6A EP3038103A4 (en) 2013-08-23 2014-08-13 Quantitative f0 pattern generation device and method, and model learning device and method for generating f0 pattern
KR1020167001355A KR20160045673A (ko) 2013-08-23 2014-08-13 정량적 f0 패턴 생성 장치 및 방법, 그리고 f0 패턴 생성을 위한 모델 학습 장치 및 방법
US14/911,189 US20160189705A1 (en) 2013-08-23 2014-08-13 Quantitative f0 contour generating device and method, and model learning device and method for f0 contour generation
CN201480045803.7A CN105474307A (zh) 2013-08-23 2014-08-13 定量的f0轮廓生成装置及方法、以及用于生成f0轮廓的模型学习装置及方法

Publications (3)

Publication Number Publication Date
JP2015041081A JP2015041081A (ja) 2015-03-02
JP2015041081A5 JP2015041081A5 (ja) 2015-06-18
JP5807921B2 true JP5807921B2 (ja) 2015-11-10

Family

ID=52483564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013173634A Active JP5807921B2 (ja) 2013-08-23 2013-08-23 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム

Country Status (6)

Country Link
US (1) US20160189705A1 (ja)
EP (1) EP3038103A4 (ja)
JP (1) JP5807921B2 (ja)
KR (1) KR20160045673A (ja)
CN (1) CN105474307A (ja)
WO (1) WO2015025788A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6472005B2 (ja) * 2016-02-23 2019-02-20 日本電信電話株式会社 基本周波数パターン予測装置、方法、及びプログラム
JP6468519B2 (ja) * 2016-02-23 2019-02-13 日本電信電話株式会社 基本周波数パターン予測装置、方法、及びプログラム
JP6468518B2 (ja) * 2016-02-23 2019-02-13 日本電信電話株式会社 基本周波数パターン予測装置、方法、及びプログラム
JP2019144402A (ja) * 2018-02-20 2019-08-29 日本電信電話株式会社 音声変換学習装置、音声変換装置、方法、及びプログラム

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3704345A (en) * 1971-03-19 1972-11-28 Bell Telephone Labor Inc Conversion of printed text into synthetic speech
JP3077981B2 (ja) * 1988-10-22 2000-08-21 住友電気工業株式会社 基本周波数パタン生成装置
US5475796A (en) * 1991-12-20 1995-12-12 Nec Corporation Pitch pattern generation apparatus
JPH06332490A (ja) * 1993-05-20 1994-12-02 Meidensha Corp 音声合成装置のアクセント成分基本テーブルの作成方法
JP2880433B2 (ja) * 1995-09-20 1999-04-12 株式会社エイ・ティ・アール音声翻訳通信研究所 音声合成装置
JPH09198073A (ja) * 1996-01-11 1997-07-31 Secom Co Ltd 音声合成装置
EP1100072A4 (en) * 1999-03-25 2005-08-03 Matsushita Electric Ind Co Ltd Speech synthesizing system and speech synthesizing method
CN1207664C (zh) * 1999-07-27 2005-06-22 国际商业机器公司 对语音识别结果中的错误进行校正的方法和语音识别系统
CN1160699C (zh) * 1999-11-11 2004-08-04 皇家菲利浦电子有限公司 语音识别系统
US6810379B1 (en) * 2000-04-24 2004-10-26 Sensory, Inc. Client/server architecture for text-to-speech synthesis
US20080147404A1 (en) * 2000-05-15 2008-06-19 Nusuara Technologies Sdn Bhd System and methods for accent classification and adaptation
US6856958B2 (en) * 2000-09-05 2005-02-15 Lucent Technologies Inc. Methods and apparatus for text to speech processing using language independent prosody markup
WO2002029616A1 (en) * 2000-09-30 2002-04-11 Intel Corporation Method, apparatus, and system for bottom-up tone integration to chinese continuous speech recognition system
US7263488B2 (en) * 2000-12-04 2007-08-28 Microsoft Corporation Method and apparatus for identifying prosodic word boundaries
US6845358B2 (en) * 2001-01-05 2005-01-18 Matsushita Electric Industrial Co., Ltd. Prosody template matching for text-to-speech systems
WO2002073595A1 (en) * 2001-03-08 2002-09-19 Matsushita Electric Industrial Co., Ltd. Prosody generating device, prosody generarging method, and program
US7035794B2 (en) * 2001-03-30 2006-04-25 Intel Corporation Compressing and using a concatenative speech database in text-to-speech systems
US20030055640A1 (en) * 2001-05-01 2003-03-20 Ramot University Authority For Applied Research & Industrial Development Ltd. System and method for parameter estimation for pattern recognition
JP4680429B2 (ja) * 2001-06-26 2011-05-11 Okiセミコンダクタ株式会社 テキスト音声変換装置における高速読上げ制御方法
CN1234109C (zh) * 2001-08-22 2005-12-28 国际商业机器公司 语调生成方法、语音合成装置、语音合成方法及语音服务器
US7136802B2 (en) * 2002-01-16 2006-11-14 Intel Corporation Method and apparatus for detecting prosodic phrase break in a text to speech (TTS) system
US20030191645A1 (en) * 2002-04-05 2003-10-09 Guojun Zhou Statistical pronunciation model for text to speech
US7136816B1 (en) * 2002-04-05 2006-11-14 At&T Corp. System and method for predicting prosodic parameters
US7136818B1 (en) * 2002-05-16 2006-11-14 At&T Corp. System and method of providing conversational visual prosody for talking heads
US7219059B2 (en) * 2002-07-03 2007-05-15 Lucent Technologies Inc. Automatic pronunciation scoring for language learning
US20040030555A1 (en) * 2002-08-12 2004-02-12 Oregon Health & Science University System and method for concatenating acoustic contours for speech synthesis
US7467087B1 (en) * 2002-10-10 2008-12-16 Gillick Laurence S Training and using pronunciation guessers in speech recognition
US8768701B2 (en) * 2003-01-24 2014-07-01 Nuance Communications, Inc. Prosodic mimic method and apparatus
US20050086052A1 (en) * 2003-10-16 2005-04-21 Hsuan-Huei Shih Humming transcription system and methodology
US7315811B2 (en) * 2003-12-31 2008-01-01 Dictaphone Corporation System and method for accented modification of a language model
US20050187772A1 (en) * 2004-02-25 2005-08-25 Fuji Xerox Co., Ltd. Systems and methods for synthesizing speech using discourse function level prosodic features
US20060229877A1 (en) * 2005-04-06 2006-10-12 Jilei Tian Memory usage in a text-to-speech system
US20060259303A1 (en) * 2005-05-12 2006-11-16 Raimo Bakis Systems and methods for pitch smoothing for text-to-speech synthesis
US8073696B2 (en) * 2005-05-18 2011-12-06 Panasonic Corporation Voice synthesis device
CN1945693B (zh) * 2005-10-09 2010-10-13 株式会社东芝 训练韵律统计模型、韵律切分和语音合成的方法及装置
JP4559950B2 (ja) * 2005-10-20 2010-10-13 株式会社東芝 韻律制御規則生成方法、音声合成方法、韻律制御規則生成装置、音声合成装置、韻律制御規則生成プログラム及び音声合成プログラム
US7996222B2 (en) * 2006-09-29 2011-08-09 Nokia Corporation Prosody conversion
JP4787769B2 (ja) * 2007-02-07 2011-10-05 日本電信電話株式会社 F0値時系列生成装置、その方法、そのプログラム、及びその記録媒体
JP4455610B2 (ja) * 2007-03-28 2010-04-21 株式会社東芝 韻律パタン生成装置、音声合成装置、プログラムおよび韻律パタン生成方法
JP2009047957A (ja) * 2007-08-21 2009-03-05 Toshiba Corp ピッチパターン生成方法及びその装置
JP5238205B2 (ja) * 2007-09-07 2013-07-17 ニュアンス コミュニケーションズ,インコーポレイテッド 音声合成システム、プログラム及び方法
US7996214B2 (en) * 2007-11-01 2011-08-09 At&T Intellectual Property I, L.P. System and method of exploiting prosodic features for dialog act tagging in a discriminative modeling framework
JP5025550B2 (ja) * 2008-04-01 2012-09-12 株式会社東芝 音声処理装置、音声処理方法及びプログラム
US8374873B2 (en) * 2008-08-12 2013-02-12 Morphism, Llc Training and applying prosody models
US8571849B2 (en) * 2008-09-30 2013-10-29 At&T Intellectual Property I, L.P. System and method for enriching spoken language translation with prosodic information
US8321225B1 (en) * 2008-11-14 2012-11-27 Google Inc. Generating prosodic contours for synthesized speech
US8296141B2 (en) * 2008-11-19 2012-10-23 At&T Intellectual Property I, L.P. System and method for discriminative pronunciation modeling for voice search
JP5471858B2 (ja) * 2009-07-02 2014-04-16 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP5293460B2 (ja) * 2009-07-02 2013-09-18 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
CN101996628A (zh) * 2009-08-21 2011-03-30 索尼株式会社 提取语音信号的韵律特征的方法和装置
JP5747562B2 (ja) * 2010-10-28 2015-07-15 ヤマハ株式会社 音響処理装置
US9286886B2 (en) * 2011-01-24 2016-03-15 Nuance Communications, Inc. Methods and apparatus for predicting prosody in speech synthesis
US9087519B2 (en) * 2011-03-25 2015-07-21 Educational Testing Service Computer-implemented systems and methods for evaluating prosodic features of speech
WO2012164835A1 (ja) * 2011-05-30 2012-12-06 日本電気株式会社 韻律生成装置、音声合成装置、韻律生成方法および韻律生成プログラム
US10453479B2 (en) * 2011-09-23 2019-10-22 Lessac Technologies, Inc. Methods for aligning expressive speech utterances with text and systems therefor
JP2014038282A (ja) * 2012-08-20 2014-02-27 Toshiba Corp 韻律編集装置、方法およびプログラム
US9135231B1 (en) * 2012-10-04 2015-09-15 Google Inc. Training punctuation models
US9224387B1 (en) * 2012-12-04 2015-12-29 Amazon Technologies, Inc. Targeted detection of regions in speech processing data streams
US9495955B1 (en) * 2013-01-02 2016-11-15 Amazon Technologies, Inc. Acoustic model training
US9292489B1 (en) * 2013-01-16 2016-03-22 Google Inc. Sub-lexical language models with word level pronunciation lexicons
US9761247B2 (en) * 2013-01-31 2017-09-12 Microsoft Technology Licensing, Llc Prosodic and lexical addressee detection

Also Published As

Publication number Publication date
US20160189705A1 (en) 2016-06-30
WO2015025788A1 (ja) 2015-02-26
KR20160045673A (ko) 2016-04-27
JP2015041081A (ja) 2015-03-02
CN105474307A (zh) 2016-04-06
EP3038103A1 (en) 2016-06-29
EP3038103A4 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
Zen et al. Details of the Nitech HMM-based speech synthesis system for the Blizzard Challenge 2005
Oord et al. Wavenet: A generative model for raw audio
US8682670B2 (en) Statistical enhancement of speech output from a statistical text-to-speech synthesis system
US8019602B2 (en) Automatic speech recognition learning using user corrections
JP4354653B2 (ja) ピッチ追跡方法および装置
JP4302788B2 (ja) 音声合成用の基本周波数テンプレートを収容する韻律データベース
US6754626B2 (en) Creating a hierarchical tree of language models for a dialog system based on prompt and dialog context
CN1234109C (zh) 语调生成方法、语音合成装置、语音合成方法及语音服务器
JP5327054B2 (ja) 発音変動規則抽出装置、発音変動規則抽出方法、および発音変動規則抽出用プログラム
Ze et al. Statistical parametric speech synthesis using deep neural networks
Wu et al. Voice conversion using duration-embedded bi-HMMs for expressive speech synthesis
EP0689192A1 (en) A speech synthesis system
US20100057435A1 (en) System and method for speech-to-speech translation
Yamagishi et al. Robust speaker-adaptive HMM-based text-to-speech synthesis
US20120221339A1 (en) Method, apparatus for synthesizing speech and acoustic model training method for speech synthesis
JP4274962B2 (ja) 音声認識システム
Tokuda et al. Speech synthesis based on hidden Markov models
US7603278B2 (en) Segment set creating method and apparatus
JP3933750B2 (ja) 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置
JP2007249212A (ja) テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ
JP4054507B2 (ja) 音声情報処理方法および装置および記憶媒体
US8115089B2 (en) Apparatus and method for creating singing synthesizing database, and pitch curve generation apparatus and method
US7996222B2 (en) Prosody conversion
JPH1091183A (ja) 言語合成のためのランタイムアコースティックユニット選択方法及び装置
Yoshimura Simultaneous modeling of phonetic and prosodic parameters, and characteristic conversion for HMM-based text-to-speech systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150326

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150327

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150902

R150 Certificate of patent or registration of utility model

Ref document number: 5807921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250