JP3583929B2

JP3583929B2 - ピッチパタン変形方法及びその記録媒体

Info

Publication number: JP3583929B2
Application number: JP24755598A
Authority: JP
Inventors: 光昭磯貝; 秀之水野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-09-01
Filing date: 1998-09-01
Publication date: 2004-11-04
Anticipated expiration: 2018-09-01
Also published as: JP2000075880A

Description

【０００１】
【発明の属する技術分野】
この発明は、規則音声合成におけるピッチパタン制御方法及びプログラム記録媒体に関するものである。
【０００２】
【従来の技術】
現在、マルチメディアコンテンツにおける音声メッセージやナレーションの作成に、合成音声の利用が広まっている。
テキスト合成音声の韻律制御の方法として、韻律データベースを利用するアプローチがある。この方法では、韻律データベース中に大量の自然音声のピッチパタンを蓄積しておき、合成したいテキストにふさわしいピッチパタンをデータベースから選択することにより韻律制御を行う。肉声の韻律情報を利用するため、合成したいテキストにふさわしい韻律情報をデータベースから得ることができれば、自然性の高い韻律制御が可能となる。しかしながら、データベース中に合成したい入力テキストと同一の韻律条件（アクセント型、モーラ数等）を持つピッチパタンデータが存在しない場合には、適切なピッチ付与を行うことができないという問題がある。
【０００３】
また、現状では上記の問題も含め、テキスト音声合成システムが自動的に生成する韻律は必ずしも高い自然性を持つとは限らないため、高品質な音声を作成するためには、ユーザが音声メッセージ作成ツールを用いて音声のチューニングを行う必要が多々ある。ユーザがチューニングした合成音声の韻律情報は、再利用のために蓄積できる。しかし、蓄積した音声を再利用することを考えると、入力ピッチパタンと適用先のテキストの韻律条件が異なる場合、そのままでは不自然な韻律となってしまう。よって、自然な韻律の合成音声を得るためには、ユーザが手作業で再びチューニング作業を行わなくてはならないという問題があった。
【０００４】
【発明が解決しようとする課題】
この発明は、自然音声データベースや登録済みの合成音声パラメータを利用して新たに合成音声を作成する際に、合成音声の自然性を保つために適切なピッチ変形を行うことができるピッチパタン変形方法及びそのプログラム記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
以上の課題を解決するために、この発明の方法は、あらかじめ韻律データベース中のピッチパタン情報から、アクセント型、モーラ数、先行アクセント型、後続アクセント型、先行境界条件、後続境界条件、アクセント句位置などの集合で表される韻律カテゴリ（条件）が同一のアクセント句の平均的ピッチパタン形状をベクトル表現し、異なる韻律カテゴリ（条件）を持つアクセント句間のピッチパタンの形状差を差分ベクトルで表現し、この差分ベクトルを変形規則として用いる。
【０００６】
そして、変形後のピッチパタンのピッチの高さを決定するには、
あらかじめ韻律データベース中のピッチパタン情報から、アクセント型、モーラ数、先行アクセント型、後続アクセント型、先行境界条件、後続境界条件、アクセント句位置などで表される韻律カテゴリ（条件）が同一のアクセント句のピッチ平均、および各アクセント句の先行アクセント句又は／及び後続アクセント句とのピッチの差の平均を求めておき、高さ決定時には、適用先（合成テキスト）の韻律カテゴリ（条件）に応じて上記ピッチ平均とピッチ差平均より適用先（合成テキスト）のピッチ平均の高さを決定する。
【０００７】
さらに、入力ピッチパタン変形時に、入力ピッチパタンをベクトル表現し、入力ピッチパタンのアクセント型、モーラ数、先行アクセント型、後続アクセント型、先行境界条件、後続境界条件、アクセント句位置などで表される韻律カテゴリ（条件）と、ピッチパタン適用先の韻律カテゴリ（条件）との差と対応した変形規則を入力ピッチパタンベクトルに適用してベクトル変形することにより、入力ピッチパタンを所望（適用先）の韻律カテゴリ（条件）に合致する形状に変形する。
【０００８】
【発明の実施の形態】
以下、この発明の一実施形態を述べる。
ここでは、ピッチパタンの入力や変形は、アクセント句を基本単位として行なうものとする。アクセント句は、アクセント型、モーラ数、先行アクセント型、後続アクセント型、先行境界条件、後続境界条件、アクセント句位置などの韻律的属性を持つが、これらの属性が等しいアクセント句の集合を、以下、韻律カテゴリと呼ぶ。
【０００９】
図１に、この発明によるピッチパタン変形処理の基本構成を示す。この図に示す手順は、入力ピッチパタンをステップ１０１でベクトル表現し、ステップ１０２で入力ピッチパタンの韻律カテゴリと変形ピッチパタン適用先の韻律カテゴリを元に、入力ピッチパタンに適用するための変形規則を選択し、この変形規則を入力ピッチパタンベクトルに適用して変形処理を行う。変形規則は、韻律カテゴリ間の変形規則をあらかじめ生成しておく。そして、ステップ１０３で変形したベクトルのパラメータを元に、変形されたピッチパタンを復元する。
【００１０】
変形時に必要となる変形規則を生成する処理の流れを図２により説明する。ここでは、ピッチパタンデータベース中のアクセント句を韻律カテゴリに分類し、各韻律カテゴリ中のピッチパタンを平均化し、韻律カテゴリ間のピッチパタン変形規則を求める。
変形規則は、大量のピッチパタンデータベース中に蓄積されたピッチパタンを元に生成する。ピッチパタンデータベース中のデータはアクセント句を基本単位として格納されている。ピッチパタンデータベースには、各アクセント句のピッチパタンデータ、アクセント型、モーラ数、アクセント句の文中における位置、アクセント句の前後の境界条件等のデータが格納されているものとする。ピッチパタンは１フレームごとにピッチの値を持つ。この実施例では、１フレームは２．５ｍｓｅｃとした。
【００１１】
ステップ２０１では、ピッチパタンデータベース２１中のアクセント句を、そのアクセント句の持つ韻律カテゴリに基づきカテゴライズ（分類わけ）する。ここではカテゴライズの条件として、アクセント型、モーラ数、先行アクセント型、後続アクセント型、先行境界条件、後続境界条件、アクセント句位置を用いている。アクセント型の条件は０型から６型、モーラ数の条件は２モーラから８モーラとする。先行アクセント型は、当該アクセント句に先行するアクセント句のアクセント型が０型であるか否かを示す。後続アクセント型は、当該アクセント句に後続するアクセント句のアクセント型が１型であるか否かを示す。先行境界条件は、当該アクセント句と先行アクセント句の関係が強結合、弱結合、当該アクセント句と先行アクセント句との間にポーズがある、当該アクセント句が文頭にある、のうちいずれかを示す。後続境界条件は、当該アクセント句と後続アクセント句の関係が強結合、弱結合、当該アクセント句と後続アクセント句との間にポーズがある、当該アクセント句が文末にある、のうちいずれかを示す。アクセント句位置は、当該アクセント句が文頭またはポーズ部分から何番目に位置するかを示す。アクセント句位置の条件は、０（文頭またはポーズの直後）から５とする。韻律カテゴリはこれらの条件の組み合わせとなり、全ての組み合わせの条件について、つまり韻律カテゴリが合致するアクセント句がデータベースに存在するかを検索する。例えば韻律カテゴリの一つは、｛（アクセント句）１型、（モーラ数）４、（先行アクセント型）０型、（後続アクセント型）１型以外、（先行境界条件）強結合、（後続境界条件）ポーズ、（アクセント句位置）４｝のように表される。韻律カテゴリにどのアクセント句が含まれるかを示すカテゴライズ結果は、記憶装置２２に格納する。このようにして、ピッチパタンデータベース２１中のアクセント句を韻律的条件に従いカテゴライズする。
【００１２】
ステップ２０２からステップ２０３は、ピッチパタンをベクトル表現する手順を示す。この処理は、ステップ２０１にてカテゴライズした韻律カテゴリごとに行う。
ステップ２０２では、各ピッチパタンのピッチパタン形状の特徴を表現するパラメータを、ピッチパタンベクトルの要素とする。この実施例におけるベクトル化の一例を、図３を用いて説明する。ここでは、ピッチパタンの形状パラメータとして、点ピッチモデルを基本とした方法を示す。図中のＶは母音、Ｃは子音を表す。母音継続時間の中心部のピッチおよびアクセント句始終端のピッチをピッチパタンの形状パラメータとして利用する。ピッチパタンベクトルの各要素は、そのモーラのピッチとそのモーラに先行するモーラのピッチとの差分とする。あるアクセント句ａのモーラ数がｍ、第ｉモーラと第ｉ＋１モーラのピッチの差分をｘｉ、全韻律カテゴリ中で最大のモーラ数がＭのとき、あるアクセント句ａのピッチパタンのベクトル表現はＸａ＝（ｘ０，ｘ１，ｘ２，ｘｍ−１，０，・・・，０，ｘｍ）で表される。要素ｘｍ−１とｘｍの間にはＭ−ｍ個の値０の要素を挿入する。この処理は、異なるモーラ数を持つ韻律カテゴリ間でピッチパタンベクトルの差分を求めるために行う。
【００１３】
このベクトル化を、韻律カテゴリ中の全てのアクセント句のピッチパタンについて行う。
ステップ２０３では、ステップ２０２で求めたピッチパタンベクトルを平均化し、この平均ベクトルを、各韻律カテゴリのピッチパタンの特徴を表現するピッチパタンベクトルとする。ｎをカテゴリｋに属するアクセント句の総数、Ｘｊをカテゴリｋに属するアクセント句のピッチパタンベクトルとすると、韻律カテゴリｋ内のピッチパタンベクトルの平均は、Ｘｋ＝（１／ｎ）Σ^ｎ−１ _ｊ＝０Ｘｊのように求められる。
【００１４】
以上ステップ２０２からステップ２０３により、韻律カテゴリのピッチパタンベクトルを求める。求めたピッチパタンベクトル２３は、記憶装置に格納しておく。
ステップ２０４では、韻律カテゴリのピッチパタンベクトル２３から、韻律カテゴリ間の変形規則となる差分ベクトルを求める。韻律カテゴリＫから韻律カテゴリＬへの差分ベクトルＤ_ＫＬをＤ_ＫＬ＝Ｘ_Ｌ−Ｘ_Ｋのように求める。ただし、Ｋ＝０，・・・，Ｎ−１、Ｌ＝０，・・・，Ｎ−１、Ｋ≠Ｌである。Ｎは全韻律カテゴリの総数である。
【００１５】
以上の手順により、韻律カテゴリ間の変形規則２４が生成された。この変形規則２４も記憶装置に格納される。
図４は、この実施例において、変形規則適用時のピッチパタンの高さ決定に必要な情報を生成するための手順を示す。
ステップ４０１では、ピッチパタンデータベースの各アクセント句のピッチ平均値を求める。
【００１６】
ステップ４０２では、ピッチパタンデータベースのあるアクセント句と、その前後のアクセント句とのピッチ平均値の差から、当該アクセント句とその前後のアクセント句との相対的な高さを示す係数を求める。この高さ係数ｒは、式（ｈｐ−ｈ）／（ｈｐ−ｈｓ）より求める。ここで、ｈｐ、ｈｓ、ｈはそれぞれ、先行アクセント句、後続アクセント句、当該アクセント句のピッチの平均値を示す。
【００１７】
ステップ４０３では、ステップ４０２で求めた高さ係数について、韻律カテゴリごとの平均値を求める。この高さ係数の平均値４２は記憶装置に格納される。ここで求めた韻律カテゴリの高さ係数ｒを用いて、当該アクセント句の韻律カテゴリ情報と前後のアクセント句のピッチの高さを元に、当該アクセント句の高さを推定できる。
【００１８】
次に、この実施例の入力ピッチパタンに対する変形方法における変形規則適用の手順を図５を参照して説明する。
ピッチパタン変形方法では、入力ピッチパタンにピッチパタン変形規則を適用し、入力ピッチパタンの変形を行う。このピッチパタン変形装置の入力として、入力ピッチパタン、入力ピッチパタンの韻律カテゴリ、ピッチパタン適用（変形）先の韻律カテゴリ、ピッチパタン適用先の先行および後続アクセント句の各ピッチの高さ平均値が与えられる。
【００１９】
ステップ５０１では、ステップ２０２における手順と同様の方法で、入力ピッチパタンをベクトル表現する。
ステップ５０２では、入力ピッチパタンの韻律カテゴリと適用先の韻律カテゴリから、使用する変形規則を選択する。例として、入力ピッチパタンの韻律カテゴリがＫ、適用先の韻律カテゴリがＬであるとき、変形規則（差分ベクトル）Ｄ_ＫＬを変形規則データ２４より選択する。
【００２０】
ステップ５０３では、変形規則の適用を行う。ステップ５０１で得た入力ピッチパタンのベクトルにステップ５０２で選択した差分ベクトルを加算し、変形されたベクトルを得る。すなわち、入力ピッチパタンのベクトルをＸ_ｉｎとすると、変形されたピッチパタンのベクトルＸ′_ｉｎは、Ｘ′_ｉｎ＝Ｘ_ｉｎ＋Ｄ_ＫＬより得られる。
【００２１】
ステップ５０４では、入力ピッチパタンのピッチパタンベクトルが、変形されたベクトルＸ′_ｉｎのピッチパタンと等しくなるように、入力ピッチパタンの形状を変形する。この形状の変形は、１フレームごとにピッチの値を増減することにより行う。図６に具体例を挙げる。
図６（Ａ）は、入力ピッチパタンのフレームごとのピッチ変化量を示す図である。ｔ１，ｔ２，・・・は、入力ピッチパタンの母音中心点およびアクセント句始終端のフレームの位置を示す。ｕ１，ｕ２，・・・は、ｔ１，ｔ２，・・・におけるピッチ変化量を示す。これは、差分ベクトルＫ_ＫＬの各要素より求めることができる。この実施例では、モーラ中心間およびモーラ中心とアクセント句始終端との間のピッチ変化量は、線形補間により求める。
【００２２】
図６（Ｂ）は、図６（Ａ）に示したフレームごとのピッチ変化を入力ピッチパタンに施し、ピッチパタンを変形する様子を示す。この結果、変形後のピッチパタンベクトルは、ステップ５０３で求めたベクトルＸ′_ｉｎと等しくなる。つまり入力ピッチパタンを、適用先韻律カテゴリに応じて変形したピッチパタンが得られる。
【００２３】
ステップ５０５では、ピッチパタン適用先の音韻継続時間長にステップ５０４で変形したピッチパタンの時間長を合致させる。継続時間長は、音韻単位で与えられる。ピッチパタンを音韻単位で時間方向に線形伸縮することにより、時間長補正を行う。
ステップ５０６では、変形したピッチパタンに適したピッチの高さを、ピッチパタン適用先の前後のアクセント句のピッチの高さより求める。高さ係数データ４２より、ピッチパタン適用先の韻律カテゴリの高さ係数ｒを得る。ピッチパタン適用先の先行アクセント句のピッチの高さｈｐ、同じく後続アクセント句のピッチの高さｈｓとすると、変形したピッチパタンに適したピッチの高さｈを、ｈ＝ｈｐ−ｒ（ｈｐ−ｈｓ）より求める。
【００２４】
ステップ５０７では、ステップ５０６で求めた高さｈにステップ５０５で得たピッチパタンのピッチの高さの平均を合致させる。
以上の処理により、入力ピッチパタンを所望（適用先）の韻律カテゴリに合致するように変形できる。
なお、ステップ５０６における高さ決定は適用先のアクセント句の先行するアクセント句又は後続するアクセント句の一方のピッチの高さのみを用いてもよい。またアクセント句が文の始端や、終端の場合は、予め、始端や終端とそれぞれ隣接するアクセント句の高さとの差の平均を韻律カテゴリごとに求めておき、高さ決定時に、前記始端又は終端の対応する差を適用先韻律カテゴリから得て高さの決定を行えばよい。
【００２５】
【発明の効果】
以上の通りであって、この発明によれば、所望の韻律カテゴリ条件に適する形にピッチパタンを変形することができる。これにより例えば、入力したテキストに対応する音声を規則により合成する過程で韻律データベースから選択した自然音声のピッチパタンを基に韻律制御を行う音声合成装置において、韻律データベースに合成したいテキストと同一の韻律条件（カテゴリ）のピッチパタンデータが存在しないときでも、他の韻律条件（カテゴリ）のピッチパタンを適切に変形することにより自然性の高い音声合成が可能となる。また、既存の規則合成音声パラメータを利用して新たな合成音声を規則により合成する音声合成装置において、元の合成音声と合成テキストの属する韻律カテゴリが異なるときに、ピッチパタンを所望の韻律カテゴリに合致する形状に変形することにより合成音声の自然性を保つことができ、ユーザがピッチパタンを修正する作業を軽減することができる。
【００２６】
次に実験により、この発明の効果を示す。音声データベースから２８６２句を用いて変形規則を生成した。データベース中の５文章について（ａ），（ｂ），（ｃ）３種類の合成音声を作成した。
（ａ）ＡＴＲデータベース（原音声）自体から求めた音韻情報と韻律情報を用いて音声合成した音声。
（ｂ）他の文を発声したアクセント句のピッチパタンと、（ａ）中の１アクセント句のピッチパタンを置き換えて音声合成した音声（変形前音声）。
（ｃ）（ｂ）で置き換えたピッチパタンに対し、図５に示した実施例により変形を施し、これを用いて音声合成した音声（変形後音声）。
【００２７】
これら合成音声を被験者１２名に提示し、イントネーションの自然性を５段階で評価させた。合成器に与えた音韻継続時間長はすべて原音声のものを用いた。また被験者はピッチパタンを変形した（変形される）部分のイントネーションのみを評価の対象とするように指示した。この実験結果を図７に示す。この図から、この発明による変形処理の結果、原音声に近い品質が得られることがわかった。
【図面の簡単な説明】
【図１】この発明のピッチパタン変形部分の基体構成を示す図。
【図２】この発明において、ピッチパタンデータベースから変形規則を生成するためのフローチャート。
【図３】図２のピッチパタンのベクトル化において、ベクトル表現の一例を示す図。
【図４】この発明の一実施形態において、ピッチパタン変形時の高さ決定に用いるためのアクセント句ピッチ平均値およびピッチ高さ係数を求めるフローチャート。
【図５】この発明の一実施形態において、ピッチパタンを変形するアルゴリズムを示すフローチャート。
【図６】この発明の一実施形態において、ベクトル要素からピッチパタンを変形する方法を説明する図。
【図７】この発明の効果を表す実験結果を示す図。

Claims

合成音声のピッチパタンを入力し、その入力ピッチパタンのアクセント型、モーラ数、先行アクセント型、後続アクセント型、先行境界条件、後続境界条件、アクセント句位置などの集合よりなる韻律カテゴリと異なる韻律カテゴリを上記入力ピッチパタンに適用してピッチパタンを変形する処理方法において、
大量のアクセント句単位のピッチパタンが蓄積された韻律データベース中の各ピッチパタンについて、始端のピッチ、各母音の継続時間の中心部のピッチ、及び終端のピッチを形状パラメータとして求め、
その求めた２つ目以降の各形状パラメータとその１つ前の形状パラメータとの差を求め、これらの差と１つ目の形状パラメータとを要素とするベクトルを各ピッチパタンのピッチパタンベクトルとし、
韻律カテゴリが同一のピッチパタンのピッチパタンベクトルの平均を求めてその韻律カテゴリの平均ピッチパタンベクトルとし、
異なる韻律カテゴリを持つアクセント句の平均ピッチパタンベクトル間の差を差分ベクトルで表現し、
この差分ベクトルを変形規則として、あらかじめ保持しておき、
入力ピッチパタンについて始端のピッチ、各母音の継続時間の中心部のピッチ、及び終端のピッチを形状パラメータとして求め、
その求めた２つ目以降の各形状パラメータとその１つ前の形状パラメータとの差を求め、これらの差と１つ目の形状パラメータとを要素とするベクトルにより上記入力ピッチパタンのベクトルを表現し、
入力ピッチパタンとピッチパタンの適用先との韻律カテゴリの差に対応した変形規則を上記入力ピッチパタンのベクトルに加算してベクトル変形し、
その変形されたベクトルから所望の韻律カテゴリと対応した変形ピッチパタンを得ることを特徴とするピッチパタン変形方法。
請求項１記載のピッチパタン変形方法において、
韻律データベース中のピッチパタン情報から、韻律カテゴリが同一であるアクセント句のピッチ平均値と、
上記韻律カテゴリが同一であるアクセント句集合中の、各アクセント句に先行するアクセント句および後続するアクセント句の少くとも一方のピッチ平均値との差を求めてあらかじめ保持しておき、
上記適用韻律カテゴリにおける上記先行又は／及び後続ピッチ平均値を用いて、上記変形ピッチパタンに対する高さを決定することを特徴とするピッチパタン変形方法。
入力ピッチパタンについて始端のピッチ、各母音の継続時間の中心部のピッチ、及び終端のピッチを形状パラメータとして求め、
その求めた２つ目以降の各形状パラメータとその１つ前の形状パラメータとの差を求め、これらの差と１つ目の形状パラメータとを要素とするベクトルにより上記入力ピッチパタンのベクトルを表現する処理と、
上記入力ピッチパタンの韻律カテゴリと適用先の韻律カテゴリとの差と対応した変形規則の差分ベクトルを、あらかじめ大量のピッチパタンを用いて生成され、蓄積されているデータベースから選択する処理と、
上記選択された変形規則の差分ベクトルで、上記ベクトル表現された入力ピッチパタンに対しベクトル変形する処理と、
上記ベクトル変形された入力ピッチパタンに基づき上記入力ピッチパタンを変形する処理と
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項３に記載の記録媒体において、
上記適用先韻律カテゴリと対応する高さ係数データを選択する処理と、
上記適用先韻律カテゴリのピッチパタンに対し先行又は／及び後続するピッチパタンの高さを求める処理と、
この求めたピッチパタンの高さと上記選択した高さ係数とを用いて、上記変形された入力ピッチパタンの高さを補正する処理と、
を上記コンピュータに実行させるためのプログラムが記録されていることを特徴とする記録媒体。
請求項４記載の記録媒体において、
上記高さ補正処理に先立って行う、上記変形された入力ピッチパタンを、適用先のピッチパタンの時間長に合致させる処理を上記コンピュータに実行させるためのプログラムが記録されていることを特徴とする記録媒体。
請求項３、４又は５記載の記録媒体において、
上記入力ピッチパタンの始端及び次のモーラ中心間と、各モーラ中心間と、モーラ中心及び、上記入力ピッチパタンの終端間における各フレームごとの各ピッチ変化量を、上記変形されたベクトルの要素を用いて、線形補間により求める処理を上記コンピュータに実行させるためのプログラムが記録され、
上記入力ピッチパタンを変形する処理は上記変形されたベクトルの各要素及び上記各ピッチ変化量を、上記入力ピッチパタンの各対応するフレームのピッチに対して加減算する処理であることを特徴とする記録媒体。