JPH06250690A - 振幅特徴抽出装置及び合成音声振幅制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 合成フィルタを駆動するパルス音源の振幅形
状制御を行う合成音声振幅制御装置において、線形な値
で振幅形状をモデル化し、制御パタンの変形を容易にす
る技術を提供する。 【構成】 合成する音韻列情報を解析して振幅形状制御
に用いる形状パタンを決定付けると共に、クラスタリン
グ手法によって作成された形状パタン符号帳１２から該
当する特徴パラメタを抽出する。この特徴パラメタを割
付部１３、特徴点間補間部１４、接続形状変形部１５で
滑らかに接続した後、形状変形処理部１６で実際の制御
目標になるように形状変形処理を行う。これにより得ら
れた振幅制御音声を用いて合成フィルタ（図示省略）を
駆動する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声合成技術に係り、
特に、合成フィルタを駆動するインパルス列や、ＰＣＭ
（Pulse Code Modulation）音声波形（以下、パルス音
源）の振幅特徴を抽出して蓄積する振幅特徴抽出装置、
及びこの振幅特徴抽出装置を用いて合成単位間の振幅接
続を滑らかに制御する音声振幅制御装置に関する。

【０００２】

【従来の技術】音声合成技術においては、ピッチ、振
幅、継続時間長が韻律を決定する重要な要素となってい
る。しかしながら、一般に、振幅はピッチや継続時間長
に比べて合成音声の品質に与える影響が少ないとして、
その制御は、音韻単位での区間パワ平均値の大きさを制
御する程度であった。ところが、近年の音声合成技術の
進歩により、自然性の高い合成音声の生成技術に関する
需要が高まり、振幅においても音韻モデルによる精密な
制御技術の開発が望まれるようになった。

【０００３】このような流れを背景に、文章全体におけ
る大まかな振幅変化を統計的に決定する手法が種々検討
されている。しかし、従来、音韻単位での振幅形状をモ
デル化して振幅制御を行う方法は提供されていない。ま
た、これまでの振幅制御技術において、パルス音源の制
御は、振幅形状を対数パワで扱うものが殆どであり、音
声波形の振幅形状をそのまま制御目標形状とするもので
はなかった。

【０００４】なお、従来の振幅制御については、例え
ば、「音声パワの動的特性の分析と制御」（平成３年日
本音響学会春季講演論文集、１−６−４、三村、勾坂）
にて詳細に論じられている。

【０００５】

【発明が解決しようとする課題】このように、音韻単位
の振幅形状を考慮しない従来技術の場合、駆動インパル
ス列の時間経過に伴う振幅形状変化（振幅包絡）やＰＣ
Ｍ音声波形の振幅値を制御するときは、合成単位作成時
に用いた音声試料の振幅値に依存せざるを得ず、同一音
韻環境においてもアクセントの影響等により変化が見ら
れるパルス音源の振幅形状を忠実に再現できない場合が
あった。そのため、合成単位接続時に異常音が発生して
合成音声の自然性を損なう問題があった。また、対数モ
デルで制御目標形状を作成する場合は、実際に振幅制御
を行う際に線形軸への変換が必要となり、制御過程が複
雑化する問題もあった。

【０００６】本発明は、かかる問題点に鑑みてなされた
もので、その目的とするところは、パルス音源の韻律を
考慮した振幅特徴を抽出し、合成音声の自然性向上を可
能とする振幅特徴抽装置を提供することにある。本発明
の他の目的は、線形値により振幅形状をモデル化して制
御目標形状の変形を容易にし、且つ、該制御目標形状を
柔軟且つ滑らかに生成して合成音声の自然性向上を可能
とする合成音声振幅制御装置を提供することにある。

【０００７】

【課題を解決するための手段】本発明の振幅特徴抽出装
置は、大量の音韻種別を網羅する音声データから各ピッ
チ毎のピーク位置を分析して当該音声データの振幅包絡
線を形成する包絡線形成手段と、前記振幅包絡線を音韻
単位で抽出して時間軸及び振幅軸で夫々正規化する正規
化手段と、正規化された振幅包絡線から当該音韻の特徴
パラメタを抽出する特徴パラメタ抽出手段と、抽出され
た特徴パラメタをクラスタリングにより分類し、分類さ
れたクラスタのセントロイドを当該特徴パラメタの代表
値として蓄積する蓄積手段と、を少なくとも設け、音声
データの音韻毎の振幅特徴を抽出することを特徴として
いる。

【０００８】上記構成において、前記蓄積手段は、クラ
スタリング結果が分散するときに該分散値が設定値未満
になるまで当該音韻環境長を拡大する手段を含み、拡大
を中止した時点でその重心点に最も近いクラスタのセン
トロイドを当該特徴パラメタの代表値として蓄積する。
また、前記特徴パラメタは、前記正規化された振幅包絡
線から時間軸上の固定位置における振幅値を特徴ベクト
ル化したもの、又は、前記正規化された振幅包絡線の振
幅変化量等分点の時間位置と振幅値との対を特徴ベクト
ル化したしたものとする。

【０００９】また、本発明の合成振幅制御装置は、上記
構成の振幅特徴抽出装置を形状パタン符号帳として用い
て合成フィルタを駆動するパルス音源の振幅形状制御を
行うものである。具体的には、合成音声の音韻環境及び
韻律情報を解析して前記パルス音源の制御目標形状を決
定するパタン決定手段と、前記パルス音源の振幅特徴抽
出を行う前述の振幅特徴抽出装置と、この振幅特徴抽出
装置から前記制御目標形状に対応する特徴パラメタを選
択抽出する特徴パラメタ抽出手段と、合成単位の継続時
間長及び振幅値を用いて前記抽出した各特徴パラメタの
継続時間割付及び振幅絶対値割付を行う割付手段と、こ
の割付手段より出力される特徴パラメタの特徴点間補間
を行い、前記パルス音源に対応する時間軸上の任意の点
での振幅包絡値を得る補間手段と、合成単位となる前記
パルス音源の制御目標形状を当該時点での前記振幅包絡
値に収束変形させる形状変形手段と、を少なくとも設
け、音韻環境から決定される振幅の時間変化を精密に再
現するようにした。

【００１０】なお、前記形状変形手段に、変形に伴う音
韻区間毎のパワ値変動推定を行うパワ値変動推定手段を
設け、推定値が閾値を超えるときに当該音韻区間内の制
御目標値を予め前記閾値内に補正するようにしても良
い。

【００１１】

【作用】本発明の振幅特徴抽出装置では、まず、音韻種
別を充分に網羅する音声データより各ピッチ毎のピーク
位置を分析し、該分析値から音韻単位で包絡線を抽出し
たものを正規化して正規化包絡線とする。この正規化包
絡線から時間軸上の固定位置における振幅値を特徴ベク
トルとするか、又は、振幅変化量等分点の時間位置と振
幅値との対を特徴ベクトルとすることにより該正規化包
絡線の特徴パラメタを抽出する。そして抽出された抽出
パラメタを音韻環境との対応付けを行いながらクラスタ
リング手法により分類し、分類されたクラスタのセント
ロイドを該当する形状の代表値として蓄積する。

【００１２】本発明の合成振幅制御装置では、即ち、パ
ルス音源の振幅特徴（形状パタン）を予め抽出して形状
パタン符号帳に蓄積する。合成時には、まず、合成音声
の音韻環境及び韻律情報を解析してパルス音源の制御目
標形状を決定する。そして、この制御目標形状に対応す
る音韻毎の特徴パラメタを形状パタン符号長より選択抽
出し、合成単位の継続時間長及び振幅値を用いて継続時
間割付及び振幅絶対値割付を行った後、パルス音源に対
応する時間軸上の任意の点での振幅包絡値が得られるよ
うに特徴点補間を行う。形状変形手段では、合成単位と
なる制御目標形状を当該時点での振幅包絡値に収束変形
させる。この制御目標形状を用いて合成フィルタの駆動
音源等の振幅値を制御することで、音韻環境から決定さ
れる振幅の時間変化が再現される。

【００１３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は、本発明の一実施例に係る合成音声振幅制
御装置のブロック構成図であり、１０は音韻列解析部、
１１は形状パタン抽出部、１２は形状パタン符号帳（振
幅特徴抽出装置）、１３は割付部、１４は特徴点間補間
部、１５は接続部形状変形部、１６は形状変形処理部を
表す。

【００１４】音韻列解析部１０は、かな漢字やローマ字
表記による文字列の音韻環境と規則により生成された韻
律情報とを含む音韻列情報を入力してその解析を行い、
解析結果により制御目標パタンの決定付けを行う（パタ
ン決定手段）。形状パタン抽出部１１は、決定された制
御目標パタンに対応する特徴パラメタを形状パタン符号
帳１２から選択抽出する（特徴パラメタ抽出手段）。形
状パタン符号帳１２には、時間軸及び振幅とも正規化さ
れた特徴パラメタがクラスタリング手法によって作成さ
れている。これについては後述する。抽出された特徴パ
ラメタは、割付部１３に導かれる。割付部１３では、制
御対象となる合成単位の時間長及び振幅値を用いて各特
徴パラメタの継続時間割付及び振幅絶対値割付を行う
（割付手段）。また、抽出された各特徴パラメタは、音
声波形の各振幅形状を代表するサンプル点であるので、
特徴点間補間部１４でこれらサンプル間を連続な形状に
設定する（特徴点間補間手段）。以上の処理により各々
の合成単位に対して振幅形状を設定したときに、隣接す
る合成単位間で振幅形状に不連続を生じる。この不連続
を解消するために、接続形状変形部１５により合成単位
間の平滑化処理を行う。そして、形状変形処理部１６で
は、最終的な制御目標形状を得るために、平滑化された
振幅形状から実際の制御目標となる制御係数を算出し、
該制御係数に基づいて切り出し波形の振幅制御とその重
ね合わせ処理を行い、振幅制御音声を生成する（形状変
形手段）。この形状変形処理部１６の詳細については後
述する。

【００１５】次に、本実施例による形状パタン符号帳１
２について、図２〜図４を参照して詳細に説明する。図
２は形状パタン符号帳１２の具体的構成図、図３（ａ）
（ｂ）（ｃ）はその処理説明図、図４はクラスタリング
に関する説明図である。図２において、２１は振幅形状
分析部、２２は正規化部、２３は形状特徴抽出部、２４
はクラスタリング部を表す。

【００１６】形状パタン符号帳１２の作成には、音素ラ
ベリングされた音韻種類を充分含む大量の音声データを
用いる。音素ラベリング（音韻境界）は図３（ａ）の３
１、音声データの波形は同じく３３に示してある。振幅
形状分析部２１では、ローカルピーク抽出法を用いた振
幅形状分析を行い、各ピッチ内の最大振幅を通る音声波
形の振幅包絡線を形状特徴パタンとする（包絡線形成手
段）。この振幅包絡線は、図３（ａ）の３２に示してあ
る。正規化部２２では、抽出された振幅包絡線を効率的
に分類するために、音素単位で形状正規化を行う。振幅
に関しては、音素区間内の振幅最大値が１．０となるよ
うに正規化処理を行い、正規化包絡線を得る（正規化手
段）。図３（ｂ）の３４は、この正規化包絡線を表す。
形状特徴抽出部２３では、正規化包絡線３４から時間軸
上の固定位置における振幅値を特徴ベクトルとすること
で、該正規化包絡線３４の特徴抽出を行う（特徴パラメ
タ抽出手段）。図示の例では、正規化包絡線３４から等
間隔な時間間隔で／ａ／、／ｉ／を夫々抽出し、その系
列｛ａｉ｝を各振幅形状を特徴づけるベクトルとする。

【００１７】クラスタリング部２４では、抽出された特
徴ベクトル｛ａｉ｝をクラスタリングにより分類し、そ
の分類結果を符号帳として蓄積する（蓄積手段）。図３
（ｃ）の３５は上記分類結果を表す。クラスタリング
は、音素長（音韻連接数１）から開始し、同一の音素で
距離が大きい別のクラスタに属する形状が多数存在する
場合は、随時その音素を中心とする音韻環境長を拡大
し、分布の分散を低下させる。この分散値が予め設定し
た値を下回った時点で音韻環境長の拡大を中止し、夫々
のクラスタの重心点に最も近いクラスタを音韻環境の代
表点とする。分散の閾値はシステムの要求精度によって
異なり、分散を小さく設定すると形状が元の音声波形に
より忠実となる。他方、分散値を大きく設定すると逆の
事象が起こる。この分散の閾値は、システムの記憶容量
と要求される形状の精度のトレードオフにより設定す
る。図４の例では、／ａ／４１という音韻環境について
のクラスタリング結果が分散の閾値を越えるような複数
のクラスタと対応している。よって、／ａ／の前後の音
韻環境を付加し、その対応関係を夫々／ｋ-ａ-ｉ／４
２、／ｍ-ａーｅ／４３のように分離（拡大）し、特徴パ
ラメタの分散を低下させている。

【００１８】次に、前述の特徴点補間部１４（図１参
照）の動作を図５（ａ）（ｂ）を参照して詳細に説明す
る。図５（ａ）は補間前、（ｂ）は補間後の振幅形状の
一例を示す図であり、図３（ｃ）の図形に対応する。こ
の例では、特徴点、即ち特徴点が１音韻内で１０点程存
在するので、実際に音声波形を制御する場合には補間処
理が必要となる。本実施例では、各特徴点を滑らかに通
る曲線を生成するためにスプライン補間を用いている。
このスプライン補間を用いることにより、隣合う合成単
位の振幅形状を含め、特徴点間の値を滑らかに内挿する
ことが可能となる。これにより、図５（ｂ）に示すよう
に、合成単位間の接続の際にも滑らかな制御目標曲線が
得られる。

【００１９】次に、形状変形処理部１６（図１参照）の
詳細を図６及び図７を参照して説明する。図６はこの形
状変形処理の手順概要図であり、Ｓはステップを表す。
また、図７はその概略を示す説明図である。

【００２０】図６を参照すると、この処理では、まず、
変形する対象の合成単位の区間平均パワ計算を行う（Ｓ
６１）。次に、ピッチ単位で波形を操作するために、波
形からローカルピーク位置を検出する（Ｓ６２）。区間
平均パワとピーク位置と目標パターン形状から変形後の
音韻区間パワ計算を行い（Ｓ６３）、算出されたパワ値
を元に、変形に伴うパワ変動推定を行う（Ｓ６４）。パ
ワ変動値が予め設定した閾値を越える場合は、区間内で
一様に振幅を補正するために、補正係数計算を行い（Ｓ
６５）、制御目標パタンの振幅を補正する（Ｓ６６）。
また、パワ変動値が閾値以下の場合は、直接ピッチ毎変
形処理を行う（Ｓ６７）。

【００２１】ピッチ毎の波形変形は、図７（ａ）に示す
音声波形７１からピーク位置（ローカルピーク位置、以
下同じ）を抽出し、波形操作の目途とする。これらピー
ク位置を元に時間窓関数を用いて１ピッチ単位で波形を
切り出す。ここで切り出された波形を、図７（ｂ）に示
す制御目標パタン７２を元に制御係数を算出する。この
制御係数をＫ、時間ｔにおける音声波形の振幅をＳw
(t)、注目するピーク位置をｔ1、時間ｔにおける制御目
標曲線をＦa(t)としたとき、制御係数Ｋは、Ｋ＝Ｆa(t
1)／Ｓw(t1)の式より求まる。

【００２２】この算出された制御係数Ｋを元に窓関数振
幅を制御し、図７（ｃ）に示すように、窓関数の振幅値
を制御して、切り出し波形の振幅を制御目標曲線Ｆａ
（ｔ）に収束させる。そして、元の波形のピーク位置と
時間同期を保ちながら重ね合わせ処理を行い、振幅制御
音声を得る。

【００２３】このように、本実施例の合成音声振幅制御
装置では、合成する文字列情報から音韻環境やアクセン
ト型を元に振幅形状制御に用いる形状パタンを決定する
と共に、形状パタン符号帳１２から該当する特徴ベクト
ルを抽出し、このベクトルから算出した実際の制御目標
になるように音声波形又は駆動音源の振幅値を処理する
ようにしたので、音声のピッチ構造を持つ部分の振幅形
状の変形が極めて容易となる。また、振幅の時間変化が
柔軟且つ滑らかに再現することが可能となり、音声合成
に用いる合成単位の接続による異音発生が大幅に抑制さ
れる。

【００２４】なお、本実施例では、形状特徴抽出部２３
で、正規化包絡線３４（図３（ａ）参照）の時間軸上の
固定位置における振幅値を特徴ベクトル化した例につい
て説明したが、振幅変化量等分点からの特徴抽出も可能
である。図８は、この振幅変化量等分点による特徴ベク
トル抽出の説明図である。この場合は、まず、正規化包
絡線８１（図３（ｂ）の正規化包絡線３４に相当）から
振幅変化量の積算を表す曲線８２を算出する。この曲線
８２を表す関数ＤＡ(t)、正規化包絡線８１を表す関数
をＡｎ(t')とすると、関数ＤＡ(t)は下式より求められ
る。

【００２５】

【数１】

【００２６】また、特徴とするベクトルの基底をＮ（但
し、Ｎは偶数）としたとき、振幅変化量等分線８４の間
隔ＬＤは、下式のように定められる。

【００２７】

【数２】

【００２８】以上の値から決定される振幅変化量等分線
８４が上記曲線８２と交わる点を振幅変化量等分点８３
とする。この振幅変化量等分点８３の対応する時間軸上
の値が、元の正規化振幅包絡線８１と対応する値を求め
て振幅形状を特徴づけるサンプル点８６を決定する。８
５は、振幅変化量等分点８３と時間軸との対応を表して
いる。これらサンプル点８６における、時間と振幅値を
特徴ベクトルの基底とすることで、振幅変化量等分点８
３に基づく特徴抽出が可能となる。

【００２９】なお、本発明は、必ずしも上記実施例に限
定されるものではなく、その要旨を逸脱しない範囲で任
意に構成の変更が可能である。

【００３０】

【発明の効果】以上詳細に説明したように、本発明の振
幅特徴抽出装置によれば、音韻単位の振幅特徴を線形な
値で抽出することが可能となり、音声合成時の制御目標
形状のモデル化が容易になる効果がある。

【００３１】また、本発明の合成音声振幅制御装置で
は、音声合成時に、上記構成の振幅特徴抽出装置から制
御目標形状の特徴パラメタを抽出し、この特徴パラメタ
から求めた実際の制御目標となるように合成パラメタの
音源振幅の時間変化を制御するので、制御目標形状の変
形が容易となる効果がある。しかも、特徴パラメタ間を
補間して振幅形状を柔軟且つ滑らかに生成するので、合
成単位の接続による異常音発生が抑制され、合成音声の
自然性向上が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る合成音声振幅制御装置
のブロック構成図である。

【図２】本実施例による形状パターン符号帳のブロック
構成図である。

【図３】本実施例による形状パターン符号帳作成の説明
図であり、（ａ）は振幅データの抽出、（ｂ）は振幅デ
ータの正規化、（ｃ）はクラスタリング結果の一例を示
す。

【図４】本実施例による形状パターンのクラスタリング
に関する説明図であり、複数のクラスタと音韻環境との
対応を分離する過程を表す。

【図５】 制御目標の特徴点間をスプライン補間して制
御目標パタンを生成する例を示す図で、（ａ）は補間
前、（ｂ）は補間後を示す。

【図６】本実施例による形状変形処理の手順概要図であ
る。

【図７】本実施例によるピッチ毎の波形変形処理部の動
作説明図であり、（ａ）は波形切り出し、（ｂ）は制御
目標曲線、（ｃ）は振幅変形の様子を表す。

【図８】振幅変化量等分点を用いて行う形状パターンの
特徴抽出方法説明図であり、振幅変化量の積算を表す曲
線と振幅形状を特徴づけるサンプル点を示す。

【符号の説明】 １０・・・音韻列解析部 １１・・・形状パタン抽出部 １２・・・形状パタン符号帳（振幅特徴抽出装置） １３・・・割付部 １４・・・特徴点間補間部 １５・・・接続形状変形部 １６・・・形状変形処理部 ２１・・・振幅形状分析部 ２２・・・正規化部 ２３・・・形状特徴抽出部 ２４・・・クラスタリング部 ７１・・・音声波形（Ｓw(t)） ７２・・・制御目標曲線（Ｆa(t)）

Claims (6)

【特許請求の範囲】
1. 【請求項１】 音韻種別を網羅する音声データから各ピ
   ッチ毎のピーク位置を検出して当該音声データの振幅包
   絡線を形成する包絡線形成手段と、 前記振幅包絡線を音韻単位で抽出して時間軸及び振幅軸
   で夫々正規化する正規化手段と、 正規化された振幅包絡線から当該音韻の特徴パラメタを
   抽出する特徴パラメタ抽出手段と、 抽出された特徴パラメタをクラスタリングにより分類
   し、分類されたクラスタのセントロイドを当該特徴パラ
   メタの代表値として蓄積する蓄積手段と、を有すること
   を特徴とする振幅特徴抽出装置。
2. 【請求項２】 請求項１記載の振幅特徴抽出装置におい
   て、 前記蓄積手段は、クラスタリング結果が分散するときに
   該分散値が設定値未満になるまで当該音韻環境長を拡大
   する手段を含み、拡大を中止した時点でその重心点に最
   も近いクラスタのセントロイドを当該特徴パラメタの代
   表値として蓄積することを特徴とする振幅特徴抽出装
   置。
3. 【請求項３】 前記特徴パラメタは、前記正規化された
   振幅包絡線から時間軸上の固定位置における振幅値を特
   徴ベクトル化したものであることを特徴とする請求項１
   又は２記載の振幅特徴抽出装置。
4. 【請求項４】 前記特徴パラメタは、前記正規化された
   振幅包絡線の振幅変化量等分点の時間位置と振幅値との
   対を特徴ベクトル化したしたものであることを特徴とす
   る請求項１又は２記載の振幅特徴抽出装置。
5. 【請求項５】 合成フィルタを駆動するパルス音源の振
   幅形状制御を行う装置であって、 合成音声の音韻環境及び韻律情報を解析して前記パルス
   音源の制御目標形状を決定するパタン決定手段と、 前記パルス音源の振幅特徴抽出を行う請求項１乃至４の
   いずれかの項記載の振幅特徴抽出装置と、 この振幅特徴抽出装置から前記制御目標形状に対応する
   特徴パラメタを選択抽出する特徴パラメタ抽出手段と、 合成単位の継続時間長及び振幅値を用いて前記抽出した
   各特徴パラメタの継続時間割付及び振幅絶対値割付を行
   う割付手段と、 この割付手段より出力される特徴パラメタの特徴点間補
   間を行い、前記パルス音源に対応する時間軸上の任意の
   点での振幅包絡値を得る補間手段と、 合成単位となる前記パルス音源の制御目標形状を当該時
   点での前記振幅包絡値に収束変形させる形状変形手段
   と、を有することを特徴とする音声合成振幅制御装置。
6. 【請求項６】 前記形状変形手段は、変形に伴う音韻区
   間毎のパワ値変動推定を行うパワ値変動推定手段を備
   え、推定値が閾値を超えるときに当該音韻区間内の制御
   目標値を予め前記閾値内に補正することを特徴とする請
   求項５記載の音声合成振幅制御装置。