JPH06167989A - 音声合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 高品質で任意性の高い音声合成方法を実現す
る。 【構成】 入力文字列に対して適当な文字列及び韻律パ
ラメータを有する合成単位を選択し、該合成単位を接続
して、音声合成を行う音声合成装置において、大量の合
成単位中から適当な合成単位を決定する際に、文字情報
から文字列の各音素表記に重み付けを行う重み関数生成
部３０３と、照合する音素表記間の類似度を評価するた
めにケプストラム距離等を基に設定された音素間評価値
テーブルと、当該重み関数と音素間評価値の双方を用い
て合成単位に評価ポイントを決定する評価ポイント算出
部３０５とを有し、各文字の評価値と文字列の重みを用
いて完全に一致する文字列及び検索文字列に類似する文
字列を検索する辞書内データ探索部２０６を備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、大量の音声データとラ
ベル情報を有するデータベース等の中から所望の文字列
及び類似文字列を検索し評価する手段を有する音声合成
装置に関し、特に、発声様式の類似性を考慮した音声の
規則合成方式における合成単位検索装置に関するもので
ある。

【０００２】また、誤り傾向を評価値として用い、重み
関数とともに文章中の綴り誤りの検出等に適用すること
が可能な文字列検索装置に関するものである。

【０００３】

【従来の技術】従来の音声合成装置の規則合成方式にお
いては、合成に用いる合成単位は文字列に対して一意に
決定され、長いレンジでの音韻環境の類似性を考慮して
いない。

【０００４】また、パラメータ量を少なくするためにＣ
Ｖ・ＶＣ，ＣＶＣ，ＶＣＶ等（Ｖはvowel（母音）Ｃはc
onsonant（子音）)の短い単位で蓄積されているため、
合成音声の連続性（自然性）が自然音声に比べて劣る。
また、録音編集合成においては、予め接続できる合成単
位のパターンが決定されるため、合成できる音声の自由
度が低いことが指摘される。また、音素単位での録音編
集合成では、自由度が高くかなり良質の音声が得られる
が、適当な合成単位を選択する手段が複雑である。

【０００５】従来の合成単位選択方式に関する方式につ
いては、例えば、「広川，箱田，中津、波形編集型規則
合成法における波形選択法、１９９０年１月、電子情報
通信学会技術研究報告 ＳＰ８９−１１４」において開
示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、前記従
来の技術では、音韻環境によって一意に合成パラメータ
が決定されるので、高品質で任意性の高い音声合成方法
を実現することは難しいという問題があった。また、合
成パラメータをＣＶ・ＶＣ等の全ての同一パターンで保
持する必要があるという問題があった。

【０００７】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、高品質で任意性の
高い音声合成方法を実現することが可能な技術を提出す
ることにある。

【０００８】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。

【０００９】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、入力されたかな漢字混じりの文字列を単
語単位又はアクセント句に区切り、該単語単位又はアク
セント句の規則により韻律形状を付与し、単語単位に区
切られたかな漢字文字をかな漢字表記の１文字単位まで
解析し、該解析結果にローマ字による音素表記を付与し
て合成単位とし、かな漢字表記とローマ字表記を基に、
韻律情報及び文字列情報が付加された大量の音声データ
から、入力文字列に対して適当な文字列及び韻律パラメ
ータを有する合成単位を選択し、該合成単位を接続し
て、音声合成を行う音声合成装置において、大量の合成
単位中から適当な合成単位を決定する際に、文字情報か
ら文字列の各音素表記に重み付けを行う重み関数生成部
と、照合する音素表記間の類似度を評価するためにケプ
ストラム距離等を基に設定された音素間評価値テーブル
と、該重み関数と音素間評価値の双方を用いて合成単位
に評価ポイントを決定する評価ポイント算出部と、各文
字の評価値と文字列の重みを用いて完全に一致する文字
列及び検索文字列に類似する文字列を検索する辞書内デ
ータ探索部を備えたことを特徴とする。

【００１０】

【作用】前述の手段によれば、合成単位選択のために重
み関数及び音素間評価値を用い、前記重み関数は、完全
一致領域及び類似度評価領域を有し、類似度評価領域に
おいて音素間の発声様式の類似性を反映することができ
る。

【００１１】また、重み関数により合成単位近傍の音素
類似性に重点を置いて評価し、接続される合成単位間の
連続性を保ち、合成単位間のパラメータ内挿等を極力押
さえることができる。

【００１２】また、該音素間評価値は、発声様式の類似
性を表現することが可能となるように、ケプストラム
（音声認識などに有効）の低次の項を用いた距離計算結
果により実現する発声様式を加味し、比較的単純な検索
方法を用いることにより、システム等が持つ合成単位の
中から音声合成に適したものを選択し、しかも、姓名等
の任意性の高い音声合成を実現することができる。

【００１３】

【実施例】以下、本発明の一実施例を図面に基づいて詳
細に説明する。

【００１４】図１０は、本発明の音声合成原理を説明す
るための図であり、Ａは合成単位蓄積部の内容構成、Ｂ
は合成音声文字列である。図１０においては、保持して
いる合成単位中から音の一致するものを選び出し、韻律
情報等を基に選択された結果、合成に用いる合成単位を
決定する際の概念を示している。

【００１５】本発明の音声合成は、図１０に示すよう
に、発声された音声を音響的分析パラメータ、またはＰ
ＣＭ（pulsecode modulation）データとして保持し、ま
た、保持した音声を記述するかな漢字文字列、ローマ字
表記文字列、発声された音声の韻律情報及び本発明で規
定する合成単位毎で時間情報（ラベル情報）を持ち、後
に規定する合成単位番号により他の合成単位と区別す
る。

【００１６】音声合成を行いたい任意の漢字文字列が入
力されたとき、合成するのに適当な合成単位を決定し、
該合成単位を接続することにより音声合成を実現する。
合成単位を決定するには、入力された文字列をテキスト
解析辞書等により解析しアクセント句に韻律形状を辞書
的に設定する。

【００１７】また、解析結果を更に分解することにより
合成単位のかな漢字表記及びローマ字表記を決定し、ロ
ーマ字表記が一致する合成単位、つまり音が一致する合
成単位を検索し、全ての合成単位中から候補たる合成単
位に評価ポイントを与える。該評価ポイントと先に決定
した韻律形状を基に合成単位候補中から必要な合成単位
を決定する。ここで、決定された合成単位を内挿等によ
り合成単位境界を滑らかに接続することにより合成パラ
メータを生成する。

【００１８】図１は、本発明の音声合成単位選択方式を
用いた音声合成装置の一実施例の概略構成を示すブロッ
ク構成図であり、図２は、本実施例の音声合成装置の機
能を示すブロック構成図である。

【００１９】本実施例の音声合成装置は、図１に示すよ
うに、中央演算処理装置（ＣＰＵ）からなる装置本体１
１に、文字列を入力する入力装置１２と、入力された文
字列を表示するディスプレイ１３と、合成音声を出力す
るスピーカ１４がそれぞれ接続されている。

【００２０】前記装置本体１１は、図２に示すように、
かな漢字文字列を入力する入力端子２０１と、入力文字
列を解析する文字列解析部２０２と、テキストを解析す
るためのテキスト解析用辞書部２０３と、解析された文
字列に韻律付与部２０４と、本発明の特徴とする合成単
位を決定するための文字列分解部２０５と、当該合成単
位文字列から音声セグメントをテキスト解析用辞書部２
０３内から検索する辞書内データ探索（検索）部２０６
と、合成単位データと該合成単位の韻律情報と検索効率
を向上するためのテーブルを蓄積する合成単位蓄積部
（合成単位データベース部）２０７と、合成単位の文字
列レベルの適合ポイントと韻律情報から合成に用いる合
成単位を決定する合成単位決定部２０８と、当該合成単
位を滑らかに接続するためのデータ内挿を行うための合
成単位接続部２０９と、フィルタリング処理等を行う音
声出力部２１０と、出力端子２１１により構成されてい
る。

【００２１】次に、本実施例の音声合成装置の動作を説
明する。

【００２２】まず、入力端子２０１からかな漢字文字列
が文字列解析部２０２に入力されると、文字列解析部２
０２ではテキスト解析用辞書部２０３に格納されている
解析辞書を用い、入力文字列を単語単位に分解し単語境
界を設定する。

【００２３】次に、韻律付与部２０４において、各単語
及び文章に対し、ピッチパターン及び継続時間長等の韻
律情報を単語情報等から与え合成単位決定部２０８へ出
力する。一方、文字列分解部２０５においては、文字列
解析部２０２で単語レベルにまで分解された文字列を更
に合成単位のレベルまで分解を行う。更に合成単位を検
索するために、かな漢字文字列に対応するローマ字表記
等の付加情報を生成し、辞書内データ探索部２０６に出
力する。

【００２４】辞書内データ探索部２０６では、付加情報
を利用して検索文字列を生成し、検索文字列に対する重
み関数と、予め音素間のケプストラム距離（ｄ）を基に
生成された評価値（ｅ）から合成単位蓄積部２０７中の
対象となる合成単位を評価する。該評価結果を評価ポイ
ント（Ｐ）と称し、合成単位候補テーブルに合成単位番
号及び対応する評価ポイント（Ｐ）として書き込む。ま
た、前記候補テーブルの合成単位対応タグに入力文字列
（解析結果）との対応情報を書き込む。

【００２５】前記合成単位に評価ポイントを与える処理
を入力文字列全てに対して同様に繰り返し、文字列分解
部２０５で解析された各合成単位全てに対して処理を終
了したところで合成単位候補テーブルを合成単位決定部
２０８に出力する。合成単位決定部２０８では、入力さ
れた文字列の韻律情報と合成単位候補テーブルを基に最
適な合成単位を１つ選択し、文字列全てに対する合成単
位を決定する。

【００２６】合成単位接続部２０９では、合成単位決定
部２０８において決定された合成単位間で、隣り合う合
成単位が滑らかに接続することを目的とし、合成パラメ
ータの内挿及び間引き等の処理を行い、音声出力部２１
０へ出力する。音声出力部２１０では接続されたパラメ
ータを合成フィルター又はディジタル・アナログ変換器
を通し出力端子２１１へ出力する。

【００２７】次に、前記辞書内データ探索部２０６につ
いて図３を用いて説明する。

【００２８】図３は、本実施例の辞書内データ探索部２
０６の機能を示すブロック構成図である。

【００２９】本実施例の辞書内データ探索部２０６（３
０１）は、図３に示すように、検索文字列生成を行う検
索文字列生成部３０２、重み関数生成部３０３、辞書内
探索範囲しぼり込み部３０４、候補セグメントの評価ポ
イント算出部３０５、候補テーブルへ書き込み部３０６
で構成されている。図３において、３０７は合成単位候
補テーブル、３０８は合成単位対応タブ情報部、３０９
は合成単位番号フィールド部、３１０は評価ポイント
（Ｐ）フィールド部である。

【００３０】本実施例の辞書内データ探索部３０１にお
いては、文字列分解部２０５で送出される合成単位境界
情報及びローマ字列が入力され、検索文字列生成部３０
２で検索文字列生成を行う。検索文字列生成部３０２で
は、入力されたかな漢字文字列の１文字と対応している
合成単位を完全一致領域とする。

【００３１】この検索文字列生成部３０２の完全一致領
域は、実際に重みを与えるローマ字表記の数では可変長
（Ｄ’）である。当該完全一致領域の前後に、発声様式
の類似性を評価するために類似検索領域を設け、合成単
位接続を行う際のスペクトル連続性を考慮する。この類
似検索領域は、完了一致領域の前後で一致判定領域長を
対称にする必要はなく、ローマ字表記による１音素を中
心からの距離（Ｋ）とし、重み関数生成部３０３で本発
明の特徴とする重み生成式により類似判定領域での重み
（Ｗ）を決定する。ここで生成された重み関数及び文字
列情報を辞書内探索範囲しぼり込み部３０４へ送出す
る。辞書内探索範囲しぼり込み部３０４では、完全一致
領域の合成単位の種類により合成単位蓄積部２０７に記
憶されている探索範囲しぼり込みテーブル２０７Ａを参
照し、データベースの持つ合成単位内から評価ポイント
（Ｐ）を算出する範囲を決定し、候補セグメントの評価
ポイント算出部３０５に出力する。候補合成単位の評価
ポイント算出部３０５では、与えられた探索範囲内全て
の合成単位に対し評価ポイント（Ｐ）を算出し、この評
価ポイント計算結果を、合成単位番号と共に合成単位候
補テーブル３０７へ出力する。該合成単位候補テーブル
３０７には、合成文字列と対応する合成単位を表すタグ
を持っており該合成単位候補テーブル３０７と合成単位
を表す文字列との対応が付けられている。

【００３２】次に、本実施例における合成単位音声デー
タ蓄積方法について図４及び図５を用いて説明する。

【００３３】図４は、本実施例の音声の合成単位境界付
与を説明するための図であり、４００はセグメント領
域、４０１は合成単位番号情報、４０２は漢字表記情
報、４０３はローマ字表記情報、４０４は音声波形であ
る。ＰＡＵは、文章中のポーズを意味し、ＰＡＵに関し
ては時間長を有する音素として扱うものとする。

【００３４】図５は、本実施例の合成単位情報テーブル
を説明するための図である。

【００３５】図４に示すように、視察等により音声波形
を本発明で規定する合成単位にセグメントを行う。この
際、文章中のポーズにおいても１音素として扱うものと
する。

【００３６】セグメント領域４００には、合成単位番号
情報４０１、漢字表記情報４０２、ローマ字表記情報４
０３等が付与される。

【００３７】本実施例では、これらの合成単位を蓄積す
るための合成単位蓄積部２０７を有し、この合成単位蓄
積部２０７には、探索範囲しぼり込みテーブル２０７
Ａ、合成単位情報テーブル２０７Ｂ及び実データ部２０
７Ｃが格納されている。実データ部２０７Ｃでは、前述
の音声波形４０４を音響分析により得られたパラメー
タ、またはＰＣＭ等の音声を復元できる特徴量により表
現されたデータを蓄積し、同時に各合成単位の先頭を表
すポインタアドレスを合成単位テーブルに記述する。

【００３８】また、図５に示す合成単位情報テーブル２
０７Ｂでは、図４のようにして決定された各合成単位に
唯一の合成単位番号情報４０１、漢字表記情報４０２、
ローマ字表記情報４０３、合成単位の継続時間長情報、
合成単位区間平均パワー、振幅形状情報、基本周波数形
状パターン情報、等を記述する。該合成単位番号情報４
０１においては、上位桁に文章番号、下位桁にシリアル
番号を付与することで、合成単位の連続性を表現する。
前記検索文字列生成部３０２では、該文章番号情報及び
シリアル番号を元に合成単位の前後の音韻系列を判断す
ることを可能とする。

【００３９】次に、本実施例における重み関数の生成方
法について図６を用いて説明する。

【００４０】図６は、本実施例の重み関数の生成方法を
説明するための図であり、６０１は重み関数、６０２は
類似検索領域、６０３は完全一致領域、６０４は完全一
致領域定数（Ｄ）、６０５は位置表示軸（Ｋ）、６０６
は重み軸（Ｗ）、６０７は重み決定一般式である。

【００４１】重み関数６０１においては、完全一致領域
６０３の重みを１.０とし、完全一致領域６０３に該当
する合成単位が含む音素数をＤ’としたとき重み決定一
般式６０７におけるＤの値は、次式、Ｄ＝（Ｄ’−１）
／２で規定する、重み決定一般式６０７のＭは類似領域
の対象方向数により規定され、本実施例の場合、完全一
致領域６０３の前後つまり２方向であるからＭ＝２とな
る。重み関数６０１は、左右対称形である必要はなく、
類似度判定領域中で完全一致領域６０３により近い音韻
系列の一致状況を重視するものであり、発声様式の等価
性を重視するために、後述する図８及び図９で示す方法
によって算出される音素間距離による評価値を導入して
いる。

【００４２】次に、本実施例における評価ポイント計算
方法について図７を用いて説明する。

【００４３】図７は、本実施例の重み関数生成及びポイ
ント計算方法を説明するための図であり、図７の（ａ）
はポイント計算例を示す図、図７の（ｂ）は評価ポイン
ト計算式（式７０１）、図７の（ｃ）は評価ポイント計
算例（グラフ）である。

【００４４】本実施例では、評価ポイントをＰとし、評
価値と重み関数で得られる値の積を類似度検索領域及び
完全一致領域の全ての音素についての和で定義し、式７
０１のように例示される。音素表記において、図７中の
“＃”は、文頭文字前もしくは、文末以後つまり無音区
間を意味する。図７の例では、検索する文字列／＃＃ａ
ｒａｔａ／に対し辞書中に／＃＃ａｒａｓｈｉ／という
合成単位を評価する場合の評価ポイントを計算する例で
ある。この例では、／ａｒａ／が完全一致領域であり、
該完全一致領域が文頭であるため、／＃／が付与されて
いる。

【００４５】また、類似度判定領域を２音素分と設定し
ている。図７中のＥ１は、検索対象と合成単位が一致し
ているため実際には１.０である。また、Ｅ２は、／ｔ
／と／ｓｈ／、Ｅ３は／ａ／と／ｉ／のそれぞれケプス
トラム距離を０から１の間に正規化した値である。

【００４６】また、Ｗｎ（ｎ＝１，２）は、図７中のグ
ラフに示される重み関数によるものである。重み関数
は、図６によるものである。このようにして得られた値
を、図７中の式７０１のように適用し評価ポイントを算
出し、合成単位候補テーブル３０７に書き込む。

【００４７】次に、本実施例のケプストラム距離テーブ
ル及び評価値テーブルについて図８及び図９を用いて説
明する。

【００４８】図８は、本実施例のケプストラム距離テー
ブルを説明するための図であり、８０１は音素間距離テ
ーブルの構成を示す図である。図９は、本実施例の音素
間距離評価値テーブルを説明するための図であり、
（ａ）は音素間距離評価値を算出する計算式（式９０
１）、（ｂ）は音素間距離評価値テーブル（９０２）の
構成を示す図である。

【００４９】合成単位蓄積部２０７に含まれる全ての音
素において、ケプストラムを分析し該ケプストラムの低
次項を用いて各音素間全てのケプストラム距離を計算し
て得られた結果をマトリクスで示したものが図８であ
る。

【００５０】音声をケプストラム分析を行った場合、そ
の低次の項に声道モデルが、また、高次には声帯音源波
モデルを特徴付けるパラメータが得られ、前者は音声認
識に、後者はピッチ抽出等音声処理に一般に用いられる
ものである。本実施例では、ケプストラムの低次を用
い、より発声様式の類似した音素環境を選択することが
可能である。つまり、ケプストラム距離が近ければ音韻
が類似していると言う特徴を用いている。

【００５１】音素間距離評価値は、図９に示される式９
０１に基づき、ある音素の最短距離、つまり、その音素
自体に対する評価値を１.０、最長距離の音素を０と
し、その間に分布する音素に関しては、評価値を線形に
割り振る。また、前記音素間評価値はテーブルとして蓄
積し、すべての音素の評価値マトリクスとする。本実施
例では、全て音素についてマトリクスを作成した場合を
示しているが、各音素を発声様式等により分類し、カテ
ゴリ間距離として蓄積することにより、蓄積効率を向上
させることも考えられる。

【００５２】前記音素間距離評価値テーブル９０２は、
縦軸を検索側の文字列に対し横軸を被検索側、つまり評
価される側の音素表記とし、該評価マトリクス値を参照
するものである。

【００５３】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において、種々変更し
得ることはいうまでもない。

【００５４】

【発明の効果】以上、説明したように、本発明によれ
ば、発声様式を反映し、比較的単純な検索方法を用いる
ことにより、合成単位の中から音声合成に適したものを
選択するので、姓名等の任意性の高い音声合成を実現す
ることができる。

【図面の簡単な説明】

【図１】 本発明の音声合成単位選択方式を用いた音声
合成装置の一実施例の概略構成を示すブロック構成図、

【図２】 本実施例の音声合成装置の機能を示すブロッ
ク構成図、

【図３】 本実施例の辞書内データ探索部２０６の機能
を示すブロック構成図、

【図４】 本実施例の音声の合成単位境界付与を説明す
るための図、

【図５】 本実施例の合成単位情報テーブルを説明する
ための図、

【図６】 本実施例の重み関数の生成方法を説明するた
めの図、

【図７】 本実施例の重み関数生成及びポイント計算方
法を説明するための図、

【図８】 本実施例のケプストラム距離テーブルを説明
するための図、

【図９】 本実施例の音素間距離評価値テーブルを説明
するための図、

【図１０】 本発明の音声合成原理を説明するための
図。

【符号の説明】

１１…装置本体、１２…入力装置、１３…ディスプレ
イ、１４…スピーカ、２０１…入力端子、２０２…文字
列解析部、２０３…テキスト解析用辞書部、２０４…韻
律付与部、２０５…文字列分解部、２０６，３０１…辞
書内データ探索部、２０７…合成単位データベース部
（合成単位蓄積部）、２０８…合成単位決定部、２０９
…合成単位接続部、２１０…音声出力部、２１１…出力
端子、３０２…検索文字列生成部、３０３…重み関数生
成部、３０４…辞書内探索範囲しぼり込み部、３０５…
候補セグメントの評価ポイント算出部、３０６…候補テ
ーブルへ書き込み部、３０７…合成単位候補テーブル、
３０８…合成単位対応タブ情報部、３０９…合成単位番
号フィールド部、３１０…評価ポイント（Ｐ）フィール
ド部、４０１…合成単位番号情報、４０２…漢字表記情
報、４０３…ローマ字表記情報、４０４…音声波形、６
０１…重み関数、６０２…類似検索領域、６０３…完全
一致領域、６０４…完全一致領域定数（Ｄ）、６０５…
位置表示軸（Ｋ）、６０６…重み軸（Ｗ）、６０７…重
み決定一般式、７０１…評価ポイント計算例、８０１…
音素間距離テーブル、９０１…音素間距離評価値計算
式、９０２…音素間距離評価値テーブル、Ａ…合成単位
蓄積部の内容構成、Ｂ…合成音声文字列、Ｗ…重み値、
Ｍ…文字列照合方法数、Ｄ…完全一致領域定数、Ｄ’…
合成単位が含む音素数、Ｋ…文字照合位置表示変数、Ｅ
…適当な評価値、Ｐ…評価ポイント値、ｄ…ケプストラ
ム距離を示す定数、ｅ…音素関評価値を示す定数、ｎ…
音素数を示す定数。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力文字列に対して適当な文字列及び韻
   律パラメータを有する合成単位を選択し、該合成単位を
   接続して、音声合成を行う音声合成装置において、大量
   の合成単位中から適当な合成単位を決定する際に、文字
   情報から文字列の各音素表記に重み付けを行う重み関数
   生成部と、照合する音素表記間の類似度を評価するため
   にケプストラム距離等を基に設定された音素間評価値テ
   ーブルと、該重み関数と音素間評価値の双方を用いて合
   成単位に評価ポイントを決定する評価ポイント算出部
   と、各文字の評価値と文字列の重みを用いて完全に一致
   する文字列及び検索文字列に類似する文字列を検索する
   辞書内データ探索部を備えたことを特徴とする音声合成
   装置。