JP3450237B2

JP3450237B2 - 音声合成装置および方法

Info

Publication number: JP3450237B2
Application number: JP28512599A
Authority: JP
Inventors: 成一天白; 俊男平井
Original assignee: ARCADIA, INC.
Current assignee: ARCADIA, INC.
Priority date: 1999-10-06
Filing date: 1999-10-06
Publication date: 2003-09-22
Anticipated expiration: 2019-10-06
Also published as: JP2001109500A; US6975987B1

Description

【発明の詳細な説明】

【０００１】

【発明の技術分野】この発明は音声合成等の音声処理に
関するものであり、特にピッチ変更処理に関するもので
ある。

【０００２】

【従来の技術および発明が解決しようとする課題】音声
合成方式の一つとして、「波形接続型」と呼ばれるもの
がある。これは、予め用意した波形を接続して、目的と
する音声を合成するものである。しかし、波形を接続す
るだけでは、音声のイントネーションが制御できず、自
然な合成音声が得られないという問題があった。

【０００３】これを解決する方法として、音声のピッチ
２つ分をハニング窓などで切り出し、それを少しずらせ
て重ね合わせ、ピッチ長の異なった音声を得るPSOLA（P
itchSynchoronous OverLap Add）法が提案されている
（E. Moulines et. al, "Pitch-Synchronous waveform
processing techniques for text-to-speech synthesis
using diphones" Speech Communication, 1990.9）。

【０００４】図２２、図２３を用いて、PSOLA法を説明
する。図２２は、音声波形の一部を示したものである。
図に示すように、ほぼ周期的な波形が繰り返されてい
る。この繰り返し部分をピッチといい、ピッチの長さに
より、音声の高さが変わる。

【０００５】PSOLA法は、図２３に示すように、まず、
ピーク位置Ｍを中心として、ハニング窓で切り出しを行
う。次に、切り出したそれぞれの波形を目的のピッチ長
となるように重ね合わせる。なお、切り出しに用いるハ
ニング窓の幅は、重ね合わせの際に、１／２オーバラッ
プする幅とする。このようにすれば、余分な周波数成分
をもたらすことを抑えつつ、ピッチの変更を行うことが
できる。上記のようにPSOLA法によって、ピッチを加工
（つまり基本周波数を加工）すれば、イントネーション
を制御することができる。

【０００６】しかしながら、このようなPSOLA法には、
次のような問題があった。

【０００７】第一に、図２４〜図２７に示すように、ハ
ニング窓での重ね合わせ部分において、不自然な振幅の
低減がもたらされてしまうおそれがある。図２４は原波
形（理解を容易にするため、減衰正弦波にて示した）、
図２５はハニング窓の左側成分によって切り出された波
形、図２６はハニング窓の右側成分によって切り出され
た波形、図２７は合成された波形である。図２７に示す
ように、中央部分において、不自然な振幅の低減がもた
らされている。これにより、ホルマントで表現される音
声波形の微細構造が破壊されてしまう。

【０００８】第二に、図２８に示すように、隣接するピ
ッチのピークによって、エコーが生じてしまうという問
題である。これは、河井恒他「波形素片接続型音声合成
システムの検討」（電子情報通信学会、音声研究会（技
術資料）、１９９３年５月）において、指摘されてい
る。同文献では、これを解決するため、窓の裾を短かく
した台形型の窓を用いることが提案されている。しかし
ながら、かかる台形型の窓では、重ね合わせにより、余
分な周波数成分がもたらされ、合成音が不自然になるお
それがある。

【０００９】この発明では、上記のような問題点を解決
して、音声の自然性を損なうことの少ないピッチ変更処
理技術を提供することを目的とする。

【００１０】

【課題を解決するための手段】音声波形の各ピッチにお
ける波形は、図１に示すように、1)声帯の閉鎖に伴うマ
イナスピークが出現する時点α、2)マイナスピークを起
点とした声道の形状に基づく波形が現れる区間β、3)声
道形状に基づく音声波形が減衰しながら次のマイナスピ
ークに向かって収束する区間γに分けられる。上記のPS
OLA法では、ピークＭ付近の波形形状を維持することに
着目して、ピークＭ付近にハニング窓の中心を持ってき
ている。しかし、ピーク付近での波形形状の維持に着目
するあまり、上記のような問題点が生じている。

【００１１】これに対し、発明者らは、上記の音声波形
の特性に基づいて、声帯の閉鎖に伴うマイナスピークに
よる影響が小さい部分（つまり次のマイナスピークの直
前である区間γ）において、ピッチ変更のための波形加
工を行うことを着想した。これによれば、ピーク付近で
の波形形状を完全に維持しつつ、かつ、ピッチ変更の影
響を最小限に抑えつつ、加工を行うことができる。

【００１２】また、発明者らは、音声波形のピッチにつ
いて、どの部分が共通しているのか、あるいはどの部分
が異なっているのかを、採取した音声に基づいて検討し
た。図２に、いくつかの「あ」の波形の１ピッチ分を示
す。この図から明らかなように、2.5msまではほぼ似て
いて、それ以降ほぼゼロ値が続き、ある時点からは単調
減少してマイナスのピーク値に向かっている。つまり、
実際の発話においてピッチのことなる波形は、ゼロ値部
分の長さの違い（単調減少区間の位置の違い）として特
徴付けられることが分かった。したがって、図１の区間
γのうち、特に、ゼロ値の部分を加工することにより、
適切なピッチ加工を行い得ることを見いだした。

【００１３】請求項１、３の音声合成装置は、音声波形
データの周期的単位区間について、マイナスピークに向
かって変化する区間の波形を加工することにより、ピッ
チを変更するピッチ変更手段を備えている。

【００１４】したがって、声帯の閉鎖に伴うマイナスピ
ークによる影響が小さい部分において波形を加工するこ
とができ、自然性を保持したピッチ変更を行うことがで
きる。

【００１５】請求項５の音声合成装置は、マイナスピー
クに向かって変化する区間のうち、ゼロクロス近傍にお
ける加工値を最大にし、ゼロクロスより離れるほど加工
値を小さくするようにしたことを特徴としている。

【００１６】したがって、ゼロ値部分の長さが異なると
いう実際の音声の傾向に沿った波形加工を行ってピッチ
を調整することができ、自然性を損なわないピッチ変更
を行うことができる。

【００１７】請求項６の音声合成装置は、前記マイナス
ピークに向かって変化する区間において、波形を時間的
に圧縮または伸長するよう加工することにより、ピッチ
を短くまたは長くすることを特徴としている。

【００１８】したがって、声帯の閉鎖に伴うマイナスピ
ークによる影響が小さい部分において波形を時間的に加
工することができ、自然性を保持したピッチ変更を行う
ことができる。

【００１９】請求項７の音声合成装置は、マイナスピー
クに向かって変化する区間のうち、ゼロクロス近傍にお
いて加工を行うことを特徴としている。したがって、振
幅が小さく、より影響の少ない部分において、加工を行
うことができる。

【００２０】請求項８の音声合成装置は、ゼロクロス近
傍において、実質的なゼロ値を挿入することにより、ピ
ッチを長くする処理、または実質的なゼロ値部分を削除
することにより、ピッチを短くする処理の、少なくとも
一方の処理を行うことを特徴としている。

【００２１】したがって、スペクトルに与える影響を最
小限に抑えつつ、ピッチ変更を行うことができる。ま
た、ゼロ値の挿入、ゼロ値の削除という極めて簡易な処
理であるため、処理が迅速である。

【００２２】請求項１０の音声波形に対するピッチ変更
方法は、音声波形の周期的単位区間について、マイナス
ピークに向かって変化する区間の波形を加工することに
よりピッチ変更を施すことを特徴としている。

【００２３】したがって、声帯の閉鎖に伴うマイナスピ
ークによる影響が小さい部分において波形を加工するこ
とができ、自然性を保持したピッチ変更を行うことがで
きる。

【００２４】この発明の音声処理装置は、上方向矢印、
下方向矢印、右方向矢印、左方向矢印を示すアイコンま
たはスイッチに対応付けて、少なくとも、音声の強度、
ピッチ周波数または発話時間長のいずれか一つを変更す
る処理を行うことを特徴としている。

【００２５】したがって、音声の強度、ピッチ周波数ま
たは発話時間長の変更を簡単な操作で行うことができ
る。

【００２６】この発明の音声処理装置は、上方向矢印に
対応づけて、少なくともピッチ周波数を高くする処理を
行い、下方向矢印に対応づけて、少なくともピッチ周波
数を低くする処理を行うことを特徴としている。

【００２７】したがって、ピッチ変更処理について、直
感的に処理内容を理解しやすい操作インターフェイスを
提供することができる。

【００２８】この発明において、「音声単位」とは、音
声合成または解析の際に音声波形をひとかたまりとして
扱う単位をいう。

【００２９】「音声データベース」とは、少なくとも音
声波形とこれに対応する音韻情報を記録したデータベー
スをいう。

【００３０】「音声波形合成手段」とは、規則もしくは
サンプル波形に基づいて、与えられた音韻情報に対応す
る音声波形を生成する手段をいう。実施形態において
は、たとえば、図５、図６のステップＳ４〜Ｓ１２がこ
れに対応する。

【００３１】「周期的単位区間」とは、音声波形におい
て周期的に繰り返される１つの区間をいう。実施形態に
おいては、ピッチがこれに該当する。

【００３２】「矢印」とは、方向性を明示もしくは示唆
する記号をいうものであり、三角形によって方向を示し
たもの等も含む概念である。

【００３３】「プログラム（データ）を記録した記録媒
体」とは、プログラム（データ）を記録したＲＯＭ、Ｒ
ＡＭ、フレキシブルディスク、ＣＤ−ＲＯＭ、メモリカ
ード、ハードディスク等の記録媒体をいう。また、電話
回線、搬送路等の通信媒体も含む概念である。ＣＰＵに
接続されて、記録されたプログラムが直接実行されるハ
ードディスクのような記録媒体だけでなく、一旦ハード
ディスク等にインストールした後に実行されるプログラ
ムを記録したＣＤ−ＲＯＭ等の記録媒体を含む概念であ
る。さらに、ここでいうプログラム（データ）には、直
接実行可能なプログラムだけでなく、ソース形式のプロ
グラム、圧縮処理がされたプログラム（データ）、暗号
化されたプログラム（データ）等を含む。

【００３４】

【発明の実施の形態】１．第１の実施形態 (1)全体構成図３に、この発明の一実施形態による音声合成装置の全
体構成を示す。この実施形態では、音声波形合成手段１
６は、文字列解析手段２、音声単位取得手段４、波形変
更手段１２、波形結合手段２２を備えている。また、波
形変更手段１２は、継続長変更手段６、強度変更手段
８、ピッチ変更手段１０を備えている。

【００３５】入力された文字列は、解析用辞書２０を参
照して、文字列解析手段２によって形態素解析がなさ
れ、音声単位に分離される。さらに、解析用辞書２０を
参照し、前後の音の環境等を考慮して、各音声単位ごと
に、無声音／有声音の区別、継続時間長、強度の時間的
変化、基本周波数の時間的変化を算出する。

【００３６】音声単位取得手段４は、文字列解析手段２
の形態素解析の結果を受けて、音声データベース１８か
ら、各音声単位のサンプル音声波形を取得する。継続長
変更手段６は、文字列解析手段２から与えられた継続時
間長に基づいて、取得したサンプル音声波形の継続時間
長を変更する。強度変更手段８は、文字列解析手段２か
ら与えられた強度の時間的変化に基づいて、取得したサ
ンプル音声波形の強度を変更する。ピッチ変更手段１０
は、文字列解析手段２から与えられた基本周波数の時間
的変化に基づいて、取得したサンプル音声波形のピッチ
を変更する。上記のようにして所望の変更を受けた各音
声単位のサンプル音声波形は、波形結合手段２２によっ
て接続され、音声波形データとして出力される。

【００３７】アナログ変換手段１４は、この音声波形デ
ータをアナログ変換して音声信号として出力する。

【００３８】(2)ハードウエア構成図４に、図３の音声合成装置をＣＰＵを用いて実現した
場合のハードウエア構成例を示す。ＣＰＵ３０には、メ
モリ３２、キーボード／マウス３４、フロッピーディス
クドライブ（ＦＤＤ）３６、ＣＤ−ＲＯＭドライブ４
０、ハードディスク４４、アナログ変換手段であるサウ
ンドカード５４、ディスプレイ５８が接続されている。
ハードディスク４４には、オペレーシングシステム（Ｏ
Ｓ）５２（たとえば、マイクロソフト社のWINDOWS98な
ど）、音声合成プログラム４６が格納されている。ま
た、音声データベース４８、解析用辞書５０も格納され
ている。これらプログラムは、ＣＤ−ＲＯＭドライブ４
０を介して、ＣＤ−ＲＯＭ４２からインストールされた
ものである。

【００３９】この実施形態では、音声合成プログラム４
６は、ＯＳ５２と共同してその各機能を実現している。
しかし、その一部または全部を、音声合成プログラム４
６が単独で実現するようにしてもよい。

【００４０】(3)音声合成処理図５に、ハードディスク４４に記録された音声合成プロ
グラムのフローチャートを示す。まず、操作者からキー
ボード３４により、出力すべき音声に対応する文字列が
入力される（ステップＳ１）。なお、この文字列は、フ
ロッピーディスク３８に記録されたものやネットワーク
を介して他のコンピュータから送られたものであっても
よい。

【００４１】次に、ＣＰＵ３０は、この文字列につい
て、解析用辞書５０の単語辞書を参照して、形態素解析
を行う（ステップＳ２）。この単語辞書の構成例を図８
に示す。ＣＰＵ３０は、この単語辞書を参照し、文字列
を単語に分解しつつ、その読みを得る。たとえば、「こ
んにちは」という文字列が入力された場合には、「koNn
ichiwa」という読みを得る。

【００４２】さらに、各単語について、単語を構成する
音節のアクセント値を取得する（ステップＳ３）。した
がって、「ko」「N」「ni」「chi」「wa」という音節が
得られ、それぞれの音節について、図８に示すアクセン
ト値が得られる。アクセント値は、前後の音の環境によ
って変化するものである。よって、ＣＰＵ３０は、この
アクセント値を、前後の音素や前後の音節との関係に基
づくルール等によって修正する。

【００４３】ハードディスク４４の解析用辞書５０中の
音節の継続時間長の辞書には、図９に示すように、全て
の音節とその継続時間長との関係が記述されている。Ｃ
ＰＵ３０は、この継続時間長の辞書を参照して、各音節
の継続時間を取得する。さらに、この継続時間を、前後
の音素や前後の音節との関係に基づくルール等によって
修正する（ステップＳ４）。以上に基づいて、図１０に
示すような、音節ごとのテーブルを生成する。

【００４４】解析辞書５０中の子音／母音の有声／無声
辞書には、図１２に示すように、全ての音素とその有声
／無声の区別が記録されている。なお、図において、音
素に付されたインデックスは、「Ｖ」が母音（有声
音）、「ＣＵ」が子音の無声音、「ＣＶ」が子音の有声
音を示している。ＣＰＵ３０は、この辞書を参照して、
各音素「k」「o」「N」「n」「i」「c」「h」「i」
「w」「a」のそれぞれについて、有声無声の区別を行
う。さらに、有声音が無声化するルールに基づいて、無
声化する部分を決定する。このようにして、各音素につ
き、有声無声の判断を行う（ステップＳ５）。

【００４５】次に、ＣＰＵ３０は、図１０のテーブル
（特にアクセント値）に基づいて、図１１に示すよう
な、基本周波数F₀の時間的変化を生成する（ステップＳ
６）。なお、基本周波数が示されていない部分は、無声
音の部分である。

【００４６】このようにして、基本周波数F₀の時間的変
化を決定すると、次に、有声音源強度Av、無声音源強度
Afの時間的変化を決定する（ステップＳ７）。解析辞書
５０の音源強度辞書には、図１３に示すように、全ての
音節に対応づけて音源強度の時間的変化が記録されてい
る。ＣＰＵ３０は、これを参照して「ko」「N」「ni」
「chi」「wa」の各音節について、有声音源強度Av、無
声音源強度Afを得る。さらに、アクセント値や前後の音
の環境等に基づいて、取得した音源強度を修正する。ま
た、ステップＳ４で決定した継続時間長に合致するよう
に、音源強度の時間的変化を修正する。

【００４７】ＣＰＵ３０は、各音節について、音声デー
タベース４８から、サンプル音声波形を取得する。音声
データベース４８には、図１４に示すように、実際に発
話されたサンプル音声波形が、音節ごとに区切られて音
韻情報が付与されて記録されている。また、それぞれの
音節について、音源強度の時間的変化、基本周波数の時
間的変化、継続時間長、ピッチマーク、ゼロクロスマー
クが、併せて記録されている。ここで、ピッチマークと
は、各ピッチにおけるピーク値（図１のＭ参照）の位置
に付されたマークである。また、ゼロクロスマークと
は、各ピッチのマイナスピーク（図１のα参照）の直前
のゼロクロス点に付されたマークである。この実施形態
では、ピッチマーク、ゼロクロスマークを時刻によって
示している。

【００４８】なお、多くのサンプル波形が記録されてい
るので、同じ音節「ko」に対しても、複数のサンプル波
形が存在することとなる。ＣＰＵ３０は、前後のつなが
り等から、各音節に対してもっとも好ましいサンプル波
形を取得する（ステップＳ８）。

【００４９】次に、ＣＰＵ３０は、各音節のそれぞれに
ついて、音声データベース４８から取得したサンプル音
声波形の継続時間長が、ステップＳ４において決定した
継続時間長に等しくなるように、サンプル音声波形を修
正する（ステップＳ９）。これは、数ピッチの波形を重
複させたり（同じ波形を挿入したり）、削除したりする
ことによって行う。

【００５０】つづいて、ＣＰＵ３０は、各音節のそれぞ
れについて、音声データベース４８から取得したサンプ
ル音声波形の音源強度の時間的変化が、ステップＳ７に
おいて決定した強度の時間的変化に等しくなるように、
サンプル音声波形を修正する（ステップＳ１０）。

【００５１】さらに、ＣＰＵ３０は、各音節のそれぞれ
について、音声データベース４８から取得したサンプル
音声波形の基本周波数F₀の時間的変化が、ステップＳ６
において決定した基本周波数F₀の時間的変化に等しくな
るように、サンプル音声波形を修正する（ステップＳ１
１）。

【００５２】図７に、ピッチ変更処理プログラムのフロ
ーチャートを示す。なお、ピッチ変更処理は、有声音の
波形についてのみ行う。無声音の波形には、規則的な繰
り返し波形がないためである。

【００５３】まず、ＣＰＵ３０は、サンプル音声波形に
おける（対象とする音節の）最初のピッチの基本周波数
を、音声データベース４８の基本周波数の変化のデータ
から取得する。次に、ステップＳ６において決定した基
本周波数の変化に基づいて、対応する部分の基本周波数
を取得する。ＣＰＵ３０は、両者が合致しているか否か
を判断する（ステップＳ２２）。合致していれば、当該
ピッチについてピッチ変更をおこなう必要がないので、
ステップＳ２６に進む。

【００５４】合致していなければ、サンプル音声波形の
ピッチを長くすべきか（基本周波数を下げるべきか）、
短くすべきか（基本周波数を上げるべきか）を判断する
（ステップＳ２３）。その判断結果に基づいて、ピッチ
を長くするか（ステップＳ２５）、または短くするか
（ステップＳ２４）の処理を行う。

【００５５】ＣＰＵ３０は、対象となっているピッチに
おけるマイナスピーク直前のゼロクロスを見いだす。ゼ
ロクロス点は、図１４に示すように音声データベースに
記録されているので、容易に得ることができる。

【００５６】ピッチを長くする場合には、図１５に示す
ように、このゼロクロス点にゼロ値を挿入する。

【００５７】また、ピッチを短くする場合には、ゼロク
ロスの前後にほぼゼロ値に近い値の部分があれば、当該
部分を必要なだけ削除する。ゼロクロスの前後にほぼゼ
ロ値に近い値の部分がなければ、図１６に示すような操
作を行って、ピッチを短くする。まず、マイナスピーク
の前、2N-1〜Nのフレームに、2N-1前で窓値１、N前で窓
値０となるハニング窓をかける。同様に、マイナスピー
クの前N-1〜マイナスピークのフレームに、マイナスピ
ークで窓値１、マイナスピークの前N-1で窓値０となる
ハニング窓をかける。これら２つの窓処理後の成分を加
算したものを、修正後の波形として用いる。これによ
り、２ＮフレームをＮフレームに短くすることができ
る。

【００５８】なお、上記窓処理において、ゼロクロス近
傍に窓値０の部分がくるようにし、ゼロクロスより離れ
るほど窓値が１に近づくようにしてもよい。これによ
り、ゼロクロスより離れた地点では、窓値を「１」、つ
まり波形をそのまま保存するようにし、ゼロクロスで
は、窓値を「０」、つまり実質的に波形を削除するよう
にすることができる。つまり、影響の少ないと思われる
ゼロクロス付近での加工値を大きくし、自然性を保持す
ることができる。

【００５９】上記のようにしてピッチ変更処理を行う
と、ＣＰＵ３０は、全てのピッチについて以上の処理を
行ったかどうかを判断する（ステップＳ２６）。当該音
節について未処理のピッチがあれば、次のピッチを対象
として（ステップＳ２７）、ステップＳ２２以下の処理
を繰り返す。全てのピッチについて処理が終了すれば、
当該音節についての処理を終了する。なお、ピッチ変更
によって継続時間長に微調整が必要となれば、これも行
う。また、ピッチ変更処理は、サンプル波形として選択
された全ての音節に対して行われる。

【００６０】上記のようにしてピッチ変更処理が終了す
ると、図６のステップＳ１２を実行する。ステップＳ１
２においては、音節ごとにサンプル波形を修正して得ら
れた波形を接続し、合成音声波形を得る。最後に、ＣＰ
Ｕ３０は、この音声合成波形を、サウンドカード５４に
出力する。サウンドカード５４は、これをアナログ信号
に変換し、スピーカ５６から音声として出力する。

【００６１】(4)音声データベースに関する他の実施形
態上記実施形態においては、多くのサンプル波形を音節を
音声単位として記録した音声データベース（音声コーパ
ス）を用いている。しかしながら、音素を音生単位とし
て記録したものを用いてもよい。また、音節に加えて、
複数の音節が明瞭な区分に乏しく連続している場合には
これら音節を１かたまりとしてあつかうようにしてもよ
い（拡張音節）。その定義表を図１７に示す。軽音節よ
りも重音節が優先して切り出され、重音節よりも超重音
節が優先して切り出される。つまり、超重音節に該当す
る場合には、その一部が重音節として切り離されること
はない。同様に、重音節に該当する場合には、その一部
が音節として切り離されることはない。このように、
「複数の音節が明瞭な区分に乏しく連続している場合に
はこれら音節を１かたまりとしてあつかう」ことによ
り、接続による不自然さを排除することができる。な
お、少なくとも、軽音節と重音節を用いることが好まし
い。

【００６２】また、上記実施形態では、音声コーパスを
用いているが、各音節（または音素、拡張音節）につき
１つの音声波形データを記録した音声データベースを用
いてもよい。さらには、各音節（または音素、拡張音
節）ごとに、１つのピッチだけの音声波形データを記録
した音声データベースを用いてもよい。

【００６３】また、上記実施形態では、音声データベー
スにゼロクロスマークを記録している。しかしながら、
ゼロクロスマークを記録せず、ピッチマーク等に基づい
て、処理の都度、探し出すようにしてもよい。

【００６４】(5)ピッチ変更処理に関する他の実施形態上記実施形態では、ゼロクロスにおいて、実質的なゼロ
値を挿入、削除することにより、ピッチ変更を行ってい
る。しかしながら、マイナスピークに向かう減少部分
（図１のγ参照）において、時間的圧縮、時間的伸長を
行って、ピッチ変更をしてもよい。一般的には、時間的
圧縮や、時間的伸長により、ピッチ変更に関係しない余
分な周波数成分がもたらされる可能性がある。しかし、
このマイナスピークに向かう減少部分は、単調減少であ
り、多くの周波数成分を含んでいないので、加工による
音声品質への影響が少ないと考えられる。

【００６５】なお、上記において、マイナスピークに向
かう減少部分において、全体的に一様に時間的圧縮、時
間的伸長を行うのではなく、ゼロクロス付近において集
中的に時間的圧縮、時間的伸長を行い、ゼロクロスから
離れるにしたがって、その程度を小さくするようにして
もよい。

【００６６】２．第２の実施形態図１８に、この発明の第２の実施形態による音声合成装
置の全体構成を示す。この実施形態では、音声波形合成
手段１６は、文字列解析手段２、音声単位波形生成手段
９０、波形結合手段２２を備えている。音声データベー
ス１８には、音声単位（たとえば音節）を生成するため
の１ピッチ分の音声波形が、ピッチを少しずつ変えて記
録されている。たとえば、「あ」という音節を生成する
ために必要な１ピッチ分の波形が、1ms程度、ピッチ長
を順次違えて多数記録されている。他の全ての音節（有
声音）についても同様に記録されている。なお、無声音
のためには、雑音波形が記録されている。

【００６７】入力された文字列は、解析用辞書２０を参
照して、文字列解析手段２によって形態素解析がなさ
れ、音声単位に分離される。さらに、解析用辞書２０を
参照し、前後の音の環境等を考慮して、各音声単位ごと
に、無声音／有声音の区別、継続時間長、強度の時間的
変化、基本周波数の時間的変化を算出する。

【００６８】音声単位波形生成手段９０は、各音声単位
を生成するために必要な１ピッチ分の波形を音声データ
ベースから取得する。この際、文字列解析手段２からの
基本周波数の時間的変化に基づいて、各時間ごとに適切
なピッチ長を持つ波形を選択して取得する。さらに、音
声単位波形生成手段９０は、これら複数個のピッチの波
形を、継続時間長、強度の時間的変化を参照して、変形
して接続し、音声単位の波形を生成する。なお、無声音
については、雑音波形に基づいて、波形を生成する。

【００６９】上記のようにして生成された各音声単位の
音声波形は、波形結合手段２２によって接続され、音声
波形データとして出力される。

【００７０】アナログ変換手段１４は、この音声波形デ
ータをアナログ変換して音声信号として出力する。

【００７１】図１８の音声合成装置を、ＣＰＵを用いて
実現した場合のハードウエア構成例は、図４と同様であ
る。この実施形態では、音声単位（音節など）の波形
を、１ピッチ分の波形を接続して合成するようにしてい
る。また、そのため、音声データベース１８には、図１
９に示すように、各音声単位について、当該音声単位を
生成するために必要な１ピッチ分の音声波形データを、
種々のピッチで用意している。また、ピッチ長を異なら
せるために、マイナスピーク直前のゼロクロス点におい
て、ゼロ値が挿入されたものとなっている。

【００７２】なお、この実施形態においても、第１の実
施形態のようにして、処理の都度、ピッチを変更する処
理を行うようにしてもよい。このようにすれば、音声デ
ータベースには、１種類のピッチ長のデータを記録して
おくだけでよい。

【００７３】また、第１の実施形態において述べた他の
形態は、この第２の実施形態においても適用することが
できる。

【００７４】３．その他の実施形態上記実施形態では、文字列解析手段２の解析結果に従っ
て、ピッチの変更を行うようにしている。しかしなが
ら、操作者の入力した指令にしたがってピッチ変更を行
うようにしてもよい。

【００７５】図２０に、このような指令を入力するため
の画面表示例を示す。図２１に、ハードディスク４４に
記録された指令入力判断のためのプログラムをフローチ
ャートにて示す。

【００７６】操作アイコン２００（上向きの矢印）を、
マウス３４によってクリックすると、音声の強度および
ピッチ周波数が全体的に上がるように修正が行われる
（ステップＳ５０、Ｓ５３）。同様に、操作アイコン２
０４（下向きの矢印）をクリックすると、音声の強度お
よびピッチ周波数が全体的に下がるように修正が行われ
る（ステップＳ５０、Ｓ５２）。また、操作アイコン２
０６（左向きの矢印）をクリックすると、例えば、数個
のピッチを削除するなどして発話音声長が短くなるよう
に修正が行われ（ステップＳ５０、Ｓ５１）、操作アイ
コン２０２（右向きの矢印）をクリックすると、例え
ば、数個のピッチを重複させるなどして発話音声長が長
くなるように修正が行われる（ステップＳ５０、Ｓ５
４）。

【００７７】なお、ピッチの修正は、上記の実施形態に
示した方法によって行うことが好ましいが、他の方法で
あってもよい。

【００７８】このように、一対の矢印（上方向と下方向
または左方向と右方向）に、それぞれ、変更方向が逆の
処理を対応づけるようにしている。したがって、処理内
容が、直感的に理解しやすく、音声に対する処理指令の
入力が容易となる。

【００７９】なお、上記実施形態では、画面上のアイコ
ンを用いているが、これに代えて、矢印形状を表した
（外形が矢印形状または矢印形状が表示された）入力ス
イッチ等を用いてもよい。

【００８０】また、上記実施形態では、上向きの矢印、
下向きの矢印のそれぞれに、音声強度、ピッチ周波数の
２つの処理を対応づけているが、音声強度、ピッチ周波
数、発話継続時間のいずれか１つ、または、いずれか２
つ、さらには、３つを対応づけるようにしてもよい。左
向き矢印、右向き矢印についても同様である。加えて、
斜め向きの矢印を設け、これをクリックすることによ
り、縦方向の矢印と横方向に矢印に対応づけられた処理
の双方を実行するようにしてもよい。

【００８１】４．その他上記実施形態では、図３、図１８の各機能をＣＰＵを用
いて実現した場合について説明したが、その一部又は全
部をハードウエアロジックによって構成してもよい。

【図面の簡単な説明】

【図１】「あ」の音声波形の一部を示す図である。

【図２】多数の「あ」の音声波形を重ねて示す図であ
る。

【図３】本発明の一実施形態による音声合成装置の全体
構成を示す図である。

【図４】図３の装置のハードウエア構成を示す図であ
る。

【図５】音声合成処理プログラムのフローチャートであ
る。

【図６】音声合成処理プログラムのフローチャートであ
る。

【図７】ピッチ変更処理プログラムのフローチャートで
ある。

【図８】単語辞書を示す図である。

【図９】音節の継続時間長の辞書を示す図である。

【図１０】解析テーブルを示す図である。

【図１１】決定した基本周波数の時間的変化を示す図で
ある。

【図１２】子音／母音の有声／無声辞書を示す図であ
る。

【図１３】音源強度辞書を示す図である。

【図１４】音声データベースを示す図である。

【図１５】ゼロ値の挿入によるピッチ変更を示す図であ
る。

【図１６】ゼロ値の削除によらないピッチ短縮を示す図
である。

【図１７】拡張音節の定義を示す図である。

【図１８】第２の実施形態の全体構成を示す図である。

【図１９】音声データベースの内容を示す図である。

【図２０】操作のためのアイコンを示す図である。

【図２１】指令入力判断のためのプログラムのフローチ
ャートである。

【図２２】音声のピッチを示す図である。

【図２３】PSOLA法によるピッチ変更処理を説明するた
めの図である。

【図２４】PSOLA法による処理の影響を示すための図で
ある（原波形）。

【図２５】PSOLA法による処理の影響を示すための図で
ある（ハニング窓左側）。

【図２６】PSOLA法による処理の影響を示すための図で
ある（ハニング窓右側）。

【図２７】PSOLA法による処理の影響を示すための図で
ある（合成波形）。

【図２８】PSOLA法によって生じるエコーを説明するた
めの図である。

【符号の説明】

１４・・・アナログ変換手段１６・・・音声合成手段１８・・・音声データベース２０・・・解析用辞書

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 21/04

Claims

(57)【特許請求の範囲】

【請求項１】音声単位のサンプル波形データと、これに
音韻情報を関連づけて形成した音声データベースを記録
した音声データベース記録手段と、出力すべき音声の音韻情報を受けて、この音韻情報を音
声単位に区分するとともに、前記音声データベースか
ら、音声単位に区分したそれぞれの音韻情報について対
応するサンプル音声波形データを取得し、取得した音声
単位のサンプル音声波形データを結合して出力すべき音
声波形データを得る音声波形合成手段と、音声波形合成手段によって得られた音声波形データを受
けて、アナログ音声信号に変換するアナログ変換手段
と、を備えた音声合成装置であって、前記音声波形合成手段は、音声波形データの周期的単位
区間について、マイナスピークに向かって変化する区間
の波形を加工することにより、ピッチを変更するピッチ
変更手段を備えている音声合成装置。
【請求項２】ピッチ変更処理をコンピュータに行わせる
ためのプログラムを記録した記録媒体であって、ピッチ変更すべき音声波形データを受け取り、当該音声
波形データの周期的単位区間について、マイナスピーク
に向かって変化する区間の波形を加工することにより、
ピッチ変更を施す処理をコンピュータに行わせるための
プログラムを記録した記録媒体。
【請求項３】各音声単位毎にピッチの異なるサンプル音
声波形データを保持し、当該音声波形データに対応付け
て音韻情報を保持した音声データベースを記録した音声
データベース記録手段と、出力すべき音声の音韻情報を受けて、この音韻情報を音
声単位に区分するとともに、音韻情報に基づいて、前記
音声データベースから、区分された音韻情報に対応する
サンプル音声波形データのうち、好ましいピッチのサン
プル音声波形データを取得し、取得した音声単位のサン
プル音声波形データを結合して出力すべき音声波形デー
タを得る音声波形合成手段と、音声波形合成手段によって得られた音声波形データを受
けて、アナログ音声信号に変換するアナログ変換手段
と、を備えた音声合成装置であって、前記音声データベースは、各音声単位毎に、音声波形デ
ータの周期的単位区間について、マイナスピークに向か
って変化する区間の波形を異ならせるように加工してピ
ッチを異ならせた複数のサンプル音声波形データを有す
るよう構成された音声合成装置。
【請求項４】音声データベースを用いて音声波形合成処
理をコンピュータに行わせるためのプログラムを記録し
た記録媒体であって、出力すべき音声の音韻情報を受けて、この音韻情報を音
声単位に区分するとともに、音韻情報に基づいて、前記
音声データベースから、区分された音韻情報に対応する
サンプル音声波形データのうち、好ましいピッチのサン
プル音声波形データを取得し、取得した音声単位のサン
プル音声波形データを結合して出力すべき音声波形デー
タを得る音声波形合成処理をコンピュータに行わせるた
めのプログラムを記録した記録媒体。ここで、前記音声データベースは、各音声単位毎に、音
声波形データの周期的単位区間について、マイナスピー
クに向かって変化する区間の波形を異ならせるように加
工してピッチを異ならせた複数のサンプル音声波形デー
タを有するよう構成されている。
【請求項５】請求項１〜４のいずれか音声合成装置また
は記録媒体において、前記マイナスピークに向かって変化する区間のうち、ゼ
ロクロス近傍における加工値を最大にし、ゼロクロスよ
り離れるほど加工値を小さくするようにしたことを特徴
とするもの。
【請求項６】請求項１〜５のいずれかの音声合成装置ま
たは記録媒体において、前記マイナスピークに向かって変化する区間において、
波形を時間的に圧縮または伸長するよう加工することに
より、ピッチを短くまたは長くすることを特徴とするも
の。
【請求項７】請求項１〜４のいずれか音声合成装置また
は記録媒体において、前記マイナスピークに向かって変化する区間のうち、ゼ
ロクロス近傍において加工を行うことを特徴とするも
の。
【請求項８】請求項７の音声合成装置または記録媒体に
おいて、前記ゼロクロス近傍において、実質的なゼロ値を挿入す
ることにより、ピッチを長くする処理、または実質的な
ゼロ値部分を削除することにより、ピッチを短くする処
理の、少なくとも一方の処理を行うことを特徴とするも
の。
【請求項９】人間の発話に基づく音声単位のサンプル波
形データを記録するサンプル波形データ記録領域と、各音声単位のサンプル波形データに対応付けて音韻情報
を記録する音韻情報記録領域と、サンプル波形データのマイナスピークの直前のゼロクロ
スを示すゼロクロス指示情報を記録する指示情報記録領
域と、を備えた音声データベースを記録した記録媒体。
【請求項１０】音声波形に対するピッチ変更方法であっ
て、音声波形の周期的単位区間について、マイナスピークに
向かって変化する区間の波形を加工することによりピッ
チ変更を施すこと、を特徴とするピッチ変更方法。