JPS6187199A - 音声分析合成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、音声波形をディジタル化し、高帯域圧縮した
データを記憶又は伝送し、再び音声波形を合成する音声
分析合成装置に関するものである。

従来例の構成とその問題点 従来、音声波形にディジタル信号処理を施して帯域圧縮
し、再び音声合成する音声分析合成方式として、線形予
測法やケプストラム法などがある。

特に、長時間の音声を伝送又は蓄積するために音声の内
容を示す音韻の種類と、その音韻を発声する間の音源情
報を符号化して、伝送又は蓄積し、符号化された各々の
音韻の種類と音源情報を復号し、復号した音源情報と、
音韻毎に予め分類して著えられている声道情報から選び
出した該当する声道情報とにより音声を合成する方法が
ある。

この方法では、符号化して伝送又は蓄積する音諒計青報
とし液’ヵヵされえアイ、、、８声よ、ある時間区間（
フレーム）毎にピッチ及びパワーを求めるが、フレーム
単位でピッチ、パワーを符号化すると１０００　ｂｐｓ
程度のデータ量となってし１つ。

発明の目的 本発明は、上記従来例の問題点を改善するもので、その
目的は２５０　ｂｐｓ程度の少ないデータ量で良好な音
声を再生できる音声分析合成装置を提供するものである
。

発明の構成 本発明は音声データと音声の内容を示す音韻の種類と、
音韻の継続する区間内のフレーム数と、音源情報の代表
的なピッチの差分値、および最大バク−との組合わせの
系列に符号化し、符号化された音声データを復号し、復
号された音韻区間内のフレームと、ピッチの代表値およ
び最大パワー値より音韻区間内の全フレームにおけるピ
ッチ、およびパワーを演算し、これにより音声の声道情
報を音韻の種類毎に参照できる単位で蓄わえている音韻
メモリを参照して音声合成するようにした音声分析合成
装置である。

実施例の説明 一般に、音声で示される内容は日本語の場合、５０音学
その他含めても百数十個程度の音韻で表わすことができ
長時間の音声の中には同じ音韻がくり誌・えし使用され
るが、抑揚やアクセントは一義的羊ない。音声分析合成
系では音声を声道情報と音源情報に分離して考えており
、声道情報が音韻を、音源情報が抑揚やアクセントを表
現するので、長時間の音声の分析合成にはくりかえし使
用される声道情報を単に音韻として扱い、音源情報を併
用すれば、データ量として有利で、同時に抑揚やアクセ
ントのある自然な音声を再生できる。

本発明はこの点を巧みにオリ用したもので、伝送又は蓄
積される声道情報と音の情報の二つの音声データのうち
声道情報を音声の内容即ち日本語ではア、イ、つ・・・
・・・等の各音韻の°種類を表わすコードで代用する。

第１図は本発明の全体構成を示したもので、音声分析器
１１はディジタル化された音声データから音源情報であ
るピンチとパワーを抽出する音源情報抽出部１３、音声
の内容を示す音韻の種類をカナ文字や発音記号によって
入力し前記音源情報との時間対応を付ける音韻照合部１
４、及び音韻の種類と音源情報を符号化するデータ符号
部１６から構成される。音声分析器１１で生成された前
記符号化データは直接又は一旦蓄積された後、音声合成
器１２に入力される。音声合成器１２は符号化データを
復号し音韻の種類と音源情報に分離するデータ復号部１
６、音韻毎の声道情報を蓄わえている音韻メモリ部１７
、及び前記音源情報と声道情報から音声を再生する音声
合成部１８から構成されている。

第２図は本発明の原理を音声波形で示したものである。

ａは音声分析器１１に入力される音声データで、「イマ
」と発声している。図中の縦罫勝はピッチ、パワー等の
音源情報を求める時間単位（フレーム）で実施例では１
０ｍＢである。

第２図の音声データは音韻で表わすとフレーム番号４〜
１４は「イ」、１６〜２９は「マ」である。本発明では
音声データを第２図すのように第４〜第１４フレームの
音源情報で「イ」と、第１６〜第２９フレームの音源情
報で「マ」という形式に分析する。他方、音声合成器１
２には予め各音韻毎に声道情報を用意しておき、音声分
析器１１より伝送されてくる分析データに従ってｄ。

ｅに示す「イ」及び「マ」の声道情報を選択し、必要な
フレーム数の声道情報に音源情報を付加して合成音声Ｃ
を得る。

以下、第１図に示した各部の動作についてテークの処理
の流れに沿って詳述する。

音の情報抽出部１３は入力されたディジぞル音声データ
を１０ｍ５のフレームに分割し、フレーム毎に音源情報
であるピンチ及びパワーを抽出する。

音韻照合部１４では音声データの内容を示す音韻列をキ
ーボード等よりカナ文字又は発音記号で入力する。

音韻の種類は第１表に示すように五十音、濁音。

半濁音、動量の他、外来音、ガ行の鼻濁音がキ゛ググゴ
及びサイレントの１２７種で、第１表の行列の数字は各
音韻の音韻コードを１６進数で表わしている。

（以下余白） 第　　　、１　　　　表 音韻照合部１４では更に音源情報抽出部１３で求めた各
フレーム毎の音源情報と音韻との時間的対応を付けるた
め、各音韻の開始するフレーム番号及び各音韻中の母音
部の開始するフレーム番号をキーホード等より入力し、
境界コードを求める。

第２表は「アヒル」という音声について上記の処理を行
なった結果を示すものである。

（以下余白） 第　　　２　　　表 フレーム１〜１０が音圓「ア」で子音部はないので境界
コードは２及び３がフレーム１及び１０に与えられてい
る。また、フレーム１１〜２８が音韻「ヒ」で子音部の
開始フレーム１１は境界コード１、母音部の開始フレー
ム１６及び終了フレーム２８は境界コード２及び３で示
され、それ以外のフレームは境界コードへで表示されて
いる。第２表において音韻コードは第１表に示したもの
で「ア」は１、「ヒ」は１Ｂ、「ル」は２９と１６進数
で示されている。一方、音源情報抽出部１３で求められ
た音源情報のパワーはフレーム中の一点当りの平均パワ
ーのＬｏｇをとり２０４８倍して整数化（負の値）した
ものを第２表のパワーの項に、又、ピッチは１ｏＫＩＩ
ｚサンプル点の個数でのピンチ周期を第２衣のピッチの
項に各々フレーム毎に１６進数で表示しており、第２表
により音韻と音源情報の時間的対応の様子が明らかにな
る。

次に、データ符号部１５では以上の処理結果を元に音源
情報のデータ量の削減のためのデータ圧縮及び音声デー
タの符号化を行なう。

第３図はピンチのデータ圧縮方法を示したもので、本実
施例では一音韻の有声区間のフレーム毎のピッチの推移
３１を初めのピンチＰＴ１と終りのピッチＦＴ２で直線
３２で近似する。

次（パワーのデータ圧縮方法を説明する。

通常各音韻における母音部は、子音部から母音部へと移
行する過渡部と安定な波形を示す足常部とに分かれる。

谷音韻における前記母音部定常部の開始フレームをＮＴ
Ｐフレームト略す。ＮＴＰフレームは、早口り、ゆっく
り話した時等にも、子音部と母音部との境界フレームか
らの距離、すなわち母音部開始フレームからＮＴＰフレ
ーム１でのフレーム長は、その音韻においてはほとんど
一定となっている。また、その音韻の最大パワー値を持
つフレームは、通常ＮＴＰ　フレーム近辺となっている
。従って、各音韻の最大パワーを持つフレームは、各音
韻のＮＴＰフレームを設定することができる。

次に子音部から母音部定常部への移行時のパワー推移は
、その音韻を早口やゆっくり話すなどの話し方の速度や
、大きく話したり小さく話したりする声の大小に依存せ
ず、各音韻においてほぼ一定の推移をし、子音部のパワ
ーと母音部最大パワーとのパワー比はほぼ一足である。

従って、予め、子音部から母音部定常部へのパワーの推
移を用意しておけば、子音部からＮＴＰフレーム１での
パワーは、最大パワー値より推測できる。

更に音韻の最終フレームのパワー値は次に続く音韻の種
類に依存して変化する。次音韻が無音。

無声子音、又は無声化子音の場合、最終フレームの値は
非常に小さくなり、次音韻が、母音又は有声子音の場合
は、最大パワー値に比べさほど小さくならない。よって
次音韻の種類がわかれば、最大パワー値に対する最終パ
ワー値は容易に推測できる。

本発明は上記の点に着目して、音韻間のパワー圧縮方法
は、音韻の最大パワー値のみを符号化するデータとする
ことによって圧縮する。

以上のデータ圧縮方法により、第２表に示した「アヒル
」の音声データは第３表の様に、各音韻毎に音韻コード
Ｃ１、子音部フレーム長ＦＣ１母音部フレーム長Ｆｖ、
先行する音韻の終りのピッチＰＴ２、初めのピッチＰＴ
１、最大パワー値ＰＷ１のパラメータ系列で表現される
。

第　　　３　　　表 第１番目の音韻「ア」は音韻コードＣ１が１で、母音な
ので子音部フレーム長ＦＣは０フレーム、母音部フレー
ム長ＦＶは１６進数で（Ａ）、６フレームと表わされる
。音韻の初めや終り付近の音声は一般に振偏が小さくな
ることが多く音源情報抽出時にピンチの抽出エラーを生
じることがあるので、初めのピッチＰＴ１及び終りのピ
ッチＰＴ２は近傍４フレームの平均値としている。第３
表の「ア」のＰＴｌは第２表の１〜４フレームのピッチ
の平均値（２３）　＋　ｂ　である。「ア」の終りのピ
ッチは「ヒ」のＰＴ２の項に同じく平均値（１Ｂ）、６
と示され、「ヒ」の子音部が無声音のためピッチがとぎ
れている事を表わしている。反対に「ヒ」から「ル」へ
移行する場合のように、後続の子音部が有声音のときは
、先行する音韻「ヒ」の終りのピンチは後続の音韻「ル
」のピッチと同じであるので、第３表の「ル」のＰＴ２
は不要（Ｏと表示）で、ＰＴｌが兼用される。

パワーについては、各音韻の母音部における最大パワー
値ＰＷ１を求める。音韻「ア」のＰＷｌは第２表の第６
フレームのパワー値である。以降の音韻についても以上
に示した処理と同様の処理を行ない、最後に終了コード
（７Ｆ）１６　　と先行音韻「ル」の終りのピッチＰＴ
２が加えられ、圧縮データが生成される。

データ符号部１５では更に前記圧縮データの符号化を行
なう。符号化は第４図に示す様に、音韻の種類によって
方法が異なる。以下に符号化方法を説明する。

各音韻は初めの７ビツトで音韻コードＣ１を示す。子音
部継続時間を表わすフレーム長Ｔ１は、第３表の子音部
のフレーム長ＦＣより、無音ａの場合、（１）式 ％式％（１） その他のｂ　％　ｅの場合、（２）式で３ピントに符号
化する。

母音部のフレーム長で２は実際の母音部のフレーム長ｙ
ｖから、「ア、イ、つ、工、オ」の５母音すおよび撥音
Ｎの場合（３）式で５ビツトに、Ｔ２：ＦＣｌ２　　（
ＦＣ≦６２）　　　・・・・・・　（３）有声子音Ｃ１
無声子音ｄ、無声化子音ｅの場合（４）式で４ビツトに
符号化する。

Ｔ２：ＦＶ／２　　（０≦ＦＣ≦３０）・・・・・・・
・・（４）母音部の最大パワーム１はＰＷｌの（ＢＦ８
４）、６〜（Ｆｌｏｏ）１６の値を５ビツトで線形量子
化する。ピッチは第３表の先行するピッチとの差、（Ｐ
Ｔ２−ＰＴｌ　）又は（前の音韻のＰＴｌ−ＰＴ２）を
求め、正負符号を含めて６ビツトで０〜±２９ピッチ周
期差を非直線量子化で符号化しＰｌ又はＰ２を求める。

第４図において破線で表示しているＰ２は先行する音韻
が母音、有声子音、無声子音の場合に挿入され、無音又
は無声化音の場合には挿入されない。Ｐｌは上記の様に
通常５ビツトであるが、無音に後続する母音ｂ、有声子
音Ｃ１無声子音ｄの場合、前記の差分形式ではなく、Ｐ
Ｔｌのピッチを直接非直線量子化で６ビツトに符号化す
る。

第　　　　４　　　表 第４表は、第３表の「アヒル」の圧縮データを、以上の
規則に従って符号化した音声データを示しタ％　ノで、
４３フレーム（Ｑ、４５秒）の音声が８８ビツトに符号
化されており、換算すると約２０５　ｂｐｓであるが、
長文章の音声データには無音区間が多く存在するのでデ
ータ容量は更に少ない。また、早口の音声データでも２
６０　ｂｐｓ程度以下という極めて低いデータ容量に音
声を帯域圧縮できる。

上記の様に生成された符号化データは蓄積又は伝送され
た後、第１図に示した音声合成器１２で音声が再生され
る。以下、符号化データより音声を合成する方法につい
て説明する。

データ復号部１６では、入力した符号化データを前記符
号化の操作と逆の処理を行ない、フレーム毎のピンチ、
パワーを求める。第５表に復号したデータを示す。

（以下余白） 第　　　６　　　表 ピッチは各音韻の代表値の差分値より第３図の様に補間
計算しフレーム毎のピッチを求める。

パワーは、第６表では、０次のケプストラム係数を２０
４８倍して整数化（負の値）したものである。

音源メモリ部１７には全音韻の声道情報をケプストラム
パラメータの形式で蓄積されており、声道情報の他、音
声合成した時の音声が各音韻共、同じ大きさに聞こえる
様な正規化パワーが０次のケプストラム係数として（以
下ＣＯと記す）フレーム毎に蓄積されている。すなわち
各音韻の最大パワーフレームであるＮＴＰフレームにお
ける合成波形のパワーがいずれの音韻も同程度の大きさ
になる程度に正規化している。以下このＮＴＰフレーム
における正規化パワーをＰＷｓと記す。

ＮＴＰフレームにおけるパワー値は、各音韻において符
号化データより復号された最大パワーＰＷ１より正規化
パワーＰＷｓとの差分値ΔＰをＣＯに加えて求める。

ＮＴＰフレーム以前の子音部を含むフレームのパワーは
、前記符号化データには含まれていないので、音韻メモ
リ部１７に格納されている該当するフレームのｃｏを用
いる。第５表にはＮＴＰフレーム以前のフレームのパワ
ー値は無音のパワー値（ＡＯＯＯ）、６となっている。

データ復号部１６では、音韻メモリ部１７の譲当するフ
レームのパワー値に前記差分値ΔＰを加えて、先頭フレ
ームからＮＴＰフレームまでのパワー推移ハターンをそ
の１ま保持する。第６図にパワー推移を示す。音韻メモ
リ部１７に格納されているＮＴＰフレームのパワーをオ
フセットし先頭フレームからＮＴＰフレーム１でのｃｍ
の推移パターンである実線６１を、破線６２のようにそ
のま１保持している。

又、単語「キク（菊）」の「キ」や文末の「デス」の「
ス」等の無声化子音の様に母音部がない音韻の場合は、
前記差分値ΔＰが求められないので先行する音韻の差分
値ΔＰを代用して子音部のパワーを求める。

第６図にＮＴＰフレーム以降より最終フレーム１でのパ
ワーの補間方法を示す。ＮＴＰフレーム以降のフレーム
のパワーは、最終フレームのパワー値を次音韻の種類に
よって決定し、その間のフレームのパワーは補間計算を
ほどこして、実際のパワーの推移４１を曲線４２で近似
する。本実施例では、最終フレームのパワーを次音韻が
無音。

無声子音、無声化子音の時、最大パワーの１％、次音韻
が母音または有声子音の時、最大パワーの６０％にし、
ＮＴＰフレームと最終フレーム間の各フレームのパワー
は以下の式で補間している。

工：フレーム ｐｗ（ｒ）：ｘフレームにおけるパワーＰＷ１：最太パ
ワー値 ＰＷ２　：最終パワー値 に：音韻の最終フレーム数 ＮＴＰ　：ＮＴＰフレーム数 データ復号部１６は、復号したフレーム毎のピッチ、パ
ワーデータを音声合成部１８へ送出する。

音韻メモリ部１アは、データ復号部１６より指示される
音韻について、その声道情報を子音部、母音部名々必要
なフレーム分、音声合成部１８へ出力する。

第５表の音韻「ヒ」では子音部５フレーム、母音部１３
フレーム必要となり、音韻メモリ部１７では第７図の「
ヒ」の音韻メモリの４〜８フレームを子音部として送出
し、母音部は９〜１３フレーム及び１４フレームを８回
送出して音韻長を調節する。重複して送るフレームは母
音の定常部であれば、どのフレームでもそれほど差異は
ないので、本実施例では音韻メモリを少なくするため、
母音部定常フレームＮＴＰフレームより２フレーム目を
重複して送出するフレームとし、それ以降のデータはメ
モリに持左ない。

上記例とは反対に子音部を長く、母音部を短かく切出す
場合は、子音部の先頭フレームを必要なフレーム数重複
し、母音部の末尾を不要なフレーム数たけ削除する。

音声合成部１８はディジタルフィルタ、ディジタル−ア
ナログ変換器、スピーカ等で構成され前記音韻メモリ１
７及びデータ復号部１６よジ送られるフレーム毎の声道
情報及び音源情報をもとにケプストラム合成により音声
を再生する。

第８図は合成された音声の波形を示したもので、図中下
部の数字はフレーム番号である。波形かられかる様に各
音韻パワーがなめらかに再生されている。本実施例では
声道情報はケプストラム法により分析したケプストラム
・パラメータを使用しているが、その分析方式、パラメ
ータの種類及び合成方式は種々の方法が使用可能であり
その差異は本発明の範囲及び主旨を制限するものではな
い。

発明め効果 以上のように、本発明は音声データを音韻コードと音源
情報の組合せの系列に符号化する音声分析器と音韻メモ
リを持つ音声合成器で構成される音声分析合成装置であ
り、分析器と合成器間に伝送又は蓄積する音声データを
約２５０　ｂｐｓ以下に圧縮でき、自然な音声を再生で
きるというすぐれた効果がある。

【図面の簡単な説明】

第１図は本発明による音声分析合成装置の実施例におけ
る全体構成を示すブロック図、第２図は本発明により音
声分析合成装置の動作原理を音声波形で示した図、第３
図は本発明の実施例におけるピッチデータの圧縮方法を
説明するグラフ、第４図は本発明の実施例における符号
化データの形式を示した図、第６図は本発明の実施例に
おける子音部から母音部定常部までのパワー復号方法を
示した図、第６図は本発明の実施例における母音部定常
部から最終フレームまでのパワー復号方法を示した図、
第７図は本発明の実施例における音る。 １１・・・・・・音声分析器、１２・・・・・・音声合
成器、１３・・・・・・音源情報抽出部、１４・・・・
・・音韻照合部、１５・・・・・・データ符号部、１６
・・・・・・データ復号部、１７・・・・・・音韻メモ
リ部、１８・・・・・・音声合成部。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名第２
図 （ｔＬ）　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　（ｅ）第３図 第５図 第６図 第７図

Claims (1)

【特許請求の範囲】
1. 音声の内容を示す音韻の種類を入力する手段と、音声を
   ある時間区間（フレーム）に分割しフレーム毎のピッチ
   およびパワーの音源情報を抽出する手段と、前記音韻の
   継続する音韻区間が前記抽出される音声のどのフレーム
   に対応するかを判別し、音韻区間内のフレーム数を計数
   する手段と、前記抽出された音源情報から、音韻区間毎
   の代表的なピッチ、及び最大パワー値を求める手段と、
   前記音韻の種類と音韻区間内のフレーム数と、代表的な
   ピッチ値の差分値、および最大パワー値との組合わせの
   系列を符号化する手段と、前記符号化されたデータを入
   力して、復号する手段と、前記復号された音韻区間内の
   フレームと、ピッチの代表値の差分値、および最大パワ
   ー値より、音韻区間の全フレームのピッチおよびパワー
   を補間計算により求める手段と、音声の声道情報を前記
   音韻の種類毎に参照できる単位で蓄わえている音韻メモ
   リと、前記音韻メモリの声道情報と、前記演算手段より
   得られる音源情報を用いて音声波形を合成する手段を有
   する事を特徴とする音声分析合成装置。