JPH09305197A

JPH09305197A - 音声変換方法及び装置

Info

Publication number: JPH09305197A
Application number: JP8121811A
Authority: JP
Inventors: Takahiko Niimura; 貴彦新村; Ayanori Yoshitani; 文徳吉谷
Original assignee: N T T DATA TSUSHIN KK; NTT Data Communications Systems Corp
Current assignee: N T T DATA TSUSHIN KK; NTT Data Corp
Priority date: 1996-05-16
Filing date: 1996-05-16
Publication date: 1997-11-28

Abstract

(57)【要約】【課題】任意の音声の発話様式を所望の韻律に近似す
る韻律を持つ他の音声、例えば声優の音声の発話様式に
効率的に変換する音声変換装置を提供する。【解決手段】元音声と音声区間情報を元音声データベ
ース１０２から選びだす元音声情報検索部１０４、元音
声に対応する音声区間情報を声優音声データベース１０
３から選びだす声優音声情報検索部１０５、元音声の音
声区間と声優の音声区間とを対応させる音声区間対応部
１０６、元音声と声優の音声の音声区間に含まれたピッ
チ波形を対応させるピッチ波形対応部１０７、元音声の
音声区間に含まれたピッチ波形を声優の音声のピッチ波
形をモデルとして加工する韻律制御部１０８、そして区
分された元音声を合成する波形合成部１０９を含んで音
声変換装置１を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば通信、マル
チメディア、ヒューマンインタフェース、合成音サービ
ス等に利用される音声変換技術に係り、ある人間の発話
様式を別の人間の発話様式に変換する技術に関する。

【０００２】

【従来の技術】人間の発話様式には、それぞれ、発声方
法、イントネーションなどの発声に関係する個性、癖が
ある。また、声質のように先天的に備わった要素に基づ
く発話がなされる場合もあれば、訓練によって独特な発
話がなされる場合もある。例えば、アナウンサーや声優
のように発話を得意にする人々は、資質としての優れた
声質のほかに、特有の発話様式になるように訓練を行っ
ているのが通常である。このような人々の発話様式は、
同じ文章を音読したとしても、声の大きさ、発音速度、
声の高さなどについて、訓練を経ない一般の人々には真
似ることが難しい。

【０００３】ところで、最近は、自分の音声を加工し、
この加工した音声を機械に発声させる音声変換技術が提
案されている。この種の音声変換に係る従来技術として
は、例えば特開平７−９２９８６号公報に記載された音
声変換装置が参考になる。以下、この音声変換装置につ
いて説明する。

【０００４】図６は上記公報に記載された従来技術によ
る音声変換装置のブロック構成図である。この音声変換
装置６は、形態素解析部６０１、韻律生成部６０２、波
形素片選択部６０３、波形制御部６０４、合成部６０５
を有し、さらに、韻律生成部６０２が参照する基本韻律
規則テーブル６０６と発話様式変更テーブル６０７、及
び波形素片選択部６０３が参照する波形素片データベー
ス６０８を含んで成る。基本韻律テーブル６０６には、
検索のための検索キーと、検索キーに対応する基本韻
律、例えば、周波数、振幅、時間長のパラメータの組と
が記録されている。また、発話様式変更テーブル６０７
には、検索キーと、検索キーに対応する基本韻律の変更
規則、例えば周波数、振幅、時間長、及びホルマントの
組とが記憶されている。

【０００５】この音声変換装置６の動作は以下のように
なる。テキストが音声変換装置６に入力されると、形態
素解析部６０１は、このテキストに含まれる字句、構文
を形態素解析する。この形態素解析結果は韻律生成部６
０２に送られる。韻律生成部６０２は、形態素解析結果
から検索キーを見つけだし、基本韻律規則テーブル６０
６から検索キーに対応する基本韻律と、発話様式変更テ
ーブル６０７から検索キーに対応した基本韻律の変更規
則を引き出して韻律モデルを作成し、これを波形素片選
択部６０３に送る。波形素片選択部６０３は、この韻律
モデルに対応する波形素片を波形素片データベース６０
８から索出し、それを選択波形として波形制御部６０４
に送る。波形制御部６０４は、送られた選択波形の波形
素片を必要に応じて加工する。そして、加工した波形素
片を合成部６０５に送る。合成部６０５は、加工された
波形素片を全て合成し、入力されたテキストに対応した
合成音声を出力する。

【０００６】関連する他の音声変換技術として、特開平
５−１１７９４号公報に記載された合成音作成方法があ
る。この方法は、合成音声の音素波形を意図した発話様
式の韻律にあわせて加工し、合成することを特徴とす
る。この韻律は、入力音声を音素単位に分析することに
より得られる。

【０００７】

【発明が解決しようとする課題】上記各公報に記載され
た従来技術は、合成音の発話者の韻律を予めデータベー
スに固定的に蓄積して使用している。また、変換しよう
とする発話様式の韻律規則は、データベースに蓄積され
ている合成音の発話者の多量の音声を分析して求めた
り、その都度入力された所望の音声を分析して求めてい
た。例えば一般の者の発話を所望の声優の発話様式に変
換して合成しようとする場合、従来は、データベースに
蓄積されている一般の者の音声を、入力された声優の音
声の分析結果に基づいて変換していた。このため、合成
音の発話者や発話様式に柔軟性を持たせたいときは、音
素単位のマッチングや分析処理が難しくなり、また、デ
ータベースの増改築が不可欠になる問題があった。この
種のデータベースの増改築は、専門知識を要するととも
にその負担が大きく、末端利用者にとっては扱いにくい
ものであった。

【０００８】そこで本発明の課題は、例えばある発話様
式の音声を、他の発話様式の音声に容易に変換すること
ができる音声変換方法を提供することにある。本発明の
他の課題は、上記音声変換方法の実施に適した音声変換
装置を提供することにある。

【０００９】

【課題を解決するための手段】本発明が提供する音声変
換方法は、発声内容が同一で声質が異なる第一及び第二
の音声の各音声について音声を形成するピッチ波形に関
わる韻律パラメータを生成するとともに、第一の音声の
韻律パラメータが第二の音声の韻律パラメータと近似す
るように第一の音声のピッチ波形を加工する過程を含む
ことを特徴とする。つまり、第二の音声の韻律パラメー
タをモデルとして第一の音声のピッチ波形に関わる韻律
パラメータを操作することで音声変換を行う。

【００１０】また、本発明の音声変換装置は、発声内容
が同一で声質が異なる第一及び第二の音声の各音声につ
いて音声を形成するピッチ波形に関わる韻律パラメータ
を生成する韻律パラメータ生成手段と、第二の音声の韻
律パラメータに応じて第一の音声のピッチ波形を加工し
て新たな音声を生成する波形加工手段と、を有すること
を特徴とする。

【００１１】本発明の音声変換装置において、前記韻律
パラメータ生成手段は、例えば、第一及び第二の音声の
ピッチ波形の配列パターンが変化する変化点を検出する
検出手段と、検出された変化点によって第一及び第二の
音声を各々複数の音声区間に区切ると共に第一の音声に
おける各音声区間と第二の音声における各音声区間とを
対応付ける区間対応手段とを備えて成る。

【００１２】また、前記検出手段は、例えば、第一及び
第二の音声の各音声についてケプストラム演算を実行す
る手段を備え、このケプストラム演算の実行結果に基づ
いて前記変化点を検出する。この場合、前記区間対応手
段は、前記ケプストラム演算の実行結果により特定され
る第一及び第二の音声のスペクトラム定常区間同士を対
応付ける。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。本実施形態では、音声変換装
置の使用者が発声した文章の音声とその韻律、及び、声
優などが発声した同一文章の音声の韻律パラメータを予
め記憶しておき、ある選択された文章について使用者が
発声した音声を、声優が発声した音声の韻律パラメータ
に応じて変換する例を説明する。

【００１４】図１は、本実施形態による音声変換装置の
ブロック構成図である。この音声変換装置１は、韻律パ
ラメータ生成部１０１、元音声データベース１０２、声
優音声データベース１０３、元音声情報検索部１０４、
声優音声情報検索部１０５、音声区間対応部１０６、ピ
ッチ波形対応部１０７、韻律制御部１０８、及び波形合
成部１０９を備えて構成される。

【００１５】韻律パラメータ生成部１０１は、入力され
た音声を複数の区間に区切ると共に、区切られた音声区
間の韻律を表す韻律パラメータを生成し、これを音声区
間情報として出力するもので、本発明の韻律パラメータ
生成手段として機能する。元音声データベース１０２
は、複数の文章について使用者が発声した元音声（文章
音声）と韻律パラメータ生成部１０１で生成した音声区
間情報とを文章番号と共に記憶するものである。声優音
声データベース１０３は、同一の文章について予め複数
の声優によって発声された音声に関する音声区間情報を
声優番号及び文章番号と共に記憶したものである。元音
声情報検索部１０４は、入力される文章番号をキーとし
て対応する音声区間情報を元音声データベース１０２か
ら索出するものであり、声優音声情報検索部１０５は、
文章番号及び声優番号をキーとして声優音声データベー
ス１０３から該当する音声区間情報を索出するものであ
る。音声区間対応部１０６は、所定の区間毎に区切られ
た元音声と声優音声の音声区間情報同士を対応させるも
のである。ピッチ波形対応部１０７は、元音声の音声区
間に含まれたピッチの位置と声優音声の音声区間に含ま
れたピッチの位置を互いに対応させ、これをピッチ波形
対応情報として出力するものである。韻律制御部１０８
は、元音声の音声区間に含まれたピッチ波形を加工する
ものである。波形合成部１０９は、加工された元音声の
ピッチ波形を合成して新たな合成音声を生成するもので
ある。

【００１６】なお、元音声データベース１０２と声優音
声データベース１０３を除く各部１０１，１０３〜１０
９は、プログラムされたコンピュータによって実現可能
であり、それぞれ物理的に把握可能なユニットの集合と
して存在してもよく、あるいは汎用のコンピュータが読
み取り可能な可搬性の情報記憶媒体上に固定され、それ
を読みとったコンピュータに上記機能を付与する命令構
成体として存在してもよい。

【００１７】韻律パラメータ生成部１０１の詳細なブロ
ック構成例を図２に示す。この韻律パラメータ生成部１
０１は、音声のスペクトラムについてのケプストラム演
算を実行するΔケプストラム演算部２０１、Δケプスト
ラム計算部２０１の結果に基づいて音声を複数の音声区
間に区分する、ピッチ波形の配列パターンの変化点を検
出する検出手段と音声を区分する手段としての音声区間
検出部２０２、区分された音声区間に含まれるピッチ位
置を抽出するピッチ計算部２０３、及び音声区間情報を
生成する音声区間情報生成部２０４を含んで構成され
る。

【００１８】図２を参照して韻律パラメータ生成部１０
１の動作を説明する。まず、Δケプストラム計算部２０
１に音声が入力される。Δケプストラム計算部２０１
は、その音声の時間軸上を細かく移動しながらケプスト
ラム値の差分である△ケプストラムを計算する。音声区
間検出部２０２は、Δケプストラム計算部２０１の計算
結果に基づいて△ケプストラムの値が最も大きくなると
ころをスペクトルの定常区間の境界とする。なお、正確
さを求めるならば、目視で区間境界を変更することも可
能である。ピッチ計算部２０３は、音声区間検出部２０
２によって決定された区間ごとにピッチの位置を計算す
る。音声区間情報生成部２０４は、音声区間ごとに有声
区間位置情報と無声区間位置情報と有声音区間における
ピッチ位置の情報から成る音声区間情報を出力する。生
成された音声区間情報は、入力された音声が使用者によ
るものか声優によるものかに応じて異なったデータベー
スに記憶される。例えば、使用者によるものであれば、
元音声データベース１０２に使用者の発声による文章音
声と音声区間情報が文章番号ごとに記憶される。一方、
声優によるものであれば、声優音声データベース１０３
に発声された文章音声と音声区間情報が声優番号と共に
記憶される。

【００１９】次に、本実施形態の音声変換装置の動作を
詳細に説明する。まず、特定の文章を指定する文章番号
が元音声情報検索部１０４と声優音声情報検索部１０５
に入力され、同時にモデルにしたい声優を特定する声優
番号が声優音声情報検索部１０５に入力される。元音声
情報検索部１０４は、入力された文章番号に対応する音
声区間情報を元音声データベース１０２から索出する。
そして、音声区間情報を音声区間対応部１０６に、無声
音区間位置情報を波形合成部１０９に、有声音区間位置
情報を韻律制御部１０８に、元音声ピッチ波形情報をピ
ッチ波形対応部１０７にそれぞれ送る。声優音声情報検
索部１０５は、入力された文章番号と声優番号に対応す
る音声区間情報を声優音声データベース１０３から索出
して、音声区間情報を音声区間対応部１０６に、声優音
声ピッチ波形情報をピッチ波形対応部１０７にそれぞれ
送る。

【００２０】音声区間対応部１０６は、元音声情報検索
部１０４から送られた音声区間情報の区間位置情報と声
優音声情報検索１０５から送られた音声区間情報とに基
づいて元音声の音声区間と声優の音声の音声区間とを対
応付け、これを音声区間対応情報としてピッチ波形対応
部１０７へ送る。ここでいう対応付けは、例えば、スペ
クトルの定常部分を音声の先頭から一対一に対応させる
ことをいう。

【００２１】ピッチ波形対応部１０７は、音声区間対応
部１０６から送られた音声区間対応情報と、元音声情報
検索１０４から送られた元音声ピッチ波形情報と声優音
声情報検索部１０３から送られた声優音声ピッチ波形情
報とから、対応する音声区間に含まれるピッチを対応さ
せ、これをピッチ対応情報として韻律制御部１０８に送
る。

【００２２】図３及び図４を参照してピッチの対応のさ
せ方の一例を説明する。図３（ａ）は、声優の一音声区
間のピッチ波形を示した図であり、図３（ｂ）は、それ
に対応する元音声の音声区間のピッチ波形を示した図で
ある。また、図４は、図３（ａ），（ｂ）におけるピッ
チの対応付けの一例を示す図である。対応する音声区間
の区間長は一般に異っているため、ピッチを対応させる
ためにピッチ波形情報のピッチ位置情報から得られる各
ピッチに付随する音声区間を”１”とした場合のピッチ
の位置比率が使用される。図３（ａ）では、音声区間の
区間長を”１”としたときに、左から順に９／６３、１
８／６３、２７／６３、３６／６３、４５／６３、５４
／６３、６３／６３（＝”１”）の位置にピッチが存在
し、図３（ｂ）では、７／６３、１４／６３、２１／６
３、２８／６３、３５／６３、４２／６３、４９／６
３、５６／６３、６３／６３（＝”１”）にピッチが存
在している。ピッチは、位置比率が互いにより接近する
もの同士を結び付けて行われる。図４で、元音声の音声
区間で７／６３に位置するピッチが声優の音声区間で９
／６３に位置するピッチに対応し、元音声の音声区間で
１４／６３と２１／６３に位置する二つのピッチが声優
の音声区間で１８／６３に位置するピッチに対応してい
ることを示しており、残りのピッチについても同様にピ
ッチが対応付けられる。このようなピッチ波形の対応が
互いに対応する音声区間の全てに対してなされ、ピッチ
波形対応情報が生成される。

【００２３】韻律制御部１０８では、このピッチ対応情
報に基づいて、元音声の有声音区間の韻律を制御する。
韻律制御の一例としてはピッチ波形重畳法を使用するこ
とができる。図５は、ピッチ波形重畳法によるピッチ波
形の加工方法の説明図である。このピッチ波形重畳法で
は、各音声区間について振幅、ピッチ周期、時間長を含
む韻律パラメータを変換するようにピッチ波形を加工し
ている。

【００２４】以下、図１及び図５を参照して、一音声区
間についてのピッチ波形の加工手順を説明する。韻律制
御部１０８には、元音声情報検索部１０４から有声音区
間の位置情報と、音声区間のピッチ情報とが送られる。
また、ピッチ波形対応部１０７からは、ピッチ波形対応
情報が送られる。次に、入力された音声区間の時間長制
御のために周波数を考慮して最適なピッチ波形の数を計
算する。そして計算結果に応じてピッチ波形の数を増減
させる。さらに重み関数によってピッチの振幅が調整さ
れる。音声区間内のピッチ波形の数が加減されて区間の
時間長が調節される。ピッチ波形の間隔を変化させて周
波数を調節し、それぞれのピッチ波形を重ね合わせて結
合する。なお、周波数の調節時において、いわゆるエイ
リアシングの可能性もあるので、必要に応じて窓かけを
行う。合成された波形は、波形合成部１０９に送られ
る。

【００２５】波形合成部１０９では、韻律制御部１０８
において生成された合成波形と無音声区間を合成する。
より詳しくは、韻律制御部１０８から送られた有声音区
間位置情報と、元音声情報検索部１０４から送られた無
声音区間の位置情報とに基づいて、所定の位置に各音声
区間が配置されるように合成する。

【００２６】なお、元音声データベース１０２を用いな
くても文章番号に対応した音声を直接に韻律パラメータ
生成部１０１に入力してもよい。この場合、韻律パラメ
ータ生成部１０１から直接に音声区間情報が音声区間対
応部１０６に、無声音区間位置情報が波形合成部１０９
に、有声音区間位置情報が韻律制御部１０８に、ピッチ
波形情報がピッチ波形対応部１０７にそれぞれ送られ
る。

【００２７】このように、本実施形態では、従来の声優
の音声の韻律分析や規則生成に代えて、予め声優に決ま
った文章を発声させてスペクトル定常区間ごとに韻律パ
ラメータを求めておき、この定常区間ごとの韻律パラメ
ータを合成音の韻律モデルとし、ピッチ波形単位で声優
の音声と元音声とを対応させて、元音声をそのピッチ情
報のみで韻律制御を行うことで声優の音声に近似させて
いるので、波形素片ではなく、韻律情報のみをデータベ
ース化すればよく、記憶容量の節減が可能になる。ま
た、普通の人が発声した音声を、声優の独特な話し方に
変更させた合成音に容易に変換することができるため、
合成音声の利用範囲を拡大することができる。

【００２８】

【発明の効果】以上の説明から明らかなように、本発明
によれば、一般の人間の発話様式を、ハードウエア資源
や処理の負担を増加させることなく、他の人間の発話様
式に容易に変換することができる。

【図面の簡単な説明】

【図１】本実施形態に係る音声変換装置のブロック構成
図。

【図２】本実施形態による韻律パラメータ生成部の詳細
なブロック構成図。

【図３】（ａ）は本実施形態による声優の音声区間のピ
ッチ波形、（ｂ）は対応する元音声の音声区間のピッチ
波形の一例を示した図。

【図４】本実施形態による音声区間のピッチ波形の位置
の比率によるピッチ波形の対応関係の一例を示した図。

【図５】ピッチ波形重畳法によるピッチ波形の加工の一
例を示した説明図。

【図６】従来技術による音声変換装置のブロック構成
図。

【符号の説明】

１音声変換装置１０１韻律パラメータ生成部１０２元音声データベース１０３声優音声データベース１０４元音声情報検索部１０５声優音声情報検索部１０６音声区間対応部１０７ピッチ波形対応部１０８韻律制御部１０９波形合成部２０１ Δケプストラム演算部２０２音声区間検出部２０３ピッチ計算部２０４音声区間情報生成部

Claims

【特許請求の範囲】

【請求項１】発声内容が同一で声質が異なる第一及び
第二の音声の各音声について音声を形成するピッチ波形
に関わる韻律パラメータを生成するとともに、第一の音
声の韻律パラメータが第二の音声の韻律パラメータと近
似するように第一の音声のピッチ波形を加工する過程を
含むことを特徴とする音声変換方法。
【請求項２】発声内容が同一で声質が異なる第一及び
第二の音声の各音声について音声を形成するピッチ波形
に関わる韻律パラメータを生成する韻律パラメータ生成
手段と、第二の音声の韻律パラメータに応じて第一の音声のピッ
チ波形を加工して新たな音声を生成する波形加工手段
と、を有することを特徴とする音声変換装置。
【請求項３】前記韻律パラメータ生成手段は、第一及
び第二の音声のピッチ波形の配列パターンが変化する変
化点を検出する検出手段と、検出された変化点によって
第一及び第二の音声を各々複数の音声区間に区切ると共
に第一の音声における各音声区間と第二の音声における
各音声区間とを対応付ける区間対応手段とを備えること
を特徴とする請求項２記載の音声変換装置。
【請求項４】前記検出手段は、第一及び第二の音声の
各音声についてケプストラム演算を実行する手段を備
え、このケプストラム演算の実行結果に基づいて前記変
化点を検出することを特徴とする請求項３記載の音声変
換装置。
【請求項５】前記区間対応手段は、前記ケプストラム
演算の実行結果により特定される第一及び第二の音声の
スペクトラム定常区間同士を対応付けることを特徴とす
る請求項４記載の音声変換装置。