JP3821131B2 - 音声合成装置および音声合成方法 - Google Patents

Description

本発明は、音声合成装置および音声合成方法に関するものである。

従来の音声合成装置として、例えば、下記、特許文献１に開示される「音声合成方法および装置」がある。この開示技術では、単語や文節や文を想起して単音節を連続的に発声した音声から韻律成分を抽出してテンプレートとして事前に格納しておき、合成しようとする音声中の単語とモーラ数およびアクセント型が同じテンプレートを選択し、このテンプレートのリズムパターン、ピッチ周波数パターン、パワーパターンに合わせて合成音声を作成するように構成している。これによりテンプレートの韻律に合うように音声素片を修正し接続して音声合成をするので、より自然な韻律の音声を合成できるとしている。

このように従来の音声合成装置では、入力テキストに対してテキスト解析およびアクセント解析を行ったうえで、音声素片（以下「音素」という。）単位で音声データを割り当てたり、音声波形単位で音声波形データを割り当てて音声合成を行っている。
特開平１１−８５１９２号公報（第２頁〜第７頁、図１〜５）

しかしながら、上述したような従来の音声合成装置によると、音声合成を行う単位を音素単位や音声波形単位としている。そのため、人の発話音声と比較すると、出力された合成音声には不自然さが残ってしまうことから、これにより作成させた台詞（例えば、ナビゲーション装置の音声ガイダンス）の聴き心地も悪化するという技術的な課題がある。

このような課題は、多様化したあらゆる台詞のバリエーションに対して、その全ての単語を録音し音声データとして蓄えたデータベースを用意すれば、解決することも可能となるようにも考えられる。ところが、このような膨大な音声データを蓄積するためには、大容量のデータベースが必要となることから、装置やシステムのコストおよび規模を考慮すると、一般的には実現することが困難となる。

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、膨大な音声データを要することなく、聴き心地の良好な音声を合成し得る音声合成装置および音声合成方法を提供することにある。

上記目的を達成するため、特許請求の範囲に記載された請求項１の音声合成装置では、人が発声した単語の音声データを記憶する音声データ記憶手段と、入力されたテキストデータを１以上の単語で構成される所定の文節に分割するテキストデータ分割手段と、前記所定の文節のアクセント型を解析するアクセント解析手段と、前記所定の文節中の単語に対応する前記音声データのアクセント型と前記所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較するアクセント型比較手段と、前記比較により両者のアクセント型が一致しない場合、前記解析したアクセント型と同一のアクセント型をもつ変換用の音声データを前記音声データ記憶手段から検索する変換用音声データ検索手段と、前記検索された変換用の音声データから、前記解析したアクセント型を構成する音素と同一の音素部分に相当する音素データを抽出する音素データ抽出手段と、前記アクセント型が一致しない単語を、前記抽出された音素データに基づいて、前記解析したアクセント型に一致するようにアクセント変換を行うアクセント変換手段と、前記アクセント変換された音声データを含む前記テキストデータに対応する音声データを構成し出力する音声データ出力手段と、を備えることを技術的特徴とする。

さらに、特許請求の範囲に記載された請求項２の音声合成装置では、請求項１において、前記アクセント変換手段により変換する前記音素データは、母音データであることを技術的特徴とする。

上記目的を達成するため、特許請求の範囲に記載された請求項３の音声合成方法では、入力されたテキストデータを１以上の単語で構成される所定の文節に分割するテキストデータ分割ステップと、前記所定の文節のアクセント型を解析するアクセント解析ステップと、前記所定の文節中の単語に対応する自然発声の音声データのアクセント型と前記所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較するアクセント型比較ステップと、前記比較により両者のアクセント型が一致しない場合、前記解析したアクセント型と同一のアクセント型をもつ変換用の音声データを、人が発声した単語の音声データを記憶する音声データ記憶手段から検索する変換用音声データ検索ステップと、前記検索された変換用の音声データから、前記解析したアクセント型を構成する音素と同一の音素部分に相当する音素データを抽出する音素データ抽出ステップと、前記アクセント型が一致しない単語を、前記抽出された音素データに基づいて、前記解析したアクセント型に一致するようにアクセント変換を行うアクセント変換ステップと、前記アクセント変換された音声データを含んで前記テキストデータに対応する音声データを構成し出力する音声データ出力ステップと、を含むことを技術的特徴とする。

請求項１の発明では、人が発声した単語の音声データを音声データ記憶手段により記憶しておく。そして、入力されたテキストデータをテキストデータ分割手段により１以上の単語で構成される所定の文節に分割し、この所定の文節のアクセント型をアクセント解析手段により解析し、アクセント型比較手段により、所定の文節中の単語に対応する音声データのアクセント型と所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較する。この比較により両者のアクセント型が一致しない場合、変換用音声データ検索手段により、解析したアクセント型と同一のアクセント型をもつ変換用の音声データを音声データ記憶手段から検索し、検索された変換用の音声データから、音素データ抽出手段により解析したアクセント型を構成する音素と同一の音素部分に相当する音素データを抽出する。そして、アクセント変換手段は、アクセント型が一致しない単語を、抽出された音素データに基づいて、解析したアクセント型に一致するようにアクセント変換を行い、音声データ出力手段により、このアクセント変換された音声データを含むテキストデータに対応する音声データを構成し出力する。

また、請求項３の発明では、入力されたテキストデータをテキストデータ分割ステップにより１以上の単語で構成される所定の文節に分割し、この所定の文節のアクセント型をアクセント解析ステップにより解析し、アクセント型比較ステップにより、所定の文節中の単語に対応する自然発声の音声データのアクセント型と所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較する。そして、この比較により両者のアクセント型が一致しない場合、変換用音声データ検索ステップにより、解析したアクセント型と同一のアクセント型をもつ変換用の音声データを音声データ記憶手段から検索し、検索された変換用の音声データから、音素データ抽出ステップにより解析したアクセント型を構成する音素と同一の音素部分に相当する音素データを抽出する。そして、アクセント変換ステップは、アクセント型が一致しない単語を、抽出された音素データに基づいて、解析したアクセント型に一致するようにアクセント変換を行い、音声データ出力ステップにより、アクセント変換された音声データを含んでテキストデータに対応する音声データを構成し出力する。

これにより、請求項１および請求項３の発明では、「所定の文節中の単語に対応する音声データのアクセント型」と「所定の文節のアクセント型を構成する当該単語部分のアクセント型」とが一致しない場合には、解析したアクセント型に一致するように音声データに対してアクセント変換を行うので、このように変換された音声データを含むことで、聴き心地の良好な音声を合成することができる。また「所定の文節のアクセント型を構成する当該単語部分のアクセント型」の音声データを音声データ記憶手段に記憶する必要がないので、膨大な音声データを要しない。したがって、膨大な音声データを要することなく、聴き心地の良好な音声を合成することができる。また、音声データ記憶手段に記憶された単語の音声データを変換用の音声データとして検索してそれを変換に用いるので、変換用の音声データとして別途記憶手段等に記憶しておく必要がない。さらに、変換用の音声データからは、音素データを音素単位で抽出することもできるので、変換の自由度を高めることができる。さらにまた、１つの変換対象の単語に対して複数の変換用の音声データからそれぞれ異なった位置の音素データを抽出しそれらを変換に用いることもできる。したがって、音声データ記憶手段に記憶された単語の音声データを効率よく利用することができるので、殊更に膨大な音声データを要することなく、聴き心地の良好な音声を合成することができる。

なお、「所定の文節中の単語に対応する音声データのアクセント型」と「所定の文節のアクセント型を構成する当該単語部分のアクセント型」とが一致しない場合として、次のような例が挙げられる。例えば、入力されたテキストが『今日は、六ヶ月点検です』である場合において、所定の文節が、『六ヶ月』と『点検』との２つの単語により構成される複合語の『六ヶ月点検』であるとき、当該文節『六ヶ月点検』（ロ↑ッカゲツテ↓ンケン）のアクセント型は９モーラ６型となる。なお、以下、○モーラ△型を「○Ｍ△型」と、またアクセントが低から高に変わる部分を「↑」、高から低に変わる部分を「↓」とそれぞれ表記する。一方、当該文節中の単語『点検』（テ↑ンケン）に対応する音声データのアクセント型は４Ｍ０型となり、また当該文節のアクセント型である９Ｍ６型を構成する当該単語『点検』（テ↓ンケン）部分のアクセント型は、４Ｍ１型となる。つまり、このような『六ヶ月点検』では、「所定の文節中の単語に対応する音声データのアクセント型」が４Ｍ０型になり、「所定の文節のアクセント型を構成する当該単語部分のアクセント型」が４Ｍ１型となるため、両アクセント型は一致しない。そこで、当該文節を解析したアクセント型４Ｍ１型に一致するように音声データに対してアクセント変換を行うことにより、４Ｍ０型の『点検』（テ↑ンケン）の音声データを４Ｍ１型の『点検』（テ↓ンケン）の音声データに変換する。これにより、４Ｍ１型の『点検』（テ↓ンケン）の音声データを音声データ記憶手段に記憶していなくても、４Ｍ１型の『点検』（テ↓ンケン）を含む音声データを合成することが可能となる。

請求項２の発明では、アクセント変換手段により変換する音素データは母音データであることから、子音を含めた音素データの変換に比べ、変換に要するデータ量および処理時間の面において効率よくアクセントを変換することができる。したがって、高速な変換が可能になるので、流暢でより聴き心地の良好な音声を合成することができる。

以下、本発明の音声合成装置および音声合成方法の実施形態について図を参照して説明する。まず、本実施形態に係る音声合成装置２０の構成を図１に基づいて説明する。
図１に示すように、音声合成装置２０は、主に、ＣＰＵ２１、メモリ２２、辞書データベース２３、台詞データベース２４、音声データベース２５、入出力インタフェース２６、入力装置２７、表示装置２８、音声入力装置３１、音声出力装置３３、通信装置３５等から構成されており、例えば、パーソナルコンピュータをベースにしている。

ＣＰＵ２１は、音声合成装置２０を制御する中央演算処理装置で、システムバスを介してメモリ２２、辞書データベース２３、台詞データベース２４、音声データベース２５、入出力インタフェース２６等と接続されている。ＣＰＵ２１を制御するシステムプログラム２２ａはメモリ２２に格納されており、ＣＰＵ２１がこれを実行することによりメモリ２２の管理や辞書データベース２３等へのアクセス制御等といった基本システムの制御が行われている。また、このメモリ２２には、このほかに後述する音声合成処理を可能にする各種制御プログラム２２ｂ、２２ｃ、２２ｄ、２２ｅ、２２ｆ、２２ｇ、２２ｈ等も格納されている。ＣＰＵ２１はこれらのプログラムをメモリ２２から読み出して逐次実行することにより、後述する音声合成処理を可能にしている。なお、このＣＰＵ２１は、特許請求の範囲に記載の「テキストデータ分割手段」、「アクセント解析手段」、「アクセント型比較手段」、「アクセント変換手段」、「音声データ出力手段」、「変換用音声データ検索手段」および「音素データ抽出手段」に相当し得るものである。

メモリ２２は、システムバスに接続されている記憶装置であり、ＣＰＵ２１が使用する主記憶空間を構成するものである。このメモリ２２には、システムプログラム２２ａを始めとして入力制御プログラム２２ｂ、テキスト解析プログラム２２ｃ、アクセント解析プログラム２２ｄ、音声データ取得プログラム２２ｅ、アクセント型比較プログラム２２ｆ、アクセント変換プログラム２２ｇ、出力制御プログラム２２ｈ等が予め書き込まれている。

辞書データベース２３は、ＣＰＵ２１が使用する補助記憶空間を構成するハードディスク、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ、不揮発性半導体メモリ（ＥＥＰＲＯＭ等）等で、システムバスを介してＣＰＵ２１に接続されている。この辞書データベース２３には、テキスト解析辞書２３ａやアクセント解析辞書２３ｂが格納されている。

テキスト解析辞書２３ａは、入力装置２７等から入力されたテキスト（文字列のこと）データを形態素解析したり構文解析するときに参照される辞書で、単語や文法に関する情報によって構成されている。なお、このテキスト解析辞書２３ａは、後述のテキスト解析プログラム２２ｃとともに特許請求の範囲に記載の「テキストデータ分割手段」に相当し得るものである。

一方、アクセント解析辞書２３ｂは、後述するように、構文解析されて所定の文節ごとに分割されたものについてアクセント解析するときに参照される辞書で、テキスト単語アクセント辞書とテキスト構文アクセント辞書とからなる。これらは単語のアクセントや構文（文節）のアクセントに関する情報によって構成されている。なお、このアクセント解析辞書２３ｂは、後述するアクセント解析プログラム２２ｄとともに特許請求の範囲に記載の「アクセント解析手段」に相当し得るものである。

台詞データベース２４も、辞書データベース２３と同様に、ハードディスク、ＤＶＤ等からなり、システムバスを介してＣＰＵ２１に接続され、ＣＰＵ２１が使用する補助記憶空間を構成している。この台詞データベース２４には、台詞データ２４ａが格納されており、その構成例が図２(A) に示されているので、ここでは図２を参照して説明する。なお、この台詞データベース２４は、音声データベース２５とともに特許請求の範囲に記載の「音声データ記憶手段」に相当し得るもので、また音声データ２５ａは特許請求の範囲に記載の「単語の音声データ」に相当し得るものである。

図２(A) に示すように、台詞データ２４ａは、アクセント解析された所定の文節について音声データ２５ａを検索する際等に参照されるもので、例えば、表記文字、読み、音声コード、種別、アクセント型（モーラ数およびアクセント型）、子音母音、子音母音位置情報により分類された項目をもっている。例えば『今日』という漢字２文字を表すテキストデータに対応するものとして、表記文字「今日」、読み「キョウ」、音声コード「１０」、種別「名詞」、アクセント型「２Ｍ１」、子音母音「KY_O_U」、子音母音位置情報「0,80,250,320」のものと、表記文字「今日」、読み「コンニチ」、音声コード「１１」、種別「名詞」、アクセント型「４Ｍ１」、子音母音「K_O_N_N_I_CH_I」、子音母音位置情報「0,50,180,280,340,420,480,530」のものとが登録されている。なお、子音母音位置情報は、音声データベース２５に格納されている音声データ２５ａを構成する音素データの存在位置を表している。これにより、音声データ２５ａから音素単位で音素データを抽出することが可能となる。

音声データベース２５も、辞書データベース２３と同様に、ハードディスク、ＤＶＤ等からなり、システムバスを介してＣＰＵ２１に接続され、ＣＰＵ２１が使用する補助記憶空間を構成している。この音声データベース２５には、音声データ２５ａが格納されており、その構成例が図２(B) に示されているので、引き続き図２を参照して説明する。なお、この音声データベース２５は、前述の台詞データベース２４とともに特許請求の範囲に記載の「音声データ記憶手段」に相当し得るもので、また音声データ２５ａは特許請求の範囲に記載の「単語の音声データ」に相当し得るものである。

図２(B) に示すように、音声データ２５ａは、人の発話音声（人が発声した単語の音声）を録音したもので、実際の音声波形に対応して量子化等された波形データが格納されている。この音声データ２５ａは、アクセント解析された所定の文節について音声データ２５ａを検索する際等に参照されるため、音声コードをキーとして前述した台詞データベース２４の台詞データ２４ａに関連付けられている。そのため、各音声データ２５ａには、音声コードが付与されており、例えば、前述の『今日』に対応するものとしては、音声コード「１０」、「１１」が付けられている。なお、この音声データ２５ａは、音素単位で抽出可能に構成されていることから、例えば、図２(B) に示す音声コード「１０」の波形例のように、「キョウ」の音声データ２５ａからは３つの音素データ「KY」,「O」,「U」を取り出すことができる。

図１に戻って、入出力インタフェース２６は、入力装置２７、表示装置２８、音声入力装置３１、音声出力装置３３、通信装置３５等の入出力装置とＣＰＵ２１等とのデータのやり取りを仲介する装置で、システムバスに接続されている。

入力装置２７は、音声合成装置２０に対する操作コマンドや前述したテキストデータ等を入力し得るもので、例えば、キーボードやペン入力デバイスあるはマウス等のポインティングデバイス等がこれに相当する。表示装置２８は、音声合成装置２０に入力した操作コマンドに対する応答表示や前述したテキストデータのエコーバック表示等を出力し得るもので、例えば、ＣＲＴ表示装置、液晶ディスプレィ装置等がこれに相当する。

音声入力装置３１は、音声合成装置２０の利用者の発話音声を集音しアナログデータとして音声合成装置２０に入力し得るもので、例えば、マイクロフォンがこれに相当する。また集音したアナログデータをＡＤ変換してディジタル化された音声データを出力するものや、ディジタル化された音声データと併せて、発話音声に対応したテキストデータを音声認識処理を介して出力するものもある。なお、音声入力装置３１により音声認識処理を行う場合や、音声入力装置３１から入力された音声データに基づいて別途用意された音声認識プログラム等によりＣＰＵ２１による音声認識処理を行う場合には、入力装置２７によりテキストデータの入力は不要となる。

音声出力装置３３は、後述する音声合成処理により合成された音声を出力し得るもので、例えば、ＤＡ変換器を備えたオーディオアンプとスピーカとを組み合わせた音響装置がこれに相当する。なお、この音声出力装置３３は特許請求の範囲に記載の「音声データ出力手段」に相当し得るものである。

通信装置３５は、他の情報端末装置（例えばパーソナルコンピュータ）との間で有線通信回線によるデータの送受信を行うための有線データ通信機器で、例えば、公衆回線に対応した公衆回線モデムや所定のネットワーク形態に対応したＬＡＮアダプタ等がこれに相当する。なお、通信装置３５は、有線通信に限られず、無線通信回線に対応した無線データ通信機器（携帯電話、ＰＨＳや無線ＬＡＮ等）であっても良い。

ここで、メモリ２２に格納されている、入力制御プログラム２２ｂ、テキスト解析プログラム２２ｃ、アクセント解析プログラム２２ｄ、音声データ取得プログラム２２ｅ、アクセント型比較プログラム２２ｆ、アクセント変換プログラム２２ｇ、出力制御プログラム２２ｈの概要を説明する。

入力制御プログラム２２ｂは、入力装置２７や音声入力装置３１を介して利用者により入力されたテキストデータや音声データをテキスト解析プログラム２２ｃ等に受け渡す処理等を行うプログラムで、主に、入力装置２７、音声入力装置３１や通信装置３５等の低速データ入力装置とＣＰＵ２１との間のデータの受渡機能を有する。

テキスト解析プログラム２２ｃは、入力装置２７等により入力されたテキストデータの形態素解析や構文解析等を行うプログラムで、具体的には、入力されたテキストデータを辞書データベース２３のテキスト解析辞書２３ａに基づいて形態素解析し、解析された形態素（単語）について、さらに構文解析することによって１以上の単語で構成される所定の文節に分割する機能や、単語ごとに読み、モーラ数や文法情報等を与える機能を有する。このテキスト解析プログラム２２ｃは、特許請求の範囲に記載の「テキストデータ分割手段」に相当し得るものである。なお、助詞や助動詞は、単語とは区別して「接辞」として分類されることもあるが、本実施形態では、助詞や助動詞も「単語」の概念に含めている。

アクセント解析プログラム２２ｄは、テキスト解析プログラム２２ｃにより分割された所定の文節に対しアクセント解析等を行うプログラムで、具体的には、当該所定の文節を構成する単語を、アクセント解析辞書２３ｂのテキスト単語アクセント辞書に基づいてアクセント解析して単語単位のアクセント型を求め、さらにこれをテキスト構文アクセント辞書に基づいてアクセント解析することによって、当該所定の文節のアクセント型を解析するといった機能を有する。このアクセント解析プログラム２２ｄは、特許請求の範囲に記載の「アクセント解析手段」に相当し得るものである。

音声データ取得プログラム２２ｅは、テキスト解析プログラム２２ｃにより形態素解析された形態素（単語）に対応する音声データ２５ａを音声データベース２５から検索して取得するプログラムで、具体的には、形態素（単語）に該当する表記文字とその読みを台詞データベース２４の台詞データ２４ａから検索し、ヒットした台詞データ２４ａの音声コードに基づいて音声データベース２５の音声データ２５ａを取得する。例えば、前述の『今日』に対応するもので、その読みが「キョウ」の場合、その音声コードは「１０」になるので、当該音声コード「１０」に該当する音声データ２５ａを音声データベース２５から取得する。

アクセント型比較プログラム２２ｆは、テキスト解析プログラム２２ｃにより解析した当該所定の文節中の単語のアクセント型と当該所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較するプログラムで、このプログラムの詳細については図３に図示される音声合成処理の流れを説明するときに詳述する。なお、このアクセント型比較プログラム２２ｆは、特許請求の範囲に記載の「アクセント型比較手段」に相当し得るものである。

アクセント変換プログラム２２ｇは、アクセント型比較プログラム２２ｆによる比較によりアクセント型が一致しないときに実行されるもので、当該所定の文節のアクセント型を構成する当該単語部分のアクセント型に当該所定の文節中の単語のアクセント型が一致するように音声データベース２５の音声データ２５ａに対してアクセント変換を行う機能を有するプログラムである。このプログラムの詳細についても図３に図示される音声合成処理の流れを説明するときに詳述する。なお、アクセント変換プログラム２２ｇは、特許請求の範囲に記載の「アクセント変換手段」、「変換用音声データ検索手段」および「音素データ抽出手段」に相当し得るものである。

出力制御プログラム２２ｈは、ＣＰＵ２１により実行された音声合成処理等により出力された音声データ２５ａ等を表示装置２８や音声出力装置３３等に受け渡す処理等を行うプログラムで、主に、表示装置２８、音声出力装置３３や通信装置３５等の低速データ出力装置とＣＰＵ２１との間のデータの受渡機能を有する。なお、この出力制御プログラム２２ｈは、特許請求の範囲に記載の「音声データ出力手段」に相当し得るものである。

続いて、音声合成装置２０による音声合成処理の流れ等を図３〜図６に基づいて説明する。なお、この音声合成処理は、例えば、所定の起動条件が整った場合に、図略のメインプログラムにより起動されるもので、また以下説明する各処理は、前述した入力制御プログラム２２ｂ、テキスト解析プログラム２２ｃ、アクセント解析プログラム２２ｄ、音声データ取得プログラム２２ｅ、アクセント型比較プログラム２２ｆ、アクセント変換プログラム２２ｇ、出力制御プログラム２２ｈをそれぞれＣＰＵ２１が実行することによって処理されるものである。

即ち、ステップＳ１０１のテキストデータ解析処理はテキスト解析プログラム２２ｃにより、ステップＳ１０３のアクセント解析処理はアクセント解析プログラム２２ｄにより、ステップＳ１０５の音声データ取得処理は音声データ取得プログラム２２ｅにより、ステップＳ１０７のアクセント型一致判断処理はアクセント型比較プログラム２２ｆにより、ステップＳ１０９〜Ｓ１１３はアクセント変換プログラム２２ｇにより、ステップＳ１１７は出力制御プログラム２２ｈにより、それぞれ実行される。

図３に示すように、音声合成装置２０では、所定の初期化処理等を実行した後、まずステップＳ１０１によりテキスト解析処理が行われる。この処理は、入力装置２７や音声入力装置３１等によって入力されたテキストデータを１以上の単語で構成される所定の文節に分割するもので、特許請求の範囲に記載の「テキストデータ分割ステップ」に相当し得るものである。具体的には、『今日は、六ヶ月点検です』というテキストデータが入力された場合の処理例の説明図（図４）を参照した方がわかり易いので、ここからは、図４も参照しながら当該音声合成処理の流れを説明する。

図４(A) に示すように、『今日は、六ヶ月点検です』というテキストデータが入力されると、ステップＳ１０１により辞書データベース２３のテキスト解析辞書２３ａに基づいて形態素を解析する処理が行われる。これにより、『今日は、六ヶ月点検です』というテキストデータは、図４(B) に示すように、『今日』、『は』、『六ヶ月点検』、『です』という４つの単語の集まりとして解析される。

ステップＳ１０１では、このように形態素解析した単語に対して、さらにテキスト解析辞書２３ａに基づいて構文を解析する処理が行われる。これにより、例えば、図４(C) に示すように、主語部は『今日』と『は』の組み合わせにより、また補語部は『六ヶ月点検』により、述語部は『です』により、それぞれ構成されていることが解析される。なお、この構文解析により得られた主語部、補語部、述語部等は、特許請求の範囲に記載の「１以上の単語で構成される所定の文節」に相当し得るものである。

次のステップＳ１０３では、アクセント解析処理が行われる。この処理は、ステップＳ１０１により分割された所定の文節のアクセント型を解析するもので、特許請求の範囲に記載の「アクセント解析ステップ」に相当し得るものである。具体的には、アクセント解析辞書２３ｂのテキスト単語アクセント辞書に基づいて当該所定の文節を構成する単語に対応する音声データ２５ａのアクセント型を解析し、その解析結果から、テキスト構文アクセント辞書に基づいて当該所定の文節のアクセント型を解析する。

例えば、図４(D) に示すように、『今日』という名詞は２Ｍ１型、また『は』という助詞には１Ｍであるためアクセント型がなく、『六ヶ月点検』という名詞は９Ｍ６型、さらに『です』という助動詞は２Ｍ１型であることがそれぞれ解析され、その後、図４(E) に示すように、『今日は』という文節は３Ｍ１型、『六ヶ月点検』という文節は９Ｍ６型、『です』という文節は２Ｍ１型であることが解析される。なお、図４においては、アクセント型の○Ｍ△型を、単に「○Ｍ△」と略記していることに留意されたい。

続くステップＳ１０５では、音声データ取得処理が行われる。この処理は、ステップＳ１０１により形態素解析された単語に対応する音声データ２５ａを音声データベース２５から検索して取得するもので、例えば、図４(F) に示すように、『今日』、『は』、『六ヶ月点検』、『です』というそれぞれ単語に対して、図２を参照し前述したように、その表記文字とその読みを台詞データベース２４の台詞データ２４ａから検索し、該当する音声データ２５ａを音声データベース２５から取得する。これにより、『今日』に対しては２Ｍ１型の「キョ↓ウ」、また『は』に対してはアクセント型のない「ワ」、さらに『です』に対しては２Ｍ１型の「デ↓ス」という音声データ２５ａがそれぞれ取得される。

ここで、『六ヶ月点検』に対してはそれに該当する台詞データ２４ａが台詞データベース２４には存在しない（図２参照）。そのため、このように検索する単語が２以上の単語を合成した複合語である場合には、それぞれの単語に分解し、その表記文字とその読みを台詞データベース２４の台詞データ２４ａから検索する。すると、この『六ヶ月点検』の例では、『六ヶ月』と『点検』との２単語に分解でき、それぞれに対応する表記文字等が台詞データベース２４に存在するので、該当する音声コードに基づいて音声データ２５ａを音声データベース２５から取得する。これにより、『六ヶ月』に対しては５Ｍ０型の「ロ↑ッカゲツ」、また『点検』に対しては４Ｍ０型の「テ↑ンケン」という音声データ２５ａがそれぞれ取得される。

このステップＳ１０５によって、『今日』、『は』、『六ヶ月』、『点検』、『です』の音声データ２５ａがそれぞれ取得されると、次のステップＳ１０７では、アクセント型が一致しているか否かを判断する処理が行われる。即ち、ステップＳ１０５により取得された当該所定の文節中の単語に対応する音声データ２５ａのアクセント型と、ステップＳ１０３により解析された当該所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致しているか否かが判断される。なお、この処理は、特許請求の範囲に記載の「アクセント型比較ステップ」に相当し得るものである。

例えば、図４(F) に示すように、ステップＳ１０５により取得された『六ヶ月』の音声データ２５ａは、５Ｍ０型の「ロ↑ッカゲツ」であるのに対し、ステップＳ１０３で解析された『六ヶ月点検』は９Ｍ６型の「ロ↑ッカゲツテ↓ンケン」であることから、図４(G) に示すように、『六ヶ月点検』中の『六ヶ月』は５Ｍ０型の「ロ↑ッカゲツ」となる。そのため、両アクセント型は５Ｍ０型同士で一致することとなり、このような場合には、アクセントを変換する必要がないので、５Ｍ０型の『六ヶ月』についてはステップＳ１０９〜Ｓ１１３の各処理は行われない（Ｓ１０７でＹｅｓ）。

一方、図４(F) に示すように、ステップＳ１０５により取得された『点検』の音声データ２５ａは、４Ｍ０型の「テ↑ンケン」であるのに対し、ステップＳ１０３で解析された『六ヶ月点検』は９Ｍ６型の「ロ↑ッカゲツテ↓ンケン」であることから、図４(G) に示すように、『六ヶ月点検』中の『点検』は４Ｍ１型の「テ↓ンケン」となる。そのため、両アクセント型は４Ｍ０型と４Ｍ１型とで一致しないことになる（同図に示す網掛け部分）。

したがって、このような場合には、５Ｍ０型の「ロ↑ッカゲツ」の音声データ２５ａと４Ｍ０型の「テ↑ンケン」の音声データ２５ａとを単純に組み合わせただけでは、９Ｍ０型の「ロ↑ッカゲツテ↑ンケン」の音声データ２５ａが合成されてしまうので、自然な９Ｍ６型の「ロ↑ッカゲツテ↓ンケン」に比べて不自然で聴き心地の悪い音声が合成される。そこで、本実施形態では、続くステップＳ１０９〜Ｓ１１３により、図５および図６に示すような母音変換を行うこととし（Ｓ１０７でＹｅｓ）、これにより聴き心地の良好な音声の合成を可能にしている。なおここからは、図５、６も参照しながら各処理の流れを説明する。

ステップＳ１０９では、アクセント変換用の音声データ検索処理が行われる。この処理は、アクセント変換の対象となる単語のアクセント型と同一のアクセント型をもつ単語を台詞データベース２４から検索し、それに該当する変換用の音声データ２５ａ’を音声データベース２５から取得するものである。例えば、図５に示す母音変換の例では、アクセント変換の対象となる単語『点検』の４Ｍ１型と同一のアクセント型（４Ｍ１型）をもつ単語を台詞データベース２４の台詞データ２４ａから検索し、ヒットした単語『てきぱき』、『インチキ』、『神経』、『一本』の音声コードに基づいて音声データベース２５の音声データ２５ａ、つまり変換用の音声データ２５’を取得する。

続くステップＳ１１１では、音素データ抽出処理が行われる。この処理は、ステップＳ１０９により検索された変換用の音声データ２５’から、変換対象の単語を構成する音素と同一の音素部分に相当する音素データを抽出するものである。例えば、図５に示す母音変換の例では、アクセント変換の対象となる単語『点検』の「テンケン」の各音素データ「T」,「E」,「N」,「K」,「E」,「N」 と同一の音素部分に相当する音素データを『てきぱき』の音素データ「T」,「E」,「K」,「I」,「P」,「A」,「K」,「I」 、『インチキ』の各音素データ「I」,「N」,「CH」,「I」,「K」,「I」、『神経』の各音素データ「S」,「I」,「N」,「K」,「E」,「I」、『一本』の各音素データ「I」,「TSU」 ,「P」,「O」,「N」から抽出する。これにより、図５に示す網掛け部分のように、『てきぱき』からは 「テ」の母音部分の音素データ「E」 、『インチキ』からは「ン」の撥音部分の音素データ「N」 、『神経』からは「ケ」の母音部分の音素データ「E」 、『一本』からは「ン」の撥音部分の音素データ「N」 がそれぞれ抽出される。なお、本実施形態では、撥音も母音に含めた概念としているので、ステップＳ１０９による音素データの抽出は母音について行っているといえ、この意から、次のステップＳ１１３による音素データ置換処理（アクセント変換）を含めたステップＳ１０９〜１１３までを本実施形態では母音変換と称している。

続くステップＳ１１３では、音素データ置換処理が行われる。この処理は、変換対象の単語に対応する音声データ２５ａの該当音素部分をステップＳ１０９により抽出された音素データに置き換えることによりアクセント変換を行うものである。なお、音素データの抽出は、既に図２を参照して説明したように、台詞データベース２４の台詞データ２４ａの子音母音位置情報に基づいて、音声データベース２５の音声データ２５ａから必要な音素データを切り出すことによって行われる（図２(A) 、(B) 参照）。

例えば、図５に示す母音変換の例では、アクセント変換の対象となる単語『点検』の「テ」の母音部分の音素データを『てきぱき』の「テ」の母音部分の音素データ「E」 に置き換える。同様に、『点検』の「（２番目の）ン」の母音部分の音素データを『インチキ』の「ン」の撥音部分の音素データ「N」 に、また『点検』の「ケ」の母音部分の音素データを『神経』の「ケ」の母音部分の音素データ「E」 に、さらに『点検』の「（４番目の）ン」の母音部分の音素データを『一本』の「ン」の撥音部分の音素データ「N」 に、それぞれ置き換える。これにより、４Ｍ１型の『点検』、つまり「テ↓ンケン」が合成されるので、解析したアクセント型の４Ｍ１型の「テ↓ンケン」に一致するように４Ｍ０型の「テンケン」の音声データ２５ａに対して母音変換が行われたことになる。なお、この例では、『点検』の「テ」の母音部分の音素データを『てきぱき』の「テ」の母音部分の音素データ「E」 に置き換えるようにしているが、他の場合において、『てきぱき』の「テ」と「キ」の両方の母音部分の音素データについて置き換える必要がある場合には、一時期に、「テ」の母音部分の音素データ「E」 と「キ」の母音部分の音素データ「I」 とを置換する。これにより置換効率が向上する。

なお、図４(F) に示すように、『今日は』のように、所定の文節中の単語に助詞が含まれる場合には、ステップＳ１０７によりアクセント型が一致しないと判断されて（Ｓ１０７でＮｏ）、図６に示すような母音変換が行われる。即ち、助詞は１モーラであり、助詞単独では音の高さが決定されていないことから、２Ｍ１型の『今日』とアクセント型が不定の『は』とを組み合わせても、３Ｍ１型の『今日は』を合成できるとは限らない。そこで、前述したステップＳ１０９〜Ｓ１１３の各処理によって、『点検』の場合とほぼ同様の母音変換を行う。

例えば、図６に示すように、ステップＳ１０９によりアクセント変換の対象となる単語『今日は』の３Ｍ１型と同一のアクセント型（３Ｍ１型）をもつ単語を台詞データベース２４の台詞データ２４ａから検索し、ヒットした単語『間際』の音声コードに基づいて音声データベース２５の変換用の音声データ２５’を取得する。そして、ステップＳ１１１により『今日は』の「キョウハ」の各音素データ「KY」,「O」,「U」,「W」,「A」と同一の音素部分に相当する音素データを『間際』の音素データ「M」,「A」,「G」,「I」,「W」,「A」 から抽出する。これにより、図６に示す網掛け部分のように、『間際』からは「ワ」の母音部分の音素データ「A」 が抽出されるので、次のステップＳ１１３により『今日は』の「は」の母音部分の音素データを『間際』の「ワ」の母音部分の音素データ「A」 に置き換える。これにより母音変換が行われ、３Ｍ１型の『今日は』、つまり「キョ↓ウハ」が合成される。

このように、入力されたテキストデータのうち、アクセント型の一致しない単語（Ｓ１０７でＮｏ）に対しては、その全てについてステップＳ１０９〜Ｓ１１３の各処理を行う必要から、全ての単語についてステップＳ１０７の判断が行われ、不一致の単語についてはステップＳ１０９〜Ｓ１１３の各処理が終了したか否かの判断がステップＳ１１５により行われる。そして、まだ未処理の単語が残っている場合には（Ｓ１１５でＮｏ）、ステップＳ１０７に処理を移行して再度、ステップＳ１０７以下による各処理が行われる。

一方、ステップＳ１１５により入力テキストの全ての単語についてステップＳ１０７以下による各処理が終了していると判断された場合には（Ｓ１１５でＹｅｓ）、続くステップＳ１１７による音声データ出力処理が行われる。この処理では、ステップＳ１０９〜Ｓ１１３の各処理によって母音変換された音声データ２５αを含んで、入力テキストデータに対応する音声データを構成し音声出力装置３３により出力する。

例えば、図４に示す例では、ステップＳ１０９〜Ｓ１１３の各処理によって母音変換が行われ、図４(G) に示すように、所定の文節として、３Ｍ１型の『今日は』の音声データ２５ａ、また４Ｍ１型の『点検』の音声データ２５ａがそれぞれ合成されるので、母音変換することのなかった５Ｍ０型の『六ヶ月』および２Ｍ１型の『です』の音声データ２５ａとともに『今日は、六ヶ月点検です』というテキストデータに対応する音声データを構成し音声出力装置３３から合成音声を出力する。これにより、『今日は、六ヶ月点検です』というテキストデータに対して、３Ｍ１型の「キョ↓ウハ」、５Ｍ０型の「ロ↑ッカゲツ」、４Ｍ１型の「テ↓ンケン」、２Ｍ１型の「デ↓ス」という合成音声が音声出力装置３３から出力されるため、このような母音変換を施さない場合に比べ、聴き心地の良好な音声を合成することができる。また当該母音変換には、所定の文節のアクセント型を構成する当該単語部分のアクセント型の音声データを台詞データ２４ａや音声データベース２５に記憶する必要がないので、変換用の膨大な音声データを予め用意する必要もない。したがって、膨大な音声データを要することなく、聴き心地の良好な音声を合成することができる。なお、ステップＳ１１７による音声データ出力処理が終了すると、一連の本音声合成処理が終了するので、次回の起動に備えてメインプログラムに処理を移す。

なお、図４〜６に示した例では、ステップＳ１０９〜Ｓ１１３による母音変換において、変換対象の単語に対応する音声データの該当音素部分をステップＳ１１１により抽出された音素データに置き換える際、ステップＳ１１３では、例えば、『点検』の「テ」について『てきぱき』の「テ」の母音部分の音素データ「E」 だけを抽出して置換を行っていたが、「テ」の母音とともに子音部分の音素データ「T」 についても置換を行うように処理の流れを構成しても良い。

上述したように、本実施形態に係る音声合成装置２０によると、入力されたテキストデータをテキスト解析プログラム２２ｃ（Ｓ１０１）により１以上の単語で構成される所定の文節に分割し、この所定の文節のアクセント型をアクセント解析プログラム２２ｄ（Ｓ１０３）により解析し、アクセント型比較プログラム２２ｆ（Ｓ１０７）により、所定の文節中の単語に対応する音声データ２５ａのアクセント型と所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較する。この比較により両者のアクセント型が一致しない場合（Ｓ１０７でＮｏ）、解析したアクセント型に一致するようにアクセント変換プログラム２２ｇ（Ｓ１１３）により音声データ２５ａに対してアクセント変換を行い、出力制御プログラム２２ｈ（Ｓ１１７）により、このアクセント変換された音声データ２５αを含むテキストデータに対応する音声データを構成し音声出力装置３３により出力する。これにより、「所定の文節中の単語に対応する音声データ２５ａのアクセント型」と「所定の文節のアクセント型を構成する当該単語部分のアクセント型」とが一致しない場合には（Ｓ１０７でＮｏ）、解析したアクセント型に一致するように音声データ２５ａに対してアクセント変換を行うので、このように変換された音声データ２５αを含むことで、聴き心地の良好な音声を合成することができる。また「所定の文節のアクセント型を構成する当該単語部分のアクセント型」の音声データを台詞データベース２４や音声データベース２５に記憶する必要がないので、膨大な音声データを要しない。したがって、膨大な音声データを要することなく、聴き心地の良好な音声を合成することができる。

また、本実施形態に係る音声合成装置２０によると、アクセント変換プログラム２２ｇ（Ｓ１０９）により、アクセント変換の対象となる単語のアクセント型と同一のアクセント型をもつ変換用の音声データ２５ａ’を台詞データベース２４や音声データベース２５から検索し、検索された変換用の音声データ２５ａ’から、アクセント変換プログラム２２ｇ（Ｓ１１１）により変換対象の単語を構成する音素と同一の音素部分に相当する音素データを抽出する。そして、アクセント変換プログラム２２ｇ（Ｓ１１３）は、変換対象の単語に対応する音声データ２５ａの該当音素部分を抽出された音素データに置き換えることによりアクセント変換を行う。これにより、台詞データベース２４や音声データベース２５に記憶された単語の音声データを変換用の音声データ２５ａ’として検索してそれを音素データの置き換えに用いるので、変換用の音声データ２５ａ’として別途データベース等に記憶しておく必要がない。また、変換用の音声データ２５ａ’からは、置き換える音素データを音素単位で抽出することもできるので、置き換えの自由度を高めることができる。さらに、１つの変換対象の単語に対して複数の変換用の音声データ２５ａ’からそれぞれ異なった位置の音素データを抽出しそれらを置き換えることもできる。したがって、台詞データベース２４や音声データベース２５に記憶された単語の音声データ２５ａを効率よく利用することができるので、殊更に膨大な音声データを要することなく、聴き心地の良好な音声を合成することができる。

さらに、本実施形態に係る音声合成装置２０によると、アクセント変換プログラム２２ｇ（Ｓ１０９〜Ｓ１１３）により変換する音素データは母音データであることから（図４〜図６）、子音を含めた音素データの変換に比べ、変換に要するデータ量および処理時間の面において効率よくアクセントを変換することができる。したがって、高速な変換が可能になるので、流暢でより聴き心地の良好な音声を合成することができる。

本発明の一実施形態に係る音声合成装置の構成例を示すブロック図である。 図２(A) は、図１に示す台詞データベースの台詞データの構成例、図２(B) は、図１に示す音声データベースの音声データの構成例をそれぞれ示す説明図である。 本実施形態に係る音声合成装置による音声合成処理の流れを示すフローチャートである。 『今日は、六ヶ月点検です』というテキストデータが入力された場合の音声合成処理の例を示す説明図である。 図３に示すステップＳ１０９〜Ｓ１１１の処理により「点検（テ↑ンケン）」を「点検（テ↓ンケン）」に母音変換する例を示す説明図である。 図３に示すステップＳ１０９〜Ｓ１１１の処理により「今日は（キョ↓ウ↑ハ）」を「今日は（キョ↓ウハ）」に母音変換する例を示す説明図である。

符号の説明

２０…音声合成装置
２１…ＣＰＵ（テキストデータ分割手段、アクセント解析手段、アクセント型比較手段、アクセント変換手段、音声データ出力手段、変換用音声データ検索手段、音素データ抽出手段）
２２…メモリ
２２ａ…システムプログラム
２２ｂ…入力制御プログラム
２２ｃ…テキスト解析プログラム（テキストデータ分割手段）
２２ｄ…アクセント解析プログラム（アクセント解析手段）
２２ｅ…音声データ取得プログラム
２２ｆ…アクセント型比較プログラム（アクセント型比較手段）
２２ｇ…アクセント変換プログラム（アクセント変換手段、変換用音声データ検索手段、音素データ抽出手段）
２２ｈ…出力制御プログラム（音声データ出力手段）
２３…辞書データベース（テキストデータ分割手段、アクセント解析手段）
２３ａ…テキスト解析辞書（テキストデータ分割手段）
２３ｂ…アクセント解析辞書（アクセント解析手段）
２４…台詞データベース（音声データ記憶手段）
２４ａ…台詞データ（単語の音声データ）
２５…音声データベース（音声データ記憶手段）
２５ａ…音声データ（単語の音声データ）
２５ａ’…変換用の音声データ
２５α…変換された音声データ
２７…入力装置
２８…表示装置
３１…音声入力装置
３３…音声出力装置（音声データ出力手段）
Ｓ１０１（テキストデータ分割ステップ）
Ｓ１０３（アクセント解析ステップ）
Ｓ１０７（アクセント型比較ステップ）
Ｓ１１３（アクセント変換ステップ）
Ｓ１１７（音声データ出力ステップ）

Claims (3)

1. 人が発声した単語の音声データを記憶する音声データ記憶手段と、
   入力されたテキストデータを１以上の単語で構成される所定の文節に分割するテキストデータ分割手段と、
   前記所定の文節のアクセント型を解析するアクセント解析手段と、
   前記所定の文節中の単語に対応する前記音声データのアクセント型と前記所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較するアクセント型比較手段と、
   前記比較により両者のアクセント型が一致しない場合、前記解析したアクセント型と同一のアクセント型をもつ変換用の音声データを前記音声データ記憶手段から検索する変換用音声データ検索手段と、
   前記検索された変換用の音声データから、前記解析したアクセント型を構成する音素と同一の音素部分に相当する音素データを抽出する音素データ抽出手段と、
   前記アクセント型が一致しない単語を、前記抽出された音素データに基づいて、前記解析したアクセント型に一致するようにアクセント変換を行うアクセント変換手段と、
   前記アクセント変換された音声データを含む前記テキストデータに対応する音声データを構成し出力する音声データ出力手段と、
   を備えることを特徴とする音声合成装置。
2. 前記アクセント変換手段により変換する前記音素データは、母音データであることを特徴とする請求項１記載の音声合成装置。
3. 入力されたテキストデータを１以上の単語で構成される所定の文節に分割するテキストデータ分割ステップと、
   前記所定の文節のアクセント型を解析するアクセント解析ステップと、
   前記所定の文節中の単語に対応する自然発声の音声データのアクセント型と前記所定の文節のアクセント型を構成する当該単語部分のアクセント型とが一致するか否かを比較するアクセント型比較ステップと、
   前記比較により両者のアクセント型が一致しない場合、前記解析したアクセント型と同一のアクセント型をもつ変換用の音声データを、人が発声した単語の音声データを記憶する音声データ記憶手段から検索する変換用音声データ検索ステップと、
   前記検索された変換用の音声データから、前記解析したアクセント型を構成する音素と同一の音素部分に相当する音素データを抽出する音素データ抽出ステップと、
   前記アクセント型が一致しない単語を、前記抽出された音素データに基づいて、前記解析したアクセント型に一致するようにアクセント変換を行うアクセント変換ステップと、
   前記アクセント変換された音声データを含んで前記テキストデータに対応する音声データを構成し出力する音声データ出力ステップと、
   を含むことを特徴とする音声合成方法。

Images