JP5980143B2

JP5980143B2 - ポーズ付与モデル生成装置、ポーズ付与モデル生成方法、ポーズ付与装置、ポーズ付与方法、プログラム

Info

Publication number: JP5980143B2
Application number: JP2013031058A
Authority: JP
Inventors: 博子村上; 勇祐井島; 水野　秀之; 秀之水野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-02-20
Filing date: 2013-02-20
Publication date: 2016-08-31
Anticipated expiration: 2033-02-20
Also published as: JP2014160188A

Description

本発明は、単語境界にポーズを付与するポーズ付与技術に関する。

音声合成において、音声合成システムに入力されたテキストに対して、合成対象の口調にとって適切な位置にポーズを付与することで、自然性の高い合成音声を生成することができる。ポーズ付与は、単語ごとに分割されたテキストに対して、各単語境界におけるポーズの有無を判定することによって行われる。ポーズ付与技術として、規則による手法（非特許文献１）や統計的機械学習による手法（非特許文献２、非特許文献３）が挙げられる。それぞれの手法の概要を以下に示す。

・規則による手法
この手法は、単語境界の前後の単語の品詞、モーラ数、及びポーズ未設定区間の長さ等の情報から人手による規則化を行ってポーズを付与する手法である。

・統計的手法
この手法は、各単語境界に対するポーズ有無の正解ラベル、及び品詞などのテキストに対する様々な情報（素性）が付与されたテキストを学習テキストとして与え、ポーズ位置を統計的に学習する手法である。学習には、SVM(Support Vector Machine)やCRF(Conditional Random Fields)等の機械学習が用いられる。

浅野久子、松岡浩司、高木伸一郎、小原永、"多段解析法による形態素解析を用いた音声合成用読み韻律情報設定法とその単語辞書構成"、自然言語処理（Journal of natural language processing）Vol.6 No.2、pp.59-81、1999/01/10 福岡健太、松本裕治、"Support Vector Machinesを用いた日本語書き言葉の文境界推定"、言語処理学会年次大会発表論文集巻：11th、pp.1221-1224、2005/03/15 太田健吾、土屋雅稔、中川聖一、"ポーズを考慮した話し言葉言語モデルの構築"、情報処理学会論文誌Vol.53(2)、pp.889-900、2012/02/15

テキストに対する自然なポーズ位置は口調や話者による違いが大きいため、自然性が高い合成音声を生成するためには、口調や話者に適した位置にポーズを付与する必要がある。しかし、規則による手法では、口調や話者が変わるたびに口調や話者に合わせた規則を再設計する必要がある。規則の設計は人手で行われるため、高コストであり現実的ではない。

ポーズ付与では、前にポーズが出現した位置からどのくらい経過して次のポーズが出現するかは有効な情報である。規則による手法でも、ポーズ未設定区間の長さの情報を規則化の際に利用している。しかし、SVMやCRFを用いた機械学習では、数単語離れた箇所に出現するポーズの情報を充分に活用できない。

例えば、非特許文献２のSVMを用いた手法では、各単語境界に対するポーズ位置の判定が独立に行われるため、対象の単語境界より前に付与されたポーズラベルの情報を利用することができなかった。前の単語境界に付与されたポーズラベルを、当該単語境界のポーズ付与に考慮できなかった場合、前のポーズからほとんど時間が経過していないにも関わらずポーズを付与するなど、文全体に対して最適なポーズ位置を推定できないこともあった。

非特許文献３のCRFを用いた手法では、前の単語に出現したポーズのラベルを考慮することが可能である。しかし、２単語以上前に出現した素性を考慮に入れた上で頑健にポーズ推定を行うためには、ポーズラベルが付与された大量の学習テキストが必要となる。ポーズラベルが付与されたテキストは、話者が対象のテキストを自然に発話したときのポーズ位置が正解として付与されている必要があるため、大量に用意するのは困難である。そのため、少量の学習テキストから頑健なポーズ位置を推定しようとすると、高々１つ前の単語のラベルしか考慮することができず、数単語離れた箇所のポーズラベルの情報を活用することができない。

そこで本発明は、少量の学習テキストから文全体に対して最適な位置にポーズを付与することができるポーズ付与技術を提供することを目的とする。

本発明は、（品詞、ポーズ有無）の２つ組の系列をN-gramモデルを用いてモデル化することが要点である。そして、このようなモデルを用いて、入力された品詞系列に対して最尤となるポーズ有無系列を探索し、ポーズ付与を行う。
具体的には、テキストに対して、当該テキストを構成する単語の並び、当該単語並びに含まれる各単語に対応する品詞を表すラベル、および単語直後のポーズの有無を表すラベルが付与された品詞・ポーズラベル付きテキストを学習テキストとして、品詞とポーズ有無で構成された２つ組の系列をN-gramモデルによってモデル化したポーズ付与モデルを学習し、この学習で得られたポーズ付与モデルを出力する。
また、このようなポーズ付与モデルを用いて、テキストに対して当該テキストを構成する単語の並びと当該単語並びに含まれる各単語に対応する品詞を表すラベルが付与された品詞ラベル付きテキストについて最尤となる２つ組の系列を探索し、この最尤となる２つ組の系列に含まれるポーズ有無系列を品詞ラベル付きテキストに付与する。

本発明に拠ると、詳しくは後の説明に譲るが、（品詞、ポーズ有無）の２つ組の系列をN-gramモデルによりモデル化することで、少量の学習テキストから文全体に対して最適な位置にポーズを付与する事ができるポーズ付与モデルを学習することができる。

ポーズ付与モデル生成装置・ポーズ付与装置の機能構成例を示すブロック図。品詞・ポーズラベル付きテキストの例。品詞ラベル付きテキストの例。ポーズ付与モデル生成装置・ポーズ付与処理の処理フローを示す図。ポーズ付与モデル生成装置・ポーズ付与装置の機能構成例を示すブロック図。

上述の課題は以下の２点に分けて考えることができる。
（１）ポーズは数単語離れて出現することが多いため、数単語離れた位置のポーズラベルまでを考慮にいれてポーズ付与のモデル化を行う必要がある。
（２）ポーズの正解ラベルが付与された学習テキストを大量に用意するのが困難であるため、少量のテキストでも頑健に学習を行う必要がある。

本発明では、（品詞、ポーズ有無）の２つ組を１つの単位とした系列をN-gramモデルによってモデル化したポーズ付与モデルを学習する。N-gramモデルは、長距離の系列のモデル化に適した手法であるため、数単語離れた箇所に出現するポーズの位置を考慮に入れることができる。また、N-gramモデルは、少量のテキストでも頑健に動作するためのスムージングも考案されており、ポーズの正解ラベルが付与された少量のテキストを用いて頑健にポーズ推定を行うことが可能である。スムージングとはN-gramモデルの生起確率が０となるのを防ぐために、大きい確率値をより小さく、小さい確率値をより大きくして確率値を平滑化する手法であり、例えば、線形補間法、バックオフ・スムージング、ウィトン・ベル・スムージング、ワン・カウント法、Kneser-Neyスムージングなどを例示できる（参考文献１参照）。学習したN-gramモデルを用いて、入力された品詞列に対して最尤となる系列を全探索することで、文全体に対して最適な位置にポーズを付与することができる。
（参考文献１）北研二、辻井潤一、"言語と計算-4 確率的言語モデル"、東京大学出版会、1999年11月、pp.62-72.

《実施形態》
以下、図面を参照して本発明の実施形態を説明する。図１に実施形態のポーズ付与装置２の機能構成を示す。

実施形態のポーズ付与モデル生成装置１は、それ単体で独立に存在するよりは、学習で得られたポーズ付与モデルを用いてテキストにポーズ付与を行う装置（実施形態であるポーズ付与装置２）を構成する構成要素として存在するのが実用的である。さらに云えば、ポーズ付与モデル生成装置１は、ポーズ付与装置２とは容易に分離可能にポーズ付与装置２を構成する構成要素ではなく、ポーズ付与装置２自体を或る機能に着眼して片面的に評価したものと云うこともできる。要するに、ポーズ付与モデル生成装置１は、ポーズ付与装置２そのものであることが凡そ実用的である。

ただし、ポーズ付与モデル生成装置１が、単体独立の構成要素として存在すること、ポーズ付与装置２とは容易に分離可能にポーズ付与装置２を構成する構成要素であることを排除する趣旨ではない。例えばポーズ付与モデルの作成自体を目的とするならば、ポーズ付与モデル生成装置１を単体独立の構成要素として実現することに何らの妨げは無い。
ここでポーズ付与装置２は、例えば専用のハードウェアで構成された専用機やパーソナルコンピュータのような汎用機といったコンピュータで実現されるとし、単体独立の構成要素としてポーズ付与モデル生成装置１を実現する場合も同様である。

ポーズ付与装置２を単体単独の構成要素として、これをコンピュータ（汎用機）で実現する場合のハードウェア構成例を説明する。ポーズ付与モデル生成装置１は、ポーズ付与装置２を構成する構成要素とする。

＜ポーズ付与装置２のハードウェア構成例＞
ポーズ付与モデル生成装置２は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間でデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、ポーズ付与装置２に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ポーズ付与装置２の外部記憶装置には、ポーズ付与のためのプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。

実施形態では、記憶部の所定の記憶領域に、ポーズの正解ラベルが付与された学習用のテキストである品詞・ポーズラベル付きテキスト１０が記憶されている。図２に品詞・ポーズラベル付きテキスト１０の例を示す。品詞・ポーズラベル付きテキスト１０は、テキストに対して、当該テキストを例えばテキスト解析して得られた単語並び、当該単語並びに含まれる各単語に対応する品詞を表すラベル、および単語直後のポーズの有無を表すラベルが付与されたデータ構造を有している。この例では、ポーズラベルは、単語直後にポーズが存在するときはＰ、存在しないときは−で与えられている。既述のように、品詞・ポーズラベル付きテキスト１０のデータ量は従来技術が要する程の大量のものである必要は無く、後述するN-gramモデルの学習に必要な程度であればよい。

また、記憶部の所定の記憶領域には、ポーズ付与の対象となる品詞ラベル付きテキスト３０が記憶されている。図３に品詞ラベル付きテキスト３０の例を示す。品詞ラベル付きテキスト３０は、テキストに対して、当該テキストを例えばテキスト解析して得られた単語並びと当該単語並びに含まれる各単語に対応する品詞を表すラベルが付与されたデータ構造を有している。

ポーズ付与装置２の記憶部には、ポーズ付与モデルを生成するためのプログラム、対象テキストにポーズを付与するためのプログラムが記憶されている。

ポーズ付与装置２では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（ポーズ付与モデル学習部、ポーズラベル付与部）を実現することでポーズ付与モデルの生成並びに対象テキストに対するポーズ付与が実現される。また、実施形態のポーズ付与モデル生成装置１は、ポーズ付与モデル学習部を含んで構成される。

次に、図１と図４を参照しながら、ポーズ付与モデル生成装置１によるポーズ付与モデル生成処理を含むポーズ付与装置２によるポーズ付与処理の流れを叙述的に説明する。

まず、ポーズ付与モデル学習部１００は、入力された例えば図２に示すような品詞・ポーズラベル付きテキスト１０を学習テキストとして、（品詞、ポーズ有無）の２つ組の系列をN-gramモデルによってモデル化したポーズ付与モデルを学習し、この学習で得られたポーズ付与モデル２０を出力する（ステップＳ１）。

具体的には、品詞ラベルをt、ポーズ有無ラベルをeとすると、ポーズ付与モデル学習部１００は、品詞・ポーズラベル付きテキスト１０から取得した（品詞、ポーズ有無）の２つ組x_i=(t_i,p_i)の系列X=(x_1,x_2,・・・,x_L)をN-gramモデルによってモデル化したポーズ付与モデルを学習する。N-gramモデルの学習方法は、公知の技術であるため、省略する。以下に、N-gramモデルの学習方法の参考文献２を示す。
（参考文献２）北研二、辻井潤一、"言語と計算-4 確率的言語モデル"、東京大学出版会、1999年11月、pp.57-62.

実施形態で用いるN-gramモデルにおいて、x_i=(t_i,p_i)で表わされる２つ組の系列X=(x_1,x_2,・・・,x_L)の生起確率は以下の式で計算される。

次に、ポーズラベル付与部２００は、例えば図３に示すような品詞ラベル付きテキスト３０と、ポーズ付与モデル学習部１００によって得られたポーズ付与モデル２０を入力として、品詞ラベル付きテキスト３０に対してポーズ付与モデル２０を用いて最尤となる（品詞、ポーズ有無）の２つ組の系列を探索し、この最尤となる２つ組の系列に含まれるポーズ有無系列を品詞ラベル付きテキスト３０に付与した品詞・ポーズラベル付きテキスト４０を出力する（ステップＳ２）。つまり、出力される品詞・ポーズラベル付きテキスト４０は、図２に示すような品詞・ポーズラベル付きテキスト１０と同じデータ構造を持つ。

具体的には、ポーズラベル付与部２００は、学習で得られたポーズ付与モデル２０から算出されるN-gramの生起確率に基づき、下記の式に基づいて解探索を行い、最尤となる２つ組の系列を決定する。この解探索では全探索が行われる。

≪補記≫
実施形態において、ポーズ付与モデルの作成のみを行う場合には、ステップＳ２の処理を省略できる。

ポーズ付与モデル生成装置１とポーズ付与装置２を各別の装置として構成する場合などでは、ポーズ付与モデル生成装置１のポーズ付与モデル学習部１００が出力したポーズ付与モデル２０を（例えば記録媒体３３を介して）ポーズ付与装置２の記憶部５０に記憶し、ポーズラベル付与部２００がこの記憶されているポーズ付与モデル２０を用いて品詞ラベル付きテキスト３０にポーズを付与する（図５参照）。

以上の実施形態の他、ポーズ付与モデル生成装置・方法、ポーズ付与装置・方法は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

また、上記ポーズ付与モデル生成装置／ポーズ付与装置における処理機能をコンピュータによって実現する場合、ポーズ付与モデル生成装置／ポーズ付与装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ポーズ付与モデル生成装置／ポーズ付与装置における処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ポーズ付与モデル生成装置／ポーズ付与装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

テキストに対して、当該テキストを構成する単語の並び、当該単語並びに含まれる各単語に対応する品詞を表すラベル、および単語直後のポーズの有無を表すラベルが付与された品詞・ポーズラベル付きテキストを学習テキストとして、品詞とポーズ有無で構成された２つ組の系列をN-gramモデルによってモデル化したポーズ付与モデルを学習し、この学習で得られたポーズ付与モデルを出力するポーズ付与モデル学習部
を含むポーズ付与モデル生成装置。
テキストに対して、当該テキストを構成する単語の並び、当該単語並びに含まれる各単語に対応する品詞を表すラベル、および単語直後のポーズの有無を表すラベルが付与された品詞・ポーズラベル付きテキストを学習テキストとして、品詞とポーズ有無で構成された２つ組の系列をN-gramモデルによってモデル化したポーズ付与モデルを学習し、この学習で得られたポーズ付与モデルを出力するポーズ付与モデル学習ステップ
を有するポーズ付与モデル生成方法。
品詞とポーズ有無で構成された２つ組の系列をN-gramモデルによってモデル化したポーズ付与モデルであって請求項１に記載のポーズ付与モデル生成装置によって得られたポーズ付与モデルを用いて、テキストに対して当該テキストを構成する単語の並びと当該単語並びに含まれる各単語に対応する品詞を表すラベルが付与された品詞ラベル付きテキストについて最尤となる上記２つ組の系列を探索し、この最尤となる上記２つ組の系列に含まれるポーズ有無系列を上記品詞ラベル付きテキストに付与した品詞・ポーズラベル付きテキストを出力するポーズラベル付与部
を含むポーズ付与装置。
品詞とポーズ有無で構成された２つ組の系列をN-gramモデルによってモデル化したポーズ付与モデルであって請求項２に記載のポーズ付与モデル生成方法によって得られたポーズ付与モデルを用いて、テキストに対して当該テキストを構成する単語の並びと当該単語並びに含まれる各単語に対応する品詞を表すラベルが付与された品詞ラベル付きテキストについて最尤となる上記２つ組の系列を探索し、この最尤となる上記２つ組の系列に含まれるポーズ有無系列を上記品詞ラベル付きテキストに付与した品詞・ポーズラベル付きテキストを出力するポーズラベル付与ステップ
を有するポーズ付与方法。
請求項１に記載されたポーズ付与モデル生成装置としてコンピュータを機能させるためのプログラム。
請求項３に記載されたポーズ付与装置としてコンピュータを機能させるためのプログラム。