JP5986883B2 - 言語モデル評価方法とその装置とプログラム - Google Patents

Description

この発明は、例えば連続音声認識において必要とされる統計的言語モデル（以下、言語モデル）の学習時に用いることができる言語モデル評価方法とその装置とプログラムに関する。

連続音声認識の正解率向上を目的として、集められた書き起こしテキストを用いて言語モデルの追加学習を行う方法が、例えば特許文献１や２に開示されている。特許文献１に開示された言語モデルの追加学習の方法を、図１０を参照して簡単に説明する。

図１０は、認識タスク用記号連鎖確率生成部１４０の構成である。つまり、言語モデルを作成する機能部である。重み決定部２１０では、認識タスク用データベース１５０中の各認識タスクのテキストデータと各一般用テキストデータベース１６０−ｎの各テキストデータとを入力とし、認識タスクのテキストデータと各一般用テキストデータベース１６０−ｎのテキストデータとの類似度からその一般用テキストデータベース１６０−ｎに対する重みを決定する。

記号連鎖確率生成部２２０では、重み決定部２１０が出力した重み付きの認識タスクテキストデータベース１５０及び重み付きの複数の一般用テキストデータベース１６０−１〜１６０−Ｎの各テキストデータを入力し、言語モデルを生成して記号連鎖確率データベース１２０に格納する。このように従来の言語モデルの追加学習は、テキストデータの類似度から重みを決定して順次、機械的に言語モデルとしていた。

特許第３６２８２４５号 特開平１０−３１９９８９号公報

従来の言語モデルの追加学習の方法では、追加される書き起こしテキストの内容や量に基づいて、例えば言語モデルを音声認識に用いた場合の追加学習による音声認識正解率の向上を定量的に明らかにすることができず、追加学習で期待される効果を事前に推計することができなかった。このため、言語モデルの追加学習によって連続音声認識の正解率が向上しなかった場合、その原因を定量的に明らかにすることができなかった。また、書き起こしテキストの追加によって音声認識正解率が向上するか否かを事前に判断する方法が無いため、どれほどの書き起こしテキストを追加すべきなのかを明確にできない等の課題があった。

本発明は、この課題に鑑みてなされたものであり、言語モデルの追加学習において、追加する書き起こしテキストが言語モデルの追加学習にどれ程の変更を与え、連続音声認識の正解率を向上させるかを明らかにすることができる言語モデル評価方法とその装置とプログラムを提供することを目的とする。

本発明の言語モデル評価方法は、比較過程と、評価過程と、を備える。比較過程は、言語モデル部に格納されている書き起こしテキストから得られた２個以上の単語から成る単語連鎖と、外部から入力される追加書き起こしテキストの単語連鎖を比較して当該単語連鎖が言語モデル部に既に格納されているか否かの既納情報を出力する。評価過程は、既納情報に基づいて言語モデル部に未格納な単語連鎖と追加書き起こしテキストの単語連鎖との比率である未観測単語列比率を計算する。

本発明の言語モデル評価方法によれば、追加書き起こしテキストに、これまで未観測であった単語連鎖が含まれるのかを表す指標である未観測単語列比率を計算することが出来る。従って、従来では、実際に音声認識処理を行った結果の正解率等でしか知ることができなかった追加学習の効果を、音声認識処理を行うことなく定量的に知ることが可能となる効果を奏する。つまり、未観測単語列比率の変化を観測することによって言語モデルの学習の進捗状態を把握することが可能になる。

この発明の言語モデル評価装置１００の機能構成例を示す図。 言語モデル評価装置１００の動作フローを示す図。 比較部２０の機能構成例を示す図。 比較部２０の動作フローを示す図。 形態素解析手段２１と単語連鎖生成手段２２の入出力する情報の例を示してその動作を説明する図。 単語連鎖判別手段２３の入出力する情報の例を示してその動作を説明する図。 評価部３０の機能構成例を示す図。 評価部３０の動作フローを示す図。 比較集計手段３１と未観測単語列比較計算手段３２の入出力する情報の例を示してその動作を説明する図。 従来の認識タスク用記号連鎖確率生成部１４０の機能構成を示す図

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１に、この発明の言語モデル評価装置１００の機能構成例を示す。その動作フローを図２に示す。言語モデル評価装置１００は、言語モデル部１０と、比較部２０と、評価部３０と、を具備する。言語モデル評価装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

言語モデル部１０は、書き起こしテキストから得られた２個以上の単語から成る単語連鎖とその出現確率とが格納されたものである。言語モデル部１０は、言語の特徴を統計的手法によりモデル化したデータを格納しており、例えば連続音声認識の実行時に音声認識結果候補に対して言語的蓋然性を与えるものである。一般に、連続音声認識のための統計的言語モデルではｎ−ｇｒａｍが利用される場合が多い。ｎ−ｇｒａｍは単語の二つ組みあるいは三つ組に対して出現確率を与えるものを言語モデルとしており、その出現確率は書き起こしテキスト内に現れる単語連鎖から計算される。言語モデル部１０には、例えば単語三つ組とその出現確率が格納されているものとする。

書き起こしテキストは、音声データを聴取等の方法によって書き起こしたデータである。収録された音声データが朗読の場合、１人の話者の音声を書き起こすのみとなるが、音声データが会話の場合、２人以上の話者の音声を書き起こすと同時に、各発声の時間関係についても記録する必要があり、また、言い直しや言い淀みなど会話に頻出する特徴も現れることになる。一般に連続音声認識で用いる書き起こしテキストでは、これらの特徴についても記述する場合が多く、書き起こしテキストはそのような特徴を有するものとする。

比較部２０は、言語モデル部１０に格納されている単語連鎖と、外部から入力される追加書き起こしテキストの単語連鎖を比較して当該単語連鎖が言語モデル部１０に既に格納されているか否かの既納情報を出力する（図２、ステップＳ２０）。評価部３０は、既納情報に基づいて言語モデル部１０に未格納な単語連鎖の追加書き起こしテキストに対する比率である未観測単語列比率を計算する（ステップＳ３０）。ここで、追加書き起こしテキストとは、追加学習用に用意された書き起こしテキストのことであり、追加学習用に別途用意されたテキストである点のみが異なるだけで、テキストとしては書き起こしテキストと同じものである。

言語モデル評価装置１００によれば、追加書き起こしテキストに、これまで未観測であった単語連鎖が含まれるのかの指標である未観測単語列比率を計算することが出来る。この未観測単語列比率によって、言語モデルの追加学習時に追加された書き起こしテキストが、これまで未観測であった単語連鎖をどれ程、新たに網羅できたかを数値として定量的に測ることが可能となる。例えば追加書き起こしテキストにおける未観測の単語連鎖の数が減少すれば、言語モデルの学習はある程度進んでいることを表している。つまり、追加書き起こしテキストの未観測単語列比率を求めることは、言語モデル部１０の学習の度合いを評価していることに他ならない。

上記した追加書き起こしテキストと言語モデル部１０との比較方法は、追加書き起こしテキスト中に出現する単語連鎖が、言語モデル部１０内に存在するかどうかで比較する。追加書き起こしテキスト内で観測された単語連鎖でかつ言語モデル部１０内では未観測の単語連鎖があった場合、未観測の単語連鎖は追加学習の過程で言語モデルの一部として新たに追加されることとなる。

このため、追加書き起こしテキスト内で新たに観測された単語連鎖が多い場合、追加学習前の言語モデルは追加書き起こしテキストに対応していなかったこととなり、追加学習による言語モデルの学習の進展が期待される。逆に、新たに観測された単語連鎖が少ない場合は、言語モデル部１０はその追加書き起こしテキストに既に対応しており、その追加書き起こしテキストを用いて追加学習を行っても、言語モデルの学習の進展は期待できないこととなる。

例えば連続音声認識に用いる言語モデルの学習に用いる追加書き起こしテキストが、連続音声認識で対象とする発話内容を偏りなく含んでおり、追加書き起こしテキストが与える単語連鎖が特定の特徴のみに偏在していないと仮定できる場合には、追加書き起こしテキストを一定量づつ言語モデルに追加して追加学習を行うことで、初期の段階においては言語モデルで未観測の単語連鎖が追加書き起こしテキストによって多数与えられることから、言語モデルの学習が進展し連続音声認識の認識率は向上する。

しかし、追加書き起こしテキストの単語連鎖が特定の特徴のみに偏在していない場合、順次追加書き起こしテキストを言語モデルに追加して行くと、追加書き起こしテキスト内に現れる単語連鎖で、かつ言語モデル内で未観測のものの比率は減少して行くことになる。

この発明の言語モデル評価装置１００を用いて一定量づつの追加書き起こしを言語モデルに追加していった場合の未観測単語列比率を測ることで、言語モデルがまだ改善の余地があるのか、或いは既に言語モデル内で多様な言語表現に対応できているのかを判断することが可能となる。

以降において、各部のより具体的な構成例を示して更に詳しく言語モデル評価装置１００の動作を説明する。図３に、比較部２０のより具体的な機能構成例を示す。その動作フローを図４に示す。図５に、形態素解析手段２１と単語連鎖生成手段２２の入出力する情報の例を示す。

比較部２０は、形態素解析手段２１と、単語連鎖生成手段２２と、単語連鎖判別手段２３と、を備える。形態素解析手段２１は、追加書き起こしテキストを入力として、当該追加書き起こしテキストを形態素に分割する（ステップＳ２１）。形態素解析手段２１で用いる形態素技術は、従来からある周知の技術によって実現可能である。

図５に示す例では、追加書き起こしテキストとして小説の一節を引用している。引用元は、芥川龍之介著「トロッコ」の一節である。「竹薮のある所へ来ると、…途中省略…、急にはっきりと感じられた。」の追加書き起こしテキストは、形態素解析手段２１によって、／で区切られた形態素に分割される。形態素解析手段２１の出力する形態素は、単語連鎖生成手段２２に入力される。

単語連鎖生成手段２２は、形態素を入力として２個以上の単語、例えば単語三つ組から成る単語連鎖を生成する（ステップＳ２２）。単語連鎖は、１個づつ形態素をシフトさせた形式で生成される。例えば、「竹薮／の／ある／」、「の／ある／所／」、といった形で全ての文章が単語連鎖に変換される。図５に示す例では、分かり易くする目的で一文単位を四角で囲って表記している。単語連鎖生成手段１２が生成した単語連鎖は単語連鎖判別手段２３に入力される。

図６に、単語連鎖判別手段２３の入出力する情報の例を示す。単語連鎖判別手段２３は、言語モデル部１０を参照して、入力される単語連鎖が言語モデル部１０に既に格納されているか否かを判別し、単語連鎖の既納情報を出力する（ステップＳ２３）。図６に示す例では、「来る／と／トロッコ／」と「と／トロッコ／は／」と「トロッコ／は／静か／」の３個の単語連鎖が、言語モデル部１０に存在しなかったことを図中の「×」の表記で示している。既納情報は、例えば言語モデル部１０に存在しない追加書き起こしテキスト中の単語連鎖の数である。図６の例では既納情報として単語連鎖の形態素も表記しているが、形態素の情報は無くても良い。単語連鎖判別手段２３が出力する既納情報は評価部３０に入力される。

図７に、評価部３０のより具体的な機能構成例を示す。その動作フローを図８に示す。評価部３０は、比較集計手段３１と、未観測単語列比率計算手段３２と、を備える。図９に、比較集計手段３１と未観測単語列比率計算手段３２の入出力する情報の例を示す。

比較集計手段３１は、既納情報を入力として言語モデル部１０に格納されていない単語連鎖の数を表す未格納単語連鎖数情報を集計する（ステップＳ３１）。図９に示す例では、「来る／と／トロッコ／」〜「雑木林／に／なった／」の９個が、言語モデル部１０に格納されていない単語連鎖の数を表す未格納単語連鎖数情報として示されている。形態素の並びと併記している「１」は、各単語連鎖の出現回数が１回であったことを表している。比較集計手段が集計した未格納単語連鎖数情報は、未観測単語列比率計算手段３２に入力される。

未観測単語列比率計算手段３２は、未格納単語連鎖数情報を入力として、当該未格納単語連鎖数情報と追加書き起こしテキストとの比率である未観測単語列比率を計算する（ステップＳ３２）。未観測単語列比率は、例えば未格納単語連鎖数情報の単語連鎖の数と、追加書き起こしテキストに含まれる全単語連鎖数との比率である。図９に示す例では、９÷２８≒０.３２が未観測単語列比率となる。追加書き起こしテキストに含まれる全単語連鎖数は、予め未観測単語列比率計算手段３２の内部に定数３２ａとして用意しておいても良い。又は、破線で示す信号線で示すように、比較部１０の単語連鎖生成手段１２からその数の情報を入手するようにしても良い。

未観測単語列比率は、実際にはもっと大きな数の比率で計算される。例えば１回目の追加学習を、１０００個の単語連鎖からなる追加書き起こしテキストを用いて言語モデル評価を行った場合の未格納単語連鎖数情報の単語連鎖の数が５０個であったと仮定すると未観測単語列比率は５％となる。

２回目の追加学習を、１回目の１０００個を含まない２０００個の単語連鎖からなる追加書き起こしテキストを用いた場合の未格納単語連鎖数情報の単語連鎖の数が８０個であったと仮定すると、未観測単語列比率は４％となる。３回目の追加学習の追加書き起こしテキストの単語連鎖の数を５００個、未格納単語連鎖数情報の単語連鎖の数が１０個であったと仮定すると未観測単語列比率は２％となる。

このように言語モデル評価装置１００を用いることで言語モデルの学習の進捗状況を定量的に把握することが可能である。なお、追加書き起こしテキストの単語連鎖の数は、所定の一定値にした方が、学習の進捗度合いをより正しく評価することができる。

また、上記した例では単語連鎖を単語三つ組としたが、この発明の考えは単語二つ組み以上のＮ個組の単語連鎖を用いた場合に適用することができる。また、単語連鎖にはならないが、一単語ごとにこの発明の考えを適用しても良い。その場合は、追加書き起こしテキストに含まれる新語の比率ということになる。その新語が多ければ言語モデルの追加学習が更に必要であり、逆に新語が少なければ対象の追加書き起こしテキストを用いても学習の効果は期待できないことが分かるので、一単語ごとであっても追加書き起こしテキストが言語モデルの追加学習に効果があるか否かを判定することができる。

また、未観測単語列比率は、既納情報の数から求められる発声時間長と、追加書き起こしテキストの発話時間長との比であっても良い。追加書き起こしテキストは、その文言通り、元々は音声情報である。よって、形態素数の比率で評価するよりも音声の発話時間長で評価した方が直感的に分かり易いといった効果が期待できる。なお、形態素情報を発話時間長情報に変換するのは、一対一の関係で容易に行うことができる。

以上説明したように、本発明の言語モデル評価方法は、言語モデルの追加学習時に用いる追加書き起こしテキストと、既に構築されている言語モデルとを比較することで、追加書き起こしテキストが、例えば連続音声認識の認識率の向上に寄与するかどうかを判定することができる。と同時に言語モデルの学習の進捗度合いを評価することができる。

上記説明した未観測単語列比率の値が大きい場合は、更に追加書き起こしテキストを追加し、様々な言語表現に言語モデルを対応させる必要があると判断できる。未観測単語列比率の値が低下してきた場合、或いは一定値より低下しない場合には、追加書き起こしテキスト内には既に観測済みの単語列が多く存在し、言語モデルの学習はある程度進んでいると判断することができる。

実際の連続音声認識の利用場面においては、未観測の単語連鎖の比率をゼロにすることは一般に不可能である。つまり、言語モデルの学習をどこまで実施すれば良いのかを判断するのが難しいのが現状であるが、この発明の言語モデル評価方法を用いることで、言語モデルを作成する際の有効な指標を新たに提供することが可能になる。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

1. 言語モデル部に格納されている書き起こしテキストから得られた２個以上の単語から成る単語連鎖と、外部から入力される追加書き起こしテキストの単語連鎖を比較して当該単語連鎖が上記言語モデル部に既に格納されているか否かの既納情報を出力する比較過程と、
   上記既納情報に基づいて上記言語モデル部に未格納な上記単語連鎖と上記追加書き起こしテキストの単語連鎖との比率である未観測単語列比率を計算する評価過程と、
   を備える言語モデル評価方法であって
   上記未観測単語列比率は、上記既納情報から求められる発声時間長を、上記追加書き起こしテキストの発話時間長で除した値であることを特徴とする言語モデル評価方法。
2. 請求項１に記載した言語モデル評価方法において、
   上記比較過程は、
   上記書き起こしテキストを形態素に分割する形態素解析ステップと、
   上記形態素を入力として２個以上の単語から成る単語連鎖を生成する単語連鎖生成ステップと、
   上記言語モデル部を参照して上記単語連鎖が、当該言語モデル部に既に格納されているか否かを判別し、上記単語連鎖の既納情報を出力する単語連鎖判別ステップと、
   を含むことを特徴とする言語モデル評価方法。
3. 請求項１又は２に記載した言語モデル評価方法において、
   上記評価過程は、
   上記既納情報を入力として上記言語モデル部に格納されていない単語連鎖の数を表す未格納単語連鎖数情報を集計する比較集計ステップと、
   上記未格納単語連鎖数情報を入力として当該未格納単語連鎖数情報と上記追加書き起こしテキストの単語連鎖との比率である未観測単語列比率を計算する未観測単語列比率計算ステップと、
   を含むことを特徴とする言語モデル評価方法。
4. 書き起こしテキストから得られた２個以上の単語から成る単語連鎖とその出現確率とが格納された言語モデル部と、
   上記言語モデル部に格納されている上記単語連鎖と、外部から入力される追加書き起こしテキストの単語連鎖を比較して当該単語連鎖が上記言語モデル部に既に格納されているか否かの既納情報を出力する比較部と、
   上記既納情報に基づいて上記言語モデル部に未格納な上記単語連鎖と上記追加書き起こしテキストの単語連鎖との比率である未観測単語列比率を計算する評価部と、
   を具備する言語モデル評価装置であって、
   上記未観測単語列比率は、上記既納情報から求められる発声時間長を、上記追加書き起こしテキストの発話時間長で除した値であることを特徴とする言語モデル評価装置。
5. 請求項４に記載した言語モデル評価装置としてコンピュータを機能させるためのプログラム。