JPH10198395A - 統計的言語モデル生成装置及び音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 遷移確率の予測精度及び信頼性を改善可能な
統計的言語モデルを生成し、統計的言語モデルを用いて
より高い音声認識率で音声認識する。 【解決手段】 複数のタスク毎の学習用テキストデータ
に基づいて最尤推定法を用いて各タスク毎に単語Ｎ−ｇ
ｒａｍの遷移確率を演算し、当該遷移確率の出現分布を
事前知識の確率分布と仮定し、各タスク毎の確率分布の
加重平均及び加重分散を演算した後、演算された加重平
均と加重分散に基づいて事前知識の確率分布のパラメー
タを演算する。次いで、演算された事前知識の確率分布
のパラメータと、学習用テキストデータ内の特定タスク
のテキストデータの事後知識における処理対象の単語列
の直前の単語列の出現回数と、処理対象の単語列の出現
回数とに基づいて各タスク毎の単語Ｎ−ｇｒａｍの遷移
確率を計算することにより統計的言語モデルを生成す
る。また、当該統計的言語モデルを用いて音声認識す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、学習用テキストデ
ータに基づいて統計的言語モデルを生成する統計的言語
モデル生成装置、及び上記統計的言語モデルを用いて、
入力される発声音声文の音声信号を音声認識する音声認
識装置に関する。

【０００２】

【従来の技術】近年、連続音声認識装置において、その
性能を高めるために言語モデルを用いる方法が研究され
ている。これは、言語モデルを用いて、次単語を予測し
探索空間を削減することにより、認識率の向上および計
算時間の削減の効果を狙ったものである。最近盛んに用
いられている言語モデルとしてＮ−ｇｒａｍ（Ｎ−グラ
ム；ここで、Ｎは２以上の自然数である。）がある。こ
れは、大規模なテキストデータを学習し、直前のＮ−１
個の単語から次の単語への遷移確率を統計的に与えるも
のである。複数Ｌ個の単語列ｗ₁ ^L＝ｗ₁，ｗ₂，…，ｗ_L
の生成確率Ｐ（ｗ₁ ^L）は次式で表される。

【０００３】

【数１】

【０００４】ここで、ｗ_tは単語列ｗ₁ ^Lのうちｔ番目の
１つの単語を表し、ｗ_i ^jはｉ番目からｊ番目の単語列を
表わす。上記数１において、確率Ｐ（ｗ_t｜
ｗ_t+1-N ^t-1）は、Ｎ個の単語からなる単語列ｗ_t+1-N ^t-1
が発声された後に単語ｗ_tが発声される確率であり、以
下同様に、確率Ｐ（Ａ｜Ｂ）は単語又は単語列Ｂが発声
された後に単語Ａが発声される確率を意味する。また、
数１における「Π」はｔ＝１からＬまでの確率Ｐ（ｗ_t
｜ｗ_t+1-N ^t-1）の積を意味し、以下同様である。

【０００５】ところで、近年、上記統計的言語モデルＮ
−ｇｒａｍを用いて連続音声認識の性能を向上させる手
法が盛んに提案されている（例えば、従来技術文献１
「Ｌ．Ｒ．Ｂａｈｌ ｅｔ ａｌ．，“Ａ Ｍａｘｉｍ
ｕｍ ＬｉｋｅｌｉｈｏｏｄＡｐｐｒｏａｃｈ ｔｏ
Ｃｏｎｔｉｎｕｏｕｓ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉ
ｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏ
ｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ Ｍａｃ
ｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．１７９−
１９０，１９８３年」及び従来技術文献２「清水ほか，
“単語グラフを用いた自由発話音声認識”，電子情報通
信学会技術報告，ＳＰ９５−８８，ｐｐ．４９−５４，
平成７年」参照。）。

【０００６】しかしながら、Ｎ−ｇｒａｍはパラメータ
数が多く、それぞれの値を正確に求めるためには、莫大
な量のテキストデータが必要とされる。この問題を解決
する方法として、学習用テキストデータに出現しない単
語遷移に対しても遷移確率を与える平滑化の手法（例え
ば、従来技術文献３「Ｆ．Ｊｅｌｉｎｅｋ ｅｔ ａ
ｌ．，“Ｉｎｔｅｒｐｏｌａｔｅｄ ｅｓｔｉｍａｔｉ
ｏｎ ｏｆ Ｍａｒｋｏｖ Ｓｏｕｒｃｅ Ｐａｒａｍ
ｅｔｅｒｓ ｆｒｏｍ Ｓｐａｒｓｅ Ｄａｔａ”，Ｐ
ｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｋｓｈｏｐ Ｐａ
ｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｐｒａｃ
ｔｉｃｅ，ｐｐ．３８１−３８７，１９８０年」、従来
技術文献４「Ｓ．Ｍ．Ｋａｔｚ ｅｔ ａｌ．，“Ｅｓ
ｔｉｍａｔｉｏｎ ｏｆ Ｐｒｏｂａｂｉｌｉｔｉｅｓ
ｆｒｏｍ Ｓｐａｒｓｅ Ｄａｔａ ｆｏｒ ｔｈｅ
Ｌａｎｇｕａｇｅ ｍｏｄｅｌ Ｃｏｍｐｏｎｅｎｔ
ｏｆ ａ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｚｅｒ”，
ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｃｏｕ
ｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ ＳｉｇｎａｌＰｒ
ｏｃｅｓｓｉｎｇ，ｐｐ．４００−４０１，１９８７
年」及び従来技術文献５「川端ほか，“二項事後分布に
基づくＮ−ｇｒａｍ言語モデルのＢａｃｋ−ｏｆｆ平滑
化”，電子情報通信学会技術報告、ＳＰ９５−９３，ｐ
ｐ１−６，平成７年」参照。）や、クラス分類、可変長
Ｎ−ｇｒａｍ等パラメータの数を減少させる手法（例え
ば、従来技術文献６「Ｐ．Ｆ．Ｂｒｏｗｎ ｅｔ ａ
ｌ．，“Ｃｌａｓｓ−Ｂａｓｅｄ ｎ−ｇｒａｍ ｍｏ
ｄｅｌｓ ｏｆ ｎａｔｕｒａｌｌａｎｇｕａｇｅ”，
Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃ
ｓ，Ｖｏｌ．１８，Ｎｏ．４，ｐｐ．４６７−４７９，
１９９２年」、従来技術文献７「Ｔ．Ｒ．Ｎｉｅｓｌｅ
ｒ ｅｔ ａｌ．，“Ａ Ｖａｒｉａｂｌｅ−Ｌｅｎｇ
ｔｈ Ｃａｔｅｇｏｒｙ−Ｂａｓｅｄ Ｎ−ｇｒａｍ
Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ”，Ｐｒｏｃｅｅｄｉｎ
ｇｓ ｏｆ ＩＣＡＳＳＰ ’９６，Ｖｏｌ．１，ｐ
ｐ．１６４−１６７，１９９６年」及び従来技術文献８
「政瀧ほか，“連続音声認識のための可変長連鎖統計言
語モデル”，電子情報通信学会技術報告，ＳＰ９５−７
３，ｐｐ．１−６，平成７年」参照。）等が数多く提案
されている。しかしながら、これらの手法を用いても、
精度の良い言語モデルを構築するためには、相当量のデ
ータを用いる必要があると考えられる。

【０００７】現在、実用化に向けて研究が行われている
連続音声認識システムは、ホテル予約・スケジューリン
グ等、タスクを限定し、システムのパフォーマンスの向
上させている物が多い。しかしながら、タスク毎に大量
の言語データを集めるのは困難である。特に、日本語の
場合は、英語等のように単語の区切りが明確ではなく、
通常人間が手作業で単語の切り出し・形態素解析の作業
を行うため、大量のデータを集めるのはさらに困難であ
る。しかしながら、データ量を増やすために、他のタス
クのデータを用いるた場合、言語的特徴はタスク毎に異
なるため、単純にデータを混合しても目的のタスク特有
の言語特徴を効果的に表現することはできないと考えら
れる。

【０００８】これらの問題を解決する手段として、言語
モデルのタスク適応を考えられている。すなわち、目的
のタスク以外のデータも含めた大量のデータを学習する
ことによりデータ量の問題を解決し、得られたモデルの
言語特徴を目的のタスクに適応させる方法である。タス
ク適応の手法として、従来提案されているものには大量
のデータで作成したＮ−ｇｒａｍと、目的タスクのデー
タで作成したＮ−ｇｒａｍとを重みづけにより混合する
方法（例えば、従来技術文献９「伊藤ほか，“小量テキ
ストによる言語モデルのタスク適応の検討”，日本音響
学会講演論文集，１−３−１９，ｐｐ．３７−３８，平
成８年９月」及び従来技術文献１０，「坂本ほか，“音
声認識における統計的言語モデルの選択の効果”，日本
音響学会講演論文集，１−Ｑ−２４，ｐｐ．１５７−１
５８，平成６年３月」参照。）がある。

【０００９】例えば、従来技術文献９の手法を用いた従
来例のタスク適応化処理は、小量テキストに重みをかけ
て大量テキストと混合するものであり、次の手順によっ
て言語モデルを作成する。 （ａ）小量テキストを、重み付きで大量テキストに加え
る。重み係数をｗとすると、小量テキスト中でｍ回出現
した単語は、大量テキスト中で（ｗ・ｍ）回出現した単
語と同等に扱われることになる。 （ｂ）このようにしてできたテキストの中で、出現頻度
が一定回数未満の単語を、未知語を表す記号に置き換え
る。すなわち、語彙の制限を行う。 （ｃ）テキストから統計を取り，Ｎ−ｇｒａｍモデルを
構築する。

【００１０】

【発明が解決しようとする課題】しかしながら、従来例
のタスク適応化処理においては、重み係数ｗは１つのみ
しか使用していないので、言語モデルにおける遷移確率
の予測精度はいまだ比較的低く、当該言語モデルを用い
て音声認識をしたときの音声認識率は比較的低いという
問題点があった。

【００１１】本発明の目的は以上の問題点を解決し、従
来例に比較して遷移確率の予測精度及び信頼性を改善す
ることができる統計的言語モデルを生成することができ
る統計的言語モデル生成装置、及び、当該統計的言語モ
デルを用いて従来例に比較して高い音声認識率で音声認
識することができる音声認識装置を提供することにあ
る。

【００１２】

【課題を解決するための手段】本発明に係る請求項１記
載の統計的言語モデル生成装置は、所定の複数のタスク
毎の学習用テキストデータに基づいて最尤推定法を用い
て各タスク毎に単語のＮ−ｇｒａｍ（Ｎは２以上の自然
数である。）の遷移確率を演算する第１の演算手段と、
上記第１の演算手段によって演算された各タスク毎の単
語のＮ−ｇｒａｍの遷移確率の出現分布を事前知識の所
定の確率分布と仮定し、各タスク毎の確率分布の加重平
均及び加重分散を演算した後、演算された加重平均と加
重分散に基づいて事前知識の確率分布のパラメータを演
算する第２の演算手段と、上記第２の演算手段によって
演算された事前知識の確率分布のパラメータと、上記学
習用テキストデータ内の特定タスクのテキストデータの
事後知識における処理対象の単語列の直前の単語列の出
現回数と、処理対象の単語列の出現回数とに基づいて、
各タスク毎の単語のＮ−ｇｒａｍの遷移確率を計算する
ことにより、各タスク毎の単語のＮ−ｇｒａｍの遷移確
率を含む統計的言語モデルを生成する第３の演算手段と
を備えたことを特徴とする。

【００１３】また、請求項２記載の統計的言語モデル生
成装置は、請求項１記載の統計的言語モデル生成装置に
おいて、上記確率分布は、ベータ分布又はディリクレ分
布であることを特徴とする。

【００１４】さらに、請求項３記載の統計的言語モデル
生成装置は、請求項１又は２記載の統計的言語モデル生
成装置において、さらに、上記第３の演算手段によって
演算された各タスク毎の単語のＮ−ｇｒａｍの遷移確率
に基づいて，所定の平滑化処理を実行し、処理後の各タ
スク毎の単語のＮ−ｇｒａｍの遷移確率を含む統計的言
語モデルを生成する第４の演算手段を備えたことを特徴
とする。

【００１５】本発明に係る請求項４記載の音声認識装置
は、入力される発声音声文の音声信号に基づいて、所定
の統計的言語モデルを用いて音声認識する音声認識手段
を備えた音声認識装置において、上記音声認識手段は、
請求項１、２又は３記載の統計的言語モデル生成装置に
よって生成された統計的言語モデルを参照して音声認識
することを特徴とする。

【００１６】本発明に係る請求項５記載の音声認識装置
は、入力される発声音声文の音声信号に基づいて上記発
声音声文の単語仮説を検出し尤度を計算することによ
り、連続的に音声認識する音声認識手段を備えた音声認
識装置において、上記音声認識手段は、請求項１、２又
は３記載の統計的言語モデル生成装置によって生成され
た統計的言語モデルを参照して、終了時刻が等しく開始
時刻が異なる同一の単語の単語仮説に対して、当該単語
の先頭音素環境毎に、発声開始時刻から当該単語の終了
時刻に至る計算された総尤度のうちの最も高い尤度を有
する１つの単語仮説で代表させるように単語仮説の絞り
込みを行うことを特徴とする。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。図１に本発明に係る一実
施形態の連続音声認識装置のブロック図を示す。本実施
形態の連続音声認識装置は、公知のワン−パス・ビタビ
復号化法を用いて、入力される発声音声文の音声信号の
特徴パラメータに基づいて上記発声音声文の単語仮説を
検出し尤度を計算して出力する単語照合部４を備えた連
続音声認識装置において、単語照合部４からバッファメ
モリ５を介して出力される、終了時刻が等しく開始時刻
が異なる同一の単語の単語仮説に対して、タスク適応化
された統計的言語モデルメモリ（以下、統計的言語モデ
ルメモリという。）２２内のタスク適合化された統計的
言語モデルを参照して、当該単語の先頭音素環境毎に、
発声開始時刻から当該単語の終了時刻に至る計算された
総尤度のうちの最も高い尤度を有する１つの単語仮説で
代表させるように単語仮説の絞り込みを行う単語仮説絞
込部６を備えたことを特徴とする。

【００１８】ここで用いる統計的言語モデルは、それぞ
れ単語列からなる各タスクｍのテキストデータ３０−ｍ
（ｍ＝１，２，…，Ｍ）を区分されて備えた学習用テキ
ストデータに基づいて言語モデル生成部２０により生成
されたものであって、統計的言語モデル２２は、各タス
ク毎にタスク適合化された各タスク毎の単語間のＮ−ｇ
ｒａｍ（Ｎ＝２，３）を含む。本発明に係る実施形態に
おいては、当該統計的言語モデルを生成するときに、Ｍ
ＡＰ（Ｍａｘｉｍｕｍ Ａ−ｐｏｓｔｅｒｉｏｒｉ Ｐ
ｒｏｂａｂｉｌｉｔｙ：最大事後確率）推定法を用いた
処理を用いる。この処理においては、図３に示すよう
に、不特定タスクのテキストデータ３０−１乃至３０−
Ｍに基づいて生成されるＮ−ｇｒａｍを含む統計的言語
モデル３１を事前知識とする一方、目的の特定タスクｉ
のテキストデータ３０−ｉを事後知識としてＭＡＰ推定
法を用いて、データ量に応じて安定性の高いパラメータ
推定を行った後、Ｂａｃｋ−ｏｆｆ平滑化法による平滑
化処理を実行することによりタスク適応化されたＮ−ｇ
ｒａｍを含む統計的言語モデルを得ることを特徴とす
る。ここで、目的の特定タスクｉのテキストデータ３０
−ｉは、不特定タスクのテキストデータ３０−ｍ（ｍ＝
１，２，…，Ｍ）のうちの１つの特定タスクのテキスト
データである。

【００１９】まず、ＭＡＰ推定法による遷移確率の算出
について述べる。通常、Ｎ−ｇｒａｍの遷移確率は、Ｍ
Ｌ（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ；最尤）推
定法により算出される。最尤推定法は、観測したサンプ
ル値（すなわち、テキストデータの単語）ｘに対して、
遷移確率ｐが決まったときに単語ｘとなる尤度関数ｆ
（ｘ｜ｐ）を最大にさせる値として、Ｎ−ｇｒａｍ遷移
確率ｐ_MLが次式で定められる。

【００２０】

【数２】

【００２１】ここで、関数ａｒｇｍａｘは、ｐを変化し
たときに関数の引数が最大となるときのｐの値を示す関
数である。議論を簡単にするため、単語ｗ_kからｗ_lへの
ｂｉｇｒａｍの遷移確率ｐ（ｗ_l｜ｗ_k）について考え、
また、以下のような変数の定義を行う。 （ａ）Ｎ：学習用テキストデータ中の単語ｗ_kの出現回
数。 （ｂ）ｎ：学習用テキストデータ中の単語列ｗ_kｗ_lの出
現回数。 （ｃ）ｐ：単語ｗ_kからｗ_lへの遷移確率。

【００２２】このとき尤度関数ｆ（ｘ｜ｐ）は、単語ｗ
_kがＮ回観測され、次に単語ｗ_lに続く回数がｎ回で、そ
れ以外の単語に続く回数が（Ｎ−ｎ）回であるから、次
式を得ることができる。

【００２３】

【数３】ｆ（ｐ）＝ｐⁿ（１−ｐ）^N-n

【００２４】ｆ（ｐ）の最大化条件ｄｌｏｇｆ（ｐ）／
ｄｐ＝０を解くことにより、Ｎ−ｇｒａｍの遷移確率は
次式のように計算される。

【００２５】

【数４】ｐ_ML＝ｎ／Ｎ

【００２６】従って、もし単語列ｗ_kｗ_lが観測データ上
で出現しない場合、ｎ＝０であるから、遷移確率は０と
推定されてしまう。これに対して、ＭＡＰ（Ｍａｘｉｍ
ｕｍＡ−ｐｏｓｔｅｒｉｏｒｉ Ｐｒｏｂａｂｉｌｉｔ
ｙ；最大事後確率）推定においては、最尤推定法を用い
て、観測したサンプル値ｘに対して、遷移確率ｐが決定
される事後確率関数ｈ（ｐ｜ｘ）を最大化する値とし
て、Ｎ−ｇｒａｍの遷移確率が次式で求められる。

【００２７】

【数５】

【００２８】ここで、Ｂａｙｅｓ則を用いると、上記数
５は次式のように変形される。

【００２９】

【数６】

【００３０】ここで、ｇ（ｐ）は、不特定タスクのテキ
ストデータ３０−１乃至３０−Ｍに基づいて予め決定さ
れる、Ｎ−ｇｒａｍの遷移確率ｐの事前分布である。す
なわち、ＭＡＰ推定法を用いると、Ｎ−ｇｒａｍの遷移
確率はある事前知識より得られる分布ｇ（ｐ）に従う変
数とし、この事前分布と実際に観測されたサンプル値と
を用いて、実際の遷移確率が推定される。このため、観
測データで出現しない単語遷移に対しても、事前知識に
より０でない遷移確率を与えることができる。

【００３１】次いで、ｂｉｇｒａｍを例にとり、ＭＡＰ
推定法によりＮ−ｇｒａｍの遷移確率を求める方法を示
す。ただし、変数の定義は上述と同じものを用いる。ま
ず、遷移確率ｐの事前分布としてベータ分布（ａｐ^α-1
（１−ｐ）^β-1，ここで、α及びβはベータ分布の正の
パラメータであり、ａは正規化のための正の定数であ
る。）を用いる。なお、０≦ｐ≦１である。ベータ分布
を用いる理由は次の２点である。 （ａ）ベータ分布は２項分布の自然共役事前分布で、Ｍ
ＡＰ推定によるパラメータの解が求まりやすい。 （ｂ）ベータ分布のパラメータα，βを変化させること
により、様々な形状の分布を表すことができる。 ここで、ベータ分布は、連続変数の確率分布の一種であ
り、ガンマ関数をもとにして構成されるベータ関数が表
示に含まれる。なお、本実施形態においては、ベータ分
布を用いるが、本発明はこれに限らず、ベータ分布に代
えて、ディリクレ分布を用いてもよい。ディリクレ分布
は、ベータ分布を多変量分布に拡張したものであり、多
項分布の自然共役事前分布である。

【００３２】上記数６のＭＡＰ推定法の定義に従うと、
遷移確率ｐ_MAPは、尤度関数ｆ（ｐ）と事前分布ｇ
（ｐ）とを用いて次式のように求められる。

【００３３】

【数７】

【００３４】ここで、関数Ｌ（ｐ）が最大となるための
条件ｄｌｏｇＬ（ｐ）／ｄｐ＝０をｐについて解くと、
単語のｂｉｇｒａｍの遷移確率ｐ_MAPは次式のように求
まる。

【００３５】

【数８】ｐ_MAP＝（ｎ＋α−１）／（Ｎ＋α＋β−２）

【００３６】ここで、パラメータα及びβは、事前分布
であるベータ分布のパラメータであるが、これらは、次
式のように求めることができる。なお、ベータ分布の平
均μ及び分散σ²は以下の式となることが知られている
（例えば、従来技術文献５参照。）。

【００３７】

【数９】μ＝α／（α＋β） σ²＝（αβ）／｛（α＋β）²（α＋β＋１）｝

【００３８】これらの式をα，α＋βについて解くと、
次式が得られる。

【００３９】

【数１０】α＝｛μ²（１−μ）｝／σ²−μ α＋β＝｛μ（１−μ）｝／σ²−１

【００４０】以上より、観測テキストデータから頻度を
計算することにより得られるパラメータＮ，ｎ、及び事
前分布の平均μ及び分散σ²により、上記数８及び数１
０を用いて、単語のｂｉｇｒａｍの遷移確率を求めるこ
とができる。

【００４１】これまでの議論は、単語のｂｉｇｒａｍに
ついてのみの議論であったが、一般に、ＭＡＰ推定法に
よるＮ−ｇｒａｍの遷移確率ｐ（ｗ_n｜ｗ₁ ^n-1）は、直
前の単語ｗ_kを直前の単語列ｗ₁ ^n-1と置き換え、パラメ
ータＮ及びｎを次のように定義すれば、同じ議論が通用
することは明らかである。 （ａ）Ｎ：学習用テキストデータ中の単語列ｗ₁ ^n-1の出
現回数（ｃ（ｗ₁ ^n-1））、すなわち、処理対象の単語列
の直前の単語列の出現回数である。 （ｂ）ｎ：学習用テキストデータ中の単語列ｗ₁ ⁿの出現
回数（ｃ（ｗ₁ ⁿ））、すなわち、処理対象の単語列の出
現回数である。

【００４２】次いで、ＭＡＰ推定法を用いたタスク適応
化処理について述べる。上述のＭＡＰ推定法によるＮ−
ｇｒａｍをタスク適応化に応用するために、図３に示す
ように、複数のタスクより構成される大量のテキストデ
ータから作成される不特定タスクのテキストデータ３０
−ｍに基づくＮ−ｇｒａｍを事前知識とし、目的の特定
タスクｉのテキストデータ３０−ｉを事後知識とみな
す。不特定タスクのＮ−ｇｒａｍを事前知識とみなした
とき、その事前分布は、各タスクにおけるＮ−ｇｒａｍ
遷移確率の分布と考えることができる。ただし、各タス
クにおけるＮ−ｇｒａｍ遷移確率は最尤推定法により求
められる。この事前分布をベータ分布と仮定し、図４に
示すように、ＭＡＰ推定法の事前分布として用いる。こ
のとき、事前分布の加重平均μ、及び加重分散σ²は次
式で求められる。

【００４３】

【数１１】

【数１２】

【００４４】ここで、ｃ_i（ｗ₁ ^n-1）はタスクｉにおい
て単語列ｗ₁ ^n-1の出現頻度であり、ｐ_i（ｗ_n｜ｗ₁ ^n-1）
はタスクｉにおける単語列ｗ₁ ^n-1からｗ_nへの遷移確率
である。また、事後知識を目的のタスクのテキストデー
タとすると、前述のパラメータＮ及びｎは次のように表
される。 （ａ）Ｎ：目的の特定タスクｉのテキストデータ３０−
ｉ中の単語列ｗ₁ ^n-1の出現頻度、すなわち、処理対象の
単語列の直前の単語列の出現回数である。 （ｂ）ｎ：目的の特定タスクｉのテキストデータ３０−
ｉ中の単語列ｗ₁ ⁿの出現頻度、すなわち、処理対象の単
語列の出現回数である。 以上の加重平均μ，加重分散σ²，パラメータｎ及びＮ
を上述の数７及び数９に代入することにより、ＭＡＰ推
定法によるタスク適応後のＮ−ｇｒａｍ遷移確率が得ら
れる。

【００４５】さらに、Ｂａｃｋ−ｏｆｆ平滑化法による
遷移確率の平滑化について述べる。上記でＭＡＰ推定法
によるタスク適応の基本原理を述べたが、実際に言語モ
デルとして使用するには、２つの問題がある。１つは、
平滑化の問題である。不特定タスクの大量のテキストデ
ータを用いても、出現しない単語列が存在し、ＭＡＰ推
定法を用いても、Ｎ−ｇｒａｍの遷移確率が０となって
しまう。従って、平滑化処理によりテキストに出現しな
い単語組に対しても、０でない遷移確率を与える必要が
ある。もう１つの問題は、本発明に係るタスク適応化処
理は、全ての遷移確率を独立に求める手法であるため、
遷移確率の和が１になるとは限らない。連続音声認識等
に適用する際は、問題とはならないが、パープレキシテ
ィで評価する際は、１に正規化されていないと、正しい
評価ができない。従って、近年盛んに用いられているＢ
ａｃｋ−Ｏｆｆ平滑化法（例えば、従来技術文献４参
照。）を拡張して、これらの問題を解決する方法を述べ
る。

【００４６】単語列ｗ₁ ⁿが不特定タスクのテキストデー
タ３０−ｍに含まれる場合は、上記のタスク適応化処理
により、遷移確率ｐ_MAP（ｗ_n｜ｗ₁ ^n-1）を求め、チュー
リング（Ｔｕｒｉｎｇ）推定法により、確率ｐ_MAP（ｗ_n
｜ｗ₁ ^n-1）を軽減する。ただし、軽減係数は不特定タス
クのテキストデータ３０−ｍの頻度（ｃ_I（ｗ₁ ⁿ））を
用いて計算する。当該軽減により生じた確率の余剰分を
ｗ₁ ⁿが不特定タスクのテキストデータ３０−ｍに含まれ
ない単語連鎖に対して、（ｎ−１）−ｇｒａｍの遷移確
率に比例して配分する。以上をまとめると、タスク適応
化されたＮ−ｇｒａｍの平滑化後の遷移確率Ｐｓ（ｗ_n
｜ｗ₁ ^n-1）は次式で表される。

【００４７】

【数１３】 Ｐｓ（ｗ_n｜ｗ₁ ^n-1） ＝Ｐｈ（ｗ_n｜ｗ₁ ^n-1），ｃ_I（ｗ₁ ^n-1）＞０のとき ＝α(ｗ₁ ^n-1)Ｐｓ(ｗ_n｜ｗ₂ ^n-1),ｃ_I(ｗ₁ ^n-1)＝０,ｃ_I(ｗ₂ ^n-1)＞０のとき ＝Ｐｓ（ｗ_n｜ｗ₂ ^n-1），ｃ_I（ｗ₁ ^n-1）＝０，ｃ_I（ｗ₂ ^n-1）＝０のとき

【００４８】上記の数１２において、Ｐｈはタスク適応
化により得られる確率に軽減係数をかけたものであり、
次式で与えられる。

【００４９】

【数１４】 Ｐｈ（ｗ_n｜ｗ₁ ^n-1） ＝｛ｃ_I（ｗ₁ ⁿ）＋１｝／｛ｃ_I（ｗ₁ ⁿ）｝ ×｛ｎｃ_I（ｗ₁ ⁿ）＋１｝／｛ｎ_ci（ｗ₁ ⁿ）｝・ｐ_MAP（ｗ₁ ⁿ）

【００５０】ここで、ｎ_cは、不特定タスクのテキスト
データ３０−ｍ中にｃ回出現する単語列の種類数（異な
り）であり、また、数１３で、α（ｗ₁ ^n-1）は正規化の
ための係数であり、次のように求められる。

【００５１】

【数１５】α（ｗ₁ ^n-1）＝Ａａ／Ａｂ ここで、

【００５２】以上のＢａｃｋ−ｏｆｆ平滑化法を応用し
た手法を用いることにより、学習データ上に出現しない
単語連鎖に対しても確率値を与えることができる。ま
た、遷移確率ｐ_MAPが正規化されていなくても、上記数
１５においてαを求める際に正規化の計算を行うため、
遷移確率の和は自動的に１になる。

【００５３】図５は、言語モデル生成部２０によって実
行される言語モデル生成処理の詳細を示すフローチャー
トであり、以下、図５を参照して当該処理について説明
する。なお、以下の各処理は各単語列毎に実行される。
まず、ステップＳ１では、各タスクｍのテキストデータ
３０−ｍを記憶する学習用テキストデータメモリ２１か
ら各タスクｍのテキストデータ３０−ｍを読み出す。次
いで、ステップＳ２において、ステップＳ２において、
読み出した各タスクのテキストデータ３０−ｍに基づい
て最尤推定法を用いて各タスク毎に単語のｂｉｇｒａｍ
の遷移確率を数３を用いて計算する。そして、ステップ
Ｓ３において、各タスク毎の単語ｂｉｇｒａｍの遷移確
率の出現分布をベータ分布と仮定し、ベータ分布の加重
平均μ及び加重分散σ²を数１０及び数１１を用いて計
算した後、これらに基づいて数９を用いてベータ分布の
パラメータα及びβを計算する。さらに、ステップＳ４
において、事前知識のパラメータα及びβと、特定タス
クｉのテキストデータ３０−ｉの事後知識のパラメータ
Ｎ及びｎとに基づいて、数７を用いて各タスク毎の単語
ｂｉｇｒａｍの遷移確率ｐを計算する。そして、ステッ
プＳ５において、各タスク毎の単語ｂｉｇｒａｍの遷移
確率ｐに基づいて，Ｂａｃｋ−ｏｆｆ平滑化処理を実行
し、処理後の各タスク毎の単語ｂｉｇｒａｍの遷移確率
を含む統計的言語モデルを生成して、統計的言語モデル
メモリ２２に記憶する。以上で、言語モデル生成処理を
終了する。

【００５４】次いで、図１に示す連続音声認識装置の構
成及び動作について説明する。図１において、単語照合
部４に接続された音素隠れマルコフモデル（以下、隠れ
マルコフモデルをＨＭＭという。）メモリ１１内の音素
ＨＭＭは、各状態を含んで表され、各状態はそれぞれ以
下の情報を有する。 （ａ）状態番号、（ｂ）受理可能なコンテキストクラ
ス、（ｃ）先行状態、及び後続状態のリスト、（ｄ）出
力確率密度分布のパラメータ、及び（ｅ）自己遷移確率
及び後続状態への遷移確率。なお、本実施形態において
用いる音素ＨＭＭは、各分布がどの話者に由来するかを
特定する必要があるため、所定の話者混合ＨＭＭを変換
して生成する。ここで、出力確率密度関数は３４次元の
対角共分散行列をもつ混合ガウス分布である。また、単
語照合部４に接続された単語辞書メモリ１２内の単語辞
書は、音素ＨＭＭメモリ１１内の音素ＨＭＭの各単語毎
にシンボルで表した読みを示すシンボル列を格納する。

【００５５】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００５６】単語照合部４は、ワン−パス・ビタビ復号
化法を用いて、バッファメモリ３を介して入力される特
徴パラメータのデータに基づいて、音素ＨＭＭ１１と単
語辞書１２とを用いて単語仮説を検出し尤度を計算して
出力する。ここで、単語照合部４は、各時刻の各ＨＭＭ
の状態毎に、単語内の尤度と発声開始からの尤度を計算
する。尤度は、単語の識別番号、単語の開始時刻、先行
単語の違い毎に個別にもつ。また、計算処理量の削減の
ために、音素ＨＭＭ１１及び単語辞書１２とに基づいて
計算される総尤度のうちの低い尤度のグリッド仮説を削
減する。単語照合部４は、その結果の単語仮説と尤度の
情報を発声開始時刻からの時間情報（具体的には、例え
ばフレーム番号）とともにバッファメモリ５を介して単
語仮説絞込部６に出力する。

【００５７】単語仮説絞込部６は、単語照合部４からバ
ッファメモリ５を介して出力される単語仮説に基づい
て、統計的言語モデルメモリ２２内のタスク適応化され
た統計的言語モデルを参照して、終了時刻が等しく開始
時刻が異なる同一の単語の単語仮説に対して、当該単語
の先頭音素環境毎に、発声開始時刻から当該単語の終了
時刻に至る計算された総尤度のうちの最も高い尤度を有
する１つの単語仮説で代表させるように単語仮説の絞り
込みを行った後、絞り込み後のすべての単語仮説の単語
列のうち、最大の総尤度を有する仮説の単語列を認識結
果として出力する。なお、タスク適応化された統計的言
語モデルは、各タスク毎に１つの統計的言語モデルを備
え、単語仮説絞込部６は、音声認識しようとするタスク
に対応する統計的言語モデルを選択的に参照する。本実
施形態においては、好ましくは、処理すべき当該単語の
先頭音素環境とは、当該単語より先行する単語仮説の最
終音素と、当該単語の単語仮説の最初の２つの音素とを
含む３つの音素並びをいう。

【００５８】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁，ａ₂，…，ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総尤度が最も高い仮説（例えば、図２
において１番上の仮説）以外を削除する。なお、上から
４番めの仮説は先頭音素環境が違うため、すなわち、先
行する単語仮説の最終音素がｘではなくｙであるので、
上から４番めの仮説を削除しない。すなわち、先行する
単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。

【００５９】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００６０】以上の実施形態において、特徴抽出部２
と、単語照合部４と、単語仮説絞込部６と、言語モデル
生成部２０とは、例えば、デジタル電子計算機などのコ
ンピュータで構成され、バッファメモリ３，５と、音素
ＨＭＭメモリ１１と、単語辞書メモリ１２と、学習用テ
キストデータメモリ２１と、統計的言語モデルメモリ２
２とは、例えばハードデイスクメモリなどの記憶装置で
構成される。

【００６１】以上実施形態においては、単語照合部４と
単語仮説絞込部６とを用いて音声認識を行っているが、
本発明はこれに限らず、例えば、音素ＨＭＭ１１を参照
する音素照合部と、例えばＯｎｅ Ｐａｓｓ ＤＰアル
ゴリズムを用いて統計的言語モデルを参照して単語の音
声認識を行う音声認識部とで構成してもよい。

【００６２】

【実施例】本発明者は、本実施形態で用いるタスク適応
化された統計的言語モデルの性能を確認するため、評価
実験を行った。実験用いたデータは、本特許出願人が所
有する自然発話データベース（例えば、従来技術文献１
１「Ｔ．Ｍｏｒｉｍｏｔｏｅｔ ａｌ．，“Ａ Ｓｐｅ
ｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｄａｔａｂａｓｅ
ｆｏｒ Ｓｐｅｅｃｈ Ｔｒａｎｓｌａｔｉｏｎ Ｒ
ｅｓｅａｒｃｈ”，ＩＣＳＬＰ，ｐｐ．１７９１−１７
９４，１９９４年」参照。）であり、現在１，０９８会
話、４４９，０７０単語（のべ）、６，７９７（異な
り）単語で構成されている。また、このデータベースは
表１に示すように、１５タスクから構成されており、各
タスクの単語数を表２に示す。これらのデータのうち、
約１／４の会話をランダムに選んでテストセットとし
て、残りの会話を学習セットとして使用した。ただし、
各タスクから最低でも１会話はテストセットとして選択
している。

【００６３】

【表１】 タスク一覧 ────────────────────────────── タスク番号 会話数 内容 ────────────────────────────── １ ４９１ ホテルのサービス ２ ３５１ ホテルの部屋の予約 ３ ５０ 観光バス・旅行パックの問い合わせ ４ ３６ ホテルの会議室の相談・予約 ５ ２８ 交通手段の問い合わせ ６ ２４ ホテルの部屋の相談 ７ ２２ 飛行機のフライトの予約 ８ ２２ 定期バス・列車の切符の問い合わせ ９ ２０ レンタカーの問い合わせ １０ １４ 演劇・コンサートのチケットの予約 １１ １２ レストランの予約 １２ ８ トラブル・忘れ物 １３ ８ 料理の注文 １４ ８ 道案内 １５ ４ ショッピング ──────────────────────────────

【００６４】

【表２】

【００６５】ここで、本発明に係る統計的言語モデルを
評価するために、パープレキシティを用いる。例えば、
複数ｎ個の単語からなる長い単語列ｗ₁ ⁿ＝ｗ₁ｗ₂…ｗ_n
があるときのエントロピーＨ（ｎ）は次式で表される。

【００６６】

【数１６】 Ｈ（ｎ）＝−（１／ｎ）・ｌｏｇ₂Ｐ（ｗ₁ ⁿ）

【００６７】ここで、Ｐ（ｗ₁ ⁿ）は単語列ｗ₁ ⁿの生成確
率であり、パープレキシティＰＰ（ｎ）は次式で表され
る。

【００６８】

【数１７】ＰＰ（ｎ）＝２^H(n)

【００６９】当該実験における統計的言語モデルとして
は、次の３種類のモデルを考える。 （ａ）不特定タスクモデル：全タスクのテキストで作成
したＮ−ｇｒａｍ。 （ｂ）特定タスクモデル：各タスクのテキストのみで作
成したＮ−ｇｒａｍ。 （ｃ）タスク適応モデル：不特定タスクモデルを各タス
クに適応したＮ−ｇｒａｍ。 これらの統計的言語モデルをタスク毎に、単語のｂｉｇ
ｒａｍ及び単語のｔｒｉｇｒａｍで作成した。そして、
本発明者は、本実施形態のタスク適応化された統計的言
語モデルを図１の連続音声認識装置に適用し、当該統計
的言語モデルの効果を確認した。音素認識の実験条件を
表３に示す。また、音響をパラメータもあわせて表３に
示す。

【００７０】

【表３】 実験条件 ─────────────────────────────────── 分析条件 サンプリング周波数：１２ＫＨｚ， ハミング窓：２０ｍｓ， フレーム周期：１０ｍｓ ─────────────────────────────────── 使用パラメータ １６次ＬＰＣケプストラム＋１６次Δケプストラム ＋ｌｏｇパワー＋Δｌｏｇパワー ─────────────────────────────────── 音響モデル ＨＭ網の男女別不特定話者モデル ４００状態，５混合 ───────────────────────────────────

【００７１】表３において、ＨＭ網の男女別不特定話者
モデルについては、従来技術文献１２「小坂ほか，“話
者混合ＳＳＳによる不特定話者音声認識”，日本音響学
会講演論文集，２−５−９，ｐｐ．１３５−１３６，平
成４年」に開示されている。この実験では、単語グラフ
を用いた連続音声認識法を用いて音響モデルおよび言語
モデルを連続音声認識装置に適用した。さらに、各モデ
ル及び各タスク毎のテストセットパープレキシティ値を
表４に示す。表４において、不特定タスクモデルはすべ
てのタスクの学習セットを用いて学習される一方、特定
タスクモデルとタスク適応化モデルは各対応するタスク
の学習セットを用いて学習される。そして、パープレキ
シティ値は各タスクのテストセットを入力データとして
用いたときに得られた値である。

【００７２】

【表４】 各モデルのタスク別パープレキシティ ─────────────────────────────────── 不特定タスクモデル 特定タスクモデル タスク適応化モデル ───────────────────────────── タスク番号 Bigram Trigram Bigram Trigram Bigram Trigram ─────────────────────────────────── １ 23.168 17.948 22.923 18.260 22.085 17.515 ２ 14.837 10.071 13.842 9.941 13.402 9.612 ３ 26.523 17.383 23.910 17.196 20.684 14.705 ４ 31.270 24.693 38.164 32.811 29.280 24.470 ５ 24.164 16.544 21.774 16.574 18.328 13.656 ６ 17.122 11.192 14.661 11.350 12.540 9.127 ７ 21.106 14.181 18.358 14.656 15.274 11.383 ８ 21.134 14.288 14.077 11.177 13.351 10.523 ９ 25.149 18.154 25.897 20.743 20.443 16.097 １０ 16.582 10.820 14.060 10.931 11.368 8.148 １１ 12.970 8.867 12.261 9.611 9.564 6.935 １２ 32.921 19.402 25.232 18.385 19.921 13.399 １３ 30.294 22.416 32.757 31.567 21.541 19.338 １４ 35.490 27.108 45.853 41.285 28.155 23.707 １５ 44.088 34.214 47.324 44.573 31.854 27.896 ─────────────────────────────────── 平均 25.121 17.819 24.740 20.604 19.186 15.101 ───────────────────────────────────

【００７３】表４から明らかなように、タスク適応化モ
デルのパープレキシティは、不特定タスクモデルと比較
して、平均で２４％（ｂｉｇｒａｍ），１５％（ｔｒｉ
ｇｒａｍ）低くなっている。特定タスクモデルと比較し
ても、平均で２２％（ｂｉｇｒａｍ），２７％（ｔｒｉ
ｇｒａｍ）低い。さらに、タスク適応化モデルのパープ
レキシティは、全てのタスクでｂｉｇｒａｍ，ｔｒｉｇ
ｒａｍの両方の場合において、不特定タスクモデル及び
特定モデルのいずれよりも低い。従って、本実施形態の
方法により、Ｎ−ｇｒａｍのタスク適応化が効果的に行
われていることが示せた。

【００７４】不特定タスクモデルと特定タスクモデルの
パープレキシティを比較すると、ｂｉｇｒａｍでは、特
定モデルのパープレキシティの方が不特定モデルよりも
低い値を示す場合が多いが、ｔｒｉｇｒａｍでは、不特
定タスクモデルの方が特定タスクモデルよりも低い場合
が多い。これは、単語ｂｉｇｒａｍでは、学習のスパー
ス性（密度がうすい、つまり疎であること。）が低いた
め、特徴を表すことのできる特定タスクモデルの方が有
利であるが、ｔｒｉｇｒａｍでは、学習がよりスパース
であるため、特定タスクの少ない量のテキストデータで
は、信頼できるパラメータ推定が行われていないことが
原因と考えられる。従って、タスク適応を行うと、大量
のテキストデータを用いたことにより、学習のスパース
性が解決でき、さらに、タスク適応化を行うことによ
り、そのタスクの言語特徴を表現できたものと考えられ
る。

【００７５】テキストデータ量が少ないタスク１２及び
１５等では、タスク適応化によるパープレキシティの減
少が非常に大きい。特にタスク１２では、不特定タスク
モデルと比較して３９％（ｂｉｇｒａｍ）及び３０％
（ｔｒｉｇｒａｍ）、特定タスクモデルと比較して２１
％（ｂｉｇｒａｍ）及び２７％（ｔｒｉｇｒａｍ）パー
プレキシティが減少している。すなわち、目的のタスク
のテキストデータが少量しか集まらない場合に、タスク
適応化を使用する効果が大きいと言える。ただし、学習
量の多いタスク１及び２のタスクにおいては、タスク適
応化によるパープレキシティの減少の割合が小さい。こ
れは、特定タスクモデルにおいては、そのタスクのテキ
ストデータ量が多いため、学習のスパース性がある程度
解決できているためと考えられる。

【００７６】以上説明したように、本実施形態によれ
ば、ＭＡＰ推定法を用いることにより、大量のデータか
ら作成されるＮ−ｇｒａｍをデータ量に応じて目的のタ
スクに効果的に適応化を行う手法を提案した。実験の結
果、タスク適応化によるパープレキシティの減少効果が
確認され、数千語程度の少量のテキストデータを用いる
だけで、適応化前のモデルよりも大幅に精度の良いＮ−
ｇｒａｍが構築できることがわかった。すなわち、少量
のテキストデータを用いて、従来例に比較して、より高
い遷移確率の予測精度及び信頼性を有する統計的言語モ
デルを生成することができるとともに、当該統計的言語
モデルを用いて音声認識することにより、従来例に比較
してより高い音声認識率で連続的に音声認識することが
できる。

【００７７】以上の実施形態において、統計的言語モデ
ルは、Ｎ−ｇｒａｍの言語モデルを含むが、ここで、Ｎ
は２及び３に限らず、４以上の自然数であってもよい。

【００７８】

【発明の効果】以上詳述したように本発明に係る請求項
１記載の統計的言語モデル生成装置によれば、所定の複
数のタスク毎の学習用テキストデータに基づいて最尤推
定法を用いて各タスク毎に単語のＮ−ｇｒａｍ（Ｎは２
以上の自然数である。）の遷移確率を演算する第１の演
算手段と、上記第１の演算手段によって演算された各タ
スク毎の単語のＮ−ｇｒａｍの遷移確率の出現分布を事
前知識の所定の確率分布と仮定し、各タスク毎の確率分
布の加重平均及び加重分散を演算した後、演算された加
重平均と加重分散に基づいて事前知識の確率分布のパラ
メータを演算する第２の演算手段と、上記第２の演算手
段によって演算された事前知識の確率分布のパラメータ
と、上記学習用テキストデータ内の特定タスクのテキス
トデータの事後知識における処理対象の単語列の直前の
単語列の出現回数と、処理対象の単語列の出現回数とに
基づいて、各タスク毎の単語のＮ−ｇｒａｍの遷移確率
を計算することにより、各タスク毎の単語のＮ−ｇｒａ
ｍの遷移確率を含む統計的言語モデルを生成する第３の
演算手段とを備える。従って、少量のテキストデータを
用いて、従来例に比較して、より高い遷移確率の予測精
度及び信頼性を有する統計的言語モデルを生成すること
ができる。

【００７９】また、請求項２記載の統計的言語モデル生
成装置においては、請求項１記載の統計的言語モデル生
成装置において、上記確率分布は、ベータ分布又はディ
リクレ分布である。従って、少量のテキストデータを用
いて、従来例に比較して、より高い遷移確率の予測精度
及び信頼性を有する統計的言語モデルを生成することが
できる。

【００８０】さらに、請求項３記載の統計的言語モデル
生成装置においては、請求項１又は２記載の統計的言語
モデル生成装置において、さらに、上記第３の演算手段
によって演算された各タスク毎の単語のＮ−ｇｒａｍの
遷移確率に基づいて，所定の平滑化処理を実行し、処理
後の各タスク毎の単語のＮ−ｇｒａｍの遷移確率を含む
統計的言語モデルを生成する第４の演算手段を備える。
従って、少量のテキストデータを用いて、従来例に比較
して、より高い遷移確率の予測精度及び信頼性を有する
統計的言語モデルを生成することができる。

【００８１】本発明に係る請求項４記載の音声認識装置
においては、入力される発声音声文の音声信号に基づい
て、所定の統計的言語モデルを用いて音声認識する音声
認識手段を備えた音声認識装置において、上記音声認識
手段は、請求項１、２又は３記載の統計的言語モデル生
成装置によって生成された統計的言語モデルを参照して
音声認識する。従って、従来例に比較して、より高い遷
移確率の予測精度及び信頼性を有する統計的言語モデル
を用いて音声認識することにより、従来例に比較してよ
り高い音声認識率で連続的に音声認識することができ
る。

【００８２】本発明に係る請求項５記載の音声認識装置
は、入力される発声音声文の音声信号に基づいて上記発
声音声文の単語仮説を検出し尤度を計算することによ
り、連続的に音声認識する音声認識手段を備えた音声認
識装置において、上記音声認識手段は、請求項１、２又
は３記載の統計的言語モデル生成装置によって生成され
た統計的言語モデルを参照して、終了時刻が等しく開始
時刻が異なる同一の単語の単語仮説に対して、当該単語
の先頭音素環境毎に、発声開始時刻から当該単語の終了
時刻に至る計算された総尤度のうちの最も高い尤度を有
する１つの単語仮説で代表させるように単語仮説の絞り
込みを行う。従って、従来例に比較して、より高い遷移
確率の予測精度及び信頼性を有する統計的言語モデルを
用いて音声認識することにより、従来例に比較してより
高い音声認識率で連続的に音声認識することができる。

【図面の簡単な説明】

【図１】 本発明に係る一実施形態である連続音声認識
装置のブロック図である。

【図２】 図１の連続音声認識装置における単語仮説絞
込部６の処理を示すタイミングチャートである。

【図３】 図１の言語モデル生成部２０の処理を示すブ
ロック図である。

【図４】 図１の言語モデル生成部２０によって実行さ
れるＮ−ｇｒａｍのタスク適応化処理における事前分布
を示すグラフである。

【図５】 図１の言語モデル生成部２０によって実行さ
れる言語モデル生成処理を示すフローチャートである。

【符号の説明】

１…マイクロホン、 ２…特徴抽出部、 ３，５…バッファメモリ、 ４…単語照合部、 ６…単語仮説絞込部、 １１…音素ＨＭＭメモリ、 １２…単語辞書メモリ、 ２０…言語モデル生成部、 ２１…学習用テキストデータメモリ、 ２２…タスク適応化された統計的言語モデルメモリ、 ３０−１乃至３０−Ｍ…タスクのテキストデータ、 ３１…不特定タスクのＮ−ｇｒａｍを含む統計的言語モ
デル、 ３２…ＭＡＰ推定法を用いたパラメータ推定処理、 ３３…平滑化処理。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 所定の複数のタスク毎の学習用テキスト
   データに基づいて最尤推定法を用いて各タスク毎に単語
   のＮ−ｇｒａｍ（Ｎは２以上の自然数である。）の遷移
   確率を演算する第１の演算手段と、 上記第１の演算手段によって演算された各タスク毎の単
   語のＮ−ｇｒａｍの遷移確率の出現分布を事前知識の所
   定の確率分布と仮定し、各タスク毎の確率分布の加重平
   均及び加重分散を演算した後、演算された加重平均と加
   重分散に基づいて事前知識の確率分布のパラメータを演
   算する第２の演算手段と、 上記第２の演算手段によって演算された事前知識の確率
   分布のパラメータと、上記学習用テキストデータ内の特
   定タスクのテキストデータの事後知識における処理対象
   の単語列の直前の単語列の出現回数と、処理対象の単語
   列の出現回数とに基づいて、各タスク毎の単語のＮ−ｇ
   ｒａｍの遷移確率を計算することにより、各タスク毎の
   単語のＮ−ｇｒａｍの遷移確率を含む統計的言語モデル
   を生成する第３の演算手段とを備えたことを特徴とする
   統計的言語モデル生成装置。
2. 【請求項２】 上記確率分布は、ベータ分布又はディリ
   クレ分布であることを特徴とする請求項１記載の統計的
   言語モデル生成装置。
3. 【請求項３】 上記統計的言語モデル生成装置はさら
   に、上記第３の演算手段によって演算された各タスク毎
   の単語のＮ−ｇｒａｍの遷移確率に基づいて，所定の平
   滑化処理を実行し、処理後の各タスク毎の単語のＮ−ｇ
   ｒａｍの遷移確率を含む統計的言語モデルを生成する第
   ４の演算手段を備えたことを特徴とする請求項１又は２
   記載の統計的言語モデル生成装置。
4. 【請求項４】 入力される発声音声文の音声信号に基づ
   いて、所定の統計的言語モデルを用いて音声認識する音
   声認識手段を備えた音声認識装置において、 上記音声認識手段は、請求項１、２又は３記載の統計的
   言語モデル生成装置によって生成された統計的言語モデ
   ルを参照して音声認識することを特徴とする音声認識装
   置。
5. 【請求項５】 入力される発声音声文の音声信号に基づ
   いて上記発声音声文の単語仮説を検出し尤度を計算する
   ことにより、連続的に音声認識する音声認識手段を備え
   た音声認識装置において、 上記音声認識手段は、請求項１、２又は３記載の統計的
   言語モデル生成装置によって生成された統計的言語モデ
   ルを参照して、終了時刻が等しく開始時刻が異なる同一
   の単語の単語仮説に対して、当該単語の先頭音素環境毎
   に、発声開始時刻から当該単語の終了時刻に至る計算さ
   れた総尤度のうちの最も高い尤度を有する１つの単語仮
   説で代表させるように単語仮説の絞り込みを行うことを
   特徴とする音声認識装置。