WO2008001485A1 - système de génération de modèles de langue, procédé de génération de modèles de langue et programme de génération de modèles de langue - Google Patents

Description

明 細 書

言語モデル生成システム、 言語モデル生成方法および言語モデル生 成用プログラム

技術分野

[0001 ] 本発明は言語モデル生成システム、 言語モデル生成方法および言語モデル 生成用プログラムに関し、 特に認識対象の話題が変化する場合にその変化傾 向を考慮して適切に動作する言語モデル生成システム、 言語モデル生成方法 および言語モデル生成用プ口グラムに関する。

背景技術

[0002] 従来の言語モデル生成システムの一例が、 音声認識システムに組み込まれ た形で特許文献 1に記載されている。 図 4に示すように、 この従来の音声認 識システムは、 音声入力手段 9 0 1 と、 音響分析手段 9 0 2と、 音節認識手 段 （第一段階認識） 9 0 4と、 話題遷移候補点設定手段 9 0 5と、 言語モデ ル設定手段 9 0 6と、 単語列探索手段 （第二段階認識） 9 0 7と、 音響モデ ル記憶手段 9 0 3と、 差分モデル 9 0 8と、 言語モデル 1記憶手段 9 0 9 _ 1 と、 言語モデル 2記憶手段 9 0 9 _ 2、 ■■■、 言語モデル n記憶手段 9 0 9 - nとから構成されている。

[0003] このような構成を有する従来の音声認識システムは特に複数の話題を含む 発話に対してつぎのように動作する。

[0004] すなわち、 一発話中に所定の数の話題が存在すると仮定し、 可能なあらゆ る境界 （例えば全ての音節間） を話題境界の候補として発話を分割し、 それ ぞれの区間に対して、 言語モデル k記憶手段 （k = 1〜n ) に記憶された n 個の話題別言語モデルをそれぞれ全て適用し、 最もスコアの高かった話題境 界■言語モデルの組み合わせを選択し、 その時得られた認識結果を最終的な 認識結果とする。 選択された言語モデルの組み合わせは発話に応じて新たな 言語モデルを生成したと考えることができる。 これにより、 一発話に複数の 話題が含まれる場合にも最適な認識結果を出力することができる。 特許文献 1 ：特開 2 0 0 2 _ 2 2 9 5 8 9号公報 （第 8頁、 図 1 )

発明の開示

発明が解決しょうとする課題

[0005] 第 1の問題点は、 従来の言語モデル生成システムでは認識対象となる発話 に対し当該発話を話題毎に分割し、 それぞれ分割された区間毎に最適な言語 モデルを用いるのみで、 複数区間の話題同士の関連を考慮した言語モデルを 生成できておらず、 必ずしも最適な認識結果が得られないということである 。 例えば、 ある話題 Aに引き続き話題 Bの発話がなされたときに、 それに続 く発話は話題 A及び B及びその順序に影響される可能性が高いが、 従来の言 語モデル生成システムではそのような話題の変化を反映した言語モデルの生 成を行えない。

[0006] その理由は、 従来の言語モデル生成システムでは所定の発話に対し決めら れた話題毎に決められた区間数に分割し、 それぞれに対して最適な言語モデ ルを選択するのみであり、 話題そのものの履歴を有効に用いて次の発話を予 測する言語モデルを生成していないためである。

[0007] 本発明の目的は、 これまで認識対象においてなされた話題の履歴に応じた 適切な言語モデルを生成できる言語モデル生成システム、 言語モデル生成方 法および言語モデル生成用プ口グラムを提供することにある。

課題を解決するための手段

[0008] 本発明によれば、 話題履歴依存言語モデル記憶手段と、 話題履歴蓄積手段 と、 言語スコア計算手段とを備えた言語モデル生成システムであって、 前記 話題履歴蓄積手段に蓄積された発話における話題の履歴と、 前記話題履歴依 存言語モデル記憶手段に記憶された言語モデルを用い、 前記言語スコア計算 手段によって話題の履歴に応じた言語スコアを計算することを特徴とする言 語モデル生成システムが提供される。

[0009] 上記の言語モデル生成システムにおいて、 前記話題履歴依存言語モデル記 憶手段は、 直近 n話題のみに依存する話題履歴依存言語モデルを記憶するよ うにしてもよい。 [0010] 上記の言語モデル生成システムにおいて、 前記話題履歴蓄積手段は、 直近 n話題のみを蓄積するようにしてもよい。

[001 1 ] 上記の言語モデル生成システムにおいて、 前記話題履歴依存言語モデル記 憶手段は話題別の言語モデルを記憶し、 前記言語スコア計算手段は前記話題 履歴蓄積手段に蓄積された話題履歴によって前記話題別言語モデルから言語 モデルを選択し、 前記選択された言語モデルを混合することによって生成さ れた新たな言語モデルを用いて言語スコァを計算するようにしてもよい。

[0012] 上記の言語モデル生成システムにおいて、 前記言語スコア計算手段は前記 話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデルを選択する ようにしてもよい。

[0013] 上記の言語モデル生成システムにおいて、 前記言語スコア計算手段は選択 された話題別言語モデルの確率パラメータを線形結合するようにしてもよい

[0014] 上記の言語モデル生成システムにおいて、 さらに前記言語スコア計算手段 は線形結合の際に話題履歴において古い話題に対して小さくなるような係数 を用いるようにしてもよい。

[0015] 上記の言語モデル生成システムにおいて、 前記話題履歴依存言語モデル記 憶手段は言語モデル間に距離が定義できる話題別言語モデルを記憶し、 前記 言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話 題別言語モデル及び、 前記話題に対応する話題別言語モデルと距離の小さい 別の話題別言語モデルを選択するようにしてもよい。

[001 6] 上記の言語モデル生成システムにおいて、 前記言語スコア計算手段は選択 された話題別言語モデルの確率パラメータを線形結合するようにしてもよい

[001 7] 上記の言語モデル生成システムにおいて、 さらに前記言語スコア計算手段 は線形結合の際に話題履歴において古い話題に対して小さくなるような係数 を用いるようにしてもよい。

[0018] 上記の言語モデル生成システムにおいて、 さらに前記言語スコア計算手段 は線形結合の際に話題履歴に出現した話題の話題別言語モデルからの距離が 遠い話題別言語モデルに対して小さくなるような係数を用いるようにしても よい。

[001 9] また、 本発明によれば、 話題履歴依存言語モデル記憶手段と、 話題履歴蓄 積手段と、 言語スコア計算手段とを備えた言語モデル生成システムにおける 言語モデル生成方法であって、 話題履歴蓄積手段に蓄積された発話における 話題の履歴と、 話題履歴依存言語モデル記憶手段に記憶された言語モデルを 用い、 言語スコァ計算手段によって話題の履歴に応じた言語スコアを計算す ることを特徴とする言語モデル生成方法が提供される。

[0020] また、 本発明によれば、 コンピュータを上記に記載の言語モデル生成シス テムとして機能させるためのプログラムが提供される。

[0021 ] また、 本発明によれば、 上記に記載の言語モデル生成システムにおいて生 成された言語モデルを参照して音声認識を行う音声認識手段を備えることを 特徴とする音声認識システムが提供される。

[0022] また、 本発明によれば、 上記に記載の言語モデル生成方法において生成さ れた言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴 とする音声認識方法が提供される。

[0023] また、 本発明によれば、 コンピュータを上記に記載の音声認識システムと して機能させるためのプログラムが提供される。

発明の効果

[0024] 本発明の効果は、 話題が変化する認識対象に対して適切に動作する言語モ デルの生成を行えることにある。

[0025] その理由は、 これまで認識対象において生じた話題の履歴を蓄積し、 蓄積 された話題の履歴を情報として用いることで、 話題の変化を次に用いる言語 モデルに適切に反映できるためである。

産業上の利用可能性

[0026] 本発明によれば、 音声を認識する音声認識装置や、 音声認識をコンビユー タで実現するためのプログラムといった用途に適用できる。 また、 音声だけ でなく、 文字を認識する用途にも適用できる。

図面の簡単な説明

[0027] 上述した目的、 およびその他の目的、 特徴および利点は、 以下に述べる好 適な実施の形態、 およびそれに付随する以下の図面によってさらに明らかに なる。

[図 1 ]第 1の実施の形態の構成を示すプロック図である。

[図 2]第 1の実施の形態の動作を示す流れ図である。

[図 3]第 2の実施の形態の構成を示すプロック図である。

[図 4]従来技術の構成を示すブロック図である。

発明を実施するための最良の形態

[0028] 以下、 図面を参照して本発明を実施するための最良の形態について詳細に 説明する。

[0029] 本発明の言語モデル生成システムは、 話題履歴蓄積手段 1 0 9と、 話題履 歴依存言語モデル記憶手段 1 0 5と、 言語スコア計算手段 1 1 0とを備え、 時間順序を伴う認識対象における話題の履歴が話題履歴蓄積手段 1 0 9に蓄 積される。 言語スコア計算手段 1 1 0において、 話題履歴依存言語モデル記 憶手段 1 0 5に記憶された話題履歴依存言語モデルと、 話題履歴蓄積手段 1 0 9に蓄積された話題履歴とを同時に用いて認識で用いる言語スコアを計算 する。

[0030] このような構成を採用し、 次に入力される認識対象に対し、 これまでの話 題の履歴に応じた言語モデルを生成することができ本発明の目的を達成する ことができる。

[0031 ] 図 1を参照すると、 本発明の第 1の実施の形態は、 音声入力手段 1 0 1 と 、 音響分析手段 1 0 2と、 探索手段 1 0 3と、 音響モデル記憶手段 1 0 4と 、 話題履歴依存言語モデル記憶手段 1 0 5と、 認識結果出力手段 1 0 6と、 認識結果蓄積手段 1 0 7と、 テキスト分割手段 1 0 8と、 話題履歴蓄積手段 1 0 9と、 言語スコア計算手段 1 1 0とから構成されている。

[0032] これらの手段はそれぞれ概略つぎのように動作する。 [0033] 音声入力手段 1 0 1は、 音声信号を入力する。 具体的には例えばマイクか ら入力された電気信号をサンプリングしてデジタル化して入力する。 音響分 析手段 1 02は入力された音声信号を音声認識に適した特徴量に変換するた めに音響分析を行う。 特徴量としては具体的には例えば L P C (L i n e a r P r e d i c t i v e C o d i n g) や M FCC (M e l F r e q u e n c y C e p s t r um C o e f f i c i e n t ) 等力《よく用しゝら れる。 探索手段 1 03は音響モデル記憶手段 1 04で記憶されている音響モ デルと言語スコア計算手段 1 1 0から与えられる言語スコアに従い、 音響分 析手段 1 02から得られる音声特徴量の中から認識結果を探索する。 音響モ デル記憶手段 1 04は特徴量で表現された音声の標準パターンを記憶してい る。 具体的には例えば HMM (H i d d e n Ma r k o v Mo d e l ) やニューラルネッ卜といったモデルがよく用いられる。 言語スコア計算手段 1 1 0は話題履歴蓄積手段 1 09に蓄積された話題の履歴と話題履歴依存言 語モデル記憶手段 1 05に記憶された話題履歴依存言語モデルを用いて言語 スコアを計算する。 話題履歴依存言語モデル記憶手段 1 05は話題の履歴に 応じてスコァが変化するような言語モデルを記憶する。 話題とは例えば発話 における主題の属する分野であり、 政治■経済■スポーツのように人間が分 類するものや、 クラスタリング等でテキス卜から自動的に得られるものを含 む。 例えば単語単位に定義される言語モデルにおいて、 過去 n話題に依存す る話題履歴依存言語モデルは以下のように表現される。

[0034] [数 1]

ここで tは話題を示し、 サフィックスは時間順序を示す。 hは話題以外の コンテキストを示す。 例えば N_ g r am言語モデルであれば過去 N単語で ある。 このような言語モデルは学習コ一パスが話題毎に分割され、 各区間に 話題の種類が付与されていれば例えば最尤推定等を用いて推定できる。 また、 次のように表現される話題履歴依存言語モデルも考えられる。 [0035] [数 2]

これはすなわち次の発話が属すると考えられる話題 t _k+1を直接的に予測す るモデルとなっている。 コンテキス卜に用いる話題履歴の単位は話題の切り 替わり点毎としてもよいし、 一定時間毎、 一定単語数毎、 一定発話数毎、 例 えば無音により音響的に区切られる音声区間毎としてもよい。 話題履歴依存 言語モデルを得る手法として先に述べた以外に例えば、 話題の継続時間の分 布をモデルに組み込むことや、 先験的な知識を組み込んでもよい。 先験的な 知識としては例えば、 話題の変化が少ない時には同じ話題が続く可能性が高 いということや、 話題の変化が大きい時には異なる話題に変わる可能性が高 いということ等である。 コンテキス卜として必ずしも過去 n話題全てを用い る必要はなく、 必要なコンテキストのみ用いることもできる。 例えば予め定 めた話題の重要度が小さい話題は用いないことや、 継続時間が一定以下の話 題は用いないこと、 当該話題がコンテキス卜に出現した延べ回数が一定以下 の話題は用いないこと等が考えられる。 認識結果出力手段 1 06は探索手段 1 03により得られた認識結果を出力する。 例えば認識結果テキストを画面 に表示したりすることが考えられる。 認識結果蓄積手段 1 07は探索手段 1 03により得られた認識結果を時系列に従い蓄積する。 認識結果蓄積手段 1 07は全ての認識結果を蓄積してもよいし、 最近の一定量の結果を蓄積して もよい。

[0036] テキスト分割手段 1 08は、 認識結果蓄積手段 1 07に蓄積された認識結 果テキストを話題に応じて分割する。 この場合、 これまで認識が行われた発 話を話題に従って分割することとなる。 テキストを話題に応じて分割する手 段は具体的には例えば 「T. Ko s h i n a k a e t a に ， " AN H MM- B A S E D T EXT S EGMEN TAT I ON METHOD US I NG VAR I AT I ONA L BAYES AP PROACH A N D I TS AP P L I CAT I ON TO LVCS R FOR BR OADCAS T N EWS, "P r o c e e d i n g s o f I CASS P 2005, p p. 1 -485-488, 2005. 」 等を用いて実現され る。 話題履歴蓄積手段 1 09はテキスト分割手段 1 08から得られる話題の 時系列を発話と対応して蓄積する。 話題履歴蓄積手段 1 09は全ての話題の 履歴を蓄積してもよいし、 最近の一定量の履歴を蓄積してもよい。 特に前述 の過去 n話題に依存する話題履歴依存言語モデルの場合には最近 n話題を蓄 積しておけば十分である。 話題履歴蓄積手段 1 09に蓄積された話題履歴は 言語スコア計算手段 1 1 0において話題履歴依存言語モデル記憶手段 1 05 に記憶された言語モデルを用いて言語スコアを計算する際に使用される。

[0037] 次に、 図 1及び図 2のフローチャートを参照して本実施の形態の全体の動 作について詳細に説明する。

[0038] まず、 音声入力手段 1 01において音声データが入力される （図 2のステ ップ A 1 ) 。 次に、 入力された音声データを音響分析手段 1 02によって音 声認識に適した特徴量に変換する （ステップ A 2) 。 探索手段 1 03で音声 認識を行うため、 言語スコア計算手段 1 1 0は話題履歴蓄積手段 1 09に蓄 積された話題履歴を取得する （ステップ A3) 。 話題履歴蓄積手段 1 09に おいて、 何も蓄積されていない状態を初期状態としてもよいし、 事前に話題 が予想できる場合にはその話題を蓄積した状態を初期状態としてもよい。 次 に、 探索手段 1 03において音響モデル記憶手段 1 04に記憶された音響モ デルと、 言語スコア計算手段 1 1 0によって計算された言語スコアとを用い て、 取得された音声特徴量に対して探索を行う （ステップ A 4) 。 これによ り得られた認識結果は認識結果出力手段 1 06によって適切に出力され、 認 識結果蓄積手段 1 07に時間順に従って蓄積される （ステップ A5) 。

[0039] 認識結果蓄積手段 1 07において、 何も蓄積されていない状態を初期状態 としてもよいし、 事前に発話に関する話題のテキス卜が得られる場合にはそ のテキストを蓄積した状態を初期状態としてもよい。 次に、 テキスト分割手 段 1 08によって認識結果蓄積手段 1 07に蓄積された認識結果を話題毎に 分割する （ステップ A 6) 。 この時、 蓄積された認識結果を全て対象として 処理を行ってもよいし、 新規に追加された認識結果のみ対象として処理を行 つてもよい。 最後に、 テキスト分割手段 1 0 8によって得られた分割に従い 話題の履歴を時間順に従って話題履歴蓄積手段 1 0 9に蓄積する （ステップ A 7 ) 。 以後、 音声が入力される度に上記の処理が繰り返される。 分かり易 さのため、 入力される音声を動作の単位として全体の動作を説明したが、 実 際には各処理が並列にパイプライン処理で動作していてもよいし、 複数の音 声に対して一度処理を行うように動作してもよい。 本システムでは話題履歴 を用いて認識するが、 話題の履歴に、 これまで認識した発話だけでなく、 現 在認識対象となっている発声の話題を加えてもよい。 その場合、 現在の発声 の話題を推定する必要があり、 例えば話題非依存の言語モデル等を用いて一 度認識を行い話題を推定し、 再度同じ発声に対して話題履歴依存言語モデル を用いて認識を行う。

[0040] 次に、 本実施の形態の効果について説明する。

[0041 ] 本実施の形態では、 話題履歴蓄積手段を持ち、 それに蓄積された話題履歴 をコンテキストとして話題依存言語モデルを用いて言語スコアを行うよう構 成されているため、 話題の変化を伴う発話に対して精度良く認識できる言語 モデルを生成することができる。

[0042] 次に、 本発明の第 2の実施の形態について図面を参照して詳細に説明する

[0043] 図 3を参照すると、 第 1の実施の形態と比べ話題履歴依存言語モデル記憶 手段 1 0 5の代わりに話題別言語モデル記憶手段 2 1 0、 言語スコア計算手 段 1 1 0の代わりに話題別言語モデル選択手段 2 1 1、 話題別言語モデル混 合手段 2 1 2が追加されている。

[0044] これらの手段はそれぞれ概略つぎのように動作する。

[0045] 話題別言語モデル記憶手段 2 1 0は話題毎に作成された複数の言語モデル を記憶する。 このような言語モデルは例えば前述のテキスト分割方法を用い て学習コ一パスを分割し、 それぞれ話題毎に言語モデルを作成することで得 られる。 話題別言語モデル選択手段 2 1 1は話題履歴蓄積手段 1 0 9に蓄積 された話題履歴に従い話題別言語モデル記憶手段 2 1 0に記憶された話題別 言語モデルから適切な言語モデルを選択する。 例えば、 話題履歴から得られ る最近 n話題に関する言語モデルを選択することができる。 話題別言語モデ ル混合手段 2 1 2は話題別言語モデル選択手段 2 1 1によって選択された言 語モデルを混合して一つの話題履歴依存言語モデルを生成する。 例えば最近 n話題に依存する言語モデルとして、 最近 n話題のそれぞれの言語モデルを 用いて以下のような過去 n話題に依存する話題履歴依存言語モデルを生成す ることができる。

[0046] [数 3] K … ） =Σ ( ， ）

i

ここで、 tは話題、 hは話題以外のコンテキストである。 λは話題履歴に 出現する話題毎に与えられる混合係数である。 λは例えば (—様） で あったり、 最近の話題であれば大きく、 より過去の話題であれば小さくなる よう設定できる。 右辺において、 コンテキスト tが一つの例を挙げているが 、 tが複数である場合も同様に考えられる。 話題別言語モデル記憶手段 2 1 0に記憶される言語モデル同士に距離が定義できる場合には話題別言語モデ ル選択手段 2 1 1において話題履歴に出現した話題に関する言語モデルだけ でなく、 その言語モデルと近い言語モデルを合わせて選択することができる 。 このような距離には言語モデル間の語彙の重なり度合いや、 言語モデルが 確率分布で表現される場合には分布間の距離、 言語モデルの元となった学習 コ一パスの類似度等を用いることができる。 このような場合に話題別言語モ デル混合手段 2 1 2において、 例えば最近 n話題に依存する言語モデルとし て、 最近 n話題の言語モデル及びその近傍の言語モデルを用いて以下のよう な過去 n話題に依存する話題履歴依存言語モデルを生成できる。

[0047] [数 4] ここで、 tは話題、 hは話題以外のコンテキストである。 λは話題履歴に 出現する話題毎に与えられる混合係数である。 ωはある話題の近傍の言語モ デル毎に与えられる混合係数、 d ( t 1 , t 2 ) は話題 t 1の言語モデルと 話題 t 2の言語モデルの距離、 Θは定数である。 ωは例えば dに反比例する ような値を設定できる。

[0048] 次に、 本発明を実施するための最良の形態の効果について説明する。

[0049] 本発明を実施するための最良の形態では、 複数の話題毎に作成された話題 別言語モデル記憶手段を持ち、 話題履歴に従いそれらを適切に組み合わせて 話題履歴依存言語モデルを生成するよう構成されているため、 事前に話題履 歴依存言語モデルを準備することなく、 話題の変化を伴う音声に対して精度 良く認識できる言語モデルの生成を行うことができる。

[0050] なお、 図 1、 図 3に示す装置はハードウェア、 ソフトウェア又はこれらの 組合せにより実現できる。 ソフトウェアにより実現するとは、 コンピュータ 力 コンピュータを当該装置として機能させるためのプログラムを実行する ことによって実現することをいう。

Claims

請求の範囲

[1 ] 話題履歴依存言語モデル記憶手段と、 話題履歴蓄積手段と、 言語スコア計 算手段とを備えた言語モデル生成システムであって、

前記話題履歴蓄積手段に蓄積された発話における話題の履歴と、 前記話題 履歴依存言語モデル記憶手段に記憶された言語モデルを用い、 前記言語スコ ァ計算手段によって話題の履歴に応じた言語スコアを計算することを特徴と する言語モデル生成システム。

[2] 前記話題履歴依存言語モデル記憶手段は、 直近 n話題のみに依存する話題 履歴依存言語モデルを記憶することを特徴とする請求項 1記載の言語モデル 生成システム。

[3] 前記話題履歴蓄積手段は、 直近 n話題のみを蓄積することを特徴とする請 求項 1または 2記載の言語モデル生成システム。

[4] 前記話題履歴依存言語モデル記憶手段は話題別の言語モデルを記憶し、 前 記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題履歴によつ て前記話題別言語モデルから言語モデルを選択し、 前記選択された言語モデ ルを混合することによって生成された新たな言語モデルを用いて言語スコァ を計算することを特徴とする請求項 1ないし 3のいずれか 1項記載の言語モ デル生成システム。

[5] 前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応 する話題別言語モデルを選択することを特徴とする請求項 4記載の言語モデ ル生成システム。

[6] 前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータ を線形結合することを特徴とする請求項 4または 5記載の言語モデル生成シ ステム。

[7] さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話 題に対して小さくなるような係数を用いることを特徴とする請求項 6記載の 言語モデル生成システム。

[8] 前記話題履歴依存言語モデル記憶手段は言語モデル間に距離が定義できる 話題別言語モデルを記憶し、 前記言語スコア計算手段は前記話題履歴蓄積手 段に蓄積された話題に対応する話題別言語モデル及び、 前記話題に対応する 話題別言語モデルと距離の小さい別の話題別言語モデルを選択することを特 徵とする請求項 4記載の言語モデル生成システム。

[9] 前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータ を線形結合することを特徴とする請求項 8記載の言語モデル生成システム。

[10] さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話 題に対して小さくなるような係数を用いることを特徴とする請求項 9記載の 言語モデル生成システム。

[11 ] さらに前記言語スコァ計算手段は線形結合の際に話題履歴に出現した話題 の話題別言語モデルからの距離が遠い話題別言語モデルに対して小さくなる ような係数を用いることを特徴とする請求項 9または 1 0記載の言語モデル 生成システム。

[12] 請求項 1ないし 1 1のいずれか 1項に記載の言語モデル生成システムにお いて生成された言語モデルを参照して音声認識を行う音声認識手段を備える ことを特徴とする音声認識システム。

[13] 話題履歴依存言語モデル記憶手段と、 話題履歴蓄積手段と、 言語スコア計 算手段とを備えた言語モデル生成システムにおける言語モデル生成方法であ つて、

前記話題履歴蓄積手段に蓄積された発話における話題の履歴と、 前記話題 履歴依存言語モデル記憶手段に記憶された言語モデルを用い、 前記言語スコ ァ計算手段によって話題の履歴に応じた言語スコアを計算することを特徴と する言語モデル生成方法。

[14] 前記話題履歴依存言語モデル記憶手段は、 直近 n話題のみに依存する話題 履歴依存言語モデルを記憶することを特徴とする請求項 1 3記載の言語モデ ル生成方法。

[15] 前記話題履歴蓄積手段は、 直近 n話題のみを蓄積することを特徴とする請 求項 1 3または 1 4記載の言語モデル生成方法。

[16] 前記話題履歴依存言語モデル記憶手段は話題別の言語モデルを記憶し、 前 記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題履歴によつ て前記話題別言語モデルから言語モデルを選択し、 前記選択された言語モデ ルを混合することによって生成された新たな言語モデルを用いて言語スコァ を計算することを特徴とする請求項 1 3ないし 1 5のいずれか 1項記載の言 語モデル生成方法。

[17] 前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応 する話題別言語モデルを選択することを特徴とする請求項 1 6記載の言語モ デル生成方法。

[18] 前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータ を線形結合することを特徴とする請求項 1 6または 1 7記載の言語モデル生 成方法。

[19] さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話 題に対して小さくなるような係数を用いることを特徴とする請求項 1 8記載 の言語モデル生成方法。

[20] 前記話題履歴依存言語モデル記憶手段は言語モデル間に距離が定義できる 話題別言語モデルを記憶し、 前記言語スコア計算手段は前記話題履歴蓄積手 段に蓄積された話題に対応する話題別言語モデル及び、 前記話題に対応する 話題別言語モデルと距離の小さい別の話題別言語モデルを選択することを特 徵とする請求項 1 6記載の言語モデル生成方法。

[21 ] 前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータ を線形結合することを特徴とする請求項 2 0記載の言語モデル生成方法。

[22] さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話 題に対して小さくなるような係数を用いることを特徴とする請求項 2 1記載 の言語モデル生成方法。

[23] さらに前記言語スコア計算手段は線形結合の際に話題履歴に出現した話題 の話題別言語モデルからの距離が遠い話題別言語モデルに対して小さくなる ような係数を用いることを特徴とする請求項 2 1または 2 2記載の言語モデ ル生成方法。

[24] 請求項 1 3ないし 2 3のいずれか 1項に記載の言語モデル生成方法におい て生成された言語モデルを参照して音声認識を行う音声認識手段を備えるこ とを特徴とする音声認識方法。

[25] コンピュータを請求項 1乃至 1 1の何れか 1項に記載の言語モデル生成シ ステムとして機能させるためのプログラム。

[26] コンピュータを請求項 1 2に記載の音声認識システムとして機能させるた めのプログラム。