JP5956913B2 - 言語モデル生成装置、言語モデル生成方法、プログラム、記録媒体 - Google Patents

Description

本発明は音声認識に用いられる言語モデルを生成する言語モデル生成装置、言語モデル生成方法、プログラムに関する。

音声認識技術を応用して会議録を自動で作成するシステムが知られている（例えば、非特許文献１）。以下、図１、図２を参照して、会議録自動作成システムの従来例について説明する。図１は、従来の会議録自動作成システム９０００の構成を示すブロック図である。図２は、従来の会議録自動作成システム９０００の動作を示すフローチャートである。図１に示すように、従来の会議録自動作成システム９０００は、録音装置７、音声認識装置８、言語モデル生成装置９で構成される。図１の例では、参加者数をＫ人（Ｋは１以上の整数）とし、録音装置７は第１マイクロホン７１−１、第２マイクロホン７１−２、…、第Ｋマイクロホン７１−Ｋと、音声信号取得部７２とを備える。音声認識装置８は、特徴量分析部８３と、音声認識処理部８４と、認識結果格納部８５と、音響モデル記憶部８６と、言語モデル記憶部８７とを備える。言語モデル生成装置９は、学習コーパス記憶部９１と、言語モデル生成部９２とを備える。音響モデル記憶部８６には音響モデルが記憶されている。音響モデルとは、／ａ／や／ｋ／など、各音素が持つ音響的特徴を有した辞書である。音声認識における音響モデルは入力音声がどのような音素列かを推測する役割を持つ。言語モデル記憶部８７には後述する学習コーパスによって話題ごとに最適化された言語モデルが記憶されている。音声認識における言語モデルはテキストが単語の並びとして適切かを判断するための情報を持った辞書である。一般的な音声認識システムにおいては音響モデルと言語モデルを用いて、入力音声に対して最も適切なテキスト（単語列）を選択する。学習コーパス記憶部９１には、学習コーパスが記憶されている。学習コーパスとは、自然言語の文章データを構造化し大規模に集積したもののことである。構造化において文章データには言語情報（品詞、統語構造など）が付与される。言語モデル生成装置９の言語モデル生成部９２は、学習コーパスを用いて、話題ごとに最適化された言語モデルを生成する。生成された言語モデルは言語モデル記憶部８７に記憶される。図１では、言語モデル生成装置９を音声認識装置８とは別の装置として例示したが、これに限られず、言語モデル生成装置９は音声認識装置８に内蔵されていてもよい。まず、第１〜第Ｋマイクロホン７１−１〜７１−Ｋは、音声信号を収音してアナログ音声信号を出力する（Ｓ７１）。次に、音声信号取得部７２は、アナログ音声信号をディジタル音声信号に変換する（Ｓ７２）。ディジタル音声信号は、例えばネットワークを介して音声認識装置８に送信される。これ以外にも、例えばディジタル音声信号をメモリーカード等に記憶させ、手動でメモリーカードを音声認識装置８に接続して、メモリーカード内のディジタル音声信号を音声認識装置８に転送することとしてもよい。特徴量分析部８３は、ディジタル音声信号から音響特徴量を抽出し、特徴量を取得する（Ｓ８３）。抽出する特徴量としては、例えば、ＭＦＣＣｓ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ＿Ｃｅｐｓｔｒａｌ＿Ｃｏｅｆｆｉｃｉｅｎｔｓ）の１〜１２次元と、その変化量であるΔＭＦＣＣｓなどの動的パラメータや、パワーやΔパワー等を用いる。また、ＣＭＮ（ケプストラム平均正規化）処理を行ってもよい。特徴量は、ＭＦＣＣｓやパワーに限定したものでは無く、音声認識に用いられるパラメータを用いてもよい。次に、音声認識処理部８４は、特徴量と、音響モデルと、言語モデルとを用いて音声認識を行い、音声認識結果を得る（Ｓ８４）。音声認識処理部８４は、音声認識結果を認識結果格納部８５に記憶する。

ＮＴＴ東日本、"会議録作成支援システム VoiceAir"、[online]、[平成２４年１１月７日検索]、インターネット(URL:http://www.ntt-east.co.jp/business/solution/minutes/index.html)

上述したように、従来の会議録自動作成システム９０００では、話題に特化した言語モデルを事前に学習しておくことで十分な音声認識精度が得ることができる。しかし、学習を行うためには大量の話題別の学習コーパスを必要とするためコストが大きい。さらに、話題が未知の場合には話題に特化した言語モデルを事前に学習しておくことが出来ない。

そこで本発明では、会議参加者の間でよく使用される用語に特化した言語モデルを生成することができる言語モデル生成装置を提供することを目的とする。

本発明の言語モデル生成装置は、会議録自動作成システムに用いられる装置であって、個人言語モデル記憶部と、ｎ−ｇｒａｍ確率和算部と、正規化部とを備える。

個人言語モデル記憶部は、単語毎のｎ−ｇｒａｍ確率を定義した個人言語モデルであって、前記会議の参加者毎に蓄積された各言語リソースから予め生成した参加者毎の個人言語モデルを記憶する。ｎ−ｇｒａｍ確率和算部は、単語毎に、全ての参加者のｎ−ｇｒａｍ確率を和算して和算確率値を計算する。正規化部は、和算確率値の合計が１になるように正規化した正規化確率値を計算し、当該正規化確率値を適応言語モデルとする。

本発明の言語モデル生成装置によれば、会議参加者の間でよく使用される用語に特化した言語モデルを生成することができる。

従来の会議録自動作成システムの構成を示すブロック図。 従来の会議録自動作成システムの動作を示すフローチャート。 実施例１の会議録自動作成システムの構成を示すブロック図。 実施例１の言語モデル生成装置の動作を示すフローチャート。 実施例１の言語モデル適応部の構成を示すブロック図。 実施例１の言語モデル適応部の動作を示すフローチャート。 実施例２の会議録自動作成システムの構成を示すブロック図。 実施例２の言語モデル生成装置の動作を示すフローチャート。 実施例２の言語モデル適応部の構成を示すブロック図。 実施例２の言語モデル適応部の動作を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

＜本発明の要点＞
近年スマートフォンの普及が進み、個人情報端末として多く利用されるようになった。個人情報端末上には、メールや検索履歴といった、ユーザの関心のあるトピックや、ユーザがよく使用する単語など、個人に特化したテキスト（言語）情報が多く含まれる。そこで、本発明では会議参加者の個人情報端末等に記録された情報（参加者毎に蓄積された言語リソース）を用いて、会議参加者と関係が深いトピックや語彙を反映した言語モデル（個人言語モデル）を学習・構築することができる点に着目した。本発明において、個人言語モデルは単語毎のｎ−ｇｒａｍ確率Ｐを定義したものである。

以下、図３、図４を参照して実施例１の会議録自動作成システム１０００について説明する。図３は本実施例の会議録自動作成システム１０００の構成を示すブロック図である。図４は本実施例の言語モデル生成装置１の動作を示すフローチャートである。図３に示す通り、本実施例の会議録自動作成システム１０００は、録音装置７と、音声認識装置８と、言語モデル生成装置１とからなる。録音装置７と音声認識装置８は、従来技術の会議録自動作成システム９０００における同一番号の装置と同じであるから説明を略する。前述同様、会議の参加者はＫ人であるものとする。言語モデル生成装置１は第１個人言語モデル記憶部１１−１と、第２個人言語モデル記憶部１１−２と、…、第Ｋ個人言語モデル記憶部１１−Ｋと、言語モデル適応部１２とを備える。ｋを１以上Ｋ以下の整数とし、第ｋ個人言語モデル記憶部１１−ｋには、ｋ番目の参加者の個人言語モデルが記憶されているものとする。言語モデル適応部１２は、Ｋ個の個人言語モデルを用いて共通するトピックを抽出し、適応言語モデルを生成する（Ｓ１２）。本発明では、適応言語モデルに単語ｎ−ｇｒａｍが用いられる。単語ｎ−ｇｒａｍとはｎ個の単語列を意味し、単語ｎ−ｇｒａｍによる言語モデルは、直前の（ｎ−１）個の単語から次の単語を予測するモデルとして表現される。つまり単語ｎ−ｇｒａｍによる言語モデルは、単語列の出現確率を情報として持ったモデルである。一般的に、ｎ＝１の場合ｕｎｉｇｒａｍ、ｎ＝２の場合ｂｉｇｒａｍ、ｎ＝３の場合ｔｒｉｇｒａｍと呼ばれる。以下、図５、図６を参照して、言語モデル適応部１２の詳細を説明する。図５は本実施例の言語モデル適応部１２の構成を示すブロック図である。図６は本実施例の言語モデル適応部１２の動作を示すフローチャートである。図５に示す通り、言語モデル適応部１２はｎ−ｇｒａｍ確率和算部１２１と、正規化部１２２とを備える。ｎ−ｇｒａｍ確率和算部１２１は、単語毎に、全ての参加者のｎ−ｇｒａｍ確率Ｐを和算して和算確率値Ｐ_ｔｍｐを計算する（ＳＳ１２１）。簡略化のために、Ｋ＝３名、ｕｎｉｇｒａｍの言語モデルとした具体例を用いて、サブステップＳＳ１２１について説明する。３名の参加者をａ、ｂ、ｃと呼ぶこととし、個人言語モデル記憶部１１−１には参加者ａの個人言語モデルａが、個人言語モデル記憶部１１−２には参加者ｂの個人言語モデルｂが、個人言語モデル記憶部１１−３には参加者ｃの個人言語モデルｃが、それぞれ記憶されているものとする。前述したように個人言語モデルは、個人情報端末に記録されたメールや検索履歴など、参加者毎に蓄積された各言語リソースから予め生成しておくものとする。個人言語モデルａ、ｂ、ｃにはそれぞれ以下のｕｎｉｇｒａｍ確率Ｐ（ｘ）が含まれるものとする（添え字_{ａ，ｂ，ｃ}は参加者毎に付与されている）。

この場合、ｎ−ｇｒａｍ確率和算部１２１は単語（音声認識、ラーメン、…）ごとに全ての参加者のｕｎｉｇｒａｍ確率Ｐを和算して、和算確率値Ｐ_ｔｍｐを計算する（ＳＳ１２１）。この場合、和算確率値Ｐ_ｔｍｐは以下のようになる。

次に正規化部１２２は、和算確率値Ｐ_ｔｍｐの合計が１になるように正規化した正規化確率値Ｐ_ａｄｐｔを計算する（ＳＳ１２２）。上述の具体例の場合、正規化部１２２は、正規化確率値Ｐ_ａｄｐｔを以下の値として計算する（ＳＳ１２２）。

正規化部１２２は、正規化確率値Ｐ_ａｄｐｔを適応言語モデルとして、音声認識装置８の言語モデル記憶部８７に記憶する。

このように本実施例の言語モデル生成装置１によれば、会議参加者の間でよく使用される（話題になる可能性が高い）単語（上述の例では、「音声認識」や「言語モデル」）が認識結果に現れやすく、会議参加者の間であまり使用されない（話題となる確率が低い）単語（上述の例では「ラーメン」や「旅行」など）は認識結果に現れにくい言語モデル（適応言語モデル）を生成することができるため、音声認識精度が向上する。

適応言語モデルを生成する際に、参加者の発言権や発言量等、会議中の話題に対する各参加者の影響力の違いを重み付けによって表現することとしてもよい。実施例２の言語モデル生成装置２は、実施例１の言語モデル生成装置１に上述の重み付け機能を付加した。以下、図７、図８を参照して本実施例の言語モデル生成装置２について説明する。図７は本実施例の会議録自動作成システム２０００の構成を示すブロック図である。図８は本実施例の言語モデル生成装置２の動作を示すフローチャートである。図７に示す通り、本実施例の会議録自動作成システム２０００は、録音装置７と、音声認識装置８と、言語モデル生成装置２とからなる。録音装置７と音声認識装置８は、従来技術の会議録自動作成システム９０００における同一番号の装置と同じであるから説明を略する。前述同様、会議の参加者はＫ人であるものとする。言語モデル生成装置２は第１〜第Ｋ個人言語モデル記憶部１１−１〜Ｋと、言語モデル適応部２２と、外部情報記憶部２３と、参加者重み計算部２４とを備える。第１〜第Ｋ個人言語モデル記憶部１１−１〜Ｋについては実施例１の同一番号の構成と同じであるから説明を略する。外部情報記憶部２３には、各参加者の会議に対する影響力を表す外部情報パラメータが記憶される。外部情報パラメータの例としては例えば以下が挙げられる。

＜メール情報＞
Ａ）メール送（受）信量（多い参加者は影響力が大きいと考えられる）
Ｂ）メールの（被）ｒｅｐｌｙ量／率：（高い参加者は影響力が大きいと考えられる）
Ｃ）宛先（ＴＯ／ＣＣ）の量：（多い参加者は影響力が大きいと考えられる）
Ｄ）時間情報（会議開始時刻直近は影響力が大きいと考えられる）
上述のように考える根拠は、メール量、（被）ｒｅｐｌｙ量／率、宛先（ＴＯ／ＣＣ）の量が多い参加者は、その会議において連絡、幹事役、もしくは発起人である可能性が高いためである。推定精度を高めるためには、上述のように時間情報を加味して（会議開始時刻直近に限り）各参加者のメール量、メールの（被）ｒｅｐｌｙ量／率、宛先（ＴＯ／ＣＣ）の量を計測して外部情報パラメータとして記憶しておく。

＜役職情報＞
Ｅ）上司・部下の関係、役職名（役職が上位の参加者は影響力が大きいと考えられる）
Ｆ）所属部・課情報（所属部・課によって参加者の影響力が異なると考えられる）
上述のように考える根拠は、役職が上位の参加者はその会議において連絡、幹事役、もしくは発起人である可能性が高いためである。役職情報を外部情報パラメータとして活用するためには、役職情報を数値化しておく必要がある。簡単には係長クラスに１ポイント、課長クラスに２ポイント等を付与すればよい。また、例えば会議の発起人となりやすい課（例えば、営業課、研究開発課、商品企画課など）に大きな係数を与えておき、会議の発起人となりにくい課（例えば、総務課、経理課など）に小さな係数を与えておき、前述した役職情報の外部情報パラメータに対して係数を乗算することとしてもよい。これらの外部情報パラメータを組み合わせて利用してもよい。

参加者重み計算部２４は、外部情報パラメータを用いて参加者重みを計算する（Ｓ２４）。例えば上述の具体例における参加者ａ、ｂ、ｃのメール送信量をそれぞれＭ_ａ、Ｍ_ｂ、Ｍ_ｃとした時に、参加者重み計算部２４は、参加者ｘ（ｘ＝ａ、ｂ、ｃ）の重みＷ_ｘを次式で計算する。
Ｗ_ｘ＝Ｍ_ｘ／ΣＭ_ｘ

参加者重みＷは０＜Ｗ＜１のレンジで与え、全ての参加者の参加者重みの和Σ_１〜KＷが１となるように与える。次に、言語モデル適応部２２は、個人言語モデル、参加者重みＷから適応言語モデルを生成する（Ｓ２２）。以下、図９、図１０を参照して、言語モデル適応部２２の詳細を説明する。図９は本実施例の言語モデル適応部２２の構成を示すブロック図である。図１０は本実施例の言語モデル適応部２２の動作を示すフローチャートである。図９に示す通り、言語モデル適応部２２は重み付け部２２１と、重み付け確率和算部２２２とを備える。重み付け部２２１は、参加者毎のｎ−ｇｒａｍ確率Ｐに参加者重みＷを乗算して重みつき確率値Ｐ’を生成する（ＳＳ２２１）。Ｋ＝３名（参加者ａ、ｂ、ｃ）、ｕｎｉｇｒａｍの言語モデルとした前述の具体例に則して、サブステップＳＳ２２１について説明する。ここで、参加者ａ、ｂ、ｃの外部情報パラメータに基づいて参加者重み計算部２４が計算した参加者重みがＷ_ａ＝０．２、Ｗ_ｂ＝０．２、Ｗ_ｃ＝０．６であったとする。この場合、重みつき確率値Ｐ’は以下のようになる。

次に、重み付け確率和算部２２２は、重みつき確率値Ｐ’を単語毎に和算し正規化確率値Ｐ_ａｄｐｔを計算する（ＳＳ２２２）。上述の具体例に則してサブステップＳＳ２２２を説明すれば、正規化確率値Ｐ_ａｄｐｔは以下のように計算される。

重み付け確率和算部２２２は、正規化確率値Ｐ_ａｄｐｔを適応言語モデルとして、音声認識装置８の言語モデル記憶部８７に記憶する。

このように本実施例の言語モデル生成装置２によれば、実施例１の効果に加えて、各参加者の会議中の話題に対する影響度の大きさを考慮して、会議参加者の間で話題になる可能性が高い単語（上述の例では、「音声認識」や「言語モデル」に加え、「探索」）が認識結果に現れやすく、会議において話題となる可能性が低い単語（上述の例では「ラーメン」や「旅行」など）は認識結果に現れにくい言語モデル（適応言語モデル）を生成することができるため、音声認識精度がさらに向上する。

＜変形例１＞
また、外部リソースとしてメールや資料などの時間情報（例えば作成日時）などを活用して単語毎に重みを変えてもよい。例えば、直近のメールや資料などに含まれる単語・トピックには大きい重みをあたえる。逆に過去にはよく話されていたが、最近はあまり話されていないようなものには重みを小さくする。重み付けの手段としては以下の日時情報などの外部情報パラメータを利用してもよい。

＜日時情報＞
例えば、外部リソースとしてメールや資料などがあった時に、それらの日時情報（例えば作成日時）などをもとに、直近のメールや資料などに含まれる単語・トピックには大きい重みをあたえる。逆に過去にはよく話されていたが、最近はあまり話されていないようなものには重みを小さくする。

また、上述の具体例では、ｕｎｉｇｒａｍの言語モデルの例を示したが、これに限られずｂｉｇｒａｍやｔｒｉｇｒａｍの言語モデルであってもよい。ｂｉｇｒａｍやｔｒｉｇｒａｍで上述の操作を行った場合、単語連鎖確率のバランスが崩れ、認識精度が劣化してしまう可能性もある。その場合、ｕｎｉｇｒａｍ確率からｂｉｇｒａｍ、ｔｒｉｇｒａｍ確率の推定値を求めるＵｎｉｇｒａｍ＿Ｒｅｓｃａｌｉｎｇと呼ばれる手法を用いてもよい。ベース言語モデルのｔｒｉｇｒａｍ確率をＰ（ｗ_ｎ｜ｗ_ｎ−２，ｗ_ｎ−１）、ｕｎｉｇｒａｍ確率をＰ（ｗ_ｎ）、適応モデルのｔｒｉｇｒａｍをＰ_ａｄｐｔ（ｗ_ｎ｜ｗ_ｎ−２，ｗ_ｎ−１）、ｕｎｉｇｒａｍ確率をＰ_ａｄｐｔ（ｗ_ｎ）、Ｕｎｉｇｒａｍ＿Ｓｃａｌｉｎｇ係数をαとすると、適応言語モデルのｔｒｉｇｒａｍ確率は以下の式によって計算される。

また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

1. 会議録自動作成システムに用いられる言語モデル生成装置であって、
   単語毎のｎ−ｇｒａｍ確率を定義した個人言語モデルであって、会議の参加者毎に蓄積された各言語リソースから予め生成した参加者毎の個人言語モデルを記憶する個人言語モデル記憶部と、
   単語毎に、全ての参加者のｎ−ｇｒａｍ確率を和算して和算確率値を計算するｎ−ｇｒａｍ確率和算部と、
   前記和算確率値の合計が１になるように正規化した正規化確率値を計算し、当該正規化確率値を適応言語モデルとする正規化部と、
   を備える言語モデル生成装置。
2. 会議録自動作成システムに用いられる言語モデル生成装置であって、
   単語毎のｎ−ｇｒａｍ確率を定義した個人言語モデルであって、会議の参加者毎に蓄積された各言語リソースから予め生成した参加者毎の個人言語モデルを記憶する個人言語モデル記憶部と、
   前記参加者の前記会議に対する影響力を表す外部情報パラメータが記憶された外部情報記憶部と、
   前記外部情報パラメータを用いて参加者重みを計算する参加者重み計算部と、
   参加者毎のｎ−ｇｒａｍ確率に参加者重みを乗算して重みつき確率値を生成する重み付け部と、
   重みつき確率値を単語毎に和算して正規化確率値を計算し、当該正規化確率値を適応言語モデルとする重み付け確率和算部と、
   を備える言語モデル生成装置。
3. 会議録自動作成システムに用いられる言語モデル生成装置が実行する言語モデル生成方法であって、
   前記言語モデル生成装置は、個人言語モデル記憶部を備え、
   前記個人言語モデル記憶部には、単語毎のｎ−ｇｒａｍ確率を定義した個人言語モデルであって、会議の参加者毎に蓄積された各言語リソースから予め生成した参加者毎の個人言語モデルが記憶され、
   前記言語モデル生成装置は、
   単語毎に、全ての参加者のｎ−ｇｒａｍ確率を和算して和算確率値を計算するｎ−ｇｒａｍ確率和算ステップと、
   前記和算確率値の合計が１になるように正規化した正規化確率値を計算し、当該正規化確率値を適応言語モデルとする正規化ステップと、
   を実行する言語モデル生成方法。
4. 会議録自動作成システムに用いられる言語モデル生成装置が実行する言語モデル生成方法であって、
   前記言語モデル生成装置は、個人言語モデル記憶部と、外部情報記憶部とを備え、
   前記個人言語モデル記憶部には、単語毎のｎ−ｇｒａｍ確率を定義した個人言語モデルであって、会議の参加者毎に蓄積された各言語リソースから予め生成した参加者毎の個人言語モデルが記憶され
   前記外部情報記憶部には、前記参加者の前記会議に対する影響力を表す外部情報パラメータが記憶され、
   前記言語モデル生成装置は、
   前記外部情報パラメータを用いて参加者重みを計算する参加者重み計算ステップと、
   参加者毎のｎ−ｇｒａｍ確率に参加者重みを乗算して重みつき確率値を生成する重み付けステップと、
   重みつき確率値を単語毎に和算して正規化確率値を計算し、当該正規化確率値を適応言語モデルとする重み付け確率和算ステップと、
   を実行する言語モデル生成方法。
5. 請求項３、または４に記載された言語モデル生成方法の各ステップをコンピュータに実行させるためのプログラム。
6. 請求項３、または４に記載された言語モデル生成方法の各ステップをコンピュータに実行させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。

Images