JPH04141771A - 階層化された単語カテゴリの推移確率を利用した品詞／単語推定装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 単語あるいは品詞を単語カテゴリの推移確率を使用して
推定する品詞／単語推定装置に係り、更に詳しくは、階
層化した単語カテゴリを使用し、品詞推定あるいは単語
推定の精度を向上し、必要な記憶領域を削減する階層化
された単語カテゴリの推移確率を利用した品詞／単語推
定装置に関し、複数の文からなる訓練サンプルを元に各
単語の見出しと単語カテゴリ、出現頻度からなる単語辞
書、および、各単語カテゴリの推移確率を表にした単語
カテゴリ推移確率テーブルを作成する推移確率生成部と
、該単語辞書および該単語カテゴリ推移確率テーブルを
元に任意の入力文字列の品詞を推定し、品詞／単語推定
結果を出力する品詞／単語推定部からなる品詞／単語推
定装置において、訓練サンプルに含まれる各単語につい
て単語カテゴリと出現頻度を求め単語辞書を作成すると
ともに、訓練サンプル中の単語列に対応した単語カテゴ
リ列を元にした各単語カテゴリ列の出現頻度と、該単語
カテゴリの上位カテゴリを用いた上位カテゴリ列の出現
頻度を算出する出現頻度算出手段と、前記出現頻度算出
手段によって求めた単語カテゴリの出現頻度および上位
カテゴリの出現頻度を元に、単語カテゴリの推移確率を
求め、単語カテゴリ推移確率テーブルを作成する推移確
率算出手段と、入力文字列に対して、単語辞書を使用し
て該入力文字列を構成する単語を抽出し、単語カテゴリ
列の候補を抽出する単語列抽出手段と、前記単語列抽出
手段が抽出した各単語カテゴリ列候補について、前記推
移確率算出手段が作成した単語カテゴリ推移確率テーブ
ルを元に推移確率を決定する推移確率決定手段と、前記
推移確率決定手段が決定した、各単語カテゴリ列候補に
ついての推移確率データを元に、該入力文字列を構成す
る単語、あるいは単語の品詞を推定し、品詞／単語推定
結果を出力する品詞／単語決定手段とを有するように構
成する。

（産業上の利用分野〕 本発明は、単語あるいは品詞を単語カテゴリの推移確率
を使用して推定する品詞／単語推定装置に係り、更に詳
しくは、階層化した単語カテゴリを使用し、品詞推定あ
るいは単語推定の精度を向上し、必要な記憶領域を削減
する階層化された単語カテゴリの推移確率を利用した品
詞／単語推定装置に関する。

［従来の技術］ 自然言語の文を機械翻訳したり、要約を自動作成する場
合、各単語の品詞を推定する処理が必要である。例えば
、英語部５ｔｉｌｌ　　ｗａｔｅｒｓ　　ｒｕｎ　ｄｅ
ｅｐ、において、Ｓｔ　ｉ　ｌ　ｌは副詞、形容詞、名
詞、動詞になり得るし、ｗａｔｅｒは名詞、動詞、ｒｕ
ｎは名詞、動詞、ｄｅｅｐは形容詞、副詞になり得る。

そこで、この文を機械翻訳する場合等には、各単語がこ
の文においてどういう品詞として使用されているかを推
定する必要がある。

また、音声認識や文字認識の場合、認識結果は単語候補
列として出力される場合が多い。例えば、音声認識では
、認識結果として、（Ｂｙ、　　　Ｉ）（ａｎ、ａｍ）
（ｌｏｏｋｉｎｇ）（ｆ　ｏｕｒ。

ｆｏｒ、ｆｏｗａｒｄ）（ｔｏ、ｔｗｏ）（ｓｅｅｉｎ
ｇ、ｓｅｅ、ｃｉｔｙ）（ｙｏｕ、ｉｎ）というような
単語候補列が出力される。そのため、これらの単語候補
列から正しい単語列を推定することが必要である。

このような場合、起こり得る品詞を推定することによっ
て、単語候補を絞ることが可能である。

以上のことから、品詞や単語を推定する装置が必要にな
った。

従来、品詞あるいは単語の推定を行なう方法としては、
構文的規則を用いて推定する方法と、統計的な情報を利
用して推定する方法がある。

次に、統計的な情報を利用した品詞あるいは単語推定の
従来方法を説明する。

第４図は、従来方法の説明図である。

全体の流れとしては、入力文字列４１の品詞あるいは単
語を推定するのに先立って、まず、多くの訓練サンプル
４２を元にある単語列が生起する確率からなる生起確率
テーブル４６を作成しておく、そして、入力文字列４１
に対して、この生起確率テーブル４６の生起確率を用い
て品詞あるいは単語の推定候補４３を出力する。

訓練サンプル４２は多数の文からなり、一つの文は単語
列Ｗ　（Ｗ＝ｗｌ　、Ｗ２　、　　・・・、ｗｎ）で表
される。そして、その単語列の統計的情報としては、そ
の単語列Ｗが出現する確率、すなわち生起確率Ｐ　（Ｗ
）を使用すればよいことが知られている。しかし、あら
ゆる単語列の生起確率を保存しておくことは、データの
収集の大変さからも、記憶容量の増大という点からも現
実的ではない。

そこで、一般に、これをｍ重マルコフ過程で近似するこ
とが試みられている（Ｗの生起確率算出４４）。すなわ
ち、単語列Ｗの生起確率Ｐ　（Ｗ）を同図中の（１）式
で表すものである。

そして、ｍの値としては、精度および必要なデータ量の
バランスから、ｍ＝２を使用するのが一般的である。以
下、ｍ＝２として説明する。ｍ≠２の場合も技術として
は以下の説明と同様である。

（１）式の右辺の確率は、ｍ＝２とすると、（２）式の
ように、連続した二つの単語の組、すなわち二つ組（ｂ
ｉｇｒａｍ）の出現頻度Ｃ（ＷｉＷｌ−１）と、連続し
た三つの単語の組、すなわち三つ組（ｔｒｉｇｒａｍ）
の出現頻度Ｃ（Ｗｌ−２。

Ｗｉ、１　、　Ｗｌ　）の比によって推定できる。出現
頻度Ｃ（Ｗｔ−ｚ　、　ｗ、−、）は、単語ｗ１−．の
前に単語Ｗ　ｉ　−２がくる頻度であり、また、出現頻
度Ｃ（Ｗｉ−２、ｗｉ−、、Ｗｉ　）は、単語Ｗｉの前
の単語がＷ　ｉ　−１で、しかも、その前の単語がＷｌ
−２になる頻度である。そして、（２）式によって、連
続した単語ｗｉ−２、ｗｌ−、の後に単語Ｗ、がくる生
起確率ＰいＶｉ　　ｌ　Ｗｉ−ｚ　、　Ｗｔ−＋　）が
求められる。

ところが、ｍ＝２とした場合でも、語霊数が多いときに
は、大量の訓練サンプル４２を用いても、三つ組のほと
んどについて統計量を求めるのに足る出現頻度が得られ
ない。このため、（２）弐を用いて精度よく生起確率を
推定することは難しい。

そこで、普通、単語Ｗ、の代わりに、単語Ｗｉの文法上
のクラス、通常は品詞を該単語Ｗｉの単語カテゴリｇい
１）として使用し、単語の生起確率を近似する。すなわ
ち、Ｐ　（ｇ　（ｗ＋　）　Ｉｇ（Ｗｌ−２）　、　　
ｇ　（Ｗｌ−１）　）で近似する。この場合、文法上の
クラスｇ　（Ｗｌ　）としては、三つ組の記憶容量やデ
ータの量から、５０〜３００程度に決定する場合が多い
。

Ｗの生起確率算出４４で単語Ｗの品詞ｇ　（Ｗ）を使っ
た生起確率Ｐ　（ｇ　（ＷＬ　）　　ｌ　ｇ　（Ｗｔ−
ｚ　）。

ｇ　（Ｗｔ−＋　）　）が求まると、生起確率の登録４
５が、この生起確率を生起確率テーブル４６に登録する
。以上の処理によって、訓練サンプル４２による単語の
統計的な生起確率情報が得られる。

実際に、入力文字列４１に対して、品詞あるいは単語の
推定を実行する場合には、まず、入力文字列４１を単語
検索部４７に入力する。そして、単語検索部４７は、単
語辞書４８を用いて入力文字列４１から単語を切り出す
。単語辞書４８には、各単語の見出し、および、該単語
の品詞、出現頻度が格納されている。

次に、単語検索部４７が抽出した単語列は、最尤候補探
索部４９に入力される。最尤候補探索部４９は、入力さ
れる単語列についての品詞の候補列に関して、生起確率
テーブル４６から生起確率を求める。そして、最も生起
確率の高い品詞列を最尤の品詞推定候補あるいは単語推
定候補４３として出力する。

［発明が解決しようとする課題〕 しかしながら、従来の方式では、最尤候補の推定精度お
よび処理に必要な記憶容量の点で問題がある。

すなわち、単語Ｗ１の代わりに単語ｗｉの品詞ｇ　（Ｗ
ｔ　）を単語カテゴリとして使用する場合、理想的には
、単語カテゴリをできるだけ細かく分けて、単語の分類
を細かくできることが望ましい。

しかし、単語カテゴリの数を大きくすると、大量の訓練
サンプルを使用しても、品詞列の三つ組の出現頻度が統
計量を求めるのに足る回数にならない場合が出てくる。

出現頻度が少ない場合には、求めた推移確率の信軽性が
低くなり、品詞や単語の推定精度が低下するという問題
が生じる。また、すべての三つ組が統計量を求めるに足
る出現頻度になるようにするためには訓練サンプルの量
が膨大になり、事実上無理である。

一方、単語カテゴリ数を多くとると、三つ組の出現頻度
を保持しておくための記憶容量も増大する。例えば、単
語カテゴリ数を２倍にすると、三つ組の出現頻度を記憶
しておくだめの記憶容量は２Ｘ２Ｘ２＝８倍になるので
ある。

本発明は、単語カテゴリ数をある程度大きくとった場合
でも、三つ組の出現頻度不足による推定精度の低下を抑
えることを可能とし、また、記憶容量の削減を可能とす
ることを目的とする。

〔課題を解決するための手段］ 第１図は、本発明の機能ブロック図である。本発明は、
入力文字列７の品詞や単語を推定する品詞／単語推定部
３と、該品詞／単語推定部３で使用する単語辞書５や単
語カテゴリ推移確率テーブル６を訓練サンプル４をもと
に作成する推移確率生成部２とからなる品詞／単語推定
装置１を前提とする。

まず、推移確率生成部２は、出現頻度算出手段９を有す
る。出現頻度算出手段９は、訓練サンプル４の単語列を
元に、単語辞書５を作成するとともに、単語列に対応し
た品詞等の単語カテゴリ列の三つ組の出現頻度を計数す
る。単語辞書５には、単語の見出しと品詞、出現頻度を
一組として登録する。単語カテゴリの三つ組の出現頻度
とは、例えば、名詞−助動詞−動詞といった単語カテゴ
リ列の出現頻度である。

さらに、出現頻度算出手段９は、単語カテゴリに上位の
カテゴリがある場合には、上位カテゴリの三つ組の出現
頻度を計数する。例えば、ｃａｎｎｏｔやｗｏｎ’　　
ｔの単語カテゴリを否定の助動詞、ｃａｎやｗｉｌｌの
単語カテゴリを肯定の助動詞とした場合、これらの上位
カテゴリとして、全助動詞のカテゴリを考えることがで
きる。出現頻度算出手段９は、否定の助動詞の単語カテ
ゴリを含む三つ組の出現頻度を計数するとともに、その
上位カテゴリ、すなわち全助動詞の単語カテゴリを含む
三つ組の出現頻度を別に計数しておく。

このほか、出現頻度算出手段９は、タイトルと本文、疑
問符の有無等を区別して出現頻度を算出するとともに、
特定の単語カテゴリ列を一つのまとまった単語カテゴリ
として出現頻度を算出したり、複数の単語からなる単語
列を熟語として使用するか否かを区別して単語の出現頻
度、単語カテゴリ列の出現頻度を算出する。

次に、推移確率生成部２は、推移確率算出手段１０を有
する。推移確率算出手段１０は、前記出現頻度算出手段
９で求めた単語カテゴリ列の出現頻度を元に推移確率を
算出する。推移確率は、単語カテゴリの三つ組の出現頻
度、および、三つ組のなかの後の二つの単語カテゴリ列
からなる二つ組の出現頻度から求めることができる。ま
た、二つ組の出現頻度は三つ組の出現頻度から求めるこ
とができる。

ここで推移確率算出手段１０は、三つ組の単語カテゴリ
列の推移確率を求めるとともに、該単語カテゴリ列の上
位カテゴリについての推移確率も前記出現確率算出手段
９で求めた上位カテゴリ列の出現頻度を用いて同様に求
める。そして、下位の単語カテゴリの推移確率と、上位
の単語カテゴリの推移確率に有意の差があるか否かを、
統計的な検定方法によって判定する。有意の差がない場
合には、上位カテゴリの推移確率を単語カテゴリ推移確
率テーブル６に格納する。一方、有意の差がある場合に
は、下位カテゴリの推移確率を単語カテゴリ推移確率テ
ーブル６に格納する。

推移確率の有意の差の有無は、下位カテゴリの推移確率
と上位カテゴリの推移確率が等しいという帰無仮説をた
て、これを統計的な検定式で検定することにより行なう
。

上位カテゴリの推移確率を格納する方が、細分化された
下位のカテゴリの推移確率を格納するより記憶容量が少
なくてすむ。また、上位カテゴリの方が出現頻度数が多
くなるので、統計的な精度は向上する。

また、推移確率算出手段１０は、上位カテゴリの推移確
率を算出する際に、その下位カテゴリのなかで帰無仮説
が棄却されたカテゴリによる出現頻度を差し引いたうえ
で、上位カテゴリの推移確率を算出することができ、さ
らに、上位カテゴリの推移確率の代わりに、類似カテゴ
リの推移確率、あるいは複数の単語カテゴリの推移確率
の関数として得られる推移確率を、単語カテゴリ推移確
率として利用することもできる。また、出現頻度Ｏの単
語カテゴリ列と、構文上出現し得ないことが明らかな単
語カテゴリ列は、区別して推移確率を計算する。熟語に
なり得る単語列に対しては、熟語になり得る確率を利用
し、熟語の場合と熟語でない場合のそれぞれについて推
移確率を算出する。

以上の処理で、単語辞書５および単語カテゴリ推移確率
テーブル６が生成される。

入力文字列７の品詞や単語を推定する品詞／単語推定部
３は、まず、単語列抽出手段１１を有する。単語列抽出
手段１１は、入力文字列７の文字列に対応する単語を単
語辞書５を使用して抽出する。単語辞書５には、単語の
見出しとともに品詞等の単語カテゴリと頻度が格納され
ているので、抽出した各単語についていくつかの単語カ
テゴリが対応する。すなわち、単語列抽出手段１１は、
入力文字列７を単語カテゴリ候補列に変換する。

また、単語列抽出手段１１は単語辞書５に登録されてい
ない未登録語については、該単語が大文字で始まるか否
か、および、語尾の情報をもとに、単語カテゴリ候補を
推定するとともに、該単語カテゴリになり得る確率を求
める。

次に、品詞／単語推定部３は、推移確率決定手段１２を
有する。推移確率決定手段１２は、前記単語列抽出手段
１１が求めた単語カテゴリ候補列を入力とし、各単語カ
テゴリ候補列についての推移確率を単語カテゴリ推移確
率テーブル６を参照して求める。

単語カテゴリ推移確率テーブル６から、単語カテゴリ候
補列の推移確率を参照する場合、該単語カテゴリ候補列
の推移確率ではなく、上位の単語カテゴリの推移確率が
格納されている場合がある。

この場合は、上位の単語カテゴリ列の推移確率を採用す
る。また、推移確率決定手段１２は、特定の単語カテゴ
リ列については一つの単語カテゴリとみなして推移確率
を決定する。

また、未登録語を含む単語列については、前記単語列抽
出手段１１で求めた未登録語の単語カテゴリによって単
語カテゴリ推移確率テーブル６を参照して推移確率を得
、未登録語が該単語カテゴリになる確率を含めて、該単
語カテゴリ候補列の推移確率とする。

最後に、品詞／単語推定部３は、品詞／単語決定手段１
３を有する。品詞／単語推定手段１３は、前記推移確率
決定手段１２で求めた各単語カテゴリ列の推移確率を元
に、最適な品詞あるいは単語、あるいは最適な品詞ある
いは単語の候補を求め、品詞／単語推定結果８として出
力する。

多くの場合、単語の一つの三つ組について、複数の単語
カテゴリ列の三つ組が存在し、前記推移確率決定手段１
２では、それぞれの単語カテゴリの三つ組について推移
確率を求めて、品詞／単語決定手段１３に入力される。

品詞／単語決定手段１３は、これらの単語カテゴリの三
つ組の推移確率を比較し、最尤の単語カテゴリの三つ組
を決定する。最尤の単語カテゴリが決まれば、各単語の
品詞が決定される。また、品詞が決まることによって複
数の単語候補のなかから単語を推定することもできる。

〔作　　　用〕

統計的な情報による品詞／単語推定装置１を構築する場
合、まず、多くの文からなる訓練サンプル４を使って、
入力文字列７の品詞あるいは単語を推定するときに使用
する統計情報を作成する。

まず、訓練サンプル４は推移確率生成部２のなかの出現
頻度算出手段９に入力される。訓練サンプル４の各文は
複数の単語からなるが、単語の他に品詞等の単語カテゴ
リ情報を付しである。出現頻度算出手段９は、まず、訓
練サンプル４の各文を構成する単語をもとに単語辞書５
を作成する。

単語辞書５は、単語の見出し、品詞等の単語カテゴリ、
出現頻度を情報の組とするので、訓練サンプル４の文の
なかに単語辞書５にない単語が出現した場合には、その
単語見出しと品詞、および、出現頻度＝１を単語辞書５
に格納する。また、単語辞書にすでにある単語が訓練サ
ンプル４中に出現した場合には、該当する単語見出しの
、該当する単語カテゴリについての出現頻度を１増やす
。

次に、出現頻度算出手段９は、訓練サンプル４の文を構
成する単語について、文の先頭から順に三つ組を作る。

すると、それらの単語の単語カテゴリについても三つ組
ができる。例えば、単語の三つ組がＩ　　ｃａｎｎｏｔ
　　５ｗ１ｍならば、単語カテゴリの三つ組は名詞−否
定の助動詞−動詞となる。出現頻度算出手段９は、訓練
サンプル４の全文について、この単語カテゴリの三つ組
の出現頻度を計数する。また、出現頻度算出手段９は、
単語カテゴリの二つ組、例えば、Ｉ　　ｃａｎｎ。

ｔの名詞−否定の助動詞、あるいは、ｃａｎｎ。

ｔ　　５ｗ１ｍの否定の助動詞−動詞についても出現頻
度を計数する。

次に、出現頻度算出手段９は単語カテゴリを階層化した
形でもち、上位のカテゴリが存在する場合には、下位カ
テゴリを統合した上位カテゴリの列について、出現頻度
を求める。例えば、ｃａｎｎｏｔは否定の助動詞、ｃａ
ｎは肯定の助動詞で下位の単語カテゴリであるが、これ
らの下位のカテゴリをまとめた全助動詞としての上位カ
テゴリが存在する。上位カテゴリ列の出現頻度は、既に
求めた単語カテゴリ列の出現頻度のなかで同し上位カテ
ゴリをもつ出現頻度を加算することにより求まる。すな
わち、例えば、名詞−否定の助動詞動詞の出現頻度と、
名詞−肯定の助動詞−動詞の出現頻度が求まっていれば
、上位カテゴリである全助動詞を含む上位カテゴリ列、
名詞−全助動詞−動詞の出現頻度は、名詞−否定の助動
詞−動詞の出現頻度と名詞−肯定の助動詞−動詞の出現
頻度を加算した値になる。

出現頻度算出手段９は、上位カテゴリを含む単語カテゴ
リ列の三つ組および二つ組の出現頻度を、それぞれ、既
に求めた三つ組および二つ組の単語カテゴリ列の出現頻
度データから算出する。

以上の処理により、出現頻度算出手段９は、下位カテゴ
リ列の三つ組および二つ組の出現頻度と、上位カテゴリ
を含む三つ組および二つ組の単語カテゴリ列の出現頻度
の計算を完了し、これらの出現頻度データを、推移確率
生成部２のなかの推移確率算出手段１０に送る。

推移確率算出手段１０は、まず、下位カテゴリ列の三つ
組および二つ組の出現頻度データから、該三つ組の単語
カテゴリ列の推移確率を求める。

この推移確率は、三つ組の出現頻度データを二つ組の出
現データで割った値である。次に、該三つ組のなかに上
位カテゴリをもつ単語がある場合には、上位カテゴリを
含む三つ組および二つ組の出現頻度データから、上位カ
テゴリを含む該三つ組の推移確率を求める。この推移確
率も、同様に、上位カテゴリの単語を含む三つ組の出現
頻度データを二つ組の出現データで割った値である。

三つ組単語の単語カテゴリに上位カテゴリが存在しない
場合には、推移確率算出手段１０は、前に求めた三つ組
の推移確率を単語カテゴリ推移確率テーブル６に格納す
る。一方、上位カテゴリが存在する単語を含む場合には
、推移確率算出手段１０は、下位カテゴリの三つ組の推
移確率と、上位カテゴリの三つ組の推移確率に有意の差
があるか否かを統計的な検定方法により判定する。

すなわち、例えば、名詞−肯定の助動詞−動詞という三
つ組の推移確率と、名詞−全助動詞−動詞という上位カ
テゴリの三つ組の推移確率に有意の差があるか否か、ま
た、名詞−否定の助動詞動詞の推移確率と、名詞−全助
動詞−動詞の推移確率に有意の差があるか否かを判定す
る。

そして、二つの推移確率に有意な差がないと判定された
場合には、上位カテゴリの三つ組の推移確率を下位カテ
ゴリの三つ組の推移確率の代わりに単語カテゴリ推移確
率テーブル６に格納する。

一方、有意な差がある場合には、下位カテゴリの三つ組
の推移確率を単語カテゴリ推移確率テーブル６に格納す
る。

例えば、名詞−肯定の助動詞−動詞の推移確率と名詞−
全助動詞−動詞の推移確率に有意な差がない場合には、
名詞−全助動詞−動詞の推移確率を単語カテゴリ推移確
率テーブル６に格納し、有意な差がある場合には、名詞
−肯定の助動詞−動詞という下位カテゴリの推移確率を
格納する。

以上の処理により、単語カテゴリの推移確率の情報が単
語カテゴリ推移確率テーブル６に蓄積され、実際の品詞
／単語推定処理の準備が完了する。

ユーザは、準備の完了した品詞／単語推定装置１に対し
て品詞あるいは単語を推定したい文の入力文字列７を入
力する。この入力文字列７は、品詞単語推定部３の単語
列抽出手段１１に入力される。

単語列抽出手段１１は、入力される入力文字列７を先頭
から探索し、単語辞書５を参照しながら、単語を決定す
る。機械翻訳のような場合には、入力文字列７の単語列
はこの探索によって決定できる。一方、音声認識の認識
結果が入力文字列７になるような場合には、入力文字列
７にあいまいさが残っているため、この探索によって単
語の候補列が求まることになる。

単語列抽出手段１１は、単語辞書５を参照して単語ある
いは単語候補を求めるとともに、各単語あるいは各単語
候補の単語カテゴリおよび頻度を単語辞書５から読み出
す。単語カテゴリとしては例えば品詞がある。そして、
単語カテゴリは、一つの単語あるいは単語候補に対して
複数個求まる可能性がある。例えば、単語ｒｅｐｏｒｔ
については、名詞および動詞の単語カテゴリが求まるは
ずである。

単語列抽出手段１１は、入力文字列７について求まった
単語列あるいは単語候補列と、頻度、単語カテゴリ列を
出力し、推移確率決定手段１２に送る。

推移確率決定手段１２は、単語列抽出手段１１から送ら
れた単語列あるいは単語候補列と、その頻度、単語カテ
ゴリ列を元に、単語カテゴリ列の三つ組についての推移
確率を決定する処理を実行する。推移確率は、前もって
準備されている単語カテゴリ推移確率テーブル６を参照
して求める。

まず、受は取った単語カテゴリ列の先頭から順に三つ組
を作成し、各三つ組の単語カテゴリ列を単語カテゴリ推
移確率テーブル６の三つ組見出しから見つけ、そこに格
納されている推移確率を読み出す。単語カテゴリ推移確
率テーブル６には、下位カテゴリ列の推移確率の代わり
に上位カテゴリ列の推移確率が登録されている場合があ
るので、入力文字列７の単語カテゴリ列の三つ組が単語
カテゴリ推移確率テーブル６の見出しから見つからない
場合には、上位の単語カテゴリを含む三つ組に関して単
語カテゴリ推移確率テーブル６を参照する。

以上の処理によって、入力文字列７を構成する単語カテ
ゴリ列あるいは単語候補の単語カテゴリ列のすべての三
つ組について推移確率が求まる。

推移確率決定手段１２は、入力文字列７の単語列あるい
は単語候補列と、その単語の出現頻度、および求まった
すべての三つ組の推移確率データを出力し、品詞／単語
推定部３の品詞／単語決定手段１３に送る。

品詞／単語決定手段１３は、まず、送られたすべての三
つ組の推移確率データを元に、単語列あるいは単語候補
列の各単語の品詞を推定する。単語列の三つ組に対して
、複数の単語カテゴリの三つ組が存在する場合、基本的
には、推移確率の大きい方の三つ組を選択する。この処
理を入力文字列７の全単語列あるいは単語候補列に対し
て実行することにより、各単語の品詞あるいは少数の品
詞候補が推定される。

推定した品詞に複数の可能性がある場合には、該単語の
頻度情報等を用いて、さらに候補を絞り、品詞を推定す
る。また、音声認識のように、複数の単語候補が入力文
字列７として存在する場合には、推定した品詞から単語
を推定することが可能である。

品詞／単語決定手段１３は、以上のように推定した品詞
あるいは単語を品詞／単語推定結果８としてユーザに対
して出力する。

〔実　　施　　例〕

以下、第２図乃第３図を参照しながら実施例を説明する
。

第２図は、本発明の一実施例のシステム構成図である。

本実施例のシステムは、例えば、汎用のコンピュータ・
システム上で構築することができる。

システムは、二つに大きく分けて考えることができる。

すなわち、前処理部２０と品詞／単語推定部２１である
。品詞／単語推定部２１は、入力文字列２２を入力とし
、その文字列を構成する単語列や単語列の品詞を推定し
、品詞推定候補あるいは単語推定候補２３を出力する処
理を実行する。

一方、前処理部２０は、品詞／単語推定部２１が品詞や
単語を推定する際に使用する単語の辞書や推移確率を標
本サンプル２４から前もって作成し、単語辞書２５およ
び単語カテゴリ推移確率テーブル２６に蓄積しておく。

前処理部２０は、単語頻度計算・登録部２７、三つ組出
現頻度計算部２８、上位カテゴリ出現頻度計算部２９、
推移確率生成部３０といくつかのファイルからなる。フ
ァイルには、前述の訓練サンプル・ファイル２４、単語
辞書２５、単語カテゴリ推移確率テーブル２６のほかに
、三つ組出現頻度ファイル３１、上位カテゴリ三つ組出
現頻度ファイル３２、単語カテゴリ階層辞書３３がある
。

訓練サンプル２４は、多くの文からなる。各文は複数の
単語からなるが、各単語には、該文中での使用方法であ
る単語カテゴリが記述されている。

例えば、名詞や動詞等の品詞情報を単語カテゴリとして
使用する。

訓練サンプル２４の文は、単語頻度計算・登録部２７お
よび三つ組出現頻度計算部２８に入力される。単語頻度
計算・登録部２７は、訓練サンプル２４の文を構成する
単語の出現頻度を計数し、単語辞書２５に、単語の見出
し、単語カテゴリ、出現頻度を組として登録する。一方
、三つ組出現頻度計算部２８は、訓練サンプル２４の各
文について、文頭から順に３個の単語を三つ組として取
り出し、それぞれの単語の単語カテゴリで構成される単
語カテゴリの三つ組について出現頻度を計数する。また
、２個の連続する単語列を二つ組とし、単語カテゴリの
二つ組の出現頻度も計数する。

そして、求めた三つ組および二つ組の出現頻度を三つ組
出現頻度ファイル３１に格納する。

三つ組出現頻度計算部２８の処理が終了したら、次に上
位カテゴリ出現頻度計算部２９を稼働する。

単語カテゴリは、前述したように、品詞等の単語の使い
方の分類である。本発明では、単語カテゴリを階層化す
ることが特徴である。例えば、名詞という単語カテゴリ
の下位カテゴリとして普通名詞と固有名詞を置き、また
、普通名詞の単語カテゴリの下位に単数名詞と複数名詞
のカテゴリを置いて、単語カテゴリを階層化する。また
、例えば、助動詞という単語カテゴリの下位に否定の助
動詞と、肯定の助動詞の下位カテゴリを置く。このよう
な単語カテゴリの階層構造は、単語カテゴリ階層辞書３
３に前もって記述しておく。また、訓練サンプル２４の
文中の各単語には、下位の最も細分化された単語カテゴ
リを記述しておく。

ここで、上位カテゴリ出現頻度計算部２９は、三つ組出
現頻度ファイル３１に格納された単語カテゴリの三つ組
を一つ一つ取り出し、各三つ組の単語カテゴリに上位カ
テゴリが存在するか否かを単語カテゴリ階層辞書３３を
参照して判断する。

上位カテゴリが存在する場合には、下位カテゴリの三つ
組の出現頻度を合計した値を上位カテゴリの三つ組の出
現頻度として上位カテゴリ三つ組出現頻度ファイル３２
に格納する。

すなわち、例えば、固有名詞−助動詞−動詞という三つ
組については、固有名詞と普通名詞の上位に名詞という
上位カテゴリが存在するので、固有名詞−助動詞−動詞
の出現頻度と普通名詞−助動詞−動詞の出現頻度を合計
して、名詞−助動詞−動詞の出現頻度とし、上位カテゴ
リ三つ組出現頻度ファイル３２に格納する。

上位カテゴリ出現頻度計算部２９は、以上の処理を三つ
組出現頻度ファイル３１に格納されているすべての三つ
組および二つ組に対して実行する。

これによって、上位カテゴリ三つ組出現頻度ファイル３
２には、上位カテゴリの三つ組および二つ組の出現頻度
が格納される。

上位カテゴリの出現頻度の計算が完了した後、推移確率
生成部３０を稼働する。推移確率生成部３０は、推移確
率同一性検定部３４および推移確率計算部３５、推移確
率登録部３６からなる。

推移確率生成部３０が稼働されると、まず、推移確率同
一性検定部３４が三つ組出現頻度ファイル３１から対応
する三つ組と二つ組の出現頻度を取り出し、推移確率計
算部３５を起動して該三つ組の推移確率を算出する。単
語カテゴリＷｌの三つ組をＷｌ　−Ｗｌ　−Ｗｌ　とす
ると、それに対応する二つ組はｗ２−Ｗｌである。単語
カテゴリの三つ組Ｗ、−Ｗ２−Ｗ３の推移確率は、三つ
組Ｗ。

Ｗｌ−Ｗｌの出現頻度と、二つ組Ｗ２−ｗ３の出現頻度
から求めることができる。

次に、推移確率同一性検定部３４は、上位カテゴリ三つ
組出現頻度ファイル３２がら該三つ組ｗ１−ｗ２−Ｗ３
の上位カテゴリの三つ組の出現頻度と二つ組の出現頻度
を取り込む。すなわち、単語カテゴリＷｉの上位カテゴ
リをＵ、とすると、上位カテゴリの三つ組Ｗｌ−ｕ２−
ｕ３の出現頻度と二つ組ｕ２−ｕ３の出現頻度を取り込
む。そして推移確率計算部３５を起動して、上位カテゴ
リの三つ組ｗｌ　−ｕ２−ｕ３の推移確率を算出する。

以上の処理によって、三つｉＷｌ−Ｗｌ−ｗ３の推移確
率Ｐ１．Ｉと上位カテゴリの三つ組Ｗｌ　−ｕ２−ｕ３
の推移確率Ｐ５が求まる。

次に、推移確率同一性検定部３４は、推移確率ｐ−とｐ
、に有意の差があるか否がを統計的に判定する。そして
、有意の差がない場合には、上位カテゴリを用いた推移
確率の推定値↑５を三つ組ｗｌ　−ｗ２−Ｗｌより求め
た推移確率の推定４１　ｐ　ｗに代わる推移確率と見な
し、推移確率登録部３６に送る。推移確率登録部３６は
、単語カテゴリ推移確率テーブル２６に、上位カテゴリ
の三つ組ｗ１ｕ２−ｕ３から求めた推移確率の推定値Ｐ
ｕを格納する。一方、推移確率Ｐ−とＰｕに有意の差が
ある場合には、推移確率ｐ８登録部３６を起動し、下位
カテゴリから求めた推移確率の推定値Ｐ１を単語カテゴ
リ推移確率テーブル２６に格納する。

単語カテゴリ推移確率テーブル２６には、下位カテゴリ
の推移確率と上位カテゴリの推移確率に有意な差がない
場合には上位カテゴリの推移確率を登録し、有意な差が
ある場合には下位カテゴリの推移確率を登録することに
なる。

これによって、下位カテゴリを増やし、すなわち、単語
カテゴリを細かく分けたとしても、統計的に下位カテゴ
リの推移確率と上位カテゴリの推移確率に有意な差がな
ければ、上位カテゴリの推移確率で代替でき、上位カテ
ゴリの推移確率と、有意の差がある下位カテゴリの推移
確率を単語カテゴリ推移確率テーブル２６に格納すれば
よいことになる。これによって単語カテゴリを多くとっ
ても、単語カテゴリ推移確率テーブル２６の記憶容量は
小さく抑えられる。また、上位カテゴリの出現頻度は下
位カテゴリの出現頻度よりも多いので、推移確率の統計
的な精度も向上することになる。

前処理部２０の各部が処理を実行することによって単語
カテゴリ推移確率テーブル２６への推移確率の蓄積処理
が完了すると、前処理部２０の処理は終了し、品詞／単
語推定部２１の処理を実行することが可能になる。

品詞／単語推定部２１は、単語検索部３７および最尤候
補探索部３８、推移確率検定部３９からなる。単語検索
部３７は、入力文字列２２を受は取り、前処理部２０で
作成した単語辞書２５を参照することにより、入力文字
列２２を単語に分割する。分割された各単語には、単語
辞書２５を参照することによって、いくつかの単語カテ
ゴリ候補と各単語カテゴリ候補についての出現頻度が付
加されている。単語検索部３７は、求めた単語カテゴリ
候補列を最尤候補探索部３８に送る。

最尤候補探索部３８は、単語検索部３７が検索した各単
語について、最も最適な品詞を見つけだす処理を行なう
。すなわち、単語カテゴリ候補列の三つ組を作り、各部
つ組について推移確率を求め、推移確率の大きい三つ組
を最尤の品詞とするのである。最尤候補探索部３８は、
推移確率検定部３９を起動し、その結果得られた推移確
率から最尤の品詞を推定する。

このとき推移確率検定部３９は、三つ組の推移確率を前
処理部２０で作成した単語カテゴリ推移確率テーブル２
６を参照して求める。推移確率を求めたい三つ組の単語
カテゴリに上位カテゴリが存在する場合には、単語カテ
ゴリ推移確率テーブル２６に上位カテゴリの推移確率が
登録されている場合もある。求めたい三つ組の推移確率
が単語カテゴリ推移確率テーブル２６中にない場合には
上位カテゴリの三つ組の推移確率を参照する。

以上の処理によって、最尤の品詞推定候補あるいは単語
推定候補２３が品詞／単語推定部２１から出力されるこ
とになる。

第３図は、一実施例の動作フローチャートおよび説明図
である。第２図のシステム構成の各部の動作を第３図に
沿って説明する。

第３図（ａ）は、訓練サンプル２４の例文である。”Ａ
　ｒｅｃｅｎｔ　ｒｅｐｏｒｔ　１ｓｓｕｅｄ　ｂｙ　
ｔｈｅ　ＣｏｍｐｕｔｅｒＳｉｅｎｃｅ　ａｎｄ　Ｔｅ
ｃｈｎｏｌｏｇｙ　　Ｂｏａｒｄ　ｓｕ＋ｕ＋ａｒｉｚ
ｅｓ　ｔｈｅ　ｐｒｔｏｒｉｔｉｅｓ　ｉｎ　５ｏｆｔ
＆ＬＩａｒｅ　ｒｅｓｅａｒｃｈ、　”という例文の各
単語に、該文中でのその単語の使用法である単語カテゴ
リが付記されている。すなわち、′Ａ″に付加されてい
る（ＡＲＴ）は冠詞、’ｒｅｃｅｎｔ”の（ＡＤＪ）は
形容詞、ｒｅｐｏｒｔ”の（Ｎ）は名詞、”１ｓｓｕｅ
ｄ”の（Ｖ、ＥＮ）は動詞の過去分詞、“ｂｙ”の（Ｐ
ＲＥＰ）は前置詞、”ａｎｄ″の（ＣＪ　、　Ｃｏ）は
等位接続詞、ｓｕｍｍａ　ｒ　１ｚｅｓ”の（Ｖ、ＥＳ
）は動詞の三人称現在形、“ｐｒｉｏｒｉｔｉｅｓ”の
（Ｎ、ＰＬ）は名詞の複数形、“、”の（Ｚ、５ＣＬ）
は句読点である。

このような訓練サンプルの文が、まず、単語頻度計算・
登録部２７に入力される。同図（ｂ）は、単語頻度計算
・登録部２７の動作フローチャートである。

まず、訓練サンプル２４のファイルをオーブンする（Ｓ
ｌ）。そして、次に、該ファイルに例文があるか否かを
判定する（Ｓ２）。例文がある場合（ｎｏ）には、ファ
イルから文を一つ読み込む（Ｓ３）。そして、例文を構
成している各単語の頻度データを１増やす（Ｓ４）。す
なわち、同図（ａ）の例文ならば、単語見出し″Ａ　Ｉ
＋のなかで単語カテゴリが冠詞（ＡＲＴ）の場合の出現
頻度データを１増やし、次に、単語カテゴリが形容詞（
ＡＤＪ）のｒｅｃｅｎｔ”の出現頻度を１増やす。この
処理を１文の全単語について実行する。

１文の全単語について頻度のインクリメント処理が終了
したら、Ｓ２に戻り、ファイル中にまだ例文があるか否
かを判定し、ある場合には、Ｓ３、Ｓ４の処理を繰り返
す。３２〜Ｓ４の処理で、訓練サンプル２４のファイル
の全文について、出現する単語の頻度が計数される。

Ｓ２でファイル中の例文がなくなったと判断した場合（
ｙｅｓ）には、すべての出現単語について、単語カテゴ
リ、頻度、単語見出しを組にした単語辞書２５に登録し
くＳ５）、処理を終了する（ＥＮＤ）。以上の処理で、
単語辞書２５が作成される。

同図（Ｃ）は単語辞書２５の内容の例である。

ｒＡＤＪ　　２８　　ｂａｃｋ　Ｊは、”ｂａｃｋ”と
いう単語を形容詞（ＡＤＪ）として使用した頻度が２８
回であることを意味する。この例から分かるように、一
つの単語には複数の単語カテゴリがあり、それぞれの単
語カテゴリについての頻度を辞書に格納しである。

例えば、単語“ｂａｃｋ”には、形容詞（ＡＤＪ）　、
副詞（ＡＤＶ）　、名詞（Ｎ）、動詞（Ｖ）の単語カテ
ゴリが存在し、訓練サンプル２４の全文において出現し
た頻度は、それぞれ、２８回、７３３回、１７９回、２
６回である。

訓練サンプル２４の各文は三つ組出現頻度計算部２８に
も入力される。同図（ｄ）は、三つ組出現頻度計算部２
８の動作フローチャートである。

まず、訓練サンプル２４のファイルをオープンする（Ｓ
６）。そして、次に、該ファイルに例文があるか否かを
判定する（Ｓ７）。例文がある場合（ｎｏ）には、ファ
イルから文を一つ読み込む（Ｓ８）。例えば、同図（ａ
）の例文を読み込んだとする０次に、読み込んだ文の文
頭に二つの文頭記号と、文末に二つの文末記号を加える
（Ｓ９）ここでは、文頭記号と文末記号を“＃”とする
。

すると、同図（ａ）の例文は、文頭と文末にそれぞれ“
＃　＃”が付加されたかたちになる。

次に、該文の単語数を数え、Ｌとする（３１０）文頭記
号“＃”、文末記号“＃”、句読点も１単語と数えて計
数する。同図（ａ）の例文の場合、Ｌ＝２０である。

この後、該文に現れる単語の三つ組、二つ組について、
出現頻度を計数する処理を実行する。

まず、何番目の単語かを表す変数をｉとし、ｉ＝０に設
定する（Ｓｌｌ）（先頭の単語を０番目の単語とする）
。そして、（１番目の単語、ｉ十１番目の単語、ｉ＋２
番目の単語）の組を三つ組とし、三つ組単語の単語カテ
ゴリ列の出現頻度に１を加える（Ｓ１２）。同図（ａ）
の例文の場合、ｉ＝０のときに得られる三つ組単語は（
＃、　＃。

Ａ）であり、単語カテゴリの三つ組は（＃、　＃。

ＡＲＴ）である。そしてＳ１２は（＃、　；＃、　ＡＲ
Ｔ）の出現頻度を１増やす。

次に、ｉ＞Ｌ−４を判定する（Ｓ１３）。これは読み込
んだ文中に二つ組がまだ存在するか否かを判定する判定
式であり、ｉ≦Ｌ−４ならば（ｎｏ）まだ二つ組が存在
し、ｉ＞Ｌ−４ならば（ｙｅｓ）二つ組は存在しないこ
とを意味する。二つ組が存在する場合には（ｎ　ｏ　）
　、二つ組（ｉ＋１番目の単語、ｉ＋２番目の単語）の
単語カテゴリ列の出現頻度に１を加える（Ｓ１４）。同
図（ａ）の例文の場合、ｉ−０のとき得られる二つ組の
単語は（＃、　Ａ　＞であり、単語カテゴリの二つ組は
（＃、　ＡＲＴ）である。そして、Ｓ１４は（＃、　Ａ
ＲＴ）の出現頻度を１増やす。

二つ組の出現頻度を増やした後、ｉ＝ｉ＋ｌにする（３
１５）。３１３で二つ組が存在しない（ｙｅｓ）の場合
にもＳ１５を実行する。そして、次に、ｉ＞Ｌ−３を判
定する（Ｓ１６）。これは、読み込んだ文中に三つ組が
まだ存在するか否かを判定する判定式であり、ｉ≦Ｌ−
３ならば（ｎｏ）まだ三つ組が存在し、ｉ＞Ｌ−３なら
ば（ｙｅｓ）三つ組は存在しないことを意味する。

三つ組が存在する場合には（ｎｏ）、３１２〜Ｓ１４の
処理を実行し、三つ組、二つ組の出現確率をインクリメ
ントする。すなわち、ｉ＝１の場合の三つ組単語は（＃
、　Ａ　、　ｒｅｃｅｎｔ）　、その単語カテゴリ列は
（＃、　ＡＲＴ、　ＡＤＪ）であり、３１２で（＃、　
ＡＲＴ、　ＡＤＪ）の出現頻度を１増やす。二つ組単語
は（Ａ　、　ｒｅｃｅｎｔ）　、その単語カテゴリ列は
（ＡＲＴ、　ＡＤＪ）であり、Ｓ１３で（ＡＲＴ、　Ａ
ＤＪ）の出現頻度を１増す。

読み込んだ三つ組がもう存在しない（３１６のｙｅｓ）
場合には、Ｓ７に戻り、ファイル中にまだ文が残ってい
る場合には（Ｓ７のｎｏ）・、３８〜３１６の処理によ
って三つ組、二つ組の単語カテゴリの出現頻度を計数す
る。

以上の処理によって、訓練サンプル２４の全文について
、そのなかに出現する単語カテゴリの三つ組、二つ組の
全出現頻度が求まる。Ｓ７で文がファイル中になくなっ
たと判断した場合には（ｙｅｓ）、三つ組出現頻度計算
部の処理を終了する（ＥＮＤ）。

同図（ｅ）は、三つ組出現頻度ファイル３１の内容例で
ある。該ファイル３１中には二つ組頻度ファイルと三つ
組頻度ファイルがある。例えば、二つ組頻度ファイルの
場合、ｒｃＪ、ｃＯＡＵＸ　　２９０　Ｊといった内容
が格納されている。これは、単語カテゴリの二つ組、等
位接続詞（ＣＪ、Ｃ０）−肯定の助動詞（ＡＵＸ）の出
現頻度が２９０回であることを表す。

ｒｃＪ、ｃＯＡＵＸ：ＮＯＴ　　２６Ｊは、等位接続詞
（ＣＪ、Ｃ０）−否定の助動詞（ＡＵＸ：Ｎ０Ｔ）の出
現頻度が２６回であることを表す。また、三つ組の頻度
ファイルにも同様のデータが格納される。ｒ＃　　ＣＪ
、ＣＯＡＵＸ１６」は、文頭記号−等位接続詞（ＣＪ、
Ｃ０）−肯定の助動詞（ＡＵＸ）の出現頻度が１６回で
あることを、ｒ＃　　ＣＪ、ＣＯＡＵＸ：ＮＯＴ　　Ｉ
　Ｊは、文頭記号−等位接続詞（ＣＪ、Ｃ０）−否定の
助動詞（ＡＬＩＸ：Ｎ０Ｔ）の出現頻度が１回であるこ
とを表す。

三つ組および二つ組の出現頻度がすべて三つ組出現頻度
ファイル３１に格納されると、次に上位カテゴリ出現頻
度計算部２９が起動される。同図（ｆ）は、上位カテゴ
リ出現頻度計算部２９の動作フローチャートである。

まず、三つ組出現頻度ファイル３１をオーブンする（Ｓ
２０）。そして、次に、該ファイルに出現頻度のデータ
があるか否かを判定する（３２１）データがある場合（
ｎｏ）には、ファイルからデータを一つ読み込む（Ｓ２
２）。さらに、そのデータが三つ組のデータか、二つ組
のデータかを判断する（Ｓ２３）。

三つ組データの場合には、まず、核部つ組データの出現
頻度をｆとする（３２４）。このとき、三つ組の単語カ
テゴリ列を（ｗ、、ｗ２　、ｗ３　）とする。そして、
単語カテゴリ階層辞書３３を参照して、ｗ２．ｗ３の上
位カテゴリを求め、それぞれ、ｕｚ、ｕｚとする（３２
５）、そして、上位カテゴリ三つ組出現頻度ファイル３
２から（Ｗ＋ｕｚ、ｕｚ）の出現頻度を読み出し、その
値にｆを加算した値に出現頻度データを更新する（３２
６）。ここで、上位カテゴリ三つ組出現頻度ファイル３
２に（Ｗ＋　、ｕｚ、ｕｚ　）のデータがない場合には
、上位カテゴリ三つ組出現頻度ファイル３２に新たに（
Ｗ＋　、ｕｚ、ｕｚ　）の出現頻度ｆを格納する。

このとき、３２５の処理で、Ｗ２．Ｗ３のどちらにも上
位カテゴリが存在しない場合には、Ｓ２６の処理を実行
せずに３２１に戻る。

３２４〜Ｓ２６の処理によって一つの三つ組の上位カテ
ゴリの出現頻度データが更新されたら、また、三つ組出
現頻度ファイル３１から次のデータを読み込む。このと
き、データがもうない場合には（Ｓ２１のｙｅｓ）、す
べての三つ組、二つ組データについて上位カテゴリの出
現頻度を計算したとして処理を終了する（ＥＮＤ）。

読み込んだデータが二つ組データであった場合は（Ｓ２
３の二つ組データ）、二つ組の上位カテゴリについて出
現頻度を求める。すなわち、まず、該三つ組データの単
語カテゴリ列を（Ｗ２　ｒ　Ｗ３　）とし、出現頻度を
ｇとする（Ｓ２７）。そして、単語カテゴリ階層辞書３
３を参照して、ｗ２．ｗ３の上位カテゴリを求め、それ
ぞれ、ｕｚ、ｕｚとする（３２Ｂ）。そして、上位カテ
ゴリ三つ組出現頻度ファイル３２から（ｕｚ、ｕｚ）の
出現頻度を読み出し、その値にｇを加算した値に出現頻
度データを更新する（Ｓ２９）。ここで、上位カテゴリ
三つ組出現頻度ファイル３２に（ｕｚ、ｕｚのデータが
ない場合には、上位カテゴリ三つ組出現頻度ファイル３
２に新たに（ｕｚ　、　　ｕｚ　）の出現頻度ｇを格納
する。

このとき、３２８の処理で、Ｗ２．Ｗ３のどちらにも上
位カテゴリが存在しない場合には、Ｓ２９の処理を実行
せずに３２１に戻る。

３２７〜Ｓ２９の処理によって一つの二つ組の上位カテ
ゴリの出現頻度データが更新されたら、Ｓ２１に戻る。

以上の処理で、上位カテゴリの出現頻度がすべて算出さ
れる。

同図（ｇ）はＳ２５およびＳ２８で使用する単語カテゴ
リ階層辞書３３の内容例である。「■＠：　Ｖ、ＥＳ　
　Ｖ、ＥＤ　　Ｖ、ＥＮ　　Ｖ、ＩＮＧ　　Ｖ、ＩＮＦ
Ｊは、上位カテゴリの動詞（■＠）の下位に三人称現在
の動詞（Ｖ、ＥＳ　）と、過去の動詞（Ｖ、ＥＤ）　、
過去分詞の動詞（Ｖ、ＥＮ）　、現在進行形の動詞（Ｖ
、ＩＮＧ）、不定詞の動詞（Ｖ、ＩＮＦ）のカテゴリが
あることを示す。

また、ｒ　ＡＵＸ＠：　ＡＵＸ　　ＡＵＸ：Ｎ０ＴＪ　
ハ、上位カテゴリの助動詞（ＡＵＸ＠）の下に、肯定の
助動詞（ＡＵＸ）と否定の助動詞（ＡＵＸ：Ｎ０Ｔ）の
カテゴリがあることを示す。

Ｓ２２で、同図（ｅ）の三つ組頻度ファイル３１の例ｒ
　＃　　ＣＪ、ＣＯＡＵＸ　　　１６Ｊを読み込んだ場
合、まず、Ｓ２４で頻度ｆ＝１６とされる。そして、Ｓ
２５で単語カテゴリ階層辞書３３を参照し、ＡＵＸに上
位カテゴリＡＵＸ＠があることが分かる。

Ｓ２６では、三ツ組（＃　　ＣＪ、ＣＯＡＵＸ＠）　ノ
出現頻度としてｆ＝１６を上位カテゴリ三つ組出現頻度
ファイル３２に格納する。また、この後、三つ組頻度フ
ァイル３１からｒ＃　　ＣＪ、ＣＯＡＵＸ：ＮＯＴ　Ｉ
Ｊを読み込んだとする。すると、Ｓ２４で頻度ｆ＝１と
され、３２５でＡＵＸ　：　ＮＯＴに上位カテゴリＡＵ
Ｘ＠があることが分かる。そして、Ｓ２６では、三つ！
　（＃　　ＣＪ、ＣＯＡＵＸ＠）の出現頻度を上位カテ
ゴリ三つ組出現頻度ファイル３２から読み出し、その値
１６にｆ＝１を加え、出現頻度１７を上位カテゴリ三つ
組出現頻度ファイル３２に格納する。

同図（ｈ）は、以上のようにして求めた上位カテゴリ三
つ組出現頻度ファイル３２の内容例である。上位カテゴ
リの三つ組（＃　　ＣＪ、ＣＯＡＵＸ＠）の出現頻度は
前述の通り１７、そして上位カテゴリの二つ組（ＣＪ、
ＣＯＡＵＸ＠）の出現頻度は、（ＣＪ。

ＣＯＡＵＸ　）、０：）出現頻度２９０と（ＣＪ、ＣＯ
Ａ［ＪＸ：Ｎ０Ｔ）の出現頻度２６を加算した３１６に
なっている。

上位カテゴリの出現頻度が求まると、次に、推移確率を
算出する処理に移る。同図（ｉ）は、推移確率同一性検
定部３４の動作フローチャートである。

まず、作成済みの三つ組出現頻度ファイル３１をオーブ
ンする（３３０）。そして、８亥ファイル３１に未処理
のデータが存在するか否かを判定する（Ｓ３１）。未処
理のデータが存在する場合（ｎｏ）には、三つ組の出現
頻度データを一つ読み込む（３３２）。そして、読み込
んだ三つ組の各単語カテゴリをＷｌ　、Ｗ２　、Ｗｌと
し、その出現頻度をｆとする（Ｓ３３）。次に、この三
つ組に含まれる二つ組Ｗ２　、Ｗｌの出現頻度を三つ組
出現頻度ファイル３１から読み出し、該出現頻度をｇと
する（Ｓ３４）。そして、三つ組（Ｗｌ、ｗ２　、Ｗｌ
　）の推移確率Ｐ　（ｗ＋　　ＩＷ２、ｗ３　）を計算
するために、推移確率計算部３５を起動し、その計算結
果を推移確率６ｕ　＝Ｐ　（ｗ＋　　ｌ　Ｗ２、ｗ３）
とする（Ｓ３５）。

ここで、同図（ｊ）は、推移確率計算部３５が実行する
計算式である。推移確率Ｐ（ｗ＋　　Ｉ　Ｗ２、Ｗ２）
は（３）式で求めることができる。すなわち、三つ組の
出現頻度ｆを二つ組の出現頻度ｇで割ればよい。

次に、上位カテゴリの三つ組の推移確率を求める。すな
わち、単語カテゴリＷ２、ｗ３の上位カテゴリを、単語
カテゴリ階層辞書３３を参照して求め、それぞれｕ２、
ｕ３　とする（Ｓ３６）、そして、上位カテゴリの三つ
組（Ｗｌ　、ｕ２　、ｕ３　）の推移確率ｐ　（ｗ、ｌ
ｕ２、ｕ３　）を求めるために推移確率計算部３５を起
動し、その計算結果を推移確率ｐｕ　＝ｐ　（ｗ＋　　
ｌ　ｕ２　、ｕｚ　）とする（Ｓ３７）。このとき、推
移確率計算部３５は上位カテゴリ三つ組出現頻度３２か
ら三つ組（Ｗｌ、ｕ２　、ｕ：ｌ　）の出現頻度ｆと二
つ組の（ｕ２、ｕ２の出現頻度ｇを読み出し、ｆをｇで
除算した解を推移確率Ｐｕ　＝Ｐ　（Ｗｌ　　ｌ　ｕ２
　、ｕ３　）とする。

３３２〜３３７の処理によって、ある三つ組の推移確率
Ｐ。と、その三つ組の上位カテゴリについての推移確率
？。が求まる。例えば、上位カテゴリの三つ組（＃、　
ＣＪ、ＣＯ，ＡＵＸ＠）　ノ推移確率？。

＝Ｐ　（＃　Ｉ　ＣＪ、ＣＯ，ＡＵＸ＠）　＝Ｐｏ　ハ
０．０５３　Ｂ、下位カテゴリの三つ組（＃、ＣＪ、Ｃ
Ｏ，ＡＬＩＸ）の推移確率↑。＝　Ｐ　（；＃　ｌ　Ｃ
Ｊ、ＣＯ，ＡＵＸ）　＝　ｐ　ｒはｏ、　　。

５５１になる（同図（ｊ）の例）。また、下位カテゴリ
ノ三ツ、ＩＩ　（＃、　ＣＪ、ＣＯ，ＡＵＸ：Ｎ０Ｔ）
　Ｉ）推移確率Ｐ　ｗ””　Ｐ　（＃　ｌ　ＣＪ、ＣＯ
，ＡＵＸ：Ｎ０Ｔ）　＝　Ｐ　ｚは０゜０３８５になる
。

次に、統計の検定式を使用して、上位カテゴリの推移確
率ｐ１と下位カテゴリの推移確率ｐ。の間に有意な差が
あるか否かを検定する（３３８．５３９）。同図（ｋ）
は、検定式の一例である。

まず、８３８で（４）式の値１ｕｌを求め、Ｓ３９でｔ
ｕｔＯ値を検定する。

すなわち、ｐｗ　＝ｐ、という帰無仮説を立て、これが
棄却されるか否かを（４）式によって求まるＪｕｌの値
によって判定する。ここで、（４）式のｎ　ｕ　（！：
　ｎ　ｗはそれぞれ上位カテゴリの三つ組の出現頻度と
、下位カテゴリの三つ組の出現頻度である。１ｕｌＯ値
を統計的に定まった値εと比較し、１ｕ１〈さならば帰
無仮説は棄却できず、ｕ１≧さならば帰無仮説を棄却で
きると判定する。このεという値は、ある事象が近似的
に正規分布にしたがっていると考えられる場合に、正規
分布のＸ％の範囲に含まれるか否かを判断するための値
であり、 ｕ　（（１００−ｘ）／２００）の関数として表せる。

例えば、正規分布の９０％の範囲（有意水準１０％）を
示すＵの値はｕ　（（１００−９０）／　２００　）　
＝　ｕ　（０、１／　２　）　＝　１　、　６４、有意
水準５％（正規分布の９５％の範囲）の場合Ｕ（０，０
５／２）＝１．９６、有意水準１％（正規分布の９９％
の範囲）の場合ｕ　（０，０１／２）＝２．５８である
。本実施例では、Ｐｗとｐｕの揺らぎを考慮し、例えば
、有意水準を１０％とする。

先に求めた上位カテゴリの推移確率Ｐｏ＝Ｐｕ＝Ｐ　（
＃ｌＣＪ、ＣＯ，ＡＵＸ＠）　＝０．　０５３８と、下
位カテゴリの推移確率ｐ＋　＝Ｐｗ＝Ｐ　（＃　ｌＣＪ
、ＣＯ，ＡＵＸ）　＝０．　０５５１に関して、帰無仮
説ＨＷ：Ｐｕ＝Ｐｗ　としてｌｕｌを求めると、Ｉｕ＝
０．０７４となり、ｌ　ｕ　ｌ　＜ｕ　（０，１／２）
＝１．６４で帰無仮説Ｈｗは棄却できない。すなわち、
上位カテゴリの推移確率ｐ、　＝Ｐ　（＃　ｌ　ＣＪ。

Ｃｏ、　ＡＵＸ＠）　＝０．　０５３８と下位カテゴリ
の推移確率↑。＝Ｐ　（＃　ｌ　ＣＪ、ＣＯ，ＡＬＩＸ
）　−０，０５５１の間に有意な差がないと判断される
。

また、上位カテゴリの推移確率Ｐｏ＝Ｐｕ＝Ｐ（＃　ｌ
　ＣＪ、ＣＯ，ＡＵＸ＠）　＝　０　、　０５３８と、
下位カテゴリの推移確率ｔ２＝♀、　＝　Ｐ　（＃　１
．ｃＪ、ｃＯ，ＡＬＩＸ：Ｎ０Ｔ）　＝　０．　０３８
５の間で帰無仮説Ｈｗ　：　ｐｕ＝ｐ、、を検定すると
、１ｕｌ＝ｏ、０７７＜ｕ（０，１／２）＝１．６４で
帰無仮説Ｈｗは棄却できない。すなわち、上位カテゴリ
の推移確率ｐｕ＝Ｐ　（＃　ｌ　ＣＪ、ＣＯ，ＡＵＸ＠
）　＝０．　０５３８と下位カテゴリの推移確＄６．　
＝　Ｐ　（＃　ｌ　ＣＪ、ＣＤ、　ＡＵＸＩＮＯＴ）＝
０．０３８５の間には有意な差がないと判断される。

Ｓ３９で、有意な差がないと判断した場合には（ｙｅｓ
）、推移確率登録部３６を呼び出し、上位カテゴリの推
移確率？８を単語カテゴリ推移確率テーブル２６に登録
する（Ｓ４０）。一方、有意な差があると判断した場合
には（ｎｏ）、同様に推移確率登録部３６を呼び出し、
下位カテゴリの推移確率ｒ８を単語カテゴリ推移確率テ
ーブル２６に登録する（３４１）。

例えば、前述の例では上位カテゴリの推移確率ｐｏ　　
＝ｐｕ＝Ｐ　　（＃　ｌ　ＣＪ、ＣＯ，ＡＵＸ＠）　　
＝０．　０５３８と下位カテゴリの推移確率６＋　−’
ｉ；、　＝Ｐ（＃　ｌｃＪ、ｃＯ，ＡＵＸ）　＝０．　
０５５１の間、および上位カテゴリの推移確率４ｏと下
位カテゴリの推移確率Ｐｚ　＝ｐ−＝Ｐ　（＃　ｌ　Ｃ
Ｊ、ＣＯ，ＡＵＸ：Ｎ０Ｔ）　＝０．０３８５の間に有
意な差がないと判断されたので、下位カテゴリの推移確
率ｐ１とｐ２の代わりに上位カテゴリの推移確率ｒ０を
登録する。

３４０あるいはＳ４１で上位カテゴリあるいは下位カテ
ゴリの推移確率を単語カテゴリ推移確率テーブル２６に
登録したら、Ｓ３１に戻り、次の三つ組データの読み込
み、推移確率の計算と登録の処理を実行する（３３２〜
５４１）。このとき、三つ組出現頻度ファイル３１にも
・うデータが存在しない場合には（Ｓ３１のｙｅｓ）、
処理を終了する（ＥＮＤ）。

以上の処理によって、単語カテゴリのすべでの三つ組デ
ータについて、推移確率が単語カテゴリ推移確率テーブ
ル２６に蓄積され、前処理部２０の処理が完了する。

次に、品詞あるいは単語の推定部２１の動作を説明する
。同図（ｍ）は、品詞あるいは単語推定部２１の処理の
動作フローチャートである。

まず、単語検索部３７は入力文字列２２を読み込む（Ｓ
５０）、例えば、”Ｉ　　ｍａｙ　　ｎｏｔｂｅ　　ａ
ｂｌｅ　　ｔｏ　　ｃｏｍｅ　　ｂａｃｋ。

という文が入力されるものとする。次に、単語検索部３
７は単語辞書２５（同図（Ｃ））を検索し、入力文字列
２２を単語に分割したうえ、各単語の品詞候補と出現頻
度を読み出す。例えば、上記の例文のなかのｂａｃｋ″
には、形容詞と副詞、名詞、動詞という４つの品詞候補
が読み出される（同図（Ｃ））。そして、各単語の見出
し、品詞候補、各品詞候補の出現頻度の情報を最尤候補
探索部３８に送る。

最尤候補探索部３８は、受は取った各単語の見出し、品
詞候補、各品詞候補の出現頻度の情報から品詞候補の三
つ組を順次作成する。例えば、”ｔｏ　　ｃｏｍｅ　　
ｂａｃｋ”の二つ組ならば、前置詞−動詞の現在形−形
容詞、あるいは前置詞−動詞の不定詞−形容詞、前置詞
−動詞の不定詞−副詞、・・・といった各単語の品詞候
補の全組み合わせの三つ組が出来上がる。そして、各品
詞候補の三つ組について、推定確率検定部３９を呼び出
し、推移確率を求める。

同図（ｎ）は、推移確率検定部３９の動作フローチャー
トである。

まず、３５２で求めた品詞候補の三つ組（Ｗ＋、Ｗｚ　
、ｗ３　）について単語カテゴリ推移確率テーブル２６
を検索する（Ｓ５４）。三つ組（Ｗ＋、Ｗｚ、Ｗ３　）
がテーブル２６から見つかった場合（Ｓ５５のｎｏ）に
は、対応する推移確率を読み出し、最尤候補探索部３８
にその値を返す。

一方、三つ組（Ｗ＋　、Ｗｚ　、Ｗ３　）が見つからな
い場合には、上位カテゴリの推移確率が代わりに格納さ
れていると考えられる（Ｓ５５のｙｅｓ）この場合、単
語カテゴリ階層辞書３３を検索し、ｗ２およびｗ３の上
位カテゴリを求め、それぞれｕ　２　、ｕ　ｚとする（
３５６）。そして、上位カテゴリの三つ組（ｗＩ　、ｕ
２　、［３）について単語カテゴリ推移確率テーブル２
６を検索し、対応する推移確率を最尤候補探索部３８に
返す（Ｓ５７）そして、最後に、最尤候補探索部３日は
、推移確率検定部３９から返された各品詞候補の三つ組
の推移確率や、各単語の品詞候補の出現頻度の値を元に
、品詞あるいは単語として最ももっともらしい候補を選
択する（３５３）。

以上の処理で、最尤の品詞あるいは単語候補２３が得ら
れる。

〔発明の効果〕

本発明によれば、単語カテゴリを細分化しても、有効な
推移確率を求めることができ、精度を落とすことなく品
詞あるいは単語の推定を行なうことが可能になる。また
、単語カテゴリを細分化しても、階層化しであるので、
推移確率を格納しておくファイルの記憶容量が急激に増
大することがない。これによって、全体として、精度が
高い品詞推定を、コンパクトな記憶容量のなかで実現す
ることが可能になる。

【図面の簡単な説明】

第１図は本発明の機能ブロック図、 第２図は一実施例のシステム構成図、 第３図は動作フローチャートおよび説明図、第４図は従
来方式の説明図。 ■・・・品詞／単語推定装置、 ２・・・推移確率性成部、 ３・・・品詞／単語推定部、 ４・・・訓練サンプル、 ５・・・単語辞書、 ６・・・単語カテゴリ推移確率テーブル７・・・入力文
字列、 ８・・・品詞／単語推定結果、 ９・・・出現深度算出手段、 １０・・推移確率算出手段、 １１・・単語列抽出手段、 １２・・推移確率決定手段、 １３・・品詞／単語決定手段。

Claims (1)

1. 【特許請求の範囲】 １）複数の文からなる訓練サンプル（４）を元に各単語
   の見出しと単語カテゴリ、出現頻度からなる単語辞書（
   ５）、および、各単語カテゴリの推移確率を表にした単
   語カテゴリ推移確率テーブル（６）を作成する推移確率
   生成部（２）と、該単語辞書（５）および該単語カテゴ
   リ推移確率テーブル（６）を元に任意の入力文字列（７
   ）の品詞を推定し、品詞／単語推定結果（８）を出力す
   る品詞／単語推定部（３）からなる品詞／単語推定装置
   （１）において、 訓練サンプル（４）に含まれる各単語について単語カテ
   ゴリと出現頻度を求め単語辞書（５）を作成するととも
   に、訓練サンプル中の単語列に対応した単語カテゴリ列
   を元にした各単語カテゴリ列の出現頻度と、該単語カテ
   ゴリの上位カテゴリを用いた上位カテゴリ列の出現頻度
   を算出する出現頻度算出手段（９）と、 前記出現頻度算出手段（９）によって求めた単語カテゴ
   リの出現頻度および上位カテゴリの出現頻度を元に、単
   語カテゴリの推移確率を求め、単語カテゴリ推移確率テ
   ーブル（６）を作成する推移確率算出手段（１０）と、 入力文字列（７）に対して、単語辞書（５）を使用して
   該入力文字列（７）を構成する単語を抽出し、単語カテ
   ゴリ列の候補を抽出する単語列抽出手段（１１）と、 前記単語列抽出手段（１１）が抽出した各単語カテゴリ
   列候補について、前記推移確率算出手段（１０）が作成
   した単語カテゴリ推移確率テーブル（６）を元に推移確
   率を決定する推移確率決定手段（１２）と、 前記推移確率決定手段（１２）が決定した、各単語カテ
   ゴリ列候補についての推移確率データを元に、該入力文
   字列（７）を構成する単語、あるいは単語の品詞を推定
   し、品詞／単語推定結果（８）を出力する品詞／単語決
   定手段（１３）とを有することを特徴とする階層化され
   た単語カテゴリの推移確率を利用した品詞／単語推定装
   置。 ２）前記出現頻度算出手段（９）は、単語カテゴリの情
   報を階層化された形式でもち、下位の単語カテゴリを元
   にした単語カテゴリ列の出現頻度と、上位の単語カテゴ
   リを元にした単語カテゴリ列の出現頻度をそれぞれ求め
   る請求項１記載の階層化された単語カテゴリの推移確率
   を利用した品詞／単語推定装置。 ３）前記推移確率算出手段（１０）は、前記出現頻度算
   出手段（９）が求めた下位の単語カテゴリ列の出現頻度
   および上位の単語カテゴリ列の出現頻度を元に、それぞ
   れ下位の単語カテゴリ列の推移確率ｐ＿１と、上位の単
   語カテゴリ列の推移確率ｐ＿２を算出し、帰無仮説Ｈ＿
   ０ｐ＿１＝ｐ＿２が棄却されない場合には上位カテゴリ
   推移確率ｐ＿２を当該推移確率とし、また、帰無仮説Ｈ
   ＿０ｐ＿１＝ｐ＿２が棄却される場合には下位カテゴリ
   推移確率ｐ＿１を当該推移確率とする請求項１記載の階
   層化された単語カテゴリの推移確率を利用した品詞／単
   語推定装置。 ４）前記推移確率算出手段（１０）は、上位カテゴリの
   推移確率を算出する際に、その下位カテゴリのなかで帰
   無仮説が棄却されたカテゴリによる出現頻度を差し引い
   たうえで、上位カテゴリの推移確率を算出する請求項１
   記載の階層化された単語カテゴリの推移確率を利用した
   品詞／単語推定装置。 ５）前記推移確率算出手段（１０）は、上位カテゴリの
   推移確率の代わりに、類似カテゴリの推移確率、あるい
   は複数の単語カテゴリの推移確率の関数として得られる
   推移確率を、単語カテゴリ推移確率として利用し、単語
   カテゴリ推移確率テーブル（６）を作成することができ
   る請求項１記載の階層化された単語カテゴリの推移確率
   を利用した品詞／単語推定装置。 ６）前記推移確率算出手段（１０）は、出現頻度０の単
   語カテゴリ列と、構文上出現し得ないことが明らかな単
   語カテゴリ列とを区別して計算する請求項１記載の階層
   化された単語カテゴリの推移確率を利用した品詞／単語
   推定装置。 ７）前記出現頻度算出手段（９）は、タイトルと本文の
   区別、疑問符の有無等の全体的な特徴によって、出現頻
   度を分けて算出する請求項１記載の階層化された単語カ
   テゴリの推移確率を利用した品詞／単語推定装置。 ８）前記出現頻度算出手段（９）は、特定の単語カテゴ
   リ列についてはまとまった一つの単語カテゴリとみなし
   て出現頻度を算出する請求項１記載の階層化された単語
   カテゴリの推移確率を利用した品詞／単語推定装置。 ９）前記推移確率決定手段（１２）は、前記単語列抽出
   手段（１１）が抽出した単語カテゴリ列について、特定
   の単語カテゴリ列を一つの単語カテゴリとみなして推移
   確率を決定する請求項１記載の階層化された単語カテゴ
   リの推移確率を利用した品詞／単語推定装置。 １０）前記出現頻度算出手段（９）は、複数の単語から
   なる熟語や慣用表現について、該単語列が熟語として使
   用される確率である熟語確率を単語辞書（５）中に格納
   する請求項１記載の階層化された単語カテゴリの推移確
   率を利用した品詞／単語推定装置。 １１）前記推移確率算出手段（１０）は、熟語になり得
   る単語列に対して、熟語確率を利用し、熟語の場合と熟
   語でない場合のそれぞれについて推移確率を算出する請
   求項１記載の階層化された単語カテゴリの推移確率を利
   用した品詞／単語推定装置。 １２）前記単語列抽出手段（１１）は、単語辞書（５）
   に登録されていない未登録語について、該単語が大文字
   で始まるか否か、および、該単語の語尾の情報をもとに
   、単語カテゴリおよび該単語カテゴリになり得る確率を
   求める請求項１記載の階層化された単語カテゴリの推移
   確率を利用した品詞／単語推定装置。 １３）前記推移確率決定手段（１２）は、未登録語につ
   いて、前記単語列抽出手段（１１）が求めた未登録語の
   単語カテゴリ情報を使用して、単語カテゴリ推移確率テ
   ーブル（６）を検索し、推移確率を求める請求項１記載
   の階層化された単語カテゴリの推移確率を利用した品詞
   ／単語推定装置。 １４）前記品詞／単語決定手段（１３）は、未登録語に
   ついて、前記単語列抽出手段（１１）で求めた未登録語
   がある単語カテゴリになり得る確率のデータ、および、
   前記推移確率決定手段（１２）で求めた単語カテゴリ推
   移確率を元に、該未登録語の品詞を推定する請求項１記
   載の階層化された単語カテゴリの推移確率を利用した品
   詞／単語推定装置。 １５）前記品詞／単語決定手段（１３）は、ある単語列
   が辞書に存在する場合でも、大文字で始まる等の手掛か
   りおよび単語カテゴリ推移確率をもとに、未登録語であ
   る可能性を判定する請求項１記載の階層化された単語カ
   テゴリの推移確率を利用した品詞／単語推定装置。 １６）前記品詞／単語決定手段（１３）は、音声認識の
   単語訂正、文字認識の単語訂正およびスペル訂正を実行
   する請求項１記載の階層化された単語カテゴリの推移確
   率を利用した品詞／単語推定装置。