JPH0146895B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は、単語辞書および文法辞書を参照して
得られた候補単語の優先順位を、上記単語辞書に
書込まれた使用頻度および単語の語長で以て定め
るように構成された単語抽出装置において、漢字
仮名混じり文を入力し、該漢字仮名混じり文にお
ける単語の出現頻度を調べ、求められた出現頻度
に基づき単語辞書内の単語使用頻度を更新するよ
うにした辞書学習方式に関するものである。

例えば、従来の仮名漢字変換装置においては、
入力仮名文字列に対応する単語を単語辞書および
文法辞書を用いて求め、候補単語の優先順位を単
語の文字数および単語の使用頻度に基づいて定め
ている。上記の単語辞書は、単語、単語の読み、
文法情報および単語の使用頻度が書込まれた複数
のエントリを有している。単語の使用頻度を単語
辞書に書込む方法としては、例えば国立国語研究
所などから提供される単語使用頻度表などを参照
して単語使用頻度を単語辞書に書込む方法や仮名
漢字変換の際に抽出される単語の頻度に基づいて
単語辞書内の単語使用頻度を更新する方法などが
知られている。しかし、単語の使用頻度は仮名漢
字変換装置の使用分野毎に異つており、上記のよ
うな単語使用頻度設定方法は常に適切な単語使用
頻度を与えるものではない。

本発明は、上記の考案に基づくものであつて、
単語辞書内の使用頻度を分野に応じて適切かつ簡
単に設定できるようになつた辞書学習方式を提供
することを目的としている。そしてそのため、本
発明の辞書学習方式は、 漢字表記もしくは仮名表記もしくは漢字仮名混
じり表記等の表記形式で表記された単語と単語の
読みと単語の文法情報と単語の使用頻度とが書込
まれた単語辞書９と、 品詞間の文法的接続可否情報が書込まれた文法
辞書８と、 漢字仮名混じり文字列を入力できる入力装置１
と、 単語辞書９と文法辞書８とを使用して入力装置
１から入力された漢字仮名混じり文字列を単語毎
に分割する単語分割装置４と、 単語の出現頻度に対する使用頻度の更新量を指
定する情報を保持する更新量指定情報保持手段２
と、 単語分割装置４によつて単語毎に分割された漢
字仮名混じり文字列における単語の出現頻度を計
数する頻度処理装置５と、 頻度処理装置５から渡される単語とその出現頻
度と更新量指定情報保持手段２の内容とに基づい
て単語辞書９内の単語の使用頻度を更新する辞書
更新装置７と を具備し、 単語分割装置４は、解析部４′と候補単語抽出
部６′とから構成され、 候補単語抽出部６′は、 単語辞書９から、解析部４′から渡された解
析位置の右に続く文字列と一致する単語をすべ
て取り出す処理を行い、 により取り出された単語の中で、その直前
に最尤候補があるときは当該最尤候補と文法的
に接続可能なもののみの集合を候補｛ｉ｝と
し、候補｛ｉ｝と関連情報を解析部４′に渡す
処理を行う ように構成され、 解析部４′は、 ′ 最初にｉ（ｉは抽出した単語に与えられる番
号）を初期値に設定し、解析位置を入力文字列
の左端に設定し、解析位置の右に続く入力文字
列を候補単語抽出部６′に与える処理を行い、 ′ 候補単語抽出部６′から候補｛ｉ｝と関連情
報が渡されたときに、候補｛ｉ｝が空きである
か否かを判定する処理を行い、 ′ 空きでない場合には単語の文字数とその使
用頻度に基づいて、候補｛ｉ｝の中から最尤候
補の単語ｉを選ぶ処理を行い、 ′ 最尤候補の単語ｉの文字数だけ解析位置を
右にずらす処理を行い、 ′ 解析位置が右端にあるか否を判定し、解析
位置が右端でなければ、ｉを＋１し、解析位置
の右に続く文字列を候補単語抽出部６′に渡す
処理を行い、 ′ ′の処理で空きであると判定された場合に
は、ｉが初期値でないときにはｉを−１し、解
析位置をその最尤候補の単語ｉの文字数だけ左
にずらし、当該最尤候補を候補｛ｉ｝から除去
し、′以後の処理を繰り返す処理を行うよう
構成されている ことを特徴とするものである。以下、本発明を図
面を参照しつつ説明する。

第１図は本発明の１実施例のブロツク図、第２
図は第１図の解析部候補単語抽出部、文法辞書お
よび単語辞書による単語抽出動作を説明する図で
ある。

第１図において、１は入力装置、２は更新量指
定情報保持手段、３は出力装置、４は単語分割装
置、４′は解析部、５は頻度処理装置、６′は候補
単語抽出部、７は辞書更新装置、８は文法辞書、
９は単語辞書をそれぞれ示している。

入力装置１は、例えば漢字仮名混じり文を入力
できるOCR装置である。入力装置１は、入力文
をJIS漢字コードに変換する。更新量指定情報保
持手段２は例えばレジスタであつて、単語の使用
頻度変更を指定する情報がセツトされるものであ
る。頻度変更の指定には次のようなものがある。

１ 文中の出現１回につき１又はそれ以上の定数
だけ頻度を増す。

２ 文中の出現１回につき１又はそれ以上の定数
だけ頻度を減らす。

３ 変更しない。

以上のようなカウント・アツプあるいはカウン
ト・ダウンあるいは変更なしの機能があるのは、
以下の理由による。たとえば、システムを手紙文
に適したものに変更するためには、手紙文を入力
してこの辞書学習装置に与えればよい。その際、
より早く手紙文向きのシステムにするためにはカ
ウント・アツプすべき頻度を１ではなく或る程度
大きな値にできることが望ましい。ところが誤つ
たデータをこの装置に与えてしまい、後で誤つた
データを与えたことに気がついたとき、任意の値
でカウント・ダウンできることが必要となる。ま
た、学習していいデータか、あるいは学習した結
果がどうなるかを予想する手段としてカウント・
アツプもカウント・ダウンもなく学習をシミユレ
ートすることが望まれる。

出力装置３は、入力装置１から入力された漢字
仮名混じり文に出現する単語、上記単語の出現頻
度および単語辞書９内の単語使用頻度の更新結果
をデイスプレイやプリンタなどの他装置へ出力す
るものである。解析部４′は、単語抽出動作にお
ける全体の制御を司るものである。頻度処理装置
５は、抽出された最尤候補単語列を解析部４′よ
り受取り、単語列を構成する単語の出現頻度を計
数し、そして単語およびその出現頻度を辞書更新
装置７に渡すものである。辞書更新装置７は、受
取つた単語および出現頻度に基づいて単語辞書９
内の該当する単語の使用頻度を更新する。候補単
語抽出部６′は、解析部４′より渡された文字列と
一致する単語を単語辞書９から取出し、取出され
た単語の文法チエツクを行つて候補単語を抽出す
るものである。候補単語および関連情報は、解析
部４′に渡される。なお、解析部４′と候補単語抽
出部６′は、単語分割装置４を構成する。文法チ
エツクの際には文法辞書８が参照される。文法辞
書８は、品詞間の接続可否を示すものであつて、
行例の第１行および第１列には各種の品詞が書込
まれ、行列の交点に接続可否を示す「０」又は
「１」の接続可否情報が書込まれている。単語辞
書９は複数のエントリを有しており、各エントリ
には漢字もしくは平仮名もしくは漢字平仮名混じ
りの単語、片仮名の単語の読み、文法情報および
単語の使用頻度が書込まれている。文法情報と
は、単語の種類や活用形に関する情報を意味して
いる。

次に、第１図の動作を説明する。いま、「指定
された文章を単語辞書と文法辞書を用いて単語に
分割し」と言う文字列を入力装置１より入力した
ところ、解析部４′、候補単語抽出部６′、文法辞
書８及び単語辞書９によつて入力文字列が「指
定」、「され」、「た」、「文章」、「を」、「単語」
、「辞
書」、「と」、「文法」、「辞書」、「を」、「用い」
、
「て」、「単語」、「に」、「分割」及び「し」に分割
されたとする。入力文の単語列への分割が終了す
ると、解析部４′は、単語群を頻度処理装置５に
渡す。頻度処理装置５は単語の出現頻度を計数
し、「指定」の頻度が１、「され」の頻度が１、
「た」の頻度が１、「文章」の頻度が１、「を」の
頻度が２、「単語」の頻度が２、「辞書」の頻度が
２、「と」の頻度が「１」、「文法」の頻度が１、
「用い」の頻度が１、「て」の頻度が「１」、「に」
の頻度が１、「分割」の頻度が１、「し」の頻度が
１であることを辞書更新装置７へ通知する。な
お、この際、単語が書込まれているエントリの番
号も通知される。辞書更新装置７は、上記の通知
を受取ると、更新量指定情報保持手段２の内容に
従つて単語辞書９内の該当単語の使用頻度を更新
する。

入力文を単語列に変換する場合、単語列は単語
を節とするリストで表現され、各節にはその単語
の漢字コードの他に文法情報、使用頻度なども記
入される。入力テキストの単語列への変換は次の
アルゴリズムに従つて行われる。

イ 入力テキストの左端を解析位置とし、その右
側に続く文字列と一致する単語を単語辞書を検
索してすべて求める。これらの単語の内で直前
の最尤候補単語に文法的に接続可能な単語を選
び出し、これらを候補単語とする。

ロ 候補の中から出現頻度と単語長によつて評価
を行い、評価値の最も大きいものを最尤候補単
語とする。最尤候補単語の文字数だけ解析位置
を右へずらし、上記イ、ロの処理を行う。な
お、候補の中で出現頻度が同じ場合には当然の
こととして単語長の長い方が評価値が大きいも
のとされ、候補の中で単語長が同じ場合には当
然のこととして出現頻度の高い方が評価値の大
きいものとされる。

ハ 候補単語が存在しないときには、バツクトラ
ツクを行い、直前の最尤候補単語を候補単語群
から除いて上記ロの処理を行う。

上記イないしハの処理で単語抽出を行う方法
は、tree−search−methodと呼ばれている。

単語抽出は基本的には上記イないしハの方法で
行われるが、入力に誤りがある場合や単語辞書に
存在しない単語が入力された場合でも一応の単語
抽出を行い得るようにするため、バツクトラツク
制御および誤り回復操作が行われる。バツクトラ
ツク制御とは、バツクトラツクが行われてroot−
nodeに戻つたとき下記、の制御を行い、tree
−search−methodを行うことを言う。

解析木が所定段数以上で、それに対応する単
語列の長さが所定値以上となつたら、root−
nodeを切り捨てて次の単語をroot−nodeとす
る。（これは文頭の単語を確定することに相当
する。） 一意に確定する単語が現れた場合には、それ
以前の解析木を切り捨てその単語をroot−
nodeにする。

誤り回復操作とは、バツクトラツクがroot−
nodeに達したら、その時の入力テキストの左端
の１字を単語辞書にない、もしくはその一部と見
做し、入力テキストの左端を１字右へずらして
tree−search−methodを行うことを言う。この
場合、このような文字が連続して表れたとする
と、これらの文字は１まとまりの単語と見做され
る。

第２図は第１図の単語分割装置４、文法辞書８
および単語辞書９による単語抽出動作を説明する
図である。

漢字仮名混じりの入力文字列を単語に分割する
場合、解析部４′はｉを１にセツトすると共に解
析位置を文の左端にセツトする。なお、ｉは抽出
された単語に与えられる番号であり、第１番目に
抽出された単語に対しては第１番が与えられる。
解析部４′は、上記の処理を行つた後、解析位置
より右側の文字列を候補単語抽出部６′に渡す。
候補単語抽出部６′は、単語辞書９から解析位置
の右に続く文字列と一致する単語を全て取出し、
そして文法辞書８を参照しながら取出された単語
の中で最尤候補（ｉ−１）と文法的に接続可能な
もののみの集合を候補｛ｉ｝とする。候補｛ｉ｝
が求まると、候補単語抽出部６′は候補｛ｉ｝お
よび関連情報を解析部４′へ渡す。候補｛ｉ｝が
存在しない場合には、その旨が解析部４′に通知
されることは当然である。単語辞書検索結果を受
取ると、解析部４′は候補｛ｉ｝が空であるか否
かを調べ、候補｛ｉ｝が空でない場合には単語の
文字数と使用頻度を評価して最尤候補ｉを選択
し、そして最尤候補ｉの文字数だけ解析位置を右
へずらす。解析位置を右へずらした後、解析部
４′は解析位置が文の右端にあるか否かを調べ、
右端に存在しない場合にはｉをｉ＋１に更新して
解析位置より右の文字列を候補単語抽出部６′に
渡す。解析位置が文の右端にある場合には終了１
とされ、終了１において解析部４′は抽出された
最尤候補単語列を頻度処理装置５に渡す。候補
｛ｉ｝が空である場合には、解析部４′はｉが１で
あるか否かを調べ、ｉが１でないときにはｉをｉ
−１とし、最尤候補ｉの文字数だけ解析位置を左
にずらし、候補｛ｉ｝から最尤候補ｉを除去し、
そして図示説明した如き処理を行う。終了２に到
達した場合には、バツクトラツク制御および誤り
回復操作を付加して上述した如きtree−search−
methodを実行する。

以上の説明から明らかなように、本発明によれ
ば、単語辞書を用いて単語抽出を行う単語抽出装
置において、使用分野に適合した単語使用頻度を
簡単に単語辞書に設定できるという顕著な作用効
果が得られる。

【図面の簡単な説明】

第１図は本発明の１実施例のブロツク図、第２
図は第１図の解析部、候補単語抽出部、文法辞書
および単語辞書による単語抽出動作を説明する図
である。 １……入力装置、２……更新量指定情報保持手
段、３……出力装置、４……単語分割装置、４′
……解析部、５……頻度処理装置、６′……候補
単語抽出部、７……辞書更新装置、８……文法辞
書、９……単語辞書。

Claims (1)

1. 【特許請求の範囲】 １ 漢字表記もしくは仮名表記もしくは漢字仮名
   混じり表記等の表記形式で表記された単語と単語
   の読みと単語の文法情報と単語の使用頻度とが書
   込まれた単語辞書９と、 品詞間の文法的接続可否情報が書込まれた文法
   辞書８と、 漢字仮名混じり文字列を入力できる入力装置１
   と、 単語辞書９と文法辞書８とを使用して入力装置
   １から入力された漢字仮名混じり文字列を単語毎
   に分割する単語分割装置４と、 単語の出現頻度に対する使用頻度の更新量を指
   定する情報を保持する更新量指定情報保持手段２
   と、 単語分割装置４によつて単語毎に分割された漢
   字仮名混じり文字列における単語の出現頻度を計
   数する頻度処理装置５と、 頻度処理装置５から渡される単語とその出現頻
   度と更新量指定情報保持手段２の内容とに基づい
   て単語辞書９内の単語の使用頻度を更新する辞書
   更新装置７と を具備し、 単語分割装置４は、解析部４′と候補単語抽出
   部６′とから構成され、 候補単語抽出部６′は、 単語辞書９から、解析部４′から渡された解
   析位置の右に続く文字列と一致する単語をすべ
   て取り出す処理を行い、 により取り出された単語の中で、その直前
   に最尤候補があるときは当該最尤候補と文法的
   に接続可能なもののみの集合を候補｛ｉ｝と
   し、候補｛ｉ｝と関連情報を解析部４′に渡す
   処理を行う ように構成され、 解析部４′は、 ′ 最初にｉ（ｉは抽出した単語に与えられる番
   号）を初期値に設定し、解析位置を入力文字列
   の左端に設定し、解析位置の右に続く入力文字
   列を候補単語抽出部６′に与える処理を行い、 ′ 候補単語抽出部６′から候補｛ｉ｝と関連情
   報が渡されたときに、候補｛ｉ｝が空きである
   か否かを判定する処理を行い、 ′ 空きでない場合には単語の文字数とその使
   用頻度に基づいて、候補｛ｉ｝の中から最尤候
   補の単語ｉを選ぶ処理を行い、 ′ 最尤候補の単語ｉの文字数だけ解析位置を
   右にずらす処理を行い、 ′ 解析位置が右端にあるか否を判定し、解析
   位置が右端でなければ、ｉを＋１し、解析位置
   の右に続く文字列を候補単語抽出部６′に渡す
   処理を行い、 ′ ′の処理で空きであると判定された場合に
   は、ｉが初期値でないときにはｉを−１し、解
   析位置をその最尤候補の単語ｉの文字数だけ左
   にずらし、当該最尤候補を候補｛ｉ｝から除去
   し、′以後の処理を繰り返す処理を行うよう
   構成されている ことを特徴とする単語辞書内の単語の使用頻度を
   更新するための辞書学習方式。