JPH01296373A - 未登録語処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技術分野 本発明は、日本語の文章解析において１日本語文章を入
力して文章解析（形態素解析、構文解析、意味解析など
）する際に辞書に未登録の単語の存在による誤解析を回
避するための未登録語処理方法に関する。 従来技術 一般に、日本語文章の文章解析を行う場合、最初に、当
該日本語文章を単語単位に分割する。この分割処理は、
予め辞書に登録されていた単語とのマツチング処理によ
り判断されるが、文章中に辞書に未登録の単語が存在す
ると、マツチングできず、単語の同定が困難になること
が多い。また、一般に辞書には相当量の単語が登録され
るが、多くの分野の入力文章に対処して出現する全ての
単語を登録することは不可能である。 従来１日本語文章処理において、辞書に未登録の単語が
検知された場合には、漢字、ひらがな、カタカナなど字
種によって単語に分割したり、或いは文章を後方にサー
チし辞書に存在する単語の始まりから解析を再開して当
該単語を未登録語とすることにより処理している。 このような従来の未登録語処理方法によると、特に、混
ぜ書き、ひらがな、活用語、接辞などの単語に関して正
しく単語分割できないことが多く、解析の精度が低いも
のとなっている。 目的 本発明は、このような点に鑑みなされたもので、日本語
文章を入力して解析する際、辞書に未登録の単語の存在
による誤解析を低減させるための未登録語処理方法を提
供することを目的とする。 構成 本発明は、上記目的を達成するため、入力された日本語
文章を予め作成された辞書中の単語とのマツチングによ
り単語単位に分割する文章処理における未登録語処理方
法において、前記辞書中に存在しなかった未登録文字列
を検出する未登録語検出部を備え、前記辞書中に存在し
ない文字列又は文法的に接続不可能な文字列が検出され
たとき、当該文字列を後方へスキップして少なくとも１
つの条件により解析処理を再開できる文字以前を未知文
字列として未登録語を検出し、さらには、当該未知文字
列以前に解析された先行する単語列と当該未知文字列以
降に解析された後続する単語列を参照し少なくとも１つ
の連結規則に応じて先行又は後続の単語列の一部の単語
文字列と当該未知文字列を連結して未登録語として検出
することを特徴とする。 以下、本発明の第一の実施例を第１図及び第２図に基づ
いて説明する。まず、本実施例のブロック構成は、第２
図に示すように、未登録語処理対象文字列設定部１と、
未知文字列検出部（未登録語検出部）２と、単語分割処
理部３と、単語辞書４と、未登録語文字列出力部５とよ
りなる。 このような構成において、概略処理を説明する。 まず、文章解析に入力された日本語文章を予め作成され
た単語辞書４中の単語とのマツチング処理により、単語
分割処理部３で単語単位に分割する。 この分割処理の際、前記単語辞書４に登録されていない
文字列或いは文法的に接続不可能な文字列が未知文字列
検出部２により検出されると、未登録語処理対象文字列
設定部１に送出され、処理に供される。この未登録語処
理対象文字列設定部１への入力は、当該文字列までの文
章解析結果と、当該文字列を含む、当該文字列以降の１
文又は文章などである。これに対し、未登録語処理対象
文字列設定部１では、まず、入力された文字列の先頭か
ら適当な条件（例えば、字種の変わり目、文節、句点、
読点など）で区切ることのできる文字までを、前記対象
文字列に設定する。未知文字列検出部２では未登録語処
理対象文字列設定部１から受けた前記対象文字列を後方
へスキップしながら、単語分割処理をして、未知文字列
検出の適当な条件で単語分割処理を終了して抽出された
単語以前を未知文字列とする。未登録語文字列出力部５
では、この未知文字列検出部２から出力される当該未知
文字列を未登録語文字列として出力する。 いま、具体例を挙げて、上記処理を説明する。 例えば、「野党をにらみつつ」を入力した時、「にらむ
」という単語が単語辞書４に未登録であった場合に、次
のような情報が未登録語処理対象文字列設定部１に入力
されることを考える。 野党　　　を　　にらみつつ、 （名詞）（格助詞） ここに、単語分割処理は文章の後方に向かって「をＪま
で進んでいるが、この単語に後続する、Ｆに」から始ま
る単語がマツチングできなかったことを示している。こ
れらの情報を受けて未登録語処理対象文字列設定部１で
未登録語処理対象文字列を定めるが、ここでは文節を区
切りとして、まず「にらみっつ」を未登録語処理対象文
字列とする。 次に、未知文字列検出部２において前記対象文字列を第
１図に示すフローチャートに従い単語分割する。この処
理は、前記対象文字列の先頭がら後方へ１文字ずつスキ
ップしながら単語を検索することにより行うが、単語分
割が未登録語処理対象文字列の末尾文字まで成功した場
合（即ち、未知文字列直後から文節末までの文字列に対
して単語分割処理を施した結果、文節末まで単語分割が
可能となった場合）又は前記対象文字列をスキップして
末尾に達した場合に終了する。この他、例えば単語分割
処理により抽出された単語列の少なくとも１単語に関す
る文字表記（漢字、ひらがな等の字種その他）の情報、
形態素情報、単語意味分類情報、或いは未知文字列を含
む１文中の構文情報等を、解析処理再開と判断するため
の判定規則としてもよい。即ち、第１図中の検出判定処
理では、第１表に示すような判定規則（代表的なる簡単
なもののみを抽出して示す）を参照し、その条件を満た
すときに検出できたと判定し、先頭からｎ文字を未登録
語文字列とするものである。 第１表 ここに、未登録語処理対象文字列が「にらみつつ」なる
具体例の場合であれば、未知文字列「にらＪ　　（ｎ＝
２）の後の「みつつ」から名詞「みつ」が抽出されるが
、当該単語に後続するｒつ」なる単語は文法的に存在せ
ず、単語分割（ｎ＝２）は前記対象文字列の末尾に到達
しない。そして、今度は未知文字列を［にらみＪ　　（
ｎ＝３）として残りの文字列を単語分割処理すると、接
続助詞「つつ」が抽出されて、単語分割が未登録語処理
対象文字列の末尾文字まで成功する。よって、「にらみ
」が未知文字列として、それに続く単語が接続助詞「つ
つ」であるとして未登録語文字列出力部５に渡される。 未登録語文字列出力部５では未知文字列「にらみ」を未
登録語文字列とし、後続する単語を接続助詞「っつＪと
して出力する。 また、別の具体例として「素管制度改正草案を提出する
。」を入力した時、「素管」　「草案ｊという単語が単
語辞書４に未登録であった場合を考えると、［素管制度
改正草案を」が未登録語処理対象文字列として設定され
る。次に、未知文字列検出部２において前記対象文字列
を単語分割するが、終了条件中の規則５−２（抽出単語
が漢字２文字以上）によれば、未知文字列が「素管」、
抽出される単語は 素管　　制度 （名詞） となる。この際、当該終了条件（規則５−２）がないと
、さらに単語分割処理を進め、名詞「改正」を抽出する
が、文字列「草案を」が単語分割できず、単語分割が未
登録語処理対象文字列の末尾文字まで成功しないことに
なる。結局、「素管制度改正草案」を未知文字列、格助
詞「を」を続く単語とすることになる。しかるに、上記
終了条件（規則５−２）によって、このような処理を回
避でき、未知文字列「素管」、続く単語として名詞「制
度」を検出することになる。そして、名詞「改正Ｊが抽
出された後、「草案を」について当該未登録語処理され
、文字列「素管制度改正草案を」は最終的に次のように
単語分割される。 素管　　制度　　改正　　草案　　を 【未】　（名詞）（す名）　【未】（格助詞）なお、上
述した説明では、未知文字列検出部２の単語分割処理の
終了条件に、文字表記の情報を用いて行う例で示したが
、この他、例えば形態素情報、単語意味情報、構文情報
などを利用するようにしてもよい。 つづいて、本発明の第二の実施例を第３図及び第４図を
参照して説明する。本実施例は、前記実施例と同様にし
て、解析処理が再開可能となる文字以前を未知文字列と
すると同時に、さらに、処理を一歩進め、当該未知文字
列以前に解析された先行する単語列と当該未知文字列以
降に解析された後続の単語列を参照し、少なくとも１つ
の連結規則に応じて、先行又は後続の単語列の一部の単
語文字列と未知文字列とを連結し未登録語として検出す
るようにしたものである。 本実施例の処理は第３図に示すブロック図により実行さ
れる。基本的には、第２図と同様であるが、未登録語文
字列出力部５に代えて、未登録語文字列設定部６が設け
られている。そして、基本的処理は、前記実施例と同様
であるが、本実施例の場合、未登録語処理対象文字列設
定部１における対象文字列の設定のための適当な条件に
よる区切りとして、字種、句読点等の他、例えば、入力
文字列までの解析結果から入力文字列に先行する単語列
が未登録語の一部と推定される時は当該単語の文字列を
前記対象文字列の先頭に加えて前記対象文字列とされる
。この場合の推定は、前記文章解析結果、前記対象文字
列などから行うことができる。また、未知文字列検出部
２においては、前記実施例と同じく、適当な条件で単語
分割処理終了により抽出された単語以前を未知文字列と
するが、適当なる当該条件は、前記文章解析結果、単語
分割結果、未知文字列などから判断される。 また、未登録語設定部６では未知文字列検出部２から出
力される未知文字列、前記解析結果、前記単語分割結果
などから適当な未登録語文字列が決定されて出力される
。 いま、具体例にて本実施例の処理を説明する。 例えば、「古い制度の残さいと理解された。」なる日本
語文章を入力した時、「残さい」という単語が単語辞書
４に未登録であった場合に、次のような情報が未登録語
処理対象文字列設定部１に入力されることを考える。 古い　制度　　の　　残さ　　いと理解された。 （形容詞（名詞）（格助詞）（力行石段連体形）　　　
　　　　　未然形） これは、単語分割処理は文章の後方へ向かって「残さ」
まで進んでいるが、この単語に後続する「い」から始ま
る単語が存在しなかったことを示している。これらの情
報を受けて未登録語処理対象文字列設定部１で未登録語
処理対象文字列を定めるが、ここでは文節の区切りとし
て、まず、「いと」を未登録語処理対象文字列とする。 この例の場合、「残さ」が動詞未然形であるので、これ
に続く付属語が存在しないことを表しているが、付属語
は全て単語辞書４に登録されているとすると、「残さＪ
という単語分割が誤りで、「残」を先頭文字とする未登
録語があると推定される。従って、例えば、 （規則■−１） 直前単語が活用語で連体修飾形でなく、未登録処理対象
文字列の先頭がひらがなである。 −未登録語処理対象文字列 ＝直前単語文字列＋未登録語処理対象文字列などの連結
規則を適用し、第４図に示すフローチャートに従い、「
いとＪだけではなく、「残さいと」が未登録語処理対象
文字列として設定される。 次に、未知文字列検出部２における当該対象文字列の単
語分割処理に移行する。この場合も、基本的には前記実
施例と同様に、前記対象文字列の先頭から後方へ１文字
ずつスキップしながら単語を検索することにより行うが
、単語分割が未登録語処理対象文字列の末尾文字まで成
功した場合又は前記対象文字列をスキップして末尾に達
した場合に終了する。対象文字列が「残さいと」なる本
例の場合、格助詞「と」が抽出されて終了する。 そして、それ以前のスキップされた文字列「残さいｊが
未知文字列として、それに続く単語が格助詞「と」であ
るとして未登録語文字列設定部６に渡される。未登録語
文字列設定部６では未知文字列「残さい」を未登録語文
字列とし後続する単語を格助詞「と」として出力する。 また、別の具体例として「小菊もぴっちりとつぼみをも
った。」なる日本語文章を入力した時、「ぴっちり」と
いう単語が単語辞書４に未登録であった場合に、次のよ
うな情報が未登録語処理対象文字列設定部１に入力され
ることを考える。 小菊　　も　　ぴっちりとつぼみをもった。 （名詞）（格助詞） 即ち、　「ぴっちりとつぼみをもった。」が未登録語処
理対象文字列として設定される。次に、未知文字列検出
部２において前記対象文字列を単語分割するが、第１表
に示した終了条件中の規則阻５−３（抽出単語が漢字或
いは２文字以上の単語＋格助詞）によれば、未知文字列
が「びっ」、抽出される単語は。 ぴっ　　　ちり　　　と （名詞）（格助詞） となる。未登録語文字列設定部６では入力された未知文
字列「びっ」が末尾が促音であることから、続く文字列
も未登録語の一部であると推定する。 従って、例えば、 （規則■−１） 未知文字列がひらがなで末尾が促音、直後の抽出単語が
ひらがなである →未登録語文字列 ＝未知文字列＋直後の単語文字列 などの連結規則Ｈの適用により、未登録語文字列設定部
６では未知文字列「ぴっちり」を未登録語文字列とし、
後続する単語を格助詞「と」として出力する。 なお、上述した説明では、未登録語文字列設定部６及び
この設定部に対する連結規則■、未知文字列検出部２の
単語分割処理の終了条件（判定規則）に、文字表記、品
詞、活用形の情報を用いて行う例で示したが、この場合
も前記実施例同様、この他として、例えば形態素情報、
単語意味情報、構文情報などを利用するようにしてもよ
い。特に、適当なる未知登録語文字列を決定するための
連結規則には、未登録語単語を含む１文中の少なくとも
ｌ単語に関する、字種、字数、品詞、接続情報、単語意
味分類の少なくとも１つの情報が用いられる。 効果 本発明は、上述したように辞書中に存在しない文字列又
は文法的に接続不可能な文字列が検出されたとき、当該
文字列を後方ヘスキップして少なくとも１つの条件によ
り解析処理を再開できる文字以前を未知文字列として未
登録語を検出するようにしたので、日本語文章解析にお
ける単語分割に際して辞書に未登録な単語が検出された
時、未登録語として適当な文字列を抽出することができ
、よって、未登録語前後の誤解析を軽減し、未登録語を
含む文章に対する解析精度を向上させることができ、こ
の際、未知文字列以前に解析された先行する単語列と当
該未知文字列以降に解析された後続する単語列を参照し
少なくとも１つの連結規則に応じて先行又は後続の単語
列の一部の単語文字列と当該未知文字列を連結して未登
録語として検出することにより、未登録語としてより適
切な文字列の状態で抽出し、−層効果的なものとするこ
とができる。

【図面の簡単な説明】

第１図は本発明の第一の実施例を示すフローチャート、
第２図はブロック図、第３図は本発明の第二の実施例を
示すブロック図、第４図はフローチャートである。

Claims (1)

1. 【特許請求の範囲】 １、入力された日本語文章を予め作成された辞書中の単
   語とのマッチングにより単語単位に分割する文章処理に
   おける未登録語処理方法において前記辞書中に存在しな
   かつた未登録文字列を検出する未登録語検出部を備え、
   前記辞書中に存在しない文字列又は文法的に接続不可能
   な文字列が検出されたとき、当該文字列を後方へスキッ
   プして少なくとも１つの条件により解析処理を再開でき
   る文字以前を未知文字列として未登録語を検出すること
   を特徴とする未登録語処理方法。 ２、入力された日本語文章を予め作成された辞書中の単
   語とのマッチングにより単語単位に分割する文章処理に
   おける未登録語処理方法において、前記辞書中に存在し
   なかつた未登録文字列を検出する未登録語検出部を備え
   、前記辞書中に存在しない文字列又は文法的に接続不可
   能な文字列が検出されたとき、当該文字列を後方へスキ
   ップして少なくとも１つの条件により解析処理を再開で
   きる文字以前を未知文字列とすると同時に、当該未知文
   字列以前に解析された先行する単語列と当該未知文字列
   以降に解析された後続する単語列を参照し少なくとも１
   つの連結規則に応じて先行又は後続の単語列の一部の単
   語文字列と当該未知文字列を連結して未登録語として検
   出することを特徴とする未登録語処理方法。