JPS63208167A - 自然語解析における未登録語の取り扱い方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は自然語解析方式に係り、特に未登録語を含む自
然語文を解析し、未登録語の用語辞書登録を行う場合に
好適な、自然語解析における未登録語の取り扱い方式に
関する。

〔従来の技術〕

従来、自然語解析における未登録語の取り扱いについて
は、情報処理学会第３０回（昭和６０年前期）全国大会
論文誌第１５６５頁から１５６６頁において論じられて
いる。

〔発明が解決しようとする問題点〕

上記従来技術は、自然語文解析において未登録語が出現
した場合に、重要でない語や、その場限りの固有名詞で
あっても、すべて、その未登録語が本当はどの品詞であ
るか、どのような意味を持つかを決定するために１前後
の語からの類推や。

対話処理を行うという問題があった。

本発明の目的は、解析時においては、未登録語という品
詞であると考えてそのまま解析を続け、同一の未登録語
が何度も使われた場合には、優先的に用語辞書登録を行
う方式を提供することにある。

〔問題点を解決するための手段〕

上記目的を達成するために、本発明は、自然語の解析時
に未登録語を検出し、未登録語を品詞の一つであるとし
て解析を行い、同一の未登録語の出現回数を計算し、出
現回数の多い未登録語から優先的に用語辞書に登録する
ことに特徴がある。

〔作用〕

本発明では、未イテ録語を検出する機能と、未登録語を
品詞の一つであるとして解析を行う機能と、未登録語の
出現回数を計算する機能と、解析時に未登録語が現われ
た場合、その語は未登録語という品詞であるとして解析
を続けながら、既に現われた未登録語であるか、初めて
現われた未登録語であるかを判断して検出し、出現回数
を数え、解析終了時に、出現回数の多い未登録語から優
先的に用語辞書に登録する機能とを有しているので、未
登録語が現われてもそのまま処理を続行することができ
、重要な未登録語だけをまとめて用語辞１ｇ登ｔ＝ｔ＝
することができるので、誤動作することがない。

〔実施例〕

以下１本発明の一実施例を第１図〜第３図により説明す
る。

第２図は、本実施例を実現するためのシステム構成であ
る。

第２図において、２−１はディスプレイとキーボードよ
りなるビデオデータターミナル、２−２は計算機処理装
置、２−３は用語辞書データベース、２−４は自然語解
析処理制御部、２−５は自然語入力部、２−６は用語辞
書参照部、２−７は単語分割部、２−８は接続チェック
部、２−９は未登録語検出部、２−１０は用語辞書追加
登録部である。

次に、第１図により、本実施例の処理手順を説明する。

第１図は１本実施例の動作の流れを示すフローチャート
である。

まず、ステップ１−１で、自然語入力部２−５により自
然語文を人力する。そして、ステップ１−２で文末にな
るまで、ステップ１−３からステップ１−１０の処理を
繰り返す。

文末でないときは、ステップ１−３で、単語分割部２−
７により文頭から一単語を切り出す。そして、ステップ
１−４で用語辞書参照部２−６により、切り出された一
嘔語の用語辞書の参照を行う。

ステップ１−５で用語辞書に存在するかどうかの判定を
行い、存在すればステップ１−９で、接続チェック部２
−８により、品詞の接続チェックを行う。そして、ステ
ップ１−８で一単語分の解析情報を作成する。

ステップ１−５で、用語辞書に存在しないと判定された
場合は、ステップ１−６で、既に現われたことのある未
Ｑｋｉ語か、初めて出現した未登録語かを判定する。

初めて出現した未登録語であれば、ステップ１−７で未
登録語情報を格納した未登録語テーブルを作成する。未
＜Ｔ、　ｔ９語テーブルのフォーマットは第３図の通り
である。

第３図は、ＡＢＣという文字列の未Ｗｆ−’８語が、「
〈形容詞）＋ＡＢＣ＋＜助詞〉」という形で使われた場
合の未登録語テーブルである。第３図において１文字列
は解析において未登録語となった文字列、出現回数はそ
の未登録語が解析中に何度出現したかをカウントしたも
の、前の語との接続情報はどのような品詞の後に出現し
たか、後の語との接続情報はどのような品詞の前に出現
したか、をそれぞれ格納しておく。前の単語の品詞はス
テップ１−８で作成する解析情報から得られるが。

後の用語の品詞は、この時点では分からない。そこで、
ステップ１−８で一単語分の解析情報を作成する時に、
前の語の品詞が未登録語となっていれば、その未登録語
の接続情報に、自分の品詞を付は加えることとする。

既に現われている未登録語であれば、ステップ１−１０
で、出現回数を１増やし、未登録語テーブルの接続情報
部分の更新を行う。接続情報の更新方法は、その未登録
語の前後のｔｌｉ語の品詞を未登録語テーブルの接続情
報部に追加する。ということである。

ステップ１−７．ステップ１−１０の処理のあとは、用
語辞書にあった場合と同様に、ステップ１−８で一単語
分の解析情報を作成する。

以上の処理を文末まで行うと、最後に、ステップ１−１
１で、出現した未登録語の一覧を出現頻度順に表示する
。このとき、接続情報から、品詞を類推し、候補として
一緒に表示する。そして、ステップ１−１２で、用語ｌ
Ｉ；？書に追加登録する！ｎ語とその品詞とを選択し、
必要な情報を追加して。

用語辞書追加登録部２−１０で用語辞書に登録する。

品詞の類推は１前後の単語の品詞のパターンにより、そ
れらの品詞と接続可能な品詞の候補を挙げるものとする
。

また、解析途中で、既に出現した未登録語の部分列にあ
たる未Ｋｌｔｒｌ＝語が現れた場合は、先に作成した未
（２８語のテーブルを二つに分け、別々の未登録語とし
てテーブルを作成し直す。この場合。

出現頻度は、前の未登録語の回数を各々が受は継ぎ、接
続情報は、二つに分けた前半の語が前の語との接続情報
を、後半の語が後の語との接続情報を受は継ぐこととす
る。

さらに、接続情報の中では、「未登録語」も品詞名とし
て扱う。つまり、未Ｓ！、８語に接続していた未登録語
の接続情報には、「未登録語」が含まれる。このときに
より、接続チェック部２−８により接続チェックにおい
ても、未登録語が表われても、そのまま解析を続けるこ
とができる。

以上のように１本実施例によれば未登録語は未登録語と
いう品詞であるとして解析を進め、最後にまとめて未登
録語の評価・追加登録を行える。

〔発明の効果〕

本発明によれば、自然語解析時に、未イ２録語が現われ
ても、そこで未登録語処理に移って対話処理を行うので
はなく、未登録語は未登録語のままで解析を続けること
により対話処理の手間が省け、解析の効率が向上し、ま
た、解析終了時に、どのような未登録語がどのような頻
度で出現したかを計算し、頻度の高いものから優先的に
用語辞書登録を行えるので、その場かぎりの未登録語や
、特殊な固有名詞などは用語辞書に反映しなくても良く
なり、用語辞書の性能が向上する。

【図面の簡単な説明】

第１図は、本発明の一実施例の動作の流れを示すフロー
チャート、第２図は、本発明の一実施例を実現するため
のシステム構成図、第３図は、本発明に基づく未登録語
テーブルのフォーマットである。 ２−１・・・ディスプレイとキーボードよりなるビデオ
データターミナル、２−２・・・計算機処理装置、２−
３・・・用語辞書データベース、２−４・・・自然語解
析処理制御部、２−５；・・自然語入力部、２−６・・
・用語辞書参照部、２−７・・・単語分割部、２−８・
・・接続チェック部、２−９・・・未登録語検出部、２
第　　ｌ　　国

Claims (1)

【特許請求の範囲】
1. １、自然語入力部と、用語辞書参照部は、単語分割部と
   、品詞接続チェック部とより成る、自然語解析方式にお
   いて、未登録語を検出し、未登録語を品詞の一つである
   として解析を行い、未登録語の出現回数を計算し、未登
   録語が出現した場合にも、すぐに対話で問合せを行うの
   ではなく、未登録語を品詞と考えてそのまま解析を続行
   し、同じ未登録語が複数回使われたものについては、そ
   の出現回数を計算して、使用頻度の高いものから優先的
   に、用語辞書に登録することを特徴とする自然語解析に
   おける未登録語の取り扱い方式。