JPH01102638A - 特異単語抽出処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 機械翻訳システムにおける辞書作成にあたっての専門用
語の抽出や、情報検索システムにおけるキーワードの抽
出などに用いるため、計算機により、電子化された文章
中から特異単語を抽出する処理を行う特異単語抽出処理
方法に関し。

与えられた電子化された文章中から、特別な意味を持つ
と考えられる単語または重要な意味を持つと思われる単
語などの特異単語を、自動的に。

かつ精度よく抽出する手段を提供することを目的とし。

標準的文章を単語に分割し、各単語毎の出現回数をカウ
ントして、各単語の頻度情報を持つ単語頻度表を作成し
ておく単語頻度表作成処理過程と。

特異単語の抽出対象となる文章を単語に分割し。

各単語毎の出現回数をカウントして、該文章における各
単語の頻度を求める単語頻度算出処理過程と、求めた単
語の頻度と、上記単語頻度表から得られた該当する単語
の頻度とを比較し、相対的に高い頻度で出現する単語を
、特異単語として抽出し出力する特異単語決定処理過程
とを備えるように構成する。

〔産業上の利用分野〕

本発明は１機械翻訳システムにおける辞書作成にあたっ
ての専門用語の抽出や、情報検索システムにおけるキー
ワードの抽出などに用いるため。

計算機により、電子化された文章中から特異単語を抽出
する処理を行う特異単語抽出処理方法に関する。

〔従来の技術〕

例えば、英語を日本語に翻訳する機械翻訳システムで用
いる辞書を作成する場合に、特定の分野で特別な意味を
持つような専門用語などの特異単語を抽出し、その特異
単語に対して、そり分野に適した単語の訳を与える必要
がある。

また、技術文献などを収録するデータベースを持つ情報
検索システムにおいて、各技術文献において重要な意味
を持つと考えられる特異単語を。

キーワードとして予め抽出しておけば、そのキーワード
による検索を効率よく行うことができる。

従来、このような特異単語を抽出する場合９人間が各分
野に応じて経験的判断により抽出するようにされていた
。そのため、多大な時間と労力がかかるという問題があ
り、計算機によって、電子化された文章中から特異単語
を自動的に抽出する方法が考えられている。

この従来考えられている方法では、電子化された文章中
から専門用語やキーワードとなる単語を抽出する際に、
計算機により、その文章に現れる各単語の出現回数をカ
ウントし、出現回数の多い単語を求め、その中から、い
わゆるストップワードを一律に除去して、残ったものを
特異単語とする。なお、ストップワードは、英語を例に
すると。

＠ａ”、”ｔｈｅ”、・・・などの冠詞、”ｉｓ″。

ａｒｅ”、・・・などのＢＥ助動詞“ｔｏ”、”ｉｎｓ
、・・・などの前置詞のように、頻繁に用いられるが特
異単語とはならないことが明確である単語である。

〔発明が解決しようとする問題点〕

単純に出現回数によって特異単語を選択する従来の方法
によれば、ストップワード以外によく使われる一般的な
単語でも、出現回数が多いときには、特異単語として抽
出されてしまうという問題がある。従って、最終的に抽
出結果について１人間が、再度特異単語を選択しなおす
必要があった。

本発明は上記問題点の解決を図り、与えられた電子化さ
れた文章中から、特別な意味を持つと考えられる単語ま
たは重要な意味を持つと思われる単語などの特異単語を
、自動的に、かつ精度よく抽出する手段を提供すること
を目的としている。

〔問題点を解決するための手段〕

第１図は本発明の原理説明図である。

第１図において、１０はキーボードなどの入力装置、１
１はＣＰＵおよびメモリなどからなる計算機、１２は一
般文書フアイル、１３は特異単語の抽出対象となる文章
が格納された特定文書ファイル、１４は標準的な単語の
頻度情報を持つ単語頻度表、１５は特異単語の抽出の精
度を制御する抽出係数、１６はプリンタや外部記憶装置
などの出力装置を表す。

一般文書フアイル１２は、特定の分野に限定されない一
般的分野で用いられる標準的な文章、または情報処理分
野９石油化学分野などというような特定分野で用いられ
る標準的な文章が格納されたファイルである。特定文書
ファイル１３は、これから特異単語を抽出しよ−うとす
る文章が格納されたファイルである。

入力処理ＰＬでは、これらの一般文書フアイル１２、特
定文書ファイル１３を、入力装置１０から９例えばワー
ドプロセッサの処理と同様に入力し作成する。一般文書
フアイル１２の作成と、特定文書ファイル１３の作成と
は、同時に行う必要はなく、一般文書フアイル１２は、
単語頻度表１４を作成するときに、予め一度だけ用意す
ればよい、一般文書フアイル１２としては、できるだけ
多くの文章を用意することが望ましく、これに基づいて
作成された単語頻度表１４は、特定文書ファイル１３の
各種文章に共通に使用できる。

単語頻度表作成処理Ｐ２では、一般文書フアイル１２か
ら入力した文章について、単語に分割し。

各単語毎の出現回数をカウントして、各単語の頻度情報
を持つ単語頻度表１４を作成する。単語出現回数算出処
理Ｐ２１は、単語頻度表作成処理Ｐ２において１文章を
単語に分割し、各単語毎の出現回数をカウントする補助
処理である。

特定文書ファイル１３に格納された文章から特異単語を
抽出する場合、まず単語頻度算出処理Ｐ３を起動する。

単語頻度算出処理Ｐ３は、特定文書ファイル１３から入
力した文章を単語に分割し。

各単語毎の出現回数をカウントして、該文章における各
単語の頻度を求める処理を行う、なお、ここで単語分割
および単語の出現回数のカウントのために、単語頻度表
作成処理Ｐ２と同様に単語出現回数算出処理Ｐ２１を呼
び出す。

次に特異単語決定処理Ｐ４により、単語頻度算出処理Ｐ
３で求めた単語の頻度と、単語頻度表１４から得られた
該当する単語の頻度とを比較し。

単語頻度表１４にある頻度に比べ相対的に高い頻度で出
現する単語を、特異単語として抽出し、出力装置１６に
出力する。この例では、頻度の比較処理Ｐ４１にあたっ
て、指定された抽出係数１５により、単語頻度表１４の
頻度を調整したうえで。

単語頻度算出処理Ｐ３が求めた単語頻度と比較を行うよ
うにしている。

〔作用〕

本発明では、標準的な文章から作成された単語頻度表１
４に基づき、その−船釣な頻度との比較によって、特異
単語であるか、そうではないかの判断がなされる。単語
頻度表１４は、特異単語の用途に応じて、新聞記事や雑
誌その他の一般的な文章により作成してもよく、また情
報処理分野の文献２石油化学分野の文献等というように
、各特定分野における文章から作成してもよい、特に。

単語頻度表１４を、特異単語の抽出対象となる文章の分
野と同一分野の文章により作成している場合には、抽出
結果は、その分野における特異単語ということになる。

本発明では１例えば、単語“ＢＯＯＫ”が、単語頻度表
１４の頻度に比べ、非常に高い頻度で出現する場合には
、−船釣な単語でも、特異単語として抽出される。これ
は、単語“ＢＯＯＫ”が。

何か特別な意味を持っている可能性が大きいと考えられ
るからである。また、出現回数が２回や３回と数が少な
くても、単語頻度表１４の頻度に比べ、頻度の高い単語
は、特異単語として抽出されることになる。

〔実施例〕

第２図は本発明の一実施例処理説明図、第３図は本発明
の詳細な説明図、第４図は本発明の詳細な説明図である
。

第２図（イ）は、第１図に示す単語頻度表作成処理Ｐ２
の例を示している。以下の説明における■〜■は、第２
図（イ）に示す処理■〜■に対応する。

■　第１図に示す一般文書フアイル１２から、１文を読
み出す。

■　読み出しが成功したか否かにより９文があるかどう
かを判定する。文が終了した場合、処理■へ制御を移す
。

■　文を単語に分割する。英語では、空白またはカンマ
等により分割することができる０日本語では１例えばワ
ードプロセッサにおける一括漢字変換等で用いられてい
る方法で分割すればよい。

■　全単語数の累計を計算し、記憶しておく。

■　各単語をテーブル化して記憶し、各々の単語ごとに
、その出現回数を累計する。

■　一般文書フアイル１２から１次の１文を読み出し、
処理■へ制御を戻して、同様に処理を繰り返す。

■　全文についての処理が終了したならば、各々の単語
ごとに、出現の頻度を計算する。ここで頻度は、　（出
現回数÷全単語数）で計算されるが９例えば百分率や１
０万語につき何回出現したかというような割合でもよい
、計算結果を。

第１図に示す単語頻度表１４とする。

以上の処理を、できるだけ多数の一般または特定分野の
標準的文章について、操り返す。

第１図に示す単語頻度算出処理Ｐ３．特異単語決定処理
Ｐ４では１例えば第２図（ロ）に示す処理を行い、特定
文書ファイル１３の文章中における特異単語を抽出する
。以下の説明における■〜［相］は、第２図（ロ）に示
す処理■〜［相］に対応する。

■　まず、特定文書ファイル１３中の文章について、第
２図（イ）において点線枠で示した単語出現回数算出処
理Ｐ２１の処理■〜■を行い。

特定文書ファイル１３中の文章に現れる各車０語の出現
回数を算出する。

■　求めた単語出現回数の表から、１単語を読む。

［株］　未処理単語があるかどうかを判定し、全単語に
ついての以下に述べる処理が終了したならば。

特異単語の抽出を終了する。

■　読み出した単語が、゛例えば英語であれば、冠詞、
ＢＥ動詞、前置詞、・・・などの特異単語にはなり得な
いストップワードであるかどうかを判定する。ストップ
ワードである場合には、処理［相］へ移る。

＠　ストップワードでない場合、各単語の出現回数を全
単語数で割って、各単語の頻度を求める。

０　現在着目している単語と同じ単語を、単語頻度表１
４中から探し出す。その頻度Ａが０である場合、すなわ
ち、単語頻度表１４に該当する単語がなかった場合、そ
れを特異単語とするため、処理■へ制御を移す。

［相］　単語頻度表１４中の頻度Ａが、０でない場合２
処理０で求めた頻度Ｂを、頻度Ａで割り、その結果と、
所定の抽出係数にとの大小を比較する。

頻度Ｂを頻度Ａで割った結果が抽出係数により大きい場
合、処理■を実行し、小さい場合、処理［相］へ移る。

■　現在着目している単語を特異単語として抽出する。

［相］　処理■で作成した単語出現回数の表から２次の
１単語を読み、処理［相］へ制御を戻して、同様に処理
を操り返す。

以上のようにして抽出した特異単語は、アルファベット
順、頻度順または出現順にソーティングして、プリンタ
や磁気ディスクのような外部記憶装置に出力する。

第３図は１本発明の一実施例に係る処理内容の具体例を
示している。

第３図（Ａ）は、第１図に示す単語頻度表作成処理Ｐ２
により作成した単語頻度表１４であり。

第３図（Ｂ）は、第１図に示す単語頻度算出処理Ｐ３に
より求めた特異単語の抽出対象となっている文章に係る
単語の頻度表である。

例えば、単語″ＣＯＭＰＵＴＥＲ”について。

これが特異単語であるかどうかを決定する場合。

比較処理Ｐ４１により、頻度ｂｌが、単語頻度表１４中
の頻度ａ２のに倍（Ｋは抽出係数）より大きいかどうか
を判定する。大きい場合には、特異単語とし、小さい場
合には９通常の単語と判断する。他の単語についても、
同様に、それぞれ単語頻度表１４における該当する単語
の頻度との比較を行い、特異単語であるかどうかを判断
する。

ここでは、この特異単語の抽出により、単語“ＭＯＵＳ
Ｅ″、”ＷＩＮＤＯＷ”、・・・が抽出され、これらの
単語が、抽出結果３０として、その頻度情報と共に出力
されている。

この例では、抽出係数１５のＫの値により、特異単語の
抽出の精度を制御することができる。にの値を大きくす
ると、抽出した特異単語の精度が高くなるが、抽出され
ない特異単語も多くなる。

反対に、にの値を小さくす−ると、抽出した特異単語の
精度は低くなるが、抽出されない特異単語は少なくなる
。従って、このＫの値を、特異単語抽出の処理実行時に
、指定することができるようにしておけば、所望する精
度１個数の特異単語を抽出することができる。

第４図は１本発明によって抽出した特異単語を利用する
システムの例を示している。

第４図（イ）では９本発明に係る特異単語抽出処理４０
によって、特異単語の一覧表が格納され゛た特異単語フ
ァイル４１を作成し、これを９機械翻訳用の辞書を作成
する辞書作成処理４３のプログラムに渡す。辞書作成処
理４３では、特異単語ファイル４１中の単語が、専門用
語であって１通常用いられる意味とは異なる何か特別な
意味を持つことがあることを考慮し、その訳をキーボー
ド４２等から必要に応じて入力して、翻訳辞書４４を作
成または更新する。

機械翻訳システム４５は、翻訳辞書４４を参照し、特異
単語を抽出した分野に適した翻訳を実行することが可能
になる。

第４図（ロ）では１本発明に係る特異単語抽出処理４０
によって、特異単語の一覧表が格納された特異単語ファ
イル４１を作成し、これを、データベースのキーワード
を登録するキーワード登録処理４６のプログラムに渡す
。キーワード登録処理４６では、特異単語ファイル４１
中の単語が。

データベース４７に格納された技術文献等のデータ中で
重要な意味を持つキーワードであるとして。

その登録処理を行う、情報検索システム４８により、デ
ータベース４７のデータを検索するときに。

キーワード登録処理４６で登録したキーワードを指定す
ることにより、該当する技術文献等を、迅速にリストア
ツブすることができる。なお、その技術文献等は、第１
図に示す特定文書ファイル１３と同じ内容を持つデータ
である。

〔発明の効果〕

以上説明したように９本発明によれば、電子化された文
章中から、特別な意味を持つと考えられる単語または重
要な意味を持つと思われる単語などの特異単語を、自動
的に精度よく抽出することが可能になり、＊械翻訳にお
ける辞書の開発、情報検索におけるキーワードの抽出な
どに役立てることができるようになる。

【図面の簡単な説明】

第１図は本発明の原理説明図。 第２図は本発明の一実施例処理説明図。 第３図は本発明の詳細な説明図。 第４図は本発明の詳細な説明図である。 図中、ｐｔは人力処理、Ｐ２は単語頻度表作成処理、Ｐ
２１は単語出現回数算出処理、Ｐ３は単語頻度算出処理
、Ｐ４は特異単語決定処理、Ｐ４１は比較処理、１０は
入力装置、１１は計算機。 １２は一般文書フアイル、１３は特定文書ファイル、１
４は単語頻度表、１５は抽出係数、１６は出力装置を表
す。

Claims (1)

1. 【特許請求の範囲】 計算機により、電子化された文章中から特異単語を抽出
   する処理を行う特異単語抽出処理方法であって、 一般的分野または特定分野で用いられる標準的文章を単
   語に分割し、各単語毎の出現回数をカウントして、各単
   語の頻度情報を持つ単語頻度表を作成しておく単語頻度
   表作成処理過程（Ｐ２）と、特異単語の抽出対象となる
   文章を単語に分割し、各単語毎の出現回数をカウントし
   て、該文章における各単語の頻度を求める単語頻度算出
   処理過程（Ｐ３）と、 求めた単語の頻度と、上記単語頻度表から得られた該当
   する単語の頻度とを比較し、上記単語頻度表にある頻度
   に比べ相対的に高い頻度で出現する単語を、特異単語と
   して抽出し出力する特異単語決定処理過程（Ｐ４）とを
   備えたことを特徴とする特異単語抽出処理方法。