JPH03132872A - 索引情報生成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、自然言語のデータベース検索等において必
要とされる高精度の索引情報を自動的に抽出、生成する
索引情報生成装置に関するものである。

〔従来の技術］ 従来から情報検索システム等の自動化を目指して、自動
索引抽出手法が開発されている。検索側の立場に立った
場合、検索時に入力することが可能なキーワードがフリ
ーキーワードであるか、統制キーワードであるかによっ
て、索引抽出処理も分類される。フリーキーワードの抽
出を行う場合、不要語辞書法がよ（使用される。不要語
辞書法では、不要語辞書に記述されたキーワードになり
えない単語群（例えば「場合」、「図３−３」、「同様
」など）を排除し、それ以外の単語をキーワードとして
抽出する方法である。また、統制キーワードを抽出する
方法としては、統制語辞書法がある。統制語辞書法では
、文章中に出現した語句と統制語辞書とのマツチングを
とり、辞書中に存在する単語をキーワードとする方法で
ある。

キーワードを抽出する手法で分類した場合、統計的手法
と言語処理的手法の２種類に大分類できる。

統計処理を用いた手法は、単語の出現頻度の傾向が第１
２図（Ｖａｎ　Ｒｉｊｓｂｅｒｇｅｎ、　Ｃ，Ｊ、　：
ＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ、５ｅｃｏ
ｎｄ　Ｅｄｉｔｉｏｎ、Ｂｕｔｔｅｒ　Ｗｏｒｔｈｓ、
Ｌｏｎｄ−ｏｎ、　１９７９）のようになっていると仮
定し、単語の出現頻度が高くも低（もない中間的単語を
キーワードとするというルールに基づいてキーワードを
選定する。なお、縦軸は出現頻度ｆ、横軸はランクｒ、
Ｌ、は上限線、Ｌ２は下限線、Ａはキーワード領域、Ｂ
はキーワード分布曲線である。

しかし、単語の出現頻度にのみ着目しているため、不要
な語をキーワードとして抽出したり、抽出した以後を取
りこぼす等の欠点がある。

言語処理を用いた手法では、格辞書や世界知識を用いた
係り受け解析処理を基本とする場合が多い。前者の例と
しては、絹用ら（絹用、木村二日本語文構造解析による
自動インデクランク方式、ｖｏｌ、２１．Ｎｏ、３．１
９８０）が行ったように、文を１個以上の名詞と動詞と
の関係と捉え、格解析によって得られた名詞と動詞群を
キーワードとする処理である。また、後者の手法として
、斉藤ら（斉藤。

針寄：日本語文解析によるキーワド抽出、電子通信学会
技術研究会報告、ｖｏｌ、８１．Ｎｏ、９０．ｐｐ、４
１−４８゜１９８１）の場合、係り受け解析結果に基づ
き、係り受け関係のある単語を結合して複合語とし、生
成した複合語の中でシソーラスの用語と一致し、かつシ
ソーラスで最も下位の語をキーワードとして出力する処
理である。この処理でのキーワード抽出例を第１３図に
示す。第１３図において、アンダーラインで示した語が
抽出されたキーワードである。矢印で示される右側の語
は単語を結合して複合語とした例である。

これらの手法の欠点としては、文章中に陽に表現されて
いない、文章の主題に適したキーワードを生成すること
ができない点と、抽出したキーワードをその主題に対す
る重要度の点から重み付けしていない点である。

［発明が解決しようとする課題１ 上述したように、統計処理や構文解析手法を用いても、
対象文章の主題を表す索引を抽出するには至っていない
。また、抽出される索引について見れば、従来のシステ
ムでは文章中に出現した単語であるか、シソーラスにあ
る単語でなければならず、文章の主題を表現するのに適
した索引を生成することが難しいなどの欠点がある。

この発明では、係り受け解析および文接続関係判定処理
により文章構造に基づく索引の重み付けをするとともに
、自動学習した索引生成規定に基づき、文章中に陽には
表現されていない索引を生成する索引生成方法を提供す
ることを目的とする。

［課題を解決するための手段１ この発明に係る索引情報生成装置は、対象とする文章を
分かち書きし、形態素情報（読み情報。

品詞情報、活用形情報等）を抽出するとともに、その形
態素情報から文節間の係り受け関係を解析する係り受け
解析部と、接続詞相当語句および文の主格を追跡するこ
とにより又聞の接続関係を明示する文接続関係判定部と
、係り受け解析結果および文接続関係判定部の結果から
文章構造を決定し、文章構造に基づいて索引の重要度を
付与する索引抽出部と、索引生成規則より文章中には出
現していないが、対象文章から想起される索引を生成す
る索引生成部と、索引抽出部の索引結果と索引生成部の
索引結果の両方を表示する索引情報出力部と、出力した
索引を編集して最も適した索引を付与する索引編集部と
、編集された結果を記憶し、さらに索引生成規則を生成
、記憶する索引情報記憶部とを具備したものである。

〔作用１ この発明においては、索引抽出部では係り受け構造や又
聞の接続関係から得た文章構造から索引の重要度を付与
するため、この発明で作成した索引を検索に利用した場
合、従来に比ベヒット率の高い検索が可能となる。また
、索引生成部では、文章中で陽には表現されていない索
引を生成するため、従来の索引抽出装置にはない主題に
適した索引を生成することが可能となる。また、索引情
報編集部では、索引の編集結果から適した索引を抽出、
生成する索引生成規定の更新を随時自動的に行うため、
索引付与回数が増えれば増えるほど精度の高い索引を自
動的に生成する。

〔実施例１ 以下、この発明の実施例について説明するヶまず、この
発明の索引情報性性装置の全体の構成について述べ、次
に格構成部の詳細を説明する。

第１図はこの発明の一実施例の構成を示すブロック図で
ある。１は係り受け解析部で、入力文Ｓを分かち書きし
単語単位に分割する。さらに、品詞情報、活用形、形態
素の情報を個々の単語に付与して係り受け解析を行う。

２は文接続関係判定部で、文中に存在する接続詞相当語
句および文の主格の変化により又聞の接続関係を判定す
る。３は索引抽出部で、索引を抽出するとともに、抽出
した索引に重要度を付与する。まず、係り受け解析部１
で得られた文節間の係り受け関係と、文接続関係判定部
２で得られた又聞の接続関係を用いて索引を文章中から
抽出する。さらに、文章構造に基づいて索引の重要度を
付与する。４は索引生成部で、文字連鎖とその文字連鎖
から想起される索引の組み合わせが記述されている索引
生成規則を用いて、同様な文字連鎖が文章中に出現した
場合、その文字連鎖から想起される索引を生成する。ま
た、生成された索引は、索引抽出部３と同様に文章構造
に基づいて重要度付けされる。５は索引情報出力部で、
索引抽出部３と索引生成部４によって抽出された索引情
報を出力する。６は索引情報編集部で、索引情報出力部
５の索引出力結果を見て、索引に適していない語につい
ては削除し、索引に適している語が出力されていない場
合には登録するなどの索引削除、索引登録機能を有する
。７は索引情報記憶部で、索引情報編集部６の編集結果
を記憶するとともに、編集結果を基に索引生成規則を自
動的に変更、生成し記憶する。

係り受け解析部１では、例えば稲垣ら（稲垣。

小橋：係り受け解析方法、特開昭６４−１７１５２号公
報参照）の発明を用いた文節間の係り受け関係を第２図
のように求める。

人力として「カナ文字列および同音語選択指示信号を入
力するための入力手段と、・・・・・・」の文を考えた
場合、形態素情報を取得し文節単位に分割すると、「カ
ナ文字列　および　同音語選択指示信号を　入力するた
めの　入力手段と、　・・・・・・」と分割される。次
に、文節単位に分割された単語群の係り受け関係を求め
る。この入力では、第２図に示すように、「カナ文字列
Ｊと「同音を選択指示信号」は並列構文を形成しており
、共に「入力するための」に係り、文節「入力するため
の」は「入力手段」に係ることになる。係り受け解析部
１では、このような文節間の係り受け関係を求める処理
を受け持つ。

文接続関係判定部２では、又聞の接続関係を接続詞相当
語句および主客の変化で決定し、各文℃文章内における
重要度を求める。文接続関係判定部２の処理の流れを第
３図に示す。なお、２Ａ〜２Ｇは各ステップを示す。

まず、文章の先頭文である場合（ステップ２Ａ）、重要
度の基準値を与える（ステップ２Ｂ）。

先頭文以外の文では対象とする文に接続詞相当語句が含
まれている場合（ステップ２Ｃ）、第４図の接続詞相当
語句と又聞接続ポイントの対応表により又聞接続ポイン
トを取得して、前の文の重要度に又聞接続ポイントを加
えた値をその文の重要度とする（ステップ２Ｄ）。交円
に接続詞相当語句がなければ、ステップ２Ｅを実行する
。ステップ２Ｅでは対象とする文に主格となる名詞（句
）が存在するかどうかを判断する。ステップ２Ｆでは主
格の名詞が存在する場合、文中に含まれる名詞の照応関
係から文の重要度を算出する。文重要度は第５図に示す
文重要度判定規則テーブルＦに記述されているＩ　Ｆ−
ＴＨＥＮ規則に基づいて判断される。以上の処理で文の
重要度を決定できない場合、ステップ２Ｃを実行して文
の重要度を決定する。ステップ２Ｇでは文章の起承転結
パターンや章・節・段落の配置から文の重要度を決定す
る。

第６図にステップ２Ｇの文重要度判定規則テーブルＧを
示す。これは、先のテーブルＦと同じようにＩ　Ｆ−Ｔ
ＨＥＮ規則から構成される。

索引抽出部３では、形態素に分割されている単語の中か
ら索引を抽出するとともに、抽出した索引を重み付けす
る。

索引の抽出に不要語辞書法を用いた場合、まず、形態素
情報の中で各単語の品詞に着目し、品詞として名詞相当
語句（固有名詞、す変名側なども含む）を抽出する。抽
出した名詞相当語句の中で、第７図に示すような不要語
を除いた単語を索引として抽出する。

索引の重み付けは、係り受け解析結果から算出される文
構造ポイントを利用する。文構造ポイントは、文節間の
係り受けとその係り受け関係の属性により決定する。文
末の文節に文構造ポイントの基準値を与え、各文節の文
構造ポイントは、文末の文節から対象とする文節にたど
り着くまでに通る係り受けのリンクポイントの合計値を
与える。

第８図に係り文節の付属語とリンクポイントの対応を示
す。第９図に例を示すが、「信号を　入力するための　
入力手段。」という入力文章では「入力手段。」には文
構造ポイントの基準値（０）を与え、文節「入力するた
めの」は助詞の「の」で係り受け関係を持っているため
、リンクポイントが２となり、文構造ボンドも２となる
。

同様にして、文節「信号をｊはリンクポイントが０であ
るため「入力するための」と同じ文構造ポイント２とな
る。同様にしてすべての文節の文構造ポイントを求める
。

次に、最終的な文節の重要度は、先に求めた文の重要度
に文構造ポイント乗じたポイントとする。この文節重要
度は、値が小さいほど文章中での重要度が高いことを示
す。

索引生成部４では、索引生成規則に基づき新たな索引を
生成する。索引生成規則の例を第１０図に示す。

例えば（取締り）＋（の、が）＋（強化）＝（監視強化
）は「取締りの強化」または「取締りが強化」という文
字連鎖の持つ概念が「監視強化」という概念と一致して
いることを意味し、索引を生成する場合「取締り」や「
強化」という単語をキーワードとするだけでな（、「監
視強化」というキーワードも生成する。生成規則の適用
方法は、文中に索引生成規則に記述されている文字連鎖
と同様な文字連鎖がある場合、文字連鎖想起語を索引と
して生成する。例えば文中に「取締りの強化」という文
字連鎖がある場合、「監視強化」という索引を生成する
。この場合、索引生成規則に基づいて索引を生成するだ
けでなく、先の索引抽出部３で作成した文節の重要度を
索引に付与する。

索引情報出力部５では、索引抽出部３と索引生成部４で
作られた索引を重要度順に並べ変えして出力する。

索引情報編集部６では、索引情報出力部５で出力した索
引の編集を行うと同時に、索引生成規則を自動的に生成
し、索引生成部４へ組み込む。例えば、第９図を入力文
章と考えた場合、この装置では、索引として第１１図の
索引を抽出する。索引情報の編集プロセスとしては、索
引情報の変更、追加、削除の３つのプロセスからなり、
メニューにより作業を選択する。索引情報の変更は、装
置側が作成した索引を異なる索引に変更したり、索引に
付与されている重要度を変更したりする機能である。索
引の追加は、装置側が作成した索引以外に、付与したい
索引をユーザが登録する機能である。文章中に出現して
いる単語は直接マウスで単語を選択した時点で追加索引
として登録される。文章中に出現していない単語はキー
ボードから直接人力する。索引の削除は、装置側が作成
した索引をユーザが削除する機能である。

索引情報記憶部７は、索引情報編集部６で編集された索
引情報を記憶するとともに、索引生成規則を生成し、登
録する。

索引生成規則は、索引情報の編集作業中にユーザ側が索
引を登録した時点で自動的に生成される。第１１図の索
引が表示されている時、索引としてユーザが「信号入出
力」という索引を追加した場合の処理を下記に示す。

まず、追加した索引語を単語に分解する。この場合、「
信号」と「入出力」に単語を分解する。

さらに、各単語に類似した単語群を類義語辞書などから
抽出する。「信号」の場合「シグナル」。

「信号線」が類義語群。「入出力」の場合「入力」、「
出力」、「インプット」等が類似した語群なる。このよ
うに単語の概念を拡張した後、これらの文字連鎖を対象
文章中から索引する。この例では以下に示す検査パター
ンを探索する。

検索パターン （信号）＋（入出力）　ｏｒ　（入出力）＋（信号）（
信号）＋（入力）ｏｒ（入力）＋（信号）（シグナル）
＋（インプット） ｏｒ　（インプット）＋（シグナル） 検索例 「入力された信号を・・・・・・」 「信号の入力」、「信号が入力」 「シグナルインプット」 対象文章中に検索パターンがあった場合、その検索パタ
ーンを索引生成規則に登録する。複数の検索パターンが
一致する場合、文節の重要度が最も高い検索パターンを
索引生成規則に登録する。

検索パターンは、単語と単語の連鎖だけが表示されてい
るので、一致した検索結果から付属語情報、助詞情報も
抽出して索引生成規則に登録する。「入出力された信号
を・・・・・・」の検索例では、（入出力）＋（された
）＋（信号）というパターンが文字連鎖語として登録さ
れる。「信号の入力」の例では（信号）＋（の）＋（入
力）が登録される。

以上説明したように、第１図に示す１〜７までの各部の
処理により索引が抽出生成される。なお、この発明は日
本語の文章に限らず、英文等に対しても適用可能である
。

〔発明の効果〕

この発明は以上説明したように、文章中から抽出、生成
された索引は、ただ単に索引として抽出するだけでなく
、文の係り受け解析結果から得た文構造情報と接続詞相
当語句や文の主格の推移から決定した文章の構造情報を
用いて、索引の重み付けを行う。そのため、機械処理等
で作成する索引群に比べ、この発明で作成した索引を検
索に利用した場合、高いヒツト率を得ることが可能とな
る。また、索引に重要度が付与されているため、検索者
は索引から容易に文章の内容をつかむことができる。

以前から自動索引システムでの問題となっていたが、索
引としてただ単に文章中から語句を抽出した場合、文章
の概念を表すのに適していないこともある。この発明で
は、文章中の文字連鎖と索引のとの関係を索引生成規則
として保持し、その索引生成規則から文章を表現するの
に適した索引を自動的に生成する機能を有する。また、
索引生成規則は索引編集過程で自動的に収集するために
、索引生成規則をあらかじめ人手で収集する必要はない
。この索引生成機能により検索の高精度化、索引付与作
業の省力化が可能となる。

【図面の簡単な説明】

第１図はこの発明を実施するための装置の構成を示すブ
ロック図、第２図は係り受け解析部の係り受け解析例を
示す図、第３図は文接続関係判定部の処理の流れ図、第
４図は接続詞と又聞接続ポイントのテーブルを示す図、
第５図は文重要度判定規則テーブルＦを示す図、第６図
は文重要度判定規則テーブルＧを示す図、第７図は不要
語辞書の内容を示す図、第８図は係り文節の属性とリン
クポイントのテーブルを示す図、第９図は文構造ポイン
ト計算例を示す図、第１０図は索引生成規則を示す図、
第１１図は抽出される索引の例を示す図、第１２図は索
引の出現頻度傾向を示す図、第１３図は従来の索引抽出
例を示す図である。 図中、１は係り受け解析部、２は文接続関係判足部、３
は索引抽出部、４は索引生成部、５は索引情報出力部、
６は索引情報編集部、７は索引情報記憶部を示す。 第 ３ 図 第 図 第 図 第 図 第 ９ 図 リンクＩインド 文構造ポイント 第 ０ 図 第 １ 図 第 ２ 図

Claims (1)

【特許請求の範囲】
1. 文章を入力し、入力された文字列を分かち書きし、形態
   素情報を付与するとともに、前記形態素情報を基にして
   文節間の係り受け関係を判定する係り受け解析部と、前
   記文章中の文間の接続関係を判定する文接続関係判定部
   と、前記係り受け解析部の係り受け解析結果と前記文接
   続関係判定部の結果に基づき、前記文章中の重要語を索
   引として抽出するとともに、文章構造に基づき該索引の
   重要度を付与する索引抽出部と、索引生成規則を基に索
   引を生成する索引生成部と、前記索引抽出部と前記索引
   生成部の索引結果を表示する索引情報出力部と、この索
   引情報出力部の索引を編集する索引情報編集部と、この
   索引情報編集部の編集結果およびこの編集結果から作成
   された索引生成規則とを記憶する索引情報記憶部とを具
   備することを特徴とする索引情報生成装置。