JPH05174019A - 文章評価システム - Google Patents

Abstract

(57)【要約】 【構成】 文脈処理ユニット１と重要性評価ユニット２
（２段組のニューラルネットワーク３、４）で構成さ
れ、文章要約システムの要である、文章の重要性を２段
組のニューラルネットに学習させることにより、各要素
における重要度の比を自動的に生成し、しかもユーザの
主観に沿った変更も簡単に行なえる。 【効果】 文章の重要性の評価をニューラルネットを使
って学習させ、いままで人間が適当に決めていた評価値
を自動生成し、この解析結果を使えば、カナ漢字変換な
どの形態素解析に始まり文脈解析に至る各ステージにお
いて、また談話理解システムや機械翻訳システムの処理
において、先に登場した文の内容を効率的に保持するこ
とができ、メモリーの削減を図ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
を用いた文脈の重要性を評価するシステムに関するもの
であり、たとえば、カナ漢字変換などの形態素解析、統
語解析、意味解析、構文解析、文脈解析などにおいて、
前に出てきた文章の内容を効率良く把握し、各種解析過
程で役立てることに関するものである。

【０００２】

【従来の技術】従来の文脈の重要性評価は『情報処理Vo
l 30,1989,No10 pp1264-1267』にあるように、ルールを
用い、その評価値を決めていた。たとえば、一貫性によ
る重要性評価、埋め込み文による重要性評価、文内の概
念から構成されるフレームによる重要性評価、単文の分
類による重要性評価、分野ごとの重要語による重要性評
価、修辞的な語句による重要性評価、強調表現などのル
ールにより評価値をアドホックに決めていた。こうした
各ルールによる評価値の客観性は疑わしく、加えて各ル
ール間の相対的な評価値となるとこの問題はさらに顕著
になる。したがってルールの追加に対しても柔軟性に欠
けることになる。

【０００３】各ルールとその処理についてさらに詳しく
説明する。『一貫性による重要性評価』では、それぞれ
の単文に依存している単文の数を勘定することにより、
隣接する単文との相対的な重要性が評価される。『埋め
込み文による重要性評価』とは埋め込み文自体、大半は
それが修飾する語句の説明であり、それを削除してもあ
まり影響がない。ただし限定の意味を持つ連体修飾文
は、除外すると体言の意味が総称的になるために重要性
が高い。これらそれぞれの場合に適当に評価値を決めて
いる。『文内の概念から構成されるフレームによる重要
性評価』は他の文章とのつながりがなくても情報を多く
含む文は重要性が高いという経験則を反映したものであ
る。具体的には文の概念から生成されたフレームのスロ
ット数を評価値にしている。『単文の分類による重要性
評価』は単文の種類、例えば報告文のなかで事実を述べ
ている単文があればそれは、そうでないものに比べて重
要性大とし、論節文において意見を述べているものも、
そうでない単文に比べて重要性が高いなどとするもので
ある。『分野ごとの重要語による重要性評価』は対象や
属性の中の重要性評価である。例えば製品紹介記事では
「価格」「特徴」「目的」「販売」「開発」といった語
句が重要と判断される。『修辞的な語句による重要性評
価』は「要するに」「結局」といった言葉が、作者の意
図が反映されているため重要とみなし、逆に「例えば」
「但し」といった語句は重要ではないとする。最後の
『強調表現』は「非常に」「全く」「〜さえ」などの強
調表現も作者の意図が反映されているため重要とみな
す。以上のようなルールを用い重要性を判断してきた。
しかしこれまではこうした評価値は人間がアドホックに
決定していた。

【０００４】

【発明が解決しようとする課題】文章の重要性は人間の
主観に依存する部分が大半であり、またその重要度も本
来、白黒つけにくい連続的な量であると考えられる。従
来のシステムは誰がその重要性を決定したか分らない評
価値を使い、またその値自体も1,0,-1などといった大雑
把なデジタル量を用いていた。これでは重要度の細かな
見積もりは難しい。また新たなルールを付け加えるにし
ても、これまでのシステムは既存ルールとの間の評価基
準の調整を行なわなければならず、一般のユーザが変更
することは困難であった。以上まとめると次のようにな
る。 １．評価基準の一般性、客観性が疑わしい。 ２．評価基準のユーザへの適応が難しい。 以下でこの２点を解決する手法を提案する。

【０００５】本発明は文章要約システムなどの要とな
る、文章評価システムにおいて、各評価における重要性
の相対的な価値を自動的に生成し、しかもユーザの主観
に沿った変更も簡単に行なえる柔軟なシステムを得るこ
とを目的としている。

【０００６】

【課題を解決するための手段】第１の発明に係る文章評
価システムは以下の要素を有するものである。 （ａ）文章を入力し、所定のルールに基づいて、その文
章の文脈を解析して、所定の評価値を出力する文脈処理
ユニット、 （ｂ）上記文脈処理ユニットからの評価値を入力して、
その文章の重要度を評価するニューラルネットワーク。

【０００７】第２の発明に係る文章評価システムは以下
の要素を有するものである。 （ａ）文章を入力し、複数のルールに基づいて、その文
章の文脈を解析して、それぞれの評価値を出力する文脈
処理ユニット、 （ｂ）以下の要素を有する重要度評価ユニット、 （ｂ１）上記文脈処理ユニットからのルール毎の評価値
を入力し、そのルールに基づく文章の重要性を出力する
第１段のニューラルネットワーク （ｂ２）上記第１段のニューラルネットワークから出力
される各ルール毎の重要性を入力し、各ルール間におけ
る重要性の評価を行う第２段のニューラルネットワー
ク。

【０００８】

【作用】第１の発明に係る文章評価システムは、従来の
システムで述べた幾つかのルールから得られる値、たと
えば、関連する単文の数といった具体的な量を入力と
し、出力は「非常に重要」「重要」「やや重要」「重要
ではない」などの意味に対応したニューロンが発火する
ようにニューラルネットを構築し、学習させる。これに
より、従来システムにないユーザに密着した柔軟なシス
テムを構築することができ、また各ルール間の総体的な
重要度の比も自動的に構築される。

【０００９】第２の発明に係る文章評価システムは、文
章要約システムなどの要となる、文章の重要性を２段組
ニューラルネットに学習させ、第１段のニューラルネッ
トワークで各ルール毎の重要性評価を行なうとともに、
第２段のニューラルネットワークで各ルール間の重要性
評価を行なうことにより、各要素における重要度の比を
自動的に生成し、しかもユーザの主観に沿った変更も簡
単に行なえることを狙いとしている。またルールの追加
／変更にも柔軟に対処できるシステムを構成することが
可能である。

【００１０】

【実施例】

実施例１．図１は、本装置の全体の構成図である。文脈
処理ユニット１では照応関係、一貫性関係、段落関係な
どを生成する。次に重要性ユニット２（ニューラルネッ
トワークで構成され、以下、ニューラルネットワークと
もいう）にその結果および単文頻度情報などを入力し、
重要な文であるかどうかが判断される。重要性評価ユニ
ット２は、ユーザの主観により重要性の判断を変更する
ことができる。その指示はニューラルネットワークの学
習機能を使って重要性評価ユニット２へフィードバック
されることで行われる。これが本実施例の大まかな処理
の流れである。

【００１１】図２は、文脈処理ユニット１の概要を示す
図である。この文脈処理ユニットは、従来の技術で述べ
た各ルールに基づく評価値を示している。たとえば、
（１）は一貫性による重要性評価の例を示す場合であ
り、ある単文ａに直接依存している単文の数がｎ個、ま
た、ある単文ａとの間に他の１文が挿入されて間接的に
ａと依存している単文の数がｍ個、また、ある単文ａと
の間に他の２文が挿入されて間接的にａと依存している
単文の数がｌ個あることが判明した場合を示している。
また、（２）は埋め込み文による重要性評価の例を示し
たものであり、ある単文ａに埋め込まれている単文の数
がｉ個、また、ある単文ａに限定の意味を持つ連体修飾
文の数がｊ個存在していることが判明した場合を示して
いる。このように、文脈処理ユニットは、（１）から
（Ｎ）までの評価項目を有しており、文章を入力するこ
とにより、それぞれの評価項目に対してその定量化され
た評価値を出力することになる。

【００１２】次にニューラルネットワーク２について図
３をもとに入力や出力の具体的な値等について述べる。
入力は以下のルールなどから得られる具体的な値とす
る。たとえば、文脈の一貫性に関しては、前述したよう
なそれぞれの単文に依存している単文の数ｎ、ｍ、ｌを
ニューラルネットワーク２への入力とする。埋め込み文
がある場合には埋め込み分の文の数ｉ、および限定の意
味を持つ連体修飾文の数ｊなどを入力する。さらに文内
の概念から構成されるフレームによる重要性評価として
文の概念から生成されたフレームのスロット数をカウン
トした値を入力とする。以下同様に文脈処理ユニット１
から出力される文章の重要性に係わる様々なルールを定
量化した評価値を入力する。出力は『かなり重要』『重
要』『やや重要』『重要ではない』に対応したニューロ
ンが発火することにより識別する。

【００１３】次にニューラルネットワーク２の学習過程
について言及する（図４参照）。この機能はニューラル
ネットワークの性質を利用したものであり、ニューラル
ネットワーク２に新しい評価項目を学習させたい場合、
あるいは出力した結果がユーザの主観的な判断と異なる
ときは、ニューラルネットの学習機能を使ってニューラ
ルネットワーク自体を更新することができる。新しい項
目を学習させたい場合は、ニューラルネットワーク２に
新しいニューロンを追加することで行なえる。そして、
その追加されたニューロンを有するニューラルネットワ
ークを『かなり重要』『重要』・・・などの評価を元に
繰り返し学習させる。

【００１４】以上のように、この実施例では、要約など
に必要と思われる文章（文脈）に関する情報、たとえ
ば、関連する単文の頻度情報などをニューラルネットに
入力し、文章の重要性を学習するステップと、学習した
結果を使い、文章の重要性の評価値を出力するステップ
を含んだことを特徴とする文章評価システムを説明し
た。

【００１５】そして、この実施例により文章の要約シス
テムに柔軟性を持たせることができ、また各ルールによ
って生じる各要素の評価値とその関係を人間の手を煩わ
すことなく、ニューラルネットの内部構造に反映するこ
とができる。これにより、たとえば、カナ漢字変換など
の形態素解析、統語解析、意味解析、構文解析、文脈解
析などの各ステージにおいて、また談話理解システムや
機械翻訳システムの処理において、既出の文章を効率良
く把握することができ、それを各種解析時に文脈情報と
して使用することができる。重要箇所のみ把握するため
メモリーの削減にもつながる。

【００１６】実施例２．図５は他の実施例を示す全体の
構成図である。図において実施例１で示した図１と異な
るところは、重要性評価ユニット２である。この実施例
における重要性評価ユニット２は、その中に第１段と第
２段のニューラルネットワーク有しており、第１段のニ
ューラルネットワークは文脈処理ユニット１で解析され
るルールの結果をそれぞれ入力するルール毎のニューラ
ルネットワーク３１、３２、・・・３ｎを有している。
また、第２段のニューラルネットワークはこれら複数の
第１段のニューラルネットワークからの結果を入力して
最終的に重要性の評価結果を出力する。

【００１７】次に、この実施例の動作について説明す
る。文脈処理ユニット１では実施例１と同様に（図２参
照）、照応関係、一貫性関係、段落関係などの評価に必
要な項目の前処理を行なう。当箇所は従来の解析手法を
ほとんど踏襲している。唯一違う所があるとすれば、入
力の情報を数値化する段階でニューラルネットの入力ユ
ニット数などの制限により、異なった値を使用する可能
性があることである。

【００１８】次に重要性評価ユニット２にこれらの結果
を項目毎に入力する。ここでは一貫性関係という評価項
目を例に話しを具体化する（図６参照）。まずこの関係
により定量化された値ｎ、ｍ、ｌ……といった値を、各
種評価ニューラルネットワーク３１〜３ｎのうちの一貫
性関係ニューラルネットワーク３１に入力する。この場
合ｎ、ｍ、ｌといった値を規格化しても良いし、そうで
なくても良い。この入力に対してニューラルネットワー
ク３１の出力ニューロンのいずれかが発火と呼ばれる状
態になれば、それは図６の下に書いた４つの状態の内の
どれかの意味を表すことになる。即ち『かなり重要』
『重要』『やや重要』『重要ではない』という評価の内
の一つが得られたことになる。

【００１９】これを一貫性関係ばかりではなく、埋め込
み文等の他の評価項目それぞれに対して行なう。ここで
さらにこれらの出力を定量化し、各項目間調整ニューラ
ルネットワーク４に入力し、最終的に重要な文であるか
どうかが判断される（図７）。これが本実施例の大まか
な処理の流れである。また重要性評価ユニット２はこの
ような構成のため、ユーザの主観により重要性の判断を
変更し、それを学習により習得することができる。

【００２０】ニューラルネット３１〜３ｎについてもう
すこし説明する。これはニューラルネット４の子ネット
ワークとでも言うものである。ニューラルネットワーク
３ｘの入力や出力の具体的な値を図６を参照しながら説
明する。入力は以下の評価項目から得られる値である。
例えば文脈の一貫性という評価項目では、ある単文に直
接、または間接的に依存している単文の数に関する情報
をニューラルネットワーク３１への入力とする。また埋
め込み文に関する評価項目では、それがある場合には埋
め込み文の数や、限定の意味を持つ連体修飾文の有無な
どを定量化し入力とする。さらに文内の概念から構成さ
れるフレームによる重要性という評価項目ではフレーム
のスロット数などを入力とする。以下同様に入力として
は文章の重要性に係わる様々な評価項目を定量化した値
をそれぞれ子ニューラルネットワーク３への入力とす
る。ニューラルネットワーク３の出力は『かなり重要』
『重要』『やや重要』『重要ではない』に対応したニュ
ーロンが発火するように学習させ、識別させる。

【００２１】ニューラルネットワーク４（図７）につい
て述べる。ニューラルネットワーク４への入力は子ニュ
ーラルネットワーク３の各出力である。但し今回は子ニ
ューラルネットワーク３の出力そのものではなく、子ニ
ューラルネットワーク３の出力の総和を、得られた出力
の総和内の最大値で割って正規化したものとする。ニュ
ーラルネットワーク４の出力は子ニューラルネットワー
ク３と同様、『かなり重要』『重要』『やや重要』『重
要ではない』といったニューロンを発火させるように学
習する。つまり子ニューラルネットワーク３で各項目毎
の評価を行ない、ニューラルネットワーク４ではさらに
項目間における評価を行なう。これは各評価項目間の相
対的な重みづけをすることに相当する。

【００２２】次にニューラルネット３および４の学習過
程について言及する。この機能はニューラルネットワー
クの性質を利用したものであり、ニューラルネット３に
新しい評価項目を学習させたい場合、あるいは出力した
結果がユーザの主観的な判断と異なるときは、ニューラ
ルネットの学習機能を使ってニューラルネットワーク自
体を更新することができる。新しい項目を学習させたい
場合は、子ニューラルネットワーク３を追加することで
行なえる。つまりその子ニューラルネットワークを『か
なり重要』『重要』・・・などの評価を元に学習させ
る。今までのシステムでもルール自体の追加は簡単であ
るが、これを元に判断される評価値に関しては、ルール
間の相対的な重要度との比較で決定しなければならず、
実際には具体的なデータの乏しいユーザの手には負えな
かったのである。その他の特徴としてはある項目におい
て、例えばユーザの主観とニューラルネットの出力との
間でギャップがあるときは、その評価項目ニューラルネ
ットに対してユーザが学習サンプルを提示し、誤差があ
る程度小さくなるまで学習を行なうことで対処できる。

【００２３】以上のように、この実施例では、要約など
に必要と思われる文章（文脈）に関する情報、例えば関
連する単文の頻度情報などを２段組ニューラルネットに
入力し、文脈の重要性を学習するステップと、学習した
結果を使い、文章の重要性の評価値を出力するステップ
を含んだことを特徴とする文章評価システムを説明し
た。

【００２４】そして、この実施例によれば、文脈処理ユ
ニットから得られる値、例えば関連する単文の数といっ
た量を、評価用子ニューラルネットワーク（１段目）に
入力する。そして出力が「非常に重要」「重要」「やや
重要」「重要ではない」などの意味に対応したニューロ
ンが発火するようにニューラルネットを学習させる。こ
うした子ニューラルネットワークを各評価項目ごとに作
成し、これにより従来システムにない柔軟なシステムを
構築することができる。さらに上記子ニューラルネット
ワーク毎に、その出力を積算した値を子ニューラルネッ
トワーク間で正規化し、親ニューラルネット（２段目）
ワークへの入力とする。そしてさらに親ニューラルネッ
トワークの出力を「非常に重要」「重要」「やや重要」
「重要ではない」といった評価基準を使って学習させ
る。これにより各項目間、この場合は子ニューラルネッ
トワークの相対的な重要度の比が学習により半自動的に
構築される。

【００２５】

【発明の効果】以上のように、第１および第２の発明に
よれば、文章要約システムなどの自然言語処理関係のシ
ステムで、既出の文脈を用いて解析が必要な時に、今ま
では基本的に前の文章を一括して記憶していたものを、
このシステムを使えば文章の理解に必要な事項のみ記憶
していれば良く、文脈の保持に必要とする記憶容量を削
減できる。また今まで人間が適当に決定していた、文章
の重要度を半自動的に定量化することができるようにな
る。さらに重要性評価に関する項目の追加や、ユーザの
主観的判断も簡単に取り入れることができる。

【図面の簡単な説明】

【図１】本システムの一実施例を示す全体図。

【図２】本システムの文脈処理ユニットの概要を示す
図。

【図３】本システムのニューラルネットで構成されてい
る重要性評価ユニットの動作を示す図。

【図４】本システムの重要性評価ユニットの学習時の動
作祖を示す図。

【図５】本システムの他の実施例を示す全体図。

【図６】本システムの他の実施例の第１段のニューラル
ネットワークを示す図。

【図７】本システムの他の実施例の第２段のニューラル
ネットワークを示す図。

【符号の説明】

１ 文脈処理ユニット ２ 重要性評価ユニット（ニューラルネットワーク） ３ 子ニューラルネットワーク（第１段のニューラルネ
ットワーク） ４ 親ニューラルネットワーク（第２段のニューラルネ
ットワーク）

Claims (2)

【特許請求の範囲】
1. 【請求項１】 以下の要素を有する文章評価システム （ａ）文章を入力し、所定のルールに基づいて、その文
   章の文脈を解析して、所定の評価値を出力する文脈処理
   ユニット、 （ｂ）上記文脈処理ユニットからの評価値を入力して、
   その文章の重要度を評価するニューラルネットワーク。
2. 【請求項２】 以下の要素を有する文章評価システム （ａ）文章を入力し、複数のルールに基づいて、その文
   章の文脈を解析して、それぞれの評価値を出力する文脈
   処理ユニット、 （ｂ）以下の要素を有する重要度評価ユニット、 （ｂ１）上記文脈処理ユニットからのルール毎の評価値
   を入力し、そのルールに基づく文章の重要性を出力する
   第１段のニューラルネットワーク （ｂ２）上記第１段のニューラルネットワークから出力
   される各ルール毎の重要性を入力し、各ルール間におけ
   る重要性の評価を行う第２段のニューラルネットワー
   ク。