JPH01255966A - 文法規則適用順序学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、文法規則適用順序学習方式に関するものであ
り、特に、自然言語処理システムにおいて文法規則の適
用順序を効率化するためのニューラルネットワークによ
る文法規則適用順序学習方式に関するものである。

〔従来の技術〕

従来、文法規則適用順序学習には、その範囲を限定した
条件付き確率を用いたものがある。

例えば、あるルールＳｌ、Ｓ２の次に８３が適用される
条件付き確率は次のように与えられる。

Ｐ＝Ｐ　（Ｓ３１ｓ１．Ｓ２）　　　　　　・・・（１
）ここで３１．３２．Ｓ３はルールを特定するシンボル
である。

一般に、ｎ−１個のルールが適用された後にルールＳｋ
が適用される条件付き確率は、次のように与えられる。

Ｐ＝Ｐ（Ｓｋ　ｌ　Ｒ１，Ｒ２，−、Ｒｎ−１）　　・
・（２）ここでＲｉ　　（ｉ＝１．　２．　＝・、　　
ｎ−１）はｉ番目に適用されたルールである。

データとして適用ルールの時系列が与えられると、式２
を計算してテーブル化される。そのテーブルを参照する
ことにより、確率が最大となるＳｊをｎ番目に適用すべ
きルールとして得ることができる。

〔発明が解決しようとする課題〕

しかしながら、従来方式によるものは、実行に要する記
憶容量として、ルールの種類、考慮するルールの個数に
応じて指数関数的に増加する膨大なものが要求される。

すなわち、以上述べたような従来技術では、ルールの種
類をＭ個、考慮するルールの個数をＬ個とすると、条件
付き確率を記すテーブルのサイズは、 〜Ｏ（ＭＬ） となる。従って実装可能な学習データは限定され、文法
規則の適用順序に関して効率化を図ることができない。

本発明の目的は、上記のように条件付き確率のテーブル
の記憶容量が膨大になり実現が困難になるのを回避し、
文法規則の適用順序を効率化するための学習方式を提供
することにある。

〔課題を達成するための手段〕

本発明の文法規則適用順序学習方式は、入力文を解析す
る機能と出力文を生成する機能を有する自然言語処理シ
ステムにおける文法規則適用順序学習方式であって、 適用規則系列が与えられたときに、その文法規則の適用
順序をニューラル・ネットワークによって学習させるこ
とを特徴としている。

〔作　用〕

自然言語処理システムにおいて、自然言語文を解析・生
成する場合に適用される文法規則の適用順序をニューラ
ル・ネットワークによって学習させることにより、適用
効率の向上が図れる。実行に要する記憶容量は、従来方
式を用いるときよりも大幅に縮小される。

〔実施例〕

次に、本発明の実施例について図面を参照して説明する
。

第１図は本発明の一実施例に係る文法規則適用順序学習
方式を示すブロック図、 第２図は適用規則を学習し記憶する場合の手順を示すフ
ローチャートであり、また、第３図は本発明に適用し得
る逆伝播ネットワーク・モデルの一般的な構成を示して
いる。

まず、第３図を用いて、原理について説明する。

基本的な原理は、シンボルの時系列をあらかじめ教師付
きの学習を行なった逆伝播ネットワーク・モデルを用い
て学習しようとするところにある。

以下、自然言語処理システムにおける本方式の原理を詳
細に説明する。

自然言語入力文を解析・生成する場合に文法規則が適用
される。本方式では、その適用規則をシンボルの時系列
とし、その時系列が現れたときに次のシンボルをつまり
ルールを予測してルールの適用効率を向上させようとす
るものである。

予測には、連想記憶やバクーン認識のモデルとして考案
された逆伝播ネットワーク・モデルを利用する。このモ
デルの詳細については、欧文誌「コンプレックス・シス
テムズ、１９８７年第１号１４５−１６８頁」（“Ｐａ
ｒａｌｌｅｌ　　Ｎｅｔｗｏｒｋｓ　　ｔｈａｔＬｅａ
ｒｎ　　ｔｏ　　Ｐｒｏｎｏｕｎｃｅ　　Ｅｎｇｌｉｓ
ｈ　　Ｔｅｘｔ″。

Ｔ、Ｊ、Ｓｅｊｎｏｗｓｋｉ　　＆　　Ｃ，Ｒ，Ｒｏｓ
ｅｎｂｅｒｇ、　　ＣｏｍｐｌｅｘＳｙｓｔｅｍｓ、　
Ｖｏｌ、１（１９８７）１４５−１６８　）に詳しい。

モデルは、一般に第３図のように３種類の層から階層的
に構成され、それぞれ入カニニット層、隠れユニット層
、出カニニット層と呼ばれている。

各層にはユニットと呼ばれる処理単位が配置され、各ユ
ニットは入力層に近い側に隣接する層のユニットからの
入力を受けて、隣接する出力層に近い側の層のユニット
へ出力を出す。各ユニ７）の入・出力の応答関係は次の
ように与えられる。

ｘ（ｎ）、＝Σωｆｎ−１＋　、　ｙ（Ｆｌ−１１、−
〇［＋１１．　−　・（３）ｙ　（ｎｌ　、　＝＝＝　
ｆ　　（ｘ　（＋＋１　、　）　　　　　　　　　　・
・・（４）ｆ　（ｘ）＝□　　　　　　　　　　・・・
（５）１＋ｅ−” ここでＸはユニットへの入力、ｙはユニットの出力、θ
はユニットの持つ闇値、上付き添え字は入力層からの階
層を表わしくｎ＝１．　　・・・、Ｎ）、下付き添え字
は層内のユニットを表わす番号である。ω（ｎ−１＋、
、４よ第（ｎ−１）層のユニットｉから第ｎＮのユニッ
トｉへの結合を表わす荷重、ｆ　（ｘ）は式５に示すよ
うに各ユニットに共通の非線形飽和型の応答関数である
。結局、各ユニットは隣接する上位層のユニットの出力
の荷重和とあらかしめ定められた闇値との差を入力とし
て一種の闇値論理によってその出力を決定する。

このモデルの入力層にデータが与えられると、その情報
（データ）は隣接する下位層で順次処理されながら出力
層まで伝播して行（。そしてこの出力層のユニットの出
力が、与えられた入力データに対するモデルの推論結果
となるのである。

本方式では入力層に適用されたルールシンボル列を提示
したときに、出力層に次に適用されたルールの結果（推
論結果）が出力されるようなモデルを構成する。

次にモデルが望ましい推論動作を行なうようにユニツト
量の結合を定める学習法（逆伝播学習）について説明す
る。

学習に用いるデータはさまざまな自然言語処理に対する
実際の適用ルールシンボル列である。これらのデータを
入力層に提示し、出力層には次に適用されたルールシン
ボルを提示して逆伝播学習を繰り返し行なう。例えば、
ある入力文の解析ルールシンボル列が、 ＬＬ、Ｌ３．Ｌ４．Ｌ６ である時、入力層と出力層のデータとして次表の６つを
得る。

逆伝播法では、入力されたデータに対する望ましい推論
結果（出力データ）を教師信号として与えて、モデルの
推論結果と教師信号の差（誤差）を小さくする方向に繰
り返しユニット間結合を修正する。これは、実際には、
次式で定義される出力層（第Ｎ層）におけるモデルの出
力ｙ　（Ｎ）　、と与えられた入力に対する望ましい出
力（答え）ｙ、とから定まる誤差関数を最小化するよう
なユニット間結合を見い出すことに対応する。

この関数は、ｙ（Ｎ）、を通じてあらゆるユニット間結
合に依存しているので、最小化はＥを評価関数として行
なえばよい。結果として得られる逆伝播学習のアルゴリ
ズムに関しては前記の文献に詳しい。

本方式は、以上のような知見に基づ（ものであり、自然
言語処理システムにおいて、適用規則系列が与えられた
ときに、その文法規則の適用順序をニューラル・ネット
ワークによって学習させる。

更に、第１図を参照して説明するに、第１図には、上記
のモデルを学習装置として本発明を実施した自然言語処
理システムの一例が示されており、自然言語処理システ
ムは、入力文を解析する機能と出力文を生成する機能を
有している。

すなわち、入力文読み込み部１と、入力文解析部２と、
出力文生成部３と、出力文出力部４と、適用規則保持部
５と、学習装置６と、学習結果保持部７と辞書８とを備
えており、それぞれの各要素は通信線１２．２３．２５
．２８．３４．３５．３８．５６．６７によって接続さ
れている。

入力文読み込み部１には、通信線１０１が接続されてお
り、入力文はこれを介してシステムに与えられる。

入力文解析部２、出力文生成部３と接続された適用規則
保持部５には、解析に適用された規則が送られるように
なっており、また、出方文生成部３で適用された規則に
ついても送られるようになっている。

このような入力文を解析する機能と出力文を生成する機
能を有する自然言語処理システムにおいて、適用規則系
列が与えられたときに、その文法規則の適用順序をニュ
ーラル・ネットワークによって学習させる。

入力文が通信線１０１に与えられると、通信線１０１を
介して入力文読み込み部１に読み込まれた自然言語文が
入力文解析部２で解析される。解析に適用されたすべて
の規則は、通信線２５を介して適用規則保持部５へ送ら
れる。適用規則保持部５は、学習用のデータとして学習
装置６へ通信線５６を介して伝達する。学習装置６を用
いて学習された結果は通信線６７で学習結果保持部７へ
伝達され保持される。

適用規則を学習し学習結果を学習結果保持部７に記録す
る処理は、第２図に従って行われる。第２図において、
ステップ５２０１では、適用規則の読み込みを行う。次
に、ステップ５２０２で学習データ作成を実行し、ステ
ップ５２０３で学習データ作成終了か否かを判別し、そ
の判別結果がＮＯのときはステップ５２０２を実行し、
Ｙｅｓの判別結果が得られたならば、次のステップＳ　
２０４へ進む。

ステップ５２０４では、学習データを入力し、そしてス
テップ５２０５で学習を実行する。すなわち、学習装置
６において、既述したようなモデルによって文法規則の
適用順序についての学習を行わせる。続くステップ５２
０６では学習終了か否かを判別し、その判別結果がＮＯ
の場合はステップ５２０５を実行し、判別結果としてＹ
ｅｓが得られたときステップ５２０７に進んで学習結果
を学習結果保持部７へ記録する。

このようにして、学習装置６を用いて学習された結果は
学習結果保持部７に保持される。

また、第１図において、入力文解析部２の結果は通信線
２３を介して出力文生成部３に送られる。

出力文生成部３で適用された規則に関しても上と同様な
操作が行われ学習結果が保持される。

入力文の解析・出力文の生成機能を有する上記のような
自然言語処理システムにおいて、文法規則適用順序の学
習を行わせる場合、従来方式を用いるときは、既述した
ように、その条件付き確率のテーブルの記憶容量が膨大
となり、これに伴い実現が困難になるのに対し、ニュー
ラル・ネットワークによるこの方式によるものでは、実
行に要する記憶容量は、考慮に入れるルールの個数をし
、ルールの種類をＭ、１％れユニットの数をＨとすると 〜Ｏ（Ｌ−Ｍ−Ｈ） となり、大幅に減少し、自然言語処理システムにおける
高効率の文法規則適用順序学習を実現することができる
。

〔発明の効果〕

以上説明したように、本発明によれば、ルールの適用順
序に関しての学習が可能である。また、その実行に要す
る記憶容量は、従来技術と比べて大幅に縮小することを
可能にする。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
適用規則を学習し学習結果を学習結果保持部に記録する
場合の一例を示すフローチャート、 第３図は逆伝播ネットワーク・モデルの一般的な構成を
表す図である。 １・・・入力文読み込み部 ２・・・入力文解析部 ３・・・出力文生成部 ４・・・出力文出力部 ５・・・適用規則保持部 ６・・・学習装置 ７・・・学習結果保持部 ８・・・辞書 第１図 第２図 第３図

Claims (1)

【特許請求の範囲】
1. （１）入力文を解析する機能と出力文を生成する機能を
   有する自然言語処理システムにおける文法規則適用順序
   学習方式であって、 適用規則系列が与えられたときに、その文法規則の適用
   順序をニューラル・ネットワークによって学習させるこ
   とを特徴とする文法規則適用順序学習方式。