JPH02143384A - パターン判定系の修正方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明はパターン判定系の修正方法に係り、侍に、複
数の入力データに重みを作用させな結果のａ　１１７を
求め、この総和と閾値とを比較して、比較結果に応じた
出力を発生するパターン判定糸における重りの修正方法
に関する。

〔従来の技術〕

この種のパターン判定系は、一般に第１図に示す神経Ｉ
ＩＩ胞モデモデル礎としてわり、同神経細胞モデルを並
列化したとき第２図に示す１層の脳細胞モデルが構成さ
れ、ざらにこの１層の脳細胞モデルを適宜接続を変えつ
つあるいはそのまま直列に接続することにより、第３図
に示す多層の脳細胞モデルが構成される。

第１図において、神経細胞モデルの入力データＤＩｔ〜
Ｄ１．にはそれぞれ重みｗ１〜ｗｏが掛けられ、その総
和と閾値θとが比較される。その比較結果に対し、正規
化関数やシグモイドｒｌＩＩｒＪ、などに蔦づいて出力
が決定される。例えば以下のような演算が行なわれる。

〔正規化関数の場合〕

ＤＯ＝Ｏ（ΣＤＩ＋ＸＷ＋−〇） Φ（）；正規化関数 Φ（ｘ）”−１（ｘ＜Ｏ） Φ（ｘ）　　＝Ｏ（ｘ＝ｏ） Φ（ｘ）＝１　　　　（ｘ＞１ 〔シグモイド関数の場合〕 ＤＯ＝Ｓ（ΣＤＩ＋ＸＷ＋−〇） Ｓ（）　：ジグそイド関数 ジグそイド関数は第４図のような 特性を持つ。

そしてこのような演算により得られた出力に対して評価
が行われ、評価結果に基づいて、重みＷ〜Ｗ、１に修正
が加えられる。

このような璽み修正の手法として、近年パックプロパゲ
ージ３ンが注目されている。このパックプロパゲーショ
ンは２層の脳細胞モデルにおいて、各層の出力データと
目標値との差をとり、差の２乗の総和が最小となるよう
に重みを調節するものである。しかしこの手法は演算が
比較的ｙ、雑であり、特に収束性の保証および収束時間
も二関して問題が残されている。また入力データが多重
化した場合の処理が著しく複雑化する。

〔発明が解決しようとする課題〕

この発明はこのような従来の問題点を解消すべく創案さ
れたもので、その収束性を保証し得るパターン判定装置
の修正方法を提供することを目的とする。

〔課題を解決するための手段〕

こＤ発明に係るパターン判定装置の修正方法は、重みの
増減量を、重みの値によって変化させるものである。

〔作用〕

この発明に係るバタニン判定装置の修正方法によれば、
教育あるいは学習の過程において１重りの値すなわら晶
シナプスの飽和の程度を参照するので、学習初期には急
速に重みを変更し、徐々にその増減量を減少させて収束
を実現することが可能であり、効率的学習が可能である
。

〔実施例〕

次にこの発明に係るバター″ン判定装置の修正方法の一
実施例を図面に基づいて説明する。

第５図および第６図はこの発明が適用されるパターン判
定装置のアーキテクチャを示すものであり、第５図のア
ーキテクチャでは各神経細胞の重みはその神経細胞の出
力に基づいて修正され、第６図のアーキテクチャでは、
各ニュー０ンのｒＪｈは、最終的な出力の評価結果に基
づいて修正される。

第５１！Ｉのアーキテクチャは、各層の出力の目標値が
明らかになっている場合に有効であり、第６図のアーキ
テクチャは、連想結果を大局的に判断する際に有効であ
る。

ここに各神経細胞の出力特性は、 ＤＯ＝ｆ［（ΣＷ、ＸＤ１．）−θ　］ＤＯ：出力 ｆ（）；出力特性を与える関数 Ｗｌ　；各シナプスの重み ＤＩ＋；各シナプスの入力 θ　　；閾値 の形式で表現され、関数ｆ（＋　　としては、正規化関
数やジグそイド関数が一般的である。

ここで各神経細胞の入出力の関係を考察する。

ある入力に対してその神経細胞が出力を生じた場合、そ
れは、その神経細胞の興奮あるいは発火を意味するが、
出力が目標値に一致し、あるいは目標値に充分近かった
とき、そのときの入出力の関係は強化すべきである。こ
れは有意な入力が与えられたシナプスの重みを高めるこ
とに相当する。

従って第５図のアーキテクチャにおいては、各神経ｅｌ
ｌ　Ｉａの出力の目標値があらかじめ分っているので、
各神経Ｉａ胞の出力を目標値と比較し、両者が一致しあ
るいは充分近かったときに、有意な入力、例えば２値入
力のときｒｌ、の入力が与えられたシナプスの重みを増
加させることになる。この修正方法を以後「モード■」
と呼ぶ。

一方第６図のアーキテクチャにおいては、最終層の出力
に対する大局的な評価が行なわれる。この評価方法とし
ては、最終層出力と目標値とのハミング距離、あるいは
ビタゴラス距礫の評価、あるいは感応的評価等が考えら
れる。この評価の結果、そのときの出力が目標値と一致
しあるいは充分近いと判断されたときには、その入出力
の関係は強化すべきである。この入出力の関係は各神経
細胞の発火パターンによって生じたものであり、その入
力とその発火パターンとの関係を強化することにより、
入出力の関係を強化したことになる。

従って第６図のアーキテクチャにおいては、最終層の出
力が目標値と一致しあるいは充分近かったときに、各神
経ｍｍにおける有意な入力が与えられたシナプスの重み
を増加きせる。この修正方法を以後「モード１１」と呼
ぶ。

以上は連想結果の評価に基づく重みの＃を正であるが、
ある入力をそのまま記憶するタイプの学習に関しては出
力に対する評価よりも、むしろ、その入力と、その入力
に対して最初に生じた出力との関係を強化することが重
要である。これは、第５図のアーキテクチャにおいて、
その入力に対して発火した神経細胞における、有意な入
力が与えられたシナプスの重みを増加することに対応す
る。この修正方法を以後「モード１１１」と呼ぶ。

以下にそ−ド！〜１１）を数式表記する。

くモードＩ〉 １番目の層における、ｊｆｉ目の神経細胞のに１目のシ
ナプスについて、 Ｗ１□（Ｔ）　　　：現在の重み Ｗ１７＊（Ｔ　＋　１　）　　’変更後の重みＤｌ、ｋ
　　　　二人力 とし、その神経細胞の出力を ＤＯ＋＋’実際の出力 Ｄ　Ｔ　＋ノ：出力の目標値 とすると、 Ｗ＋ｉ＊（Ｔ　争１１＝Ｗ＋１ｍ（Ｔｌ”Ｃｚ＊’Ｖ（
Ｄ　　Ｉ　　＋＋ｍ）’Ｍ（ＤＴ＋＋−ＤＯｌ＋１ Ｃ＋１ｍ’効率 ■（）二人力に対する評価関数 Ｍ（）；出力に対する評価関数 と表記することができる。

入力の評価関数Ｖ（）は例えば正規化関数、φ　（ｘ）
　　＝１　　　　　　　　：　　ｘ＞０＝Ｏ：ｘ＝０ ＝−１：ｘ＜０ ２値化関数、 Ｂ（ｘｌ＝ｌ＋Ｘ　　≧　θ ＝Ｏ：　　ｘ＜　　θ θ　：　閾値 あるいは、Ｖ（ｘ）＝ｘなる関数などが考えられる。こ
れによって入力が有意であるが否かの判定が行なわれる
。

出力の評価ｒｌＪ数Ｍ（）は目標値との差（ＤＴ＋、−
ＤＯｌ））のｉｆ価関数を含んでおり、この評価方法と
しては、前述のように、ハミング距曙、ビタゴラス距離
、差の２乗和などの評価が考えられる。

目標値との差の評価結果に対しては、それが有、便であ
るか否かの１！１断が行なわれる。このマ１１断方１１
２としては、入力に対すると同様、正規化関数、２値化
関数その他が用いられる。これらのＶ（）。

Ｍ（）の演算結果は通常乗算で結合され、ざらに効率Ｃ
ＩＩを乗じた値が重みの変化量となる。

効率Ｃ＋４としては、従来定数が採用されていたが、こ
こでばＣ１を重ＡＷ＋＋ｍ（Ｔ）の関数とする。以後Ｃ
Ｂｋを Ｃｚｍ（Ｖ’／＋１ｍｌ と表記する。

ここで、パターン判定系の収束の問題を考慮すると、学
習の初期においては重みの変化量は大きく、学習の終期
においては重みの変化量は小とくすべきであることが予
碧される。この時系列は種々のパラメータで表現される
。

学習回数や学習時間はそのようなパラメータとして採用
きれるであろうし、出力と目標値と差の評価結果、すな
わ”、Ｍ（）の演算結果もそのようなパラメータと考え
ることができる。

しかし、重みＷ　＋　ｓ　ｋには当然上限があり、パタ
ーン着定系をＩＣとして共用化する際には、重みＷハを
必要最小限の罐とすることが現実的である。

また重みＷ　ＩＪ＊の初期値が値域の最小値または最大
ｌａ＋通常は最小値である。）に設定されていたとき、
学習の進行にともなって重みＷ　１　、、は最小値から
最大値に、あるいは最大値から最小値に向かって変化し
ていくことになる。

従って重ノ負の値は時系列を反映していることになる。

そして入力データによって発火する神経細胞のパターン
は変化し、新たな入力データに対する学習の初期には、
それ以前の学習では発火せず、ｔなわら重みに対して変
化が与えられていない挿着、１ｍ胞が存在する可能性も
ある。

１゛なわら、学習の効果という観点から考えたとき、単
に学習回数、時間などを時系列のパラメー々と考えるよ
りも、重みＷ　＋　４　ｍ　Ｅ注目する方が適切である
ことが分る。

ここでＣ６□（Ｗ　Ｉ　Ｊ　＊　）の特性を考える。学
習初期に変化量を大、終期に変化量を小とすれば、ｄ　
Ｃ＋　ｒ　（Ｗ　＋　ｈ　ｋ）　／　ｄ　Ｗ　Ｌ　Ｉ　
ｗ≦０であり、　Ｃｚｋ（Ｗｉｔｈ）はいわゆる単調減
少関数となる。そしてこの単調減少関数のタイプとして
は、第７図（ａｌ〜（ｄ）などを考えることができる。

くモード１１〉 モード■と同様の変数を用い、以下のような数式表記が
行なわれる。

Ｙ／＋＋＊（Ｔ”ｌ）”Ｗｉｔｈ（Ｔ）”Ｓ　Ｘ　Ｃ１
＋、（”＃’＋＋ｍｌ’ＶｆＤ１．□） Ｓ；教師（３号 教師１８号Ｓは、最終層の出力に対する評価結果によっ
て設定され、最も単純なタイプでは、計画が「正」であ
ればｒｌ、、ｒ否」であれば「ｏ」を与える。また「中
立」を「ｏ」とし、「否」を「−１」とする手法も考え
られる。

くモード１１１〉 モード■と同様の変数を用い、以下のような数式表記が
可能である。

ＷｚｍｆＴ＋Ｉ）；Ｗｚｈ（Ｔｌ’Ｃｚｘ（％’Ｙ＋ｉ
＊１ｘＶ（Ｄｌｚａｌ 以上のような学習手法をとれば、収束性を１！！証し得
るとともに収束時間を短縮することができ、また多重の
入力データに対してし学習成果を得ることができる。

以」−この発明の実施例について説明したが、この発明
は種々変形が可能である。

［発明の効果］ 前述のとおり、この発明に係るパターン判定装置のゆ正
方法によれば、＃Ｉ！育あるいは学習の過程において、
重ノ事の値すなわら各シナプスの飽和の程度を参照する
ので、学習初期には急速に重みを変更し、徐々にその増
減量を減少させて収束を実現することが可能であり、効
率的学習が可能であるという優れた効果が得られる。

【図面の簡単な説明】

第１図は一般的な？Ｌｌ経ｌＪＢ抱モデルを示す概、含
１４、第２図は一般的な脳細胞でデルを示すｌｆｉ、含
［４、第３Ｆｉｌは一般的な多層の脳１１Ｂ胞モデルを
示す似、９図、第４図は一般的シグモイド関数の特性を
示すグラフ、第５図はこの発明の第１、第３実栴例のア
ーキテクチャを示す概念図、第６図１ｊこの発明の第２
実施例のアーキテクチャを示す概念図、第７図ｔａ　ｌ
、（ｂｌ、（ｃ　１．ｉｄ　）は第１−第：３実施例に
おける重りの変化量特性を示すグラフである。

Claims (2)

【特許請求の範囲】
1. （１）　複数の入力データに重みを作用させた結果の総
   和を求め、この総和と閾値とを比較して、比較結果に応
   じた出力を発生するパターン判定系における前記重みの
   修正方法において、重みの増減量を重みの値によって変
   化させることを特徴とするパターン判定系の修正方 法。
2. （２）　重みの増減量は重みに対して単調減少するよう
   に設定されていることを特徴とする特許請求の範囲第１
   項記載のパターン判定系の修正方法。