JP2639028B2

JP2639028B2 - 神経回路の学習装置および学習方法

Info

Publication number: JP2639028B2
Application number: JP63313505A
Authority: JP
Inventors: 義政木村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1988-12-12
Filing date: 1988-12-12
Publication date: 1997-08-06
Anticipated expiration: 2012-08-06
Also published as: JPH02158860A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、層状神経回路を用いてパターン識別を行う
学習装置および学習方法に関し、特に分離超平面の近傍
に存在するパターンの識別特性を向上させ、かつ入力パ
ターンの変動に対して安定な学習を可能とする層状神経
回路の学習装置とその方法に関する。

〔従来の技術〕

最近、神経回路網型（ニューラル・ネットワーク）の
パターン識別装置が開発されている（例えば、日経エレ
クトロニクス、1988年４月18月（No.445）、pp.106〜10
7参照）。上記文献によれば、３層構造のニューラル・
ネットワークを用いたパターン識別装置に対して、学習
アルゴリズムの基本をバックプロパゲーションにするこ
とにより、学習効果を向上させている。

第５図は、従来の神経回路を用いたバックプロパゲー
ションを具備する学習装置の一例を示す構成図であり、
第６図は、第５図における１つのニューロ素子の機能ブ
ロック図である。

第５図においては、入力層Ｌ個と中間層Ｍ個と出力層
Ｎ個のニューロ素子からなる３層構造の層状神経回路が
示されている。これらのニューロ素子相互間の結線は、
下位の層のニューロ素子から１つ順位の高い覆のニュー
ロ素子にのみ限って存在し、層を飛び越した結線や層内
の素子間での結線はいずれも存在しない。また、同一素
子から発散される結線に流れる信号の大きさは、いずれ
も同じである。

第５図において、101は入力パターンx_i＝（_ix₁,_ix₂,
・・・・_ix_L）、１は神経回路、11は中間層の第ｊ素子
の荷重ベクトルw_j＝（w_j1,w_j2，・・・・・w
_jL）、12は同素子の閾値θ_ｊ、13は同素子の出力_iy
_j、14は出力層の第ｋ素子の荷重ベクトルw_k＝（w
_k1,w_k2，・・・・・w_kM）、15は同素子の閾値θ
_ｋ、16は同素子の出力_iz_k、17は出力ベクトルz_i＝（_i
z₁,_iz₂,・・・・_iz_N）、20はニューロ素子、102はカテ
ゴリC_iの教師信号ベクトルt_i＝（_it₁,_it₂,・・・・
_it_N）である。なお、入力パターンx_i,荷重ベクトルw_j,w
_k,出力ベクトルz_iは、いずれもベクトルを表わす。

第５図における各ニューロ素子20は、それぞれ第６図
に示すような機能構成を具備している。

すなわち、１個以上の素子入力信号が最初に入力する
とともに、各素子入力のそれぞれに対応した荷重値を記
憶するための荷重ベクトル記憶部14（11）と、各素子入
力の値ごとに荷重値を乗じた値を膜電位として出力する
ための膜電位算出部19と、予め決められた閾値および飽
和型関数を記憶する記憶部15（12）と、膜電位算出部19
の出力と閾値の和に飽和型関数を作用させた値を関数出
力値とする飽和型関数部18と、素子出力16とを具備して
いる。

ここで、各素子20の入出力方程式は、次の（１）
（２）式で表わされる。_i y_j＝ｆ（w_j・x_i＋θ_ｊ） ……（１）_i z_k＝ｆ（w_k・y_j＋θ_ｋ） ……（２）なお、上式中のy_iはy_i＝（_iy₁,_iy₂,・・・_iy_M）なる
中間素子の出力ベクトルであり、ｆは飽和型非線型関数
であって、例えばシグモイド関数が用いられる。また、
・はベクトルの内積を表わしている。上記（１）式、
（２）式においては、閾値θ_ｊ，θ_ｋは、新たに常
に１を素子出力として出力するニューロ素子にθ_ｊあ
るいはθ_ｋを荷重値として乗算することで実現できる
ので、荷重値w_j,w_kの次元が１だけ増えたものと解
釈できる。そこで、閾値は荷重値に含められているもの
として扱い、上記（１）式，（２）式のθ_ｊとθ_ｋ
を除削する。

バックプロパゲーションは、入力パターンx_iから得ら
れる出力ベクトルz_iと教師信号ベクトルt_iの要素の２乗
誤差を最小化する学習方法であり、評価関数Ｅとして次
の値を持っている。

上式において、Ｅを最小にすべく、中間層・出力層の
荷重・閾値を変更していくのである。

荷重変更のアルゴリズムを以下に導出する。

いま、荷重変更分をとする。ここで、ηは定数、w_mnは下位層の第ｍ素子か
ら上位層の第ｎ素子への荷重であり、この記法は出力
層、中間層に共通に用いる。

を求めると、次式（４）となる。

ここで、_ir_nは第ｎ素子の膜電位であり、_ir_n＝Σw_mn
・q_mで定義される。また、_iq_mは第ｍ素子の出力であ
る。

いま、（４）式を次のように置くと、 Δw_mnは、次のような式（６）で表わされる。

（ｉ）第ｎ素子が出力層のニューロ素子である場合δ_ｎ
をδ_ｋと記述し、（２）式，（３）式およびの式を用いると、評価関数Ｅを膜電位_ir_kで微分した出
力層の値δ_ｋは、次式（７）で表わされる。

（６）式，（７）式より、出力層の荷重Δw_kmは次式
となる。

Δw_km＝η（t_k−z_k）ｆ′（r_k）_iy_m ……（８）（ii）第ｎ素子が中間層のニューロ素子である場合 δ_ｎをδ_ｊと記述して、前記（１）式、（５）式を用
いると、評価関数Ｅを膜電位_iy_jで微分した中間層の値
δ_ｊは、次式（９）で表わされる。

（６）式，（９）式より、中間層の荷重Δw_jlは次式
となる。

入力パターンx_iが呈示される毎に、（８）式と（10）
式で荷重を変更すれば、入力パターン集合｛x_i｝におい
て、各x_iを識別できるパターン識別機構が神経回路の内
部に自然に構築される。

パターン呈示と学習との関係は、上述の場合、１パタ
ーンが呈示される毎に１回学習するものとした。その一
例としては、XOR,Parity等がある。これらの例では、複
数の入力パターンが固定的な順序で出現し、それを学習
装置に呈示することが前提となっていた。

〔発明が解決しようとする課題〕

しかしながら、前述のような学習装置に対して、入力
パターンの出現が確立的である場合に適用しようとする
ならば、次の（イ）（ロ）のような問題が生じる。

（イ）カテゴリC_iに属する第Ｓ番目の入力パターンx
_i（Ｓ）（Ｓ＝1,2,・・・,S）を呈示した場合における
出力層の荷重修正量をΔw_kj（Ｓ）とする。

ここでは、同一の教師信号パターンに対して、１以上
の入力パターンを対応付けた入力パターンの集合をカテ
ゴリと呼ぶ。文字の認識を行う場合、例えば、学習のカ
テゴリC_iとして、のパターン入力をカテゴリｉ＝１、のパターン入力をカテゴリｉ＝２、をｉ＝３とする。ここで、１回目の入力はＡさんが、２
回目の入力はＢさんが、３回目の入力はＣさんが、それ
ぞれを入力して、例えば10人分のサンプルをとって１つのカ
テゴリとすることができる。同じように、10人分のサン
プルのについて、それぞれカテゴリとすることができる。

いま、x_i（Ｓ）の出現確率をP_i（Ｓ）（ΣP_i（Ｓ）＝
１）とすると、｛x_i（Ｓ）｝に対する荷重修正量＠Δw
_kjは、次式（11）で表わされる。

（11）式は、確率P_i（Ｓ）を考慮した形となってお
り、１パターン呈示する毎に学習を行っていた前記
（６）式では起り得なかった次の問題が生じる。

すなわち、（11）式において、確率密度が高い所に存
在する入力パターンx_i（Ｓ）から得られたΔw_kj（Ｓ）
は、＠Δw_kjに強く反映されるが、確率密度が低い所に
存在する入力パターンx_i（Ｓ）から得られるΔw
_kj（Ｓ）は＠Δw_kjに反映されにくい。つまり、パター
ン｛x_i（Ｓ）｝と｛x_j（Ｓ）｝（ここで、ｉ≠ｊ）を分
離する分離超平面の近傍にx_i（Ｓ）,x_j（Ｓ）が少数個
しか存在しない場合には、そのx_i（Ｓ）,x_i（Ｓ）を識
別する機構は、神経回路内部に構築されにくくなる。言
い換えれば、まれにしか出現しないパターンについて
は、重み付けの修正に殆んど貢献していなかった。

（ロ）全ての神経回路に共通な問題として、学習サンプ
ルに対しては良効な識別結果を示すが、未知サンプルに
対しては必ずしも良い識別結果は得られないことがあ
る。これは、神経回路が学習サンプルに対して、前記
（３）式を最小化することしか行っていないためであっ
て、未知サンプルの分布を推定しながら学習していない
ためである。

次に、上記（イ）（ロ）の問題点に対する従来の解決
方法について、述べる。

（イ）を解決する方法としては、学習の進行とともに
学習の進んでいないパターンを強制的に学習させ、かつ
学習の進度に合わせて学習パラメータηを変更していく
方法がある（例えば、文献：信学技報MBE87−156参
照）。

しかし、この方法では、学習過程を制御することに関
して、システム設計者の経験を必要とする。また、学習
対象が変れば設計方法を変わるため、統一的に論じるこ
とが難かしいという問題がある。

次に、（ロ）を解決する方法としては、入力パターン
を変形させ、これを学習させることにより未知サンプル
に対する耐性を強化しようとする方法がある（例えば、
特願昭63−56956号明細書および図面を参照）。しか
し、そこで扱われている変形は、実際に生じる変更と異
なった性質を持っていること、および変形パターン数の
増加による学習効率の低下があること、等の問題があっ
た。

本発明の目的は、これら従来の課題を解決し、過学習
を防止し、未学習パターンを学習を促進させて、分離超
平面近傍に存在するパターン、つまりまれにしか出現し
ないパターンの識別特性を向上させ、かつこれらの作用
を自動的に行わせることにより、入力パターンの変動に
対して安定な学習を行わせることが可能な神経回路の学
習装置および学習方法を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため、本発明による神経回路の学
習装置は、（ａ）出力層の各素子出力値と呈示された入
力パターンに対応した教師信号パターンとの差である誤
差値を求めて、該誤差値を記憶する教師信号パターン比
較手段と、（ｂ）該教師信号パターン比較手段から誤差
値情報を受け取り、同一カテゴリに属する１以上の入力
パターンに対して、上記出力層の全ニューロ素子での膜
電位の微少変化値に対する素子出力値の微少変化値およ
び上記誤差値からなる評価関数を最小とする方向の荷重
値の変更値を、上記中間層と出力層の全ニューロ素子に
ついて計算し、計算結果を記憶する変更値計算記憶手段
と、（ｃ）該変更値計算記憶手段から上記計算結果を受
け取り、同一カテゴリでの入力ベクトルの呈示が終了す
る毎に、上記計算結果の荷重変更値を平均化した荷重修
正値を算出し、該荷重値と荷重修正値との和の値を各ニ
ューロ素子に設定する荷重修正手段とを具備したことに
特徴がある。また、本発明の学習方法は、（ａ）中間層
と出力層にある全ニューロ素子での荷重値を初期設定手
段により決定して、決定された荷重値を各ニューロ素子
に設定し、カテゴリが１つ選び出され、そのカテゴリに
属する入力パターンが呈示され、（ｂ）入力層のニュー
ロ素子の素子入力として呈示された入力パターンを設定
し、（ｃ）上記出力層の各素子出力値と呈示された入力
パターンに対応した教師信号パターンとの誤差値を求
め、（ｄ）同一カテゴリに属する１以上の入力パターン
に対して、出力層の全ニューロ素子での膜電位の微少変
化値に対する索子出力値の微少変化値および上記誤差値
とからなる評価関数を最小化する方向である荷重変更値
を、上記中間層と出力層にある全ニューロ素子での荷重
値に対して計算し、（ｅ）同一カテゴリでの入力パター
ンの呈示が終了すると、修正値計算の指示信号の有無か
ら、該指示信号の無の場合に（ｂ）に戻り、有の場合に
は、該荷重変更値を平均化した荷重修正値を求め、該荷
重修正値と上記荷重値との和を上記中間層と出力層にあ
る全ニューロ素子に設定し、（ｆ）上記（ｂ）から
（ｅ）までの処理手順を処理終了信号が受信されるま
で、繰り返すことに特徴がある。

〔作用〕

本発明においては、出力層のニューロ素子の出力値と
呈示された入力パターンに対応する教師信号パターンと
の誤差値を求めた後、出力層の全ニューロ素子での膜電
位の微少変化値に対する索子出力値の微少変化値および
上記誤差値とからなる評価関数を最小化する方向である
荷重変更値を、中間層と出力層の全ニューロ素子での荷
重値に対して計算する。そして、さらに修正値計算の指
示信号があると、荷重変更値を平均化した荷重修正値を
求め、この荷重修正値と上記荷重値との合計値を上記中
間値と出力層にある全ニューロ素子に設定するのであ
る。この合計値は、η・（δ_ｋ＋〔δ_ｋ〕）で表わされ
る。そして、学習が著しく進んでいない入力パターンに
対しては〔δ_ｋ〕＞０であるため、この合計値は学習を
強化させる作用がある。また、学修が進行するに伴な
い、〔δ_ｋ〕は負の大きい値をとるため、学習を抑制す
る作用がある。また、学習が終了しているものに対して
は、学習を停止される作用を果す。

〔実施例〕

以下、本発明の動作原理および実施例を、図面により
詳細に説明する。

先ず、本発明の基本的な原理について詳述する。

本発明においては、評価関数として次式（12）を用い
る。

ここで、右辺第２項の∂_iz_k/∂_ir_kは、出力層の第ｋ
素子の出力の変動分に関する項であり、εは定数であ
る。

（12）式を満足するように学修が進行する場合のδ_ｋ
を、＊δ_ｋと記述することにする。

（ｉ）出力層の場合、ここで、ｆ′（_ir_k）＝_ir_k（１−_ir_k） ……（14）ｆ″（_ir_k）＝_ir_k（１−_ir_k）（１−2_ir_k） ……（15）〔δｋ〕＝−εｆ（r_k）^２・（１−ｆ（r_k））^２・（１
−2f（r_k）） ……（16）と置けば、上記（13）式は、次のように表わされる。

＊δ_ｋ＝δ_ｋ＋〔δ_ｋ〕 ……（17）ただし、δ_ｋは前記（７）式のδ_ｋである。

（ii）中間層の場合上式（17）の＊δ_ｋは、評価関数を（３）式としたと
きのδ_ｋ、および評価関数を（12）式としたときの〔δ
_ｋ〕を合成した値となっている。_ir_kに対する〔δ_ｋ〕
は、ε＜０の場合、第４図（ａ）に示す曲線となる。第
４図（ｂ）は、δ_ｋの特性曲線を示す図である。＊δ
は、δ_ｋと〔δ_ｋ〕とを加えた値であるから、第４図
（ａ）と（ｂ）の各値を加算した値となる。なお、曲線
値（絶対値）のオーダはδ_ｋよりも〔δ_ｋ〕の方が大き
く表わされているので、同一目盛のときはδ_ｋの方が大
きい値である。〔δ_ｋ〕は、学習が著しく進んでいない
入力パターン（_ir_k＜_０となる入力パターン）に対して
は、〔δ_ｋ〕＞０であるため、学習を強化させる作用が
ある。また、学習が進行するに伴ない（_ir_kが０より大
きくなるに伴ない）、〔δ_ｋ〕は負の大きい値をとるた
め、学習を抑制する作用がある。学習がある程度進んだ
場合、前式（17）で、＊δ_ｋ≒０となるようにεの値を
設定しておくと、前式（11）において、＠Δw_kjの形成
に関して、多大な影響を及ぼしていたパターンx_i（Ｓ）
による荷重変更量Δw_kj（Ｓ）は小さくなり、逆に＠Δw
_kjの形成に反映されていなかったパターンx_iから得られ
るΔw_kj（Ｓ）の効果が相対的に大きくなる。従って、
分離超平面近傍におけるパターンの識別特性が改善され
ることになる。

前式（12）に示す評価関数は、次のようになる。

ここで、と置くと、上式（19）は、次のようになる。

これは、出力_iz_kが入力パターンx_iの変動により、±
Δ_iz_kだけ変動した場合を想定した評価関数となってい
ることがわかる。これにより、入力パターンx_iの変動に
対して安定性の高い学習が可能である。

第２図は、本発明の一実施例を示す機能ブロック図で
あり、第３図は第２図における動作フローチャートであ
る。

第２図において、１は多段のニューロ素子で構成され
た神経回路、２は修正荷重計算機能部、３は神経回路１
の動作を制御する制御部、101は入力パターン、102は教
師信号ベクトルである。

神経回路１は、Ｉ個のカテゴリC₁,C₂,・・・,C_Iに属
するパターンを学習する。修正荷重計算部２は、前式
（17），（18），（６），（11）で与えられる荷重変更
量の計算を行う。また、制御部３は、入力パターンの呈
示および荷重変更のシーケンスの制御を行う。

第３図に示すように、学習動作が開始されると、神経
回路１は初期状態にあり、荷重値閾値として絶対値の非
常に小さい値が、例えば乱数等により設定される（ステ
ップ31）。次に、制御部３の制御により、カテゴリC_iに
属するＳ番目の入力パターンx_i（Ｓ）に対して、x
_i（Ｓ）に対するΔw_kj（Ｓ）を式（17），（18），
（６）を用いて、修正荷重計算部２において計算する
（ステップ32）。次に、Δw_kj（Ｓ）の荷重修正指示信
号受信時に、荷重修正値＊Δw_kj＝ΣΔw_kj（Ｓ）/S ……（21）を求めて、荷重値に算出した荷重修正値を加える（ステ
ップ33）。次に、処理終了信号受信時に、全てのC_iにつ
いて荷重値計算を実行したと判定し、学習動作を完了す
る。処理終了信号を受信しないせ合には、入力パターン
の呈示があるものと判断し、ステップ32に戻る。まだ残
っていれば、最初に戻り次のカテゴリC_iについて動作を
繰り返す（ステップ34）。C_iの全てが終了したならば、
学習動作を完了する（ステップ35）。なお、上式（21）
がＳで除算されているのは、各カテゴリC_iにおいてＳ回
行った荷重修正値を平均化するために除算する。

本実施例においては、カテゴリ毎に荷重を修正しなが
ら学習する方法を採用したが、パターンの呈示方法はこ
の他にも次の（イ）〜（ハ）がある。

（イ）全カテゴリ一括学習→カテゴリC_i（ｉ＝1,2,・・
・,I）のパターン｛x_i（Ｓ）｝（Ｓ＝1,2,・・・・Ｓ）
を全て用いて荷重修正する方法である。すなわち、１回
毎の修正を行う方法である。

＠w_kj＝ΣΣΔw_kj（Ｓ）/I・Ｓ ……（22）（ロ）全カテゴリ一括学習（部分集合使用）→ この方法は、上記（イ）で｛x_i（Ｓ）｝をＧ個の部分
集合Ω_ｉ（ｊ）（ｊ＝1,2,・・・,G）に分け、１回目の
荷重変更にはΩ_ｉ（１）に属するx_i（Ｓ）、２回目の荷
重変更には、Ω_ｉ（２）に属するx_i（Ｓ）、・・・・・
を用いる方法がある。

（ハ）カテゴリ別学習（部分集合使用）→ ｛x_i（Ｓ）｝をＧ個の部分集合Ω_ｉ（ｊ）に分け、１
回目の荷重にはΩ_ｉ（１）に属する｛x₁（Ｓ）｝、２回
目の荷重変更にはΩ_ｉ（２）に属する｛x₂（Ｓ）｝・・
・・・、Ｇ回目の荷重変更には、Ω_ｉ（Ｇ）に属する
｛x_i（Ｓ）｝、（Ｇ＋１）回目の荷重修正にはΩ
_ｉ（２）に属する｛x₁（Ｓ）｝、・・・・の順に用いる
方法である。

また、上記（イ）〜（ハ）の方法を方式的に、あるい
は順序的に組み合わせて用いる方法も考えられるが、本
発明の基本となる学習方法は呈示方法の如何にかかわら
ず適用可能である。

第１図は、本発明の一実施例を示す神経回路の学習装
置のブロック図である。

第１図において、１は神経回路、21はパターン入力回
路、22は教師パターン比較回路、23は初期値設定回路、
24は変更値計算記憶回路、25は荷重修正回路、26は教師
パターンの入力バス、27は教師パターンを変更値計算記
憶回路24に転送するバスである。

先ず、初期値設定回路23が神経回路１内の各ニューロ
素子に対して、荷重値を乱数等により設定する。カテゴ
リC_iに属するＳ番目の入力パターンx_iがパターン入力回
路21に入力されると、変更値計算記憶回路24は、出力層
の評価関数を最小化する方向であるΔw_kjを求める。ここで、t_kは
ターゲット値、つまり教師信号ベクトルであり、z_kは出
力層の出力信号である。教師パターン比較回路22では、
外部から与えられた教師パターンと出力層の出力値z_kと
を比較して、その差を変更値計算記憶回路24に送出す
る。変更値計算記憶回路24は、この差信号に基づいて、
出力層については、 Δw_km＝η・＊δ_ｋ・_iy_m ……（23）を算出する。

ただし、＊δ_ｋ＝δ_ｋ＋〔δ_ｋ〕＝｛（t_k−z_k）・ｆ′（r_k） −εｆ（r_k ²）・（１−2f（r_k）｝また、中間層においても、同じようにして、下記の評
価関数値を最小とする方向のΔw_kjを求める。

Δw_jl＝η（Σ＊δ_ｋ・w_kj）ｆ′（_ir_j）x_i ……（24）このようにして、出力層の評価関数値がわかれば、中
間層の変更値も直ちに求められる。

変更値計算記憶回路24は、修正値計算の指示信号が受
信されるまで、求めた出力層と中間層の変更値を記憶す
る。変更値計算記憶回路24は、修正値計算の指示信号受
信時に、記憶していた変更値を荷重修正回路25に送出し
て、荷重修正を要求する。

荷重修正回路25は、前式（11）に示すように、変更値
をΔw_kj（Ｓ）としたとき、入力パターンx_i（Ｓ）の出
現確率をP_i（Ｓ）とすると、x_i（Ｓ）に対する荷重修正
値＠Δw_kjは、＠Δw_kj＝ΣP_i（Ｓ）・Δw_kj（Ｓ）である。

荷重修正回路25は、自己が計算した荷重修正量＠Δw
_kjを神経回路１のニューロ素子の荷重値に加算する。

これらの加算合計w_kjは、次式（25）となる。

w_kj＝w_kj＋＠w_kj ……（25）変更値計算記憶回路24と荷重修正回路25は、処理終了
信号を受信するまで上記の処理を実行する。

このように、荷重値と荷重修正値の加算値は、w_kj＝
η・（δ_ｋ＋〔δ_ｋ〕）である。これらのうちδ_ｋと
〔δ_ｋ〕とは次式で表わされる。

〔δ_ｋ〕＝−εｆ′ｆ″ ……（26） δ_ｋ＝（t_k−ｆ（r_k））・ｆ′（r_k） ……（27）上式（26）が第４図（ａ）に示した特性図であり、上
式（27）が第４図（ｂ）に示した特性図である。

すなわち、荷重修正量〔δ_ｋ〕は、−ε（正の値であ
る）とｆ′とｆ″の積である。また、荷重値δ_ｋは、
ｆ′と（t_k−ｆ（r_k））の積である。

第４図（ａ）（ｂ）において、領域（ｉ）は出現率が
少なく学習が殆んど進んでいないものであり、領域（i
i）は学習が終了しているものであり、領域（iii）は学
習が中ぐらい進んだものである。

そして、領域（ｉ）と（iii）に対しては、｜δ_k|＞
＞｜〔δ_ｋ〕｜が成立し、領域（ii）に対しては、｜δ
_k|≒｜〔δ_ｋ〕｜が成立する。

従って、δ_ｋに対して修正値〔δ_ｋ〕が大きく修正作
用することになる。すなわち、（ｉ）の領域、つまり出
現率が少なく、学習があまり進んでいないものに対して
は、学習を進める作用を果す。

（ii）の領域、つまり学習が終了しているものに対し
ては、学習を停止させる作用を果す。（iii）の領域、
つまり学習が中ぐらいに進んだものに対しては、過学習
を防止する作用を果す。

このようにして、学習の進行に伴ない、教師ベクトル
に近い出力ベクトルを出す入力パターンに対しては、第
４図（ａ）に示す〔δ_ｋ〕により抑制がかかる。学習開
始直後には、x_i（Ｓ）のＳに依存しなかった荷重修正量
は、Ｓに依存するようになる。また、εを適切に設定す
ることにより、学習済みのx_i（Ｓ）に対する荷重修正量
の絶対値は非常に小さくなり、学習の余り進んでいない
x_i（Ｓ）に対して集中的に学習が行われる。以上の操作
は、全て自動的に行われる。従って、全てのx_i（Ｓ）に
ついて十分に学習されるようになる。

〔発明の効果〕

以上説明したように、本発明によれば、学習の進行に
伴なって、これに応じた抑制を行うので、過学習を防止
し、かつ未学習パターンの学習促進の効果がある。ま
た、これらの作用は自動的に行われるため、人手がかか
らないという効果もあり、この結果、分離超平面近傍に
存在するパターンの識別特性が良くなるという利点もあ
る。さらに、本発明が適用する評価関数は、入力パター
ンの変動を反映しているので、未知サンプルに対する耐
性の向上が期待できる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す神経回路の学習装置の
ブロック図、第２図は本発明の一実施例を示す学習方法
の機能ブロック図、第３図は第２図における動作フロー
チャート、第４図は本発明の荷重修正値の特性図、第５
図は通常の層状神経回路の構成図、第６図は第５図にお
ける１個のニューロ素子の構成図である。 1:神経回路、2:修正荷重計算部、3:制御部、101:入力パ
ターン、102:教師信号ベクトル、21:入力回路、22:教師
パターン比較回路、24:変更値計算記憶回路、25:荷重修
正回路、26:教師パターン入力バス、27:教師パターン転
送バス、11,14:荷重ベクトル、12,15:閾値、13,16:出
力、17:出力ベクトル、20:ニューロ素子。

Claims

(57)【特許請求の範囲】

【請求項１】１個以上の索子入力を取り込み、各索子入
力に対応した荷重値と、飽和型関数を記憶し、各索子入
力の値ごとに上記荷重値を乗じた値である膜電位の値に
飽和型関数を作用させた値を索子出力として送出する複
数庫のニューロ素子からなり、各ニューロ素子は、低順
位の入力層から複数の順位付けられた中間層に続き、最
高順位の出力層の順序で配列され、中間層と出力層に属
する各層のニューロ素子の素子入力は順位の１つだけ低
い層に属するニューロ素子の素子出力と結合された神経
回路と、学習の開始時に該神経回路内の全ニューロ素子
の荷重値を設定する初期値設定手段と、該荷重値が設定
された後、上記入力層内のニューロ素子の各々に対応し
た実数値の要素からなる入力パターンを取り込む入力手
段と、該入力パターンの各々に対応し、かつ上記出力層
の全ニューロ素子の出力値に対応した教師信号パターン
保持手段とを備え、同一教師信号パターンに対応した１
個以上の入力パターンの集合であるカテゴリに基づい
て、呈示された入力パターンから得られた出力パターン
と上記教師信号パターンとを用いる神経回路の学習装置
において、（ａ）上記出力層の各素子出力値と提示され
た入力パターンに対応した教師信号パターンとの差であ
る誤差値を求めて、該誤差値を記憶する教師信号パター
ン比較手段と、（ｂ）該教師信号パターン比較手段から
上記誤差値情報を受け取り、同一カテゴリに属する１以
上の入力パターンに対して、上記出力層の全ニューロ素
子での膜電位の微小変化値に対する素子出力値の微小変
化値および上記誤差値からなる評価関数を最小化する方
向の荷重値の変更値を、上記中間層と出力層の全ニュー
ロ素子について計算し、計算結果を記憶する変更値計算
記憶手段と、（ｃ）修正値計算の指示信号受信時に該変
更値計算記憶手段から上記計算結果を受け取り、上記計
算結果の荷重変更値を平均化した荷重修正値を算出し、
該荷重値と荷重修正値との和の値を各ニューロ素子に新
たな荷重値として設定する荷重修正手段とを具備したこ
とを特徴とする神経回路の学習装置。
【請求項２】１個以上の索子入力を取り込み、各索子入
力に対応した荷重値と、飽和型関数を記憶し、各索子入
力の値ごとに上記荷重値を乗じた値である膜電位の値に
飽和型関数を作用させた値を索子出力として送出する複
数個のニューロ素子からなり、各ニューロ素子は、低順
位の入力層から複数の順位付けられた中間層に続き、最
高順位の出力層の順序で配列され、中間層と出力層に属
する各層のニューロ素子の素子入力は順位の１つだけ低
い層に属するニューロ素子の素子出力と結合された神経
回路と、学習の開始時に該神経回路内の全ニューロ素子
の荷重値を設定する初期値設定手段と、該荷重値が設定
された後、上記入力層内のニューロ素子の各々に対応し
た実数値の要素からなる入力パターンを取り込む入力手
段と、該入力パターンの各々に対応し、かつ上記出力層
の全ニューロ素子の出力値に対応した教師信号パターン
保持手段とを備え、同一教師信号パターンに対応した１
個以上の入力パターンの集合であるカテゴリに基づい
て、呈示された入力パターンから得られた出力パターン
と上記教師信号パターンとを用いる神経回路の学習方法
において、（ａ）上記中間層と出力層にある全ニューロ
素子での荷重値を上記初期値設定手段により決定して、
決定された荷重値を各ニューロ素子に設定し、カテゴリ
が１つ選び出され、該カテゴリに属する入力パターンが
呈示され、（ｂ）上記入力層のニューロ素子の素子入力
として呈示された入力パターンを設定し、（ｃ）上記出
力層の各素子出力値と呈示された入力パターンに対応し
た教師信号パターンとの誤差値を求め、（ｄ）同一カテ
ゴリに属する１以上の入力パターンに対して、上記出力
層の全ニューロ素子での膜電位の微少変化値に対する索
子出力値の微少変化値および上記誤差値とからなる評価
関数を最小化する方向である荷重変更値を、上記中間層
と出力層にある全ニューロ素子での荷重値に対して計算
し、（ｅ）同一カテゴリでの入力パターンの呈示が終了
すると、修正値計算の指示信号の有無から、該指示信号
が無の場合に上記（ｂ）に戻り、有の場合には、、該荷
重変更値を平均化した荷重修正値を求め、該荷重修正値
と上記荷重値との和の値を上記中間層と出力層にある全
ニューロ素子に設定し、（ｆ）上記（ｂ）から（ｅ）ま
での処理手順を処理終了信号が受信されるまで繰り返す
ことを特徴とする神経回路の学習方法。