JPH0895941A

JPH0895941A - 神経回路網の構成方法

Info

Publication number: JPH0895941A
Application number: JP6234779A
Authority: JP
Inventors: Akihito Sakurai; 彰人櫻井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-09-29
Filing date: 1994-09-29
Publication date: 1996-04-12

Abstract

(57)【要約】【目的】実用規模の問題に対して有効な、神経回路
網、特に微分不可能な点や微分係数が零となる点を有す
る出力関数を持つ素子、特に線形閾値論理素子を用いた
神経回路網の学習方法を与えること。【構成】更新すべき結合荷重を、入力値に対するその
時点の回路の出力値と出力すべき値との差、各素子の入
力値及び出力値を参照し、乱数又は疑似乱数を用いて選
択する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網の構成方法
に係わり、特に収束性の良い逐次的構成方法に関する。

【０００２】

【従来の技術】与えられた動作条件を満たす神経回路網
を構成するには、学習と呼ばれる逐次的な構成方法が広
く用いられてきている。例えば、Ｄ．Ｅ．ラメルハート
・Ｊ．Ｌ．マクレランド・ＰＤＰリサーチグループ著
「ＰＤＰモデル」（産業図書）第８章（第３２１頁〜第
３６５頁）に示すような、デルタルールや最急降下法と
呼ばれる学習アルゴリズム及びその改良方法であり、結
合荷重のある初期値から始めてこれを漸次修正しながら
求める方法である。

【０００３】この方法では、各結合荷重値の初期値を乱
数又は疑似乱数を用いて定め、以降の各結合荷重値の変
更は、確定的(deterministic)に行なわれる。こうした
方法には、線形閾値論理素子(入力ベクトル値の各成分
の加重和を取った後、その値が正であれば１を、そうで
なければ０を出力する素子)のように、殆んど全ての点
で微分係数が零となるような関数を出力関数とする素子
や、その他微分不可能な点を有する関数を出力関数とす
る素子を有する回路には適用できないという問題点があ
る。なお、回路構成時に近似関数（閾値論理関数に対し
て例えばシグモイド関数）を用いた場合には、一般にこ
れをもとの関数に置き換えることは、誤差が大きくな
り、所定の精度が達成できないため、実際上行なうこと
ができないという欠点がある。

【０００４】これに対し、神経回路網内の結合荷重値の
変更に際し、乱数又は疑似乱数を多用する方法がある。
例えば、ストカスティックデルタルール（エスジ
ェハンソン“メイオシスネットワーク”アドヴァンシ
ーズインニュートラルインフォメーションプロッ
セシングシステムズ 2, 533-541）（stochastic del
ta rule (S.J. Hanson,“Meiosis Networks”, Advance
s in Neural Information Processing Systems 2, 533-
541)）がある。この方法においては、各結合荷重には
μとσと呼ばれる２変数が割り付けられ、回路への入力
値、出力値、及び出力すべき値に基づき、逐次的にμと
σとを変更していく。各結合荷重の値は、平均をμとし
分散をσとする正規分布よりランダムに逐次的に選ばれ
る。

【０００５】この方法の欠点は、同文献に記されている
ように、入力次元３、隠れ素子数３の隠れ層数１の回路
を用いて３ビット・パリティ関数を学習する（該関数を
実現する）という極めて小規模な問題に対しても、平均
500回以上の入力値の提示が必要とされること、実用的
なより大規模な問題に対しては対処できないことであ
る。

【０００６】また、文献ティケーリーンアンド
ジェイーモディ“ウエイトスペースプロバビリ
ティデンシティズインストカスティックラーニン
グ：Ｉダイナミックスアンドイクイリブラ”，ア
ドバンシーズインニュートラルインフォメーショ
ンプロッセシングシステムズ 5, 451-458（T.K.Le
en and J.E.Moody,“Weight space probability densit
ies instochastic learning: I. dynamics and equilib
ria”, Advances in NeuralInformation Processing Sy
stems 5, 451-458）に記されている方法、すなわち、入
力値と結合荷重をランダムに選び、誤差関数の該結合荷
重に関する微分係数の値に比例する値を該結合荷重に加
減する方法、及び、該微分係数の符合に従って、予め定
めた一定値を該結合荷重に加減する方法がある。

【０００７】この方法の欠点は、同文献に記されている
ように、入力次元２、隠れ素子数２の隠れ層数１の回路
を用いて、２ビット・パリティ関数を学習するするとい
う小規模な問題に対して、半数以上の場合において500
回以上の入力値提示を必要とし、実用的なより大規模な
問題に対しては対処できないことである。

【０００８】なお、実用的な規模の問題に対処できない
というのは、単に学習アルゴリズムが成功・停止するま
での時間が、非常に長くなるといった理由だけでなく、
収束性が悪くなる（与えられた入出力値対のうちの幾つ
かが実現できないため、学習アルゴリズムがいつまでた
っても停止しないことが多くなる）、といった理由にも
依っている。

【０００９】以上の方法は、線形閾値論理素子を構成要
素とする回路にも適用できる利点があるが、実用規模の
問題に対しては、実行時間がかかり過ぎるあるいは学習
が収束しないという問題点がある。

【００１０】なお、神経回路網内の素子の活性値を確率
的に変更する方法は多く考案されている。例えば、焼き
なまし法(シミュレーテッドアニーリング法（simulat
ed annealing法)）と呼ばれる方法(エスケーキルク
パトリックシーディーギャレットアンドエム
ビーチ“オプティマイゼーションバイシミュレーテ
ッドアニーリングサイエンス，ボリューム 220,
671-680 (1983)（S. Kirkpatrick, C.D. Gelatt and
M. Veechi “Optimization by simulated annealing'',
Science, vol. 220, 671-680 (1983)) は神経回路網の
みならず、一般のネットワークにおいて、各ノード上に
定まる値を確率的に変更していく方法である。

【００１１】この方法は、神経回路網においては、各素
子の出力値を決定する方法に適用することはできるが、
結合荷重を決定する、即ち、回路を構成する方法には適
用できない。

【００１２】

【発明が解決しようとする課題】本発明は、実用規模の
問題に対して有効な、神経回路網、特に微分不可能な点
や微分係数が零となる点を有する出力関数を持つ素子、
特に線形閾値論理素子を用いた神経回路網の学習方法を
与えることにある。

【００１３】

【課題を解決するための手段】本発明は、結合荷重の値
を更新する場合に、更新する結合荷重、またはそれが接
続している素子を、与入力値に対する現在の回路の出力
値と出力すべき値との差、各素子の入力値及び出力値を
参照し、乱数又は疑似乱数を用いて選択する学習方法を
用いて、上記課題を解決しようとするものである。

【００１４】

【作用】各時点毎にその時点で変更をするに適当として
選ばれる、一般には複数の結合荷重に割当てられる変更
の適当さの度合の大きいものの中に、実際に選ぶべき結
合荷重が入っている可能性が高いという性質があるた
め、本発明により、求める回路が構成される。

【００１５】

【実施例】図１は、本発明の一実施例を示すPAD図であ
る。

【００１６】図２（ａ）は、図１に示す実施例が対象と
する神経回路網全体の概略図である。図２（ａ）に示す
ように、複数の入力点を持つ入力層と、複数の出力点を
持つ出力層と、両者を結ぶ少なくとも一つの隠れ層とよ
りなる。実際上は、入力層は、図に示すように複数の隠
れ層を介して出力層に結合される。図２（ｂ）は隠れ層
又は出力層における演算素子を示す。入力Ｘ１，Ｘ２，
・・・，Ｘｎにはそれぞれ結合荷重値Ｗ１，Ｗ２，・・
・，Ｗｎが掛け算された後、総和が取られる。総和が１
以上のとき出力ｙ＝１、１より小さいときｙ＝０とされ
るものである。

【００１７】以下、図１に示す実施例に関し詳細に説明
する。本説明に用いる式中の記号の意味は、次の通りで
ある。

【００１８】ｎ_ｈｉｄｄｅｎ＝隠れ層の素子数ｎ_ｉｎｐｕｔ＝入力次元数ｗ[ｉ][ｊ]＝素子ｉの入力ｊからの結合荷重（配列）ｔ[ｉ]＝素子ｉの閾値（配列）ｗ_ｏｕｔ[ｉ]＝出力素子の素子ｉからの入力に対する
結合荷重（配列）ｔ_ｏｕｔ＝出力素子の閾値ｈｉｄｄｅｎ[ｉ]＝隠れ素子ｉの出力値（−１又は＋
１）（配列）図１中、105では、結合荷重値の初期化を行なう。通常
の誤差逆伝播法では、この初期値はランダムに選ばれ
る。しかし本発明においては、ランダムに選ぶ必要はな
い。本実施例では、ｗ[ｉ][ｊ]＝０（全てのｉ，ｊについて）ｔ[ｉ]＝０．５（全てのｉについて）ｗ_ｏｕｔ[ｉ]＝０（全てのｉについて）ｔ_ｏｕｔ＝０．５とする。図１中、手順110では、その時点で構成されて
いる回路が与えられた入出力値対の内の幾組を実現して
いるかを調べ、実現された組数が要求以上であれば終了
し、そうでなければ、構成のための逐次動作(図１中の
手順115、即ち手順120以下の手順)を繰り返すことにな
る。本実施例では、与入出力値対の全てが実現された時
に終了とする。なお、この目的のため図１中、手順130
にて「正しい」回路出力が観測された入出力値対を記憶
・蓄積し、図１中、手順110においては、単にこれを調
べることにより、判断を下している。この蓄積された記
録は、図１中、手順135以下を実行するときに全て抹消
される。

【００１９】次に図１中、手順115の中身である手順120
以下の方法について詳述する。手順120においては、与
入出力値対の中からランダムに次の入出力値対を選び出
す。この対のうち入力値をx、出力値をyと表すことにす
る。手順125においては、現時点で持っている回路にxを
入力し、回路中の各素子の出力値及び回路の出力値を求
める。手順130においては、該出力値がyと等しいか否か
を調べ、等しければ、それを記録し手順120へ戻る(より
正確には、手順110の判定に移る。そして更に繰り返し
が必要とされる時のみ手順120へ戻る)。等しくなけれ
ば、現時点の回路を変更する必要がある故、手順135以
下の方法へ移る。

【００２０】手順135においては、各素子に付した番号
順に手順145の処理が行なわれるような制御を行なう。
手順145においては、まず（数１）と等価な作用を行な
わせる。

【００２１】

【数１】

【００２２】なお、関数 sgn は（数２）のような関数
である。

【００２３】

【数２】

【００２４】この結果、error_outが１であれば、出力
素子の出力関数への入力値(出力素子への入力値に入力
結合荷重値を乗じ総和したもの)が増加するように回路
定数を変更すれば、回路出力が正しい値に近付くことに
なり、一方error_outが−１であれば、出力素子の出力
関数への入力値(出力素子への入力値に入力結合荷重値
を乗じ総和したもの)が減少するように回路定数を変更
すれば、回路出力が正しい値に近付くことになる。同様
に、error［i］が１であれば、隠れ層素子ｉの出力関数
への入力値(該素子への入力値に入力結合荷重値を乗じ
総和したもの)が増加するように回路定数を変更すれ
ば、回路出力が正しい値に近付くことになり、一方erro
r［i］が−１であれば、隠れ層素子ｉの出力関数への入
力値(該素子への入力値に入力結合荷重値を乗じ総和し
たもの)が減少するように回路定数を変更すれば、回路
出力が正しい値に近付くことになる。従って、Ｓ_ｏｕｔ＝ａｂｓ（ｅｒｒｏｒ_ｏｕｔ）；Ｓ［ｉ］＝ａｂｓ（ｅｒｒｏｒ［ｉ］）；（全てのｉに
ついて）とすればよい。なお、abs は引数の絶対値を値とする関
数である。ここで、Ｓ_ｏｕｔは出力素子に関するも
の、Ｓ[ｉ］は隠れ素子ｉに関するものである。なお、
図１においては簡略化のため、出力素子を隠れ素子０
（ゼロ）として取扱、Ｓ_ｏｕｔをＳｏとする。また、
Ｓ[ｉ］をＳｉ（ｉ≧１）で表す。

【００２５】手順150においては、rnd() を呼ばれる毎
に半開区間 [0,1) 内の一様乱数(疑似乱数)を生成する
関数とする時、

【００２６】

【数３】

【００２７】を満たす t を求める。但し、数３中のＳ₀
がＳ_ｏｕｔに、Ｓｉが S[i+1] に対応する。即ち、t=0
の時、出力素子への入力結合荷重を更新し、その他の
場合は隠れ素子 t-1 への入力結合荷重を更新すること
を意味する。

【００２８】手順160においては、出力素子に対しては w_out[i]＝w_out[i]+error_out*hidden[i]；（全てのｉ
について） t_out＝t_out−error_out；のように、隠れ素子に対しては、 w[t＋1][j]＝w[t＋1][j]＋error[t＋１]*sample_input
[j];(全てのｊについて） t[t＋1]＝t[t＋1]−error[t＋1]; のように、それぞれ更新を行なう。

【００２９】図３は、図１に示す実施例を、特に隠れ層
が１層の線形閾値論理素子を用いた神経回路網（図４）
を対象とする実施例に特化し、言語Cを用いて記述した
ものである。

【００３０】図５は、請求項２に対応する一実施例をPA
D図を用いて記述したものである。本実施例と図１に示
す実施例との違いは、図５中の手順540にある。この計
算は、線形閾値素子を用いる場合には、(数４)のように
行なわれる。

【００３１】

【数４】

【００３２】この結果、特に隠れ素子数が多い場合に、
収束速度が高まるという効果がある。

【００３３】図６は、パラメータＴを有する実施例であ
り、請求項３に対応する。本実施例と、図５に示す実施
例との違いは、図６中の手順618及び手順645にある。こ
の結果、特に手順618において定めるＴの値を入力次元
ｎ及び与入出力対数に応じて定めることにより、収束速
度を高める効果がある。

【００３４】図７は、請求項１に対応する他の実施例で
ある。ここでは、素子を１０個ずつのグループに分割
し、個々のグループ内で高々一つの素子に結合する荷重
を選択し、更新している。これにより、冗長性を有し、
対故障性が良い回路が構成できる。

【００３５】図８は、請求項４に対応する一実施例であ
る。図１に示す実施例との違いは、回路定数の更新を全
入力値について同時に行なうことである。これにより、
安定した収束性が得られるという特徴がある。

【００３６】図９は、請求項５に対応する一実施例であ
る。図５に示す実施例との違いは、回路定数の更新を全
入力値について同時に行なうことである。これにより、
安定した収束性が得られるという特徴がある。

【００３７】図１０は、請求項６に対応する一実施例で
ある。図６に示す実施例との違いは、回路定数の更新を
全入力値について同時に行なうことである。これによ
り、安定した収束性が得られるという特徴がある。

【００３８】図１１は、n-bit parity 問題を図６に示
す実施例に基づいて作成したプログラムを実行して得た
結果を示したものである。ここで n-bit parity 問題と
は、n-bit parity 関数を学習する（n-bit parity 関数
を実現する回路を構成する）問題である。n-bit parity
関数は、入力ベクトルは、次元ｎの０と１のみを要素
とするベクトルとし、各入力ベクトルに対応する出力
は、該入力ベクトル中の１の個数が偶数であれば0、奇
数であれば1、となるような関数である。従って、n-bit
parity 問題の入力次元はｎであり、入出力値対の個数
は２のｎ乗である。

【００３９】この関数は、隠れ層にｎ個（その他出力層
に１個）の線形閾値論理素子を用いれば実現できること
が知られている。そこで図１１に示す例では、隠れ素子
数を入力次元と同一として実験を行なった。図１１にお
いて、縦軸は学習が終了する迄の入力値の提示回数を表
す。神経回路網学習の時に言われる epoch 数は、この
値を入出力値対の個数で除したものである。図６の実施
例に基づくプログラムは、それぞれ疑似乱数の系列を変
えて50回実施し、その平均をとった。その値は、図中ou
r.methodと示された点列及びその近似直線で示される。

【００４０】比較のため、通常行なわれている、シグモ
イド関数を出力関数とする素子を用いた場合の誤差逆伝
播学習法による結果を併せて示す。図中BPと記された点
列で表される。8以上のｎについては、学習が収束せ
ず、データが得られなかった。この学習においては、誤
差が５％以内(出力値が０又は１の場合、出力値が１と
なるべき入力値に対して実際の回路の出力が０．９７５
以上となり、出力値が０となるべき入力値に対して実際
の回路の出力が０．０２５以下となれば良しとする)に
なったことを停止条件とした。

【００４１】この収束条件は緩く、シグモイド関数素子
を線形閾値論理素子に置き換えることは、誤差を伴った
り、シグモイド関数にあって閾値論理関数にない特性を
利用していたりするため、場合によっては可能となる程
度である。また、誤差逆伝播学習法において重要なパラ
メータである学習係数・慣性係数は多くの実験で学習が
収束し、かつ学習データの提示回数が少なくなるよう選
んだ(同じビット数のパリティ問題に対しては同一であ
る)。２−,３−,４−,５−,６−,７−bit parity 問題
のそれぞれに対する逆伝播学習の学習成功率は、それぞ
れ、９８％．１００％，９６％，１００％，８６％，７
６％であり、図中の平均提示回数は、成功した場合のみ
の平均値であり、特に、成功率が低い場合は実際よりか
なり低めの数値となている。なお、８−bit parity 問
題に対しては、５０回中９回しか成功しなかったため、
図には表示していない。

【００４２】これに対し、本発明による方法では、図に
示した全ての場合において100%の成功率であった。な
お、10,000,000回以上の提示を要するものを失敗と考え
た。

【００４３】本図から明らかなように、本実施例の方が
データの提示回数が少なくてすむのみならず、学習の成
功率も良い。

【００４４】

【発明の効果】本発明により、閾値論理素子のように微
分係数を用いるのが不適当な場合に有効な、出力関数の
微分係数を用いないですむ学習方法が得られ、近似関数
を用いる方法に比べ構成手順が高速になるという効果が
ある。また、出力値に誤りがある場合でも、収束条件を
緩めることにより、一般化能力の高い回路を高速に構成
するという効果もある。

【図面の簡単な説明】

【図１】本発明の一実施例を示すPAD図。

【図２】（ａ）は、図１に示す実施例が対象とする神経
回路網全体の構成を示す概略図。（ｂ）は（ａ）に示
す神経回路網の要素である隠れ層又は出力層における演
算素子を示す図。

【図３】図１に示す実施例を、隠れ層が１層の線形閾値
論理素子を用いた神経回路網を対象とする実施例に特化
して、言語Cを用いて記述したプログラムの概略を示す
図。

【図４】図１に示す実施例を、隠れ層が１層の線形閾値
論理素子を用いた神経回路網とした実施例の構成を示す
図。

【図５】本発明の他の実施例を示すPAD図。

【図６】本発明の他の実施例を示すPAD図。

【図７】本発明の他の実施例を示すPAD図。

【図８】本発明の他の実施例を示すPAD図。

【図９】本発明の他の実施例を示すPAD図。

【図１０】本発明の他の実施例を示すPAD図。

【図１１】図６に示す実施例に基づいて作成したプログ
ラムのn-bit parity問題の実行結果の例を示す図。

Claims

【特許請求の範囲】

【請求項１】与えられた複数組の入出力値対の全て、あ
るいはその一部を、正確にあるいは近似的に実現する神
経回路網を逐次的に構成する方法であって、各素子間の
結合荷重値の更新に際し、与入力値に対する現在の回路
の出力値と出力すべき値との差、各素子の入力値及び出
力値、及び乱数又は疑似乱数の値を用いて、更新すべき
結合荷重を選択する、あるいは回路内の素子を選択しそ
れに結合している結合荷重を更新すべき結合荷重として
選択することを特徴とする神経回路網の構成方法。
【請求項２】更新すべき結合荷重あるいは素子の選択に
あたって、各素子の入力荷重が定めるあるユークリッド
空間内の超曲面と該入力値が与えられた時の該素子への
入力値が表す該ユークリッド空間内の点との距離又は該
超曲面の法線ベクトルと該入力ベクトルとがなす角度を
用いることを特徴とする請求項１記載の神経回路網の構
成方法。
【請求項３】更新すべき結合荷重あるいは素子の選択に
あたって、パラメータＴを用い、かつ該パラメータＴを
入力値の次元あるいは素子数あるいは結合荷重数あるい
は与入出力値対数あるいは学習の進行状況に従って異な
った値をとらせることを特徴とする請求項１あるいは請
求項２記載の神経回路網の構成方法。
【請求項４】与えられた複数組の入出力値対の全てをあ
るいはその一部を、正確にあるいは近似的に実現する神
経回路網を逐次的に構成する方法であって、各素子間の
結合荷重値の更新に際し、与入力値に対する現在の回路
の出力値と出力すべき値との差、各素子の入力値及び出
力値、及び乱数又は疑似乱数の値を用いて、更新すべき
結合荷重を選択し、あるいは回路内の素子を選択しそれ
に結合している結合荷重を更新すべき結合荷重として選
択し、これらの更新量を決定し、この更新量を求める手
順を与入出力値対の全てあるいは与入出力値対の所定割
合以上に関して行ない、これに基づき結合荷重の更新量
を決定することを特徴とする神経回路網の構成方法。
【請求項５】更新すべき結合荷重あるいは素子の選択に
あたって、各素子の入力荷重が定めるあるユークリッド
空間内の超曲面と該入力値が与えられた時の該素子への
入力値が表す該ユークリッド空間内の点との距離又は該
超曲面の法線ベクトルと該入力ベクトルとがなす角度を
用いることを特徴とする請求項４記載の神経回路網の構
成方法。
【請求項６】更新すべき結合荷重あるいは素子の選択に
あたって、パラメータＴを用い、かつ該パラメータＴを
入力値の次元あるいは素子数あるいは結合荷重数あるい
は与入出力値対数あるいは学習の進行状況に従って異な
った値をとらせることを特徴とする請求項４あるいは請
求項５記載の神経回路網の構成方法。