JPH02178759A - 神経回路網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は神経回路網に関し、特に、この神経回路網を
構成する神経回路素子のモデルに関する。

［従来の技術］ 現在、神経回路素子のモデルとしては、次式（１）示す
ように、入力信号Ｘ、と各入力信号対応にこの素子が有
している重み係数ＷＩＪ　との積和演算を行ない、この
積和演算により得られた結果ｙ、を、次式（２）に示す
シグモイド関数のような非線形単調増加の特定関数を通
すことにより出力信号２．を導出するモデルがよく用い
られている。

Ｘｊ　＝壬Ｗ　ｉｊ　−Ｘ　ｉ　　　　　・・・（１）
この神経回路素子の構成を第２Ａ図に、その特性関数で
あるシグモイド関数を第２Ｂ図に示す。すなわち第２Ａ
図に示すように、神経回路素子においては、各入力信号
Ｘ、に対してそれぞれに結合の強さを示す重み係数が与
えられており、この各入力信号ｘ１とそれぞれ対応の重
み係数ＷＩＪ　との掛算を行ない、この掛算の結果を総
和してまずｙｌを求め、次にこのｙＩをシグモイド関数
を通すことによりこの神経回路素子からの出力信号２、
が導出される。

また第２Ｂ図に示すように、シグモイド関数はＸ→−閃
のとき０となり、Ｘ→十国のとき１となりこの０と１の
間で単調に増加する非線形単調増加関数である。

この上述のモデルに従って第３図に示すようなフィード
フォワード型のバーセブトロンを構成した場合、次式（
３）〜（６）に示すエラーバックプロパゲーションのア
ルゴリズムにより教師付学習を行なうことができること
がこのモデルの特徴であり、また任意の連続関数が３層
以上の多層パーセブトロンで実現できることが理論的に
証明されている。

ΔＷＩ　Ｊ　　（ｎ）　−ａ　・δ、・ｚ　＋　　　　
−（３）Ｗ、Ｊ　　（ｎ＋１） −ｗ１４（ｎ）＋ΔＷ＋Ｊ　（ｎ） ＋β・ΔＷＩＪ　　（ｎ　　１）　　　　　　　・・・
（４）［出力層］ δｔ−ｆ’（ｙ、）・　（ｔｔ−ｚ、）−［ＺＪ　　　
（１−ＺＪ　）］　　　（ｔｊ　　ＺＪ　）・・・（５
） ［中間層］ δ４＝ｆ’（ｙ、）・Σδ、φＷＪ　ｌ＝　　［ｚｊ　
　（１−ｚ；　　）］−Σδ、・ｗ４１・・・　（６） ただし、ｎは離散時間モデルにおける時刻、ｔ、はｊ番
目の神経回路素子の出力に 対する教師データ、 α、βは学習の条件を決める係数。

また第３図においてＯで各神経回路素子を示し、各神経
回路素子間の入出力関係は実線で表わす。

［発明が解決しようとする課題］ 神経回路素子のモデルとしては、上式（１）および上式
（２）で表わされるモデルがよく用いられている。この
モデルに従って多層パーセブトロンを構成した場合には
、教師データｔ、の値としてＭＯ”または“１＃の値を
与えることが多い。

これは、出力値ＺＪが“０＃または“１”に近い値をと
るときに最も安定した状態となるからである。すなわち
、第２Ｂ図に示すようにシグモイド関数は、ｙＪ　（こ
れはｊ番目の神経回路素子の実効人力に対応する）がマ
イナスの小さな値の場合には“０”に近づくが、この場
合シグモイド関数の微分関数ｆ′　（ｙＪ）も同時に“
０°に近づく。

同様に、Ｙｉがプラスの大きな値の場合には、シグモイ
ド関数は“１°に近づくが、このとき、同時にシグモイ
ド関数の微分関数ｆ’（ｙＪ）も“０”に近づく。

したがって、入力信号ｘ１の変動によってｙが少し変動
しても出力値として“０°または“１″に近い値を安定
に出力することができる。

また、学習処理として重み係数の更新を行なう上式（３
）〜（６）において、上式（５）および上式（６）の右
辺にはシグモイド関数の微分関数ｆ’（ｙ、）が掛けら
れている。したがって、出力層に対する式（５）におい
ては、出力値ＺＪが教師データｔ、から離れている場合
には、シグモイド関数の微分関数ｆ′　（ｙｊ）もその
値が大きくなり、応じてδ、も大きくなり、重み係数が
大きく変更される。

一方、出力値ＺＪが教師データ１．に接近している場合
には、シグモイド関数の微分関数ｆ′（ｙ、）もその値
は小さく、δ、も小さぐなるため、重み係数の変更学習
が小さくなる。

同様に、中間層についてもほぼ同様のことがいえるもの
と考えられ、中間層の出力も学習が収束した段階におい
ては“０°または“１”に近い値をとるものと考えられ
る。

以上の理由により、従来のモデルでは、教師データとし
てｍＯｍまたは“１＃を割当てることが行なわれる。

第４図に示すように、キュウリの形状に従って上、中、
および下の３つのクラスに分類する場合には、ニューラ
ルネットワーク（神経回路素子網）の構成は第３図に示
すようになり、出力層には３つの神経回路索子２０１．
２０２および２０３を配置することになる。この場合、
３つの神経回路素子２０１〜２０３の出力Ｄ１、Ｄ２お
よびＤ３にはそれぞれ次のコードが与えられる。すなわ
ち、Ｄｌ−１、Ｄ２−０、Ｄ３−０ならば上クラス、Ｄ
ｌ−０、Ｄ２−１、Ｄ３−０ならば中クラス、Ｄｌ−０
、Ｄ２−０、Ｄ３−１ならば下クラスとして判定を行な
う。すなわち、第４図に示すようにキュウリに１〜に５
のうち形状が真直ぐのものを上クラスとして少し歪んで
いるものを中クラスとし、その歪がひどいキュウリに４
およびに５を下クラスとして分類する。

しかしながら、上述の神経回路素子２０１〜２０３の出
力状態に応じたコード化は、−見してわかるように非常
に冗長性が大きく、そのため出力層の素子数も多く必要
とする。この第３図および第４図に示す例においては、
上、中、および下の３種類の出力を与えるだけであるが
、たとえばアルファベットを出力として出す場合には、
出力層に２６個の素子が必要となり、神経回路網を形成
する素子間の結合もそれに比例して多くなり、神経回路
網の構成が複雑となる。すなわち、神経回路網を構成す
る神経回路素子が多い場合、神経回路素子間の結合、す
なわち重み係数の数が多く、各神経回路素子の出力値の
計算や重み係数変更学習処理に要する計算時間が長くな
り、高速で所望の演算処理を行なう神経回路網を得るこ
とができないという問題が生じる。

それゆえ、この発明の目的は神経回路素子数を低減する
ことができ、より簡潔な神経回路網を構成することので
きる神経回路素子モデルを提供することである。

［課題を解決するための手段］ この発明の神経回路素子は、その入力信号と各入力信号
対応の重み係数との積和演算結果ｙ、から出力信号２．
を導出するための特性関数として、その微分関数が複数
箇所で極大値をとる階段状の単調増加関数を用いたもの
である。

［作用］ 神経回路素子の特性関数として、上記階段状の単調増加
関数を用いることにより、特性関数の微分関数が複数個
の極大値を有することになり、これにより神経回路素子
の出力２．を多値化することが可能となる。この階段状
の単調増加関数を特性関数として有する神経回路素子を
用いて神経回路網を構成すれば、神経回路網をより少な
い神経回路素子で構成することができるため、神経回路
素子間の結合、すなわち、重み係数の数を低減すること
かできる。したがって、神経回路網の出力値の計算およ
び学習処理の計算時間を短縮することができ、高速で演
算処理を行なうことのできる神経回路網を得ることがで
きる。

また、神経回路素子の出力が出力多値化により量子化さ
れるため、神経回路網を用いて情報圧縮を行なう場合の
ような量子化出力が必要な応用に対して最適な神経回路
素子を得ることができる。

［発明の実施例］ 以下、この発明の一実施例について図面を参照して説明
する。この発明による神経回路素子は第２Ａ図に示す神
経回路素子と同じ構成を有しているが、その特性関数が
異なっている。すなわち、通常の従来の神経回路素子に
おいては、第２Ｂ図に示すシグモイド関数が特性関数と
して使用されるが、この発明においては第１Ａ図および
第１Ｂ図にそれぞれ示すような階段状の単調増加関数が
特性関数として用いられる。この発明の実施例において
は、階段状の単調増加関数は、シグモイド関数をつなぎ
合わせて合成することにより形成される。この発明の実
施例に従う特性関数を数式で表現すると以下のようにな
る。ここで、神経回路素子の出力がとり得る量子化され
た値の数をＮとする。

（１）　　Ｎ−２Ｍの場合 （ｉ）ｘ＜　（−Ｍ＋１）　　・鉦のとき、（１１）（
−＃ｒｎン　）≦ｘ＜　（−ＭｔＨｆ　＋　）−１。

ｎ−１，２，・・・、Ｎ−２のとき、 （１１１）　　ＣＭ−１）ｉ≦Ｘのとき、ここで、Ｔは
シグモイド関数の傾きを決定する係数を示し、悲は同一
の出力値をあたえる入力信号Ｘの範囲の幅を与える。上
述の式（７）〜（９）において、Ｎ−４の場合の階段状
単調増加関数を第１Ａ図に示す。

（ＩＩ） Ｎ−２Ｍ＋１の場合、 ｘ＜　（−Ｍ＋０．５）　　・庭のとき、（１１）　　
（−＠＋ｎ　−ｏ、左）　ノ≦Ｘぐ（−Ｈ−ｔ　ｓ−ｔ
　ｏｒ）、１゜ｎ−１，２，・・・Ｎ−２のとき、 ｑ−１ 寸　□　　　　　　　　　　　　　　　　　　　　　　
　・・・　（Ｉｌン〜− （ＩＩＩ）　　（Ｍ−０，５）　　・見≦Ｘのとき、上
式（１０）〜（１２）におけるＴはシグモイド関数の傾
きを決定する係数を示す。上述の式においてＮ−５の場
合の階段状単調増加関数を第１Ｂ図に示す。

ここで、第１Ａ図および第１Ｂ図においては、階段状単
調増加関数とともにその微分関数も合わせて示す。

上述のような階段状の単調増加関数を神経回路素子モデ
ルにおける特性関数として用いると、例えばＮ−４の偶
数の場合には、第１Ａ図に示されるように、区間４０１
．４０２．４０３．４０４において、この関数の微分係
数ｆ’　　（ｘ）の値が０に近い小さな値をとる。°す
なわち、Ｎ−４の場合、単調増加関数ｆ　（ｘ）は入力
値Ｘが一誌、０、および庭の近傍で大きな勾配を有し、
第１Ａ図に示す区間４０１．４０２．４０３および４０
４においては、特性関数ｆ　（ｘ）は平坦な形をとって
いる。したがって、これらの区間４０１〜４０４の各々
に対応して、出力値として０．０．０．３３（または１
／３）　、０．６６　（または２／３）、１．０の４種
の信号値をとることができ、４値の安定な出力を得るこ
とができる。

また、Ｎ−５の奇数の場合には、第１Ｂ図に示すように
、入力ｌｉｉ！ｘが−１，５Ｌ−０，５ＬＯ，５１およ
び１．５σ近傍で微分関数ｆ’　　（ｘ）が大きな値を
とり、これらの領域を除く区間５０１．５０２，５０３
，５０４および５０５においては、この単調増加関数ｆ
　（ｘ）の微分係数ｆ′（Ｘ）は“０”に近い小さな値
をとる。したがって、この区間５０１〜５０５の各々に
出力値０゜０．０．２５．０．５．０．７５および１．
０の５つの信号値を割当てることにより、５値の安定な
出力を得ることができる。

先に第４図に示したようにキュウリの形状によって上、
中、下の３つのクラスに分類する場合には、従来のニュ
ーラルネットワークの構成では、第３図に示すように出
力層には３つの神経回路素子２０１，２０２および２０
３を配置することになる。しかしながら、この発明に従
って、特性関数としてＮ−３の階段状の単調増加関数を
持つ神経回路素子を用いれば、第５図に示すように、出
力層の神経回路素子６０１は３値出力が可能なため１個
で済み、神経回路網の構成を簡単にすることができる。

さらに第６図に示すように、中間層にも、階段状の単調
増加関数を特性関数として有する神経回路素子７０１〜
７０５を用いれば、中間層の神経回路素子の数を従来の
神経回路網の構成と比べて大幅に低減することができる
。これは、中間層の各神経回路素子がとり得る安定な出
力値の数が大幅に増加するからである。特に、この階段
状の単調増加関数を特性関数として有する神経回路素子
を用いた場合、入力信号の変動に対してもその影響をあ
まり受けずに安定な出力値を得ることができ、学習に用
いたデータ以外のデータに対しても、その与えられたデ
ータが学習データに近いデータであれば、学習時の出力
と同じ出力を得ることが期待される。このことは、神経
回路網の泥化の機能を増進するものである。

一方、出力信号に着目すると、上述の階段状の単調増加
関数を特性関数として用いることにより、出力信号の量
子化機能が付加されたことになる。

これは、情報の圧縮を行なう神経回路網に適用すること
が考えられる。情報圧縮のための神経回路網の構成は、
第７図にその一例を示すように、入力層と出力層の神経
回路素子の数が同一であり、中間層の神経回路素子の数
がこの両層の神経回路素子の数よりも少ない数に低減さ
れている。この神経回路網の中間層の神経回路素子８０
６〜８１０の出力部に接続されている中間スイッチ８０
１〜８０５を接続状態にし、入力層の各神経回路素子に
接続される入力端子８２０に与えられるデータｘ１〜Ｘ
ｉ　と同一のデータを出力層に対する教師データとして
学習を行なう。学習が十分進めば、入力層の入力端子８
２０に与えられたデータｘ１〜ｘ１　とほぼ同一のデー
タを出力層の出力端子８３０から出力データＢ１〜Ｂ！
　として出力することができる。したがて、中間スイッ
チ８０１〜８０５を接続状態にしたままで人力層へ入力
信号Ｘ１〜Ｘ【を与え、中間層の神経回路素子８０６〜
８１０の出力に接続された中間端子８１１〜８１５から
データを取出せば、中間層の出力回路素子の数が低減さ
れているため、情報が圧縮されたことになる。中間スイ
ッチ８０１〜８０５を切断状態にして、中間層の神経回
路素子８０６〜８１０から取出したデータを中間端子８
１１〜８１５から出力層へ与えれば、出力層の出力端子
８３０１．：は、入力層の入力端子８２０に与えられた
データｘ１〜ｘ１とほぼ同一のデータが再現される。

ここで、重要なことは、中間層の神経回路素子の数が低
減されているとはいうものの、そこから取出されたデー
タに非富に高い精度が要求されるならば、そのデータを
表現するために多くのビット数が必要となり、あまり情
報を圧縮したことにはならないということである。した
がって、中間端子８１１〜８１５から取出されるデータ
は所定の精度で量子化される必要がある。

中間層の神経回路素子８０６〜８１０の特性関数として
、第２Ｂ図に示されるシグモイド関数を用いた場合には
、出力値は“０”および“１”の近傍では、先に述べた
ように安定な値をとるが、“０”と“１“の間では連続
的に変化する値を出力することになる。したがって、中
間端子８１１〜８１５の出力を量子化すると必ず誤差が
発生する。この量子化における誤差は出力層の神経回路
素子の重み係数の変更に際しては考慮されていない。し
たがって、情報の圧縮率を大きくするために量子化を粗
くすると、この誤差の影響が大きくなり、データの再現
誤差が大きくなる。

これに対して、神経回路素子の特性関数として階段状の
単調増加関数を使用すると、階段のステップ（平坦部）
に相当するところの値、すなわち量子化値は安定なため
、学習時に中間層の神経回路素子の出力は階段のステッ
プの値をとるようにその重み係数が収束する。したがっ
て、中間端子８１１〜８１５からのデータを量子化して
も誤差を小さく抑えることができ、出力層の各神経回路
素子の重み係数は既に中間層の量子化値に対して学習が
行なわれているため、量子化による影響を少なくするこ
とができる。

また、出力層°においても、入力データと同じ精度の量
子化幅を持つ階段状単調増加関数を特性関数とする神経
回路素子を用いれば、出力層における量子化誤差も同時
に小さくすることができる。

なお、階段状単調増加関数を特性関数とする神経回路素
子を情報圧縮に使用する一例として３層の神経回路網の
場合について上で説明したが、これは３層以上の神経回
路網についても同様に適用することができる。

また、階段状の単調増加関数も上述の関数に限らず他の
関数の形であってもよい。

［発明の効果コ 以上のように、この発明によれば、神経回路素子の特性
関数として階段状の単調増加関数を用いたので、神経回
路素子の出力として多値の安定した出力信号を得ること
ができ、多値の量子化出力を必要とする神経回路網にお
いては、神経回路網をより少ない神経回路素子を用いて
構成することができる。これにより、神経回路素子間の
結合、すなわち重み係数の数を低減することができ、神
経回路網の出力値の計算および学習処理の計算時間を短
縮することができる。

一方、階段状の単調増加関数を特性関数とする神経回路
素子を用いた場合、入力信号の変動に対しても安定な出
力値を得ることができ、学習に用いたデータ以外のデー
タに対しても、それが学習データに近いデータであれば
学習時の出力と同一出力を得ることが期待できる。これ
は神経回路網の泥化の機能を促進するものである。

【図面の簡単な説明】

第１Ａ図および第１Ｂ図はこの発明の一実施例である神
経回路素子の特性関数の一例を示す図であり、第１Ａ図
は４値出力を可能にする特性関数を示し、第１Ｂ図は５
値出力を可能にする特性関数を示す。第２Ａ図は従来の
神経回路素子のモデルを示す図である。第２Ｂ図は従来
の神経回路素子モデルにおける特性関数を示す図である
。第３図は従来の神経回路素子を用いて３層の神経回路
網を構成し、−例としてキュウリを３グループに分類す
るための神経回路網の構成の一例を示す図である。第４
図は第３図に示される神経回路網において分類されるキ
ュウリの分類例を示す図である。第５図はこの発明によ
る神経回路素子を出力層に用いた、第４図に示すキュウ
リの分類を行なうための神経回路網の構成例を示す図で
ある。第６図はこの発明による神経回路素子を中間層と
出力層とに用いて第４図に示すキュウリの分類を行なう
ための神経回路網の構成例を示す図である。 第７図はこの発明による神経回路素子を中間層に用いて
情報圧縮を行なうための神経回路網の構成の一例を示す
図である。 図において、ｆ　（ｘ）は特性関数、ｆ’　　（ｘ）は
特性関数の微分関数、２０１〜２０３は従来の特性関数
を有する神経回路素子、７０１〜７０６、および８０６
〜８１０はこの発明による特性関数を有する神経回路素
子である。 なお、図中、同一符号は同一または相当部分を示す。 第２Ａ回 第２Ｂ図 第 詔 入力層 晃 図 １、事件の表示 昭和６３年特許願第　３３４６７６　　号２、発明の名
称 神経回路網 ６、補正の対象 図面 ７、補正の内容 適正な用紙を用いて十分に濃厚な黒色で鮮明に描いた企
図を別紙のとおり。 以上 ３、補正をする者 事件との関係　特許出願人 住所　　大阪市阿倍野区長池町２２番２２号名称　　（
５０４）シャープ株式会社 代表者　辻　　晴　雄 ４、代理人

Claims (1)

【特許請求の範囲】
1. 入力信号と前記入力信号に対応して与えられる重み係数
   との積和演算を行ない、前記積和演算結果を予め定めら
   れた特性関数を通して出力する神経回路素子を複数個接
   続して構成した神経回路網において、前記神経回路素子
   の特性関数としてその微分関数が複数箇所で極大値をと
   る階段状の非線形単調増加関数を用いることを特徴とす
   る神経回路網。