JPH04211802A - ニュ−ラルネットワ−ク装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字認識・音声認識等
の識別や、ロボット等の運動制御や、一般のプロセス制
御や、ニュ−ロコンピュ−タ−等に広く利用されるニュ
−ラルネットワ−ク装置に関する。

【０００２】

【従来の技術】ニュ−ラルネットワ−クの一般的論文と
しては、文献（著者Ｔｅｕｖｏ　Ｋｏｈｏｎｅｎ　、題
名Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　ｓｅｎｓｏｒ
ｙ　ｉｎｆｏｒｍａｔｉｏｎ　ｉｎ　ｓｅｌｆ−ｏｒｇ
ａｎｉｚｉｎｇ　ｆｅａｔｕｒｅ　ｍａｐｓ，ａｎｄ　
ｒｅｌａｔｉｏｎ　ｏｆ　ｔｈｅｓｅ　ｍａｐｓ　ｔｏ
　ｄｉｓｔｒｉｂｕｔｅｄ　ｍｅｍｏｒｙ　ｎｅｔｗｏ
ｒｋｓ　、出典ＳＰＩＥ　Ｖｏｌ．６３４　Ｏｐｔｉｃ
ａｌ　ａｎｄ　Ｈｙｂｒｉｄ　Ｃｏｍｐｕｔｉｎｇ．１
９８６）　がある。

【０００３】上記文献によれば、ニュ−ラルネットワ−
クと呼ばれる系の或るものは、次の３つの常微分方程式
によって律則されている。

【０００４】 　　　　　　　　　　　　ｄｙ／ｄｔ＝ｆ（ｘ，ｙ，Ｍ
，Ｎ）　　　　　　　　　　　　　　　　…（１）　　
　　　　　　　　　　ｄＭ／ｄｔ＝ｇ（ｘ，ｙ，Ｍ）　
　　　　　　　　　　　　　　　　　　　…（２）　　
　　　　　　　　　　ｄＮ／ｄｔ＝ｈ（ｙ，Ｎ）　　　
　　　　　　　　　　　　　　　　　　　　　…（３）
ここで、ｘは入力を表すベクトル、ｙは出力を表すベク
トル、Ｍ及びＮは系のパラメ−タ行列であり、ｆ、ｇ、
ｈは非線形関数である。

【０００５】信号処理に用いる電子回路においては、抵
抗、容量等によって表される系のパラメ−タ行列が定数
である場合がほとんどであり、式（２）及び（３）の右
辺は零となる。

【０００６】しかしながら、ニュ−ラルネットワ−クと
呼ばれる系においては、系のパラメ−タ行列Ｍ，Ｎが定
数ではなく、式（２）及び（３）に従い時々刻々と変化
し、これにより、通常記憶とかそれに基づく学習等の機
能が実現される。更に、記憶、学習は長時間かけて達成
されるのに対し、入力に対して出力は極めて短時間に応
答する。即ち、上記三つの式において、ｘ，ｙに比較し
て、Ｍ、Ｎは極めて緩やかに変化する。

【０００７】また別のニュ−ラルネットワ−クの系にお
いては、次の２つの常微分方程式によって律則されてい
る。

【０００８】 　　　　　　　　　　　　ｄｙ／ｄｔ＝ｆ（ｘ，ｙ，Ｍ
）　　　　　　　　　　　　　　　　　　　　…（４）
　　　　　　　　　　　　ｄＭ／ｄｔ＝ｇ（ｘ，Ｔ，Ｍ
）　　　　　　　　　　　　　　　　　　　　…（５）
ここで、ｘは入力を表すベクトル、ｙは出力を表すベク
トル、Ｔは教師信号を表すベクトル、Ｍは系のパラメ−
タ行列であり、ｆ，ｇは非線形関数である。この系にお
いては、入力に対して所望の出力を得るため、教師信号
が新たに付加されている。

【０００９】このようにニュ−ラルネットワ−クには様
々な変形が考えられるが、記憶とかそれに基づく学習と
いう機能を有することが大きな特徴となっている。

【００１０】次に、式（４），（５）により律則される
系についてより具体的に述べる。

【００１１】この系は、パ−セプトロンと呼ばれており
、１９４０年代にロ−ゼンブラットらにより考案された
層構造を持つニュ−ラルネットワ−クである。一般にこ
の層を多数持つパ−セプトロンは多層パ−セプトロンと
呼ばれるている。その構成は小脳とか大脳皮質にある神
経細胞の結線によくにていることが知られている。また
、その情報処理能力に関する数学的解析も進み、例えば
、ｎ（２ｎ＋１）ニュ−ロンを持つパ−セントロンは任
意のｎ変数の連続関数を表すことができるということも
コルモゴルフの定理により明らかにされている。

【００１２】また、多層パ−セントロンのパラメ−タは
ニュ−ロン間のサイナップス接続の結合荷重であり、こ
のパラメ−タを学習方程式と呼ばれる偏微分方程式にし
たがって更新していくことで自己組織または適応形のネ
ットワ−クを構成するできることが分かっている。

【００１３】最近、ルンメルハ−トらによって誤差逆伝
ぱん学習アルゴリズムが開発され上記パラメ−タが最急
下法により求められることが分かった。

【００１４】このような歴史的背景を持つ多層パ−セプ
トロンを図１を用いて説明する。この図は３層パ−セプ
トロンの場合を示している。第１層は入力層と呼ばれ、
Ｓｉ（ｉ＝１，２…，ｈ）なるニュ−ロンからなる。第
２層は中間層と呼ばれ、Ａｉ　（ｉ＝１，２，ｐ）なる
ニュ−ロンからなる。第３層は出力層と呼ばれ、Ｒｉ　
（ｉ＝１，２…，ｍ）なるニュ−ロンからなる。ｍサイ
ナップス接続の結合荷重はＲＳｊｉ、ＲＡｊｉ（ｉ＝１
，…，ｈ，ｊ＝１，…ｌ）で表わされている。図１にお
いて信号は左から右に伝搬するものとする。更に全ての
ニュ−ロンにおいて、その入力信号と出力信号との関係
は、単調な非線形関数による写像であるとする。また入
力層ニュ−ロンへの入力は外部から与えられるものとし
、また、中間層，出力層以外のニュ−ロンへの入力はそ
れぞれ、 　　（ニュ−ロンＡｉ　への入力）＝ 　　　　　　　　　　Σ（ｊ＝１　〜ｐ　）ＲＳｊｉ＊
（Ｓｊ　の出力）　　　　　　　　　　　　　　　　…
（６）　　（ニュ−ロンＲｉ　への入力）＝ 　　　　　　　　　　Σ（ｊ＝１　〜ｍ　）ＲＡｊｉ＊
（Ａｊ　の出力）　　　　　　　　　　　　　　　　…
（７）で表わされるような荷重和演算が施されるものと
する。 ここでΣ（ｉ＝１　〜ｍ　）Ｘｉ　はｉ＝１　〜ｍまで
のＸｉ　の総和を取ることを表している。

【００１５】次に上記の誤差逆伝搬学習アルゴリズムを
説明する。これは最終層にのみ教師信号が与えられる場
合の学習アルゴリズムである。一般に、ある層のひとつ
のニュ−ロンの入力信号ｘｉ　（他のニュ−ロンから入
力された信号の総和）から、そのニュ−ロンの出力信号
への写像Ｆとしたとき、学習回数ｎ＋１回目における結
合加重Ｒｊｉｎ＋１　は、 　　　　　　　　　　Ｒｊｉｎ＋１　＝Ｒｊｉｎ　　　
　　　　　　　　　　　　　　　　　　　　　　　　＋
η＊εｊ　＊Ｆｊ　（ｘｉ　）　　　　　　　　　　　
　…（８）となる。ここで、ηは緩和係数であり、εｊ
　はニュ−ロンが最終層にあるときは 、　　　　　　　　　　εｊ　＝（ｄｊ　−Ｆｊ　（ｘ
ｊ　））＊Ｆｊ　′（ｘｊ　）　　　　　　　　…（９
）で与えられる。

【００１６】また、ニュ−ロンが最終層にないときは、
　　　　　　　　　　εｊ　＝Ｆｊ　′（ｘｊ　）＊Σ
εｋ　＊Ｒｋｊ　　　　　　　　　　　　　　　　…（
１０）で与えられる。

【００１７】なお、＊は乗算を表し、Ｆ′はＦの微分形
を表している。

【００１８】ニュ−ラルネットワ−クを上記多層パ−セ
プトロンを例にとって説明したが、以下において従来技
術に於ける問題点について述べる。

【００１９】上記式（１）から式（１０）を実現するハ
−ドウェアを搭載したニュ−ラルネットワ−ク装置をあ
る環境下、例えば、生体内等の人間が入りこめない環境
で学習させること考えたとき、前記式（９）のｄｊ信号
（通常、教師信号と呼ばれる）をいかにニュ−ラルネッ
トワ−ク装置に提示するかという知見に欠け、実用分野
が限定されていた。

【００２０】また、式（１）〜（１０）は、四則演算の
他に、可塑的で長期記憶可能なサイナップス機能演算等
の演算を含み、また、関数として入出力関係が単調増加
で飽和特性を有する非線形関数及びその微分関数を含む
ため、これらをデバイスや電子回路で実現するには工夫
を要した。

【００２１】即ち、四則演算，入出力関係が単調増加で
飽和特性を有する非線形関数及びその微分関数は、従来
のアナログ，デジタル電子回路技術で、また、長期記憶
可能なサイナップス機能演算は従来のＥＥＰＲＯＭ，薄
膜デバイスで実現可能であるが、ＬＳＩ製造プロセスと
薄膜デバイスの製造プロセスとの整合性が取りにくいた
め、製造が困難であった。

【００２２】また、従来の装置では、オペアンプ等から
なる回路でεｊ　，結合荷重Ｒｊｉｎ＋１　を求めてい
たので、回路の信号に重畳するノイズ，オペアンプのオ
フセット，ゲインエラ−等により、正しい結合荷重εｊ
　，Ｒｊｉｎ＋１　が得られなくなり、学習機能が低下
するという問題があった。

【００２３】

【発明が解決しようとする課題】上述の如く従来のニュ
−ラルネットワ−ク装置では、その適用範囲が狭く、ま
た、学習機能も所定どおりに働かないという問題があっ
た。

【００２４】本発明は上記事情を考慮してなされたもの
で、その目的とするところは、実用的なニュ−ラルネッ
トワ−ク装置を提供することにある。

【００２５】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明のニュ−ラルネットワ−ク装置は、入力さ
れた外界情報に所定の処理を施して入力信号を生成する
入力手段と、複数の制御パラメ−タにより前記入力信号
に演算処理を施して出力信号を生成する演算処理手段と
、前記出力信号が前記入力信号に対する所定の信号にな
るべく前記演算処理手段の制御パラメ−タを制御する制
御手段とを有するニュ−ラルネットワ−ク装置において
、一部が前記演算処理手段の外部に設けられると共に、
この外部に設けられた部分が送受信手段を介して前記入
力信号を受け且つ前記送受信手段を介して前記演算処理
手段の制御パラメ−タを制御する機能を持った制御手段
を備えたことを特徴とする。

【００２６】また、本発明の他のニュ−ラルネットワ−
ク装置は、入力された外界情報に所定の処理を施して入
力信号を生成する入力手段と、複数の制御パラメ−タに
より前記入力信号に演算処理を施して出力信号を生成す
る演算処理手段と、前記出力信号が前記入力信号に対し
て所定の関係になるべく前記演算処理手段の制御パラメ
−タを制御する制御手段とを有するニュ−ラルネットワ
−ク装置において、学習過程時に入力信号として与えら
れる複数の提示パタ−ンに対する制御パラメ−タの更新
量を累積加算する累積加算手段と、この累積加算手段で
得られた値に現在用いている制御パラメ−タ値を加算し
て新たな制御パラメ−タ値を作成する手段とからなる制
御手段を備えたことを特徴とする。

【００２７】また、本発明の更に別なニュ−ラルネット
ワ−ク装置は、入力された外界情報に所定の処理を施し
て入力信号を生成する入力手段と、複数の制御パラメ−
タにより前記入力信号に演算処理を施して出力信号を生
成する演算処理手段と、前記出力信号が前記入力信号に
対する所定の信号になるべく前記演算処理手段の制御パ
ラメ−タを制御する制御手段とを有するニュ−ラルネッ
トワ−ク装置において、前記各要素の収納された領域の
内部又は外部の温度を検知する検知手段が設けられると
共に、この検知手段の出力信号を前記入力信号の一部と
することを特徴とする。

【００２８】

【作用】本発明によれば、ニューラルネットワーク装置
自身の外界との相対的位置関係、例えば、幾何学的位置
関係、外界への適応の程度とか、外界刺激に対する応答
を、学習により獲得していく際、外界刺激及び教師とな
る信号をニューラルネットワーク装置とは異なる所で生
成できるため、通常人間が入り込めない場所、例えば、
生体内に於ける人工心臓のペースメーカー，血管の血流
制御，極限ロボット，海底作業ロボット等に有用なニュ
ーラルネットワーク装置を得ることができる。

【００２９】また、制御パラメータを制御する制御手段
は、制御パラメ−タの更新量の正負を基にして新たな更
新量を求めているため、更新量が実際の値より多くなっ
たり、小さくなっても、その値の正負は変りに難いので
ニューラルネットワーク装置を構成する各種回路の雑音
や非理想成分により更新量の値が不正確でも正確な制御
パラメ−タを得ることができる。

【００３０】また、各要素の収容されている領域の内部
又は外部の温度を検知する感知手段を設け、この検知手
段の出力信号を前記入力信号の一部とすることで環境温
度も考慮した学習をが行わせることができ、性能の高い
ニューラルネットワーク装置を得ることができる。

【００３１】

【実施例】以下、図面を参照しながら実施例を説明する
。

【００３２】第２図には本発明の第１の実施例に係るニ
ュ−ラルネットワ−ク装置の概略構成図が示されている
。

【００３３】外界情報（光、音、圧力、温度、におい、
味、硬度等）は第１の入力手段１に導入される。この第
１の入力手段１は、外界情報が、例えば、視覚情報信号
であれば、空間フィルタリング、聴覚情報信号であれば
、時間フィルタリング等の処理を行い、その結果を信号
３として出力する。この信号３は演算処理手段４と遠隔
操作信号送受信手段９とに導入される。

【００３４】演算処理手段４は入力された信号３に対し
て前記式（１）から式（１０）に相当する複数の制御パ
ラメータによる演算処理を行い、信号５を出力する。こ
の信号５は外界とニューラルネットワーク装置との相対
関係を制御する制御対象物８に入力される。この制御対
象物８は第１の信号５に応じて、例えば、自動車であれ
ば車高を一定に保つとか、クラッシュを避けるためにブ
レーキ操作を行うとか、ロボットであれば様々な動作を
行わせる機構等であり、更には第１の入力手段に働きか
けて視野制御等を行う。また、ニューラルネットワーク
装置が認識装置として用いられる時には、制御対象物８
は例えばＣＲＴとかスピーカーとか、匂い・聴覚等の直
接表示不能なものに対してＬＥＤ等の表示装置となる。

【００３５】一方、遠隔操作信号送受信手段９に導入さ
れた信号３は、送受信機１０及アンテナ１１を介して装
置本体１００の外部に設けられた教師信号生成手段２へ
送信される。教師信号生成手段２は受信した信号３に対
応した教師信号を送信する。そしてこの教師信号は遠隔
操作信号送受信手段９により受信された後、第２の入力
手段６を介して演算処理手段４に導入される。演算処理
手段４は教師信号により制御パラメータの調整を行う。

【００３６】かくして本実施例では、ニュ−ラルネット
ワ−ク装置自身の外界との相対的位置関係、例えば、幾
何学的位置関係、外界への適応の程度とか、外界刺激に
対する応答を、学習により獲得していく際、外界刺激及
び教師となる信号を遠隔操作信号送受信手段９を介して
ニュ−ラルネットワ−ク装置本体１００とは異なる所で
、監視あるいは指示できる。このため、通常人間が入り
込めない場所である、生体内に於ける、人工心臓のペ−
スメ−カ−とか、血管の血流制御とか、極限ロボットと
か、海底作業ロボットとかに有用なニュ−ラルネットワ
−ク装置を得ることができる。

【００３７】図３には本発明の第２の実施例に係るニュ
−ラルネットワ−ク装置の概略構成図が示されている。 なお、第２図と対応する部分には第２図と同一符号を付
して詳細な説明は省略する。

【００３８】この実施例のニュ−ラルネットワ−ク装置
が第１の実施例のそれと異なる点は、教師信号生成手段
２で生成された教師信号の他に、信号３，５をも教師信
号として用いると共に演算処理手段４内に外界と装置本
体１００との相対関係を判断する判断手段７を設けたこ
とにある。

【００３９】このように構成されたニュ−ラルネットワ
−ク装置では、学習させる際に、外界情報をモニタしな
がら、所望の動作を行なわせるための教師信号を発生さ
せることが可能となり、認識・判断・制御の分野に広く
応用が可能となる。

【００４０】次に本発明の第３の実施例を説明する。

【００４１】図４は演算処理手段４を構成する集積回路
を模式的に示している。演算処理手段４を集積回路で実
現するには、通常のＬＳＩ製造プロセスにより作製され
た第１の集積回路第１２と、薄膜デバイス製造プロセス
により製造された第２の集積回路１３とを、同図（ａ）
で示すようにハンダバンプ１４でコンタクトをとって積
層化すればよい。また、第２の集積回路１２が磁性体で
あるときには、第１の集積回路第１２上にうず状の電極
を形成し、この電極を介して同図（ｂ）に示すようにコ
ンタクトを取れば、２種類の集積回路１２，１３を位置
合せすることなく積層化することができる。この場合、
うず状の電極に流す電流の向きにより磁化方向を制御す
ることで集積回路１２にメモリ機能を持たせることがで
きる。

【００４２】次に制御パラメ−タを求める具体例を説明
する。

【００４３】図５は前記式（８）のＲｊｉｎ＋１　、即
ち、制御パラメ−タを求め得る回路の概略構成図である
。

【００４４】学習過程では、複数の学習用デ−タパタ−
ンＺ１　，Ｚ２　，…，Ｚｐ　を順次入力し、このとき
の出力信号と教師信号とを比較し、その誤差量に応じて
結合荷重を修正するのが一般的である。そこで、この例
では、学習過程時に、式（８）の右辺の第２項（以下、
εｊｉと表記）を従来の回路で求め後、この信号をコン
パレ−タ６０に導入する。このコンパレ−タ６０はεｊ
ｉと基準信号とを比較してεｊｉの正負だけを判定し、
判断信号６１を出力する。加算器６２は入力された制御
信６１の値を順次加算していき、所定のタイミング、学
習用デ−タパタ−ンＺ１　，Ｚ２　，…，Ｚｐ　の入力
が一巡した時点毎に加算信号６３を出力し、続いてリセ
ット信号でリセットされる。なお、この加算器６２は、
学習に先だった時点でもリセットされる。

【００４５】コンパレ−タ６４は加算信号６３と基準信
号とを比較して加算信号６３の正負だけを判断し、判断
信号６５を出力する。この判断信号６５は、学習用デ−
タパタ−ンＺ１　，Ｚ２　，…，Ｚｐ　を１回だけ入力
したときに得られる更新量εｊｉに相当する。スイッチ
６６は所定のタイミング、つまり、学習用デ−タパタ−
ンＺ１　，Ｚ２　，…，Ｚｐ　の提示が開始された時点
でオンとなり、学習用デ−タパタ−ンＺ１　，Ｚ２　，
…，Ｚｐ　の所定回数の提示が終わった時点でオフにな
る。スイッチ６６のオン期間にコンパレータ６４の判断
信号６５が加算器６７に導入される。そして加算器６７
は前回得られたＲｊｉｎ　を記憶しており、学習用デ−
タパタ−ンＺ１　，Ｚ２　，…，Ｚｐ　の提示が終了し
た時点で式（８）に示された加算演算を行い、Ｒｊｉｎ
＋１　に相当する加算信号６８を出力する。

【００４６】このように構成された回路では、各サイナ
ップスにおいて誤差信号εｊｉを累積加算して得られた
新たなεｊｉを誤差信号として用いてるので複数の学習
用デ−タパタ−ンＺ１　，Ｚ２　，…Ｚｐ　のいずれも
満足する様なサイナップス結合荷重が得られる。しかも
、ノイズ，ゲインエラ−，オフセット等により入力され
るεｊｉの値が不正確であってもコンパレ−タ６０，６
４，加算器６２によりεｊｉの符号を利用した演算が行
われるので正確な誤差信号を得ることができる。

【００４７】かくして本例では全学習用デ−タパタ−ン
に対する制御パラメータの更新量を、入力デ−タの符号
情報をもとにその平均化した値で置換えているため、式
（１）から式（１０）等を実現するために必要となるア
ナログ電子回路に重畳するノイズや各演算器の非理想成
分による望ましくない信号があっても正確な制御パラメ
ータ値を得ることができ、学習不成立等の問題を回避す
る事が可能となる。

【００４８】なお、学習用デ−タパタ−ンＺ１　，Ｚ２
　，…Ｚｐ　の入力が一巡する毎或いは一定数の学習用
デ−タパタ−ンが入力する毎にリセット信号により加算
器６２を初期化しているので加算器６２の飽和や初期オ
フセット等を解決することができる。

【００４９】なお、コンパレ−タ６０，６４の代わりに
量子化器を用いれば、符号情報の他に信号レベルも考慮
した演算を行なえるのでより正確な制御パラメータ値を
得ることができる。

【００５０】次に制御パラメータを求める別の例を説明
する。

【００５１】図６は式（８）のＲｊｉｎ＋１　を求める
別の回路例である。

【００５２】同図において、１６は式（８）のεｊ　の
入力端、１７はεｊ　の正負だけを判定するコンパレー
タ、１８はこのコンパレータの判断信号、１９は第１の
アップダウンカウンタで第１のクロック信号２０により
所定のタイミングでカウント動作をし、制御力信１８に
よりアップ動作かダウン動作かが選択される。なお、カ
ウンタの値には上限下限があり、設定値以上の値のアッ
プカウントまたはそれ以下の値のダウンカウントは禁止
されている。

【００５３】２１は第１のカウンタ出力、２３は大小比
較器で端子２２に設定された値と第１のカウンタ出力２
１の値とを比較し、正，零又は負レベルの大小比較出力
２４を出力する。２５は第２のアップダウンカウンタで
第２のクロック信号２６により所定のタイミングでカウ
ント動作をし、大小比較出力２４によりアップ動作かダ
ウン動作かが選択される。なお、このカウンタにおいて
も上限下限があり、所定値以上の値のアップカウントま
たはそれ以下の値のダウンカウントが禁止されている。

【００５４】２８は乱数発生器で、２９はその動作／停
止を制御する信号端、２７は乱数発生器２８の出力、３
０は乱数発生器出力２７をアップダウンカウンタ２５に
セットするか否かを制御する信号端である。３１はアッ
プダウンカウンタ２５のカウント出力、３２は第２のカ
ウント出力３１をデジタル信号からアナログ信号に変換
するＤ／Ａコンバータ３２であり、３３はＤ／Ａコンバ
ータ３２のアナログ出力信号である。

【００５５】以下、この回路の動作を図７のタイムチャ
ートに従って説明する。

【００５６】先ず、信号端２９を高電位にして乱数発生
器２８を動作させて乱数値を発生させ続けた状態で、ア
ップダウンカウンタ２５に乱数発生器２８の発生値をセ
ットするが否かを制御する信号端３０を高電位にして乱
数発生器２８が発生した乱数値をアップダウンカウンタ
２５にセットすると共に信号端２９を低電位に戻して乱
数発生器を停止させる。この結果、アップダウンカウン
タ２５に乱数発生器２８の発生値がセットされる。

【００５７】次に、式（１）から式（１０）において述
べたような学習アルゴリズムに基づくシナプス伝達効率
の値の更新量εｊ　を端子１６に加え、コンパレータ１
７によりその符号だけを判定する。コンパレータ出力１
７の判断信号１８に従いアップダウンカウンタ１９はア
ップカウント動作又はダウンカウント動作を行う。この
カウンタ動作は通常、学習状態でありしかも提示パター
ンがある毎に図７のタイムチャートに従い繰り返される
。

【００５８】このアップダウンカウンタ１９の働きは、
次の様に説明される。

【００５９】最適化手法による学習アルゴリズムではコ
スト関数Ｅとして Ｅｐ　＝Σ（ｊ）｜Ｏｊ　−Ｔｊ　｜２　を採用するが
、最急下法ではコスト関数をＥｐ　としてＥｐ　＝Σ（
ｊ）｜Ｏｊ　−Ｔｊ　｜２　を採用し、このコスト関数
Ｅｐ　を最小にするべくＲｉｊの更新量Δｐ　ωｉｊ（
＝η＊ｇｒａｄ（Σ（ｐ）Ｅｐ　）が計算される。

【００６０】ここでΣ（ｉ＝）Ｘｉ　はｉについてＸの
総和を取ることを表す。また、Ｏｊ　は最終層ｊのニュ
ーロン出力、Ｔｊ　は教師信号、ｐは学習デ−タパター
ンである。

【００６１】従って、コスト関数Ｅを最小化するには、
全ての学習デ−タパターンｐに対する更新量Δｐ　ωを
記憶する必要があるが、本実施例ではこれをアップダウ
ンカウンタ１９をレジスタとして用いることで実現して
いる。

【００６２】コンパレータ１７はアナログ値である更新
量Δｐ　ωの１ビットＡ／Ｄコンバータになっており、
また、アップダウンカウンタ１９はアナログ動作するも
のであって構わない。

【００６３】第１のカウンタ出力２１は大小比較器２３
に導入され、端子２２に設定された設定値と比較され、
正，零又は負レベルの大小比較出力２４を出力する。

【００６４】第２のアップダウンカウンタ２５は大小比
較出力２４に応じてアップカウント動作，ダウンカウン
ト動作又は停止動作を選択する。このカウント動作は通
常、学習状態であり、しかも学習デ−タパターンが提示
される毎に図７のタイムチャートに従い繰り返されるが
、複数の学習デ−タパターンが提示される毎にカウンタ
動作させるごとき変更もまた可能である。複数の学習デ
−タパターンが提示される毎にカウント動作させる時又
は第２のアップダウンカウンタ２５の動作終了時に第２
のアップダウンカウンタ２５を初期化する操作を付加す
ると、前述の如きひとつの学習デ−タパターンだけでは
なく、学習させたい複数の学習デ−タパターンに対する
学習を容易にすることができる。

【００６５】最後に、第２のカウンタ出力３１がＤ／Ａ
コンバータ３２によりアナログ出力値３３に変換されて
Ｒｉｊが得られる。ここで、更新量Δｐ　ωｉｊｇを大
小比較器２３で端子２２に設定された設定値と比較する
ことで大小比較出力２４が生成されているが、これは、
非線形最適化手法で収束性改善に使われる更新量に緩和
係数を乗ずるこどき手法であり、更新量ベクトルの各要
素の絶対値に上限を設ける手法を回路化したものである
。更新量ベクトルの各要素の絶対値に上限を設けること
は雑音等の影響あるいは理想的な演算機能を実現するこ
とが困難な、アナログ回路でニューラルネットワーク装
置を製造する際、極めて有用な技術となる。

【００６６】なお、記憶素子として用いられるアップダ
ウンカウンタ１９，２５をアナログ値記憶回路で実現す
れば回路規模の大幅な削減ができ、Ｄ／Ａコンバータ３
２が不要となる。

【００６７】次にさらに別の例を説明する。

【００６８】図８は式（８）のＲｊｉｎ＋１　を求める
さらに別の回路例である。

【００６９】この回路はシナプスブロック７５と累積加
算手段７０とからなる。

【００７０】シナプスブロック７５は第１の記憶手段７
１と第２の記憶手段７２とからなる。第１の記憶手段７
１は入力された制御パラメータの更新量εｉｊを量子化
して記憶するか、若しくは量子化せずに記憶し、図６に
示した第１のコンパレータ１７と第１のアップダウンカ
ウンタ１９の一部とに相当する。第２の記憶手段７２は
制御パラメータ値を記憶する記憶手段で図６の第２のア
ップダウンカウンタ２５の機能、Ｄ／Ａコンバータ３２
の一部に相当する。

【００７１】累積加算手段７０は制御パラメータ値の更
新量を量子化して累積加算するか、若しくは量子化せず
に累積加算し、図６の第１，２のアップダウンカウンタ
１９，２５、大小比較器２３の一部に相当する。また、
記憶手段７０中のＲｉｊはサイナップス結合荷重であり
、Ｒｉｊにより結ばれる２つのニューロン間の信号の伝
達効率を制御している。

【００７２】このように構成された回路において、累積
加算手段７０に図６のクロック信号２０，２９及び乱数
発生器出力等に相当する制御信号７３を入力すると、累
積加算手段７０は式（１）から式（１０）において述べ
たような学習アルゴリズムに基づくシナプス伝達効率の
値の更新量εｊｉに相当する信号を出力する。第１の記
憶手段７１はこの信号と基準信号とを比較して、正，零
又は負レベルの信号７４ａを出力する。累積加算手段７
０はこの信号７４ａによりカウント動作を行い、その結
果を信号７４ｂとして第１の記憶手段７１に出力する。 第１の記憶手段７１は信号７４ｃの情報、即ち、更新さ
れたεｊｉを保持する。次いで、累積加算手段７０は第
１の記憶手段７１から最新のεｊｉを読み出してその値
と基準信号との比較を行った後、その結果と第２の記憶
手段７２から読み出したＲｉｊとの加算、つまり、カウ
ント動作を行いＲｉｊを更新する。次いで、累積加算手
段７０は更新されたＲｉｊを信号７４ｄとして出力する
。そして第２の記憶手段信号７２はこの信号７４ｄの情
報を保持する。

【００７３】かくして本例では、図６のアップダウンカ
ウンタ１９，２５のカウント機能を累積加算手段７０に
行なわせることにより、集積回路の占有面積の大きなア
ップダウンカウンタの必要個数を減らすことができるた
め、集積回路全体の小型化を図ることができる。なお、
累積加算手段７０はＳＲＡＭ等で作成可能である。

【００７４】次に本発明の別の実施例を説明する。

【００７５】図９にはニューラルネットワーク装置の性
能評価を行う装置の概略構成図が示されている。

【００７６】記憶手段３５はサンプリングされた外界情
報３４を記憶した後、その情報を制御信号３６としてサ
ンプル信号発生手段３７と教師信号発生手段３８とに出
力する。

【００７７】サンプル信号発生手段３７は、制御信号３
６により図１の第１の入力信号３に相当するサンプル入
力信号３ａを出力する。一方、教師信号発生手段３８は
制御信号３６と外部信号３９とより教師信号を生成する
。

【００７８】この後、第１のサンプル入力信号２ａと教
師信号とによりニュ−ラルネットワ−ク装置１０１の学
習が行われると共にカンウト手段４０と記録手段４１と
によりそれぞれ学習回数のカウント、学習の結果例えば
コスト関数の値が記録が行われる。

【００７９】次いで検査手段４２により記録手段４１の
記録からニュ−ラルネットワ−ク装置１０１のＩＱ，偏
差値検査等が求められ、その結果は、装置に添付または
印刷される。

【００８０】かくして本実施例によれば、製造するニュ
ーラルネットワーク装置の性能が客観的に評価されるの
で製品の信頼性指標を得ることが可能となる。

【００８１】次に本発明のさらに別の実施例を説明する
。

【００８２】複数の制御パラメータ、即ち、結合荷重素
子の演算処理をおこなう演算処理手段を集積回路で実現
することを考えると、結合荷重素子は可塑的に制御され
る必要があるため、可塑的に制御しうるデバイスで実現
する必要がある。このようなデバイスとしてはＥＥＰＲ
ＯＭデバイスや、強誘電体デバイス，イオン伝導体デバ
イス等の薄膜デバイスが考えられるが、共通する特徴と
してデバイス動作には初期値依存性がある。

【００８３】このような点に鑑み、第１０図を用いて本
発明に係る結合荷重素子を説明する。

【００８４】結合荷重素子は、変調回路４４とデバイス
４６とからなる。変調回路４４に用いられる回路は加算
回路や除算回路であったりするが、これはデバイス４６
の特性に依存する。デバイス４６としてはＥＥＰＲＯＭ
や強磁性体デバイスなどが用いられる。

【００８５】変調回路４４には第１の状態変更信号４３
、即ち、式（８）の右辺に対応した信号と、デバイス４
６の内部状態に対応した内部状態モニタ信号４８とが導
入されている。変調回路４４はこれらの信号４３，４８
により第２の状態変更信号４５を生成してデバイス４６
に出力する。デバイス４６は第２の状態変更信号４５に
より制御され、内部状態が可塑的に制御される。なお、
変調回路４４は第１の状態変更信号４３の入力ないとき
は動作しないように構成されている。

【００８６】ここで、内部状態モニタ信号４８を用いた
のは、上述したようにデバイス４６が初期値依存性、つ
まり、非線形性を有するので現在のデバイスの状態が分
からない制御できないからである。

【００８７】また、内部状態モニタ信号４８は、ＥＥＰ
ＲＯＭではらフォロ−ティングゲ−トの電荷量であり、
強磁性体デバイスでは残留分極量であり、イオン伝導体
デバイスでは到達したイオンの総量である。

【００８８】図１１を用いて強磁性体デバイスを使用し
た場合の第２の状態変更信号４４について説明する。

【００８９】図１１は強誘電体デバイスの印加電界と残
留分極量との関係を示している。残留分極量を点ａから
点ｂに遷移させる時と、点ｂから点ｃに遷移させる時と
では分極量変化分が等しくとも、印加する電界の絶対値
が異なる。したがって、印加する電界を零にして残留分
極量の値を求め、この値と、第１の状態変更信号４３と
を変調回路４４により加算することで第２の状態変更信
号４５を生成することができる。

【００９０】また、ＥＥＰＲＯＭを用いた場合は、容量
性結合をモニタしたり、しきい値変化をモニタすること
でフロ−ティングゲ−トの電荷量を求め、この電荷量の
値と、第１の状態変更信号４３とを変調回路４４により
演算処理することで第２の状態変更信号４５を生成する
ことができる。

【００９１】図１２は本発明のさらに異なる実施例に係
るニュ−ラルネットワ−ク装置の要部構成を示す図であ
る。

【００９２】この実施例のニュ−ラルネットワ−ク装置
が第１の実施例のそれと異なる点は、外界，装置内等の
温度を感知する感知手段５５を設け、その感知結果を感
知信号４９として第１の入力手段５０に導入したことに
ある。

【００９３】一般に、外界，装置内等の温度が異なれば
、同じ外界情報でも、出力信号は異なるが、上述のよう
に外界情報と系の温度との組を新たな外界情報して用い
れば、温度による影響を低減化できるのでより学習機能
が高いニュ−ラルネットワ−ク装置信号を得ることがで
きる。

【００９４】図１３は図１２の感知手段５５の具体的な
構成を示す図である。

【００９５】図１３に示された回路はワイドラ−の電流
源と呼ばれているもであり、ベ−ス・コレクタ間が短絡
したトランジスタＴｒ１と、マルチエミッタトランジス
タＴｒ２と、このマルチエミッタトランジスタＴｒ２の
エミッタに接続された抵抗素子Ｒとからなる。トランジ
スタＴｒ１のコレクタには基準電流Ｉｒｅｆ　が導入さ
れ、マルチエミッタトランジスタＴｒ２のコレクタには
電流Ｉｃ　が導入されている。この電流Ｉｃ　は次式の
ように表されることが知られている。

【００９６】 Ｉｃ　＝Ｖｔ　＊ｌｎ２／Ｒ Ｖｔ　＝ｋＴ／ｑ ここでｋはボルツマン定数，Ｔは温度，ｑは電子の電荷
量である。

【００９７】上式から分かるようにＩｃ　は温度に比例
する。したがって、このＩｃを電流電圧変換等を用いて
電圧信号に変換することで感知信号４９を得ることがで
きる。

【００９８】更に、感知手段５５，第１の入力手段５０
及び演算処理手段５３をそれぞれ集積回路で実現するか
、あるいは同一チップ上に作製すれば、装置内温度を感
知する事ができる。

【００９９】なお、ここではバイポーラトランジスタの
例について説明したが、ＭＯＳトランジスタでも同様の
機能が実現できる。

【０１００】また、感知手段５５を実現するのに、市販
されている温度センサを利用し、第１の入力手段５０へ
の信号の一部とするような変更も可能である。

【０１０１】図１４は本発明の異なる実施例に係るニュ
−ラルネットワ−ク装置の要部構成を示す図である。

【０１０２】この実施例に係るニュ−ラルネットワ−ク
装置が第１の実施例のそれと異なる点は、教師信号を用
いないニュ−ラルネットワ−ク装置に、図１３の感知手
段５５と同様な感知手段５８を設けたことにある。

【０１０３】このように構成された教師信号無しニュ−
ラルネットワ−ク装置は、図１２の教師信号ありニュ−
ラルネットワ−ク装置の場合と同様な理由により学習機
能が改善される。

【０１０４】なお、本発明は上述した実施例に限定され
るものではない。例えば、上記実施例では、コンパレ−
タを用いて入力信号の正負しか判断しなかったが、コン
パレ−タの代わりに量子化器を用いて、正負の情報の他
に入力信号の大きさもある程度考慮することで収束の早
い回路を得ることができる。その他、本発明の要旨を逸
脱しない範囲で、種々変形して実施できる。

【０１０５】

【発明の効果】以上詳述したように、本発明によれば学
習能力が改善され、しかも通常人間が入り込めない場所
での使用も可能になるので実用的なニューラルネットワ
ーク装置を得ることができる。

【図面の簡単な説明】

【図１】多層パ−セプトロンを説明するための図。

【図２】本発明の一実施例に係るニュ−ラルネットワ−
ク装置の概略構成図。

【図３】本発明の他の実施例に係るニュ−ラルネットワ
−ク装置の概略構成図。

【図４】図２，図３のニュ−ラルネットワ−ク装置の演
算処理手段の集積化を説明するための図。

【図５】制御パラメータ値を求める回路。

【図６】制御パラメータ値を求める回路。

【図７】図６の回路のタイムチャート。

【図８】制御パラメータ値を求める回路。

【図９】ニューラルネットワーク装置の性能評価装置の
概略構成図。

【図１０】ニューラルネットワーク装置の結合荷重素子
の概略構成図。

【図１１】強磁性体デバイスを使用したときの第２の状
態変更信号を説明するための図。

【図１２】本発明の別の実施例に係るニュ−ラルネット
ワ−ク装置の要部構成を示す図。

【図１３】感知手段の具体的な構成を示す図。

【図１４】本発明のさらに異なる実施例に係るニュ−ラ
ルネットワ−ク装置の要部構成を示す図

【符号の説明】

１…第１の入力手段、２…教師信号生成手段、４…演算
処理手段、６…第２の入力手段、８…制御対象物、９…
遠隔操作信号送受信手段、１０…送受信機、１１…アン
テナ、１２…第１の集積回路、１３…第２の集積回路第
、１６…入力端、１７…コンパレータ、１８…判断出力
信号、１９…第１のアップダウンカウンタ、２１…第１
のカウンタ出力、２３…大小比較器、２５…第２のアッ
プダウンカウンタ、２８…乱数発生器、３０…制御信号
端、３１…第２のカウンタ出力、３２…Ｄ／Ａコンバー
タ、３４…サンプリングされた外界情報、３５…記憶手
段、３８…教師信号発生手段、４１…記録手段、４２…
検査手段、４４…変調回路、４６…デバイス、４９…感
知信号、６０，６４…コンパレ−タ、６２，６７…加算
器、６６…スイッチ、７０…累積加算手段、７１…第１
の記憶手段、７２…第２の記憶手段、７５…シナプスブ
ロック、１００…装置本体、１０１…ニュ−ラルネット
ワ−ク装置。

Claims (4)

【特許請求の範囲】
1. 【請求項１】入力された外界情報に所定の処理を施して
   入力信号を生成する入力手段と、複数の制御パラメ−タ
   により前記入力信号に演算処理を施して出力信号を生成
   する演算処理手段と、前記出力信号が前記入力信号に対
   して所定の関係になるべく前記演算処理手段の制御パラ
   メ−タを制御する制御手段とを有するニュ−ラルネット
   ワ−ク装置において、前記制御手段は、その一部が前記
   演算処理手段の外部に設けられ、この外部に設けられた
   部分が送受信手段を介して前記入力信号を受けると共に
   上記送受信手段を介して前記演算処理手段の制御パラメ
   −タを制御することを特徴とするニュ−ラルネットワ−
   ク装置。
2. 【請求項２】入力された外界情報に所定の処理を施して
   入力信号を生成する入力手段と、複数の制御パラメ−タ
   により前記入力信号に演算処理を施して出力信号を生成
   する演算処理手段と、前記出力信号が前記入力信号に対
   して所定の関係になるべく前記演算処理手段の制御パラ
   メ−タを制御する制御手段とを有するニュ−ラルネット
   ワ−ク装置において、前記制御手段は、学習過程時に入
   力信号として与えられる複数の提示パタ−ンに対する制
   御パラメ−タの更新量を累積加算する累積加算手段と、
   この累積加算手段で得られた値に現在用いている制御パ
   ラメ−タ値を加算して新たな制御パラメ−タ値を作成す
   る手段とを具備してなることを特徴とするニュ−ラルネ
   ットワ−ク装置。
3. 【請求項３】前記累積加算手段は、各制御パラメ−タ値
   の更新量に付けられている正負の符号を単位として累積
   加算することを特徴とする請求項２に記載のニュ−ラル
   ネットワ−ク装置。
4. 【請求項４】入力された外界情報に所定の処理を施して
   入力信号を生成する入力手段と、複数の制御パラメ−タ
   により前記入力信号に演算処理を施して出力信号を生成
   する演算処理手段と、前記出力信号が前記入力信号に対
   する所定の信号になるべく前記演算処理手段の制御パラ
   メ−タを制御する制御手段とを有するニュ−ラルネット
   ワ−ク装置において、前記各要素の収容された領域の内
   部又は外部の温度を感知する感知手段を設け、この感知
   手段の出力信号を前記入力信号の一部とすることを特徴
   とするニューラルネットワーク装置。