JPH04283884A

JPH04283884A - アナログ逆伝搬学習回路とその駆動方法

Info

Publication number: JPH04283884A
Application number: JP3048180A
Authority: JP
Inventors: Toyoe Moriizumi; 森泉　豊栄; Takamichi Nakamoto; 高道中本; Hideaki Takagi; 秀昭高木
Original assignee: Research Development Corp of Japan
Current assignee: Japan Science and Technology Agency
Priority date: 1991-03-13
Filing date: 1991-03-13
Publication date: 1992-10-08
Anticipated expiration: 2015-10-10
Also published as: JP3095798B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クのハードウェア化を図ったアナログ逆伝搬学習回路と
その駆動方法に関するものである。

【０００２】

【従来の技術】近年、生体の神経系を模倣したニューラ
ルネットワークによる情報処理の研究が進んでいる。さ
まざまなモデルが提案されるとともに、パターン認識、
最適化問題等の分野において、従来のノイマン型コンピ
ュータより優れていることが確認されてきた。

【０００３】しかし、汎用プロッセサ上のソフトウェア
シミュレーションでは、ネットワークを大規模化するこ
とにより急激に計算量が増加して、高速に処理を行なう
ことには問題がある。そこで、ＬＳＩを中心とした回路
技術によるハードウェア化の研究が行なわれている。当
初は重み係数固定のホップフィルド（Ｈｏｐｆｉｅｌｄ
）モデルのＬＳＩ化が行なわれていたが、その後、シナ
プス結合を可変にする機能を持ったＬＳＩが研究されて
いる。しかし、学習機能を持ったネットワークのハード
ウェア化の研究はまだ不十分である。

【０００４】本願の発明者らは、複数センサ出力パター
ンをニューラルネットワークでパターン認識して、ガス
・においを識別するセンシングシステムを研究している
。このパターン認識を現在ソフトウェアシミュレーショ
ンで行なっているが、小型で可搬型のシステムを作るに
は、学習機能を含めた専用ハードウェアの開発が必要で
ある。

【０００５】ところで、ニューラルネットワークには、
相互結合型と層状ネットワークがある。前者は最適化問
題、後者はパターン認識、制御等への応用が検討されて
いる。逆伝搬学習法はフィードバック結合を持たない層
状ネットワークの学習則として知られている。ネットワ
ークは、図１３に示すようにモデル化されたニューロン
によって、図１４に示すように構成される。ニューロン
は前層の出力に重みをかけて加算した量に非線形関数を
作用させて出力値を得る。非線形関数は連続で微分可能
な単調増加関数であればよいが、一般には数式１で表さ
れるシグモイド関数がよく用いられる。

【０００６】

【数１】

【０００７】なお、図１３における結合重み係数ｗｉｊ
は正の時興奮性結合、負の時抑制性結合、零の時は結合
のないことを表す。ネットワークの入力層にあるパター
ンｐの入力信号を与えると、入力層→中間層→出力層の
順に信号が伝送され出力を得る。この時、出力層のｉ番
目の出力をｙＰｉとして、その時のニューロンの望まし
い出力（教師信号）をｔＰｉとする。この二値間の二乗
誤差は数式２で表すことができる。

【０００８】

【数２】

【０００９】逆伝搬学習法は数式２を最小にするように
、ネットワークの重み係数を変更し、出力を望ましい出
力に近づける学習法である。この際、重みの変更は入力
信号と逆に出力層→中間層→入力層の順に行なわれるた
め、この名称がついている。出力層の学習信号δＰｉは
数式３で与えられる。

【００１０】

【数３】

【００１１】なお、ここで、ｆ，ｆ′は出力関数及びそ
の導関数、ｎｅｔＰｉはｉ番目のニューロンの内部状態
（前層出力の重み付け加算和）である。この学習信号δ
Ｐｉを用いると、中間層の学習信号δＰｊは数式４のよ
うに表される。

【００１２】

【数４】

【００１３】数式３、数式４の学習信号を用いると、各
重み係数ｗｉｊは、数式５の幅Δｗｉｊだけ変更される
。

【００１４】

【数５】

【００１５】ここで、εは経験的に決める定数であり、
収束までの学習回数やネットワークの安定性等に大きな
影響を与える。一連の学習を繰り返すことにより、出力
層のニューロンの出力値ｙＰｉは、望ましい出力値ｔｐ
１に収束していく。１一般に逆伝搬学習法を用いる時は
、全パターンについて重み係数変更量を求め、一括して
重み係数を変更する方式が多く採用されている。

【００１６】

【発明が解決しようとする課題】ところで、学習回路の
電子回路化の方式としては、アナログ方式、デジタル方
式、両者のハイブリッド方式、光方式がある。本願の発
明者らは、配線が少なく簡易な回路で実現できるアナロ
グ方式を採用し、逆伝搬学習則を用いたニューラルネッ
トワークをハードウェア化する研究を進めている。これ
とほぼ同時期に、逆伝搬学習則をデジタル方式で実現し
た例が報告された。

【００１７】しかしながら、上記したデジタル方式によ
る逆伝搬学習では、回路に大きな近似を導入するか、テ
ーブル変換等でシグモイド（ｓｉｇｍｏｉｄ）及びその
導関数を実現するために、ハードウェア量が大きくなる
等の問題がある。そこで、ここでは、ハードウェア量と
性能のトレードオフを考えて、アナログ方式を用いるよ
うにした。また、ハードウェア化にあたり入力、伝送を
時系列で行なう時分割多重方式を採用した。

【００１８】これにより配線量を低減することができる
ばかりでなく、積和演算に必要な乗算器の個数も低減す
ることができる。また、アナログ方式ではニューロン間
のシナプス結合重みを記憶する、線形性の良い不揮発性
素子を必要とするが、半導体素子で実現するのが困難で
ある。そこで、本発明においては、リーク電流が少なく
線形性もよい、一種の濃淡電池である電気化学積分素子
を用いて、重みの変更と保持を実現するようにしている
。

【００１９】更に、前記した一括して重み係数を変更す
る方式によるとアナログメモリの必要個数が増えるため
、本発明においては、逐次変換方式を用いるようにした
。また、今回、ネットワークについてシミュレーション
により検討を加え、回路定数の適正化を行ない、効率的
なアナログ逆伝搬学習回路の駆動方法を得るようにして
いる。

【００２０】このように、本発明は、ニューロン間で並
列動作するハードウェアにより、簡単な回路構成で、し
かも学習時間を大幅に短縮可能なアナログ逆伝搬学習回
路とその駆動方法を提供することを目的としている。ま
た、本発明は、特に、シグモイド関数回路、重み係数変
更回路及び乗算回路の改良を図り、パターン認識能力の
向上、収束までの学習回数の減少を図ることを目的とし
ている。

【００２１】

【課題を解決するための手段】本発明は、上記目的を達
成するために、入力層から出力層へ伝わる正伝搬モード
と、出力層から入力層へ逆に伝わる学習モードとを有す
るアナログ逆伝搬学習回路において、前記正伝搬モード
において、前層のニューロンの出力をアナログスイッチ
で切り替えて、時系列の入力を得る手段と、該時系列の
入力に同期させて重み係数を読み出し、入力との積を得
る乗算器と、各入力に対する積を積分器で足してニュー
ロンの内部状態を得る手段と、該ニューロンの内部状態
にシグモイド関数を作用させて出力値を得る手段と、前
記学習モードにおける出力層から中間への学習において
、ニューロンの出力と教師信号との誤差を得る減算器と
、その時のニューロンの内部状態にシグモイド導関数を
作用させて得た値との積を乗算器で求め第１の学習信号
を得る手段と、該第１の学習信号と前層の出力との積で
重み係数の変更量を得る手段と、前記学習モードにおけ
る中間層から入力層への学習において、次層での学習信
号と重み係数の積を乗算器で得て、それらの和を加算器
で計算し、誤差信号を得る手段と、前記中間層での各ユ
ニットは所定のタイミングでサンプル＆ホールド回路に
データを取り込み、各ユニットでは該データに、その時
の内部状態にシグモイド導関数に作用させた値を乗じて
第２の学習信号を得る手段と、該第２の学習信号に基づ
いて前記出力層から中間層への学習と同様に重み係数の
変更を行う手段とを設けるようにしたものである。

【００２２】また、入力層から出力層へ伝わる正伝搬モ
ードと、出力層から入力層へ逆に伝わる学習モードとを
有するアナログ逆伝搬学習回路の駆動方法において、前
記正伝搬モードにおいて、前層のニューロンの出力を切
り替えて、時系列の入力を得るステップと、該時系列の
入力に同期させて重み係数を読み出し、入力との積を得
るステップと、各入力に対する積を足してニューロンの
内部状態を得るステップと、該ニューロンの内部状態に
シグモイド関数を作用させて出力値を得るステップと、
前記学習モードにおける出力層から中間層への学習にお
いて、ニューロンの出力と教師信号との誤差を得るステ
ップと、その時のニューロンの内部状態にシグモイド導
関数を作用させて得た値との積を求め第１の学習信号を
得るステップと、該第１の学習信号と前層の出力との積
で重み係数の変更量を得るステップと、前記学習モード
における中間層から入力層への学習において、次層での
学習信号と重み係数の積を得て、それらの和を計算し、
誤差信号を得るステップと、中間層での各ユニットは所
定のタイミングでデータを取り込み、各ユニットでは該
データに、その時の内部状態にシグモイド導関数に作用
させた値を乗じて第２の学習信号を得るステップと、該
第２の学習信号に基づいて前記出力層から中間層への学
習と同様に重み係数の変更を行うステップとを施すよう
にしたものである。

【００２３】

【作用】本発明によれば、入力層から出力層へ伝わる正
伝搬モードと、出力層から入力層へ逆に伝わる学習モー
ドとを有するアナログ逆伝搬学習回路の駆動方法におい
て、（１）前記正伝搬モードにおいて、前層のニューロ
ンの出力を切り替えて、時系列の入力を得て、（２）該
時系列の入力に同期させて重み係数を読み出し、入力と
の積を得て、（３）各入力に対する積を足してニューロ
ンの内部状態を得て、（４）該ニューロンの内部状態に
シグモイド関数を作用させて出力値を得て、（５）前記
学習モードにおける出力層から中間層への学習において
、ニューロンの出力と教師信号との誤差を得て、（６）
その時のニューロンの内部状態にシグモイド導関数を作
用させて得た値との積を求め、第１の学習信号を得て、
（７）該第１の学習信号と前層の出力との積で重み係数
の変更量を得て、（８）前記学習モードにおける中間層
から入力層への学習において、次層での学習信号と重み
係数の積を得て、それらの和を計算し、誤差信号を得て
、（９）中間層での各ユニットは所定のタイミングでデ
ータを取り込み、各ユニットでは該データに、その時の
内部状態にシグモイド導関数に作用させた値を乗じて第
２の学習信号を得て、（１０）該第２の学習信号に基づ
いて前記出力層から中間層への学習と同様に重み係数の
変更を行うようにしている。

【００２４】従って、収束までの学習回数の減少法、さ
らに多様なパターンでの収束性能の向上を図ることがで
きる。

【００２５】

【実施例】以下、本発明の実施例について図面を参照し
ながら詳細に説明する。図１は本発明の実施例を示すア
ナログ逆伝搬学習回路のブロック図である。図中、１〜
４は乗算器、５はシグモイド導関数回路、６は書き込み
回路、７，１０，１１はアナログスイッチ、８は積分回
路、９はシグモイド関数回路、１２は電気化学積分素子
である。

【００２６】ここでは、アナログ電圧を時分割多重方式
で伝送することにより実現している。ネットワークの動
作は、入力層から出力層へ伝わる正伝搬モードと、出力
層から入力層へ逆に伝わる学習モードとに分けられる。以下、図１を用いてその動作の説明を行う。（ａ）正伝搬モード入力は前層のニューロンの出力ｙＰｊをアナログスイッ
チで切り替えることで、時系列の入力としている。これ
に同期させて重み係数ｗｉｊを読み出し、乗算器３で入
力との積を得る。各入力に対する積を積分器で足し込む
ことにより、ニューロンの内部状態ｎｅｔｐｉを得る。

【００２７】

【数６】

【００２８】これに出力関数（シグモイド関数）を作用
させて出力値ｙＰｉを得る。

【００２９】

【数７】

【００３０】（ｂ）学習モード図２（ａ）に示すように、出力層→中間層での学習は、
ニューロンの出力ｙＰｉと教師信号ｔｐｉとの誤差を減
算器１３により求める。その時の内部状態ｎｅｔｐｉに
シグモイド導関数を作用させて得た値との積を乗算器で
計算し、数式３の第１の学習信号δｐ１を得る。

【００３１】重み係数の変更量Δｗは、学習信号と前層
の出力（入力信号）との積で得られる〔数式５参照〕。 εは回路の利得を調整することで決まる。実際の重みの
変更は、重み係数の変更量Δｗに相当する電流を流すこ
とにより、電気化学積分素子の電圧を変えるようにして
いる。一方、図２（ｂ）に示すように、中間→入力層で
は、次層（出力層）での学習信号δｐｉと結合重み係数
ｗｉｊの積を乗算器で求め、それらの和ｅｊ　を加算器
１４で計算し、誤差信号とする。

【００３２】

【数８】

【００３３】この誤差信号は時系列であるから、中間層
での各ユニットは適当なタイミングでサンプル＆ホール
ド回路１５にデータを取り込む。各ユニットではこのデ
ータに、その時の内部状態にシグモイド導関数に作用さ
せた値を乗じて数式４の第２の学習信号を得る。該第２
の学習信号から中間層−出力層の場合と同様に重み係数
の変更を行う。

【００３４】上述の正伝搬学習を行うネットワーク構成
を図３に示す。これは入力、中間、出力層が各３ニュー
ロンの時の構成図である。図３において、２０は入力１
〜３を切り替えるアナログスイッチ、２１はユニット１
〜３、２２はユニット１〜３の出力を切り替えるアナロ
グスイッチ、２３はそのアナログスイッチ２２に接続さ
れるユニット１〜３、２４は減算器、２５は加算器、２
６はサンプル＆ホールド回路である。（ｃ）動作タイミング正伝搬モードと学習モードの切り替えと、重み係数の切
り替えのために制御信号が必要である。また、積和演算
の積分器リセット、サンプル＆ホールド回路のタイミン
グ等も必要である。制御信号はカウンタ及びＥＰＲＯＭ
を用いたタイミングシーケンサにより発生させる。タイ
ミングチャートを図４に示す。

【００３５】まず、積分器リセット信号を入れる〔ステ
ップ（イ）〕。同時に入力、教師信号のパターンを１つ
進める。中間層の正伝搬モードで重み係数を順次替えて
、積和演算を行ない、内部状態、出力を決定する〔ステ
ップ（ロ）〜（ホ）〕。出力層の正伝搬モードは前層の
出力と重み係数を同期させて読みだし積和演算を行ない
内部状態、出力を決定する〔ステップ（ヘ）〜（リ）〕
。

【００３６】ネットワークの出力を保持するためにサン
プル＆ホールド回路のホールド信号をいれる〔ステップ
（ヌ）〕。ここまでが正伝搬モードで、判別だけを行う
時は、ここでリターンする。次に、出力→中間層の学習
信号に重み係数を順次乗じて誤差信号を計算し、前層の
相当するニューロンは同期した信号でホールドする〔ス
テップ（ル）〜（カ）〕。

【００３７】出力→中間層の学習信号は内部状態が決る
と同時に計算されている。中間→入力層も同様に誤差信
号が決まれば学習信号が得られる。学習信号に入力を乗
じ、対応する重みに書き込むことで結合の変更を行う〔
ステップ（ヨ）〜（ソ）〕。以上１８クロックで１入力
パターンの学習が終わる。現在、クロック周波数を１Ｋ
Ｈｚとして、１パターンの１回の学習時間を１８ｍｓか
けて行っている。

【００３８】次に、上記ブロック図で示した各部の回路
構成について説明する。（ａ）積分回路入力に重み係数を乗じた、時系列の値を加算するために
積分回路を用いる。この積分回路は図５に示すようにオ
ペアンプ３０を使った一般的なものを用いた。この時、
出力Ｖｏ１　は数式９で表すことができ、入力に比例し
た加算和が得られることがわかる。

【００３９】

【数９】

【００４０】オン・オフ型アナログスイッチＳ１　は正
伝搬の時だけＯＮになり、ＯＦＦの時積分回路はニュー
ロンの内部状態をホールドし続ける役目をする。フィー
ドバックの抵抗Ｒ２　はホールド時の電圧を安定させる
ために接続されている。また、コンデンサＣ１　と並列
に接続されたアナログスイッチＳ２　は、図４のステッ
プ（イ）でＯＮになり、出力電圧を０Ｖにリセットする
。因みに、抵抗Ｒ１　は３２ＫΩ、抵抗Ｒ２　は３ＭΩ
、Ｃ１　は０．２μＦ、オペアンプ３０はＴＬ０７２で
ある。（ｂ）シグモイド関数回路出力関数として、シグモイド関数を用いている。オペア
ンプ３１とダイオード３２，３３を使った近似関数回路
を図６に示す。入力側にダイオードリミッタ３４をいれ
て、電圧を約±０．５Ｖに変換している。この時ダイオ
ード３２，３３の特性により、飽和型の非線形特性が得
られる。オペアンプ３１の入力にはマイナス電圧で約−
１〜０Ｖにシフトさせ、オペアンプ３１の利得を調整す
ることで出力値０〜１ｖのシグモイド近似関数を得る。因みに、抵抗Ｒ４　は１７．８ＫΩ、抵抗Ｒ５　は１０
ＫΩ、抵抗Ｒ６　は２７０ＫΩ、抵抗Ｒ７　は８．８７
ＫΩ、ダイオード３２，３３は１Ｓ１５８８、オペアン
プ３１はＴＬ０７２、−ＶＢ　は−１５Ｖである。

【００４１】入出力特性を図７に示す。図７において、
横軸は入力電圧（ｍＶ）、縦軸は出力電圧（ｍＶ）であ
る。なお、ｎｅｔｐｉを反転して入力すれば、通常のシ
グモイド関数と同様に使える。また、学習の時必要とな
るシグモイド導関数については、後述する。（ｃ）電気化学積分素子と書き込み回路アナログ回路で
問題となる結合重みの保持には、電気化学積分素子（三
洋電機ＭＤ２Ｂ２）を用いている。この電気化学積分素
子は、銀イオン導電性の固体電解質Ａｇ１２１　Ｉ９３
Ｐ１４Ｏ４９と、銀イオン・電子混合導電体Ａｇ４１５
　Ｓｅ１８５　Ｐ１５Ｏ６０とを使用し、通電電気量を
電圧の形で積分記憶する性質を有しており、電圧は電荷
量に比例して変化する。通電を停止した後、出力電圧保
持も非常に安定している（　記憶電位時間変化０．３ｍ
ｖ／４８ｈｒ）。また、正負両方の電圧値を保持できる
ので、興奮性結合、抑制性結合を１つの回路で実現でき
る。以上の点から、この電気化学積分素子は重み係数を
保持するアナログ量記憶素子に適している。

【００４２】電気化学積分素子を重み係数保持素子とし
て使う場合、入力電圧に比例した電荷量を書き込む回路
が必要となる。そのための電圧制御定電流源回路を図８
に示す。図８において、アナログスイッチ４３は重み係
数の切り替え用、アナログスイッチ４４は読み出し（ａ
端子）と書き込み（ｂ端子）の切り替え用である。書き
込み時に入力電圧Ｖｓ２　が入ると、オペアンプ４１の
反転入力側も電圧Ｖｓ２　になり、アースとの間に電流
Ｉ＝Ｖｓ２　／Ｒ８　が流れる。オペアンプ４１には電
流が流れ込まないので、すべて電気化学積分素子４２に
流れる。従って、電気化学積分素子４２の内部電圧に関係なく、
入力電圧Ｖｓ２　に比例した電流を流すことができる。因みに、抵抗Ｒ８　は３９０Ω、オペアンプ４１はＴＬ
０７２である。

【００４３】なお、当初は乗算器出力から抵抗を介して
アナログスイッチに接続する回路を用いていたが、乗算
器出力が小さくなると書き込み電荷量が入力電圧に比例
しなくなるのでこのような回路構成とした。（ｄ）乗算回路乗算回路としては、図９に示すように、トランスコンダ
クタンス乗算器（インターシルＩＣＬ８０１３）を用い
た。トランスコンダクタンス乗算器は、差動増幅器の利
得を外部電圧で制御することにより乗算を行う。図９に
おいて、差動増幅器４５の利得ＡＶ　は、ＡＶ　＝Ｖ０
３／ＶＸ　＝ＲＬ　／ｒｅここで、ｒｅ　はエミッタ抵
抗であり、ｒｅ　＝１／ｇｍ　＝ＫＴ／ｑ・ＩＥ　Ｖ０
３＝ＶＸ　・ＡＶ　＝ＶＸ　・ｑ・ＩＥ　・ＲＬ　／（
ＫＴ）なお、ここで、Ｋはボルッマン定数、Ｔは絶対温
度である。

【００４４】ここで、定電流源の電流値を外部電圧Ｖｙ
　で制御するようにすれば、外部電圧Ｖｙ　とＶＸ　の
積をとることができる。そこで、図９に示すように、エ
ミッタ電流ＩＥ　を制御する。この回路では、Ｖｘ　は
正負両方の値がとれるが、ＶＹ　は正でなければならな
い。これを正負両方に拡張し、リニアリティ、フィード
スルー特性を改善している。

【００４５】従って、トランジスタのトランスコンダク
タンスの特性を利用し、そのままで４象限での乗算が行
うことができる。入出力は電圧値で、２入力の積の１０
分の１の電圧値を出力する。（ｅ）アナログスイッチＣ−ＭＯＳ　　ＩＣを用い、１回路８接点のＨＣ４０５
１と３回路２接点のＨＣ４０５３を用いている。いずれ
もＯＮ抵抗が４０Ω程度と小さい。

【００４６】また、加算器、減算器は標準的なオペアン
プ回路、サンプル＆ホールド回路は市販のＩＣ（ＬＦ３
９８）を用いている。次に、本発明のアナログ逆伝搬学
習回路の回路定数について説明する。ネットワークをハ
ードウェア化すると、様々な制約がでてくる。例えば、
電源電圧での飽和や入出力電流の制限等である。また、
非線形関数を正確に近似しようとすればするほど回路規
模は大きくなり、複雑になっていく。

【００４７】そこで、種々の条件を課して回路シミュレ
ーションを行ない、回路定数の適正化を行った。さらに
、シグモイド導関数を実現し易い簡略化した形に変え、
その収束状況をシミュレーションし、簡略化の影響を調
べた。（Ａ）シミュレーションと実測値の比較シミュレーショ
ンが正確に回路動作を表すかどうか、学習後の重み係数
の値と出力値を比べて確認した。簡単のため、シグモイ
ド導関数を除いた二層構成のネットワーク（入力層３、
出力層３ニューロン）で、比較を行った。ε＝０．５６
の時の結果を表１に示す。入力は３パターンで各パター
ンベクトルが直交している単純な場合である。表１より
重み係数、出力値ともほぼ一致していることがわかり、
本シミュレーションが回路動作を十分反映していると考
えられる。以後、パラメータ変更の楽なシミュレーショ
ンで回路の検討を行った。

【００４８】最終的に考慮した点は、各ＩＣの電源電圧
における出力電圧飽和、重み係数変更用電流回路の出力
電流制限、アナログスイッチのＯＮ抵抗、アナログスイ
ッチ保護のための入力制限等である。また、シグモイド
関数は、シグモイド関数回路より実測した値を折れ線近
似して用いている。

【００４９】

【表１】

【００５０】（Ｂ）二層構成ネットワーク回路化された
ネットワークでは、学習時のεの値は各演算回路の利得
により決定される。前述の二層構成のネットワークにお
いて、重み係数の増幅度を変えることでεの値を変化さ
せて、収束の変化について調べた。入力は３パターンで
、各パターンベクトル間の角度が１０度しか離れていな
い近接パターンである。重み係数の初期値は±１０ｍＶ
の範囲の乱数である。結果を表２に示す。出力と教師信号の二乗誤差が０．１以下となった時を収
束とした。なお、εが０．５６以下の時は重み係数の更
新が遅く、収束までの学習回数が多くなってしまう。逆
にεが５６．６のように大きすぎると振動してしまい、
安定な収束は得られない。結局、εが５．６でうまく動
作した。さらに、初期値を小さくする（±１ｍＶ）こと
により、収束までの学習回数は表２の１／４〜１／５ま
で減少した。実際の回路でも同様の学習回数で収束する
ことを確認することができた。

【００５１】

【表２】

【００５２】（Ｃ）シグモイド導関数の検討二層構成の
ネットワークでは、ＥＸＯＲ（排他的論理和）のように
線形分離できないパターンは識別できないことが知られ
ている。そのようなパターンでも識別できるように、ネ
ットワークを三層構成とし、シグモイド導関数も加える
。しかし、シグモイド導関数は正確な関数の実現が難し
いので、簡単化した関数を考えて検討を行った。

【００５３】（ａ）シグモイド導関数の評価シグモイド
導関数の実際の形状〔図１０（ａ）〕を参考にして、導
関数を簡単化し、三角近似〔図１０（ｂ）〕、方形近似
〔図１０（ｃ）〕、一定値〔図１０（ｄ）〕の場合につ
き検討した。一定値は導関数がないことを意味する。三
層構成のネットワークで入力をＥＸＯＲパターンとした
時、各導関数の収束への影響を調べた結果を表３に示す
。

【００５４】なお、ここで、ニューロン数は入力、中間
、出力層でそれぞれ２、３、２個である。εは０．１と
して、重み係数の初期値は±１０ｍＶの範囲の乱数で１
０回変更した。収束判定は前章と同様である。一定値で
は収束せず、適当な導関数が必要なことがわかる。方形
近似の場合はＭ＝２Ｖで表３の収束学習回数が得られ、
Ｍの値を変えてもこれ以上の改善は得られなかった。三
角近似で行った場合は、収束までの学習回数がシグモイ
ド導関数の時と大差無く、十分代用できることがわかる
。

【００５５】

【表３】

【００５６】次に、三角近似での裾の広がりの影響につ
いて、同様に調べた結果を表４に示す。広がり（Ｌ）は
小さすぎると学習が進んでからの誤差の減り方が遅く、
収束までの回数が増える。これは、望ましい出力を得る
前に導関数の値が小さくなり、重み係数の変更が鈍くな
るためと考えられる。（Ｌ）が大きすぎると初期値によ
っては回数が増えてしまう。なお、（Ｌ）の大きさにつ
いては、４Ｖを中心に±０．５Ｖ程度の誤差であれば収
束に影響しないことがわかった。

【００５７】

【表４】

【００５８】（ｂ）シグモイド導関数回路前項の評価を
ふまえ、シグモイド導関数は三角近似した回路を用いて
、±４Ｖの範囲で値を持つようにした。オペアンプとダ
イオードによる折れ線近似回路を図１１に示す。２つの
折れ線を加算することで三角近似を実現している。第１
のオペアンプ５１では、ダイオード５４に加わる電圧は
、

【００５９】

【数１０】

【００６０】の時零となる。この点を境に入力の抵抗値
が変化する。すなわち、増幅度はこれより小さいＶｓ３
の時、

【００６１】

【数１１】

【００６２】大きいＶｓ３の時

【００６３】

【数１２】

【００６４】となり、−（Ｒ１０／Ｒ１１）ＶＢ　の点
で折れ線となる。第２のオペアンプ５２でも同様であり
、入力が−（Ｒ１５／Ｒ１６）ＶＢ　の時入力抵抗が、
出力が−（Ｒ１９／Ｒ１８）ＶＢ　の時フィードバック
抵抗がそれぞれ変わり、増幅度を変化させる。抵抗値を
うまく選ぶことにより、図１０（ｂ）に示した入出力特
性を実現する。なお、５３、５５、５６はダイオードで
ある。

【００６５】実際の回路の特性を図１２に示す。図１２
において、横軸は入力電圧（ｍＶ）、縦軸は出力電圧（
ｍＶ）である。（Ｄ）三層構成でのシミュレーションとの比較ネットワ
ークを三層構成にして、前述の三角近似導関数を組み込
んだ時のシミュレーションと実測値の比較を行った。ε
は０．１であり、初期値は±１０ｍＶの範囲の乱数であ
る。

【００６６】直交パターン、近接パターン、ＥＸＯＲパ
ターンともシミュレーションと同程度の学習回数で教師
信号にほぼ一致した出力パターンとなった。しかし、重
み係数の値は近接、ＥＸＯＲパターンの場合、全く違う
ものとなった。その時の重み係数値を用いても、二乗誤
差は小さいことがシミュレーションで確かめられた。ま
た、シミュレーションである程度学習した後の重み係数
を用いて回路を動作させた。その時の二乗誤差は１．６
３で重み係数は±３０ｍＶの範囲であった。収束した時
の重み係数はほぼ等しくなった（表５）。そこで、実際
の回路では学習初期段階で誤差を含み、シミュレーショ
ンとは別の初期値から始めた様になってしまい、別の解
に収束したと考えられる。

【００６７】

【表５】

【００６８】このように、シミュレーションにより回路
の検討を行った結果、二層構成のネットワークでシグモ
イド導関数が無い場合、εを調整することにより入力が
近接しているパターンでも、十分早い回数で収束するこ
とを確かめられた。三層構成のネットワークでＥＸＯＲ
パターンの様に線形分離できないパターンを学習するに
は、導関数が必要となってくる。その場合でも三角近似
した導関数で代用できることが確かめられた。この関数
はオペアンプとダイオードによる折れ線近似回路で実現
することができる。

【００６９】なお、本発明は上記実施例に限定されるも
のではなく、本発明の趣旨に基づいて種々の変形が可能
であり、これらを本発明の範囲から排除するものではな
い。

【００７０】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、逆伝搬学習法のハードウェア化を、アナログ電
圧を時分割して伝送する方法で実現し、配線及び回路を
簡素化することができ、しかも学習時間を大幅に短縮す
ることができる。また、重み係数の保持は電気化学積分
素子で行ったが、線形性がよく保持特性も優れており、
正負両方の電圧を保持できることにより、可変の重み係
数を扱うのに適している。

【００７１】更に、シミュレーションにより、二層構成
のネットワークでシグモイド導関数が無い場合、εを調
整することにより入力が近接しているパターンでも、十
分早い回数で収束することができる。また、三層構成の
ネットワークでＥＸＯＲパターンの様に線形分離できな
いパターンを学習するには、導関数が必要となってくる
が、その場合でも三角近似した導関数で代用できる。

【００７２】従って、上記のように構成することにより
、収束までの学習回数の減少法、さらに多様なパターン
での収束性能の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の実施例を示すアナログ逆伝搬学習回路
のブロック図である。

【図２】本発明の出力→中間層及び中間→入力層におけ
る誤差信号の説明図である。

【図３】本発明の実施例を示す正伝搬、学習を行うネッ
トワークの構成図である。

【図４】本発明の実施例を示すアナログ逆伝搬学習回路
の動作タイミングチャートである。

【図５】本発明の実施例を示すアナログ逆伝搬学習回路
の積分回路の構成図である。

【図６】本発明の実施例を示すアナログ逆伝搬学習回路
のシグモイド関数回路図である。

【図７】本発明の実施例を示すアナログ逆伝搬学習回路
のシグモイド関数入出力特性図である。

【図８】本発明の実施例を示すアナログ逆伝搬学習回路
の重み係数変更回路図である。

【図９】本発明の実施例を示すアナログ逆伝搬学習回路
の乗算器回路図である。

【図１０】本発明の実施例を示すアナログ逆伝搬学習回
路のシグモイド及び近似導関数の概略を示す図である。

【図１１】本発明の実施例を示すアナログ逆伝搬学習回
路の三角近似導関数回路図である。

【図１２】本発明の実施例を示すアナログ逆伝搬学習回
路の三角近似導関数入出力特性図である。

【図１３】モデル化されたニューロンを示す図である。

【図１４】アナログ逆伝搬学習回路の概略構成図である
。

【符号の説明】

１〜４　　　　乗算器５　　　　シグモイド導関数回路６　　　　書き込み回路７，１０，１１，２０，２２，４３，４４　　　　アナ
ログスイッチ８　　　　積分回路９　　　　シグモイド関数回路１２，４２　　　　電気化学積分素子１３，２４　　　　減算器１４，２５　　　　加算器１５，２６　　　　サンプル＆ホールド回路２１，２３
　　　　ユニット１〜３３０，３１，４１　　　　オペアンプ３２，３３，５４，５５，５６　　　　ダイオード３４
　　　　ダイオードリミッタ４５　　　　差動増幅器５１　　　　第１のオペアンプ５２　　　　第２のオペアンプ５３　　　　第３のオペアンプ

Claims

【特許請求の範囲】

【請求項１】　　入力層から出力層へ伝わる正伝搬モー
ドと、出力層から入力層へ逆に伝わる学習モードとを有
するアナログ逆伝搬学習回路において、（ａ）前記正伝
搬モードにおいて、前層のニューロンの出力をアナログ
スイッチで切り替えて、時系列の入力を得る手段と、（
ｂ）該時系列の入力に同期させて重み係数を読み出し、
入力との積を得る乗算器と、（ｃ）各入力に対する積を
積分器で足してニューロンの内部状態を得る手段と、（
ｄ）該ニューロンの内部状態にシグモイド関数を作用さ
せて出力値を得る手段と、（ｅ）前記学習モードにおけ
る出力層から中間層への学習において、ニューロンの出
力と教師信号との誤差を得る減算器と、（ｆ）その時の
ニューロンの内部状態にシグモイド導関数を作用させて
得た値との積を乗算器で求め、第１の学習信号を得る手
段と、（ｇ）該第１の学習信号と前層の出力との積で重
み係数の変更量を得る手段と、（ｈ）前記学習モードに
おける中間層から入力層への学習において、次層での学
習信号と結合重み係数の積を乗算器で得て、それらの和
を加算器で計算し、誤差信号を得る手段と、（ｉ）前記
中間層での各ユニットは所定のタイミングでサンプル＆
ホールド回路にデータを取り込み、各ユニットでは該デ
ータにその時の内部状態にシグモイド導関数に作用させ
た値を乗じて第２の学習信号を得る手段と、（ｊ）該第
２の学習信号に基づいて前記出力層から中間層への学習
と同様に重み係数の変更を行う手段とを具備するアナロ
グ逆伝搬学習回路。
【請求項２】　　シグモイド関数回路の入力側にダイオ
ードリミッタを接続して飽和型の非線形特性を得ること
を特徴とする請求項１記載のアナログ逆伝搬学習回路。
【請求項３】　　重み係数変更回路の書き込み回路を電
圧制御定電流源回路構成とし、電気化学積分素子の内部
電圧に関係なく、入力電圧に比例した電流を得て、該電
流を電気化学積分素子に流すようにしたことを特徴とす
る請求項１記載のアナログ逆伝搬学習回路。
【請求項４】　　乗算器のトランジスタのトランスコン
ダクタンスの特性を用いて、４象限の乗算を行うことを
特徴とする請求項１記載のアナログ逆伝搬学習回路。
【請求項５】　　線形分離できないパターンを学習する
際に、三角近似した導関数を用いて学習することを特徴
とする請求項１記載のアナログ逆伝搬学習回路。
【請求項６】　　入力層から出力層へ伝わる正伝搬モー
ドと、出力層から入力層へ逆に伝わる学習モードとを有
するアナログ逆伝搬学習回路の駆動方法において、（ａ
）前記正伝搬モードにおいて、前層のニューロンの出力
を切り替えて、時系列の入力を得るステップと、（ｂ）
該時系列の入力に同期させて重み係数を読み出し、入力
との積を得るステップと、（ｃ）各入力に対する積を足
してニューロンの内部状態を得るステップと、（ｄ）該
ニューロンの内部状態にシグモイド関数を作用させて出
力値を得るステップと、（ｅ）前記学習モードにおける
出力層から中間層への学習において、ニューロンの出力
と教師信号との誤差を得るステップと、（ｆ）その時の
ニューロンの内部状態にシグモイド導関数を作用させて
得た値との積を求め、第１の学習信号を得るステップと
、（ｇ）該第１の学習信号と前層の出力との積で重み係
数の変更量を得るステップと、（ｈ）前記学習モードに
おける中間層から入力層への学習において、次層での学
習信号と結合重み係数の積を得て、それらの和を計算し
、誤差信号を得るステップと、（ｉ）中間層での各ユニ
ットは所定のタイミングでデータを取り込み、各ユニッ
トでは該データに、その時の内部状態にシグモイド導関
数に作用させた値を乗じて第２の学習信号を得るステッ
プと、（ｊ）該第２の学習信号に基づいて前記出力層か
ら中間層への学習と同様に重み係数の変更を行うステッ
プとを有するアナログ逆伝搬学習回路の駆動方法。