JP2677656B2 - ニューロコンピュータの集中制御方式 - Google Patents
ニューロコンピュータの集中制御方式Info
- Publication number
- JP2677656B2 JP2677656B2 JP1045209A JP4520989A JP2677656B2 JP 2677656 B2 JP2677656 B2 JP 2677656B2 JP 1045209 A JP1045209 A JP 1045209A JP 4520989 A JP4520989 A JP 4520989A JP 2677656 B2 JP2677656 B2 JP 2677656B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- output
- analog
- input
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Feedback Control In General (AREA)
Description
【発明の詳細な説明】 〔概要〕 アナログニューロンチップをアナログ時分割伝送路に
より結合することで実現されるニューロコンピュータに
関し、 少ない配線本数で階層ネットワークを構成する基本ユ
ニット間でのデータの授受を実現できるようにすること
で、ニューラルネットを実現できるようにし、さらに、
そのニューラルネットを集中的に制御できることを目的
とし、 アナログ信号を第１のアナログバスより時分割的に入
力し、積和演算を行ってアナログ信号を第２のアナログ
バスに出力するアナログニューロンプロセッサの集合か
らなるニューラルネットワークと、該ニューラルネット
ワークの制御情報を格納する制御パターンメモリと、該
制御パターンメモリと重みメモリのアドレスをアクセス
するための信号を発生するシーケンサと、該シーケンサ
の制御によって制御され、前記アナログニューロンプロ
セッサに対する重みデータを格納する重みメモリとを有
するニューロコンピュータにおいて、重みメモリへアド
レス信号を送信するアドレス信号送信手段とよりなるよ
うに構成する。
より結合することで実現されるニューロコンピュータに
関し、 少ない配線本数で階層ネットワークを構成する基本ユ
ニット間でのデータの授受を実現できるようにすること
で、ニューラルネットを実現できるようにし、さらに、
そのニューラルネットを集中的に制御できることを目的
とし、 アナログ信号を第１のアナログバスより時分割的に入
力し、積和演算を行ってアナログ信号を第２のアナログ
バスに出力するアナログニューロンプロセッサの集合か
らなるニューラルネットワークと、該ニューラルネット
ワークの制御情報を格納する制御パターンメモリと、該
制御パターンメモリと重みメモリのアドレスをアクセス
するための信号を発生するシーケンサと、該シーケンサ
の制御によって制御され、前記アナログニューロンプロ
セッサに対する重みデータを格納する重みメモリとを有
するニューロコンピュータにおいて、重みメモリへアド
レス信号を送信するアドレス信号送信手段とよりなるよ
うに構成する。
本発明は、ニューロコンピュータに係り、さらに詳し
くは、アナログニューロンチップをアナログ時分割伝送
路により結合することで実現されるニューロコンピュー
タの集中制御方式に関する。
くは、アナログニューロンチップをアナログ時分割伝送
路により結合することで実現されるニューロコンピュー
タの集中制御方式に関する。
従来の逐次処理コンピュータ（ノイマン型コンピュー
タ）では、使用方法や環境の変化に応じてコンピュータ
のデータ処理機能を調節することが難しいので、適応性
を有するデータ処理方式として、新たに階層ネットワー
クによる並列分散処理方式が提唱されてきている。特
に、バックプロパゲーション法と呼ばれる処理方式（D.
E.Rumelhart,G.E.Hinton,and R.J.Williams,“Learning
Internal Representations by Error Propagation",PA
RALLEL DISTRIBUTED PROCESSING,Vol.1,pp.318−364,Th
e MIT Press,1986）が、その実用性の高から注目されて
いる。
タ）では、使用方法や環境の変化に応じてコンピュータ
のデータ処理機能を調節することが難しいので、適応性
を有するデータ処理方式として、新たに階層ネットワー
クによる並列分散処理方式が提唱されてきている。特
に、バックプロパゲーション法と呼ばれる処理方式（D.
E.Rumelhart,G.E.Hinton,and R.J.Williams,“Learning
Internal Representations by Error Propagation",PA
RALLEL DISTRIBUTED PROCESSING,Vol.1,pp.318−364,Th
e MIT Press,1986）が、その実用性の高から注目されて
いる。
バック・プロパゲーション法では、基本ユニットと呼
ぶ一種のノードと重みを持つ内部結合とから階層ネット
ワークを構成している。第１図に、基本ユニット１の原
理構成を示す。この基本ユニット１は、連続ニューロン
モデルに類似した処理を実行する。すなわち、これは多
入力一出力系となっており、複数の入力｛Yh｝に対しそ
れぞれの内部結合の重み｛Wih｝を乗じる乗算処理部２
と、それらの全乗算結果を加算する累算処理部３と、こ
の加算値に非線形の閾値処理を施して１つの最終出力Xi
を出力する閾値処理部４とを備える。
ぶ一種のノードと重みを持つ内部結合とから階層ネット
ワークを構成している。第１図に、基本ユニット１の原
理構成を示す。この基本ユニット１は、連続ニューロン
モデルに類似した処理を実行する。すなわち、これは多
入力一出力系となっており、複数の入力｛Yh｝に対しそ
れぞれの内部結合の重み｛Wih｝を乗じる乗算処理部２
と、それらの全乗算結果を加算する累算処理部３と、こ
の加算値に非線形の閾値処理を施して１つの最終出力Xi
を出力する閾値処理部４とを備える。
第27図は階層型ニューラルネットワークの構成概念図
である。構成の多数の基本ユニット｛１−h,1−i,1−
ｊ｝が、第２図に示すように階層的に接続されること
で、入力信号パターンに対応するところの出力信号パタ
ーンが出力されることになる。
である。構成の多数の基本ユニット｛１−h,1−i,1−
ｊ｝が、第２図に示すように階層的に接続されること
で、入力信号パターンに対応するところの出力信号パタ
ーンが出力されることになる。
学習時には、出力パターンと目的とする教師パターン
の差が小さくなるように、各階層間の結合の重み
｛Wih｝が決定される。このような学習は、複数の入力
パターンに対して行われ、多重化される。また、連想時
には、入力パターンが学習時に入力した完全情報と少し
異なる不完全な情報であっても、学習時の教師パターン
に近い出力パターンが得られることにより、連想処理が
可能となる。
の差が小さくなるように、各階層間の結合の重み
｛Wih｝が決定される。このような学習は、複数の入力
パターンに対して行われ、多重化される。また、連想時
には、入力パターンが学習時に入力した完全情報と少し
異なる不完全な情報であっても、学習時の教師パターン
に近い出力パターンが得られることにより、連想処理が
可能となる。
このような構成のニューロコンピュータを現実のもの
としていくためには、階層ネットワークを構成すること
になる基本ユニット１間のデータの授受を、できる限り
少ない配線本数で実現していく必要がある。このこと
は、複雑なデータ処理を実現していくために、階層ネッ
トワークの構成をより多層化したり、基本ユニットの数
を増していく必要があるという背景のもとで、どうして
も解決していかなくてはならない課題の１つなのであ
る。
としていくためには、階層ネットワークを構成すること
になる基本ユニット１間のデータの授受を、できる限り
少ない配線本数で実現していく必要がある。このこと
は、複雑なデータ処理を実現していくために、階層ネッ
トワークの構成をより多層化したり、基本ユニットの数
を増していく必要があるという背景のもとで、どうして
も解決していかなくてはならない課題の１つなのであ
る。
しかしながら、先に説明したデータ転送方式では、第
27図に示す階層ネットワークの構成からも明らかなよう
に、２つの層間の配線本数が極めて多くなることから、
階層ネットワークをチップ化するときに、小さくできな
くなると共に、信頼性を高めることができなくなるとい
う問題点がある。例えば、隣接する２つの層の基本ユニ
ット数を同じとし、すべての基本ユニット１が互いに接
続されるという完全結合を想定するならば、配線本数は
基本ユニット数の２乗に比例して増加することになる。
このように、配線本数が急激に増加してしまう。
27図に示す階層ネットワークの構成からも明らかなよう
に、２つの層間の配線本数が極めて多くなることから、
階層ネットワークをチップ化するときに、小さくできな
くなると共に、信頼性を高めることができなくなるとい
う問題点がある。例えば、隣接する２つの層の基本ユニ
ット数を同じとし、すべての基本ユニット１が互いに接
続されるという完全結合を想定するならば、配線本数は
基本ユニット数の２乗に比例して増加することになる。
このように、配線本数が急激に増加してしまう。
本発明は、少ない配線本数で階層ネットワークを構成
する基本ユニット間でのデータの授受を実現できるよう
にすることで、ニューラルネットを実現できるように
し、さらに、そのニューラルネットを集中的に制御でき
ることを目的とする。
する基本ユニット間でのデータの授受を実現できるよう
にすることで、ニューラルネットを実現できるように
し、さらに、そのニューラルネットを集中的に制御でき
ることを目的とする。
第1A図は本発明のニューロコンピュータのシステムブ
ロック図である。
ロック図である。
ニューラルネットワーク18は各層の入力側にある共通
の第１のアナログバスからアナログ信号を時分割で入力
しデジタル重みデータを用いて積和演算を実行してアナ
ログ信号をその層の出力側にある共通の第２のアナログ
バスに出力するアナログニューロプロセッサ（以下ANP
と記す）の集合を層とする少なくとも１層以上のネット
ワークである。
の第１のアナログバスからアナログ信号を時分割で入力
しデジタル重みデータを用いて積和演算を実行してアナ
ログ信号をその層の出力側にある共通の第２のアナログ
バスに出力するアナログニューロプロセッサ（以下ANP
と記す）の集合を層とする少なくとも１層以上のネット
ワークである。
制御パターンメモリ12は前記ニューラルネットワーク
の制御信号のパターンを格納する。重みメモリ14は重み
データを格納する。シーケンサ13は該制御パターンメモ
リ12及び重みメモリ14のアドレスを発生する。デジタル
制御手段15はMPUと主記憶を有する汎用の処理装置であ
ってネットワーク18とD/A及びA/Dコンバータ16,17を介
して接続され、前記ニューラルネットワーク、制御パタ
ーンメモリ、シーケンサ、重みメモリの全体を制御す
る。本発明はこのようにしてニューロコンピュータシス
テムを集中制御する。
の制御信号のパターンを格納する。重みメモリ14は重み
データを格納する。シーケンサ13は該制御パターンメモ
リ12及び重みメモリ14のアドレスを発生する。デジタル
制御手段15はMPUと主記憶を有する汎用の処理装置であ
ってネットワーク18とD/A及びA/Dコンバータ16,17を介
して接続され、前記ニューラルネットワーク、制御パタ
ーンメモリ、シーケンサ、重みメモリの全体を制御す
る。本発明はこのようにしてニューロコンピュータシス
テムを集中制御する。
アナログ入力信号を時分割でアナロクニューロチップ
に入力し、この信号と重みデータとの積を取り、この積
信号をそれぞれ加算して得られる積和信号を非線形関数
回路を通して出力することによりアナログニューロチッ
プを構成する。このアナログニューロチップを複数個用
いて階層型あるいは帰還型のニューラルネットワーク18
を構成し、このニューラルネットワーク18にシーケンサ
13によってアクセスすべきアドレスが与えられた制御パ
ターンメモリ12から出力される制御信号を加える。また
ニューラルネットワーク18には学習等によって得られる
重みデータが重みメモリ14から供給される。そしてニュ
ーラルネットワーク18、制御パターンメモリ12、シーケ
ンサ13、重みメモリ14はディジタル制御手段15のディジ
タル信号によって制御され、且つ管理される。また、デ
ィジタル制御手段15内のMPUでは、特に、学習アルゴリ
ズムが実行され、かつ出力信号のチェックなどが行われ
る。このようにして、時分割アナログ入力信号と時分割
アナログ出力信号を用いることを特徴とするアナログニ
ューロコンピュータシステムが集中制御された形で実現
される。
に入力し、この信号と重みデータとの積を取り、この積
信号をそれぞれ加算して得られる積和信号を非線形関数
回路を通して出力することによりアナログニューロチッ
プを構成する。このアナログニューロチップを複数個用
いて階層型あるいは帰還型のニューラルネットワーク18
を構成し、このニューラルネットワーク18にシーケンサ
13によってアクセスすべきアドレスが与えられた制御パ
ターンメモリ12から出力される制御信号を加える。また
ニューラルネットワーク18には学習等によって得られる
重みデータが重みメモリ14から供給される。そしてニュ
ーラルネットワーク18、制御パターンメモリ12、シーケ
ンサ13、重みメモリ14はディジタル制御手段15のディジ
タル信号によって制御され、且つ管理される。また、デ
ィジタル制御手段15内のMPUでは、特に、学習アルゴリ
ズムが実行され、かつ出力信号のチェックなどが行われ
る。このようにして、時分割アナログ入力信号と時分割
アナログ出力信号を用いることを特徴とするアナログニ
ューロコンピュータシステムが集中制御された形で実現
される。
以下、図面を参照して本発明の実施例を説明する。
第1B図は本発明のニューロチップから構成されるアナ
ログニューロプロセッサ（ANP）11のデュアルインライ
ンパッケージの概略図である。これは、MB4442と呼ばれ
ニューロンモデルの処理を実行する。内部の閾値処理部
はシグモイド関数で置換したモデルとなっている。アナ
ログニューロチップはANPと呼ばれ、アナログデータを
入出力するデバイスである。第1C図は本発明のANPの内
部構成図である。第1C図に示すようにANP11はアナログ
バスB1とアナログバスB2の間に接続される。ANP11は入
力するアナログ信号と重みを掛けるアナログ乗算部22、
積の輪を求めるアナログ加算部23、和を保持するサンプ
ル／ホールド部24、シグモイド関数の値を出力する非線
形関数部25よりなる。第1B図のANP11の各端子を説明す
る。ANP11の内部はアナログ回路部とディジタル回路部
から構成されている。＋−６ボルトの端子は、アナログ
回路部のオペアンプに供給される電源端子である。Din
及びDoutはアナログ入力信号及び出力信号の端子であ
る。AGNDはアナログ回路部の接地端子である。Rt＋及び
Rt−端子はアナログ回路部にある積分回路の外付抵抗Ｒ
の端子であり、Ct＋、Ct−端子は同じく積分回路の外付
キャパシタＣの端子である。DGNDはディジタル回路部の
グランド端子である。＋５ボルトはディジル回路部の電
源端子である。RSTは積分回路のキャパシタの電荷等の
リセットを行うリセット信号端子である。CSI及びCSOは
ディジーチェーン用制御信号の入出力端子であり、OCは
オフセットキャンセル制御信号用端子、S/H端子は、サ
ンプル／ホールド用制御信号端子、SYNCは各層の処理に
対する同期信号端子、DCLKはアナログ入力信号の処理を
行うための基本クロック信号端子、WCLKはディジタル重
みデータを取り込むためのクロック端子、WDはビットシ
リアルで入力するディジタル重みデータ用の端子であ
る。
ログニューロプロセッサ（ANP）11のデュアルインライ
ンパッケージの概略図である。これは、MB4442と呼ばれ
ニューロンモデルの処理を実行する。内部の閾値処理部
はシグモイド関数で置換したモデルとなっている。アナ
ログニューロチップはANPと呼ばれ、アナログデータを
入出力するデバイスである。第1C図は本発明のANPの内
部構成図である。第1C図に示すようにANP11はアナログ
バスB1とアナログバスB2の間に接続される。ANP11は入
力するアナログ信号と重みを掛けるアナログ乗算部22、
積の輪を求めるアナログ加算部23、和を保持するサンプ
ル／ホールド部24、シグモイド関数の値を出力する非線
形関数部25よりなる。第1B図のANP11の各端子を説明す
る。ANP11の内部はアナログ回路部とディジタル回路部
から構成されている。＋−６ボルトの端子は、アナログ
回路部のオペアンプに供給される電源端子である。Din
及びDoutはアナログ入力信号及び出力信号の端子であ
る。AGNDはアナログ回路部の接地端子である。Rt＋及び
Rt−端子はアナログ回路部にある積分回路の外付抵抗Ｒ
の端子であり、Ct＋、Ct−端子は同じく積分回路の外付
キャパシタＣの端子である。DGNDはディジタル回路部の
グランド端子である。＋５ボルトはディジル回路部の電
源端子である。RSTは積分回路のキャパシタの電荷等の
リセットを行うリセット信号端子である。CSI及びCSOは
ディジーチェーン用制御信号の入出力端子であり、OCは
オフセットキャンセル制御信号用端子、S/H端子は、サ
ンプル／ホールド用制御信号端子、SYNCは各層の処理に
対する同期信号端子、DCLKはアナログ入力信号の処理を
行うための基本クロック信号端子、WCLKはディジタル重
みデータを取り込むためのクロック端子、WDはビットシ
リアルで入力するディジタル重みデータ用の端子であ
る。
第２図は、本発明のアナログニューロプロセッサ（AN
P）の原理構成図である。
P）の原理構成図である。
別々のANP（図示せず）から時分割的に送られてくる
アナログ入力信号をアナログバスB1からANP11内のアナ
ログ乗算部22に入力し、このアナログ乗算部22ではシフ
トレジスタ27を介してビットシリアルに入力されその後
直並列変換されたディジタル重みデータWDと掛け算し
て、アナログ入力信号とディジタル重みデータとの積を
示す積信号を得る。次の、アナログ加算部23は、外付け
の抵抗ＲとキャパシタＣからなるミラー積分回路であっ
て、アナログバスB1に接続された前段の複数のANP（ANP
の存在する場所をノードと呼ぶ）から時分割で送られる
アナログ入力信号とダミーノードから送あれる閾値用の
アナログ入力信号とからそれぞれ得られる積信号の和を
求めるものである。次に、サンプル／ホールド部24で積
信号を所望時間待たせるためにホールドした後に、さら
にそのサンプル／ホールドされた出力を非線形関数部25
を介して変換する。出力制御部26では、シーケンスジェ
ネレータ28の制御を受けて所定時間遅延させた後に、ア
ナログ出力信号DoutをアナログバスB2へ出力する。な
お、シーケンスジェネレータ28は内部に供給される制御
信号も生成する。そして、位相制御部29では、おもにAN
P内のアナログ回路部とディジタル回路部を接続する各
スイッチのオンかオフが確実に行われるように、制御信
号の位相を制御するもので、特に、第１のスイッチがオ
ンのとき第２のスイッチをオフにする場合それ等のスイ
ッチが同時にオンする場合がないように制御信号の位相
を制御する。
アナログ入力信号をアナログバスB1からANP11内のアナ
ログ乗算部22に入力し、このアナログ乗算部22ではシフ
トレジスタ27を介してビットシリアルに入力されその後
直並列変換されたディジタル重みデータWDと掛け算し
て、アナログ入力信号とディジタル重みデータとの積を
示す積信号を得る。次の、アナログ加算部23は、外付け
の抵抗ＲとキャパシタＣからなるミラー積分回路であっ
て、アナログバスB1に接続された前段の複数のANP（ANP
の存在する場所をノードと呼ぶ）から時分割で送られる
アナログ入力信号とダミーノードから送あれる閾値用の
アナログ入力信号とからそれぞれ得られる積信号の和を
求めるものである。次に、サンプル／ホールド部24で積
信号を所望時間待たせるためにホールドした後に、さら
にそのサンプル／ホールドされた出力を非線形関数部25
を介して変換する。出力制御部26では、シーケンスジェ
ネレータ28の制御を受けて所定時間遅延させた後に、ア
ナログ出力信号DoutをアナログバスB2へ出力する。な
お、シーケンスジェネレータ28は内部に供給される制御
信号も生成する。そして、位相制御部29では、おもにAN
P内のアナログ回路部とディジタル回路部を接続する各
スイッチのオンかオフが確実に行われるように、制御信
号の位相を制御するもので、特に、第１のスイッチがオ
ンのとき第２のスイッチをオフにする場合それ等のスイ
ッチが同時にオンする場合がないように制御信号の位相
を制御する。
なお、シーケンスジェネレータ28は、リセット信号RS
T、DCLK、WCLK、SYNC、S/H、OC、CSIを後述するマスタ
コントロールブロックから入力するとともにCSOを出力
し、ANPの内部の制御信号を生成する。
T、DCLK、WCLK、SYNC、S/H、OC、CSIを後述するマスタ
コントロールブロックから入力するとともにCSOを出力
し、ANPの内部の制御信号を生成する。
ニューラルネットワークでは、同時処理により高速演
算を行う必要がある。本発明では時分割データを使って
いるが、定常状態では、各ANPがパイプライン的に同時
処理を行う。理想的なニューラルネットワークでは、ニ
ューロンは他のそれぞれのニューロンに相互結合した結
線が必要であるが、このままシステムを実現しようとす
ると、配線数が多くなる。そこで、本発明では時分割デ
ータを扱うので、各ANP内の積和の処理時間が伸びる
が、それを縦方向に、すなわち同層方向にチップを並列
に並べることで、層内のニューロチップを構成するANP
の同時処理により、その処理時間を改善する。また、各
層ではパイプライン処理が可能で、このことでも処理時
間が小さくなる。アナログバスに接続した例えば３個の
各ニューロチップには、入力が入ってくると、それは３
個とも同時に入り３個とも並列に、そのアナログ電圧に
対して、各ANPが重みとの積を生成し、それを積分器の
キャパシタに電荷として保持する。そして、次の時間区
域で、同じアナログバスのアナログ入力に対して、各AN
Pは重みとの積を形成し積分器のキャパシタ内に前の時
間区域で決まった積に加え込むことになる。前段のすべ
てのANPからのアナログ入力信号に対する重みとの積に
対する和が生成された後、その和はサンプル／ホールド
される。その後、シグモイド関数を介して出力される
が、これは、CSI制御信号入力時に出力される。そし
て、出力完了時にCSIが立ち下がり、その後一定時間遅
延後にCSOを立ち上げて、出力バスの使用権を同一層内
の隣接ニューロチップからなるANPに与える。
算を行う必要がある。本発明では時分割データを使って
いるが、定常状態では、各ANPがパイプライン的に同時
処理を行う。理想的なニューラルネットワークでは、ニ
ューロンは他のそれぞれのニューロンに相互結合した結
線が必要であるが、このままシステムを実現しようとす
ると、配線数が多くなる。そこで、本発明では時分割デ
ータを扱うので、各ANP内の積和の処理時間が伸びる
が、それを縦方向に、すなわち同層方向にチップを並列
に並べることで、層内のニューロチップを構成するANP
の同時処理により、その処理時間を改善する。また、各
層ではパイプライン処理が可能で、このことでも処理時
間が小さくなる。アナログバスに接続した例えば３個の
各ニューロチップには、入力が入ってくると、それは３
個とも同時に入り３個とも並列に、そのアナログ電圧に
対して、各ANPが重みとの積を生成し、それを積分器の
キャパシタに電荷として保持する。そして、次の時間区
域で、同じアナログバスのアナログ入力に対して、各AN
Pは重みとの積を形成し積分器のキャパシタ内に前の時
間区域で決まった積に加え込むことになる。前段のすべ
てのANPからのアナログ入力信号に対する重みとの積に
対する和が生成された後、その和はサンプル／ホールド
される。その後、シグモイド関数を介して出力される
が、これは、CSI制御信号入力時に出力される。そし
て、出力完了時にCSIが立ち下がり、その後一定時間遅
延後にCSOを立ち上げて、出力バスの使用権を同一層内
の隣接ニューロチップからなるANPに与える。
以下、実施例に従っ本発明を詳細に説明する。
第３図はニューロチップである基本ユニットの第１の
実施例構成図である。同図の乗算部32、加算部33、閾値
処理部34は連続ニューロンモデルの実行部であるが、こ
の実施例では出力保持部35が存在する。具体的には、基
本ユニット31に接続される複数の入力をYi、この各接続
に対応して設定される重みをWiとするならば、乗算部32
は、 Yi・Wi を算出し、加算部33は、 Ｘ＝ΣYi・Wi−θ を算出する。但し、θは閾値である。閾値部34は最終出
力をＹとするならば、 Ｙ＝1/（１＋exp（−Ｘ）） ……（１） を算出することになる。
実施例構成図である。同図の乗算部32、加算部33、閾値
処理部34は連続ニューロンモデルの実行部であるが、こ
の実施例では出力保持部35が存在する。具体的には、基
本ユニット31に接続される複数の入力をYi、この各接続
に対応して設定される重みをWiとするならば、乗算部32
は、 Yi・Wi を算出し、加算部33は、 Ｘ＝ΣYi・Wi−θ を算出する。但し、θは閾値である。閾値部34は最終出
力をＹとするならば、 Ｙ＝1/（１＋exp（−Ｘ）） ……（１） を算出することになる。
ダミーノードから入力される“＋1"という値に“−
θ”という重みをかけて加算部33で「Ｘ−θ」の結果が
出力される。従って閾値部34ではＳ字曲線による変換だ
けが行われている。
θ”という重みをかけて加算部33で「Ｘ−θ」の結果が
出力される。従って閾値部34ではＳ字曲線による変換だ
けが行われている。
乗算部32は、乗算型D/Aコンバータ32aで構成され、前
段層の基本ユニット31から、あるいは後述するダミーノ
ードの回路からのアナログ信号（入力スイッチ部37を介
して入力される）の入力と、その入力に対して乗算され
るべきディジタル信号の重み情報（後述する重み保持部
38を介して入力される）との乗算を行って、得られた乗
算結果をアナログ信号で出力するよう処理するもの、加
算部33は、積分器で構成されるアナログ加算器33aとア
ナログ加算器33aの加算結果を保持する保持回路33bとに
より構成される。乗算型D/Aコンバータ32aは、D/Aコン
バータの基準電圧端子にアナログ入力信号を入力し、各
ディジタル入力端子に重みの各ビットをディジタル入力
信号として入力するものであり、結果として、そのアナ
ログ入力信号と重みとの積を生成する。アナログ加算器
33aは、乗算型D/Aコンバータ32aの出力と、前回に求め
られて保持回路33bに保持されている加算値とを加算し
て新たな加算値を求めるもの、保持回路33bは、アナロ
グ加算器33aが求めた加算値をホールドするとともに、
そのホールド値を前回の加算値としてアナログ加算器33
aにフィードバックさせるものである。これらの加算処
理は制御回路39より出力される加算制御信号に同期して
実行される。閾値部34は、アナログの関数発生回路であ
る非線形関数発生回路34aで構成され、入力に対してシ
グモイド関数等の非線形信号を出力するものである。乗
算結果の累算が閾値（−θ）の加算を含めて終了したと
きに、保持回路33bにホールドされている加算値Ｘに対
し閾値（−θ）を加えて（１）式のシグモイド関数の演
算処理を施し、アナログ出力値Ｙを得るもの、出力保持
部35は、サンプルホールド回路で構成され、後段層の基
本ユニット31への出力となる非線形関数発生回路34aの
アナログ信号の出力値Ｙをホールドするものである。
段層の基本ユニット31から、あるいは後述するダミーノ
ードの回路からのアナログ信号（入力スイッチ部37を介
して入力される）の入力と、その入力に対して乗算され
るべきディジタル信号の重み情報（後述する重み保持部
38を介して入力される）との乗算を行って、得られた乗
算結果をアナログ信号で出力するよう処理するもの、加
算部33は、積分器で構成されるアナログ加算器33aとア
ナログ加算器33aの加算結果を保持する保持回路33bとに
より構成される。乗算型D/Aコンバータ32aは、D/Aコン
バータの基準電圧端子にアナログ入力信号を入力し、各
ディジタル入力端子に重みの各ビットをディジタル入力
信号として入力するものであり、結果として、そのアナ
ログ入力信号と重みとの積を生成する。アナログ加算器
33aは、乗算型D/Aコンバータ32aの出力と、前回に求め
られて保持回路33bに保持されている加算値とを加算し
て新たな加算値を求めるもの、保持回路33bは、アナロ
グ加算器33aが求めた加算値をホールドするとともに、
そのホールド値を前回の加算値としてアナログ加算器33
aにフィードバックさせるものである。これらの加算処
理は制御回路39より出力される加算制御信号に同期して
実行される。閾値部34は、アナログの関数発生回路であ
る非線形関数発生回路34aで構成され、入力に対してシ
グモイド関数等の非線形信号を出力するものである。乗
算結果の累算が閾値（−θ）の加算を含めて終了したと
きに、保持回路33bにホールドされている加算値Ｘに対
し閾値（−θ）を加えて（１）式のシグモイド関数の演
算処理を施し、アナログ出力値Ｙを得るもの、出力保持
部35は、サンプルホールド回路で構成され、後段層の基
本ユニット31への出力となる非線形関数発生回路34aの
アナログ信号の出力値Ｙをホールドするものである。
また、36は出力スイッチ部であり、制御回路39よりの
出力制御信号を受けて一定時間ONすることで、出力保持
部35が保持するところの最終出力をアナログバスB2上に
出力するよう処理するもの、37は入力スイッチ部であ
り、制御回路39よりの入力制御信号を受けて前段層の基
本ユニット31から最終出力からのアナログ出力が送られ
てくるときにONすることで入力の受付を行う。38は重み
保持部であり、パラレルアウトシフトレジスタ等により
構成され、重みメモリから送られてくるビットシリアル
の重み信号がバッファ38aのゲートがオーブン（制御回
路39による重み入力制御信号がオン）された時に、この
重み信号を乗算部32が必要とするビットパラレルの重み
として保持するものである。ビットパラレルの重みは乗
算制御信号が与えられたときにパラレルで乗算部に与え
られる。39はディジタル回路部の制御回路で外部からの
同期信号から内部の同期信号を生成するもので、内部の
アナログ処理の機能の制御を実行する。
出力制御信号を受けて一定時間ONすることで、出力保持
部35が保持するところの最終出力をアナログバスB2上に
出力するよう処理するもの、37は入力スイッチ部であ
り、制御回路39よりの入力制御信号を受けて前段層の基
本ユニット31から最終出力からのアナログ出力が送られ
てくるときにONすることで入力の受付を行う。38は重み
保持部であり、パラレルアウトシフトレジスタ等により
構成され、重みメモリから送られてくるビットシリアル
の重み信号がバッファ38aのゲートがオーブン（制御回
路39による重み入力制御信号がオン）された時に、この
重み信号を乗算部32が必要とするビットパラレルの重み
として保持するものである。ビットパラレルの重みは乗
算制御信号が与えられたときにパラレルで乗算部に与え
られる。39はディジタル回路部の制御回路で外部からの
同期信号から内部の同期信号を生成するもので、内部の
アナログ処理の機能の制御を実行する。
このように構成されることで、第３図の信号処理構成
を採る基本ユニット31の入出力がアナログ信号でもって
実現されることになるのである。
を採る基本ユニット31の入出力がアナログ信号でもって
実現されることになるのである。
なお、乗算型D/Aコンバータ32aは、ディジタル信号の
重み情報をパラレルで受け取るようにするものでもよい
し、重み情報をシリアルで受け取ってからパラレル変換
するようにするものでもよい。あるいは、重み情報をア
ナログ信号で構成するならば、乗算型D/Aコンバータ32a
の代わりに、アナログ乗算器を用いることができる。
重み情報をパラレルで受け取るようにするものでもよい
し、重み情報をシリアルで受け取ってからパラレル変換
するようにするものでもよい。あるいは、重み情報をア
ナログ信号で構成するならば、乗算型D/Aコンバータ32a
の代わりに、アナログ乗算器を用いることができる。
第４図は１個の本発明のニューロチップ（ANP）の実
施例の具体的回路図である。
施例の具体的回路図である。
このユニットでは入力部42、乗算部43、加算部44、サ
ンプル／ホールド部45、非線形関数部46、及び出力部47
から構成され、ここでは、出力保持回路はなく、サンプ
ル／ホールド部45が出力保持の機能も有するものとす
る。
ンプル／ホールド部45、非線形関数部46、及び出力部47
から構成され、ここでは、出力保持回路はなく、サンプ
ル／ホールド部45が出力保持の機能も有するものとす
る。
入力部42はオフセットキャンセル部51と、１倍のバッ
ファ49から構成されている。１部のバッファ49は電圧フ
ォロアで、オペアンプの出力を−端子にフィードバック
し、＋端子に入力電圧を入力することによって構成され
る。データ入力はアナログの時分割されたパルス信号で
ある。OCはオフセットコントロール信号であり、これが
１のときアナログスイッチ66がオンし、１倍のバッファ
49には、０電圧が強制的に設定される。一方、オフセッ
トコントロール信号OCが、０のときアナログスイッチ66
はオフされ、他方のアナログスイッチ65がオンし、デー
タ入力が１倍のバッファ49に入力される。すなわち、オ
フセットコントロール信号OCが１である場合には、ニュ
ーロンユニットには０ボルトが強制的に入力されて乗算
出力までの回路のオペアンプ出力に生じるオフセット電
圧に対するオフセットのキャンセルの動作を行うように
している。アナログスイッチ65と66は同図ではOC信号の
反転位相と正相位相でスイッチングの制御が行われてい
るが、位相制御回路によって、同時オンがないようにな
っている。以後このことをOCが「位相制御された」とい
う言い方をすることにする。
ファ49から構成されている。１部のバッファ49は電圧フ
ォロアで、オペアンプの出力を−端子にフィードバック
し、＋端子に入力電圧を入力することによって構成され
る。データ入力はアナログの時分割されたパルス信号で
ある。OCはオフセットコントロール信号であり、これが
１のときアナログスイッチ66がオンし、１倍のバッファ
49には、０電圧が強制的に設定される。一方、オフセッ
トコントロール信号OCが、０のときアナログスイッチ66
はオフされ、他方のアナログスイッチ65がオンし、デー
タ入力が１倍のバッファ49に入力される。すなわち、オ
フセットコントロール信号OCが１である場合には、ニュ
ーロンユニットには０ボルトが強制的に入力されて乗算
出力までの回路のオペアンプ出力に生じるオフセット電
圧に対するオフセットのキャンセルの動作を行うように
している。アナログスイッチ65と66は同図ではOC信号の
反転位相と正相位相でスイッチングの制御が行われてい
るが、位相制御回路によって、同時オンがないようにな
っている。以後このことをOCが「位相制御された」とい
う言い方をすることにする。
正負切換回路52は２つの倍数器をカスケード結合して
構成されている。倍数器では入力抵抗（10KΩ）とフィ
ードバック抵抗（10KΩ）によって10/10、すなわち１倍
の電圧の反転したものが形成され、それを１段だけを通
すか、２段を通すかによってアナログ電圧の符号を決定
している。その制御信号はディジタル重みデータの符号
ビット（SIGN）であり、このSIGNビットはMOSスイッチ7
0のゲートに接続されている。このSIGNの制御信号も位
相制御されている。符号ビットが１である場合に入力部
42からの入力電圧は第１段目の倍数器で反転され、さら
にスイッチ67もオンしているので後段の倍数器も通り、
結果として正相となる。また符号ビットが０である場合
には、回転回路68を介して、スイッチ69がオンとなる。
この時スイッチ67と70はオフしているため、入力部42か
らの入力電圧はスイッチ69を介して後段オペアンプ71の
一端子に入力される。従って、前段の抵抗72と後段のオ
ペアンプのフィードバックの抵抗73とによって倍数器が
形成され、１倍された形で反転される。すなわち、符号
ビットの正負によって入力部42の入力が、正または負の
電圧として形成され、これが、興奮性と抑制性のシナプ
ス結合に従った電圧となる。正負切換回路52からの出力
は乗算部43の中にあるD/Aコンバータ53のＲ−2R抵抗回
路網の74の点、すなわち基準電圧端子に入力される。
構成されている。倍数器では入力抵抗（10KΩ）とフィ
ードバック抵抗（10KΩ）によって10/10、すなわち１倍
の電圧の反転したものが形成され、それを１段だけを通
すか、２段を通すかによってアナログ電圧の符号を決定
している。その制御信号はディジタル重みデータの符号
ビット（SIGN）であり、このSIGNビットはMOSスイッチ7
0のゲートに接続されている。このSIGNの制御信号も位
相制御されている。符号ビットが１である場合に入力部
42からの入力電圧は第１段目の倍数器で反転され、さら
にスイッチ67もオンしているので後段の倍数器も通り、
結果として正相となる。また符号ビットが０である場合
には、回転回路68を介して、スイッチ69がオンとなる。
この時スイッチ67と70はオフしているため、入力部42か
らの入力電圧はスイッチ69を介して後段オペアンプ71の
一端子に入力される。従って、前段の抵抗72と後段のオ
ペアンプのフィードバックの抵抗73とによって倍数器が
形成され、１倍された形で反転される。すなわち、符号
ビットの正負によって入力部42の入力が、正または負の
電圧として形成され、これが、興奮性と抑制性のシナプ
ス結合に従った電圧となる。正負切換回路52からの出力
は乗算部43の中にあるD/Aコンバータ53のＲ−2R抵抗回
路網の74の点、すなわち基準電圧端子に入力される。
Ｒ−2R方式のD/Aコンバータをまず説明する。MSBから
LSBまでのディジタル重みによって内部のスイッチはオ
ンまたはオフをとる。ディジタル値が１である場合に、
電流は右側のスイッチ75を通って、オペアンプ76の仮想
接地点78に流れ込む。オペアンプ76の仮想接地点78は＋
端子と同じ電圧になるように制御され、これがグランド
であるから仮想的な０ボルトである。D/Aコンバータ53
においてＲは10KΩ、2Rは20KΩである。スイッチの状態
に関わらず、2Rの抵抗には電流が流れ、ディジタル値の
値に従ってその2Rに流れる重み電流が仮想接地点78の方
に流れるかどうかが決定される。１番右の2Rに流れる電
流をｉとする。右から２番目すなわちLSBに対応する2R
の電流は１番右の2Rにかかる電圧を2Rで割った値である
から2R×ｉ÷2Rでｉとなる。従って１番右の横方向のＲ
には電流2iが流れる。右から３番目の2Rには2R×ｉ＋Ｒ
×2iの電圧がかかり、これを2Rで割るから2iの電流が流
れる。以下同様で左に行くに従って4i、8iとなって２の
べき乗で増える電流になる。この２のべき乗になった重
み電流をオペアンプの方に流すか流さないかを決めてい
るのがMSBからLSBである。従って、ディジタル重みに対
応する電流が２のべき乗の形で仮想接地78に流れこみ、
オペアンプ76の入力インピーダンスは無限大であるか
ら、この電流がオペアンプ36の帰還抵抗78に流れる。従
って、D/Aコンバータの出力電圧Voutは入力電圧をＥと
すれば、 となる。ここで、D0はLSBで、Dn-1がMSBであるとする。
すなわち、掛算部43の出力は等価的に入力電圧Ｅに重み
を掛けた値になっている。
LSBまでのディジタル重みによって内部のスイッチはオ
ンまたはオフをとる。ディジタル値が１である場合に、
電流は右側のスイッチ75を通って、オペアンプ76の仮想
接地点78に流れ込む。オペアンプ76の仮想接地点78は＋
端子と同じ電圧になるように制御され、これがグランド
であるから仮想的な０ボルトである。D/Aコンバータ53
においてＲは10KΩ、2Rは20KΩである。スイッチの状態
に関わらず、2Rの抵抗には電流が流れ、ディジタル値の
値に従ってその2Rに流れる重み電流が仮想接地点78の方
に流れるかどうかが決定される。１番右の2Rに流れる電
流をｉとする。右から２番目すなわちLSBに対応する2R
の電流は１番右の2Rにかかる電圧を2Rで割った値である
から2R×ｉ÷2Rでｉとなる。従って１番右の横方向のＲ
には電流2iが流れる。右から３番目の2Rには2R×ｉ＋Ｒ
×2iの電圧がかかり、これを2Rで割るから2iの電流が流
れる。以下同様で左に行くに従って4i、8iとなって２の
べき乗で増える電流になる。この２のべき乗になった重
み電流をオペアンプの方に流すか流さないかを決めてい
るのがMSBからLSBである。従って、ディジタル重みに対
応する電流が２のべき乗の形で仮想接地78に流れこみ、
オペアンプ76の入力インピーダンスは無限大であるか
ら、この電流がオペアンプ36の帰還抵抗78に流れる。従
って、D/Aコンバータの出力電圧Voutは入力電圧をＥと
すれば、 となる。ここで、D0はLSBで、Dn-1がMSBであるとする。
すなわち、掛算部43の出力は等価的に入力電圧Ｅに重み
を掛けた値になっている。
その重み係数はMSBからLSBに入力されるディジタル値
で制御されることになる。一方、加算部44は時分割多重
化アナログ信号の各電圧とディジタル重みデータとの各
積についてミラー積分器を時分割的に使用することによ
り累積加算動作を実行する。そして、サンプル／ホール
ド回路45は、加算結果をサンプル／ホールドする。
で制御されることになる。一方、加算部44は時分割多重
化アナログ信号の各電圧とディジタル重みデータとの各
積についてミラー積分器を時分割的に使用することによ
り累積加算動作を実行する。そして、サンプル／ホール
ド回路45は、加算結果をサンプル／ホールドする。
次に加算器44を説明する。加算部44は抵抗Ｒと帰還キ
ャパシタＣによる積分器である。加算器44の入力部には
時分割加算制御部55があり、位相制御されたサンプル／
ホールド信号S/H信号が１のとき乗算部43の出力電圧が
オペアンプの仮想接地点79に入力され、S/H信号が０の
とき反転回路80によりスイッチ81がオンとなって乗算部
43の出力が抵抗Ｒを介してグランドに接続されるので加
算部44帰還キャパシタＣには加算されないことになる。
今、S/H信号が１のとき、乗算部43の出力電圧は抵抗Ｒ
を介してオペアンプ102の−端子に入力し、入力電圧を
抵抗Ｒで割った電流が仮想接地を介して帰還キャパシタ
Ｃの方に入力される。この後、S/H信号がまた０とな
り、乗算部43と加算部44は切り離されるので、乗算部43
は次の入力信号に対して、重みデータを掛けることがで
きる。キャパシタＣを含む積分回路の帰還回路82には４
つのスイッチを用いてオフセットキャンセル機能が付加
されている。今オフセットコントロール信号OCが１にな
ったとすると、スイッチ83と84がオンで、85と86がオフ
となる。オフセットコントロール信号OCが０の時には、
データ入力部42、データ入力端子DATA−INPUTに入力電
圧が与えられ、それに対応する乗算部43の出力が抵抗Ｒ
を介してキャパシタＣに入力される。この時、スイッチ
85,86がオンであり、キャパシタＣの極性はオペアンプ
の−端子に接続されている側が−、オペアンプ102の出
力に接続されている側が＋である。次に、オフセットコ
ントロール信号OCが１である場合にはデータ入力は強制
的には０にされる。この場合、正負切換回路42及び乗算
部43のD/Aコンバータ53を介してもしオフセットがなけ
れば、D/Aコンバータ44の出力は０ボルトとなる。しか
し、オペアンプ49、103、71、102があるためにオフセッ
ト電圧が生じ、そのオフセット電圧が加算部44のキャパ
シタＣに蓄えられる。この場合、前のオフセットコント
ロール信号OCが０である場合と違ってスイッチ83,84が
オンとなり、キャパシタＣの＋−の極性は逆転する。そ
のため、入力信号が入力された時に生じるオフセット電
圧はオフセットコントロール信号OCを１にすることによ
り、キャパシタＣの極性が変わり、結果として、オフセ
ットがキャンセルされることになる。本発明では、この
ように、キャパシタＣの極性の反転を用いて等価的にオ
フセットキャンセル機能を有するように構成されてい
る。なお、スイッチ87はリセット信号によって制御さ
れ、処理開始時にリセット信号が与えられた場合に、キ
ャパシタChの電圧を零にし、加算部の出力を強制的に０
にリセットするものである。このOC信号も位相制御され
ているものとする。
ャパシタＣによる積分器である。加算器44の入力部には
時分割加算制御部55があり、位相制御されたサンプル／
ホールド信号S/H信号が１のとき乗算部43の出力電圧が
オペアンプの仮想接地点79に入力され、S/H信号が０の
とき反転回路80によりスイッチ81がオンとなって乗算部
43の出力が抵抗Ｒを介してグランドに接続されるので加
算部44帰還キャパシタＣには加算されないことになる。
今、S/H信号が１のとき、乗算部43の出力電圧は抵抗Ｒ
を介してオペアンプ102の−端子に入力し、入力電圧を
抵抗Ｒで割った電流が仮想接地を介して帰還キャパシタ
Ｃの方に入力される。この後、S/H信号がまた０とな
り、乗算部43と加算部44は切り離されるので、乗算部43
は次の入力信号に対して、重みデータを掛けることがで
きる。キャパシタＣを含む積分回路の帰還回路82には４
つのスイッチを用いてオフセットキャンセル機能が付加
されている。今オフセットコントロール信号OCが１にな
ったとすると、スイッチ83と84がオンで、85と86がオフ
となる。オフセットコントロール信号OCが０の時には、
データ入力部42、データ入力端子DATA−INPUTに入力電
圧が与えられ、それに対応する乗算部43の出力が抵抗Ｒ
を介してキャパシタＣに入力される。この時、スイッチ
85,86がオンであり、キャパシタＣの極性はオペアンプ
の−端子に接続されている側が−、オペアンプ102の出
力に接続されている側が＋である。次に、オフセットコ
ントロール信号OCが１である場合にはデータ入力は強制
的には０にされる。この場合、正負切換回路42及び乗算
部43のD/Aコンバータ53を介してもしオフセットがなけ
れば、D/Aコンバータ44の出力は０ボルトとなる。しか
し、オペアンプ49、103、71、102があるためにオフセッ
ト電圧が生じ、そのオフセット電圧が加算部44のキャパ
シタＣに蓄えられる。この場合、前のオフセットコント
ロール信号OCが０である場合と違ってスイッチ83,84が
オンとなり、キャパシタＣの＋−の極性は逆転する。そ
のため、入力信号が入力された時に生じるオフセット電
圧はオフセットコントロール信号OCを１にすることによ
り、キャパシタＣの極性が変わり、結果として、オフセ
ットがキャンセルされることになる。本発明では、この
ように、キャパシタＣの極性の反転を用いて等価的にオ
フセットキャンセル機能を有するように構成されてい
る。なお、スイッチ87はリセット信号によって制御さ
れ、処理開始時にリセット信号が与えられた場合に、キ
ャパシタChの電圧を零にし、加算部の出力を強制的に０
にリセットするものである。このOC信号も位相制御され
ているものとする。
加算部44の出力はサンプル／ホールド回路45の入力と
なる。サンプル／ホールド部45では、位相制御されたサ
ンプル／ホールド制御信号S/Houtが１である場合に、ス
イッチ88を介して加算部44の出力がキャパシタChに蓄え
られる。S/Hout制御信号が１である場合には、反転回路
94によってスイッチ90の制御信号は０となり、キャパシ
タChの一方の端子はグランドに接地されず、スイッチ91
がオンになることによりユニットの最終出力信号がその
スイッチ91を介してキャパシタChに入力される。すなわ
ち、その時の最終出力信号がオペアンプ96の出力端から
フィードバックされてキャパシタChの下側に与えられ
る。従って、キャパシタＣには、加算部44の出力から最
終出力信号の値を引いた電圧が保持される。一方S/Hout
制御信号が０のときには、スイッチ89と90がオンし、キ
ャパシタChの下側はグランドとなり、結果としてキャパ
シタＣに蓄えられた電圧、すなわち加算部44の出力から
最終出力値を引いた電圧値がスイッチ89を介して１倍の
オペアンプ93の＋側に入力され、そしてこのオペアンプ
93はバッファとして働いて、オペアンプ93の出力がシグ
モイド関数の入力となる。また、S/Hout制御信号が１の
ときスイッチ88がオンし、キャパシタChには加算器の出
力値と最終出力値との差の電圧が蓄えられているときに
は、スイッチ92がオンしている。そのためオペアンプ93
には０ボルトが強制的に入力される。この時にシグモイ
ド関数46及びオペアンプ96,アナログスイッチ100を介し
てオフセット電圧ΔＶがスイッチ91を介してChの下側に
入力される。したがってS/Hout制御信号が０の時点、す
なわちスイッチ89がオンでスイッチ92がオフである場合
には、Chに蓄えられた電圧、すなわち（加算部の出力−
オフセット電圧ΔＶ）がオペアンプ93とシグモイド関数
46を介して最終出力になるが、S/Hout信号が１になる
と、この時に生成されるオフセット電圧もΔＶであるか
ら結果として、オフセット電圧かキャンセルされること
になる。
なる。サンプル／ホールド部45では、位相制御されたサ
ンプル／ホールド制御信号S/Houtが１である場合に、ス
イッチ88を介して加算部44の出力がキャパシタChに蓄え
られる。S/Hout制御信号が１である場合には、反転回路
94によってスイッチ90の制御信号は０となり、キャパシ
タChの一方の端子はグランドに接地されず、スイッチ91
がオンになることによりユニットの最終出力信号がその
スイッチ91を介してキャパシタChに入力される。すなわ
ち、その時の最終出力信号がオペアンプ96の出力端から
フィードバックされてキャパシタChの下側に与えられ
る。従って、キャパシタＣには、加算部44の出力から最
終出力信号の値を引いた電圧が保持される。一方S/Hout
制御信号が０のときには、スイッチ89と90がオンし、キ
ャパシタChの下側はグランドとなり、結果としてキャパ
シタＣに蓄えられた電圧、すなわち加算部44の出力から
最終出力値を引いた電圧値がスイッチ89を介して１倍の
オペアンプ93の＋側に入力され、そしてこのオペアンプ
93はバッファとして働いて、オペアンプ93の出力がシグ
モイド関数の入力となる。また、S/Hout制御信号が１の
ときスイッチ88がオンし、キャパシタChには加算器の出
力値と最終出力値との差の電圧が蓄えられているときに
は、スイッチ92がオンしている。そのためオペアンプ93
には０ボルトが強制的に入力される。この時にシグモイ
ド関数46及びオペアンプ96,アナログスイッチ100を介し
てオフセット電圧ΔＶがスイッチ91を介してChの下側に
入力される。したがってS/Hout制御信号が０の時点、す
なわちスイッチ89がオンでスイッチ92がオフである場合
には、Chに蓄えられた電圧、すなわち（加算部の出力−
オフセット電圧ΔＶ）がオペアンプ93とシグモイド関数
46を介して最終出力になるが、S/Hout信号が１になる
と、この時に生成されるオフセット電圧もΔＶであるか
ら結果として、オフセット電圧かキャンセルされること
になる。
シグモイド関数を生成する引線形関数部は非線形回路
選択制御部があり、位相制御されたSelSig信号を１にす
るとスイッチ95がオンし、シグモイド関数の出力が次段
に入力される。しかし、SelSig信号が０の時には反転回
路97を介してスイッチ98の制御信号が１となってそれが
オンし、シグモイド関数の出力はカットされる。すなち
SelSig信号が０の時には、サンプル／ホールド部の出力
電圧がシグモイド関数を介さずに直接オペアンプ96に入
力される。オペアンプ96は本質的には出力を−端子に直
接帰還する１倍のオペアンプでバッファの働きをする。
すなわち出力インピーダンスを０にするバッファとな
る。
選択制御部があり、位相制御されたSelSig信号を１にす
るとスイッチ95がオンし、シグモイド関数の出力が次段
に入力される。しかし、SelSig信号が０の時には反転回
路97を介してスイッチ98の制御信号が１となってそれが
オンし、シグモイド関数の出力はカットされる。すなち
SelSig信号が０の時には、サンプル／ホールド部の出力
電圧がシグモイド関数を介さずに直接オペアンプ96に入
力される。オペアンプ96は本質的には出力を−端子に直
接帰還する１倍のオペアンプでバッファの働きをする。
すなわち出力インピーダンスを０にするバッファとな
る。
出力部47には時分割アナログ出力部46と出力制御部63
が接続されている。CSIが１のときにはスイッチ99がオ
ンで、スイッチ101もオンであるため、オペアンプ96の
最終出力値がDATA−OUTPUTに出力され、しかもその−端
子にフィードバックされて、オペアンプ96は１倍のオペ
アンプとして働く。それと同時に最終出力値がサンプル
／ホールド部45にフィードバックされる。一方、CSIが
０のときインバータ104を介してスイッチ100がオンにな
り、スイッチ101,99がオフになる。すなわちオペアンプ
96の出力はDATA−OUTPUT線には出力されないことにな
る。しかし、スイッチ100がオンすることによって１倍
のバッファを形成するようにしているためオペアンプ96
の電圧フォロア動作は破壊されることなく実行される。
出力部47は出力制御入力信号CSIによって出力パルス電
圧を伝達するかどうかを決める回路である。このCSIを
ディレイ回路105を介してCSOとして出力し、層内の隣接
するニューロチップに対する出力アナログ信号の時間タ
イミングを決定することになる。このため、本発明では
出力部47からのアナログ信号は時分割で伝達されるた
め、バス上で他のニューロチップからのアナログ信号と
競合しない。
が接続されている。CSIが１のときにはスイッチ99がオ
ンで、スイッチ101もオンであるため、オペアンプ96の
最終出力値がDATA−OUTPUTに出力され、しかもその−端
子にフィードバックされて、オペアンプ96は１倍のオペ
アンプとして働く。それと同時に最終出力値がサンプル
／ホールド部45にフィードバックされる。一方、CSIが
０のときインバータ104を介してスイッチ100がオンにな
り、スイッチ101,99がオフになる。すなわちオペアンプ
96の出力はDATA−OUTPUT線には出力されないことにな
る。しかし、スイッチ100がオンすることによって１倍
のバッファを形成するようにしているためオペアンプ96
の電圧フォロア動作は破壊されることなく実行される。
出力部47は出力制御入力信号CSIによって出力パルス電
圧を伝達するかどうかを決める回路である。このCSIを
ディレイ回路105を介してCSOとして出力し、層内の隣接
するニューロチップに対する出力アナログ信号の時間タ
イミングを決定することになる。このため、本発明では
出力部47からのアナログ信号は時分割で伝達されるた
め、バス上で他のニューロチップからのアナログ信号と
競合しない。
第５図は第４図において、オフセットキャンセルOCを
OC0、OC1、サンプルSIGNをPN,−PN、サンプル／ホール
ドSHをSH11、SH10、サンプル／ホールドS/HoutをSH21、
SH20、シグモイド選択信号Se1Sigを−SIGM、SIGM、ディ
ジーチェーン用信号CSIをCS、−CSでの２信号で位相制
御を実現する。すなわち、１つの制御信号を、それぞれ
正相を逆相の２信号で構成しかつ位相をずらすことによ
り、これらの制御信号の正相と逆相で制御される別のス
イッチが同時にオン状態にならないようにした信号にし
た場合の実施例である。なお、D/Aコンバータ53の出力
端に接続されたキャパシタCf、抵抗Rfはオペアンプ76の
フィードバック信号をD/Aコンバータの演算速度にあわ
せるためのものであり、DT端子には、D/Aコンバータの
ディジタル入力が加えられる。
OC0、OC1、サンプルSIGNをPN,−PN、サンプル／ホール
ドSHをSH11、SH10、サンプル／ホールドS/HoutをSH21、
SH20、シグモイド選択信号Se1Sigを−SIGM、SIGM、ディ
ジーチェーン用信号CSIをCS、−CSでの２信号で位相制
御を実現する。すなわち、１つの制御信号を、それぞれ
正相を逆相の２信号で構成しかつ位相をずらすことによ
り、これらの制御信号の正相と逆相で制御される別のス
イッチが同時にオン状態にならないようにした信号にし
た場合の実施例である。なお、D/Aコンバータ53の出力
端に接続されたキャパシタCf、抵抗Rfはオペアンプ76の
フィードバック信号をD/Aコンバータの演算速度にあわ
せるためのものであり、DT端子には、D/Aコンバータの
ディジタル入力が加えられる。
第５図で第４図と同一箇所は同一番号を付して説明を
省略する。
省略する。
第６図は、積分器におけるタイミング図である。デー
タブロックDCLKと重みクロックWCLKは基本的な動作クロ
ックで、データクロックDCLKのハイ状態の半周期間に高
速な重みクロックWCLKが出力される。重みクロックWCLK
信号は重みシリアルデータを取り込むための同期クロッ
クである。データクロックDCLK信号はアナログ入力信号
に対する処理を行うための基本クロックである。同期信
号SYNCは各層において一層内の各アナログニューロンプ
ロセッサANP6同期をとる同期信号である。積分器の出力
電圧の変化は下の三角形で示された部分の波形で示され
る。積分波形は、サンプル／ホールド制御信号SHのパル
スで制御され、このパルスがハイの間、積分の動作を実
行する。すなわち、積分器のキャパシタＣに対する充電
を開始し、このサンプル／ホールド制御信号SHのパルス
がハイの間は、このキャパシタに徐々に電荷が蓄積され
て電圧は上がるが、サンプル／ホールド制御信号SHのパ
ルスがロウとなって遮断されると、充電動作が停止す
る。従って、この積分時間範囲でのチャージ分だけが意
味を持ち、このサンプル／ホールド制御信号のパルス幅
をコントロールして積分時間範囲を縮めたり延ばしたり
することで、入力は同じ電圧だが、積分結果としてでて
くるものは、サンプル／ホールド制御信号のパルスの幅
によって比例配分された電圧、すなわち、電圧に積分ゲ
インを掛けたものとなる。すなわち、サンプル／ホール
ド制御信号S/Hのパルス幅がＰのときキャパシタＣに充
電される電圧はVaであり、サンプル／ホールド制御信号
S/Hのパルス幅Ｗのとき充電電圧はVa′となる。
タブロックDCLKと重みクロックWCLKは基本的な動作クロ
ックで、データクロックDCLKのハイ状態の半周期間に高
速な重みクロックWCLKが出力される。重みクロックWCLK
信号は重みシリアルデータを取り込むための同期クロッ
クである。データクロックDCLK信号はアナログ入力信号
に対する処理を行うための基本クロックである。同期信
号SYNCは各層において一層内の各アナログニューロンプ
ロセッサANP6同期をとる同期信号である。積分器の出力
電圧の変化は下の三角形で示された部分の波形で示され
る。積分波形は、サンプル／ホールド制御信号SHのパル
スで制御され、このパルスがハイの間、積分の動作を実
行する。すなわち、積分器のキャパシタＣに対する充電
を開始し、このサンプル／ホールド制御信号SHのパルス
がハイの間は、このキャパシタに徐々に電荷が蓄積され
て電圧は上がるが、サンプル／ホールド制御信号SHのパ
ルスがロウとなって遮断されると、充電動作が停止す
る。従って、この積分時間範囲でのチャージ分だけが意
味を持ち、このサンプル／ホールド制御信号のパルス幅
をコントロールして積分時間範囲を縮めたり延ばしたり
することで、入力は同じ電圧だが、積分結果としてでて
くるものは、サンプル／ホールド制御信号のパルスの幅
によって比例配分された電圧、すなわち、電圧に積分ゲ
インを掛けたものとなる。すなわち、サンプル／ホール
ド制御信号S/Hのパルス幅がＰのときキャパシタＣに充
電される電圧はVaであり、サンプル／ホールド制御信号
S/Hのパルス幅Ｗのとき充電電圧はVa′となる。
サンプル／ホールド制御信号SHが下がり、スイッチン
グ制御より積分器のキャパシタの極性が変わり、オフセ
ット分が加算されている積分出力は反転する。そして、
オフセットコントロール信号OCがハイ状態でサンプル／
ホールド制御信号SHが再び立ち上がると、オフセット電
圧Vb（Vb′）がそのキャパシタに加算され、SH信号が立
ち下がった時点では、結果としてオフセット分がキャン
セルされた積分出力値Va−Vb（Va′−Vb′）を極性をも
どしてサンプル／ホールドされる。
グ制御より積分器のキャパシタの極性が変わり、オフセ
ット分が加算されている積分出力は反転する。そして、
オフセットコントロール信号OCがハイ状態でサンプル／
ホールド制御信号SHが再び立ち上がると、オフセット電
圧Vb（Vb′）がそのキャパシタに加算され、SH信号が立
ち下がった時点では、結果としてオフセット分がキャン
セルされた積分出力値Va−Vb（Va′−Vb′）を極性をも
どしてサンプル／ホールドされる。
次に、階層型ニューラルネットワークを説明する。第
7A図は階層型ネットワークの概念図である。階層型では
左側の入力層の入力ノード110から入った入力データは
順次右側の方向に向かって１方向にだけ処理されてい
く。中間層の各ニューロン112は、ダミーノード111を含
む前の層の出力をそれぞれ層内の完全結合で受けるよう
になっている。入力層に例えば４個の入力ノード110が
あると、それにダミーノード111の１個がたされ、中間
層の各ニューロン112からみると入力層は５つのニュー
ロンに見えている。ここで、ダミーノード111とは、ス
レッシュホールドをコントロールするもので、積和の結
果Ｘのシグモイド関数 の値Ｘに一定値−θを加えることによりＸ軸の正方向に
シフトさせた値ｆ｛Ｘ−θ｝にするものである。これは
ダミーノード111に対応する重みをニューロン内で変え
ることで等価であるが、後述するマックスバリューノー
ド回路を用いて、一定値θを生成している。このよう
に、ダミーノードに対する重みを用意しておけば、閾値
を重みで表現することができる。そして出力層のニュー
ロン112から中間層はニューロンが４個あるように見え
る。入力層に加えられた入力データは、中間層ニューロ
ン112、出力層ニューロン112で重みデータを用いてそれ
ぞれ積和演算を施され、結果として出力データを発生す
る。
7A図は階層型ネットワークの概念図である。階層型では
左側の入力層の入力ノード110から入った入力データは
順次右側の方向に向かって１方向にだけ処理されてい
く。中間層の各ニューロン112は、ダミーノード111を含
む前の層の出力をそれぞれ層内の完全結合で受けるよう
になっている。入力層に例えば４個の入力ノード110が
あると、それにダミーノード111の１個がたされ、中間
層の各ニューロン112からみると入力層は５つのニュー
ロンに見えている。ここで、ダミーノード111とは、ス
レッシュホールドをコントロールするもので、積和の結
果Ｘのシグモイド関数 の値Ｘに一定値−θを加えることによりＸ軸の正方向に
シフトさせた値ｆ｛Ｘ−θ｝にするものである。これは
ダミーノード111に対応する重みをニューロン内で変え
ることで等価であるが、後述するマックスバリューノー
ド回路を用いて、一定値θを生成している。このよう
に、ダミーノードに対する重みを用意しておけば、閾値
を重みで表現することができる。そして出力層のニュー
ロン112から中間層はニューロンが４個あるように見え
る。入力層に加えられた入力データは、中間層ニューロ
ン112、出力層ニューロン112で重みデータを用いてそれ
ぞれ積和演算を施され、結果として出力データを発生す
る。
第7A図に示した階層型構造のものを本発明のANPを用
いて実現すると、第7B図のように、各層間、つまり入力
と中間層との間、中間層と出力層の間、出力層の出力に
それぞれの独立のアナログバスB1,B2,B3を設けることに
なる。縦方向のANPは全部並列に実行できるという構造
になる。出力層の出力にはサンプルホールド回路SHを付
ける。
いて実現すると、第7B図のように、各層間、つまり入力
と中間層との間、中間層と出力層の間、出力層の出力に
それぞれの独立のアナログバスB1,B2,B3を設けることに
なる。縦方向のANPは全部並列に実行できるという構造
になる。出力層の出力にはサンプルホールド回路SHを付
ける。
第８図は階層ニューラルネットワークを実現する本発
明のニューロコンピュータのブロック図である。ニュー
ロチップからアナログニューロンプロセッサANP1〜５を
各層に並列に配置し、各層間に独立にアナログバス（B
1,B2,B3）を設ける。同図において、ANP1,2,3で中間層
を形成し、ANP4,5で出力層を形成する。また、入力段の
ANPはなく、入力側にはアナログ入力信号をタイミング
よく入力するためのディジー回路171,172が存在する。S
/Hで示す回路はサンプル／ホールド回路173,174であ
る。ANP1〜５にそれぞれコントロール用のロジック信号
が必要であるので、マスタコントロールブロック（MC
B）181から各層に多くの制御信号線を送り込む。データ
クロックDCLKはすべてのANPの入力側のディジー回路171
と172に与えられ、アナログ処理の基本クロックとな
る。重みクロックWCLKもすべてのANPと入力側のディジ
ー回路171,172に与えられ、重みデータ用の高速クロッ
クである。重みメモリブロック185,186から各ANP4,5及
びANP1,2,3にはその重みクロックWCLKに同期して重みデ
ータが入力される。また、同期信号SYNC1は中間層のANP
に与えられる層の同期クロックで同期信号SYNC2は出力
層のANPに与えられる層の同期クロックである。SH1とOC
1は中間層のANPに対するサンプル／ホールド制御信号と
オフセットコントロール信号、SH2とOC2は出力層のANP
に対するサンプル／ホールド制御信号とオフセットコン
トロール信号である。
明のニューロコンピュータのブロック図である。ニュー
ロチップからアナログニューロンプロセッサANP1〜５を
各層に並列に配置し、各層間に独立にアナログバス（B
1,B2,B3）を設ける。同図において、ANP1,2,3で中間層
を形成し、ANP4,5で出力層を形成する。また、入力段の
ANPはなく、入力側にはアナログ入力信号をタイミング
よく入力するためのディジー回路171,172が存在する。S
/Hで示す回路はサンプル／ホールド回路173,174であ
る。ANP1〜５にそれぞれコントロール用のロジック信号
が必要であるので、マスタコントロールブロック（MC
B）181から各層に多くの制御信号線を送り込む。データ
クロックDCLKはすべてのANPの入力側のディジー回路171
と172に与えられ、アナログ処理の基本クロックとな
る。重みクロックWCLKもすべてのANPと入力側のディジ
ー回路171,172に与えられ、重みデータ用の高速クロッ
クである。重みメモリブロック185,186から各ANP4,5及
びANP1,2,3にはその重みクロックWCLKに同期して重みデ
ータが入力される。また、同期信号SYNC1は中間層のANP
に与えられる層の同期クロックで同期信号SYNC2は出力
層のANPに与えられる層の同期クロックである。SH1とOC
1は中間層のANPに対するサンプル／ホールド制御信号と
オフセットコントロール信号、SH2とOC2は出力層のANP
に対するサンプル／ホールド制御信号とオフセットコン
トロール信号である。
左側のブロックであるディジー回路171,172は、入力
層に相当する入力側回路である。入力ノード、つまり入
力層内のニューロンを実現するために、アナログ信号を
時分割でANPが出すのと同じタイミングで、アナログ入
力ポート0,1より与えられるアナログ入力信号を回路内
に入力しなければならない。つまり、出力層からみれ
ば、出力層のANP4,5は前の中間層のANP1,2,3からアナロ
グ信号をアナログバスB2を介して時分割で受けることを
基本動作としている。これと同じ関係が中間層と入力層
にも存在しなければならない。入力層と中間層の関係
は、中間層のANPから見るとその前に入力層のANPがある
ように見えなければいけない。このことは、中間層のAN
PがアナログバスB2にアナログ信号を出力するタイミン
グと同じ機能でアナログ入力ポート0,1からのアナログ
入力信号に対しても決まった規則でアナログバスB1に出
力しなくてはならないという制約がある。即ちアナログ
入力ポート0,1からの入力信号はアナログバスB1に時分
割に乗ってくる。アナログ入力ポート０からのアナログ
信号は、適当なタイミングでアナログバスB1に乗るが、
そこに出力した次のタイミングで、アナログ入力ポート
１からの次のアナログ入力信号が同じアナログバスB1に
乗る。この同期をとるために一定のタイミングで出力さ
れる入力制御信号CSIをディジー回路171が入力し、一定
時間後に、その回路から出力制御信号CSOが出力され
る。このCSIはマスタコントロール回路181のCSO1から出
力される。ディジー回路171,172は一種の遅延回路であ
る。各ディジー回路171はマスタコントロール181から入
力制御信号CSIを入力すると、自分は縦方向に隣接する
次のディジー回路172に対して、アナログ入力ポート１
のアナログ出力信号を出すように、CSO信号を次に渡す
ことになる。この動作をディジー制御と呼ぶ。
層に相当する入力側回路である。入力ノード、つまり入
力層内のニューロンを実現するために、アナログ信号を
時分割でANPが出すのと同じタイミングで、アナログ入
力ポート0,1より与えられるアナログ入力信号を回路内
に入力しなければならない。つまり、出力層からみれ
ば、出力層のANP4,5は前の中間層のANP1,2,3からアナロ
グ信号をアナログバスB2を介して時分割で受けることを
基本動作としている。これと同じ関係が中間層と入力層
にも存在しなければならない。入力層と中間層の関係
は、中間層のANPから見るとその前に入力層のANPがある
ように見えなければいけない。このことは、中間層のAN
PがアナログバスB2にアナログ信号を出力するタイミン
グと同じ機能でアナログ入力ポート0,1からのアナログ
入力信号に対しても決まった規則でアナログバスB1に出
力しなくてはならないという制約がある。即ちアナログ
入力ポート0,1からの入力信号はアナログバスB1に時分
割に乗ってくる。アナログ入力ポート０からのアナログ
信号は、適当なタイミングでアナログバスB1に乗るが、
そこに出力した次のタイミングで、アナログ入力ポート
１からの次のアナログ入力信号が同じアナログバスB1に
乗る。この同期をとるために一定のタイミングで出力さ
れる入力制御信号CSIをディジー回路171が入力し、一定
時間後に、その回路から出力制御信号CSOが出力され
る。このCSIはマスタコントロール回路181のCSO1から出
力される。ディジー回路171,172は一種の遅延回路であ
る。各ディジー回路171はマスタコントロール181から入
力制御信号CSIを入力すると、自分は縦方向に隣接する
次のディジー回路172に対して、アナログ入力ポート１
のアナログ出力信号を出すように、CSO信号を次に渡す
ことになる。この動作をディジー制御と呼ぶ。
マスタコントロール回路181のCSO1が立ち上がると、
スイッチ175がオンし、サンプル／ホールド回路173に保
持されているアナログ入力ポート０のアナログ入力信号
はアナログバスB1に乗る。CSO1はディジー回路171のCSI
であるから、これが立ち下がってから一定時間後にCSO
が立ち上がる。これはディジー回路172のCSIであると同
時に、スイッチ176を制御してオンにさせるので、サン
プル／ホールド回路174に保持されていたアナログ入力
ポート１のアナログ入力信号をバスB1に乗せる。階層構
造になった本システムでは、このディジー制御が必要と
なる。つまり、アナログ入力信号に対してアナログ入力
ポート０からサンプル／ホールド回路173を介してアナ
ログバスB1に出力すれば、次にアナログ入力信号に対し
てアナログ入力ポート１からサンプル／ホールド回路17
4を介して同じアナログバスB1に出力させることにな
る。中間層の各ニューロンでみているとアナログ入力ポ
ート０のアナログ入力信号とアナログ入力ポート１から
の次のアナログ入力信号とは時分割で逐次に入ってく
る。
スイッチ175がオンし、サンプル／ホールド回路173に保
持されているアナログ入力ポート０のアナログ入力信号
はアナログバスB1に乗る。CSO1はディジー回路171のCSI
であるから、これが立ち下がってから一定時間後にCSO
が立ち上がる。これはディジー回路172のCSIであると同
時に、スイッチ176を制御してオンにさせるので、サン
プル／ホールド回路174に保持されていたアナログ入力
ポート１のアナログ入力信号をバスB1に乗せる。階層構
造になった本システムでは、このディジー制御が必要と
なる。つまり、アナログ入力信号に対してアナログ入力
ポート０からサンプル／ホールド回路173を介してアナ
ログバスB1に出力すれば、次にアナログ入力信号に対し
てアナログ入力ポート１からサンプル／ホールド回路17
4を介して同じアナログバスB1に出力させることにな
る。中間層の各ニューロンでみているとアナログ入力ポ
ート０のアナログ入力信号とアナログ入力ポート１から
の次のアナログ入力信号とは時分割で逐次に入ってく
る。
各ディジー回路171,172は、アナログバスB1上のバス
競合を防ぐために、入力制御信号CSIを特定の時間だけ
遅延させて出力制御信号CSOを出す。
競合を防ぐために、入力制御信号CSIを特定の時間だけ
遅延させて出力制御信号CSOを出す。
中間層においても、マスタコントロールブロック181
からの出力制御信号CSO2をCSIとして受けるANP1がアナ
ログ信号を出力したら、CSOをCSIとしてANP2に渡すと、
次にANP2が出力する。ANP2のCSOをCSIとして受けるANP3
が次にアナログ信号を出力することになる。要するに、
ここではANP1,2,3の順に出力し、中間層のディジー動作
が終わる。これと並行して全ての動作を管理しているマ
スタコントロールブロック181は、出力層のANP4にCSO3
を与えるとANP4が出力し、出力完了後、ANP4がANP5にCS
Oを与えるとANP5が出力する。
からの出力制御信号CSO2をCSIとして受けるANP1がアナ
ログ信号を出力したら、CSOをCSIとしてANP2に渡すと、
次にANP2が出力する。ANP2のCSOをCSIとして受けるANP3
が次にアナログ信号を出力することになる。要するに、
ここではANP1,2,3の順に出力し、中間層のディジー動作
が終わる。これと並行して全ての動作を管理しているマ
スタコントロールブロック181は、出力層のANP4にCSO3
を与えるとANP4が出力し、出力完了後、ANP4がANP5にCS
Oを与えるとANP5が出力する。
出力層のANP4,5からの出力は、それぞれマスタコント
ロールブロック181からCSO3信号及びANP4からのディジ
ーチェーン用出力制御信号CSOによってそれぞれサンプ
ル／ホールド回路171,178でサンプル／ホールドされ
る。この出力電圧は、アナログ出力ポート0,1からアナ
ログ出力信号として出力される他、アナログマルチプレ
クサ179で選択された後、A/Dコンバータ180でA/D変換さ
れ、MPU182、メモリ183、通信インタフェイス184から構
成されるディジタル制御手段に入力される。そして、MP
U182で例えば学習時に与えたMPU内に蓄えられた教師信
号と比較し、所望の出力信号であるかのチェックを行
い、この結果に基づいて後述する重みメモリの重みデー
タを変更する。マックスバリューノード回路187はマス
タコントロールブロック181からダミーノード制御信号D
CS1,DCS2が出力イネーブル１及び２に加えられるととも
に、出力端子はアナログバスB1,B2に接続される。
ロールブロック181からCSO3信号及びANP4からのディジ
ーチェーン用出力制御信号CSOによってそれぞれサンプ
ル／ホールド回路171,178でサンプル／ホールドされ
る。この出力電圧は、アナログ出力ポート0,1からアナ
ログ出力信号として出力される他、アナログマルチプレ
クサ179で選択された後、A/Dコンバータ180でA/D変換さ
れ、MPU182、メモリ183、通信インタフェイス184から構
成されるディジタル制御手段に入力される。そして、MP
U182で例えば学習時に与えたMPU内に蓄えられた教師信
号と比較し、所望の出力信号であるかのチェックを行
い、この結果に基づいて後述する重みメモリの重みデー
タを変更する。マックスバリューノード回路187はマス
タコントロールブロック181からダミーノード制御信号D
CS1,DCS2が出力イネーブル１及び２に加えられるととも
に、出力端子はアナログバスB1,B2に接続される。
第９図は第８図に示した実施例にかかる階層型ニュー
ロコンピュータのタイミング図である。各層別にその制
御信号線が抜き出して書かれている。まず基本的な動作
クロックであるデータクロックDCLKと重みクロックWCLK
は同一層のすべてのANPや入力側のディジー回路171,172
に同時に入る。
ロコンピュータのタイミング図である。各層別にその制
御信号線が抜き出して書かれている。まず基本的な動作
クロックであるデータクロックDCLKと重みクロックWCLK
は同一層のすべてのANPや入力側のディジー回路171,172
に同時に入る。
重みクロックWCLKは、重みのディジタルデータをシリ
アルで送り込むためのシリアル同期パルスで、重みメモ
リブロックから重みを読み出すための同期クロックであ
る。どのタイミングで、入力データを取り込むかはそれ
ぞれの制御信号で規定する。まず第９図のタイミングチ
ャートにおいて、CSO1はマスタコントロールブロック18
1から出力されるディジーチェーン用制御信号CSO1、す
なわちディジー回路171へのディジーチェーン用制御信
号CSIである。ディジー回路171において、CSIが１番目
のアナログ入力信号をアナログ入力ポート０からサンプ
ル／ホールド回路SH173を介してアナログバスB1に出力
される。すなわちタイミングチャートのにおいてアナ
ログ信号をアナログバスB1に出力させる。この瞬間に、
アナログバスB1上に電圧が乗り、ANP1,ANP2,ANP3はこの
アナログ信号に対して並列に積和演算を行う。そのCSO
がディジー回路171を通過し、CSOが立ち下がってから所
定時間後に次のCSIがに示すように立ち上がり、ディ
ジー回路172のそのCSIが入る。次にCSIは入力層の２番
目のディジー回路172に入る制御信号である。そしてCSI
がハイの間にアナログ入力ポート１からアナログ入力信
号をサンプル／ホールド回路SH174を介してANP1,ANP2,A
NP3に入力し、ここで積和演算を行う。マスタコントロ
ールブロック181からのDSC1は、ダミーノードへの制御
信号である。各層とも入力の他にダミーノードからの信
号があるので（ニューロンノード数＋１）個のノードの
形態であり、入力層では２入力であるが、各中間層のAN
Pからみると３入力であるように見える。これを時間的
に説明すると、２つのCSIと１つのDCS1で１つのブロッ
クとなる制御信号である。入力のサイクルは、最初のCS
Iから始まり、DCS1のダミーへの入力で終わる。ダミー
ノードはマックスバリューノード回路187であり、その
回路はDCS1が入力されている間アナログバスに固定され
たある閾値電圧を出力する。すなわちで示すようにDC
SIが立ち上がってからこの電圧が出力されている間、中
間層の各ANPは通常の入力と同様に積和演算を行って、
その固定電圧が前の２つのアナログ入力信号の積和演算
されたものの結果に加えられることになる。すなわち、
掛け算後、足し算を実行する。SYNC1は、CSO1が立ち上
がる前のDCLKの立ち下がりでハイとなり、DCS1が立ち上
がってから次のDCLKの立ち下がりでロウとなる。これは
入力層の同期をとる信号である。WCLKが入力されている
間でアナログ入力と重みデータの掛け算が行われる。中
間層のANPに入るサンプル／ホールド信号SH1には、２つ
の山M1,M2が出力されているが、最初の山M1の少し前で
積をとり山の部分で和を生成し、ホールドする。そし
て、次の山M2でオフセット電圧Vb（第６図参照）を差し
引いてサンプル／ホールドする。このような処理を入力
されるすべてのアナログ信号について順次繰り返し行
い、積和の計算が終わる。この場合はダミーを含めて中
間層の各ANPは積和演算を３回実行する。これで中間層
の各ANPの処理は終わり、３入力に対する積の加算まで
が終了する。
アルで送り込むためのシリアル同期パルスで、重みメモ
リブロックから重みを読み出すための同期クロックであ
る。どのタイミングで、入力データを取り込むかはそれ
ぞれの制御信号で規定する。まず第９図のタイミングチ
ャートにおいて、CSO1はマスタコントロールブロック18
1から出力されるディジーチェーン用制御信号CSO1、す
なわちディジー回路171へのディジーチェーン用制御信
号CSIである。ディジー回路171において、CSIが１番目
のアナログ入力信号をアナログ入力ポート０からサンプ
ル／ホールド回路SH173を介してアナログバスB1に出力
される。すなわちタイミングチャートのにおいてアナ
ログ信号をアナログバスB1に出力させる。この瞬間に、
アナログバスB1上に電圧が乗り、ANP1,ANP2,ANP3はこの
アナログ信号に対して並列に積和演算を行う。そのCSO
がディジー回路171を通過し、CSOが立ち下がってから所
定時間後に次のCSIがに示すように立ち上がり、ディ
ジー回路172のそのCSIが入る。次にCSIは入力層の２番
目のディジー回路172に入る制御信号である。そしてCSI
がハイの間にアナログ入力ポート１からアナログ入力信
号をサンプル／ホールド回路SH174を介してANP1,ANP2,A
NP3に入力し、ここで積和演算を行う。マスタコントロ
ールブロック181からのDSC1は、ダミーノードへの制御
信号である。各層とも入力の他にダミーノードからの信
号があるので（ニューロンノード数＋１）個のノードの
形態であり、入力層では２入力であるが、各中間層のAN
Pからみると３入力であるように見える。これを時間的
に説明すると、２つのCSIと１つのDCS1で１つのブロッ
クとなる制御信号である。入力のサイクルは、最初のCS
Iから始まり、DCS1のダミーへの入力で終わる。ダミー
ノードはマックスバリューノード回路187であり、その
回路はDCS1が入力されている間アナログバスに固定され
たある閾値電圧を出力する。すなわちで示すようにDC
SIが立ち上がってからこの電圧が出力されている間、中
間層の各ANPは通常の入力と同様に積和演算を行って、
その固定電圧が前の２つのアナログ入力信号の積和演算
されたものの結果に加えられることになる。すなわち、
掛け算後、足し算を実行する。SYNC1は、CSO1が立ち上
がる前のDCLKの立ち下がりでハイとなり、DCS1が立ち上
がってから次のDCLKの立ち下がりでロウとなる。これは
入力層の同期をとる信号である。WCLKが入力されている
間でアナログ入力と重みデータの掛け算が行われる。中
間層のANPに入るサンプル／ホールド信号SH1には、２つ
の山M1,M2が出力されているが、最初の山M1の少し前で
積をとり山の部分で和を生成し、ホールドする。そし
て、次の山M2でオフセット電圧Vb（第６図参照）を差し
引いてサンプル／ホールドする。このような処理を入力
されるすべてのアナログ信号について順次繰り返し行
い、積和の計算が終わる。この場合はダミーを含めて中
間層の各ANPは積和演算を３回実行する。これで中間層
の各ANPの処理は終わり、３入力に対する積の加算まで
が終了する。
また、タイミングチャートにおいてDCS1が立ち下がっ
た直後のDCLKがハイのとき、アナログ入力ポート０、
１、ダミーノードから３つの信号について積和演算した
結果が各ANP1,2,3のキャパシタ（第４図、サンプル／ホ
ールド部45内のCh）にホールドされる。このような動作
が基本的に繰り返されることになるが、中間層と出力層
との間にあるアナログバスB2にANP1の出力信号をいつ出
力するかということはマスタコントロールブロック181
から出されるCSO2の信号の立ち上がりで決まる。
た直後のDCLKがハイのとき、アナログ入力ポート０、
１、ダミーノードから３つの信号について積和演算した
結果が各ANP1,2,3のキャパシタ（第４図、サンプル／ホ
ールド部45内のCh）にホールドされる。このような動作
が基本的に繰り返されることになるが、中間層と出力層
との間にあるアナログバスB2にANP1の出力信号をいつ出
力するかということはマスタコントロールブロック181
から出されるCSO2の信号の立ち上がりで決まる。
SH1の下に示したオフセットコントロール制御信号OC1
はANPの内部においてオフセットキャンセルを行う。す
なわち各ANPは内部的にオペアンプを含むアナログ回路
であって、回路自体がオフセットを持っているため、こ
のオフセットをキャンセルするための制御信号がOC信号
である。OC1に示されるように積和の演算が１つ実行さ
れる毎に１つのパルスが出され、内部においてオフセッ
トキャンセルが実行されている。タイミングチャートで
はで示すようにCSO2が立ち上がるとともにANP1がアナ
ログバスB2にANP1にホールドされていた信号が出力し、
CSO2がハイの間に出力量のANP4が積和演算を行う。で
示されるCSO2の立ち上がりはその前の入力結果の積和の
結果を出力するタイミングである。
はANPの内部においてオフセットキャンセルを行う。す
なわち各ANPは内部的にオペアンプを含むアナログ回路
であって、回路自体がオフセットを持っているため、こ
のオフセットをキャンセルするための制御信号がOC信号
である。OC1に示されるように積和の演算が１つ実行さ
れる毎に１つのパルスが出され、内部においてオフセッ
トキャンセルが実行されている。タイミングチャートで
はで示すようにCSO2が立ち上がるとともにANP1がアナ
ログバスB2にANP1にホールドされていた信号が出力し、
CSO2がハイの間に出力量のANP4が積和演算を行う。で
示されるCSO2の立ち上がりはその前の入力結果の積和の
結果を出力するタイミングである。
次に、第９図を使って中間層と出力層との間のタイミ
ングを説明する。
ングを説明する。
なお、同図において、中間層からのディジーチェーン
制御信号の出力，，，及び出力層からの出力
，に同期してアナログバス上にあらわれるアナログ
信号は上述した入力層からのディジーチェーン制御信号
の出力，，に同期してアナログバス上に入力され
るアナログ信号に対して処理サイクル前の結果が現れ
ることになる。パイプライン処理の実行は後で説明する
が、タイミングチャートので示されるCSO2の立ち上が
り時において、ANP1の出力が出力される。に示される
CSO2の立ち上がり時にタイミングチャートSH2の信号を
見るとパルスが２つ出されている。SH2信号は第８図の
ブロック図において、出力層の第１番目のANP4に入力さ
れている。すなわちSH2信号の２つの山のパルスにおい
て、ANP4内で和の演算が１つ実行される。中間層には図
に示されるようにANP1,2,3の３つの中間層のニューロン
があるが、マックスバリューノード回路187によるダミ
ーノードが１つ加えられ、合計４つのニューロンがある
と仮定されている。従ってSH2信号の山２つのパルスが
の部分から見て４回出力されており、このSH2信号の
４個の山のパルスで中間層のアナログ信号がANP4に入力
され積和が演算される。この動作は当然、中間層のANP
が入力信号に対して積和演算をしているタイミングと同
時に行っていることになり、これはパイプライン処理と
なっている。CSO2の下の信号は中間層にあるANP1のCSO
の信号で、これは同じ中間層のANP2に対するCSIであ
る。これがで示されている部分である。その下はANP2
のCSOでその下はANP3のCSIでこれがである。その下が
ANP3のCSOであり、その下のがダミーノードのCSIであ
ってこれはDSC2、すなわちマスタコントロールブロック
から出される信号である。CSIで見ると，，，
の順序でそれぞれ中間層のANP1,ANP2,ANP3、そしてダミ
ーノードのマックスバリューノード回路187に入力され
る。この間SH2信号は２つの山を持つパルス信号を４つ
出している。すなわち、ANP4の出力層のニューロンは入
力アナログ信号と重みとの積を４つ分加えることにな
る。の部分でANP1にCSIが入力している時にはANP1か
らアナログ信号が中間層と出力層の間のアナログバスに
信号が出され、これがANP4に入力される。そしてこの
時、対応する重みデータがANP4に入力され、それと共に
積が実行され、SH2信号の第１の山で加算され、第２の
山でサンプル／ホールドされる。そしてこの計算が終わ
ると、ANP1からCSOの信号が立ち上がり、これがANP2のC
SIとなる。これがの状態であり、この時重みデータと
アナログバス上のデータとが掛け算され、和が計算され
る。が立ち下がったあと所定時間後にANP3へのCSIが
ハイとなりで示すようにANP4で積和演算が行われる。
このような積和の演算がANP4内で計算され、のところ
でマックスバリューノード回路187から出力される固定
電圧がANP4に入力され、これが内部のいままで蓄えられ
た積和に加えられることになる。
制御信号の出力，，，及び出力層からの出力
，に同期してアナログバス上にあらわれるアナログ
信号は上述した入力層からのディジーチェーン制御信号
の出力，，に同期してアナログバス上に入力され
るアナログ信号に対して処理サイクル前の結果が現れ
ることになる。パイプライン処理の実行は後で説明する
が、タイミングチャートので示されるCSO2の立ち上が
り時において、ANP1の出力が出力される。に示される
CSO2の立ち上がり時にタイミングチャートSH2の信号を
見るとパルスが２つ出されている。SH2信号は第８図の
ブロック図において、出力層の第１番目のANP4に入力さ
れている。すなわちSH2信号の２つの山のパルスにおい
て、ANP4内で和の演算が１つ実行される。中間層には図
に示されるようにANP1,2,3の３つの中間層のニューロン
があるが、マックスバリューノード回路187によるダミ
ーノードが１つ加えられ、合計４つのニューロンがある
と仮定されている。従ってSH2信号の山２つのパルスが
の部分から見て４回出力されており、このSH2信号の
４個の山のパルスで中間層のアナログ信号がANP4に入力
され積和が演算される。この動作は当然、中間層のANP
が入力信号に対して積和演算をしているタイミングと同
時に行っていることになり、これはパイプライン処理と
なっている。CSO2の下の信号は中間層にあるANP1のCSO
の信号で、これは同じ中間層のANP2に対するCSIであ
る。これがで示されている部分である。その下はANP2
のCSOでその下はANP3のCSIでこれがである。その下が
ANP3のCSOであり、その下のがダミーノードのCSIであ
ってこれはDSC2、すなわちマスタコントロールブロック
から出される信号である。CSIで見ると，，，
の順序でそれぞれ中間層のANP1,ANP2,ANP3、そしてダミ
ーノードのマックスバリューノード回路187に入力され
る。この間SH2信号は２つの山を持つパルス信号を４つ
出している。すなわち、ANP4の出力層のニューロンは入
力アナログ信号と重みとの積を４つ分加えることにな
る。の部分でANP1にCSIが入力している時にはANP1か
らアナログ信号が中間層と出力層の間のアナログバスに
信号が出され、これがANP4に入力される。そしてこの
時、対応する重みデータがANP4に入力され、それと共に
積が実行され、SH2信号の第１の山で加算され、第２の
山でサンプル／ホールドされる。そしてこの計算が終わ
ると、ANP1からCSOの信号が立ち上がり、これがANP2のC
SIとなる。これがの状態であり、この時重みデータと
アナログバス上のデータとが掛け算され、和が計算され
る。が立ち下がったあと所定時間後にANP3へのCSIが
ハイとなりで示すようにANP4で積和演算が行われる。
このような積和の演算がANP4内で計算され、のところ
でマックスバリューノード回路187から出力される固定
電圧がANP4に入力され、これが内部のいままで蓄えられ
た積和に加えられることになる。
以上の動作は出力層のANP5に対しても並行して行われ
る。ここに同時処理がある。ANP4で計算された積和演算
の結果が出力量に接続されたアナログバスB3に出力され
るタイミングはマスタコントロールブロック181から出
力されるCSO3の立ち上がりである。マックスバリューノ
ード回路187がアナログバスB2に出力するための制御信
号がDCS2であって、これがに対応する。このDCS2まで
は中間層における計算結果を出力するまでの動作であ
る。タイミングチャートのこれよりも下に書いてある信
号に対しては同じような動作であり、中間層とカスケー
ドに接続された出力層側の動作を規定する信号パルスで
ある。CSO3が立ち上がると、ANP4で計算された積和演算
の結果が出力されることになる。出力層ではANP4、ANP5
の２個が出力される。なお、例えばのCSO2の立ち上が
りは、ANP1に入る信号で、この立ち上がりはDCLKよりも
遅れている。これはアナログ入力信号とディジタル重み
データとの積演算を行う場合、WCLKでディジタルデータ
を読み込む時にシリアルであって、これを内部でパラレ
ルに変換するディジタルデータの読み込み時間とアナロ
グ入力信号がD/Aコンバータすなわち乗算処理部に到達
するまでの時間を考慮してCSO2の立ち上がりを遅らせて
いるからである。すなわち、最初の頭の部分でズレてい
るのは、データの呼び出し、つまりシリアルデータの読
み込み時間が含まれている。データがセットし終わるの
はDCLKの立ち上がりから、しばらくたった時間すなわち
WCLKで16サイクル後である。アナログ乗算の開始時間は
CSO2が立ち上がってからWCLKで８サイクルたった後であ
る。
る。ここに同時処理がある。ANP4で計算された積和演算
の結果が出力量に接続されたアナログバスB3に出力され
るタイミングはマスタコントロールブロック181から出
力されるCSO3の立ち上がりである。マックスバリューノ
ード回路187がアナログバスB2に出力するための制御信
号がDCS2であって、これがに対応する。このDCS2まで
は中間層における計算結果を出力するまでの動作であ
る。タイミングチャートのこれよりも下に書いてある信
号に対しては同じような動作であり、中間層とカスケー
ドに接続された出力層側の動作を規定する信号パルスで
ある。CSO3が立ち上がると、ANP4で計算された積和演算
の結果が出力されることになる。出力層ではANP4、ANP5
の２個が出力される。なお、例えばのCSO2の立ち上が
りは、ANP1に入る信号で、この立ち上がりはDCLKよりも
遅れている。これはアナログ入力信号とディジタル重み
データとの積演算を行う場合、WCLKでディジタルデータ
を読み込む時にシリアルであって、これを内部でパラレ
ルに変換するディジタルデータの読み込み時間とアナロ
グ入力信号がD/Aコンバータすなわち乗算処理部に到達
するまでの時間を考慮してCSO2の立ち上がりを遅らせて
いるからである。すなわち、最初の頭の部分でズレてい
るのは、データの呼び出し、つまりシリアルデータの読
み込み時間が含まれている。データがセットし終わるの
はDCLKの立ち上がりから、しばらくたった時間すなわち
WCLKで16サイクル後である。アナログ乗算の開始時間は
CSO2が立ち上がってからWCLKで８サイクルたった後であ
る。
第10図は、ディジタル重みデータの読み込みタイミン
グを示すタイミングチャートである。同図において、マ
スタクロックMCLK、同期信号SYNC、重みクロックWCLK、
データクロックDCLK、実際の重みデータWDATAが示され
ている。重みデータWDATは重みメモリからビットシリア
ルで読み出され、16ビットがシリアルに入力される。Ｓ
はサインビットで、B14〜B0までが数値ビットである。
同図において重みデータWDATAのB8,B7,B6の部分が重み
クロックWCLKとの対応として図の下方に拡大された形で
表現されている。重みクロックWCLKは周期が250nsecで
デューティ比50％になっている。WCLKの立ち下がりから
シーケンサ内部にあるアドレス更新用のカウンタの伝播
遅延時間後に重みメモリにアドレスが与えられる。即ち
重みメモリ（RAM）のビットｎのアドレスは重みデータW
DATAのビット７が格納されている重みメモリのアドレス
である。このアドレスが確定した後、tAA時刻後にビッ
ト７が読み出されている。ビット７からビット６への変
化は重みクロックの次の周期への変化によって決まり、
ビット６は次の周期で読み出されている。重みデータの
16ビットはANPに入力され、ANPに入力されるアナログ電
圧との積が内部のD/Aコンバータによって計算されるの
で、アナログ電圧の入力開始、データクロックDCLKから
の立ち上がりからずっと後に入力される。即ち、アナロ
グ入力電圧は入力されてからD/Aコンバータに到達され
るまでの時間があるのでその時間とディジタル重みデー
タが内部にセットされる時間とを制御し、重みデータの
到着時間とアナログの到達時間がちょうど一致するよう
にアナログ電圧を入力する必要がある。
グを示すタイミングチャートである。同図において、マ
スタクロックMCLK、同期信号SYNC、重みクロックWCLK、
データクロックDCLK、実際の重みデータWDATAが示され
ている。重みデータWDATは重みメモリからビットシリア
ルで読み出され、16ビットがシリアルに入力される。Ｓ
はサインビットで、B14〜B0までが数値ビットである。
同図において重みデータWDATAのB8,B7,B6の部分が重み
クロックWCLKとの対応として図の下方に拡大された形で
表現されている。重みクロックWCLKは周期が250nsecで
デューティ比50％になっている。WCLKの立ち下がりから
シーケンサ内部にあるアドレス更新用のカウンタの伝播
遅延時間後に重みメモリにアドレスが与えられる。即ち
重みメモリ（RAM）のビットｎのアドレスは重みデータW
DATAのビット７が格納されている重みメモリのアドレス
である。このアドレスが確定した後、tAA時刻後にビッ
ト７が読み出されている。ビット７からビット６への変
化は重みクロックの次の周期への変化によって決まり、
ビット６は次の周期で読み出されている。重みデータの
16ビットはANPに入力され、ANPに入力されるアナログ電
圧との積が内部のD/Aコンバータによって計算されるの
で、アナログ電圧の入力開始、データクロックDCLKから
の立ち上がりからずっと後に入力される。即ち、アナロ
グ入力電圧は入力されてからD/Aコンバータに到達され
るまでの時間があるのでその時間とディジタル重みデー
タが内部にセットされる時間とを制御し、重みデータの
到着時間とアナログの到達時間がちょうど一致するよう
にアナログ電圧を入力する必要がある。
例えば、アナログ入力電圧の立ち上がりは、重みデー
タのB7あたりから立ちあげ、重みデータのB0が入力さ
れ、その後すべての重みデータが内部で確定した頃にそ
のアナログ値との乗算がスタートするように時間の制御
をとる必要がある。そして加算はDCLKが次にロウになる
期間で行われる。
タのB7あたりから立ちあげ、重みデータのB0が入力さ
れ、その後すべての重みデータが内部で確定した頃にそ
のアナログ値との乗算がスタートするように時間の制御
をとる必要がある。そして加算はDCLKが次にロウになる
期間で行われる。
ANPの動作時間は、SYNC信号とWCLK、及びデータDCLK
で規定される。そしてアナログ入力電圧はANPの入力端
子からディジタル重みデータと積を実行するD/Aコンバ
ータ迄の電圧到達時間等にかなりの時間誤差があるの
で、マージンを見込んでCSIの立上りはDCLKの立上りよ
り遅れたところから始まることになる。
で規定される。そしてアナログ入力電圧はANPの入力端
子からディジタル重みデータと積を実行するD/Aコンバ
ータ迄の電圧到達時間等にかなりの時間誤差があるの
で、マージンを見込んでCSIの立上りはDCLKの立上りよ
り遅れたところから始まることになる。
第11A図は本発明の集中制御方式に従うマスタコント
ロールブロック181の構成図である。マスタコントロー
ルブロック181はすべての制御信号を総括する部分であ
る。主要な構成要素は外部バスインタフェイス回路20
0、制御パターンメモリ201及びマイクロプログラムシー
ケンサ202とマイクロコードメモリ203、アドレス作成部
204である。外部バスインタフェイス回路200は、MPU等
に接続するためのインタフェイスでアドレス線205、デ
ータ線206及び制御信号線207に接続されている。外部バ
スインタフェイス回路200の上位アドレス比較回路208、
レジスタであるＤ−FF209はそれぞれMPU等から与えられ
る上位アドレスをデコードし、上位アドレスが予め定め
られた番地である場合に、下位アドレスとデータをそれ
ぞれＤ−FF209,211にタイミング回路214からのラッチ信
号をトリガとしてセットする。そのアドレスとデータは
それぞれバスドライバ210と212を介して、内部アドレス
バスと内部データバスを介して内部に入力される。その
アドレスはマイクロコードメモリ203を参照して、マイ
クロコードをデータバスを介してMPU側から書き込む場
合等に利用される。また下位アドレスはバスドライバ21
0を介してマイクロコードアドレスをマイクロプログラ
ムシーケンサ202にも渡され、MPU側からの特定なアドレ
スで制御パターンメモリ201を参照できるようにしてい
る。
ロールブロック181の構成図である。マスタコントロー
ルブロック181はすべての制御信号を総括する部分であ
る。主要な構成要素は外部バスインタフェイス回路20
0、制御パターンメモリ201及びマイクロプログラムシー
ケンサ202とマイクロコードメモリ203、アドレス作成部
204である。外部バスインタフェイス回路200は、MPU等
に接続するためのインタフェイスでアドレス線205、デ
ータ線206及び制御信号線207に接続されている。外部バ
スインタフェイス回路200の上位アドレス比較回路208、
レジスタであるＤ−FF209はそれぞれMPU等から与えられ
る上位アドレスをデコードし、上位アドレスが予め定め
られた番地である場合に、下位アドレスとデータをそれ
ぞれＤ−FF209,211にタイミング回路214からのラッチ信
号をトリガとしてセットする。そのアドレスとデータは
それぞれバスドライバ210と212を介して、内部アドレス
バスと内部データバスを介して内部に入力される。その
アドレスはマイクロコードメモリ203を参照して、マイ
クロコードをデータバスを介してMPU側から書き込む場
合等に利用される。また下位アドレスはバスドライバ21
0を介してマイクロコードアドレスをマイクロプログラ
ムシーケンサ202にも渡され、MPU側からの特定なアドレ
スで制御パターンメモリ201を参照できるようにしてい
る。
MPUあるいは主記憶からのデータはデータ線206を介し
てＤ−FF211にラッチされた後、バスドライバ212を介し
てマイクロコードメモリ内のセパレートI/ORAM213ある
いは、制御パターンメモリ201内のセパレートI/ORAM21
5,216に加えられる。MPU或いはメモリからのデータスト
ローブ信号が制御信号線207を介してタイミング回路214
に加えられるとアクノリッジ信号を返送する通信方式
で、アドレスデータの送受信に関する制御が行われる。
タイミング回路214はＤ−FF211,D−FF20へラッチタイミ
ングやWR信号を介してマイクロコードメモリ203、制御
パターンメモリ201への書き込みタイミング等を制御す
る。
てＤ−FF211にラッチされた後、バスドライバ212を介し
てマイクロコードメモリ内のセパレートI/ORAM213ある
いは、制御パターンメモリ201内のセパレートI/ORAM21
5,216に加えられる。MPU或いはメモリからのデータスト
ローブ信号が制御信号線207を介してタイミング回路214
に加えられるとアクノリッジ信号を返送する通信方式
で、アドレスデータの送受信に関する制御が行われる。
タイミング回路214はＤ−FF211,D−FF20へラッチタイミ
ングやWR信号を介してマイクロコードメモリ203、制御
パターンメモリ201への書き込みタイミング等を制御す
る。
第９図のタイミングチャートに示されるようなニュー
ロチップに与える複雑な制御信号の“1",“0"パターン
は、制御パターンメモリ201に１周期分格納され、その
１周期分のパターンをマイクロプログラムシーケンサ20
2の制御に従って制御パターンメモリ201から読み出すこ
とによって生成する。例えばリセット信号Reset、デー
タクロックDCLK、重みクロックWCLK、CSO1,CSO2,CSO3や
SYNC1、SYNC2、SH1、SH2、OC1,OC2等の制御信号はセパ
レートI/ORAM215から読出され、パターンに付随する制
御情報つまりシーケンス制御フラグは第２のセパレート
I/ORAM216から読み出される。例えば制御パターンメモ
リ201は1000110001というパターンが格納されている場
合には、“1"ビットのパターンであるから、この“1,0"
ビットのパターンを繰り返すように制御パターンメモリ
201のアドレスを制御すれば、このパターンの繰り返し
が制御パターンメモリ201から読み出されることにな
る。すなわち制御信号のパターンは非常に複雑なパター
ンであるので、これらのパターンを予めこのセパレート
I/ORAM215に格納しておき、そのセパレートI/ORAM215の
アドレスをマイクロプログラムシーケンサ202の制御に
従って指定することによって順次そのビットパターンを
出力する構造になっている。よって、幾つかの同じパタ
ーンを繰り返すことになるので、その繰り返しをどのよ
うに実現するかはアドレス制御に従う。この１周期分の
パターンをオリジナルパターンと呼ぶことにする。オリ
ジナルパターンを繰り返すためには、マイクロプログラ
ムシーケンサ202に制御パターンメモリ201からの特定な
情報をフィードバックする必要がある。すなわち第２の
セパレートI/ORAM216内のシーケンサコントロールフラ
グを条件入力としてマイクロプログラムシーケンサ202
に入力することにより、マイクロプログラムシーケンサ
202は第１のセパレートI/ORAM215内のオリジナルパター
ンの入っている先頭アドレスに戻るように制御する。こ
のことにより、オリジナルパターンの繰り返しが実行さ
れる。すなわち、マイクロプログラムシーケンサ202は
その条件が満たされるまで汎用ポート出力線202−１を
介してセパレートI/ORAM215へのアドレス信号を逐次に
生成する。通常はこのアドレスはインクリメントされる
がオリジナルパターンの最終になったという条件が満た
されると、そのオリジナルパターンが格納されている先
頭アドレスに戻るようにする。結果として特定なパター
ンが繰り返しセパレートI/ORAM215から制御パターンが
出力される。
ロチップに与える複雑な制御信号の“1",“0"パターン
は、制御パターンメモリ201に１周期分格納され、その
１周期分のパターンをマイクロプログラムシーケンサ20
2の制御に従って制御パターンメモリ201から読み出すこ
とによって生成する。例えばリセット信号Reset、デー
タクロックDCLK、重みクロックWCLK、CSO1,CSO2,CSO3や
SYNC1、SYNC2、SH1、SH2、OC1,OC2等の制御信号はセパ
レートI/ORAM215から読出され、パターンに付随する制
御情報つまりシーケンス制御フラグは第２のセパレート
I/ORAM216から読み出される。例えば制御パターンメモ
リ201は1000110001というパターンが格納されている場
合には、“1"ビットのパターンであるから、この“1,0"
ビットのパターンを繰り返すように制御パターンメモリ
201のアドレスを制御すれば、このパターンの繰り返し
が制御パターンメモリ201から読み出されることにな
る。すなわち制御信号のパターンは非常に複雑なパター
ンであるので、これらのパターンを予めこのセパレート
I/ORAM215に格納しておき、そのセパレートI/ORAM215の
アドレスをマイクロプログラムシーケンサ202の制御に
従って指定することによって順次そのビットパターンを
出力する構造になっている。よって、幾つかの同じパタ
ーンを繰り返すことになるので、その繰り返しをどのよ
うに実現するかはアドレス制御に従う。この１周期分の
パターンをオリジナルパターンと呼ぶことにする。オリ
ジナルパターンを繰り返すためには、マイクロプログラ
ムシーケンサ202に制御パターンメモリ201からの特定な
情報をフィードバックする必要がある。すなわち第２の
セパレートI/ORAM216内のシーケンサコントロールフラ
グを条件入力としてマイクロプログラムシーケンサ202
に入力することにより、マイクロプログラムシーケンサ
202は第１のセパレートI/ORAM215内のオリジナルパター
ンの入っている先頭アドレスに戻るように制御する。こ
のことにより、オリジナルパターンの繰り返しが実行さ
れる。すなわち、マイクロプログラムシーケンサ202は
その条件が満たされるまで汎用ポート出力線202−１を
介してセパレートI/ORAM215へのアドレス信号を逐次に
生成する。通常はこのアドレスはインクリメントされる
がオリジナルパターンの最終になったという条件が満た
されると、そのオリジナルパターンが格納されている先
頭アドレスに戻るようにする。結果として特定なパター
ンが繰り返しセパレートI/ORAM215から制御パターンが
出力される。
第11B図は、マスタコントロールブロック181を制御す
るメモリ201及び203内の情報の相互関係である。同図に
おいて、制御パターンメモリ１が第１のセパレートI/OR
AM215に相当し、制御パターンメモリ２が第２のセパレ
ートI/ORAM216に相当する。マイクロコードメモリ203内
には、シーケンサ202の制御コードが記憶され、主に、J
ump命令とRepeat命令が格納されている。アドレスの増
加方向にみて、特定なアドレスにRepeat命令があり、こ
の反復命令に従う制御パターンメモリ内のパターン１の
繰り返し数は制御パターンメモリ２の対応するアドレス
に格納され、例えば「10」であるとすれば、10回の反復
を実行することになる。このようにして、アドレスが増
加し、マイクロコードメモリのJump命令に来たときに、
マイクロコードメモリ203内に第２のJumpで500Hに飛
び、Pattern 2を出力する。Rattern 2を５回繰り返す
と、マイクロコードメモリ203内の第３のJumpで、再び
「100 H」に飛び、Pattern 1を出力することになる。こ
のようにして、オリジナルパターンが繰り返されて、制
御パターンメモリ１から読み出される。
るメモリ201及び203内の情報の相互関係である。同図に
おいて、制御パターンメモリ１が第１のセパレートI/OR
AM215に相当し、制御パターンメモリ２が第２のセパレ
ートI/ORAM216に相当する。マイクロコードメモリ203内
には、シーケンサ202の制御コードが記憶され、主に、J
ump命令とRepeat命令が格納されている。アドレスの増
加方向にみて、特定なアドレスにRepeat命令があり、こ
の反復命令に従う制御パターンメモリ内のパターン１の
繰り返し数は制御パターンメモリ２の対応するアドレス
に格納され、例えば「10」であるとすれば、10回の反復
を実行することになる。このようにして、アドレスが増
加し、マイクロコードメモリのJump命令に来たときに、
マイクロコードメモリ203内に第２のJumpで500Hに飛
び、Pattern 2を出力する。Rattern 2を５回繰り返す
と、マイクロコードメモリ203内の第３のJumpで、再び
「100 H」に飛び、Pattern 1を出力することになる。こ
のようにして、オリジナルパターンが繰り返されて、制
御パターンメモリ１から読み出される。
この制御パターンメモリ201を参照するアドレスの読
み出しクロックに同期してWCLKが作られており、重みメ
モリ185,186からWCLKに同期して情報が読み出される。
重みメモリ185,186へのアドレスはアドレス作成部204の
アドレス１及びアドレス２から出力されるアドレス信号
によってアクセスされる。アドレス１とアドレス２はそ
れぞれ、中間層と出力層に対応して分離している。中間
層にあるANPに与えるべき重みデータはアドレス１によ
って指定される重みメモリ185から読み出され、出力層
へのANPへの重みデータはアドレス２によって指定され
る重みメモリ186から読み出された内容である。各アド
レスは重みメモリ185,186の内容が重みデータの各ビッ
トをアドレスが上す方向に１ビットずつ格納されている
ので、アドレスカウンタ217,218へのカウント制御信号
すなわち、重みメモリクロック（WCLK）をイネーブルす
るための信号がマイクロプログラムシーケンサ202から
与えられる必要がある。そのアドレスカウンタ217,218
によってこのアドレスがバスドライバ219,220を介して
次から次へと重みメモリ185,186へのアドレス信号とし
て、インクリメントして与えられる。そして複数の重み
データがその重みメモリ185,186から読み出される。
み出しクロックに同期してWCLKが作られており、重みメ
モリ185,186からWCLKに同期して情報が読み出される。
重みメモリ185,186へのアドレスはアドレス作成部204の
アドレス１及びアドレス２から出力されるアドレス信号
によってアクセスされる。アドレス１とアドレス２はそ
れぞれ、中間層と出力層に対応して分離している。中間
層にあるANPに与えるべき重みデータはアドレス１によ
って指定される重みメモリ185から読み出され、出力層
へのANPへの重みデータはアドレス２によって指定され
る重みメモリ186から読み出された内容である。各アド
レスは重みメモリ185,186の内容が重みデータの各ビッ
トをアドレスが上す方向に１ビットずつ格納されている
ので、アドレスカウンタ217,218へのカウント制御信号
すなわち、重みメモリクロック（WCLK）をイネーブルす
るための信号がマイクロプログラムシーケンサ202から
与えられる必要がある。そのアドレスカウンタ217,218
によってこのアドレスがバスドライバ219,220を介して
次から次へと重みメモリ185,186へのアドレス信号とし
て、インクリメントして与えられる。そして複数の重み
データがその重みメモリ185,186から読み出される。
第１のセパレートI/ORAM215からWCLKとマイクロプロ
グラムシーケンサ202からのカウンタ制御信号がアドレ
ス作成部204内のアンド回路221、222に加えられてい
る。カウンタ制御信号がハイのとき、WCLKによってアド
レスカウンタは更新され、WCLKの１〜16ビットまではア
ドレスカウンタ217,218をインクリメントする。そし
て、残りのWCLK17〜26ビットに対しては、カウンタ制御
信号をロウとすることによりWCLKをインヒビットとして
アドレスカウンタ217,218のインクリメントを停止す
る。そして、SYNC1、SYNC2に同期して、それぞれカウン
タリセット信号をマイクロプログラムシーケンス202か
らアンド回路221,222に送出して、アドレスカウンタ21
7、218をリセットする。このことにより、重みメモリ18
5,186のアドレスを先頭アドレスに戻す。なお、マスタ
コントロールブロック181から出力されるモード信号
は、重みメモリの通常使用、すなわち重みメモリをMPU
データバスから切り離し重みデータをANPに与えるモー
ドと、重みメモリをMPUデータバスに接続し、MPUから重
みメモリを参照するモードを形成するためのものであ
る。
グラムシーケンサ202からのカウンタ制御信号がアドレ
ス作成部204内のアンド回路221、222に加えられてい
る。カウンタ制御信号がハイのとき、WCLKによってアド
レスカウンタは更新され、WCLKの１〜16ビットまではア
ドレスカウンタ217,218をインクリメントする。そし
て、残りのWCLK17〜26ビットに対しては、カウンタ制御
信号をロウとすることによりWCLKをインヒビットとして
アドレスカウンタ217,218のインクリメントを停止す
る。そして、SYNC1、SYNC2に同期して、それぞれカウン
タリセット信号をマイクロプログラムシーケンス202か
らアンド回路221,222に送出して、アドレスカウンタ21
7、218をリセットする。このことにより、重みメモリ18
5,186のアドレスを先頭アドレスに戻す。なお、マスタ
コントロールブロック181から出力されるモード信号
は、重みメモリの通常使用、すなわち重みメモリをMPU
データバスから切り離し重みデータをANPに与えるモー
ドと、重みメモリをMPUデータバスに接続し、MPUから重
みメモリを参照するモードを形成するためのものであ
る。
モード信号は、MPUからのデータの下位ビットが、下
位アドレスの１ビットとタイミング回路214からの書込
み信号からWRをアンド回路223にて生じるアンド信号を
トリガとしてフリッフフロップ224にセットされること
により形成される。このモード信号が０のとき重みメモ
リは通常使用となる。
位アドレスの１ビットとタイミング回路214からの書込
み信号からWRをアンド回路223にて生じるアンド信号を
トリガとしてフリッフフロップ224にセットされること
により形成される。このモード信号が０のとき重みメモ
リは通常使用となる。
書込み信号WRと内部アドレスバスの１ビットがアンド
回路223を介してフリッフフロップ224のクロック端子に
入力され、内部データバスのLSBがフリップフロップ224
のデータ端子に入力される。上位アドレスを比較回路20
8でマスタコントロールブロック181が選択されているか
を判定し、選択されている場合、下位アドレスとデータ
をDFF209,211に取り込む。このような、インタフェイス
動作はMPUに接続される他のデバイスに対しても同様に
行われるが重みメモリは通常ANPに対し重みデータを供
給しているので、MPUのデータバスに直接接続するとバ
ス競合が生じる。これを防ぐために、内部データバスの
LSBがフリップフロップ224に取り込まれた時はモードを
１として、重みメモリを後述するようにチップセレクト
しないようにして、重みメモリからデータバス上にデー
タが生じないようにする。内部アドレスバスが所定タイ
ミングにおいて、内部アドレスバスによって、マイクロ
コードメモリ203と制御パターンメモリ201のいずれかの
アドレスを指定し、そのアクセスされたアドレスに内部
データバスから所望のデータを書き込む。これにより、
マイクロプログラムシーケンサ202やマイクロコードメ
モリ203、セパレートI/ORAM216に記憶されたプログラム
を変更するか、セパレートI/ORAM215に記憶された制御
パターンを変更する。
回路223を介してフリッフフロップ224のクロック端子に
入力され、内部データバスのLSBがフリップフロップ224
のデータ端子に入力される。上位アドレスを比較回路20
8でマスタコントロールブロック181が選択されているか
を判定し、選択されている場合、下位アドレスとデータ
をDFF209,211に取り込む。このような、インタフェイス
動作はMPUに接続される他のデバイスに対しても同様に
行われるが重みメモリは通常ANPに対し重みデータを供
給しているので、MPUのデータバスに直接接続するとバ
ス競合が生じる。これを防ぐために、内部データバスの
LSBがフリップフロップ224に取り込まれた時はモードを
１として、重みメモリを後述するようにチップセレクト
しないようにして、重みメモリからデータバス上にデー
タが生じないようにする。内部アドレスバスが所定タイ
ミングにおいて、内部アドレスバスによって、マイクロ
コードメモリ203と制御パターンメモリ201のいずれかの
アドレスを指定し、そのアクセスされたアドレスに内部
データバスから所望のデータを書き込む。これにより、
マイクロプログラムシーケンサ202やマイクロコードメ
モリ203、セパレートI/ORAM216に記憶されたプログラム
を変更するか、セパレートI/ORAM215に記憶された制御
パターンを変更する。
第12A図はこの重みデータメモリ230のデータ格納構成
図である。同図において列方向の８ビットは同じアドレ
スに入った８ビットデータの情報であり、各ビットは下
からANP1,ANP2・・・ANP8に与えられる。行方向はアド
レスが異なり、図に示すように左に行くほどアドレスが
増加する方向となっている。重みデータはサインビット
を含めて16ビットであるからこれらをアドレスの小さい
方向から大きい方に向かって格納する。MSBは、サイン
ビットで、それ以外の15ビットは数値ビットである。マ
イクロプログラムシーケンサ202からアドレスがWCLKに
同期してインクリメントされると、重みデータの１ワー
ド分、すなわち16ビットがMSBから順にLSBまで読み出さ
れることになる。８個の複数のANPに同期にこれらの重
みデータが渡される。このようにアドレスの増加する方
向にデータが格納される構造になっているため、この重
みデータに対するアドレスのカウンタが必要となる。す
なわち、MSBからLSBの重みデータデータの１ワード分が
カウントされたら、１個分の重みデータになるようにカ
ウントされる制御が必要となる。この制御はやはりマイ
クロプログラムシーケンサ202で行っている。
図である。同図において列方向の８ビットは同じアドレ
スに入った８ビットデータの情報であり、各ビットは下
からANP1,ANP2・・・ANP8に与えられる。行方向はアド
レスが異なり、図に示すように左に行くほどアドレスが
増加する方向となっている。重みデータはサインビット
を含めて16ビットであるからこれらをアドレスの小さい
方向から大きい方に向かって格納する。MSBは、サイン
ビットで、それ以外の15ビットは数値ビットである。マ
イクロプログラムシーケンサ202からアドレスがWCLKに
同期してインクリメントされると、重みデータの１ワー
ド分、すなわち16ビットがMSBから順にLSBまで読み出さ
れることになる。８個の複数のANPに同期にこれらの重
みデータが渡される。このようにアドレスの増加する方
向にデータが格納される構造になっているため、この重
みデータに対するアドレスのカウンタが必要となる。す
なわち、MSBからLSBの重みデータデータの１ワード分が
カウントされたら、１個分の重みデータになるようにカ
ウントされる制御が必要となる。この制御はやはりマイ
クロプログラムシーケンサ202で行っている。
第12B図は重みメモリブロック185,186具体的回路であ
る。メモリ230はMB8464A−70というRAMである。出力はA
NP1〜ANP8に対応する８ビットである。基本的にMPUのバ
スから見たバス信号線とマスタコントロールブロック18
1から見えるアドレス１と２のどちらかを使う。アドレ
ス１と２は前述した第11A図のアドレス１と２である。
このアドレス１と２はWCLKに同期してインクリメントさ
れる形で入力される。８ビットのデータは同時に読み出
され、各ビットはANP1〜ANP8に対して同時に与えられ
る。
る。メモリ230はMB8464A−70というRAMである。出力はA
NP1〜ANP8に対応する８ビットである。基本的にMPUのバ
スから見たバス信号線とマスタコントロールブロック18
1から見えるアドレス１と２のどちらかを使う。アドレ
ス１と２は前述した第11A図のアドレス１と２である。
このアドレス１と２はWCLKに同期してインクリメントさ
れる形で入力される。８ビットのデータは同時に読み出
され、各ビットはANP1〜ANP8に対して同時に与えられ
る。
モード信号が０のときアンドゲート233を介して、重
みメモリ230はチップセレクトされ、このとき、マイク
ロプログラムシーケンサ202からのアドレス1,2がマルチ
プレクサ234で有効となる。そして、重みメモリ230から
重みデータがANP1〜８に送られる。一方、反転回路231
の出力は、ハイであるからトライステートバストラシー
バ232はディスイネーブル状態となって重みメモリ230の
出力はMPUと出力されない。
みメモリ230はチップセレクトされ、このとき、マイク
ロプログラムシーケンサ202からのアドレス1,2がマルチ
プレクサ234で有効となる。そして、重みメモリ230から
重みデータがANP1〜８に送られる。一方、反転回路231
の出力は、ハイであるからトライステートバストラシー
バ232はディスイネーブル状態となって重みメモリ230の
出力はMPUと出力されない。
MPUに出力する場合には、モード信号を１にして、MPU
からの適当なアドレス情報によって、アドレスデコーダ
235を介してメモリ230をチップセレクトし、メモリ230
にMPUからアドレスを与える。モード信号が１のとき、M
PUバスへの読み出しまたはバスからメモリ230への書き
込みの制御すなわちリードライトの方向は、MPUからア
ンドゲート236を介して来るデータ線の読み出し信号Rea
d Signalによって決められる。
からの適当なアドレス情報によって、アドレスデコーダ
235を介してメモリ230をチップセレクトし、メモリ230
にMPUからアドレスを与える。モード信号が１のとき、M
PUバスへの読み出しまたはバスからメモリ230への書き
込みの制御すなわちリードライトの方向は、MPUからア
ンドゲート236を介して来るデータ線の読み出し信号Rea
d Signalによって決められる。
次に学習のアルゴリズムについて説明する。
第12c図は本発明に利用されるバックプロパゲーショ
ンという学習アルゴリズムのフローチャートである。学
習は次のように進められる。本発明のニューラルネット
ワークすなわち、ANPの集合によって構成される階層型
ネットワークの入力に学習すべき完全情報がMPUから図
示しない入力制御回路を介して入力される。そして、そ
の入力信号は入力側回路、中間層及び出力層を介してネ
ットワーク出力にA/Dコンバータを介した後MPUに与えら
れる。MPU側の主記憶内に学習アルゴリズムが存在す
る。MPU内は、教師信号を主記憶から取り入れ、ネット
ワークの出力と教師信号との誤差を調べる。もし、その
誤差が大きければ、MPUは、ネットワークが正しい出力
を出す方向に、ネットワークの接続の強さである重みデ
ータを変えることになる。この重みデータは重みメモリ
230を介して各層のANPに加えられる。
ンという学習アルゴリズムのフローチャートである。学
習は次のように進められる。本発明のニューラルネット
ワークすなわち、ANPの集合によって構成される階層型
ネットワークの入力に学習すべき完全情報がMPUから図
示しない入力制御回路を介して入力される。そして、そ
の入力信号は入力側回路、中間層及び出力層を介してネ
ットワーク出力にA/Dコンバータを介した後MPUに与えら
れる。MPU側の主記憶内に学習アルゴリズムが存在す
る。MPU内は、教師信号を主記憶から取り入れ、ネット
ワークの出力と教師信号との誤差を調べる。もし、その
誤差が大きければ、MPUは、ネットワークが正しい出力
を出す方向に、ネットワークの接続の強さである重みデ
ータを変えることになる。この重みデータは重みメモリ
230を介して各層のANPに加えられる。
重みデータが学習アルゴリズムによって更新される場
合、第20C図のバックプロパゲーション学習アルゴリズ
ムに従うことになる。学習アルゴリズムがスタートする
と、MPUは出力層のＬ番目のニューロンANPLは教師信号
Ｌと、現在の出力YLとの誤差を求めてそれをZLに代入
する。出力YLはニューロンANPLの出力であるから、例え
ばシグモイド関数を非線形素子として使うならば、この
非線形関数の出力値として出されたものである。従っ
て、ニューロンANPLにおいて、誤差ZLを非線形関数の入
力側に誤差伝播する必要がある。誤差伝播を行う場合、
エネルギー関数、すなわち誤差信号の２乗に1/2を掛け
たエネルギー、すなわち EL＝1/2（−YL）２ の非線形関数入力XLに対する偏分、すなわち は次のように変形できる。
合、第20C図のバックプロパゲーション学習アルゴリズ
ムに従うことになる。学習アルゴリズムがスタートする
と、MPUは出力層のＬ番目のニューロンANPLは教師信号
Ｌと、現在の出力YLとの誤差を求めてそれをZLに代入
する。出力YLはニューロンANPLの出力であるから、例え
ばシグモイド関数を非線形素子として使うならば、この
非線形関数の出力値として出されたものである。従っ
て、ニューロンANPLにおいて、誤差ZLを非線形関数の入
力側に誤差伝播する必要がある。誤差伝播を行う場合、
エネルギー関数、すなわち誤差信号の２乗に1/2を掛け
たエネルギー、すなわち EL＝1/2（−YL）２ の非線形関数入力XLに対する偏分、すなわち は次のように変形できる。
となる。ここで、非線形関数ｆ（XL）がシグモイド関数
であるとするならば、 で表される。
であるとするならば、 で表される。
このシグモイド関数の微分ｆ′（XL）を変形すると、 ｆ′（XL）＝YL（１−YL） となる。これはフローチャートのS2に示されるVLであ
る。従って、δすなわちエネルギーの非線形関数入力XL
に対する偏分はVL×ZLとなり、すなわちS2に示されるUL
となる。このエネルギーの非線形関数入力に対する誤差
分δをさらに中間層へ逆伝播される必要がある。
る。従って、δすなわちエネルギーの非線形関数入力XL
に対する偏分はVL×ZLとなり、すなわちS2に示されるUL
となる。このエネルギーの非線形関数入力に対する誤差
分δをさらに中間層へ逆伝播される必要がある。
中間層の第Ｋ番目のニューロンをAkとする。Akの出力
はYkとする。出力層のニューロンANPLの非線形関数入力
XLはすべての中間層にあるニューロンの出力｛Y1・・Y
kMAX｝までのそれぞれに重みWLKを掛けた積和で表現さ
れる。従って、XLの重みWLKに対する偏分は となる。一方、エネルギーELに対する重みWLKの変分は
次式で与えられる。
はYkとする。出力層のニューロンANPLの非線形関数入力
XLはすべての中間層にあるニューロンの出力｛Y1・・Y
kMAX｝までのそれぞれに重みWLKを掛けた積和で表現さ
れる。従って、XLの重みWLKに対する偏分は となる。一方、エネルギーELに対する重みWLKの変分は
次式で与えられる。
となる。すなわちS3のTLKは を表現しているもので、エネルギーの重みに対する偏分
である。従って、このTLKを重みの変化分ΔＷとすれば
よいが、収束を早めるためにS4に示される第１式の第２
項を加えて、次のような漸化式にして重みを修正する。
である。従って、このTLKを重みの変化分ΔＷとすれば
よいが、収束を早めるためにS4に示される第１式の第２
項を加えて、次のような漸化式にして重みを修正する。
ΔWLk＝αTLk＋β・ΔWLk WLk＝WLk＋ΔWLk ここで、α，βは定数である。今、出力層の特定なニ
ューロンANPLに注目しているが、このANPLは中間層のニ
ューロンにすべて接続されているものとするならば、各
ANPLに対してＫを１からKmaxまで繰り返す必要がある。
これがフローチャートのR1に示す繰り返しで、中間層の
ニューロン数Kmaxだけ繰り返すことになる。この繰り返
しが終わると出力層の特定なニューロンANPLに対する逆
伝播が終了することになる。従ってこれをすべての出力
層のニューロン｛ANP1,ANP2,・・・,ANPLmax｝に対して
行う必要があるため、フローチャートのR2に示すよう
に、Ｌを１からLmaxまで繰り返すことになる。すなわ
ち、最終出力層のニューロンの数Lmaxだけ繰り返すこと
になる。
ューロンANPLに注目しているが、このANPLは中間層のニ
ューロンにすべて接続されているものとするならば、各
ANPLに対してＫを１からKmaxまで繰り返す必要がある。
これがフローチャートのR1に示す繰り返しで、中間層の
ニューロン数Kmaxだけ繰り返すことになる。この繰り返
しが終わると出力層の特定なニューロンANPLに対する逆
伝播が終了することになる。従ってこれをすべての出力
層のニューロン｛ANP1,ANP2,・・・,ANPLmax｝に対して
行う必要があるため、フローチャートのR2に示すよう
に、Ｌを１からLmaxまで繰り返すことになる。すなわ
ち、最終出力層のニューロンの数Lmaxだけ繰り返すこと
になる。
次に今度は中間層から入力層に向かって学習すること
になる。アルゴリズムはほぼ同様であるが、誤差信号は
教師信号と出力電圧との差で表現できず、S5の式にな
る。すなわち、Zkが中間層のＫ番目のニューロン、AKの
出力誤差信号に対応する項となる。これは次式によって
明らかである。
になる。アルゴリズムはほぼ同様であるが、誤差信号は
教師信号と出力電圧との差で表現できず、S5の式にな
る。すなわち、Zkが中間層のＫ番目のニューロン、AKの
出力誤差信号に対応する項となる。これは次式によって
明らかである。
となる。従って、S5のZkのインデックスＬに対して１か
らLmaxまで、すなわち出力の数だけ繰り返す（R3）こと
によって中間層の誤差信号分Zkが計算される。その後は
中間層と出力層との間のアルゴリズムと同じである。す
なわち、まず、シグモイド関数の微分値Vkを出し、それ
を用いてUk、すなわちエネルギーの非線形関数入力に対
する変化層の出力、Yjとの積Tkjを求める。これを重み
変化分の主要部として、S8に示すように収束を早めるた
めの第２項を加えて、ΔWkjを求め、前の値WkjにそのΔ
Wkjを加えて新たなWkjとする。これが重みの更新であ
る。この重みの更新を入力数Jmaxだけ繰り返す（R4）。
すなわちｊ＝１からjmaxまで繰り返すことによって入力
層と中間層の間の重みが更新されることになる。なお、
S5のZkは中間層の出力の誤差信号に対応するものであっ
て、これは出力層のエネルギーの関数入力値に対する偏
分ULを後ろ向きに逆伝播した形で表現され、WLKは中間
層と出力層との重みが定まって初めて定まるものであ
る。すなわち重みの更新に対する計算は出力層のニュー
ロンANPLから初めて中間層のニューロンANPKに移り、中
間層のニューロンANPKではその重み変化分ΔＷはその前
段のΔＷが決まらないと計算できないものとなってい
る。従って最後の入力層まで遡って初めて計算が可能と
なるところからこの学習はバックプロパゲーションと呼
ばれている。
らLmaxまで、すなわち出力の数だけ繰り返す（R3）こと
によって中間層の誤差信号分Zkが計算される。その後は
中間層と出力層との間のアルゴリズムと同じである。す
なわち、まず、シグモイド関数の微分値Vkを出し、それ
を用いてUk、すなわちエネルギーの非線形関数入力に対
する変化層の出力、Yjとの積Tkjを求める。これを重み
変化分の主要部として、S8に示すように収束を早めるた
めの第２項を加えて、ΔWkjを求め、前の値WkjにそのΔ
Wkjを加えて新たなWkjとする。これが重みの更新であ
る。この重みの更新を入力数Jmaxだけ繰り返す（R4）。
すなわちｊ＝１からjmaxまで繰り返すことによって入力
層と中間層の間の重みが更新されることになる。なお、
S5のZkは中間層の出力の誤差信号に対応するものであっ
て、これは出力層のエネルギーの関数入力値に対する偏
分ULを後ろ向きに逆伝播した形で表現され、WLKは中間
層と出力層との重みが定まって初めて定まるものであ
る。すなわち重みの更新に対する計算は出力層のニュー
ロンANPLから初めて中間層のニューロンANPKに移り、中
間層のニューロンANPKではその重み変化分ΔＷはその前
段のΔＷが決まらないと計算できないものとなってい
る。従って最後の入力層まで遡って初めて計算が可能と
なるところからこの学習はバックプロパゲーションと呼
ばれている。
バックプロパゲーションによる学習は学習用のデータ
を完全情報として入力し、結果を出力する前向き動作と
その結果のエラーを小さくするようにすべての結合の強
さを後ろ向きに変えることになる。その為、この前向き
動作も必要となる。この前向き動作において本発明のア
ナログニューラルネット部が有効に利用される。また、
出力値を逆伝播するアルゴリズムはMPUで実行される。
なお、シグモイド関数でない非線形である場合には、そ
の非線形の微分値が異なる。例えばtanh（ｘ）であるな
らば学習アルゴリズムは第12D図のように、非線形の微
分結果は、出力層ではVL＝１−|YL|となり（S2′）、中
間層ではVk＝１−|Yk|（S6′）となる。
を完全情報として入力し、結果を出力する前向き動作と
その結果のエラーを小さくするようにすべての結合の強
さを後ろ向きに変えることになる。その為、この前向き
動作も必要となる。この前向き動作において本発明のア
ナログニューラルネット部が有効に利用される。また、
出力値を逆伝播するアルゴリズムはMPUで実行される。
なお、シグモイド関数でない非線形である場合には、そ
の非線形の微分値が異なる。例えばtanh（ｘ）であるな
らば学習アルゴリズムは第12D図のように、非線形の微
分結果は、出力層ではVL＝１−|YL|となり（S2′）、中
間層ではVk＝１−|Yk|（S6′）となる。
その他は、第12C図と同じ参照符号をつけて説明を省
略する。
略する。
第13図は入力側のディジー回路173,174の構成図であ
る。図中240,241,242はＤタイプのフリップフロップで
ある。DCLK信号の立ち上がりでＤ端子に入力されるデー
タをセットし、出力Ｑを１の状態にする。第１のフリッ
プフロップ240は、DCLKの立ち下がりで、CSI信号をセッ
トする。そして、次の立ち上がりで第２番目のフリップ
フロップ241にその出力信号をセットする。
る。図中240,241,242はＤタイプのフリップフロップで
ある。DCLK信号の立ち上がりでＤ端子に入力されるデー
タをセットし、出力Ｑを１の状態にする。第１のフリッ
プフロップ240は、DCLKの立ち下がりで、CSI信号をセッ
トする。そして、次の立ち上がりで第２番目のフリップ
フロップ241にその出力信号をセットする。
その出力は第３番目のフリップフロップ242のＤ端子
に入力されている。その入力をセットするクロック信号
は４ビットカウンタ243の出力である。カウンタ243はWC
LKの立ち下がりでトリガされる。クリアされるのはDCLK
の立ち下がりである。従って、DCLKの立ち下がりにカウ
ンタ243はオール０となり、WCLKの立ち下がりが８回入
力された後、上位ビットQD信号がハイとなるので、これ
がトリガとなってフリップフロップ242はCSOにハイ信号
を出力する。フリップフロップ241の出力が０になればC
SOはクリアされる。このような動作により、CSIが立ち
下がって、WCLKの８パルスに相当する所定な時間通過し
たのちCSOが出力されるというディジー動作が行われ
る。
に入力されている。その入力をセットするクロック信号
は４ビットカウンタ243の出力である。カウンタ243はWC
LKの立ち下がりでトリガされる。クリアされるのはDCLK
の立ち下がりである。従って、DCLKの立ち下がりにカウ
ンタ243はオール０となり、WCLKの立ち下がりが８回入
力された後、上位ビットQD信号がハイとなるので、これ
がトリガとなってフリップフロップ242はCSOにハイ信号
を出力する。フリップフロップ241の出力が０になればC
SOはクリアされる。このような動作により、CSIが立ち
下がって、WCLKの８パルスに相当する所定な時間通過し
たのちCSOが出力されるというディジー動作が行われ
る。
第14図はダミーノードのニューロンを形成するマック
スバリューノード回路187の具体的回路図である。同図
において抵抗250、ツェナーダイオード251、252、抵抗2
53、電圧フォロア254、255は一定電圧を形成する回路で
ある。抵抗250、253とツェナーダイオード251、252を介
して＋12ボルトから−12ボルトに電流が流れると電圧フ
ォロア254、255の入力には、それぞれ＋７ボルトと−７
ボルトが形成される。これらの電圧は電圧フォロア254,
255の出力抵抗256を介して出力される。この２つの一定
電圧を時分割で引き出すようにアナログスイッチ257〜2
64を用いて制御する。Ｔモードの信号が０の時、その一
定電圧はアナログスイッチ257を介して次の電圧フォロ
ア265に与えられる。Ｔモードが１すなち、ラストモー
ドの時にはアナログスイッチ258によってその他はアナ
ロググランドに抑えられるため、０ボルトが電圧フォロ
ア265に入力される。テストモードでは、バス上のオフ
セットがMPUに通知されることになる。電圧フォロア265
は、出力部のスイッチ制御によってイネーブルされる。
出力イネーブルが１のとき、アナログスイッチ260がオ
ンで電圧フォロアとして働き、その出力が与えられる
が、この時、ダミーノード出力には出力されない。逆に
出力イネーブルが０の時にダミーノード出力に出力され
る。アナログスイッチ260とその出力のスイッチ制御は
出力イネーブル１または２によって制御され、０イネー
ブルである。すなわち出力イネーブル１または２が０の
時にダミーノード出力に一定電圧が出力される。なお、
ダミーノード出力は上側が入力層のダミーノード用であ
り、２番目が中間層のダミーノード用の出力である。こ
のダミーノードの出力電圧は適当な値に固定されるた
め、スレッシュホールド電圧として使用可能となる。な
お、ツェナーダイオード251,252は逆バイアス状態で一
定の電圧を出すものであり、固定電圧は、＋７ボルトか
ら−７ボルトまでの範囲で可変できるようにしている。
出力イネーブル1,2はアナログバスにつながっている他
のANPからの出力電圧とそのアナログバス上で衝突を避
けるためにマスタコントロールブロック181からのダミ
ーノード制御信号DCSでイネーブル状態が決められてい
る。
スバリューノード回路187の具体的回路図である。同図
において抵抗250、ツェナーダイオード251、252、抵抗2
53、電圧フォロア254、255は一定電圧を形成する回路で
ある。抵抗250、253とツェナーダイオード251、252を介
して＋12ボルトから−12ボルトに電流が流れると電圧フ
ォロア254、255の入力には、それぞれ＋７ボルトと−７
ボルトが形成される。これらの電圧は電圧フォロア254,
255の出力抵抗256を介して出力される。この２つの一定
電圧を時分割で引き出すようにアナログスイッチ257〜2
64を用いて制御する。Ｔモードの信号が０の時、その一
定電圧はアナログスイッチ257を介して次の電圧フォロ
ア265に与えられる。Ｔモードが１すなち、ラストモー
ドの時にはアナログスイッチ258によってその他はアナ
ロググランドに抑えられるため、０ボルトが電圧フォロ
ア265に入力される。テストモードでは、バス上のオフ
セットがMPUに通知されることになる。電圧フォロア265
は、出力部のスイッチ制御によってイネーブルされる。
出力イネーブルが１のとき、アナログスイッチ260がオ
ンで電圧フォロアとして働き、その出力が与えられる
が、この時、ダミーノード出力には出力されない。逆に
出力イネーブルが０の時にダミーノード出力に出力され
る。アナログスイッチ260とその出力のスイッチ制御は
出力イネーブル１または２によって制御され、０イネー
ブルである。すなわち出力イネーブル１または２が０の
時にダミーノード出力に一定電圧が出力される。なお、
ダミーノード出力は上側が入力層のダミーノード用であ
り、２番目が中間層のダミーノード用の出力である。こ
のダミーノードの出力電圧は適当な値に固定されるた
め、スレッシュホールド電圧として使用可能となる。な
お、ツェナーダイオード251,252は逆バイアス状態で一
定の電圧を出すものであり、固定電圧は、＋７ボルトか
ら−７ボルトまでの範囲で可変できるようにしている。
出力イネーブル1,2はアナログバスにつながっている他
のANPからの出力電圧とそのアナログバス上で衝突を避
けるためにマスタコントロールブロック181からのダミ
ーノード制御信号DCSでイネーブル状態が決められてい
る。
第15図は非線形関数発生回路であり、第16図、第17
図、第18図はANP内部のディジタルロジック側のハード
ウエアである。
図、第18図はANP内部のディジタルロジック側のハード
ウエアである。
第15図はシグモイド関数を実現するトランジスタ回路
網である。ここでいうシグモイド関数とは連続で単調非
減少な関数を指し、かつ線形関数を特に除外するもので
はない。同図において343,356,378,390,298,314のトラ
ンジスタとそれに対になったトランジスタで差動増幅器
を形成し、コレクタ側に接続されたトランジスタ群がそ
れぞれカレントミラー回路である。差動ANPの左側のト
ランジスタのコレクタを流れるコレクタ電流が出力電流
である。カレントミラーで電流の方向を変えて出力して
いる。電流は出力V0に接続されている抵抗336にはい
る。抵抗336によって電圧が電流に変えられる。ドライ
ブ能力がないため、出力にはハイインピーダンスのオペ
アンプバッファで受ける。トランジスタ337,339より入
力側の回路はバイアス回路である。シグモイド関数を実
現するために区分線形法を使っている。シグモイド関数
の各区分の傾きはエミッタに接続されたエミッタ抵抗34
4と出力抵抗336の比によって決められる。この時トラン
ジスタ343等のエミッタ抵抗も含まれる。各差動ANPのゲ
インは異なる。各区分線形の移り変わりに対するブレイ
クポイントは飽和特性を利用している。その飽和特性は
すべて異なる。V0の出力点において、各オペアンプから
出力される電流の総和の値がシグモイド関数になるよう
に各ANPの飽和特性を変えている。トランジスタ345と抵
抗R1は電流源である。トランジスタ346と抵抗R2、トラ
ンジスタ353と抵抗R3等はすべて同じ電流を供給する電
流源である。すなわち、電流値は同じになるように抵抗
が決められている。すべて同一電流源である。トランジ
スタ345,346のコレクタは接続されているので、和の電
流が抵抗344、347の交点に流れる。トランジスタ343,34
8のコレクタ電流は、バランスした時点では同じにな
る。トランジスタ351はカレントミラーの特性をよくす
るためのものである。トランジスタ350はダイオード接
続である。電流の向きを変えるということは出力に対し
て、電流を引っ張りこむ場合と電流を外に出す場合があ
る。同図に示すように、カレントミラーのトランジスタ
351のコレクタからは出力に向かって電流が流れる。下
側のトランジスタ配列は沢山あるが、エミッタとコレク
タが同じ点に接続されているトランジスタは同じトラン
ジスタである。例えばトランジスタ358と360は同じトラ
ンジスタでこれはトランジスタ345と同じものである。
また359と361も同じトランジスタでこれは346に対応す
る。368,369のトランジスタは同じであり、これは353に
対応する。以下、同様である。したがって、同じ電流で
駆動される定電流電源を有するオペアンプが出力電圧の
正負に従って電流の向きが異なるような動作を行うもの
が全部で６個ある回路である。また、トランジスタ337,
338はレベルシフトであり、330と327もレベルシフトで
ある。レベルシフト回路はシグモイド関数の正と負で動
作範囲がほぼ同じになるようにするためのものである。
トランジスタ352はトランジスタ351のコレクタ電流とト
ランジスタ353のコレクタ電流が等しくなるための補正
用のものである。トランジスタ367,385,237,307も同様
である。
網である。ここでいうシグモイド関数とは連続で単調非
減少な関数を指し、かつ線形関数を特に除外するもので
はない。同図において343,356,378,390,298,314のトラ
ンジスタとそれに対になったトランジスタで差動増幅器
を形成し、コレクタ側に接続されたトランジスタ群がそ
れぞれカレントミラー回路である。差動ANPの左側のト
ランジスタのコレクタを流れるコレクタ電流が出力電流
である。カレントミラーで電流の方向を変えて出力して
いる。電流は出力V0に接続されている抵抗336にはい
る。抵抗336によって電圧が電流に変えられる。ドライ
ブ能力がないため、出力にはハイインピーダンスのオペ
アンプバッファで受ける。トランジスタ337,339より入
力側の回路はバイアス回路である。シグモイド関数を実
現するために区分線形法を使っている。シグモイド関数
の各区分の傾きはエミッタに接続されたエミッタ抵抗34
4と出力抵抗336の比によって決められる。この時トラン
ジスタ343等のエミッタ抵抗も含まれる。各差動ANPのゲ
インは異なる。各区分線形の移り変わりに対するブレイ
クポイントは飽和特性を利用している。その飽和特性は
すべて異なる。V0の出力点において、各オペアンプから
出力される電流の総和の値がシグモイド関数になるよう
に各ANPの飽和特性を変えている。トランジスタ345と抵
抗R1は電流源である。トランジスタ346と抵抗R2、トラ
ンジスタ353と抵抗R3等はすべて同じ電流を供給する電
流源である。すなわち、電流値は同じになるように抵抗
が決められている。すべて同一電流源である。トランジ
スタ345,346のコレクタは接続されているので、和の電
流が抵抗344、347の交点に流れる。トランジスタ343,34
8のコレクタ電流は、バランスした時点では同じにな
る。トランジスタ351はカレントミラーの特性をよくす
るためのものである。トランジスタ350はダイオード接
続である。電流の向きを変えるということは出力に対し
て、電流を引っ張りこむ場合と電流を外に出す場合があ
る。同図に示すように、カレントミラーのトランジスタ
351のコレクタからは出力に向かって電流が流れる。下
側のトランジスタ配列は沢山あるが、エミッタとコレク
タが同じ点に接続されているトランジスタは同じトラン
ジスタである。例えばトランジスタ358と360は同じトラ
ンジスタでこれはトランジスタ345と同じものである。
また359と361も同じトランジスタでこれは346に対応す
る。368,369のトランジスタは同じであり、これは353に
対応する。以下、同様である。したがって、同じ電流で
駆動される定電流電源を有するオペアンプが出力電圧の
正負に従って電流の向きが異なるような動作を行うもの
が全部で６個ある回路である。また、トランジスタ337,
338はレベルシフトであり、330と327もレベルシフトで
ある。レベルシフト回路はシグモイド関数の正と負で動
作範囲がほぼ同じになるようにするためのものである。
トランジスタ352はトランジスタ351のコレクタ電流とト
ランジスタ353のコレクタ電流が等しくなるための補正
用のものである。トランジスタ367,385,237,307も同様
である。
第16図は、ニューロチップ内に供給するパルス信号の
形成するためのシーケンスジェネレータ28（第２図）の
具体回路である。401と402及び404と405はインバータ
で、各インバータはクロック用のインバータである。フ
リップフロップF.Fのラッチ信号の立ち上がり用と立ち
下がり用とに分けてクロックを作っている。同図のフリ
ップフロップは立ち上がりクロックでラッチするもの
で、インバータとF.Fで立ち上がりラッチのF.Fを形成す
る。例えばDCLKでは、インバータ401を１個通ったもの
が立ち下がりラッチ用のクロック信号となる。そしてイ
ンバータ402を通ったものが立ち上がりラッチ用のクロ
ックDCLKとなる。同様にインバータ404の出力が立ち下
がり用のWCLKでインバータ405の出力が立ち上がり用ク
ロックWCLKである。F.F410において、SYNC信号をDCLKの
立ち下がりがラッチしている。F.F410と415でSYNC信号
をDCLKの１サイクル分遅らせ、SNC2信号を作って、SYNC
とその１クロック遅れた信号とで１τのパルスを作って
いる。SYNCが立ち上がった後の１τ（DCLKの１周期）の
パルスでANP内の積分用コンデンサの放電を行う。すな
わちCRSTという信号がそのコンデンサのリセット信号で
ある。もう１つのDSH2はSYNCの立ち下がりからDCLKの１
τ分の長さをとったパルスであって、これがANP内のサ
ンプル／ホールドのコンデンサに対するサンプル／ホー
ルド信号となる。411のF.FではクロックがWCLKで、デー
タがDCLKであるから、WCLKでDCLK信号をラッチしてい
る。その後ナンドゲート414でSYNC信号がハイになって
いて、かつDCLKがハイという状態で最初にきたWCLKをト
リガしてF.F443のクロックにしている。ナンドゲート41
4とインバータ440でアンドとなる。F.F443において、SY
NC信号がハイになっている状態で最初にきたWCLKという
信号がディジタル重みデータすなわちWDの符号ビットを
取り込んでいる。この信号はシリアルに入ってくる重み
ディジタルデータのMSB、すなわち符号ビットである。
すなわちF.F411とアンドゲート（414,440）のタイミン
グで符号ビットをF.F443がラッチする。４ビットの２進
カウンタ416はWCLKのパルス数をかぞえる。16ビットの
ディジタル重みデータが入ってくるので16回数える。数
え終わったところで、出力がハイとなり、インバータ42
3に入る。この信号は16個カレントし終わったことを指
示する信号である。この信号はシリアルにANPに入って
きた重みデータをシフトレジスタ27（第２図）に入れる
制御等に使われる。またカウンタ416の最下位ビットは
インバータ422に入力される。このインバータ422の出力
はCSO信号を生成する。CSOはディジーチェーンの制御信
号であって、アナログバスB1において、前段の２つのAN
Pから出力される信号を競合を防ぐため、前の時刻のCS
が落ちた後、次のCSを出すようにディジー動作を実行す
るためのディレイ回路を形成する必要がある。このディ
レイの遅延時間はWCLKをカウントし、そのカウンタ値で
形成している。カウンタ416のカウントが終わり、フリ
ップフロップ433にその終わったという指示の信号がイ
ンバータ423を介してラッチされるが、これはWCLKでた
たいている。すなわち17個目のWCLKでたたいている。イ
ンバータ437と438を通して、ラッチされた信号がカウン
タ416に戻り、カウンタ416のインクリメント動作をこれ
以上させないようにディスイネーブルの制御を行ってい
る。インバータ438の出力がロウになると、カウンタ416
はカウントが停止する。F.F433のの出力はフリップフ
ロップ442に入っている。これがシフトレジスタ27の出
力のゲート信号になる。すなわち、16個のディジタル重
みデータが入ってくるのをシフトレジスタ278で順々に
シフトし、符号ビットを除いた数値ビットの15ビットの
データをパラレルに並べたところでこれらを出力する。
シフトしている間は出力は出ないようにし、全部入った
ところで出力するためのゲート信号がWRである。シフト
レジスタ27の内容はANPの掛算器に与えられる。F.F433
から出力される信号は、分岐されてシフトレジスタのイ
ネーブル信号に使われる。F.F442はF.F433の出力を立ち
上がりでラッチするものである。WCLKの16個の立ち下が
りラッチでシフトが完了し、その後ゲートを開くのに立
ち上がりラッチでもよいが、立ち下がりで行っている。
F.F412はシグモイド関数の選択用のパルス信号を作るも
のである。F.F412を使ってリセット信号がはいった時点
で、WD、すなわち重みディジタル入力信号が０か１によ
ってシグモイドを使うか使わないかを選択する。この方
法は本システムで使用されない場合もある。実際はシグ
モイド選択信号は、外部から直接形成する。下の回路は
ディジーチェーン回路である。カウンタ416の出力をF.F
434でディレイを作り、そのディレイで最後のF.F445を
トリガを掛けている。このことにより、DCLKの１τ分ズ
ラした上に、そのままズラすのではなく、頭をおとすよ
うにしている。すなわちCSI信号それ自身はDCLKの１周
期分はないこともあり、そのCSIをCSOにするためにはCS
Iに対して、最初の、例えば、２マイクロ分を割って波
形の前を遅らせ、後ろはそのまま信号を作っている。ゲ
ート425と427はCSIのバッファゲートである。正のバッ
ファとインバータバッファである。
形成するためのシーケンスジェネレータ28（第２図）の
具体回路である。401と402及び404と405はインバータ
で、各インバータはクロック用のインバータである。フ
リップフロップF.Fのラッチ信号の立ち上がり用と立ち
下がり用とに分けてクロックを作っている。同図のフリ
ップフロップは立ち上がりクロックでラッチするもの
で、インバータとF.Fで立ち上がりラッチのF.Fを形成す
る。例えばDCLKでは、インバータ401を１個通ったもの
が立ち下がりラッチ用のクロック信号となる。そしてイ
ンバータ402を通ったものが立ち上がりラッチ用のクロ
ックDCLKとなる。同様にインバータ404の出力が立ち下
がり用のWCLKでインバータ405の出力が立ち上がり用ク
ロックWCLKである。F.F410において、SYNC信号をDCLKの
立ち下がりがラッチしている。F.F410と415でSYNC信号
をDCLKの１サイクル分遅らせ、SNC2信号を作って、SYNC
とその１クロック遅れた信号とで１τのパルスを作って
いる。SYNCが立ち上がった後の１τ（DCLKの１周期）の
パルスでANP内の積分用コンデンサの放電を行う。すな
わちCRSTという信号がそのコンデンサのリセット信号で
ある。もう１つのDSH2はSYNCの立ち下がりからDCLKの１
τ分の長さをとったパルスであって、これがANP内のサ
ンプル／ホールドのコンデンサに対するサンプル／ホー
ルド信号となる。411のF.FではクロックがWCLKで、デー
タがDCLKであるから、WCLKでDCLK信号をラッチしてい
る。その後ナンドゲート414でSYNC信号がハイになって
いて、かつDCLKがハイという状態で最初にきたWCLKをト
リガしてF.F443のクロックにしている。ナンドゲート41
4とインバータ440でアンドとなる。F.F443において、SY
NC信号がハイになっている状態で最初にきたWCLKという
信号がディジタル重みデータすなわちWDの符号ビットを
取り込んでいる。この信号はシリアルに入ってくる重み
ディジタルデータのMSB、すなわち符号ビットである。
すなわちF.F411とアンドゲート（414,440）のタイミン
グで符号ビットをF.F443がラッチする。４ビットの２進
カウンタ416はWCLKのパルス数をかぞえる。16ビットの
ディジタル重みデータが入ってくるので16回数える。数
え終わったところで、出力がハイとなり、インバータ42
3に入る。この信号は16個カレントし終わったことを指
示する信号である。この信号はシリアルにANPに入って
きた重みデータをシフトレジスタ27（第２図）に入れる
制御等に使われる。またカウンタ416の最下位ビットは
インバータ422に入力される。このインバータ422の出力
はCSO信号を生成する。CSOはディジーチェーンの制御信
号であって、アナログバスB1において、前段の２つのAN
Pから出力される信号を競合を防ぐため、前の時刻のCS
が落ちた後、次のCSを出すようにディジー動作を実行す
るためのディレイ回路を形成する必要がある。このディ
レイの遅延時間はWCLKをカウントし、そのカウンタ値で
形成している。カウンタ416のカウントが終わり、フリ
ップフロップ433にその終わったという指示の信号がイ
ンバータ423を介してラッチされるが、これはWCLKでた
たいている。すなわち17個目のWCLKでたたいている。イ
ンバータ437と438を通して、ラッチされた信号がカウン
タ416に戻り、カウンタ416のインクリメント動作をこれ
以上させないようにディスイネーブルの制御を行ってい
る。インバータ438の出力がロウになると、カウンタ416
はカウントが停止する。F.F433のの出力はフリップフ
ロップ442に入っている。これがシフトレジスタ27の出
力のゲート信号になる。すなわち、16個のディジタル重
みデータが入ってくるのをシフトレジスタ278で順々に
シフトし、符号ビットを除いた数値ビットの15ビットの
データをパラレルに並べたところでこれらを出力する。
シフトしている間は出力は出ないようにし、全部入った
ところで出力するためのゲート信号がWRである。シフト
レジスタ27の内容はANPの掛算器に与えられる。F.F433
から出力される信号は、分岐されてシフトレジスタのイ
ネーブル信号に使われる。F.F442はF.F433の出力を立ち
上がりでラッチするものである。WCLKの16個の立ち下が
りラッチでシフトが完了し、その後ゲートを開くのに立
ち上がりラッチでもよいが、立ち下がりで行っている。
F.F412はシグモイド関数の選択用のパルス信号を作るも
のである。F.F412を使ってリセット信号がはいった時点
で、WD、すなわち重みディジタル入力信号が０か１によ
ってシグモイドを使うか使わないかを選択する。この方
法は本システムで使用されない場合もある。実際はシグ
モイド選択信号は、外部から直接形成する。下の回路は
ディジーチェーン回路である。カウンタ416の出力をF.F
434でディレイを作り、そのディレイで最後のF.F445を
トリガを掛けている。このことにより、DCLKの１τ分ズ
ラした上に、そのままズラすのではなく、頭をおとすよ
うにしている。すなわちCSI信号それ自身はDCLKの１周
期分はないこともあり、そのCSIをCSOにするためにはCS
Iに対して、最初の、例えば、２マイクロ分を割って波
形の前を遅らせ、後ろはそのまま信号を作っている。ゲ
ート425と427はCSIのバッファゲートである。正のバッ
ファとインバータバッファである。
第17図はサンプル／ホールドS/H信号と、OC信号を形
成する位相制御回路29（第５図）である。S/H信号はイ
ンバータ515に入るものと、ゲート524に入るものと別れ
ている。OC信号も同様である。S/H信号がゲート524とイ
ンバータ515に別れ、インバータ515経由でゲート525に
入るとその後はインバータが８段ある。S/H信号に対し
てそのままの位相と逆位相の２通りの信号を作ってい
る。これはインバータを数段分カスケードに結合し、た
すきがけすることにより２つの出力が同時に１になるこ
とを避けている。すなわち、サンプル／ホールドSH信号
の２つ、SH10とSH11を形成し、それが両方とも１になら
ないようにするようにしている。すなわち、インバータ
チェーンはSH信号の両方が同時オンを避けるためのディ
レイ回路である。ディレイの遅延時間はインバータチェ
ーンの長さによって決まり、片方がオンになってから数
段分遅らせ、もう片方をオンにしている。SH20とSH21に
関しても同様である。OC信号に関する回路も基本的には
同じであるが、それはCRST信号がゲート528と529に入っ
ているので、CRSTが１の場合には強制的に両方出力を１
にする。OC0とOC1の両方共、同時に１になることを避け
ているが、OCの場合はCRSTが１の場合だけ同時に１にな
るようにしている。このことにより、アナログスイッチ
の制御を介して積分器のコンデンサの電荷を放電すると
いうリセット機能を実現している。
成する位相制御回路29（第５図）である。S/H信号はイ
ンバータ515に入るものと、ゲート524に入るものと別れ
ている。OC信号も同様である。S/H信号がゲート524とイ
ンバータ515に別れ、インバータ515経由でゲート525に
入るとその後はインバータが８段ある。S/H信号に対し
てそのままの位相と逆位相の２通りの信号を作ってい
る。これはインバータを数段分カスケードに結合し、た
すきがけすることにより２つの出力が同時に１になるこ
とを避けている。すなわち、サンプル／ホールドSH信号
の２つ、SH10とSH11を形成し、それが両方とも１になら
ないようにするようにしている。すなわち、インバータ
チェーンはSH信号の両方が同時オンを避けるためのディ
レイ回路である。ディレイの遅延時間はインバータチェ
ーンの長さによって決まり、片方がオンになってから数
段分遅らせ、もう片方をオンにしている。SH20とSH21に
関しても同様である。OC信号に関する回路も基本的には
同じであるが、それはCRST信号がゲート528と529に入っ
ているので、CRSTが１の場合には強制的に両方出力を１
にする。OC0とOC1の両方共、同時に１になることを避け
ているが、OCの場合はCRSTが１の場合だけ同時に１にな
るようにしている。このことにより、アナログスイッチ
の制御を介して積分器のコンデンサの電荷を放電すると
いうリセット機能を実現している。
第18図は15ビットのシフトレジスタ27（第２図）であ
る。ゲート602と603及び614、そしてF.F627で１ビット
に相当し、これを使って説明する。ゲート603には、前
の時刻の出力が入力されているもので、これはF.F628の
出力である。前のビットからの入力ということで、シフ
ト用のデータ信号となる。ゲート603に入っている他の
信号はSIFT、すなわちシフト信号のインバータである。
これはシフト制御信号で、これが有効のとき，シフトの
指示を行うことになる。またゲート602にはF.F627その
ものの出力が入っている。これは自分自身の出力をフィ
ードバックしていることになる。ゲート602の他の入力
にはSIFT信号のインバートが同じように入っているが、
この位相はゲート603に入っているものと異なる。これ
によりシフトが無効の時に、今の出力をそのまま保持す
ることになる。クロック信号はシフトと無関係に常時入
ってくるので、クロックが入ってもシフトが有効でなけ
ればシフトは行わない。シフト信号SIFTが有効の時だけ
前のビットをシフトし、ゲート603を通って入力するこ
とでシフト動作となる。WR信号はゲート632、633等のア
ンドに入っている。これは各ビットの出力を出すか出さ
ないかの選択信号となり、乗算器の方にシフトレジスタ
に格納されたデータをわたすかどうかの制御信号とな
る。また、ファンアウトをとるために、例えばインバー
タ620によって15個のうち５個のF.Fのリセット信号そし
て、ゲート626で10個のF.Fのリセット信号を受け持つよ
うにしている。ファンアウトのシフトレジスタ608はシ
フトイネーブルSIFTと出力のイネーブルWRの機能がつい
ている。
る。ゲート602と603及び614、そしてF.F627で１ビット
に相当し、これを使って説明する。ゲート603には、前
の時刻の出力が入力されているもので、これはF.F628の
出力である。前のビットからの入力ということで、シフ
ト用のデータ信号となる。ゲート603に入っている他の
信号はSIFT、すなわちシフト信号のインバータである。
これはシフト制御信号で、これが有効のとき，シフトの
指示を行うことになる。またゲート602にはF.F627その
ものの出力が入っている。これは自分自身の出力をフィ
ードバックしていることになる。ゲート602の他の入力
にはSIFT信号のインバートが同じように入っているが、
この位相はゲート603に入っているものと異なる。これ
によりシフトが無効の時に、今の出力をそのまま保持す
ることになる。クロック信号はシフトと無関係に常時入
ってくるので、クロックが入ってもシフトが有効でなけ
ればシフトは行わない。シフト信号SIFTが有効の時だけ
前のビットをシフトし、ゲート603を通って入力するこ
とでシフト動作となる。WR信号はゲート632、633等のア
ンドに入っている。これは各ビットの出力を出すか出さ
ないかの選択信号となり、乗算器の方にシフトレジスタ
に格納されたデータをわたすかどうかの制御信号とな
る。また、ファンアウトをとるために、例えばインバー
タ620によって15個のうち５個のF.Fのリセット信号そし
て、ゲート626で10個のF.Fのリセット信号を受け持つよ
うにしている。ファンアウトのシフトレジスタ608はシ
フトイネーブルSIFTと出力のイネーブルWRの機能がつい
ている。
次に、本発明に係るニューロコンピュータを帰還型ネ
ットワークで構成した場合について説明する。
ットワークで構成した場合について説明する。
第19A図は帰還型ネットワークの概念図である。
帰還型ネットワークの場合にも、基本的には入力が存
在するが、自分が出力した信号も帰ってくるという帰還
路をもった構造となる。この帰還方式は、階層型ニュー
ラルネットワークにおける１層を時分割多重使用するタ
イプとして利用される場合と、またいわゆるホップフィ
ールド型のニューラルネットワークとして利用される場
合がある。
在するが、自分が出力した信号も帰ってくるという帰還
路をもった構造となる。この帰還方式は、階層型ニュー
ラルネットワークにおける１層を時分割多重使用するタ
イプとして利用される場合と、またいわゆるホップフィ
ールド型のニューラルネットワークとして利用される場
合がある。
前者の場合、ANPの入出力信号は、時分割であるの
で、各ANPの出力点ではある一定のシーケンスサイクル
毎にその同じANPの出力データが逐次に出力されて、１
つシーケンスサイクルごとに階層型ニューラルネットワ
ークの入力層、中間層、出力層として順次動作する。後
者の場合、ANPの出力が特定の値になるまで、つまり安
定するまで、出力電圧が帰還される。帰還している結果
を出した時に、その結果が前のデータ、つまり自分が前
に出したデータと一致するまで、状態が繰り返され、安
定解に達すれば収束となる。
で、各ANPの出力点ではある一定のシーケンスサイクル
毎にその同じANPの出力データが逐次に出力されて、１
つシーケンスサイクルごとに階層型ニューラルネットワ
ークの入力層、中間層、出力層として順次動作する。後
者の場合、ANPの出力が特定の値になるまで、つまり安
定するまで、出力電圧が帰還される。帰還している結果
を出した時に、その結果が前のデータ、つまり自分が前
に出したデータと一致するまで、状態が繰り返され、安
定解に達すれば収束となる。
本発明の実施例によれば、第19B図に示されるよう
に、帰還路を共通アナログバスCBで実現することになり
コの字型の帰還路が存在する。そして１個自分が計算し
て出したものが出力され帰還路を通じて各ANPから出力
がフィードバックされることになる。この帰還動作を繰
り返していく。
に、帰還路を共通アナログバスCBで実現することになり
コの字型の帰還路が存在する。そして１個自分が計算し
て出したものが出力され帰還路を通じて各ANPから出力
がフィードバックされることになる。この帰還動作を繰
り返していく。
第20図は本発明のニューロコンピュータを階層型ネッ
トワークとして動作する帰還型ネットワークによって実
現した実施例である。アナログ入力ポート1,2からの字
分割アナログ入力信号に対してANP1,2,3において積和演
算を行い、ANP1,2,3を中間層として動作させANP1,2,3か
らアナログバスB2に時分割出力し、この出力信号を帰還
路であるアナログコモンバスCBを介してアナログバスB1
に帰還し再びこの帰還信号に対してANP1,2,3で積和演算
を行うことにより、ANP1,2,3を出力層として動作させる
ことにより、一層のANP1,2,3により階層型ネットワーク
を実現したものである。マックスバリューノード回路18
7はマスタコントロールブロックのDCS出力を受けてアナ
ログバスB2にダミー信号を生ずる。そしてマスタコント
ロールブロックからDCLK及びWCLKがそれぞれディジー回
路171に入力され、CSI信号の立ち上がり及び立ち下がり
のタイミングを規定する。
トワークとして動作する帰還型ネットワークによって実
現した実施例である。アナログ入力ポート1,2からの字
分割アナログ入力信号に対してANP1,2,3において積和演
算を行い、ANP1,2,3を中間層として動作させANP1,2,3か
らアナログバスB2に時分割出力し、この出力信号を帰還
路であるアナログコモンバスCBを介してアナログバスB1
に帰還し再びこの帰還信号に対してANP1,2,3で積和演算
を行うことにより、ANP1,2,3を出力層として動作させる
ことにより、一層のANP1,2,3により階層型ネットワーク
を実現したものである。マックスバリューノード回路18
7はマスタコントロールブロックのDCS出力を受けてアナ
ログバスB2にダミー信号を生ずる。そしてマスタコント
ロールブロックからDCLK及びWCLKがそれぞれディジー回
路171に入力され、CSI信号の立ち上がり及び立ち下がり
のタイミングを規定する。
第21A図は第20図に示した帰還型階層ネットワークの
タイミングチャートである。
タイミングチャートである。
DCLKが立ち上がっている間だけ、WCLKは発生し、DCLK
が立ち上がってからアナログ信号が定常化し、かつ重み
データがシリアルに入ってきた後で、パラレルに揃う前
のタイミングでマスタコントロールブロック181からのC
SO1がディジー回路171に入力されに示すように立ち上
がる。この時アナログ入力ポート１よりサンプル／ホー
ルドS/Hに保持されているアナログ信号はアナログスイ
ッチ175を介してアナログバスB1に現れ、ANP1,2,3で積
和演算が行われる。次のDCLKの入力で、ディジー回路17
2へのCSIがに示すように立ち上がると、アナログ入力
ポートからの入力信号を保持しているサンプル／ホール
ド回路S/Hの信号がアナログスイッチを介してアナログ
バスB1上に現れ、ANP1,2,3で２回目の積和演算が行われ
る。さらに次のタイミングでDCLKが入力した後、に示
すようにマスタコントロールブロックよりダミー信号DC
Sが発生し、ANP1,2,3においては、固定電圧に対する３
回目の和が実行される。次のSYNC信号が立ち上がってい
る間に、ANP1,2,3の出力層の積和演算が行われる。重み
メモリへのアドレス１の信号のアドレスカウント禁止信
号が立ち上がっている間だけ、アドレスカウンタをカウ
ントするWCLKがイネーブルされ、それ以外の時には、そ
のカウントは抑止される。次に、CSO2がマスタコントロ
ールブロックよりANP1に与えられると、ANP1は、前回の
積和の結果をアナログバスB2に出力し、アナログ共通バ
スCBを通してアナログバスB1に帰還し、で示すように
再びANP1,2,3において積和演算を行う。CSO2がANP1の内
部のディジーチェーン回路において、所定遅延を加えら
れた後、ANP2にに示すように入力信号CSIを加え、こ
の時、ANPの出力信号がアナログバスB2に共通バスCB及
びアナログバスA1、B1を介して再びANP1に加えられ、こ
こで積和演算が行われる。同様にANP2からのCSOは所定
時間遅らせた後、ANP3のCSI信号となり、このCSI信号が
に示すように立ち上がった時にANP3の出力信号がアナ
ログバスB2,共通バスCB、アナログバスB1を介して再びA
NP1,2,3に帰還されてここで積和演算が行われる。同様
にに示すようにダミーノードからの信号DCSの立ち上
がりの際に再び、固定電圧に対してANP1,2,3により和の
演算が行われる。そして、次のCSO2の信号の立上りでAN
P1,2からS/Hを介して出力が，に示すように生じ
る。なお、アナログ入力ポート２からは出力されない。
が立ち上がってからアナログ信号が定常化し、かつ重み
データがシリアルに入ってきた後で、パラレルに揃う前
のタイミングでマスタコントロールブロック181からのC
SO1がディジー回路171に入力されに示すように立ち上
がる。この時アナログ入力ポート１よりサンプル／ホー
ルドS/Hに保持されているアナログ信号はアナログスイ
ッチ175を介してアナログバスB1に現れ、ANP1,2,3で積
和演算が行われる。次のDCLKの入力で、ディジー回路17
2へのCSIがに示すように立ち上がると、アナログ入力
ポートからの入力信号を保持しているサンプル／ホール
ド回路S/Hの信号がアナログスイッチを介してアナログ
バスB1上に現れ、ANP1,2,3で２回目の積和演算が行われ
る。さらに次のタイミングでDCLKが入力した後、に示
すようにマスタコントロールブロックよりダミー信号DC
Sが発生し、ANP1,2,3においては、固定電圧に対する３
回目の和が実行される。次のSYNC信号が立ち上がってい
る間に、ANP1,2,3の出力層の積和演算が行われる。重み
メモリへのアドレス１の信号のアドレスカウント禁止信
号が立ち上がっている間だけ、アドレスカウンタをカウ
ントするWCLKがイネーブルされ、それ以外の時には、そ
のカウントは抑止される。次に、CSO2がマスタコントロ
ールブロックよりANP1に与えられると、ANP1は、前回の
積和の結果をアナログバスB2に出力し、アナログ共通バ
スCBを通してアナログバスB1に帰還し、で示すように
再びANP1,2,3において積和演算を行う。CSO2がANP1の内
部のディジーチェーン回路において、所定遅延を加えら
れた後、ANP2にに示すように入力信号CSIを加え、こ
の時、ANPの出力信号がアナログバスB2に共通バスCB及
びアナログバスA1、B1を介して再びANP1に加えられ、こ
こで積和演算が行われる。同様にANP2からのCSOは所定
時間遅らせた後、ANP3のCSI信号となり、このCSI信号が
に示すように立ち上がった時にANP3の出力信号がアナ
ログバスB2,共通バスCB、アナログバスB1を介して再びA
NP1,2,3に帰還されてここで積和演算が行われる。同様
にに示すようにダミーノードからの信号DCSの立ち上
がりの際に再び、固定電圧に対してANP1,2,3により和の
演算が行われる。そして、次のCSO2の信号の立上りでAN
P1,2からS/Hを介して出力が，に示すように生じ
る。なお、アナログ入力ポート２からは出力されない。
ここで，，はANP1,2,3が中間層として動作し、
，，はANP1,2,3が出力層として動作する。従って
この実施例によれば、ANP1,2,3の１層のみの構成で階層
型ネットワークを構成できる。
，，はANP1,2,3が出力層として動作する。従って
この実施例によれば、ANP1,2,3の１層のみの構成で階層
型ネットワークを構成できる。
第22図は本発明にかかるアナログニューロコンピュー
タをホップフィールド型の帰還型ネットワークで構成し
た実施例であり、第23図はそのタイミングチャートであ
る。マスタコントロールブロック181の、メモリ・アド
レス端子及びモード端子の出力が重みメモリブロック18
5に加えられ、この重みメモリブロック185のデータ出力
であるB10はANP1、B11はANP2、B12はANP3に接続され
る。マスタコントロールブロック181のCSO1の端子から
の出力信号は、ディジー回路171、スイッチ175に加えら
れ、この信号の立ち上がりで、アナログ入力ポート１か
らのサンプル／ホールド回路173の出力をアナログバスB
1に乗せる。そしてディジー回路171で所定時間遅延され
た後、CSOの出力が生じ、これがディジー回路172にCSI
として加えられてアナログ入力ポート２に接続されたサ
ンプル／ホールド回路174の信号をスイッチ176を介して
アナログバスB1に乗せる。同様にディジー回路172′の
出力信号CSOがアナログ入力ポート３に接続れたサンプ
ル／ホールド回路174′の出力スイッチ176′を開いてそ
の信号をアナログバスB1に乗せる。ANP1では第23図に示
すように、DCLK信号の１周期で１つの積和の演算を行
い、DCLK信号がハイの時に重みクロックを駆動し、その
重みクロックに同期して入るディジタル重みデータと、
アナログ入力信号との掛け算を行い、DCLKの後半のロウ
信号の時に、サンプル／ホールド信号SHがハイとなり、
積分器のキャパシタにおいて、和の動作を行う。すなわ
ちCSO1すなわちディジー回路１のCSIがハイになってい
る期間で、バスB1上のアナログ信号に対してANP1,2,3
は積和演算を行う。また、マスタコントロールブロック
181からのOC信号がハイとなると、ANP1,2,3はオフセッ
トキャンセルを行い、サンプル／ホールドして１つの積
和演算周期を終える。次に第２のディジー回路172の入
力信号CSIがハイになるので、次のアナログ入力ポー
トからの入力信号に対しANP1,2,3は積和演算を行う。そ
して、その積和演算周期が終了した後に、ディジー回路
172′にCSI信号が入り、サンプル／ホールド回路174′
から出力信号が生じて、で示すように第３番目の積和
演算サイクルに入る。
タをホップフィールド型の帰還型ネットワークで構成し
た実施例であり、第23図はそのタイミングチャートであ
る。マスタコントロールブロック181の、メモリ・アド
レス端子及びモード端子の出力が重みメモリブロック18
5に加えられ、この重みメモリブロック185のデータ出力
であるB10はANP1、B11はANP2、B12はANP3に接続され
る。マスタコントロールブロック181のCSO1の端子から
の出力信号は、ディジー回路171、スイッチ175に加えら
れ、この信号の立ち上がりで、アナログ入力ポート１か
らのサンプル／ホールド回路173の出力をアナログバスB
1に乗せる。そしてディジー回路171で所定時間遅延され
た後、CSOの出力が生じ、これがディジー回路172にCSI
として加えられてアナログ入力ポート２に接続されたサ
ンプル／ホールド回路174の信号をスイッチ176を介して
アナログバスB1に乗せる。同様にディジー回路172′の
出力信号CSOがアナログ入力ポート３に接続れたサンプ
ル／ホールド回路174′の出力スイッチ176′を開いてそ
の信号をアナログバスB1に乗せる。ANP1では第23図に示
すように、DCLK信号の１周期で１つの積和の演算を行
い、DCLK信号がハイの時に重みクロックを駆動し、その
重みクロックに同期して入るディジタル重みデータと、
アナログ入力信号との掛け算を行い、DCLKの後半のロウ
信号の時に、サンプル／ホールド信号SHがハイとなり、
積分器のキャパシタにおいて、和の動作を行う。すなわ
ちCSO1すなわちディジー回路１のCSIがハイになってい
る期間で、バスB1上のアナログ信号に対してANP1,2,3
は積和演算を行う。また、マスタコントロールブロック
181からのOC信号がハイとなると、ANP1,2,3はオフセッ
トキャンセルを行い、サンプル／ホールドして１つの積
和演算周期を終える。次に第２のディジー回路172の入
力信号CSIがハイになるので、次のアナログ入力ポー
トからの入力信号に対しANP1,2,3は積和演算を行う。そ
して、その積和演算周期が終了した後に、ディジー回路
172′にCSI信号が入り、サンプル／ホールド回路174′
から出力信号が生じて、で示すように第３番目の積和
演算サイクルに入る。
次にマスタコントロールブロック181からCSO2信号
が生じて、ANP1から前回の積和サイクルの時に形成され
ていた信号がアナログバスCBを介して帰還され、その帰
還された信号に対して、ANP1,ANP2,ANP3で積和演算を同
時に行う。次に所定時間遅延した後、ANP1のCSO出力信
号がでANP2に加えられ、ここでディジーチェーン的に
前回の積和サイクルの時に蓄えられた信号をANP2が出力
する。この信号はアナログバスCBを介して帰還されてAN
P1,ANP2,ANP3で積和演算をで駆動する。そして同様に
所定時間遅延した後、ANP2のCSOがでANP3に加わえら
れ、ここでANP3からの出力をアナログバスCBを介して帰
還して、ANP1,ANP2,ANP3においてで積和演算を行う。
帰還型ネットワークにおいては、第23A図及び第23B図に
示すように、３つのANPにおいて、６つの積和演算サイ
クルを経て出力が、それぞれサンプル／ホールド回路17
7、178、178′を介してアナログ出力ポート０、１、２
へと出力される。また、サンプル／ホールド回路177,17
8、178′の出力信号がアナログマルチプレクサ179で選
択出力されたものをA/Dコンバータ180を介してMPU182、
メモリ183、通信インターフェイス184を含むディジタル
制御回路に与えられる。MPU182で現時刻のニューロン出
力状態と前時刻のニューロン出力状態が同じになったか
どうかをチェックする。同じになれば収束したものと判
定する。このように、１本の共通アナログバスCBを介し
て実行される。帰還動作を繰り返していくことによって
安定解に到達すればこれを最終的な出力とする。
が生じて、ANP1から前回の積和サイクルの時に形成され
ていた信号がアナログバスCBを介して帰還され、その帰
還された信号に対して、ANP1,ANP2,ANP3で積和演算を同
時に行う。次に所定時間遅延した後、ANP1のCSO出力信
号がでANP2に加えられ、ここでディジーチェーン的に
前回の積和サイクルの時に蓄えられた信号をANP2が出力
する。この信号はアナログバスCBを介して帰還されてAN
P1,ANP2,ANP3で積和演算をで駆動する。そして同様に
所定時間遅延した後、ANP2のCSOがでANP3に加わえら
れ、ここでANP3からの出力をアナログバスCBを介して帰
還して、ANP1,ANP2,ANP3においてで積和演算を行う。
帰還型ネットワークにおいては、第23A図及び第23B図に
示すように、３つのANPにおいて、６つの積和演算サイ
クルを経て出力が、それぞれサンプル／ホールド回路17
7、178、178′を介してアナログ出力ポート０、１、２
へと出力される。また、サンプル／ホールド回路177,17
8、178′の出力信号がアナログマルチプレクサ179で選
択出力されたものをA/Dコンバータ180を介してMPU182、
メモリ183、通信インターフェイス184を含むディジタル
制御回路に与えられる。MPU182で現時刻のニューロン出
力状態と前時刻のニューロン出力状態が同じになったか
どうかをチェックする。同じになれば収束したものと判
定する。このように、１本の共通アナログバスCBを介し
て実行される。帰還動作を繰り返していくことによって
安定解に到達すればこれを最終的な出力とする。
第24図は、帰還型ネットワークと階層型ネットワーク
を組み合わせたものの最適実施例である。入力層として
ディジー回路が設けられ、中間層にはANP1,2,3が設けら
れる。出力層にはANP4,5が設けられる。そして中間層の
ANP1,2,3の出力はアナログバスB2と共通アナログバスCD
を介してアナログバスB1に帰還される。また、アナログ
バスB1、B2にはダミーノードとして働くマックスバリュ
ーノード回路187が接続されている。そして、出力層を
構成するANP4,5の出力はサンプル／ホールド回路177,17
8をそれぞれ介してアナログ出力ボード０及び１に出力
される。B3は出力層アナログバスである。
を組み合わせたものの最適実施例である。入力層として
ディジー回路が設けられ、中間層にはANP1,2,3が設けら
れる。出力層にはANP4,5が設けられる。そして中間層の
ANP1,2,3の出力はアナログバスB2と共通アナログバスCD
を介してアナログバスB1に帰還される。また、アナログ
バスB1、B2にはダミーノードとして働くマックスバリュ
ーノード回路187が接続されている。そして、出力層を
構成するANP4,5の出力はサンプル／ホールド回路177,17
8をそれぞれ介してアナログ出力ボード０及び１に出力
される。B3は出力層アナログバスである。
第25図を用いて第24図に示したニューラルネットワー
クの動作を説明する。
クの動作を説明する。
まず、DCLK及びWCLKがマスタコントロールブロックか
らディジー回路171及びANP1,2,3,4,5にそれぞれ入力さ
れる。マスタコントロールブロック181からに示すよ
うにCSO1がCSIとして第１のディジー回路171に入力され
るとアナログ入力ポート０からの信号がサンプル／ホー
ルド回路173及びスイッチ175を介してアナログバスB1に
生じ、ANP1,2,3において積和演算がSH1及びCS1の制御で
行われる。
らディジー回路171及びANP1,2,3,4,5にそれぞれ入力さ
れる。マスタコントロールブロック181からに示すよ
うにCSO1がCSIとして第１のディジー回路171に入力され
るとアナログ入力ポート０からの信号がサンプル／ホー
ルド回路173及びスイッチ175を介してアナログバスB1に
生じ、ANP1,2,3において積和演算がSH1及びCS1の制御で
行われる。
次に、CSO1が立下がった後、所定時間経過後に第２の
ディジー回路172に入力されるCSI信号がに示すように
立ち上がると、アナログ入力ポート１からの信号からサ
ンプル／ホールド回路174及びスイッチ176を介してアナ
ログバスB2により中間層のANP1,2,3において、SH1に示
すように積和演算が行われる。同様にCSOが信号が立ち
下がった後、所定時間経過後にに示すように第３のデ
ィジー回路へのCSI信号が立ち上がると、中間層ANP1,2,
3で積和演算が行われる。そして、中間層ANP1,2,3の出
力はCSO2がで示すように立ち上がってANP1に加える
と、アナログバスB2に出力されその出力は共通アナログ
バスCBを介してアナログバスB1に帰還されるので、中間
層のANP1,ANP2,ANP3においては再び積和演算が行われSH
1とOC1の制御で積和演算が行われると共に、ANP1の出力
はアナログバスB2上に生じているので、ANP4,ANP5にお
いても、SH2とOC2の制御で積和演算が行われる。すなわ
ち、この実施例においては、中間層ANP1、ANP2、ANP3と
出力層ANP4,ANP5において同時に積和演算が行われる。
ディジー回路172に入力されるCSI信号がに示すように
立ち上がると、アナログ入力ポート１からの信号からサ
ンプル／ホールド回路174及びスイッチ176を介してアナ
ログバスB2により中間層のANP1,2,3において、SH1に示
すように積和演算が行われる。同様にCSOが信号が立ち
下がった後、所定時間経過後にに示すように第３のデ
ィジー回路へのCSI信号が立ち上がると、中間層ANP1,2,
3で積和演算が行われる。そして、中間層ANP1,2,3の出
力はCSO2がで示すように立ち上がってANP1に加える
と、アナログバスB2に出力されその出力は共通アナログ
バスCBを介してアナログバスB1に帰還されるので、中間
層のANP1,ANP2,ANP3においては再び積和演算が行われSH
1とOC1の制御で積和演算が行われると共に、ANP1の出力
はアナログバスB2上に生じているので、ANP4,ANP5にお
いても、SH2とOC2の制御で積和演算が行われる。すなわ
ち、この実施例においては、中間層ANP1、ANP2、ANP3と
出力層ANP4,ANP5において同時に積和演算が行われる。
次に、CSO2が立ち下がった後所定時間経過後に中間層
のANP2にに示すようにCSI信号を入力されるとANP2の
出力信号はANP2、共通バスCBを介してアナログバスB1に
帰還されるので、ANP1,2,3においては再び積和演算が行
われると共にANP4,5においても同時タイミングで積和演
算が行われる。
のANP2にに示すようにCSI信号を入力されるとANP2の
出力信号はANP2、共通バスCBを介してアナログバスB1に
帰還されるので、ANP1,2,3においては再び積和演算が行
われると共にANP4,5においても同時タイミングで積和演
算が行われる。
さらに、で示すようにCSI信号がANP3に入力される
とANP3は出力信号をアドレスバスB1に生じるのでANP1,
2,3及び出力層のANP4,5で同時に積和演算が実行され
る。
とANP3は出力信号をアドレスバスB1に生じるのでANP1,
2,3及び出力層のANP4,5で同時に積和演算が実行され
る。
その次に、マックスバリューノード回路187へダミー
信号DSCIがで与えられると、アナログバスＢにに一
定電圧が出力され、この電圧は共通バスCB及びアナログ
バスB1を介して帰還され、これに対して、ANP1,2,3で積
和演算が行われる。それと共に出力層ANP4,5でも積和演
算が行われる。
信号DSCIがで与えられると、アナログバスＢにに一
定電圧が出力され、この電圧は共通バスCB及びアナログ
バスB1を介して帰還され、これに対して、ANP1,2,3で積
和演算が行われる。それと共に出力層ANP4,5でも積和演
算が行われる。
SYNC1は、中間層で積和演算される期間と中間層及び
出力層で積和演算される期間にわたってハイであり、SY
NC2は中間層と出力層で積和演算がされる間がハイであ
る。そして、CSO3が出力されるとANP4はのところで出
力を生じ、そのCSO3信号が立ち下がった後、所定時間後
にANP5もまた出力をところで生ずる。
出力層で積和演算される期間にわたってハイであり、SY
NC2は中間層と出力層で積和演算がされる間がハイであ
る。そして、CSO3が出力されるとANP4はのところで出
力を生じ、そのCSO3信号が立ち下がった後、所定時間後
にANP5もまた出力をところで生ずる。
なお、アンドレス１及びイネーブル信号がロウである
間はWCLKが抑止される。
間はWCLKが抑止される。
本発明によれば、ｎ個のニューロチップからなる前段
層とｍ個の複数のニューロチップからなる後段の層を考
えるとき、従来は配線数がnm個になるのに、本発明の実
施例によれば、アナログバス１本にすることができるの
で配線数を大幅に減少させることができ、また、ｎ個の
ニューロチップからなる層に入力アナログ信号を入力す
る際に、放送方式と同様にアナログバスを介して同時に
入力できるので、１層内のｎ個のニューロチップが並列
演算ができる。さらに、各層についてもパイプライン処
理が行われるので、演算速度を高速にできる。
層とｍ個の複数のニューロチップからなる後段の層を考
えるとき、従来は配線数がnm個になるのに、本発明の実
施例によれば、アナログバス１本にすることができるの
で配線数を大幅に減少させることができ、また、ｎ個の
ニューロチップからなる層に入力アナログ信号を入力す
る際に、放送方式と同様にアナログバスを介して同時に
入力できるので、１層内のｎ個のニューロチップが並列
演算ができる。さらに、各層についてもパイプライン処
理が行われるので、演算速度を高速にできる。
また、ニューロチップをアナログ回路で構成している
ので、回路の規模が小さくてすみ、このため電力も小さ
くてすむので、多数のニューロチップによりニューロコ
ンピュータを構成するこができる。そして、ニューロチ
ップの数を増やすことはマスタコントロールブロック内
の制御パターンをかえることにより容易に行える。
ので、回路の規模が小さくてすみ、このため電力も小さ
くてすむので、多数のニューロチップによりニューロコ
ンピュータを構成するこができる。そして、ニューロチ
ップの数を増やすことはマスタコントロールブロック内
の制御パターンをかえることにより容易に行える。
第1A図は、本発明のニューロコンピュータの原理ブロッ
ク図、 第1B図は、本発明のアナログニューロプロセッサANPの
チップから構成されたパッケージの概略図、 第1C図は、本発明のANPの内部構成図、 第２図は、本発明のアナログニューロプロセッサの原理
構成図、 第３図は、本発明の基本ユニットの一実施例のブロック
図、 第４図は、本発明の基本ユニットの実施例の具体的回路
図、 第５図は、本発明の基本ユニットの他の実施例の具体的
回路図、 第６図は、本発明の基本ユニットに用いられる積分器の
動作タイミングを説明する図、 第7A図は、階層型ニューラルネットワークの概念図、 第7B図は、本発明による階層型ニューラルネットワーク
の概念図、 第８図は、本発明のニューロコンピュータを階層型ネッ
トワークで実現した一実施例の具体的回路、 第9A図、第9B図は、第８図に示した信号処理のタイミン
グ図、 第10図は、ディジタル重みデータの読み込みタイミング
を示す図、 第11A図は、マスタコントロールブロックの具体的回路
図、 第11B図は、制御パターンメモリ及びマイクロコードメ
モリの構造を示す図、 第12A図は、重みデータメモリへのデータ充填方法を示
す図、 第12B図は、重みデータメモリの具体的構成図、 第12C図及び第12D図は学習アルゴリズムのフローチャー
ト、 第13図は、ディジー回路の具体的回路図、 第14図は、マックスバリューノード回路の具体的回路
図、 第15図は、シグモイド関数発生回路図、 第16図は、シーケンスジェネレータの具体的回路図、 第17図は、位相制御回路の具体的回路図、 第18図は、シフトレジスタの具体的回路図、 第19A図は、帰還型ネットワークを説明する概念図、 第19B図は、本発明のニューロコンピュータにより帰還
型ネットワークを構成した場合の説明図、 第20図は、本発明によるニューロコンピュータにより、
第１の帰還型ネットワークを構成した実施例の具体的回
路図、 第21A及び第21B図は、第20図に示した実施例の信号処理
を示すタイミング図、 第22図は、本発明のニューロコンピュータにより、第２
の帰還型ネットワークを構成した実施例の具体的ブロッ
ク図、 第23A図及び第23B図は、第22図に示した実施例の信号処
理を示すタイミング図、 第24図は、本発明のニューロコンピュータにより階層型
と帰還型とを組み合わせた他の実施例のブロック図、 第25A図、及び第25B図は、第24図に示した実施例の信号
処理を示すタイミング図、 第26図は、ニューロンモデルの基本ユニットの原理構成
図、 第27図は、階層型ニューラルネットワークの構成概念図
である。 12……制御パターンメモリ、 13……シーケンサ、 14……重みメモリ、 15……ディジタル制御手段、 16……D/Aコンバータ、 17……A/Dコンバータ、 18……ANPで構成したニューラルネットワーク．
ク図、 第1B図は、本発明のアナログニューロプロセッサANPの
チップから構成されたパッケージの概略図、 第1C図は、本発明のANPの内部構成図、 第２図は、本発明のアナログニューロプロセッサの原理
構成図、 第３図は、本発明の基本ユニットの一実施例のブロック
図、 第４図は、本発明の基本ユニットの実施例の具体的回路
図、 第５図は、本発明の基本ユニットの他の実施例の具体的
回路図、 第６図は、本発明の基本ユニットに用いられる積分器の
動作タイミングを説明する図、 第7A図は、階層型ニューラルネットワークの概念図、 第7B図は、本発明による階層型ニューラルネットワーク
の概念図、 第８図は、本発明のニューロコンピュータを階層型ネッ
トワークで実現した一実施例の具体的回路、 第9A図、第9B図は、第８図に示した信号処理のタイミン
グ図、 第10図は、ディジタル重みデータの読み込みタイミング
を示す図、 第11A図は、マスタコントロールブロックの具体的回路
図、 第11B図は、制御パターンメモリ及びマイクロコードメ
モリの構造を示す図、 第12A図は、重みデータメモリへのデータ充填方法を示
す図、 第12B図は、重みデータメモリの具体的構成図、 第12C図及び第12D図は学習アルゴリズムのフローチャー
ト、 第13図は、ディジー回路の具体的回路図、 第14図は、マックスバリューノード回路の具体的回路
図、 第15図は、シグモイド関数発生回路図、 第16図は、シーケンスジェネレータの具体的回路図、 第17図は、位相制御回路の具体的回路図、 第18図は、シフトレジスタの具体的回路図、 第19A図は、帰還型ネットワークを説明する概念図、 第19B図は、本発明のニューロコンピュータにより帰還
型ネットワークを構成した場合の説明図、 第20図は、本発明によるニューロコンピュータにより、
第１の帰還型ネットワークを構成した実施例の具体的回
路図、 第21A及び第21B図は、第20図に示した実施例の信号処理
を示すタイミング図、 第22図は、本発明のニューロコンピュータにより、第２
の帰還型ネットワークを構成した実施例の具体的ブロッ
ク図、 第23A図及び第23B図は、第22図に示した実施例の信号処
理を示すタイミング図、 第24図は、本発明のニューロコンピュータにより階層型
と帰還型とを組み合わせた他の実施例のブロック図、 第25A図、及び第25B図は、第24図に示した実施例の信号
処理を示すタイミング図、 第26図は、ニューロンモデルの基本ユニットの原理構成
図、 第27図は、階層型ニューラルネットワークの構成概念図
である。 12……制御パターンメモリ、 13……シーケンサ、 14……重みメモリ、 15……ディジタル制御手段、 16……D/Aコンバータ、 17……A/Dコンバータ、 18……ANPで構成したニューラルネットワーク．
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅川 和雄 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 杉浦 義英 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 都築 裕之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 遠藤 秀一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 川崎 貴 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 松田 俊春 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 岩本 弘 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 土屋 主悦 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 石川 勝哉 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平１−237754（ＪＰ，Ａ)
Claims (4)
- 【請求項１】各アナログ入力信号を同一層の各アナログ
ニューロンプロセッサに共通の第１のアナログバスより
時分割的に入力し、該入力に対して積和演算を行った結
果のアナログ出力信号を同一層の各アナログニューロン
プロセッサに共通の第２のアナログバスに出力するアナ
ログニューロンプロセッサの集合からなるニューラルネ
ットワークと、 該ニューラルネットワークの制御情報を格納する制御パ
ターンメモリと、 該制御パターンメモリと重みメモリのアドレスをアクセ
スするための信号を発生するシーケンサと、 該シーケンサの制御によって制御され、前記アナログニ
ューロンプロセッサに対する重みデータを格納する重み
メモリと、 該重みメモリへアドレス信号を送信するアドレス信号送
信手段とよりなることを特徴とするニューロコンピュー
タの集中制御方式。 - 【請求項２】前記制御パターンメモリは前記ニューラル
ネットワークの制御情報を格納する第１のI/Oメモリ
と、 該第１のI/Oメモリのジャンプ信号、リピート信号を格
納する第２のI/Oメモリとからなることを特徴とする請
求項１記載のニューロコンピュータの集中制御方式。 - 【請求項３】前記アドレス信号送信手段は前記制御パタ
ーンメモリからの出力される重みメモリクロック信号を
イネーブルする手段を有し、前記重みメモリには所定タ
イミングでは重みデータが読み書きできるようにするこ
とを特徴とする請求項１記載のニューロコンピュータの
集中制御方式。 - 【請求項４】前記シーケンサは外部のディジタル制御手
段より転送されてきた命令を格納し、この命令によって
制御パターンメモリを制御することを特徴とする請求項
１記載のニューロコンピュータの集中制御方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1045209A JP2677656B2 (ja) | 1989-02-28 | 1989-02-28 | ニューロコンピュータの集中制御方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1045209A JP2677656B2 (ja) | 1989-02-28 | 1989-02-28 | ニューロコンピュータの集中制御方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02226383A JPH02226383A (ja) | 1990-09-07 |
| JP2677656B2 true JP2677656B2 (ja) | 1997-11-17 |
Family
ID=12712874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1045209A Expired - Lifetime JP2677656B2 (ja) | 1989-02-28 | 1989-02-28 | ニューロコンピュータの集中制御方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2677656B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7032125B2 (ja) * | 2016-12-28 | 2022-03-08 | 株式会社半導体エネルギー研究所 | 半導体装置、及び該半導体装置を有する電子機器 |
| US11354562B2 (en) * | 2018-01-03 | 2022-06-07 | Silicon Storage Technology, Inc. | Programmable neuron for analog non-volatile memory in deep learning artificial neural network |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4866645A (en) * | 1987-12-23 | 1989-09-12 | North American Philips Corporation | Neural network with dynamic refresh capability |
-
1989
- 1989-02-28 JP JP1045209A patent/JP2677656B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02226383A (ja) | 1990-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2679738B2 (ja) | ニューロコンピュータにおける学習処理方式 | |
| KR940001173B1 (ko) | 뉴로 컴퓨터 | |
| US5220559A (en) | Neuron architecture | |
| JPH04293151A (ja) | 並列データ処理方式 | |
| US5216746A (en) | Error absorbing system in a neuron computer | |
| JP2785155B2 (ja) | ニューロコンピュータの非同期制御方式 | |
| JPH07111090A (ja) | 信号処理装置 | |
| JP2677656B2 (ja) | ニューロコンピュータの集中制御方式 | |
| US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
| JP2618470B2 (ja) | ニューロコンピュータにおける重み補正による誤差吸収方式 | |
| JP2825133B2 (ja) | 並列データ処理方式 | |
| JP2679733B2 (ja) | ホップフィールドネット | |
| JP3338713B2 (ja) | 信号処理装置 | |
| JPH02232725A (ja) | マルチダミーノードを有するニューロコンピュータ | |
| JP3463890B2 (ja) | 神経回路模倣素子 | |
| JPH05307624A (ja) | 信号処理装置 | |
| JP2612640B2 (ja) | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 | |
| KR940001172B1 (ko) | 네트워크 구성데이타 처리장치의 학습처리 방식 | |
| JP2517662B2 (ja) | 連鎖制御装置 | |
| JPH05108594A (ja) | 信号処理装置 | |
| JPH08123777A (ja) | 神経回路模倣素子 | |
| JPH05298276A (ja) | 信号処理装置 | |
| JPH05217010A (ja) | 信号処理装置 | |
| JPH05135001A (ja) | 信号処理装置 | |
| Athithan | Associative storage of complex sequences in recurrent neural networks |