JP2785155B2 - ニューロコンピュータの非同期制御方式 - Google Patents
ニューロコンピュータの非同期制御方式Info
- Publication number
- JP2785155B2 JP2785155B2 JP2237231A JP23723190A JP2785155B2 JP 2785155 B2 JP2785155 B2 JP 2785155B2 JP 2237231 A JP2237231 A JP 2237231A JP 23723190 A JP23723190 A JP 23723190A JP 2785155 B2 JP2785155 B2 JP 2785155B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- analog
- weight
- neuron
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Description
【発明の詳細な説明】 〔概要〕 ニューロコンピュータを構成するニューロンを非同期
制御する方式に関し、 小さい面積で非同期制御を実現し、実際に機械に組み
込めて、収束が速く、周期解を持たないHopfield型ニュ
ーロコンピュータを実現することを目的とし、 複数の入力信号にそれぞれ対応する重みを乗じ、それ
らの総和をとった後、非線型関数で変換した信号を出力
するニューロン複数個から構成される相互結合型ニュー
ラルネットワークと、該ニューロンに対する重みデータ
を記憶する重みメモリと、該ニューラルネットワークを
制御する制御パターンを発生するコントローラと、１処
理サイクルにおいて、前記ニューロンの中で信号処理を
行うものをランダムに選択する選択手段よりなるように
構成する。
制御する方式に関し、 小さい面積で非同期制御を実現し、実際に機械に組み
込めて、収束が速く、周期解を持たないHopfield型ニュ
ーロコンピュータを実現することを目的とし、 複数の入力信号にそれぞれ対応する重みを乗じ、それ
らの総和をとった後、非線型関数で変換した信号を出力
するニューロン複数個から構成される相互結合型ニュー
ラルネットワークと、該ニューロンに対する重みデータ
を記憶する重みメモリと、該ニューラルネットワークを
制御する制御パターンを発生するコントローラと、１処
理サイクルにおいて、前記ニューロンの中で信号処理を
行うものをランダムに選択する選択手段よりなるように
構成する。
本発明は、ニューロコンピュータを構成するニューロ
ンを非同期制御する方式に関するものである。
ンを非同期制御する方式に関するものである。
Hopfield型ニューロコンピュータの出力パターンが、
解に至る前に同じ出力パターンを繰り返す所謂周期振動
解に至らせないで安定解に収束させるためには、１処理
サイクルにおいて信号処理をするニューロンを１個に限
る方法がある。
解に至る前に同じ出力パターンを繰り返す所謂周期振動
解に至らせないで安定解に収束させるためには、１処理
サイクルにおいて信号処理をするニューロンを１個に限
る方法がある。
従来のHopfield型ニューロコンピュータにおいては、 １） ホストコンピュータ上でソフトウェアシミュレー
ションを行う。
ションを行う。
２） 収束特性の劣化を我慢して同期制御すなわち全て
のニューロンの同期処理を行う。
のニューロンの同期処理を行う。
３） 完全にアナログ回路で実現する。
という方式を採用していた。
しかし、上記方式はそれぞれ以下の欠点を有する。
１）の方式は、ニューロコンピュータを実際に機械に組
み込んで使用する場合には、容積を小さくする必要があ
るのに、ホストコンピュータを用いたのでは小型化でき
ず、また収束まで時間がかかってしまう。
み込んで使用する場合には、容積を小さくする必要があ
るのに、ホストコンピュータを用いたのでは小型化でき
ず、また収束まで時間がかかってしまう。
２）の方式は、Hopfield型ニューロコンピュータについ
て収束特性の劣化、例えば周期２の周期振動解が存在し
てしまうことがあるため使いにくい。すなわち、パター
ン（1010）の次に（0101）そして、再び（1010）とな
り、２回目の周期に同一パターン（1010）が現れる（こ
れを周期２と呼ぶ）ことを繰り返す。
て収束特性の劣化、例えば周期２の周期振動解が存在し
てしまうことがあるため使いにくい。すなわち、パター
ン（1010）の次に（0101）そして、再び（1010）とな
り、２回目の周期に同一パターン（1010）が現れる（こ
れを周期２と呼ぶ）ことを繰り返す。
３）の方式は、同期制御で行うと制御ができず、素子の
高次遅れや配線による遅延のため振動解になることがあ
る。
高次遅れや配線による遅延のため振動解になることがあ
る。
そのため、Hopfield型ニューロコンピュータの応用分
野は狭い範囲に留まっていた。本発明は、小さい面積で
非同期制御を実現し、実際に機械に組み込めて、収束が
速く、周期解を持たないHopfield型ニューロコンピュー
タを実現することを目的とする。
野は狭い範囲に留まっていた。本発明は、小さい面積で
非同期制御を実現し、実際に機械に組み込めて、収束が
速く、周期解を持たないHopfield型ニューロコンピュー
タを実現することを目的とする。
ニューラルネットワークとは一般に第２図に示すよう
に、各ニューロン（1,2,3）が接続されているものをい
う。
に、各ニューロン（1,2,3）が接続されているものをい
う。
第3A図は相互結合型ネットワークの概念図である。特
に、自分自身に帰還する結合がなく、（wii＝０）、他
のニューロンとの結合も対象である（wij＝wji）ものを
標準型のHopfield型ネットワークといい、各ニューロン
が非同期に状態変化を行うならば、周期振動解に至らず
安定解に収束することが保証される。このためには、１
処理サイクルにおいて信号処理をするニューロンを１個
に限る必要がある。ニューロンを選択する手段に関して
は制限がないが、例えばランダムに選択すればよい。
に、自分自身に帰還する結合がなく、（wii＝０）、他
のニューロンとの結合も対象である（wij＝wji）ものを
標準型のHopfield型ネットワークといい、各ニューロン
が非同期に状態変化を行うならば、周期振動解に至らず
安定解に収束することが保証される。このためには、１
処理サイクルにおいて信号処理をするニューロンを１個
に限る必要がある。ニューロンを選択する手段に関して
は制限がないが、例えばランダムに選択すればよい。
第3A図において、1,2,3はニューロンである。
4,5,6は初期値、外部信号を入力する端子である。
第１図は本発明（クレーム1,2）の原理説明図であ
る。ニューロン、配線、端子は第３図と同じである（配
線、端子は省略してある）。
る。ニューロン、配線、端子は第３図と同じである（配
線、端子は省略してある）。
７は制御パターンを発生するコントローラである。
８は信号処理をさせるニューロンを選択する選択器で
ある。
ある。
２はこのとき選択されたニューロンである。
第４図は本発明（クレーム3,4）の原理説明図であ
る。
る。
11はニューロンである。
12,13,14はサンプル／ホールド回路である。
サンプル／ホールド回路群の入力は全てニューロンの
出力と結合しており、出力は全てニューロンの入力と結
合している。
出力と結合しており、出力は全てニューロンの入力と結
合している。
15は重みデータを記憶する重みメモリである。
16はニューロンがロードする重みデータのセット出力
を与えるサンプル／ホールド回路12,13,14を選択する選
択器である。
を与えるサンプル／ホールド回路12,13,14を選択する選
択器である。
17は制御パターンと重みメモリのアドレス信号を発生
するコントローラである。
するコントローラである。
18,19,20は初期値、外部信号を入力する端子である。
なお、コントローラ17で重みメモリ15のアドレスを選
択するかわりに選択器16によって、重みメモリ15の出力
データをマルチプレクサ21を介してランダムに選択して
もよい。
択するかわりに選択器16によって、重みメモリ15の出力
データをマルチプレクサ21を介してランダムに選択して
もよい。
１）クレーム1,2の場合、 第１、3A図に沿って時間を追って説明する。
初期値入力端子4,5,6に与えられた初期値x1（０）,x2
（０）,x3（０）が各ニューロンに入力される。信号処
理をさせるニューロンが選択器８によって選ばれる。例
えばニューロン１が選ばれたとする。
（０）,x3（０）が各ニューロンに入力される。信号処
理をさせるニューロンが選択器８によって選ばれる。例
えばニューロン１が選ばれたとする。
ニューロン１ではx1（０）,x2（０）,x3（０）と重み
メモリ９の出力である重みw11,w12,w13との内積が計算
され、この結果を非線型関数で変換した値x1（１）を出
力する。これが最初の演算サイクルである。
メモリ９の出力である重みw11,w12,w13との内積が計算
され、この結果を非線型関数で変換した値x1（１）を出
力する。これが最初の演算サイクルである。
x1（１）が入力に帰還され、初期値x1（０）はキャン
セルされて、x1（１）,x2（０）,x3（０）が各ニューロ
ンに入力される。
セルされて、x1（１）,x2（０）,x3（０）が各ニューロ
ンに入力される。
次に、信号処理をさせるニューロンが選択器８によっ
て選ばれる。例えばニューロン３が選ばれたとする。
て選ばれる。例えばニューロン３が選ばれたとする。
ニューロン３ではx1（１）,x2（０）,x3（０）と重み
w31,w32,w33との内積が計算され、この結果を非線型関
数で変換した値x3（２）を出力する。
w31,w32,w33との内積が計算され、この結果を非線型関
数で変換した値x3（２）を出力する。
これが次の演算サイクルである。
そしてx3（２）が入力に帰還され、初期値x3（０）は
キャンセルされて、各ニューロンにはx1（１）,x2
（０）,x3（２）が入力される。
キャンセルされて、各ニューロンにはx1（１）,x2
（０）,x3（２）が入力される。
このサイクルを繰り返していくと確実に安定解に達す
る。
る。
２）クレーム3,4の場合 第４図に沿って時間を追って説明する。
定電圧発生回路22から一定電圧ｖが出力される。
初期値入力端子18,19,20に与えられた初期値x1
（０）,x2（０）,x3（０）が入力端子18,19,20に接続し
ている各サンプル／ホールド回路12,13,14に入力され
る。
（０）,x2（０）,x3（０）が入力端子18,19,20に接続し
ている各サンプル／ホールド回路12,13,14に入力され
る。
信号処理をさせたい重みデータのセットが選択器16に
よってセレクタ21を介して選ばれる。例えばw1＝（w11,
w12,w13）が選ばれたとする。同時にサンプル／ホール
ド回路12が選択される。
よってセレクタ21を介して選ばれる。例えばw1＝（w11,
w12,w13）が選ばれたとする。同時にサンプル／ホール
ド回路12が選択される。
ニューロン11ではx1（０）,x2（０）,x3（０），定電
圧発生回路22の出力ｖと重みw11,w12,w13,w1との内積が
計算され、この結果を非線型関数で変換した値x1（１）
を出力する。
圧発生回路22の出力ｖと重みw11,w12,w13,w1との内積が
計算され、この結果を非線型関数で変換した値x1（１）
を出力する。
この値はサンプル／ホールド回路12に保持される。
これが最初の演算サイクルである。
x1（１）が入力に帰還され、x1（１）,x2（０）,x3
（０）,vがニューロン11に入力される。
（０）,vがニューロン11に入力される。
信号処理をさせたい重みデータのセットが選択器16に
よって選ばれる。例えばw3＝（w31,w32,w33）が選ばれ
たとする。同時にサンプル／ホールド回路13が選択され
る。
よって選ばれる。例えばw3＝（w31,w32,w33）が選ばれ
たとする。同時にサンプル／ホールド回路13が選択され
る。
ニューロン11ではx1（１）,x2（０）,x3（０）,vと重
みw31,w32,w33との内積が計算され、この結果を非線型
関数で変換した値x3（２）を出力する。
みw31,w32,w33との内積が計算され、この結果を非線型
関数で変換した値x3（２）を出力する。
この値はサンプル／ホールド回路14に保持される。
これが次の演算サイクルである。
そして、x3（２）が入力に帰還され、x1（１）,x2
（０）,x3（２）,vがニューロン11に入力される。この
サイクルを繰り返していくと確実に安定解に達する。
（０）,x3（２）,vがニューロン11に入力される。この
サイクルを繰り返していくと確実に安定解に達する。
第５図は本発明（クレーム1,2）の一実施例であり、A
NP相互の結合をコの字型の共通アナログバスCBで実現し
ている。第６図はそのタイミングチャートである。
NP相互の結合をコの字型の共通アナログバスCBで実現し
ている。第６図はそのタイミングチャートである。
マスタコントロールブロック181のメモリ・アドレス
端子とモード端子の出力が重みメモリブロック185に加
わる。この重みメモリブロック185のデータ出力であるB
10はANP1,B11はANP2,B12はANP3に接続される。
端子とモード端子の出力が重みメモリブロック185に加
わる。この重みメモリブロック185のデータ出力であるB
10はANP1,B11はANP2,B12はANP3に接続される。
〈初期値の入力〉 アナログ入力ポート１にANP1、 アナログ入力ポート２にANP2、 アナログ入力ポート３にANP3の初期値x1（０）,x2
（０）,x3（０）を与える。
（０）,x3（０）を与える。
〈初期値処理サイクル〉 １） マスタコントロールブロック181のCSO1端子（第1
0図参照、後述する）からの出力信号は、ディジー回路
（１）171,スイッチ（１）175に加えられる。この信号
の立ち上がりで、アナログ入力ポート１に接続されたサ
ンプル／ホールド回路（１）173の信号x1（０）を共通
アナログバスCBに乗せる。
0図参照、後述する）からの出力信号は、ディジー回路
（１）171,スイッチ（１）175に加えられる。この信号
の立ち上がりで、アナログ入力ポート１に接続されたサ
ンプル／ホールド回路（１）173の信号x1（０）を共通
アナログバスCBに乗せる。
ANPi（ｉ＝1,2,3）では第６図に示すように、DCLK信
号の１周期で１積和演算を行い、DCLK信号がハイの時に
WCLKを駆動し、それに同期して入るディジタル重みデー
タwi1と、アナログバスB1上のアナログ入力ポート１か
らの信号x1（０）との乗算を行う。DCLK後半のローの時
に、サンプル／ホールド信号SHがハイとなり、ANPi内の
積分器のキャパシタにおいて和の動作を行う。
号の１周期で１積和演算を行い、DCLK信号がハイの時に
WCLKを駆動し、それに同期して入るディジタル重みデー
タwi1と、アナログバスB1上のアナログ入力ポート１か
らの信号x1（０）との乗算を行う。DCLK後半のローの時
に、サンプル／ホールド信号SHがハイとなり、ANPi内の
積分器のキャパシタにおいて和の動作を行う。
マスタコントロールブロック181からのOC信号がハイ
になると、ANPiはオフセットキャンセルを行い、再びSH
がハイとなっているときにサンプル／ホールドとして１
つの積和演算を終える。キャパシタにはwi1 x1（０）に
対応する電荷が蓄えられる。
になると、ANPiはオフセットキャンセルを行い、再びSH
がハイとなっているときにサンプル／ホールドとして１
つの積和演算を終える。キャパシタにはwi1 x1（０）に
対応する電荷が蓄えられる。
２） CSO1がディジー回路（１）171で所定時間遅延さ
れて、CSOの出力が生じ、これがディジー回路（２）172
にCSIとして加えられ、アナログ入力ポート２に接続さ
れたサンプル／ホールド回路（２）174の信号x2（０）
をスイッチ（２）176を介してアナログバスCBに乗せ
る。この信号x2（０）に対しANPiは積和演算を行う。キ
ャパシタにはwi1 x1（０）＋wi2 x2（０）に対応する電
荷が蓄えられる。
れて、CSOの出力が生じ、これがディジー回路（２）172
にCSIとして加えられ、アナログ入力ポート２に接続さ
れたサンプル／ホールド回路（２）174の信号x2（０）
をスイッチ（２）176を介してアナログバスCBに乗せ
る。この信号x2（０）に対しANPiは積和演算を行う。キ
ャパシタにはwi1 x1（０）＋wi2 x2（０）に対応する電
荷が蓄えられる。
３） 同様にしてアナログ入力ポート３の信号x3（０）
をアナログバスCBに乗せる。この信号に対しANPiは積和
演算を行う。キャパシタにはwil x1（０）＋wi2 x2
（０）＋wi3 x3（０）に対応する電荷が蓄えられる。
をアナログバスCBに乗せる。この信号に対しANPiは積和
演算を行う。キャパシタにはwil x1（０）＋wi2 x2
（０）＋wi3 x3（０）に対応する電荷が蓄えられる。
４） マスタコントロールブロック181からDCS信号が発
生しANPiは、固定電圧ｖと重みwiとの積和演算を行い、
キャパシタにwi1 x1（０）＋wi2 x2（０）＋wi3 x3
（０）＋wivに対応する電荷が蓄えられる。
生しANPiは、固定電圧ｖと重みwiとの積和演算を行い、
キャパシタにwi1 x1（０）＋wi2 x2（０）＋wi3 x3
（０）＋wivに対応する電荷が蓄えられる。
これをシグモイド関数回路で変換したアナログ出力信
号xi（１）は、以降の処理サイクルにおいて必要なとき
に出力される。この初期値処理サイクルでは、全てのニ
ューロンが同時に処理を行う従来の方式を採っている。
このサイクル終了時の各ニューロンの出力xi（１）が、
非同期制御開始すなわち、ランダム乱数発生器からのラ
ンダム制御開始時すなわち、入力ポート１からの入力信
号がANP1,2,3に同時に送られ同時に積和演算され、次に
入力ポート２からの入力信号がANP1,2,3に同時に送ら
れ、同時に積和演算され、さらにその次に入力ポート３
からの入力信号がANP1,2,3に同時に送られ、同時に積和
演算される時の初期値となる。xi（１）は、一般に任意
に設定できる。
号xi（１）は、以降の処理サイクルにおいて必要なとき
に出力される。この初期値処理サイクルでは、全てのニ
ューロンが同時に処理を行う従来の方式を採っている。
このサイクル終了時の各ニューロンの出力xi（１）が、
非同期制御開始すなわち、ランダム乱数発生器からのラ
ンダム制御開始時すなわち、入力ポート１からの入力信
号がANP1,2,3に同時に送られ同時に積和演算され、次に
入力ポート２からの入力信号がANP1,2,3に同時に送ら
れ、同時に積和演算され、さらにその次に入力ポート３
からの入力信号がANP1,2,3に同時に送られ、同時に積和
演算される時の初期値となる。xi（１）は、一般に任意
に設定できる。
〈処理サイクル〉 マスタコントロールブロック181からの信号SYNCはANP
が積和演算をするかどうかを決める信号で、ハイの時は
積和を行うが、ローの時は積和を行わない。この信号
は、マルチプレクサ191に入力される。このマルチプレ
クサ191は各ANPと接続されており、どれにSYNCを入力す
るかを信号RANで選ぶことができる。信号RANは乱数発生
回路190で発生され、この乱数発生回路190はANP1,ANP2,
ANP3のいずれかランダムに選び処理サイクルに同期して
発生するものである。
が積和演算をするかどうかを決める信号で、ハイの時は
積和を行うが、ローの時は積和を行わない。この信号
は、マルチプレクサ191に入力される。このマルチプレ
クサ191は各ANPと接続されており、どれにSYNCを入力す
るかを信号RANで選ぶことができる。信号RANは乱数発生
回路190で発生され、この乱数発生回路190はANP1,ANP2,
ANP3のいずれかランダムに選び処理サイクルに同期して
発生するものである。
５） マスタコントロールブロック181からCSO2信号が
出力され、ANP1からアナログ出力信号x1（１）が共通ア
ナログバスCBを通って入力側に帰還される。
出力され、ANP1からアナログ出力信号x1（１）が共通ア
ナログバスCBを通って入力側に帰還される。
SYNCが入力されランダムに選択されたANPjは、x1
（１）に対して積和演算を行い、キャパシタにはxj1x1
（１）が蓄えられる。
（１）に対して積和演算を行い、キャパシタにはxj1x1
（１）が蓄えられる。
６） 所定時間遅延した後、ANP1のCSO信号がANP2に加
えられ、ANP2からアナログ出力x2（１）がアナログバス
CBに帰還される。
えられ、ANP2からアナログ出力x2（１）がアナログバス
CBに帰還される。
SYNCが入力されているANPjは、x2（１）に対して積和
演算を行い、キャパシタにはwj1x1（１）＋wj2x2（１）
が蓄えられる。
演算を行い、キャパシタにはwj1x1（１）＋wj2x2（１）
が蓄えられる。
７） 同様にしてx3（１）に対してANPJは積和演算を行
う。キャパシタにはwj1x1（１）＋wj2x2（１）＋wj3x3
（１）に対応する電荷が蓄えられる。
う。キャパシタにはwj1x1（１）＋wj2x2（１）＋wj3x3
（１）に対応する電荷が蓄えられる。
８） マスタコントロールブロック181からDCS信号が発
生しANPjは、固定電圧ｖと重みwjとの積和演算を行い、
キャパシタにwj1x1（１）＋wj2x2（１）＋wj3x3（１）
＋wjvに蓄えられる。
生しANPjは、固定電圧ｖと重みwjとの積和演算を行い、
キャパシタにwj1x1（１）＋wj2x2（１）＋wj3x3（１）
＋wjvに蓄えられる。
５）,6）,7）の積和演算サイクルと同期して、ANPi（ｉ
＝1,2,3）の出力xi（１）がそれぞれサンプル／ホール
ド回路177,178,178′を介してアナログ出力ポートへ出
力される。
＝1,2,3）の出力xi（１）がそれぞれサンプル／ホール
ド回路177,178,178′を介してアナログ出力ポートへ出
力される。
さらに、これらはアナログマルチプレクサ179、A/Dコ
ンバータ180を通ってMPU182、メモリ183、通信インター
フェース184から構成されるディジタル制御回路に与え
られる。MPU182で現時刻のニューロン出力xi（１）と前
時刻のニューロン出力xi（０）が等しいかどうかを判定
する。同じである状態が一定時間以上に達したら収束し
たものと判定する。
ンバータ180を通ってMPU182、メモリ183、通信インター
フェース184から構成されるディジタル制御回路に与え
られる。MPU182で現時刻のニューロン出力xi（１）と前
時刻のニューロン出力xi（０）が等しいかどうかを判定
する。同じである状態が一定時間以上に達したら収束し
たものと判定する。
この処理サイクルを繰り返すことにより安定解に達す
ることができる。
ることができる。
また、このSYNCはマスタコントロールブロック181で
形成され、乱数発生器190の出力に応じて、その出力が
選択されるマルチプレクサ191に加えられる。そして、
マルチプレクサ191の出力は各ANP1,2,3に加えられ、こ
れらのANP1,2,3のいずれから出力させるかを乱数発生器
190の出力によって、ランダムに選択する。
形成され、乱数発生器190の出力に応じて、その出力が
選択されるマルチプレクサ191に加えられる。そして、
マルチプレクサ191の出力は各ANP1,2,3に加えられ、こ
れらのANP1,2,3のいずれから出力させるかを乱数発生器
190の出力によって、ランダムに選択する。
第６図のタイミングチャートの〜を用いてさらに
詳細に説明する。ANP1では第６図に示すように、DCLK信
号の１周期で１つの積和の演算を行い、DCLK信号がハイ
の時に重みクロックWCLKを駆動し、その重みクロックWC
LKに同期して入るディジタル重みデータと、アナログ入
力信号との掛け算を行い、DCLKの後半のロー信号の時
に、サンプル／ホールド信号SHがハイとなり、ANP内の
積分器のキャパシタにおいて、和の動作を行う。すなわ
ちCSO1すなわちディジー回路１のCSIがハイになってい
る期間で、バスB1上のアナログ信号に対してANP1,2,3
は積和演算を行う。また、マスタコントロールブロック
181からのOC信号がハイとなると、ANP1,2,3はオフセッ
トキャンセルを行い、サンプル／ホールドして１つの積
和演算周期を終える。次に第２のディジー回路172の入
力信号CSIがハイになるので、次のアナログ入力ポー
トからの入力信号に対しANP1,2,3は積和演算を行う。そ
して、その積和演算周期が終了した後に、ディジー回路
172′にCSI信号が入り、サンプル／ホールド回路174′
から出力信号が生じて、で示すように第３番目の積和
演算サイクルに入る。
詳細に説明する。ANP1では第６図に示すように、DCLK信
号の１周期で１つの積和の演算を行い、DCLK信号がハイ
の時に重みクロックWCLKを駆動し、その重みクロックWC
LKに同期して入るディジタル重みデータと、アナログ入
力信号との掛け算を行い、DCLKの後半のロー信号の時
に、サンプル／ホールド信号SHがハイとなり、ANP内の
積分器のキャパシタにおいて、和の動作を行う。すなわ
ちCSO1すなわちディジー回路１のCSIがハイになってい
る期間で、バスB1上のアナログ信号に対してANP1,2,3
は積和演算を行う。また、マスタコントロールブロック
181からのOC信号がハイとなると、ANP1,2,3はオフセッ
トキャンセルを行い、サンプル／ホールドして１つの積
和演算周期を終える。次に第２のディジー回路172の入
力信号CSIがハイになるので、次のアナログ入力ポー
トからの入力信号に対しANP1,2,3は積和演算を行う。そ
して、その積和演算周期が終了した後に、ディジー回路
172′にCSI信号が入り、サンプル／ホールド回路174′
から出力信号が生じて、で示すように第３番目の積和
演算サイクルに入る。
マスタコントロールブロック181からDCS信号が発生
し、ANPiは、次にサンプルホールド信号SHがハイのとき
に、固定電圧ｖと重みwiとの積和演算を行い、キャパシ
タにwil x1（０）＋wi2 x2（０）＋wi3 x3（０）＋wiv
に対応する電荷が蓄えられる。
し、ANPiは、次にサンプルホールド信号SHがハイのとき
に、固定電圧ｖと重みwiとの積和演算を行い、キャパシ
タにwil x1（０）＋wi2 x2（０）＋wi3 x3（０）＋wiv
に対応する電荷が蓄えられる。
これをシグモイド関数回路で変換したアナログ出力信
号xi（１）は、以降の処理サイクルにおいて必要なとき
に出力される。
号xi（１）は、以降の処理サイクルにおいて必要なとき
に出力される。
次にマスタコントロールブロック181からCSO2信号
が生じて、ANP1から前回の積和サイクルの時に形成され
ていた信号がアナログバスCBを介して帰還され、その帰
還された信号に対して、ANP1,ANP2,ANP3のうちSYNCの入
力されたANPjで積和演算を行う。次に所定時間遅延した
後、ANP1のCSO出力信号がでANP2に加えられ、ここで
前回の積和サイクルの時に蓄えられた信号をANP2が出力
する。この信号はアナログバスCBを介して帰還されてSY
NCが入力されたANPjで積和演算をで駆動する。そして
同様に所定時間遅延した後、ANP2のCSOがでANP3に加
えられ、ここでANP3からの出力をアナログバスCBを介し
て帰還して、SYNCが入力されたANP3においてで積和演
算を行う。マスタコントロールブロック181からDCS信号
が発生しANPjは、固定電圧ｖと重みwjとの積和演算を行
い、キャパシタにwi1x1（１）＋wj2x2（１）＋wj3x3
（１）＋wjvに対応する電荷が蓄えられる。この繰り返
しとなる第６図のRANは乱数発生器190によってマルチプ
レクサ191を選択していることを示す信号で、Address C
ount禁止信号は、アドレス１の発生を禁止する信号であ
る。
が生じて、ANP1から前回の積和サイクルの時に形成され
ていた信号がアナログバスCBを介して帰還され、その帰
還された信号に対して、ANP1,ANP2,ANP3のうちSYNCの入
力されたANPjで積和演算を行う。次に所定時間遅延した
後、ANP1のCSO出力信号がでANP2に加えられ、ここで
前回の積和サイクルの時に蓄えられた信号をANP2が出力
する。この信号はアナログバスCBを介して帰還されてSY
NCが入力されたANPjで積和演算をで駆動する。そして
同様に所定時間遅延した後、ANP2のCSOがでANP3に加
えられ、ここでANP3からの出力をアナログバスCBを介し
て帰還して、SYNCが入力されたANP3においてで積和演
算を行う。マスタコントロールブロック181からDCS信号
が発生しANPjは、固定電圧ｖと重みwjとの積和演算を行
い、キャパシタにwi1x1（１）＋wj2x2（１）＋wj3x3
（１）＋wjvに対応する電荷が蓄えられる。この繰り返
しとなる第６図のRANは乱数発生器190によってマルチプ
レクサ191を選択していることを示す信号で、Address C
ount禁止信号は、アドレス１の発生を禁止する信号であ
る。
すなわち、アナログバスCBを介しての帰還動作は、デ
ィジーチェーン動作によって、ANP1,ANP2,ANP3の順番に
行われるが、戻ってまたデータに対して演算を行うの
は、乱数発生器190によってマルチプレクサ191を介して
選択された１個のANPである。すなわち、この選択され
たANPではANP1,ANP2,ANP3から順次戻ってきたデータに
対する積和演算を行う。この積和演算が終わったとき、
乱数発生器190は別のANPを選択する。すると、この新た
に選択されたANPについてディジーチェーン動作に従っ
て、ANP1,ANP2,ANP3からの出力信号が順次帰還された積
和演算を行う。
ィジーチェーン動作によって、ANP1,ANP2,ANP3の順番に
行われるが、戻ってまたデータに対して演算を行うの
は、乱数発生器190によってマルチプレクサ191を介して
選択された１個のANPである。すなわち、この選択され
たANPではANP1,ANP2,ANP3から順次戻ってきたデータに
対する積和演算を行う。この積和演算が終わったとき、
乱数発生器190は別のANPを選択する。すると、この新た
に選択されたANPについてディジーチェーン動作に従っ
て、ANP1,ANP2,ANP3からの出力信号が順次帰還された積
和演算を行う。
第７図は本発明（クレーム3,4）の他の実施例であ
り、３個のサンプル／ホールド回路の出力を１個のANP
の入力とコ字型の共通アナログバスCBで結ぶことによっ
て仮想的にニューロン３個から構成される相互結合型ニ
ューラルネットワークを実現している。第８図はそのタ
イミングチャートである。第５図、第６図に示した部分
と同一部分とは同一参照番号符号を付して説明を省略す
る。
り、３個のサンプル／ホールド回路の出力を１個のANP
の入力とコ字型の共通アナログバスCBで結ぶことによっ
て仮想的にニューロン３個から構成される相互結合型ニ
ューラルネットワークを実現している。第８図はそのタ
イミングチャートである。第５図、第６図に示した部分
と同一部分とは同一参照番号符号を付して説明を省略す
る。
マスタコントロールブロック181のメモリ・アドレス
端子とモード端子の出力が重みメモリブロック185に加
わる。この重みメモリブロック185のデータ出力であるW
BはANPに接続される。
端子とモード端子の出力が重みメモリブロック185に加
わる。この重みメモリブロック185のデータ出力であるW
BはANPに接続される。
〈初期値の入力〉 アナログ入力ポート１に仮想的なニューロン１ アナログ入力ポート２に仮想的なニューロン２ アナログ入力ポート３に仮想的なニューロン３ の初期値x1（０）,x2（０）,x3（０）を与える。
１） マスタコントロールブロック181のCSO1端子から
の出力信号は、ディジー回路（１）171,スイッチ
（１）175、サンプル／ホールド回路（１）173に加えら
れる。この信号の立ち上がりで、アナログ入力ポート１
の信号x1（０）がサンプル／ホールド回路４にサンプル
される。このとき、CSO1信号はサンプル／ホールド回路
４をライン255を介してイネーブルする。
の出力信号は、ディジー回路（１）171,スイッチ
（１）175、サンプル／ホールド回路（１）173に加えら
れる。この信号の立ち上がりで、アナログ入力ポート１
の信号x1（０）がサンプル／ホールド回路４にサンプル
される。このとき、CSO1信号はサンプル／ホールド回路
４をライン255を介してイネーブルする。
２） CSO1がディジー回路（１）171で所定時間遅延さ
れて、CSOの出力が生じ、これがディジー回路（２）172
にCSIとしてで加えられ、アナログ入力ポート２の信
号x2（０）がサンプル／ホールド回路５にサンプルされ
る。
れて、CSOの出力が生じ、これがディジー回路（２）172
にCSIとしてで加えられ、アナログ入力ポート２の信
号x2（０）がサンプル／ホールド回路５にサンプルされ
る。
３） 同様にしてでアナログ入力ポート３の信号x3
（０）がサンプル／ホールド回路６にサンプルされる。
（０）がサンプル／ホールド回路６にサンプルされる。
〈処理サイクル〉 ４） マスタコントロールブロック181からCSO2信号が
で出力され、サンプル／ホールド回路４からアナログ
出力信号x1（０）が共通アナログバスCBを通って入力側
に帰還される。
で出力され、サンプル／ホールド回路４からアナログ
出力信号x1（０）が共通アナログバスCBを通って入力側
に帰還される。
重みメモリブロック185には、どの重みセットをWBか
ら出力するかを選ぶために信号RANが入力されている。
ら出力するかを選ぶために信号RANが入力されている。
信号RANは乱数発生回路251で発生されるこの乱数発生
回路251はサンプル／ホールド回路（4,5,6）のいずれか
ランダムに選び処理サイクルに同期して発生するもので
ある。
回路251はサンプル／ホールド回路（4,5,6）のいずれか
ランダムに選び処理サイクルに同期して発生するもので
ある。
WBからの重みセットwi＝（wi1,wi2,wi3,wi）をロード
したANPは、x1（０）に対して積和演算を行う。ANPでは
第８図に示すように、DCLK信号の１周期で１積和演算を
行い、DCLK信号がハイの時にWCLKを駆動し、それに同期
して入るディジタル重みデータwi1と、アナログバスB1
上のアドレス入力ポート１からの信号x1（０）との乗算
をタイミングで行う。DCLK後半のローの時に、サンプ
ル／ホールド信号SHがハイとなり、ANP内の積分器のキ
ャパシタにおいて和の動作を行う。
したANPは、x1（０）に対して積和演算を行う。ANPでは
第８図に示すように、DCLK信号の１周期で１積和演算を
行い、DCLK信号がハイの時にWCLKを駆動し、それに同期
して入るディジタル重みデータwi1と、アナログバスB1
上のアドレス入力ポート１からの信号x1（０）との乗算
をタイミングで行う。DCLK後半のローの時に、サンプ
ル／ホールド信号SHがハイとなり、ANP内の積分器のキ
ャパシタにおいて和の動作を行う。
マスタコントロールブロック181からOC信号がハイと
なると、１個しかないANPはオフセットキャンセルを行
い、再びSHがハイとなっているときにサンプル／ホール
ドして１つの積和演算を終える。キャパシタにはwi1x1
（０）に対応する電荷が蓄られる。
なると、１個しかないANPはオフセットキャンセルを行
い、再びSHがハイとなっているときにサンプル／ホール
ドして１つの積和演算を終える。キャパシタにはwi1x1
（０）に対応する電荷が蓄られる。
５） ディジー回路（２）172の入力信号CSIがでハイ
になり、サンプル／ホールド回路５からの信号x2（０）
に対しANPは積和演算をで行う。キャパシタにはwi1x1
（０）＋wi2x2（０）に対応する電荷が蓄えられる。
になり、サンプル／ホールド回路５からの信号x2（０）
に対しANPは積和演算をで行う。キャパシタにはwi1x1
（０）＋wi2x2（０）に対応する電荷が蓄えられる。
６） 同様にしてサンプル／ホールド回路６の信号x3
（０）に対しANPは積和演算をで行う。キャパシタに
はwi1x1（０）＋wi2x2（０）＋wi3x3（０）に対応する
電荷が蓄えられる。
（０）に対しANPは積和演算をで行う。キャパシタに
はwi1x1（０）＋wi2x2（０）＋wi3x3（０）に対応する
電荷が蓄えられる。
７） マスタコントロールブロック181からDCS信号が発
生したANPは、固定電圧ｖと重みwiとの積和演算をで
行い、キャパシタにwi1x1（０）＋wi2x2（０）＋wi3x3
（０）＋wivに対応する電荷が蓄えられる。
生したANPは、固定電圧ｖと重みwiとの積和演算をで
行い、キャパシタにwi1x1（０）＋wi2x2（０）＋wi3x3
（０）＋wivに対応する電荷が蓄えられる。
８） マスタコントロールブロック181からの信号CSOは
でサンプル／ホールド回路をオン（サンプルモード）
にする。この信号は、マルチプレクサ250に入力され
る。このマルチプレクサ250は各サンプル／ホールド回
路177,178,178′と接続されており、どれにCSOを入力す
るかを乱数発生回路251の出力信号RANで選ぶことができ
る。例えば、CSO信号がライン252を介してマルチプレク
サ250に入力され、乱数発生器251の出力によって、ライ
ン253を介して、マルチプレクサ250の出力として例えば
ライン254が選択される。これにより、サンプル／ホー
ルド回路（５）178がイネーブルされて、ANPの出力信号
がここにサンプル／ホールドされる。
でサンプル／ホールド回路をオン（サンプルモード）
にする。この信号は、マルチプレクサ250に入力され
る。このマルチプレクサ250は各サンプル／ホールド回
路177,178,178′と接続されており、どれにCSOを入力す
るかを乱数発生回路251の出力信号RANで選ぶことができ
る。例えば、CSO信号がライン252を介してマルチプレク
サ250に入力され、乱数発生器251の出力によって、ライ
ン253を介して、マルチプレクサ250の出力として例えば
ライン254が選択される。これにより、サンプル／ホー
ルド回路（５）178がイネーブルされて、ANPの出力信号
がここにサンプル／ホールドされる。
さらに、CSO信号がANPに入力されると、wi1x1（０）
＋wi2x2（０）＋wi3x3（０）＋wivをシグモイド関数回
路で変換したアナログ出力信号xi（１）が、選ばれた例
えばサンプル／ホールド回路177に保持される。
＋wi2x2（０）＋wi3x3（０）＋wivをシグモイド関数回
路で変換したアナログ出力信号xi（１）が、選ばれた例
えばサンプル／ホールド回路177に保持される。
４）,5）,6）の積和演算サイクルと同時に、サンプル
／ホールド回路ｉ（ｉ＝1,2,3）の出力xi（１）がアナ
ログ出力ポートへ出力される。
／ホールド回路ｉ（ｉ＝1,2,3）の出力xi（１）がアナ
ログ出力ポートへ出力される。
さらに、これらはA/Dコンバータを通ってMPU、メモ
リ、通信インタフェースから構成されるディジタル制御
回路に与えられる。MPUで現時刻のニューロン出力xi
（１）と前時刻のニューロン出力xi（０）が等しいかど
うかを判定す。同じである状態が一定時間以上に達した
ら収束したものと判定する。
リ、通信インタフェースから構成されるディジタル制御
回路に与えられる。MPUで現時刻のニューロン出力xi
（１）と前時刻のニューロン出力xi（０）が等しいかど
うかを判定す。同じである状態が一定時間以上に達した
ら収束したものと判定する。
この処理サイクルを繰り返すことにより安定解に達す
ることができる。
ることができる。
第５図及び第７図に示した本発明の各種構成要素につ
いてさらに具体的に説明する。
いてさらに具体的に説明する。
第９図は本発明のニューロコンピュータのシステムブ
ロック図である。
ロック図である。
ニューラルネットワーク218は入力側にある共通の第
１のアナログバスからアナログ信号を時分割で入力しデ
ィジタル重みデータを用いて積和演算を実行してアナロ
グ信号を出力側にある共通の第２のアドレスバスに出力
するアナログニューロプロセッサ（以下ANPと記す）１
個以上の集合を層とする少なくとも１層以上のネットワ
ークである。
１のアナログバスからアナログ信号を時分割で入力しデ
ィジタル重みデータを用いて積和演算を実行してアナロ
グ信号を出力側にある共通の第２のアドレスバスに出力
するアナログニューロプロセッサ（以下ANPと記す）１
個以上の集合を層とする少なくとも１層以上のネットワ
ークである。
制御パターンメモリ212は前記ニューラルネットワー
クの制御信号のパターンを格納する。重みメモリ214は
重みデータを格納する。シーケンサ213は該制御パター
ンメモリ212及び重みメモリ214のアドレスを発生する。
ディジタル制御信号15はMPUと主記憶を有する汎用の処
理装置であってネットワーク218とD/A及びA/Dコンバー
タ216,217を介して接続され、前記ニューラルネットワ
ーク、制御パターンメモリ、シーケンサ、重みメモリの
全体を制御する。本発明はこのようにしてニューロコン
ピュータシステムを構成する。
クの制御信号のパターンを格納する。重みメモリ214は
重みデータを格納する。シーケンサ213は該制御パター
ンメモリ212及び重みメモリ214のアドレスを発生する。
ディジタル制御信号15はMPUと主記憶を有する汎用の処
理装置であってネットワーク218とD/A及びA/Dコンバー
タ216,217を介して接続され、前記ニューラルネットワ
ーク、制御パターンメモリ、シーケンサ、重みメモリの
全体を制御する。本発明はこのようにしてニューロコン
ピュータシステムを構成する。
アナログ入力信号を時分割でアナログニューロチップ
に入力し、この信号と重みデータとの積を取り、この積
信号をそれぞれ加算して得られる積和信号を非線型関数
回路を通して出力することによりアナログニューロチッ
プを構成する。このアナログニューロチップを複数個用
いて帰還型のニューラルネットワーク218を構成し、こ
のニューラルネットワーク218にシーケンサ213によって
アクセスすべきアドレスが与えられた制御パターンメモ
リ212から出力される制御信号を加える。またニューラ
ルネットワーク218には学習等によって得られる重みデ
ータが重みメモリ214から供給される。そしてニューラ
ルネットワーク218、制御パターン212、シーケンサ21
3、重みメモリ214はディジタル制御手段215のディジタ
ル信号によって制御され、且つ管理される。また、ディ
ジタル制御手段215内のMPUでは出力信号のチェックなど
が行われる。このようにして、時分割アナログ入力信号
と時分割アナログ出力信号を用いることを特徴とするア
ナログニューロコンピュータシステムが実現される。
に入力し、この信号と重みデータとの積を取り、この積
信号をそれぞれ加算して得られる積和信号を非線型関数
回路を通して出力することによりアナログニューロチッ
プを構成する。このアナログニューロチップを複数個用
いて帰還型のニューラルネットワーク218を構成し、こ
のニューラルネットワーク218にシーケンサ213によって
アクセスすべきアドレスが与えられた制御パターンメモ
リ212から出力される制御信号を加える。またニューラ
ルネットワーク218には学習等によって得られる重みデ
ータが重みメモリ214から供給される。そしてニューラ
ルネットワーク218、制御パターン212、シーケンサ21
3、重みメモリ214はディジタル制御手段215のディジタ
ル信号によって制御され、且つ管理される。また、ディ
ジタル制御手段215内のMPUでは出力信号のチェックなど
が行われる。このようにして、時分割アナログ入力信号
と時分割アナログ出力信号を用いることを特徴とするア
ナログニューロコンピュータシステムが実現される。
第10図は本発明のニューロチップから構成されるアナ
ログニューロプロセッサ（ANP）211のデュアルインライ
ンパッケージの概略図である。これは、MB4442と呼ばれ
るニューロンモデルの処理を実行する。内部の閾値処理
部はシグモイド関数で置換したモデルとなっている。ア
ナログニューロチップはANPと呼ばれ、アナログデータ
を入出力するデバイスである。
ログニューロプロセッサ（ANP）211のデュアルインライ
ンパッケージの概略図である。これは、MB4442と呼ばれ
るニューロンモデルの処理を実行する。内部の閾値処理
部はシグモイド関数で置換したモデルとなっている。ア
ナログニューロチップはANPと呼ばれ、アナログデータ
を入出力するデバイスである。
第11図は本発明のANPの内部構成図である。第11図に
示すようにANP211はアナログバスB1とアナログバスB3の
間に接続される。ANP211は入力するアナログ信号と重み
を掛けるアナログ乗算部222、積の和を求めるアナログ
加算部223、和を保持するサンプル／ホールド部224、シ
グモイド関数の値を出力する非線型関数部225よりな
る。
示すようにANP211はアナログバスB1とアナログバスB3の
間に接続される。ANP211は入力するアナログ信号と重み
を掛けるアナログ乗算部222、積の和を求めるアナログ
加算部223、和を保持するサンプル／ホールド部224、シ
グモイド関数の値を出力する非線型関数部225よりな
る。
第10図のANP211の各端子を説明する。ANP211の内部は
アナログ回路部とディジタル回路部から構成されてい
る。＋−６ボルトの端子は、アナログ回路部のオペアン
プに供給される電源端子である。Din及びDoutはアナロ
グ入力信号及び出力信号の端子である。AGNDはアナログ
回路部の接地端子である。Rt＋及びRt−端子はアナログ
回路部にある積分回路の外付抵抗Ｒの端子であり、Ct
＋,Ct−端子は同じく積分回路の外付キャパシタＣの端
子である。DGNDはディジタル回路部のグランド端子であ
る。＋５ボルトはディジタル回路部の電源端子である。
RSTは積分回路のキャパシタの電荷等のリセットを行う
リセット信号端子である。CSI及びCSOはディジーチェー
ン用制御信号の入出力端子であり、OCはオフセットキャ
ンセル制御信号用端子、S/H端子は、サンプル／ホール
ド用制御信号端子、SYNCは各層の処理に対する同期信号
端子、DCLKはアナログ入力信号の処理を行うための基本
クロック信号端子、WCLKはディジタル重みデータを取り
込むためのクロック端子、WDはビットシリアルで入力す
るディジタル重みデータ用の端子である。
アナログ回路部とディジタル回路部から構成されてい
る。＋−６ボルトの端子は、アナログ回路部のオペアン
プに供給される電源端子である。Din及びDoutはアナロ
グ入力信号及び出力信号の端子である。AGNDはアナログ
回路部の接地端子である。Rt＋及びRt−端子はアナログ
回路部にある積分回路の外付抵抗Ｒの端子であり、Ct
＋,Ct−端子は同じく積分回路の外付キャパシタＣの端
子である。DGNDはディジタル回路部のグランド端子であ
る。＋５ボルトはディジタル回路部の電源端子である。
RSTは積分回路のキャパシタの電荷等のリセットを行う
リセット信号端子である。CSI及びCSOはディジーチェー
ン用制御信号の入出力端子であり、OCはオフセットキャ
ンセル制御信号用端子、S/H端子は、サンプル／ホール
ド用制御信号端子、SYNCは各層の処理に対する同期信号
端子、DCLKはアナログ入力信号の処理を行うための基本
クロック信号端子、WCLKはディジタル重みデータを取り
込むためのクロック端子、WDはビットシリアルで入力す
るディジタル重みデータ用の端子である。
第12図は、本発明のアナログニューロプロセッサ（AN
P）の原理構成図である。
P）の原理構成図である。
別々のANP（図示せず）から時分割的に送られてくる
アナログ入力信号をアナログバスB1からANP211内のアナ
ログ乗算部222に入力し、このアナログ乗算部222ではシ
フトレジスタ227を介してビットシリアルに入力されそ
の後直列変換されたディジタル重みデータWDと掛け算し
て、アナログ入力信号とディジタル重みデータとの積を
示す積信号を得る。次のアナログ加算部223は、外付け
の抵抗ＲとキャパシタＣからなるミラー積分回路であっ
て、アナログバスB1に接続された前段の複数のANP（ANP
の存在する場所をノードと呼ぶ）から時分割で送られる
アナログ入力信号とダミーノードから送られる閾値用の
アナログ入力信号とからそれぞれ得られる積信号の和を
求めるものである。次に、サンプル／ホールド部224で
積信号を所望時間待たせるためにホールドした後、さら
にそのサンプル／ホールドされた出力を非線型関数部22
5を介して変換する。出力制御部226では、シーケンスジ
ェネレータ228の制御を受けて所定時間遅延させた後
に、アナログ出力信号DoutをアナログバスB2へ出力す
る。なお、シーケンスジェネレータ228は内部に供給さ
れる制御信号も生成する。そして、位相制御部229で
は、主にANP内のアナログ回路部とディジタル回路部を
接続する各スイッチのオンかオフが確実に行われるよう
に制御信号の位相を制御するもので、特に、第１のスイ
ッチがオンのとき第２のスイッチをオフにする場合それ
らのスイッチが同時にオンする場合がないように制御信
号の位相を制御する。
アナログ入力信号をアナログバスB1からANP211内のアナ
ログ乗算部222に入力し、このアナログ乗算部222ではシ
フトレジスタ227を介してビットシリアルに入力されそ
の後直列変換されたディジタル重みデータWDと掛け算し
て、アナログ入力信号とディジタル重みデータとの積を
示す積信号を得る。次のアナログ加算部223は、外付け
の抵抗ＲとキャパシタＣからなるミラー積分回路であっ
て、アナログバスB1に接続された前段の複数のANP（ANP
の存在する場所をノードと呼ぶ）から時分割で送られる
アナログ入力信号とダミーノードから送られる閾値用の
アナログ入力信号とからそれぞれ得られる積信号の和を
求めるものである。次に、サンプル／ホールド部224で
積信号を所望時間待たせるためにホールドした後、さら
にそのサンプル／ホールドされた出力を非線型関数部22
5を介して変換する。出力制御部226では、シーケンスジ
ェネレータ228の制御を受けて所定時間遅延させた後
に、アナログ出力信号DoutをアナログバスB2へ出力す
る。なお、シーケンスジェネレータ228は内部に供給さ
れる制御信号も生成する。そして、位相制御部229で
は、主にANP内のアナログ回路部とディジタル回路部を
接続する各スイッチのオンかオフが確実に行われるよう
に制御信号の位相を制御するもので、特に、第１のスイ
ッチがオンのとき第２のスイッチをオフにする場合それ
らのスイッチが同時にオンする場合がないように制御信
号の位相を制御する。
なお、シーケンスジェネレータ228は、リセット信号R
ST,DCLK,WCLK,SYNC,S/H,OC,CSIを後述するマスタコント
ロールブロックから入力するとともにCSOを出力し、ANP
の内部の制御信号を生成する。
ST,DCLK,WCLK,SYNC,S/H,OC,CSIを後述するマスタコント
ロールブロックから入力するとともにCSOを出力し、ANP
の内部の制御信号を生成する。
理想的なニューラルネットワークでは、ニューロンの
他のそれぞれのニューロンに相互結合した結線が必要で
あるが、このままシステムを実現しようとすると、配線
数が多くなる。そこで、本発明では時分割データを扱
う。アナログ電圧に対して各ANPが重みとの積を生成
し、それを積分器のキャパシタに電荷として保持する。
そして、次の時間区域で同じアナログバスのアナログ入
力に対して各ANPは重みとの積を形成し積分器のキャパ
シタ内に前の時間区域できまった積に加え込むことにな
る。その和はサンプル／ホールドされる。その後、シグ
モイド関数を介して出力されるが、これはCSI制御信号
入力時に出力される。そして、出力完了時にCSIが立ち
下がり、その後一定時間遅延後にCSOを立ち上げて、出
力バスの使用権を隣接ニューロチップに与える。
他のそれぞれのニューロンに相互結合した結線が必要で
あるが、このままシステムを実現しようとすると、配線
数が多くなる。そこで、本発明では時分割データを扱
う。アナログ電圧に対して各ANPが重みとの積を生成
し、それを積分器のキャパシタに電荷として保持する。
そして、次の時間区域で同じアナログバスのアナログ入
力に対して各ANPは重みとの積を形成し積分器のキャパ
シタ内に前の時間区域できまった積に加え込むことにな
る。その和はサンプル／ホールドされる。その後、シグ
モイド関数を介して出力されるが、これはCSI制御信号
入力時に出力される。そして、出力完了時にCSIが立ち
下がり、その後一定時間遅延後にCSOを立ち上げて、出
力バスの使用権を隣接ニューロチップに与える。
以下、実施例に従って本発明を詳細に説明する。
第13図はニューロチップである基本ユニットの第１の
実施例構成図である。同図の乗算部232、加算部233、閾
値処理部234は連続ニューロンモデルの実行部であが、
この実施例では出力保持部235が存在する。具体的には
基本ユニット231に接続される複数の入力をYi,この各接
続に対応して設定される重みをWiとするならば、乗算部
232は、 Yi・Wi を算出し、加算部233は、 Ｘ＝ΣYi・Wi−θ を算出する。但し、θは閾値である。閾値部234は最終
出力をＹとするならば、 Ｙ＝1/（１＋exp（−Ｘ）） ・・・・・（１） を算出することになる。
実施例構成図である。同図の乗算部232、加算部233、閾
値処理部234は連続ニューロンモデルの実行部であが、
この実施例では出力保持部235が存在する。具体的には
基本ユニット231に接続される複数の入力をYi,この各接
続に対応して設定される重みをWiとするならば、乗算部
232は、 Yi・Wi を算出し、加算部233は、 Ｘ＝ΣYi・Wi−θ を算出する。但し、θは閾値である。閾値部234は最終
出力をＹとするならば、 Ｙ＝1/（１＋exp（−Ｘ）） ・・・・・（１） を算出することになる。
ダミーノードから入力される“＋1"という値に“−
θ”という重みをかけて加算部233で「Ｘ−θ」の結果
が出力される。従って閾値部234ではＳ字曲線による変
換だけが行われている。
θ”という重みをかけて加算部233で「Ｘ−θ」の結果
が出力される。従って閾値部234ではＳ字曲線による変
換だけが行われている。
乗算部232は、乗算型D/Aコンバータ232aで構成され、
前段層の基本ユニット231から、あるいはダミーノード
の回路からのアナログ信号（入力スイッチ部237を介し
て入力される）の入力と、その入力に対して乗算される
べきディジタル信号の重み情報（後述する重み保持部23
8を介して入力される）との乗算を行って得られた乗算
結果をアナログ信号で出力するよう処理するもの、加算
部233は、積分器で構成されるアナログ加算器233aとア
ナログ加算器233aの加算結果を保持する保持回路233bと
により構成される。乗算型D/Aコンバータ232aは、D/Aコ
ンバータの基準電圧端子にアナログ入力信号を入力し、
各ディジタル入力端子に重みの各ビットをディジタル入
力信号として入力するものであり、結果としてそのアナ
ログ入力信号と重みとの積を生成する。アナログ加算器
233aは、乗算型D/Aコンバータ232aの出力と、前回に求
められて保持回路233bに保持されている加算値とを加算
して新たな加算値を求めるもの、保持回路233bはアナロ
グ加算器233aが求めた加算値をホールドするとともに、
そのホールド値を前回の加算値としてアナログ加算器23
3aにフィードバックさせるものである。これらの加算処
理は制御回路239より出力される加算制御信号に同期し
て実行される。閾値部234はアナログの関数発生回路で
ある非線型関数発生回路234aで構成され、入力に対しシ
グモイド関数等の非線型信号を出力するものである。乗
算結果の累算が閾値（−θ）の加算を求めて終了したと
きに、保持回路233bにホールドされている加算値Ｘに対
して閾値（−θ）を加えて（１）式のシグモイド関数の
演算処理を施し、アナログ出力値Ｙを得るもの、出力保
持部235は、サンプル／ホールド回路で構成される。
前段層の基本ユニット231から、あるいはダミーノード
の回路からのアナログ信号（入力スイッチ部237を介し
て入力される）の入力と、その入力に対して乗算される
べきディジタル信号の重み情報（後述する重み保持部23
8を介して入力される）との乗算を行って得られた乗算
結果をアナログ信号で出力するよう処理するもの、加算
部233は、積分器で構成されるアナログ加算器233aとア
ナログ加算器233aの加算結果を保持する保持回路233bと
により構成される。乗算型D/Aコンバータ232aは、D/Aコ
ンバータの基準電圧端子にアナログ入力信号を入力し、
各ディジタル入力端子に重みの各ビットをディジタル入
力信号として入力するものであり、結果としてそのアナ
ログ入力信号と重みとの積を生成する。アナログ加算器
233aは、乗算型D/Aコンバータ232aの出力と、前回に求
められて保持回路233bに保持されている加算値とを加算
して新たな加算値を求めるもの、保持回路233bはアナロ
グ加算器233aが求めた加算値をホールドするとともに、
そのホールド値を前回の加算値としてアナログ加算器23
3aにフィードバックさせるものである。これらの加算処
理は制御回路239より出力される加算制御信号に同期し
て実行される。閾値部234はアナログの関数発生回路で
ある非線型関数発生回路234aで構成され、入力に対しシ
グモイド関数等の非線型信号を出力するものである。乗
算結果の累算が閾値（−θ）の加算を求めて終了したと
きに、保持回路233bにホールドされている加算値Ｘに対
して閾値（−θ）を加えて（１）式のシグモイド関数の
演算処理を施し、アナログ出力値Ｙを得るもの、出力保
持部235は、サンプル／ホールド回路で構成される。
また、236は出力スイッチ部であり、制御回路239より
の出力制御信号を受けて一定時間ONすることで、出力保
持部235が保持するところの最終出力をアナログバスB2
上に出力するよう処理するもの、237は入力スイッチ部
であり、制御回路239よりの入力制御信号を受けて前の
基本ユニット231の最終出力からのアナログ出力が送ら
れてくるときにONすることで入力の受付を行う。238は
重み保持部であり、パラレルアウトシフトレジスタ等に
より構成され、重みメモリから送られてくるビットシリ
アルの重み信号がバッファ238aのゲートオープン（制御
回路239による重み入力制御信号がオン）された時に、
この重み信号を乗算部232が必要とするビットパラレル
の重みは乗算制御信号が与えられたときにパラレルで乗
算部に与えられる。239はディジタル回路部の制御回路
で外部からの同期信号から内部の同期信号を生成するも
ので、内部のアナログ処理の機能の制御を実行する。
の出力制御信号を受けて一定時間ONすることで、出力保
持部235が保持するところの最終出力をアナログバスB2
上に出力するよう処理するもの、237は入力スイッチ部
であり、制御回路239よりの入力制御信号を受けて前の
基本ユニット231の最終出力からのアナログ出力が送ら
れてくるときにONすることで入力の受付を行う。238は
重み保持部であり、パラレルアウトシフトレジスタ等に
より構成され、重みメモリから送られてくるビットシリ
アルの重み信号がバッファ238aのゲートオープン（制御
回路239による重み入力制御信号がオン）された時に、
この重み信号を乗算部232が必要とするビットパラレル
の重みは乗算制御信号が与えられたときにパラレルで乗
算部に与えられる。239はディジタル回路部の制御回路
で外部からの同期信号から内部の同期信号を生成するも
ので、内部のアナログ処理の機能の制御を実行する。
このように構成されることで、第13図の信号処理構成
を採る基本ユニット231の入出力がアナログ信号でもっ
て実現されることになるのである。
を採る基本ユニット231の入出力がアナログ信号でもっ
て実現されることになるのである。
なお、乗算敵D/Aコンバータ232aは、ディジタル信号
の重み情報をパラレルで受け取るようにするものでもよ
いし、重み情報をシリアルで受け取ってからはパラレル
変換するようにするものでもよい。あるいは、重み情報
をアナログ信号で構成するならば、乗算型D/Aコンバー
タ232aの代わりにアナログ乗算器を用いることができ
る。
の重み情報をパラレルで受け取るようにするものでもよ
いし、重み情報をシリアルで受け取ってからはパラレル
変換するようにするものでもよい。あるいは、重み情報
をアナログ信号で構成するならば、乗算型D/Aコンバー
タ232aの代わりにアナログ乗算器を用いることができ
る。
第14図はマスタコントロールブロック181の構成図で
ある。マスタコントロールブロック181は全ての制御信
号を総括する部分である。主要な構成要素は外部バスイ
ンタフェイス回路300、制御パターンメモリ301及びマイ
クロプログラムシーケンサ302とマイクロコードメモリ3
03、アドレス作成部304である。外部バスインタフェイ
ス回路300は、MPU等に接続するためのインタフェイスで
アドレス線305、データ線306及び制御信号線307に接続
されている。外部バスインタフェイス回路300の上位ア
ドレス比較回路308、レジスタであるＤ−FF309はそれぞ
れMPU等から与えられる上位アドレスをデコードし、上
位アドレスが予め定められた番地である場合に、下位ア
ドレスとデータをそれぞれＤ−FF309,311にタイミング
回路314からのラッチ信号をトリガとしてセットする。
そのアドレスとデータはそれぞれバスドライバ310と312
を介して、内部アドレスバスと内部データバスを介して
内部に入力される。そのアドレスはマイクロコードメモ
リ303を参照して、マイクロコードをデータバスを介し
てMPU側から書き込む場合等に利用される。また下位ア
ドレスはバスドライバ310を介してマイクロコードアド
レスをマイクロプログラムシーケンサ302にも渡され、M
PU側からの特定なアドレスで制御パターンメモリ301を
参照できるようにしている。
ある。マスタコントロールブロック181は全ての制御信
号を総括する部分である。主要な構成要素は外部バスイ
ンタフェイス回路300、制御パターンメモリ301及びマイ
クロプログラムシーケンサ302とマイクロコードメモリ3
03、アドレス作成部304である。外部バスインタフェイ
ス回路300は、MPU等に接続するためのインタフェイスで
アドレス線305、データ線306及び制御信号線307に接続
されている。外部バスインタフェイス回路300の上位ア
ドレス比較回路308、レジスタであるＤ−FF309はそれぞ
れMPU等から与えられる上位アドレスをデコードし、上
位アドレスが予め定められた番地である場合に、下位ア
ドレスとデータをそれぞれＤ−FF309,311にタイミング
回路314からのラッチ信号をトリガとしてセットする。
そのアドレスとデータはそれぞれバスドライバ310と312
を介して、内部アドレスバスと内部データバスを介して
内部に入力される。そのアドレスはマイクロコードメモ
リ303を参照して、マイクロコードをデータバスを介し
てMPU側から書き込む場合等に利用される。また下位ア
ドレスはバスドライバ310を介してマイクロコードアド
レスをマイクロプログラムシーケンサ302にも渡され、M
PU側からの特定なアドレスで制御パターンメモリ301を
参照できるようにしている。
MPUあるは主記憶からのデータはデータ線306を介して
Ｄ−FF311にラッチされた後、バスドライバ312を介して
マイクロコードメモリ内のセパレートI/ORAM313あるい
は、制御パターンメモリ301内のセパレートI/ORAM315,3
16に加えられる。MPUあるいはメモリからのデータスト
ローブ信号が制御信号線307を介してタイミング回路314
に加えられるとアクノリッジ信号を返送する通信方式
で、アドレスやデータの送受信に関する制御が行われ
る。タイミング回路314はＤ−FF311,D−FF309へのラッ
チタイミングやWR信号を介してマイクロコードメモリ30
3、制御パターンメモリ301への書き込みタイミング等を
制御する。
Ｄ−FF311にラッチされた後、バスドライバ312を介して
マイクロコードメモリ内のセパレートI/ORAM313あるい
は、制御パターンメモリ301内のセパレートI/ORAM315,3
16に加えられる。MPUあるいはメモリからのデータスト
ローブ信号が制御信号線307を介してタイミング回路314
に加えられるとアクノリッジ信号を返送する通信方式
で、アドレスやデータの送受信に関する制御が行われ
る。タイミング回路314はＤ−FF311,D−FF309へのラッ
チタイミングやWR信号を介してマイクロコードメモリ30
3、制御パターンメモリ301への書き込みタイミング等を
制御する。
ニューロチップに与える複雑な制御信号の“1",“0"
パターンは、制御パターンメモリ301に１周期分格納さ
れ、その１周期分のパターンをマイクロプログラムシー
ケンサ302の制御に従って制御パターンメモリ301から読
み出すことによって生成する。例えばリセット信号Rese
t、データクロックDCLK、重みクロックWCLK、CSO1,CSO
2,CSO3やSYNC1,SYNC2,SH1,SH2,OC1,OC2等の制御信号は
セパレートI/ORAM315から読み出され、パターンに付随
する制御情報つまりシーケンス制御フラグは第２のセパ
レートI/RRAM316から読み出される。例えば制御パター
ンメモリ20は1000110001というパターンが格納されてい
る場合には、“1,0"ビットのパターンであるから、この
“1,0"ビットのパターンを繰り返すように制御パターン
メモリ301のアドレスを制御すれば、このパターンの繰
り返しが制御パターンメモリ301から読み出されること
になる。すなわち制御信号のパターンは非常に複雑なパ
ターンであるので、これらのパターンを予めこのセパレ
ートI/ORAM315に格納しておき、そのセパレートI/ORAM3
15のアドレスをマイクロプロセッサシーケンサ302の制
御に従って指定することによって順次そのビットパター
ンを出力する構造になっている。よって、いくつかの同
じパターンを繰り返すことになるので、その繰り返しを
どのように実現するかはアドレス制御に従う。この１周
期分のパターンをオリジナルパターンと呼ぶことにす
る。オリジナルパターンを繰り返すためには、マイクロ
プログラムシーケンサ302に制御パターンメモリ301から
の特定な情報をフィードバックする必要がある。すなわ
ち第２のセパレートI/ORAM316内のシーケンスコントロ
ーラフラグを条件入力としてマイクロプログラムシーケ
ンサ302に入力することにより、マイクロプログラムシ
ーケンサ302は第１のセパレートI/ORAM315内のオリジナ
ルパターンの入っている先頭アドレスに戻るように制御
する。このことにより、オリジナルパターンの繰り返し
が実行される。すなわち、マイクロプログラムシーケン
サ302はその条件が満たされるまで汎用ポート出力線302
−１を介してセパレートI/ORAM315へのアドレス信号を
逐次に生成する。通常はこのアドレスはインクリメント
されるがオリジナルパターンの最終になったという条件
が満たされると、そのオリジナルパターンが格納されて
いる先頭アドレスに戻るようにする。結果として特定な
パターンがくりかえしセパレートI/ORAM315から制御パ
ターンが出力される。
パターンは、制御パターンメモリ301に１周期分格納さ
れ、その１周期分のパターンをマイクロプログラムシー
ケンサ302の制御に従って制御パターンメモリ301から読
み出すことによって生成する。例えばリセット信号Rese
t、データクロックDCLK、重みクロックWCLK、CSO1,CSO
2,CSO3やSYNC1,SYNC2,SH1,SH2,OC1,OC2等の制御信号は
セパレートI/ORAM315から読み出され、パターンに付随
する制御情報つまりシーケンス制御フラグは第２のセパ
レートI/RRAM316から読み出される。例えば制御パター
ンメモリ20は1000110001というパターンが格納されてい
る場合には、“1,0"ビットのパターンであるから、この
“1,0"ビットのパターンを繰り返すように制御パターン
メモリ301のアドレスを制御すれば、このパターンの繰
り返しが制御パターンメモリ301から読み出されること
になる。すなわち制御信号のパターンは非常に複雑なパ
ターンであるので、これらのパターンを予めこのセパレ
ートI/ORAM315に格納しておき、そのセパレートI/ORAM3
15のアドレスをマイクロプロセッサシーケンサ302の制
御に従って指定することによって順次そのビットパター
ンを出力する構造になっている。よって、いくつかの同
じパターンを繰り返すことになるので、その繰り返しを
どのように実現するかはアドレス制御に従う。この１周
期分のパターンをオリジナルパターンと呼ぶことにす
る。オリジナルパターンを繰り返すためには、マイクロ
プログラムシーケンサ302に制御パターンメモリ301から
の特定な情報をフィードバックする必要がある。すなわ
ち第２のセパレートI/ORAM316内のシーケンスコントロ
ーラフラグを条件入力としてマイクロプログラムシーケ
ンサ302に入力することにより、マイクロプログラムシ
ーケンサ302は第１のセパレートI/ORAM315内のオリジナ
ルパターンの入っている先頭アドレスに戻るように制御
する。このことにより、オリジナルパターンの繰り返し
が実行される。すなわち、マイクロプログラムシーケン
サ302はその条件が満たされるまで汎用ポート出力線302
−１を介してセパレートI/ORAM315へのアドレス信号を
逐次に生成する。通常はこのアドレスはインクリメント
されるがオリジナルパターンの最終になったという条件
が満たされると、そのオリジナルパターンが格納されて
いる先頭アドレスに戻るようにする。結果として特定な
パターンがくりかえしセパレートI/ORAM315から制御パ
ターンが出力される。
第15図は、マスタコントロールブロック181を制御す
るメモリ301及び303内の情報の相互関係である。同図に
おいて制御パターンメモリ１が第１のセパレートI/ORAM
315に相当し、制御パターンメモリ２が第２のセパレー
トI/ORAM316に相当する。マイクロコードメモリ303内に
は、シーケンサ302の制御コードが記憶され、主に、Jum
p命令とRepeat命令が格納されている。アドレスの増加
方向にみて、特定なアドレスにRepeat命令があり、この
反復命令に従う制御パターンメモリ内のパターン１の繰
り返し数は制御パターンメモリ２の対応するアドレスに
格納され、例えば「10」であるとすれば、10回の反復を
実行することになる。このようにして、アドレスが増加
し、マイクロコードメモリのJump命令にきたときに、マ
イクロコードメモリ303内の第2Jumpで500Hに飛び、Patt
ern 2を出力する。Pattern 2を５回繰り返すと、マイク
ロコードメモリ303内の第３のJumpで再び「100 H」に飛
び、Pattern 1出力することになる。このようにして、
オリジナルパターンが繰り返されて、制御パターンメモ
リ１から読み出される。
るメモリ301及び303内の情報の相互関係である。同図に
おいて制御パターンメモリ１が第１のセパレートI/ORAM
315に相当し、制御パターンメモリ２が第２のセパレー
トI/ORAM316に相当する。マイクロコードメモリ303内に
は、シーケンサ302の制御コードが記憶され、主に、Jum
p命令とRepeat命令が格納されている。アドレスの増加
方向にみて、特定なアドレスにRepeat命令があり、この
反復命令に従う制御パターンメモリ内のパターン１の繰
り返し数は制御パターンメモリ２の対応するアドレスに
格納され、例えば「10」であるとすれば、10回の反復を
実行することになる。このようにして、アドレスが増加
し、マイクロコードメモリのJump命令にきたときに、マ
イクロコードメモリ303内の第2Jumpで500Hに飛び、Patt
ern 2を出力する。Pattern 2を５回繰り返すと、マイク
ロコードメモリ303内の第３のJumpで再び「100 H」に飛
び、Pattern 1出力することになる。このようにして、
オリジナルパターンが繰り返されて、制御パターンメモ
リ１から読み出される。
この制御パターンメモリ301を参照するアドレスの読
み出しクロックに同期してWCLKが作られており、重みメ
モリ185からWCLKに同期して情報が読み出される。重み
メモリ185へのアドレスはアドレス作成部304のアドレス
１から出力されるアドレス信号によってアクセスされ
る。ANPに与えるべき重みデータはアドレス１によって
指定される重みメモリ185から読み出される。各アドレ
スは重みメモリ185の内容が重みデータの各ビットをア
ドレスが増す方向に１ビットずつ格納されているので、
アドレスカウンタ317へのカウント制御信号がマイクロ
プログラムシーケンサ302から与えられる必要がある。
そのアドレスカウンタ317によってこのアドレスがバス
ドライバ319を介して次から次へと重みメモリ185へのア
ドレス信号としてインクリメントして与えられる。そし
てニューロンが複数なるとき、それに対応して複数の重
みデータがその重みメモリ185から読み出される。
み出しクロックに同期してWCLKが作られており、重みメ
モリ185からWCLKに同期して情報が読み出される。重み
メモリ185へのアドレスはアドレス作成部304のアドレス
１から出力されるアドレス信号によってアクセスされ
る。ANPに与えるべき重みデータはアドレス１によって
指定される重みメモリ185から読み出される。各アドレ
スは重みメモリ185の内容が重みデータの各ビットをア
ドレスが増す方向に１ビットずつ格納されているので、
アドレスカウンタ317へのカウント制御信号がマイクロ
プログラムシーケンサ302から与えられる必要がある。
そのアドレスカウンタ317によってこのアドレスがバス
ドライバ319を介して次から次へと重みメモリ185へのア
ドレス信号としてインクリメントして与えられる。そし
てニューロンが複数なるとき、それに対応して複数の重
みデータがその重みメモリ185から読み出される。
第１のセパレートI/ORAM315からWCLKとマイクロプロ
グラムシーケンサ302からのカウンタ制御信号がアドレ
ス作成部304内のアンド回路321に加えられている。カウ
ンタ制御信号がハイのとき、WCLKによってアドレスカウ
ンタは更新され、WCLKの１〜16ビットまではアドレスカ
ウンタ317をインクリメントする。そして、残りのWCLK1
7〜26ビットに対しては、カウンタ制御信号をローとす
ることによりWCLKをインヒビットとしてアドレスカウン
タ317のインクリメントを停止する。そして、SYNCに同
期してそれぞれカウンタリセット信号をマイクロプログ
ラムシーケンサ302からアンド回路321に送出して、アド
レスカウンタ317をリセットする。このことにより、重
みメモリ185のアドレスを先頭アドレスに戻す。なお、
マスタコントロールブロック181から出力されるモード
信号は、重みメモリの通常使用、すなわち重みメモリを
MPUデータバスから切り離し重みデータをANPに与えるモ
ードと、重みメモリをMPUデータバスに接続し、MPUから
重みメモリを参照するモードを形成するためのものであ
る。
グラムシーケンサ302からのカウンタ制御信号がアドレ
ス作成部304内のアンド回路321に加えられている。カウ
ンタ制御信号がハイのとき、WCLKによってアドレスカウ
ンタは更新され、WCLKの１〜16ビットまではアドレスカ
ウンタ317をインクリメントする。そして、残りのWCLK1
7〜26ビットに対しては、カウンタ制御信号をローとす
ることによりWCLKをインヒビットとしてアドレスカウン
タ317のインクリメントを停止する。そして、SYNCに同
期してそれぞれカウンタリセット信号をマイクロプログ
ラムシーケンサ302からアンド回路321に送出して、アド
レスカウンタ317をリセットする。このことにより、重
みメモリ185のアドレスを先頭アドレスに戻す。なお、
マスタコントロールブロック181から出力されるモード
信号は、重みメモリの通常使用、すなわち重みメモリを
MPUデータバスから切り離し重みデータをANPに与えるモ
ードと、重みメモリをMPUデータバスに接続し、MPUから
重みメモリを参照するモードを形成するためのものであ
る。
モード信号は、MPUからのデータの下位ビットが、下
位アドレスの１ビットとタイミング回路314からの書込
み信号からWRをアンド回路323にて生じるアンド信号を
トリガとしてフリップフロップ324にセットされること
により形成される。このモード信号が０のとき重みメモ
リは通常使用となる。
位アドレスの１ビットとタイミング回路314からの書込
み信号からWRをアンド回路323にて生じるアンド信号を
トリガとしてフリップフロップ324にセットされること
により形成される。このモード信号が０のとき重みメモ
リは通常使用となる。
書込み信号WRと内部アドレスバスの１ビットがアンド
回路323を介してフリップフロップ324のクロック端子に
入力され、内部データバスのLSBがフリップフロップ324
のデータ端子に入力される。上位アドレスを比較回路30
8でマスタコントロールブロック181が選択されているか
を判定し、選択されている場合、下位アドレスとデータ
をDFF309,311に取り込む。このようなインタフェイス動
作はMPUに接続される他のデバイスに対しても同様に行
われるが重みメモリは通常ANPに対し重みデータを供給
しているので、MPUのデータバスに直接接続するとバス
競合が生じる。これを防ぐために、内部データバスのLS
Bがフリップフロップ324に取り込まれた時はモードを１
として、重みメモリをチップセレクトしないようにし
て、重みメモリからデータバス上にデータが生じないよ
うにする。内部アドレスバスが所定タイミングにおい
て、内部アドレスバスによって、マイクロコードメモリ
303と制御パターンメモリ301のいずれかのアドレスを指
定し、そのアクセスされたアドレスに内部データバスか
ら所望のデータを書き込む。これにより、マイクロプロ
グラムシーケンサ302やマイクロコードメモリ303,セパ
レートI/ORAM316に記憶されたプログラムを変更する
か、セパレートI/ORAM315に記憶された制御パターンを
変更する。
回路323を介してフリップフロップ324のクロック端子に
入力され、内部データバスのLSBがフリップフロップ324
のデータ端子に入力される。上位アドレスを比較回路30
8でマスタコントロールブロック181が選択されているか
を判定し、選択されている場合、下位アドレスとデータ
をDFF309,311に取り込む。このようなインタフェイス動
作はMPUに接続される他のデバイスに対しても同様に行
われるが重みメモリは通常ANPに対し重みデータを供給
しているので、MPUのデータバスに直接接続するとバス
競合が生じる。これを防ぐために、内部データバスのLS
Bがフリップフロップ324に取り込まれた時はモードを１
として、重みメモリをチップセレクトしないようにし
て、重みメモリからデータバス上にデータが生じないよ
うにする。内部アドレスバスが所定タイミングにおい
て、内部アドレスバスによって、マイクロコードメモリ
303と制御パターンメモリ301のいずれかのアドレスを指
定し、そのアクセスされたアドレスに内部データバスか
ら所望のデータを書き込む。これにより、マイクロプロ
グラムシーケンサ302やマイクロコードメモリ303,セパ
レートI/ORAM316に記憶されたプログラムを変更する
か、セパレートI/ORAM315に記憶された制御パターンを
変更する。
以上説明したように、本発明によれば、小さい容積で
非同期制御を実現し、実際に機器に組み込めて、収束が
速く、周期解を持たないHopfield型ニューロコンピュー
タを実現することができる。Hepfield型ニューロコンピ
ュータは連想記憶や組み合わせ最適化問題を解の探索な
どに使えるものである。
非同期制御を実現し、実際に機器に組み込めて、収束が
速く、周期解を持たないHopfield型ニューロコンピュー
タを実現することができる。Hepfield型ニューロコンピ
ュータは連想記憶や組み合わせ最適化問題を解の探索な
どに使えるものである。
第１図は本発明（クレーム1,2）の原理説明図、 第２図は相互結合型ネットワークの概念図、 第3A図，第3B図は相互結合型ニューロコンピュータの原
理説明図、 第４図は本発明（クレーム3,4）の原理説明図、 第５図は本発明（クレーム1,2）の一実施例、 第６図はそのタイミングチャート、 第７図は本発明（クレーム3,4）の他の実施例のブロッ
ク図、 第８図はそのタイミングチャート、 第９図は第5,7図に示したANPを用いたシステムのブロッ
ク図、 第10図、第11図、第12図、第13図はANPのブロック図、 第14図は第5,7図におけるマスタコントロールブロック
の具体的なブロック図、 第15図は制御パターンメモリのブロック図である。 1,2,3……ニューロン、 ７……コントローラ、 ８……選択器。
理説明図、 第４図は本発明（クレーム3,4）の原理説明図、 第５図は本発明（クレーム1,2）の一実施例、 第６図はそのタイミングチャート、 第７図は本発明（クレーム3,4）の他の実施例のブロッ
ク図、 第８図はそのタイミングチャート、 第９図は第5,7図に示したANPを用いたシステムのブロッ
ク図、 第10図、第11図、第12図、第13図はANPのブロック図、 第14図は第5,7図におけるマスタコントロールブロック
の具体的なブロック図、 第15図は制御パターンメモリのブロック図である。 1,2,3……ニューロン、 ７……コントローラ、 ８……選択器。
フロントページの続き (72)発明者 市來 宏基 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平２−66688（ＪＰ，Ａ) 特開 平２−64880（ＪＰ，Ａ) 特開 平２−64787（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06G 7/60 G06F 15/18
Claims (6)
- 【請求項１】複数の入力信号にそれぞれ対応する重みを
乗じ、それらの総和をとった後、非線型関数で変換した
信号を出力するニューロン（1,2,3）複数個から構成さ
れる相互結合型ニューラルネットワークと、 該ニューロンに対する重みデータを記憶する重みメモリ
（９）と、 該ニューラルネットワークを制御する制御パターンを発
生するコントローラ（７）と、 １処理サイクルにおいて、前記ニューロン（1,2,3）の
中で信号処理を行うものをランダムに選択する選択手段
（８）よりなることを特徴とするニューロコンピュータ
の非同期制御方式。 - 【請求項２】アナログ信号をアナログバスより時分割入
力し、積和演算を行った後、非線型関数で変換したアナ
ログ信号をアナログバスに出力するアナログニューロン
プロセッサ（1,2,3）複数個から構成されるニューラル
ネットワークと、 該ニューラルネットワークの各アナログニューロンプロ
セッサの選択を制御する制御パターンと重みメモリのア
ドレス信号とを発生するコントローラ（７）と、 該コントローラ（７）によって制御されアナログニュー
ロンプロセッサに対する重みデータを記憶する重みメモ
リ（９）と、 前記コントローラ（７）と個々のアナログニューロンプ
ロセッサとの間を接続する選択手段（８）と、 該選択手段（８）をランダムに切り替えるための乱数発
生器（10）と、 前記制御パターンをランダムに前記選択手段で切り替え
ることを特徴とするニューロコンピュータの非同期制御
方式。 - 【請求項３】複数の入力信号に対して積和演算を行った
後、非線型関数で変換した信号を出力するニューロン
（11）１個から構成されるニューラルネットワークと、 該ニューロンが出力する信号を受け取り保持する複数個
のサンプル／ホールド回路（12,13,14）と、 該ニューラルネットワークを制御する制御パターンと重
みメモリのアドレス信号とを発生するコントローラ（1
7）と、 該コントローラ（17）によって制御されニューロンに対
する重みデータを記憶する重みメモリ（15）と、 １処理サイクルにおいて、前記ニューロンがロードする
複数の重みデータを選択する手段（21）と、１サイクル
において出力を与えるサンプル／ホールド回路をランダ
ムに選択する手段（16）よりなることを特徴とするニュ
ーロコンピュータの非同期制御方式。 - 【請求項４】前記重みデータの選択は重みアドレスを前
記サンプルホールド回路の選択信号と対応してランダム
に選択することにより行うことを特徴とする請求項３記
載のニューロコンピュータの非同期制御方式。 - 【請求項５】前記重みデータの選択は重みデータメモリ
の出力を前記サンプルホールド回路の選択信号と対応し
てランダムに選択することにより行うことを特徴とする
請求項３記載のニューロコンピュータの非同期制御方
式。 - 【請求項６】アナログ信号をアナログバスより時分割入
力し、積和演算を行った後、非線型関数で変換したアナ
ログ信号をアナログバスに出力するアナログニューロプ
ロセッサ（11）１個から構成されるニューラルネットワ
ークと、 該ニューロンが出力する信号を受け取り保持する複数個
のサンプル／ホールド回路（12,13,14）と、 前記アナログニューロンプロセッサに対する重みデータ
を記憶する重みメモリ（15,185）と、 前記サンプル／ホールド回路に接続された選択手段（1
6,250）と、 該選択手段をランダムに切り替え、前記重みメモリを前
記選択手段の切り換えに対応したランダムな信号で選択
するための乱数発生器（17,251）と、 １処理サイクルにおいて、前記制御パターンと重みアド
レスをランダムに切り替えることを特徴とするニューロ
コンピュータの非同期制御方式。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2237231A JP2785155B2 (ja) | 1990-09-10 | 1990-09-10 | ニューロコンピュータの非同期制御方式 |
| AU83782/91A AU657919B2 (en) | 1990-09-10 | 1991-09-10 | Asynchronous control system for a neuro computer |
| DE69130633T DE69130633T2 (de) | 1990-09-10 | 1991-09-10 | Asynchrones Steuerungssystem für einen Neurorechner |
| EP91308258A EP0475732B1 (en) | 1990-09-10 | 1991-09-10 | Asynchronous control system for a neuro computer |
| US07/757,344 US5369731A (en) | 1990-09-10 | 1991-09-10 | Asynchronous control system for a neuro computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2237231A JP2785155B2 (ja) | 1990-09-10 | 1990-09-10 | ニューロコンピュータの非同期制御方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04118788A JPH04118788A (ja) | 1992-04-20 |
| JP2785155B2 true JP2785155B2 (ja) | 1998-08-13 |
Family
ID=17012329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2237231A Expired - Lifetime JP2785155B2 (ja) | 1990-09-10 | 1990-09-10 | ニューロコンピュータの非同期制御方式 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5369731A (ja) |
| EP (1) | EP0475732B1 (ja) |
| JP (1) | JP2785155B2 (ja) |
| AU (1) | AU657919B2 (ja) |
| DE (1) | DE69130633T2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2685109A1 (fr) * | 1991-12-11 | 1993-06-18 | Philips Electronique Lab | Processeur numerique neuronal operant avec une approximation d'une fonction d'activation non lineaire. |
| JPH05210649A (ja) * | 1992-01-24 | 1993-08-20 | Mitsubishi Electric Corp | 神経回路網表現装置 |
| FR2719399B1 (fr) * | 1994-05-02 | 1996-05-24 | Commissariat Energie Atomique | Procédé et dispositif d'extraction d'un sous-ensemble d'objets optimisant une mesure, en utilisant un réseau de neurones. |
| JP2003010762A (ja) * | 2001-06-28 | 2003-01-14 | Konica Corp | 塗布装置及び塗布方法 |
| US8019705B2 (en) * | 2003-03-24 | 2011-09-13 | Fiske Software, LLC. | Register and active element machines: commands, programs, simulators and translators |
| US8010467B2 (en) * | 2003-03-24 | 2011-08-30 | Fiske Software Llc | Active element machine computation |
| US7398260B2 (en) * | 2003-03-24 | 2008-07-08 | Fiske Software Llc | Effector machine computation |
| US8712942B2 (en) * | 2003-03-24 | 2014-04-29 | AEMEA Inc. | Active element machine computation |
| KR100656523B1 (ko) * | 2005-07-27 | 2006-12-11 | 삼성전자주식회사 | 인체의 움직임을 이용한 시스템 및 그 방법 |
| DE102006009939B9 (de) * | 2006-03-03 | 2008-09-11 | Infineon Technologies Ag | Zufallszahlengenerator und Verfahren zum Erzeugen von Zufallszahlen |
| US10268843B2 (en) | 2011-12-06 | 2019-04-23 | AEMEA Inc. | Non-deterministic secure active element machine |
| CA2990709C (en) * | 2016-05-26 | 2018-09-04 | The Governing Council Of The University Of Toronto | Accelerator for deep neural networks |
| US11100385B2 (en) * | 2016-12-30 | 2021-08-24 | Intel Corporation | Scalable free-running neuromorphic computer |
| CN107895191B (zh) | 2017-10-30 | 2022-02-22 | 上海寒武纪信息科技有限公司 | 一种信息处理方法及相关产品 |
| US20210133854A1 (en) | 2018-09-13 | 2021-05-06 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4996648A (en) * | 1987-10-27 | 1991-02-26 | Jourjine Alexander N | Neural network using random binary code |
| WO1988010474A1 (en) * | 1987-06-18 | 1988-12-29 | University Of West Virginia | State analog neural network and method of implementing same |
| US4943909A (en) * | 1987-07-08 | 1990-07-24 | At&T Bell Laboratories | Computational origami |
| US4976698A (en) * | 1987-10-23 | 1990-12-11 | Stokley Manuel H | Intravenous catheter and tubing stabilization device |
| US4926064A (en) * | 1988-07-22 | 1990-05-15 | Syntonic Systems Inc. | Sleep refreshed memory for neural network |
| EP0400147B1 (en) * | 1988-08-31 | 1997-10-15 | Fujitsu Limited | Neurocomputer |
| GB2224139A (en) * | 1988-10-24 | 1990-04-25 | Philips Electronic Associated | Digital data processing apparatus |
| EP0378115B1 (en) * | 1989-01-06 | 1998-09-30 | Hitachi, Ltd. | Neural computer |
| US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
| JP2679738B2 (ja) * | 1989-03-01 | 1997-11-19 | 富士通株式会社 | ニューロコンピュータにおける学習処理方式 |
-
1990
- 1990-09-10 JP JP2237231A patent/JP2785155B2/ja not_active Expired - Lifetime
-
1991
- 1991-09-10 EP EP91308258A patent/EP0475732B1/en not_active Expired - Lifetime
- 1991-09-10 AU AU83782/91A patent/AU657919B2/en not_active Ceased
- 1991-09-10 US US07/757,344 patent/US5369731A/en not_active Expired - Lifetime
- 1991-09-10 DE DE69130633T patent/DE69130633T2/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04118788A (ja) | 1992-04-20 |
| AU8378291A (en) | 1992-03-12 |
| AU657919B2 (en) | 1995-03-30 |
| DE69130633T2 (de) | 1999-05-06 |
| DE69130633D1 (de) | 1999-01-28 |
| EP0475732A3 (en) | 1994-09-21 |
| US5369731A (en) | 1994-11-29 |
| EP0475732B1 (en) | 1998-12-16 |
| EP0475732A2 (en) | 1992-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2785155B2 (ja) | ニューロコンピュータの非同期制御方式 | |
| JP2679738B2 (ja) | ニューロコンピュータにおける学習処理方式 | |
| KR900702473A (ko) | 뉴로 컴퓨터 | |
| US5278945A (en) | Neural processor apparatus | |
| US4994982A (en) | Neural network system and circuit for use therein | |
| US5542026A (en) | Triangular scalable neural array processor | |
| US5175798A (en) | Digital artificial neuron based on a probabilistic ram | |
| US5748849A (en) | Neural processor comprising distributed synaptic cells | |
| US20220188604A1 (en) | Method and Apparatus for Performing a Neural Network Operation | |
| US5333239A (en) | Learning process system for use with a neural network structure data processing apparatus | |
| JPH07248841A (ja) | 非線形関数発生装置およびフォーマット変換装置 | |
| US5146543A (en) | Scalable neural array processor | |
| US5148515A (en) | Scalable neural array processor and method | |
| JPH07117948B2 (ja) | コンピユータ装置 | |
| EP0385436A2 (en) | An error absorbing system in a neuron computer | |
| JP2677656B2 (ja) | ニューロコンピュータの集中制御方式 | |
| EP0388474B1 (en) | Learning processing system of network structure data processing unit | |
| KR940001172B1 (ko) | 네트워크 구성데이타 처리장치의 학습처리 방식 | |
| JPH0520292A (ja) | 乱数パルス列発生回路装置及び信号処理装置 | |
| JP7199283B2 (ja) | アクセラレータ装置 | |
| JP2618470B2 (ja) | ニューロコンピュータにおける重み補正による誤差吸収方式 | |
| JPH04222111A (ja) | ディジタルフィルタ | |
| JP3463890B2 (ja) | 神経回路模倣素子 | |
| CN116601643A (zh) | 用于执行神经网络运算的方法和装置 | |
| SU1474671A1 (ru) | Преобразователь формы представлени логических функций |