JP2618470B2

JP2618470B2 - ニューロコンピュータにおける重み補正による誤差吸収方式

Info

Publication number: JP2618470B2
Application number: JP1045208A
Authority: JP
Inventors: 英樹吉沢; 宏基市來; 英樹加藤; 和雄浅川; 義英杉浦; 裕之都築; 秀一遠藤; 貴川崎; 俊春松田; 弘岩本; 主悦土屋; 勝哉石川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-02-28
Filing date: 1989-02-28
Publication date: 1997-06-11
Anticipated expiration: 2012-06-11
Also published as: JPH02226382A

Description

【発明の詳細な説明】〔概要〕重み補正による誤差吸収方式に関し、少ない配線本数で階層ネットワークを構成する基本ユ
ニット間でのデータの授受を実現できる時分割方式のニ
ューロコンピュータにおいて、ダミノード用重みデータ
を調整してオフセットやゲイン誤差を吸収することを目
的とし、アナログ信号を第１のアナログバスより時分割的に入
力し、積和演算を行ってアナログ信号を第２のアナログ
バスに出力するアナログニューロプロセッサの集合から
なるニューラルネットワークと、該ニューラルネットワ
ークのアナログバスに接続されテストモード時におい
て、指定された前記アナログバスに固定電圧を発生する
ダミーノード手段と、テストモード時の第１の状態にお
いて前記第１のアナログバスにダミーノード手段を介し
て０ボルトを強制的に入力し、前記第２のアナログバス
からアナログニューロプロセッサ内で発生されたオフセ
ット電圧を検出する誤差測定手段と、前記各ニューロプ
ロセッサのオフセット電圧からテストモード時の第２の
状態において、前記ダミーノード手段から生成される固
定電圧と乗算されるべき各ニューロプロセッサへの重み
の中間的な重みを決め、第２のアナログバスから出力さ
れる検出出力電圧からゲイン利得を使って正しいダミー
ノード用重みを計算するディジタル制御手段内の重み補
正手段と、該重み補正手段によって補正された重みを格
納する重みメモリと、前記ニューラルネットワークの動
作を制御する制御パターンがシーケンサの制御によって
順次読み出される制御パターンメモリとからなるように
構成する。

〔産業上の利用分野〕

本発明は、アナログニューロンチップをアナログ時分
割伝送路により結合することで実現されるニューロコン
ピュータに係り、さらに詳しくは、重み補正による誤差
吸収方式に関する。

〔従来の技術〕

従来の逐次処理コンピュータ（ノイマン型コンピュー
タ）では、使用方法や環境の変化に応じてコンピュータ
のデータ処理機能を調節することが難しいので、適応性
を有するデータ処理方式として、新たに階層ネットワー
クによる並列分散処理方式が提唱されてきている。特
に、バックプロパゲーション法と呼ばれる処理方式（D.
E.Rumelhart,G.E.Hinton,and R.J.Williams,“Learning
Internal Representations by Error Propagation",PA
RALLEL DISTRIBUTED PROCESSING,Vol.1,pp.318−364,Th
e MIT Press,1986）が、その実用性の高さから注目され
ている。

バック・プロパゲーション法では、基本ユニットと呼
ぶ一種のノードと重みを持つ内部結合とから階層ネット
ワークを構成している。第35図に、基本ユニット１の原
理構成を示す。この基本ユニット１は、連続ニューロン
モデルに類似した処理を実行する。即ち、これは多入力
一出力系となっており、複数の入力｛Y_h｝に対しそれぞ
れの内部結合の重み｛W_ih｝を乗じる乗算処理部２と、
それらの全乗算結果を加算する累算処理部３と、この加
算値に非線形の閾値処理を施して１つの最終出力X_iを出
力する閾値処理部４とを備える。

第36図は階層型ニューラルネットワークの構成概念図
である。構成の多数の基本ユニット｛１−h,1−i,1−
ｊ｝が、第36図に示すように階層的に接続されること
で、入力信号パターンに対応するところの出力信号パタ
ーンが出力されることになる。

学習時には、出力パターンと目的とする教師パターン
の差が小さくなるように、各階層間の結合の重み
｛W_ih｝が決定される。この様な学習は、複数の入力パ
ターンに対して行われ、多重化される。また、連想時に
は、入力パターンが学習時に入力した完全情報と少し異
なる不完全な情報であっても、学習時の教師パターンに
近い出力パターンが得られることにより、連想処理が可
能となる。

この様な構成のニューロコンピュータを現実のものと
していくためには、階層ネットワークを構成することに
なる基本ユニット１間のデータの授受を、できる限り少
ない配線本数で実現していく必要がある。このことは、
複雑なデータ処理を実現していくために、階層ネットワ
ークの構成をより多層化したり、基本ユニットの数を増
していく必要があるという背景のもとで、どうしても解
決していかなくてはならない課題の１つなのである。

〔発明が解決しようとする課題〕

しかしながら、先に説明したデータ転送方式では、第
36図に示す階層ネットワークの構成からも明らかなよう
に、２つの層間の配線本数が極めて多くなることから、
階層ネットワークをチップ化するときに、小さくできな
くなると共に、信頼性を高めることができなくなるとい
う問題点がある。例えば、隣接する２つの層の基本ユニ
ット数を同じとし、すべての基本ユニット１が互いに接
続されるという完全結合を想定するならば、配線本数は
基本ユニット数の２乗に比例して増加することになる。
このように、配線本数が急激に増加してしまう。

本発明は、少ない配線本数で階層ネットワークを構成
する基本ユニット間でのデータの授受を実現できる時分
割方式のニューロコンピュータにおいて、ダミノード用
重みデータを調整してオフセットやゲイン誤差を吸収す
ることを目的とする。

〔課題を解決するための手段〕

第1A図は本発明のニューロコンピュータのシステムブ
ロック図である。

ニューラルネットワーク18は、アナログ信号を第１の
アナログバスより時分割的に入力し、積和演算を行って
アナログ信号を第２のアナログバスに出力するアナログ
ニューロプロセッサの集合からなり、ダミーノード手段
６は、ニューラルネットワーク18のアナログバスに接続
されテストモード時において、指定された前記アナログ
バスに固定電圧を発生し、誤差測定手段20は、テストモ
ード時の第１の状態において前記第１のアナログバスに
ダミーノード手段６を介して０ボルトを強制的に入力
し、前記第２のアナログバスからアナログニューロプロ
セッサ内で発生されたオフセット電圧を検出し、ディジ
タル制御手段内の重み補正手段19は、各ニューロプロセ
ッサのオフセット電圧からテストモード時の第２の状態
において、前記ダミーノード手段６から生成される固定
電圧と乗算されるべき各ニューロプロセッサへの重みの
中間的な重みを決め、第２のアナログバスから出力され
る検出出力電圧からゲイン利得を使って正しいダミーノ
ード用重みを計算し、重みメモリ14は、重み補正手段に
よって補正された重みを格納し、ニューラルネットワー
ク18は、ニューラルネットワークの動作を制御する制御
パターンがシーケンサ13の制御によって順次読み出され
る制御パターンメモリ12とからなるアナログ信号を第１
のアナログバスより時分割的に入力し、積和演算を行っ
てアナログ信号を第２のアナログバスに出力するアナロ
グニューロプロセッサの集合からなり、ダミーノード手
段６は、ニューラルネットワーク18のアナログバスに接
続されテストモード時において、指定された前記アナロ
グバスに固定電圧を発生し、誤差測定手段20は、テスト
モード時の第１の状態において前記第１のアナログバス
にダミーノード手段６を介して０ボルトを強制的に入力
し、前記第２のアナログバスからアナログニューロプロ
セッサ内で発生されたオフセット電圧を検出し、ディジ
タル制御手段内の重み補正手段19は、各ニューロプロセ
ッサのオフセット電圧からテストモード時の第２の状態
において、前記ダミーノード手段６から生成される固定
電圧と乗算されるべき各ニューロプロセッサへの重みの
中間的な重みを決め、第２のアナログバスから出力され
る検出出力電圧からゲイン利得を使って正しいダミーノ
ード用重みを計算し、重みメモリ14は、重み補正手段に
よって補正された重みを格納し、制御パターンメモリ12
は、ニューラルネットワークの動作を制御する制御パタ
ーンがシーケンサ13の制御によって順次読み出される。

〔作用〕

アナログ入力信号を時分割でアナログニューロチップ
に入力し、この信号と重みデータとの積を取り、この積
信号をそれぞれ加算して得られる積和信号を非線形関数
回路を通して出力することによりアナログニューロチッ
プを構成する。このアナログニューロチップを複数個用
いて階層型あるいは帰還型のニューラルネットワーク18
を構成し、このニューラルネットワーク18にシーケンサ
13によってアクセスすべきアドレスが与えられた制御パ
ターンメモリ12から出力される制御信号を加える。また
ニューラルネットワーク18には学習等によって得られる
重みデータが重みメモリ14から供給される。そしてニュ
ーラルネットワーク18、制御パターンメモリ12、シーケ
ンサ13、重みメモリ14はディジタル制御手段15のディジ
タル信号によって制御され、且つ管理される。また、デ
ィジタル制御手段15内のMPUでは、特に、学習アルゴリ
ズムが実行され、かつ出力信号のチェックなどが行われ
る。このようにして、時分割アナログ入力信号と時分割
アナログ出力信号を用いることを特徴とするアナログニ
ューロコンピュータシステムが実現される。

〔実施例〕

第1B図は本発明のニューロチップから構成されるアナ
ログニューロプロセッサ（ANP）11のデュアルインライ
ンパッケージの概略図である。これは、MB4442と呼ばれ
ニューロンモデルの処理を実行する。内部の閾値処理部
はシグモイド関数で置換したモデルとなっている。アナ
ログニューロチップはANPと呼ばれ、アナログデータを
入出力するデバイスである。第1C図は本発明のANPの内
部構成図である。第1C図に示すようにANP11はアナログ
バスB1とアナログバスB2の間に接続される。ANP11は入
力するアナログ信号と重みを掛けるアナログ乗算部22、
積の和を求めるアナログ加算部23、和を保持するサンプ
ル／ホールド部24、シグモイド関数の値を出力する非線
形関数部25よりなる。第1B図のANP11の各端子を説明す
る。ANP11の内部はアナログ回路部とディジタル回路部
から構成されている。＋−６ボルトの端子は、アナログ
回路部のオペアンプに供給される電源端子である。D_in
及びD_outはアナログ入力信号及び出力信号の端子であ
る。AGNDはアナログ回路部の接地端子である。Rt＋及び
Rt−端子はアナログ回路部にある積分回路に外付抵抗Ｒ
の端子であり、Ct＋、Ct−端子は同じく積分回路の外付
キャパシタＣの端子である。DGNDはディジタル回路部の
グランド端子である。＋５ボルトはディジタル回路部の
電源端子である。RSTは積分回路のキャパシタの電荷等
のリセットを行うリセット信号端子である。CSI及びCSO
はディジーチェーン用制御信号の入出力端子であり、OC
はオフセットキャンセル制御信号用端子、S/H端子は、
サンプル／ホールド用制御信号端子、SYNCは各層の処理
に対する同期信号端子、DCLKはアナログ入力信号の処理
を行うための基本クロック信号端子、WCLKはディジタル
重みデータを取り込むためのクロック端子、WDはビット
シリアルで入力するディジタル重みデータ用の端子であ
る。

第２図は、本発明のアナログニューロプロセッサ（AN
P）の原理構成図である。

別々のANP（図示せず）から時分割的に送られてくる
アナログ入力信号をアナログバスB1からANP11内のアナ
ログ乗算部22に入力し、このアナログ乗算部22ではシフ
トレジスタ27を介してビットシリアルに入力されその後
直並列変換されたディジタル重みデータWDと掛け算し
て、アナログ入力信号とディジタル重みデータとの積を
示す積信号を得る。次の、アナログ加算部23は、外付け
の抵抗ＲとキャパシタＣからなるミラー積分回路であっ
て、アナログバスB1に接続された前段の複数のANP（ANP
の存在する場所をノードと呼ぶ）から時分割で送られる
アナログ入力信号とダミーノードから送られる閾値用の
アナログ入力信号とからそれぞれ得られる積信号の和を
求めるものである。次に、サンプル／ホールド部24で積
信号を所望時間待たせるためにホールドした後に、さら
にそのサンプル／ホールドされた出力を非線形関数部25
を介して変換する。出力制御部26では、シーケンスジェ
ネレータ28の制御を受けて所定時間遅延させた後に、ア
ナログ出力信号D_outをアナログバスB2へ出力する。な
お、シーケンスジェネレータ28は内部に供給される制御
信号も生成する。そして、位相制御部29では、おもにAN
P内のアナログ回路部とディジタル回路部を接続する各
スイッチのオンかオフが確実に行われるように、制御信
号の位相を制御するもので、特に、第１のスイッチがオ
ンのとき第２のスイッチをオフにする場合それ等のスイ
ッチが同時にオンする場合がないように制御信号の位相
を制御する。

なお、シーケンスジェネレータ28は、リセット信号RS
T、DCLK、WCLK、SYNC、S/H、OC、CSIを後述するマスタ
コントロールブロックから入力するとともにCSOを出力
し、ANPの内部の制御信号を生成する。

ニューラルネットワークでは、同時処理により高速演
算を行う必要がある。本発明では時分割データを使って
いるが、定常状態では、各ANPがパイプライン的に同時
処理を行う。理想的なニューラルネットワークでは、ニ
ューロンは他のそれぞれのニューロンに相互結合した結
線が必要であるが、このままシステムを実現しようとす
ると、配線数が多くなる。そこで、本発明では時分割デ
ータを扱うので、各ANP内の積和の処理時間が伸びる
が、それを縦方向に、すなわち同層方向にチップを並列
に並べることで、層内のニューロチップを構成するANP
の同時処理により、その処理時間を改善する。また、各
層ではパイプライン処理が可能で、このことでも処理時
間が小さくなる。アナログバスに接続した例えば３個の
各ニューロチップには、入力が入ってくると、それは３
個とも同時に入り３個とも並列に、そのアナログ電圧に
対して、各ANPが重みとの積を生成し、それを積分器の
キャパシタに電荷として保持する。そして、次の時間区
域で、同じアナログバスのアナログ入力に対して、各AN
Pは重みとの積を形成し積分器のキャパシタ内に前の時
間区域で決まった積に加え込むことになる。前段のすべ
てのANPからのアナログ入力信号に対する重みとの積に
対する和が生成された後、その和はサンプル／ホールド
される。その後、シグモイド関数を介して出力される
が、これは、CSI制御信号入力時に出力される。そし
て、出力完了時にCSIが立ち下がり、その後一定時間遅
延後にCSOを立ち上げて、出力バスの使用権を同一層内
の隣接ニューロチップからなるANPに与える。

第３図はニューロチップである基本ユニットの第１の
実施例構成図である。同図の乗算部32、加算部33、閾値
処理部34は連続ニューロンモデルの実行部であるが、こ
の実施例では出力保持部35が存在する。具体的には、基
本ユニット31に接続される複数の入力をYi、この各接続
に対応して設定される重みをWiとするならば、乗算部32
は、 Yi・Wi を算出し、加算部33は、Ｘ＝ΣYi・Wi−θ を算出する。但し、θは閾値である。閾値部34は最終出
力をＹとするならば、Ｙ＝1/（１＋exp（−Ｘ））・・・・（１）を算出することになる。

ダミーノードから入力される“＋1"という値に“−
θ”という重みをかけて加算部33で「Ｘ−θ」の結果が
出力される。従って閾値部34ではＳ字曲線による変換だ
けが行われている。

乗算部32は、乗算型D/Aコンバータ32aで構成され、前
段層の基本ユニット31から、あるいは後述するダミーノ
ードの回路からのアナログ信号（入力スイッチ部37を介
して入力される）の入力と、その入力に対して乗算され
るべきディジタル信号の重み情報（後述する重み保持部
38を介して入力される）との乗算を行って、得られた乗
算結果をアナログ信号で出力するよう処理するもの、加
算部33は、積分器で構成されるアナログ加算器33aとア
ナログ加算器33aの加算結果を保持する保持回路33bとに
より構成される。乗算型D/Aコンバータ32aは、D/Aコン
バータの基準電圧端子にアナログ入力信号を入力し、各
ディジタル入力端子に重みの各ビットをディジタル入力
信号として入力するものであり、結果として、そのアナ
ログ入力信号と重みとの積を生成する。アナログ加算器
33aは、乗算型D/Aコンバータ32aの出力と、前回に求め
られて保持回路33bに保持されている加算値とを加算し
て新たな加算値を求めるもの、保持回路33bは、アナロ
グ加算器33aが求めた加算値をホールドするとともに、
そのホールド値を前回の加算値としてアナログ加算器33
aにフィードバックさせるものである。これらの加算処
理は制御回路39より出力される加算制御信号に同期して
実行される。閾値部34は、アナログの関数発生回路であ
る非線形関数発生回路34aで構成され、入力に対してシ
グモイド関数等の非線形信号を出力するものである。乗
算結果の累算が閾値（−θ）の加算を含めて終了したと
きに、保持回路33bにホールドされている加算値Ｘに対
し閾値（−θ）を加えて（１）式のシグモイド関数の演
算処理を施し、アナログ出力値Ｙを得るもの、出力保持
部35は、サンプルホールド回路で構成され、後段層の基
本ユニット31への出力となる非線形関数発生回路34aの
アナログ信号の出力値Ｙをホールドするものである。

また、36は出力スイッチ部であり、制御回路39よりの
出力制御信号を受けて一定時間ONすることで、出力保持
部35が保持するところの最終出力をアナログバスB2上に
出力するよう処理するもの、37は入力スイッチ部であ
り、制御回路39よりの入力制御信号を受けて前段層の基
本ユニット31から最終出力からのアナログ出力が送られ
てくるときにONすることで入力の受付を行う。38は重み
保持部であり、パラレルアウトシフトレジスタ等により
構成され、重みメモリから送られてくるビットシリアル
の重み信号がバッファ38aのゲートがオープン（制御回
路39による重み入力制御信号がオン）された時に、この
重み信号を乗算部32が必要とするビットパラレルの重み
として保持するものである。ビットパラレルの重みは乗
算制御信号が与えられたときにパラレルで乗算部に与え
られる。39はディジタル回路部の制御回路で外部からの
同期信号から内部の同期信号を生成するもので、内部の
アナログ処理の機能の制御を実行する。

このように構成されることで、第３図の信号処理構成
を採る基本ユニット31の入出力がアナログ信号でもって
実現されることになるのである。

なお、乗算型D/Aコンバータ32aは、ディジタル信号の
重み情報をパラレルで受け取るようにするものでもよい
し、重み情報をシリアルで受け取ってからパラレル変換
するようにするものでもよい。あるいは、重み情報をア
ナログ信号で構成するならば、乗算型D/Aコンバータ32a
の代わりに、アナログ乗算器を用いることができる。

第４図は１個の本発明のニューロチップ（ANP）の実
施例の具体的回路図である。

このユニットでは入力部42、乗算部43、加算部44、サ
ンプル／ホールド部45、非線形関数部46、及び出力部47
から構成され、ここでは、出力保持回路はなく、サンプ
ル／ホールド部45が出力保持の機能も有するものとす
る。

入力部42はオフセットキャンセル部51と、１倍のバッ
ファ49から構成されている。１倍のバッファ49は電圧フ
ォロアで、オペアンプの出力を−端子にフィードバック
し、＋端子に入力電圧を入力することによって構成され
る。データ入力はアナログの時分割されたパルス信号で
ある。OCはオフセットコントロール信号であり、これが
１のときアナログスイッチ66がオンし、１倍のバッファ
49には、０電圧が強制的に設定される。一方、オフセッ
トコントロール信号OCが、０のときアナログスイッチ66
はオフされ、他方のアナログスイッチ65がオンし、デー
タ入力が１倍のバッファ49に入力される。すなわち、オ
フセットコントロール信号OCが１である場合には、ニュ
ーロンユニットには０ボルトが強制的に入力されて乗算
器出力までの回路のオペアンプ出力に生じるオフセット
電圧に対するオフセットのキャンセルの動作を行うよう
にしている。アナログスイッチ65と66は同図ではOC信号
の反転位相と正相位相でスイッチングの制御が行われて
いるが、位相制御回路によって、同時オンがないように
なっている。以後このことをOCが「位相制御された」と
いう言い方をすることにする。

正負切換回路52は２つの倍数器をカスケード結合して
構成されている。倍数器では入力抵抗（10KΩ）とフィ
ードバック抵抗（10KΩ）によって10/10、すなわち１倍
の電圧の反転したものが形成され、それを１段だけを通
すか、２段を通すかによってアナログ電圧の符号を決定
している。その制御信号はディジタル重みデータの符号
ビット（SIGN）であり、このSIGNビットはMOSスイッチ7
0のゲートに接続されている。このSIGNの制御信号も位
相制御されている。符号ビットが１である場合に入力部
42からの入力電圧は第１段目の倍数器で反転され、さら
にスイッチ67もオンしているので後段の倍数器も通り、
結果として正相となる。また符号ビットが０である場合
には、反転回路68を介して、スイッチ69がオンとなる。
この時スイッチ67と70はオフしているため、入力部42か
らの入力電圧はスイッチ69を介して後段のオペアンプ71
の−端子に入力される。従って、前段の抵抗72と後段の
オペアンプのフィードバックの抵抗73とによって倍数器
が形成され、１倍された形で反転される。すなわち、符
号ビットの正負によって入力部42の入力が、正または負
の電圧として形成され、これが、興奮性と抑制性のシナ
プス結合に従った電圧となる。正負切換回路52からの出
力は乗算部43の中にあるD/Aコンバータ53のＲ−2R抵抗
回路網の74の点、すなわち基準電圧端子に入力される。

Ｒ−2R方式のD/Aコンバータをまず説明する。MSBから
LSBまでのディジタル重みによって内部のスイッチはオ
ンまたはオフをとる。ディジタル値が１である場合に、
電流は右側のスイッチ75を通って、オペアンプ76の仮想
接地点78に流れ込む。オペアンプ76の仮想接地点78は＋
端子と同じ電圧になるように制御され、これがグランド
であるから仮想的な０ボルトである。D/Aコンバータ53
においてＲは10KΩ、2Rは20KΩである。スイッチの状態
に関わらず、2Rの抵抗には電流が流れ、ディジタル値の
値に従ってその2Rに流れる重み電流が仮想接地点78の方
に流れるかどうかが決定される。１番右の2Rに流れる電
流をｉとする。右から２番目すなわちLSBに対応する2R
の電流は１番右の2Rにかかる電圧を2Rで割った値である
から2R×ｉ÷2Rでｉとなる。従って１番右の横方向のＲ
には電流2iが流れる。右から３番目の2Rには2R×ｉ＋Ｒ
×2iの電圧がかかり、これを2Rで割るから2iの電流が流
れる。以下同様で左に行くに従って4i、8iとなって２の
べき乗で増える電流になる。この２のべき乗になった重
み電流をオペアンプの方に流すか流さないかを決めてい
るのがMSBからLSBである。従って、ディジタル重みに対
応する電流が２のべき乗の形で仮想接地78に流れこみ、
オペアンプ76の入力インピーダンスは無限大であるか
ら、この電流がオペアンプ36の帰還抵抗78に流れる。従
って、D/Aコンバータの出力電圧V_outは入力電圧をＥと
すれば、となる。ここで、D₀はLSBで、D_n-1がMSBであるとする。
すなわち、掛算部43の出力は等価的に入力電圧Ｅに重み
を掛けた値になっている。

その重み係数はMSBからLSBに入力されるディジタル値
で制御されることになる。一方、加算部44は時分割多重
化アナログ信号の各電圧とディジタル重みデータとの各
積についてミラー積分器を時分割的に使用することによ
り累算加算動作を実行する。そして、サンプル／ホール
ド回路45は、加算結果をサンプル／ホールドする。

次に加算部44を説明する。加算部44は抵抗Ｒと帰還キ
ャパシタＣによる積分器である。加算部44の入力部には
時分割加算制御部55があり、位相制御されたサンプル／
ホールド信号S/H信号が１のとき乗算部43の出力電圧が
オペアンプの仮想接地点79に入力され、S/H信号が０の
とき反転回路80によりスイッチ81がオンとなって乗算部
43の出力が抵抗Ｒを介してグランドに接続されるので加
算部44帰還キャパシタＣには加算されないことになる。
今、S/H信号が１のとき、乗算部43の出力電圧は抵抗Ｒ
を介してオペアンプ102の−端子に入力し、入力電圧を
抵抗Ｒで割った電流が仮想接地を介して帰還キャパシタ
Ｃの方に入力される。この後、S/H信号がまた０とな
り、乗算部43と加算部44は切り離されるので、乗算部43
は次の入力信号に対して、重みデータを掛けることがで
きる。キャパシタＣを含む積分回路の帰還回路82には４
つのスイッチを用いてオフセットキャンセル機能が付加
されている。今オフセットコントロール信号OCが１にな
ったとすると、スイッチ83と84がオンで、85と86がオフ
となる。オフセットコントロール信号OCが０の時には、
データ入力部42、データ入力端子DATA−INPUTに入力電
圧が与えられ、それに対応する乗算部43の出力が抵抗Ｒ
を介してキャパシタＣに入力される。この時、スイッチ
85,86がオンであり、キャパシタＣの極性はオペアンプ
の−端子に接続されている側が−、オペアンプ102の出
力に接続されている側が＋である。次に、オフセットコ
ントロール信号OCが１である場合にはデータ入力は強制
的には０にされる。この場合、正負切換回路42及び乗算
部43のD/Aコンバータ53を介してもしオフセットがなけ
れば、D/Aコンバータ44の出力は０ボルトとなる。しか
し、オペアンプ49、103、71、102があるためにオフセッ
ト電圧が生じ、そのオフセット電圧が加算部44のキャパ
シタＣに蓄えられる。この場合、前のオフセットコント
ロール信号OCが０である場合と違ってスイッチ83,84が
オンとなり、キャパシタＣの＋−の極性は逆転する。そ
のため、入力信号が入力された時に生じるオフセット電
圧はオフセットコントロール信号OCを１にすることによ
り、キャパシタＣの極性が変わり、結果として、オフセ
ットがキャンセルされることになる。本発明では、この
ように、キャパシタＣの極性の反転を用いて等価的にオ
フセットキャンセル機能を有するように構成されてい
る。なお、スイッチ87はリセット信号によって制御さ
れ、処理開始時にリセット信号が与えられた場合に、キ
ャパシタC_hの電圧を零にし、加算部の出力を強制的に０
にリセットするものである。このOC信号も位相制御され
ているものとする。

加算部44の出力はサンプル／ホールド回路45の入力と
なる。サンプル／ホールド部45では、位相制御されたサ
ンプル／ホールド制御信号S/H_outが１である場合に、ス
イッチ88を介して加算部44の出力がキャパシタC_hに蓄え
られる。S/H_out制御信号が１である場合には、反転回路
94によってスイッチ90の制御信号は０となり、キャパシ
タC_hの一方の端子はグランドに接地されず、スイッチ91
がオンになることによりユニットの最終出力信号がその
スイッチ91を介してキャパシタC_hに入力される。すなわ
ち、その時の最終出力信号がオペアンプ96の出力端から
フィードバックされてキャパシタC_hの下側に与えられ
る。従って、キャパシタＣには、加算部44の出力から最
終出力信号の値を引いた電圧が保持される。一方S/H_out
制御信号が０のときには、スイッチ89と90がオンし、キ
ャパシタC_hの下側はグランドとなり、結果としてキャパ
シタＣに蓄えられた電圧、すなわち加算部44の出力から
最終出力値を引いた電圧値がスイッチ89を介して１倍の
オペアンプ93の＋側に入力され、そしてこのオペアンプ
93はバッファとして働いて、オペアンプ93の出力がシグ
モイド関数の入力となる。また、S/H_out制御信号が１の
ときスイッチ88がオンし、キャパシタC_hには加算器の出
力値と最終出力値との差の電圧が蓄えられているときに
は、スイッチ92がオンしている。そのためオペアンプ93
には０ボルトが強制的に入力される。この時にシグモイ
ド関数46及びオペアンプ96,アナログスイッチ100を介し
てオフセット電圧ΔＶがスイッチ91を介してC_hの下側に
入力される。したがってS/H_out制御信号が０の時点、す
なわちスイッチ89がオンでスイッチ92がオフである場合
には、C_hに蓄えられた電圧、すなわち（加算部の出力−
オフセット電圧ΔＶ）がオペアンプ93とシグモイド関数
46を介して最終出力になるが、S/H_out信号が１になる
と、この時に生成されるオフセット電圧もΔＶであるか
ら結果として、オフセット電圧かキャンセルされること
になる。

シグモイド関数を生成する非線形関数部は非線形回路
選択制御部があり、位相制御されたSelSig信号を１にす
るとスイッチ95がオンし、シグモイド関数の出力が次段
に入力される。しかし、SelSig信号が０の時には反転回
路97を介してスイッチ98の制御信号が１となってそれが
オンし、シグモイド関数の出力はカットされる。すなわ
ちSelSig信号が０の時には、サンプル／ホールド部の出
力電圧がシグモイド関数を介さずに直接オペアンプ96に
入力される。オペアンプ96は本質的には出力を−端子に
直接帰還する１倍のオペアンプでバッファの働きをす
る。すなわち出力インピーダンスを０にするバッファと
なる。

出力部47には時分割アナログ出力部64と出力制御部63
が接続されている。CSIが１のときにはスイッチ99がオ
ンで、スイッチ101もオンであるため、オペアンプ96の
最終出力値がDATA−OUTPUTに出力され、しかもその−端
子にフィードバックされて、オペアンプ96は１倍のオペ
アンプとして働く。それと同時に最終出力値がサンプル
／ホールド部45にフィードバックされる。一方、CSIが
０のときインバータ104を介してスイッチ100がオンにな
り、スイッチ101,99がオフになる。すなわちオペアンプ
96の出力はDATA−OUTPUT線には出力されないことにな
る。しかし、スイッチ100がオンすることによって１倍
のバッファを形成するようにしているためオペアンプ96
の電圧フォロア動作は破壊されることなく実行される。
出力部47は出力制御入力信号CSIによって出力パルス電
圧を伝達するかどうかを決める回路である。このCSIを
ディレイ回路105を介してCSOとして出力し、層内の隣接
するニューロチップに対する出力アナログ信号の時間タ
イミングを決定することになる。このため、本発明では
出力部47からのアナログ信号は時分割で伝達されるた
め、バス上で他のニューロチップからのアナログ信号と
競合しない。

第５図は第４図において、オフセットキャンセルOCを
OC0、OC1、サインSIGNをPN,−PN、サンプル／ホールドS
HをSH11、SH10、サンプル／ホールドS/H_outをSH21、SH2
0、シグモイド選択信号SelSigを−SIGM、SIGM、ディジ
ーチェーン用信号CSIをCS、−CSでの２信号で位相制御
を実現する。すなわち、１つの制御信号を、それぞれ正
相を逆相の２信号で構成しかつ位相をずらすことによ
り、これらの制御信号の正相と逆相で制御される別のス
イッチが同時にオン状態にならないようにした信号にし
た場合の実施例である。なお、D/Aコンバータ53の出力
端に接続されたキャパシタC_f、抵抗R_fはオペアンプ76の
フィードバック信号をD/Aコンバータの演算速度にあわ
せるためのものであり、DT端子には、D/Aコンバータの
ディジタル入力が加えられる。

第５図で第４図と同一箇所は同一番号を付して説明を
省略する。

第６図は、本発明の重み補正による誤差方式に基づく
積分器におけるタイミング図である。データクロックDC
LKと重みクロックWCLKは基本的な動作クロックで、デー
タクロックDCLKのハイ状態の半周期間に高速な重みクロ
ックWCLKが出力される。重みクロックWCLK信号は重みシ
リアルデータを取り込むための同期クロックである。デ
ータクロックDCLK信号はアナログ入力信号に対する処理
を行うための基本クロックである。同期信号SYNCは各層
において一層内の各アナログニューロンプロセッサANP
の同期をとる同期信号である。積分器の出力電圧の変化
は下の三角形で示された部分の波形で示される。積分波
形は、サンプル／ホールド制御信号SHのパルスで制御さ
れ、このパルスがハイの間、積分の動作を実行する。す
なわち、積分器のキャパシタＣに対する充電を開始し、
このサンプル／ホールド制御信号SHのパルスがハイの間
は、このキャパシタに徐々に電荷が蓄積されて電圧は上
がるが、サンプル／ホールド制御信号SHのパルスがロウ
となって遮断されると、充電動作を停止する。従って、
この積分時間範囲でのチャージ分だけが意味を持つ。サ
ンプル／ホールド制御信号のパルスの幅によって比例配
分された電圧、即ち、入力電圧に積分ゲインを掛けたも
のとなる。すなわち、入力サンプル／ホールド制御信号
S/Hのパルス幅がＰのとき、キャパシタＣに充電される
電圧はV_aであり、サンプル／ホールド制御信号S/Hのパ
ルス幅Ｗのとき充電電圧はV_a′となる。

サンプル／ホールド制御信号SHが下がり、スイッチン
グ制御より積分器のキャパシタの極性が変わり、オフセ
ット分が加算されている積分出力は反転する。そして、
オフセットコントロール信号OCがハイ状態でサンプル／
ホールド制御信号SHが再び立ち上がると、オフセット電
圧V_b（V_b′）がそのキャパシタに加算され、SH信号が立
ち下がった時点では、結果としてオフセット分がキャン
セルされた積分出力値V_a−V_b（V_a′−V_b′）を極性をも
どしてサンプル／ホールドされる。

次に、階層型ニューラルネットワークを説明する。第
7A図は階層型ネットワークの概念図である。階層型では
左側の入力層の入力ノード110から入った入力データは
順次右側の方向に向かって１方向にだけ処理されてい
く。中間層の各ニューロン112は、ダミーノード111を含
む前の層の出力をそれぞれ層内の完全結合で受けるよう
になっている。入力層に例えば４個の入力ノード110が
あると、それにダミーノード111の１個がたされ、中間
層の各ニューロン112からみると入力層は５つのニュー
ロンに見えている。ここで、ダミーノード111とは、ス
レッシュホールドをコントロールするもので、積和の結
果Ｘのシグモイド関数の値Ｘに一定値−θを加えることによりＸ軸の正方向に
シフトさせた値ｆ（Ｘ−θ）にするものである。これは
ダミーノード111に対応する重みをニューロン内で変え
ることと等価であるが、後述するマックスバリューノー
ド回路を用いて、一定値θを生成している。このよう
に、ダミーノードに対する重みを用意しておけば、閾値
を重みで表現することができる。そして出力層のニュー
ロン112から中間層はニューロンが４個あるようにみえ
る。入力層に加えられた入力データは、中間層ニューロ
ン112、出力層ニューロン112で重みデータを用いてそれ
ぞれ積和演算を施され、結果として出力データを発生す
る。

第7A図に示した階層型構造のものを本発明のANPを用
いて実現すると、第7B図のように、各層間、つまり入力
と中間層との間、中間層と出力層の間、出力層の出力に
それぞれの独立のアナログバスB1,B2,B3を設けることに
なる。縦方向のANPは全部並列に実行できるという構造
になる。出力層の出力にはサンプルホールド回路SHを付
ける。

第８図は階層ニューラルネットワークを実現する本発
明のニューロコンピュータのブロック図である。ニュー
ロチップからアナログニューロンプロセッサANP1〜５を
各層に並列に配置し、各層間に独立にアナログバス（B
1,B2,B3）を設ける。同図において、ANP1,2,3で中間層
を形成し、ANP4,5で出力層を形成する。また、入力段の
ANPはなく、入力側にはアナログ入力信号をタイミング
よく入力するためのディジー回路171,172が存在する。S
/Hで示す回路はサンプル／ホールド回路173,174であ
る。ANP1〜５にはそれぞれコントロール用のロジック信
号が必要であるので、マスタコントロールブロック（MC
B）181から各層に多くの制御信号線を送り込む。データ
クロックDCLKはすべてのANPの入力側のディジー回路171
と172に与えられ、アナログ処理の基本クロックとな
る。重みクロックWCLKもすべてのANPと入力側のディジ
ー回路171,172に与えられ、重みデータ用の高速クロッ
クである。重みメモリブロック185,186から各ANP4,5及
びANP1,2,3にはその重みクロックWCLKに同期して重みデ
ータが入力される。また、同期信号SYNC1は中間層のANP
に与えられる層の同期クロックで同期信号SYNC2は出力
層のANPに与えられる層の同期クロックである。SH1とOC
1は中間層のANPに対するサンプル／ホールド制御信号と
オフセットコントロール信号、SH2とOC2は出力層のANP
に対するサンプル／ホールド制御信号とオフセットコン
トロール信号である。

左側のブロックであるディジー回路171,172は、入力
層に相当する入力側回路である。入力ノード、つまり入
力層内のニューロンを実現するために、アナログ信号を
時分割でANPが出すのと同じタイミングで、アナログ入
力ポート0,1より与えられるアナログ入力信号を回路内
に入力しなければならない。つまり、出力層からみれ
ば、出力層のANP4,5は前の中間層のANP1,2,3からアナロ
グ信号をアナログバスB2を介して時分割で受けることを
基本動作としている。これと同じ関係が中間層と入力層
にも存在しなければならない。入力層と中間層の関係
は、中間層のANPから見るとその前に入力層のANPがある
ように見えなければいけない。このことは、中間層のAN
PがアナログバスB2にアナログ信号を出力するタイミン
グと同じ機能でアナログ入力ポート0,1からのアナログ
入力信号に対しても決まった規則でアナログバスB1に出
力しなくてはならないという制約がある。即ちアナログ
入力ポート0,1からの入力信号はアナログバスB1に時分
割に乗ってくる。アナログ入力ポート０からのアナログ
信号は、適当なタイミングでアナログバスB1に乗るが、
そこに出力した次のタイミングで、アナログ入力ポート
１からの次のアナログ入力信号が同じアナログバスB1に
乗る。この同期をとるために一定のタイミングで出され
る入力制御信号CSIをディジー回路171が入力し、一定時
間後に、その回路から出力制御信号CSOが出される。こ
のCSIはマスタコントロール回路181のCSO1から出力され
る。ディジー回路171,172は一種の遅延回路である。各
ディジー回路171はマスタコントロール181から入力制御
信号CSIを入力すると、自分は縦方向に隣接する次のデ
ィジー回路172に対して、アナログ入力ポート１のアナ
ログ出力信号を出すように、CSO信号を次に渡すことに
なる。この動作をディジー回路と呼ぶ。

マスタコントロール回路181のCSO1が立ち上がると、
スイッチ175がオンし、サンプル／ホールド回路173に保
持されているアナログ入力ポート０のアナログ入力信号
はアナログバスB1に乗る。CSO1はディジー回路171のCSI
であるから、これが立ち下がってから一定時間後にCSO
が立ち上がる。これはディジー回路172のCSIであると同
時に、スイッチ176を制御してオンにさせるので、サン
プル／ホールド回路174に保持されていたアナログ入力
ポート１のアナログ入力信号をバスB1に乗せる。階層構
造になった本システムでは、このディジー制御が必要と
なる。つまり、アナログ入力信号に対してアナログ入力
ポート０からサンプル／ホールド回路173を介してアナ
ログバスB1に出力すれば、次にアナログ入力信号に対し
てアナログ入力ポート１からサンプル／ホールド回路17
4を介して同じアナログバスB1に出力させることにな
る。中間層の各ニューロンでみているとアナログ入力ポ
ート０のアナログ入力信号とアナログ入力ポート１から
の次のアナログ入力信号とは時分割で逐次に入ってく
る。

各ディジー回路171,172は、アナログバスB1上のバス
競合を防ぐために、入力制御信号CSIを特定の時間だけ
遅延させて出力制御信号CSOを出す。

中間層においても、マスタコントロールブロック181
からの出力制御信号CSO2をCSIとして受けるANP1がアナ
ログ信号を出力したら、CSOをCSIとしてANP2に渡すと、
次にANP2が出力する。ANP2のCSOをCSIとして受けるANP3
が次にアナログ信号を出力することになる。要するに、
ここではANP1,2,3の順に出力し、中間層のディジー動作
が終わる。これと並行して全ての動作を管理しているマ
スタコントロールブロック181は、出力層のANP4にCSO3
を与えるとANP4が出力し、出力完了後、ANP4がANP5にCS
Oを与えるとANP5が出力する。

出力層のANP4,5からの出力は、それぞれマスタコント
ロールブロック181からCSO3信号及びANP4からのディジ
ーチェーン用出力制御信号CSOによってそれぞれサンプ
ル／ホールド回路177、178でサンプル／ホールドされ
る。この出力電圧は、アナログ出力ポート0,1からアナ
ログ出力信号として出力される他、アナログマルチプレ
クサ179で選択された後、A/Dコンバータ180でA/D変換さ
れ、MPU182、メモリ183、通信インタフェイス184から構
成されるディジタル制御手段に入力される。そして、MP
U182で例えば学習時に与えたMPU内に蓄えられた教師信
号と比較し、所望の出力信号であるかのチェックを行
い、この結果に基づいて後述する重みメモリの重みデー
タを変更する。マックスバリューノード回路187はマス
タコントロールブロック181からダミーノード制御信号D
CS1,DCS2が出力イネーブル１及び２に加えられるととも
に、出力端子はアナログバスB1,B2に接続される。

第9A図は第８図に示した実施例にかかる階層型ニュー
ロコンピュータのタイミング図である。各層別にその制
御信号線が抜き出して書かれている。まず基本的な動作
クロックであるデータクロックDCLKと重みクロックWCLK
は同一層のすべてのANPや入力側のディジー回路171,172
に同時に入る。

重みクロックWCLKは、重みのディジタルデータをシリ
アルで送り込むためのシリアル同期パルスで、重みメモ
リブロックから重みを読み出すための同期クロックであ
る。どのタイミングで、入力データを取り込むかはそれ
ぞれの制御信号で規定する。まず第9A図のタイミングチ
ャートにおいて、CSO1はマスタコントロールブロック18
1から出力されるディジーチェーン用制御信号CSO1、す
なわちディジー回路171へのディジーチェーン用制御信
号CSIである。ディジー回路171において、CSIが１番目
のアナログ入力信号をアナログ入力ポート０からサンプ
ル／ホールド回路SH173を介してアナログバスB1に出力
させる。すなわちタイミングチャートのにおいてアナ
ログ信号をアナログバスB1に出力させる。この瞬間に、
アナログバスB1上に電圧が乗り、ANP1,ANP2,ANP3はこの
アナログ信号に対して並列に積和演算を行う。そのCSO
がディジー回路171を通過し、CSOが立ち下がってから所
定時間後に次のCSIがに示すように立ち上がり、ディ
ジー回路172にそのCSIが入る。次のCSIは入力層の２番
目のディジー回路172に入る制御信号である。そしてCSI
がハイの間にアナログ入力ポート１からアナログ入力信
号をサンプル／ホールド回路SH174を介してANP1,ANP2,A
NP3に入力し、ここで積和演算を行う。マスタコントロ
ールブロック181からのDCS1は、ダミーノードへの制御
信号である。各層とも入力の他にダミーノードからの信
号であるので（ニューロンノード数＋１）個のノードの
形態であり、入力層では２入力であるが、各中間層のAN
Pからみると３入力であるように見える。これを時間的
に説明すると、２つのCSIと１つのDCS1で１つのブロッ
クとなる制御信号である。入力のサイクルは、最初のCS
Iから始まり、DCS1のダミーへの入力で終わる。ダミー
ノードはマックスバリューノード回路187であり、その
回路はDCS1が入力されている間アナログバスに固定され
たある閾値電圧を出力する。すなわちで示すようにDC
SIが立ち上がってからこの電圧が出力されている間、中
間層の各ANPは通常の入力と同様に積和演算を行って、
その固定電圧が前の２つのアナログ入力信号の積和演算
されたものの結果に加えられることになる。すなわち、
掛け算後、足し算を実行する。SYNC1は、CSO1が立ち上
がる前のDCLKの立ち下がりでハイとなり、DCS1が立ち上
がってから次のDCLKの立ち下がりでロウとなる。これは
入力層の同期をとる信号である。WCLKが入力されている
間でアナログ入力と重みデータの掛け算が行われる。中
間層のANPに入るサンプル／ホールド信号SH1には、２つ
の山M1,M2が出力されているが、最初の山M1の少し前で
積をとり山の部分で和を生成し、ホールドする。そし
て、次の山M2でオフセット電圧V_b（第６図参照）を差し
引いてサンプル／ホールドする。このような処理を入力
されるすべてのアナログ信号について順次繰り返し行
い、積和の計算が終わる。この場合はダミーを含めて中
間層の各ANPは積和演算を３回実行する。これで中間層
の各ANPの処理は終わり、３入力に対する積の加算まで
が終了する。

また、タイミングチャートに於いてDCS1が立ち下がっ
た直後のDCLKがハイのとき、アナログ入力ポート０、1,
ダミーノードから３つの信号について積和演算した結果
が各ANP1,2,3のキャパシタ（第４図、サンプル／ホール
ド部45内のC_h）にホールドされる。このような動作が基
本的に繰り返されることになるが、中間層と出力層との
間にあるアナログバスB2にANP1の出力信号をいつ出力す
るかということはマスタコントロールブロック181から
出されるCSO2の信号の立ち上がりで決まる。

SH1の下に示したオフセットコントロール制御信号OC1
はANPの内部においてオフセットキャンセルを行う。す
なわち各ANPは内部的にオペアンプを含むアナログ回路
であって、回路自体がオフセットを持っているため、こ
のオフセットをキャンセルするための制御信号がOC信号
である。OC1に示されるように積和の演算が１つ実行さ
れる毎に１つのパルスが出され、内部においてオフセッ
トキャンセルが実行されている。タイミングチャートで
はで示すようにCSO2が立ち上がるとともにANP1からア
ナログバスB2にANP1にホールドされていた信号が出力
し、CSO2がハイの間に出力層のANP4が積和演算を行う。
で示されるCSO2の立ち上がりはその前の入力結果の積
和の結果を出力するタイミングである。

次に、第９図を使って中間層と出力層との間のタイミ
ングを説明する。

なお、同図において、中間層からのディジーチェーン
制御信号の出力，，，及び出力層からの出力
，に同期してアナログバス上にあらわれるアナログ
信号は上述した入力層からのディジーチェーン制御信号
の出力，，に同期してアナログバス上に入力され
るアナログ信号に対して処理サイクル前の結果が現れ
ることになる。パイプライン処理の実行は後で説明する
が、タイミングチャートので示されるCSO2の立ち上が
り時において、ANP1の出力が出される。に示されるCS
O2の立ち上がり時にタイミングチャートSH2の信号を見
るとパルスが２つ出されている。SH2信号は第８図のブ
ロック図において、出力層の第１番目のANP4に入力され
ている。すなわちSH2信号の２つの山のパルスにおい
て、ANP4内で和の演算が１つ実行される。中間層には図
に示されるようにANP1,2,3の３つの中間層のニューロン
があるが、マックスバリューノード回路187によるダミ
ーノードが１つ加えられ、合計４つのニューロンがある
と仮定されている。従ってSH2信号の山２つのパルスが
の部分から見て４回出力されており、このSH2信号の
４組の山のパルスで中間層のアナログ信号がANP4に入力
され積和が演算される。この動作は当然、中間層のANP
が入力信号に対して積和演算をしているタイミングと同
時に行っていることになり、これはパイプライン処理と
なっている。CSO2の下の信号は中間層にあるANP1のCSO
の信号で、これは同じ中間層のANP2に対するCSIであ
る。これがで示されている部分である。その下はANP2
のCSOでその下はANP3のCSIでこれがである。その下が
ANP3のCSOであり、その下のがダミーノードのCSIであ
ってこれはDCS2、すなわちマスタコントロールブロック
から出される信号である。CSIで見ると，，，
の順序でそれぞれ中間層のANP1,ANP2,ANP3、そしてダミ
ーノードのマックスバリューノード回路187に入力され
る。この間SH2信号は２つの山を持つパルス信号を４つ
出している。すなわち、ANP4の出力層のニューロンは入
力アナログ信号と重みとの積を４つ分加えることにな
る。の部分でANP1にCSIが入力している時にはANP1か
らアナログ信号が中間層と出力層の間のアナログバスに
信号が出され、これがANP4に入力される。そしてこの
時、対応する重みデータがANP4に入力され、それと共に
積が実行され、SH2信号の第１の山で加算され、第２の
山でサンプル／ホールドされる。そしてこの計算が終わ
ると、ANP1からCSOの信号が立ち上がり、これがANP2のC
SIとなる。これがの状態であり、この時重みデータと
アナログバス上のデータとが掛け算され、和が計算され
る。が立ち下がったあと所定時間後にANP3へのCSIが
ハイとなりで示すようにANP4で積和演算が行われる。
このような積和の演算がANP4内で計算され、のところ
でマックスバリューノード回路187から出力される固定
電圧がANP4に入力され、これが内部のいままで蓄えられ
た積和に加えられることになる。

以上の動作は出力層のANP5に対しても並行して行われ
る。ここに同時処理がある。ANP4で計算された積和演算
の結果が出力層に接続されたアナログバスB3に出力され
るタイミングはマスタコントロールブロック181から出
されるCSO3の立ち上がりである。マックスバリューノー
ド回路187がアナログバスB2に出力するための制御信号
がDCS2であって、これがに対応する。このDCS2までは
中間層における計算結果を出力するまでの動作である。
タイミングチャートのこれよりも下に書いてある信号に
対しては同じような動作であり、中間層とカスケードに
接続された出力層側の動作を規定する信号パルスであ
る。CSO3が立ち上がると、ANP4で計算された積和演算の
結果が出力されることになる。出力層ではANP4、ANP5の
２個が出力される。なお、例えばのCSO2の立ち上がり
は、ANP1に入る信号で、この立ち上がりはDCLKよりも遅
れている。これはアナログ入力信号とディジタル重みデ
ータとの積演算を行う場合、WCLKでディジタルデータを
読み込む時にシリアルであって、これを内部でパラレル
に変換するディジタルデータの読み込み時間とアナログ
入力信号がD/Aコンバータすなわち乗算処理部に到達す
るまでの時間を考慮してCSO2の立ち上がりを遅らせてい
るからである。すなわち、最初の頭の部分でズレている
のは、データの呼び出し、つまりシリアルデータの読み
込み時間が含まれている。データがセットし終わるのは
DCLKの立ち上がりから、しばらくたった時間すなわちWC
LKで16サイクル後である。アナログ乗算の開始時間はCS
O2が立ち上がってからWCLKで８サイクルたった後であ
る。

第10図は、ディジタル重みデータの読み込みタイミン
グを示すタイミングチャートである。同図において、マ
スタクロックMCLK、同期信号SYNC、重みクロックWCLK、
データクロックDCLK、実際の重みデータWDATAが示され
ている。重みデータWDATAは重みメモリからビットシリ
アルで読み出され、16ビットがシリアルに入力される。
Ｓはサインビットで、B14〜B0までが数値ビットであ
る。同図において重みデータWDATAのB8,B7,B6の部分が
重みクロックWCLKとの対応として図の下方に拡大された
形で表現されている。重みクロックWCLKは周期が250nse
cでデューティ比50％になっている。WCLKの立ち下がり
からシーケンサ内部にあるアドレス更新用のカウンタの
伝播遅延時間後に重みメモリにアドレスが与えられる。
即ち重みメモリ（RAM）のビットｎのアドレスは重みデ
ータWDATAのビット７が格納されている重みメモリのア
ドレスである。このアドレスが確定した後、tAA時刻後
にビット７が読み出されている。ビット７からビット６
への変化は重みクロックの次の周期への変化によって決
まり、ビット６は次の周期で読み出されている。重みデ
ータの16ビットはANPに入力され、ANPに入力されるアナ
ログ電圧との積が内部のD/Aコンバータによって計算さ
れるので、アナログ電圧の入力開始は、データクロック
DCLKからの立ち上がりからずっと後に入力される。即
ち、アナログ入力電圧は入力されてからD/Aコンバータ
に到達されるまでの時間があるのでその時間とディジタ
ル重みデータが内部にセットされる時間とを制御し、重
みデータの到着時間とアナログの到着時間がちょうど一
致するようにアナログ電圧を入力する必要がある。

例えば、アナログ入力電圧の立ち上がりは、重みデー
タのB7あたりから立ちあげ、重みデータのB0が入力さ
れ、その後すべての重みデータが内部で確定した頃にそ
のアナログ値との乗算がスタートするように時間の制御
をとる必要がある。そして加算はDCLKが次にロウになる
期間で行われる。

ANPの動作時間は、SYNC信号とWCLK、及びデータDCLK
で規定される。そしてアナログ入力電圧はANPの入力端
子からディジタル重みデータと積を実行するD/Aコンバ
ータ迄の電圧到達時間等にかなりの時間誤差があるの
で、マージンを見込んでCSIの立上りはDCLKの立上りよ
り遅れたところから始まることになる。

第11A図はマスタコントロールブロック181の構成図で
ある。マスタコントロールブロック181はすべての制御
信号を総括する部分である。主要な構成要素は外部バス
インタフェイス回路200、制御パターンメモリ201及びマ
イクロプログラムシーケンサ202とマイクロコードメモ
リ203、アドレス作成部204である。外部バスインタフェ
イス回路200は、MPU等に接続するためのインタフェイス
でアドレス線205、データ線206及び制御信号線207に接
続されている。外部バスインタフェイス回路200の上位
アドレス比較回路208、レジスタであるＤ−FF209はそれ
ぞれMPU等から与えられる上位アドレスをデコードし、
上位アドレスが予め定められた番地である場合に、下位
アドレスとデータをそれぞれＤ−FF209,211にタイミン
グ回路214からのラッチ信号をトリガとしてセットす
る。そのアドレスとデータはそれぞれバスドライバ210
と212を介して、内部アドレスバスと内部データバスを
介して内部に入力される。そのアドレスはマイクロコー
ドメモリ203を参照して、マイクロコードをデータバス
を介してMPU側から書き込む場合等に利用される。また
下位アドレスはバスドライバ210を介してマイクロコー
ドアドレスをマイクロプログラムシーケンサ202にも渡
され、MPU側からの特定なアドレスで制御パターンメモ
リ201を参照できるようにしている。

MPUあるいは主記憶からのデータはデータ線206を介し
てＤ−FF211にラッチされた後、バスドライバ212を介し
てマイクロコードメモリ内のセパレートI/ORAM213ある
いは、制御パターンメモリ201内のセパレートI/ORAM21
5,216に加えられる。MPU或いはメモリからのデータスト
ローブ信号が制御信号線207を介してタイミング回路214
に加えられるとアクノリッジ信号を返送する通信方式
で、アドレスやデータの送受信に関する制御が行われ
る。タイミング回路214はＤ−FF211,D−FF209へのラッ
チタイミングやWR信号を介してマイクロコードメモリ20
3、制御パターンメモリ201への書き込みタイミング等を
制御する。

第９図のタイミングチャートに示されるようなニュー
ロチップに与える複雑な制御信号の“1",“0"パターン
は、制御パターンメモリ201に１周期分格納され、その
１周期分のパターンをマイクロプログラムシーケンサ20
2の制御に従って制御パターンメモリ201から読み出すこ
とによって生成する。例えばリセット信号Reset、デー
タクロックDCLK、重みクロックWCLK、CSO1,CSO2,CSO3や
SYNC1、SYNC2、SH1、SH2、OC1,OC2等の制御信号はセパ
レートI/ORAM215から読出され、パターンに付随する制
御情報つまりシーケンス制御フラグは第２のセパレート
I/ORAM216から読み出される。例えば制御パターンメモ
リ201は1000110001というパターンが格納されている場
合には、“1,0"ビットのパターンであるから、この“1,
0"ビットのパターンを繰り返すように制御パターンメモ
リ201のアドレスを制御すれば、このパターンの繰り返
しが制御パターンメモリ201から読み出されることにな
る。すなわち制御信号のパターンは非常に複雑なパター
ンであるので、これらのパターンを予めこのセパレート
I/ORAM215に格納しておき、そのセパレートI/ORAM215の
アドレスをマイクロプログラムシーケンサ202の制御に
従って指定することによって順次そのビットパターンを
出力する構造になっている。よって、幾つかの同じパタ
ーンを繰り返すことになるので、その繰り返しをどのよ
うに実現するかはアドレス制御に従う。この１周期分の
パターンをオリジナルパターンと呼ぶことにする。オリ
ジナルパターンを繰り返すためには、マイクロプログラ
ムシーケンサ202に制御パターンメモリ201からの特定な
情報をフィードバックする必要がある。すなわち第２の
セパレートI/ORAM216内のシーケンサコントロールフラ
グを条件入力としてマイクロプログラムシーケンサ202
に入力することにより、マイクロプログラムシーケンサ
202は第１のセパレートI/ORAM215内のオリジナルパター
ンの入っている先頭アドレスに戻るように制御する。こ
のことにより、オリジナルパターンの繰り返しが実行さ
れる。すなわち、マイクロプログラムシーケンサ202は
その条件が満たされるまで汎用ポート出力線202−１を
介してセパレートI/ORAM215へのアドレス信号を逐次に
生成する。通常はこのアドレスはインクリメントされる
がオリジナルパターンの最終になったという条件が満た
されると、そのオリジナルパターンが格納されている先
頭アドレスに戻るようにする。結果として特定なパター
ンが繰り返しセパレートI/ORAM215から制御パターンが
出力される。

第11B図は、マスタコントロールブロック181を制御す
るメモリ201及び203内の情報の相互関係である。同図に
おいて、制御パターンメモリ１が第１のセパレートI/OR
AM215に相当し、制御パターンメモリ２が第２のセパレ
ートI/ORAM216に相当する。マイクロコードメモリ203内
には、シーケンサ202の制御コードが記憶され、主に、J
ump命令とRepeat命令が格納されている。アドレスの増
加方向にみて、特定なアドレスにRepeat命令があり、こ
の反復命令に従う制御パターンメモリ内のパターン１の
繰り返し数は制御パターンメモリ２の対応するアドレス
に格納され、例えば「10」であるとすれば、10回の反復
を実行することになる。このようにして、アドレスが増
加し、マイクロコードメモリのJump命令に来たときに、
マイクロコードメモリ203内の第２のJumpで500Hに飛
び、Pattern2を出力する。Pattern2を５回繰り返すと、
マイクロコードメモリ203内の第３のJumpで、再び「100
H」に飛び、Pattern1を出力することになる。このよう
にして、オリジナルパターンが繰り返されて、制御パタ
ーンメモリ１から読み出される。

この制御パターンメモリ201を参照するアドレスの読
み出しクロックに同期してWCLKが作られており、重みメ
モリ185,186からWCLKに同期して情報が読み出される。
重みメモリ185,186へのアドレスはアドレス作成部204の
アドレス１及びアドレス２から出力されるアドレス信号
によってアクセスされる。アドレス１とアドレス２はそ
れぞれ、中間層と出力層に対応して分離している。中間
層にあるANPに与えるべき重みデータはアドレス１によ
って指定される重みメモリ185から読み出され、出力層
へのANPへの重みデータはアドレス２によって指定され
る重みメモリ186から読み出された内容である。各アド
レスは重みメモリ185,186の内容が重みデータの各ビッ
トをアドレスが増す方向に１ビットずつ格納されている
ので、アドレスカウンタ217,218へのカウント制御信号
がマイクロプログラムシーケンサ202から与えられる必
要がある。そのアドレスカウンタ217,218によってこの
アドレスがバスドライバ219,220を介して次から次へと
重みメモリ185,186へのアドレス信号として、インクリ
メントして与えられる。そして複数の重みデータがその
重みメモリ185,186から読み出される。

第１のセパレートI/ORAM215からWCLKとマイクロプロ
グラムシーケンス202からのカウンタ制御信号がアドレ
ス作成部204内のアンド回路221、222に加えられてい
る。カウンタ制御信号がハイのとき、WCLKによってアド
レスカウンタは更新され、WCLKの１〜16ビットまではア
ドレスカウンタ217,218をインクリメントする。そし
て、残りのWCLK17〜26ビットに対しては、カウンタ制御
信号をロウとすることによりWCLKをインヒビットとして
アドレスカウンタ217,218のインクリメントを停止す
る。そして、SYNC1、SYNC2に同期して、それぞれカウン
タリセット信号をマイクロプログラムシーケンス202か
らアンド回路221,222に送出して、アドレスカウンタ21
7、218をリセットする。このことにより、重みメモリ18
5,186のアドレスを先頭アドレスに戻す。なお、マスタ
コントロールブロック181から出力されるモード信号
は、重みメモリの通常使用、すなわち重みメモリをMPU
データバスから切り離し重みデータをANPに与えるモー
ドと、重みメモリをMPUデータバスに接続し、MPUから重
みメモリを参照するモードを形成するためのものであ
る。

モード信号は、MPUからのデータの下位ビットが、下
位アドレスの１ビットとタイミング回路214からの書込
み信号からWRをアンド回路223にて生じるアンド回路を
トリガとしてフリップフロップ224にセットされること
により形成される。このモード信号が０のとき重みメモ
リは通常使用となる。

書込み信号WRと内部アドレスバスの１ビットがアンド
回路223を介してフリップフロップ224のクロック端子に
入力され、内部データバスのLSBがフリップフロップ224
のデータ端子に入力される。上位アドレスを比較回路20
8でマスタコントロールブロック181が選択されているか
を判定し、選択されている場合、下位アドレスとデータ
をDFF209,211に取り込む。このような、インタフェイス
動作はMPUに接続される他のデバイスに対しても同様に
行われるが重みメモリは通常ANPに対し重みデータを供
給しているので、MPUのデータバスに直接接続するとバ
ス競合が生じる。これを防ぐために、内部データバスの
LSBがフリップフロップ224に取り込まれた時はモードを
１として、重みメモリを後述するようにチップセレクト
しないようにして、重みメモリからデータバス上にデー
タが生じないようにする。内部アドレスバスが所定タイ
ミングにおいて、内部アドレスバスによって、マイクロ
コードメモリ203と制御パターンメモリ201のいずれかの
アドレスを指定し、そのアクセスされたアドレスに内部
データバスから所望のデータを書き込む。これにより、
マイクロプログラムシーケンサ202やマイクロコードメ
モリ203、セパレートI/ORAM216に記憶されたプログラム
を変更するか、セパレートI/ORAM215に記憶された制御
パターンを変更する。

第12A図はこの重みデータメモリ230のデータ格納構成
図である。同図において列方向の８ビットは同じアドレ
スに入った８ビットデータの情報であり、各ビットは下
からANP1,ANP2・・・ANP8に与えられる。行方向はアド
レスが異なり、図に示すように左に行くほどアドレスが
増加する方向となっている。重みデータはサインビット
を含めて16ビットであるからこれをアドレスの小さい方
向から大きい方に向かって格納する。MSBは、サインビ
ットで、それ以外の15ビットは数値ビットである。マイ
クロプログラムシーケンサ202からアドレスがWCLKに同
期してインクリメントされると、重みデータの１ワード
分、すなわち16ビットがMSBから順にLSBまで読み出され
ることになる。８個の複数のANPに同時にこれらの重み
データが渡される。このようにアドレスの増加する方向
にデータが格納される構造になっているため、この重み
データに対するアドレスのカウンタが必要となる。すな
わち、MSBからLSBの重みデータデータの１ワード分がカ
ウントされたら、１個分の重みデータになるようにカウ
ントされる制御が必要となる。この制御はやはりマイク
ロプログラムシーケンサ202で行っている。

第12B図は重みメモリブロック185,186具体的回路であ
る。メモリ230はMB8464A−70というRAMである。出力はA
NP1〜ANP8に対応する８ビットである。基本的にMPUのバ
スから見たバス信号線とマスタコントロールブロック18
1から見えるアドレス１と２のどちらかを使う。アドレ
ス１と２は前述した第11A図のアドレス１と２である。
このアドレス１と２はWCLKに同期してインクリメントさ
れる形で入力される。８ビットのデータは同時に読み出
され、各ビットはANP1〜ANP8に対して同時に与えられ
る。

モード信号が０のときアンドゲート233を介して、重
みメモリ230はチップセレクトされ、このとき、マイク
ロプログラムシーケンサ202からのアドレス1,2がマルチ
プレクサ234で有効となる。そして、重みメモリ230から
重みデータがANP1〜８に送られる。一方、反転回路231
の出力は、ハイであるからトライステートバストランシ
ーバ232はディスイネーブル状態となって重みメモリ230
の出力はMPUへと出力されない。

MPUに出力する場合には、モード信号を１にして、MPU
からの適当なアドレス情報によって、アドレスデコーダ
235を介してメモリ230をチップセレクトし、メモリ230
にMPUからアドレスを与える。モード信号が１のとき、M
PUバスへの読み出しまたはバスからメモリ230への書き
込みの制御すなわちリードライトの方向は、MPUからア
ンドゲート236を介して来るデータ線の読み出し信号Rea
d Signalによって決められる。

次に学習のアルゴリズムについて説明する。

第12C図は本発明に利用されるバックプロパゲーショ
ンという学習アルゴリズムのフローチャートである。学
習は次のように進められる。本発明のニューラルネット
ワークすなわち、ANPの集合によって構成される階層型
ネットワークの入力に学習すべき完全情報がMPUから図
示しない入力制御回路を介して入力される。そして、そ
の入力信号は入力側回路、中間層及び出力層を介してネ
ットワーク出力にA/Dコンバータを介した後MPUに与えら
れる。MPU側の主記憶内に学習アルゴリズムが存在す
る。MPU内は、教師信号を主記憶から取り入れ、ネット
ワークの出力と教師信号との誤差を調べる。もし、その
誤差が大きければ、MPUは、ネットワークが正しい出力
を出す方向に、ネットワークの接続の強さである重みデ
ータを変えることになる。この重みデータは重みメモリ
230を介して各層のANPに加えられる。

重みデータが学習アルゴリズムによって更新される場
合、第12C図のバックプロパゲーション学習アルゴリズ
ムに従うことになる。学習アルゴリズムがスタートする
と、MPUは出力層のＬ番目のニューロンANP_Lは教師信号
_Ｌと、現在の出力Y_Lとの誤差を求めてそれをZ_Lに代入
する。出力Y_Lは、ニューロンANP_Lの出力であるから、例
えばシグモイド関数を非線形素子として使うならば、こ
の非線形関数の出力値として出されたものである。従っ
て、ニューロンANP_Lにおいて、誤差Z_Lを非線形関数の入
力側に誤差伝播する必要がある。誤差伝播を行う場合、
エネルギー関数、すなわち誤差信号の２乗に1/2を掛け
たエネルギー、すなわち E_L＝1/2（_Ｌ−Y_L）^２の非線形関数入力X_Lに対する偏分、すなわちは次のように変形できる。

となる。ここで、非線形関数ｆ（X_L）がシグモイド関数
であるとするならば、で表される。

このシグモイド関数の微分ｆ′（X_L）を変形すると、ｆ′（X_L）＝Y_L（１−Y_L）となる。これはフローチャートのS2に示されるV_Lであ
る。従って、δすなわちエネルギーの非線形関数入力X_L
に対する偏分はV_L×Z_Lとなり、すなわちS2に示されるU_L
となる。このエネルギーの非線形関数入力に対する誤差
分δをさらに中間層へ逆伝播させる必要がある。

中間層の第Ｋ番目のニューロンをA_kとする。A_kの出力
はY_kとする。出力層のニューロンANP_Lの非線形関数入力
XLはすべての中間層にあるニューロンの出力｛Y₁・・Y
_kMAX｝までのそれぞれに重みW_LKを掛けた積和で表現さ
れる。従って、X_Lの重みW_LKに対する偏分はとなる。一方、エネルギーE_Lに対する重みW_LKの変分は
次式で与えられる。

となる。すなわちS3のT_LKは −∂E_L/∂W_Lk を表現しているもので、エネルギーの重みに対する偏分
である。従って、このT_LKを重みの変化分ΔＷとすれば
よいが、収束を早めるためにS4に示される第１式の第２
項を加えて、次のような漸化式にして重みを修正する。

ΔW_Lk＝αT_Lk＋β・ΔW_Lk W_Lk＝W_Lk＋ΔW_Lk ここで、α，βは定数である。今、出力層の特定なニ
ューロンANP_Lに注目しているが、このANP_Lは中間層のニ
ューロンにすべて接続されているものとするならば、各
ANP_Lに対してＫを１からK_maxまで繰り返す必要がある。
これがフローチャートのR1に示す繰り返しで、中間層の
ニューロン数K_maxだけ繰り返すことになる。この繰り返
しが終わると出力層の特定なニューロンANP_Lに対する逆
伝播が終了することになる。従ってこれをすべての出力
層のニューロン｛ANP₁,ANP₂,・・・,ANP_L _max｝に対し
て行う必要があるため、フローチャートのR2に示すよう
に、Ｌを１からL_maxまで繰り返すことになる。すなわ
ち、最終出力層のニューロンの数L_maxだけ繰り返すこと
になる。

次に今度は中間層から入力層に向かって学習すること
になる。アルゴリズムはほぼ同様であるが、誤差信号は
教師信号と出力電圧との差で表現できず、S5の式にな
る。すなわち、Z_kが中間層のＫ番目のニューロン、A_kの
出力誤差信号に対応する項となる。これは次式によって
明らかである。

となる。従って、S5のZ_kのインデックスＬに対して１か
らL_maxまで、すなわち出力の数だけ繰り返す（R3）こと
によって中間層の誤差信号分Z_kが計算される。その後は
中間層と出力層との間のアルゴリズムと同じである。す
なわち、まず、シグモイド関数の微分値V_kを出し、それ
を用いてU_k、すなわちエネルギーの非線形関数入力に対
する変化分をS6で求める。S7でそのU_kを用いて入力層の
出力、Y_jとの積T_k _jを求める。これを重み変化分の主要
部として、S8に示すように収束を早めるための第２項を
加えて、ΔW_k _jを求め、前の値W_k _jにそのΔW_k _jを加え
て新たなW_k _jとする。これが重みの更新である。この重
みの更新を入力数J_maxだけ繰り返す（R4）。すなわちｊ
＝１からj_maxまで繰り返すことによって入力層と中間層
の間の重みが更新されることになる。なお、S5のZ_kは中
間層の出力の誤差信号に対応するものであって、これは
出力層のエネルギーの関数入力値に対する偏分U_Lを後ろ
向きに逆伝播した形で表現され、W_LKは中間層と出力層
との重みが定まって初めて定まるものである。すなわち
重みの更新に対する計算は出力層のニューロンANP_Lから
始めて中間層のニューロンANP_Kに移り、中間層のニュー
ロンANP_Kではその重み変化分ΔＷはその前段のΔＷが決
まらないと計算できないものとなっている。従って最後
の入力層まで遡って始めて計算が可能となるところから
この学習はバックプロパゲーションと呼ばれている。

バックプロパゲーションによる学習は学習用のデータ
を完全情報として入力し、結果を出力する前向き動作と
その結果のエラーを小さくするようにすべての結合の強
さを後ろ向きに変えることになる。その為、この前向き
動作も必要となる。この前向き動作において本発明のア
ナログニューラルネット部が有効に利用される。また、
出力値を逆伝播するアルゴリズムはMPUで実行される。
なお、シグモイド関数でない非線形である場合には、そ
の非線形の微分値が異なる。例えばtanh（ｘ）であるな
らば学習アルゴリズムは第12D図のように、非線形の微
分結果は、出力層ではV_L＝１−|Y_L|となり（S2′）、中
間層ではV_k＝１−|Y_k|（S6′）となる。

その他は、第12C図と同じ参照符号をつけて説明を省
略する。

第13図は入力側のディジー回路173,174の構成図であ
る。図中240,241,242はＤタイプのフリップフロップで
ある。DCLK信号の立ち上がりでＤ端子に入力されるデー
タをセットし、出力Ｑを１の状態にする。第１のフリッ
プフロップ240は、DCLKの立ち下がりで、CSI信号をセッ
トする。そして、次の立ち上がりで第２番目のフリップ
フロップ241にその出力信号をセットする。

その出力は第３番目のフリップフロップ242のＤ端子
に入力されている。その入力をセットするクロック信号
は４ビットカウンタ243の出力である。カウンタ243はWC
LKの立ち下がりでトリガされる。クリアされるのはDCLK
の立ち下がりである。従って、DCLKの立ち下がりにカウ
ンタ243はオール０となり、WCLKの立ち下がりが８回入
力された後、上位ビットのQD信号がハイとなるので、こ
れがトリガとなってフリップフロップ242はCSOにハイ信
号を出力する。フリップフロップ241の出力が０になれ
ばCSOはクリアされる。このような動作により、CSIが立
ち下がって、WCLKの８パルス分に相当する所定な時間通
過したのちCSOが出力されるというディジー動作が行わ
れる。

第14図はダミーノードのニューロンを形成するマック
スバリューノード回路187の具体的回路図である。同図
において抵抗250、ツェナーダイオード251、252、抵抗2
53、電圧フォロア254、255は一定電圧を形成する回路で
ある。抵抗250、253とツェナーダイオード251、252を介
して＋12ボルトから−12ボルトに電流が流れると電圧フ
ォロア254、255の入力には、それぞれ＋７ボルトと−７
ボルトが形成される。これらの電圧は電圧フォロア254,
255の出力抵抗256を介して出力される。この２つの一定
電圧を時分割で引き出すようにアナログスイッチ257〜2
64を用いて制御する。Ｔモードの信号が０の時、その一
定電圧はアナログスイッチ257を介して次の電圧フォロ
ア265に与えられる。Ｔモードが１すなわち、テストモ
ードの時にはアナログスイッチ258によってその出力は
アナロググランドに抑えられるため、０ボルトが電圧フ
ォロア265に入力される。テストモードでは、バス上の
オフセットがMPUに通知されることになる。電圧フォロ
ア265は、出力部のスイッチ制御によってイネーブルさ
れる。出力イネーブルが１のとき、アナログスイッチ26
0がオンで電圧フォロアとして働き、その出力が与えら
れるが、この時、ダミーノード出力には出力されない。
逆に出力イネーブルが０の時にダミーノード出力に出力
される。アナログスイッチ260とその出力のスイッチ制
御は出力イネーブル１または２によって制御され、０イ
ネーブルである。すなわち出力イネーブル１または２が
０の時にダミーノード出力に一定電圧が出力される。な
お、ダミーノード出力は上側が入力層のダミーノード用
であり、２番目が中間層のダミーノード用の出力であ
る。このダミーノードの出力電圧は適当な値に固定され
るため、スレッシュホールド電圧として使用可能とな
る。なお、ツェナーダイオード251,252は逆バイアス状
態で一定の電圧を出すものであり、固定電圧は、＋７ボ
ルトから−７ボルトまでの範囲で可変できるようにして
いる。出力イネーブル1,2はアナログバスにつながって
いる他のANPから出力電圧とそのアナログバス上で衝突
を避けるためにマスタコントロールブロック181からの
ダミーノード制御信号DCSでイネーブル状態が決められ
ている。

第15図は非線形関数発生回路であり、第16図、第17
図、第18図はANP内部のディジタルロジック側のハード
ウエアである。

第15図はシグモイド関数を実現するトランジスタ回路
網である。ここでいうシグモイド関数とは連続で単調非
減少な関数を指し、かつ線形関数を特に除外するもので
はない。同図において343,356,378,390,298,314のトラ
ンジスタとそれに対になったトランジスタで差動増幅器
を形成し、コレクタ側に接続されたトランジスタ群がそ
れぞれカレントミラー回路である。差動ANPの左側のト
ランジスタのコレクタを流れるコレクタ電流が出力電流
である。カレントミラーで電流の方向を変えて出力して
いる。電流は出力V0に接続されている抵抗336にはい
る。抵抗336によって電圧が電流に変えられる。ドライ
ブ能力がないため、出力にはハイインピーダンスのオペ
アンプバッファで受ける。トランジスタ337,339より入
力側の回路はバイアス回路である。シグモイド関数を実
現するために区分線形法を使っている。シグモイド関数
の各区分の傾きはエミッタに接続されたエミッタ抵抗34
4と出力抵抗336の比によって決められる。この時トラン
ジスタ343等のエミッタ抵抗も含まれる。各差動ANPのゲ
インは異なる。各区分線形の移り変わりに対するブレイ
クポイントは飽和特性を利用している。その飽和特性は
すべて異なる。V0の出力点において、各オペアンプから
出力される電流の総和の値がシグモイド関数になるよう
に各ANPの飽和特性を変えている。トランジスタ345と抵
抗R1は電流源である。トランジスタ346と抵抗R2、トラ
ンジスタ353と抵抗R3等はすべて同じ電流を供給する電
流源である。すなわち、電流値は同じになるように抵抗
が決められている。すべて同一電流源である。トランジ
スタ345,346のコレクタは接続されているので、和の電
流が抵抗344、347の交点に流れる。トランジスタ343,34
8のコレクタ電流は、バランスした時点では同じにな
る。トランジスタ351はカレントミラーの特性をよくす
るためのものである。トランジスタ350はダイオード接
続である。電流の向きを変えるということは出力に対し
て、電流を引っ張りこむ場合と電流を外に出す場合があ
る。同図に示すように、カレントミラーのトランジスタ
351のコレクタからは出力に向かって電流が流れる。下
側のトランジスタ配列は沢山あるが、エミッタとコレク
タが同じ点に接続されているトランジスタは同じトラン
ジスタである。例えばトランジスタ358と360は同じトラ
ンジスタでこれはトランジスタ345と同じものである。
また359と361も同じトランジスタでこれは346に対応す
る。368,369のトランジスタは同じであり、これは353に
対応する。以下、同様である。したがって、同じ電流で
駆動される定電流電源を有するオペアンプが出力電圧の
正負に従って電流の向きが異なるような動作を行うもの
が全部で６個ある回路である。また、トランジスタ337,
338はレベルシフトであり、330と327もレベルシフトで
ある。レベルシフト回路はシグモイド関数の正と負で動
作範囲がほぼ同じになるようにするためのものである。
トランジスタ352はトランジスタ351のコレクタ電流とト
ランジスタ353のコレクタ電流が等しくなるための補正
用のものである。トランジスタ367,385,287,307も同様
である。

第16図は、ニューロチップ内に供給するパルス信号の
形成するためのシーケンスジェネレータ28（第２図）の
具体回路である。401と402及び404と405はインバータ
で、各インバータはクロック用のインバータである。フ
リップフロップF.Fのラッチ信号の立ち上がり用と立ち
下がり用とに分けてクロックを作っている。同図のフリ
ップフロップは立ち上がりクロックでラッチするもの
で、インバータとF.Fで立ち上がりラッチのF.Fを形成す
る。例えばDCLKでは、インバータ401を１個通ったもの
が立ち下がりラッチ用のクロック信号となる。そしてイ
ンバータ402を通ったものが立ち上がりラッチ用のクロ
ックDCLKとなる。同様にインバータ404の出力が立ち下
がり用のWCLKでインバータ405の出力が立ち上がり用ク
ロックWCLKである。F.F410において、SYNC信号をDCLKの
立ち下がりがラッチしている。F.F410と415でSYNC信号
をDCLKの１サイクル分遅らせ、SNC2信号を作って、SYNC
とその１クロック遅れた信号とで１τのパルスを作って
いる。SYNCが立ち上がった後の１τ（DCLKの１周期）の
パルスでANP内の積分用コンデンサの放電を行う。すな
わちCRSTという信号がそのコンデンサのリセット信号で
ある。もう１つのDSH2はSYNCの立ち下がりからDCLKの１
τ分の長さをとったパルスであって、これがANP内のサ
ンプル／ホールドのコンデンサに対するサンプル／ホー
ルド信号となる。411のF.FではクロックがWCLKで、デー
タがDCLKであるから、WCLKでDCLK信号をラッチしてい
る。その後ナンドゲート414でSYNC信号がハイになって
いて、かつDCLKがハイという状態で最初にきたWCLKをト
リガしてF.F443のクロックにしている。ナンドゲート41
4とインバータ440でアンドとなる。F.F443において、SY
NC信号がハイになっている状態で最初にきたWCLKという
信号がディジタル重みデータすなわちWDの符号ビットを
取り込んでいる。この信号はシリアルに入ってくる重み
ディジタルデータのMSB、すなわち符号ビットである。
すなわちF.F411とアンドゲート（414,440）のタイミン
グで符号ビットをF.F443がラッチする。４ビットの２進
カウンタ416はWCLKのパルス数をかぞえる。16ビットの
ディジタル重みデータが入ってくるので16回数える。数
え終わったところで、出力がハイとなり、インバータ42
3に入る。この信号は16個カウントし終わったことを指
示する信号である。この信号はシリアルにANPに入って
きた重みデータをシフトレジスタ27（第２図）に入れる
制御等に使われる。またカウンタ416の最下位ビットは
インバータ422に入力される。このインバータ422の出力
はCSO信号を生成する。CSOはディジーチェーンの制御信
号であって、アナログバスB1において、前段の２つのAN
Pから出される信号の競合を防ぐため、前の時刻のCSが
落ちた後、次のCSを出すようにディジー動作を実行する
ためのディレイ回路を形成する必要がある。このディレ
イの遅延時間はWCLKをカウントし、そのカウンタ値で形
成している。カウンタ416のカウントが終わり、フリッ
プフロップ433にその終わったという指示の信号がイン
バータ423を介してラッチされるが、これはWCLKでたた
いている。すなわち17個目のWCLKでたたいている。イン
バータ437と438を通して、ラッチされた信号がカウンタ
416に戻り、カウンタ416のインクリメント動作をこれ以
上させないようにディスイネーブルの制御を行ってい
る。インバータ438の出力がロウになると、カウンタ416
はカウントが停止する。F.F433のの出力はフリップフ
ロップ442に入っている。これがシフトレジスタ27の出
力のゲート信号になる。すなわち、16個のディジタル重
みデータが入ってくるのをシフトレジスタ27で順々にシ
フトし、符号ビットを除いた数値ビットの15ビットのデ
ータをパラレルに並べたところでこれらを出力する。シ
フトしている間は出力は出ないようにし、全部入ったと
ころで出力するためのゲート信号がWRである。シフトレ
ジスタ27の内容はANPの掛算器に与えられる。F.F433か
ら出力される信号は、分岐されてシフトレジスタのイネ
ーブル信号に使われる。F.F442はF.F433の出力を立ち上
がりでラッチするものである。WCLKの16個の立ち下がり
ラッチでシフトが完了し、その後ゲートを開くのに立ち
上がりラッチでもよいが、立ち下がりで行っている。F.
F412はシグモイド関数の選択用のパルス信号を作るもの
である。F.F412を使ってリセット信号がはいった時点
で、WD、すなわち重みディジタル入力信号が０か１によ
ってシグモイドを使うか使わないかを選択する。この方
法は本システムで使用されない場合もある。実際はシグ
モイド選択信号は、外部から直接形成する。下の回路は
ディジーチェーン回路である。カウンタ416の出力をF.F
434でディレイを作り、そのディレイで最後のF.F445を
トリガを掛けている。このことにより、DCLKの１τ分ズ
ラした上に、そのままズラすのではなく、頭をおとすよ
うにしている。すなわちCSI信号それ自身はDCLKの１周
期分はないこともあり、そのCSIをCSOにするためにはCS
Iに対して、最初の、例えば、２マイクロ分を削って波
形の前を遅らせ、後ろはそのまま信号を作っている。ゲ
ート425と427はCSIのバッファゲートである。正のバッ
ファとインバータバッファである。

第17図はサンプル／ホールドS/H信号と、OC信号を形
成する位相制御回路29（第２図）である。S/H信号はイ
ンバータ515に入るものと、ゲート524に入るものと別れ
ている。OC信号も同様である。S/H信号がゲート524とイ
ンバータ515に別れ、インバータ515経由でゲート525に
入るとその後はインバータが８段ある。S/H信号に対し
てそのままの位相と逆位相の２通りの信号を作ってい
る。これはインバータを数段分カスケードに結合し、た
すきがけすることにより２つの出力が同時に１になるこ
とを避けている。すなわち、サンプル／ホールドS/H信
号の２つ、SH10とSH11を形成し、それが両方とも１にな
らないようにするようにしている。すなわち、インバー
タチェーンはSH信号の両方が同時オンを避けるためのデ
ィレイ回路である。ディレイの遅延時間はインバータチ
ェーンの長さによって決まり、片方がオンになってから
数段分遅らせ、もう片方をオンにしている。SH20とSH21
に関しても同様である。OC信号に関する回路も基本的に
は同じであるが、それはCRST信号がゲート528と529に入
っているので、CRSTが１の場合には強制的に両方出力を
１にする。OC0とOC1の両方共、同時に１になることを避
けているが、OCの場合はCRSTが１の場合だけ同時に１に
なるようにしている。このことにより、アナログスイッ
チの制御を介して積分器のコンデンサの電荷を放電する
というリセット機能を実現している。

第18図は15ビットのシフトレジスタ27（第２図）であ
る。ゲート602と603及び614、そしてF.F627で１ビット
に相当し、これを使って説明する。ゲート603には、前
の時刻の出力が入力されているもので、これはF.F628の
出力である。前のビットからの入力ということで、シフ
ト用のデータ信号となる。ゲート603に入っている他の
信号はSIFT、すなわちシフト信号のインバータである。
これはシフト制御信号で、これが有効のとき，シフトの
指示を行うことになる。またゲート602にはF.F627その
ものの出力が入っている。これは自分自身の出力をフィ
ードバックしていることになる。ゲート602の他の入力
にはSIFT信号のインバートが同じように入っているが、
この位相はゲート603に入っているものと異なる。これ
によりシフトが無効の時に、今の出力をそのまま保持す
ることになる。クロック信号はシフトと無関係に常時入
ってくるので、クロックが入ってもシフトが有効でなけ
ればシフトは行わない。シフト信号SIFTが有効の時だけ
前のビットをシフトし、ゲート603を通って入力するこ
とでシフト動作となる。WR信号はゲート632、633等のア
ンドに入っている。これは各ビットの出力を出すか出さ
ないかの選択信号となり、乗算器の方にシフトレジスタ
に格納されたデータをわたすかどうかの制御信号とな
る。また、ファンアウトをとるために、例えばインバー
タ620によって15個のうち５個のF.Fのリセット信号そし
て、ゲート626で10個のF.Fのリセット信号を受け持つよ
うにしている。ファンアウトのシフトレジスタ608はシ
フトイネーブルSIFTと出力のイネーブルWRの機能がつい
ている。

次に、本発明に係るニューロコンピュータを帰還型ネ
ットワークで構成した場合について説明する。

第19A図は帰還型ネットワークの概念図である。

帰還型ネットワークの場合にも、基本的には入力が存
在するが、自分が出力した信号も帰ってくるという帰還
路をもった構造となる。この帰還方式は、階層型ニュー
ラルネットワークにおける１層を時分割多重使用するタ
イプとして使用される場合と、またいわゆるホップフィ
ールド型のニューラルネットワークとして使用される場
合がある。

前者の場合、ANPの入出力信号は、時分割であるの
で、各ANPの出力点ではある一定のシーケンスサイクル
毎にその同じANPの出力データが逐次に出力されて、１
つシーケンスサイクルごとに階層型ニューラルネットワ
ークの入力層、中間層、出力層として順次動作する。後
者の場合、ANPの出力が特定の値になるまで、つまり安
定するまで、出力電圧が帰還される。帰還している結果
を出した時に、その結果が前のデータ、つまり自分が前
に出したデータと一致するまで、状態が繰り返され、安
定解に達すれば収束となる。

本発明の実施例によれば、第19B図に示されるよう
に、帰還路を共通アナログバスCBで実現することになり
コの字型の帰還部が存在する。そして１個自分が計算し
て出したものが出力され帰還路を通じて各ANPからの出
力がフィードバックされることになる。この帰還動作を
繰り返していく。

第20図は本発明のニューロコンピュータを階層型ネッ
トワークとして動作する帰還型ネットワークによって実
現した実施例である。アナログ入力ポート1,2からの時
分割アナログ入力信号に対してANP1,2,3において積和演
算を行い、ANP1,2,3を中間層として動作させANP1,2,3か
らアナログバスB2に時分割出力し、この出力信号を帰還
路であるアナログコモンバスCBを介してアナログバスB1
に帰還し再びこの帰還信号に対してANP1,2,3で積和演算
を行うことにより、ANP1,2,3を出力層として動作させる
ことにより、一層のANP1,2,3により階層型ネットワーク
を実現したものである。マックスバリューノード回路18
7はマスタコントロールブロックのDCS出力を受けてアナ
ログバスB2にダミー信号を生ずる。そしてマスクコント
ロールブロックからDCLK及びWCLKがそれぞれディジー回
路171に入力され、CSI信号の立ち上がり及び立ち下がり
のタイミングを規定する。

第21A図は第20図に示した帰還型階層ネットワークの
タイミングチャートである。

DCLKが立ち上がっている間だけ、WCLKは発生し、DCLK
が立ち上がってからアナログ信号が定常化し、かつ重み
データがシリアルに入ってきた後で、パラレルに揃う前
のタイミングでマスタコントロールブロック181からのC
SO1がディジー回路171に入力されに示すように立ち上
がる。この時アナログ入力ポート１よりサンプル／ホー
ルドS/Hに保持されているアナログ信号はアナログスイ
ッチ175を介してアナログバスB1に現れ、ANP1,2,3で積
和演算が行われる。次のDCLKの入力で、ディジー回路17
2へのCSIがに示すように立ち上がると、アナログ入力
ポートからの入力信号を保持しているサンプル／ホール
ド回路S/Hの信号がアナログスイッチを介してアナログ
バスB1上に現れ、ANP1,2,3で２回目の積和演算が行われ
る。さらに次のタイミングでDCLKが入力した後、に示
すようにマスタコントロールブロックよりダミー信号DC
Sが発生し、ANP1,2,3においては、固定電圧に対する３
回目の和が実行される。次のSYNC信号が立ち上がってい
る間に、ANP1,2,3の出力層の積和演算が行われる。重み
メモリへのアドレス１の信号のアドレスカウント禁止信
号が立ち上がっている間だけ、アドレスカウンタをカウ
ントするWCLKがイネーブルされ、それ以外の時には、そ
のカウントは抑止される。次に、CSO2がマスタコントロ
ールブロックよりANP1に与えられると、ANP1は、前回の
積和の結果をアナログバスB2に出力し、アナログ共通バ
スCBを通してアナログバスB1に帰還し、で示すように
再びANP1,2,3において積和演算を行う。CSO2がANP1の内
部のディジーチェーン回路において、所定遅延を加えら
れた後、ANP2にに示すように入力信号CSIを加え、こ
の時、ANPの出力信号がアナログバスB2に共通バスCB及
びアナログバスA1、B1を介して再びANP1に加えられ、こ
こで積和演算が行われる。同様にANP2からのCSOは所定
時間遅らせた後、ANP3のCSI信号となり、このCSI信号が
に示すように立ち上がった時にANP3の出力信号がアナ
ログバスB2,共通バスCB、アナログバスB1を介して再びA
NP1,2,3に帰還されてここで積和演算が行われる。同様
にに示すようにダミーノードからの信号DCSの立ち上
がりの際に再び、固定電圧に対してANP1,2,3により和の
演算が行われる。そして、次のCSO2の信号の立上りでAN
P1,2からS/Hを介して出力が，に示すように生じ
る。なお、アナログ入力ポート２からは出力されない。

ここで，，はANP1,2,3が中間層として動作し、
，，はANP1,2,3が出力層として動作する。従って
この実施例によれば、ANP1,2,3の１層のみの構成で階層
型ネットワークを構成できる。

第22図は本発明にかかるアナログニューロコンピュー
タをホップフィールド型の帰還型ネットワークで構成し
た実施例であり、第23図はそのタイミングチャートであ
る。マスタコントロールブロック181の、メモリ・アド
レス端子及びモード端子の出力が重みメモリブロック18
5に加えられ、この重みメモリブロック185のデータ出力
であるB10はANP1、B11はANP2、B12はANP3に接続され
る。マスタコントロールブロック181のCSO1の端子から
の出力信号は、ディジー回路171、スイッチ175に加えら
れ、この信号の立ち上がりで、アナログ入力ポート１か
らのサンプル／ホールド回路173の出力をアナログバスB
1に乗せる。そしてディジー回路171で所定時間遅延され
た後、CSOの出力が生じ、これがディジー回路172にCSI
として加えられてアナログ入力ポート２に接続されたサ
ンプル／ホールド回路174の信号をスイッチ176を介して
アナログバスB1に乗せる。同様にディジー回路172′の
出力信号CSOがアナログ入力ポート３に接続れたサンプ
ル／ホールド回路174′の出力スイッチ176′を開いてそ
の信号をアナログバスB1に乗せる。ANP1では第23図に示
すように、DCLK信号の１周期で１つの積和の演算を行
い、DCLK信号がハイの時に重みクロックを駆動し、その
重みクロックに同期して入るディジタル重みデータを、
アナログ入力信号との掛け算を行い、DCLKの後半のロウ
信号の時に、サンプル／ホールド信号SHがハイとなり、
積分器のキャパシタにおいて、和の動作を行う。すなわ
ちCSO1すなわちディジー回路１のCSIがハイになってい
る期間で、バスB1上のアナログ信号に対してANP1,2,3
は積和演算を行う。また、マスタコントロールブロック
181からのOC信号がハイとなると、ANP1,2,3はオフセッ
トキャンセルを行い、サンプル／ホールドして１つの積
和演算周期を終える。次に第２のディジー回路172の入
力信号CSIがハイになるので、次のアナログ入力ポー
トからの入力信号に対しANP1,2,3は積和演算を行う。そ
して、その積和演算周期が終了した後に、ディジー回路
172′にCSI信号が入り、サンプル／ホールド回路174′
から出力信号が生じて、で示すように第３番目の積和
演算サイクルに入る。

次にマスタコントロールブロック181からCSO2信号
が生じて、ANP1から前回の積和サイクルの時に形成され
ていた信号がアナログバスCBを介して帰還され、その帰
還された信号に対して、ANP1,ANP2,ANP3で積和演算を同
時に行う。次に所定時間遅延した後、ANP1のCSO出力信
号がでANP2に加えられ、ここでディジーチェーン的に
前回の積和サイクルの時に蓄えられた信号をANP2が出力
する。この信号はアナログバスCBを介して帰還されてAN
P1,ANP2,ANP3で積和演算をで駆動する。そして同様に
所定時間遅延した後、ANP2のCSOがでANP3に加わえら
れ、ここでANP3からの出力をアナログバスCBを介して帰
還して、ANP1,ANP2,ANP3においてで積和演算を行う。
帰還型ネットワークにおいては、第23A図及び第23B図に
示すように、３つのANPにおいて、６つの積和演算サイ
クルを経て出力が、それぞれサンプル／ホールド回路17
7、178、178′を介してアナログ出力ポート０、１、２
へと出力される。また、サンプル／ホールド回路177,17
8,178′の出力信号がアナログマルチプレクサ179で選択
出力されたものをA/Dコンバータ180を介してMPU182、メ
モリ183、通信インターフェイス184を含むデジィタル制
御回路に与えられる。MPU182で現時刻のニューロン出力
状態と前時刻のニューロン出力状態が同じになったかど
うかをチェックする。同じになれば収束したものと判定
する。このように、１本の共通アナログバスCBを介して
実行される。帰還動作を繰り返していくことによって安
定解に到達すればこれを最終的な出力とする。

第24図は、帰還型ネットワークと階層型ネットワーク
を組み合わせたものの最適実施例である。入力層として
ディジー回路が設けられ、中間層にはANP1,2,3が設けら
れる。出力層にはANP4,5が設けられる。そして中間層の
ANP1,2,3の出力はアナログバスB2と共通アナログバスCD
を介してアナログバスB1に帰還される。また、アナログ
バスB1、B2にはダミーノードとして働くマックスバリュ
ーノード回路187が接続されている。そして、出力層を
構成するANP4,5の出力はサンプル／ホールド回路177,17
8をそれぞれ介してアナログ出力ポート０及び１に出力
される。B3は出力層アナログバスである。

第25図を用いて第24図に示したニューラルネットワー
クの動作を説明する。

まず、DCLK及びWCLKがマスタコントロールブロックか
らディジー回路171及びANP1,2,3,4,5にそれぞれ入力さ
れる。マスタコントロールブロック181からに示すよ
うにCSO1がCSIとして第１のディジー回路171に入力され
るとアナログ入力ポート０からの信号がサンプル／ホー
ルド回路173及びスイッチ175を介してアナログバスB1に
生じ、ANP1,2,3において積和演算がSH1及びCS1の制御で
行われる。

次に、CSO1が立下がった後、所定時間経過後に第２の
ディジー回路172に入力されるCSI信号がに示すように
立ち上がると、アナログ入力ポート１からの信号かサン
プル／ホールド回路174及びスイッチ176を介してアナロ
グバスB2により中間層のANP1,2,3において、SH1に示す
ように積和演算が行われる。同様にCSOが信号が立ち下
がった後、所定時間経過後にに示すように第３のディ
ジー回路へのCSI信号が立ち上がると、中間層ANP1,2,3
で積和演算が行われる。そして、中間層ANP1,2,3の出力
はCSO2がで示すように立ち上がってANP1に加えられる
と、アナログバスB2に出力されその出力は共通アナログ
バスCBを介してアナログバスB1に帰還されるので、中間
層のANP1,ANP2,ANP3においては再び積和演算が行われSH
1とOC1の制御で積和演算が行われると共に、ANP1の出力
はアナログバスB2上に生じているので、ANP4,ANP5にお
いても、SH2とOC2の制御で積和演算が行われる。すなわ
ち、この実施例においては、中間層ANP1、ANP2、ANP3と
出力層ANP4,ANP5において同時に積和演算が行われる。

次に、CSO2が立ち下がった後所定時間経過後に中間層
のANP2にに示すようにCSI信号を入力されるとANP2の
出力信号はANP2、共通バスCBを介してアナログバスB1に
帰還されるので、ANP1,2,3においては再び積和演算が行
われると共にANP4,5においても同時タイミングで積和演
算が行われる。

さらに、で示すようにCSI信号がANP3に入力される
とANP3は出力信号をアドレスバスB1に生じるのでANP1,
2,3及び出力層のANP4,5で同時に積和演算が実行され
る。

その次に、マックスバリューノード回路187へダミー
信号DSCIがで与えられると、アナログバスＢにに一
定電圧が出力され、この電圧は共通バスCB及びアナログ
バスB1を介して帰還され、これに対して、ANP1,2,3で積
和演算が行われる。それと共に出力層ANP4,5でも積和演
算が行われる。

SYNC1は、中間層で積和演算される期間と中間層及び
出力層で積和演算される期間にわたってハイであり、SY
NC2は中間層と出力層で積和演算がされる間がハイであ
る。そして、CSO3が出力されるとANP4はのところで出
力を生じ、そのCSO3信号が立ち下がった後、所定時間後
にANP5もまた出力をのところで生ずる。

なお、アドレス１及びイネーブル信号がロウである間
はWCLKが抑止される。

本発明によれば、ｎ個のニューロチップからなる前段
層とｍ個の複数のニューロチップからなる後段の層を考
えるとき、従来は配線数がnm個になるのに、本発明の実
施例によれば、アナログバス１本にすることができるの
で配線数を大幅に減少させることができ、また、ｎ個の
ニューロチップからなる層に入力アナログ信号を入力す
る際に、放送方式と同様にアナログバスを介して同時に
入力できるので、１層内のｎ個のニューロチップが並列
演算ができる。さらに、各層についてもパイプライン処
理が行われるので、演算速度を高速にできる。

また、ニューロチップをアナログ回路で構成している
ので、回路の規模が小さくてすみ、このため電力も小さ
くてすむので、多数のニューロチップによりニューロコ
ンピュータを構成するこができる。さらに、ニューロチ
ップの数を増やすことはマスタコントロールブロック内
の制御パターンメモリに格納されて制御パターンをかえ
ることにより容易に行える。

第26A図，第26B図は実際のANPが持っている誤差を発
生するメカニズムの概念図である。第26A図は入力電圧
が既知である特定の値である場合で、ニューラルネット
ワークの出力電圧が点線に示される理論値であってもG1
からG5までのニューロンに相当するANPにおいて、積分
ゲインのバラつきがあるため点線のような理論値からズ
レた出力値が生成される場合がある。第26B図は入力電
圧が０ボルトの場合であってこの場合も出力電圧はオフ
セット電圧として出力される。このような出力における
誤差電圧をどのように測定すればよいかということが重
要な問題である。

第27図，第28図はそれぞれこのパルス的な誤差電圧を
計る階層型及び帰還型のニューラルネットワークにおけ
る誤差計測用回路である。マックスバリューノード回路
187の出力はアナログバスに接続されている。また、MPU
から与えられるデータをポートレジスタにセットし、そ
の制御信号En、Ｔモード、レイヤーモードの各ビットは
マックスバリューノード回路187に与えられるが、その
マックスバリューノードに与えられるイネーブル信号は
同時にオペアンプの出力のスイッチの制御にも利用され
る。例えばイネーブル信号１の時には中間層の電圧はA/
Dコンバータ707を介してMPUに入る。このことによって
誤差の計測が可能となる。Ｔモードとはテストモードの
ことであり、このＴモードを使うことによって前述した
０入力に対する中間層と出力層のアナログバスにおける
電圧がA/Dコンバータを介してMPUで測定可能となる。例
えば、Ｔモード＝１では階層形のニューラルネットワー
クでは０入力に対するオフセット電圧が応答となるはず
である。０入力時にA/Dコンバータを介してどのような
電圧がセンスされるかをモニタする。各層毎にモニタす
るために中間層及び出力層に接続されたアナログバス電
圧が順番にMPUに転送される。Ｔモードを逆にローにす
ると、今度はハイレベルの電圧が常に出される。DCS1と
DCS2は、オア回路に入力されており、ポートレジスタか
ら出力されるEnがハイの間はロウにされている。ポート
レジスタによってＴモードを１にし、レイヤを１にセッ
トし、Enをハイにすれば、入力層だけをロウにして出力
をモニタすることが可能となる。その結果を記憶する。
次にレイヤをロウにすれば中間層のアナログバス上のオ
フセットをセンスできる。この選択を行うのがポートレ
ジスタである。第28図の帰還型の場合では基本的にはバ
スは１本であるから１回の計測で可能となる。どちらも
積和演算を実行しないと、オフセット電圧の測定やゲイ
ン誤差は測定できない。後述するように、ダミーノード
に対する重みを変えてその時の出力電圧を測定する。こ
の場合、それぞれのCSIとCSOの制御を行い、Ｔモードで
各層の出力状態をセンスする。このセンスしたデータを
A/Dコンバータを介してMPUにとる。

第27図の誤差計測用回路を第29A図及び第30A図の動作
タイミングチャートを用いて、より具体的に説明する。
第29図において、DCLKの１周期において、積和の１サイ
クルが行われる。そのDCLKの１周期の前半のDCLKがハイ
の時に重みクロックWCLKが少なくとも16個入力される。
この重みクロックWCLKは、シリアルデータをシフトレジ
スタに16個蓄えるためのクロックである。SYNC信号は１
つのANPの動作タイミングを規定するもので、DCLKより
半サイクル前に立ち上がり、DCLKの半分のサイクルの点
で立ち下がる。SHはサンプル／ホールド信号でそのWCLK
が入力した後、すなわち入力アナログデータとディジタ
ル重みデータとの積が行われた後にその積信号をコンデ
ンサにまずチャージするものである。そして、サンプル
／ホールド信号の最初のハイ信号が立ち下がった時点
で、オフセットキャンセル信号OCが立ち上がり、コンデ
ンサの極性を逆に反転する。その時、コンデンサへの入
力信号は、０にカットしておいて、再びサンプル／ホー
ルド信号の次のハイ信号において、コンデンサにチャー
ジを行うと、コンデンサには、入力信号０の時のオフセ
ット電圧に等しい電圧がチャージされる。これによって
コンデンサはオフセット分だけ少なくなった信号、すな
わちオフセットがキャンセルされた信号が蓄積されるこ
とになる。しかし、これでもオフセットが残る場合には
更に本発明の誤差吸収方式を利用する。

第27図において、ポートレジスタ１にMPUよりテスト
モードに入る指令信号が入力されると、En出力はハイに
立ち上がり、テストモードの１または０がイネーブル状
態となる。レイヤがロウからハイに立ち上がると、中間
層のテストを行う。そして、Ｔモードが１の時には、オ
フセットの誤差信号を検出する場合である。ヘイヤがハ
イであり、En信号がハイであるので、ゲート702及び703
を介して出力イネーブルがハイとなる。そして、マック
スバリューノード回路の中間層入力への固定電圧を０ボ
ルトまたはハイ状態にするため、その回路をイネーブル
状態にする。出力イネーブルがハイに立ち上がると、中
間層のテスト終了までハイの状態となる。すなわち、中
間層について、オフセットの誤差を検出する。ここで、
上述したようにDCLKがハイ信号となり、積和の１周期が
行われる。その後で、CSI（CSO2）がハイとなり、ANP1
から出力がアナログバス（中間層）上に出力される。

次に一定時間たったANP2へもCSI信号がディジーチェ
ーン的に加えられるので、ANP2からも同様にアナログ出
力信号が出力され、中間層の出力バス上にのる。さらに
所定時間経過後に、ANP3のCSI信号がハイに立ち上がる
ので、ANP3からアナログ出力信号が中間層の出力のアナ
ログバス上に出力される。中間層に出力された各アナロ
グ信号はオペアンプ704及びアナログスイッチ705,706を
介してA/Dコンバータ707に加えられる。そしてA/Dコン
バータ707の出力Q_fはMPUに送られ、それぞれ主記憶に一
時保持される。次に、第29B図のタイミングチャートに
示されるように、Ｔモードを１にしてダミーノードの出
力電圧をハイにして、各ANPの出力電圧Q_gをMPUがセンス
する。MPUはこのQ_fとQ_gから求まる加算器利得A_gを求め
る。

また、ポートレジスタ１のレイヤの出力が０の時には
インバータ708とゲート709、710を介して出力イネーブ
ル２にハイ信号が加えられるので、中間層のダミーノー
ド出力端子すなわち、マックスバリューノード回路の第
２の出力端子から出力信号が生じて出力層のANP4,5のオ
フセットを検出する。そして、その出力は前述と同様に
オペアンプ711,アナログスイッチ712,713を介してA/Dコ
ンバータ707に加えられる。なお、アナログスイッチ71
4,715はA/Dコンバータ707へと出力しない場合に電圧と
電圧フォロアで保護するものである。なお、ANP4及び５
の出力はサンプル／ホールド715、716で一時保持され
て、アナログ出力信号として出力される。上述したもの
はＴモードが１の場合であるので、ANP1、２、３、４、
５にはそれぞれ０の入力信号が加えられるから、ANP1乃
至５のオペアンプのオフセット電圧がA/Dコンバータ707
からANPに出力される。

なお、第29B図に示すように、Ｔモードを立ち上げた
時には、ダミーノードアウトプット・フォ・インプット
・レイヤ及びダミーノードアウトプット・フォ・インタ
ミォーデット・レイヤからはハイレベルのアナログ信号
か出力されるので、A/Dコンバータ707からはANP1乃至５
を構成するオペアンプの出力電圧Q_g（後述する）が出力
される。

第28図は帰還型ニューラルネットワークにおける誤差
計測用回路を示し、第30A,第30B図はその動作タイミン
グを示す。マックスバリューノード回路187からは入力
層へのダミーノード出力を示す出力信号のみが出力さ
れ、ANP1,2,3にそれぞれ入力される。ANP1,2,3の出力ア
ナログバスは共通バスCBを介して入力側のアナログバス
へと帰還される。ポートレジスタ１、ゲート702,703、
オペアンプ704、アナログスイッチ705、706、A/Dコンバ
ータ707、ゲート708,709,710及びアナログスイッチ714
の動作は第27図の動作と同様である。１層で出力層を兼
ねるので、階層型のような出力層はないので出力層への
ダミーノード出力は生じない。出力層へダミーノード出
力を与える第２の出力イネーブル端子は接地される。そ
して、ANP1、２、３からの出力信号はサンプル／ホール
ド回路718,719,720を介して出力される。

第28図の誤差計測用回路を第30A図及び第30B図の動作
タイミングチャートを用いて、より具体的に説明する。
第30図において、DLCKの１周期において、積和の１サイ
クルが行われる。そのDCLKの１周期の前半のDCLKがハイ
の時に重みクロックWCLKが少なくとも16個入力される。
この重みクロックWCLKは、シリアルデータをシフトレジ
スタに16個蓄えるためのクロックである。SYNC信号は１
つのANPの動作タイミングを規定するもので、DCLKより
半サイクル前に立ち上がり、DCLKの半分のサイクルの点
で立ち下がる。SHはサンプル／ホールド信号でそのWCLK
が入力した後、すなわち入力アナログデータとディジタ
ル重みデータとの積が行われた後にその積信号をコンデ
ンサにまずチャージするものである。そして、サンプル
／ホールド信号の最初のハイ信号が立ち下がった時点
で、オフセットキャンセル信号OCが立ち上がり、コンデ
ンサの極性を逆に反転する。その時、コンデンサへの入
力信号は、０にカットしておいて、再びサンプル／ホー
ルド信号の次のハイ信号において、コンデンサにチャー
ジを行うと、コンデンサには、入力信号０の時のオフセ
ット電圧に等しい電圧がチャージされる。これによって
コンデンサはオフセット分だけ少なくなった信号、すな
わちオフセットがキャンセルされた信号が蓄積されるこ
とになる。しかし、これでもオフセットが残る場合に
は、さらに本発明の誤差吸収方式を利用する。

第28図において、ポートレジスタ１にMPUよりテスト
モードに入る指令信号が入力されると、En出力がハイに
立ち上がり、テストモードの１または０がイネーブル状
態となる。レイヤがロウからハイに立ち上がると、１層
のテストを行う。そして、Ｔモードが１の時には、オフ
セットの誤差信号を検出する場合である。レイヤがハイ
であり、En信号がハイであるので、ゲート702を介して
出力イネーブルの１番目がハイとなる。そして、マック
スバリューノード回路の層入力への固定電圧を０ボルト
またはハイ状態にするため、その回路をイネーブル状態
にする。すなわち、１層について、オフセットの誤差を
検出する。ここで、上述したようにDCLKがハイ信号とな
り、積和の１周期が行われる。帰還形では、出力イネー
ブル信号は、すぐ立ち下がるので、入力側のバスはディ
スイネーブルとなる。しかし、出力イネーブルがハイの
間で、すでにすべてのANPのオフセット電圧は内部でサ
ンプルホールドされていることになる。その後で、CSI
（CSO2）がハイとなり、ANP1から出力が出力のアナログ
バス上に出力される。

次に一定時間たったANP2へもCSI信号がディジーチェ
ーン的に加えられるので、ANP2からも同様にホールドし
てあったオフセット分のアナログ出力信号が出力され、
この層の出力バス上にのる。さらに所定時間経過後に、
ANP3のCSI信号がハイに立ち上がるので、ANP3からアナ
ログ出力信号が層の出力のアナログバス上に出力され
る。層に出力されたオフセット分の各アナログ信号Q_fは
オペアンプ704及びアナログスイッチ705、706を介してA
/Dコンバータ707に加えられる。そしてA/Dコンバータ70
7の出力Q_fはMPUに送られ、それぞれ主記憶に一時保持さ
れる。次に、第30B図のタイミングチャートに示さるよ
うに、Ｔモードを１にしてダミーノードの出力電圧をハ
イにして、各ANPの出力電圧Q_gをMPUがセンスする。MPU
はこのQ_fとQ_gから求まる加算器利得A_gを計算する。上述
したものはＴモードが１の場合であるので、ANP1,2,3に
はそれぞれ０の入力信号が加えられるから、ANP1乃至５
のオペアンプのオフセット電圧がA/Dコンバータ707から
MPU側に出力される。

なお、第30B図に示すように、Ｔモードを立ち上げた
時には、ダミーノードアウトプット・フオ・インプット
・レイヤからはハイレベルのアナログ信号が出力される
ので、A/Dコンバータ707からはANP1乃至３を構成するオ
ペアンプの出力電圧Q_g（後述する）が出力される。

次にアナログニューロンプロセッサにおける演算誤差
発生モデルと、ダミーノードを利用した重み補正型方式
について、説明する。

第31図は本発明の第１次補正と第２次補正処理のアル
ゴリズムの概略図である。第１次補正処理は加算器利得
推定のための計測条件設定とオフセット電圧の計測処理
である。すなわち、フローチャートが開始すれば、ダミ
ーノードの固定電圧を０にして、誤差計測用重みデータ
の１−Q_fをダミーノードに対する重みとして再設定する
ことになる。第２次補正処理はダミーノード０ボルトに
対するオフセット電圧Q_fと、１−Q_fを１ボルトのダミー
ノードに対する中間的な重みとして乗算した結果に、さ
らにオフセット電圧が加えられて出力される混合誤差出
力Q_gの２つの情報を使って正しい加算器利得A_g＝（Q_g−
Q_f）／（１−Q_f）を計算することである。

重み補正方式は、ダミーノードから生成される固定電
圧に対する各ニューロチップへの重み（この重みを以
下、ダミーノード用重みという）を調整することによっ
て誤差電圧を吸収する手法である。

誤差には、オフセット誤差とゲイン誤差がある。本発
明ではダミーノードが論理的に存在している。すなわ
ち、マックスバリューノード回路からアナログバスに例
えば１ボルトの固定電圧を発生させる方式を採用してい
るので、ダミーノード用重みを調整することによって誤
差を吸収することになる。ANPに０ボルト入力を入れた
場合にどの程度の誤差を出し、その誤差がどのような経
路で発生するかは、実施例として以下に説明される。

第32図は、アナログニューロンプロセッサにおける演
算誤差モデルとダミーノードを利用した重み補正方式の
概念図である。例えば重みが0.3で入力が０の場合には
理論的には出力は０となる。加算器利得が0.98のとき、
入力の０にこの0.98をかけても０となり、意味はない。
一方、入力が１ボルトの場合には、１×0.3が本来の積
の値である。そして、加算器利得が0.98である場合には
実際にかけられる値は0.98×0.3となる。同様に他のノ
ードからの１ボルトに対して１×0.4と（−1.0）×（−
0.6）を計算し、これらの各積が0.98倍された値のすべ
ての和をとると、図に示すように、1.274ボルトとな
る。これにさらに、オペアンプのオフセットが生じ、−
0.01ボルトが加えられると、結果として、1.264ボルト
となる。実際の値は１×0.3＋１×0.4＋（−1.0）×
（−0.6）であるから1.3ボルトである。ところが1.3ボ
ルトとなるべきところが、ゲイン誤差とオフセット誤差
によって1.264ボルトになる。これが演算誤差発生モデ
ルである。

下の図が重み補正型方式の概念図であって、演算誤差
発生モデルにおいて生成されているオフセット電圧−0.
01ボルトの誤差を補正するために、この図で、まずダミ
ーノードの電圧を0.0ボルトとしている。このとき、加
算器利得が0.98であっても出力は0.0ボルトとなるが、
オフセット電圧が加えられ、オフセット電圧Q_fは−0.01
ボルトとなる。そしてこれをダミーノードに対する重み
をQ_fを相殺するために補正としてダミーノード用重みを
１から1.01に変える。これが第１次補正であって、一般
には、1.0−Q_fの値となる。しかし、加算器利得は1.0で
あるべきところが0.98となっているので、1.01×0.98＝
0.9898ボルトが結果となる。さらにオペアンプのオフセ
ットが同様に−0.01ボルトとすると、これが加算されて
出力は0.9798ボルトとなり、これを混合誤差出力値Q_gと
する。オフセット電圧−0.01ボルトと、第１次補正のみ
によって与えられた混合誤差出力電圧の0.9798であるQ_g
との２つの情報から第２次補正をかけて加算利得A_gを計
算する。第２次補正は図に示されるように次式に従う。

A_g＝（Q_g−Q_f）÷（１−Q_f）すなわち、今の例題では、A_gが0.98であるから、A_gを
求めることが第２次補正の第１次段階となる。なぜなら
ば、第１次補正量（１−Q_f）に固定電圧の１ボルトを掛
け、さらに加算器利得A_gを掛けたものにオフセット電圧
Q_fを加えたものがQ_gとなるので、 Q_g＝（１−Q_f）×１×A_g＋Q_f となるからで、さらに、重みW_aが、Ｏ＝W_a×A_g＋Q_f を満足するようにしなくてはならないので、を求めることが第２次補正の第２段階となる。この理由
は、前層のすべてのANPからの出力信号がすべて０のと
き本来は、後層の各ANPの出力信号もANPにオフセットが
あっても０となるべきである。すなわち、ダミーノード
の出力は常に１であるから、ダミーノードの出力に対し
て、後層の出力信号が０になるようなダミーノードから
の後層の各ANPへの入力信号に対する重みが決定されれ
ばよいことになるからである。このW_a＝0.010204を第２
次補正した重みとして１ボルトのダミーノードにかけ、
さらに加算器利得A_g＝0.98をかけると、0.0099999とな
り、ほぼ0.01ボルトとなる。これにオフセット電圧−0.
01が加算されるため、結果として０ボルトとなる。

このようにオフセットに関してもゲイン利得が関係し
ていることになる。オフセットゲインの両方を同時に独
立に補正すれば良いがそれが出来ないため、それ等の両
方が混合した形で修正する方式になっている。このよう
にして、ダミーノードから固定電圧の１ボルトを発生し
たとき、ANPの入力が０ボルトのときに出力されるオフ
セット電圧がキャンセルされ、結果として出力が０ボル
トとなるように補正することが可能となる。このような
補正処理は補正イネーブルフラグ“En"を１にすること
によって行われる。

第27図の階層型ニューラルネットワークにおける誤差
計測回路においてＴモードを１にするとマックスバリュ
ーノード回路の中で発生される固定電圧が強制的に０ボ
ルトになる。アナログバスまたはにはこれによって
０ボルトが強制的に入力される。例えば入力層のアナロ
グバスを０ボルトにすると、中間層の各ANP1,2,3の出
力がオフセット電圧として出力される。これをA/Dコン
バータ707を介してMPU側に入力する。MPU側はこのオフ
セット電圧をQ_fとして貯える。MPUはこのQ_fを用いて、
第１次補正を行う。Q_fが与えられると、これを用いてダ
ミーノード用重みを計算し、重み補正する必要がある。
第１次補正の後半においては、ダミーノードの固定電圧
を１ボルトとする。例えば、中間層の第１のANP1を対象
とすれば、このダミーノード電圧に対する重みデータを
1.01とするように制御する。中間層のそのANP1の加算器
利得が0.98とすれば、加算器の出力は、0.9898となり、
さらにオフセット電圧−0.01ボルトが加わってQ_gである
0.9798ボルトが出力される。これを中間層の出力アナロ
グバスに接続された誤差計測用回路の内部のA/Dコンバ
ータを介して再びMPUにQ_g情報として与える。そしてMPU
は、A_gの計算及び1/A_gからW_aを計算する。その結果W_aは
第２次補正量として１ボルトを発生するダミーノードに
対する重みデータ、すなわち、0.010204となる。このと
き、ANP内の加算器利得が0.98であるから、加算器出力
は0.01ボルトとなり、オフセットが加わって0.ボルトに
なる。このことをMPUが確認すれば、ダミーノード用重
みが0.010204という正しい値であることがわかるので、
MPUはW_aを重みメモリに格納する。

以上の動作をすべてのANPに対して行うことになる。

第33A図乃至第33D図は階層型ネットワークの場合の重
みデータ修正アルゴリズムである。まず、マスタコント
ロールブロックを誤差計測モードにする。テストモード
すなわち、Ｔモードを１にし、レイヤは中間層の１、En
は１とする。すると、入力層のダミーノードの固定電圧
は０ボルト電圧となるので、中間層の各ANPのオフセッ
ト電圧を計測することになる。第１次補正を行うため
に、MPUは、割り込み処理を開始することによって第１
次補正と第２次補正を行う。まず中間層の処理中のANP
数を計数する割り込み回数カウンタ変数を０にし、割り
込み処理を開始する。すると、ANPは０ボルト入力電圧
に対する出力電圧をQ_fとして出力すると、計測用回路の
A/D変換を介してデータQ_fをMPUが内部のレジスタへ読み
込み、さらにそのレジスタから主記憶メモリへそれを移
す。そして、割り込みカウンタ変数をインクリメント
し、この割り込みカウンタ数が計測対象数すなわち、AN
P数に一致しているかどうかを調べる。それらがもし一
致していなければ、カウンタ数をセンスしながら待ち状
態になる。もしカウント変数が計測対象数に等しければ
割り込み処理ルーチンを終わって中間層のANPに対する
第１次補正処理に入る。すなわち、各ANPに対してダミ
ーノードの電圧を１ボルトにし、第１次補正した値1.0
−Q_fをまず重みとして、主記憶メモリにすべてのANPに
対する重みとして格納する。すなわち、Ｔモードを０に
する。すると、Ｔモード＝０のときには、ダミーノード
からは固定電圧の１ボルトが生成されるので、これに対
し、オフセット電圧及びゲイン誤差の影響を同時計測
し、第２次補正の前処理を行う。再び割り込み回数カウ
ンタ変数を０にし、割り込み処理開始を行う。すなわち
計測用回路のA/D変換を介してQ_gを測定することにな
る。ダミーノードの電圧は1.0で、第１次補正によって
例えばANPへの重みが1.01になっているので、加算器利
得0.98に対して出力が0.9898になり、オフセット電圧−
0.01ボルトが加わってQ_gである0.9798ボルトが計算され
る。このQ_gをA/Dコンバータを介してMPUが読み、レジス
タからメモリに移し、これを中間層内のすべてのANPに
対して行うようにカウント変数をインクリメントする。
このインクリメント数が計測対象数になったかどうかの
チェックを行なって一致していなければさらに計測を実
行する。もし、カウンタ数が計測対象数になっていれば
割り込み処理ルーチンを終わって第２次補正処理に入
る。すなわち、A_gの逆数に−Q_fをかけたW_aを各ANPに対
して求める。このW_aを１ボルトを生成するダミーノード
に対する重みデータとしてあたえる。すなわちダミーノ
ード用重みを修正するルーチンに入り、例えば、ANPに
対する重みデータ0.010204と決定する。これらの重みは
重みメモリに格納される。

以上の動作は出力層のANPのすべてに対しても行うこ
とになる。従って、に移って、Ｔモードを１、レイヤ
を０にして出力層モードにし、En＝１として、同様な処
理に入る。すなわち、割り込み回数カウンタを０にし、
割り込み処理ルーチンに入って、測定用回路によって０
ボルトのダミーノードに対するオフセット電圧、Q_fを出
力層内のANPに対して求め、これらのデータをメモリに
貯える。この処理を計測対象数（出力層のANP数）だけ
行った後、割り込み処理ルーチンをぬけて第１次補正処
理を行うことになる。すなわちダミーノードの固定電圧
１ボルトに対する中間的な重みデータを設定することに
なる。

に移る。Ｔモードを０にし、レイヤを０にし、Enを
１にする。そして第２次補正のための前処理に入り、Q_g
を計算する。すなわち、ダミーノードから固定電圧１ボ
ルトが発生されるので、オフセット電圧及びゲイン誤差
の影響を同時計測することになる。割り込み回数カウン
ト変数を０にし、割り込み処理開始を行ってQ_gをA/D変
換器を介して読んでメモリに移す。そして割り込みカウ
ント変数をインクリメントし、出力層内のANPの数だけ
行った後、割込み処理ルーチンから抜けて、第２次補正
用のW_aを計算し、それをダミーノード用重みとして重み
メモリに格納する。階層型の場合、第２次補正で得られ
たW_aは本来ダミーノードに与えられた重みに加算する必
要がある。しかも、すべての重みは1/A_gがかけられる必
要がある。

帰還型ネットワークの場合の重みデータ修正アルゴリ
ズムは第34A図及び第34B図に示される。この場合も同様
である。帰還型ネットワークでは層は１層である。マス
タコントロールブロックを誤差計測モードにし、Ｔモー
ドを１にし、レイヤを１、Enを１にして、まずダミーノ
ードの０ボルト電圧出力によってオフセット電圧を計測
する。割り込みカウンタ変数を０にし、割り込み処理ル
ーチンに入って計測用回路の出力側にあるA/D変換を介
してQ_fを読み、それをメモリに移す。この処理をANP数
だけ繰り返し、割り込み処理ルーチンを終了し、第１次
補正処理に入る。帰還型ネットワークでは１層しかない
ために、第１次補正と第２次補正は１度だけ行えばよ
い。次に、第２次補正を行うためにＴモードを０に、レ
イヤを０のままで、Enを１にする。そしてダミーノード
の固定電圧１ボルトを入力し、オフセット電圧及びゲイ
ン誤差の影響を同時計測することになる。割り込み回数
カウンタ変数を０にし、割り込み処理開始を行う。計測
用回路のA/D変換を介して、Q_gを各ANPごとに読む。すな
わち、ダミーノードからの１ボルトに対して第１次補正
で決まった重みデータを与えると、ANPは、内部の加算
器利得0.98をかけ、さらにオフセット電圧が加わった電
圧としてQ_gを出力する。この処理は、１層分のすべての
ANPに対して行われ、各ANPに対応するQ_fとQ_gの情報がメ
モリに書き込まれると、割り込み処理ルーチンが終わ
る。そして、MPUは第２次補正処理を行う。すなわち、M
PUはA_gの逆数からW_aを各ANPに対して計算し、これを重
み修正量として重みメモリに格納することになる。

〔発明の効果〕

本発明によれば、ダミーノード用重みをANPへの入力
信号が０のときに出力信号が０となるように設定するこ
とにより、ニューロコンピュータのオフセット電圧の誤
差、加算器のゲインの誤差を抑制することができる。

【図面の簡単な説明】

第1A図は、本発明のニューロコンピュータの原理ブロッ
ク図、第1B図は、本発明のアナログニューロプロセッサ（AN
P）のチップから構成されたパッケージの概略図、第1C図は、本発明のANPの内部構成図、第２図は、本発明のアナログニューロプロセッサの原理
構成図、第３図は、本発明の基本ユニットの一実施例のブロック
図、第４図は、本発明の基本ユニットの実施例の具体的回路
図、第５図は、本発明の基本ユニットの他の実施例の具体的
回路図、第６図は、本発明の基本ユニットに用いられる積分器の
動作タイミングを説明する図、第7A図は、階層型ニューラルネットワークの概念図、第7B図は、本発明による階層型ニューラルネットワーク
の概念図、第８図は、本発明のニューロコンピュータを階層型ネッ
トワークで実現した一実施例の具体的回路図、第9A図及び第9B図は、第８図に示した信号処理のタイミ
ング図、第10図は、ディジタル重みデータの読み込みタイミング
を示す図、第11A図は、マスタコントロールブロックの具体的回路
図、第11B図は、制御パターンメモリ及びマイクロコードメ
モリの構造を示す図、第12A図は、重みデータメモリへのデータ充填方法を示
す図、第12B図は、重みデータメモリの具体的構成図、第12C図及び第12D図は学習アルゴリズムのフローチャー
ト、第13図は、ディジー回路の具体的回路図、第14図は、マックスバリューノード回路の具体的回路
図、第15図は、シグモイド関数発生回路の具体的回路図、第16図は、シーケンスジェネレータの具体的回路図、第17図は、位相制御回路の具体的回路図、第18図は、シフトレジスタの具体的回路図、第19A図は、帰還型ネットワークを説明する概念図、第19B図は、本発明のニューロコンピュータにより帰還
型ネットワークを構成した場合の説明図、第20図は、本発明によるニューロコンピュータにより、
第１の帰還型ネットワークを構成した実施例の具体的回
路図、第21A図及び第21B図は、第20図に示した実施例の信号処
理を示すタイミング図、第22図は、本発明のニューロコンピュータにより、第２
の帰還型ネットワークを構成した実施例の具体的ブロッ
ク図、第23A図及び第23B図は、第22図に示した実施例の信号処
理を示すタイミング図、第24図は、本発明のニューロコンピュータにより階層型
と帰還型とを組み合わせた他の実施例のブロック図、第25A図及び第25B図は、第24図に示した実施例の信号処
理を示すタイミング図、第26A図及び第26B図は実際のANPが持っている誤差を発
生するメカニズムの概念図、第27図，第28図は、それぞれこのパルス的な誤差電圧を
計る階層型及び帰還型のニューラルネットワークにおけ
る誤差計測用回路を示す図、第29A図は、階層型ネットワークの中間層におけるオフ
セット電圧計測用制御シーケンス、第29B図は、階層型ネットワークの中間層におけるゲイ
ン誤差計測用制御シーケンス、第30A図は、帰還型ネットワークにおけるオフセット電
圧計測用制御シーケンス、第30B図は、帰還型ネットワークにおけるゲイン誤差計
測用制御シーケンス、第31図は、本発明の誤差計測に用いられる第１次、第２
次補正処理の説明図、第32図は、アナログニューロンプロセッサにおける演算
誤差発生モデルとダミーノードを利用した重み補正型方
式を示す図、第33A図〜第33D図は、階層型ネットワークの場合の重み
データ修正方法を示すフローチャート、第34A図及び第34B図は、帰還型ネットワークの場合の重
みデータ修正方法を示すフローチャート、第35図は、ニューロンモデルの基本ユニットの原理構成
図、第36図は、階層型ニューラルネットワークの構成概念図
である。６……ダミーノード手段、 12……制御パターンメモリ、 13……シーケンサ、 14……重みメモリ、 15……ディジタル制御手段、 16……D/Aコンバータ、 17……A/Dコンバータ、 18……ANPで構成したニューラルネットワーク、 19……重み補正手段、 20……誤差測定手段．

───────────────────────────────────────────────────── フロントページの続き (72)発明者浅川和雄神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者杉浦義英神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者都築裕之神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者遠藤秀一神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者川崎貴神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者松田俊春神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者岩本弘神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者土屋主悦神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者石川勝哉神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

(57)【特許請求の範囲】

【請求項１】アナログ信号を第１のアナログバスより時
分割的に入力し、積和演算を行ってアナログ信号を第２
のアナログバスに出力するアナログニューロプロセッサ
の集合からなるニューラルネットワーク（18）と、該ニューラルネットワーク（18）のアナログバスに接続
されテストモード時において、指定された前記アナログ
バスに固定電圧を発生するダミーノード手段（６）と、テストモード時の第１の状態において前記第１のアナロ
グバスにダミーノード手段（６）を介して０ボルトを強
制的に入力し、前記第２のアナログバスからアナログニ
ューロプロセッサ内で発生されたオフセット電圧を検出
する誤差測定手段（20）と、前記各ニューロプロセッサのオフセット電圧からテスト
モード時の第２の状態において、前記ダミーノード手段
（６）から生成される固定電圧と乗算されるべき各ニュ
ーロプロセッサへの重みの中間的な重みを決め、第２の
アナログバスから出力される検出出力電圧からゲイン利
得を使って正しい重みを計算するディジタル制御手段内
の重み補正手段（19）と、該重み補正手段によって補正された重みを格納する重み
メモリ（14）と、前記ニューラルネットワークの動作を制御する制御パタ
ーンがシーケンサ（13）の制御によって順次読み出され
る制御パターンメモリ（12）とからなることを特徴とす
るニューロコンピュータにおける重み補正による誤差吸
収方式
【請求項２】前記重み補正手段は、ダミーノードの固定
電圧を０にしてオフセット電圧Q_fを求め、これにより誤
差計測用重みデータ（１−Q_f）を求める第１次補正手段
と、（１−Q_f）をダミーノードの１ボルトの電圧に対する中
間的重みとし、さらにオフセット電圧Q_fとから形成され
る混合誤差出力をQ_gとして加算器利得A_g＝（Q_g−Q_f）／
（１−Q_f）を求める第２次補正手段とよりなることを特
徴とする請求項１記載のニューロコンピュータにおける
重み補正による誤差吸収方式
【請求項３】前記ダミーノードはマックスバリューノー
ド回路から構成され、このマックスバリューノード回路
は固定電圧を発生する手段と、前記固定電圧をダミーノ
ード出力から所定タイミングに出力する手段よりなるこ
とを特徴とする請求項１記載のニューロコンピュータに
おける重み補正による誤差吸収方式
【請求項４】前記誤差検出手段はMPUからの指定に従っ
てテストモードを有効にするイネーブル信号と、マックスバリューノード回路の指定された出力電圧を０
ボルト電圧か０ボルトでない電圧かを選択するテストモ
ード信号と、各層の指定を行うレイヤ信号を生成するポ
ートレジスタ手段（701）と、前記イネーブル信号がイネーブル状態のときレイヤ信号
の状態に対応する層の入力側の入力アナログバスに前記
マックスバリューノード回路からテストモードの状態に
対応する固定電圧を生成することを有効にするためのイ
ネーブル信号を生成する制御手段（702,708,709,703,71
0）とからなるディジタル回路手段を具備することを特
徴とする請求項１記載のニューロコンピュータにおける
重み補正による誤差吸収方式
【請求項５】前記誤差検出手段は、各層の出力アナログ
バスの検出出力電圧を受けるバッファ手段（711）と、前記ディジタル回路手段から出力されるイネーブル信号
がイネーブル状態であるとき前記検出出力電圧を有効に
出力するスイッチング手段と、前記スイッチング手段に接続され前記検出出力電圧をMP
Uを含むディジタル制御手段側にディジタル量として出
力するA/D変換手段（707）を有することを特徴とする請
求項１記載ニューロコンピュータにおける重み補正によ
る誤差吸収方式。