JP2517662B2

JP2517662B2 - 連鎖制御装置

Info

Publication number: JP2517662B2
Application number: JP1019879A
Authority: JP
Inventors: 裕之都築; 秀一遠藤; 貴川崎; 俊春松田; 英樹吉沢; 宏基市來; 英樹加藤; 和雄浅川; 弘岩本; 主税土屋; 勝哉石川; 義英杉浦
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-01-31
Filing date: 1989-01-31
Publication date: 1996-07-24
Anticipated expiration: 2011-07-24
Also published as: JPH02201571A

Description

【発明の詳細な説明】〔概要〕１つのニューロンからなる処理ブロックの制御信号が
次の処理ブロックへ連鎖して信号伝送する連鎖制御装置
に関し、処理ブロックの制御信号がブロック間を連鎖し
て伝達することを容易にすることを目的とし、ニューラルネットワーク・システムにおけるニューロ
ンプロセッサに対応する複数の処理ブロックからなり、
１つの処理ブロックは他の処理ブロックからの出力信号
を受け取り、受け取った信号に所定の処理を施して出力
するシステムにおいて、複数の処理ブロックは、入力層、中間層、出力層の各
層にグループ分けされており、各層の内、少なくとも１つの層に属する処理ブロック
を直列に接続し、接続された処理ブロックによって順次
受け渡される連鎖制御信号を伝送する接続手段と、接続手段を介して処理ブロックに接続されており、接
続手段によって直列に接続された処理ブロックによって
順次受け渡される連鎖制御信号を、接続手段に伝送し、
処理ブロックによって順次受け渡されてきた連鎖制御装
置を受信する制御手段とを有し、接続手段で接続された処理ブロックは、連鎖制御信号
を受け取るとニューロンプロセッサとしての処理結果の
信号を出力し、該処理結果の信号の出力の完了後に、連
鎖制御信号を接続手段を介して伝送するように構成す
る。

〔産業上の利用分野〕

本発明は相互配線されたニューロンで構成されるニュ
ーラルネットのハードウェア化に係り、更に詳しくは、
１つのニューロンからなる処理ブロックの制御信号が次
の処理ブロックへ連鎖して信号伝送する連鎖制御装置に
関する。

近年、コンピュータ技術の進歩によって、高速なデー
タ処理が可能になってくるとともに、知的な情報処理の
ニーズが高まってきている。とくに最近注目されている
技術にニューラルネットがある。

ニューラルネットで構成されるニューロコンピュータ
はパターン認識、知識処理、機械制御、信号処理などに
利用され得ると考えられている。

ニューラルネットは、例えば、パターン認識では、文
字、画像、音声などの認識、機械制御では、ロボットな
どの制御、知識処理では、エキスパートシステムへの適
用、信号処理では、画像の圧縮、復元などへ適用でき
る。また、多くの組み合わせ問題の最適解を求める最適
化処理にも適用できる。このようにニューラルネットは
ニューロンをネットワーク状に接続することにより、超
並列処理を行い、学習機能をもった高度な情報処理を高
速に行うことができ、広範囲な分野での利用が期待され
ている。そしてニューラルネットの性能を引き出すため
に必要とされるニューロンのハードウェア化の実現が待
たれている。

〔従来の技術〕

第９図は、従来のバックプロパゲーション型のニュー
ラルネットの構成図である。同図においてH1〜H4は入力
層、I1〜I6は隠れ層、J1〜J3は出力層のニューロンであ
る。

ニューラルネットではユニット間の接続が完全グラ
フ、すなわち、１つのユニットは他のユニットにすべて
枝で接続され、その接続点における重みの値を変えるこ
とによって接続の強さを決めている。そして、現在のニ
ューラルネットの実行は、パソコン等を用いてソフトウ
ェアのシュミレーションで実現している。

〔発明が解決しようとする課題〕

このようなニューラルネットを集積回路として実現す
る場合、処理ブロック（ニューロン）の各ユニット間の
接続（リンク）の方法、ユニット内の各処理部の構成、
重みの設定方法、大規模化、高精度化、高速処理化が重
要となる。そのために、大量のユニット配置と膨大なユ
ニット間接続を必要とする大規模なニューラルネットを
構成することが難しいという問題点を生じていた。

従来は逐次計算機によるシミュレーションで実行して
いたため、ハードウェア化された大きなニューラルネッ
トは実用化されていないという問題点があった。

本発明は処理ブロックの制御信号がブロック間を連鎖
して伝達することを容易にすることを目的とする。

〔課題を解決するための手段〕

第１図（ａ）は、本発明のブロック図であり、複数の
ニューロンモデル（処理ブロック）を相互に接続するこ
とにより形成されるニューラルネットの構成を示す。

複数の処理ブロックからなるシステムにおいて、ｉ番
目の処理ブロックはｉ−１番目の処理ブロックから接続
手段１−１を介して連鎖入力制御信号CSi−１を入力
し、ｉ＋１番目の処理ブロックに連鎖出力制御信号を出
力し、制御出力１−２は、１番目の処理ブロックに対し
て最初の連鎖制御入力信号CS0を送り、最後の処理ブロ
ックｎからの連鎖制御出力信号CSnを入力する。各処理
ブロックが処理終了後に当該ブロックに対する連鎖制御
入力信号の入力によって結果を適当なタイミング時に時
分割出力し、出力処理の完了後に当該ブロックから前記
連鎖出力制御信号を出力するように制御する。

〔作用〕

本発明では、処理ブロックはｎ個からなり、個々に処
理を独立に実行することができる。処理ブロック（ｉ）
は処理ブロック（ｉ−１）から制御信号を入力し、処理
ブロック（ｉ＋１）に制御信号を出力する。制御ブロッ
ク１−２は、処理ブロック（１）に対して最初の制御信
号を送り、最後に処理ブロック（ｎ）よりの制御信号出
力により、すべての処理ブロックの処理が終了したこと
を伝達する。すなわち、第１図（ｂ）に示すように、連
鎖制御信号CS0,・・・CSi−１、CSi,CSi＋1,・・・CSn
が順次発生することにより処理ブロック（１），・・・
（ｉ−１）、（ｉ），（ｉ＋１）・・・（ｎ）の処理が
行われる。従って、複数の（プロセッサ等の）処理ブロ
ックをシーケンシャルに制御する場合に、処理ブロック
間の制御信号が連鎖して順次に伝達することにより、デ
バイス装置、システムの制御を行う。本発明では、制御
ブロックからすべての処理ブロックに対して制御のため
の接続は必要としないため、制御ブロックが簡単とな
る。また、接続している処理ブロックは隣接しているか
ら、配線も簡単になる。

〔実施例〕

次に本発明の実施例を図面を参照して説明する。

第２図は、本発明に用いられるニューロンモデルのブ
ロック図である。ニューロンモデルはニューラルネット
の各ノードにあたる処理要素であり、ユニットと呼ばれ
ている。神経回路網、すなわちニューラルネットの場合
には、ユニットと伝達線とを合わせてニューロン、すな
わちユニットと呼び、伝達線とユニットとの結合点をシ
ナプス結合と呼ぶこともある。それぞれの結合には重み
と呼ばれる量が付加されている。この重みはユニット間
の相互作用の強さを表すパラメータであって通常w_ihで
ユニットｈからユニットｉへの結合とその結合の重みの
両方をさす。ネットワークの学習は通常この重みを変化
させることで実現される。ニューラルネットの全ユニッ
トの内部状態をネットワークの状態というが、各ユニッ
トではx_iが内部活性化レベルと呼ばれる内部状態になっ
ている。

各ユニットｉは前段のユニットからの重み付入力を受
けて、その総和を計算し、その値に適当な非線形関数ｆ
をほどこしたものを出力とする。すなわち、ニューロン
モデルは第２図に示すように他のニューロンモデル、す
なわち他のユニットからの出力y_hに対して y_i＝ｆ（x_i）・・・・・（２）の処理を行って出力するものである。

ここで、y_hはユニットｈの出力、y_iはユニットｉの出
力、w_ihはｉユニットとｈユニット間のリンクの重み、
ｆは非線形関数、θは閾値である。

ニューラルネットは、このようなユニットをネットワ
ーク上に接続したものである。

各ユニットが入力の総和から次の新しい状態、すなわ
ち出力を決める場合、シグモイド関数に従うようにして
いる。このシグモイド関数は、入力の総和x_iが求まるととして出力y₁を求めるものである。このシグモイド関数
は一般に入力が大きいほど状態が１に近づき、しかもこ
のグラフの形はθによって変化する。

ニューラルネットにおける学習の方式は種々あり、例
えば誤り訂正型の方法が使われる。この方式は、ネット
ワークにある結合の重みのパターンをその時点で与え、
もし、そのパターンが間違っていた場合にはその結合の
重みを修正するという繰り返しによって最終的に正しい
パターンを求めるというものである。

すなわち、時刻Ｔにおけるパターンが入力された場合
に、それに対する最終の出力層にあるユニットの解が、
もし望むべき解でなければ、その誤差を小さくするよう
に重みw_ihを変えるようにして学習処理が行われる。こ
のような、学習処理においてはネットワークが正解と同
じ結果を出力した場合には、結合は変化させないが、正
解が例えば１であるのにネットワークの出力が０を出し
た場合には、ユニットの結合を例えば１だけ増加させ、
ネットワークの出力が１になるような方向へ修正してい
くことになる。従って、学習処理においては、重みw_ih
が任意に可変にできることが極めて重要になる。ネット
ワークを動作させ、得られた出力と正解とを比較し、そ
の誤差が小さくなるように結合の重みを修正していくこ
とになるが、集積回路上のユニット間の結合に対して各
ユニットが他のユニットにすべてハード的に結合された
完全グラフのニューラルネットでは、ユニット間の接続
は大量のユニットと膨大なユニット間接続を必要とする
ため、大規模なニューラルネットを構成することが非常
に難しくなる。

そのため、ユニット間の接続を減少させ、配線上では
１本の配線でユニット間を接続し、前段のユニットから
後段のユニットへは電圧値に異なるパルスを時分割で伝
送し、その電圧の振幅値を重みに対応して伝送するよう
にすれば完全グラフではない構造で集積回路が構成で
き、大量のユニットを等価的に接続することが可能とな
る。本発明はこのようにユニット間の伝送においてアナ
ログ電圧に対する時分割処理を行うものである。

この時分割処理を図面を参照して説明する。

第３図は完全グラフによるニューラルネットの概念図
である。同図においてH1、H2は前段のユニット、I1,I2,
・・・,Inは後段のユニットで、y_h1,y_h2は各ユニットの
出力信号である。前段の各ユニットH1,H2はそれぞれ後
段のユニットI1,I2,・・・,Inに共に接続され、例え
ば、H1はI1,I2,・・・Inに出力線によって接続されてい
る。すなわち、前段の各ユニットは後段のユニットにす
べて接続されている。学習時には例えば結合における重
み｛w₁₁,w₁₂,w₂₁,w₂₂,・・・w_n1,w_n2｝として適当なパター
ンを与え、ネットワークから出力された出力値が目的の
解でなければ、この重みパターンをその差が小さくなる
ように変えていく。このような場合、前段から後段への
パルスの伝送を同時に行うことができるが、集積回路上
では配線が非常に複雑になる。

第４図（ａ）は本発明のニューロンプロセッサの接続
の概念図である。同図においてU1,U2,・・・Unは第３図
における後段のユニット（I1,I2,・・・In｝であり、前
段のユニット｛H1,H2｝は示されていない。前段の各ユ
ニットから出力される出力信号は同じDATA−INPUTのバ
スＡに接続され、そのバスＡに後段のｎ個のユニットが
接続されている。同様に後段のユニット｛U1,U2,・・
・,Un｝からの出力もDATA−OUTPUTのバスＢに共通に接
続されている。従って前段のユニットから後段のユニッ
トへの接続はバスＡのみによって接続されるため、配線
上極めて小さくなり、集積回路としての実現性は極めて
高くなる。前段のユニットから後段のユニットへの伝送
時においては、重みに対応する振幅を有するアナログパ
ルス電圧が時分割で伝送される。

なお、第４図（ａ）でDATA−INPUTはアナログデータ
の時分割入力、DATA−OUTPUTは時分割アナログ出力であ
り、CS0〜CSnは連鎖出力制御信号、ｗ−DATA1からｗ−D
ATAnは重みデータである。そして、本発明では特に、処
理ブロックはｎ個からなり、個々に処理を独立に実行す
ることができる。処理ブロック（ｉ）は処理ブロック
（ｉ−１）から制御信号を入力し、処理ブロック（ｉ＋
１）に制御信号を出力する。制御ブロック１−２は、処
理ブロック（１）に対して最初の制御信号を送り、最後
に処理ブロック（ｎ）よりの制御信号出力により、すべ
ての処理ブロックの処理が終了したことが伝達される。
そして、本発明では、制御ブロック１−２からすべての
処理ブロックに対して制御のための接続は必要としない
ため、制御ブロック１−２が簡単となる。また、接続し
ている処理ブロックは隣接しているから、配線も簡単に
なる。

第４図（ｂ）は、第４図（ａ）に示すニューラルネッ
トを本発明を用いて実行した場合のタイムチヤートであ
る。ユニットH1、H2の出力y_h1、y_h2がDATA−INPUTより
時分割入力され、重みw₁₁，w₁₂がユニットU1にシーケン
シャルに入力され、上記（１）、（２）式の処理が行わ
れる。これと平行して、ユニットU2〜Unについても、y
_h1、y_h2及びw₂₁とw₂₂，・・・・・，w_n1とw_n2が入力され
てユニットU1と同様な処理が行われる。

以上が終了後に、制御ブロック１−２より連鎖出力制
御信号CS0がU1に入力され、U1はU1の出力y_I1をDATA−OU
TPUTへ出力する。次にU1はU2にCS1を出力し、U2はU2の
出力y_I2を出力する。このシーケンスがUnまで連鎖（伝
達）し、最後にUnより制御ブロック１−２へCSnを伝達
し、一連の処理を終了し、第３図に示したニューラルネ
ットが実行できる。

第５図は本発明のニューラルネットにおける伝送波形
の概念図である。同図において、上は第４図のニューラ
ルネットにおけるバスＡ上の信号を示し、下の図は後段
の出力線であるバスＢ上での電圧波形である。前段のユ
ニットH1から出力される電圧は正で値が大きい場合のパ
ルスでΔｔ間に振幅y_h1の電圧値となっている。ユニッ
トH2からは負の電圧が出力され、その振幅値y_h2は負に
なっている。このように、正、負が存在するのはニュー
ラルネットにおける各ニューロンが興奮性であるか、抑
制性のものであるかによって異なる為である。興奮性の
場合に、正、抑制性の場合に負の値のパルスが出るよう
にしている。これらの時分割のアナログ信号が後段のユ
ニットU1,U2に時分割で入力され、ユニット内の処理が
行われる。U1の内部処理が終了後、高さがy_I1の正の電
圧をΔｔ間にバスＢに出力する。そして、少し遅れて次
のタイミングで後段のU2は抑制性の振幅値y_I2のパルス
をバスＢに出力する。このように、本発明では各ニュー
ロン間での伝送は時分割多重化アナログ信号によるもの
となる。

第６図は、本発明のニューラルネットのユニットのブ
ロック図である。本発明のユニットでは入力部（Ｉ）、
掛算部（II）、加算部（III）、サンプル／ホールド部
（IV）、非線形関数部（Ｖ）、及び出力部（VI）から構
成されている。

第７図は、本発明のニューラルネットのユニットの詳
細図である。

入力部２はオフセットキャンセル部11と、１倍のバッ
ファ９から構成されている。１倍のバッファ９はオペア
ンプの出力を−端子にフィードバックし、＋端子に入力
電圧を入力することによって構成される。データ入力は
アナログの時分割されたパルス信号である。OCはオフセ
ットコントロール信号であり、これが１のときアナログ
スイッチ26がオンし、１倍のバッファ９には、０電圧が
強制的に設定される。一方、オフセットコントロール信
号OCが、０のときアナログスイッチ26はオフされ、アナ
ログスイッチの他方25がオンし、データ入力が１倍のバ
ッファ９に入力される。すなわち、オフセットコントロ
ール信号OCが１である場合には、ニューロンモデルのユ
ニットには０ボルトが強制的に入力されて次段の回路の
オペアンプの出力に生じるオフセット電圧に対するオフ
セットのキャンセルの動作を行うようにしている。

正負切換回路12は２つの倍数器をカスケード結合して
構成されている。倍数器では入力抵抗（10KΩ）とフィ
ードバック抵抗（10KΩ）によって10/10、すなわち１倍
の電圧の反転したものが形成され、それを１段だけを通
すか、２段を通すかによってアナログ電圧の符号を決定
している。その制御電圧はデジタル重みデータの符号ビ
ット（SIGN）であり、このSIGNビットはMOSスイッチ30
のゲートに接続されている。符号ビットが１である場合
に入力部２からの入力電圧は第１段目の倍数器で反転さ
れ、さらにスイッチ27もオンしているので後段の倍数器
も通り、結果として正相となる。また符号ビットが０で
ある場合には、反転回路28を介して、スイッチ29がオン
となる。この時スイッチ27と30はオフしているため、入
力部２からの入力電圧はスイッチ29を介して後段のオペ
アンプ31の−端子に入力される。従って、前段の抵抗32
と後段のオぺアンプのフィードバックの抵抗33とによっ
て倍数器が形成され、１倍された形で反転される。すな
わち、符号ビットの正負によって入力部２の入力が、正
または負の電圧として形成され、これが、興奮性と抑制
性のシナップス結合に従った電圧となる。正負切換回路
12からの出力は掛算部３の中にあるD/Aコンバータ13の
Ｒ−2R抵抗回路網の34の点に入力される。

Ｒ−2R方式のD/Aコンバータをまず説明する。MSBから
LSBまでのデジタル重みによって内部のスイッチはオン
またはオフをとる。デジタル値が１である場合に、電流
は右側のスイッチ35を通って、オペアンプ36の仮想接地
点37′に流れ込む。オペアンプ36の仮想接地点37′は＋
端子と同じ電圧になるように制御され、これがグランド
であるから仮想的な０ボルトである。スイッチの状態に
関わらず、2Rの抵抗には電流が流れ、デジタル値の値に
従ってその2Rに流れる重み電流が仮想接地点37′の方に
流れるかどうかが決定される。１番右の2Rに流れる電流
をｉとする。右から２番目すなわちLSBに対応する2Rに
流れる電流は１番右の2Rに係る電圧を2Rで割った値であ
るから2R×ｉ÷2Rでｉとなる。従って１番右の横方向の
Ｒには電流2iが流れる。右から３番目の2Rには2R×ｉ＋
Ｒ×2iの電圧がかかり、これを2Rで割るから2iの電流が
流れる。以下同様で左に行くに従って4i,8iとなって２
のべき乗で増える電流になる。この２のべき乗になった
重み電流をオペアンプの方に流すか流さないかを決めて
いるのがMSBからLSBである。従って、デジタル重みに対
応する電流が２のべき乗の形で仮想接地に入りこみ、オ
ペアンプの入力インピーダンスは無限大であるから、こ
の電流がオペアンプ36の帰還抵抗37に流れる。従って、
D/Aコンバータの出力電圧V_OUTは入力電圧をＥとすれ
ば、となる。ここで、D₀はLSBで、D_n-1がMSBであるとする。
すなわち、掛算部３の出力は入力電圧に重みを掛けた値
になっている。その重み係数はMSBからLSBに入力される
デジタル値で制御されることになる。

時分割多重化アナログ信号の各電圧とデジタル重みデ
ータとの各積を時分割的にキャパシタを介して加えるこ
とにより積分動作を実行する。そして、サンプル／ホー
ルド回路（IV）は、加算結果をサンプル／ホールドす
る。

次に加算部４を説明する。加算部４はR_T38を帰還キャ
パシタC_Tによる積分器である。加算部４の入力部には時
分割加算制御部15があり、サンプル／ホールド信号S/H
信号が１のとき掛算部３の出力電圧がオペアンプの仮想
接地点39に入力され、S/H信号が０のとき反転回路40に
よりスイッチ41がオンとなって掛算部の出力がR_Tを介し
てグランドに接続されるので加算部４の帰還キャパシタ
C_rには加算されないことになる。今、S/H信号が１のと
き、掛算部３の出力電圧はR_Tを介してオペアンプの−端
子39に入力し、入力電圧をR_Tで割った電流が仮想接地を
介して帰還キャパシタC_Tの方に入力される。キャパシタ
C_Tを含む積分回路の帰還回路42には４つのスイッチを用
いてオフセットキャンセル機能が付加されている。今オ
フセットコントロール信号OCが１になったとすると、ス
イッチ43と44がオンで、45と46がオフとなる。オフセッ
トコントロールOCは入力部２にも入力され、これが１で
ある場合にはデータ入力は強制的には０にされる。この
場合、正負切換回路12及び掛算部のD/Aコンバータ13を
介してもしオフセットがなければ、D/Aコンバータの出
力は０ボルトとなる。しかし、オペアンプがあるために
オフセット電圧が生じ、そのオフセット電圧が加算部の
C_Tに蓄えられる。オフセットコントロール信号OCが０の
ときには、データインプットに入力電圧が与えられ、そ
れに対応する掛算部の出力がRtを介してC_Tに入力され
る。この場合、前のオフセットコントロ−ル信号が１で
ある場合と違ってC_Tの＋−の極性は逆である。そのた
め、入力信号が入力された時に生じるオフセット電圧は
OCを１にすることにより、C_Tの極性が変わり、結果とし
て、オフセットがキャンセルされることになる。本発明
では、このように、キャパシタC_Tの極性の反転を用いて
等価的にオフセットキャンセル機能を有するように構成
されている。なお、スイッチ47はリセット信号によって
制御され、リセット信号が与えられた場合に、加算部の
出力を強制的に０にリセットするものである。

加算部４の出力はサンプル／ホールド部５の入力とな
る。サンプル／ホールド部５では、サンプル／ホールド
制御信号S/H_OUTが１である場合に、スイッチ48を介して
加算部４の出力がコンデンサC_hに蓄えられる。S/H_OUT制
御信号が１である場合には、反転回路54′によってスイ
ッチ50の制御信号は０となり、コンデンサC_hの一方の端
子はグランドに接地されず、スイッチ51がオンになるこ
とによりユニットの最終出力データの信号がそのスイッ
チ51を介して入力される。すなわち、その時の最終出力
信号がフィードバックされてコンデンサC_hの下側に与え
られる。従って、コンデンサC_hには、加算器の出力から
最終出力データの値を引いた電圧が保持される。一方S/
H_OUT制御信号が０のときには、スイッチ49と50がオン
し、コンデンサC_hの下側はグランドとなり、結果として
C_hに蓄えられた電圧、すなわち加算部の出力から最終出
力値を引いた電圧値がスイッチ49を介して１倍のオペア
ンプの＋側に入力される。そしてバッファ53を介してシ
グモイド関数の入力となる。また、S/H_out制御信号が１
のときスイッチ48がオンし、C_hには加算器の出力値と最
終出力値との差の電圧が蓄えられているときには、スイ
ッチ52がオンしている。そのためバッファ53には０ボル
トが強制的に入力される。この時にシグモイド関数及び
オペアンプを介してデータアウトにはオフセット電圧が
生成される。これがスイッチ51を介してC_hの下側に入力
される。従ってS/H_OUT制御信号が０の時点、すなわちス
イッチ49がオンでスイッチ52がオフである場合には、C_h
に蓄えられた電圧、すなわち（加算部の出力−オフセッ
ト電圧）がバッファ53とシグモイド関数を介して最終出
力になるが、オフセットコントロール信号OCが１になる
と、この時に生成されるオフセット電圧もΔｖであるか
ら結果としてオフセット電圧がキャンセルされることに
なる。

シグモイド関数を生成する非線形関数部（Ｖ）は非線
形回路選択制御部があり、SelSig信号を１にするとスイ
ッチ55がオンし、シグモイド関数の出力が次段に入力さ
れる。しかし、SelSig信号が０の時には反転回路57を介
してスイッチ58の制御信号が１となってそれがオンし、
シグモイド関数の出力はカットされる。すなわちSelSig
信号が０の時には、サンプル／ホールドの出力電圧がシ
グモイド関数を介さずに直接オペアンプ56に入力され
る。オペアンプ56は本質的には出力を−端子に直接帰還
する１倍のオペアンプでバッファの働きをする。すなわ
ち出力インピーダンスを０にするバッファとなる。

出力部７には時分割アナログ出力部24と出力制御部23
が接続されている。CS_inが１のときにはスイッチ59がオ
ンで、スイッチ61もオンであるため、最終出力値が−端
子にフィードバックされて、１倍のオペアンプとして働
く。それと同時に最終出力値がサンプル／ホールド部５
にフィードバックされる。一方、CS_inが０のときスイッ
チ60がオンになり、スイッチ61がオフになる。すなわち
バッファ56の出力はデータアウト線には出力されないこ
とになる。しかし、スイッチ60がオンすることによって
１倍のバッファを形成するようにしているため問題なく
実行される。出力部７は出力制御入力信号CS_inによって
出力パルス電圧を伝達するかどうかを決める回路であ
る。このCS_inをディレイ回路62を介してCS_outとして出
力し、他のニューロンに対する出力アナログ信号の時間
タイミングを決定することになる。そして、このディレ
イ回路62の遅延量は１つのニューロンの少なくとも処理
時間以上とする。このため、本発明では出力部７からの
アナログ信号は時分割で伝送されるため、他のニューロ
ンからのアナログ信号と競合しない。ディレイ回路62は
例えば所望段数のＤ−FFで構成すればよい。

次に本発明のタイミング図を説明する。

第８図は本発明のユニットにおけるタイミングチャー
トである。ｗデータは掛算部３のD/Aコンバータに入力
されるデジタル信号で、重みデータの各ビットはＷ−CL
K（図示せず）に同期している。例えば、第７図におい
て、w₁に対応するパルスパターンが与えられ、その後
w₂,w₃に対応するパルスパターンが与えられている。S/H
信号は加算部４の入力にある時分割加算制御部15に与え
られる信号である。S/H信号が１のとき掛算部の出力が
積分器の帰還キャパシタC_Tに入力される。最初のS/H信
号の立ち上がりでデータインプットＤが入力されたとき
の掛算部の出力、すなわち入力されたパルス電圧の総和
が加算部４のC_Tキャパシタに入力される。このとき掛算
部３内のD/Aコンバータ13に与えられるデジタル量はw₁
であり、このW₁に対応する入力データが波形D₁に示すよ
うに正の電圧として与えられている。これがキャパシタ
C_Tに蓄えられる。そして、オフセットコントロール信号
OCが与えられると、この時S/H信号も正であるので、入
力部２のオフセットキャンセル部の制御により、入力は
０ボルトとなり、この０ボルトに対応するオフセット電
圧が加算部４のC_Tキャパシタに与えられる。このときC_T
は極性を反転するため、その前のS/H信号の立ち上がり
によってセットされていた電圧からオフセット分をキャ
ンセルすることになる。このように蓄えられた電圧がC_T
に保持され、次にＷ−CLKの各タイミングで異なるニュ
ーロンからの入力D₂とD₃がそれぞれ重みw₂,w₃に掛けら
れて加算部４に入力される。正負切換回路からの出力は
正相で、D/Aコンバータでは正の重みが与えられるの
で、反転され、図に示すようにマイナス方向に電圧が生
じる。これらの出力電圧はC_Tに蓄えられるが、これが前
のC_Tに蓄えられた電圧と加算される。このように本発明
では時分割的に入力と重みとの積の和がC_Tに蓄えられ
る。そして第７図の出力部に示されるように、CS_inが入
力された時点で、C_Tに貯えられた電圧がシグモイド関数
を介してD_outとして出力される。また、CS_outはCS_inの
パルスが終わってから少なくとも当該ニューロンの処理
時間以上のディレイ時間だけたって出力され、他のユニ
ットに伝送される。

このように、本発明のニューロンプロセッサは、入力
部より入力される時分割のアナログデータを掛算部（I
I）で重みデータと入力データの積が計算され、次段の
加算部（III）で加算される。従ってユニットの内部活
性化レベル（（１）式）が求められる。そして、次段の
データメモリのためのサンプルホールド部（IV）を介し
て、非線形関数部（Ｖ）へ入力され、出力部（VI）から
演算結果が時分割出力される。

そして、第８図に示すように、このニューロンプロセ
ッサに入力されるデータ（DATE−INPUT）は、D₁→D₂→D
₃と時分割に入力される。D₁が入力されると同時に重み
のデータ（ｗデータ）も入力され、プロセッサ内部で前
記の処理（（１）式）が行われる。次に入力されるD₂、
D₃についてもD₂に対する重みデータw₂、D₃に対する重み
w₃がプロセッサに入力されて積和（D₁×w₁＋D₂×w₂＋D₃
×w₃）の処理が内部で行われる。そして、さらに閾値関
数の処理部で出力（（２）式）が演算される。

以上でニューロン内の演算は終了し、連鎖出力制御信
号CS_inの入力によって、結果を時分割し、出力処理の完
了後に連鎖出力制御信号CS_outを出力する。

本発明はこのニューロンプロセッサの出力部（VI）に
適用されている。ニューラルネットは多数のユニットか
ら構成されており、ニューラルネットをハードウェア化
する際には、ユニット間の配線とユニットの制御が課題
となっていたが、第７図に示した本発明のニューロンプ
ロセッサはこの問題を時分割でアナログデータ入出力と
本発明の連鎖出力制御によって解決した。第４図（ａ）
に示すように、本発明では、時分割でアナログデータの
入力することによりニューロンプロセッサの入力は１本
となっている。そして、出力も入力と同様にアナログデ
ータの時分割出力となって、１本で構成される。従って
ニューラルネットのハードウェア化が非常に有利になっ
ている。

さらに出力部（VI）に本発明を適用することによっ
て、時分割でのアナログデータの出力制御が簡単とな
り、ハードウェア化も非常に容易になっている。

〔発明の効果〕

本発明によれば、複数の処理ブロック間の制御が簡単
に行えると同時に、制御ブロックからすべての処理ブロ
ックに対して制御を行う必要がなくなるため、制御ブロ
ックが簡単になる。また、処理ブロック間の接続は近接
しているから、ハードウェア化が容易である。

【図面の簡単な説明】

第１図（ａ）は、本発明のブロック図、第１図（ｂ）は、本発明のタイムチャート、第２図は、本発明に用いられるニューロンモデルのブロ
ック図、第３図は完全グラフによるニューラルネットの概念図、第４図（ａ）は本発明のニューロンプロセッサの接続の
概念図、第４図（ｂ）は、第４図（ａ）に示すニューラルネット
を本発明を用いて実行した場合のタイムチャート、第５図は本発明のニューラルネットにおける伝送波形の
概念図、第６図は、本発明のニューラルネットのユニットのブロ
ック図、第７図は、本発明のニューラルネットのユニットの詳細
図、第８図は、本発明のユニットにおけるタイミングチャー
ト、第９図は、従来のバックプロパゲーション型のニューラ
ルネットの構成図である。１−１…接続手段、１−２…制御ブロック、２…入力
部、３…掛算部、４…加算部、５…サンプル／ホールド
部、６…シグモイド、７…出力部、12…正負切換回路、
13…D/Aコンバータ、15…時分割加算制御部、23…出力
制御部、62…ディレイ．

───────────────────────────────────────────────────── フロントページの続き (72)発明者松田俊春神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者吉沢英樹神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者市來宏基神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者加藤英樹神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者浅川和雄神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者岩本弘神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者土屋主税神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者石川勝哉神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者杉浦義英神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

(57)【特許請求の範囲】

【請求項１】ニューラルネットワーク・システムにおけ
るニューロンプロセッサに対応する複数の処理ブロック
からなり、１つの処理ブロックは他の処理ブロックから
の出力信号を受け取り、受け取った信号に所定の処理を
施して出力するシステムにおいて、前記複数の処理ブロックは、入力層、中間層、出力層の
各層にグループ分けされており、前記各層の内、少なくとも１つの層に属する処理ブロッ
クを直列に接続し、接続された処理ブロックによって順
次受け渡される連鎖制御信号を伝送する接続手段と、前記接続手段を介して処理ブロックに接続されており、
前記接続手段によって直列に接続された処理ブロックに
よって順次受け渡される連鎖制御信号を、前記接続手段
に伝送し、処理ブロックによって順次受け渡されてきた
連鎖制御信号を受信する制御手段とを有し、前記接続手段で接続された処理ブロックは、連鎖制御信
号を受け取るとニューロンプロセッサとしての処理結果
の信号を出力し、該処理結果の信号の出力の完了後に、
連鎖制御信号を前記接続手段を介して伝送することを特
徴とする連鎖制御装置。
【請求項２】前記処理ブロックは、時分割のアナログデ
ータが入力される入力部と、前記アナログデータと重み
データとの積を計算する掛算部と、前時刻に得られた積
と前記積との加算を行う積分器と、非線形関数を前記積
分器の演算結果に適用して得られた前記処理結果の信号
を時分割出力する出力部とからなり、前記出力部は、前記連鎖制御信号の入出力を行い、前記
連鎖制御信号の入力によって前記処理結果の信号を時分
割出力し、該時分割出力の完了後に前記連鎖制御信号を
前記接続手段で接続された他の処理ブロックの出力部へ
出力することを特徴とする請求項１記載の連鎖制御装
置。
【請求項３】前記各処理ブロックからの連鎖制御信号は
所望の遅延量を有するディレイ回路を介して出力される
ことを特徴とする請求項１記載の連鎖制御装置。