JP2752109B2

JP2752109B2 - 集積回路及び半導体装置

Info

Publication number: JP2752109B2
Application number: JP63286693A
Authority: JP
Inventors: 健島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1988-11-15
Filing date: 1988-11-15
Publication date: 1998-05-18
Anticipated expiration: 2013-05-18
Also published as: JPH02133888A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明は、文字認識・音声認識等の識別問題、ロボ
ット等の運動の最適制御問題、一般のプロセス制御問
題、ニューロコンピューター等に広く利用される集積回
路及び半導体装置に関し、特に拡張の容易となるように
構成された多層パーセプトロン回路装置に関する。

（従来の技術）パーセプトロンは1940年代にローゼンブラットらによ
り考案された層構造を持つニューラルネットワークであ
る。一般にこの層を多数持つパーセプトロンを多層パー
セプトロンと呼び第17図で示すような構成を有してい
る。この様な構成は小脳あるいは大脳皮質にある神経細
胞の結線態様によく似ていることが知られており、その
情報処理能力に関する数学的解析がひろく行われてい
る。例えばコルモゴロフの「ｎ（2n＋１）個のニューロ
ンを持つパーセプトロンは任意のｎ変数の連続関数を表
すことができる」という定理などがある。この多層パー
セプトロンのパラメータはニューロン間のサイナップス
接続の結合荷重であり、このパラメータを学習方程式と
呼ばれる偏微分方程式にしたがって更新していくことで
自己組織または適応形のネットワークを構成する事がで
きる。最近ルンメルハートらによって誤差逆伝ぱん学習
アルゴリズムが開発され上記パラメータが最急下法によ
り求められることが発見された。この様な歴史的背景を
持つ多層パーセプトロンを第17図にしたがって詳細に説
明する。

第17図は三層パーセプトロンの場合を示している。第
１層は入力層と呼ばれ一般に複数n_s個のS_i（ｉ＝1,2,…
…,n_s）なるニューロンからなる。第２層は中間層と呼
ばれA_i（ｉ＝1,2,……,n_A）なるニューロンからなる。
第３層は出力層と呼ばれR_i（ｉ＝1,2,……,n_R）なるニ
ューロンからなる。ただし、図では便宜上n_s＝n_A＝n_R＝
３の場合について示す。サイナップス接続の結合荷重は
RS_ij、RA_ij（i,j＝1,2,3）で表わされている。第17図に
おいて信号は左から右に伝ぱんするものとする。中間層
および出力層のニューロンA_iあるいはR_iには、それぞれ
結合荷重RS_jiあるいはRA_jiで荷重の施された入力層ある
いは中間層のニューロンからの信号の総和が入力され
る。

各ニューロンでの入力信号と出力信号とは通常、例え
ばロジスティック関数等単調増加の特性を有する非線形
関数による写像関係にある。

また、入力層ニューロンへの入力は外部より感覚器官
刺激信号に類似した信号をそれぞれのニューロンへあた
えることによりなされるものとし、また入力層以外のニ
ューロンへの入力に対してはそれぞれで表わされるような荷重和演算が施されるものとする。
次に上記の誤差逆伝ぱん学習アルゴリズムを説明する。
これは最終層すなわち出力層にのみ教師信号が与えられ
る場合の学習アルゴリズムであり、次の式により、各荷
重値の更新が行われる。ニューロンの入力信号y_i（ｔ）
から出力信号への写像をＦ（＊）としたとき、 R_ij（ｔ＋△ｔ）＝αR_ij（ｔ）＋ηε_jF（y_i（ｔ）） …… ここで、R_ijはRS_ijおよびRA_ijを代表し、ηは上記更
新式による各荷重値の最終的な値への遷移の緩和を定め
るための緩和係数であり、ε_ｊは誤差情報を有する信号
でありニューロンが出力層にあるときは、 ε_ｊ＝（T_j−Ｆ（y_j（ｔ）））Ｆ′（y_j（ｔ）） …… で与えられ、ここで、T_jは出力層内ニューロンｊに加え
られる教師信号を表わし、Ｆ′（＊）はＦ（＊）の微分
形を表わす。またニューロンが最終層にないときには、
このニューロンにおける誤差信号ε_ｊはこのニューロン
に出力側に隣接するニューロンにおけるε_ｋを用いてで与えられる。

また、αは忘却係数と呼ばれる。α＝１は忘却のない
場合に対応し、αが１より小さいほど速かに忘却のなさ
れる場合に対応する。

（発明が解決しようとする課題）上記多層パーセプトロンおよびそのパラメータの学習
方式、例えば上記誤差逆伝ぱん学習アルゴリズム等は、
従来第17図で示すごとく模式的に表わされるかまたは簡
単なブレッドボードによる回路が組まれているに過ぎ
ず、また上記学習アルゴリズム等は机上計算あるいはコ
ンピューターによるシュミレーション実験でその能力が
調べられているに過ぎず、例えば集積回路への具体的実
現方法に関する知見に欠けていた。

多層パーセプトロンを集積回路として実現するに際し
ての第１の問題点としては前記第17図で示される多層パ
ーセプトロンの配置・配線をどのように行うかという問
題がある。一般に、互いに向かい合う層間の相互結線
は、層内のニューロン数をｎとしたときn²本必要とな
り、ｎが大きいときには例えば配線が多層に重ならない
ようによく洗練された配置・配線法が要請される。更
に、集積回路といえども何千万・何億素子も集積できる
わけではないので、複数の集積回路を容易に結線できる
拡張容易性もまた要請される。第２の問題点としては上
記誤差逆伝ぱん学習アルゴリズムに関する問題があげら
れる。すなわち、上記アルゴリズムにおいては最急下法
の適用可能性が示されてはいるが、アルゴリズムをどの
様に分けて回路のビルディングブロックを実際に構成す
るかという知見に欠けていた。さらに第３の問題点とし
ては構成された大規模多層パーセプトロン回路装置をい
かにして一様動作させるかと言う技術を考案することも
また要請されている。

従って、本発明の目的は上記多層パーセプトロンおよ
びその学習方式、例えば上記誤差逆伝ぱん学習アルゴリ
ズムに代表される学習アルゴリズムを集積回路及び半導
体装置上に実現する具体的手段を提供することにある。

［発明の構成］（課題を解決するための手段）本発明は上記目的を達成するために、第１に、複数の
入力信号に所定の演算を施すことにより少なくとも一つ
以上の出力信号を出力する集積回路において、処理され
るべき入力信号が前記回路に入力されるための複数の信
号入力端を含む入力部と、演算が施された出力信号が前
記回路から出力されるための複数の信号出力端を含む出
力部とが空間的に略直交するよう配置され、かつ各交点
上に配置された演算部はそれぞれ入力部より入力を受
け、それぞれ出力部より、他の演算部の出力とあわせて
出力することを特徴とするものであり、また、同じく複
数の入力信号に所定の演算を施すことにより少なくとも
一つ以上の出力信号を出力する集積回路において、処理
されるべき入力信号を前記回路に入力するための複数の
入力線路と、演算が施された出力信号を前記回路から出
力するための複数の出力線路とを空間的に略直交するよ
うに配置され、かつ各交点上に配置された演算部はそれ
ぞれ入力部より入力を受け、それぞれ出力部より、他の
演算部の出力とあわせて出力することを特徴とするもの
である。

また、本発明は第２に、半導体装置において、ｎ（複
数）次元の入力信号からｎ（複数）次元の出力信号を得
る第１の集積回路と、ｎ（複数）次元の入力信号から少
なくとも一つ以上のｍ次元の出力信号を得る第２の集積
回路をそれぞれｌ（複数）個具備し、第１の集積回路の
出力部と第２の集積回路の入力部とが周期的に対向する
ように配置されたことを特徴とするものである。

さらに、本発明は第３に、入力信号が入力されるため
の複数の信号入力端を含む入力部と出力信号が出力され
るための複数の信号出力端を含む出力部とが空間的に略
直交するよう構成された集積回路を含む半導体装置にお
いて、第１の集積回路の出力部と第２の集積回路の入力
部とが対向するよう配置され、入力値の変化に対して単
調増加の関数特性を持つ演算回路を介して接続されたこ
とを特徴とするものである。

（作用）上記のように、この発明の集積回路は、入力部と出力
部、あるいは複数の入力線路と複数の出力線路とが空間
的に略直交するように配置して構成し、かつ交点上に配
置され入力部または入力線路から入力した演算部が、他
の演算部の出力とあわせて出力する出力部を有するよう
に構成したので、複数の演算部が同時に処理を行って同
時に出力しても、信号間の競合は回避され、多層化ない
しは大規模化が可能となる。

また、半導体装置において、ｎ次元の入力信号からｎ
次元またはｍ次元の出力信号を得る第１、第２の集積回
路は、第１の集積回路の出力部と第２の集積回路の入力
部とが周期的に対向するように配置したので、任意の段
数による拡大構成が可能となり、拡張性が容易に確保さ
れる。

さらにまた、入力部と出力部とが空間的に略直交する
ように配置して構成された集積回路を含む半導体装置に
おいて、対向配置の２つの集積回路間に入力値の変化に
対して単調増加の関数特性を持つ演算回路を介在させた
ので、各入出力部間の結線の簡素化が実現し、規則的な
構成と多層化による回路規模の拡大が可能である。

（実施例）以下、図面を参照しながら本発明の実施例について説
明する。なお、以下の説明では、この発明による集積回
路及び半導体装置の一実施例は、具体的に多層パーセプ
トロン回路装置において実現した場合を例として説明す
る。

一般に、本発明の多層パーセプトロン回路装置にあっ
ては、その荷重演算を行うブロックであるサイナップス
ブロックを第１図に示すように構成する。すなわち、サ
イナップスブロック１は複数ｎ×ｍ個のサイナップス
２、同じ方向に配列されたｎ本の信号線路から構成され
る第１の配線３およびｍ本の信号線路から構成された第
２の配線４を有しており、各サイナップス２は第１の配
線３から信号を入力し所定の重み係数をもって荷重演算
を行いその結果を第２の配線４に出力する。

第１図に示されるように、複数ｎ×ｍのサイナップス
２は全体として格子状に配列されている。従って、サイ
ナップスブロック１は、複数次元の入力信号から、複数
次元の出力信号を得るよう構成される。第１図に示され
るように隣り合う４つのサイナップスの定める１つの基
本格子を任意に選んだとき、その対向する２つの辺a,b
の定める方向、すなわち、第１の配線３の方向が第１の
方向、同様に対向する２つの辺c,dの定める方向、すな
わち第２の配線４の方向が第２の方向であり、図示のよ
うに、入力部ないしは入力線路の第１の方向と、出力部
ないしは出力線路の第２の方向とは、空間的に略直交し
て配置される。

また、サイナップスブロック１の外縁にはニューロン
ブロック５が設けられている。ニューロンブロック５は
複数ｎのニューロン６を有している。ニューロンブロッ
ク５はその外部から入力された信号に所定の変換を施
し、その結果を第１の配線３を介してサイナップスブロ
ック１に出力する。ニューロンブロック５内ニューロン
６はサイナップスブロック１内第２の配線４の方向に配
列されている。

サイナップスの配置態様として第１図に示すところの
ものに限られるわけではなく任意の格子状配列、例えば
長方形もしくは四辺形格子状配列とすることができる。

第２図に、第１図に示されるサイナップスブロックと
ニューロンブロックとの組合せを２段繰り返した構成を
有する本発明の多層パーセプトロン回路装置７を示す。

ニューロンブロック８および９はそれぞれサイナップ
スブロック10あるいは11に信号を供給するためのもので
あり、第１図のニューロンブロック５と同一の機能を有
する。

すなわち、図において矢印は信号の流れる方向を示す
が、ニューロンブロック９の信号入力側と出力側にそれ
ぞれサイナップスブロック10および11が配置されてお
り、このときニューロンブロック９内複数個のニューロ
ンの配列方向はサイナップスブロック11内第２の配線方
向およびサイナップスブロック10内第１の配線方向に等
しい。

なお、第２図には便宜上反復段数が２の場合を示した
が、この段数は任意であり、この段数を容易かつ合理的
に、任意の段数に構成できるという点に、本発明の主要
な効果の１つが存する。

第３図に第２図の出力層ニューロンブロック12の構成
態様を示す。すなわち、ニューロンブロック12は複数ｍ
のニューロン13を有しており、これらのニューロン13は
サイナップスブロック11の第１の配線の配列方向の外縁
にサイナップスブロック11の第１の配線の配列方向に配
列されている。

一般に、例えば多層パーセプトロン回路装置７が自己
学習機能を有するような場合、ニューロン６と13との構
成は異なる。

本発明の多層パーセプトロン回路装置はこのような一
般的な構成を有するものであるが、次にその具体的実施
例を述べる。第４図に本発明の実施例の自己学習機能を
有する多層パーセプトロン回路装置14におけるニューロ
ンブロックとサイナップスブロックの配置態様を示す。

本発明の多層パーセプトロン回路装置14は、第２図に
おけるニューロンブロック９とサイナップスブロック11
との組合せを４段反復して構成されており、ニューロン
ブロック15,16,17,18,19とサイナップスブロック20,21,
22および23を有している。

このように、複数（ｌ）のサイナップスブロック20,2
1,22及び23はそれぞれ互いに出力部と入力部とが周期的
に対向配置される。

第５図に示されるのは、多層パーセプトロン回路装置
14の出力層教師信号入力用のニューロンブロック19を含
む部分であり、信号の流れにおいて最終段サイナップス
ブロック23と、サイナップスブロック23の外縁に配置さ
れ、サイナップスブロック23に信号を出力するためのニ
ューロンブロック18を有している。

第５図に示すように、ニューロンブロック18はサイナ
ップスブロック23の第２の配線24の配列方向に配列され
る複数ｎ個のニューロン25から構成される。

ニューロンブロック19はサイナップスブロック23の第
１の配線26の配列方向に配列される複数ｍ個のニューロ
ン27から構成される。

サイナップスブロック23は格子状に配列されたｎ×ｍ
個のサイナップス28、第１の配線26、第２の配線24、誤
差信号入力用配線29、誤差信号出力用配線30から構成さ
れる。第５図に示されるように、第１の配線26及び第２
の配線24の配列方向はサイナップス28の内部構成もしく
は入出力端子の配置態様から自と定まる。

本実施例の多層パーセプトロン回路装置14は前記誤差
逆伝ぱん学習アルゴリズム方式による自己学習機能を実
現したものであり、各サイナップスで荷重演算を施され
て多層パーセプトロン回路装置14を伝ぱんする信号とは
逆の方向、すなわち、ニューロンブロック19からサイナ
ップスブロック23へ、さらにニューロンブロック18の方
向へ誤差信号が伝ぱんしてゆき、各サイナップス内荷重
値を更新してゆく。

第６図はサイナップス28の構成を示す。サイナップス
28は荷重乗算部31と２つの乗算手段32,33を有する。荷
重乗算部31は第１の配線26から信号を入力し、演算結果
を第２の配線24に出力する。

第７図にサイナップス28内荷重乗算部31の構成を示
す。この荷重乗算部31は第１の配線26から信号を入力
し、この信号値にギルバートマルチプライアーにより所
定の乗率を乗算し、その結果を第２の配線24に出力す
る。この際の乗率は可変電圧源部34における電圧設定を
通じて設定される。この乗率が前記サイナップスの荷重
値に相当する。

第８図に前記可変電圧源部34の構成を示す。可変電圧
源部34は、静電容量部35、MOSスイッチ回路36、MOSスイ
ッチ回路36と静電容量部35との間に設けられた抵抗37と
からなる、電圧121を発生させる部分と、同様な構成を
有する電圧122を発生させる部分とからなり、MOSスイッ
チ回路36、MOSスイッチ回路40制御のため制御信号φ、
および乗算手段32の出力である作動対信号101を構成す
る２つの成分101aおよび101bを入力している。

第９図にサイナップスブロック23内電流電圧変換部41
の構成を示す。各電流電圧変換部41はサイナップスブロ
ック23内第２の配線24の各々の信号線に対して設けら
れ、一端が電源に接続された抵抗を有しそれが接続され
ている信号線に接続されている電流源としての各サイナ
ップスからの電流出力の総和に比例した電位をその接続
されている信号線上に発生する。

この電位は第２の配線内各信号線を介して隣接するニ
ューロンブロック19にサイナップスブロック23出力とし
て出力される。この様な構成をとることにより拡張容易
性が実現される。

なお、第９図においては各サイナップス28はその出力
がその外部からの信号により制御される電流源の記号を
もって表示されている。

第10図はニューロン25の構成を示す図である。各ニュ
ーロン25は第２の配線を通じて隣接するサイナップスブ
ロックから入力された信号102に、関数変換部42にてロ
ジスティック関数による変換を施しサイナップスブロッ
ク23の第１の配線26に出力するものであり、この関数変
換部42の他に、多層パーセプトロン回路装置14の自己学
習機能を実現するため微分関数変換部43、および乗算手
段45を有する。また、隣接するサイナップスブロックか
ら誤差信号出力用配線30を介して誤差信号ｍを入力す
る。

第11図にニューロン25内関数変換部42の構成を示す。
関数変換部42は差動増幅器により、入力された信号102
の入力値の変化に対して単調増加の関数特性を持つ演算
回路を構成する。第11図に示される構成方法をとること
によって関数変換部42を簡単に構成することが可能とな
る。

第12図は教師信号を入力する出力層ニューロンブロッ
ク19内ニューロン27の構成を示す。ニューロン27は前記
ニューロン25と同様に関数変換部42の他に、自己学習機
能実現のため微分関数変換部43、乗算手段45を有し、ま
た減算手段46を有する。

第13図はニューロン27内減算手段46の構成を示す。減
算手段46は差動対信号である関数変換部42出力105の１
つの成分105aと、教師信号Ｔとを入力し、両者の差演算
を行い、その結果をニューロン27内乗算手段45に出力す
る。

減算手段46は連動するスイッチ回路50,51および52,53
を有しており、これらのスイッチ回路の開閉は前記制御
信号φおよびその反転信号であるによって制御され
る。

また、第14図にその構成態様を示すように多層パーセ
プトロン回路装置14内各サイナップスブロック54は第１
の配線26上隣接するニューロンブロックからの信号が当
該サイナップスブロック内各サイナップスに供給される
途上に信号減衰補償手段55を有している。

第１および第２の配線上の信号は第７図に示されるよ
うに差動対信号として実現される。こうすることによっ
て電源電圧の変動等によって生じる同相雑音の影響が回
避される。また、同様の目的のため、誤差信号入力用の
配線を介して各サイナップスに入力される信号、誤差信
号出力用配線上の信号、さらにサイナップスおよびニュ
ーロン内信号、例えば乗算器33出力信号101および関数
変換部42出力信号105等も差動対信号として実現され
る。

次に上記のような構成を有する本実施例の多層パーセ
プトロン回路装置14の機能について説明する。

第６図のサイナップス28内荷重乗算部31は第１の配線
26から信号を入力し、この入力信号に荷重値としての乗
率をもって乗算を施す。

このようなサイナップス内乗率の集合の各々が多層パ
ーセプトロン回路装置14の各記憶内容に対応している。

各乗率の設定は、荷重乗算部31内可変電圧源部34にお
ける電圧設定を通じて行われる。

すなわち、第８図に示されるように構成される可変電
圧源部34において、前記第６図の第１の配線26からの入
力信号103及び第６図の誤差信号入力用配線29からの入
力信号との乗算器33における乗算結果である差動対信号
101の第１の成分である信号101aによる静電容量部35の
充電を、制御信号φでMOSスイッチ回路36の開閉を制御
することにより制御して静電容量部35の帯電量を制御し
て前記第７図可変電圧源34として可変に電圧121を発生
せしめるものである。同様に制御信号φによりMOSスイ
ッチ回路40の開閉を制御し、信号101の第２の成分であ
る信号101bによる静電容量部38の充電を制御することに
より可変に電圧122を発生する。

制御信号φは一定のパルス幅を有するパルス信号であ
り、この制御信号がハイレベルであるとき信号101aが抵
抗37を介して静電容量部35に入力される。同様に制御信
号φがハイレベルのとき、信号101bが抵抗39を介して静
電容量部38に入力される。これによる制御信号φの各パ
ルス毎の静電容量部35,38電極間電位差の変化分が荷重
乗算部31内ギルバートマルチプライアにおける乗率の変
化分、すなわち荷重値の変化分を与え、またこれは前記
式の右辺第２項の乗算を実現する。

このようにして、各サイナップスの荷重値の更新がな
されるが、この更新は後に述べる出力層ニューロン27内
減算手段46の演算結果、すなわち誤差信号の絶対値が減
少する方向に行われる。

こうして更新された荷重値と第１の配線26からの入力
信号103との乗算を荷重演算部31にて行い、その結果が
第２の配線24に出力される。

こうして得られた、サイナップスブロック内の第２の
配線24の１つの信号線に接続されたｎ個のサイナップス
からの信号は、第９図の電流電圧変換部41で各サイナッ
プスからの出力電流の総和に比例した電圧に変換され
る。

電流電圧変換部41で得られた結果102は、第２の配線2
4を介して隣接するニューロンブロック19に供給され
る。ここでは、第４図にもとずき説明しているが、一般
に最終段ではないサイナップスブロックの場合は加算手
段の結果を第４図にニューロンブロック16,17,18として
示される中間層のニューロンブロックに出力する。

各ニューロンブロックではまず、隣接するサイナップ
スブロックから入力された信号102に対して単調増加の
関数特性を持つロジスティック関数による変換が行われ
る。

すなわち、入力された信号は差動増幅器から構成され
る関数変換部42に入力される。

単調増加の特性を持つ関数変換は、差動増幅器を用い
る方法以外でも実現可能であるが、第11図に示すように
差動増幅器を用いて構成すれば飽和特性を持つと言うニ
ューロンの動作の特徴を簡単に実現することができる。

教師信号Ｔ入力用の最終層ニューロンブロック19内ニ
ューロン27では、関数変換部42の出力105と教師信号Ｔ
との差、すなわち誤差を表現するパルス信号が減算手段
46において生成される。

減算手段46は第13図に示される４つのスイッチ回路50
ないし53を後述の態様にて切り替えることにより誤差信
号を、教師信号Ｔと関数変換部42出力信号105の差に比
例したパルス波高値を有するパルス信号値として生成す
る。

すなわち、前記MOSスイッチ回路36,40に対するパルス
制御信号φを用い、制御信号φがハイレベルにあるとき
スイッチ50および51が閉じ、スイッチ52および53が開
き、他方ローレベルにるあときスイッチ52および53が閉
じ、スイッチ50および51が開くように各スイッチの開閉
が制御され、減算手段46の出力には２つの入力信号の
差、すなわち教師信号Ｔから関数変換部42出力105を引
いた値に等しい波高値を有するパルス信号が得られる。

このように誤差信号をパルスの波高値として表現する
ことにより、例えば電源電圧の変動に伴う同相モードの
雑音発生の問題を解消することができる。

このパルス信号は前記式右辺の項の第１の因子に相
当するものであり、第７図に示されるものと同様にギル
バートマルチプライアーおよびカレントミラー回路を用
いて構成される乗算手段45の一方の入力端子に出力され
る。

乗算手段45の他方の入力端子には微分関数変換部43か
らの信号が入力されている。微分関数変換部43の出力信
号は、関数変換部42に入力される信号102に対して、関
数変換部42での関数変換に用いられるロジスティック関
数の導関数を用いてなされた関数変換結果としての意味
を有する。乗算手段45において前記式で表現される誤
差が演算される。

サイナップスブロック23内各サイナップスは誤差信号
入力用配線29を介して得られたパルス誤差信号を入力す
る。こうして入力した誤差信号を前記したように各サイ
ナップスはその荷重値更新のため利用する。サイナップ
スブロック23に隣接するニューロンブロック18内ｊ番目
のニューロンへのサイナップスブロック23からの誤差信
号の出力は次のようにして行われる。すなわち、ニュー
ロンブロック19内ｋ番目のニューロンからサイナップス
ブロック23内ｋ列目ｊ行目のサイナップスに入力された
誤差し号ξ_ｋはこのサイナップス内乗算手段32において
更新された荷重値との積が演算される。この演算結果は
電流信号として誤差信号出力用配線30に出力される。誤
差信号出力用配線30の各信号線上には第９図に示される
ものと同様の態様にて電流電圧変換手段が設けられてお
り、この電流電圧変換手段により、各信号線に接続され
た各サイナップスからの誤差信号電流出力の総和に比例
した電位、すなわち前記式右辺のΣを含む因子に対応
した電位が、この信号線上に発生せしめられる。

ニューロンブロック18は誤差信号出力用配線30を介し
て、上記電位を入力し、この値を用い各ニューロン25内
乗算手段45において、前記式により誤差信号を演算す
る。

演算された誤差信号は、ニューロンブロック18に隣接
するサイナップスブロック22に供給され、以下同様にし
て誤差信号は、第１の配線および第２の配線を伝ぱんす
る信号とは逆の方向に、すなわちサイナップスブロック
23、ニューロンブロック18、サイナップスブロック22,
…、入力層ニューロンブロック15へと伝ぱんする。

自己学習機能を実現するため、ニューロンブロック18
等教師信号を入力する最終層ではないニューロンブロッ
ク内各ニューロン25は前記ニューロン27と同様に微分関
数変換手段43を有しており、この微分関数変換手段43
に、隣接するサイナップスブロックから第２の配線24を
通じて信号102を入力し単調増加の特性を有する関数、
すなわち今の場合ロジスティック関数の微分関数による
変換を施し、前記式右辺のΣを含む因子に対する乗算因
子に相当するこの結果をニューロン25内乗算手段45の一
方の入力端子に出力する。

この場合においても、ニューロン25内微分関数変換手
段43は実際には第12図に示されるように内部に関数変換
部42を含むように構成される。

ニューロン25内乗算手段45にて演算された誤差信号ξ
_ｋを誤差信号入力用配線29を介して隣接するサイナップ
スブロック22が入力し、既述の処理を行う。

このように、ニューロン25は入力信号の入力値に対し
て単調増加の関数特性を持つ微分関数変換手段43（関数
変換部42）を有するので、隣接する前段のサイナップス
ブロックからの信号102を入力し、その入力信号の入力
値に対して微分関数による変換を施した後、第１の配線
上の信号103として、後段のサイナップスブロックへと
出力する。

従って、ニューロン25での演算回路は、入力信号と出
力信号とが非線形関数による写像関係を形成するよう演
算処理を行うので、拡張性のある多層パーセプトロンの
ように、ニューロンブロックとサイナップスブロックと
の間の各部間の結線の簡素化が実現し、規則的な構成と
多層化による回路規模の拡大が可能となる。

第５図に示したように規則的に各信号用配線、サイナ
ップスおよびニューロンを配列することにより、各部間
の結線の簡素化がなされる。すなわち、このように規則
的な構成としない場合には、多層結線となることが避け
られないが、本実施例のように構成することにより信号
線は回路規模にかかわらず高々２層となるにすぎない。

さらに、規則的構成とすることにより、層数を増大す
ることが極めて容易となる。すなわち、第４図に示され
る態様以外に、例えばスパイラル状もしくはジグザグ状
にサイナップスブロックとニューロンブロックとの組合
せを所要数反復して設けることにより任意の層数の多層
パーセプトロンを実現することができる。

なお、入力層ニューロンブロック15内ニューロンにあ
っては、微分関数変換部43および乗算手段45は省略する
ことができる。

第15図に本発明の他の実施例の多層パーセプトロン回
路装置59におけるサイナップスブロックおよびニューロ
ンブロックの構成を示す。すなわち、本実施例のサイナ
ップスブロック60は、格子状に配列された複数ｎ×ｍの
単位サイナップスブロック61から構成されており、多層
パーセプトロン回路装置59は全体として１つのウェーハ
上に形成されている。

各単位サイナップスブロック61は、前記第１の実施例
のサイナップスブロック23と同様の構成を有し、１つの
集積回路として実現されている。また、ニューロンブロ
ック62も各々前記ニューロンブロック18と同様の構成を
有し集積回路として実現された複数の単位ニューロンブ
ロック63から構成され、その配列態様は前記多層パーセ
プトロン回路装置14における、サイナップスブロック23
に対するニューロン25の配列態様に等しい。

ニューロンブロック64も同様に、各々前記ニューロン
27の構成を有し、集積回路として実現された複数の単位
ニューロンブロック65から構成され、それらの単位ニュ
ーロンブロック65の配列は前記サイナップスブロック23
に対するニューロン27の配列態様に等しい。

サイナップスブロック60において、第15図において矢
印Ｉとして示される各単位ブロックの第１の方向に隣り
合う単位サイナップスブロック間に、両者の第１の配線
を接続する結線70を施し、他方矢印IIとして示される第
２の方向に隣り合う単位サイナップスブロック間に、両
者の第２の配線を接続する結線71を施す。

このように、各々集積回路として実現された単位サイ
ナップスブロック、単位ニューロンブロックを複数個配
置することにより任意規模のパーセプトロン回路を実現
することができ、例えば、一つの集積回路として実装で
きる素子数に現実的上限があることからくる回路規模に
対する制約を受けることもない。

また、例えば第15図に示される態様にて回路規模を拡
大する場合、既に構成されている部分の内部に何等変更
を加える必要はない。さらに、本実施例にあっては各単
位サイナップスブロック毎に第９図に示される態様にて
電流電圧変換手段が設けられているので、各電流電圧変
換手段の構成に変更を施すことなく、サイナップスブロ
ックの第２の配線の各信号線上に、この信号線に接続さ
れている各サイナップスからの電流出力信号の総和に比
例する所定の電位を得、隣接するニューロンブロックへ
出力することができる。

また、本実施例にあっても、前記多層パーセプトロン
回路装置14の場合のように、信号減衰に対する補償手段
が設けられており、電流電圧変換手段を介してのサイナ
ップスブロックおよびニューロンブロック間信号入出力
方法がとられている。これにより、拡張性が一層確実な
ものとされ、また回路全体の一様動作性が実現されてい
る。

また、本発明の実施態様としては上記されたところの
ものに限られるわけではなく、例えば第８図に示される
可変電圧源部において、コンデンサの代りにA/Dコンバ
ータ、ラッチ回路およびD/Aコンバータを組み合せて同
様の機能を実現してもよく、この場合も前記と同様長時
間の記憶が可能となる。コンデンサとして強誘電性静電
容量手段を用いることができ、この場合分極により値を
保持できるので長時間の記憶が可能となる。

また、可変電圧源部を、電気的に書き替え可能なEEPR
OMを用いて構成し、サイナップス内結合荷重の値を長期
間保持するように構成することもできる。この構成をと
ることにより、信頼性の高い多層パーセプトロン回路装
置を実現することができる。

また、可変電圧源部においてCR回路の代りに、完全な
積分作用を行う積分回路を用いてもよい。このように構
成することにより、最終層ニューロンブロック内誤差信
号を最終定常状態で０レベルにすることができる。

さらに、可変電圧源部を第16図に示すように構成して
もよい。

すなわち、この構成にあっては制御信号φがハイレベ
ルのときスイッチ回路80,81が閉じ、スイッチ回路82,83
が開き、静電容量部84,85にはそれぞれ信号101aあるい
は101bに比例した量の電荷が蓄積される。

一方、制御信号φがローレベルのとき、すなわち信号
がハイレベルのときスイッチ回路82,83が閉じ、スイ
ッチ回路80,81が開き、静電容量部84,85に蓄えられてい
る電荷が静電容量部86,87に移動する。

このとき、静電容量部84,85,86および87の静電容量値
をそれぞれC₁,C₂,C₃およびC₄とするとC₃/C₁あるいはC₄/
C₂を適当に選定することにより、記憶の蓄積速度および
忘却速度を任意に設定することができる。

すなわち、初期状態で静電容量部86,87の蓄積電荷量
が０であるとき、がハイレベルとなり84,85に蓄積さ
れている電荷が静電容量部86,87に移動する量は、C₃/
（C₁＋C₃）あるいはC₄/（C₂＋C₄）に比例し、したがっ
てC₁に対するC₃の比あるいはC₂に対するC₄の比が大きい
ほど大きくなる。この意味で、記憶の蓄積速度は大きく
なる。

また、記憶が完全になされ、信号101aと101bとが等電
位となって安定した場合、のハイレベルで静電容量部
86に接続された静電容量部84あるいは静電容量部87に接
続された静電容量部85に蓄積された電荷が次の制御信号
φのハイレベルの期間において信号101a,101bの経路を
通じて外部に放電されるが、この電荷量が記憶の忘却量
に相当する。

したがって、比C₁/C₃あるいはC₂/C₄が大きいほど忘却
速度は大きくなる。

したがって、比C₁/C₃およびC₂/C₄の設定を通じて、記
憶の蓄積速度および忘却速度を可変に設定することがで
きる。

また、第２の実施例の多層パーセプトロン回路装置59
において、サイナップスブロック60全体を１つの集積回
路として構成し、ニューロンブロック62あるいは64を第
15図に示されるように各々が集積回路として実現された
複数の単位ニューロンブロックに分割して構成してもよ
い。

また、サイナップスブロックあるいはニューロンブロ
ックを分割して構成する場合各集積回路を必ずしも共通
の１つのウェーハ上に形成する必要はない。さらに、全
体として１つのウェーハ上に形成されると否とにかかわ
らず、サイナップスブロックあるいはニューロンブロッ
クを前記のように分割して構成する場合、集積回路の配
列およびそれらの間の結線態様としては必ずしも第15図
に示されるような規則的なものとする必要はない。

［発明の効果］以上述べてきたところから明らかなように本発明によ
り次のような効果が得られる。

すなわち、本発明による集積回路および半導体装置
は、特に、入力部と出力部、あるいは複数の入力線路と
複数の出力線路とが空間的に略直交するように配置して
構成した集積回路を主要構成としたので、内部結線及び
外部結線が錯綜することがなく、多層化ないし大規模化
が容易となったものであり、拡張性の高い回路および装
置を実現できる。

また、多層化あるいは大規模化した場合であっても、
信号減衰等の問題、あるいは接続にともなう回路変更等
の問題の生じることはない。さらに回路全体の一様動作
が達成される。

【図面の簡単な説明】

第１図は本発明による集積回路及び半導体装置の一実施
例を説明する多層パーセプトロン回路装置のサイナップ
スブロックおよびニューロンブロックにおける、サイナ
ップスとニューロンの配列の態様を示す図、第２図およ
び第３図は本発明による集積回路及び半導体装置の一実
施例を説明する多層パーセプトロン回路装置におけるサ
イナップスブロックとニューロンブロックの配列態様を
示す図、第４図は、本発明の第１の実施例の多層パーセ
プトロン回路装置におけるサイナップスブロックとニュ
ーロンブロックの配列態様を示す図、第５図は本発明の
第１の実施例の多層パーセプトロン回路装置のサイナッ
プスブロックおよびニューロンブロックにおけるサイナ
ップスとニューロンの配列態様を示す図、第６図、第７
図、第８図、第９図、第10図、第11図、第12図、第13図
および第14図は本発明の第１の実施例の多層パーセプト
ロン回路装置のサイナップス、荷重演算部、可変電圧源
部、電流電圧変換部、ニューロン、関数変換部、出力層
内ニューロン、減算手段、および信号減衰補償手段の内
部構成態様を示す図、第15図は本発明の第２の実施例に
おけるサイナップスブロックとニューロンブロックの配
置・構成態様を示す図、第16図は可変電圧源部に対する
第８図のものとは別の構成態様を示す図、第17図は多層
パーセプトロン路置の一般的構成を示す図である。 1,10,11,20,21,22,23,54,60,61……サイナップスブロッ
ク 2,28……サイナップス 3,26……第１の配線 4,24……第２の配線 5,8,9,12,15,16,17,18,19,62,63,64,65……ニューロン
ブロック 6,13,25,27……ニューロン 7,14,59……多層パーセプトロン回路装置 29……誤差信号入力用配線 30……誤差信号出力用配線 31……荷重乗算部 32,33,45……乗算手段 34……可変電圧源部 35,38……静電容量部 36,40……MOSスイッチ回路 41……電流電圧変換部 42……関数変換部 43……微分関数変換部 46……減算手段 50,51,52,53……スイッチ回路 55……信号減衰補償手段 80,81,82,83,……MOSスイッチ回路 84,85,86,87……静電容量部 101……荷重値更新用乗算手段出力信号 102……第２の配線上の信号 103……第１の配線上の信号 105……関数変換部出力信号 111……誤差信号出力用配線上の信号 φ……制御信号Ｔ……教師信号 121,122……乗率設定電圧

Claims

(57)【特許請求の範囲】

【請求項１】複数の入力信号に所定の演算を施すことに
より少なくとも一つ以上の出力信号を出力する集積回路
において、処理されるべき入力信号が前記回路に入力されるための
複数の信号入力端を含む入力部と、演算が施された出力
信号が前記回路から出力されるための複数の信号出力端
を含む出力部とが空間的に略直交するよう配置され、か
つ各交点上に配置された演算部はそれぞれ入力部より入
力を受け、それぞれ出力部より、他の演算部の出力とあ
わせて出力することを特徴とする集積回路。
【請求項２】複数の入力信号に所定の演算を施すことに
より少なくとも一つ以上の出力信号を出力する集積回路
において、処理されるべき入力信号を前記回路に入力するための複
数の入力線路と、演算が施された出力信号を前記回路か
ら出力するための複数の出力線路とを空間的に略直交す
るように配置され、かつ各交点上に配置された演算部は
それぞれ入力部より入力を受け、それぞれ出力部より、
他の演算部の出力とあわせて出力することを特徴とする
集積回路。
【請求項３】ｎ（複数）次元の入力信号からｎ（複数）
次元の出力信号を得る第１の集積回路と、ｎ（複数）次
元の入力信号から少なくとも一つ以上のｍ次元の出力信
号を得る第２の集積回路をそれぞれｌ（複数）個具備
し、第１の集積回路の出力部と第２の集積回路の入力部とが
周期的に対向するように配置されたことを特徴とする半
導体装置。
【請求項４】前記第１の集積回路は、それらをｑ（複
数）個具備し、ｎ×ｑ次元の入力信号を受理し、ｎ×ｑ
次元の出力信号を得ることと、前記第２の集積回路は、それらをｑ（複数）×ｒ（複
数）個具備し、ｎ×ｑ次元の入力を受理し、ｍ×ｒ次元
の出力信号を得ることを特徴とする請求項３記載の半導
体装置。
【請求項５】入力信号が入力されるための複数の信号入
力端を含む入力部と出力信号が出力されるための複数の
信号出力端を含む出力部とが空間的に略直交するよう構
成された集積回路を含む半導体装置において、第１の集積回路の出力部と第２の集積回路の入力部とが
対向するよう配置され、入力値の変化に対して単調増加
の関数特性を持つ演算回路を介して接続されたことを特
徴とする半導体装置。