JPH0652132A - 並列演算半導体集積回路装置およびそれを用いたシステム - Google Patents

Abstract

(57)【要約】 【目的】 僅かな付加回路で処理の並列度を増加させる
ことができ、かつ効率的にニューラルネットワークを模
擬することができ、かつニューロンユニット間のデータ
転送を高速で行なうことのできる並列演算半導体集積回
路装置を提供することを目的とする。 【構成】 ニューロン状態値入力とシナプス荷重値との
所定の演算を行なう第１の回路（２）と、この第１の演
算回路の出力を一方入力に受ける第２の演算回路（８）
とを含むシナプスユニット（９）を複数個備える。第２
の演算回路はラテラル接続し、かつこのラテラル接続に
おける最終段の第２の演算回路の出力を累算した後非線
形処理器（４）で非線形変換を行なう。この非線形処理
器４の出力は再び対応のニューロン状態値入力へ所定の
接続経路（７−０、７−１）を介してフィードバックさ
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は並列演算機能を備える
並列演算半導体集積回路装置およびそれを用いたシステ
ムに関し、特に、神経回路網を模擬することのできる集
積回路装置およびシステムに関する。

【０００２】

【従来の技術】生体神経細胞（ニューロン）をモデルと
する計算処理手法が従来から種々提案されている。ニュ
ーロンをモデルとして構築されるデータ処理手法におい
ては、複数のニューロンを含むニューラルネットが用い
られる。或る入力データが与えられたときニューラルネ
ットは、そのニューラルネット系全体のエネルギーが極
小値をとるような出力データを生成する。ニューラルネ
ットを用いるデータ処理においては、入力データが与え
られたとき、各ニューロン間で非同期的かつ並列にデー
タ処理が実行される。ニューラルネットを用いる計算処
理手法は、問題解決にアルゴリズムを必要としないた
め、パターン認識および連想記憶などの非アルゴリズミ
ックな問題の解決を得意とする。

【０００３】図２８は、一般的なニューロンのモデルを
示す図である。図２８においては、ニューロンユニット
Ｙｊが、４つのニューロンユニットＹ０、Ｙ１、Ｙ２お
よびＹ３と結合される場合が示される。図２８におい
て、ニューロンユニットＹｊは、ニューロンユニットＹ
０、Ｙ１、Ｙ２およびＹ３からの出力信号ｙ０、ｙ１、
ｙ２およびｙ３をそれぞれ受けるシナプス結合部ＳＹ
０、ＳＹ１、ＳＹ２およびＳＹ３と、シナプス結合部Ｓ
Ｙ０〜ＳＹ３の出力を受けて所定の演算処理を行なう変
換部ＣＶと、変換部ＣＶの出力を受けてさらに変換処理
を行なって出力信号ｙｊを生成する出力部ＯＴを含む。

【０００４】シナプス結合部ＳＹ０〜ＳＹ３の各々はニ
ューロンユニットＹ０〜Ｙ３それぞれに対して所定の重
み（シナプス荷重）を有する。すなわちシナプス結合部
ＳＹ０〜ＳＹ３各々は出力信号ｙ０、ｙ１、ｙ２および
ｙ３それぞれに対して重み係数Ｗｊ０、Ｗｊ１、Ｗｊ２
およびＷｊ３により重み付けし、この重み付けした信号
を変換部ＣＶへ伝達する。たとえば、ニューロンユニッ
トＹ０からの出力信号ｙ０は、シナプス結合部ＳＹ０に
より信号Ｗｊ０・ｙ０に変換された後に変換部ＣＶへ伝
達される。シナプス結合部ＳＹ０〜ＳＹ３のシナプス荷
重Ｗｊ０〜Ｗｊ３はそれぞれニューロンユニットＹ０〜
Ｙ３とニューロンユニットＹｊとの結合の強さを示す。
この重みＷｊ０〜Ｗｊ３は、興奮性結合の場合には正の
値をとり、抑制性結合の場合には負の値をとる。

【０００５】変換部ＣＶは、このシナプス結合部ＳＹ０
〜ＳＹ３から与えられた信号の総和をとる。出力部ＯＴ
はこの変換部ＣＶからの総和が或る条件を満足している
か否かを判別する。或る条件が満足されている場合には
発火し出力信号線に信号ｙｊを伝達する。このニューロ
ンユニットのモデルを生体脳細胞に対応させると、シナ
プス結合部ＳＹは樹状突起およびシナプスに対応し、変
換部ＣＶおよび出力部ＯＴは神経細胞体本体に対応し、
かつ出力信号線は軸索に対応する。

【０００６】電子モデルにおいては信号ｙ０〜ｙ３がそ
れぞれ０〜１の範囲内の数値で表わされる。この値が１
または１に近い場合には対応のニューロンユニットは発
火状態にあり、０または０に近い場合には非発火状態に
ある。ニューロンユニットはその入力に従って自身の状
態（出力信号の値）を更新する。変換部ＣＶが求める総
和ｕｊは、 ｕｊ＝ΣＷｊｉ・ｙｉ＋Ｗｊｊ で定義される。ただし、総和Σは添え字ｉに関して行な
われる。ＷｊｊはニューロンユニットＹｊのしきい値に
対応する。通常この値は図２８に示すように０に設定さ
れる。

【０００７】出力部ＯＴは、この総和ｕｊに従ってその
状態を決定する。総和ｕｊが或るしきい値以上であれば
ニューロンユニットＹｊは発火し、その出力ｙｊは１ま
たは１に近い値となる。総和ｕｊがしきい値以下の場合
にはニューロンユニットＹｊは非発火状態となり、出力
信号ｙｊは０または０に近い値となる。この出力部ＯＴ
はこの状態決定のために、次式 ｙｊ＝ｆ（ｕｊ） で与えられる演算を実行する。この総和ｕｊから出力信
号ｙｊへの変換に用いられる関数ｆ（ｕｊ）には、単調
増加非線形変換関数が用いられる。このような単調増加
非線形変換関数としては、図２９にその一例を示すよう
な次式で与えられるシグモイド関数がよく知られてい
る。

【０００８】 ｙｊ＝１／（１＋ｅｘｐ（−Ａ（ｕｊ−Ｂ））） ただしＢはしきい値、Ａは遷移領域の幅を示す値であ
る。Ａを大きくすると遷移領域の幅は狭くなり、ステッ
プ関数に近づく。ここで、図２９において横軸は総和ｕ
ｊを示し、縦軸は出力信号ｙｊを示す。

【０００９】ニューロンは、一般には単独では用いられ
ることは少なく、ニューラルネット（神経回路網）は２
個以上のニューロンユニットを相互に結合させるかまた
は階層的に結合させることにより実現される。このよう
なニューラルネットを表現することのできる半導体集積
回路（以下、単にニューロチップと称す）が種々提案さ
れている。

【００１０】図３０は従来のニューロチップの構成を示
す図である。図３０に示すニューロチップは、たとえば
ＩＪＣＮＮ（インターナショナル・ジョイント・コンフ
ァレンス・オブ・ニューラル・ネットワークス）、１９
９０、ＩＩの第５２７頁ないし第５３５頁および第５３
７頁ないし第５４４頁に示された技術に基づいて構成さ
れる。

【００１１】図３０において、このニューロチップは、
４つのニューロンユニット６ａ０、６ａ１、６ａ２、お
よび６ａ３を含む。ニューロンユニット６ａ０〜６ａ３
の各々は、シナプス荷重値（シナプス結合の強さを示す
値）を保持する重みメモリ１と、データバス７に与えら
れたニューロン状態値と重みメモリ１の出力値との乗算
を行なうためのデジタル乗算器（ＭＰＹ）２と、乗算器
２の出力を累積加算するリセット機能付累算器（ＡＣ
Ｃ）３と、累算器３の出力ｕに対し非線形変換処理を行
なう非線形処理器４と、制御信号ＥＮ０〜ＥＮ３に応答
して活性化され、非線形処理器４の出力をデータバス７
へ伝達するバスドライバ５を含む。制御信号ＥＮ０〜Ｅ
Ｎ３は、ニューロンユニット６ａ０〜６ａ３のそれぞれ
のバスドライバを駆動する。したがって一度に１つのニ
ューロンユニットの非線形処理器４の出力がデータバス
７へ伝達される。ニューロンユニット６ａ０〜６ａ３は
１つの半導体チップ上に集積化されており、ユニット６
ａ０〜６ａ３の重みメモリ１に対しては共通に４ビット
のアドレスＡ＜３；０＞が与えられる。またユニット６
ａ０〜６ａ３の各々に累算器３に対してリセット信号Ｒ
ＥＳＥＴが共通に与えられる。データバス７はデータ入
出力ピンＤ＜７；０＞に結合される。

【００１２】なお図３０に示す構成において、重みメモ
リ１は、１６ワード×８ビット構成を有し、乗算器２
は、８ビット×８ビットの乗算を行ないその出力を１２
ビットに丸める符号付き整数乗算器である。累算器３
は、その出力は１６ビットに桁拡張されている。非線形
処理器４は、この累算器３からの１６ビットの信号をデ
ータバス７のバス幅と同じ８ビットに圧縮する。次に動
作について説明する。今一例として、図３１に示すニュ
ーラルネットを模擬する場合を例にとって図３０に示す
ニューロチップの動作について説明する。

【００１３】図３１において、ニューラルネットは、入
力層、中間層および出力層の３層構造を備える。入力層
は、ニューロンＹａ０、Ｙａ１、Ｙａ２およびＹａ３の
４つのニューロンを含む。中間層は、ニューロンＹｂ
０、Ｙｂ１、Ｙｂ２、Ｙｂ３、Ｙｂ４、Ｙｂ５、Ｙｂ６
およびＹｂ７の８個のニューロンを含む。出力層は、ニ
ューロンＹｃ０およびＹｃ１の２つのニューロンを含
む。

【００１４】このニューラルネットはフィードフォワー
ド接続構成を備えており、信号は入力層から中間層を介
して出力層へ伝達される。シナプス結合数は中間層にお
いて３２（４×８）、出力層において１６（８×２）の
合計４８である。動作は以下の順序に従って実行され
る。なお、以下の説明において、特に明示しない限りリ
セット信号ＲＥＳＥＴおよび制御信号ＥＮ０〜ＥＮ３は
論理“０”の不活性状態にある。

【００１５】（１） リセット信号ＲＥＳＥＴがワンシ
ョットパルスの形態で発生され（所定期間“１”の状態
となる）、ユニット６ａ０〜６ａ３各々において累算器
３の内容が０にリセットされる。

【００１６】（２） データピンＤ＜７；０＞に、入力
ニューロンＹａ０の状態を８桁の符号付き２進数に表現
した値ｙａ０が与えられる。

【００１７】（３） 上述の状態信号入力と並行して、
アドレスピンＡ＜３；０＞にアドレスｉ（ｉ＝０）が与
えられる。ニューロンユニット６ａｋ（ｋ＝０〜３）の
各重みメモリ１は、シナプス荷重値Ｗｂｊａｉ（ｊ＝ｋ
＝０〜３，ｉ＝０）をそれぞれ出力する。すなわち、Ｗ
ｂ０ａ０、Ｗｂ１ａ０、Ｗｂ２ａ０、およびＷｂ３ａ０
が出力される。

【００１８】（４） ニューロンユニット６ａ０〜６ａ
３各々において、乗算器２が重みメモリ１の出力Ｗｂｊ
ａｉとｙａｉの積Ｗｂｊａｉ・ｙａｉ（ｊ＝０〜３，ｉ
＝０）を計算する。

【００１９】（５） ニューロンユニット６ａ０〜６ａ
３各々において、累算器３はその保持値（リセット状態
であり０）に乗算器３からの乗算結果を加算して保持す
る。

【００２０】上述の動作によりニューロンＹｂ０〜Ｙｂ
３各々とニューロンＹａ０との結合が表現される。

【００２１】（６） 上述の動作（２）〜（４）をさら
に３回（合計４回）繰返す。ただし各繰返し毎にｉは、
１、２、３と１つずつ増分される。同様にアドレス入力
端子Ａ＜３；０＞に与えられるアドレスも１ずつ増分さ
れる。

【００２２】この結果、ニューロンユニット６ａ０〜６
ａ３の累算器３には、 ΣＷｂｊａｉ・ｙａｉ＝ｕｂｊ が保持される。ただし総和Σはｉ＝０〜３について行な
われ、ｊ＝０〜３であり、中間層ニューロンユニットを
示す。

【００２３】（７） ニューロンユニット６ａ０〜６ａ
３各々において、累算器３の保持値ｕｂｊに対して非線
形処理器４により非線形変換が行なわれる。それによ
り、ニューロンＹｂｊの状態ｙｂｊ（＝ｆ（ｕｂｊ））
が求められる。ただしｊ＝０〜３である。

【００２４】（８） 制御信号ＥＮ０、ＥＮ１、ＥＮ２
およびＥＮ３が順次“１”に立上げられ、ニューロンユ
ニット６ａ０〜６ａ３のバスドライバ５がこの順にイネ
ーブルされる。データバス７上にはニューロンユニット
の状態ｙｂｊがｙｂ０、ｙｂ１、ｙｂ２およびｙｂ３の
順で伝達される。このデータバス７上の状態信号ｙｂｊ
はデータ入出力ピンＤ＜７；０＞を介してチップ外部の
メモリ装置（図示せず）に格納される。

【００２５】以上の動作により、図３１に示す中間層ニ
ューロンＹｂ０〜Ｙｂ３に対する処理が完了する。中間
層ニューロンＹｂ４〜Ｙｂ７に関する処理も上述の動作
と同様にして実行される。すなわち、 （９） ｊ＝ｋ＝０〜３をｊ＝ｋ＋４＝４、５、６、７
に置換えて上述の動作（１）〜（８）を繰返す。これに
より、中間層ニューロンＹｂ０〜Ｙｂ７の出力状態がす
べて求められる。次に、出力ニューロンＹｃ０とＹｃ１
に関する処理について説明する。

【００２６】（１０） リセットピンＲＥＳＥＴに論理
“１”のワンショットパルスが印加され、ニューロンユ
ニット６ａ０〜６ａ３のそれぞれにおける累算器３の保
持内容が０にリセットされる。

【００２７】（１１） データ入出力ピンＤ＜７；０＞
に外部メモリ装置（図示せず）から中間層ニューロンＹ
ｂｉ（ｉ＝０）の状態ｙｂｉ（ｉ＝０）が与えられる。

【００２８】（１２） 上述の動作（１１）と並行し
て、アドレス入力ピンＡ＜３；０＞にアドレスｉ＋８
（ｉ＝０）が与えられる。ニューロンユニット６ａｋ
（ｋ＝０および１）の重みメモリ１は、シナプス結合値
Ｗｃｊｂｉ（ｊ＝ｋ＝０、１，ｉ＝０）をそれぞれ出力
する。すなわちシナプス荷重値Ｗｃ０ｂ０およびＷｃ１
ｂ１が出力される。

【００２９】（１３） ニューロンユニット６ａ０およ
び６ａ１において、乗算器２が重みメモリ１からのシナ
プス荷重値Ｗｃｊｂｉとニューロン状態値ｙｂｉの積Ｗ
ｃｊｂｉ・ｙｂｉ（ｊ＝ｋ＝０、１，ｉ＝０）を計算す
る。これによりニューロンＹｃ０およびＹｃ１それぞれ
と中間層ニューロンＹｂ０との結合が求められる。

【００３０】（１４） ニューロンユニット６ａ０およ
び６ａ１における累算器３がその保持値に上述の動作
（１３）において乗算器２から与えられた乗算結果を加
算し、その加算結果を新たな保持値として保持する。

【００３１】（１５） 上述の動作（１１）、（１
２）、（１３）をさらに７回（合計８回）繰返す。ただ
し各繰返しにおいて、ｉは１、２、３、４、５、６、７
と１ずつ増分される。これにより、ニューロンユニット
６ａ０および６ａ１の累算器３には、 ΣＷｃｊｂｉ・ｙｂｉ＝ｕｃｊ；ｊ＝ｋ＝０、１ が保持される。これにより、図３１に示す出力層ニュー
ロンＹｃ０およびＹｃ１それぞれにおいて中間層ニュー
ロンＹｂ０〜Ｙｂ７との入力の総和が求められる。

【００３２】（１６） ニューロンユニット６ａ０およ
び６ａ１の累算器３の保持値ｕｃｊに対して、非線形処
理器４より非線形変換が行なわれ、ニューロンＹｃｊの
状態ｙｃｊ（＝ｆ（ｕｃｊ））が求められる。ただし、
ｊ＝ｋ＝０、１である。

【００３３】上述の動作により、図３１に示すニューラ
ルネットの動作が完了する。この求められた結果を利用
するためには、ニューロチップ外部に設けられたホスト
計算機等へその計算結果を転送する必要がある。この転
送時には以下の動作（１７）の処理が実行される。

【００３４】（１７） 制御入力ピンＥＮｋ（ｋ＝０、
１）に順次論理“１”の信号が印加される。これにより
ニューロンユニット６ａ０および６ａ１のバスドライバ
５から状態データｙｃｊ（ｊ＝ｋ＝０、１）がデータバ
ス７、データ入出力ピンＤ＜７；０＞を経由してホスト
計算機等の外部装置へ転送される。

【００３５】なお上述の動作（１０）から動作（１６）
の間において、ニューロンユニット６ａ２および６ａ３
は最終出力に関係なく、無意味な動作を行なっている。
以下、このような無意味な動作を行なっているニューロ
ンユニットを「アイドリングニューロンユニット」と称
す。

【００３６】

【発明が解決しようとする課題】上述の従来のニューロ
チップにおいては、複数のニューロンユニットが互いに
並列に動作しており、複数の演算処理を並列に実行する
ことができる。しかしながら、１つのニューロンユニッ
トにおいては、たとえばニューロンＹｂ０とニューロン
Ｙａ０との間のシナプス結合のように、一度に１つのシ
ナプス結合の計算しか実行することができず、高速で処
理を実行することができないという問題が生じる。

【００３７】また、ニューロチップ内部とのニューロン
状態などのデータの通信は、１組のデータバスとデータ
入出力ピンを介してしか実行することができない。この
ため、データ転送速度がボトルネックとなり、演算処理
を高速で実行することができないという問題が生じる。

【００３８】さらにニューラルネットにおいて共通の前
段のニューロンの出力状態を入力とする次段ニューロン
の数が、ニューロチップ上に設けられたニューロンユニ
ットの数よりも小さい場合にはアイドリングニューロン
ユニットが発生する。このため、ニューロチップ上のニ
ューロンユニット数を増加させた場合においても、それ
に応じて処理時間を短縮することが困難であるという問
題があった。

【００３９】さらにニューロチップの並列度を拡大する
ためにはこのニューロチップを並列に接続する必要があ
る。このため各処理の内部ループ（各ニューロンユニッ
ト）で使用される乗算器および加算器のみならず、使用
頻度の低い非線形処理器をも同数個設ける必要があり、
チップサイズの増大が著しいという問題があった。

【００４０】それゆえ、この発明の目的は、高速で演算
処理を実行することのできる並列演算半導体集積回路装
置およびシステムを提供することである。

【００４１】この発明の他の目的は、少ない素子数の増
大で演算処理の並列度を大幅に改善することのできる並
列演算半導体集積回路装置およびそのシステムを提供す
ることである。

【００４２】この発明のさらに他の目的は、ニューロチ
ップ内のニューロンユニット間およびニューロチップ外
部とのデータのバンド幅を拡げることができる半導体集
積回路装置およびそのシステムを提供することである。

【００４３】この発明のさらに他の目的は、アイドリン
グニューロンユニットの発生を抑制することのできる並
列演算半導体集積回路装置およびそのシステムを提供す
ることである。

【００４４】この発明のさらに他の目的は、効率的にニ
ューラルネットの模擬を実行することのできる並列演算
半導体集積回路装置を提供することである。

【００４５】

【課題を解決するための手段】この発明に係る並列演算
半導体集積回路装置は、１つのニューロンユニット内
に、複数の互いに縦続接続されたシナプス表現ユニット
と、このシナプス表現ユニットの最終段の出力に対応し
て設けられる細胞本体表現ユニットを含む。この回路装
置はさらに、各ニューロンユニットの出力、すなわち状
態信号をシナプス表現ユニットに伝達する経路を備え
る。この構成によりシナプス表現ユニットの追加のみで
処理の並列度を改善する。

【００４６】すなわち、請求項１に係る並列演算半導体
集積回路装置は、各々が、第１のデータと予め定められ
た第２のデータとの予め定められた演算処理を行なう複
数の第１の演算手段と、この第１の演算手段の出力に対
応して設けられ、その第１の入力に対応の第１の演算手
段の出力を受ける複数の第２の演算手段と、この第２の
演算手段を縦続接続する第１の接続手段を備える。この
第１の接続手段は、第２の演算手段の出力が次段の第２
の演算手段の第２の入力へ接続されるように各第２の演
算手段をラテラル接続する手段を含む。

【００４７】この請求項１に係る並列演算半導体集積回
路装置はさらに、最終段の第２の演算手段の出力に非線
形変換処理を行なう非線形変換手段を含む。

【００４８】請求項２に係る並列演算半導体集積回路装
置は、ラテラル接続された第２の演算手段各々に対応す
る複数の第１の演算手段のそれぞれが、第１のデータと
して互いに異なるデータを受ける。

【００４９】請求項３に係る並列演算半導体集積回路装
置は、非線形変換手段が、最終段の第２の演算手段の出
力を累算する累算手段と、この累算手段の出力に予め定
められた非線形演算処理を行なう非線形演算手段とを含
む。

【００５０】請求項４に係る並列演算半導体集積回路装
置は、第１の演算手段が、第１のデータと第２のデータ
との乗算を行なうデジタル乗算器を含む。

【００５１】請求項５に係る並列演算半導体集積回路装
置は、第１の演算手段が、第１のデータと第２のデータ
との差分絶対値を求める差分絶対値回路を含む。

【００５２】請求項６に係る並列演算半導体集積回路装
置は、第２の演算手段が、与えられたデータを加算する
加算手段を備える。

【００５３】請求項７に係る並列演算半導体集積回路装
置は、第２の演算手段が、互いに並列に配置された複数
の全加算器を含み、前記全加算器の出力のすべては次段
の第２の演算手段の入力へ与えられる。

【００５４】請求項８に係る並列演算半導体集積回路装
置は、請求項７の集積回路装置における非線形変換手段
が、ラテラル接続における最終段の第２の演算手段の出
力を加算する加算手段と、この加算手段の出力を累算す
る累算手段と、この累算手段の出力に非線形演算処理を
行なう非線形演算処理手段とを含む。

【００５５】請求項９に係る並列演算半導体集積回路装
置は、第１の演算手段が、複数ビットの第１のデータを
ビットシリアルのシーケンスで順次受け、かつ非線形変
換手段が複数ビットのデータを並列に出力し、かつさら
に第１の演算手段の出力と非線形変換手段との間に設け
られ、与えられたデータのビット位置をシフトするシフ
ト手段と、非線形変換手段の並列出力をビットシリアル
のシーケンスに変換する並列／直列変換手段をさらに含
む。

【００５６】請求項１０に係る並列演算半導体集積回路
装置は、第１の演算手段および第２の演算手段の組が、
複数のグループに分割され、第１の接続手段が、各グル
ープ内において第２の演算手段をラテラル接続し、かつ
さらに、グループにおけるラテラル接続の最終段の第２
の演算手段の出力を受け、第２の演算手段と同じ演算処
理を行なうこの演算処理結果を非線形変換手段へ与える
第３の演算処理手段をさらに備える。

【００５７】請求項１１に係る並列演算半導体集積回路
装置は、複数の処理ユニットを含む。この処理ユニット
は、各々が第１のデータと予め定められた第２のデータ
との予め定められた演算を行なう第１の演算手段と、第
１の演算手段に対応して設けられ、対応の第１の演算手
段の出力を第１の入力に受ける複数の第２の演算手段
と、この第２の演算手段の出力が次段の第２の演算手段
の第２の入力へ与えられるように第２の演算手段をラテ
ラル接続する第１の接続手段と、ラテラル接続における
最終段の第２の演算手段の出力に非線形変換処理を行な
うための非線形変換手段とを含む。

【００５８】請求項１１に係る並列演算半導体集積回路
装置はさらに、処理ユニットにおける非線形変換手段の
出力を第１のデータとして各処理ユニットに共通に与え
るための第２の接続手段を含む。この第２の接続手段
は、各処理ユニットにおける非線形変換手段の出力の数
と、１つの処理ユニットに含まれる第１の演算手段の数
とに応じて決定される数だけ設けられる。

【００５９】請求項１２に係る並列演算半導体集積回路
装置は、この請求項１１に係る半導体集積回路装置にお
いて、１つの処理ユニットに含まれる第１の演算手段の
数と第２の接続手段との数が同じであり、かつ処理ユニ
ットの数はこの第２の接続手段すなわち第１の演算手段
の数のＮ倍である。Ｎは自然数である。

【００６０】この請求項１２に係る並列演算半導体集積
回路装置は、１つの第１の演算手段と１つの第２の接続
手段を介してＮ個の処理ユニットに含まれる非線形変換
処理の出力を多重的に対応づける多重化手段を含む。

【００６１】請求項１３に係る並列演算システムは、複
数の並列演算半導体集積回路装置を含む。この並列演算
半導体集積回路装置の各々は、各々が第１のデータと予
め定められた第２のデータとに所定の演算を行なう複数
の第１の演算手段と、第１の演算手段に対応して設けら
れ、対応の第１の演算手段の出力を第１の入力に受ける
複数の第２の演算手段と、この第２の演算手段をラテラ
ル接続する第１の接続手段を含む。第１の接続手段は、
第２の演算手段の出力を次段の第２の演算手段の第２の
入力へ接続する。この半導体集積回路装置はさらに、ラ
テラル接続における最終段の第２の演算手段の出力に非
線形変換処理を行なう非線形変換手段を含む。

【００６２】請求項１３に係る並列演算システムは、さ
らに、この半導体集積回路装置における非線形変換手段
の出力を第１のデータとして各集積回路装置に共通に与
えるための第２の接続手段を含む。この第２の接続手段
の数は、各集積回路装置における非線形変換手段の出力
の数と、１つの処理ユニットに含まれる第１の演算手段
の数とに応じて決定される。

【００６３】請求項１４に係る半導体集積回路装置は、
複数の処理ユニットを含む。各処理ユニットは、第１の
データと予め定められた第２のデータとの演算を行なう
ための演算手段と、この第２のデータを格納するための
複数のメモリセルを有するメモリとを含む。

【００６４】請求項１４に係る半導体集積回路装置は、
複数の処理ユニットに少なくともその一部の機能が共通
に設けられ、アドレス信号に従って各メモリからメモリ
セルを選択するメモリセル選択手段を備える。

【００６５】

【作用】請求項１に係る並列演算半導体集積回路装置に
おいては、複数の第１の演算手段および複数の第２の演
算手段に対して１つの非線形変換手段が設けられる。こ
れにより、第１の演算手段および第２の演算手段の数を
増加させるだけで演算の並列性を増大させることができ
る。このとき、使用頻度の低い非線形変換手段の数は増
加されないため、チップ占有面積の増大を抑制すること
ができる。

【００６６】請求項２に係る並列演算半導体集積回路装
置においては、ラテラル接続された第２の演算手段に対
応する各第１の演算手段は互いに異なるデータを受け
る。これにより並列処理性能を確実に向上させることが
できる。

【００６７】請求項３に係る並列演算半導体集積回路装
置においては、非線形変換手段が、累算手段と、この累
算結果に非線形演算処理を行なう非線形演算手段を含ん
でおり、ニューラルネットを模擬する並列演算半導体集
積回路装置を実現することができる。

【００６８】請求項４に係る並列演算半導体集積回路装
置においては、第１の演算手段がデジタル乗算器で構成
されており、シナプス結合を表現する。

【００６９】請求項５に係る並列演算半導体集積回路装
置においては、この第１の演算手段が差分絶対値回路で
構成され、学習ベクトル量子化法によるニューラルネッ
トを模擬する回路装置を得ることができる。

【００７０】請求項６に係る並列演算半導体集積回路装
置においては、第２の演算手段は与えられたデータを加
算しており、これによりラテラル接続によりシナプス結
合部の拡張を容易に実現することが可能となる。

【００７１】請求項７に係る並列演算半導体集積回路装
置においては、第２の演算手段は、並列配置された複数
の全加算器からなるコンプレッサで構成される。この構
成により、高速で演算処理を行なうことのできる並列演
算半導体集積回路装置を得ることができる。

【００７２】請求項８に係る並列演算半導体集積回路装
置においては、この請求項７におけるコンプレッサ手段
の最終段出力を加算しており、これによりコンプレッサ
手段の出力から最終加算結果を得ることができ、シナプ
ス荷重値の中間和を高速で生成することができる。また
この加算手段出力に対し非線形変換を行なうため、ニュ
ーラルネットを模擬する高速の並列演算半導体集積回路
装置が得られる。

【００７３】請求項９に係る並列演算半導体集積回路装
置においては、第１のデータがビットシリアルで与えら
れており、データバス幅を小さくすることができ、チッ
プ占有面積を低減することができる。

【００７４】請求項１０に係る並列演算半導体集積回路
装置においては、複数のグループそれぞれにおいて並列
に演算が実行され、各グループ最終段出力が統合されて
最終出力を与えている。これによりラテラル接続の段数
を低減することができ、演算における遅延時間を低減す
ることができ、高速で演算処理する並列演算半導体集積
回路装置を得ることができる。

【００７５】請求項１１に係る並列演算半導体集積回路
装置においては、第２の接続手段により、複数の非線形
変換手段の出力が第１の演算手段へフィードバックする
ことができる。これにより、任意の数のニューロンユニ
ットおよびシナプス結合を有するニューラルネットを容
易かつ高速で模擬することのできる並列演算半導体集積
回路装置を得ることができる。

【００７６】請求項１２に係る並列演算半導体集積回路
装置においては、Ｎ個の非線形変換手段出力が複数の処
理ユニットに共通に第１の演算手段へ与えられる。これ
により容易にニューロンユニット間の接続を実現するこ
とができ、任意の構成のニューラルネットを容易に構築
することができる。

【００７７】請求項１３に係る並列演算システムは、複
数の並列演算半導体集積回路装置を含み、各並列演算半
導体集積回路装置が第２の接続手段を介して相互接続さ
れる。これにより任意の規模のニューラルネットを容易
に構築することが可能となる。

【００７８】請求項１４に係る半導体集積回路装置にお
いては、メモリのメモリセル選択手段が各処理ユニット
に対し共通化されているため、チップ占有面積を大幅に
低減することができる。

【００７９】

【実施例】

「実施例１」図１はこの発明の第１の実施例である並列
演算半導体集積回路装置の全体の構成を示すブロック図
である。図１において、並列演算半導体集積回路装置
（以下、単にニューロチップと称す）１００は、１つの
半導体チップ上に形成され、かつ２つの並列に配置され
たニューロンユニット６ｂ−０および６ｂ−１を含む。
これらのニューロンユニット６ｂ−０および６ｂ−１は
同じ構成を備える。

【００８０】すなわち、ニューロンユニット６ｂ−０
は、予め定められた定数を格納するレジスタ１０と、所
定のシナプス結合演算を行なう処理ユニットとしてのシ
ナプスユニット９−００と、シナプスユニット９−００
と縦続接続されるシナプスユニット９−０１と、シナプ
スユニット９−０１の出力を累算する累算器（ＡＣＣ）
３と、累算器３の出力に所定の非線形変換を行なう非線
形処理器４と、制御信号ＢＥ１に応答して非線形処理器
４の出力を内部データバス７−０上へ伝達するバスドラ
イバ５と、ニューロン状態データなどのニューラルネッ
ト模擬動作時における中間結果データを格納するための
読出および書込が可能なたとえばランダム・アクセス・
メモリ（ＲＡＭ）で構成されるメモリ１１を含む。

【００８１】レジスタ１０には、このニューロンユニッ
ト６ｂ−０が表現するニューロンのしきい値（Ｗｊｊ）
が格納され、通常０が格納される。０以外の初期値が用
いられてもよい。

【００８２】シナプスユニット９−００および９−０１
は同一の構成を備え、シナプス結合を表現する。シナプ
スユニット９−００は、シナプス結合の強度を示す重み
を格納する重みメモリ１と、重みメモリ１からのシナプ
ス荷重値と与えられたデータ（ニューロン状態信号）と
の乗算をデジタル的に行なうデジタル乗算器（ＭＰＹ）
２と、乗算器２の乗算結果とレジスタ１０からのデータ
とをデジタル的に加算するデジタル加算器（ＡＤＤ）８
を含む。

【００８３】シナプスユニット９−０１は、シナプスユ
ニット９−００と同様、重みメモリ１、デジタル乗算器
２、およびデジタル加算器８を含む。シナプスユニット
９−０１のデジタル加算器８は、第１の入力にシナプス
ユニット９−００のデジタル加算器８の出力を受け、第
２の入力に対応のデジタル乗算器２の出力を受ける。す
なわち、レジスタ１０、シナプスユニット９−００およ
びシナプスユニット９−０１はラテラル接続される。

【００８４】シナプスユニットが３個以上設けられる場
合には、このラテラル接続形態が拡張される。すなわ
ち、前段のシナプスユニットに含まれるデジタル加算器
８の出力が次段のシナプスユニットに含まれるデジタル
加算器８の第１の入力に接続される。このラテラル接続
方式をとることにより、シナプスユニットの数を容易に
増加させることができる。

【００８５】他方のニューロンユニット６ｂ−１も同様
に、レジスタ１０、シナプスユニット９−１０、シナプ
スユニット９−１１、累算器３、非線形処理器４、バス
ドライバ５、およびメモリ１１を含む。レジスタ１０、
シナプスユニット９−１０、およびシナプスユニット９
−１１はラテラル接続される。

【００８６】シナプスユニット９−００、９−０１、９
−１０および９−１１の重みメモリ１へはそれぞれアド
レス入力ノードＡ＜３；０＞を介してアドレス信号Ａ＜
３；０＞が与えられる。ここで以下の説明においては、
信号入出力ノード（またはピン端子）とそこに与えられ
る信号とは同一の参照符号で表わす。

【００８７】ニューロンユニット６ｂ−０および６ｂ−
１の累算器３へはリセットノードＲＥＳＥＴを介してリ
セット信号ＲＥＳＥＴが共通に与えられる。同様に、ニ
ューロンユニット６ｂ−０および６ｂ−１のバスドライ
バ５へはイネーブルピンＢＥ１を介して制御信号ＢＥ１
が共通に与えられる。バスドライバ５は、制御信号ＢＥ
１が論理“１”となると活性化されて対応の非線形処理
器４の出力をデータバス７−０および７−１へ伝達す
る。ここでデータバス７−０へはニューロンユニット６
ｂ−０の出力データが伝達され、データバス７−１には
ニューロンユニット６ｂ−１の非線形処理器４の出力デ
ータが伝達される。

【００８８】ニューロンユニット６ｂ−０および６ｂ−
１のメモリ１１へは、アドレス入力ノードＡＮ＜２；０
＞を介して３ビットのアドレス信号ＡＮ＜２；０＞が共
通に与えられるとともに、ノードＷＥおよびＢＥ２を介
して書込制御信号ＷＥおよび出力制御信号ＢＥ２が与え
られる。

【００８９】データバス７−０および７−１に対してそ
れぞれ入出力バッファを含むバスインターフェイス回路
１２−０および１２−１が設けられる。バスインターフ
ェイス回路１２−０および１２−１はそれぞれノードＢ
Ｅ３およびＯＥを介して与えられる入力指示信号ＢＥ３
に応答して活性化される３状態入力バッファ回路１２０
と、出力制御信号ＯＥに応答して活性化される３状態出
力バッファ回路１２１を含む。内部データバス７−０お
よび７−１はそれぞれ８ビット幅を有し、データ入出力
ノードＤ０＜７；０＞およびＤ１＜７；０＞を介して装
置外部とデータの入出力をバスインターフェイス回路１
２−０および１２−１を介して行なう。次にこの図１に
示すニューロチップの動作について説明する。

【００９０】以下の説明において、この図１に示すニュ
ーロチップが図３１に示すニューラルネットを模擬する
場合の動作について説明する。まず以下の説明に用いら
れる添え字について説明する。

【００９１】 ｋ：ニューロチップ内のニューロンユニットの番号 図１に示す構成においてはｋ＝０または１ ｌ：ニューロンユニット内のシナプスユニットの番号 図１の構成においてはｌ＝０または１ ｉ：前段のニューロンの番号；ｉ＝２ｎ＋ｌ ｊ：着目しているニューロンの番号；ｊ＝２ｍ＋ｋ ｎ，ｍ；０から始まる繰返しを表わす番号 図２にシナプスユニット９−００、９−０１、９−１０
および９−１１に含まれる重みメモリ１の記憶内容を一
覧にして示す。図２（ａ）はシナプスユニット９−００
における重みメモリ１の記憶内容を示し、図２（ｂ）は
シナプスユニット９−１０の重みメモリ１の記憶内容を
示し、図２（ｃ）はシナプスユニット９−０１の重みメ
モリ１の記憶内容を示し、かつ図２（ｄ）はシナプスユ
ニット９−１１の重みメモリ１の記憶内容を示す。重み
メモリ１はそのアドレス０ないし７の領域に中間層のニ
ューロンと入力層のニューロンとの結合強度を示すシナ
プス荷重値を格納し、アドレス８ないし１１の領域に出
力層ニューロンと中間層ニューロンとの結合強度を示す
シナプス荷重値を格納する。

【００９２】シナプスユニット９−００の重みメモリ１
は、入力層の偶数番号のニューロンと中間層の偶数番号
のニューロンとの間のシナプス荷重値および中間層の偶
数番号のニューロンと出力層の偶数番号（すなわち０）
のニューロンとの間の結合強度を示すシナプス荷重値を
格納する。シナプスユニット９−１０の重みメモリ１
は、入力層の偶数番号のニューロンと中間層の奇数番号
のニューロンとの間のシナプス荷重値と、中間層の偶数
番号のニューロンユニットと出力層の奇数番号（すなわ
ち１）のニューロンとの間のシナプス荷重値とを格納す
る。

【００９３】シナプスユニット９−０１の重みメモリ１
は、入力層の奇数番号のニューロンと中間層の偶数番号
のニューロンとの間のシナプス荷重値および中間層の奇
数番号のニューロンと出力層の偶数番号のニューロンと
の間のシナプス荷重値とを格納する。シナプスユニット
９−１１の重みメモリ１は、入力層の奇数番号のニュー
ロンと中間層の奇数番号のニューロンとの間のシナプス
荷重値および中間層の奇数番号のニューロンと出力層の
奇数番号のニューロンとの間のシナプス荷重値を格納す
る。次に具体的に動作について説明する。

【００９４】（１） リセットノードＲＥＳＥＴに論理
“１”のワンショットパルスが印加され、ニューロンユ
ニット６ｂ−０および６ｂ−１の累算器３の保持値が０
にリセットされる。

【００９５】（２） 制御ノードＢＥ３に論理“１”の
パルス信号が与えられるとともに、データ入出力ノード
Ｄ０＜７；０＞およびＤ１＜７；０＞には、入力層ニュ
ーロンＹａｉ（ｉ＝２ｎ＋ｌ，ｎ＝０）の状態を表わす
２進数データｙａｉ、すなわちこの場合ｎ＝０であり、
状態信号ｙａ０およびｙａ１がそれぞれ与えられる。こ
の２進数ｙａ０およびｙａ１はバスインターフェイス回
路１２−０および１２−１を介して内部データバス７−
０および７−１へ与えられる。

【００９６】（３） 動作（２）と並行して、アドレス
入力ノードＡ＜３；０＞にアドレス２ｍ＋ｎが印加され
る。この場合、ｎ＝０かつｍ＝０である。したがって、
シナプスユニット９−ｋｌ（ｋ＝０または１、ｌ＝０ま
たは１）の重みメモリ１は、シナプス荷重値Ｗｂｊａｉ
（ｊ＝２ｍ＋ｋ、ｉ＝２ｎ＋ｌ、ｍ＝０、ｎ＝０）をそ
れぞれ出力する。この状態を図３に示す。ここで、添え
字ｎは１組の中間層ニューロンの状態決定時において繰
返される動作サイクル番号を示し、ｍは、各組のニュー
ロンの状態を決定するために繰返される動作サイクルの
番号を示す。

【００９７】図３に示すように、ニューロンユニット６
ｂ−０においては、シナプスユニット９−００の重みメ
モリ１からはシナプス荷重値Ｗｂ０ａ０が読出され、シ
ナプスユニット９−０１の重みメモリ１からはシナプス
荷重値Ｗｂ０ａ１が読出される。ニューロンユニット６
ｂ−１のシナプスユニット９−１０の重みメモリ１から
はシナプス荷重値Ｗｂ１ａ０が読出され、シナプスユニ
ット９−１１の重みメモリ１からはシナプス荷重値Ｗｂ
１ａ１が読出される。

【００９８】内部データバス７−０はシナプスユニット
９−００および９−１０の乗算器２の入力に結合され、
内部データバス７−１はシナプスユニット９−０１およ
び９−１１の乗算器の入力に結合される。したがって、
図３に示すように、各ニューロンユニット６ｂ−０およ
び６ｂ−１の上側の乗算器２に対しては入力層ニューロ
ンＹａ０の状態信号ｙａ０が与えられ、下側の乗算器２
には入力層ニューロンＹａ１の状態信号ｙａ１が与えら
れる。

【００９９】この状態では、図３に示されるように、ニ
ューロンユニット６ｂ−０および６ｂ−１はそれぞれ中
間層ニューロンＹｂ０およびＹｂ１を表現する。

【０１００】（４） ニューロンユニット６ｂ−０およ
び６ｂ−１それぞれにおいて乗算器２は与えられたシナ
プス荷重値Ｗｂｊａｉと入力層ニューロンの状態値ｙａ
ｉとの積を計算する。

【０１０１】（５） ニューロンユニット６ｂ−０およ
び６ｂ−１それぞれにおいて、レジスタ１０に格納され
た初期値と乗算器２の出力値とがラテラル接続された加
算器８により順次加算される。レジスタ１０に格納され
た初期値を０とすると最終段に対応するシナプスユニッ
ト９−０１および９−１１の加算器８が、 ΣＷｂ２ｍａｉ・ｙａｉおよびΣＷｂ（２ｍ＋１）ａｉ
・ｙａｉ をそれぞれ出力する。ただしｎ＝０、ｍ＝０である。

【０１０２】（６） ニューロンユニット６ｂ−０およ
び６ｂ−１それぞれの累算器３はその保持値（初期状態
においては０）に上述の動作（５）において得られた最
終段の加算結果を加算し、その加算値を新たな保持値と
して保持する。

【０１０３】（７） 上述の動作（２）ないし（６）を
ｎ＝１（１増分）およびｍ＝０（維持）として繰返す。
この状態では、図４に示すように、ニューロンユニット
６ｂ−０においては重みメモリ１はＷｂ０ａ２およびＷ
ｂ０ａ３を出力する。ニューロンユニット６ｂ−１にお
いては、重みメモリ１はシナプス荷重値Ｗｂ１ａ２およ
びＷｂ１ａ３を出力する。ニューロンユニット６ｂ−０
および６ｂ−１における上側の乗算器へは入力層ニュー
ロンＹａ２の状態値ｙａ２が与えられ、下側の乗算器へ
は入力層ニューロンＹａ３の状態値ｙａ３が与えられ
る。この動作の結果、ニューロンユニット６ｂ−０およ
び６ｂ−１の累算器３には、それぞれ、 ΣＷｂ（２ｍ）ａｉ・ｙｉ＝ｕｂ（２ｍ）、 ΣＷｂ（２ｍ＋１）ａｉ・ｙｉ＝ｕｂ（２ｍ＋１） が保持される。ここで総和Σはｉ＝０ないし３の範囲で
実行される。

【０１０４】この動作により、中間層ニューロンＹｂ０
およびＹｂ１におけるシナプス荷重値の総和がそれぞれ
求められる。

【０１０５】（８） ニューロンユニット６ｂ−０およ
び６ｂ−１それぞれにおいて累算器３の保持値ｕｂｊに
対して非線形処理器４が非線形変換を実行し、中間層ニ
ューロンＹｂｊの状態値ｙｂｊ（＝ｆ（ｕｂｊ））を得
る。ただしｊ＝２ｍ＋ｋ、ｍ＝０、ｋ＝０および１であ
る。すなわち、中間層ニューロンＹｂ０およびＹｂ１の
状態値が求められる。

【０１０６】（９） 制御ノードＢＥ１に論理“１”の
パルスを印加してバスドライバ５を共に活性化し、ニュ
ーロンユニット６ｂ−０および６ｂ−１における非線形
処理器４の出力を内部データバス７−０および７−１上
に伝達する。この動作と並行してアドレス入力ノードＡ
Ｎ＜２；０＞にｍ（ｍ＝０）を与え、かつ制御ノードＷ
Ｅ１に論理“１”の信号を印加し、メモリ１１を書込状
態にしてメモリ１１に内部データバス７−０および７−
１のデータを書込む。

【０１０７】これにより、図５に示すように、ニューロ
ンユニット６ｂ−０および６ｂ−１のメモリ１１にはそ
れぞれアドレス０（＝ｍ）に中間層ニューロンＹｂ０お
よびＹｂ１の状態値ｙｂ０およびｙｂ１が格納される。

【０１０８】この上述の一連の動作により中間層ニュー
ロンＹｂ０およびＹｂ１に関する処理が完了する。

【０１０９】（１０） 上述の動作（１）ないし（９）
をｍを１ずつ増分、すなわちｍ＝１、２、および３とし
て３回繰返す（合計４回）。これにより中間層ニューロ
ンＹｂ０ないしＹｂ７に関する処理が完了する。この状
態においては図６に示すように、ニューロンユニット６
ｂ−０および６ｂ−１のメモリ１１には、中間層ニュー
ロンの状態値が格納される。すなわち、ニューロンユニ
ット６ｂ−０のメモリ１１のアドレス０、１、２、およ
び３には状態値ｙｂ０、ｙｂ２、ｙｂ４およびｙｂ６が
格納される。ニューロンユニット６ｂ−１のメモリ１１
のアドレス０、１、２、および３には状態値ｙｂ１、ｙ
ｂ３、ｙｂ５およびｙｂ７がそれぞれ格納される。

【０１１０】次に、出力層ニューロンＹｃ０およびＹｃ
１に関する処理について説明する。 （１１） リセットノードＲＥＳＥＴに論理“１”のワ
ンショットのパルス信号が印加される。ニューロンユニ
ット６ｂ−０および６ｂ−１における累算器３のそれぞ
れの保持値が０にリセットされる。

【０１１１】（１２） アドレス入力ノードＡＮ＜２；
０＞にｎ（ｎ＝０）が与えられ、かつ制御ノードＢＥ２
に論理“１”の信号が印加される。これによりメモリ１
１のアドレスｎ（ｎ＝０）に保持されていた中間層ニュ
ーロンの状態値ｙｂｉ（ｉ＝２ｎ＋ｌ、ｌ＝０および
１）がデータバス７−０および７−１上にそれぞれ出力
される。すなわち、ニューロンユニット６ｂ−０のメモ
リ１１からは中間層ニューロンＹｂ０の状態値ｙｂ０が
内部データバス７−０上に伝達される。またニューロン
ユニット６ｂ−１のメモリ１１からは中間層ニューロン
Ｙｂ１の状態値ｙｂ１が読出され、内部データバス７−
１上に伝達される。

【０１１２】（１３） 動作（１２）と並行して、アド
レス入力ノードＡ＜３；０＞にアドレス８＋ｎ（ｎ＝
０）が与えられる。これにより、シナプスユニット９−
ｋｌの重みメモリ１は、それぞれシナプス荷重値Ｗｃｊ
ｂｉ（ｊ＝ｋ＝０、１；ｉ＝２ｎ＋ｌ、ｎ＝０、ｌ＝
０、１）を出力する。すなわち、シナプスユニット９−
００、９−１０、９−０１および９−１１はシナプス荷
重値Ｗｃ０ｂ０、Ｗｃ１ｂ０、Ｗｃ０ｂ１、およびＷｃ
１ｂ１を出力する。この状態を図７に示す。

【０１１３】図７に示すように、ニューロンユニット６
ｂ−０は出力層ニューロンＹｃ０を表現し、ニューロン
ユニット６ｂ−１は出力層ニューロンＹｃ１を表現す
る。ニューロンユニット６ｂ−０および６ｂ−１それぞ
れにおける上側の乗算器２へは、中間層ニューロンＹｂ
０の状態値ｙｂ０が与えられ、下側の乗算器２へは中間
層ニューロンＹｂ１の状態値ｙｂ１が与えられる。

【０１１４】（１４） ニューロンユニット６ｂ−０お
よび６ｂ−１において、乗算器２が与えられたシナプス
荷重値Ｗｃｊｂｉと与えられた中間層ニューロン状態値
ｙｂｉとの積を計算する。

【０１１５】（１５） ニューロンユニット６ｂ−０お
よび６ｂ−１において、ラテラル接続された加算器８に
より、レジスタ１０の保持データに対応の乗算器８の出
力値が順次加算される。レジスタ１０はニューロンのし
きい値を格納する。格納値を０とすると、ニューロンユ
ニット６ｂ−０および６ｂ−１それぞれにおける最終段
のシナプスユニット９−１０および９−１１における加
算器８は、それぞれ、 ΣＷｃ０ｂｉ・ｙｂｉ、 ΣＷｃ１ｂｉ・ｙｂｉ、 を出力する。ただし総和Σはｉ＝２ｎ、および２ｎ＋１
について行なわれる。この場合ｎ＝０である。

【０１１６】（１６） ニューロンユニット６ｂ−０お
よび６ｂ−１それぞれにおいて、累算器３はその保持値
（リセット値０）に動作（１５）で得られた最終段の加
算器８からの加算結果を加算し、その加算値を新たな保
持値として保持する。

【０１１７】（１７） 上述の動作（１２）ないし（１
６）をｎを１ずつ増分して、すなわちｎ＝１、２、およ
び３として３回繰返す（合計４回）。

【０１１８】ｎ＝３におけるニューロンユニット６ｂ−
０および６ｂ−１におけるデータの分布を図８に示す。
最終の動作サイクルにおいては、中間層ニューロンＹｂ
６およびＹｂ７の状態値ｙｂ６およびｙｂ７がニューロ
ンユニット６ｂ−０および６ｂ−１における上側の乗算
器２および下側の乗算器へそれぞれ与えられる。

【０１１９】この動作サイクルの完了後においては、ニ
ューロンユニット６ｂ−０および６ｂ−１の累算器３に
は、それぞれ、 ΣＷｃ０ｂｉ・ｙｂｉ＝ｕｃ０、 ΣＷｃ１ｂｉ・ｙｂｉ＝ｕｃ１ が保持される。ここで総和Σはｉ＝０ないし７について
実行される。

【０１２０】（１８） ニューロンユニット６ｂ−０お
よび６ｂ−１それぞれにおける累算器３の保持値ｕｃｊ
に対して非線形処理器４が非線形変換を実行する。これ
により出力ニューロンＹｃｊの状態ｙｃｊ（＝ｆ（ｕｃ
ｊ））（ｊ＝ｋ＝０、１）を得る。すなわちニューロン
ユニット６ｂ−０の非線形処理器４から出力層ニューロ
ンＹｃ０の状態値ｙｃ０が出力され、ニューロンユニッ
ト６ｂ−１の非線形処理器４からは出力層ニューロンＹ
ｃ１の状態値ｙｃ１が出力される。

【０１２１】以上の動作により、図３１に示すニューラ
ルネットの動作が完了する。この結果を利用するために
は、ニューロチップ１００外部に設けられたたとえばホ
スト計算機である処理装置へ転送する必要がある。この
場合には、次の動作（１９）に示す処理が実行される。

【０１２２】（１９） 制御ノードＢＥ１に論理
“１”、出力イネーブルノードＯＥに、論理“１”の信
号が印加される。これにより、ニューロンユニット６ｂ
−０および６ｂ−１におけるバスドライバ５が活性化さ
れ、かつバスインターフェイス回路１２−０および１２
−１における３状態出力バッファ１２１が活性化され
る。ニューロンユニット６ｂ−０および６ｂ−１の非線
形処理器４が生成した出力層ニューロンＹｃ０およびＹ
ｃ１の状態値ｙｃ０およびｙｃ１はそれぞれ内部データ
バス７−０および７−１、バスインターフェイス回路１
２−０および１２−１、およびデータ入出力ノードＤ０
＜７；０＞およびＤ１＜７；０＞を介して外部に設けら
れたホスト計算機の中央演算処理装置（ＣＰＵ）または
その外部メモリへ転送される。

【０１２３】また、ニューロンユニット６ｂ−０および
６ｂ−１が生成した結果を再びこのニューロチップ１０
０内で使用する際には、次の動作（２０）が実行され
る。

【０１２４】（２０） 制御ノードＢＥ１に論理
“１”、アドレス入力ノードＡＮ＜２；０＞に４、書込
イネーブルノードＷＥに論理“１”の信号が与えられ
る。メモリ１１が書込可能状態となり、内部データバス
７−０および７−１上にバスドライバ５を介して与えら
れた状態値ｙｃ０およびｙｃ１がニューロンユニット６
ｂ−０および６ｂ−１のメモリ１１のアドレス４にそれ
ぞれ書込まれる。

【０１２５】「実施例２」シナプス荷重値は、ニューラ
ルネットの適合用途に応じて最適に設定される。入力デ
ータに応じて所定のデータを出力するためにニューラル
ネットに対し「学習」が行なわれ、シナプス荷重値の修
正が行なわれる。「学習」を行なうモデルには、教師デ
ータを用いる学習モデルと、教師データを用いない学習
モデルとがある。バックプロパゲーションモデルおよび
ボルツマンマシンモデルなどは教師データを用いる学習
モデルであり、教師データを用いない学習モデルの１つ
にＬＶＱ（学習ベクトル量子化）法がある。この教師デ
ータを用いない学習においては、教師データが与えられ
ない状態において、入力データの性質に応じてシナプス
荷重値が自動的に修正され、入力データのパターン分類
が実行される。このＬＶＱ法を用いるニューラルネット
について簡単に説明する。

【０１２６】図９は、ＬＶＱネットワークの構造の一例
を示す図である。図９において、ＬＶＱネットワーク
は、ＮＩ個の入力層ニューロンＩ１ないしＩＮＩと、Ｎ
Ｏ個の出力層ニューロンＯ１ないしＯＮＯとを有する２
層構造を備える。一般に、出力層ニューロンの数ＮＯ
は、識別したいカテゴリの数Ｍに等しくされる。学習に
用いる入力ベクトルを↑ｖ^m （ｍ＝１、２、…Ｍ）、シ
ナプス荷重をＷｉｊ（ｉ＝１、２、…ＮＯ、ｊ＝１、
２、…ＮＩ、ただしＮＯ＝Ｍ）とする。ベクトル↑ｖ ^m
は、ｍ番目のカテゴリに属する入力ベクトルの集合であ
る。シナプス荷重Ｗｉｊを構成するｍ個のベクトル↑Ｗ
ｉ（Ｗｉ１，Ｗｉ２，…，ＷｉＮＩ）を参照ベクトルと
する。参照ベクトル↑Ｗｉのうち最も入力ベクトル↑ｖ
^m に「近い」ベクトルを↑Ｗｃとする。ここで「近い」
は、ユークリッド距離の意味で「近い」であってもよ
い。他の概念が利用されてもよい。学習時においてベク
トル↑Ｗｃは以下のように更新される。

【０１２７】↑ｖ^m が正しく分類されているとき、 ↑Ｗｃ（ｔ＋１）＝↑Ｗｃ（ｔ）＋η（ｔ）‖↑ｖ^m −
↑Ｗｃ（ｔ）‖ ↑ｖ^m が正しく分類されていないとき、 ↑Ｗｃ（ｔ＋１）＝↑Ｗｃ（ｔ）−η（ｔ）‖↑ｖ^m −
↑Ｗｃ（ｔ）‖ ↑Ｗｃ以外のシナプス荷重ベクトル↑Ｗｉに対しては、 ↑Ｗｉ（ｔ＋１）＝↑Ｗｉ（ｔ） ここでη（ｔ）は時間と共に単調に減少する学習パラメ
ータ（０＜η＜１）である。ｔは学習の回数を示す。上
式より、参照ベクトル↑Ｗｃは、正しく分類が行なわれ
たときには、入力ベクトル↑ｖ^m に近づき、正しく分類
されていない場合には↑ｖ^m より遠ざかる。上述の動作
を様々な学習ベクトル↑ｖ^m をカテゴリに従って変更す
ることによりシナプス荷重が修正される。学習終了後は
この修正後のシナプス荷重が重みメモリに格納される。

【０１２８】ここで、「近い」ベクトルとしては、ユー
クリッド距離が最小となるベクトルを求める。この場
合、 ‖↑ｖ^m −↑Ｗｃ‖＝ｍｉｎ｛‖↑ｖ^m −↑Ｗｉ‖｝ が用いられる。または、ベクトル↑ｖ^m とベクトル↑Ｗ
ｉとの内積↑ｖ^m ・↑Ｗｉが最小となるベクトルが利用
される場合もある。

【０１２９】学習終了時においてはシナプス荷重ベクト
ル↑Ｗｉが規格化されていれば、 ｕｉ＝↑Ｗｉ・↑ｖ^m であるため、入力ベクトル↑ｖ^m を入力した場合、出力
層ニューロンにおけるｉ番目のニューロンＯｉの出力ｕ
ｉが最大となり、カテゴリの分類ができる。

【０１３０】上述のようなＬＶＱ法に基づくニューラル
ネットにおいては、入力データとシナプス荷重値との乗
算よりもむしろ差分演算が必要とされる。以下に、任意
のモデルのニューラルネットに柔軟に対応することので
きる並列演算半導体集積回路装置の構成について説明す
る。

【０１３１】図１０はこの発明の第２の実施例であるニ
ューロチップの全体の構成を示す図である。この図１０
に示すニューロチップは、１つの半導体チップ上に形成
される。

【０１３２】図１０において、ニューロチップ２００
は、２つのニューロンユニット６ｂ−０および６ｂ−１
を含む。ニューロンユニット６ｂ−０および６ｂ−１
は、それぞれ乗算器２に代えて一般の２値演算回路２ａ
を含む点を除いて、図１に示すニューロチップと同様の
構成を備える。２値演算回路２ａは、任意の演算機能を
備える。

【０１３３】図１１は、図１０に示す２値演算回路とし
て差分絶対値回路を用いる場合の差分絶対値回路の構成
を示す図である。図１１において、差分絶対値回路２１
は、入力データＹｉとシナプス荷重値Ｗｉとの差をとる
減算器２１と、減算器２１の出力を反転または非反転し
て出力する絶対値回路２２を含む。絶対値回路２２は、
減算器２１の出力の符号ビットに応じて、減算器２１の
出力を反転または非反転する。反転動作時において、２
の補数表示が用いられる場合には、減算器２１の出力を
すべて反転し、１を加算する。これによりシナプス荷重
値Ｗｉと入力データＹｉとの差分絶対値｜Ｗｊｉ−Ｙｉ
｜が求められる。

【０１３４】上述のように、ニューロチップ２００が表
現するニューラルネットがＬＶＱモデルの場合、この２
値演算回路２ａとして、図１１に示す差分絶対値回路を
用いると都合がよい。ＬＶＱモデルの学習時において、
入力ベクトルに最も「近い」シナプス荷重ベクトルを求
めるために距離計算が行なわれるが、この距離計算にΣ
｜Ｗｊｉ−Ｗｉ｜の計算が多用されるからである。ここ
で総和Σはｉに関して行なわれる。シナプス荷重ベクト
ル↑Ｗｉが、ニューロンのシナプス荷重値を構成要素と
する。図１０に示す構成において、「近い」ベクトルを
求めるために、ニューロンユニット６ｂ−０および６ｂ
−１の累算器３に対し共通に最小値を求める最小値回路
が設けられていてもよい。３個以上のニューロンを表現
する必要がある場合、この最小値回路は、その保持デー
タと新たに与えられたデータと比較し、小さい方を格納
する機能を備えればよい。

【０１３５】上述の構成によりＬＶＱモデルの学習に容
易に対処することのできるニューラルネットを得ること
ができる。通常の処理動作時には差分絶対値演算が実行
される。最大値回路により最大出力のニューロンユニッ
トを選択する。

【０１３６】またＬＶＱモデルにおいては、距離の計算
に代えてベクトルの内積が利用される場合もある。この
場合には単に入力データとシナプス荷重値との乗算が実
行される。その場合には図１に示す構成において、ニュ
ーロンユニット６ｂ−０および６ｂ−１の累算器３の出
力を加算する回路とこの加算回路の出力の最小値を求め
る最小値回路とが用いられればよい。

【０１３７】またこの２値演算回路は、図１１に示す差
分絶対値演算回路ではなく、差分二乗演算回路であって
もよい。同様に、ユークリッド距離の計算を行なうこと
ができる。学習機能を備える場合には、重みメモリ１が
メモリ１１のように書込および読出機能両者を備える構
成が利用されてもよい。

【０１３８】さらに、シナプス荷重値をＬＶＱモデルに
従って修正し、実際の演算は、通常のニューロンのモデ
ルに従って処理（シナプス荷重値と入力状態信号との積
和演算）が実行されてもよい。この場合差分絶対値回路
と乗算回路両者が必要とされる。

【０１３９】図１２は、図１０に示す２値演算回路のさ
らに他の構成を示す図である。図１２において、２値演
算回路３０は、２ビットの選択信号φ＜１；０＞に応答
して活性化される乗算器３２、差分絶対値回路３３およ
び差分二乗絶対値回路３４と、選択信号φ＜１；０＞に
応答して、データＹｉおよびＷｊｉを選択された機能を
実行する回路へ通過させるための選択回路３１を含む。
この図１２に示す２値演算回路３０を図１０に示す２値
演算回路２ａとして用いれば、表現可能なニューラルネ
ットワークのモデルの種類が増加し、適用用途を大幅に
拡大することができる。この２値演算回路は、さらに他
の演算機能を備えてもよい。

【０１４０】「実施例３」前述の第１の実施例において
は、シナプス荷重値Ｗｊｉと前段のニューロンの状態値
との積を計算するために、８ビット×８ビットの並列デ
ジタル乗算器２が用いられている。前段のニューロンの
状態値Ｙｉは、最下位ビットＬＳＢから順次シリアルに
入力される条件の下で、１ビット×８ビットの乗算器が
用いられてもよい。

【０１４１】図１３はこの発明の第３の実施例であるニ
ューロチップに用いられる乗算器の構成を示す図であ
る。図１３において、乗算機能を実現する回路は、１ビ
ットの前段のニューロン状態値Ｙｉと８ビットのシナプ
ス荷重値Ｗｊｉ＜７；０＞とを乗算する１ビット×８ビ
ットの乗算器２ｂと、乗算器２ｂの出力をニューロン状
態値Ｙｉの桁に応じて上位方向へシフトするシフタ１３
を含む。

【０１４２】図１４は、図１３に示す１ビット×８ビッ
ト乗算器の構成を示す図である。図１４において、１ビ
ット×８ビット乗算器２ｂは、８個の並列に接続された
ＡＮＤ回路ＡＮ０〜ＡＮ７を含む。ＡＮＤ回路ＡＮ０〜
ＡＮ７のそれぞれの一方入力に１ビットニューロン状態
値Ｙｉが与えられ、他方入力に８ビットシナプス荷重値
Ｗｉｊ＜７；０＞の対応のビットが与えられる。ＡＮＤ
回路ＡＮ０〜ＡＮ７の出力は並列にバス５０上に伝達さ
れる。ＡＮＤ回路ＡＮ７がシナプス荷重値Ｗｉｊ＜７；
０＞の最上位ビットＷｊｉ＜７＞をその他方入力に受
け、ＡＮＤ回路ＡＮ０がシナプス荷重値Ｗｊｉ＜７；０
＞の最下位ビットＷｊｉ＜０＞を受ける。図１４に示す
ように１ビット×８ビット乗算器２ｂはＡＮＤ回路８個
を備えるだけであり、シナプスユニットの構成素子数を
低減することができる。

【０１４３】部分積を所定の桁位置に揃えるためのシフ
タ１３は、乗算器２ｂと累算器３との間に設けられれば
よい。

【０１４４】図１５は、図１３に示す１ビット×８ビッ
ト乗算器を用いるニューロチップの構成を示す図であ
る。図１５において、ニューロチップ３００は、図１に
示す構成と同様、２つのニューロンユニット６ｂ−０お
よび６ｂ−１を含む。ニューロンユニット６ｂ−０およ
び６ｂ−１はそれぞれラテラル接続されたシナプスユニ
ット９−００および９−１０と、シナプスユニット９−
１０および９−１１を含む。シナプスユニット９−０
０、９−０１、９−１０および９−１１は乗算器２ｂが
１ビット×８ビットの乗算器である点を除いて図１に示
す構成と同じである。

【０１４５】ニューロチップ３００はさらに、ニューロ
ンユニット６ｂ−０および６ｂ−１のそれぞれの最終段
のシナプスユニット９−０１および９−１１の出力に設
けられるシフタ１３と、１ビットデータ線７ａ−０およ
び７ａ−１とバスドライバ５との間に設けられる並列／
直列変換器１４を備える点を除いて図１に示す構成と同
じ構成を備える。

【０１４６】ニューロンユニット６ｂ−０および６ｂ−
１におけるシフタ１３は、３ビットのシフト制御信号Ｓ
＜２；０＞に応答してシナプスユニット９−０１および
９−１１（加算器８）の出力のビット位置をシフトさせ
る。シフト制御信号Ｓ２＜２；０＞はシフタ１３におけ
るビットシフト数を決定する。

【０１４７】並列／直列変換器１４は、バスドライバ５
またはメモリ１１から与えられる８ビット並列出力を１
ビットずつのビットシリアルなシーケンスに変換してデ
ータ線７ａ−０および７ａ−１上に伝達する。データ線
７ａ−０および７ａ−１はまた図１に示す構成と同様シ
ナプスユニット９−００および９−１０内の乗算器２ｂ
およびシナプスユニット９−０１および９−１１内の乗
算器２ｂへデータを伝達する。

【０１４８】１ビットのデータ線７ａ−０および７ａ−
１に対応して、バスインターフェイス回路１２ａ−０お
よび１２ａ−１は、１ビット単位でデータ入出力ノード
Ｄ０およびＤ１とデータの授受を行なう。バスインター
フェイス回路１２ａ−０および１２ａ−１は図１に示す
構成と同様制御ノードＢＥ３およびＯＥに与えられる信
号の論理に応じてその内部の入力バッファまたは出力バ
ッファが活性化される。

【０１４９】図１５に示す構成においては、最終加算の
結果が、シフタ１３によりビット位置がシフトされて累
算器３へ与えられる。

【０１５０】この構成においては、装置外部とはビット
シリアルなシーケンスでデータの入力および出力が行な
われるため、入出力ノードＤ０およびＤ１の数を低減す
ることができ、このチップ３００が単体で利用される場
合にデータ入出力ピンの数を低減することができる。

【０１５１】この図１５に示す構成の場合、１つのニュ
ーロンユニットに対し１つのシフタが設けられるだけで
あり、ニューロンユニットの構成素子数の増加を抑制す
ることができる。

【０１５２】図１６は、１ビット×８ビット乗算器を用
いるニューロチップの他の構成例を示す図である。図１
６において、ニューロチップ３１０は、シナプスユニッ
ト９−００、９−０１、９−１０および９−１１の各々
において、乗算器２ｂと加算器８との間にシフタ１３が
設けられる点を除いて図１５に示すニューロチップ３０
０と同じ構成を備える。この図１６に示すニューロチッ
プ３１０においては、シナプスユニット１個に対し１つ
のシフタが設けられる。この構成であっても、図１５に
示すニューロチップ３００と同様の効果を得ることがで
きる。

【０１５３】「実施例４」上述の実施例においては、乗
算または差分絶対値などのシナプス演算の結果を加算す
る構成として、シナプスユニットに含まれる加算器８を
ラテラル接続する構成を示した。以下に、この加算器お
よびラテラル接続の具体的構成について説明する。

【０１５４】図１７は、この発明の第４の実施例である
ニューロチップの要部の構成を示す図である。図１７に
おいて、１つのニューロンユニット６ｂは、４つのシナ
プスユニット９−００、９−０１、９−０２および９−
０３を含む。図１７に示す構成においては、図面を簡略
化するために、レジスタ１０は４ビットデータＲＥＧ＜
３；０＞を格納し、また乗算器の出力は４ビットｗｙ＜
３；０＞としている。

【０１５５】シナプスユニット９−００〜９−０３の各
々は加算器８ａ０、８ａ１、８ａ２および８ａ３を含
む。加算器８ａ０〜８ａ３のそれぞれは同じ構成を備
え、リップルキャリ型加算器の構成を備え、６個の全加
算回路１５−５〜１５−０を含む。全加算回路１５−０
〜１５−５の各々は、キャリ入力Ｃｉ、加算入力Ａおよ
びＢ、和出力Ｓおよびキャリ出力Ｃｏを含む。１つの加
算器８ａにおいて、全加算回路１５−ｘ（ｘ＝０〜４）
のキャリ出力Ｃｏは、上位の全加算回路１５−ｘ＋１の
キャリ入力Ｃｉに接続される。

【０１５６】全加算回路１５−０〜１５−５の和出力
は、次段のシナプスユニットに設けられた全加算器の入
力Ａへ与えられる。全加算回路１５−０〜１５−３の各
々には、シナプス演算結果ｗｙ＜３；０＞の対応のビッ
トが与えられる。

【０１５７】ラテラル接続における最終段の加算器８ａ
３の出力は累算器３へ与えられる。この図１７に示す加
算器の構成においては、キャリが１つの加算器内部を順
次伝達される。

【０１５８】図１８は、図１７に示す全加算回路１５の
具体的構成の一例を示す図である。図１８において、全
加算回路１５（全加算回路１５−０〜１５−５を代表的
に示す）は、加算入力ＡおよびＢを受けるＡＮＤ回路Ｇ
０と、加算入力Ｂとキャリ入力Ｃｉとを受けるＡＮＤ回
路Ｇ１と、加算入力Ａとキャリ入力Ｃｉとを受けるＡＮ
Ｄ回路Ｇ２と、ＡＮＤ回路Ｇ０〜Ｇ３の出力を受ける３
入力ＮＯＲ回路Ｇ３と、加算入力ＡおよびＢを受ける排
他的論理和（ＥｘＯＲ）回路Ｇ４と、ＮＯＲ回路Ｇ３の
出力を受けるインバータ回路Ｇ５と、ＥｘＯＲ回路Ｇ４
の出力とキャリ入力Ｃｉとを受けるＥｘＯＲ回路Ｇ６を
含む。インバータ回路Ｇ５の出力はキャリ出力Ｃｏへ与
えられ、ＥｘＯＲ回路Ｇ６の出力は和出力Ｓへ与えられ
る。この図１５に示す全加算回路は、３段のゲート遅延
を与える。

【０１５９】図１７に示す加算器の構成は、リップルキ
ャリ型構成であるが、加算器の構成にはこの他に、キャ
リルックアヘッド加算器がある。桁上げの有無を先に見
ることによりキャリ伝搬の遅延時間を低減する加算器で
ある。

【０１６０】しかしながら、一般に加算器にはキャリ伝
搬に伴う全加算回路数段分の遅延が生じる。図１７に示
す構成においては、このような全加算器８ａが４段直列
（ラテラル）に接続される。したがって、加算に伴う遅
延の総和がより大きくなる。

【０１６１】図１９はこの発明の第４の実施例であるニ
ューロチップの改良例を示す図である。図１９において
は、図１７に示す構成と同様、１つのニューロンユニッ
ト６ｂが４つのシナプスユニット９−００〜９−０３を
備える構成が示される。図１９において、シナプスユニ
ット９−０１〜９−０３の各々は、加算器として３対２
コンプレッサ８ｂ０〜８ｂ２を含む。３対２コンプレッ
サ８ｂ（コンプレッサ８ｂ０〜８ｂ２を総称的に示す）
は、その入力の数と出力の数との比が３対２である。コ
ンプレッサ８ｂは、６個の並列に配置された全加算回路
１５−０〜１５−５を含む。

【０１６２】初段のシナプスユニット９−００にはコン
プレッサ８ｂは設けられない。２段目のコンプレッサ８
ｂ０の第１の入力へこの初段のシナプスユニット９−０
０のシナプス演算結果（乗算器の出力）ｗｙ＜３；０＞
およびレジスタ１０の保持データＲＥＧ＜３；０＞が与
えられる。

【０１６３】コンプレッサ８ｂにおいてはその第２の入
力（全加算回路１５のＢ入力）へ対応の乗算器からの出
力ｗｙ＜３；０＞が与えられる。

【０１６４】コンプレッサ８ｂの出力、すなわち全加算
回路１５の出力ＳおよびＣｏは次段のコンプレッサの第
１の入力（全加算回路１５のＡ入力；ただし第１の入力
はＡ入力およびキャリ入力を含む）へ与えられる。より
具体的には、全加算回路１５−０〜１５−５の和出力Ｓ
は次段のコンプレッサに含まれる同一桁の全加算回路１
５−０〜１５−５のＡ入力へ与えられる。コンプレッサ
８ｂに含まれる全加算回路１５−０〜１５−４のキャリ
出力Ｃｏは次段のコンプレッサ８ｂにおける１ビット上
位の全加算回路１５−１〜１５−５のキャリ入力Ｃｉへ
伝達される。最上位の全加算回路１５−５のキャリ出力
Ｃｏは利用されない。全加算回路１５−４および１５−
５において演算結果データが伝達されない入力には論理
“０”の２値信号が与えられる。

【０１６５】ニューロンユニット６ｂは、さらに、最終
段のシナプスユニット９−０３のコンプレッサ８ｂ２の
出力を加算する加算器８ａを含む。加算器８ａはリップ
ルキャリ型接続構成に配置された６個の全加算回路１５
−０〜１５−５を含む。このコンプレッサ８ｂ２の全加
算回路１５−０〜１５−５の和出力Ｓは加算器８ａにお
ける同一桁の全加算回路１５−０〜１５−５のＢ入力へ
接続される。コンプレッサ８ｂ２の全加算回路１５−０
〜１５−４のキャリ出力Ｃｏは加算器８ａにおける１ビ
ット上位の全加算回路１５−１〜１５−５のＡ入力に接
続される。加算器８ａにおいては、全加算回路１５−０
〜１５−４のキャリ出力Ｃｏは１ビット上位の全加算回
路１５−１〜１５−５のキャリ入力Ｃｉへ与えられる。
加算器８ａにおける全加算回路１５−０〜１５−５の和
出力Ｓおよび全加算回路１５−５におけるキャリ出力Ｃ
ｏが並列に累算器３へ与えられる。

【０１６６】図１９に示す構成においては、３対２コン
プレッサ８ｂを用いることにより、最終段のシナプスユ
ニット９−０３の出力（コンプレッサ８ｂ２の出力）を
さらに加算するために加算器８が必要とされる。この構
成は並列乗算器の構成に類似する。

【０１６７】並列乗算器により部分積和を生成する構成
がコンプレッサ８ｂに対応し、部分積から最終積を生成
する最終加算器が加算器８ａに対応すると考えることが
できる。ただし乗算器においては、部分積は１ビットず
つ上位方向にシフトされているが、この図１９に示す構
成においてはそのような部分積のシフトは存在していな
い。

【０１６８】この図１９に示す構成においては、３対２
コンプレッサ８ｂを用いたため、最終段のシナプスユニ
ット９−０３の出力後にさらに加算器８ａを設ける必要
がある。しかしながら直列に接続される３対２コンプレ
ッサ８ｂ各々内においてはキャリ伝搬は存在しない。コ
ンプレッサ８ｂ内における遅延は全加算回路１５の１段
分の遅延である。したがって、加算演算における遅延の
総和は図１７に示す構成に比べて大幅に低減される。さ
らに図１９に示すコンプレッサを用いる構成は、キャリ
ルックアヘッド加算器を利用するよりも回路規模を小さ
くする利点を備える。キャリルックアヘッド加算器にお
いては、キャリが生じるか否かを予め見出す回路構成が
必要とされるため、その構成は一般に大きくなる。

【０１６９】「実施例５」図２０はこの発明の第５の実
施例であるニューロチップの要部の構成を示す図であ
る。図２０において、１つのニューロンユニット６ｂ
は、８個のシナプスユニット９−００、９−０１、９−
０２、９−０３、９−０４、９−０５、９−０６および
９−０７を含む。シナプスユニット９−００〜９−０７
は、２つのグループに分割される。１つのグループは、
シナプスユニット９−００、９−０１、９−０２および
９−０３を含み、これらはラテラル接続される。他方の
グループは、シナプスユニット９−０４、９−０５、９
−０６および９−０７を含み、これらはラテラル接続さ
れる。

【０１７０】シナプスユニット９−０２および９−０３
はそれぞれ３対２コンプレッサ８ｂ−２および８ｂ−３
を含む。コンプレッサ８ｂ−２は、シナプスユニット９
−００および９−０１からのシナプス演算結果ｗｙ＜
３；０＞を受けるとともに、シナプスユニット９−０２
におけるシナプス演算結果を受ける。３対２コンプレッ
サ８ｂ−３は、コンプレッサ８ｂ−２の出力と自己のシ
ナプスユニット９−０３におけるシナプス演算結果とを
受ける。３対２コンプレッサ８ｂ−２および８ｂ−３間
の接続は図１９に示すものと同じである。

【０１７１】シナプスユニット９−０４、９−０５、９
−０６および９−０７においても、同様の接続が行なわ
れており、３対２コンプレッサ８ｂ−６および８ｂ−７
がそれぞれ３対２コンプレッサ８ｂ−２および８ｂ−３
と同様の接続形態でラテラル接続される。

【０１７２】ラテラル接続における最終段のコンプレッ
サ８ｂ−３および８ｂ−７の出力から最終加算を得るた
めに、さらに、３対２コンプレッサ８ｂ−３および８ｂ
−７の出力を受ける３対２コンプレッサ８ｂ−４と、３
対２コンプレッサ８ｂ−４の出力と３対２コンプレッサ
８ｂ−７の出力とを受ける３対２コンプレッサ８ｂ−５
と、３対２コンプレッサ８ｂ−５の出力を受ける加算器
８ａが設けられる。

【０１７３】３対２コンプレッサ８ｂ−４は、３対２コ
ンプレッサ８ｂ−３の和出力Ｓおよびキャリ出力Ｃｏを
受け、かつ３対２コンプレッサ８ｂ−７の和出力Ｓを受
ける。３対２コンプレッサ８ｂ−４は、７個の全加算回
路１５−０〜１５−６を含む。より具体的に言えば、３
対２コンプレッサ８ｂ−４における全加算回路１５−０
〜１５−６は、そのＡ入力にコンプレッサ８ｂ−３にお
ける対応のビット位置の全加算回路の和出力を受け、そ
のＡ入力に３対２コンプレッサ８ｂ−３の１ビット下位
の全加算回路のキャリ出力Ｃｏを受け、そのキャリ入力
Ｃｉに３対２コンプレッサ８ｂ−７における同一桁の全
加算回路の和出力を受ける。

【０１７４】３対２コンプレッサ８ｂ−５は、３対２コ
ンプレッサ８ｂ−４の全加算回路１５−０〜１５−６に
対し１ビット上位側にシフトされた６個の全加算回路１
５−０〜１５−５を含む。３対２コンプレッサ８ｂ−４
の最下位ビットの全加算回路１５−０の和出力Ｓは累算
器３へ最下位ビットとして与えられる。３対２コンプレ
ッサ８ｂ−５の全加算回路１５−０〜１５−５は３対２
コンプレッサ８ｂ−４における全加算回路１５−０〜１
５−５のキャリ出力Ｃｏをそのキャリ入力Ｃｉに受け、
かつ３対２コンプレッサ８ｂ−４の全加算回路１５−１
〜１５−６の和出力ＳをそのＡ入力に受け、かつ３対２
コンプレッサ８ｂ−７の全加算回路１５−０〜１５−５
のキャリ出力ＣｏをそのＢ入力に受ける。

【０１７５】加算器８ａはリップルキャリ型接続構成に
配置された６個の全加算回路１５−０〜１５−５を含
む。加算器８ａの全加算回路１５−０〜１５−５は３対
２コンプレッサ８ｂ−５における全加算回路１５−０〜
１５−５のキャリ出力ＣｏをそのＡ入力に受け、かつ３
対２コンプレッサ８ｂ−５における１ビット上位位置の
全加算回路１５−１〜１５−５の和出力ＳをそのＢ入力
に受ける。３対２コンプレッサ８ｂ−５の最下位ビット
の全加算回路１５−０の和出力Ｓは第２ビットとして累
算器３へ与えられる。加算器８ａの出力が３対２コンプ
レッサ８ｂ−４および８ｂ−５における最下位の全加算
回路１５−０の和出力Ｓと共に並列に累算器３へ与えら
れる。

【０１７６】この図２０に示すように、シナプスユニッ
トを複数の系列にグループ化し、各グループにおいて並
列演算を実行することにより、シナプスユニットの接続
段数を低減することができ、ラテラル接続による遅延時
間の増大を抑制することができる。この図２０に示す構
成においては、シナプスユニットは、２つのグループに
分けられており、各グループにおける最終段の３対２コ
ンプレッサ８ｂ−３および８ｂ−７の出力から最終加算
を得るためにさらに２段の３対２コンプレッサ８ｂ−４
および８ｂ−５と、加算器８ａとが設けられる。この２
段の３対２コンプレッサ８ｂと１段の加算器８ａとは、
３個のシナプスユニットのラテラル接続に対応する（レ
ジスタ出力を用いる場合であり、図１７参照）。レジス
タ出力を用いない構成においては最少限１つの３対２コ
ンプレッサが必要とされる。したがって、このようなグ
ループ化する構成において、たとえば２系列（２つのグ
ループ）に分ける利点を十分に得るためには、図２０に
示すように１ニューロン当りのシナプスユニット数を６
よりも大きくする必要がある（図２０においてはシナプ
スユニットは８個）。

【０１７７】６個のシナプスユニットをラテラル接続し
た場合、レジスタ出力を利用すれば５段の３対２コンプ
レッサと１段の加算器が必要とされる。レジスタの出力
を利用しない場合、３対２コンプレッサの数は１段低減
される。この６個のシナプスユニットを２つのグループ
に分割した場合、１つのグループにおいて、遅延は、レ
ジスタ出力を利用すれば４段の３対２コンプレッサと１
段の加算器の遅延の和となり、レジスタ出力を用いない
場合には、３段の３対２コンプレッサと１段の加算器の
遅延となる。したがって、グループ化するにあたっては
１ニューロン当り最少６個のシナプスユニットが存在す
る場合に遅延低減の効果を得ることができる。

【０１７８】「実施例６」図２１はこの発明の第６の実
施例であるニューロチップの構成を示す図である。図２
１において、ニューロチップ３２０は、４個のニューロ
ンユニット６ｂ−０、６ｂ−１、６ｂ−２および６ｂ−
３を含む。ニューロンユニット６ｂ−０〜６ｂ−３の各
々は２つのシナプスユニットを含む。すなわち、ニュー
ロンユニット６ｂ−０はシナプスユニット９−００およ
び９−０１を含み、ニューロンユニット６ｂ−１はシナ
プスユニット９−１０および９−１１を含み、ニューロ
ンユニット６ｂ−２はシナプスユニット９−２０および
９−２１を含み、かつニューロンユニット６ｂ−３はシ
ナプスユニット９−３０および９−３１を含む。

【０１７９】ニューロンユニット６ｂ−０〜６ｂ−３は
さらに図１に示す構成と同様、累算器３、非線形処理器
４、バスドライバ５、およびメモリ１１を含む。

【０１８０】ニューロチップ３２０はさらに、データ入
出力ノードＤ０＜７；０＞とバスインターフェイス回路
１２−０を介して結合される内部データバス７−０と、
データ入出力ノードＤ１＜７；０＞とバスインターフェ
イス回路１２−１を介して結合される内部データバス７
−１を含む。内部データバス７−０は、ニューロンユニ
ット６ｂ−０〜６ｂ−３における上流のシナプスユニッ
ト９−００、９−１０、９−２０および９−３０に共通
に結合される。内部データバス７−１は、ニューロンユ
ニット６ｂ−０〜６ｂ−３における下流のシナプスユニ
ット９−０１、９−１１、９−２１および９−３１に共
通に結合される。

【０１８１】ニューロンユニット６ｂ−０〜６ｂ−３は
それぞれ２つのシナプスユニットを含む。したがって、
前段の２つのニューロンに対し同時にシナプス演算を実
行することができる。ニューロンユニット６ｂ−０〜６
ｂ−３のメモリ１１の格納データを用いてシナプス演算
を実行する場合、したがってニューロンユニット６ｂ−
０〜６ｂ−３のうち２つのニューロンユニットが選択さ
れ、選択されたニューロンユニットのメモリのデータを
用いてシナプス演算が実行される。このため、ニューロ
ンユニット６ｂ−０〜６ｂ−３は２つの組に分割され
る。図２１に示す構成においてはニューロンユニット６
ｂ−０および６ｂ−２が１つの組を構成しニューロンユ
ニット６ｂ−１および６ｂ−３がもう１つの組を構成す
る。

【０１８２】組単位での動作を実行するために、ニュー
ロンユニット６ｂ−０および６ｂ−２のバスドライバ５
へはイネーブル信号ＢＥ１−０が与えられ、ニューロン
ユニット６ｂ−１および６ｂ−３のバスドライバへはイ
ネーブル信号ＢＥ１−１が与えられる。ニューロンユニ
ット６ｂ−０および６ｂ−２のメモリ１１へは読出制御
信号ＢＥ２−０が与えられ、ニューロンユニット６ｂ−
１および６ｂ−３のメモリ１１へは、読出制御信号ＢＥ
２−１が与えられる。この制御信号ＢＥ１−０、ＢＥ１
−１、ＢＥ２−０およびＢＥ２−１により、内部データ
バス７−０にはニューロンユニット６ｂ−０および６ｂ
−１の一方の演算結果データまたは中間結果データが伝
達され、内部データバス７−１上にはニューロンユニッ
ト６ｂ−２および６ｂ−３の一方の演算結果データまた
は中間結果データが伝達される。

【０１８３】上述の構成では、ニューロチップ３２０に
おけるニューロンユニットの数（♯ニューロンと記す）
と１ニューロン当りのシナプスユニットの数（以下、♯
シナプスと記す）が倍数関係を持っている。すなわち♯
ニューロン：♯シナプス＝４：２である。このため、ニ
ューロンユニットは２個ずつ２つの組に分割される。一
般に♯ニューロン／♯シナプス＝Ｎの場合、ニューロン
ユニットはＮ個ずつ組に分割され１つのデータバスに１
つの組のニューロンユニットが多重化されて接続され
る。シナプスユニットの数に応じて内部データバス７お
よびデータ入出力ノードの数が増加される。

【０１８４】「実施例７」図２２はこの発明の第７の実
施例であるニューロチップの構成を示す図である。図２
２において、２つのニューロチップ１６−０および１６
−１が相互接続され、１つの並列演算システムを構成す
る。ニューロチップ１６−０および１６−１はそれぞれ
１個のニューロンユニット６ｂを含む。ニューロチップ
１６−０および１６−１におけるニューロンユニット６
ｂは２つのシナプスユニット９−００および９−０１を
含む。このニューロンユニット６ｂは、同様に累算器
３、非線形処理器４、バスドライバ５、およびメモリ１
１を含む。バスドライバ５の出力およびメモリ１１のデ
ータバスは内部出力バス７０ｂに結合され、出力バッフ
ァ１２１を介して外部のデータバスＤ１＜７；０＞に結
合される。ニューロンユニット６ｂにおけるシナプスユ
ニット９−００および９−０１の乗算器２（これはまた
別の２値演算回路が用いられてもよい）に対しては、内
部書込データバス７０ａを介して入力データＤｉｎ０＜
７；０＞およびＤｉｎ１＜７；０＞がそれぞれ与えられ
る。

【０１８５】図２２に示す構成においては、２つのニュ
ーロチップ１６−０および１６−１は、チップ外部で相
互接続される。ニューロチップ１６−０の内部出力デー
タバス７０ｂは出力バッファ１２１を介して外部データ
バスＤ０＜７；０＞に結合され、ニューロチップ１６−
１の内部出力データバス７０ｂは出力バッファ１２１を
介して外部データバスＤ１＜７；０＞に接続される。こ
の外部データバスＤ０＜７；０＞およびＤ１＜７；０＞
はまたニューロチップ１６−０および１６−１のデータ
入出力ノードＤｉｎ０＜７；０＞およびＤｉｎ１＜７；
０＞にそれぞれ結合される。他の制御信号は図１に示す
ものと同じである。同じ符号を付された制御信号は共通
にニューロチップ１６−０および１６−１の外部で接続
される。この接続構成により２つのニューロチップ１６
−０および１６−１の接続構成は図１に示す構成と同じ
となる。

【０１８６】上述のように、♯ニューロンが♯シナプス
より小さい場合には、複数のニューロチップを用いて相
互接続することによりすべてのシナプスユニットを同時
に稼動して並列演算処理を実行することのできるシステ
ムを構築することができる。

【０１８７】♯ニューロンおよび♯シナプスの値が他の
値であっても、図２１および図２２に示す接続態様を拡
張して並列演算システムを構成することができる。特
に、♯ニューロンが♯シナプスの倍数である場合および
♯シナプスが♯ニューロンの倍数である場合にはシナプ
スユニットとニューロンユニットの出力の接続の多重化
または複数のニューロチップを利用することにより、等
価的に♯シナプス＝♯ニューロンとすることができ、シ
ステム構成が容易である。この構成について具体的に以
下に説明する。

【０１８８】図２３は、この発明の第７の実施例の一般
的接続構成を示す図である。図２３（Ａ）において、ニ
ューロチップ１６はＮ個のニューロンユニット６ｂ１〜
６ｂＮを含む。ニューロンユニット６ｂ１〜６ｂＮの各
々はＭ個のシナプスユニット９−１〜９−Ｍを含む。
今、条件として、♯シナプス／♯ニューロン＝Ｍ／Ｎ＝
Ｋとする。この場合、ニューロチップ１６をＫ個用いて
並列演算システムを構築することができる。

【０１８９】図２３（Ｂ）はこの図２３（Ａ）に示すニ
ューロチップを複数個用いたマルチチップシステムの接
続構成を示す図である。図２３（Ｂ）において、ニュー
ロチップ１６−１〜１６−Ｋのそれぞれのニューロンユ
ニットの出力がフィードバックされてニューロチップ１
６−１〜１６−Ｋそれぞれのシナプスユニットに共通に
与えられる。このとき、ニューロチップ１６−１〜１６
−Ｋのそれぞれのニューロンユニットの出力は１つのニ
ューロチップ１６におけるニューロンユニットの異なっ
たシナプスユニットに結合されるように接続される。

【０１９０】ニューロチップ１６−１〜１６−Ｋからは
合計Ｎ・Ｋの出力が生成される。このＮ・Ｋの出力が並
列にニューロチップ１６−１〜１６−Ｋに共通にフィー
ドバックされる。１つのニューロンユニットに含まれる
シナプスユニットの数すなわち♯シナプスはＭ（＝Ｎ・
Ｋ）である。これによりこのマルチチップシステムにお
いてニューロンユニットの数と１つのニューロンユニッ
トにおけるシナプスユニットの数とが等しくなり、効率
的にシナプス演算を実行することのできる並列演算処理
システムを構築することができる。ここで、図２３
（Ｂ）においてはニューロチップ１６−１〜１６−Ｋは
外部のデータバスＤ１〜ＤＮ〜ＤＭを介して相互接続さ
れている。

【０１９１】逆に、♯ニューロンが♯シナプスよりも大
きい場合には、１つのニューロチップ内部でニューロン
ユニットをグループ化し、このグループ化されたニュー
ロンユニットを１つのデータバスに対し多重化させて選
択的に接続することにより、一度の動作サイクルにおけ
るニューロンユニットの数とシナプスユニットの数とを
等しくすることができる。この構成は、図２３に示す構
成から容易に想到することができる。

【０１９２】この♯ニューロンの数が♯シナプスよりも
大きい場合チップ内部で多重化する構成に代えて、その
接続を切換えることによりニューラルネットを構築する
ことができる。

【０１９３】図２４はマルチチップニューラルネットの
接続構成の一例を示す図である。図２４においては、ニ
ューロチップの各々が１個のシナプスユニットを含む２
個のニューロンユニットを備える場合の接続構成が示さ
れる。

【０１９４】図２４（Ａ）において、ニューロチップ１
６−１は、レジスタ１０−０および１０−１と、シナプ
スユニットＳＹ０およびＳＹ１とニューロン本体ＮＵ０
およびＮＵ１を含む。ここでニューロン本体ＮＵ０およ
びＮＵ１は、累算器を含んでもよく、また含まなくても
よい。非線形処理器を含んでいればよい。ニューロチッ
プ１６−２もニューロチップ１６−１と同様の構成を備
える。この場合ニューロチップ１６−２のシナプスユニ
ットＳＹ０の出力（累算器３の出力または累算器３の前
段の出力）がニューロチップ１６−１のシナプスユニッ
トＳＹ１の入力へ結合され、またニューロチップ１６−
２のシナプスユニットＳＹ１の出力がニューロチップ１
６−１のシナプスユニットＳＹ０の入力へ接続される。
ニューロチップ１６−１においては、シナプスユニット
ＳＹ０およびＳＹ１はそれぞれレジスタ１０−０および
１０−１からそれぞれ切り離される。ニューロチップ１
６−２においては、シナプスユニットＳＹ０およびＳＹ
１の出力は対応のニューロン本体ＮＵ０およびＮＵ１か
ら切り離される。

【０１９５】ニューロチップ１６−１のニューロン本体
ＮＵ０およびＮＵ１の出力（非線形処理器の出力）の出
力はそれぞれニューロチップ１６−１のシナプスユニッ
トＳＹ０およびＳＹ１およびニューロチップ１６−２に
おけるシナプスユニットＳＹ０およびＳＹ１へフィード
バックされる。

【０１９６】上述の接続構成により、図２４（Ｂ）に示
す接続構成が得られる。すなわち、ニューラルネットは
２つのニューロンユニットを含み、各ニューロンユニッ
トが２つのシナプスユニットＳＹ０およびＳＹ１を含
み、かつニューロンユニットの出力がシナプスユニット
ＳＹ０およびＳＹ１へフィードバックされる。このよう
な接続構成であっても、マルチチップ全体として、♯ニ
ューロン＝♯シナプスとすることができ、効率的に並列
演算処理を実行することのできるニューラルネットを構
築することができる。

【０１９７】図２５は図２４の接続形態の一般的構成を
示す図である。図２５において、ニューロチップ１６−
１〜１６−Ｋの各々はＭ個のニューロンユニットを含
む。ニューロチップ１６の１つのニューロンユニットは
Ｎ段のシナプスユニットＳＹ１〜ＳＹＮを含む。今♯ニ
ューロン／♯シナプス＝Ｍ／Ｎ＝Ｋである。

【０１９８】この場合、ニューロチップ１６−Ｋ−１の
各ニューロンユニットにおける最終段のシナプスユニッ
トＳＹＮはそれぞれ隣接するニューロチップ（下位側に
隣接する）の初段のシナプスユニットＳＹ１の入力へ接
続される。ニューロチップ１６−２〜１６−Ｋにおいて
はシナプスユニットＳＹ１と対応のレジスタ１０−０〜
１０−Ｍとが切り離される。ニューロチップ１６−Ｋに
おいては、ニューロン本体ＮＵ１〜ＮＵＭの出力（非線
形処理器の出力）がＮを１つの組として各ニューロチッ
プのシナプスユニットへそれぞれ与えられる。これによ
りＭニューロンを有し、１つのニューロン当りＭ個のシ
ナプスユニットを備えるマルチチップニューラルネット
ワークが構築される。

【０１９９】上述のように♯ニューロンが♯シナプスの
倍数の場合および♯シナプスが♯ニューロンの倍数の場
合にはニューロンユニットの出力をシナプスユニットへ
フィードバックする際に、そのニューロン出力数とシナ
プス段数とを同じにすることができ、システム構築時に
おけるチップ接続を容易に行なうことができる。

【０２００】「実施例８」図２６はこの発明の第８の実
施例であるニューロチップの全体の構成を示す図であ
る。図２６において、ニューロチップ３３０は、図１に
示すニューロチップと同様の構成を備えるが、シナプス
ユニット９−００、９−０１、９−１０および９−１１
が重みメモリ１を含まない点が異なっている。

【０２０１】ニューロチップ３３０は、この重みメモリ
に代えて、外部からシナプス荷重値Ｗ１０＜７；０＞、
Ｗ１１＜７；０＞、Ｗ００＜７；０＞およびＷ０１＜
７；０＞を受ける。シナプス荷重値Ｗ００＜７；０＞は
シナプスユニット９−００の２値演算回路２ａの一方入
力へ与えられる。シナプス荷重値Ｗ０１＜７；０＞はシ
ナプスユニット９−０１の２値演算回路２ａの一方入力
へ与えられる。シナプス荷重値Ｗ１０＜７；０＞はシナ
プスユニット９−１０の２値演算回路２ａの一方入力へ
与えられる。シナプス荷重値Ｗ１１＜７；０＞はシナプ
スユニット９−１１の２値演算回路２ａへ与えられる。
２値演算回路２ａに代えて乗算器などの他の演算回路が
用いられてもよい。

【０２０２】上述のように、外部からシナプス荷重値を
与える構成であっても上記実施例と同様の効果を得るこ
とができる。特にこの２値演算回路２ａとして差分絶対
値回路を用いた場合、ＬＶＱモデルに従ってシナプス荷
重値の修正を容易に行なうことができ、容易にＬＶＱモ
デルによるニューラルネットを構築することができる。

【０２０３】また重みメモリ１を内蔵する場合、用いら
れるメモリの種類としては、ダイナミックＲＡＭ（ラン
ダム・アクセス・メモリ）、スタティックＲＡＭ、ＥＥ
ＰＲＯＭ（電気的に書込消去可能な読出専用メモリ）、
ＥＰＲＯＭ（電気的にプログラム可能な読出専用メモ
リ）およびマスクＲＯＭのいずれが用いられてもよい。

【０２０４】「実施例９」図２７はこの発明の第９の実
施例であるニューロチップの要部の構成を示す図であ
る。図２７においては、４つのシナプスユニット９−０
０、９−０１、９−１０および９−１１が示される。シ
ナプスユニット９−００、９−０１、９−１０および９
−１１はシナプス荷重値を格納する重みメモリ１を含
む。重みメモリ１はそれぞれ行および列のマトリックス
状に配列された複数のメモリセルＭＣを含む（図におい
ては４行４列）。重みメモリ１は、また、各々に１行の
メモリセルＭＣが配置されるワード線ＷＬと、各々に１
列のメモリセルＭＣが接続される列線ＣＬとを含む。ワ
ード線ＷＬと列線ＣＬとの交差部に対応してメモリセル
ＭＣが配置される。メモリ１はさらに、列を選択するた
めの列選択ゲートＣＳと、列選択ゲートＣＳにより選択
された列上のデータを読出すための読出回路ＯＢを含
む。

【０２０５】この重みメモリ１へは、図１の構成からも
明らかなように、アドレスＡ＜３；０＞が各シナプスユ
ニット９−００、９−０１、９−１０および９−１１に
対し共通に与えられる。このため、図２７に示す構成に
おいては、アドレスＡ＜３；０＞をデコードするアドレ
スデコーダが各重みメモリ１に対し共通に設けられる。
アドレスデコーダはアドレスビットＡ＜０＞、Ａ＜１＞
をデコードして１本のワード線ＷＬを選択する行デコー
ダ９０と、アドレスビットＡ＜２＞およびＡ＜３＞をデ
コードし列選択信号を発生して列選択ゲートＣＳへ与え
る列デコーダ９２を含む。行デコーダ９０は、インバー
タ回路ＩＶ１〜ＩＶ４と、ＮＯＲ回路ＮＧ１〜ＮＧ４を
含む。行デコーダ９０は２対４デコーダであり、アドレ
スビットＡ＜０＞およびＡ＜１＞の論理の組合せにより
４本のワード線のうちの１本のワード線を選択状態とす
る。

【０２０６】列デコーダ９２は、インバータ回路ＩＶ６
〜ＩＶ９およびＮＯＲ回路ＮＧ６〜ＮＧ９を含む。この
列デコーダ９２も２対４デコーダであり、アドレスビッ
トＡ＜２＞およびＡ＜３＞をデコードし、メモリ１にお
ける対応の列を選択する信号を発生する。

【０２０７】図２７においては、メモリ１へのワード線
駆動信号は図において水平方向に隣接するシナプスユニ
ット間でのメモリ１の間を延びるように配設される。こ
のときまた、列デコーダ９２からの列選択信号線もシナ
プスユニット９−００、９−０１、９−１０および９−
１１に対し共通に設けられており、水平方向において隣
接するシナプスユニットのメモリ１に延在するように配
置される。

【０２０８】上述のように、アドレスデコーダを共通化
することにより、チップ占有面積を小さくすることがで
きるとともに回路構成および配置が単純化される。

【０２０９】上述のようなアドレスデコーダの共通化
は、１つのニューロンユニット内に複数のシナプスユニ
ットが設けられる場合、および１つのニューロチップ上
に複数のニューロンユニットが存在する場合であっても
適用することができる。１つのシナプスユニットを有す
るニューロンユニットが複数個設けられる構成であって
もよい。すなわち、乗算器２または２値演算回路２ａま
たは２ｂが複数存在する場合には、それぞれに対応して
重みメモリが設けられるため、重みメモリ１に対するア
ドレスデコーダを共通化することができる。

【０２１０】またアドレスデコーダは行および列両者が
共通化されるのではなく、一方のみが共通化される構成
が利用されてもよい。

【０２１１】

【発明の効果】以上のように、この発明によれば、ニュ
ーロンユニット内に、ニューロン状態値とシナプス荷重
値との演算を行なう第１の演算回路と、この第１の演算
回路の演算結果を入力とする第２の演算器を複数個設
け、１つのニューロンユニット内において第２の演算器
をラテラル接続したため、少数の回路要素の付加で処理
の並列度を増加させることができ、アイドリングニュー
ロンの発生が抑制された効率のよいニューラルネットを
実現することができる。

【０２１２】また、ニューロンの出力をシナプスユニッ
トに入力する経路が複数存在するため、ニューロンユニ
ット間のデータ転送を高速に行なうことが可能となる。

【０２１３】すなわち、請求項１に係る発明によれば、
たとえば加算器である第２の演算手段がラテラル接続さ
れ、最終段の第２の演算手段出力に対して非線形変換処
理を実行しているため、少数の回路要素の追加で並列度
を大幅に改善することができかつ必要最少限の非線形変
換手段のみが設けられているため、効率のよい並列演算
を行なうことのできる並列演算半導体集積回路装置を得
ることができる。

【０２１４】請求項２に係る発明に従えば、たとえばシ
ナプス演算を行なう複数の第１の演算手段に対し、１つ
の処理ユニット内においては互いに異なるデータを与え
ているため、並列演算を効率的に行なうことが可能とな
る。

【０２１５】請求項３に係る発明によれば、非線形変換
手段は、累算手段出力に対し非線形演算処理を行なって
いるため、ニューラルネットを効率的に模擬することの
できる並列演算半導体集積回路装置を得ることができ
る。

【０２１６】請求項４に係る発明によれば、第１の演算
手段を乗算器で構成したため、シナプス演算を実行する
ことができ、ニューラルネットを模擬することのできる
並列演算半導体集積回路装置を得ることができる。

【０２１７】請求項５に係る発明によれば、第１の演算
手段が差分絶対値回路で構成されるため、ＬＶＱモデル
によるニューラルネットを模擬することのできる並列演
算半導体集積回路装置を得ることができる。

【０２１８】請求項６に係る発明によれば、第２の演算
手段を加算器で構成されるため、加算器がラテラル接続
されることにより、複数のシナプスを有するニューロン
ユニットを表現することのできる並列演算半導体集積回
路装置を得ることができる。

【０２１９】請求項７に係る発明では、第２の演算手段
がその入力数よりも出力数が低減されたコンプレッサで
構成されるため、高速で加算演算を行なうことができ
る。

【０２２０】請求項８に係る発明によれば、高速計算さ
れたシナプス総和に対し非線形変換処理を高速で行なう
ことができ、ニューラルネットを高速で模擬する並列演
算半導体集積回路装置を得ることができる。

【０２２１】請求項９に係る発明によれば、入出力デー
タをビットシリアルとしているため、データ入出力ノー
ド数を大幅に低減することができ、チップ面積の小さな
並列演算半導体集積回路装置を得ることができる。

【０２２２】請求項１０に係る発明によれば、シナプス
ユニットを複数のグループに分割しているため、高速演
算処理を行なうことのできる並列演算半導体集積回路装
置を得ることができる。

【０２２３】請求項１１に係る発明によれば、ニューロ
ンユニットの出力を適切にシナプスユニットへフィード
バックすることができ、データ転送のバンド幅の広い高
速演算処理を行なうことのできる並列演算半導体集積回
路装置を得ることができる。

【０２２４】請求項１２に係る発明によれば、処理ユニ
ットの出力を多重化してシナプスユニットへフィードバ
ックしているため、効率的に最適のバンド幅でデータ転
送を行なうことができるチップ面積の小さな並列演算半
導体集積回路装置を得ることができる。

【０２２５】請求項１３に係る発明によれば、チップの
出力を外部接続によりチップのシナプスユニットへフィ
ードバックすることができるため、効率のよいマルチチ
ップ並列演算処理システムを実現することができる。

【０２２６】請求項１４に係る発明によれば、複数のメ
モリに対してメモリセル選択手段の少なくとも一部の機
能を共通化したため、チップ占有面積の小さいかつ規則
的に同一のユニットを繰返した配置のニューロンユニッ
トを実現することができ、設計効率に優れかつチップ占
有面積の小さな半導体集積回路装置を得ることができ
る。

【図面の簡単な説明】

【図１】この発明の第１の実施例である並列演算半導体
集積回路装置の全体の構成を示す図である。

【図２】図１に示す重みメモリの格納内容を例示する図
である。

【図３】図１に示す並列演算半導体集積回路装置の動作
を例示する図である。

【図４】図１に示す並列演算半導体集積回路装置の動作
を例示する図である。

【図５】図１に示す並列演算半導体集積回路装置の動作
時におけるデータメモリの格納内容を例示する図であ
る。

【図６】図１に示す並列演算半導体集積回路装置の動作
時におけるデータメモリの格納内容を例示する図であ
る。

【図７】図１に示す並列演算半導体集積回路装置の動作
を例示する図である。

【図８】図１に示す並列演算半導体集積回路装置の動作
を例示する図である。

【図９】ＬＶＱネットワーク構成の一例を示す図であ
る。

【図１０】この発明の第２の実施例である並列演算半導
体集積回路装置の全体の構成を示す図である。

【図１１】図１０に示す２値演算回路の他の構成例を示
す図である。

【図１２】図１０に示す２値演算回路のさらに他の構成
例を示す図である。

【図１３】この発明の第３の実施例である並列演算半導
体集積回路装置の要部の構成を示す図である。

【図１４】図１３に示す乗算器の具体的構成の一例を示
す図である。

【図１５】図１３に示す構成を利用する並列演算半導体
集積回路装置の全体の構成を示す図である。

【図１６】図１３に示す構成を利用する並列演算半導体
集積回路装置の他の構成例を示す図である。

【図１７】この発明における並列演算半導体集積回路装
置における加算器のラテラル接続構成の一例を示す図で
ある。

【図１８】図１７に示す全加算回路の構成を示す論理回
路図である。

【図１９】この発明の第５の実施例である並列演算半導
体集積回路装置の要部の構成を示す図である。

【図２０】この発明の第６の実施例である並列演算半導
体集積回路装置の要部の構成を示す図である。

【図２１】この発明の第７の実施例である並列演算半導
体集積回路装置の全体の構成を示す図である。

【図２２】この発明による並列演算半導体集積回路装置
を複数個用いる場合の接続構成を示す図である。

【図２３】この発明による並列演算半導体集積回路装置
を複数個用いてシステムを構成する際のチップの相互接
続形態を示す図である。

【図２４】この発明による並列演算半導体集積回路装置
を複数個用いてシステムを構成する際のチップ間接続の
形態を示す図である。

【図２５】図２４に示すチップ接続形態の一般的拡張形
態を示す図である。

【図２６】この発明の第８の実施例である並列演算半導
体集積回路装置の全体の構成を示す図である。

【図２７】この発明の第８の実施例である並列演算半導
体集積回路装置の要部の構成を示す図である。

【図２８】ニューラルネットワークに用いられるニュー
ロンのモデルを示す図である。

【図２９】非線形変換処理に用いられる関数の一例を示
す図である。

【図３０】従来のニューロチップの全体の構成の一例を
示す図である。

【図３１】ニューラルネットワークの構成の一例を示す
図である。

【符号の説明】

１ 重みメモリ ２ 乗算器 ２ａ ２値演算回路 ３ 累算器 ４ 非線形処理器 ５ バスドライバ ６ｂ ニューロンユニット ７−０ 内部データバス ７−１ 内部データバス ８ 加算器 ９ シナプスユニット １００ ニューロチップ ２００ ニューロチップ ２０ 差分絶対値回路 ３０ 演算回路 ２ｂ １ビット×複数ビット乗算器 １３ シフタ ３００ ニューロチップ ３１０ ニューロチップ １５ 全加算回路 ８ａ 加算器 ８ｂ コンプレッサ ３２０ ニューロチップ １６ ニューロチップ ３３０ ニューロチップ ９０ 行デコーダ ９２ 列デコーダ

Claims (14)

【特許請求の範囲】
1. 【請求項１】 第１のデータと予め定められた第２のデ
   ータとの予め定められた演算を行なうための複数の第１
   の演算手段と、 前記第１の演算手段に対応して設けられ、対応の第２の
   演算手段の出力を第１の入力に受ける複数の第２の演算
   手段と、 前記複数の第２の演算手段を縦続接続する第１の接続手
   段とを備え、前記第１の接続手段は上位の第２の演算手
   段の出力を次段の第２の演算手段の第２の入力へ接続す
   るように前記第２の演算手段をラテラル接続する手段を
   含み、 前記縦続接続における最終段の第２の演算手段の出力に
   非線形変換処理を行なうための非線形変換手段を備え
   る、並列演算半導体集積回路装置。
2. 【請求項２】 前記縦続接続された第２の演算手段各々
   に対応する第１の演算手段は互いに異なるデータを前記
   第１のデータとして受ける、請求項１記載の並列演算半
   導体集積回路装置。
3. 【請求項３】 前記非線形変換手段は、 前記最終段の第２の演算手段の出力を累算する累算手段
   と、 前記累算手段の出力に予め定められた非線形演算処理を
   行なう非線形演算手段とを含む、請求項１または２記載
   の並列演算半導体集積回路装置。
4. 【請求項４】 前記第１の演算手段の各々は、前記第１
   のデータと前記第２のデータとの乗算を行なうデジタル
   乗算器を含む、請求項１ないし３のいずれかに記載の並
   列演算半導体集積回路装置。
5. 【請求項５】 前記第１の演算手段は、前記第１のデー
   タと前記第２のデータとの差分絶対値を求める差分絶対
   値回路を含む、請求項１ないし３のいずれかに記載の並
   列演算半導体集積回路装置。
6. 【請求項６】 前記第２の演算手段は、与えられたデー
   タを加算する加算手段を備える、請求項１ないし５のい
   ずれかに記載の並列演算半導体集積回路装置。
7. 【請求項７】 各前記第２の演算手段は、互いに並列に
   配置された複数の全加算器を含み、各前記全加算器の出
   力のすべては次段の第２の演算手段の入力へ与えられ
   る、請求項１、２、４、および５のいずれかに記載の並
   列演算半導体集積回路装置。
8. 【請求項８】 前記非線形変換手段は、 前記最終段の第２の演算手段の出力を加算する最終加算
   手段と、 前記最終加算手段の出力を累算する累算手段と、 前記累算手段の出力に非線形演算処理を行なう非線形演
   算処理手段とを含む、請求項７記載の並列演算半導体集
   積回路装置。
9. 【請求項９】 前記第１のデータは複数ビットを含み、
   かつ前記第１の演算手段は前記第１のデータを１ビット
   ずつビットシリアルのシーケンスで順次受け、かつ前記
   非線形変換手段は複数ビットのデータをビットパラレル
   態様で並列に出力し、 前記第１の演算手段の出力と前記非線形変換手段の入力
   との間に設けられ、与えられたデータのビット位置をシ
   フトするシフト手段と、 前記非線形変換手段の並列出力をビットシリアルの出力
   に変換する並列／直列変換手段とをさらに含む、請求項
   １記載の並列演算半導体集積回路装置。
10. 【請求項１０】 前記第１の演算手段と前記第２の演算
    手段は複数グループに分割され、前記第１の接続手段は
    各前記グループ内において前記第２の演算手段を前記ラ
    テラル接続し、 各前記グループ内の最終段の第２の演算手段の出力を並
    列に受け、前記第２の演算手段と同じ演算処理を行ない
    該演算処理結果を前記非線形変換手段へ与える第３の演
    算手段をさらに備える、請求項１記載の並列演算半導体
    集積回路装置。
11. 【請求項１１】 （ａ）各々が、第１のデータと予め定
    められた第２のデータとの予め定められた演算を行なう
    ための複数の第１の演算手段と、（ｂ）前記第１の演算
    手段の出力に対応して設けられ、与えられたデータに対
    し予め定められた演算処理を行なう複数の第２の演算手
    段と、前記第２の演算手段の出力が次段の第２の演算手
    段の第２の入力に接続されるように各前記第２の演算手
    段をラテラル接続する第１の接続手段と、前記ラテラル
    接続における最終段の第２の演算手段の出力に非線形変
    換処理を行なうための非線形変換手段とを各々が含む複
    数の処理ユニットと、 前記処理ユニットの各々における前記非線形変換手段の
    出力を前記第１のデータとして各前記処理ユニットに共
    通に与えるための第１の接続手段とを含み、前記第２の
    接続手段は各前記処理ユニットの非線形変換手段の出力
    の数と、１つの処理ユニットに含まれる前記第１の演算
    手段の数とに応じて決定される数だけ設けられる、並列
    演算半導体集積回路装置。
12. 【請求項１２】 １つの処理ユニットに含まれる前記第
    １の演算手段の数と前記第２の接続手段の数とは同一で
    あり、かつ前記処理ユニットの数は前記第２の接続手段
    の数のＮ倍であり、ただし前記Ｎは自然数であり、 前記Ｎ個の処理ユニットに含まれる前記非線形変換手段
    の出力を各前記処理ユニットにおける１つの第１の演算
    手段に多重的に対応づける多重化手段をさらに備える、
    請求項１１記載の並列演算半導体集積回路装置。
13. 【請求項１３】 各々が半導体チップ上に形成されかつ
    各々が（ａ）第１のデータと予め定められた第２のデー
    タとの予め定められた演算を行なう第１の演算手段と、
    （ｂ）前記第１の演算手段に対応して設けられ、対応の
    第１の演算手段の出力を第１の入力に受ける第２の演算
    手段と、（ｃ）前記第２の演算手段の出力が次段の第２
    の演算手段の第２の入力に結合されるように各前記第２
    の演算手段をラテラル接続する第１の接続手段と、
    （ｄ）前記ラテラル接続における最終段の第２の演算手
    段の出力に非線形変換処理を行なうための非線形変換手
    段とを含む複数の半導体集積回路と、 前記複数の半導体集積回路各々の前記非線形変換処理手
    段の出力を前記第１のデータとして前記半導体集積回路
    各々に共通に与えるための第２の接続手段とを含み、前
    記第２の接続手段は、１つの半導体集積回路における前
    記非線形変換手段の出力の数と１つの半導体集積回路に
    含まれる前記第１の演算手段の数とに応じて決定される
    数だけ設けられる、並列演算システム。
14. 【請求項１４】 各々が（ａ）第１のデータと予め定め
    られた第２のデータとの演算を行なうための演算手段
    と、（ｂ）前記第２のデータを格納するための複数のメ
    モリセルを有するメモリとを含む複数の処理ユニット
    と、 少なくとも一部の機能が前記複数の処理ユニットに共通
    に設けられ、アドレス信号に従って各前記メモリからメ
    モリセルを選択するためのメモリセル選択手段とを備え
    る、半導体集積回路装置。