JPH1091605A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 メモリ回路と演算回路を組み合わせ、半導体
チップ上に集積された半導体集積回路を提供すること。 【構成】 演算回路１２と、メモリセルアレーＡ，Ｂが
同一チップに集積された半導体集積回路であって、メモ
リセルアレーＡ，Ｂのそれぞれは複数のデータ線と、そ
れらと交わるように配置された複数のワード線と、上記
複数のデータ線と上記複数のワード線の所望の交差部に
配置された複数のメモリセルを有し、演算回路１２は演
算器を有し、かつメモリセルアレーＡとメモリセルアレ
ーＢとの間に配置されていることを特徴とする半導体集
積回路。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、大規模かつ高速な並列
分散処理を実現するためのメモリ回路を内蔵した情報処
理装置に関するものである。特にニューラルネットワー
ク情報処理を行なう情報処理装置に関するものである。

【０００２】

【従来の技術】ニューロコンピューティングとよばれる
ニューラルネットワークを用いた並列分散型情報処理
(以下ニューラルネッ卜ワーク情報処理)は、コンプレッ
クスシステムズ１（１９８７年）第１４５頁から第１６
８頁 (Sejnowski, T. J., and Rosenberg, C. R. １９
８７. Parallel networks that learn to pronounce En
glish text.Complex Systems １, PP.１４５−１６８)
あるいはニューラルネットワーク情報処理 (産業図書、
麻生英樹著) などに述べられているように音声あるいは
画像処理などの分野において注目を集めている。ニュー
ラルネットワーク情報処理では、ネットワーク状に結合
した多数のニューロンと呼ばれる演算要素が、結合と呼
ばれる伝達線を通じて情報をやりとりして高度な情報処
理を行なう。各々のニューロンでは他のニューロンから
送られてきた情報(ニューロン出力値)に対して積あるい
は和などの単純な演算が行なわれる。各々のニューロン
内の演算、さらには、異なるニューロンの演算も並列に
行なうことが可能なため、原理的には、高速に情報処理
を行なうことができる特長を持っている。また、ネイチ
ャー３２３−９、 (１９８６年ａ) 第５３３頁から第５
３５頁 (Rumelhart, D.E., Hinton, G. E., and Willia
ms, R. J. １９８６a. Learning representations by b
ack-propagation errors. Nature ３２３−９, pp.５３
３−５３６)、あるいはニューラルネットワーク情報処
理 (産業図書、麻生英樹著) 第２章などに述べられてい
るように、望ましい情報処理を行なわせるためにニュー
ロン同志をつなぐ結合の重み値を設定するアルゴリズム
(学習)も提案されているため、目的に応じた様々な情報
処理をさせることができる。

【０００３】

【発明が解決しようとする課題】まず、ニューラルネッ
トワークの動作原理を２種類の代表的なネットワークで
ある階層型ネットワークとホップフィールド型ネットワ
ークについて説明する。図２ (ａ) は、階層型ネットワ
ーク、図４ (ａ) は、ホップフィールド型ネットワーク
の構造を示したものである。これらは、どちらもニュー
ロンとニューロン同上をつなぐ結合から構成されてい
る。ここでは、ニューロンという用語を用いるが、場合
によってはノード、あるいは演算要素などと呼ばれるこ
ともある。結合の矢印の向きは、ニューロン出力値の伝
わる方向を示している。階層型ネットワークは、図２
(ａ) に示したように、ニューロンが複数の階層をなす
ように並び、入力層から出力層へ向かう方向にのみニュ
ーロン出力値が伝わるものである。一方、ホップフィ一
ルド型ネットワークは、図４ (ａ) に示したように、同
じニューロンにニューロン出力値がフィードバックされ
るほか、任意の２つのニュ一ロン間で両方向にニューロ
ン出力値が伝わるものである。

【０００４】図２ (ｂ) , 図４ (ｂ) にニューロン内で
行なわれる演算の原理を示した。演算の原理はどちらの
ネットワークでも同様なので、図２ (ｂ) を用いて階層
型ネットワークについて説明する。図２ (ｂ) は、Ｓ＋
１番目の層内のｊ番目のニューロンを拡大して示したも
のである。このニューロン内には結合を通じて前層、す
なわちＳ番目の層内のニューロンの出力値Ｖ１Ｓ,…,
Ｖ１Ｓ,…, ＶｎＳＳが入力される。ここで、ｎＳはＳ
番目の層内のニューロンの数を示している。ニューロン
内では入力されたニューロンの出力値Ｖ１Ｓ, …, Ｖｉ
Ｓ, …, ＶｎＳＳと結合重み値ＴＳｊ１, …, ＴＳｊ
１, …, ＴＳｊｎｓとの積Ｖ１ＳＴＳｊ１,…, ＶｉＳ
ＴＳｊ１, …, ＶｎＳＳＴＳｊｎＳが乗算機ＭＴにより
計算される。つぎに、これらの積とオフセットΘｊＳ＋
１との和を加算機ＡＤＤにより計算する。オフセットΘ
ｊＳ＋１は場合によっては、省略してもよい。さらに、
その結果を非線形関数回路Ｄに入力してニューロンの出
力値ＶｊＳ＋１を得る。非線形関数回路Ｄは図３（ａ）
あるいは、図３（ｂ）に示したような特性を持ち、入力
ｘに対して出力ｇ（ｘ）を出力する。図３（ａ）は、入
力ｘがあるしきい値ｘｔｈを越えるか否かにより２値の
出力ｇ１あるいはｇ２を出力する非線形関数の例であ
り、図３（ｂ）は、シグモイド関数を用いた例で連続的
な出力を出す。非線形関数回路Ｄには、必要に応じてこ
の他の特性を持たせることもある。また、場合によって
は、線形の特性を持たせてもよい。

【０００５】上記の演算の原理は、図４（ｂ）に示した
ようにホップフィールド型ネットワークでも同様であ
る。ただし、ホップフィールド型ネットワークでは、１
つのニューロンに１層前のニューロンだけでなく、すべ
てのニューロンの出力値が入力される。

【０００６】図２（ａ），（ｂ）より判るように、階層
型ネットワークでは、まず、入力層のニューロンの出力
値を与えたあと次の層内のニュー口ンの出力値が更新さ
れ、さらに次の層内のニューロンの出力値が更新されて
１つの処理が終了する。一方、図４（ａ）のようにホッ
プフィールド型ネットワークでは、層というものがない
ため、それぞれのニューロンは、適当なタイミングで出
力値を更新することができる。このホップフィールド型
ネットワークでは、すべてのニューロン出力値を適当に
与え、ニューロン出力値が平衡状態となるまでニューロ
ン出力値の更新を続ける。すべてのニューロンの出力値
を同時に更新するものを同期的なホップフィールド型ネ
ットワーク、それぞれのニューロンが、勝手なタイミン
グで出力値を更新するものを非同期的なホップフィール
ド型ネットワークと呼んで区別する。

【０００７】上記のようなニューラルネットワークの演
算を行なうためにソフトウエアを用いる方法とハードウ
エアを用いる方法とが用いられてきた。ソフトウエアを
用いる方法では、計算機言語で書かれたプログラムによ
りニューロンの演算を行なうので目的に応じてニューロ
ンの数を変えたりネットワークの構造を容易に変えるこ
とができる。しかし、演算を逐次的に行なうためニュー
ロンの数を増やすと情報処理時間が急激に増加するとい
う欠点があった。たとえば、ｎ個のニューロンを用いた
ホップフィールド型ネットワークでは、１つのニューロ
ンの出力値を更新するのにｎ回の積を計算しなければな
らない。したがって、すべてのニューロンの出力値を少
なくとも１回更新するためには、ｎ２回の積を計算する
必要がある。すなわち、ニューロン数ｎの増大とともに
計算量はｎ２のオーダーで増加する。その結果、乗算を
逐次的に行なうと情報処理時間もｎ２のオーダ一で増加
してしまう。

【０００８】ハードウエアを用いる方法では、乗算など
の演算を行なうニューロンをハードウエア化することに
よって、演算の時間を短縮できる。さらに、ハードウエ
ア化したニューロンを多数用いることによって演算を並
列に行ないさらに高速化を図る試みもなされてきた。し
かし、ニューロンの数を増やすとニューロン間の信号線
にあたる配線の本数がｎ２のオーダーで増加するため、
大規模なネットワークを実現するのが困難であった。

【０００９】配線の問題を解決する方法の一例として日
経マイクロデバイス１９８９年３月号ｐ．１２３−１２
９に記載されたものの原理を図５に示す。図５はアナロ
グニューロプロセッサＡＮＰとＳＲＡＭとを用いて３層
で各層に３つのニューロンを用いた階層型ネットワーク
を構成した例を示している。ＡＮＰは、図２（ｂ）にお
ける乗算機ＭＴと加算機ＡＤＤが１つずつと非線形関数
回路Ｄなどが１チップに集積されてものである。別のチ
ップであるＳＲＡＭには、各ニューロンに属する結合重
み値が記憶されている。異なる層のニューロンとは、ア
ナログコモンバスと呼ばれる１本の信号線を使って結合
されている。入力層のニューロン出力値は外部から入力
するため、入力層のニューロンに相当するＡＮＰとＳＲ
ＡＭは省略されている。

【００１０】動作は次のようになる。まず、所望の情報
処理に必要な各ＡＮＰ用の結合重み値を外部から、それ
ぞれのＳＲＡＭに読み込む。次に入力信号線から、入力
層内の１つのニューロンの出力値にあたる入力アナログ
信号を入力する。入力信号は、中間層のニューロンに相
当するＡＮＰに直接、並列に入る。入力信号に同期させ
て、重みデータをＳＲＡＭから各ＡＮＰにデータを読出
す。次に２つの信号の積を計算しその結果を各ＡＮＰに
記憶する。つづいて、入力層の別のニューロンの出力値
にあたる入力アナログ信号を入力して同様に積を計算し
その結果を中間層の各ＡＮＰに記憶されている値に足し
合わせる。入力層の最後のニューロンの出力値にあたる
入力アナログ信号について同様の演算を行なった後に、
中間層のニューロン出力値Ｖ１２，Ｖ２２，Ｖ３２をＡ
ＮＰ内の非線形関数回路により順番に中間層アナログコ
モンバスに出力し上記と同様の演算を続ける。最後に出
力層のＡＮＰ内の非線形関数回路により出力層のニュー
ロン出力値Ｖ１３，Ｖ２３，Ｖ３３を出力層アナログコ
モンバスに順番に出力する。

【００１１】上記のように図５に示した従来例に依れ
ば、コモンバスを時分割で駆動することにより配線の問
題を回避することができる。また、１層内のニューロン
の数だけの乗算を並列に行なうことができるので、ハー
ドウエア化による演算スピードの高速化とあいまって情
報処理速度をソフトウエアによる方法と比べて大幅に上
げることができる。

【００１２】しかし、ＡＮＰとＳＲＡＭとを別々のチッ
プとしているため大規模なネットワークを高密度に実現
するのは、困難である。上記の日経マイクロデバイス１
９８９年３月号ｐ．１２９に記載されているように１０
mm角のチップ上に３２ニューロンを集積することが可能
だとしても１つのニューロンについて加算器, 乗算器,
非線形関数回路を１つずつ用意する必要があるため、数
百, 数千のニューロンを１つのチップ上に集積すること
は困難である。

【００１３】また、上記従来例では、実際の問題に適用
する際に次のような問題がある。階層型ネットワークの
応用例として３層のネットワークに英文字を入力してそ
の発音、アクセントを出力する例がコンプレックスシス
テムズ１（１９８７年）第１４５頁から第１６８頁 (Se
jnowski, T. J., and Rosenberg, C. R. １９８７. Par
allel networks that learn to pronounce English tex
t. Complex Systems１, PP.１４５−１６８) に述べら
れている。第１層のニューロン出力値として英文字７文
字のコードが設定され、第３層の２６個のニューロンの
出力値として上記７文字の中央の文字の発音、アクセン
トに対応するコードを出力するというものである。この
ような例では、入力によっては、出力層のニューロンの
出力値が、あらかじめ定義しておいた発音，アクセント
のコードに一致せずあいまいな値が得られることがあ
る。したがって、得られた出力と、すべての発音，アク
セントのコードを比較して最も近いコードを見つけてそ
れを正解とする必要がある。このような出力値と出力の
期待値 (上記例では発音，アクセントのコード) との比
較は、ニューラルネットワークによるパターン認識など
でも同様に必要となる。上記の従来例ではこの点が考慮
されおらず、実際の問題に適用する際に不便であった。

【００１４】さらに上記従来例では所望の情報処理に必
要な結合重み値を外部のコンピュータで求めてその結果
を図５のＳＲＡＭに書き込んでいる。従って学習をソフ
トウエアですべて行うため、学習を高速に行うことは困
難であった。

【００１５】本発明の目的は、多数のニューロンを含む
ネットワークにおいてニューロン出力値の計算を、少数
の回路を用いて高速に行なう装置を提供することにあ
る。また、本発明の他の目的は、ニューロン出力値と期
待値を高速に比較する機能を上記装置に持たせることに
ある。さらに、本発明の更に他の目的は学習に必要な演
算の少なくとも１部を処理する機能を上記装置に持たせ
ることにある。本発明の他の目的は以下の説明及び図面
によって、明らかにされる。

【００１６】

【課題を解決するための手段】上記課題を解決するため
に、本発明では、ニューロン出力値，結合重み値，出力
の期待値ならびに学習に必要なデータなどを記憶するメ
モリ回路、該メモリ回路に情報を書き込んだり、該メモ
リ回路より情報を読出したりするための入出力回路、該
メモリ回路に記憶されている情報を用いて積和および非
線形変換等ニューロン出力値を求めるための演算ならび
に出力値とその期待値の比較, 学習に必要な演算などを
行なう演算回路, 上記メモリ回路, 入出力回路, 演算回
路の動作を制御するための制御回路を設けた。上記演算
回路は加算器,乗算器, 非線形関数回路, 比較器などの
いずれかを少なくとも１つ以上含んで構成され、積和等
ニューロン出力値を求めるために必要な演算の少なくと
も１部を並列に行なえるようにした。しかも、これらの
回路を複数のニューロンで共用させ、時分割で動作させ
ることによって、複数のニューロン出力値を求めるよう
にした。また、上記比較器は、求めたニューロン出力値
と出力の期待値とを並列に比較するようにした。

【００１７】

【作用】上記のように演算回路に含まれる加算器、乗算
器、非線形関数回路を複数のニューロンについて共用し
たため、多数のニューロンを用いたニューラルネットワ
ークにおいてニューロン出力値を計算する装置を少数の
回路で実現することができる。また、上記演算回路で積
和等ニューロン演算の少なくとも１部を並列に行なうた
め、情報処理を高速に行なうことができる。また、上記
比較器により、得られた出力値と出力の期待値とを並列
に比較することができるため、得られた出力値と期待値
との距離 (得られた出力値と期待値との一致度、いわゆ
るハミング距離) を高速に求めることができる。さら
に、学習に必要な演算の少なくとも１部を装置のハード
ウエアで行うため学習の高速化を図ることができる。

【００１８】

【実施例】図１は、本発明による情報処理装置を半導体
チップ上に集積化した場合の１実施例である。

【００１９】情報を記憶するメモリ回路、該メモリ回路
に情報を書き込み、及び、該メモリ回路より情報を読出
す動作の少なくとも一方を行なう入出力回路, ニューロ
ン出力値を求めるための演算, 出力値と期待値との比較
(得られた出力値と期待値との一致度、 いわゆるハミ
ング距離の算定) 、あるいは学習に必要な演算などを該
メモリ回路に記憶されている情報を用いて行う演算回
路, 上記メモリ回路, 入出力回路, 演算回路の動作を制
御するための制御回路を半導体チップ上に集積してあ
る。各ブロックを結ぶバスは１本の配線とは限らず必要
な複数の配線で構成される。上記メモリ回路には、ニュ
ーラルネットワーク情報処理に必要な結合重み値, ニュ
ーロン出力値, 出力の期待値あるいは学習に必要なデー
タなどを記憶することができる。本実施例により次のよ
うにしてニューロン出力値の計算、出力値と期待値との
比較、あるいは学習に必要な計算などニューラルネット
ワーク情報処理を行なうことができる。

【００２０】初めにニューロン出力値を計算する方法に
ついて述べる。まず、制御回路により、メモリ回路から
演算回路にバス１を通じてニューラルネットワーク情報
処理のための演算を行うのに必要な結合重み値ならびに
ニューロン出力値あるいは、オフセットなどを並列に読
出す。次に演算回路によりニューロン出力値を求めるの
に必要な積和, 非線形変換などの演算を並列に行ない、
得られた結果を入出力回路を通じてメモリ回路へ書込
む。以上の動作を必要な回数続けてニューロン出力値を
求めていく。演算回路では１回の動作で１つあるいは複
数のニューロン出力値を同時に求めてもよいし、あるい
はニューロン出力値を求める計算の１部を行ってもよ
い。このようにすれば、階層型ネットワーク、あるいは
同期型, 非同期型のホップフィールド型ネットワークな
ど様々なニューラルネットワークによる情報処理を行な
うことができる。なお同期型のホップフィールド型ネッ
トワークでは、すべてのニューロンの出力値を同期的に
更新するため、すべてのニューロンの出力値の更新が終
わるまで前回のすべてのニューロンの出力値を記憶して
おく必要がある。この場合には、前回のすべてのニュー
ロンの出力値をメモリ回路に記憶しておいてニューロン
の出力値の更新に使用すればよい。

【００２１】本実施例によれば、ニューロン出力値を計
算するのに必要な乗算器, 加算器,非線形関数回路を必
要な個数だけ演算回路に設けて反復使用すればよいため
各ニューロン毎にこれらの回路を用意する場合に比べて
大幅に回路数を削減できる。例えば、各層が１００個の
ニューロンからなる３層の階層型ネットワークを実現す
るのに図７の従来例では、乗算器と加算器ならびに非線
形関数回路を２００個ずつ用意しなくてはならないのに
対して本実施例では、最低１つの乗算器と１つの加算器
ならびに１つの非線形関数回路を用意すればよい。速度
を上げるために１つのニューロン出力値を更新するのに
必要な乗算を並列に行なうとしても１００個の乗算器と
１つの加算器ならびに１つの非線形関数回路を用意すれ
ばよい。したがって本実施例に依れば従来例に比べて回
路数を削減できる。なお、上記の差はネットワークが大
規模になるほど大きくなる。ホップフィールド型等他の
ネットワークでも事情は同じである。

【００２２】ニューロン出力値を求める場合の情報処理
速度は、乗算等の演算速度の他に並列に行なう演算の量
が大きく寄与する。前記したように、たとえば、ｎ個の
ニューロンを用いたホップフィールド型ネットワーク
は、すべてのニューロンの出力値を更新するのにｎ２回
の積を計算しなくてはならない。したがって、乗算を逐
次的に行なうとすべてのニューロンの出力値を更新する
のに少なくとも１回の乗算に要する時間のｎ２倍の時間
を要してしまう。その結果、乗算に要する時間がニュー
ロン数の増大と共にニューロン数の２乗のオーダーで急
速に増加してしまう。階層型ネットワークでも事情は同
じである。従って数多くの乗算を並列に計算することが
望ましい。以下では、図１の実施例においてニューロン
出力値を求めるために乗算を並列化して情報処理速度を
上げるための演算方式の実施例について説明する。

【００２３】図６は演算を並列に行なう１方式につい
て、階層型ネットワーク（ａ）とホップフィールド型ネ
ットワーク（ｂ）について説明したものである。本実施
例では、図に示したように１つのニューロン出力値を求
めるために必要な積を並列に計算する。つまり、１つの
ニューロンに入力されるニューロン出力値と結合重み値
とを並列にメモリ回路から読出し、それらの積を並列に
計算する。このため、乗算に要する時間はニューロン数
の増大と共にニューロン数の１乗のオーダーで増加す
る。したがって、乗算を逐次的に行なう場合に比べて情
報処理時間を大幅に短縮できる。図６では１つのニュー
ロンの出力値の更新に必要な乗算のみを並列に行なうと
したが、図１の実施例は、これに限定されるものではな
く、集積度が許容される範囲で演算回路を追加して複数
のニューロンの出力値の更新を並列に行なってもよいこ
とはもちろんである。その場合は、より高速に情報処理
を行なうことができる。その他図７に示したように他の
方式で並列に演算を行なうこともできる。図７は、階層
型ネットワーク（ａ）とホップフィールド型ネットワー
ク（ｂ）について１つのニューロンの出力値が入力され
る複数のニューロンについて乗算を並列に行なう１実施
例を示したものである。この方法では、ニューロン出力
値と結合重み値を並列にメモリ回路から読出し, ニュー
ロン出力値の更新に必要な演算を複数のニューロンにつ
いて少しずつ行なうことになる。そのため、非同期型の
ホップフィールド型ネットワークを実現することはでき
ないが、図６の方式と同様に乗算に要する時間はニュー
ロン数の増大と共にニューロン数のおよそ１乗のオーダ
ーで増加するため乗算を逐次的に行なう場合に比べて情
報処理時間を大幅に短縮できる。

【００２４】図５の従来例でもこの方式で演算を並列に
行なっているが、以下に述べるように、図１の構成によ
れば従来例に比べてより少数の回路で実現することがで
きる。図７に示した方式においては、図中に斜線で示し
たように各ニューロンにおいて１つの乗算器だけが並列
に動作する。したがって、図１の実施例では１度に演算
を行なうニューロンの数だけの乗算器を演算回路に設け
ればよく、従来例のようにニューロン毎にすべての乗算
器を設ける場合に比べて少数の回路でこの方式を実現す
ることができる。例えば、３層で各層に３つのニューロ
ンをもつ階層型ネットワークでは、乗算器, 加算器, 非
線形関数回路を６個ずつ設ける従来例に比べて図１の実
施例を用いると例えば乗算器、加算器、非線形関数回路
を３個ずつ用いるだけで同様の並列化を実現できる。

【００２５】このように図１に示した実施例に依れば、
演算回路に含まれる加算器、乗算器、非線形関数回路を
複数のニューロンについて共用することにより、多数の
ニューロンを用いたニューラルネットワークと同様な情
報処理を行なう装置を必要最小限の回路で実現すること
ができる。また、上記演算回路で積和等の演算を並列に
行なうことにより、情報処理を高速に行なうことができ
る。なお、演算を並列化するとメモリ回路と演算回路の
間のバスの配線本数を増加して１度に多くのデータを演
算回路に送る必要が生じるが、図１では、同一のチップ
上にメモリと演算器を配置しているため、バスの配線本
数を増加することは容易にできる。

【００２６】これまではニューロン出力値を計算する方
法について述べたが、図１の実施例によれば、ニューロ
ン出力値とその期待値との比較を行うこともできる。そ
のためには、あらかじめ期待値をメモリ回路に記憶して
おき、上記の方法で得られた出力値との距離の計算を演
算回路で行えばよい。この計算は、期待値と計算値の一
致度を計算するものである。このとき、バス１の本数を
増加することにより、多数のビットからなる期待値と出
力値とを同時に演算回路に読出して並列に処理すること
は容易にできる。このように図１の実施例によれば外部
のコンピュータを用いて１ビットずつシリアルに比較を
行う場合に比べてパターン認識などの情報処理を高速に
行うことができる。

【００２７】さらに、図１の実施例によれば学習に必要
な演算を演算回路で行うことにより、ソフトウエアで行
う場合に比べて高速に学習を行うことができる。具体的
な実施例については、後述する。

【００２８】ニューラルネットワーク情報処理は、結合
重み値を換えることにより様々な情報処理を行なうこと
ができるという利点を持つ。図１に示した実施例に依れ
ばメモリ回路に記憶した結合重み値を書き換えることに
より容易にこの利点を活かすことができる。また、メモ
リ回路の容量をニューロン出力値の計算に必要な量より
大きくしておくことにより、異なる情報処理に必要な何
種類かの結合重み値をあらかじめ記憶しておくこともで
きる。その場合には結合重み値を書き替える時間を失う
ことなく連続して異なる種類の情報処理を行うことがで
きるというメリットがある。その他、続けて数多くの入
力データについて情報処理を行なう場合には、あらかじ
め必要な入力データや、得られたデータをメモリ回路の
１部に記憶しておくこともできる。このようにすれば、
１つの入力データ毎にメモリ回路にデータを読み込み、
演算を行ってその結果を装置外へ出力するという動作を
繰り返す場合に比べて読み込み、演算、出力の動作モー
ドを切り替える回数が少なく処理時間を短縮することが
できる。

【００２９】次に、図１の実施例を基にしたより具体的
な実施例について説明する。説明を簡単にするため、ま
ず、演算回路にニューロン出力値を計算する機能を持た
せる場合について説明し、最後に比較、あるいは学習の
機能を持たせる方法について述べる。

【００３０】図８は、図１の実施例においてメモリ回路
に格子状のメモリセルアレーを有するものを用いた場合
の１実施例である。図８においてＡは、メモリセルアレ
ーで、複数のデータ線とそれと交差するように配置した
複数のワード線とそれらの所望の交差部に配置されたメ
モリセルを有し、上記ワード線の１本を選択することに
より、上記異なる複数のメモリセルの信号を複数のデー
タ線上に読みだすことができる。１２は、演算回路であ
る。１０，１１，１３，１４，１５，１６は、図１の制
御回路に相当するものである。１０，１５は、それぞれ
Ｘ系アドレス、Ｙ系アドレス用のアドレスバッファ、１
１，１４は、それぞれＸ系アドレス, Ｙ系アドレス用の
デコーダ, ドライバである。１３は、メモリセルアレー
を制御するためのアレー制御回路、１６はクロック発生
回路であり、外部から入力される信号をもとにメモリの
動作を制御するためのクロックを発生する。ＯＵＴとＷ
Ｒは、それぞれ読出し回路, 書込み回路である。チップ
セレクト／ＣＳは、このチップの選択信号である。書込
み制御信号／ＷＥは、書込み、読出し動作の切り換え用
信号であり、低レベルで書込み動作、高レベルで読出し
動作となる。／ＮＥは、演算回路制御信号であり、低レ
ベルで演算回路が起動され、高レベルで演算回路が停止
して通常のメモリとして動作する。以下では、／ＮＥを
高レベルとした状態をメモリモード, 低レベルとしたと
きを演算モードということにする。メモリモードでは、
Ｘ系アドレス, Ｙ系アドレスにより所望のメモリセルを
選択し、そのセルに対して書込みデータＤＩを書き込ん
だり、セルから情報を読出して読出しデータＤＯとして
出力することができる。演算モードでは、メモリセルに
記憶されている情報を演算回路１２へ読出し、演算回路
１２の演算の結果もしくは演算の結果に応じたデータを
入力回路を通じてメモリセルヘ書き込むことができる。
本実施例によれば、ワード線の１本を選択することによ
り、そのワード線上のすべてのメモリセルの情報がデー
タ線に出力される。したがって、容易に多数の情報を演
算回路１２に取り込むことができ、多くの演算を並列に
行なうことができる。本実施例によりニューロン出力値
の計算を行うには、まず、メモリモードとして演算回路
を停止し、必要な結合重み値, ニューロン出力値, オフ
セットなどをメモリ回路に書き込んでおく。つぎに演算
モードとして演算回路を起動し、１本のワード線を選択
することにより必要な情報を演算回路に読出す。次にそ
の結果をメモリ回路に書き込む。さらに演算に必要な情
報の読出しと結果の書込みを必要な回数だけ続ければ、
ニューラルネットワーク情報処理を高速に容易に行なう
ことができる。上記のように図８に示した実施例によれ
ば１度に多くの情報を演算回路に読み込むことができる
ので、例えば、図６あるいは図７に示したような方式の
並列演算を行なうのに適している。このように、本実施
例によれば並列に演算を行なうため高速にニューラルネ
ットワーク情報処理を行なうことができる。さらに、演
算回路１２を反復使用することにより複数のニューロン
で出力値の計算回路を共用することができ、容易に高集
積化できる。

【００３１】また、複数のワード線上のメモリセルに蓄
えた情報を使って並列に演算を行なう場合には、演算回
路内に１次記憶のためのレジスタを設けておきワード線
を持ち上げて得た情報を１度レジスタに収納して、別の
ワード線を立ち上げてその結果読出した情報と合わせて
演算を行なうこともできる。

【００３２】さらに、図９に示した実施例のようにメモ
リ回路をＡ，Ｂの２つ設けることもできる。図９におい
て１３Ａ，１３ＢはそれぞれメモリセルアレーＡ，Ｂを
制御するアレー制御回路である。デコーダなど他の回路
は、図には示していない。図９の構成によればメモリセ
ルアレーＡとＢにおいてワード線を１本ずつ選択するこ
とにより両方のワード線上のメモリセルの情報を演算回
路に読み込むことができる。図９の構成を用いれば、メ
モリセルアレーＡにはニューロン出力値, メモリセルア
レーＢには結合重み値を収納するなど情報の種類により
メモリアレーを使いわけることもできるので、読出し、
書込みなどの制御を簡単化することができる。なお、図
８，図９の実施例においては、書き込みデータＤＩと読
出しデータＤＯを並列に複数扱えるようにしたり、アレ
ーＡとＢとで別々に読出し回路ＯＵＴと書込み回路ＷＲ
を設けてもよい。

【００３３】図８，図９の実施例においてはワード線あ
るいは、特定のメモリセルの選択はアドレスにより通常
のメモリと同様に行なうことができる。したがって、ア
ドレスの選択順を変えることによりさまざまな型のネッ
トワークあるいは様々な並列演算の方式などに柔軟に対
応できる。

【００３４】図８，図９の実施例においてメモリ回路と
してＤＡＲＭあるいは、ＳＲＡＭなどの高集積半導体メ
モリを用いることができる。この場合にはメモリ回路に
多くの情報を蓄えることができるので、規模の大きいネ
ットワークを１チップに集積化できる。

【００３５】次に、図９の構成を用いて階層型ネットワ
ークを実現する方法について詳細に述べる。並列演算の
方式としては、図６（ａ）の方式を例にとる。層の数は
ｍ層で各層のニューロンの数はｎ個とする。なお、説明
を簡単にするために図２（ｂ）あるいは図４（ｂ）に示
した各ニューロンのオフセットΘについては、ここでは
省略する。しかし、図２（ｂ）あるいは図４ (ｂ) より
明らかなように、各ニューロンのオフセットΘは、各ニ
ューロン毎に入力されるニューロン出力値を１つ増やし
てその値を各ニューロンのオフセットΘ、対応する結合
重み値を１と置き、その積を他のニューロン出力値と結
合重み値の積の総和に足すことによって通常の他のニュ
ーロンからの出力値と同様に扱うことができる。

【００３６】図１０はメモリセルと、結合重み値および
ニューロン出力値との対応の１実施例を示したものであ
る。Ｄは非線形関数回路であり、ｃ１，ｃ２，…ｃｎは
加算器、ｍ１，ｍ２，…ｍｎは乗算器である。ｃ１，ｃ
２，…ｃｎは合わせて図２（ｂ）における多入力の加算
器ＡＤＤを構成している。メモリセルアレーＡにはニュ
ーロン出力値、メモリセルアレーＢには結合重み値を収
納する。図にはニューロン出力値, 結合重み値を収納す
る分のメモリセルのみしか示していないが各ニューロン
のオフセットΘや学習に必要なデータなどその他のデー
タを収納する分のメモリセルを必要に応じて設けてもよ
いのはもちろんである。図に示したように、メモリセル
アレーＡ内のワード線ｓとデータ線ｉの交差部にあるメ
モリセルにニューロン出力値Ｖｉｓを収納する。すなわ
ち同じワード線には、同じ層のニューロン出力値が配置
される。メモリセルアレーＢでは、ワード線（ｓ，ｊ）
とデータ線ｉの交差部にあるメモリセルに結合重み値Ｔ
ｓｉｊを収納する。図１１（ａ），(ｂ) には、非線形
関数回路Ｄの入出力特性の１実施例を示してある。図１
１（ａ）は、ｇ１とｇ２の２値の出力を持つ実施例であ
る。ｘ１，ｘ２はそれぞれ入力ｘの下限値および上限値
を表している。図１１（ａ）では、入力ｘがｘｔｈを越
えると出力がｇ２でそれ以下だとｇ１になるので、メモ
リセルとして２値のものを使うときに適している。図１
１（ｂ）は、ｇ１とｇ２の間にｇａとｇｂの出力を持つ
４値の実施例である。本実施例は、メモリセルとして４
値のものを使うときに適した例である。ｇ１，ｇａ，ｇ
ｂ，ｇ２の間隔は、図では等間隔としたが必要に応じて
間隔を変えてもよいことはもちろんである。メモリセル
として連続値の情報、所謂アナログ値を記憶できるよう
なものを使う場合には非線形関数回路Ｄとして図３
（ｂ）のような特性を持つものを使用してもよい。図１
２には、図１０の実施例において入力層のニューロン出
力値から最終層のニューロン出力値を求めるためのワー
ド線の選択法および書込み先のアドレスの対応の１実施
例を示してある。以下、図１０の動作を図１２を用いて
説明する。まず、アレーＡのｓ＝１のワード線とアレー
Ｂの（ｓ，ｊ）＝（１，１）のワード線を同時に立ち上
げる。するとアレーＡのデータ線ｉ＝１，２，…，ｎに
は、入力層のニューロン出力値Ｖ１１，Ｖ２１，…，Ｖ
ｎ１が出力される。一方アレーＢのデータ線ｉ＝１，
２，…，ｎには、結合重み値Ｔ１１１,Ｔ１１２,…,Ｔ
１１ｎが出力される。それらが乗算器ｍ１，ｍ２，…，
ｍｎに入力されてＴ１１１Ｖ１１,Ｔ１１２Ｖ２１,…,
Ｔ１１ｎＶｎ１となりこれらが加算器ｃ１，ｃ２，…,
ｃｎに入力される。その結果（Ｔ１１１Ｖ１１＋Ｔ１１
２Ｖ２１＋…＋Ｔ１１ｎＶｎ１）が非線形関数回路Ｄに
人力される。非線形関数の出力は書込み回路ＷＲ（図で
は省略)を通じてアレーＡ内の書込み先アドレス（ｓ，
ｉ）＝（２，１）に対応するメモリセルに書き込まれ
る。このようにして２層目の１番目のニューロン出力値
Ｖ２１の値が計算される。次に、アレーＡのｓ＝１のワ
ード線とアレーＢの（ｓ，ｊ）＝（１，２）のワード線
を同時に立ち上げる。するとアレーＡのデータ線ｉ＝
１，２，…，ｎには、入力層のニューロン出力値Ｖ１
１,Ｖ２１,…,Ｖｎ１が出力される。一方アレーＢのデ
ータ線ｉ＝１，２，…，ｎには、結合重み値Ｔ１２１,
Ｔ１２２,…,Ｔ１２ｎが出力される。それらが乗算器ｍ
１，ｍ２，…，ｍｎに入力されてＴ１２１Ｖ１１,Ｔ１
２２Ｖ２１,…,Ｔ１２ｎＶｎ１となりこれらが加算器ｃ
１，ｃ２，…，ｃｎに入力される。その結果（Ｔ１２１
Ｖ１１＋Ｔ１２２Ｖ２１＋…＋Ｔ１２ｎＶｎ１）が非線
形関数回路Ｄに入力される。非線形関数回路の出力は書
込み回路（図では省略）を通じてアレーＡ内の書込み先
アドレス（ｓ，ｉ）＝（２，２）に対応するメモリセル
に書き込まれる。こうして２層目の２番目のニューロン
出力値Ｖ２２の値が計算される。以上のような動作を図
１２に従って続けていくことによりすべてのニューロン
出力値を求めることができる。本実施例によれば、演算
モードにおいて読出しと書込み動作を１回ずつ行なうこ
とにより１つのニューロン出力値を求めることができる
ため高速にニューラルネットワーク情報処理を行なうこ
とができる。また、演算回路をすべてのニューロンで共
用できるため高集積化が可能である。なお、図１２はメ
モリセルの割当ての１例を示したものであり、これに限
定されることなく種々の変形が可能である。例えば、前
記したように複数の入力デー夕を連続して処理すること
もできる。この場合には、入力層のニューロン出力値は
複数組必要である。このため、アレーＡの異なる複数の
ワード線上に複数の入力データに相当する入力層のニュ
ーロン出力値をあらかじめ書き込んでおいで、順番に使
用してもよい。このようにすれば情報処理の度に入力層
のニューロン出力値を読み込まなくてよいため、連続し
て高速に情報処理を行なうことができる。

【００３７】ここではニューロン出力値, 結合重み値を
蓄えるのに１つのメモリセルを使用した。したがって、
２値のメモリセルを使用した場合にはニューロン出力
値, 結合重み値として２値の値しか取れないことにな
る。前記したように多値のメモリセルを使用することに
よって、ニューロン出力値, 結合重み値の値を増やすこ
ともできるが、多値のメモリセルでは、Ｓ／Ｎ比の問題
などにより信頼性にかける場合もあり得る。そのような
場合には、次に述べるように、ニューロン出力値,結合
重み値を蓄えるのに複数のメモリセルを使用することも
できる。

【００３８】図１３は、１つのニューロン出力値を蓄え
るのにｐ個のメモリセル、１つの結合重み値を蓄えるの
にｑ個のメモリセルを使用した場合の１実施例である。
図中のｉ，ｊ，ｓなどのニューロン出力値, 結合重み値
を示す添字は図１０に示した実施例における添字と対応
している。図１３の実施例ではアレーＡ内の１本のワー
ド線上の連続するｐ個のメモリセルで１つのニューロン
出力値を表し、アレーＢ内の１本のワード線上の連続す
るｑ個のメモリセルで１つの結合重み値を表す。ニュー
ロン出力値の計算は次のように行なわれる。まず、図１
０の実施例と同様に、アレーＡのｓ＝１のワード線とア
レーＢの（ｓ，ｊ）＝（１，１）のワード線を同時に立
ち上げる。するとアレーＡのｐ本のデータ線よりなるデ
ータ線群ｉ＝１，２，…,ｎには、入力層のニューロン
出力値Ｖ１１，Ｖ２１，…，Ｖｎ１を表す情報が出力さ
れ、それらが群ごとに加算器ａ１，ａ２，…，ａｎに入
力される。一方アレ一Ｂのｑ本のデータ線よりなるデー
タ線群ｉ＝１，２，…，ｎには、結合重み値Ｔ１１１,
Ｔ１１２,…,Ｔ１１ｎを表す情報が出力され、それらが
群ごとに加算器ｂ１，ｂ２,…，ｂｎに入力される。上
記した加算器ａ１，ａ２，…，ａｎ，ｂ１，ｂ２，…，
ｂｎにより、ニューロン出力値Ｖ１１,Ｖ２１,…，Ｖｎ
１、結合重み値Ｔ１１１,Ｔ１１２,…,Ｔ１１ｎが合成
され図示したように乗算器ｍ１，ｍ２，…，ｍｎに入力
されてＴ１１１Ｖ１１,Ｔ１１２Ｖ２１,…,Ｔ１１ｎＶ
ｎ１を得る。これらが加算器ｃ１，ｃ２，…，ｃｎに入
力され、その結果、（Ｔ１１１Ｖ１１＋Ｔ１１２Ｖ２１
＋…＋Ｔ１１ｎＶｎ１）が非線形関数回路Ｄに入力され
る。非線形関数回路の出力は書込み回路ＷＲ（図では省
略）を通じてアレーＡ内の書込み先アドレス（ｓ，ｉ）
＝（２，１）に対応するｐ個のメモリセル群に書き込ま
れる。同様な動作を図１２と同じアドレスを用いて続け
ることによりすべてのニューロンの出力値を求めること
ができる。上記の実施例によればアレーＡ内の１本のワ
ード線上の連続するｐ個のメモリセルで１つのニューロ
ン出力値を表し、アレーＢ内の１本のワード線上の連続
するｑ個のメモリセルで１つの結合重み値を表すことに
より２値のメモリセルを使用して多値の値のニューロン
出力値、結合重み値を表現できることになる。このた
め、ニューロン出力値，結合重み値として多値の値を用
いる場合でも２値のメモリセルを用いて実現することが
できる。また、上記の実施例においては、アドレスの切
り換えの回数は図１０の実施例と同じであるため図１０
の実施例と同様に高速に情報処理を行なうことができ
る。なお、非線形関数回路の結果をニューロン出力値を
表すｐ個のメモリセルへ書込むには、ｐ回の書込み動作
を連続して行なってもよいが、書込み回路をｐ個設ける
ことにより並列に行なうことも容易にできる。この場合
には、複数のメモリセルヘ書込むことによる時間の損失
をさけることができる。また、読出し回路を複数設ける
ことにより読出し動作の速度を上げることもできるのは
もちろんである。なお、図１３の実施例において、乗算
器ｍ１，…，ｍｎとして多入力の回路を用いれば加算器
ａ１，…，ａｎ，ｂ１，…，ｂｎを設けることなく同様
の回路を実現できる。その他、演算回路の構成は、種々
の変形が可能である。

【００３９】図１３の実施例では、ニューロン出力値を
蓄えるのにｐ個のメモリセル、結合重み値を蓄えるのに
ｑ個のメモリセルを使用した。つまり、ニューロン出力
値をｐビット、結合重み値をｑビットで表していること
になる。複数のビットで情報を表現する方法はいろいろ
あるので必要に応じて表現方法を選び、それにあわせて
加算器、乗算器、あるいは、非線形関数回路の特性を設
計すればよい。例えば、ニューロン出力値を表すｐビッ
トのメモリセルのうちその内容が１であるメモリセルの
数によってニューロン出力値を表すこともできる。図１
４の実施例は、そのような場合に適した非線形関数回路
Ｄの入出力特性の１実施例である。図１４においてｇ
１，ｇ２，…，ｇｐは、非線形関数回路Ｄのｐ本の出力
を示している。それぞれの出力は、０または１の値を取
り、書込み回路ＷＲ（図では、省略）を通じて対応する
ｐ個のメモリセルに０または１を書き込む。ｇ１，ｇ
２，…，ｇｐは、それぞれ入力がｘｔｈ１，ｘｔｈ２，
…，ｘｔｈｐを越えたときに１それ以外では０となる。
ｘｔｈ１，ｘｔｈ２，…，ｘｔｈｐは、入力の上限ｘ
１，下限ｘ２の間で等間隔に設定してもよいしあるいは
任意の間隔で設定してもよい。たとえばｘｔｈｋとｘｔ
ｈｋ＋１（ｋ＝１，…，ｐ−１）の間隔を図１５のよう
にすれば非線形関数回路ｇとしてシグモイド状の特性を
持つものを実現できる。本実施例によれば、ｐ個のメモ
リセルによって１つのニューロン出力値にｐ個の値を持
たせることができる。本実施例では、ニューロン出力値
を表すｐ個のメモリセルは、等価に扱われる。すなわ
ち、ｐ個のうちどのメモリセルの情報が反転あるいは固
定されたとしてもニューロン出力値への影響は等しい。
したがって、一般的な２進表現と較べて１つのメモリセ
ルの情報の破壊によるニューロン出力値への影響を小さ
くすることができる。以下では、このような表現法を等
価的な表現と記すことにする。ここでは、ニューロン出
力値についてのべたが、結合重み値についても上記の等
価的な表現を使えるのはもちろんである。

【００４０】もちろん、２進表現を使うこともできる。
この場合には、ｐビットで２ｐ個の値を表現できるので
少ないメモリセルで多くの値を表現するのに適してい
る。図１６は、ニューロン出力値と結合重み値に２進表
現を使った場合の１実施例を示したものである。アレー
Ａでは、ｉ＝ｈ（ｈ＝１，２，…ｎ）であるデータ線上
のメモリセルのみ，アレーＢでは、ｉ＝ｈであるデータ
線とｓ＝ｆ（ｆ＝１，２，…，ｍ−１）であるワード線
上のメモリセルのみを示してある。図１６においてＷＴ
は重み付け回路であり、メモリセルの信号を重み付けし
て加算器ａｈ，ｂｈに伝える。ここで重み付けの係数は
図示したようにニューロン出力値については１から２ｐ
まで結合重み値については１から２ｑまでメモリセル毎
に変えてある。これにより乗算器ｍｈに入力されるニュ
ーロン出力値と結合重み値は、それぞれ２ｐ個、２ｑ個
の値を取ることができる。ニューロン出力値を計算する
ためのアドレスの選択法は、図１３の実施例と同じよう
に図１２に従えばよい。図１７は、図１６の実施例にお
ける非線形関数回路Ｄの特性の１実施例である。ｇ１
は、(ｘ２−ｘ１)／２ｐだけ入力が変化する毎に０と１
を交互に繰り返し、ｇ２は、ｇ１の２倍の周期で０と１
を交互に繰り返す。以下同様に周期を倍ずつ変えてｇｐ
では、（ｘ２−ｘ１）／２を境として０から１になるよ
うに設定する。すなわち、Ａ／Ｄコンバータとして動作
するように非線形関数回路Ｄを設計すればよい。なお、
本実施例においても入力にたいしてニューロン出力値が
非線形に増加するように非線形関数回路Ｄを設計するこ
ともできる。例えば、入力に対してシグモイド関数状に
ニューロン出力値を増加させるには、異なるｇの間の周
期の比を一定にしたまま、各出力が変化する周期を入力
の増加にともなって減少させ、入力が（ｘ２−ｘ１）／
２を越えたところから入力の増加にともなって周期を増
加させてやればよい。以上説明したように図１６,図１
７に示した実施例によれば、ニューロン出力値と結合重
み値を表現するのに、それぞれｐ個とｑ個のメモリセル
を用いて、ニューロン出力値と結合重み値にそれぞれ２
ｐ個、２ｑ個の値を持たせることができる。したがっ
て、少ないメモリセルでニューロン出力値と結合重み値
に多数の値を持たせるのに適している。なお、本実施例
においても、乗算器ｍ１，…，ｍｎとして多入力の回路
を用いて、重み回路ＷＴ，加算器ａ１，…，ａｎ，ｂ
１，…，ｂｎの機能を乗算器に持たせるなど種種の変形
が可能なのは、もちろんである。ここでは、等価的な表
現と２進数表示による実施例を示したが、この他にもた
とえば、符号ビットを用いて負の数を表現したり、複数
のビットで情報を表現する方法はいろいろあるので必要
に応じて使いわけることができる。

【００４１】次に１つのＭＯＳトランジスタおよび１つ
の容量より構成されるダイナミックメモリセル（ＤＲＡ
Ｍセル）をメモリ回路に用いた実施例を示す。

【００４２】図１８は、図１０に示した実施例をＤＲＡ
Ｍセルを用いて構成した実施例である。図１８において
アレーＡ，アレーＢは、互いに交差する複数のデータ線
対ＤＡ１，／ＤＡ１，…，ＤＡｎ，／ＤＡｎ，ＤＢ１，
／ＤＢ１，…ＤＢｎ，／ＤＢｎと複数のワード線ＷＡ
１，ＷＡ２，…，ＷＡｍ，ＷＢ1,1，ＷＢ1,2，…，ＷＢ
1,n，ＷＢ2,1，ＷＢ2,2，…，ＷＢm-1,n および、それ
らの交差部に設けられたメモリセルＭＣより構成されて
いる。メモリセルＭＣは対をなすデータ線とワード線と
の交差部のいずれか一方に設けられている。図において
ＰＲ，ＳＡ，ＲＳＡ，ＷＳは、プリチャージ回路, セン
スアンプ, 読出しセンスアンプ, 書込みスイッチであ
り、図９のアレー制御回路１３Ａ，１３Ｂに相当する。
演算回路の中のＭＴは、乗算回路である。１６は、クロ
ック発生回路で、チップ外部より与えるアドレスＡＤＤ
Ａ，ＡＤＤＢおよび、チップセレクト信号／ＣＳＡ，／
ＣＳＢなどより、他の回路を制御するためのクロックΘ
Ａ，ΘＢなどを発生する。

【００４３】以下では、上記図１８の実施例の動作を図
１９，図２０，図２１を用いて説明する。図１９は、動
作モードと外部信号との関係の一実施例を示したもので
ある。前記したように、演算モード前半では、メモリセ
ルアレーＡ，Ｂのワード線を１本ずつ立ち上げ、後半で
は、メモリセルアレーＡのワード線を１本立ち上げる。
また、メモリモードでは、メモリセルアレーＡとＢとで
独立に読出し、書き込みを行なう。図１９では、これら
の制御を、容易に行なうために、動作モードをさらに細
分した。メモリモード中のＡＲ，ＡＷ，ＢＲ，ＢＷは、
それぞれ、アレーＡからの読出し、アレーＡへの書き込
み、アレーＢからの読出し、アレーＢへの書き込みを行
なうモードである。また、演算モード中のＮＲ，ＮＷ
は、それぞれデータを読出して演算するまでの前半部分
と、演算結果を書き込む後半部分である。本実施例で
は、これら６つのモードを切り替えるために、チップセ
レクト信号／ＣＳＡ，／ＣＳＢ，書き込み制御信号／Ｗ
Ｅ，演算回路制御信号／ＮＥの４つの外部入力信号を用
いた。チップセレクト信号／ＣＳＡ，／ＣＳＢは、チッ
プの選択及び、アレーＡ，Ｂの選択を指定する。／ＣＳ
Ａ，／ＣＳＢが両方Ｈ(高レベル)で、チップが非選択と
なり、／ＣＳＡがＬ (低レベル) でアレーＡが、／ＣＳ
ＢがＬ(低レベル)でアレーＢが、選択状態となる。書き
込み制御信号／ＷＥは、前記したように書き込み、読み
だしを切り替える信号で、Ｈで読出し、Ｌで書き込み動
作となる。／ＮＥについても、前記したとおりで、Ｈで
メモリモード、Ｌで演算モードとなる。したがって、例
えば／ＣＳＡ，／ＣＳＢが共にＬ、／ＷＥがＨ、／ＮＥ
をＬとすれば、アレーＡとＢ両方から読みだしを行なう
演算モード前半のモードＮＲとなる。アドレス信号につ
いては、チップセレクト信号でアレーＡ，Ｂの切り替え
を指定しだため、アレーＡのメモリセルを選択するアド
レス群ＡＤＤＡとアレーＢのメモリセルを選択するアド
レス群ＡＤＤＢとに分けることができる。ここで、アド
レス群ＡＤＤＡはアレーＡのワード線を選択するための
Ｘ系アドレスとアレーＡのデータ線を選択するためのＹ
系アドレスの集まりを総称したものである。同様に、ア
ドレス群ＡＤＤＢはアレーＢのワード線を選択するため
のＸ系アドレスとアレーＢのデータ線を選択するための
Ｙ系アドレスの集まりを総称したものである。各動作モ
ードにおいては、図１９に従ってこれらのアドレス群を
アドレスピンへ印加する。以上説明した図１９の実施例
によれば、チップセレクト信号を２つ設けてアレーＡ，
Ｂの切り替えを行ない、アドレスをアレーＡとＢとで分
離した。このため、アレーＡとＢを独立に選択できるた
め、アレーＡとＢの両方、あるいは片方を選択する必要
のある各動作モードを容易に制御できる。なお、図１９
以外にも、動作モードと外部信号の関係は種々変形して
実現可能であるのはもちろんである。たとえば、チップ
セレクト信号を／ＣＳのみとして、アレーＡとＢの切り
替え用のアドレスを加える、あるいは、アドレスをアレ
ーＡとＢで分けずにアレーＡまたはＢのどちらかのみを
選択するようにしておいて、モードＮＲにおけるアレー
Ｂのワード線を選択するＸアドレスは、チップ内部に設
けたカウンタにより発生してもよい。

【００４４】図２０はメモリモードにおける図１８の波
形、図２１は演算モードにおける図１８の波形の実施例
である。

【００４５】メモリモードの動作は通常のＤＲＡＭの読
出し、書き込み動作と同様である。図２０には、メモリ
モードにおいてアレーＡ内のワード線ＷＡ１とデー夕線
ＤＡ１の交差部にあるメモリセルに対して読出し動作
(モードＡＲ) と書込み動作 (モードＡＷ) を続けて行
なう場合の電圧波形を示してある。図においてＶｃｃ
は、正電位を示している。メモリモードであるため演算
回路制御信号／ＮＥが高レベルであり、これにより演算
回路起動信号ΦＮは、低電位に固定され演算回路１２は
オフしている。読出し動作を始める前には、ＰＰＡとＰ
ＮＡがＶｃｃ／２に設定されており、このためセンスア
ンプＳＡは、オフしている。まだ、プリチャージ信号Φ
ｐＡが高電位にあるため、プリチャージ回路ＰＲがオン
してＤＡ１，／ＤＡ１，…，ＤＡｎ，／ＤＡｎのデータ
線対は短絡されると共にプリチャージ電位ＶＨに電位が
設定される。ＶＨは、Ｖｃｃ／２に設定しておく。チッ
プセレクト信号／ＣＳＡが低電位になると、プリチャー
ジ信号ΦｐＡを立ち下げ、プリチャージ回路ＰＲをオフ
して、アドレス信号ＡＤＤＡによって選択されたワード
線ＷＡ１と読出しＹ選択信号ＹＲＡ１を高電位に遷移さ
せる。その結果ワード線ＷＡ１に接続されたすべてのメ
モリセルＭＣのＭＯＳトランジスタが導通し、容量に蓄
積された電荷に応じて、データ線対ＤＡ１，／ＤＡ１，
…，ＤＡｎ，／ＤＡｎにそれぞれ微妙な電位差が生じ
る。この電位差を読出しＹ選択信号ＹＲＡ１の入力され
た読出しセンスアンプＲＳＡで検出して読出し線ＯＡ，
／ＯＡのインピーダンスの差に変換する。入出力回路で
は、これを電圧差に変換後、増幅してメモリセルの内容
である１もしくは０に対応する電位を読出しデータＤＯ
として出力する。これらの動作と並行して次のようにし
て所謂再書込み動作が行なわれる。データ線対ＤＡ１，
／ＤＡ１，…，ＤＡｎ，／ＤＡｎにそれぞれ微妙な電位
差が生じたのち、ＰＰＡを高電位に、ＰＮＡを低電位に
遷移させてセンスアンプＳＡを起動させる。そのためデ
ータ線対に生じた微妙な電位差が増幅されて、高電位側
のデータ線をＶｃｃに低電位側のデータ線を０Ｖに遷移
する。その結果、ワード線ＷＡ１に接続されたすべての
メモリセルＭＣの容量に読出し前の情報に対応する電位
が再び書き込まれる。再書込み動作の終了後、チップセ
レク卜信号／ＣＳＡが高電位になると、選択されたワー
ド線ＷＡ１と読出しＹ選択信号ＹＲＡ１を低電位に遷移
し、その後ＰＰＡ，ＰＮＡをＶｃｃ／２に遷移させ、セ
ンスアンプＳＡをオフさせるとともにプリチャージ信号
ΦｐＡを高電位に遷移させる。この結果、データ線対は
短絡されると共にプリチャージ電位ＶＨに電位が設定さ
れて再びもとの状態に戻る。以上が読出し動作である。

【００４６】続いて同じセルへの書込み動作(モードＡ
Ｗ)に移る。書込み動作では、チップセレクト信号／Ｃ
ＳＡが低電位となりさらに書込み制御入力／ＷＥが低電
位となることによって、書込みデータＤＩに与えられた
情報がアレーＡ内の選択されたメモリセルに書き込まれ
る。書込み動作でもまず、チップセレクト信号／ＣＳＡ
が低電位になると、プリチャージ信号ΦｐＡを立ち下
げ、プリチャージ回路ＰＲをオフする。次に、アドレス
信号ＡＤＤＡによって選択されだワード線ＷＡ１と読出
しＹ選択信号ＹＲＡ１が高電位に遷移する。その結果、
ワード線ＷＡ１に接続されたすべてのメモリセルＭＣの
ＭＯＳトランジスタが導通し、容量に蓄積された電荷に
応じて、データ線対ＤＡ１，／ＤＡ１，…，ＤＡｎ，／
ＤＡｎにそれぞれ微妙な電位差が生じる。データ線対に
生じた微妙な電位差は、センスアンプＳＡによって増幅
されていく。つづいて書込み制御入力／ＷＥが低電位に
遷移したことにより発生された入力回路起動信号ΦＷＡ
Ｒが高電位に遷移する。これによって書込みデータＤＩ
に与えられた情報が、書込み線対ＩＡ，／ＩＡへ差動信
号として伝えられる。また、書込みＹ選択信号ＹＷＡ１
が高電位に遷移して書込み先のメモリセルが接続された
書込みスイッチＷＳがオンする。これにより書込み線対
ＩＡ，／ＩＡはそれぞれデータ線対ＤＡ１，／ＤＡ１と
導通する。この結果データ線対ＤＡ１，／ＤＡ１は書込
みデータＤＩに与えられた情報に対応した電位に設定さ
れる。その後入力回路起動信号ΦＷＡＲは低電位に遷移
するがデー夕線対の電位はセンスアンプＳＡによって保
たれる。書込みスイッチＷＳがオンしなかったデータ線
対では初めに読出した信号がそのままセンスアンプによ
り増幅されて再書込みが行なわれる。再書込み動作の終
了後、チップセレクト信号／ＣＳＡが高電位になると、
選択されたワード線ＷＡ１と書込みＹ選択信号ＹＷＡ１
が低電位に遷移し、その後ＰＰＡ，ＰＮＡをＶｃｃ／２
に遷移させセンスアンプＳＡをオフさせるとともにプリ
チャージ信号ΦｐＡを高電位に遷移させる。この結果、
データ線対は短絡されると共にプリチャージ電位ＶＨに
電位が設定されて再びもとの状態に戻る。以上が書込み
動作である。

【００４７】ここでは、アレーＡ内の同一のメモリセル
に続けて読出し動作と書込み動作を行なう場合について
説明したが、読出し動作あるいは書込み動作をそれぞれ
続けて行なうこともできるし、また、モードＡＲ，Ａ
Ｗ，ＢＲ，ＢＷを切り換えることにより読出し動作ある
いは書込み動作の度に異なるメモリアレー内の所望の位
置にあるメモリセルについて読出し動作あるいは書込み
動作を行なうことができるのは、もちろんである。

【００４８】次に演算モードの動作について説明する。
図２１は、ニューロン出力値Ｖ１２を得るための動作波
形を示したものである。すでにメモリモードにおける書
込み動作により必要な結合重み値、ニューロン出力値等
は書き込まれているものとする。まず、モードＮＲとす
るためにチップセレクト信号／ＣＳＡと／ＣＳＢを低レ
ベルとし、書き込み制御信号／ＷＥを高レベル, 演算回
路制御信号／ＮＥを低レベルとする。アドレスＡＤＤ
Ａ，ＡＤＤＢは、アレーＡのワード線ＷＡ１とアレーＢ
のワード線ＷＢ１を選択するように設定する。／ＣＳＡ
と／ＣＳＢが低レベルになることによりプリチャージ信
号ΦＰＡ,ΦＰＢが低レベルに、／ＮＥが低レベルにな
ることにより演算回路起動信号ΦＮが高レベルに遷移す
る。続いてワード線ＷＡ１とＷＢ１とが立ち上がりＷＡ
１上のメモリセルに蓄えられていたニューロン出力値Ｖ
１１，Ｖ２１，…，Ｖｎ１と結合重み値Ｔ１１１,Ｔ１
１２,…，Ｔ１１ｎがデータ線上に読み出される。こう
して、アレーＡから読出されたニューロン出力値とアレ
ーＢから読出された結合重み値は、図１８に示したよう
に演算回路起動信号ΦＮにより起動されている乗算回路
ＭＴに入力される。乗算回路ＭＴでは、アレーＡ側のデ
ータ線とアレーＢ側のデータ線は、ＭＯＳトランジスタ
のゲートにつながれており、それらのＭＯＳトランジス
タは演算回路起動信号ΦＮが入力されているスイッチ用
のＭＯＳトランジスタを通じて積和出力線ＮＯとダミー
線ＤＭとにつながれている。積和出力線ＮＯの一端は負
荷ＲＭ１を通じて電源ＶＭに接続されており、ダミー線
ＤＭの一端は接地されている。データ線に読出された信
号がセンスアンプＳＡによってＶｃｃ，あるいは、０Ｖ
に増幅されるとニューロン出力値と結合重み値の積が１
である乗算器では、負荷ＲＭ１を通じて電源ＶＭより接
地電極へ電流が流れる。したがってニューロン出力値と
結合重み値の積が１であるような組合せの数に比例して
積和出力線ＮＯの電位は下降する。積和出力線ＮＯは、
非線形関数回路Ｄに入力されている。非線形関数回路Ｄ
ではニューロン出力値と結合重み値の積の合計が大きく
積和出力線ＮＯの電位が参照電圧ＶＲより下がるがどう
か検知して結果をＮＶへ出力する。図２１に示した積和
出力線ＮＯの波形のうち実線が積和の結果が小さかった
場合であり破線が積和の結果が大きかった場合である。
入出力回路では非線形関数回路Ｄの結果を検知して書込
み線対ＩＡ，／ＩＡに次にメモリセルに書き込むべきニ
ューロン出力値Ｖ１２を出力する。図２１にはＩＡの波
形を示した。ＩＡは、積和が大きい場合には破線のよう
に高レベルに、積和が小さい場合には実線のように低レ
ベルになる。／ＩＡはＩＡと逆相となる。書込み線対Ｉ
Ａ，／ＩＡにニューロン出力値が出力された時点でラッ
チ信号ΦＬを高電位に遷移する。この結果、書込み線対
ＩＡ，／ＩＡに出力された電位は、入出力回路ＩＯ内に
設けたラッチ回路によりラッチされる。ラッチ信号ΦＬ
は、演算回路起動信号／ＮＥの立ち下がりを受けてＩ
Ａ，／ＩＡに信号がでるまで遅延させて立ち上げればよ
い。つづいて、演算回路起動信号ΦＮが低電位に遷移し
て演算回路をオフし、ワード線が立ち下がった後にメモ
リモード時と同様にデータ線のブリチャージを行なう。
このときラッチ信号ΦＬは高電位のままにして、書込み
線対ＩＡ，／ＩＡに出力されたニューロン出力値を保っ
ておく。

【００４９】次に演算モードの後半であるモードＮＷに
移る。まず、チップセレクト信号／ＣＳＡおよび書込み
制御信号／ＷＥを低レベル,チップセレクト信号／ＣＳ
Ｂを高レベルとしてアレーＡ内のニューロン出力値を書
込むべきメモリセルが選択されるようにアドレスＡＤＤ
Ａを切り換える。演算回路起動信号/ＮＥは低レベルの
ままにしておく。／ＣＳＡを立ち下げた結果、プリチャ
ージ信号ΦＰＡが低レベルとなりアレーＡに書き込みが
できる状態となる。つづいて、選択されたワード線ＷＡ
２，書込みＹ選択信号ＹＷＡ１が立ち上がる。これによ
り、書込み線対ＩＡ，／ＩＡに出力されたニューロン出
力値Ｖ１２は、ワード線ＷＡ２とデータ線ＤＡ１とに接
続されたメモリセルに書き込まれる。最後にワード線を
すべて立ち下げてプリチャージを行なう。また、演算回
路制御信号／ＮＥを立ち上げることにより、ラッチ信号
ΦＬが立ち下がりラッチがはずれる。こうして、次の動
作に備える。以上が演算モードの動作である。同様の動
作を図１２に従ってアドレスを変えて続けることにより
すべてのニューロン出力値を計算できる。

【００５０】以上において乗算器ＭＴのうちダミー線Ｄ
Ｍに接続された側の回路は、省いてもよいが乗算器ＭＴ
のＭＯＳトランジスタのゲート容量等が片方のデータ線
のみに付くとデータ線容量がアンバランスとなり場合に
よってはセンスアンプの動作などに支障を来すこともあ
る。そのような場合には図１８のようにしておけばデー
タ線容量がアンバランスとなることによる悪影響を避け
ることができる。

【００５１】次に、図１８に用いるのに好適な回路の実
施例を示す。図２２（ａ）は、非線形関数回路Ｄの１実
施例である。本実施例は、バイポーラトランジスタＱ７
２０，Ｑ７１９，抵抗Ｒ７２およびＭＯＳトランジスタ
Ｑ７２１よりなる差動アンプと、インバータＩＮＶ７５
およびＭＯＳトランジスタＱ７１５，Ｑ７１６，Ｑ７１
７，Ｑ７１８，抵抗Ｒ７１，ダイオードＤ７１よりなる
インバータにより構成される。本回路は信号ΦＮが高電
位になることにより起動される。図２２（ｂ）に非線形
関数回路Ｄの入力である積和出力線ＮＯの電位と出力Ｎ
Ｖの電位の関係を示す。積和出力線ＮＯの電位が参照電
位ＶＲより低いと出力ＮＶが高電位にＮＯの電位が参照
電位ＶＲより高いと出力ＮＶが低電位となる。本実施例
によれば差動アンプにバイポーラトランジスタを用いて
いるため入力の変化にたいして立上りの急峻な特性を持
つ非線形回路を実現できる。また、参照電位ＶＲを所望
の値に設定することにより容易に非線形関数回路Ｄの特
性を変えることができる。なお、差動アンプの出力はバ
イポーラトランジスタＱ７１９の飽和を避けるためにあ
まり大きくとることができない。そのため後段のインバ
ータに直接差動アンプの出力を接続するとインバータが
動作しないことがありうる。そこで、抵抗Ｒ７１，ダイ
オードＤ７１を設けてＭＯＳトランジスタＱ７１７に入
力される電位を降下させている。

【００５２】図２３は入出力回路ＩＯの１実施例であ
る。図２３に示したように書込み回路ＷＲは入力バッフ
ァＩＮＢＵＦ，書込み切り替えスイッチＳＷＡ，ＳＷ
Ｂ,ラッチ回路ＬＡＴおよびインバータＩＮＶＩＡ，Ｉ
ＮＶＩＢより構成されている。書込み切り替えスイッチ
ＳＷＡ，ＳＷＢは、書き込みデータＤＩをアレーＡある
いは、アレーＢのどちらのメモリセルに書き込むか切り
替えるためのものである。切り替え信号ΦＷＲＡが高電
位のときには、書き込みデータＤＩは入力バッファＩＮ
ＢＵＦを通じて書き込み線対ＩＡ，／ＩＡよりアレーＡ
内のメモリセルに書き込まれる。切り替え信号ΦＷＲＢ
が高電位のときには、書き込みデータＤＩは入力バッフ
ァＩＮＢＵＦを通じて書き込み線対ＩＢ，／ＩＢよりア
レーＢ内のメモリセルに書き込まれる。ラッチ回路ＬＡ
Ｔは、演算モードにおいて非線形回路Ｄの出力ＮＶに出
力された情報をラッチして、書き込み線対ＩＡ，／ＩＡ
よりアレーＡ内のメモリセルに書き込むためのものであ
る。図より明らかなように、非線形回路Ｄの出力ＮＶと
書き込み線対ＩＡ，／ＩＡの電位関係は同相関係になる
ので、非線形関数回路Ｄの積和出力線ＮＯと入力コモン
線ＩＡの電位の関係は、図２４に示したように反転関係
となる。前記したように図１８の実施例では積和出力線
ＮＯの電位はニューロン出力値と結合重み値との積和が
大きいほど低下するので、積和出力線ＮＯと入力コモン
線ＩＡの電位の関係が反転関係となるように回路を構成
した。積和出力線ＮＯの電位がニューロン出力値と結合
重み値との積和が大きいほど上昇するように設計した場
合には積和出力線ＮＯと入力コモン線ＩＡの電位の関係
を同相関係となるように回路を構成すればよいのはもち
ろんである。

【００５３】図２５は読出し回路ＯＵＴの１実施例であ
る。読出し回路ＯＵＴは電流電圧変換回路ＩＶＯＵＴ
１，レベルシフト回路ＬＳ，読出しラッチ回路ＯＵＴＬ
Ｔおよび出力バッファＢＵＦＯＵＴにより構成される。
電流電圧変換回路ＩＶＯＵＴ１では、読出し線ＯＡ，／
ＯＡあるいは読出し線ＯＢ，／ＯＢにインピーダンスの
差として読出された情報をそれぞれ、ＯＡ′，／ＯＡ′
あるいは読出し線ＯＢ′，／ＯＢ′の電圧の差に変換す
る。レベルシフト回路ＬＳでは、電流電圧変換回路ＩＶ
ＯＵＴ１より読出された情報の電圧を後段の読出しラッ
チ回路ＯＵＴＬＴ内のバイポーラトランジスタが飽和し
ないレベルにシフトして読出しラッチ回路ＯＵＴＬＴに
伝達する。

【００５４】読出しラッチ回路ＯＵＴＬＴの詳細な実施
例を図２６に示した。読出しラッチ回路ＯＵＴＬＴ内の
読出し差動アンプＡＭＰＡ，ＡＭＰＢは、アレーＡのメ
モリセルから読出し線ＯＡ，／ＯＡを通じてＬ１，Ｌ２
に読出された情報とアレーＢのメモリセルから読出し線
ＯＢ，／ＯＢを通じてＬ３，Ｌ４に読出された情報のど
ちらを読出しデータＤＯとして読出すか切り替えるため
のものである。切り替え信号ΦＡが高電位のときには、
アレーＡのメモリセルから読出された情報が、切り替え
信号ΦＢが高電位のときには、アレーＢのメモリセルか
ら読出された情報が読出しデータＤＯとして出力され
る。読出しラッチ回路ＯＵＴＬＴでは、読出しラッチ信
号ΦＬＲを電圧ＶＢ２より高電位に遷移するとバイポー
ラトランジスタＱ１Ａがオフし、Ｑ１Ｂがオンする。そ
のため、差動アンプＡＭＰＡ，ＡＭＰＢがオフし、ＡＭ
ＰＣがオンする。その結果差動アンプＡＭＰＣとレベル
シフ卜回路ＬＳＣにより、読出し情報がラッチされる。
すなわち、本実施例によれば、読出し情報が確定した
後、読出しラッチ信号ΦＬＲを電圧ＶＢ２より高電位に
遷移することによって所望の期間だけ読出しデータＤＯ
をラッチして出力しつづけることができる。

【００５５】なお、図１８に示した乗算機ＭＴの実施例
では、アレーＡのデータ線対がアレーＢのデータ線対よ
り接地電極から遠い方のＭＯＳトランジスタのゲートに
接続されている。このため、積をとるときにニューロン
出力値と結合重み値とは等価に扱われない。このことが
問題となるときには、図２７の実施例を用いればよい。
図２７では、データ線ＤＡｉはＭＯＳトランジスタＱ７
Ｃ３とＱ７Ｃ６，ＤＢｉはＱ７Ｃ５とＱ７Ｃ４のゲート
に接続されている。両者共、接地電極に近い方のＭＯＳ
トランジスタと遠い方のＭＯＳトランジスタに接続され
ているので、積をとるときに、ニューロン出力値と結合
重み値とが等価に扱われることになる。

【００５６】以上説明したように図１８に示した実施例
によれば１つのＭＯＳトランジスタおよび１つの容量よ
り構成されるＤＲＡＭセルを用いて図１０に示した実施
例を実現できる。ＤＲＡＭセルは、占有面積を非常に小
さくできるのでチップ上に高集積に実現できるというメ
リットがある。

【００５７】なお、以上の説明では触れなかったが、よ
く知られているように１トランジスタ，１キャパシタを
用いたＤＲＡＭセルでは、キャパシタの電流リークによ
る蓄積電荷の減少を補償するために一定時間内にリフレ
ッシュ動作が必要である。本発明においても、メモリモ
ード，演算モードにかかわらず必要に応じてリフレッシ
ュ動作を行うことは通常のＤＲＡＭと同様にして容易に
できる。

【００５８】上記の実施例では、メモリセルとしてＤＲ
ＡＭセルを用いたがこれに限定されることはなく、他の
メモリセルを用いても同様の情報処理装置を実現でき
る。次にＳＲＡＭセルを用いた実施例を示す。図２８
（ａ），（ｂ）は、ＳＲＡＭセルの実施例であり、両者
共ＤＲＡＭセルと異なり再書込みあるいはリフレッシュ
動作が不要なためＤＲＡＭセルを用いた場合に比べて制
御が容易にできるという利点がある。図２９は、図２８
（ａ）あるいは（ｂ）等のＳＲＡＭセルを用いて図１０
の実施例を実現するための１実施例である。図２９にお
いて、ＭＣＳはＳＲＡＭセル、ＬＤは、デー夕線負荷で
ある。図３０，図３１に動作波形の例を示す。図３０
は、メモリモードにおいてデータ線ＤＡ１，／ＤＡ１と
ワード線ＷＡ１に接続されたセルに対して読出し動作と
書込み動作を連続して行なう場合の例であり，図３１は
演算モードにおいてワード線ＷＡ１上のメモリセルに記
憶されたニューロン出力値Ｖ１１，Ｖ２１，…，Ｖｎ１
とワード線ＷＢ１上のメモリセルに記憶された結合重み
値Ｔ１１１，Ｔ１２１，…，Ｔ１ｎ１からニューロン出
力値Ｖ１２を計算する場合の動作波形の例である。基本
的な動作は前記のＤＲＡＭセルの場合と同様であるので
説明は省略する。ＳＲＡＭセルは、再書込み動作，リフ
レッシュ動作が不要なためＤＲＡＭセルに比べて制御が
簡単であるというメリットがある。さらに、再書込み動
作が不要なため、メモリモードにおける読出し，書込み
の速度および演算モードのサイクルを高速にできるとい
うメリットがある。

【００５９】以上、ＤＲＡＭセルとＳＲＡＭセルを用い
て図１０の実施例を実現するための回路構成例を説明し
てきた。次にニューロン出力値、結合重み値を複数のメ
モリセルを用いて表現するためのを回路構成例につき説
明する。以下では、ＤＲＡＭセルを用いた実施例を示す
が、ＳＲＡＭセルを用いても同様に実現できることはも
ちろんである。

【００６０】次に、ＤＲＡＭセルを用いてニューロン出
力値,結合重み値を複数のメモリセルを用いて表現する
ための回路構成例について説明する。

【００６１】図３２において、アレーＡ内のデータ線対
ＤＡ１１，／ＤＡ１１，ＤＡ１２，／ＤＡ１２，…，Ｄ
Ａ１Ｐ，／ＤＡ１Ｐは、図１３において加算器ａ１に入
力されるアレーＡ内のデータ線対に対応している。ま
た、アレーＡ内のデータ線対ＤＡｎ１，／ＤＡｎ１，Ｄ
Ａｎ２，／ＤＡｎ２，…，ＤＡｎＰ，／ＤＡｎＰは、図
１３において加算器ａｎに入力されるアレーＡ内のデー
タ線対に対応している。アレーＢについても同様であ
る。入出力回路ＤＩＯ１０に示したように入力端子をＤ
Ｏ１，…,ＤＯｒのｒ本、出力端子をＤＩ１，…，ＤＩ
ｒのｒ本設けて（ここでｒはｐまたはｑのどちらか大き
い方の数）メモリモード時にニューロン出力値または結
合重み値を表すｐビットあるいはｑビットの情報を同時
に読出し、あるいは書込みできるようにしている。演算
モードにおいてアレーＡでは、ワード線を立ち上げるこ
とによってデータ線に読出されたｐビット毎の情報が加
算器ＡＤＤによって合成され、ニューロン出力値出力線
ＶＯ１，ＶＯ２，…，ＶＯｎにニューロン出力値が出力
される。また、アレーＢでも、ワード線を立ち上げるこ
とによってデータ線に読出されたｑビットの情報が加算
器ＡＤＤによって合成されて、結合重み値出力線ＴＯ
１，ＴＯ２，…，ＴＯｎに結合重み値が出力される。こ
れらはＢＬＫ２に入力され、積和演算が行なわれて非線
形関数回路Ｄ１０に入力される。ニューロン出力値に相
当する非線形関数回路Ｄ１０の出力は入出力回路ＤＩＯ
１０へ伝えられてラッチ信号ΦＬによってラッチされ
る。つづいて、求めたニューロン出力値を書き込むべき
ｐ個のセルを選択するようにアドレスを切り換えて、書
き込みＹ選択信号ＹＷＡｉを立ち上げ、ラッチしておい
たニューロン出力値を選択したｐ個のセルヘ並列に書き
込む。このような動作を続けることにより図１８ の実
施例と同様にしてニューロン出力値を更新していくこと
ができる。本実施例によれば、加算器ＡＤＤに入力され
た複数のメモリセルの情報を等価に加算することによっ
て図１３の実施例を実現することができる。また、加算
器ＡＤＤに入力された複数のメモリセルの情報をビット
毎に重み付けして加算することによってニューロン出力
値，結合重み値を複数のビットによる２進数によって表
す図１６の実施例も実現することができる。この他ニュ
ーロン出力値，結合重み値を他の方法で複数のビットで
表す場合にも容易に対処できるので目的に応じて多様な
情報処理を行なうことができる。本実施例では、ＤＲＡ
Ｍセルを用いているので高集積化を図ることができる。
さらに、メモリモード、あるいは演算モードともに複数
のメモリセルの情報を並列に扱っているためニューロン
出力値、結合重み値を複数のビットで表しているにもか
かわらず、１ビットで表した場合と同様の高速な情報処
理を行なうことができる。ここでは、ＢＬＫ１において
加算器により複数のメモリセルの信号を合成し、その結
果を積和回路であるＢＬＫ２に入力するようにした。し
かし、ＢＬＫ１における加算を省略してニューロン出力
値あるいは、結合重み値をあらわす複数のメモリセルの
情報を並列に積和回路ＢＬＫ２へ入力して積和演算を行
なうなど種々の変形も可能である。

【００６２】以下では、まず、図３２に示した実施例に
よりニューロン出力値、結合重み値を複数の等価的なビ
ットで表す図１３の実施例を実現する方法についてのべ
る。図３３は、図３２のＢＬＫ１の１実施例である。こ
こでは、アレーＡのデータ線ＤＡ１１，…ＤＡ１Ｐに接
続されたＢＬＫ１を示した。アレーＡの他のＢＬＫ１に
も同じ回路が使える。アレーＢでもデータ線対,読出し
線対、あるいは書込み線対の本数をｐ本からｑ本に変更
しプリチャージ回路ＰＲなどｐ個設けた回路をｑ個にす
れば、本実施例の回路を使うことができる。本実施例で
は、並列にｐ個のメモリセルへの書込み、あるいは読出
しができるように、ｐ対の読出し線対ＯＡ１，／ＯＡ
１，…，ＯＡｐ，／ＯＡｐおよびｐ対の書込み線対ＩＡ
１，／ＩＡ１，……，ＩＡｐ，／ＩＡｐを設けた。読出
しセンスアンプＲＳＡと書込みスイッチＷＳは、図に示
したように同一のＢＬＫ１内では順番に読出し線対ＯＡ
１，／ＯＡ１，…，ＯＡｐ，／ＯＡｐおよびｐ対の書込
み線対ＩＡ１，／ＩＡ１，…，ＩＡｐ，／ＩＡｐに接続
されている。すなわち１対の読出し線あるいは書込み線
についてみるとｐ対毎にデータ線対に接続されているこ
とになる。加算回路ＡＤＤは、負荷回路ＬＤ１０３およ
びｐ個の電圧電流変換器ＶＩより構成されている。電圧
電流変換器ＶＩでは、データ線ＤＡ１１，ＤＡ１２，
…，ＤＡ１ｐがＭＯＳ卜ランジスタのゲートに接続され
ており、上記ＭＯＳトランジスタは、演算回路起動信号
ΦＮがゲートに入力されているＭＯＳトランジスタと直
列に接続されて接地電極とニューロン出力値出力線ＶＯ
１とを結んでいる。ニューロン出力値出力線ＶＯ１は負
荷回路において抵抗を通じて電源ＶＭ０１につながって
いる。したがって、演算回路起動信号ΦＮにより起動さ
れた状態でデータ線電位の増幅が終了すると、ニューロ
ン出力値出力線Ｖ０１の電位は、高電位つまりＶｃｃと
なったデータ線の本数に比例した電圧だけ低下する。し
たがって、本実施例によれば、ニューロン出力値出力線
Ｖ０１の電位低下によってニューロン出力値を表すこと
ができる。なお、データ線の片側、／ＤＡ１１，…，／
ＤＡ１ｐにも同様の回路を設けたのは、図１８の乗算器
ＭＴと同様の理由でデータ線容量のアンバランスを避け
るためである。上記の実施例によれば複数のメモリセル
によって表したニューロン出力値あるいは、結合重み値
をニューロン出力値出力線あるいは結合重み値出力線に
読みだすことができる。

【００６３】図３４はニューロン出力値と結合重み値の
積和を計算するためのブロックＢＬＫ２と非線形関数回
路Ｄ１０の１実施例を示したものである。図３４におい
てプロックＢＬＫ２は、負荷回路ＬＤ１０２と乗算器Ｍ
Ｔ１０より構成されている。ニューロン出力値出力線Ｖ
Ｏ１，ＶＯ２，…，ＶＯおよび結合重み値出力線ＴＯ
１，ＴＯ２，…，ＴＯｎはＭＴ１０内のＭＯＳトランジ
スタＭ１６ｃ１，Ｍ１６ｃ２のゲー卜に接続されてお
り、上記ＭＯＳトランジスタは、演算回路起動信号ΦＮ
がゲートに入力されているＭＯＳトランジスタＭ１６ｃ
３と直列に接続されて接地電極と積和出力線ＮＯとを結
んでいる。一方、積和出力線ＮＯは負荷回路ＬＤ１０２
において抵抗Ｒ０２を通じて電源ＶＭ０２につながって
いる。したがって、演算回路起動信号ΦＮが高レベルに
なり、本回路が起動された状態では、対応するニューロ
ン出力値出力線ＶＯ１，ＶＯ２，…，ＶＯと結合重み値
出力線ＴＯ１，ＴＯ２，…，ＴＯｎの電位の積の総和が
大きいほど積和出力線ＮＯの電位が低下する。前記した
ようにニューロン出力値出力線ＶＯ１，ＶＯ２，…，Ｖ
Ｏと結合重み値出力線ＴＯ１，ＴＯ２，…，ＴＯｎの電
位は、ニューロン出力値と結合重み値の大きさにほぼ比
例して低下するため、ニューロン出力値と結合重み値の
積和が、大きいほど積和出力線ＮＯの電位は高電位とな
る。積和出力線ＮＯは非線形関数回路Ｄ１０に入力され
る。非線形関数回路Ｄ１０は、図３５に示したような回
路をｎ個並列に接続して構成することができる。図３５
の回路は、図２２（ａ）の非線形関数回路Ｄと同じよう
に差動アンプとインバータを組合せたものである。ただ
し、積和出力線ＮＯとニューロン出力値と結合重み値の
積和との極性が図１８と図３２，図３３，図３４の実施
例では異なるので、図３５では差動アンプの抵抗Ｒｘを
図２２（ａ）の抵抗Ｒ７２とは、逆の位置に付けてい
る。このため、図３５では積和出力線ＮＯが参照電圧Ｖ
Ｒｘ(ｘ＝１，２，…，ｐ）を越えると出力ＮＶｘが高
電位に遷移する。このような非線形関数回路ＤＳｘをｐ
個設けておき図３６のように参照電圧ＶＲｘを変えてお
けばｐ本の出力ＮＶｘのうち高電位になっているものの
本数で積和出力線ＮＯの変化量を示すことができる。本
実施例によれば参照電圧ＶＲｘの値を変えることによっ
て非線形関数回路の特性を容易に変化させることができ
る。なお、図３４に示したの回路を乗算器ＭＴ１０とし
て用いる場合などにはＭＯＳトランジスタの特性などに
より積和出力線ＮＯの電位変化はニューロン出力値と結
合重み値の積和の大きさに対して一般的には線形にはな
らない。したがって、非線形関数回路の特性が所望の形
状になるように、乗算器あるいは、加算器の特性も考慮
してＶＲｘの値を設定すればよい。場合によっては、製
造条件の変動などにより個々のチップの特性を精度よく
知ることが困難な場合もある。そのような場合には、実
際にアレーＡ，Ｂに既知のニューロン出力値と結合重み
値を書込み、演算モードで動作させて積和出力線ＮＯの
電位を計測しその結果に応じてＶＲｘの値をトリミング
して所望の特性に合わせればよい。

【００６４】なお、ここでは図３２における入出力回路
ＤＩＯ１０の詳細については省略するが、図２３，図２
５，図２６に示した読出し回路ＯＵＴ，あるいは書き込
み回路ＷＲと同様な回路を複数用いることにより複数の
メモリセルヘ並列に読出しあるいは書き込みを行なう回
路は容易に実現できる。また、クロック発生回路１６の
構成についても省略するが、通常のメモリに用いる回路
と同様にして容易に実現できる。

【００６５】次に、図３２の実施例を用いて、ニューロ
ン出力値、結合重み値を複数のビットによる２進表示に
よって表す図１６の実施例を実現するための方法につい
て説明する。図１６に示したように複数のビットによる
２進表示で表された情報を加算するには複数のメモリセ
ルの情報をビッ卜毎に重み付けして加算する必要があ
る。このためには図３３において電圧電流変換器ＶＩ
１，ＶＩ２，…，ＶＩｐ内のデータ線に接続されたＭＯ
Ｓトランジスタのゲート幅の比を１：２：４：…：２ｐ
とすれば、ニューロン出力値出力線ＶＯ１の電位は、２
進表示によるニューロン出力値の大きさに比例して降下
する。したがって、同様の回路を他のニューロン出力
値、あるいは結合重み値に対して使用すれば図１６に示
したような重み付けした加算を実現できる。乗算器につ
いては、図３４に示したブロックＢＬＫ２をそのまま用
いることができる。非線形関数回路については、積和出
力線ＮＯに出力された演算結果を再び２進表示にして複
数のメモリセルヘ書き込むためにＡＤコンバータの機能
を持たせる必要がある。そのためには、図３７に示した
ような実施例を用いることができる。図３７の実施例
は、ｚ個（以下ｚ＝２ｐとする。）の非線形関数回路Ｄ
Ｓ１，ＤＳ２，…，ＤＳｚとエンコーダとを組合せたも
のである。非線形関数回路ＤＳ１，ＤＳ２，…，ＤＳｚ
には図３５の回路を使用し参照電圧ＶＲｘを調整するこ
とにより図３８に示したような特性を持たせておく。す
ると、図３４実施例と同様に出力ＮＡ１，ＮＡ２，…，
ＮＡｚのうち高電位であるものの本数によりニューロン
出力値と結合重み値の積和の大きさを知ることができ
る。このままでは、ｚビットの等価表示であるためエン
コーダによりｐビットの２進表示にしてｐ本の出力線Ｎ
Ｖ１，ＮＶ２，…，ＮＶｐにより書き込み回路へ伝達す
る必要がある。したがって、図３７のエンコーダには図
３９に示したような入出力関係を持たせればよい。この
ようなエンコーダは、容易に実現できる。ｐ＝３のとき
の構成例を図４０に示す。本実施例は、ｐ＝３以外のと
きにも容易に拡張することができる。

【００６６】以上では、階層型のニューラルネットワー
クを例にとって説明してきた。しかし本発明は、階層型
のニューラルネットワークに限定されるものではなく、
これまで述べてきた実施例を用いて他のタイプのネット
ワークにも適用できる。図４１（ａ），（ｂ）および、
図４２（ａ），（ｂ）の実施例は、図６（ｂ）のアルゴ
リズムによってホップフィールド型のネットワークによ
る情報処理を実現するための実施例である。図４１
（ａ）はニューロン出力値，結合重み値を表現するのに
１つづつのメモリセルを用いて非同期型のホップフィー
ルド型のネットワークを実現するための実施例である。
図２，図４を用いて説明したように階層型のニューラル
ネットワークでもホップフィールド型のネットワークで
も基本的な演算法は同じである。ただし、ホップフィー
ルド型のネットワークでは自身を含めてすべてのニュー
ロンからのニューロン出力値を用いて演算を行なう。そ
こで、図４１（ａ）では、アレーＡ内の１本のワード線
にすべてのニューロン出力値を収納する。図に示したよ
うに、アレーＢには、１つのニューロン出力値を計算す
るのに必要な結合重み値が同じワード線上に並ぶように
収納する。ニューロン出力値の更新は、次のようにして
行なうことができる。例えば、ニューロン出力値Ｖ１を
更新するには、アレーＡのワード線ＷＡとアレーＢのｊ
＝１のワード線を立ち上げる。この結果、新しいＶ１で
あるｇ（Ｔ１１Ｖ１＋Ｔ１２Ｖ２＋…＋Ｔ１ｎＶｎ）が
計算される。これをアレーＡのワード線ＷＡ上のｉ＝１
の位置にあるメモリセルに書き込めばよい。その他のニ
ューロン出力値の更新も同様であり、例えば、Ｖ４を更
新するには、アレーＡのワード線ＷＡとアレーＢのｊ＝
４のワード線を立ち上げる。この結果、新しいＶ４であ
るｇ（Ｔ４１Ｖ１＋Ｔ４２Ｖ２＋…＋Ｔ４ｎＶｎ）が計
算される。これをアレーＡのワード線ＷＡ上のｉ＝４の
位置にあるメモリセルに書き込めばよい。このようにし
て所望の順番でニューロン出力値Ｖｉを更新していくこ
とによって非同期型のホップフィールド型ネットワーク
の演算を行なうことができる。同期型のホップフィール
ド型ネットワークの演算を行なうには、図４１（ｂ）の
ようにアレーＡにおいてワード線ＷＡ１上のメモルセル
を現在のニューロン出力値を記憶するために用いて、ワ
ード線ＷＡ２上のメモルセルを新しいニューロン出力値
を記憶するために用いれば容易に実現できる。まず、ア
レーＡのワード線ＷＡ１とアレーＢのｊ＝１のワード線
を立ち上げる。この結果、新しいＶ１であるｇ（Ｔ１１
Ｖ１＋Ｔ１２Ｖ２＋…＋Ｔ１ｎＶｎ）が計算される。こ
れをアレーＡのワード線ＷＡ２上のｉ＝１の位置にある
メモリセルに書き込めばよい。つづいて、ニューロン出
力値Ｖ２,Ｖ３，…,Ｖｎを更新してアレーＡのワード線
ＷＡ２上のメモリセルに書き込む。すべてのニューロン
出力値の更新が終わったところで今度は、アレーＡのワ
ード線ＷＡ１とＷＡ２の役割を変えて、ニューロン出力
値の計算時には、ワード線ＷＡ２を立ち上げ、二ューロ
ン出力値を収納するときにはワード線ＷＡ１を立ち上げ
るようにしてニューロン出力値の更新を続ける。以下、
同様にしてアレーＡのワード線ＷＡ１とＷＡ２の役割を
変えながら処理を進める。このように図４１（ｂ）の実
施例によれば、同期型のホップフィールド型ネットワー
クの演算を行なうことができる。

【００６７】同様にしてニューロン出力値, 結合重み値
を表現するのに複数のメモリセルを用いてホップフィー
ルド型のネットワークを実現することもできる。図４２
（ａ）はニューロン出力値, 結合重み値を表現するのに
それぞれｐ個，ｑ個づつのメモリセルを等価に用いて非
同期型のホップフィールド型のネットワークを実現する
ための実施例である。図４１（ａ）と同様に、アレーＡ
内の１本のワード線にすべてのニューロン出力値を収納
する。ただし、ｐ個のセルで１つのニューロン出力値を
表している。アレーＢには、１つのニューロン出力値を
計算するのに必要な結合重み値がｑ個のセル毎に同じワ
ード線上に並ぶように収納する。ニューロン出力値の更
新は、図４１（ａ）の実施例と同様にすればよい。ただ
し、ニューロン出力値を表現するのにそれぞれｐ個づつ
のメモリセルを用いているので演算結果をｐ個のセルに
並列に書き込めるように、非線形関数回路Ｄの出力線を
ｐ本設けてある。同期型ホップフィールドネットワーク
についても図４１（ｂ）と同様にアレーＡの２本のワー
ド線を用いれば図４２（ｂ）のようにして容易に実現で
きる。同様にして図１６のようにニューロン出力値, 結
合重み値を表現するのにそれぞれｐ個，ｑ個づつのメモ
リセルによる２進表現を用いて同期型、非同期型のホッ
プフィールド型のネットワークを実現することもできる
ことはもちろんである。

【００６８】図１０と図４１（ａ），（ｂ）ならびに図
１３と図４２（ａ），（ｂ）とは基本的な構成は同一で
ある。したがって、図１８から図４０までの実施例を用
いれば、図４１（ａ），（ｂ）および、図４２（ａ），
（ｂ）の実施例による情報処理を容易に実現することが
できる。なお、ホップフィールド型のネットワークにお
いては、ニューロン出力値の更新を続ける過程におい
て、エネルギーを最小とする状態でなく極小とする状
態、所謂ローカルミニマムに落ちこんでニューロン出力
値が変化しなくなってしまうことがありうる。それを避
けるにはよく知られている擬似焼き鈍し法を用いること
ができる。ニューラルネットワーク情報処理(産業図
書、麻生英樹著) １２２ページに述べられているよう
に、擬似焼き鈍し法を実現するために非線形関数の形を
徐々に変えるという方法が、知られている。本発明によ
れば特性の異なる非線形関数回路Ｄを複数設けて切り替
えたり、あるいは、外部より非線形関数回路Ｄの特性を
コントロールするなどによって容易に上記の方法が実現
できる。

【００６９】これまでは、主に階層型、あるいはホップ
フィールド型ネットワークにおいてニューロン出力値,
結合重み値を正の数として扱う例を述べてきたが、応用
対象によってはこれらの両方あるいは片方が正の値も負
の値も取り得るとした方が便利な場合もある。そのよう
な場合にも本発明は容易に適用できる。図４３はニュー
ロン出力値、結合重み値ともに正, 負の値を取ることが
できるように構成した本発明の１実施例である。図４３
においてニューロン出力値はメモリセルアレーＡ，結合
重み値はメモリセルアレーＢに蓄えられている。それぞ
れの値は絶対値の大きさを表すｐあるいはｑビットと符
号を表す１ビットにより表されている。符号を表す（以
下、符号ビット）は、“１”で正“０”で負を表す。こ
れまで述べてきたのと同様の方法で読出されたニューロ
ン出力値と結合重み値のうち絶対値の大きさを表すｐあ
るいはｑビットの部分は加算器、ａ１，…，ａｎおよび
ｂ１，…，ｂｎに入力され、アナログ値となって乗算器
ｍ１，…，ｍｎに入力される。なお、ニューロン出力
値、結合重み値を２進表現で表すときには、上記の加算
器ａ１，…，ａｎおよびｂ１，…，ｂｎに入力される各
々ｐ，ｑビットのデータを図１６に示したのと同じよう
に重み付けして入力すればよい。一方、符号ビットは、
図４３に示したように排他的ＯＲ（エクスクルーシブオ
ア）回路ＥＯＲ１，…，ＥＯＲｎに入力される。符号ビ
ットが一致しない場合、すなわち乗算の結果が負のとき
には上記排他的ＯＲ回路の出力は高レベルとなり、一致
した場合すなわち、乗算の結果が正のときには上記排他
的ＯＲ回路の出力は低レベルとなる。スイッチＳＷ１，
…，ＳＷｎは、排他的ＯＲ回路の出力が低レベルの時に
は乗算器の出力を加算器ｃ１，…，ｃｎに、高レベルの
ときには乗算器の出力を加算器ｃ１′，…，ｃｎ′に伝
えるように動作する。この結果、積和出力線ＮＯには、
乗算の結果が正のものの総計が、積和出力線ＮＯ′に
は、乗算の結果が負のものの総計が出力される。非線形
回路Ｄでは積和出力線ＮＯと積和出力線ＮＯ′との信号
の差をｐビットのデジタル値に変換してバスＡＢＳに、
積和出力線ＮＯと積和出力線ＮＯ′との信号の大小で符
号ビットを決定してバスＳＩＧＮへ出力する。なお、ニ
ューロン出力値の表現にあわせて図１４、あるいは図１
７に示したような非線形特性を持たせることは、これま
で述べたのと同様な方法で容易に実現できる。本実施例
によれば、ニューロン出力値、結合重み値ともに正, 負
の値をとることができる。したがって、情報処理の適用
範囲が広がるという利点がある。ここでは、ニューロン
出力値, 結合重み値ともに正, 負の値をとるようにした
が、どちらか片方のみを正の値に限るなどの変形は容易
に実現できる。

【００７０】これまでは、演算回路としてニューロン出
力値を計算するのに必要な積和機能と非線形関数回路を
実現する実施例を説明してきた。しかし、演算回路にさ
らに他の演算を行なう回路を追加することもできる。た
とえば、本発明による情報処理装置は階層型ネットワー
クを用いた音声認識, 文字認識など入力されたパターン
をいくつかの組に分けるような所謂クラス分け問題に適
用することができる。このような場合には前記したよう
に演算回路内に比較器があると便利である。クラス分け
問題では、入力されたパターンが、明らかにあるクラス
に分類される場合には、出力としてクラスに対応する期
待値を得ることができる。しかし、入力されたパターン
が、複数のいずれかのクラスに分類されるか微妙な場合
には、複数のクラスの期待値の中間的なものとなること
がある。例えば、音声認識において入力された音声が
‘Ｋ’のときには、符号化して入力層に与えた音声波形
に対して出力層に１１１１というニューロン出力値 (期
待値) が得られるように、また、入力が‘Ｃ’のときに
は、００００という出力値 (期待値) を出すように結合
重み値を設定した場合に、‘Ｋ’、‘Ｃ’の中間的な音
声波形が与えられると出力層のニューロン出力値は、０
００１とか１１１０など中間的な値を出すことがある。
このような場合には出力層のニューロン出力値と‘Ｋ’
に対する期待値１１１１あるいは‘Ｃ’に対する期待値
００００との距離が入力音声の‘Ｋ’あるいは‘Ｃ’に
対する近さを与える尺度と解釈することができる。した
がって、演算回路に出力層のニューロン出力値とクラス
の期待値を比較する回路を設けて出力結果と期待値の距
離を求める機能がある便利である。

【００７１】図４４は１つの半導体チップにニューロン
出力値と期待値の比較を行なう演算回路１２ａと、ニュ
ーロン出力値を計算するための演算回路１２ｂとを集積
した１実施例である。図４４において、期待値はメモリ
回路ＴＧに、ニューロン出力値はメモリ回路Ａに結合重
み値はメモリ回路Ｂに記憶されている。ニューロン出力
値を計算するには、これまで述べてきたのと同様な方法
でメモリ回路Ａからニューロン出力値をメモリ回路Ｂか
ら結合重み値を読出して演算回路１２ｂによってニュー
ロン出力値を計算し、その結果をメモリ回路Ａに書き込
めば良い。比較を行うには、メモリ回路Ａからニューロ
ン出力値をメモリ回路ＴＧから期待値を読出して演算回
路１２ｂにより並列に距離を求めてその結果をメモリ回
路ＴＧに書き込むかあるいは、入出力装置を通じて出力
する。本実施例ではメモリ回路ＴＧ，Ａならびに演算回
路１２ａともに同一チップ上にあるため、バス１，２の
本数を容易に増やすことができ、多数のビットを並列に
処理できる。このため高速に距離の計算ができるという
利点がある。なお、このような構成においては、演算モ
ードをニューロン出力値を計算するニューロン出力値計
算モードとニューロン出力値と期待値を比較して距離を
求める比較モードとに分けると便利である。演算モード
の切り換えは、例えば２つの演算回路制御信号／ＮＥ１
と／ＮＥ２とにより容易に行なうことができる。すなわ
ち、／ＮＥ１，／ＮＥ２ともに高レベルのときにはメモ
リモード，／ＮＥ１が低レベル、／ＮＥ２が高レベルで
ニューロン出力値計算モード，／ＮＥ１が高レベル，／
ＮＥ２が低レベルで比較モードなどとすればよい。な
お、図４４では、メモリ回路を３つに、演算回路を２つ
に分けたが、これらはチップ上に混在して構成しても良
いことはもちろんである。以上述べたように本実施例に
よればニューロン出力値と期待値との距離を高速に求め
ることができる。このため、階層型ネットワークを用い
たパターン認識などのようにニューロン出力値と各期待
値とを比較してその距離を求める必要がある場合に情報
処理速度を上げることができる。

【００７２】図４５は、図４４の演算回路１２ａの１実
施例であり、出力層のニューロン出力値と期待値を比較
してそのハミング距離の大きさを計算する回路である。
以下では図４４のメモリ回路ＴＧ，Ａは図１８，図２９
あるいは図３２のようにデータ線対にメモリセルの情報
が読出される形式のものであり、それぞれアレーＴＧ，
アレーＡを有しているとする。図４５は、比較器ＣＭＰ
と比較結果変換回路ＣＯＭＰＯＵＴより構成されてい
る。比較器ＣＭＰは並列に設けた比較回路ＣＭＰＵと負
荷抵抗ＲＣＭＰより構成され比較結果変換回路ＣＯＭＰ
ＯＵＴは差動アンプＡＭＰ２１１，ＡＭＰ２１２，…，
ＡＭＰ２１Ｚより構成されている。比較器ＣＭＰには、
アレーＴＧのデータ線ＤＴＧ１，／ＤＴＧ１，…，ＤＴ
Ｇｒ，／ＤＴＧｒおよびアレーＡのデータ線ＤＡ１，／
ＤＡ１，…，ＤＡｒ，／ＤＡｒが入力されている。ここ
でｒは１本のワード線上のメモリセルの数で、ニューロ
ン出力値を１ビットで表すときにはｎ，ｐビットで表す
ときにはｎとｐの積に等しい。本実施例によれば、アレ
ーＴＧのデータ線ＤＴＧ１，／ＤＴＧ１，…，ＤＴＧ
ｒ，／ＤＴＧｒ上に読出した情報とアレーＡのデータ線
ＤＡ１，／ＤＡ１，…，ＤＡｒ，／ＤＡｒ上に読出した
情報とのハミング距離を計算することができる。本実施
例の動作は、以下の通りである。まず、あらかじめクリ
ア信号ΦＣを立ち上げＭＯＳトランジスタＱ２１６をオ
ンさせて、ＭＯＳトランジスタＱ２１５のゲート電圧を
立ち下げておく。クリア信号ΦＣを立ち下げてデータ線
に信号が読出されデータ線電位がＶｃｃあるいは０Ｖに
なった後、比較器起動信号ΦＣＭＰにより比較器を起動
する。すると比較回路に入力されたデータ線（ＤＴＧ
１，ＤＡ１），（ＤＴＧ２，ＤＡ２），…，（ＤＴＧ
ｒ，ＤＡｒ）のそれぞれの組で排他的オア（ＥＸＣＬＵ
ＳＩＶＥ−ＯＲ）の論理がとられる。その結果、アレー
ＴＧ側のデータ線とＡ側のデータ線とで情報が一致して
いる場合にはＭＯＳトランジスタＱ２１５のゲートが低
電位のままであるが、一致していない場合には高電位に
遷移する。このため、アレーＴＧ側のデータ線とＡ側の
データ線とで情報が一致しない比較器ＣＭＰＵではＭＯ
ＳトランジスタＱ２１５がオンする。この結果、データ
線（ＤＴＧ１，ＤＡ１），（ＤＴＧ２，ＤＡ２），…，
（ＤＴＧｒ，ＤＡｒ）のそれぞれの組で不一致の数が多
いほど電源ＶＣＭＰから負荷抵抗ＲＣＭＰを通じて接地
電極へ向けて電流が流れる。そのため、比較線ＣＯの電
位は一致しないものが多いほど低下する。比較線ＣＯ
は、比較結果変換回路ＣＯＭＰＯＵＴに設けられた差動
アンプＡＭＰ２１１，ＡＭＰ２１２，…，ＡＭＰ２１Ｚ
に接続されている。これらの差動アンプの参照電圧ＶＲ
Ｃ１，ＶＲＣ２，ＶＲＣＺを適当な値に設定しておけ
ば、比較線ＣＯの電位低下が大きいほど比較結果出力線
ＤＣＯ１，ＤＣＯ２，…，ＤＣＯＺのうち高電位になる
本数が増加する。すなわち、比較結果変換回路ＣＯＭＰ
ＯＵＴは１種のＡＤ変換器として動作する。このように
図４５の実施例によればアレーＴＧの複数のデータ線に
読出された情報とアレーＡの複数のデータ線に読出され
た情報を比較してそのハミング距離の大きさを求めるこ
とができる。したがって、アレーＴＧとアレーＡで１本
ずつワード線を選択すれば、選択されたワード線上のメ
モリセルに記憶された情報同土を比較することができ
る。このため各期待値をそれぞれアレーＴＧのワード線
上のメモリセルに記憶しておけば、アレーＡの１本のワ
ード線上のメモリセルに記憶されたニューロン出力値と
比較して、そのニューロン出力値がどの期待値にどのく
らい近いのか知ることができる。したがって、得られた
ニューロン出力値がクラスに対応する期待値と一致しな
いような場合でも高速にどのクラスにどのくらい近いの
か知ることができる。

【００７３】なお、図４５の実施例において比較結果出
力線に出力された結果は、比較の度に入出力回路を通じ
てチップ外へ出力してもよいし、メモリ回路ＴＧの容量
を期待値を記憶するのに必要な量よりも大きくとってお
き、そこに書き込んでおいて、まとめて出力してもよ
い。

【００７４】最後にレジスタを用いて本発明の装置をさ
らに高速化する実施例について述べる。これまで述べて
きたように本発明では、ニューロン出力値を計算するの
に、必要なデータをメモリ回路から続出し、演算回路で
ニューロン出力値を求め、その結果を再びメモリ回路へ
書き込むという動作を続ける。すなわち、１回の演算モ
ード (ニューロン出力値演算モード) サイクルは読出し
動作と書込み動作よりなり、書込み動作中には演算回路
が休止していることになる。したがって、演算回路が休
止している時間を短くすれば、より一層の演算モードの
高速化を図ることができる。図４６は上記の観点に基づ
いて演算モードの高速化を図った１実施例である。図４
６は図９の実施例にレジスタ１４とスイッチＳＷ１，
…，ＳＷｒとを付加したものである。図４６の実施例に
よれば図６のアルゴリズムを用いて高速にニューロ出力
値を計算することが出来る。以下では、階層型のネット
ワークを例にとって説明を行うが、ホップフィールド型
ネットワークにおいても同様の効果がある。図４６の実
施例では第ｓ層の第１ニューロンの出力値を計算するに
のに、メモリセルアレーＡのワード線を１本立ち上げて
第ｓ−１層のニューロン出力値を読出し、スイッチＳＷ
１，…， ＳＷｒを閉じて第ｓ−１層のニューロン出力
値をレジスタ１４に書き込み、スイッチＳＷ１，…，Ｓ
Ｗｒを開ける。次に、メモリセルアレーＢのワード線を
１本立ち上げて第ｓ−１層のニューロンと第ｓ層の第１
ニューロンの間の結合重み値を読出すとともにレジスタ
１４より、第ｓ−１層のニューロン出力値を読出して演
算回路１２により第ｓ層の第１ニューロンの出力値を計
算する。その結果をメモリセルアレーＡへ書き込む。こ
のとき同時にセルアレーＢのワード線を１本立ち上げて
第ｓ−１層のニューロンと第ｓ層の第２ニューロンの間
の結合重み値を読出すとともにレジスタ１４より、第ｓ
−１層のニューロン出力値を読出して演算回路１２によ
り第ｓ層の第２ニューロンの出力値を計算する。以下同
様にして第ｓ層のニューロンの出力値を計算していく。
次に第ｓ＋１層のニューロンの出力値を計算するにはメ
モリセルアレーＡのワード線を１本立ち上げて先に求め
た第ｓ層のニューロン出力値を読出し、スイッチＳＷ
１，…，ＳＷｒを閉じて第ｓ層のニューロン出力値をレ
ジスタ１４に書き込み、以下同様にして計算を進める。
以上のように本実施例によれば、レジスタ１４を設けた
ことにより書込みと読出しとを同時に行う事ができるた
め、高速の動作を実現する。

【００７５】これまでは、本発明を用いておもにニュー
ロン出力値を計算する方法について説明し、必要な結合
重み値は、すでに与えられていると仮定してきた。必要
な結合重み値は、課題によっては、初めから容易に与え
られることもあるが、所謂学習によって求める必要のあ
ることもある。たとえば、バックプロパゲーションとよ
ばれる階層型のネットワークのための学習では、あらか
じめ入力層のニューロン出力値 (テストパターン) をい
くつか用意しておき、そのテストパターンに対して所望
のニューロン出力値が出力層に得られるような結合重み
値を求めることができる。また、ニューラルネットワー
ク情報処理(産業図書、麻生英樹著) 第２章に記載され
ているようにホップフィールド型のネットワークでもニ
ューロン出力値の平衡状態が所望の状態になるように結
合重み値を設定する学習アルゴリズムが知られている。
そのような学習を本発明に応用するには、次のように３
つの方法がある。第１の方法は、外部の計算機を用いて
学習を行い、得られた結合重み値を本発明による情報処
理装置に書込む方法である。この方法では、学習をソフ
トウエアで行うこともできるため学習アルゴリズムの変
更が容易にできるという利点があるが、学習速度を上げ
ることが困難である。第２の方法は本発明による装置の
演算回路に学習のための演算機能を設けておき、オンチ
ップで学習を行う方法である。この方法では、高速に学
習を行うことができるが学習に必要な回路をすべて同一
チップ上に集積するのは困難な場合がある。第３の方法
は第１の方法と第２の方法の中間的なもので、学習に必
要な演算の１部を本発明の装置で行い、外部の計算機で
学習に必要な演算の残りの部分を行う方法である。この
方法は、第１の方法に比べて学習速度を上げることがで
き、本発明の装置の演算回路を単純に構成できるという
利点がある。以下では、この第３の方法について具体的
に述べる。なお、学習法としては階層型ネットワークに
おけるバックプロパゲーション法を例に採る。バックプ
ロバゲーション法 (以下、ＢＰ法と記す。) では、以下
の式にしたがって結合重み値の更新を行う。

【００７６】 ＴＳｉｊ＝ＴＳｉｊ＋εｄｊＳＶｉＳ−１ ｄｊｍ＝(ｔｊ−Ｖｊｍ)ｇ′(Ｕｊｍ) ｄｊＳ＝ｇ′(ＵｊＳ)Σｉ(ＴＳ＋１ｉｊｄｉＳ＋１) …（３） （ｓ＝ｍ−１，…，２） ここで、εは小さな正の数、ｔｊは最終層のニューロン
出力値Ｖｊｍの目標値、ｇ′は非線形関数ｇの導関数、
ＵｊＳは第ｓ層第ｊニューロンにおいて非線形関数gを
通す前の量で次式で定義される。

【００７７】 ＵｊＳ＝Σｉ(ＴＳ−１ｊｉＶｉＳ−１＋Θｊｓ) …（４） 結合重み値の更新は、学習用の入力データ毎に上記の式
（１）から（４）により更新量を求めて更新してもよい
し、学習用の入力データのすべてについて更新量を総計
してそれを用いて更新を行ってもよい。また、（１）式
に慣性項といわれる次項を足して更新を行ってもよい。

【００７８】 μΔＴＳｉｊ′ …（５） ここで、μは小さな正の定数、ΔＴＳｉｊ′は前回の更
新時の修正量である。学習は、最終層のニューロン出力
値とその目標値との誤差が十分小さくなるまで続ける。

【００７９】上記の学習は以下のようにして図４４に示
した実施例と外部の計算機とにより実行することができ
る。以下では、入力データすべての更新量の総計により
更新する場合にについて説明するが、入力データ毎に結
合重みを更新する場合についても同様である。なお、以
下では、３層のネットワークについて説明を行うが３層
以上の場合についても同様である。

【００８０】まず、すべての学習用の入力データとその
目標値とをそれぞれメモリ回路ＡならびにＴＧヘ書込
む。次に絶対値の小さな乱数を結合重み値の初期値とし
てメモリ回路Ｂへ書込む。さらに、第１の入力データを
第１層のニューロン出力値とみなして演算回路１２ｂへ
読出し、同じに第１層, 第２層間の結合重み値をメモリ
回路Ｂより演算回路１２ｂへ読出す。前記した方法によ
り並列に乗算を行い第２層のニューロン出力値を計算し
てメモリ回路Ａへ書き込む。続けて第３層のニューロン
出力値を計算しメモリ回路Ａへ書き込む。上記の計算を
学習用入力データ全てについて行なって、各入力データ
に対する各層のニューロン出力値, 各入力データに対す
る期待値, 結合重み値をチップ外のメモリへ読出す。次
に外部の計算機で結合重み値の更新量を計算し、更新し
た結合重み値を本発明による装置のメモリ回路Ｂへ書き
込む。なお、(２) , (３) 式におけるｇ′(ＵｊＳ) に
ついても本発明による装置内でニューロン出力値ＶｊＳ
を計算する際に非線形関数回路Ｄに人力するＵｊＳより
計算してもよいしあるいは外部計算機でＶｊＳより逆に ｇ′(ＵｊＳ)＝ｇ′(ｇ−１(ＶｊＳ)) …（６） として計算することもできる。また、（５）式の慣性工
を加えるには、更新の度に結合重み値の修正量をチップ
外のメモリに蓄えておいて新しく求めた修正量に（５）
式に従って加算すればよい。

【００８１】上記の更新を繰返し行なって学習を進める
ことができる。学習の進み具合を知るには、各入力デー
タに対する最終層のニューロン出力値とその期待値との
距離を目安にすることができる。この距離は図４５の実
施例を用いれば高速に計算することができる。このた
め、学習時にその進行具合を確かめることが容易にでき
る。

【００８２】以上説明したように、本発明によれば、学
習用の入力データに対するニューロン出力値の計算を本
発明の装置内で高速に行なうことができる。また、本発
明ではメモリ回路ＴＧ，Ａ，Ｂにメモリアレーよりなる
メモリ装置を用いているので、すべての入力データ, 期
待値, 前層のニューロン出力値などを容易に収納できま
た、ワード線を立ち上げることにより並列に多数のビッ
トを読みだすことができる。このため、外部メモリへの
情報の転送をまとめて高速に行なうことができる。この
ため、学習を高速に進めることができる。

【００８３】本発明ではメモリ回路の容量を十分に大き
くしておけば、ニューロン数を用途に応じて変えること
も容易にできる。この場合、ニューロン数を大きく変え
ると非線形関数回路のダイナミックレンジを変える必要
が生じることがある。この場合には特性の異なる非線形
関数回路を複数設けて切り替えて使ったり、あるいは、
非線形関数回路内のアンプの参照電圧を切り替えて使う
こともできる。階層型ネットワークで層ごとのニューロ
ン数が異なる場合にも層ごとに非線形関数回路のダイナ
ミックレシジを変える必要が生じることがある。この場
合にも同様の方法で対処できる。

【００８４】なお、これまでは、主にいわゆる１トラン
ジスタ１キャパシタのＤＲＡＭセルや図２８（ａ），
（ｂ）に示したようなＳＲＡＭセルを用いた実施例を示
したが、その他のメモリセルを本発明に用いることもも
ちろんできる。たとえば、結合重み値を記憶する部分な
どは情報処理時には頻繁に書き替える必要がないので不
揮発性のメモリセルを、ニューロン出力値を記憶する部
分にはＤＲＡＭセルやＳＲＡＭセルを用いるなどメモリ
の内容によりセルの種類を変えることもできる。

【００８５】メモリ回路を高集積化すると、微小な配線
を用いるためにときには１部のメモリセルが動作しない
ことがある。ニューラルネットワークは、結合重み値を
多少変えても機能への影響が少ないという特長を持つ
が、ニューロン出力値を蓄えるメモリセルが動作しない
ような場合には情報処理に支障を来すことがある。この
ような問題を避けるには、通常の高集積半導体メモリで
使われているような冗長ワード線あるいは、データ線を
設けておいて欠陥のあるセルを使わないようにすること
もできる。

【００８６】また、図２２（ａ），図２５，図２６，図
３５などでは、バイポーラトランジスタを用いたがＣＭ
ＯＳでも実現できる。さらに、バイポーラトランジス
タ，ＭＯＳトランジスタに限らず本発明を他のデバイス
で実現してもよいことはもちろんである。

【００８７】これまで、主に階層型とホップフィールド
型のネットワークを例にとり説明してきたが、本発明は
これらに限定されることなく様々な型のネットワークに
よるニューラルネットワーク情報処理に適用できる。た
とえば、ボルツマンマシンのようなニューロン出力値の
更新が確率的に行なわれるようなネットワークも実現で
きる。ニューラルネットワーク情報処理(産業図書、麻
生英樹著)第２７ページに説明されているように、ボル
ツマンマシンは、ネットワークの形状はホップフィール
ド型のネットワークと同様であるが、ニューロン出力値
(０または１)が、ニューロンに入力されるニューロン出
力値と結合重み値の他の積和によって一意に決まらず、
確率的に決まるという特長を持っている。ニューロン出
力値が１となる確率Ｐは、 Ｐ＝１／(１＋ｅｘｐ(−Ｉ／Ｔ)) と表せられる。ここで、Ｉはニューロンに入力されるニ
ューロン出力値と結合重み値の積和で、Ｔは温度とよば
れるパラメータである。本発明により上記のボルツマン
マシンは容易に実現できる。例えば、図３５に示した非
線形回路Ｄの参照電圧ＶＲｘを定常値でなく積和出力線
ＮＯの変動範囲で時間的に変化させればよい。このよう
にするとニューロン出力値を確率的に決めることができ
る。変化の速度を変えることにより温度Ｔを変化するの
と同様の効果を得ることができる。

【００８８】さらに、図１２と図４１（ａ），（ｂ）と
を較べると明らかなようにメモリ回路の容量が十分あれ
ばニューロン出力値,結合重み値を記憶するメモリセル
のアドレスを変更するだけで様々な型のネットワークを
同一の装置で実現できる。したがって、本発明は、高い
汎用性を持つ。

【００８９】以上では、ニューラルネットワーク情報処
理への応用について説明したが、本発明はそれに限定さ
れることはなく、同様の演算機能を持つ多数の演算要素
をネットワーク状に接続して情報処理を行なうような装
置ならば高い集積度で実現することができることはもち
ろんである。

【００９０】これまで示した実施例においては、演算回
路としてアナログ演算を行なうものを主に示してきた。
アナログ演算回路は、高速で、回路規模も小さいという
利点をもつ。しかし、本発明は、これに限定されること
なく、発明の主旨を変えることなくデジタル演算回路を
用いることもできる。その場合にはデジタル演算回路の
ため、高精度の計算を行なうことができる。

【００９１】

【発明の効果】以上述べてきたように、本発明によれば
メモリ回路と演算回路を組合せ、演算回路により並列演
算を行なうことにより、比較的単純な演算を行なう演算
器が多数ネッ卜ワーク状に接続されたニューラルネット
ワークなどの並列分散処理装置と同様な情報処理を行な
う装置を速度の犠牲を大きくすることなく、高集積に実
現することができる。

【図面の簡単な説明】

【図１】本発明による情報処理装置を半導体チップ上に
実現する場合の構成を示した１実施例。

【図２】（ａ），（ｂ）は、階層型ニューラルネットワ
ークの原理を示した図。

【図３】（ａ），（ｂ）は、非線形関数回路Ｄの特性の
例を示した図。

【図４】（ａ），（ｂ）は、ホップフィールド型ニュー
ラルネットワークの原理を示した図。

【図５】複数のチップを用いた従来のニューラルネット
ワーク情報処理装置の例。

【図６】（ａ），（ｂ）は、それぞれ階層型ニューラル
ネットワークとホップフィールド型ニューラルネットワ
ークについて演算を並列に行なう方法の１実施例。

【図７】（ａ），（ｂ）は、それぞれ階層型ニューラル
ネッ卜ワークとホップフィールド型ニューラルネットワ
ークについて演算を並列に行なう方法の第２の実施例。

【図８】１本のワード線を選択することにより多数の情
報をデータ線上に読み出すことのできるメモリアレーを
用いて本発明による情報処理装置を実現する場合の構成
を示した１実施例。

【図９】１本のワード線を選択することにより多数の情
報をデータ線上に読み出すことのできるメモリアレーを
２つ用いて本発明による情報処理装置を実現する場合の
構成を示した１実施例。

【図１０】図９の実施例を用いて階層型ニューラルネッ
トワークを実現する場合のニューロン出力値, 結合重み
値とメモリセルとの対応関係を示した１実施例でニュー
ロン出力値, 結合重み値を１つづつのメモリセルで表現
した実施例。

【図１１】（ａ）は図１０の実施例においてメモリセル
に２値のものを用いる場合に好適な非線形関数回路Ｄの
特性を示した１実施例、（ｂ）は図１０の実施例におい
てメモリセルに４値のものを用いる場合に好適な非線形
関数回路Ｄの特性を示した１実施例。

【図１２】図１０の実施例において演算モードでのワー
ド線およびメモリセルの選択の方法を示した１実施例。

【図１３】図９の実施例を用いて階層型ニューラルネッ
トワークを実現する場合のニューロン出力値, 結合重み
値とメモリセルとの対応関係を示した第２の実施例であ
りニューロン出力値, 結合重み値を複数のメモリセルで
表現した実施例。

【図１４】図１３の実施例においてニューロン出力値,
結合重み値を複数のメモリセルで等価的に表現する場合
に好適な非線形関数回路Ｄの特性を示した１実施例。

【図１５】非線形関数回路Ｄにシグモイド状の特性を持
たせるための図１４のＸｔｈ１，…，Ｘｔｈｐの設定法
を示した１実施例。

【図１６】図９の実施例を用いて階層型ニューラルネッ
トワークを実現する場合のニューロン出力値, 結合重み
値とメモリセルとの対応関係を示した第３の実施例であ
りニューロン出力値、結合重み値を複数のメモリセルで
２進表示により表現した実施例。

【図１７】図１６の実施例においてニューロン出力値,
結合重み値を複数のメモリセルで２進表示により表現し
た場合に好適な非線形関数回路Ｄの特性を示した１実施
例。

【図１８】図１０の実施例においてメモリセルにＤＲＡ
Ｍセルを用いた場合の１実施例。

【図１９】動作モードと外部信号との関係を示した１実
施例。

【図２０】図１８の実施例のメモリモードにおける動作
波形の１実施例。

【図２１】図１８の実施例の演算モードにおける動作波
形の１実施例。

【図２２】（ａ）は図１８などの実施例に好適な非線形
関数回路Ｄの１実施例、（ｂ）は図２２（ａ）の非線形
関数回路Ｄの特性を示した１実施例。

【図２３】図１８などの実施例に好適な入出力回路ＩＯ
の１実施例。

【図２４】図２２（ａ）の非線形関数回路と図２３の書
き込み回路を用いた場合の積和出力線ＮＯと書込み線Ｌ
Ａの電位関係を示した１実施例。

【図２５】図１８などの実施例に好適な読出し回路ＯＵ
Ｔの１実施例。

【図２６】図２５の読出し回路ＯＵＴの実施例に好適な
読出しラッチ回路ＯＵＴＬＴの１実施例。

【図２７】図１８内の乗算回路ＭＴの第２の実施例。

【図２８】（ａ），（ｂ）はＳＲＡＭセルの例。

【図２９】図１０の実施例においてメモリセルに図２８
（ａ），（ｂ）などのＳＲＡＭセルを用いた場合の１実
施例。

【図３０】図２９の実施例のメモリモードにおける動作
波形の１実施例。

【図３１】図２９の実施例の演算モードにおける動作波
形の１実施例。

【図３２】図１３の実施例あるいは図１６の実施例にお
いてメモリセルにＤＲＡＭセルを用いた場合の１実施
例。

【図３３】図３２の実施例におけるブロックＢＬＫ１構
成の１実施例。

【図３４】図３２の実施例におけるブロックＢＬＫ２と
非線形関数回路Ｄ１０の構成の１実施例。

【図３５】図３４の実施例における非線形関数回路Ｄ１
０を構成する個々の非線形関数回路ＤＳｘ（ｘ＝１，
２，…，ｐ）の構成の１実施例。

【図３６】図３４の実施例における非線形関数回路Ｄ１
０を構成する個々の非線形関数回路ＤＳｘ（ｘ＝１，
２，…，ｐ）の特性の１実施例。

【図３７】図３２の実施例においてニューロン出力値,
結合重み値を複数のメモリセルで２進表示により表現し
た場合に好適な非線形関数回路Ｄ１０の構成を示す１実
施例。

【図３８】図３２の実施例における非線形関数回路ＤＳ
ｘ（ｘ＝１，２，…，ｚ）の特性の１実施例。

【図３９】図４０の実施例におけるエンコーダの特性の
１実施例。

【図４０】図３７の実施例におけるエンコーダの構成の
１実施例。

【図４１】（ａ）は図９の実施例を用いて非同期的なホ
ップフィールド型ニューラルネットワークを実現する場
合のニューロン出力値, 結合重み値とメモリセルとの対
応関係を示した１実施例で、ニューロン出力値, 結合重
み値を１つづつのメモリセルで表現した実施例、（ｂ）
は図９の実施例を用いて同期的なホップフィールド型ニ
ューラルネットワークを実現する場合のニューロン出力
値, 結合重み値とメモリセルとの対応関係を示した１実
施例で、ニューロン出力値, 結合重み値を１つづつのメ
モリセルで表現した実施例。

【図４２】（ａ）は図９の実施例を用いて非同期的なホ
ップフィールド型ニューラルネットワークを実現する場
合のニューロン出力値, 結合重み値とメモリセルとの対
応関係を示した１実施例で、ニューロン出力値, 結合重
み値を複数のメモリセルで表現した実施例、（ｂ）は図
９の実施例を用いて同期的なホップフィールド型ニュー
ラルネットワークを実現する場合のニューロン出力値,
結合重み値とメモリセルとの対応関係を示した１実施例
で、ニューロン出力値, 結合重み値を複数のメモリセル
で表現した実施例。

【図４３】符号ビット用いてニューロン出力値,結合重
み値に正負両方の値を取ることができるようにする場合
の１実施例。

【図４４】ニューロン出力値と期待値の比較を行なう機
能を本発明による装置に持たせた場合の１実施例。

【図４５】メモリセルアレーＴＧとメモリセルアレーＡ
の複数のデータ線対に読出された情報を比較してその一
致の程度を計算する比較回路の１実施例。

【図４６】レジスタを設けてニューロン出力値の更新の
高速化を図った１実施例。

【符号の説明】

Ａ，Ｂ，ＴＧ…メモリ回路、Ｄ…非線形関数回路、１
２，１２ａ，１２ｂ…演算回路、ＯＵＴ…読みだし回
路、ｍ１，ｍ２…乗算器、ａ１，ａ２，…加算器、ｂ
１，ｂ２…加算器、ｃ１，ｃ２…加算器、ｃ１′，ｃ
２′…加算器、ＳＷ１，ＳＷ２…スイッチ、ＷＲ…書き
込み回路、ＮＥ…演算回路制御信号、Ｖｉｓ，Ｖｉ…ニ
ューロン出力値、Ｔｉｊ，Ｔｉｌｊ…結合重み値、ＰＲ
…プリチャージ回路、ＳＡ…センスアンプ、ＲＳＡ…読
み出しセンスアンプ、ＷＳ…書き込みスイッチ、ＭＴ…
乗算器、ＬＡＴ…ラッチ回路、ＯＵＴＬＴ…読み出しラ
ッチ回路、ＮＯ…積和出力線、ＮＶ…非線形関数回路出
力線、ＷＡｉ，ＷＢｉ,ｊ…ワード線、ＤＡｉ，／ＤＡ
ｉ…データ線、ＤＢｉ，／ＤＢｉ…データ線、ＤＴＧ
ｉ，／ＤＴＧｉ…データ線、ＩＡ，ＩＡ…書込み線、Ｉ
Ｂ，ＩＢ…書込み線、ＯＡ，ＯＡ…読み出し線、ＯＢ，
ＯＢ…読み出し線、ＤＩ…書込みデータ、ＤＯ…読み出
しデータ、ΦＬ…ラッチ信号。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川尻 良樹 東京都国分寺市東恋ケ窪１丁目280番地株 式会社日立製作所中央研究所内

Claims (3)

【特許請求の範囲】
1. 【請求項１】演算回路とメモリセルアレーが同一チップ
   に集積された半導体集積回路であって、 上記メモリセルアレーは複数のデータ線と、それらと交
   わるように配置された複数のワード線と、上記複数のデ
   ータ線と上記複数のワード線の所望の交差部に配置され
   た複数のメモリセルを有し、 上記演算回路は演算器を有し、 上記メモリセルアレーと上記演算回路との間において、
   上記メモリセルアレーと上記演算回路とを接続する信号
   線と、上記メモリセルアレーから上記チップ外部へ接続
   される信号線とが交差する方向に配置されることを特徴
   とする半導体集積回路。
2. 【請求項２】演算回路と、第１及び第２のメモリセルア
   レーが同一チップに集積された半導体集積回路であっ
   て、 上記それぞれのメモリセルアレーは複数のデータ線と、
   それらと交わるように配置された複数のワード線と、上
   記複数のデータ線と上記複数のワード線の所望の交差部
   に配置された複数のメモリセルを有し、 上記演算回路は演算器を有し、かつ上記第１のメモリセ
   ルアレーと上記第２のメモリセルアレーとの間に配置さ
   れていることを特徴とする半導体集積回路。
3. 【請求項３】第１及び第２の演算回路と、第１、第２及
   び第３のメモリセルアレーが同一チップに集積された半
   導体集積回路であって、 上記それぞれのメモリセルアレーは複数のデータ線と、
   それらと交わるように配置された複数のワード線と、上
   記複数のデータ線と上記複数のワード線の所望の交差部
   に配置された複数のメモリセルを有し、 上記第１及び上記第２の演算回路はそれぞれ演算器を有
   し、 上記第１の演算回路は上記第１のメモリセルアレーと上
   記第２のメモリセルアレーとの間に配置され、 上記第２の演算回路は上記第２のメモリセルアレーと上
   記第３のメモリセルアレーとの間に配置されていること
   を特徴とする半導体集積回路。