JPH03250244A - 情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、大規模かつ高速な並列分散処理を実現するた
めのメモリ回路を内蔵した情報処理装置に関するもので
ある。特にニューラルネットワーク情報処理を行なう情
報処理装置に関するものである。

〔従来の技術〕

ニューロコンピユーテイングとよばれるニューラルネッ
トワークを用いた並列分散型情報処理（以下ニューラル
ネットワーク情報処理）は、コンプレックスシステムズ
１　（１９８７年）第１４５頁から第１６８頁（Ｓｅｊ
ｎｏｗｓｋｉ、　Ｔ、　Ｊ、、　ａｎｄＲｏｓｅｎｂｅ
ｒｇ、　Ｃ，Ｒ，１９８７、Ｐａｒａｌｌｅｌ　ｎｅｔ
ｗｏｒｋｓｔｈａｔ　１ｅａｒｎ　ｔｏ　ｐｒｏｎｏｕ
ｎｃｅ　Ｅｎｇｌｉｓｈ　ｔｅｘｔ、ｃｏｍｐｌｅｘＳ
ｙｓｔｅｍｓ　１．　ｐｐ、１４５−１６８）あるいは
ニューラルネットワーク情報処理（産業図書、麻生英樹
著）などに述べられているように音声あるいは画像処理
などの分野において注目を集めている。ニューラルネッ
トワーク情報処理では、ネットワーク状に結合した多数
のニューロンと呼ばれる演算要素が、結合と呼ばれる伝
達線を通じて情報をやりとりして高度な情報処理を行な
う。各々のニューロンでは他のニューロンから送られて
きた情報にニューロン出力値）に対して積あるいは和な
どの単純な演算が行なわれる。各々のニューロン内の演
算、さらには、異なるニューロンの演算も並列に行なう
ことが可能なため、原理的には、高速に情報処理を行な
うことができる特長を持っている。また、ネイチャー３
２３−９、（１９８６年ａ）第５３３頁から第５３５頁
（Ｒｕｍｅｌｈａｒｔ、　Ｄ。

Ｅ、、　Ｈｉｎｔｏｎ、　Ｇ、　Ｅ、、　ａｎｄ　Ｗｉ
ｌｌｉａｍｓ、　Ｒ，Ｊ、　１９８６ａ。

Ｌｅａｒｎｉｎｇ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　
ｂｙ　ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎｅｒｒｏｒｓ
、　Ｎａｔｕｒｅ　３２３−９　、　ｐｐ、　５３３−
５３６　）、あるいはニューラルネットワーク情報処理
（産業図書、麻生英樹著）第２章などに述べられている
ように、望ましい情報処理を行なわせるためにニューロ
ン同志をつなぐ結合の重み値を設定するアルゴリズム（
学習）も提案されているため、目的に応じた様々な情報
処理をさせることができる。

〔発明が解決しようとする課題］ まず、ニューラルネットワークの動作原理を２種類の代
表的なネットワークである階層型ネットワークとホップ
フィールド型ネットワークについて説明する。第２図（
ａ）は、階層型ネットワーク、第３図（ａ）は、ホップ
フィールド型ネットワークの構造を示したものである。

これらは、どちらもニューロンとニューロン同士をつな
ぐ結合から構成されている。ここでは、ニューロンとい
う用語を用いるが、場合によってはノード、あるいは演
算要素などと呼ばれることもある。結合の矢印の向きは
、ニューロン出力値の伝わる方向を示している。階層型
ネットワークは、第２図（ａ）に示したように、ニュー
ロンが複数の階層をなすように並び、入力層から出力層
へ向かう方向にのみニューロン出力値が伝わるものであ
る。一方、ホップフィールド型ネットワークは、第３図
（ａ）に示したように、同じニューロンにニューロン出
力値がフィードバックされるほか、任意の２つのニュー
ロン間で両方向にニューロン出力値が伝わるものである
。

第２図（ｂ）、第３図（ｂ）にニューロン内で行なわれ
る演算の原理を示した。演算の原理はどちらのネットワ
ークでも同様なので、第２図（ｂ）を用いて階層型ネッ
トワークについて説明する。

第２図（ｂ）は、Ｓ＋１番目の層内のｊ番目のニューロ
ンを拡大して示したものである。このニューロン内には
結合を通じて前層、すなわちＳ番目の層内のニューロン
の出力値Ｖ　１　ｓ　、・・・ＨＶ　Ｉ　Ｓ　＋・・Ｖ
ｎｓｓが入力される。ここで、ｎｓはＳ番目の層内のニ
ューロンの数を示している。ニューロン内では入力され
たニューロンの出力値Ｖ　１ｓ　、・・・Ｖｓｓ、　・
・・、Ｖ　ｎ　ｓ　ｓと結合重み値ＴｓＪＩ、’・Ｔｓ
ａ　ａｔ　”’＋　ＴｓＪ　　ｎｓト（７）積Ｖ１ｓＴ
Ｓ＜　１１　＋＋＋ＶｉｓＴ！′ｉ　１＋　−ｔ　Ｖｎ
ｓ　３ＴＳＪ　ｎｓが乗算機ＭＴにより計算される。つ
ぎに、これらの積とオフセットｅ　Ｊ５＋ｌとの和を加
算機ＡＤＤにより計算する。

オフセットｅＪＳ＋ｘは場合によっては、省略してもよ
い。さらに、その結果を非線形関数回路りに入力してニ
ューロンの出力値ＶＪｓｅｓを得る。非線形関数回路り
は第２図（ｃ）あるいは、（ｄ）に示したような特性を
持ち、入力Ｘに対して出力ｇ（ｘ）を出力する。第２図
（Ｃ）は、入力Ｘがあるしきい値ｘｔｈを越えるか否か
により２値の出力ｇ１あるいはｇ２を出力する非線形関
数の例であり、第２図（ｄ）は、シグモイド関数を用い
た例で連続的な出力を出す。非線形関数回路りには、必
要に応じてこの他の特性を持たせることもある。

また、場合によっては、線形の特性を持たせてもよい。

上記の演算の原理は、第３図（ｂ）に示したようにポツ
プフィールド型ネットワークでも同様である。ただし、
ホップフィールド型ネットワークでは、１つのニューロ
ンに１層前のニューロンだけでなく、すべてのニューロ
ンの出力値が入力される。

第２図（ａ）、（ｂ）より判るように１階層型ネットワ
ークでは、まず、入力層のニューロンの出力値を与えた
あと次の層内のニューロンの出力値が更新され、さらに
次の層内のニューロンの出力値が更新されて１つの処理
が終了する。一方、第３図（ａ）のようにホップフィー
ルド型ネットワークでは、層というものがないため、そ
れぞれのニューロンは、適当なタイミングで出力値を更
新することができる。このホップフィールド型ネットワ
ークでは、すべてのニューロン出力値を適当に与え、ニ
ューロン出力値が平衡状態となるまでニューロン出力値
の更新を続ける。すべてのニューロンの出力値を同時に
更新するものを同期的なホップフィールド型ネットワー
ク、それぞれのニューロンが５勝手なタイミングで出力
値を更新するものを非同期的なホップフィールド型ネッ
トワークと呼んで区別する。

上記のようなニューラルネットワークの演算を行なうた
めにソフトウェアを用いる方法とハードウェアを用いる
方法とが用いられてきた。ソフトウェアを用いる方法で
は、計算機言語で書かれたプログラムによりニューロン
の演算を行なうので目的に応じてニューロンの数を変え
たりネツトワーりの構造を容易に変えることができる。

しかし、演算を逐次的に行なうためニューロンの数を増
やすと情報処理時間が急激に増加するという欠点があっ
た。たとえば、ｎ個のニューロンを用いたホップフィー
ルド型ネットワークでは、１つのニューロンの出力値を
更新するのにｎ回の積を計算しなければならない、した
がって、すべてのニューロンの出力値を少なくとも１回
更新するためには、ｎ２回の積を計算する必要がある。

すなわち、ニューロン数ｎの増大とともに計算量はｎ２
のオーダーで増加する。その結果、乗算を逐次的に行な
うと情報処理時間もｎ９のオーダーで増加してしまう。

ハードウェアを用いる方法では、乗算などの演算を行な
うニューロンをハードウェア化することによって、演算
の時間を短縮できる。さらに、ハードウェア化したニュ
ーロンを多数用いることによって演算を並列に行ないさ
らに高速化を図る試みもなされてきた。しかし、ニュー
ロンの数を増やすとニューロン間の信号線にあたる配線
の本数がｎ８のオーダーで増加するため、大規模なネッ
トワークを実現するのが困難であった。

配線の問題を解決する方法の一例として日経マイクロデ
バイス１９８９年３月号ｐ、１２３−１２９に記載され
たものの原理を第４図に示す。

第４図はアナログニューロプロセッサＡＮＰとＳＲＡＭ
とを用いて３層で各層に３つのニューロンを用いた階層
型ネットワークを構成した例を示している。ＡＮＰは、
第２図（ｂ）における乗算機ＭＴと加算機ＡＤＤが１つ
ずつと非線形関数回路りなどが１チツプに集積されても
のである。別のチップであるＳＲＡＭには、各ニューロ
ンに属する結合重み値が記憶されている。異なる層のニ
ューロンとは、アナログコモンバスと呼ばれる１本の信
号線を使って結合されている。入力層のニューロン出力
値は外部から入力するため、入力層のニューロンに相当
するＡＮＰとＳＲＡＭは省略されている。

動作は次のようになる。まず、所望の情報処理に必要な
各ＡＮＰ用の結合重み値を外部から、それぞれのＳＲＡ
Ｍに読み込む９次に入力信号線から、入力層内の１つの
ニューロンの出力値にあたる入力アナログ信号を入力す
る。入力信号は、中間層のニューロンに相当するＡＮＰ
に直接、並列に入る。入力信号に同期させて、重みデー
タをＳＲＡＭから各ＡＮＰにデータを読出す。次に２つ
の信号の積を計算しその結果を各ＡＮＰに記憶する。つ
づいて、入力層の別のニューロンの出力値にあたる入力
アナログ信号を入力して同様に積を計算しその結果を中
間層の各ＡＮＰに記憶されている値に足し合わせる。入
力層の最後のニューロンの出力値にあたる入力アナログ
信号について同様の演算を行なった後に、中間層のニュ
ーロン出力値Ｖ　ｘ　ｚ　＋　Ｖ　ｚ　ｚ　＋　Ｖ　ｘ
　ｚをＡＮＰ内の非線形関数回路により順番に中間層ア
ナログコモンバスに出力し上記と同様の演算を続ける。

最後に出力層のＡＮＰ内の非線形関数回路により出力層
のニューロン出力値Ｖ１３．　Ｖ２３．　Ｖ２３を出力
層アナログコモンバスに順番に出力する。

上記のように第４図に示した従来例に依れば、コモンバ
スを時分割で駆動することにより配線の問題を回避する
ことができる。また、１層内のニューロンの数だけの乗
算を並列に行なうことができるので、ハードウェア化に
よる演算スピードの高速化とあいまって情報処理速度を
ソフトウェアによる方法と比べて大幅に上げることがで
きる。

しかし、ＡＮＰとＳＲＡＭとを別々のチップとしている
ため大規模なネットワークを高密度に実現するのは、困
難である。上記の日経マイクロデバイス１９８９年３月
号ｐ、１２９に記載されているように１０ｍ角のチップ
上に３２ニユーロンを集積することが可能だとしても１
つのニューロンについて加算器２乗算器、非線形関数回
路を１つずつ用意する必要があるため、数百、数千のニ
ューロンを１つのチップ上に集積することば困難である
。

また、上記従来例では、実際の問題に適用する際に次の
ような問題がある。階層型ネットワークの応用例として
３層のネットワークに英文字を入力してその発音、アク
セントを出力する例がコンブレックスシステムズ１　（
１９８７年）第１４５頁から第１６８頁（Ｓｅｊｎｏｗ
ｓｋｉ、　Ｔ、　Ｊ、、　ａｎｄＲｏｓｅｎｂｅｒｇ、
　Ｃ，Ｒ，１９８７、Ｐａｒａｌｌｅｌ　ｎｅｔｗｏｒ
ｋｓｔｈａｔ　１ｅａｒｎ　ｔｏ　ｐｒｏｎｏｕｎｃｅ
　Ｅｎｇｌｉｓｈ　ｔｅｘｔ、ｃｏｍｐｌｅｘＳｙｓｔ
ｅｍｓ　１．　ｐｐ、　１４５−１６８）に述べられて
いる６第１層のニューロン出力値として英文字７文字の
コードが設定され、第３層の２６個のニューロンの出力
値として上記７文字の中央の文字の発音、アクセントに
対応するコードを出力するというものである。このよう
な例では、入力によっては、出力層のニューロンの出力
値が、あらかじめ定義しておいた発音、アクセントのコ
ードに一致せずあいまいな値が得られることがある。し
たがって、得られた出力と、すべての発音、アクセント
のコードを比較して最も近いコードを見つけてそれを正
解とする必要がある。このような出力値と出力の期待値
（上記例では発音、アクセントのコード）との比較は、
ニューラルネットワークによるパターン認識などでも同
様に必要となる。上記の従来例ではこの点が考慮されお
らず、実際の問題に適用する際に不便であった。

さらに上記従来例では所望の情報処理に必要な結合重み
値を外部のコンピュータで求めてその結果を第４図のＳ
ＲＡＭに書き込んでいる。従って学習をソフトウェアで
すべて行うため、学習を高速に行うことは困難であった
。

本発明の目的は、多数のニューロンを含むネットワーク
においてニューロン出力値の計算を、少数の回路を用い
て高速に行なう装置を提供することにある。また、本発
明の他の目的は、ニューロン出力値と期待値を高速に比
較する機能を上記装置に持たせることにある。さらに、
本発明の更に他の目的は学習に必要な演算の少なくとも
１部を処理する機能を上記装置に持たせることにある。

本発明の他の目的は以下の説明及び図面によって、明ら
かにされる。

〔課題を解決するための手段〕

上記課題を解決するために、本発明では、ニューロン出
力値、結合重み値、出力の期待値ならびに学習に必要な
データなどを記憶するメモリ回路。

該メモリ回路に情報を書き込んだり、該メモリ回路より
情報を読出したりするための入出力回路。

該メモリ回路に記憶されている情報を用いて積和および
非線形変換等ニューロン出力値を求めるための演算なら
びに出力値とその期待値の比較、学習に必要な演算など
を行なう演算回路、上記メモリ回路、入出力回路、演算
回路の動作を制御するための制御回路を設けた。上記演
算回路は加算器。

乗算器、非線形関数回路、比較器などのいずれかを少な
くとも１つ以上含んで構成され、積和等ニューロン出力
値を求めるために必要な演算の少なくとも１部を並列に
行なえるようにした。しかも、これらの回路を複数のニ
ューロンで共用させ、時分割で動作させることによって
、複数のニューロン出力値を求めるようにした。また、
上記比較器は、求めたニューロン出力値と出力の期待値
とを並列に比較するようにした。

〔作用〕

上記のように演算回路に含まれる加算器、乗算器、非線
形関数回路を複数のニューロンについて共用したため、
多数のニューロンを用いたニューラルネットワークにお
いてニューロン出力値を計算する装置を少数の回路で実
現することができる。

また、上記演算回路で積和等ニューロン演算の少なくと
も１部を並列に行なうため、情報処理を高速に行なうこ
とができる。また、上記比較器により、得られた出力値
と出力の期待値とを並列に比較することができるため、
得られた出力値と期待値との距離（得られた出力値と期
待値との一致度。

いわゆるハミング距離）を高速に求めることができる。

さらに、学習に必要な演算の少なくとも１部を装置のハ
ードウェアで行うため学習の高速化を図ることができる
。

〔実施例〕

第１図は、本発明による情報処理装置を半導体チップ上
に集積化した場合の１実施例である。

情報を記憶するメモリ回路、該メモリ回路に情報を書き
込み、及び、該メモリ回路より情報を読出す動作の少な
くとも一方を行なう入出力回路。

ニューロン出力値を求めるための演算、出力値と期待値
との比較（得られた出力値と期待値との一致度、いわゆ
るハミング距離の算定）、あるいは学習に必要な演算な
どを該メモリ回路に記憶されている情報を用いて行う演
算回路、上記メモリ回路、入出力回路、演算回路の動作
を制御するための制御回路を半導体チップ上に集積しで
ある。各ブロックを結ぶバスは１本の配線とは限らず必
要な複数の配線で構成される。上記メモリ回路には、ニ
ューラルネットワーク情報処理に必要な結合重み値、ニ
ューロン高力値、出力の期待値あるいは学習に必要なデ
ータなどを記憶することができる。

本実施例により次のようにしてニューロン出力値の計算
、出力値と期待値との比較、あるいは学習に必要な計算
などニューラルネットワーク情報処理を行なうことがで
きる。

初めにニューロン出力値を計算する方法について述べる
。まず、制御回路により、メモリ回路から演算回路にバ
ス１を通じてニューラルネットワーク情報処理のための
演算を行うのに必要な結合重み値ならびにニューロン出
力値あるいは、オフセットなどを並列に読出す。次に演
算回路によりニューロン出力値を求めるのに必要な積和
、非線形変換などの演算を並列に行ない、得られた結果
を入出力回路を通じてメモリ回路へ書込む。以上の動作
を必要な回数続けてニューロン出力値を求めていく。演
算回路では１回の動作で１つあるいは複数のニューロン
出力値を同時に求めてもよいし、あるいはニューロン出
力値を求める計算の１部を行ってもよい。このようにす
れば、階層型ネットワーク、あるいは同期型、非同期型
のホップフィールド型ネットワークなど様々なニューラ
ルネットワークによる情報処理を行なうことができる。

なお同期型のホップフィールド型ネットワークでは、す
べてのニューロンの出力値を同期的に更新するため、す
べてのニューロンの出力値の更新が終わるまで前回のす
べてのニューロンの出力値を記憶しておく必要がある。

この場合には、前回のすべてのニューロンの出力値をメ
モリ回路に記憶しておいてニューロンの出力値の更新に
使用すればよい。

本実施例によれば、ニューロン出力値を計算するのに必
要な乗算器、加算器、非線形関数回路を必要な個数だけ
演算回路に設けて反復使用すればよいため各ニューロン
毎にこれらの回路を用意する場合に比べて大幅に回路数
を削減できる。例えば、各層が１００個のニューロンか
らなる３層の階層型ネットワークを実現するのに第６図
の従来例では５乗算器と加算器ならびに非線形関数回路
を２００個ずつ用意しなくてはならないのに対して本実
施例では、最低１つの乗算器と１つの加算器ならびに１
つの非線形関数回路を用意すればよい。速度を上げるた
めに１つのニューロン出力値を更新するのに必要な乗算
を並列に行なうとしても１００個の乗算器と１つの加算
器ならびに１つの非線形関数回路を用意すればよい。し
たがって本実施例に依れば従来例に比べて回路数を削減
できる。なお、上記の差はネットワークが大規模になる
ほど大きくなる。ホップフィールド型等他のネットワー
クでも事情は同じである。

ニューロン出力値を求める場合の情報処理速度は、乗算
等の演算速度の他に並列に行なう演算の量が大きく寄与
する。前記したように、たとえば、ｎ個のニューロンを
用いたホップフィールド型ネットワークは、すべてのニ
ューロンの出力値を更新するのにｎ２回の積を計算しな
くてはならない。

したがって、乗算を逐次的に行なうとすべてのニューロ
ンの出力値を更新するのに少なくとも１回の乗算に要す
る時間のｎ２倍の時間を要してしまう。その結果、乗算
に要する時間がニューロン数の増大と共にニューロン数
の２乗のオーダーで急速に増加してしまう。階層型ネッ
トワークでも事情は同じである。従って数多くの乗算を
並列に計算することが望ましい。以下では、第１図の実
施例においてニューロン出力値を求めるために乗算を並
列化して情報処理速度を上げるための演算方式の実施例
について説明する。

第５図は演算を並列に行なう１方式について、階層型ネ
ットワーク（ａ）とホップフィールド型ネットワーク（
ｂ）について説明したものである。

本実施例では、図に示したように１つのニューロン出力
値を求めるために必要な積を並列に計算する。つまり、
１つのニューロンに入力されるニューロン出力値と結合
重み値とを並列にメモリ回路から読出し、それらの積を
並列に計算する。このため、乗算に要する時間はニュー
ロン数の増大と共にニューロン数の１乗のオーダーで増
加する。

したがって、乗算を逐次的に行なう場合に比べて情報処
理時間を大幅に短縮できる。第５図では１つのニューロ
ンの出力値の更新に必要な乗算のみを並列に行なうとし
たが、第１図の実施例は、これに限定されるものではな
く、集積度が許容される範囲で演算回路を追加して複数
のニューロンの出力値の更新を並列に行なってもよいこ
とはもちろんである。その場合は、より高速に情報処理
を行なうことができる。その他第６図に示したように他
の方式で並列に演算を行なうこともできる。

第６図は、階層型ネットワーク（ａ）とホップフィール
ド型ネットワーク（ｂ）について１つのニューロンの出
力値が入力される複数のニューロンについて乗算を並列
に行なう１実施例を示したものである。この方法では、
ニューロン出力値と結合重み値を並列にメモリ回路から
読出し２ニユーロン出力値の更新に必要な演算を複数の
ニューロンについて少しずつ行なうことになる。そのた
め、非同期型のホップフィールド型ネットワークを実現
することはできないが、第５図の方式と同様に乗算に要
する時間はニューロン数の増大と共にニューロン数のお
よそ１乗のオーダーで増加するため乗算を逐次的に行な
う場合に比べて情報処理時間を大幅に短縮できる。

第４図の従来例でもこの方式で演算を並列に行なってい
るが、以下に述べるように、第１図の構成によれば従来
例に比べてより少数の回路で実現することができる。第
６図に示した方式においては、図中に斜線で示したよう
に各ニューロンにおいて１つの乗算器だけが並列に動作
する。したがって、第１図の実施例では１度に演算を行
なうニューロンの数だけの乗算器を演算回路に設ければ
よく、従来例のようにニューロン毎にすべての乗算器を
設ける場合に比べて少数の回路でこの方式を実現するこ
とができる。例えば、３層で各層に３つのニューロンを
もつ階層型ネットワークでは、乗算器、加算器、非線形
関数回路を６個ずつ設ける従来例に比べて第１図の実施
例を用いると例えば乗算器、加算器、非線形関数回路を
３個ずつ用いるだけで同様の並列化を実現できる。

このように第１図に示した実施例に依れば、演算回路に
含まれる加算器、乗算器、非線形関数回路を複数のニュ
ーロンについて共用することにより、多数のニューロン
を用いたニューラルネットワークと同様な情報処理を行
なう装置を必要最小限の回路で実現することができる。

また、上記演算回路で積和等の演算を並列に行なうこと
により、情報処理を高速に行なうことができる。なお、
演算を並列化するとメモリ回路と演算回路の間のバスの
配線本数を増加して１度に多くのデータを演算回路に送
る必要が生じるが、第１図では、同一のチップ上にメモ
リと演算器を配置しているため、バスの配線本数を増加
することは容易にできる。

これまではニューロン出力値を計算する方法について述
べたが、第１図の実施例によれば、ニューロン出力値と
その期待値との比較を行うこともできる。そのためには
、あらかじめ期待値をメモリ回路に記憶しておき、上記
の方法で得られた出力値との距離の計算を演算回路で行
えばよい。この計算は、期待値と計算値の一致度を計算
するものである。このとき、バス１の本数を増加するこ
とにより、多数のビットからなる期待値と出力値とを同
時に演算回路に読出して並列に処理することは容易にで
きる。このように第１図の実施例によれば外部のコンピ
ュータを用いて１ビツトずつシリアルに比較を行う場合
に比べてパターン認識などの情報処理を高速に行うこと
ができる。

さらに、第１図の実施例によれば学習に必要な演算を演
算回路で行うことにより、ソフトウェアで行う場合に比
べて高速に学習を行うことができる。具体的な実施例に
ついては、後述する。

ニューラルネットワーク情報処理は、結合重み値を換え
ることにより様々な情報処理を行なうことができるとい
う利点を持つ。第１図に示した実施例に依ればメモリ回
路に記憶した結合重み値を書き換えることにより容易に
この利点を活かすことができる。また、メモリ回路の容
量をニューロン出力値の計算に必要な量より大きくして
おくことにより、異なる情報処理に必要な何種類かの結
合重み値をあらかじめ記憶しておくこともできる。

その場合には結合重み値を書き替える時間を失うことな
く連続して異なる種類の情報処理を行うことができると
いうメリットがある。その他、続けて数多くの入力デー
タについて情報処理を行なう場合には、あらかじめ必要
な入力データや、得られたデータをメモリ回路の１部に
記憶しておくこともできる。このようにすれば、１つの
入力データ毎にメモリ回路にデータを読み込み、演算を
行ってその結果を装置外へ出力するという動作を繰り返
す場合に比べて読み込み、演算、出力の動作モードを切
り替える回数が少なく処理時間を短縮することができる
。

次に、第１図の実施例を基にしたより具体的な実施例に
ついて説明する。説明を簡単にするため、まず、演算回
路にニューロン出力値を計算する機能を持たせる場合に
ついて説明し、最後に比較、あるいは学習の機能を持た
せる方法について述べる。

第７図（ａ）は、第１図の実施例においてメモリ回路に
格子状のメモリセルアレーを有するものを用いた場合の
１実施例である。第７図（ａ）においてＡは、メモリセ
ルアレーで、複数のデータ線とそれと交差するように配
置した複数のワード線とそれらの所望の交差部に配置さ
れたメモリセルを有し、上記ワード線の１本を選択する
ことにより、上記具なる複数のメモリセルの信号を複数
のデータ線上に読みだすことができる。１２は、演算回
路である。１０，１１，１３，１４，１５゜１６は、第
１図の制御回路に相当するものである。

１０．１５は、それぞれＸ系アドレス、Ｙ系アドレス用
のアドレスバッファ、１１．１４は、それぞれＸ系アド
レス、Ｙ系アドレス用のデコーダ。

ドライバである。１３は、メモリセルアレーを制御する
ためのアレー制御回路、１６はクロック発生回路であり
、外部から入力される信号をもとにメモリの動作を制御
するためのクロックを発生する。ＯＵＴとＷＲは、それ
ぞれ読出し回路、書込み回路である。チップセレクト／
ＣＳは、このチップの選択信号である。書込み制御信号
／ＷＥは、書込み、読出し動作の切り換え用信号であり
、低レベルで書込み動作、高レベルで読出し動作となる
。／ＮＥは、演算回路制御信号であり、低レベルで演算
回路が起動され、高レベルで演算回路が停止して通常の
メモリとして動作する。以下では。

／ＮＥを高レベルとした状態をメモリモード、低レベル
としたときを演算モードということにする。

メモリモードでは、Ｘ系アドレス、Ｙ系アドレスにより
所望のメモリセルを選択し、そのセルに対して書込みデ
ータＤＩを書き込んだり、セルから情報を読出して読出
しデータＤＯとして出力することができる。演算モード
では、メモリセルに記憶されている情報を演算回路１２
へ読出し、演算回路１２の演算の結果もしくは演算の結
果に応じたデータを入力回路を通じてメモリセルへ書き
込むことができる０本実施例によれば、ワード線の１本
を選択することにより、そのワード線上のすべてのメモ
リセルの情報がデータ線に出力される。

したがって、容易に多数の情報を演算回路１２に取り込
むことができ、多くの演算を並列に行なうことができる
。本実施例によりニューロン出力値の計算を行うには、
まず、メモリモードとして演算回路を停止し、必要な結
合重み値、ニューロン出力値、オフセットなどをメモリ
回路に書き込んでおく、つぎに演算モードとして演算回
路を起動し、１本のワード線を選択することにより必要
な情報を演算回路に読出す。次にその結果をメモリ回路
に書き込む、さらに演算に必要な情報の読出しと結果の
書込みを必要な回数だけ続ければ、ニューラルネットワ
ーク情報処理を高速に容易に行なうことができる。上記
のように第７図（ａ）に示した実施例によれば１度に多
くの情報を演算回路に読み込むことができるので、例え
ば、第５図あるいは第６図に示したような方式の並列演
算を行なうのに適している。このように、本実施例によ
れば並列に演算を行なうため高速にニューラルネットワ
ーク情報処理を行なうことができる。さらに、演算回路
１２を反復使用することにより複数のニューロンで出力
値の計算回路を共用することができ、容易に高集積化で
きる。

また、複数のワード線上のメモリセルに蓄えた情報を使
って並列に演算を行なう場合には、演算回路内に１次記
憶のためのレジスタを設けておきワード線を持ち上げて
得た情報を１度レジスタに収納して、別のワード線を立
ち上げてその結果読出した情報と合わせて演算を行なう
こともできる。

さらに、第７図（ｂ）に示した実施例のようにメモリ回
路をＡ、Ｂの２つ設けることもできる。

第７図（ｂ）において１３Ａ、１３Ｂはそれぞれメモリ
セルアレーＡ、Ｂを制御するアレー制御回路である。デ
コーダなど他の回路は、図には示していない。第７図（
ｂ）の構成によればメモリセルアレーＡとＢにおいてワ
ード線を１本ずつ選択することにより両方のワード線上
のメモリセルの情報を演算回路に読み込むことができる
。第７図（ｂ）の構成を用いれば、メモリセルアレーＡ
にはニューロン出力値、メモリセルアレーＢには結合重
み値を収納するなど情報の種類によりメモリアレーを使
いわけることもできるので、読出し、書込みなどの制御
を簡単化することができる。なお、第７図（ａ）、（ｂ
）の実施例においては。

書き込みデータＤＩと読出しデータＤ○を並列に複数扱
えるようにしたり、アレーＡとＢとで別々に読出し回路
ＯＵＴと書込み回路ＷＲを設けてもよい。

第７図（ａ）、（ｂ）の実施例においてはワード線ある
いは、特定のメモリセルの選択はアドレスにより通常の
メモリと同様に行なうことができる。したがって、アド
レスの選択順を変えることによりさまざまな型のネット
ワークあるいは様々な並列演算の方式などに柔軟に対応
できる。

第７図（ａ）、（ｂ）の実施例においてメモリ回路とし
てＤＡＲＭあるいは、ＳＲＡＭなどの高集積半導体メモ
リを用いることができる。この場合にはメモリ回路に多
くの情報を蓄えることができるので、ｇｔ模の大きいネ
ットワークを１チツプに集積化できる。

次に、第７図（ｂ）の構成を用いて階層型ネットワーク
を実現する方法について詳細に述べる。

並列演算の方式としては、第５図（ａ）の方式を例にと
る０層の数はｍ層で各層のニューロンの数はｎ個とする
。なお、説明を簡単にするために第２図（ｂ）あるいは
第３図（ｂ）に示した各ニューロンのオフセットθにつ
いては、ここでは省略する。しかし、第２図（ｂ）ある
いは第３図（ｂ）より明らかなように、各ニューロンの
オフセットθは、各ニューロン毎に入力されるニューロ
ン出力値を１つ増やしてその値を各ニューロンのオフセ
ットθ、対応する結合重み値を１と置き、その積を他の
ニューロン出力値と結合重み値の積の総和に足すことに
よって通常の他のニューロンからの出力値と同様に扱う
ことができる。

第８図（ａ）はメモリセルと、結合重み値およびニュー
ロン出力値との対応の１実施例を示したものである。Ｄ
は非線形関数回路であり、ｃｌ。

０２　ｇ・・・ｃｎは加算器、ｍｌ、ｍ２．・・・ｍｎ
は乗算器である。ｃｌ、ｃ２．・・・ｃｎは合わせて第
２図（ｂ）における多入力の加算器ＡＤＤを構成してい
る。メモリセルアレーＡにはニューロン出力値、メモリ
セルアレーＢには結合重み値を収納する。図にはニュー
ロン出力値、結合重み値を収納する分のメモリセルのみ
しか示していないが各ニューロンのオフセットθや学習
に必要なデータなどその他のデータを収納する分のメモ
リセルを必要に応じて設けてもよいのはもちろんである
。図に示したように、メモリセルアレーＡ内のワードｉ
１ｓとデータ線ｉの交差部にあるメモリセルにニューロ
ン出力値ＶＩＳを収納する。すなわち同じワード線には
、同じ層のニューロン出力値が配置される。メモリセル
アレーＢでは、ワードｇ（ｓ。

ｊ）とデータｌｉの交差部にあるメモリセルに結合重み
値Ｔ　’　Ｉ　Ｊを収納する。第８図（ｂ）、（Ｃ）に
は、非線形関数回路りの入出力特性の１実施例を示しで
ある。第８図（ｂ）は、ｇｌとｇ２の２値の出力を持つ
実施例である。ｘｌ＋　ｘ２はそれぞれ人力Ｘの下限値
および上限値を表している。

第８図（ｂ）では、入力Ｘがｘｔｈを越えると出力がｇ
２でそれ以下だとｇｌになるので、メモリセルとして２
値のものを使うときに適している。

第８図（ｃ）は、ｇｌとｇ２の間にｇａとｇｂの出力を
持つ４値の実施例である６本実施例は、メモリセルとし
て４値のものを使うときに適した例である。ｇｌｙ　ｇ
ａｔ　ｇｂｙ　ｇ２の間隔は５図では等間隔としたが必
要に応じて間隔を変えてもよいことはもちろんである。

メモリセルとして連続値の情報、所謂アナログ値を記憶
できるようなものを使う場合には非線形関数回路りとし
て第２図（ｄ）のような特性を持つものを使用してもよ
い。

第８図（ｄ）には、第８図（ａ）の実施例において入力
層のニューロン出力値から最終層のニューロン出力値を
求めるためのワード線の選択法および書込み先のアドレ
スの対応の１実施例を示しである。以下、第８図（ａ）
の動作を第８図（ｄ）を用いて説明する。まず、アレー
Ａのｓ　＝　１のワード線とアレーＢの（ｓ、ｊ）＝　
（１，１）のワード線を同時に立ち上げる。するとアレ
ーＡのデータ＆１ｉ＝１．２．・・・、ｎには、入力層
のニューロン出力値Ｖ０．．Ｖ２□、・・・、ｖｎ工が
出力される。

一方アレーＢのデータ線ｉ＝１．２．・・・、ｎには、
結合重み値Ｔ　”ｘｘｖ　Ｔ”１□、・・・ｔＴ”ｉｎ
が出力される。それらが乗算器ｍ　１　ｖ　ｍ　２　Ｔ
・・、ｍｎに入力されてＴ１□１Ｖ、、＊　Ｔ”１□ｖ
、、、”’ｔ　Ｔ”１ｎＶｎ１　となりこれらが加算器
ｃ　１　ｒ　ｃ　２　ｅ・・、Ｏｎに入力される。その
結果（Ｔ”□□Ｖよ、＋　Ｔ”１゜Ｖ２１＋・・・＋Ｔ
１□ｎＶｎｌ）が非線形関数回路りに入力される。非線
形関数の出力は書込み回路ＷＲ（図では省略）を通じて
アレーＡ内の書込み先アドレス（ｓ、ｉ）＝　（２，１
）に対応するメモリセルに書き込まれる。このようにし
て２層目の１番目のニューロン出力値ｖ２１の値が計算
される。次に、アレーＡのｓ＝１のワード線とアレーＢ
の（ｓ、ｊ）＝（１゜２）のワード線を同時に立ち上げ
る。するとアレーＡのデータ線１＝＝１．２．・・・、
ｎには、入力層のニューロン出力値Ｖｉｌｌｖ、□、・
・・、■、１が出力される。一方アレーＢのデータ線ｉ
＝１．２．・・・ｎには、結合重み値Ｔ１□ｉｔ　　’
２２１・・・、Ｔｉ□。がＴ 出力される。それらが乗算器ｍｌ、ｍ２．・・・ｍｎに
入力されてＴ”、、Ｖ、１．　Ｔ”２．Ｖｔ□、　−・
・Ｔ　１ｚ　ｆｉＶ　ｎｌとなりこれらが加算器ｃｌ、
ｃ２．・・・ｃｎに入力される。その結果（Ｔ”□、Ｖ
工、＋Ｔ１ｚｚ　Ｖｚ□＋　・＝　＋　Ｔ”ｚｎ　Ｖ　
ｎＷが非線形関数回路りに入力される。非線形関数回路
の出力は書込み回路（図では省略）を通じてアレーＡ内
の書込み先アドレス（ｓ、ｉ）＝　（２，２）に対応す
るメモリセルに書き込まれる。こうして２層目の２番目
のニューロン出力値ｖ２□の値が計算される。以上のよ
うな動作を第８図（ｄ）に従って続けていくことにより
すべてのニューロン出力値を求めることができる０本実
施例によれば、演算モードにおいて読出しと書込み動作
を１回ずつ行なうことにより１つのニューロン出力値を
求めることができるため高速にニューラルネットワーク
情報処理を行なうことができる。また、演算回路をすべ
てのニューロンで共用できるため高集積化が可能である
。なお、第８図（ｄ）はメモリセルの割当ての１例を示
したものであり、これに限定されることなく種々の変形
が可能である１例えば、前記したように複数の入力デー
タを連続して処理することもできる。この場合には、入
力層のニューロン出力値は複数組必要である。このため
、アレーＡの異なる複数のワード線上に複数の入力デー
タに相当する入力層のニューロン出力値をあらかじめ書
き込んでおいて、順番に使用してもよい。このようにす
れば情報処理の度に入力層のニューロン出力値を読み込
まなくてよいため、連続して高速に情報処理を行なうこ
とができる。

ここではニューロン出力値、結合重み値を蓄えるのに１
つのメモリセルを使用した。したがって、２値のメモリ
セルを使用した場合にはニューロン高力値、結合重み値
として２値の値しか取れないことになる。前記したよう
に多値のメモリセルを使用することによって、ニューロ
ン出力値、結合重み値の値を増やすこともできるが、多
値のメモリセルでは、Ｓ／Ｎ比の問題などにより信頼性
にかける場合もあり得る。そのような場合には、次に述
べるように、ニューロン出力値、結合重み値を蓄えるの
に複数のメモリセルを使用することもできる。

第９図（ａ）は、１つのニューロン出力値を蓄えるのに
２個のメモリセル、１つの結合重み値登蓄えるのにｑ個
のメモリセルを使用した場合の１実施例である０図中の
ｌｙ　ｊ＋　Ｓなどのニューロン出力値、結合重み値を
示す添字は第８図に示した実施例における添字と対応し
ている。第９図（、）の実施例ではアレーＡ内の１本の
ワード線上の連続する２個のメモリセルで１つのニュー
ロン出力値を表し、アレーＢ内の１本のワード線上の連
続するｑ個のメモリセルで１つの結合重み値を表す。ニ
ューロン出力値の計算は次のように行なわれる。まず、
第８図の実施例と同様に、アレーＡのｓ＝１のワード線
とアレーＢの（ｓ、ｊ）＝　（１，１）のワード線を同
時に立ち上げる。するとアレーＡの２本のデータ線より
なるデータ線群ｉ＝Ｌ　２１・・・、ｎには、入力層の
ニューロン出力値ｖ１□、ｖ２□、・・・、■□、を表
す情報が出力され、それらが群ごとに加算器ａｌ、ａ２
．・・・ａｎに入力される。一方アレーＢのｑ本のデー
タ線よりなるデータ線群ｉ＝１．２．・・・、ｎには、
結合重み値Ｔ　１１．、　Ｔｘ、□、・・・、Ｔ１１ｎ
　を表す情報が出力され、それらが群ごとに加算器ｂｌ
、ｂ２゜・・・、ｂｎに入力される。上記した加算器ａ
ｌ。

ａ２．−、ａｎ、ｂｌ、ｂ２．　・・・＋　ｂｎにより
、ニューロン出力値Ｖ　１１　＋　ＶＺ、＋・・・ｌＶ
ｎ工、結合重み値Ｔ１□０．Ｔ’、□、・・・、”ｒｌ
ｌｎが合成され図示したように乗算器ｍｌ、ｍ２．・・
・、ｍｎに入力されてＴ１１、Ｖ　１１　Ｆ　’ｒ’、
、　ｖｚｘ　ｌ　”’　ｆ　Ｔ１ｚｎｖｎ□を得る。

これらが加算器ｃｌ、ｃ２．・・・、ｃｎに入力され、
その結果、ＣＴ”□＞　■ｘ１”Ｔ”ｚｚＶｚｚ＋”’
＋Ｔ１１□ｖｎよ）が非線形関数回路りに入力される。

非線形関数回路の出力は書込み回路ＷＲ（図では省略）
を通じてアレーＡ内の書込み先アドレス（ｓ、ｉ）＝　
（２，１）に対応する２個のメモリセル群に書き込まれ
る。同様な動作を第８図（ｄ）と同じアドレスを用いて
続けることによりすべてのニューロンの出力値を求める
ことができる。上記の実施例によればアレーＡ内の１本
のワード線上の連続する２個のメモリセルで１つのニュ
ーロン出力値を表し、アレーＢ内の１本のワード線上の
連続するｑ個のメモリセルで１つの結合重み値を表すこ
とにより２値のメモリセルを使用して多値の値のニュー
ロン出力値、結合重み値を表現できることになる。この
ため、ニューロン出力値。

結合重み値として多値の値を用いる場合でも２値のメモ
リセルを用いて実現することができる。また、上記の実
施例においては、アドレスの切り換えの回数は第８図の
実施例と同じであるため第８図の実施例と同様に高速に
情報処理を行なうことができる。なお、非線形関数回路
の結果をニューロン出力値を表す２個のメモリセルへ書
込むには、２回の書込み動作を連続して行なってもよい
が、書込み回路を２個設けることにより並列に行なうこ
とも容易にできる。この場合には、複数のメモリセルへ
書込むことによる時間の損失をさけることができる。ま
た、読出し回路を複数設けることにより読出し動作の速
度を上げることもできるのはもちるんである。なお、第
９図（ａ）の実施例において、乗算器ｍｌ、・・・、ｍ
ｎとして多入力の回路を用いれば加算器ａｌ、・・・ｇ
　ａ　ｎ　ｇ　ｂ　１　ｔ・・ｂｎを設けることなく同
様の回路を実現できる。

その他、演算回路の構成は、種々の変形が可能である。

第９図（ａ）の実施例では、ニューロン出力値を蓄える
のに２個のメモリセル、結合重み値を蓄えるのにｑ個の
メモリセルを使用した。つまり、ニューロン出力値をｐ
ピント、結合重み値をｑビットで表していることになる
。複数のビットで情報を表現する方法はいろいろあるの
で必要に応じて表現方法を選び、それにあわせて加算器
、乗算器、あるいは、非線形関数回路の特性を設計すれ
ばよい・例えば、ニューロン出力値を表すｐビットのメ
モリセルのうちその内容が１であるメモリセルの数によ
ってニューロン出力値を表すこともできる、第９図（ｂ
）の実施例は、そのような場合に適した非線形関数回路
りの人出力特性の１実施例である。第９図（ｂ）におい
てｇ１２ｇ２゜・・・、ｇｐは、非線形関数回路りの１
本の出力を示している。それぞれの出力は、０または１
の値を取り、書込み回路ＷＲ（図では、省略）を通じて
対応する２個のメモリセルにＯまたは１を書き込む。ｇ
ｌ＋ｇ２．・・・＋ｇＰは、それぞれ入力がｘｔｈｌ、
ｘｔｈ２＋　・・・、ｘｔｈｐを越えたときに１それ以
外では０となる。ｘｔｈｌ、ｘｔｈ２゜・・・、ｘｔｈ
ｐは、入力の上限ｘ１．下限ｘ２の間で等間隔に設定し
てもよいしあるいは任意の間隔で設定してもよい。たと
えばｘｔｈｋとｘｔｈｋ十１　（ｋ＝１．−、ｐ−１）
の間隔を第９図（ｃ）のようにすれば非線形関数回路ｇ
としてシグモイド状の特性を持つものを実現できる。本
実施例によれば、２個のメモリセルによって１つのニュ
ーロン出力値に２個の値を持たせることができる。

本実施例では、ニューロン出力値を表す２個のメモリセ
ルは、等価に扱われる。すなわち、２個のうちどのメモ
リセルの情報が反転あるいは固定されたとしてもニュー
ロン出力値への影響は等しい。

したがって、一般的な２進表現と較べて１つのメモリセ
ルの情報の破壊によるニューロン出力値への影響を小さ
くすることができる。以下では、このような表現法を等
価的な表現と記すことにする。

ここでは、ニューロン出力値についてのべたが、結合重
み値についても上記の等価的な表現を使えるのはもちろ
んである。

もちろん、２進表現を使うこともできる。この場合には
、ｐビットで２Ｐ個の値を表現できるので少ないメモリ
セルで多くの値を表現するのに適している。第１０図（
ａ）は、ニューロン出力値と結合重み値に２進表現を使
った場合の１実施例を示したものである。アレーＡでは
、ｉ＝ｈ　（ｈ＝１，２．・・・ｎ）であるデータ線上
のメモリセルのみ、アレーＢでは、ｉ＝ｈであるデータ
線とＳ＝　ｆ　（ｆ　＝　１　、２　、−　、　ｍ　−
１）であるワード線上のメモリセルのみを示しである。

第１０図（ａ）においてＷＴは重み付は回路であり、メ
モリセルの信号を重み付けして加算器ａｈ、ｂｈに伝え
る。

ここで重み付けの係数は図示したようにニューロン出力
値については１から２Ｐまで結合重み値については１か
ら２９までメモリセル毎に変えである。これにより乗算
器ｍｈに入力されるニューロン出力値と結合重み値は、
それぞれ２Ｐ個、２１個の値を取ることができる。ニュ
ーロン出力値を計算するためのアドレスの選択法は、第
９図の実施例と同じように第８図（ｄ）に従えばよい。

第１０図（ｂ）は、第１０図（ａ）の実施例における非
線形関数回路りの特性の１実施例である。

ｇｌは、（ｘ２−ｘｉ）／２Ｐだけ入力が変化する毎に
Ｏと１を交互に繰り返し、ｇ２は、ｇｌの２倍の周期で
Ｏと１を交互に繰り返す。以下同様に周期を倍ずつ変え
てｇｐでは、（Ｘ２−ｘｌ）／２を境として０から１に
なるように設定する。すなわち、Ａ／Ｄコンバータとし
て動作するように非線形関数回路りを設計すればよい。

なお、本実施例においても入力にたいしてニューロン出
力値が非線形に増加するように非線形関数回路りを設計
することもできる。例えば、入力に対してシグモイド関
数状にニューロン出力値を増加させるには、異なるｇの
間の周期の比を一定にしたまま、各出力が変化する周期
を入力の増加゛にともなって減少させ、入力が（Ｘ２−
ＸＩ）／２を越えたところから入力の増加にともなって
周期を増加させてやればよい。以上説明したように第１
０図（ａ）。

（ｂ）に示した実施例によれば、ニューロン出力値と結
合重み値を表現するのに、それぞれ２個とｑ個のメモリ
セルを用いて、ニューロン出力値と結合重み値にそれぞ
れ２Ｐ個、２９個の値を持たせることができる。したが
って、少ないメモリセルでニューロン出力値と結合重み
値に多数の値を持たせるのに適している。なお、本実施
例においても、乗算器ｍｌ、・・・、ｍｎとして多入力
の回路を用いて、重み回路ＷＴ、加算器ａｌ、・・・、
ａｎ。

ｂｌ、・・・、ｂｎの機能を乗算器に持たせるなど種種
の変形が可能なのは、もちろんである。ここでは、等価
的な表現と２進数表示による実施例を示したが、この他
にもたとえば、符号ビットを用いて負の数を表現したり
、複数のビットで情報を表現する方法はいろいろあるの
で必要に応じて使いわけることができる。

次に１つのＭＯＳトランジスタおよび１つの容量より構
成されるダイナミックメモリセル（ＤＲＡ月セル）をメ
モリ回路に用いた実施例を示す。

第１１図は、第８図（ａ）に示した実施例をＤＲＡＭセ
ルを用いて構成した実施例である。第１１図においてア
レーＡ、アレーＢは、互いに交差する複数のデータ線対
ＤＡＩ、／ＤＡＩ、・・・ＤＡｎ、／ＤＡｎ、ＤＢ１＋
　／ＤＢ１ｔ　・ＤＢｎ＋／　Ｄ　Ｂ　ｎと複数のワー
ド線ＷＡＩ、ＷＡ２．−・・ＷＡｍ、ＷＢＩ、１．ＷＢ
Ｉ、２．−、ＷＢＩ、ｎ。

ＷＢ２，１．ＷＢ２，２．−、ＷＢｍ−１，ｎおよび、
それらの交差部に設けられたメモリセルＭＣより構成さ
れている。メモリセルＭＣは対をなすデータ線とワード
線との交差部のいずれか一方に設けられている１図にお
いてＰＲ，ＳＡ、Ｒ５Ａ、ＷＳは、プリチャージ回路、
センスアンプ、読出しセンスアンプ、書込みスイッチで
あり、第７図（ｂ）のアレー制御回路１３Ａ、１３Ｂに
相当する。演算回路の中のＭＴは１乗算回路である。１
６は、クロック発生回路で、チップ外部より与えるアド
レスＡＤＤＡ、ＡＤＤＢおよび、チップセレクト信号／
ＣＳＡ、／Ｃ５Ｂなどより、他の回路を制御するための
クロックΦ＾、ΦＢなどを発生する。

以下では、上記第１１図の実施例の動作を第１２図、第
１３図（ａ）、（ｂ）を用いて説明する。第１２図は、
動作モードと外部信号との関係の一実施例を示したもの
である。前記したように、演算モード前半では、メモリ
セルアレーＡ、Ｂのワード線を１本ずつ立ち上げ、後半
では、メモリセルアレーＡのワード線を１本立ち上げる
。また、メモリモードでは、メモリセルアレーＡとＢと
で独立に読出し、書き込みを行なう。第１２図では、こ
れらの制御を、容易に行なうために、動作モードをさら
に細分した。メモリモード中のＡＲ。

ＡＷ、ＢＲ，ＢＷは、それぞれ、アレーＡからの読出し
、アレーＡへの書き込み、アレーＢからの読出し、アレ
ーＢへの書き込みを行なうモードである。また、演算モ
ード中のＮＲ，ＮＷは、それぞれデータを読出して演算
するまでの前半部分と、演算結果を書き込む後半部分で
ある６本実施例では、これら６つのモードを切り替える
ために、チップセレクト信号／Ｃ８Ａ、／Ｃ３Ｂ、書き
込み制御信号／ＷＥ、演算回路制御信号／ＮＥの４つの
外部入力信号を用いた。チップセレクト信号／Ｃ８Ａ、
／Ｃ５Ｂは、チップの選択及び、アレーＡ、Ｂの選択を
指定する。／Ｃ３Ａ、／Ｃ３Ｂが両方Ｈ（高レベル）で
、チップが非選択となり、／Ｃ５ＡがＬ（低レベル）で
アレーＡが、／Ｃ５ＢがＬ（低レベル）でアレーＢが、
選択状態となる。

書き込み制御信号／ＷＥは、前記したように書き込み、
読みだしを切り替える信号で、Ｈで読出し、Ｌで書き込
み動作となる。／ＮＥについても、前記したとおりで、
Ｈでメモリモート、Ｌで演算モードとなる。したがって
、例えば／Ｃ３Ａ、／Ｃ８Ｂが共にし、／ＷＥがＨ１／
ＮＥをＬとすれば、アレーＡとＢ両方から読みだしを行
なう演算モード前半のモードＮＲとなる。アドレス信号
については、チップセレクト信号でアレーＡ、Ｂの切り
替えを指定したため、アレーＡのメモリセルを選択する
アドレス群ＡＤＤＡとアレーＢのメモリセルを選択する
アドレス群ＡＤＤＢとに分けることができる。ここで、
アドレス群ＡＤＤＡはアレーＡのワード線を選択するた
めのＸ系アドレスとアレーへのデータ線を選択するため
のＹ系アドレスの集まりを総称したものである。同様に
、アドレス群ＡＤＤＢはアレーＢのワード線を選択する
ためのＸ系アドレスとアレーＢのデータ線を選択するた
めのＹ系アドレスの集まりを総称したものである。各動
作モードにおいては、第１２図に従ってこれらのアドレ
ス群をアドレスピンへ印加する。以上説明した第１２図
の実施例によ九ば、チップセレクト信号を２つ設けてア
レーＡ、Ｂの切り替えを行ない、アドレスをアレーＡと
Ｂとで分離した。このため、アレーＡとＢを独立に選択
できるため、アレーＡとＢの両方、あるいは片方を選択
する必要のある各動作モードを容易に制御できる。なお
、第１２図以外にも、動作モードと外部信号の関係は種
々変形して実現可能であるのはもちろんである。たとえ
ば、チップセレクト信号を／Ｃ８のみとして、アレーＡ
とＢの切り替え用のアドレスを加える、あるいは、アド
レスをアレーＡとＢで分けずにアレーＡまたはＢのどち
らかのみを選択するようにしておいて５モードＮＲにお
けるアレーＢのワード線を選択するＸアドレスは、チッ
プ内部に設けたカウンタにより発生してもよい。

第１３図（ａ）はメモリモードにおける第１１図の波形
、第１３図（ｂ）は演算モードにおける第１１図の波形
の実施例である。

メモリモードの動作は通常のＤＲＡＭの読出し、書き込
み動作と同様である。第１３図（ａ）には。

メモリモードにおいてアレーＡ内のワード線ＷＡ　１と
データ線ＤＡＩの交差部にあるメモリセルに対して読出
し動作（モードＡＲ）と書込み動作（モードＡＷ）を続
けて行なう場合の電圧波形を示しである。図においてＶ
ｃｃは、正電位を示している。メモリモードであるため
演算回路制御信号／ＮＥが高レベルであり、これにより
演算回路起動信号ΦＮは、低電位に固定され演算回路１
２はオフしている。読出し動作を始める前には、ＰＰＡ
とＰＮＡがＶ　ｃ　ｃ　／　２に設定されており、この
ためセンスアンプＳＡは、オフしている。また、プリチ
ャージ信号ΦＰ＾が高電位にあるため、プリチャージ回
路ＰＲがオンしてＤＡＩ、／ＤＡＩ。

・・・、ＤＡｎ、／ＤＡｎのデータ線対は短絡されると
共にプリチャージ電位ＶＨに電位が設定される。

ＶＨは、Ｖ　ｃ　ｃ　／　２に設定しておく。チップセ
レクト信号／Ｃ５Ａが低電位になると、プリチャージ信
号ΦＰ＾を立ち下げ、プリチャージ回路ＰＲをオフして
、アドレス信号ＡＤＤＡによって選択されたワード線Ｗ
ＡＩと読出しＹ選択信号ＹＲＡＩを高電位に遷移させる
。その結果ワード線ＷＡＩに接続されたすべてのメモリ
セルＭＣのＭＯＳトランジスタが導通し、容量に蓄積さ
れた電荷に応じて、データ線対ＤＡ１．／ＤＡＩ、−，
ＤＡｎ。

／　Ｄ　Ａ　ｎにそれぞれ微妙な電位差が生じる。この
電位差を読出しＹ選択信号ＹＲＡＩの入力された読出し
センスアンプＲＳＡで検出して読出し線ＯＡ、１０Ａの
インピーダンスの差に変換する。

入出力回路では、これを電圧差に変換後、増幅してメモ
リセルの内容である１もしくは０に対応する電位を読出
しデータＤｏとして出力する。これらの動作と並行して
次のようにして所謂再書込み動作が行なわれる。データ
線対ＤＡＩ、／ＤＡＩ。

・・・、ＤＡｎ、／ＤＡｎにそれぞれ微妙な電位差が生
じたのち、ＰＰＡを高電位に、ＰＮＡを低電位に遷移さ
せてセンスアンプＳＡを起動させる。そのためデータ線
対に生じた微妙な電位差が増幅されて、高電位側のデー
タ線をＶｃｃに低電位側のデータ線をＯｖに遷移する。

その結果、ワード線ＷＡＩに接続されたすべてのメモリ
セルＭＣの容量に読出し前の情報に対応する電位が再び
書き込まれる。再書込み動作の終了後、チップセレクト
信号／Ｃ８Ａが高電位になると、選択されたワード線Ｗ
ＡＩと読出しＹ選択信号ＹＲＡＩを低電位に遷移し、そ
の後ＰＰＡ、ＰＮＡをＶ　ｃ　ｃ　／　２に遷移させ、
センスアンプＳＡをオフさせるとともにプリチャージ信
号Φｐ＾を高電位に遷移させる。

この結果、データ線対は短絡されると共にプリチャージ
電位ＶＨに電位が設定されて再びもとの状態に戻る。以
上が読出し動作である。

続いて同じセルへの書込み動作（モードＡＷ）に移る。

書込み動作では、チップセレクト信号／Ｃ８Ａが低電位
となりさらに書込み制御人力／ＷＥが低電位となること
によって、書込みデータＤＩに与えら九た情報がアレー
Ａ内の選択されたメモリセルに書き込まれる。書込み動
作でもまず。

チップセレクト信号／Ｃ５Ａが低電位になると、プリチ
ャージ信号ΦＰ＾を立ち下げ、プリチャージ回路ＰＲを
オフする。次に、アドレス信号ＡＤＤＡによって選択さ
れたワード線ＷＡＩと読出しＹ選択信号ＹＲＡＩが高電
位に遷移する。その結果、ワードｌ＠ＷＡ　１に接続さ
れたすべてのメモリセルＭＣのＭＯＳ）−ランジスタが
導通し、容量に蓄積された電荷に応じて、データ線対Ｄ
Ａ　１　、　／ＤＡＩ　。

・・・、ＤＡｎ、／ＤＡｎにそれぞれ微妙な電位差が生
じる。データ線対に生じた微妙な電位差は、センスアン
プＳＡによって増幅されていく。つづいて書込み制御入
力／ＷＥが低電位に遷移したことにより発生された入力
回路起動信号ΦＩＩＲ＾が高電位に遷移する。これによ
って書込みデータＤＩに与えられた情報が、書込み線対
ＩＡ、／ＩＡへ差動信号として伝えられる。また、書込
みＹ選択信号ＹＷＡＩが高電位に遷移して書込み先のメ
モリセルが接続された書込みスイッチＷＳがオンする。

これにより書込み線対ＩＡ、／ＩＡはそれぞれデータ線
対ＤＡＩ、／ＤＡＩと導通する。この結果データ線対Ｄ
ＡＩ、／ＤＡＩは書込みデータＤＩに与えられた情報に
対応した電位に設定される。

その後入力回路起動信号ΦＷＲ＾は低電位に遷移するが
データ線対の電位はセンスアンプＳＡによって保たれる
。書込みスイッチＷＳがオンしなかったデータ線対では
初めに読出した信号がそのままセンスアンプにより増幅
されて再書込みが行なわれる。再書込み動作の終了後、
チップセレクト信号／Ｃ８Ａが高電位になると、選択さ
れたワード線ＷＡＩと書込みＹ選択信号ＹＷＡＩが低電
位に遷移し、その後ＰＰＡ、ＰＮＡをＶ　ｃ　ｃ　／　
２に遷移させセンスアンプＳＡをオフさせるとともにプ
リチャージ信号Φｐ＾を高電位に遷移させる。この結果
、データ線対は短絡されると共にプリチャージ電位ＶＨ
に電位が設定されて再びもとの状態に戻る。以上が書込
み動作である。

ここでは、アレーＡ内の同一のメモリセルに続けて読出
し動作と書込み動作を行なう場合について説明したが、
読出し動作あるいは書込み動作をそれぞれ続けて行なう
こともできるし、また、モードＡＲ，ＡＷ、ＢＲ，ＢＷ
を切り換えることにより読出し動作あるいは書込み動作
の度に異なるメモリアレー内の所望の位置にあるメモリ
セルについて読出し動作あるいは書込み動作を行なうこ
とができるのは、もちろんである。

次に演算モードの動作について説明する。第１３図（ｂ
）は、ニューロン出力値ｖ１□を得るための動作波形を
示したものである。すでにメモリモードにおける書込み
動作により必要な結合重み値、ニューロン出力値等は書
き込まれているものとする。まず、モードＮＲとするた
めにチップセレクト信号／Ｃ３Ａと／Ｃ５Ｂを低レベル
とし、書き込み制御信号／ＷＥを高レベル、演算回路制
御信号／ＮＥを低レベルとする。アドレス＾ＤＤＡ　。

ＡＤＤＢは、アレーＡのワード線ＷＡＩとアレーＢのワ
ード線ＷＢＩを選択するように設定する。

／Ｃ８Ａと／Ｃ５Ｂが低レベルになることによりプリチ
ャージ信号ΦＰ＾、ΦＰＢが低レベルに、／ＮＥが低レ
ベルになることにより演算回路起動信号ΦＮが高レベル
に遷移する。続いてワード線ＷＡＩとＷＢＩとが立ち上
がりＷＡＩ上のメモリセルに蓄えられていたニューロン
出力値ｖ１□。

Ｖ　２１ｔ　”’　ｔ　Ｖｎｌと結合重み値Ｔ１□、ｔ
　’ｒ”１□、　”’Ｔ１．ｎがデータ線上に読み出さ
れる。こうして、アレーＡから読出されたニューロン出
力値とアレーＢから読出された結合重み値は、第１１図
に示したように演算回路起動信号ΦＮにより起動されて
いる乗算回路ＭＴに入力される。乗算回路ＭＴでは、ア
レーＡ側のデータ線とアレーＢ側のデータ線は、ＭｏＳ
トランジスタのゲートにつながれており、それらのＭＯ
Ｓトランジスタは演算回路起動信号ΦＮが入力されてい
るスイッチ用のＭＯＳトランジスタを通じて積和出力線
ＮＯとダミー線ＤＭとにつながれている。積和出力線Ｎ
Ｏの一端は負荷ＲＭＩを通して電源ＶＭに接続されてお
り、ダミー線ＤＭの一端は接地されている。データ線に
読出された信号がセンスアンプＳＡによってＶｃ　ｃ、
あるいは、Ｏｖに増幅されるとニューロン出力値と結合
重み値の積が１である乗算器では、負荷ＲＭＩを通じて
電源ＶＭより接地電極へ電流が流れる。したがってニュ
ーロン出力値と結合重み値の積が１であるような組合せ
の数に比例して積和出力線Ｎｏの電位は下降する。積和
出力線Ｎｏは、非線形関数回路りに入力されている。非
線形関数回路りではニューロン出力値と結合重み値の積
の合計が大きく積和出力線Ｎｏの電位が参照電圧ＶＲよ
り下がるかどうか検知して結果をＮＶへ出力する。第１
３図（ｂ）に示した積和出力線ＮＯの波形のうち実線が
積和の結果が小さかった場合であり破線が積和の結果が
大きかった場合である。入出力回路では非線形関数回路
りの結果を検知して書込み線対ＩＡ、／ＩＡに次にメモ
リセルに書き込むべきニューロン出力値ｖ１□を出力す
る。第１３図（ｂ）にはＩＡの波形を示した。

ＩＡは、積和が大きい場合には破線のように高レベルに
、積和が小さい場合には実線のように低レベルになる。

／ＩＡはＩＡと逆相となる。書込み線対ＩＡ、／ＩＡに
ニューロン出力値が出力された時点でラッチ信号ΦＬを
高電位に遷移する。この結果、書込み線対ＩＡ、／ＩＡ
に出力された電位は、入出力回路ＩＯ内に設けたラッチ
回路によりラッチされる。ラッチ信号ΦＬは、演算回路
起動信号／ＮＥの立ち下がりを受けてＩＡ、／ＩＡに信
号がでるまで遅延させて立ち上げればよい。

つづいて、演算回路起動信号ΦＮが低電位に遷移して演
算回路をオフし、ワード線が立ち下がった後にメモリモ
ード時と同様にデータ線のプリチャージを行なう、この
ときラッチ信号ΦＬは高電位のままにして、書込み線対
ＩＡ、／ＩＡに出力されたニューロン出力値を保ってお
く。

次に演算モードの後半であるモードＮＷに移る。

まず、チップセレクト信号／Ｃ８Ａおよび書込み制御信
号／ＷＥを低レベル、チップセレクト信号／Ｃ８Ｂを高
レベルとしてアレーＡ内のニューロン出力値を書込むべ
きメモリセルが選択されるようにアドレスＡＤＤＡを切
り換える。演算回路起動信号／ＮＥは低レベルのままに
しておく、／Ｃ５Ａを立ち下げた結果、プリチャージ信
号ΦＰ＾が低レベルとなりアレーＡに書き込みができる
状態となる。つづいて、選択されたワード線ＷＡ２゜書
込みＹ選択信号ＹＷＡＩが立ち上がる。これにより、書
込み線対ＩＡ、／ＩＡに出力されたニューロン出力値ｖ
１□は、ワード線ＷＡ２とデータ線ＤＡＩとに接続され
たメモリセルに書き込まれる。

最後にワード線をすべて立ち下げてプリチャージを行な
う。また、演算回路制御信号／ＮＥを立ち上げることに
より、ラッチ信号ΦＬが立ち下がりラッチがはずれる。

こうして、次の動作に備える。

以上が演算モードの動作である。同様の動作を第８図（
ｄ）に従ってアドレスを変えて続けることによりすべて
のニューロン出力値を計算できる。

以上において乗算器Ｍ、Ｔのうちダミー、ＩＸＤＭに接
続された側の回路は、省いてもよいが乗算器ＭＴのＭＯ
Ｓトランジスタのゲート容量等が片方のデータ線のみに
付くとデータ線容量がアンバランスとなり場合によって
はセンスアンプの動作などに支障を来すこともある。そ
のような場合には第１１図のようにしておけばデータ線
容量がアンバランスとなることによる悪影響を避けるこ
とができる。

次に、第１１図に用いるのに好適な回路の実施例を示す
。第１４図（ａ）は、非線形関数回路りの１実施例であ
る。本実施例は、バイポーラトランジスタＱ７２０．Ｑ
７１９．抵抗Ｒ７２およびＭｏＳトランジスタＱ７２１
よりなる差動アンプと、インバータＩＮＶ７５およびＭ
ＯＳトランジスタＱ７１５．Ｑ７１６．Ｑ７１７．Ｑ７
１８゜抵抗Ｒ７１，ダイオードＤ７１よりなるインバー
タにより構成される。本回路は信号ΦＮが高電位になる
ことにより起動される。第１４図（ｂ）に非線形関数回
路りの入力である積和出力線Ｎｏの電位と出力ＮＶの電
位の関係を示す。積和出力線Ｎｏの電位が参照電位ＶＲ
より低いと出力ＮＶが高電位にＮｏの電位が参照電位Ｖ
Ｒより高いと出力ＮＶが低電位となる８本実施例によれ
ば差動アンプにバイポーラトランジスタを用いているた
め入力の変化にたいして立上りの急峻な特性を持つ非線
形回路を実現できる。また、参照電位ＶＲを所望の値に
設定することにより容易に非線形関数回路りの特性を変
えることができる。なお、差動アンプの出力はバイポー
ラトランジスタＱ７１９の飽和を避けるためにあまり大
きくとることができない。そのため後段のインバータに
直接差動アンプの出力を接続するとインバータが動作し
ないことがありうる。そこで、抵抗Ｒ７１，ダイオード
０７１を設けてＭＯＳトランジスタＱ７１７に入力され
る電位を降下させている。

第１４図（ｃ）は入出力回路１０の１実施例である。第
１４図（Ｃ）に示したように書込み回路ＷＲは入力バッ
ファＩＮＢＵＦ、書込み切り替えスイッチＳＷＡ、ＳＷ
Ｂ、ラッチ回路ＬＡＴおよびインバータＩＮＶＩＡ、Ｉ
ＮＶＩＢより構成されている。書込み切り替えスイッチ
ＳＷＡ、ＳＶＢは、書き込みデータＤＩをアレーＡある
いは、アレーＢのどちらのメモリセルに書き込むか切り
替えるためのものである。切り替え信号Φ邦＾が高電位
のときには、書き込みデータＤＩは入力バッファＩＮＢ
ＵＦを通じて書き込み線対ＩＡ、／ＩＡよりアレーＡ内
のメモリセルに書き込まれる。

切り替え信号ΦＷＲＢが高電位のときには、書き込みデ
ータＤＩは入力バッファＩＮＢＵＦを通じて書き込み線
対ＩＢ、／ＩＢよりアレーＢ内のメモリセルに書き込ま
れる。ラッチ回路ＬＡＴは、演算モードにおいて非線形
回路りの出力ＮＶに出力された情報をラッチして、書き
込み線対ＩＡ、／ＩＡよりアレーＡ内のメモリセルに書
き込むためのものである６図より明らかなように、非線
形回路りの出力ＮＶと書き込み線対ＩＡ、／ＩＡの電位
関係は同相関係になるので、非線形関数回路りの積和出
力線Ｎｏと入力コモン線ＩＡの電位の関係は、第１４図
（ｄ）に示したように反転関係となる。前記したように
第１１図の実施例では積和出力線Ｎｏの電位はニューロ
ン出力値と結合重み値との積和が大きいほど低下するの
で、積和出力線Ｎｏと入力コモン線ＩＡの電位の関係が
反転関係となるように回路を構成した。積和出力線Ｎ。

の電位がニューロン出力値と結合重み値との積和が大き
いほど上昇するように設計した場合には積和出力線Ｎｏ
と入力コモン線ＩＡの電位の関係を同相関係となるよう
に回路を構成すればよいのはもちろんである。

第１４図（ｅ）は読出し回路ＯＵＴの１実施例である。

読出し回路ＯＵＴは電流電圧変換回路ＩＶＯＵＴＩ　、
レベルシフト回路ＬＳ、読出しラッチ回路０ＵＴＬＴお
よび出力バッファＢＵＦＯＵＴにより構成される。電流
電圧変換回路ＩＶＯＵＴ１では、読出し線ＯＡ、１０Ａ
あるいは読出し線ＯＢ、１０Ｂにインピーダンスの差と
して読出された情報をそれぞれ、ＯＡ’　、／、ＯＡ’
あるいは読出し線ＯＢ’　、１０Ｂ’の電圧の差に変換
する。レベルシフト回路ＬＳでは、電流電圧変換回路Ｉ
ＶＯＵＴＩより読出された情報の電圧を後段の読出しラ
ッチ回路０ＵＴＬＴ内のバイポーラトランジスタが飽和
しないレベルにシフトして読出しランチ回路０ＵＴＬＴ
に伝達する。

読出しラッチ回路０ＵＴＬＴの詳細な実施例を第１４図
（ｆ）に示した。読出しラッチ回路０ＵＴＬＴ内の読出
し差動７”プＡＭＰＡ、ＡＭＰＢは、アレーＡのメモリ
セルから読出し線○Ａ、１０Ａを通じてＬｌ、Ｌ２に読
出された情報とアレーＢのメモリセルから読出し線ＯＢ
、１０Ｂを通じてＬ３．Ｌ４に読出された情報のどちら
を読出しデータＤｏとして読出すか切り替えるためのも
のである。切り替え信号Φ＾が高電位のときには、アレ
ーＡのメモリセルから読出された情報が、切り替え信号
ΦＢが高電位のときには、アレーＢのメモリセルから読
出された情報が読出しデータＤｏとして出力される。読
出しラッチ回路０ＵＴＬＴでは、読出しラッチ信号ΦＬ
Ｒを電圧Ｖａｚより高電位に遷移するとバイポーラトラ
ンジスタＱＩＡがオフし、ＱＩＢがオンする。そのため
、差動アンプＡＭＰＡ、ＡＭＰＢがオフし、ＡＭＰＣが
オンする。その結果差動アンプＡＭＰＣとレベルシフト
回路ＬＳＣにより、読出し情報がラッチされる。

すなわち、本実施例によれば、読出し情報が確定した後
、読出しラッチ信号ΦＬＲを電圧ＶＢ２より高電位に遷
移することによって所望の期間だけ読出しデータＤＯを
ラッチして出力しつづけることができる。

なお、第１１図に示した乗算機ＭＴの実施例では、アレ
ーＡのデータ線対がアレーＢのデータ線対より接地電極
から遠い方のＭＯＳトランジスタのゲートに接続されて
いる。このため、積をとるときにニューロン出力値と結
合重み値とは等価に扱われない。このことが問題となる
ときには、第１５図の実施例を用いればよい。第１５図
では、データ線ＤＡｉはＭｏＳトランジスタＱ７Ｃ３と
Ｑ７Ｃ６，ＤＢ　ｉはＱ７Ｃ５とＱ７Ｃ４のゲートに接
続されている。両者共、接地電極に近い方のＭＯＳトラ
ンジスタと遠い方のＭＯＳトランジスタに接続されてい
るので、積をとるときに、ニューロン出力値と結合重み
値とが等価に扱われることになる。

以上説明したように第１１図に示した実施例によれば１
つのＭＯＳトランジスタおよび１つの容量より構成され
るＤＲＡＭセルを用いて第８図（ａ）に示した実施例を
実現できる。ＤＲＡＭセルは、占有面積を非常に小さく
できるのでチップ上に高集積に実現できるというメリッ
トがある。

なお、以上の説明では触れなかったが、よく知られてい
るように１トランジスタ、１キヤパシタを用いたＤＲＡ
Ｍセルでは、キャパシタの電流リークによる蓄積電荷の
減少を補償するために一定時間内にリフレッシュ動作が
必要である。本発明においても、メモリモード、演算モ
ードにかかわらず必要に応じてリフレッシュ動作を行う
ことは通常のＤＲＡＭと同様にして容易にできる。

上記の実施例では、メモリセルとしてＤＲＡＭセルを用
いたがこれに限定されることはなく、他のメモリセルを
用いても同様の情報処理装置を実現できる０次にＳＲＡ
Ｍセルを用いた実施例を示す。第１６図（ａ）、（ｂ）
は、ＳＲＡＭセルの実施例であり、両者共ＤＲＡＭセル
と異なり再書込みあるいはリフレッシュ動作が不要なた
めＤＲＡＭセル゛を用いた場合に比べて制御が容易にで
きるという利点がある。第１６図（ｃ）は、第１６図（
ａ）あるいは（ｂ）等のＳＲＡＭセルを用いて第８図（
ａ）の実施例を実現するための１実施例である。第１６
図（ｃ）において、ＭＣＳはＳＲＡＭセル、ＬＤは、デ
ータ線負荷である。第１７図（ａ）、（ｂ）に動作波形
の例を示す。第１７図（ａ）は、メモリモードにおいて
データ線ＤＡＩ。

／ＤＡ１とワード線ＷＡＩに接続されたセルに対して読
出し動作と書込み動作を連続して行なう場合の例であり
、第１７図（ｂ）は演算モードにおいてワード線ＷＡＩ
上のメモリセルに記憶されたニューロン出力値Ｖ００．
Ｖ、□、・・・、ｖｎ、とワード線ＷＢＩ上のメモリセ
ルに記憶された結合重み値Ｔ１□１．Ｔ１□１．・・・
ｌＴ”ｎ４　からニューロン出力値ｖ１□を計算する場
合の動作波形の例である。基本的な動作は前記のＤＲＡ
Ｍセルの場合と同様であるので説明は省略する。ＳＲＡ
Ｍセルは、再書込み動作、リフレッシュ動作が不要なた
めＤＲＡＭセルに比べて制御が簡単であるというメリッ
トがある。さらに、再書込み動作が不要なため、メモリ
モードにおける読出し、書込みの速度および演算モード
のサイクルを高速にできるというメリットがある。

以上、ＤＲＡＭセルとＳＲＡＭセルを用いて第８図（ａ
）の実施例を実現するための回路構成例を説明してきた
。次にニューロン出力値、結合重み値を複数のメモリセ
ルを用いて表現するためのを回路構成例につき説明する
。以下では、ＤＲＡＭセルを用いた実施例を示すが、Ｓ
ＲＡＭセルを用いても同様に実現できることはもちろん
である。

次に、ＤＲＡＭセルを用いてニューロン出力値。

結合重み値を複数のメモリセルを用いて表現するための
回路構成例について説明する。

第１８図（ａ）において、アレーＡ内のデータ線対ＤＡ
ＩＩ、／ＤＡ１１．ＤＡ１２．／ＤＡ１２゜−、ＤＡ　
Ｉ　Ｐ、　／ＤＡ　Ｉ　Ｐは、第９図（ａ）において加
算器ａ１に入力されるアレーＡ内のデータ線対に対応し
ている。また、アレーＡ内のデータ線対Ｄ　Ａ　ｎ　１
　＋　／　Ｄ　Ａ　ｎ　１　ｒ　Ｄ　Ａ　ｎ　２　ｇ　
／　ＤＡｎ２　＋−，ＤＡ　ｎ　Ｐ　、　／　ＤＡ　ｎ
　Ｐは、第９図（ａ）において加算器ａｎに入力される
アレーＡ内のデータ線対に対応している。アレーＢにつ
いても同様である。入出力回路ＤＩＯＩＯに示したよう
に入力端子をＤｏｌ、・・・、ＤＯｒのｒ本、出力端子
をＤｌｌ、・・・、ＤＩｒのｒ本設けて（ここでｒはＰ
またはｑのどちらか大きい方の数）メモリモード時にニ
ューロン出力値または結合重み値を表すＰビットあるい
はｑビットの情報を同時に読出し。

あるいは書込みできるようにしている。演算モードにお
いてアレーＡでは、ワード線を立ち上げることによって
データ線に読出されたＰビット毎の情報が加算器ＡＤＤ
によって合成され、ニューロン出力値出力線ＶＯＩ、Ｖ
Ｏ２，・・・、Ｖ、Ｏｎにニューロン出力値が出力され
る。また、アレーＢでも、ワード線を立ち上げることに
よってデータ線に読出されたｑビットの情報が加算器Ａ
ＤＤによって合成されて、結合重み値出力線ＴＯＩ、Ｔ
Ｏ２゜・・・、Ｔｏｎに結合重み値が出力される。これ
らはＢＬＫ２に入力され、積和演算が行なわれて非線形
関数回路ＤＩＯに入力される。ニューロン出力値に相当
する非線形関数回路ＤＩＯの出力は入出力回路ＤＩＯＩ
Ｏへ伝えられてラッチ信号ΦＬによってラッチされる。

つづいて、求めたニューロン出力値を書き込むべきｐ個
のセルを選択するようにアドレスを切り換えて、書き込
みＹ選択信号ＹＷＡｉを立ち上げ、ラッチしておいたニ
ューロン出力値を選択した２個のセルへ並列に書き込む
。

このような動作を続けることにより第１１図（ａ）の実
施例と同様にしてニューロン出力値を更新していくこと
ができる。本実施例によれば、加算器ＡＤＤに入力され
た複数のメモリセルの情報を等価に加算することによっ
て第９図（ａ）の実施例を実現することができる。また
、加算器ＡＤＤに入力された複数のメモリセルの情報を
ビット毎に重み付けして加算することによってニューロ
ン出力値、結合重み値を複数のビットによる２進数によ
って表す第１０図（ａ）の実施例も実現することができ
る。この他ニューロン出力値、結合重み値を他の方法で
複数のビットで表す場合にも容易に対処できるので目的
に応じて多様な情報処理を行なうことができる。本実施
例では、ＤＲＡＭセルを用いているので高集積化を図る
ことができる。

さらに、メモリモード、あるいは演算モードともに複数
のメモリセルの情報を並列に扱っているためニューロン
出力値、結合重み値を複数のビットで表しているにもか
かわらず、１ビツトで表した場合と同様の高速な情報処
理を行なうことができる。ここでは、ＢＬＫＩにおいて
加算器により複数のメモリセルの信号を合成し、その結
果を積和回路であるＢＬＫ２に入力するようにした。し
かし、ＢＬＫｌにおける加算を省略してニューロン出力
値あるいは、結合重み値をあられす複数のメモリセルの
情報を並列に積和回路ＢＬＫ２へ入力して積和演算を行
なうなど種々の変形も可能である。

以下では、まず、第１８図（ａ）に示した実施例により
ニューロン出力値、結合重み値を複数の等測的なビット
で表す第９図の実施例を実現する方法についてのべる。

第１８図（ｂ）は、第１８図（ａ）のＢＬＫＩの１実施
例である。ここでは。

アレーＡのデータ線ＤＡＩＩ、・・・ＤＡＩＰに接続さ
れたＢＬＫＩを示した。アレーＡの他のＢＬＫ　１にも
同じ回路が使える。アレーＢでもデータ線対。

読出し線対、あるいは書込み線対の本数を２本からｑ本
に変更しプリチャージ回路ＰＲなど２個設けた回路をｑ
個にすれば、本実施例の回路を使うことができる。本実
施例では、並列に２個のメモリセルへの書込み、あるい
は読出しができるように、ｐ対の読出し線対ＯＡＩ、１
０ＡＩ、・・・ＯＡ　ｐ　＋　／○Ａｐおよびｐ対の書
込み線対ＩＡＩ。

／ＩＡＩ、・・・・・・　ＩＡｐ、／ＩＡｐを設けた。

読出しセンスアンプＲＳＡと書込みスイッチＷＳは、図
に示したように同一のＢＬＫＩ内では順番に読出し線対
ＯＡ　１　、１０Ａ　１　、　・、　ＯＡ　ｐ　、　１
０ＡＰおよびｐ対の書込み線対ＩＡＩ、／ＩＡＩ、・・
・Ｉ　Ａ　ｐ　ｖ　／　Ｉ　Ａ　ｐに接続されている。

すなわち１対の読出し線あるいは書込み線についてみる
とｐ対毎にデータ線対に接続されていることになる。

加算回路ＡＤＤは、負荷回路ＬＤ１０３および２個の電
圧電流変換器ＶＩより構成されている。電圧電流変換器
ＶＩでは、データ線ＤＡ　ｌ　ｌ　、　ＤＡ１２゜・・
・、ＤＡｌｐがＭＯＳトランジスタのゲートに接続され
ており、上記ＭＯ５）−ランジスタは、演算回路起動信
号ΦＮがゲートに入力されているＭＯＳトランジスタと
直列に接続されて接地電極とニューロン出力値出力線Ｖ
ＯＩとを結んでいる。ニューロン出力値出力線Ｖ○１は
負荷回路において抵抗を通じて電源ＶＭＯＩにつながっ
ている。したがって、演算回路起動信号ΦＮにより起動
された状態でデータ線電位の増幅が終了すると、ニュー
ロン出力値出力線ｖＯ１の電位は、高電位つまりＶｃｅ
となったデータ線の本数に比例した電圧だけ低下する。

したがって、本実施例によれば、ニューロン出力値出力
線ＶＯＩの電位低下によってニューロン出力値を表すこ
とができる。なお、データ線の片側、／ＤＡＩＩ、・・
・、／ＤＡＩＰにも同様の回路を設けたのは、第１１図
（ａ）の乗算器ＭＴと同様の理由でデータ線容量のアン
バランスを避けるためである。上記の実施例によれば複
数のメモリセルによって表したニューロン出力値あるい
は、結合重み値をニューロン出力値出力線あるいは結合
重み値出力線に読みだすことができる。

第１８図（ｃ）はニューロン出力値と結合重み値の積和
を計算するためのブロックＢＬＫ２と非線形関数回路Ｄ
ＩＯの１実施例を示したものである。第１８図（Ｃ）に
おいてブロックＢ　Ｌ　Ｋ　２は、負荷回路ＬＤ１０２
と乗算器ＭＴＩＯより構成されている。ニューロン出力
値出力線ＶＯ１、ＶＯ２゜・・・、■ｏおよび結合重み
値出力線ＴＯＩ、ＴＯ２゜・・・、ＴｏｎはＭＴＩＯ内
のＭＯＳトランジスタＭ　１６　ｃ　１　、　Ｍ　１６
　ｃ　２のゲートに接続されており、上記ＭＯＳトラン
ジスタは、演算回路起動信号ΦＮがゲートに入力されて
いるＭＯＳトランジスタＭ　１６　ｃ　３と直列に接続
されて接地電極と積和出力線ＮＯとを結んでいる。一方
、積和出力線Ｎｏは負荷回路ＬＤ１０２において抵抗Ｒ
Ｏ２を通じて電源ＶＭＯ２につながっている。したがつ
て、演算回路起動信号ΦＮが高レベルになり、本回路が
起動された状態では、対応するニューロン出力値出力線
ＶＯＩ、ＶＯ２，・・・、ｖＯと結合重み値出力線ＴＯ
Ｉ、ＴＯ２，・・・、Ｔｏｎの電位の積の総和が大きい
ほど積和出力線Ｎｏの電位が低下する。前記したように
ニューロン出力値出力線ＶＯＩ、ＶＯ２，・・・、ｖＯ
と結合重み値出力線ＴＯＩ、Ｔ○２．・・・、Ｔｏｎの
電位は、ニューロン出力値と結合重み値の大きさにほぼ
比例して低下するため、ニューロン出力値と結合重み値
の積和が、大きいほど積和出力線Ｎｏの電位は高電位と
なる。積和出力線Ｎｏは非線形関数回路Ｄ１０に入力さ
れる。非線形関数回路Ｄ　１．０は、第１８図（ｄ）に
示したような回路をｎ個並列に接続して構成することが
できる。第１８図（ｄ）の回路は、第１４図（ａ）の非
線形関数回路りと同じように差動アンプとインバータを
組合せたものである。ただし、積和出力線Ｎｏとニュー
ロン出力値と結合重み値の積和との極性が第１１図と第
１８図（ａ）、（ｂ）、（ｃ）の実施例では異なるので
、第１８回（ｄ）では差動アンプの抵抗Ｒｘを第１４図
（ａ）の抵抗Ｒ７２とは、逆の位置に付けている。この
ため、第１８図（ｄ）では積和出力線Ｎｏが参照電圧ｖ
Ｒｘ　（Ｘ＝１１２＋　・・・ｔ　ｐ）を越えると出力
ＮＶｘが高電位に遷移する。このような非線形関数回路
ＤＳｘを２個設けておき第１８図（ｅ）のように参照電
圧ＶＲｘを変えておけば２本の出力Ｎ　Ｖ　ｘのうち高
電位になっているものの本数で積和出力、１ｉＮｏの変
化量を示すことができる。本実施例によれば参照電圧Ｖ
Ｒｘの値を変えることによって非線形関数回路の特性を
容易に変化させることができる。なお、第１８図（ｃ）
に示したの回路を乗算器ＭＴＩＯとして用いる場合など
にはＭｏＳトランジスタの特性などにより積和出力線Ｎ
Ｏの電位変化はニューロン出力値と結合重み値の積和の
大きさに対して一般的には線形にはならない。したがっ
て、非線形関数回路の特性が所望の形状になるように、
乗算器あるいは、加算器の特性も考慮してＶＲｘの値を
設定すればよい。場合によっては、製造条件の変動など
により個々のチップの特性を精度よく知ることが国璽な
場合もある。そのような場合には、実際にアレーＡ、Ｂ
に既知のニューロン出力値と結合重み値を書込み、演算
モードで動作させて積和出力線ＮＯの電位を計測しその
結果に応じてＶＲｘの値をトリミングして所望の特性に
合わせればよい。

なお、ここでは第１８図（ａ）における入出力回路ＤＩ
ＯＩＯの詳細については省略するが、第１４図（Ｃ）、
（ｅ）、（ｆ）に示した読出し回路ＯＵＴ、あるいは書
き込み回路ＷＲと同様な回路を複数用いることにより複
数のメモリセルへ並列に読出しあるいは書き込みを行な
う回路は容易に実現できる。また、クロック発生回路１
６の構成についても省略するが、通常のメモリに用いる
回路と同様にして容易に実現できる。

次に、第１８図（ａ）の実施例を用いて、ニューロン出
力値、結合重み値を複数のビットによる２進表示によっ
て表す第１０図の実施例を実現するための方法について
説明する。第１０図（ａ）に示したように複数のビット
による２進表示で表された情報を加算するには複数のメ
モリセルの情報をビット毎に重み付けして加算する必要
がある。

このためには第１８図（ｂ）において電圧電流変換器Ｖ
Ｉ　１．ＶＩ　２．−、ＶＩ　ｐ内のデータ線に接続さ
れたＭＯＳ）−ランジスタのゲート幅の比を１：２：４
：・・＝２Ｐとすれば、ニューロン出力値出力１！ＶＯ
Ｉの電位は、２進表示によるニューロン出力値の大きさ
に比例して降下する。したがって、同様の回路を他のニ
ューロン出力値、あるいは結合重み値に対して使用すれ
ば第１０図（ａ）に示したような重み付けした加算を実
現できる。

乗算器については、第１８図（ｃ）に示したブロックＢ
ＬＫ２をそのまま用いることができる。非線形関数回路
については、積和出力ｇＮ○に出力された演算結果を再
び２進表示にして複数のメモリセルへ書き込むためにＡ
Ｄコンバータの機能を持たせる必要がある。そのために
は、第１９図（ａ）に示したような実施例を用いること
ができる。第１９図（ａ）の実施例は、２個（以下２＝
２Ｐとする。）の非線形関数回路ＤＳＬ、ＤＳ２゜・・
・、ＤＳｚとエンコーダとを組合せたものである。

非線形関数回路ＤＳＬ、ＤＳ２．・・・、ＤＳｚには第
１８図（ｄ）の回路を使用し参照電圧ＶＲｘを調整する
ことにより第１９図（ｂ）に示したような特性を持たせ
ておく。すると、第１８図（ｃ）実施例と同様に出力Ｎ
ＡＩ、ＮＡ２．・・・、ＮＡｚのうち高電位であるもの
の本数によりニューロン出力値と結合重み値の積和の大
きさを知ることができる。このままでは、２ビツトの等
価表示であるためエンコーダによりｐビットの２進表示
にして２本の出力線ＮＶＩ、ＮＶ２．＝−，ＮＶｐによ
り書き込み回路へ伝達する必要がある。したがって、第
１９図（ａ）のエンコーダには第１９図（ｃ）に示した
ような入出力関係を持たせればよい。このようなエンコ
ーダは、容易に実現できる。

ｐ＝３のときの構成例を第１９図（ｄ）に示す。

本実施例は、ｐ＝３以外のときにも容易に拡張すること
ができる。

以上では、階層型のニューラルネットワークを例にとっ
て説明してきた。しかし本発明は１階層型のニューラル
ネットワークに限定されるものではなく、これまで述べ
てきた実施例を用いて他のタイプのネットワークにも適
用できる。第２０図（ａ）、（ｂ）および、第２１図（
ａ）、（ｂ）の実施例は、第５図（ｂ）のアルゴリズム
によってホップフィールド型のネットワークによる情報
処理を実現するための実施例である。第２０図（ａ）は
ニューロン出力値、結合重み値を表現するのに１つづつ
のメモリセルを用いて非同期型のホップフィールド型の
ネットワークを実現するための実施例である。第２図、
第３図を用いて説明したように階層型のニューラルネッ
トワークでもホップフィールド型のネットワークでも基
本的な演算法は同じである。ただし、ホップフィールド
型のネットワークでは自身を含めてすべてのニューロン
からのニューロン出力値を用いて演算を行なう。そこで
、第２０図（ａ）では、アレーＡ内の１本のワード線に
すべてのニューロン出力値を収納する０図に示したよう
にアレーＢには、１つのニューロン出力値を計算するの
に必要な結合重み値が同じワード線上に並ぶように収納
する。ニューロン出力値の更新は、次のようにして行な
うことができる２例えば、ニューロン出力値Ｖ１３更新
するには、アレーＡのワード線ＷＡとアレーＢのＪ＝１
のワード線を立ち上げる。この結果、新しい■１である
ｇ　（ＴｔｔＶ１＋Ｔ□ｚＶｚ＋・・＋Ｔ１ｎＶｎ）が
計算される。これをアレーＡのワード線ＷＡ上のｉ＝１
の位置にあるメモリセルに書き込めばよい。その他のニ
ューロン出力値の更新も同様であり、例えば、■、を更
新するには、アレーＡのワード線ＷＡとアレーＢのｊ＝
４のワード線を立ち上げる。この結果、新しいＶ４であ
るｇ（Ｔ４、Ｖ、＋Ｔ４２Ｖ２＋　・＋Ｔ、ｎＶ、）が
計算される。これをアレーＡのワード線ＷＡ上のｉ＝４
の位置にあるメモリセルに書き込めばよい。このように
して所望の順番でニューロン出力値■、を更新していく
ことによって非同期型のホップフィールド型ネットワー
クの演算を行なうことができる。

同期型のホップフィールド型ネットワークの演算を行な
うには、第２０図（ｂ）のようにアレーＡにおいてワー
ド線ＷＡＩ上のメモルセルを現在のニューロン出力値を
記憶するために用いて、ワード線ＷＡＺ上のメモルセル
を新しいニューロン出力値を記憶するために用いれば容
易に実現できる。

まず、アレーＡのワード線ＷＡＩとアレーＢのｊ＝１の
ワード線を立ち上げる。この結果、新しいｖ１テあるｇ
（Ｔｚ、Ｖ１＋　Ｔ１□Ｖ２＋−＋　Ｔ１．Ｖｎ）が計
算される。これをアレーＡのワード線ＷＡ２上のｉ＝１
の位置にあるメモリセルに書き込めばよい。つづいて、
ニューロン出力値Ｖ、、ｖ、、・・・■ｏを更新してア
レーＡのワード線ＷＡＺ上のメモリセルに書き込む。す
べてのニューロン出力値の更新が終わったところで今度
は、アレーＡのワード線ＷＡＩとＷＡ２の役割を変えて
、ニューロン出力値の計算時には、ワード線ＷＡ２を立
ち上げ、ニューロン出力値を収納するときにはワード線
ＷＡＩを立ち上げるようにしてニューロン出力値の更新
を続ける。以下、同様にしてアレーＡのワード線ＷＡＩ
とＷＡ２の役割を変えながら処理を進める。このように
第２０図（ｂ）の実施例によれば、同期型のホップフィ
ールド型ネットワークの演算を行なうことができる。

同様にしてニューロン出力値、結合重み値を表現するの
に複数のメモリセルを用いてホップフィールド型のネッ
トワークを実現することもできる。

第２１図（ａ）はニューロン出力値、結合重み値を表現
するのにそれぞれ２個、ｑ個づつのメモリセルを等価に
用いて非同期型のホップフィールド型のネットワークを
実現するための実施例である。

第２０図（ａ）と同様に、アレーＡ内の１本のワード線
にすべてのニューロン出力値を収納する。

ただし、２個のセルで１つのニューロン出力値を表して
いる。アレーＢには、１つのニューロン出力値を計算す
るのに必要な結合重み値がｑ個のセル毎に同じワード線
上に並ぶように収納する。ニューロン出力値の更新は、
第２０図（ａ）の実施例と同様にすればよい。ただし、
ニューロン出力値を表現するのにそれぞれ２個づつのメ
モリセルを用いているので演算結果を２個のセルに並列
に書き込めるように、非線形関数回路りの呂力線をＰ本
設けである。同期型ホップフィールドネットワークにつ
いても第２０図（ｂ）と同様にアレーＡの２本のワード
線を用いれば第２１図（ｂ）のようにして容易に実現で
きる。同様にして第１０図（、）のようにニューロン出
力値、結合重み値を表現するのにそれぞれ２個、９個づ
つのメモリセルによる２進表現を用いて同期型、非同期
型のホップフィールド型のネットワークを実現すること
もできることはもちろんである。

第８図（ａ）と第２０図（ａ）　、　　（ｂ）ならびに
第９図（ａ）と第２１図（ａ）、（ｂ）とは基本的な構
成は同一である。したがって、第１１図から第１９図ま
での実施例を用いれば、第２０図（ａ）、（ｂ）および
、第２１図（ａ）、（ｂ）の実施例による情報処理を容
易に実現することができる。なお、ホップフィールド型
のネットワークにおいては、ニューロン出力値の更新を
続ける過程において、エネルギーを最小とする状態でな
く極小とする状態、所謂ローカルミニマムに落ちこんで
ニューロン出力値が変化しなくなってしまうことがあり
うる。それを避けるにはよく知られている擬似焼き鈍し
法を用いることができる。ニューラルネットワーク情報
処理（産業図書、麻生英樹著）１２２ページに述べられ
ているように、擬似焼き鈍し法を実現するために非線形
関数の形を徐々に変えるという方法が、知られている。

本発明によれば特性の異なる非線形関数回路りを複数設
けて切り替えたり、あるいは、外部より非線形関数回路
りの特性をコントロールするなどによって容易に上記の
方法が実現できる。

これまでは、主に階層型、あるいはホップフィールド型
ネットワークにおいてニューロン出力値。

結合重み値を正の数として扱う例を述べてきたが、応用
対象によってはこれらの両方あるいは片方が正の値も負
の値も取り得るとした方が便利な場合もある。そのよう
な場合にも本発明は容易に適用できる。第２２図はニュ
ーロン出力値、結合重み値ともに正、負の値を取ること
ができるように構成した本発明の１実施例である。第２
２図においてニューロン出力値はメモリセルアレーＡ、
結合重み値はメモリセルアレーＢに蓄えられている。

それぞれの値は絶対値の大きさを表すｐあるいはｑビッ
トと符号を表す１ビツトにより表されている。符号を表
す（以下、符号ビット）は、／ｌ　ｌ　＋１で正“０″
で負を表す。これまで述べてきたのと同様の方法で読出
されたニューロン出力値と結合重み値のうち絶対値の大
きさを表すｐあるいはｑビットの部分は加算器、ａｌ、
・・・、ａｎおよびｂｌ、・・・、ｂｎに入力され、ア
ナログ値となって乗算器ｍｌ、・・・、ｍｎに入力され
る。なお、ニューロン出力値、結合重み値を２進表現で
表すときには、上記の加算器ａｌ、・・・、ａｎおよび
ｂｌ。

・・・、ｂｎに入力される各々ｐ＋　ｑビットのデータ
を第１０図に示したのと同じように重み付けして入力す
ればよい。一方、符号ビットは、第２２図に示したよう
に排他的ＯＲ（エクスクル−シブオア）回路ＥＯＲＩ、
・・、ＥＯＲｎに入力される。

符号ビットが一致しない場合、すなわち乗算の結果が負
のときには上記排他的ＯＲ回路の出力は高レベルとなり
、一致した場合すなわち１乗算の結果が正のときには上
記排他的ＯＲ回路の出力は低レベルとなる。スイッチＳ
ＷＩ、・・・、ＳＷｎは、排他的ＯＲ回路の出力が低レ
ベルの時には乗算器の出力を加算器ｃｌ、・・・、Ｏｎ
に、高レベルのときには乗算器の出力を加算器ｃｌ’　
　・・・、ｃｎに伝えるように動作する。この結果、積
和出力線Ｎｏには、乗算の結果が正のものの総計が、積
和出力線ＮＯ’には、乗算の結果が負のものの総計が出
力される。非線形回路りでは積和出力線Ｎ。

と積和出力線Ｎｏ′との信号の差をＰビットのデジタル
値に変換してバスＡＢＳに、積和出力線Ｎｏと積和出力
線ＮＯ′との信号の大小で符号ビットを決定してバス５
ＩＧＮへ出力する。なお、ニューロン出力値の表現にあ
わせて第９図、あるいは第１０図に示したような非線形
特性を持たせることは、これまで述べたのと同様な方法
で容易に実現できる。本実施例によれば、ニューロン出
力値、結合重み値ともに正、負の値をとることができる
。したがって、情報処理の適用範囲が広がるという利点
がある。ここでは、ニューロン出力値、結合重み値とも
に正、負の値をとるようにしたが、どちらか片方のみを
正の値に限るなどの変形は容易に実現できる。

これまでは、演算回路としてニューロン出力値を計算す
るのに必要な積和機能と非線形関数回路を実現する実施
例を説明してきた。しかし、演算回路にさらに他の演算
を行なう回路を追加することもできる。たとえば、本発
明による情報処理装置は階層型ネットワークを用いた音
声認識９文字認識など入力されたパターンをいくつかの
組に分けるような所謂クラス分は問題に適用することが
できる。このような場合には前記したように演算回路内
に比較器があると便利である。クラス分は問題では、入
力されたパターンが、明らかにあるクラスに分類される
場合には、出力としてクラスに対応する期待値を得るこ
とができる。しかし、入力されたパターンが、複数のい
ずれかのクラスに分類されるか微妙な場合には、複数の
クラスの期待値の中間的なものとなることがある。例え
ば、音声認識において入力された音声がｔ　Ｋ　Ｊのと
きには、符号化して入力層に与えた音声波形に対して出
力層に１１１１というニューロン出力値（期待値）が得
られるように、また、入力がＩ　ＣＩのときには、００
００という出力値（期待値）を出すように結合重み値を
設定した場合に、ｔ　Ｋ　＋″Ｃ′の中間的な音声波形
が与えられると出力層のニューロン出力値は、０００１
とか１１１０など中間的な値を出すことがある。このよ
うな場合には出力層のニューロン出力値とｔ　Ｋ　＋　
に対する期待値１１１１あるいはｌ　Ｃｌ　に対する期
待値ｏｏｏｏとの距離が入力音声のｌ　Ｋ　＋　あるい
はＣ′に対する近さを与える尺度と解釈することができ
る。したがって、演算回路に出力層のニューロン出力値
とクラスの期待値を比較する回路を設けて出力結果と期
待値の距離を求める機能がある便利である。

第２３図は１つの半導体チップにニューロン出力値と期
待値の比較を行なう演算回路１２ａと、ニューロン出力
値を計算するための演算回路１２ｂとを集積した１実施
例である。第２３図において、期待値はメモリ回路ＴＧ
に、ニューロン出力値はメモリ回路Ａに結合重み値はメ
モリ回路Ｂに記憶されている。ニューロン出力値を計算
するには、これまで述べてきたのと同様な方法でメモリ
回路Ａからニューロン出力値をメモリ回路Ｂから結合重
み値を読出して演算回路１２ｂによってニューロン出力
値を計算し、その結果をメモリ回路Ａに書き込めば良い
。比較を行うには、メモリ回路Ａからニューロン出力値
をメモリ回路ＴＧから期待値を読出して演算回路１２ｂ
により並列に距離を求めてその結果をメモリ回路ＴＯに
書き込むかあるいは、入出力装置を通じて出力する。本
実施例ではメモリ回路ＴＧ、Ａならびに演算回路１２ａ
ともに同一チップ上にあるため、バス１，２の本数を容
易に増やすことができ、多数のビットを並列に処理でき
る。このため高速に距離の計算ができるという利点があ
る。なお、このような構成においては、演算モードをニ
ューロン出力値を計算するニューロン出力値計算モード
とニューロン出力値と期待値を比較して距離を求める比
較モードとに分けると便利である。演算モードの切り換
えは、例えば２つの演算回路制御信号／ＮＥ　１と／Ｎ
Ｅ２とにより容易に行なうことができる。すなわち、／
ＮＥ　１　、　／ＮＥ　２ともに高レベルのときにはメ
モリモード、／ＮＥＩが低レベル、／ＮＥ２が高レベル
でニューロン出力値計算モード、／ＮＥＩが高レベル、
／ＮＥ２が匠レベルで比較モードなどとすればよい。な
お、第２３図では、メモリ回路を３つに、演算回路を２
つに分けたが、これらはチップ上に混在して構成しても
良いことはもちろんである。以上述べたように本実施例
によればニューロン出力値と期待値との距離を高速に求
めることができる。このため、階層型ネットワークを用
いたパターン託Ｒなどのようにニューロン出力値と各期
待値とを比較してその距離を求める必要がある場合に情
報処理速度を上げることができる。

第２４図は、第２３図の演算回路１２ａの１実施例であ
り、出力層のニューロン出力値と期待値を比較してその
ハミング距離の大きさを計算する回路である。以下では
第２３図のメモリ回路ＴＧ。

Ａは第１１図、第１６図あるいは第１８図のようにデー
タ線対にメモリセルの情報が読出される形式のものであ
り、それぞれアレーＴＧ、アレーＡを有しているとする
。第２４図は、比較器ＣＭＰと比較結果変換回路ＣＯＭ
ＰＯＵＴより構成されている。比較器ＣＭＰは並列に設
けた比較回路ＣＭＰＵと負荷抵抗ＲＣＭＰより構成され
比較結果変換回路ＣＯＭＰＯＵＴは差動アンプＡＭＰ２
１１．　ＡＭＰ２１２゜・・・、　ＡＮＰ２１Ｚより構
成されている。比較器ＣＭＰには、アレーＴＧのデータ
線ＤＴＧ　１　、　／ＤＴＧ　１　。

・・・ＨＤ　Ｔ　Ｇ　ｒ　ｔ　／　Ｄ　Ｔ　Ｇ　ｒおよ
びアレーＡのデータ線ＤＡＩ、／ＤＡＩ、−，ＤＡｒ、
／ＤＡｒが入力されている。ここでｒは１本のワード線
上のメモリセルの数で、ニューロン出力値を１ビツトで
表すときにはｎｙＰビットで表すときにはｎとＰの積に
等しい。本実施例によれば、アレーＴＧのデータ！！Ｄ
ＴＧＩ、／ＤＴＧＩ、−、ＤＴＧｒ。

／ＤＴＧｒ上に読出した情報とアレーＡのデータ線Ｄ　
Ａ　１　、　／　Ｄ　Ａ　１　、　”・、　Ｄ　Ａ　ｒ
　、　／　Ｄ　Ａ　ｒ上に読出した情報とのハミング距
離を計算することができる。本実施例の動作は、以下の
通りである。

まず、あらかじめクリア信号ΦＣを立ち上げＭＯＳトラ
ンジスタＱ２１６をオンさせて、ＭＯＳトランジスタＱ
２１５のゲート電圧を立ち下げておく。

クリア信号ΦＣを立ち下げてデータ線に信号が読出され
データ線電位がＶｃｃあるいはＯＶになった後、比較器
起動信号ΦＣＭＰにより比較器を起動する。すると比較
回路に入力されたデータ線（ＤＴＧＩ、ＤＡＩ）、（Ｄ
ＴＧ２．ＤＡ２）。

・・・、（ＤＴＧｒ、ＤＡｒ）のそれぞれの組で排他的
オア（ＥＸＣＬＵＳＩＶＥ　−ＯＲ）の論理がとられる
。その結果、アレーＴＧ側のデータ線とＡ側のデータ線
とで情報が一致している場合にはＭｏＳトランジスタＱ
２１５のゲートが低電位のままであるが、一致していな
い場合には高電位に遷移する。このため、アレーＴＧ側
のデータ線とＡ側のデータ線とで情報が一致しない比較
器ＣＭ　、Ｐ、　ＵではＭＯＳトランジスタＱ２１５が
オンする。この結果、データ線（ＤＴＧＩ、ＤＡＩ）、
（ＤＴＧ２．ＤＡ２）。

・・・、（Ｄ　Ｔ　Ｇ　ｒ　、　Ｄ　Ａ　ｒ　）のそれ
ぞれの組で不一致の数が多いほど電源ＶＣＭＰから負荷
抵抗ＲＣ？４Ｐを通じて接地電極へ向けて電流が流れる
。そのため、比較線ＣＯの電位は一致しないものが多い
ほど低下する。比較線ＣＯは、比較結果変換回路ＣＯＭ
ＰＯＵＴに設けられた差動アンプＡＭＰ２１１．　ＡＭ
Ｐ２１２゜・・、ＡＭＰ２１Ｚに接続されている。これ
らの差動アンプの参照電圧ＶＲＣＩ、ＶＲＣ２，・・Ｖ
ＲＣＺを適当な値に設定しておけば、比較線ＣＯの電位
低下が大きいほど比較結果出力線ＤＣＯＩ。

ＤＣＯＺ、・・・、ＤＣＯＺのうち高電位になる本数が
増加する。すなわち、比較結果変換回路ＣＯＭＰＯＵＴ
は１種のＡＤ変換器として動作する。このように第２４
図の実施例によればアレーＴＧの複数のデータ線に読出
された情報とアレーＡの複数のデータ線に読出された情
報を比較してそのハミング距離の大きさを求めることが
できる。したがって、アレーＴＧとアレーＡで１本ずつ
ワード線を選択すれば１選択されたワード線上のメモリ
セルに記憶された情報同士を比較することができる。こ
のため各期待値をそれぞれアレーＴＧのワード線上のメ
モリセルに記憶しておけば、アレーＡの１本のワード線
上のメモリセルに記憶されたニューロン出力値と比較し
て、そのニューロン出力値がどの期待値にどのくらい近
いのか知ることができる。したがって、得られたニュー
ロン出力値がクラスに対応する期待値と一致しないよう
な場合でも高速にどのクラスにどのくらい近いのが知る
ことができる。

なお、第２４図の実施例において比較結果出力線に出力
された結果は、比較の度に入出力回路を通じてチップ外
へ出力してもよいし、メモリ回路ＴＧの容量を期待値を
記憶するのに必要な量よりも大きくとっておき、そこに
書き込んでおいて、まとめて出力してもよい。

最後にレジスタを用いて本発明の装置をさらに高速化す
る実施例について述べる。これまで述べてきたように本
発明では、ニューロン出力値を計算するのに、必要なデ
ータをメモリ回路から続出し、演算回路でニューロン出
力値を求め、その結果を再びメモリ回路へ書き込むとい
う動作を続ける。すなわち、１回の演算モードにューロ
ン出力値演算モード）サイクルは読出し動作と書込み動
作よりなり、書込み動作中には演算回路が休止している
ことになる。したがって、演算回路が休止している時間
を短くすれば、より一層の演算モードの高速化を図るこ
とができる。第２５図は上記の観点に基づいて演算モー
ドの高速化を図ったｌ実施例である。第２５図は第７図
の実施例にレジスタ１４とスイッチＳＷ１．・・・、Ｓ
Ｗｒとを付加したものである。第２５図の実施例によれ
ば第５図のアルゴリズムを用いて高速にニューロ出力値
を計算することが８来る。以下では、階層型のネットワ
ークを例にとって説明を行うが、ホップフィールド型ネ
ットワークにおいても同様の効果がある。第２５図の実
施例では第Ｓ層の第１ニユーロンの出力値を計算するに
のに、メモリセルアレーＡのワード線を１本立ち上げて
第ｓ−１層のニューロン出力値を読出し、スイッチＳＷ
Ｉ、・・・ＳＷｒを閉じて第ｓ−１層のニューロン出力
値をレジスタ１４に書き込み、スイッチＳＷＩ、・・・
ＳＷｒを開ける。次に、メモリセルアレーＢのワード線
を１本立ち上げて第ｓ−１層のニューロンと第５層の第
１ニユーロンの間の結合重み値を読出すとともにレジス
タ１４より、第ｓ−１層のニューロン出力値を読出して
演算回路１２により第Ｓ層の第１ニユーロンの出力値を
計算する。その結果をメモリセルアレーＡへ書き込む。

このとき同時にセルアレーＢのワード線を１本立ち上げ
て第ｓ　−１層のニューロンと第５Ｍの第２ニユーロン
の間の結合重み値を読出すとともにレジスタ１４より、
第ｓ−１層のニューロン出力値を読出して演演算回路１
２により第Ｓ層の第２ニユーロンの出力値を計算する。

以下同様にして第Ｓ層のニューロンの出力値を計算して
いく。次に第Ｓ＋１層のニューロンの出力値を計算する
にはメモリセルアレーＡのワード線を１本立ち上げて先
に求めた第Ｓ層のニューロン出力値を読出し、スイッチ
ＳＷＩ、・・・、ＳＷｒを閉じて第Ｓ層のニューロン出
力値をレジスタ１４に書き込み、以下同様にして計算を
進める。以上のように本実施例によれば、レジスタ１４
を設けたことにより書込みと読出しとを同時に行う事が
できるため、高速の動作を実現する。

これまでは、本発明を用いておもにニューロン出力値を
計算する方法について説明し、必要な結合重み値は、す
でに与えられていると仮定してきた。必要な結合重み値
は、課題によっては、初めから容易に与えられることも
あるが、所謂学習によって求める必要のあることもある
。たとえば、パックプロパゲーションとよばれる階層型
のネットワークのための学習では、あらかじめ入力層の
ニューロン出力値（テストパターン）をいくつか用意し
ておき、そのテストパターンに対して所望のニューロン
出力値が出力層に得られるような結合重み値を求めるこ
とができる。また、ニューラルネットワーク情報処理（
産業図書、麻生英樹著）第２章に記載されているように
ホップフィールド型のネットワークでもニューロン出力
値の平衡状態が所望の状態になるように結合重み値を設
定する学習アルゴリズムが知られている。そのような学
習を本発明に応用するには、次のように３つの方法があ
る。第１の方法は、外部の計算機を用いて学習を行い、
得られた結合重み値を本発明による情報処理装置に書込
む方法である。この方法では、学習をソフトウェアで行
うこともできるため学習アルゴリズムの変更が容易にで
きるという利点があるが、学習速度を上げることが困難
である。

第２の方法は本発明による装置の演算回路に学習のため
の演算機能を設けておき、オンチップで学習を行う方法
である。この方法では、高速に学習を行うことができる
が学習に必要な回路をすべて同一チップ上に集積するの
は困難な場合がある。

第３の方法は第１の方法と第２の方法の中間的なもので
、学習に必要な演算の１部を本発明の装置で行い、外部
の計算機で学習に必要な演算の残りの部分を行う方法で
ある。この方法は、第１の方法に比べて学習速度を上げ
ることができ、本発明の装置の演算回路を単純に構成で
きるという利点がある、以下では、この第３の方法につ
いて具体的に述べる。なお、学習法としては階層型ネッ
トワークにおけるパックプロパゲーション法を例に採る
。パックプロパゲーション法（以下、ＢＰ法と記す、）
では、以下の式にしたがって結合重み値の更新を行う。

ＴｓｉＪ＝ＴＳＩ　Ｊ＋　ｔ　ｄ　ＪｓＶｉｓ−１−（
１）ｄ　Ｊｍ＝（ｔ　Ｊ−ＶＪＩＩ）　ｇ　’　（Ｕａ
−）　　　　　−（２）ｄ　Ｊ５＝　ｇ　’　（ＵＪｉ
）Σｔ（Ｔ”’ｔ　Ｊｄｉｓ＋、）−（３）（ｓ＝ｍ−
１，・・・、２） ここで、εは小さな正の数、を−は最終層のニューロン
出力値７口の目標値　、／は非線形関数ｇの導関数、Ｕ
Ｊ５は第Ｓ層第ｊニューロンにおいて非線形関数ｇを通
す前の量で次式で定義される。

ＵＪＳ＝　　Σ　ｔ　（Ｔ　’−’　Ｊ　　Ｉ　Ｖ　１
ｓ−ｌ＋　θＪＳ）　　　　−（４）結合重み値の更新
は、学習用の入力データ毎に上記の式（１）から（４）
により更新量を求めて更新してもよいし、学習用の入力
データのすべてについて更新量を総計してそれを用いて
更新を行ってもよい。また、（１）式に慣性項といわれ
る次項を足して更新を行ってもよい。

μΔＴｓｌＪ’　　　　　　　　　　　　　　・・・（
５）ここで、μは小さな正の定数、ΔＴ’ｌＪ’は前回
の更新時の修正量である。学習は、最終層のニューロン
出力値とその目標値との誤差が十分小さくなるまで続け
る。

上記の学習は以下のようにして第２３図に示した実施例
と外部の計算機とにより実行することができる。以下で
は、入力データすべての更新量の総計により更新する場
合にについて説明するが、入力データ毎に結合重みを更
新する場合についてについても同様である。なお、以下
では、３層のネットワークについて説明を行うが３層以
上の場合についても同様である。

まず、すべての学習用の入力データとその目標値とをそ
れぞれメモリ回路ＡならびにＴＧへ書込む。次に絶対値
の小さな乱数を結合重み値の初期値としてメモリ回路Ｂ
へ書込む。さらに、第１の入力データを第１層のニュー
ロン出力値とみなして演算回路１２ｂへ読出し、同じに
第１層、第２層間の結合重み値をメモリ回路Ｂより演算
回路１２ｂへ読出す、前記した方法により並列に乗算を
行い第２層のニューロン出力値を計算してメモリ回路Ａ
へ書き込む。続けて第３層のニューロン出力値を計算し
メモリ回路Ａへ書き込む。上記の計算を学習用入力デー
タ全てについて行なって、各入力データに対する各層の
ニューロン出力値、各入力データに対する期待値、結合
重み値をチップ外のメモリへ読出す。次に外部の計算機
で結合重み値の更新量を計算し、更新した結合重み値を
本発明による装置のメモリ回路Ｂへ書き込む。なお、（
２）　、　（３）式におけるｇ’（ＵＪｓ）についても
本発明による装置内でニューロン出力値ＶＪＳを計算す
る際に非線形関数回路りに入力するＵＪ５より計算して
もよいしあるいは外部計算機でＶ　Ｊ　Ｓより逆にｇ’
　（ｕｊｓ）＝ｇ’　（ｇ−”（Ｖａｓ））　　　　　
・（６）として計算することもできる。また、（５）式
の慣性工を加えるには、更新の度に結合重み値の修正量
をチップ外のメモリに蓄えておいて新しく求めた修正量
に（５）式に従って加算すればよい。

上記の更新を繰返し行なって学習を進めることができる
。学習の進み具合を知るには、各入力データに対する最
終層のニューロン出力値とその期待値との距離を目安に
することができる。この距離は第２４図の実施例を用い
れば高速に計算することができる。このため、学習時に
その進行具合を確かめることが容易にできる。

以上説明したように、本発明によれば、学習用の入力デ
ータに対するニューロン出力値の計算を本発明の装置内
で高速に行なうことができる。また、本発明ではメモリ
回路ＴＧ、Ａ、Ｂにメモリアレーよりなるメモリ装置を
用いているので。すべての入力データ９期待値、前層の
ニューロン出力値などを容易に収納できまた、ワード線
を立ち上げることにより並列に多数のビットを読みだす
ことができる。このため、外部メモリへの情報の転送を
まとめて高速に行なうことができる。このため、学習を
高速に進めることができる。

本発明ではメモリ回路の容量を十分に大きくしておけば
、ニューロン数を用途に応じて変えることも容易にでき
る。この場合、ニューロン数を大きく変えると非線形関
数回路のダイナミックレンジを変える必要が生じること
がある。この場合には特性の異なる非線形関数回路を複
数設けて切り替えて使ったり、あるいは、非線形関数回
路内のアンプの参照電圧を切り替えて使うこともできる
。

階層型ネットワークで層ごとのニューロン数が異なる場
合にも層ごとに非線形関数回路のダイナミックレンジを
変える必要が生じることがある。この場合にも同様の方
法で対処できる。

なお、これまでは、主にいわゆる１トランジスタ１キヤ
パシタのＤＲＡＭセルや第１６図（ａ）。

（ｂ）に示したようなＳＲＡＭセルを用いた実施例を示
したが、その他のメモリセルを本発明に用いることもも
ちろんできる。たとえば、結合重み値を記憶する部分な
どは情報処理時には頻繁に書き替える必要がないので不
揮発性のメモリセルを、ニューロン出力値を記憶する部
分にはＤＲＡＭセルやＳＲＡＭセルを用いるなどメモリ
の内容によりセルの種類を変えることもできる。

１トランジスタ１キヤパシタのＤＲＡＭセルなどの微小
なメモリセルを用いてメモリ回路を高集積化すると、微
小な配線を用いるためにときには１部のメモリセルが動
作しないことがある。ニューラルネットワークは、結合
重み値を多少変えても機能への影響が少ないという特長
を持つが、ニューロン出力値を蓄えるメモリセルが動作
しないような場合には情報処理に支障を来すことがある
。

このような問題を避けるには１通常の高集積半導体メモ
リで使われているような冗長ワード線あるいは、データ
線を設けておいて欠陥のあるセルを使わないようにする
こともできる。

また、第１４図（ａ）　、　　（ｅ）　、　　（ｆ）　
、第１８図（ｄ）などでは、バイポーラトランジスタを
用いたがＣＭＯ５でも実現できる。さらに、バイポーラ
トランジスタ、ＭＯＳトランジスタに限らず本発明を他
のデバイスで実現してもよいことはもちろんである。

これまで、主に階層型とホップフィールド型のネットワ
ークを例にとり説明してきたが、本発明はこれらに限定
されることなく様々な型のネットワークによるニューラ
ルネットワーク情報処理に適用できる。たとえば、ボル
ツマンマシンのようなニューロン出力値の更新が確率的
に行なわれるようなネットワークも実現できる。ニュー
ラルネットワーク情報処理（産業図書、麻生英樹著）第
２７ページに説明されているように、ボルツマンマシン
は、ネットワークの形状はホップフィールド型のネット
ワークと同様であるが、ニューロン出力値（０または１
）が、ニューロンに入力されるニューロン出力値と結合
重み値の他の積和によって一意に決まらず、確率的に決
まるという特長を持っている。ニューロン出力値が１と
なる確率Ｐは、 Ｐ＝１／（１＋ｅｘｐ（−Ｉ／Ｔ）） と表せられる。ここで、工はニューロンに入力されるニ
ューロン出力値と結合重み値の積和で、Ｔは温度とよば
れるパラメータである。本発明により上記のボルツマン
マシンは容易に実現できる。

例えば、第１８図（ｄ）に示した非線形回路りの参照電
圧ＶＲｘを定常値でなく積和出力線Ｎｏの変動範囲で時
間的に変化させればよい、このようにするとニューロン
出力値を確率的に決めることができる。変化の速度を変
えることにより温度Ｔを変化するのと同様の効果を得る
ことができる。

さらに、第８図（ａ）と第２０図（ａ）、（ｂ）とを較
べると明らかなようにメモリ回路の容量が十分あればニ
ューロン出力値、結合重み値を記憶するメモリセルのア
ドレスを変更するだけで様々な型のネットワークを同一
の装置で実現できる。

したがって、本発明は、高い汎用性を持つ。

以上では、ニューラルネットワーク情報処理への応用に
ついて説明したが１本発明はそれに限定されることはな
く、同様の演算機能を持つ多数の演算要素をネットワー
ク状に接続して情報処理を行なうような装置ならば高い
集積度で実現することができることはもちろんである。

これまで示した実施例においては、演算回路としてアナ
ログ演算を行なうものを主に示してきた。

アナログ演算回路は、高速で５回路規模も小さいという
利点をもつ、しかし、本発明は、これに限定されること
なく、発明の主旨を変えることなくデジタル演算回路を
用いることもできる。その場合にはデジタル演算回路の
ため、高精度の計算を行なうことができる。

〔発明の効果〕

以上述べてきたように、本発明によればメモリ回路と演
算回路を組合せ、演算回路により並列演算を行なうこと
により、比較的単純な演算を行なう演算器が多数ネット
ワーク状に接続されたニューラルネットワークなどの並
列分散処理装置と同様な情報処理を行なう装置を速度の
犠牲を大きくすることなく、高集積に実現することがで
きる。

【図面の簡単な説明】

第１図は本発明による情報処理装置を半導体チップ上に
実現する場合の構成を示した１実施例。 第２図（ａ）、（ｂ）は、階層型ニューラルネットワー
クの原理を示した図。 第２図（Ｃ）、（ｄ）は、非線形関数回路りの特性の例
を示した図。 第３図（ａ）、（ｂ）は、ホップフィールド型ニューラ
ルネットワークの原理を示した図。 第４図は複数のチップを用いた従来のニューラルネット
ワーク情報処理装置の例。 第５図（ａ）、（ｂ）は、それぞれ階層型ニューラルネ
ットワークとホップフィールド型ニューラルネットワー
クについて演算を並列に行なう方法の１実施例。 第６図（ａ）、（ｂ）は、それぞれ階層型ニューラルネ
ットワークとホップフィールド型ニューラルネットワー
クについて演算を並列に行なう方法の第２の実施例。 第７図（ａ）は１本のワード線を選択することにより多
数の情報をデータ線上に読み出すことのできるメモリア
レーを用いて本発明による情報処理装置を実現する場合
の構成を示した１実施例。 第７図（ｂ）は１本のワード線を選択することにより多
数の情報をデータ線上に読み出すことのできるメモリア
レーを２つ用いて本発明による情報処理装置を実現する
場合の構成を示した１実施例。 第８図（ａ）は第７図（ｂ）の実施例を用いて階層型ニ
ューラルネットワークを実現する場合のニューロン出力
値、結合重み値とメモリセルとの対応関係を示した１実
施例でニューロン出力値。 結合重み値を１つづつのメモリセルで表現した実施例。 第８図（ｂ）は第８図（ａ）の実施例においてメモリセ
ルに２値のものを用いる場合に好適な非線形関数回路り
の特性を示した１実施例。 第８図（Ｃ）は第８図（ａ）の実施例においてメモリセ
ルに４値のものを用いる場合に好適な非線形関数回路り
の特性を示した１実施例。 第８図（ｄ）は第８図（ａ）の実施例において演算モー
ドでのワード線およびメモリセルの選択の方法を示した
１実施例。 第９図（ａ）は第７図（ｂ）の実施例を用いて階層型ニ
ューラルネットワークを実現する場合のニューロン出力
値、結合重み値とメモリセルとの対応関係を示した第２
の実施例でありニューロン出力値、結合重み値を複数の
メモリセルで表現した実施例。 第９図（ｂ）は第９図（ａ）の実施例においてニューロ
ン出力値、結合重み値を複数のメモリセルで等測的に表
現する場合に好適な非線形関数回路りの特性を示した１
実施例。 第９図（ｃ）は非線形関数回路りにシグモイド状の特性
を持たせるための第９図（ｂ）のＸｔ　ｈ　１゜・・・
、Ｘｔｈｐの設定法を示した１実施例。 第１０図（ａ）は第７図（ｂ）の実施例を用いて階層型
ニューラルネットワークを実現する場合のニューロン出
力値、結合重み値とメモリセルとの対応関係を示した第
３の実施例でありニューロン出力値、結合重み値を複数
のメモリセルで２進表示により表現した実施例。 第１０図（ｂ）は第１０図（、）の実施例においてニュ
ーロン出力値、結合重み値を複数のメモリセルで２進表
示により表現した場合に好適な非線形関数回路りの特性
を示した１実施例。 第１１図は第８図（ａ）の実施例においてメモリセルに
ＤＲＡＭセルを用いた場合の１実施例。 第１２図は動作モードと外部信号との関係を示した１実
施例。 第１３図（ａ）は第１１図の実施例のメモリモードにお
ける動作波形の１実施例。 第１３図（ｂ）は第１１図の実施例の演算モードにおけ
る動作波形の１実施例。 第１４図（、）は第１１図などの実施例に好適な非線形
関数回路りの１実施例。 第１４図（ｂ）は第１４図（ａ）の非線形関数回路りの
特性を示した１実施例。 第１４図（ｃ）は第１１図などの実施例に好適な入出力
回路ＩＯの１実施例。 第１４図（ｃｉ）は第１４図（ａ）の非線形関数回路と
第１４図（ｃ）の書き込み回路を用いた場合の積和出力
線Ｎｏと書込み線ＩＡの電位関係を示した１実施例。 第１４図（ｅ）は第１１図などの実施例に好適な読出し
回路ＯＵＴの１実施例。 第１４図（ｆ）は第１４図（ｅ）の読出し回路ＯＵＴの
実施例に好適な読出しラッチ回路０ＵＴＬＴの１実施例
。 第１５図は、第１１図内の乗算回路ＭＴの第２の実施例
。 第１６図（ａ）、（ｂ）はＳＲＡＭセルの例。 第１６図（ｃ）は第８図（ａ）の実施例においてメモリ
セルに第１６図（ａ）、（ｂ）などのＳＲＡＭセルを用
いた場合の１実施例。 第１７図（ａ）は第１６図（Ｃ）の実施例のメモリモー
ドにおける動作波形の１実施例。 第１７図（ｂ）は第１６図（Ｃ）の実施例の演算モード
における動作波形の１実施例。 第１８図（ａ）は第９図（ａ）の実施例あるいは第１０
図（ａ）の実施例においてメモリセルにＤＲＡＭセルを
用いた場合の１実施例。 第１８図（ｂ）は第１８図（ａ）の実施例におけるブロ
ックＢＬＫＩ構成の１実施例。 第１８図（ｃ）は第１８図（ａ）の実施例におけるブロ
ックＢＬＫ２と非線形関数回路ＤＩＯの構成の１実施例
。 第１８図（ｄ）は第１８図（ｃ）の実施例における非線
形関数回路Ｄ１０を構成する個々の非線形関数回路ｏ　
ｓ　ｘ　（ｘ　＝　１　ｔ　２　＋　・・・ｒ　ｐ　）
の構成の１実施例。 第１８図（ｅ）は第１８図（ｃ）の実施例における非線
形関数回路０１０を構成する個々の非線形関数回路Ｄｓ
　ｘ　（ｘ　＝　１ｔ　２　！　・・・＋　ｐ）の特性
の１実施例。 第１９図（ａ）は第１８図（ａ）の実施例においてニュ
ーロン出力値、結合重み値を複数のメモリセルで２進表
示により表現した場合に好適な非線形関数回路ＤＩＯの
構成を示す１実施例。 第１９図（ｂ）は第１８図（ａ）の実施例における非線
形関数回路ＤＳｘ（ｘ＝１．２．　・＝、ｚ）の特性の
１実施例。 第１９図（ｃ）は第１９図（ａ）の実施例におけるエン
コーダの特性の１実施例。 第１９図（ｄ）は第１９図（、）の実施例におけるエン
コーダの構成の１実施例。 第２ｏ図（ａ）は第７図（ｂ）の実施例を用いて非同期
的なホップフィールド型ニューラルネットワークを実現
する場合のニューロン出力値、結合重み値とメモリセル
との対応関係を示した１実施例で、ニューロン出力値、
結合重み値を１つづつのメモリセルで表現した実施例。 第２０図（ｂ）は第７図（ｂ）の実施例を用いて同期的
なホップフィールド型ニューラルネットワークを実現す
る場合のニューロン出力値、結合重み値とメモリセルと
の対応関係を示した１実施例で、ニューロン出力値、結
合重み値を１つづつのメモリセルで表現した実施例。 第２１図（ａ）は第７図（ｂ）の実施例を用いて非同期
的なホップフィールド型ニューラルネットワークを実現
する場合のニューロン出力値、結合重み値とメモリセル
との対応関係を示した１実施例で、二ニーロン出力値、
結合重み値を複数のメモリセルで表現した実施例。 第２１図（ｂ）は第７図（ｂ）の実施例を用いて同期的
なホップフィールド型ニューラルネットワークを実現す
る場合のニューロン出力値、結合重み値とメモリセルと
の対応関係を示した１実施例で、ニューロン高力値、結
合重み値を複数のメモリセルで表現した実施例。 第２２図は符号ビット用いてニューロン出力値。 結合重み値に正負両方の値を取ることができるようにす
る場合の１実施例。 第２３図はニューロン出力値と期待値の比較を行なう機
能を本発明による装置に持たせた場合の１実施例。 第２４図はメモリセルアレーＴＧとメモリセルアレーＡ
の複数のデータ線対に読出された情報を比較してその一
致の程度を計算する比較回路の１実施例。 第２５図はレジスタを設けてニューロン出力値の更新の
高速化を図った１実施例。 Ａ、Ｂ、ＴＧ・・・メモリ回路、Ｄ・・・非線形関数回
路、１２．１２ａ、１２ｂ・・・演算回路、○ＵＴ・・
・読みだし回路、ｍｌ、ｍ２．・・・・・・乗算器、ａ
ｌ、ａ２゜・・・・・・加算器、ｂｌ、ｂ２．・・・・
・・加算器、ｃｌ。 ｅ２．・・・・・・加算器、ｃｌ’　、ｃ２’　、・・
・・・・加算器。 ＳＷｌ、ＳＷ２．・・・・スイッチ、ＷＲ・・・書き込
み回路、ＮＥ・・・演算回路制御信号、ＶＩＳ、Ｖｌ・
・・ニューロン出力値、ＴＩＪＩＴ１〜・・・結合重み
値、ＰＲ・・・プリチャージ回路、ＳＡ・・センスアン
プ、Ｒ５Ａ・・・読み出しセンスアンプ、ＷＳ・・・書
き込みスイッチ、ＭＴ・・・乗算器、Ｌ、ＡＴ・・・ラ
ッチ回路、０ＵＴＬＴ・・・読み畠しラッチ回路、Ｎｏ
・・・積和出力線、ＮＶ・・・非線形関数回路高力線、
Ｗ　Ａ　ｉ　。 Ｗ　Ｂ　ｉ＋ｊ・・・ワード線、ＤＡｉ、／ＤＡｉ・・
・データ線、ＤＢｉ＋／ＤＢｊ・・・データ線、ＤＴＧ
ｉ、／ＤＴＧｉ・・・データ線、ＩＡ、ＩＡ・・・書込
み線、ＩＢ、ＩＢ・・・書込み線、ＯＡ、ＯＡ・・・読
み出し線、ＯＢ、ＯＢ・・・読み呂し線、ＤＩ・・書込
みデータ、第１図 ＼や、７ア 第２図 （Ｃ） ｇ（ｘ） ｔｈ （ｄ） ｇ（ｘ） 築３回 （（１） ｖｒ　　ニーロンぷ７７（連 Ｔｊｉ　　起令′ｔ１シ礒 第４図 ＮＰ アナログニューロブロセツブ 第５図 （ａ＞ 〔 第７　図 （幻 Ｚ　７図 （ｂ） Ａ、Ｂ　　　７七リセＪしアレー １１４．１３８　　了し−かＨ師日丁番第８図 Ｘｌ ａ ｂ ２ 第８図 （ｄ） ＶＪ９　（２） （σ） カ９　図 （ｂ） うｌ（Ｘン ラ２（ｘ） 第９図 （Ｃ） に ’ｊ２（Ｘ） Ｘノ ）ｒ〜 Ｘノ ２ ｚ 第１２図 Ｖとと ％＋３　図 （Ｉｌ） ■ ４　口 ＠） Ｋ ｔｉｅ　ｔｖ） （ｄ＞ Ｖ！？ Ｎρｍ ￥、　＋４面 ＜ｅ） 會 一−，，，−一、、−−，−−−−−−−ＪＢＩＦσＩ
Ｔ 水７］Ｊ’ｒ７フ７ 第１５図 Ａｉ Ａｉ Ｂｉ Ｂｉ 第１６図 （ａ） ＣＳ （） ｕ　　（ｂ　　　＊　　Ｓ　　　ｏ　　Ｃｓ　　　Ｇ　
　Ｓ　　　ｓ　ン　　　リ　（（Ｓ　　≦ ζ　　　−＞　　　（≦　　　５ 第１８図 （Ｃ） ｆ３　　（ｇ　　［２］ （ε） 第１８図 （ｄ） 第１９図 （ａ） ＩＯ 第２０図 （ａ） （ｂ） エンコーク ￥７２１（２１ （（２） 第２２図 ＥＯＲ１、、、、ＥＯＲｎ排他的オア 第２３図 チップ 第２４図 ＭＰ ＭＰＵ 比較回路 比較器 比較線

Claims (1)

1. 【特許請求の範囲】 １、情報を記憶するメモリ回路と、該メモリ回路に情報
   を書き込み、及び該メモリ回路より情報を読出す動作の
   少なくとも一方を行なう入出力回路と、上記メモリ回路
   に記憶されている情報を用いて演算を行なう演算回路と
   、上記メモリ回路、上記入出力回路、及び上記演算回路
   の動作を制御するための制御回路とを有する情報処理装
   置において、上記演算回路は上記メモリ回路に記憶され
   ているニューロンの出力値およびニューロン間の結合重
   み値を用いてニューロン出力値の更新値を計算する機能
   ならびに上記メモリ回路内に記憶されたニューロン出力
   値の期待値と得られたニューロン出力値との距離を計算
   する機能を有することを特徴とする情報処理装置。 ２、特許請求の範囲第１項記載の情報処理装置において
   、上記メモリ回路に複数の性質の異なる入力データを記
   憶したことを特徴とする情報処理装置。 ３、特許請求の範囲第２項記載の情報処理装置において
   、上記メモリ回路にニューロンの出力値の期待値を記憶
   したことを特徴とする情報処理装置。 ４、特許請求の範囲第２項又は第３項記載の情報処理装
   置において、上記メモリ回路は複数のブロックより構成
   され、第１のブロックにニューロンの出力値、第２のブ
   ロックにニューロン間の結合重み値を記憶したことを特
   徴とする情報処理装置。 ５、特許請求の範囲第４項記載の情報処理装置において
   、上記メモリ回路はさらに第３のブロックを有し、該第
   ３のブロックに上記ニューロンの出力値の期待値を記憶
   したことを特徴とする情報処理装置。 ６、上記ニューロンの出力値およびニューロン間の結合
   重み値の少なくとも何れか一方を複数のビットを用いて
   上記メモリ回路に記憶したことを特徴とする特許請求の
   範囲第１項乃至第５項の何れかに記載の情報処理装置。 ７、特許請求の範囲第６項記載の情報処理装置において
   、ニューロンの出力値あるいはニューロン間の結合重み
   値を表す複数のビットの１部は上記ニューロンの出力値
   およびニューロン間の結合重み値の符号を表すために用
   いたことを特徴とする情報処理装置。 ８、特許請求の範囲第１項乃至第７項の何れかに記載の
   情報処理装置において、上記メモリ回路は、１つのトラ
   ンジスタと１つのキャパシタよりなるメモリセルを含ん
   で構成されたことを特徴とする情報処理装置。 ９、情報を記憶するメモリ回路と、該メモリ回路に情報
   を書き込み、及び該メモリ回路より情報を読出す動作の
   少なくとも一方の入出力回路と、上記メモリ回路に記憶
   されている情報を用いて演算を行なう演算回路と、上記
   メモリ回路、上記入出力回路、及び上記演算回路の動作
   を制御するための制御回路とを有する情報処理装置にお
   いて、上記メモリ回路は複数のデータ線とそれと交わる
   ように配置した複数のワード線とそれらの所望の交差部
   に配置されたメモリセルを有したメモリセルアレーを含
   んで構成され、上記ワード線の少なくとも１本を選択す
   ることにより、上記異なる複数のメモリセルに記憶され
   ている情報を上記ワード線に交差する異なる複数のデー
   タ線に読みだすことが出来、上記演算回路は上記メモリ
   回路から読出された情報を用いてニューロン出力値の更
   新値を計算する機能を持ち、上記入出力回路は、上記更
   新値を上記メモリ回路に書き込む機能を有することを特
   徴とする情報処理装置。 １０、特許請求の範囲第９項記載の情報処理装置におい
   て、上記演算回路は上記メモリ回路内に記憶されたニュ
   ーロン出力値の期待値と得られたニューロン出力値との
   距離を計算する手段を有することを特徴とする情報処理
   装置。 １１、特許請求の範囲第９項記載の情報処理装置におい
   て、上記メモリセルアレーにニューロンの出力値および
   ニューロン間の結合重み値を記憶したことを特徴とする
   情報処理装置。 １２、特許請求の範囲第９項記載の情報処理装置におい
   て、上記メモリセルアレーに複数の性質の異なる入力デ
   ータを記憶したことを特徴とする情報処理装置。 １３、特許請求の範囲第９項に記載の情報処理装置にお
   いて、上記メモリセルアレーにニューロンの出力値の期
   待値を記憶したことを特徴とする情報処理装置。 １４、特許請求の範囲第９項又は第１０項に記載の情報
   処理装置において、上記メモリアレーは複数のブロック
   より構成され、第１のブロックにニューロンの出力値、
   第２のブロックにニューロン間の結合重み値を記憶した
   ことを特徴とする情報処理装置。 １５、ニューロンの出力値およびニューロン間の結合重
   み値の少なくとも何れか一方を複数のビットを用いて上
   記メモリ回路に記憶したことを特徴とする特許請求の範
   囲第９項乃至第１４項の何れかに記載の情報処理装置。 １６、特許請求の範囲第１５項に記載の情報処理装置に
   おいて、ニューロンの出力値あるいはニューロン間の結
   合重み値を表す複数のビットの１部は上記ニューロンの
   出力値およびニューロン間の結合重み値の符号を表すた
   めに用いたことを特徴とする情報処理装置。 １７、特許請求の範囲第９項乃至第１６項の何れかに記
   載の情報処理装置において、上記メモリセル回路は、１
   つのトランジスタと１つのキャパシタよりなるメモリセ
   ルを含んで構成されたことを特徴とする情報処理装置。 １８、特許請求の範囲第１４項記載の情報処理装置にお
   いて、上記メモリ回路はさらに第３のブロックを有し、
   該第３のブロックに上記ニューロンの出力値の期待値を
   記憶したことを特徴とする情報処理装置。