JPH0467259A - 情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、大規模かつ高速な並列分散処理を実現するた
めの情報処理装置に関するものである。

特にニューラルネットワークの原理を用いて情報処理を
行なう情報処理装置として有効に利用できる。

〔従来の技術〕

ニューロコンピユーテイングとよばれるニューラルネッ
トワークを用いた並列分散型情報処理（以下ニューラル
ネットワーク情報処理）は、コンプレックスシステムズ
１（１９８７年）第１４５頁から第１６８頁（Ｓｅｊｎ
ｏｗｓｋｉ、　Ｔ、　Ｊ、、　ａｎｄＲｏｓｅｎｂｅｒ
ｇ、　Ｃ，Ｒ，１９８７，Ｐａｒａｌｌｅｌ　ｎｅｔｔ
＋ｏｒｋｓｔｈａｔ　１ｅａｒｎ　ｔｏ　ｐｒｏｎｏｕ
ｎｃｅ　Ｅｎｇｌｉｓｈ　ｔｅｘｔ。

Ｃｏｍｐｌｅｘ　Ｓｙｓｔｅｍｓ　１．　ｐｐ、１４５
−１６８）あるいはニューラルネットワーク情報処理（
産業図書、麻生英樹著）などに述べられているように音
声あるいは画像処理などの分野において注目を集めてい
る。ニューラルネットワーク情報処理では、ネットワー
ク状に結合した多数のニューロンと呼ばれる演算要素が
、結合と呼ばれる伝達線を通じて情報をやすとすして高
度な情報処理を行なう。各々のニューロンでは他のニュ
ーロンから送られてきた情報にニューロン出力値）に対
して積あるいは和などの単純な演算が行なわれる。各々
のニューロン内の演算、さらには、異なるニューロンの
演算も並列に行なうことが可能なため、原理的には、高
速に情報処理を行なうことができる特長を持っている。

また、ネイチャー３２３−９、（１９８６年ａ）第５３
３頁から第５３５頁（Ｒｕａ＋ｅｌｈａｒｔ、　Ｄ。

Ｅ、、　Ｈｉｎｔｏｎ、　Ｇ、　Ｅ、、　ａｎｄ　Ｗｉ
ｌｌｉａｍｓ、　Ｒ，Ｊ、　１９８６ａ。

Ｌｅａｒｎｉｎｇ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　
ｂｙ　ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎｅｒｒｏｒｓ
、　Ｎａｔｕｒｅ　３２３−９．　ｐｐ、５３３−５３
６）　、あるいはニューラルネットワーク情報処理（産
業図書、麻生英樹著）第２章などに述べられているよう
に、望ましい情報処理を行なわせるためにニューロン同
志をつなぐ結合の重み値を設定するアルゴリズム（学習
）も提案されているため、目的に応した様様な情報処理
をさせることができる。

ニューラルネットワークの動作原理を２種類の代表的な
ネットワークである階層型ネットワークとホップフィー
ルド型ネットワークについて説明する。第３図（ａ）は
、階層型ネットワーク、第４図（ａ）は、ホップフィー
ルド型ネットワークの構造を示したものである。これら
は、どちらもニューロンと二ニーロン同土をつなぐ結合
から構成されている。ここでは、ニューロンという用語
を用いるが、場合によってはノード、あるいは演算要素
などと呼ばれることもある。結合の矢印の向きは、ニュ
ーロン出力値の伝わる方向を示している。階層型ネット
ワークは、第３図（ａ）に示したように、ニューロンが
複数の階層をなすように並び、入力層から出力層へ向か
う方向にのみニューロン出力値が伝わるものである。一
方、ホップフィールド型ネットワークは、第４図（ａ）
に示したように、任意の２つのニューロン間で両方向に
ニューロン出力値が伝わるものである。

第３図（ｂ）、第４図（ｂ）にニューロン内で行なわれ
る演算の原理を示した。演算の原理はどちらのネットワ
ークでも同様なので、第３図（ｂ）を用いて階層型ネッ
トワークについて説明する。

第３図（ｂ）は、Ｓ＋１番目の層内のＳ番目のニューロ
ンを拡大して示したものである。このニューロン内には
結合を通じて前層、すなわちＳ番目の層内のニューロン
の出力値　Ｖ工ＳＨＨＨＩ　Ｖ１５ｙ、、、Ｖｎｓｓが
入力される。ここで、ｎｓはＳ番目の層内のニューロン
の数を示している。ニューロン内では入力されたニュー
ロンの出力値ＶＬｎｙ、、ｒ　ｖｌｓｔ　、、、Ｖｎｓ
ｓと結合重み値ＴｓＪＩＩ＋　＋　、　Ｔ５Ｊ　ｔ、　
、　、　、　ＴｓＪ　　ｎ５との積Ｖ　□ｓ　Ｔ　ｓＪ
　１＋＊　＊　ｙ　ＶＩＳＴＳＪ　１．、、、Ｖｎｓ　
５ＴＳａ　　ｎｓ　が乗算機ＭＴにより計算される。つ
ぎに、これらの積と一θＪＳヤ、どの和を加算機ＡＤＤ
により計算する。

ここで、θｊｓヤ、はオフセットと呼ばれる量で場合に
よっては、省略してもよい。さらに、その結果を非線形
関数回路りに入力してニューロンの呂力値ｖＪｓヤ、を
得る。非線形関数回路りは第３図（Ｃ）あるいは、（ｄ
）に示したような特性を持ち、入力Ｘに対して出力ｇ　
（ｘ）を出力する。第３ｒＸＩ（Ｃ）は、入力Ｘがある
しきい値ｘｔｈを越えるか否かにより２値の出力ｇ１あ
るいはｇ２を出力する非線形関数の例であり、第３図（
ｄ）は、シグモイド関数を用いた例で連続的な出力を出
す例である。

非線形関数回路りには、必要に応じてこの他の特性を持
たせることもある。また、場合によっては、線形の特性
を持たせてもよい。

上記の演算の原理は、第４図（ｂ）に示したようにホッ
プフィールド型ネットワークでも同様である。ただし、
ホップフィールド型ネットワークでは、１つのニューロ
ンに自分自身を除くすへてのニューロンの出力値が入力
される。

第３図（ａ）、（ｂ）より判るように、階層型ネットワ
ークでは、まず、入力層のニューロンの出力値を設定し
、それをもとに次々に隠れ層のニューロンの出力値が更
新されて、最後に呂力層のニューロンの出力値が更新さ
れる。一方、第４図（、）のようにホップフィールド型
ネットワークでは、層というものがないため、それぞれ
のニューロンは、適当なタイミングで出力値を更新する
ことができる。このホップフィールド型ネットワークで
は、すべてのニューロン出力値の初期値を適当に与え、
ニューロン出力値が平衡状態となるまでニューロン出力
値の更新を続ける。ニューロンの出力値が平衡状態とな
るまでには、ふつう全てのニューロンについて出力値の
更新を何度か行なう必要がある。すべてのニューロンの
出力値を同時に更新するものを同期的なホップフィール
ド型ネットワーク、それぞれのニューロンが、勝手なタ
イミングで出力値を更新するものを非同期的なホップフ
ィールド型ネットワークと呼ぶ。

上記のようなニューラルネットワークの演算をハードウ
ェアで行う方法が最近盛んに研究されている。それらに
ついては、例えばアイ、イー、イ、イー、１９８８　カ
スタム　インテグレーテッド　サーキッツ　コンファレ
ンスのダイジェスト　　　１０．　　１　　　（ＤＩＧ
ＥＳＴ　　　　ＯＦ　　　　ＩＥＥＥ１９８８　　ＣＵ
ＳＴＯＭ　　ＩＮＴＥＧＵＲＡＴＥＤ　　ＣＩＲＣＵＩ
ＴＳ　　Ｃ０ＮＦＥＲＥＮＣＥ１０．１）などに説明さ
れている。

ハードウェアによりニューラルネットワークの原理を用
いた情報処理装置を実現するためには次のような点につ
いて留意しなくてはならない。まず、高度な処理を行う
ためにはできるだけ多くのニューロンを集積することが
必要となるので、大規模なネットワークを実現するため
にはニューロンを構成する素子の数を少なくすることが
必要となる。また、様々な用途に対応できる装置にする
ためには用途に応じて結合重みの値を容易に書き替えら
れることも必要となる。

上記の点のうち、特に構成素子の数を少なくすることに
適した方法がエレクトロニクス　レターズ第２３巻、ナ
ンバー２４　（１９８７年１１月１９日）第１３１３頁
、第２図（ＥＬＥＣＴＲＯＮＩＣ８ＬＥＴＴＥＲ５，１
９ｔｈ　　Ｎｏｖｅｍｂｅｒ　　１９８７．ｖｏｌ、２
３．　　ｎｏ。

２４、　　ｐｐ１３１３．Ｆｉｇ、１）に記載されてい
る。本従来例を第５図に示した。第５図において、キャ
パシタＣ４は結合重み値をその大きさに比例したアナロ
グ電圧として記憶するためのものである。ＭＯＳトラン
ジスタＭ４は、第３図（ｂ）、第４図（ｂ）における乗
算器ＭＴに相当するものである。ニューロン出力値に比
例した電圧ＶｉがＭ４のトレインに印加されると、Ｍ４
のソースに電流が流れる。この時の電流の大きさはＭ４
ゲート電圧すなわちキャパシタＣ４の電圧で制御できる
。したがって、Ｍ４は結合重み値とニューロン出力値に
対して乗算器として動作する。

結合重み値を書き替えるには端子Ｖ　ｃ　ｘに所望の電
圧を与えてスイッチＳＷ４を閉じればよい。破線で示し
たように、Ｍ４のソースに同様な回路を接続することに
よりアンプａｐ４にはニューロン出力値と結合重み値の
積和に比例した電流が入力される。したがって、電流電
圧変換型アンプａｐ４の特性を非線形関数ｇをオフセッ
トの分だけシフトした形に設定すれば、第５図の回路は
１つのニューロンを構成することになる。ネットワーク
を構成するには第５図の回路をさらに複数個接続すれば
よい。本実施例では乗算を１つのトランジスタＭ４によ
り行っているので構成素子数が少ないという利点がある
。

一方、結合重み値をデジタルメモリに蓄えて演算を行う
別の従来例がアイ、シー、エヌ、エヌ８７のダイジェス
ト第３巻、第５０１頁から第５１３頁（ＤＩＧＥＳＴ　
　ＯＦ　　ＩＳＴ　　ＩＣＮＮ８７　１−５０１−５１
３）に述べられている。

第６図は、上記文献の第６図に記載された回路で、マル
チプライング　デジタル　アナログ　コンバータ（ＭＤ
ＡＣ）と呼ばれる回路である。本回路は４ビットのデジ
タル値で表された結合重み値とニューロン出力値に相当
する電圧Ｖｉとの積を計算するものである。この回路を
多数結合することによりニューラルネットワークを構成
できる。

第６図において結合重みは、Ｂ４．Ｂ３．Ｂ２゜Ｂ１の
４ビットおよび符号ビットＥ／Ｉで表される。Ｂ４．Ｂ
３．Ｂ２．Ｂｌの４ビットは結合重みの絶対値を表し、
符号ビットＥ／Ｉは結合重みの符号を表す。各ビットは
高電位あるいは低電位の２値を与えるようなメモリセル
で構成される。

結合重み値が正のときには、符号ビットＥ／Ｉを高電位
に、結合重み値が負のときには、符号ビットＥ／Ｉを低
電位にする。

符号ビットＥ／Ｉが高電位のときには、Ｅで示したＭＯ
Ｓトランジスタ群がオンし、■で示したＭＯＳトランジ
スタ群がオフする。この状態では総和線Ｃに■１と結合
重み値の積に比例した電流が流れる。一方、Ｅ／Ｉが低
電位のときには、総和線／Ｃに■１と結合重み値の積に
比例した電流が流れる。同様な回路を多数接続するとＣ
と／Ｃとの電流差がニューロン出力値と結合重み値との
積の総和となる。これを検出して電圧に変換すればニュ
ーロン出力値に相当する８力電圧を得ることができる。

本従来例では、Ｂ４．Ｂ３．Ｂ２゜Ｂ１に接続されるＭ
ＯＳトランジスタの個数を変えることにより総和線とＶ
ｉとの間のインピーダンスを８：４：２：１としである
ので、結合重みは４ビットの２進法で表現できることに
なる。

〔発明が解決しようとする課題〕

しかし、第５図の実施例においては結合重み値をキャパ
シタにアナログ電圧値として蓄えているために次のよう
な問題が生じる。よく知られているようにキャパシタに
蓄えられた電荷は、時間と共にリークするので、それに
より電圧も低下する。

したがって、一定時間内に電圧を回復させるリフレッシ
ュ動作が必要となる。このことは、同様な回路であるア
イ、イー、イー、イー、１９８８カスタム　インテグレ
ーテッド　サーキッッ　コンファレンスのダイジェスト
　１０．１　　（ＤＩＧＥＳＴ　　ＯＦ　　ＩＥＥＥ　
　１９８８　　ＣＵＳＴ○Ｍ　　ＩＮＴＥＧＵＲＡＴＥ
Ｄ　　ＣＩＲＣＵＩＴＳＣＯＮＦＥＲＥＮＣＥ　　１０
．１）　の第５＠の回路についても指摘されている。し
かし、アナログ電圧をリフレッシュするのは容易ではな
い。

−例としてアイ、ニス、ニス、シー、シー９０のダイジ
ェスト　第１４２頁から第１４３頁（Ｄｉｇｅｓｔ　　
ｏｆ　　ＴｅｃｈｎｉｃａｌＰａｐｅｒｓ　　ｌ５ＳＣ
Ｃ９０，（Ｆｅｂ、１９９０）ｐｐ１４２−１４３）に
ＤＡコンバータとデジタルメモリを用いた方法が述べら
れている。しかし、すべての結合重みを記憶するだけの
デジタルメモリと多数のＤＡコンバータが必要であるた
め、回路規模が大きくなってしまう。

また、数百５数千というような多くのニューロンを集積
するためには第５図に示した回路を多数用いて相互に配
線する必要があるが上記文献には第５図に示した回路を
如何にして高集積に配置し、互いに配線するかというこ
とについては述べられていない。

一方、第６図に示した従来例によれば、結合重み値をデ
ジタル値で記憶できるため、結合重み値の書替え、読呂
しなどが容易にでき、上記のリフレッシュに伴う問題点
も解決できる。

しかし、第６図に示した従来例では第５図の従来例と比
較してニューロンの構成素子数が多くなるのでこれをそ
のまま配置して数百、数千というような多くのニューロ
ンを集積することは第５図の従来例よりもさらに困難と
なる。

また、大規模なネットワークを実現するには微細なトラ
ンジスタを用いる必要があるが、その場合にはアナログ
値ではもちろん、たとえ結合重み値をデジタル値で記憶
したとしてもノイズなどの影響で結合重み値の保持、書
替え、読出しなどを安定に行うことが困難になることが
予想される。

本発明が解決しようとする課題は、ニューラルネットワ
ーク情報処理装置において高集積化に適した装置を提供
することにある。特に微細なトランジスタで構成した場
合においても安定に結合重み値の保持、書替え、読出し
などを安定に行える構成を提供することにある。

〔課題を解決するための手段〕

上記課題を達成するために、本発明では、２つのトラン
ジスタより成るセルをアレー状に配置することにより装
置を構成し、上記セルは、内部のキャパシタに１ビット
の情報を２値の電圧として記憶するようにした。結合重
み値は複数のセルによりデジタル値で記憶する。また、
結合重み値の書込み、読出しおよびニューロン出力値と
結合重み値との積和計算をそれぞれ差動信号を用いて行
う。さらに、結合重み値の書込み、読出しを差動信号で
行うデータ線対ならびに上記積和計算を差動信号で行う
総和線対はそれぞれ、容量のアンバランスが小さくなる
ように対となる線に同じ数のセルを接続した。

〔作用〕

２つのトランジスタより成るセルをアレー状に配置する
ためレイアウトが容易で、占有面積を小さくできる。ま
た、結合重み値をデジタル値で記憶しているため記憶内
容の保持、読み書きなどが容易に小規模の回路でできる
。また、容量のアンバランスが小さい対線を用いて結合
重み値の読出し、書き込み、および上記の積和計算を行
うため、対線間で雑音の影響が等しい。したがって、信
号の検出時に雑音がキャンセルされる。このため、装置
を微小なトランジスタで構成しても安定な動作を行うこ
とができる。

これらのことより、本発明によれば大規模なニューラル
ネットワークを高集積に実現できる。

〔実施例〕

第１図（ａ）は本発明による装置の基本的な構成を示し
た実施例である。本実施例では、ニューロン出力値と結
合重み値の積和計算を行うことにより、ｎ個のニューロ
ンと結合を持つｍ個の二ニーロン出力値を並列に求める
ことができる。第１図（ａ）においてＳは結合重み値の
記憶および上記積和計算を行うためのセルアレー、ＲＷ
は、結合重み値の読出し書き込みを行うための読出し、
書き込み回路、ＮＬは上記積和計算の結果から非線形関
数ｇに対応する変換をしてニューロン出力値を計算する
ための電流電圧変換回路群である。

セルアレーＳ等を制御するための回路は省略しである。

セルアレーＳにはセルＥおよび■がアレー状に配置され
ている。セルの構成を第１図（ｂ）、（Ｃ）に示した。

第１図（ｂ）、（ｃ）においてＷ。

はセルを選択するためのワード線、ＤＪ、／ＤＪは書込
み、読み出しを差動信号を用いて行うためのデータ線対
、ＩＶＬはニューロン呂力値に相当する電圧が入力され
る入力線、ＣＪ、／ＣＪはニューロン出力値と結合重み
値との乗算結果を電流として加算し、差動信号として電
流電圧変換回路Ｇに伝達するための総和線対である。第
１図（ｂ）。

（Ｃ）に示したようにセルＥ、Ｉはともに２つのＭＯＳ
トランジスタより構成され、セルＥは、ワード線Ｗｌ、
入力線ＩＶＩ、データ線Ｄ　Ｊ　、総和線Ｃ１に接続さ
れ、セル■は、ワード線Ｗｉ、入力線ＩＶｉ、データ線
／Ｄ４．総和線／　ＣＪ　に接続される。セルには１ビ
ットの情報を記憶することができ、後述するように積を
計算する機能も持つ。セルに記憶された情報の読み書き
、保持（リフレッシュ）は１トランジスタ１キヤパシよ
りなるＤＲＡＭセルと同様の原理にもとずいて行われる
。セルＥ内のＭＯＳトランジスタＭＥＩ、セル■内のＭ
ＯＳ）トランジスタＭＩＩがＤＲＡＭセルにおけるスイ
ッチトランジスタに、ＭＯＳトランジスタＭＥ２とＭＩ
２のゲート容量がＤＲＡＭセルにおけるキャパシタに相
当する。乗算は、入力線ＩＶ＋　からセルを通して総和
線Ｃ４Ｈあるいは／Ｃ−に流れ込む電流が入力線ＩＶｉ
の電圧とＭＥ２あるいはＭＩ２のゲート電圧の積で決ま
ることを利用して行われる。ＭＥ２あるいはＭＩ２のゲ
ート容量が低電位、すなわち記憶情報がＯのときには入
力線ＩＶｉと総和線ＣＪ　ｌあるいは／ＣＪは非導通状
態となりセルから総和線には電流が流れない。ＭＥ２あ
るいはＭＩ２のゲート容量が高電位、すなわち記憶情報
が１のときには入力線ＩＶ＋と総和線ＣＪ　、あるいは
／ＣＪは導通状態となり、総和線Ｃａ　、あるいは／Ｃ
Ｊに流れ込む電流は入力線ＩＶ＋の電圧とＭＯＳトラン
ジスタＭＥ２あるいはＭＩ２のコンダクタンスで決まる
。したがって、セルＥ、Ｉは１ビットの記憶情報と入力
線ＩＶｔ　の電圧との乗算を行なう乗算器として動作す
る。

第１図（ａ）にもどって結合重み値の書込み、読出し、
リフレッシュ、ならびにニューロン出力値を求めるため
の積和計算について説明する。前記したように書込み、
読出し、リフレッシュについては通常のＤＲＡＭと同様
である。以下ではセルＥについて説明を行なうがセルエ
についても同様である。書込み動作は次のようにして行
なわれる。まず、書き込む情報を入出力線対ＩＯ，／Ｉ
Ｏに差動電圧として与える。つづいて、ワード線Ｗ＊ｐ
、Ｙ選択信号ＹＪを高電位とすると、書込み、読出し回
路ＲＷを通じて入出力線対の信号がデータ線対ＤＪ、１
０４に伝達され、ワード線Ｗ　ｔ　Ｅとデータ線ＤＪ　
に接続されたセルＥ内のＭＯＳトランジスタＭＥ２のゲ
ートがデータ線ＤＪ　と同電位となりセルに情報が書き
込まれる。セルＥに記憶された信号を読出すにはまず、
データ線対をプリチャージ回路ＰＣＨにより一定電位に
プリチャージする。その後、ワード線Ｗ　ｉ　Ｅ、を高
電位とするとセルＥに記憶されている情報が１（高電位
）か０（低電位）かにより、データ線り、の電位がわず
かに／ＤＪ　の電位より高く、あるいは低くなる。

この差をセンスアンプＳＡにより増幅し、Ｙ選択信号Ｙ
４を高電位として入出力線対ＩＯ，／ＩＯに差動信号と
して読出す。リフレッシュはＹ選択信号をすべて低電位
に保ったまま読出し動作を行なうことにより容易にでき
る。ワード線Ｗ、を立ち上げて読出し動作を行なうとセ
ンスアンプＳＡによりデータ線ＤＪ、／　Ｄ　Ｊがセル
の内容に対応した電位に充電される。このとき、ワード
線Ｗ　ＩＥに接続されたセル内のＭＯＳトランジスタＭ
Ｅ２あるいはＭＩ２のゲート容量の電位もデータ線Ｄ６
、あるいは／Ｄ、の電位と同じとなる。したがって。

電荷のリークによって変動したセル内のＭＯＳトランジ
スタＭＥ２あるいはＭＩ２のゲート容量の電位を回復す
ることができる。電荷のリークが問題とならない周期で
ワード線を次々に選択してリフレッシュを行なえば全て
のセルのリフレッシュを行なうことができる。

上記の読出し、リフレッシュにおいてデータ線上に生し
た微小な信号を検呂する際には、誤動作をさけるため雑
音に特に注意する必要がある。このことは高集積化を図
るために微細なトランジスタを用いるときには特に重要
である。第１図（ａ）の実施例においても１つのセンス
アンプにつながるデータ線対には同じワード線が交差す
るようになっており、さらに、対を成すデータ線ＤＪ、
　／Ｄ１については接続されているセル数が同数になっ
ている。したがって、データ線対間での容量のアンバラ
ンスが小さく、ワード線との容量カップリングにより発
生する雑音がほぼ等しくなり雑音が相殺される。ネット
ワークの規模が大きくなるほど微細なトランジスタを用
いる必要があるのでデータ線上に読出される信号の大き
さは小さくなる。したがって１本実施例のようにデータ
線対の容量のアンバランスを小さく抑えることは、大規
模なニューラルネットを実現するのに重要である。

ニューロン出力値の計算は次のようにして行うことがで
きる。ｎ個のニューロン出力値が入力線Ｉ　ｖ、Ｅ、　
　Ｉ　Ｖ、ｘｔ　−−ｔ　　Ｉ　ＶＸＥ？　　Ｉ　Ｖｘ
Ｉを通じて入力され、セルアレーＳ内のセルＥおよび■
に伝達される。セルにおいては二ニーロン出力値と結合
重み値との乗算が行なわれその総和が電流値として総和
線ＣＪ、／ＣＪに差動信号として出力される。電流電圧
変換回路Ｇでは、総和線ＣＪ　−／　ＣＪに差動信号と
して出力された積和結果を電圧値に変換して出力線○Ｖ
１．ＯＶｚからｍ個のニューロン出力値を電圧値として
並列に出力する。なお、対となる総和線Ｃｊ、／Ｃ，に
は同じ入力線が交差している。また、同数のセルが接続
されて容量のバランスがとれている。このため、積和計
算においても容量カップリングによる雑音は相殺される
。

従って、素子を微細化した場合でも安定な動作が実現で
きる。

ニューロン出力値と結合重み値との乗算の総和を差動信
号として読出すには様々な方法が考えられる。例えば、
総和線／Ｃｊに接続されるセル■をダミーセルとして常
に１を書込み、総和線／ＣＪに常に同一の電流値を８力
するようにすれば、総和線／ＣＪに流れる電流は、総和
線ＣＪに流れる電流に対して参照電流値を与えることに
なる。したがって、積和結果を差動信号として扱うこと
ができ、両者の差を検出することにより雑音の影響をキ
ャンセルすることができる。上記のようにすれば雑音の
影響をキャンセルすることは容易であるが、結合重みと
ニューロン出力値との積が片方の総和線のみに流れるの
で、結合重みとして正のものと負のものを使う必要のあ
る場合には適していない。結合重みとして正のものと負
のものを使う必要のある場合には、セルＥと工とを両方
結合重み値の記憶に用いて、総和線ＣＪには正の結合重
み値とニューロン出力値の積の総和が、総和線／ＣＪに
は負の結合重み値とニューロン出力値の積の総和が流れ
るようにすればよい。詳細については後述の実施例を用
いて説明するが、この場合にも総和線ＣＪ、／Ｃ−との
差が結合重み値とニューロン出力値の積の総和となるの
で雑音の影響をキャンセルすることは容易である。

なお、本実施例ではニューラルネットワークの規模が大
きくなると１本のデータ線に接続されるセルの数が増大
しデータ線容量が大きくなる。このため、読比し時の信
号量が減少し情報の読みたしが困難と成る場合がある。

このばあいには、通常のＤＲＡＭで行なわれているよう
にデータ線を分割して、分割したデータ線毎にセンスア
ンプを設けるのが望ましい。

上記のように本実施例においては、２つのトランジスタ
により成るセルをアレー状に配置するためレイアウトが
容易でセルアレーの占有面積を小さくできる。また、結
合重み値を容量に電荷としてデジタル値で記憶している
ため記憶内容の保持、読み書きなどを従来のＤＲＡＭと
同様の小規模の回路でできる。したがって、大規模なニ
ューラルネットワークを小さな半導体チップに集積化で
きる。また、容量のアンバランスが小さい対線を用いて
結合重み値の読出し、書き込み、および上記の積和計算
を行うため、装置を微小なトランジスタで構成しても安
定な動作を行うことができる。

なお、本実施例は階層型のニューラルネットワークにも
ホップフィールド型のネットワークにも応用できる。階
層型に応用する場合には、第Ｓ層のニューロン出力値か
ら次層第ｓ＋１層のニューロン出力値を計算することが
できるので、本実施例を複数個組み合わせることにより
任意の暦数のニューラルネットを実現できる。ホップフ
ィールド型のネットワークに適用する場合には呂力結果
を再び入力として使用することにより同期型のホップフ
ィールド型ネットワークを実現できる。このことは、以
下に述べる他の実施例についても同様であるが、説明を
簡単にするため以下では階層型ネットワークの第Ｓ層の
ニューロン出力値がら次層第ｓ＋１層のニューロン出力
値を計算する部分に応用する場合について説明する。す
なわち、セルアレーＳに入力されるニューロン出力値の
数ｎは第Ｓ層のニューロン数ｎｓに等しく、非線形変換
回路ＮＶより８力されるニューロン出力値の数ｍは、第
ｓ＋１層のニューロン数ｎｓ＋□に等しいとする。

第２図（ａ）は、第１図の構成を応用した本発明の１実
施例である。本実施例の第１の目的は複数のセルを用い
て１つの結合重み値を記憶することにより、必要に応じ
た精度、あるいは大きさの結合重み値を記憶できるよう
にすることである。

第２の目的は、結合重み値が正、負両方の値を採れるよ
うにすることによりニューロン間に興奮性の結合だけで
なく抑制性の結合が必要な場合にも応用できるようにす
ることである。

第２図（ａ）においてＥｊｉｈ、Ｉｊｉｈ　（ｊ＝Ｌ　
Ｌ　＊　＊　Ｈｍ；ｌ”Ｌ　２ｙ　＊　＋　ｐ　ｎ；ｈ
＝１　ｔ　２ｔ　−−＊　ｐ）はそれぞれ、第１図（ｂ
）、（ｃ）に示したセルＥ、Ｉと同じものである。セル
Ｅｊｉｈ、Ｉｊｉｈは、ｐビットで表す結合重ｈ　Ｔ　
Ｊ　ｓｌの絶対値の第ｈビットを記憶すると共に結合重
みＴ　Ｊ　５ｔの第ｈビットとニューロン出力値Ｖｉと
の積を計算する。第２図（ｂ）、（Ｃ）にセルとまわり
の信号線との対応を示した。ＩＶ＋はニューロン出力値
に相当する電圧が入力される入力線、Ｄヨ、／Ｄ、はデ
ータ線対、　ＷｉｈＥ、Ｗｔｈ＋はワード線、ＣＪ、／
Ｃｊは総和線対である。以下では簡単のため、ｐ＝８．
すなわち８ビットで結合重みＴ　Ｊ３ｉの大きさを表す
とする。例えば、結合重みＴＪ’ｉ　が正の値、すなわ
ち興奮性接続でその大きさが２進法で（０００１０１１
０）のときには、セルＥｊｉ、、Ｅｊｉ、、Ｅｊｉ２の
内容を１（ＭＥ２のゲート容量を高電位）、Ｅｊｉユ、
Ｅｊｉ、、Ｅｊ　ｉ、、Ｅｊ　ｉ、、Ｅｊｉ、、および
セルＩｊｉｈ　（ｈ＝１．２．、、．８）の内容を０（
ＭＥ２．ＭＩ２のゲート容量を低電位）とする。

また、例えば結合重みＴ　Ｊｓｌが負の値をもつとき、
すなわち抑制性接続の場合で、その大きさが２進法で（
００００００１１）のときには、セルＩｊｉ２、■ｊｉ
工の内容を１　（Ｍ　Ｉ　２のゲート容量を高電位）と
し他のセルＩｊｉｈ　（ｈ＝３，４．、、．８）および
セルＥｊ　ｉ　ｈ　（ｈ＝１，２．、、．８）の内容を
Ｏ（ＭＩ２．ＭＥ２のゲート容量を低電位）とする。Ｍ
ＯＳトランジスタＭＥ２とＭＩ２のコンダクタンスはｈ
＝１，２，３９１．、Ｐにおし）て１：２：４：、、：
２Ｐの比になるように形状を設計する。なお、このよう
にセルの形状を変えても、同じｈについてはセルＥｊｉ
ｈとセルＩｊｉｈの形状は同じである。従って、データ
線対Ｄ　Ｊ　、　／　Ｄ　Ｊ、総和線対ｃ、、／ＣＪの
容量のアンバランスは生じることはない。さらに、デー
タ線対あるいは総和線対には同じワード線、入力線が交
差するので配線のクロスカップリングにより生ずる雑音
は各々の対線で同じとなり相殺される。

このため微細化に伴う雑音の問題を回避できる。

次に、ニューロン出力値を求めるための積和について説
明する。なお、書込み、読出し、リフレッシュについて
は第１図（ａ）と同様であるのでここでは省略する。

第ｓ−１層のニューロン出力値Ｖ工Ｓｓ　Ｖｚｓ、　ｅ
＋　Ｐ　Ｖｎｓｓの大きさに相当する電圧を入力線ＬＶ
１゜ＬＶ、、、、ＬＶｎに印加する。すると、入力線か
らキャパシタの電圧が高電位のセルを通じて総和線Ｃ工
、／Ｃ工、Ｃ２，／Ｃ２，、、、Ｃ，、／Ｃ，に電流が
流れる。このとき、図かられかるように記憶内容が１の
セルＥｊｉｈからは総和線Ｃ１，Ｃ，。

＋　＋　ｌ　Ｃｍに、記憶内容が１のセルＩｊｉｈから
は総和線／Ｃ工、／Ｃ２，，，，／Ｃ，に電流が流れる
。流れる電流は、入力線の電圧とセル内のＭＯＳトラン
ジスタＭＥ２あるいはＭＩ２のコンダクタンスに比例す
る。したがって、総和線対（Ｃ工。

／Ｃ工）、（Ｃ２，／Ｃ，）、、、、（Ｃ，、／Ｃ，）
の電流差はニューロン出力値と、２進法のデジタル値で
記憶された結合重み値の積の総和に比例する。この電流
差を電流電圧変換回路群ＮＬにより所望の非線形特性を
もたせて電圧に変換すれば第Ｓ＋１層のニューロン出力
値に相当する電圧を出力線○ｖ１．ｏｖ、、、、ｔ’　
Ｏｖ、Ｌ：、並列ニ出力することができる。

以上のように本実施例によれば結合重み値を複数のセル
で記憶することにより必要に応じた精度、あるいは大き
さの結合重み値を記憶できる。また、結合重み値に正、
および負の値を持たせることができるので、抑制性の結
合が必要な場合にも本実施例を用いることができる。

上記の説明では、ＭＯＳトランジスタＭＥ２とＭＩ２の
コンダクタンスはｈ＝１，２，３．、、。

ｐにおいて１：２：４：、、：２’の比になるように設
定した。このため、結合重み値を２進法で記憶できた。

ＭＯＳトランジスタのコンダクタンスを変えるには様々
な方法が考えられるが、最も容易なのはゲート幅、ある
いはゲート長を変えることである。コンダクタンスはゲ
ート幅に比例、ゲート長に反比例するので上記のように
一定の比でコンダクタンスを設定するのは容易にできる
。

第２図（ａ）の配置では、ｈ＝１．２，３．、、。

ｐのセルは周期的にならんでいるのでレイアウトが規則
的となり、設計あるいは製造も容易である。

しかし、場合によっては設計あるいは製造をより単純に
するためにセルの形状を同一にしたい場合もある。第２
図（ａ）の実施例においてセルの形状を同一にし、セル
内のＭＯＳトランジスタＭＥ２あるいはＭＩ２のコンダ
クタンスを一定とすると内容が１であるセルの数により
結合重み値の大きさを表すことができる。例えば、結合
重みＴＩＳ□が＋３ならセルＥ１、□からＥ□□アのう
ち３つを１に、結合重みＴ工８□が＋５なら、セルＥ工
、□からＥ工０．のうち５つを１にする。すなわち、ｐ
個セルによりｐ個の異なる大きさを表現することができ
る。ｐ個のセルにより２Ｐ個の異なる大きさを表現する
ことができる２進法に対して、以下ではこのような方法
を等価表現と呼ぶことにする。

等価表現では２進法に較べて表現できる大きさの種類が
減少するという欠点はあるが、すべてのセルの寄与が等
しいため、セルの寸法ばらつきによる影響が小さいとい
う利点がある。

ところで、上記の実施例のように入力線に入力される電
圧Ｉｖｉをニューロンの出力値に比例したアナログ電圧
とするときには、総和線に流れる電流の大きさがＩＶｔ
　に比例するようにする必要がある。このためにはＭＯ
ＳトランジスタＭＥ２あるいはＭＩ２が線形領域で動作
するように、すなわち、ゲート電圧からドレイン電圧を
差し引いた値がしきい電圧より大きくなるように電圧関
係を設定すればよい。

なお、ニューロンの出力値は場合によってはＯ５■の２
値のみでよい場合もある。そのようなときには入力線に
入力される電圧はＯｖと高電位の２値で良いのはもちろ
んである。この場合には、入力線から総和線に電流が流
れるのは記憶情報が１でかつ入力線に入力される電圧が
高電位のときのみであり、その電圧値は一定である。し
たがって、入力線に入力される電圧が連続のアナログ値
をとるときと異なり、セル内のＭＯＳトランジスタＭＥ
２．ＭＩ２を線形領域で動作させる必要はなく入力線の
電圧値等の設計が容易となる。

第７図は本発明の第２の実施例である。第２図（、）の
実施例においては、入力されるニューロン出力値は、ア
ナログ電圧か１ビットのデジタル電圧値として１本の入
力線に印加したが、場合によっては、複数の入力線を用
いて多ビットのデジタル電圧値として入力できる方が便
利な場合もある。特に、デジタルメモリからニューロン
出力値をロードして入力するような場合にはデジタル値
を直接入力できるような構成が便利である。第７図は、
そのような場合に適した実施例である。第７図ではニュ
ーロン出力値は等価表現により複数のビットに分けてｑ
本ずつの入力線に入力され、得られた各ニューロン出力
値も等価表現によりｑ′本ずつの出力線に出力される。

すなわち、入力信号は、入力線群（Ｉ　Ｖｉ８９．−　
、Ｉ　Ｖｉｑ）のうち、ニューロン出力値Ｖ１にの大き
さに比例した本数を高電位に、他を低電位として入力す
る。メモリセル群Ｓ工１ｙ　＋　＊　ｐ　Ｓ□愕は第２
図（ａ）のメモリセル群Ｓ工と同じものをｑ個並べたも
ので、メモリ内容も５ｌｉｔ＊ａｇＳニーで同一とする
。他のメモリセル群（Ｓ、□、、、、Ｓ、）、、、、（
Ｓ、１．。

、　、　５ｎｑ）についても同様である０本実施例によ
ればニューロン出力値を等価表現を用いて多ビットのデ
ジタル電圧値として入力できるので前記したようにデジ
タルメモリからニューロン出力値をロードして入力する
ような場合に便利である。なお、本実施例でも第２図（
ａ）の実施例の場合と同様にして結合重み値を２進法で
も等価表現でも記憶することができる。また、第７図の
構成から明らかなように本実施例でもデータ線対、総和
線対の容量バランスはとれており、各対線は同じワード
線、入力線と交差している。このため、本実施例におい
ても容量カップリングによる雑音は相殺される。

これまで述べた実施例では、結合重み値を２進法で記憶
する場合にはセルのコンダクタンスを変化させるため、
何種類かのセルを用意する必要があった。しかし、アレ
ーの大部分を占めるセルに同一の形状のものを使った方
が、高集積にレイアウトすることが容易である。第８図
はセルに同一の形状のものを使ったうえで、結合重み値
を２進法で記憶する場合に適した一実施例である。

第８図においてブロックＡｌ、Ａ２．、、。

ＡＰはそれぞれ、結合重みの第１ビット、第２ビット１
００、第ｐビットを集めて配置したものである。セルは
、それの属するブロックによらず全ブロックにおいて全
て同一の形状である。これまでの実施例と異なり総和線
対ＣＪ、／ＣＪに加えて副総和線対ＣＳ　Ｊｈ、／　Ｃ
Ｓ　ｊｈを設けである（ｈ＝１．２．ｅ＋ｆｐ）。総和
線対はブロックＡｌ。

Ａ２．、、、ＡＰを貫通し、副総和線対はブロック毎に
設けである。ニューロン出力値は、アナログ電圧か１ビ
ットのデジタル電圧値として各ブロックの対応する入力
線に印加する。セルからの電流は副総和線対ＣＳ　Ｊｈ
、　／　ＣＳ　Ｊｈに流れる。ブロックＡ１に示したよ
うに副総和線対Ｃ３ｉｈ、／Ｃ３Ｊｈの端にはＭＯＳト
ランジスタＭＳ、／ＭＳが設けてあり、ＭＯＳトランジ
スタＭＳ、／ＭＳは総和線対ＣＪ、／ＣＪに接続された
ＭＯＳトランジスタＭＭ、／ＭＭとそれぞれカレントミ
ラー回路を構成している。ブロックＡｌ、Ａ２．Ａ３．
。

、、Ａｐにおいてカレントミラー回路の電流比が１：２
：４：、、：２’となるように設定すれば。

総和線対からグランドに重み付けされた電流が流れる。

したがって、総和線対ＣＪ、／ＣＪからグランドに電流
が流れる電流の差を検出することによりｍ個のニューロ
ン出力値を並列に求めることができる。本実施例によれ
ば、全てのセルを同一の形状としたまま結合重みを２進
法で記憶することができる。なお、データ線については
ブロックＡｌ、Ａ２．Ａ３．、、、ＡＰまで貫通させて
もよいが、第８図のようにブロック毎に分割して各各に
読みだし、書き込み回路を設ければデータ線容量が減少
するので、セルに微小トランジスタを用いた場合にも結
合重みの読出し、書込み、リフレッシュを、より安定に
行うことができる。なお、本実施例でも第７図と同様に
各ブロックＡｌ。

Ａ２．、、、ＡＰをそれぞれｑ個ずつ設けてニューロン
出力値をｑビットの等価表現で入力することも容易にで
きる。上記のように本実施例によれば、同一の形状をし
たセルをアレー状に配置した上で、結合重み値を２進法
で記憶できるので、前述した実施例に比べてより高集積
に装置を実現できる。なお、本実施例においても、第８
図から明らかなようにデータ線対、副総和線対、総和線
対のどれもが対線同志の容量バランスが採れるようにセ
ルあるいはカレントミラー回路と接続されている。また
、上記の対線は、同じワード線、入力線と交差するので
、容量カップリングによる雑音が相殺されることは前記
した実施例と同様である。

なお、これまで述べたいくつかの実施例においては、総
和線対に流れ込む、あるいは総和線対からグランドに流
れる電流の差を基にニューロン出力値を求める電流電圧
変換回路Ｇについては具体的に示さなかったが、これら
については、通常の回路技術を用いて容易に達成できる
。総和線対に流れ込む、電流の差を電圧に変換してニュ
ーロン出力値に相当する電圧を出力する回路の例は、例
えば、アイ、イー、イー、イー、１９８８　カスタム　
インテグレーテッド　サーキッツ　コンファレンスのダ
イジェスト　１０．１（ＤＩＧＥＳＴＯＦ　　ＩＥＥＥ
　　１９８８　　ＣＵＳＴＯＭＩＮＴＥＧＵＲＡＴＥＤ
　　ＣＩＲＣＵＩＴＳＣＯＮＦＥＲＥＮＣＥ　　１０．
１）の第３図などに示されている。

これまで述べたように、本発明では、結合重み値はセル
内のＭＯＳトランジスタＭＥ２．ＭＩ２のゲート容量に
記憶するが、場合によっては、ゲート容量だけでは十分
な容量値が得られない場合がある。その場合には、この
部分にさらに容量を接続すれば良い。また、ＭＯＳトラ
ンジスタＭＥ２、ＭＩ２のコンダクタンスを利用して乗
算を行なったが、場合によってはＭＯＳトランジスタＭ
Ｅ２．ＭＩ２の形状を変えただけでは所望のコンダクタ
ンスを得られない場合もある。その場合には、ＭＯＳト
ランジスタＭＥ２．ＭＩ２のソース、あるいはドレイン
に直列に抵抗を接続して、抵抗のコンダクタンスを利用
することもできる。

また、これまでに述べた実施例では、データ線ＤＪ、／
　Ｄ　Ｊと総和線ＣＪ、／ＣＪとが平行になるように配
置したが、本発明ではデータ線とワード線および総和線
と入力線とがそれぞれ垂直方向になるように配置すれば
、データ線と総和線を平行にすることに限定されること
はない。例えば、総和線Ｃ−１／Ｃｔとデータ線ＤＪ、
／ＤＪとが垂直方向に配線されるようにすることも可能
である。この場合でも総和線対とデータ線対にはそれぞ
れ同じ数のセルが接続されているので、各々の対線で容
量はバランスする。また、データ線対には、同じワード
線が、総和線対には同じ入力線が交差するのでそれらの
間の容量カップリングによる雑音は相殺される。なお、
読出し、書込みと総和計算とは、通常、同時に行わない
ので、読出し、書込み時に電位が変動するワード線とデ
ータ線対および、積和計算時に電位が変動する入力線と
電流が流れる総和線対との容量カップリングによる雑音
を相殺すれば微細化に伴う雑音の問題は回避される。

総和線対とデータ線対とをどのような位置関係に配置す
るかは、セルアレーの制御回路の配置の仕方、あるいは
各線に用いる配線をどの層または材料にするかに応じて
、適したものを選択すればよい。

これまでは、ニューロン出力値を計算するのに必要な回
路を実現する実施例を説明してきた。しかし、さらに他
の演算を行なう回路を追加することもできる。たとえば
、本発明による情報処理装置は階層型ネットワークを用
いた音声認識、文字認識など入力されたパターンをいく
つかの組に分けるような所謂クラス分は問題に適用する
ことができる。このような場合には比較器があると便利
である。クラス分は問題では、入力されたパターンが、
明らかにあるクラスに分類される場合には、出力として
クラスに対応する期待値を得ることができる。しかし、
入力されたパターンが、複数のいずれかのクラスに分類
されるか微妙な場合には、複数のクラスの期待値の中間
的なものとなることがある６例えば、音声認識において
入力された音声が゛に゛のときには、符号化して入力層
に与えた音声波形に対して出力層に１１１１というニュ
ーロン出力値（期待値）が得られるように、また、入力
がＣ゛のときには、００００という出力値（期待値）を
出すように結合重み値を設定した場合に、’に’　　”
Ｃ”の中間的な音声波形が与えられると出力層のニュー
ロン出力値は、０００１とか１１１０など中間的な値を
出すことがある。

このような場合には出力層のニューロン出力値と゛に゛
に対する期待値１１１１あるいはＣ′に対する期待値０
０００との距離が入力音声の゛に′あるいはＣ゛に対す
る近さを与える尺度と解釈することができる。したがっ
て、演算回路に出力層のニューロン出力値とクラスの期
待値を比較する回路を設けて出力結果と期待値の距離を
求める機能がある便利である。

第９図はこれまで述べてきたニューロン出力値を求める
回路と、ニューロン出力値と期待値の比較を行なう演算
回路１２ａ、および期待値を記憶するメモリ回路ＴＧと
を半導体チップ上に集積した１実施例である。第９図に
おいて電流電圧変換回路群ＮＬはネットワークの出力で
あるｒ個のニューロン出力値を並列に出力する。前記し
たように階層型ネットワークでは複数個のベクトル・行
列演算機が必要であるが第９図では省略し最終層の電流
電圧変換回路群ＮＬのみを示しである。以下では、ニュ
ーロン出力値に相当する、出力線ｏｖ、、ｏｖ、、、、
、Ｏｖｒ　（７）電圧ハ高電位と接地電位の２値をとる
ものとする。すなわち、最終層の非線形関数が第３図（
ｃ）のように２値関数であるか、あるいは第３図（ｄ）
ように連続値であっても第７図などに示した等価表現な
どの符号化によって０．１の２値で与えられているもの
とする。比較を行うには、電流電圧変換回路群ＮＬから
出力されるニューロン出力値とメモリ回路ＴＧから読出
す期待値との距離を演算回路１２ｂにより並列に求めて
その結果をメモリ回路ＴＧに書き込むかあるいは、入呂
力装置を通じて出力する。本実施例ではメモリ回路ＴＧ
ならびに演算回路１２ａともに同一チップ上にあるため
、バス１．２の本数を容易に増やすことができ、多数の
ビットを並列に処理できる。このため高速に距離の計算
ができるという利点がある。このため、階層型ネットワ
ークを用いたパターン認識などのようにニューロン出力
値と各期待値とを比較してその距離を求める必要がある
場合に情報処理速度を上げることができる。第９図に示
した演算回路１２ａは比較回路の１実施例であり、出力
層のニューロン呂力値と期待値を比較してそのハミング
距離の大きさを計算する回路である。以下ではメモリ回
路ＴＧは通常のＤＲＡＭあるいはＳ　ＲＡ　Ｍセルアレ
ーのようにワード線ＷＣＩ、、、、ＷＣｋの内１本を立
ち上げることによりデータ線対に立ち上げたワード線上
のメモリセルの情報が並列に読出される形式のものであ
るとする。演算回路１２ａは、比較器ＣＭＰと比較結果
変換回路ＣＯＭＰＯＵＴより構成されている。比較器Ｃ
ＭＰは並列に設けた比較回路ＣＭＰ’Ｕと負荷抵抗ＲＣ
ＭＰより構成され比較結果変換回路ＣＯＭＰＯＵＴは差
動アンプＡＭＰ２１１．ＡＭＰ２１２．、、、ＡＭＰ２
１Ｚより構成されている。比較器ＣＭＰには、メモリ回
路ＴＧのデータ線　ＤＴＧ工、／ＤＴＧ、、、、。

ＤＴＧｒ、／ＤＴＧｒおよびニューロン出力値を与える
出力線ＯＶ１．○Ｖ　２＋　ＨＨｔ○Ｖｒ　とその反転
信号を与える出力線１０Ｖ□、／○Ｖ　２１　＋　＋　
＋１０Ｖ、が入力されている。ここでｒはメモリ回路Ｔ
Ｇ内の１本のワード線上のメモリセルの数で、ニューロ
ン出力値を１ビットで表すときにはｎ。

ｐビットで表すときにはｎとｐの積に等しくする。

本実施例によれば、メモリ回路ＴＧのデータ線上に読出
した期待値と８力線上に読出したニューロン出力値との
ハミング距離を計算することができる。

つづいて、本実施例の動作を説明する。まず、あらかじ
めメモリ回路ＴＧにニューロン出力値の期待値を書き込
んでおく、その際、各ワード線上のｒ個のメモリセルに
ｒビットの期待値を書き込む。比較動作は以下のように
して行う。まず、クリア信号ΦＣを立ち上げＭＯＳトラ
ンジスタＱ２１６をオンさせて、ＭＯＳトランジスタＱ
２１５のゲート電圧を立ち下げておく、クリア信号ΦＣ
を立ち下げてデータ線に信号が読出されデータ線電位が
ＶｃｃあるいはＯｖになった後に、比較器起動信号ΦＣ
ＭＰを立ち上げて比較器を起動する。すると比較回路に
入力されたデータ線、出力線（ＤＴＧ、、ＯＶ、）、（
ＤＴＧ２．ＯＶ、）。

、、、（ＤＴＧｒ、０Ｖｒ）のそれぞれの組で排他的オ
フ　（ＥＸＣＬＵＳ　ＩＶＥ−ＯＲ）の論理がとられる
。その結果、アレーＴＧ側のデータ線と出力線とで情報
が一致している場合にはＭＯＳトランジスタＱ２１５の
ゲートが低電位のままであるが、一致していない場合に
は高電位に遷移する。

このため、アレーＴＧ側のデータ線とＡ側のデータ線と
で情報が一致しない比較器ＣＭＰＵではＭＯＳトランジ
スタＱ２１５がオンする。この結果、データ線、出力線
（ＤＴＧ、、ＯＶ、）。

（ＤＴＧ２９０ＶｚＬ　、、ｊ　（ＤＴＧ　ｒ、０Ｖｒ
）のそれぞれの組で不一致の数が多いほど電源ＶＣＭＰ
から負荷抵抗ＲＣＭＰを通じて接地電極へ向けて電流が
流れる。そのため、比較線ｃＯの電位は一致しないもの
が多いほど低下する。比較線Ｃ○は、比較結果変換回路
ＣＯＭＰＯＵＴに設けられた差動アンプＡＭＰ２１１．
ＡＭＰ２１２．、、。

ＡＭＰ２１Ｚに接続されている。これらの差動アンプの
参照電圧ＶＲｃ１．ＶＲＣ２，，，，ＶＲＣＺを適当な
値に設定しておけば、比較線ｃｏの電位低下が大きいほ
ど比較結果出力線ＤＣＯ１。

ＤＣＯ２，、、、ＤＣＯＺのうち高電位になる本数が増
加する。すなわち、比較結果変換回路ＣＯＭＰＯＵＴは
１種のＡＤ変換器として動作する。このように第９図の
実施例によればアレーＴＧの複数のデータ線に読出され
た情報と出力線に読出された情報を比較してそのハミン
グ距離の大きさを求めることができる。このため各期待
値をそれぞれアレーＴＧのワード線上のメモリセルに記
憶しておけば、ニューロン出力値と比較して、求めたニ
ューロン出力値がどの期待値にどのくらい近いのか知る
ことができる。したがって、得られたニューロン出力値
がクラスに対応する期待値と一致しないような場合でも
高速にどのクラスにどのくらい近いのか知ることができ
る。

なお、第９図の実施例において比較結果出力線に出力さ
れた結果は、比較の度に入出力回路本通じてチップ外へ
出力してもよいし、メモリ回路ＴＧの容量を期待値を記
憶するのに必要な量よりも大きくとっておき、そこに書
き込んでおいて。

まとめて高力してもよい。さらに、ニューロン出力値を
一度メモリ回路ＴＯと同じようなメモリ回路に記憶して
おき第９図の電流電圧変換回路ＮＬの代わりにそのメモ
リ回路を用いて比較することもできるのはもちろんであ
る。この場合、多くのニューロン出力値をまとめて求め
ておいて後に比較することができるため、数多くのデー
タを連続して処理する場合に適している。

〔発明の効果〕

以上、いくつかの実施例を用いて本発明を説明してきた
が、本発明では２つのトランジスタより成るセルをアレ
ー状に配置した。セルの構成が単純なためレイアウトが
容易で、占有面積を小さくできる。また、結合重み値を
書込み、読出しなどを差動信号を用いて行うためのデー
タ線対の容量のアンバランスが小さく成るように配置し
たため、セルを微小なトランジスタで構成しても結合重
み値の書込み、読出しなどを安定に行うことができる。

さらに、結合重み値をデジタル値で記憶しているため記
憶内容の保持、読み書きなどに必要な回路の規模が小さ
くできる。これらのことより、大規模なニューラルネッ
トワークを実現できる。

【図面の簡単な説明】

第１図（ａ）は本発明の基本的アレー構成を示す実施例
。 第１図（ｂ）、（ｃ）は、セルＥ、Ｉの構成を示す実施
例。 第２図（、）は本発明のアレー構成を示す１実施例。 第２１ｍ　（ｂ）、（ｃ）は、セルと配線との接続法を
示す１実施例。 第３図（ａ）、（ｂ）は、階層型ニューラルネットワー
クの原理を示した図。 第３図（Ｃ）、（ｄ）は、非線形関数回路りの特性の例
を示した図。 第４図（ａ）、（ｂ）は、ホップフィールド型ニューラ
ルネットワークの原理を示した図。 第５図はＭＯＳトランジスタを用いて結合重みをアナロ
グ電圧で記憶する従来のニューラルネットワーク情報処
理装置の原理を示した図。 第６図は、結合重みをデジタルメモリにで記憶する従来
のニューラルネットワーク情報処理装置の原理を示した
図。 第７図は、入力するニューロン出力値を等節表現する場
合に適した本発明のアレー構成を示す１実施例。 第８図は、同一の形状のセルを用いて結合重み値を２進
法で記憶する場合に適した本発明のアレー構成を示す１
実施例。 第９図は、本発明の情報処理装置に比較回路を加えた１
実施例。 Ｖ　ｓ　ｓ　、　Ｖ　Ｊ　ｓ　＋、ｇ　Ｖｌｌ　ＶＪ・
・・ニューロン出力値、ＴａＳｔ、　ＴＪＩ・・・結合
重み値、ｅ　Ｊ　ｌθＪＳヤ、・・・オフセット、ｇ・
・・非線形関数、ＣＡ、／ＣＪ、Ｃ，／Ｃ・総和線、Ｃ
３Ｊｈ、／Ｃ３Ｊｈ・・副総和線、Ｄ４．／ＤＪ、　Ｄ
Ｊｈ、／　Ｄａｈ・・・データ線、ＷいＥ、　ＷいＩ。 ＷｌＥ、Ｗｌｌ・・・ワード線、ＹＪｙ　ＹＪｈ・・・
Ｙ選択線、Ｉ　Ｏ、／　Ｉ　Ｏ、Ｉ　Ｏｈｌ／　Ｉ　Ｏ
ｈ−人出力線、Ｉ’Ｖｓ。 Ｉ　Ｖ＋ｈ、　Ｉ　ＶｔＥ、　Ｉ　Ｖｔｔ・・・入力線
、０ＶＪ＝・出力線、　Ｅ、　Ｅａｔｈ、　Ｅａｔｔ　
Ｉｓ　Ｉａｔｈ、　Ｉｊｔ・・・セル、Ｓｔ、５ｉｋｔ
　Ａｈ・・・ブロック、ＲＷ・・・読出し、書込み回路
、ＮＬ・・・電流電圧変換回路群、Ｇ・・・電流電圧変
換回路、ＳＡ・・・センスアンプ、ＰＣＨ・・プリチャ
ージ回路、ＳＷ４・・・スイッチ、Ｃ４・・・キャパシ
タ、ａｐ４・・・電流電圧変換型アンプ、Ｍ４゜ＭＥｌ
、ＭＥ２．ＭＩ　１．ＭＩ　２．ＭＳ、／ＭＳ。 ＭＭ、／ＭＭ・・ＭＯＳトランジスタ、Ｅ、Ｉ・・ＭＯ
Ｓトランジスタ群、Ｅ／Ｉ、Ｂｌ、Ｂ２゜Ｂ：３．Ｂ４
・・・デジタルメモリセル、ＣＭＰ・・・比較回路、Ｃ
ＭＰＵ・・・比較器、ＣＯ・・・比較線、ｉ＝１゜２　
＋　−−ｔ　ｎ　−Ｊ　”　Ｉ　Ｈ２ｒ　−−ｙ　ｍ−
ｈ　”　１　＋第１図 （ａ） 第２図 （ａ） 第１図 りふ Ｃシ Ｄｊ　　データ線 Ｃｊ　　総和線 ■１ Ｗ。 入力線 ワード線 第２図 りふ Ｃふ ＤＪ　データ線 Ｃｊ　　１１ｄＫＪ１１ Ｗｉｈ氏 Ｖｉ ｉ　ｈ　１ 入力線 ワード線 ｊｉｈ Ｉｊｉｈセル 第３図 （ａ） （ｂ） ＤＤ 加算器 非線形関数回路 ｒ、ｓ、　　　　結合重み値 θｊ　ｓ＋１　　オフセット 第４図 （ａ） （ｂ） Ｖｊ“ｇ（二戸・ｖｌ−ｅ　） ニューロン出力値 結合重み値 オフセット 第３図 （Ｃ） （ｄ） ｇ（ｘ） 第５図 Ｗ４ スイッチ ■α 端子 キャパシタ ｉ 入力電圧 ＭＯＳ　トランジスタ ■」 出力電圧 ｐ４ 電流電圧変換形アンプ ＮＮ 他の結合 第６図 第８図 で ＣＭＰ−一比較回路。 第７図 ０ＶＩＩ−−−ｏｖｉｑ 第９図 ＣＭＰＵ　−−一比較器。 Ｃ０−−−一比較線

Claims (4)

【特許請求の範囲】
1. １．ｎ個のニューロンの出力値と、装置内に記憶した複
   数個の結合重み値を用いてｍ個のニューロンの出力値を
   並列に計算する情報処理装置であって、上記結合重み値
   の読出し、書込みおよびニューロンの出力値と結合重み
   値との積和演算を差動信号を用いて行うことを特徴とす
   る情報処理装置。
2. ２．特許請求の範囲第１項に記載された情報処理装置に
   おいて、上記装置は情報の記憶と乗算を行うセルを複数
   個含んで構成され、上記結合重み値の読出し、書込みの
   ための差動信号を伝達するデータ線対、および、ニュー
   ロンの出力値と結合重み値との積和演算結果である差動
   信号を伝達する総和線対はそれぞれの線対において同数
   の上記セルと接続されていることを特徴とする情報処理
   装置。
3. ３．特許請求の範囲第１項に記載された情報処理装置に
   おいて、上記装置は情報の記憶と乗算を行うセルを複数
   個含み、上記セルは、２つのＭＯＳトランジスタを含ん
   で構成され、上記結合重み値を表す情報の１ビットを上
   記第１のＭＯＳトランジスタのゲート容量に電荷を蓄え
   るか否かによって記憶し、上記第２のＭＯＳトランジス
   タはデータ線と上記キャパシタの間にスイッチとして動
   作することを特徴とする情報処理装置。
4. ４．特許請求の範囲第２項に記載された情報処理装置に
   おいて、上記セルは、２つのＭＯＳトランジスタを含ん
   で構成され、上記結合重み値を表す情報の１ビットを上
   記第１のＭＯＳトランジスタのゲート容量に電荷を蓄え
   るか否かによって記憶し、上記第２のＭＯＳトランジス
   タはデータ線と上記キャパシタの間にスイッチとして動
   作することを特徴とする情報処理装置。