JP3182813B2 - 情報処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はメモリと演算回路とを１
つの半導体チップ上に集積した情報処理装置に関し、メ
モリと演算回路の間で高速に多量の信号の授受を行う方
法を与えるものである。

【０００２】

【従来の技術】近年、半導体技術の発展によって微細加
工技術が進歩し、１つのチップに６４Ｍビットのメモリ
セルを集積した半導体メモリが学会で発表されるまでに
なった。一方、演算回路を搭載した半導体においても高
集積化が急速に進んでいる。さらに、最近ではメモリと
演算回路とを１つの半導体チップ上に集積した情報処理
装置も多数実用化され、携帯可能なビデオカメラ、コン
ピュータ、電話などの情報処理装置に大変革が起きると
期待されている。

【０００３】この種の装置として、例えば、画像処理装
置あるいはニューラルネットワーク演算装置などがあ
る。図２２に示したのは、電子情報通信学会技術研究報
告Ｖｏｌ．８９，Ｎｏ３１２（ＩＣＤ８９−１４４−１
５１，集積回路、１９８９年１１月２１日）第４３ペー
ジ、図３に記載されたニューラルネットワーク演算装置
である。本従来例では、入力用ＲＡＭ、係数用ＲＡＭと
書かれたメモリからそれぞれ、ニューロン出力値、結合
重み値を読み出してレジスタに蓄えて乗算器、加算器な
どの演算回路でニューロン出力値を求めるための演算を
行う。本従来例の特長は、複数の演算回路で並列に積和
演算を行うことにより高速にニューラルネットワーク情
報処理をすることである。

【０００４】

【発明が解決しようとする課題】図２２に示した従来例
において、ニューロン数ｎの大きい大規模なニューラル
ネットワークを構成しようとすると次のような問題が生
じる。

【０００５】図２２に示した従来例では、８ｂｉｔの出
力を持つ係数用メモリ（ＲＡＭ）１つ１つににレジス
タ、乗算器、加算器、アキュムレータ（ＡＣＣ）から成
る単位演算回路が１つずつ設けてあり、係数用メモリと
演算回路はバスで結合されている。係数用メモリのセン
スアンプ（データ線）のピッチは記載されていないが、
近年の高集積ＭＯＳメモリでは、１から２μｍ程度と大
変小さい。一方、演算回路のピッチは、乗算器、加算器
などで決まるが、８ｂｉｔの乗算器や１６ｂｉｔの加算
器をデータ線のピッチの８倍の幅にレイアウトすること
は非常に困難である。したがって、例えば図２２で左端
の係数用メモリの下に１つの単位演算回路を配置する
と、右に行くほど係数用メモリとバスで結ぶべき単位演
算回路の距離が大きくなってしまう。したがって、バス
が長くなりそのために配線抵抗による信号遅延と占有面
積が増加する。また、単位演算回路によってバスの長さ
が異なるため、信号遅延が不均一となり回路ごとにメモ
リセルアレーからのデータの転送速度が異なり、各々の
単位演算回路の同期を取るのが困難になるという問題も
生じてしまう。逆に、単位演算回路のピッチに合わせて
係数用メモリを並べるとバスは短くなるが、係数用メモ
リの間に余分なスペースが必要になってしまい集積度が
低下してしまう。

【０００６】上記の従来例に限らず、メモリと演算回路
とを１つの半導体チップ上に集積した情報処理装置で
は、メモリの大容量化と演算回路の大規模化、動作の並
列化を進めていくと、同様の問題が生じると予想され
る。

【０００７】本発明はメモリと演算回路とを１つの半導
体チップ上に集積した情報処理装置において、メモリと
演算回路間のバスの占有面積、配線長、および、バス間
の信号遅延の不均一さの低減を図ろうとするものであ
る。

【０００８】

【課題を解決するための手段】本発明では上記課題を解
決するために、メモリセルアレー（Ａ）と演算回路（Ｐ
Ｅ）との間にデータ線セレクタ（ＳＴ）を設けて、演算
回路に同時に接続されるデータ線の本数を制限し、デー
タ線セレクタの入力線間ピッチと出力線間ピッチをそれ
ぞれメモリセルアレーのデータ線間ピッチと演算回路の
入力線間ピッチに合わせられるようにした。

【０００９】

【作用】上記のようにピッチを合わせたデータ線セレク
タを用いるため、メモリセルアレーのデータ線間ピッチ
と演算回路の入力線間ピッチが異なる場合においてもデ
ータ線セレクタに隣接してメモリセルアレーと演算回路
を配置することができる。例えば、データ線間ピッチが
数μｍと大変小さいＤＲＡＭなどのメモリセルアレーと
入力線のピッチが数十μｍと比較的大きいデジタル演算
回路などを長いバスを用いずにデータ線セレクタを介し
て配置することも可能となる。

【００１０】これによりデータ線セレクタを介してメモ
リセルアレーと演算回路の間で直接信号の授受を行うこ
とができるので、従来問題となっていたバス本数の増加
による占有領域の増大、配線抵抗の増大による信号遅延
が解決される。また、極端に長さの不揃いなバスを用い
る必要もないので、配線長の違いによる信号遅延の不均
一も解決される。

【００１１】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。

【００１２】図１は本発明を用いて半導体チップ上にメ
モリセルアレーと演算回路を含んだ情報処理装置を構成
した実施例である。図１において、Ａはメモリセルアレ
ーで、複数のデータ線とそれに交差する複数のワード線
並びにそれらの所望の交点に構成されたメモリセルから
構成されている。ＳＴはデータ線セレクタで、メモリセ
ルアレーＡからデータ線を通じて読出した情報から、そ
の１部を選択してバス１を通じて演算回路ＰＥへ伝達す
る。演算回路ＰＥではデータ線セレクタＳＴから伝達さ
れた情報を用いて所望の情報処理を行う。ＩＯは入出力
回路で、上記メモリセルアレーＡからバス４を通じて情
報をチップ外部へ読出したり、上記メモリセルアレーＡ
にチップ外部からバス５を通じて情報を書き込んだり、
あるいは演算回路ＰＥからバス２を通じて出力される情
報をメモリセルアレーＡに書き込んだりあるいはチップ
外部へ読出したり、演算回路ＰＥへバス３を通じてメモ
リセルアレーＡの情報を書き込んだり、チップ外部から
演算回路ＰＥへバス３を通じて情報を入力したりするた
めの回路である。ＣＴＬは制御回路で、上記のメモリセ
ルアレーＡ、データ線セレクタＳＴ、演算回路ＰＥ、入
出力回路ＩＯの動作を外部から与えられる制御信号、ア
ドレスなどの信号を用いて制御するための回路である。
なお、図１においてバスは任意の複数の配線から構成さ
れているが、ここでは簡単のため一部のバスを矢印で示
してある。

【００１３】本実施例では、データ線セレクタＳＴの入
力線のピッチはデータ線のピッチに、データ線セレクタ
ＳＴの出力線のピッチは演算回路の入力線のピッチと合
わせてメモリセルアレーＡに隣接してデータ線セレクタ
ＳＴと演算回路ＰＥを配置した。これにより、メモリセ
ルアレーＡのワード線を選択して、そのワード線上にあ
る複数のメモリセルからデータ線に同時に読出された多
数の情報を、長いバスを用いることなくデータ線セレク
タＳＴを通じて直接演算回路ＰＥに入力することができ
る。このため、長いバスによる配線遅延の増大、配線遅
延のばらつきをなくすことができ、メモリセルアレーと
演算回路の間の情報の転送の高速化が実現できる。ま
た、長いバスによる占有面積の増大もない。

【００１４】このように本実施例によれば、データ線セ
レクタＳＡにより両者のピッチの整合をとることができ
るので、例えば、データ線間のピッチが大変小さいＤＲ
ＡＭなどのメモリセルアレーと入力線間のピッチが比較
的大きいデジタル演算回路などを長いバスを用いずに１
つの半導体チップ上に配置することが可能となる。

【００１５】図２は第１図の実施例におけるデータ線セ
レクタと演算回路の構成例を示したものである。図２に
おいてＳＴ１，ＳＴ２，．．，ＳＴｋはデータ線セレク
タＳＴを構成するデータ線セレクタ単位回路で、ＰＥ
１，ＰＥ２，．．，ＰＥｋは演算回路ＰＥを構成する演
算単位回路である。本実施例においてデータ線セレクタ
単位回路ＳＴ１，ＳＴ２，．．，ＳＴｋはそれぞれ a'
1，a'２，．．，a'ｋ ｂｉｔの情報をメモリセルアレー
のＡのデータ線から受取りａ１，ａ２，．．，ａｋ ｂ
ｉｔの情報を選択して演算単位回路ＰＥ１，ＰＥ
２，．．，ＰＥｋに伝達する。演算単位回路ＰＥ１，Ｐ
Ｅ２，．．，ＰＥｋは並列に動作させることができるの
で、高速な情報処理が可能である。また、データ線セレ
クタＳＴと演算回路ＰＥを単位回路に分割し、１つのデ
ータ線セレクタ単位回路からはその最近接の演算単位回
路にのみ信号が入力されるようにしたので、データ線セ
レクタ内での信号の伝達経路を短く均一にできるという
特長がある。本実施例において、高集積のレイアウトを
実現するには、メモリセルアレーのデータ線間のピッチ
と演算回路の入力線間のピッチの比に合わせてデータ線
セレクタを設計すればよい。例えば、メモリセルアレー
のデータ線ピッチが１μｍ、演算単位回路の入力線間の
ピッチが５μｍとし、ａ１，ａ２，．．，ａｋをすべて
８ｂｉｔとすれば、データ線セレクタ単位回路に５対１
のデータ線セレクタを用いて、 a'１，a'２，．．，a'
ｋをすべて４０ｂｉｔとすればよい。このようにすれ
ば、４０ｂｉｔ分のデータ線の幅の中に１つの演算単位
回路と１つのデータ線セレクタ回路を丁度納めることが
できるので、図２のような配置が高集積に実現できる。
また、回路パターンが規則的な繰返しになるのでレイア
ウト設計も容易である。

【００１６】以上述べたように図２の実施例に依れば、
メモリセルアレーＡから演算回路ＰＥへ多量の情報を高
速に転送できる。しかし上記の例ではデータ線セレクタ
回路の選択比が５対１と大きくデータ線上に読み出した
情報の４／５は捨てていることになる。したがって、一
回の読み出しでデータ線上に読み出した全ての情報をつ
づけて使うにはメモリセルアレーＡのワード線を５回を
立上げなければならず、消費電力の増大が問題となる場
合がある。そのような場合には図３のようにラッチ機能
を持ったデータ線セレクタ単位回路を用いるとよい。

【００１７】図３は、選択比がｈ対１のデータ線セレク
タ単位回路ＳＴｉで、a'ｉ ｂｉｔが入力され、ａｉ ｂ
ｉｔを出力するように構成されている。ＬＡＴはラッチ
回路でＳＷはスイッチである。ｈ個のラッチ回路、スイ
ッチ毎に１本の出力線が接続されている。本実施例の動
作を以下に説明する。メモリセルアレーＡから読出され
た情報のうち本データ線セレクタ単位回路ＳＴｉに入力
されたａ'ｉ ｂｉｔの情報は、ラッチ回路ＬＡＴに蓄え
られる。つぎに、各出力線に接続されたｈ個のスイッチ
のうちいずれかを導通することによりラッチ回路ＬＡＴ
に蓄えられた情報が選択されて出力線に出力される。本
実施例によれば、メモリセルアレーＡから読出された情
報は全てラッチ回路に蓄えられるのでメモリセルアレー
Ａの読出し動作を１回行うだけでメモリセルアレーＡか
ら読出された情報を全て利用することができる。したが
って、データ線セレクタ回路の選択率が大きい場合でも
前述のようなメモリセルアレーＡの読出し動作に伴う消
費電力の増大がない。また、ラッチ回路からの情報の読
み出しは、メモリセルアレーＡからの読み出しに比べて
信号の伝達経路が短く、高速にできる。したがって、毎
回、メモリセルから読出す場合に比べて情報を高速に転
送することができるという利点がある。

【００１８】これまでは、１つの演算回路に対してメモ
リセルアレーとデータ線セレクタ回路を１つづつ組合せ
た構成について述べてきた。しかし、場合によっては、
１つの演算回路に対して任意の個数のメモリセルアレー
とデータ線セレクタ回路を用いたり、あるいは逆に１つ
のメモリセルアレーに対してデータ線セレクタ回路と演
算回路を複数設けるなど必要に応じて種々の構成が可能
なことはもちろんである。

【００１９】たとえば、図２の構成においてメモリセル
アレーＡの記憶容量を増加させるためにワード線の本数
を増加していくとデータ線の長さが長くなりデータ線の
容量および抵抗値が大きくなって、メモリセルによって
は信号のＳ／Ｎ比が劣化したり、書込み、読み出し動作
が遅延したりすることがありうる。このような場合には
図４の構成が適している。

【００２０】図４では、１つの演算回路ＰＥに対してメ
モリセルアレーをデータ線方向に分割して複数設け、分
割したアレーＡ１，Ａ２，．．，ＡＪごとにデータ線セ
レクタ回路ＳＴ１，ＳＴ２，．．，ＳＴＪを配置してあ
る。データ線セレクタ回路ＳＴｉ（ｉ＝１，２，．．，
Ｊ）はデータ線セレクタ単位回路ＳＴｉ１，ＳＴｉ
２，．．，ＳＴｉｋより構成され、データ線セレクタ単
位回路ＳＴｉ１，ＳＴｉ２，．．，ＳＴｉｋの出力はそ
れぞれ、メインデータ線ＭＤＡＴＡに接続されている。
したがって、各メインデータ線にはＪ個のデータ線セレ
クタ単位回路が接続されている。各メインデータ線に接
続されているデータ線セレクタ単位回路のうち任意の１
つづつを動作させることによって、演算回路ＰＥを構成
する演算単位回路ＰＥ１，ＰＥ２，．．，ＰＥｋにそれ
ぞれａ１，ａ２，．．，ａｋ ｂｉｔの情報をメモリセ
ルアレーより並列に入力することができる。

【００２１】本実施例によれば、メモリセルアレーを分
割しているため、分割したメモリセルアレー毎にみると
データ線の長さが短い。したがって、データ線の容量お
よび抵抗値が大きなることはなく信号のＳ／Ｎ比が劣化
したり書込み、読み出し動作が遅延したりすることがな
い。

【００２２】これまで述べたように、本発明では１本の
ワード線上のメモリセルに蓄えられた情報を並列に読み
出し、その１部をセレクタで選択して演算回路ＰＥに入
力する。したがって、目的とする演算に合わせた配置で
ワード線上のメモリセルに情報を書き込んで置く必要が
ある。

【００２３】図５から７では、スカラとベクトルの乗算
を行うプロセッサを構成する場合についてメモリセルア
レー内の情報の並べ方を具体的に示して説明する。簡単
のため図５から７では、スカラＣとメモリセルアレーに
記憶した６次元のベクトルＶＡからＶＦの各成分のビッ
ト数は２ ｂｉｔとする。なお、ベクトルＶＡの第３成
分はＶＡ３というように、ベクトルの各成分は添字をつ
けて表す。また、各成分の第１ビット、第２ビットを区
別するため、ベクトルＶＡの第３成分ＶＡ３の第１ビッ
トをｖａ３１，第２ビットをにｖａ３２というように表
す。

【００２４】図５は上記のようなプロセッサの構成の第
１の実施例を示したものである。本実施例の特長は、ベ
クトルＶＡ，ＶＢ，．．，ＶＦをそれぞれ異なるワード
線上のメモリセルに書き込むことである。図５に示した
ようにメモリセルアレーＡは６本のワード線Ｗ
Ａ，．．，ＷＦと、１２本のデータ線Ｄ１，．．，Ｄ１
２、ならびにそれらの交差部に設けられた７２個のメモ
リセルから構成されている。セレクタＳＴは各データ線
ごとに設けられたラッチ回路ＬＡＴ１，．．，ＬＡＴ１
２およびスイッチＳＷ１，．．，ＳＷ１２から構成され
ている。演算回路ＰＥは２つの乗算器ＭＴ１，ＭＴ２か
ら構成されており、乗算器ＭＴ１，ＭＴ２にはスカラＣ
とセレクタの出力が入力されている。図からわかるよう
にセレクタＳＴの選択比は３対１である。ワード線ＷＡ
上のメモリセルには、図示したようにベクトルＶＡのｖ
ａ１１，ｖａ２１，ｖａ３１，ｖａ１２，ｖａ２２，ｖ
ａ３２，．．，ｖａ６２という順番に記憶されている。
ワード線ＷＢ，．．，ＷＦについても同様の順番でベク
トルＶＢ，．．，ＶＦが配置されている。

【００２５】本実施例の動作を以下に説明する。まず、
ワード線ＷＡを選択して、データ線Ｄ１，．．，Ｄ１２
に１２ ｂｉｔからなるベクトルＶＡを読みだし、ラッ
チ回路ＬＡＴ１，．．，ＬＡＴ１２にラッチする。つづ
いてスイッチＳＷ１，ＳＷ４，ＳＷ７，ＳＷ１０をオン
する。この結果、乗算器ＭＴ１にベクトルＶＡの第１成
分ＶＡ１であるｖａ１１，ｖａ１２が、乗算器ＭＴ２に
ベクトルＶＡの第４成分ＶＡ４であるｖａ４１，ｖａ４
２が入力されベクトルＶＡとスカラＣとの乗算結果の第
１成分ＣＶＡ１が乗算器ＭＴ１から、第４成分ＣＶＡ４
が乗算器ＭＴ２から出力される。つぎにスイッチＳＷ
１，ＳＷ４，ＳＷ７，ＳＷ１０をオフしてＳＷ２，ＳＷ
５，ＳＷ８，ＳＷ１１をオンすることによって、ベクト
ルＶＡとスカラＣとの乗算結果の第２成分ＣＶＡ２を乗
算器ＭＴ１から、第５成分ＣＶＡ５をが乗算器ＭＴ２か
ら出力する。最後にスイッチＳＷ２，ＳＷ５，ＳＷ８，
Ｓ１１をオフしてＳＷ３，ＳＷ６，ＳＷ９，ＳＷ１２を
オンすることによって、ベクトルＶＡとスカラＣとの乗
算結果の第３成分ＣＶＡ３を乗算器ＭＴ１から、第６成
分ＣＶＡ６を乗算器ＭＴ２から出力する。こうして、ベ
クトルＶＡとスカラＣとの乗算を完了する。同様にし
て、ワード線ＷＢを選択して、ベクトルＶＢとスカラＣ
との乗算を行い，ワード線ＷＦを選択して、ベクトルＶ
ＦとスカラＣとの乗算を行うまで順番にワード線を選択
して計算を行う。このようにして、６つのベクトルＶＦ
とスカラＣとの乗算が完了する。本実施例ではベクトル
ＶＡ，ＶＢ，．．，ＶＦをそれぞれ異なるワード線上の
メモリセルに書き込んでいるので１つのベクトルの値を
書き替えるためには、１本のワード線を選択して１度に
書き込みができるという利点がある。

【００２６】上記の実施例では２つの乗算器を用いて６
次元のベクトルの乗算を行うためセレクタを３回動作さ
せて１つのベクトルの演算が完了する。メモリセルアレ
ーからの読みだしは１つのベクトルに１度でよいのでこ
のままでも高速であるが、場合によってはさらに高速動
作が必要な場合がある。

【００２７】図６に示す実施例は、高速化を図るため１
回のセレクタの動作で１つのベクトルの演算が完了する
ようにしたものである。図６の実施例の特長は、メモリ
アレーのデータ線の数を増やして１つのワード線にセレ
クタの選択比に等しい３つのベクトルを記憶させ、１つ
のベクトルの演算を並列に行えるように６つの乗算器を
配置したことである。なお、乗算器は６本のデータ線に
１つ設けているので乗算器のピッチは図５の実施例と同
じである。

【００２８】図６に示したようにメモリセルアレーＡは
２本のワード線Ｗ１，Ｗ２と、３６本のデータ線Ｄ
１，．．，Ｄ３６、ならびにそれらの交差部に設けられ
た７２個のメモリセルから構成されている。セレクタＳ
Ｔは各データ線ごとに設けられたラッチ回路ＬＡＴ
１，．．，ＬＡＴ３６およびスイッチＳＷ１，．．，Ｓ
Ｗ３６から構成されている。演算回路ＰＥは６つの乗算
器ＭＴ１，．．，ＭＴ６から構成されており、乗算器に
はスカラＣとセレクタの出力が入力されている。セレク
タＳＴの選択比は３対１である。ワード線Ｗ１上のメモ
リセルには、ベクトルＶＡ，ＶＢ，ＶＣが図示したよう
にｖａ１１，ｖｂ１１，ｖｃ１１，ｖａ１２，ｖｂ１
２，ｖｃ１２，．．，ｖｃ６２という順番に記憶されて
いる。ワード線Ｗ２についても同様の順番でベクトルＶ
Ｄ，ＶＥ，ＶＦが配置されている。

【００２９】本実施例の動作を以下に説明する。まず、
ワード線Ｗ１を選択して、データ線Ｄ１，．．，Ｄ３６
にベクトルＶＡ，ＶＢ，ＶＣを読みだし、ラッチ回路Ｌ
ＡＴ１，．．，ＬＡＴ３６にラッチする。つづいてスイ
ッチＳＷ１，ＳＷ４，ＳＷ７，．．，ＳＷ３４をオンす
る。この結果、乗算器ＭＴ１からＭＴ６にそれぞれ２ｂ
ｉｔずつからなるベクトルＶＡの第１成分ＶＡ１（ｖａ
１１，ｖａ１２）から第６成分ＶＡ６（ｖａ６１，ｖａ
６２）が入力されベクトルＶＡとスカラＣとの乗算結果
の第１成分ＣＶＡ１から第６成分ＣＶＡ６が出力され
る。つぎにスイッチＳＷ１，ＳＷ４，ＳＷ７，．．，Ｓ
Ｗ３４をオフしてＳＷ２，ＳＷ５，ＳＷ８，．．，ＳＷ
３５をオンすることによって、ベクトルＶＢとスカラＣ
との乗算を行い、最後にスイッチＳＷ２，ＳＷ５，ＳＷ
８，．．，ＳＷ３５をオフしてＳＷ３，ＳＷ６，ＳＷ
９，．．，ＳＷ３６をオンすることによって、ベクトル
ＶＣとスカラＣとの乗算を行う。こうして、３つのベク
トルＶＡ、ＶＢ，ＶＣとスカラＣとの乗算を完了する。
同様にして、ワード線Ｗ２を選択して、スカラＣとベク
トルＶＤ，ＶＥ，ＶＦの乗算を行う。本実施例では１つ
のワード線上のメモリセルにセレクタの選択比と同じ数
のベクトルを書き込んでいるのセレクタを動作させる度
に１つのベクトルの値を１度に演算回路に入力して計算
を行うことができる。このため、非常に高速に演算を行
うことができる。

【００３０】図７は図６に示した実施例に好適な並列書
き込み回路である。図６の実施例では図示したように１
つのワード線上のメモリセルに複数のベクトルを混在し
て書き込む必要がある。したがって、１つのベクトルの
値を書き替えるためには、１本のワード線上のとびとび
のメモリセルを選択しなければならず、通常のメモリの
ように１ ｂｉｔずつ書き替える方法ではアドレスの制
御も複雑で時間がかかる。図７の実施例の特長は、書き
込み回路にデストリビュータを用いて１つのベクトルの
書き込まれているメモリセルに選択的に並列書き込みを
行うことである。図７においてＩＮは入力線、ＤＳＢ
１、ＤＳＢ２はデストリビュータ、ＲＧＴはレジスタで
ある。ワード線Ｗ１上にベクトルＶＡを書き込むには次
のようにすればよい。まず、スイッチＳＷＲ１１，ＳＷ
Ｒ１２，．．，ＳＷＲ６２を順番に導通して入力線ＩＮ
より、ベクトルＶＡを表すｖａ１１，ｖａ１２，．．，
ｖａ６２をレジスタＲＧＴのセルＲ１１，Ｒ１
２，．．，Ｒ６２に書き込む。つづいて、ワード線Ｗ１
を選択してからデストリビュータＤＳＢ２のスイッチＳ
１，Ｓ４，．．，Ｓ３４を導通して図７に黒丸で示した
メモリセルにｖａ１１，ｖａ１２，．．，ｖａ６２を書
き込む。これにより、図６に示したのと同じメモリセル
にベクトルＶＡが書き込まれたことになる。容易にわか
るように他のベクトルの書き込みも適当なワード線とデ
ストリビュータＤＳＢ２のスイッチを選択すれば同様に
行うことができる。例えば、ベクトルＶＦの書き込みで
はレジスタＲＧＴにｖｆ１１，．．，ｖｆ６２を収納し
た後にワード線Ｗ２とデストリビュータＤＳＢ２のスイ
ッチＳ３，Ｓ６，．．，Ｓ３６を選択すればよい。

【００３１】このように本実施例によれば、１本のワー
ド線上に並んだメモリセルから複数のとびとびの位置に
あるメモリセルに並列に書き込みを行うことができる。
したがって、１つ１つのメモリセルへ書き込みを行う場
合に比べて高速の書き込みが可能となる。また、同じベ
クトルについては書込み時のデストリビュータＤＳＢ２
のスイッチの選択は、演算時のセレクタ内のスイッチの
選択と同じ番号のものでよい。したがって、セレクタＳ
ＴとデストリビュータＤＳＢ２のスイッチの選択を制御
する回路も容易に構成できる。

【００３２】これまで、図１から図７を用いて本発明の
基本的な構成を説明してきた。本発明は、多量のデータ
を用いて、並列演算を行う情報処理装置に適している。
たとえば、画像処理、あるいはニューロコンピューティ
ングとよばれるニューラルネットワークを用いた並列分
散型情報処理（以下ニューラルネットワーク情報処理）
を行う装置に好適である。以下では、本発明をニューラ
ルネットワーク情報処理を行う半導体装置に適用した実
施例について述べる。

【００３３】ニューラルネットワーク情報処理は音声処
理、あるいは画像処理といったパターン認識あるいは最
適化問題などの分野において注目を集めている。ニュー
ラルネットワーク情報処理では、ネットワーク状に結合
した多数のニューロンと呼ばれる演算要素が、結合と呼
ばれる伝達線を通じて情報をやりとりして高度な情報処
理を行なう。各々のニューロンでは他のニューロンから
送られてきた情報（ニューロン出力値）に対して積ある
いは和などの単純な演算が行なわれる。各々のニューロ
ン内の演算、さらには、異なるニューロンの演算も並列
に行なうことが可能なため、高速に情報処理を行なうこ
とができる特長を持っている。また、望ましい情報処理
を行なわせるためにニューロン同志をつなぐ結合の重み
値を設定するアルゴリズム(学習)も提案されているた
め、目的に応じた様々な情報処理をさせることができ
る。

【００３４】ニューラルネットワークの動作原理を２種
類の代表的なネットワークである階層型ネットワークと
ホップフィールド型ネットワークについて説明する。図
８に階層型ネットワークを、図９にホップフィールド型
ネットワークの構造を示した。これらは、どちらもニュ
ーロンとニューロン同土をつなぐ結合から構成されてい
る。ここでは、ニューロンという用語を用いるが、場合
によってはノード、あるいは演算要素などと呼ばれるこ
ともある。結合の矢印の向きは、ニューロン出力値の伝
わる方向を示している。階層型ネットワークは、図８に
示したように、ニューロンが複数の階層をなすように並
び、入力層から出力層へ向かう方向にのみニューロン出
力値が伝わるものである。一方、ホップフィールド型ネ
ットワークは、図９に示したように、任意の２つのニュ
ーロン間で両方向にニューロン出力値が伝わるものであ
る。

【００３５】図８、図９にはニューロン内で行なわれる
演算の原理も示した。演算の原理はどちらのネットワー
クでも同様なので、図８を用いて階層型ネットワークに
ついて説明する。図８下部には、Ｓ＋１番目の層内のｊ
番目のニューロンを拡大して示した。このニューロン内
には結合を通じて前層、すなわちＳ番目の層内のニュー
ロンの出力値Ｖ（１，ｓ），．．，Ｖ（ｉ，
ｓ），．．，Ｖ（ｎ，ｓ）が入力される。ここで、ｎは
Ｓ番目の層内のニューロンの数を示している。ニューロ
ン内では入力されたニューロンの出力値Ｖ（１，
ｓ），．．，Ｖ（ｉ，ｓ），．．，Ｖ（ｎ，ｓ）と結合
重み値Ｔ（ｊ，１，ｓ），．．，Ｔ（ｊ，ｉ，
ｓ），．．，Ｔ（ｊ，ｎ，ｓ）との積Ｖ（１，ｓ）Ｔ
（ｊ，１，ｓ），．．，Ｖ（ｉ，ｓ）Ｔ（ｊ，ｉ，
ｓ），．．，Ｖ（ｎ，ｓ）Ｔ（ｊ，ｎ，ｓ）が乗算機Ｍ
Ｔにより計算される。つぎに、これらの積と−Θ（ｊ，
ｓ＋１）との和を加算機ＡＤＤにより計算する。ここ
で、Θ（ｊ，ｓ＋１）はオフセットと呼ばれる量で場合
によっては、省略してもよい。さらに、その結果を非線
形関数回路Ｄに入力してニューロンの出力値Ｖ（ｊ，ｓ
＋１）を得る。非線形関数回路Ｄは入力ｘに対して出力
ｇ(ｘ）を出力する。関数ｇとしては入力ｘがあるしき
い値ｘｔｈを越えるか否かにより２値の出力を出力する
非線形関数あるいは、シグモイド関数と呼ばれる連続的
な増加関数が用いることが多い。非線形関数回路Ｄに
は、必要に応じてこの他の特性を持たせることもある。
また、場合によっては、線形の特性を持たせてもよい。

【００３６】上記の演算の原理は、図９に示したように
ホップフィールド型ネットワークでも同様である。ただ
し、ホップフィールド型ネットワークでは、１つのニュ
ーロンに自分自身を除くすべてのニューロンの出力値が
入力される。

【００３７】図８より判るように、階層型ネットワーク
では、まず、入力層のニューロンの出力値を設定し、そ
れをもとに次々に隠れ層のニューロンの出力値が更新さ
れて、最後に出力層のニューロンの出力値が更新され
る。一方、図９のようにホップフィールド型ネットワー
クでは、層というものがないため、それぞれのニューロ
ンは、適当なタイミングで出力値を更新することができ
る。このホップフィールド型ネットワークでは、すべて
のニューロン出力値の初期値を適当に与え、ニューロン
出力値が平衡状態となるまでニューロン出力値の更新を
続ける。ニューロンの出力値が平衡状態となるまでに
は、ふつう全てのニューロンについて出力値の更新を何
度か行なう必要がある。すべてのニューロンの出力値を
同時に更新するものを同期的なホップフィールド型ネッ
トワーク、それぞれのニューロンが、勝手なタイミング
で出力値を更新するものを非同期的なホップフィールド
型ネットワークと呼ぶ。

【００３８】以下では、上記したニューラルネットワー
クの計算を行う情報処理装置（以下、ニューロプロセッ
サ）の実施例について述べる。なお、以下では各層がｎ
個のニューロンからなるＬ層構成の階層型ネットワーク
の計算をｋ（ｋ＜ｎ）個の並列に動作する乗算器を用い
て行う実施例を示すが、ｋがｎと等しい場合あるいはｋ
がｎより大きい場合においても同様にして本発明を用い
てニューラルネットワークの計算を行う情報処理装置を
構成することができる。また、前述したホップフィール
ドネットワークやそれ以外のニューラルネットワークに
ついても動作原理は同様のため以下の実施例と同様にし
て実現できる。

【００３９】図１０は本発明を用いて構成したニューロ
プロセッサの第１の実施例である。図１０においてＡ、
Ｂはメモリセルアレー、ＳＴＡ、ＳＴＢはセレクタ回
路、ＰＥは演算回路、ＡＣＣはアキュムレータ、Ｄは非
線形演算回路である。メモリセルアレーＡ、Ｂはそれぞ
れニューロン出力値、結合重み値を記憶するためのもの
で、ニューロン出力値、結合重み値はそれぞれ、ａ ｂ
ｉｔ、ｂ ｂｉｔで表現されて記憶されている。メモリ
セルアレーＡにはＬ本のワード線があり、各ワード線上
のメモリセルには１層分のニューロン出力値が記憶され
ている。したがって、１本のワード線を選択することに
よりデータ線群に１層分のニューロン出力値が読出され
る。メモリセルアレーＢにはｎ（Ｌ−１）本のワード線
があり、そのうちの１本を選択することによりデータ線
群にｎ（ｎ＝ｋｈ）個の結合重み値が読出される。セレ
クタ回路ＳＴＡ、ＳＴＢはそれぞれ、ｋ個のセレクタ単
位回路ＳＴＡ１，．．，ＳＴＡｋおよびＳＴＢ
１，．．，ＳＴＢｋからなっており、セレクタ単位回路
では、メモリサルアレーから読出された情報をラッチし
てその中からｈ：１の比で選択して演算回路ＰＥへ伝達
する。演算回路ＰＥは、ｋ個のデジタル乗算器ＭＴＤ
１，．．，ＭＴＤｋおよびスイッチＳＷ１，．．，ＳＷ
ｋから構成されていてスイッチＳＷｉ（ｉ＝１，．．，
ｋ）を導通させることによりデジタル乗算器ＭＴＤｉに
より計算されたニューロン出力値と結合重み値の積をア
キュムレータＡＣＣに伝達する。アキュムレータＡＣＣ
では、乗算器より伝達されるニューロン出力値と結合重
み値の積を加算して、非線形演算回路Ｄに伝達する。非
線形演算回路Ｄでは、図８における非線形関数ｇの計算
を行い、ニューロン出力値を出力する。非線形演算回路
Ｄは、非線形関数ｇの入出力関係を実現するように論理
回路で構成したり、あるいは、入力データをアドレスと
して扱い、そのアドレスに対応するメモリセルに非線形
関数ｇの出力値を記憶したメモリを用いることもでき
る。

【００４０】以下、本実施例の動作を図１１を用いて詳
細に説明する。図１１は図１０のニューロプロセッサの
構成（１）における計算アルゴリズムを図示したもので
ある。前記したようにここでは、各層にｎ個のニューロ
ンがあるＬ層の階層型ネットワークを仮定している。な
お、図１１では第２層の第１ニューロンの出力値を計算
するアルゴリズムを示すために結合重みのうち１部のみ
示してある。あらかじめ、入力層のニューロンの出力値
を図１０のメモリアレーＡの１本のワード線上のメモリ
セルに書き込んでおく。またメモリアレーＢには（Ｌ−
１）ｎ²個のすべての結合重み値を、結合重み値Ｔ
（ｊ，ｉ，ｓ）（ｊとｓは一定、ｉ＝１，．．，ｎ）が
同一のワード線上のメモリセルに記憶されるように書き
込んでおく。まず、入力層のニューロンの出力値を書き
込んでおいたメモリアレーＡのワード線ならびに入力層
のニューロンと第２層の第１ニューロンとの間の結合重
み値Ｔ（１，ｉ，１）（ｉ＝１，．．，ｎ）を書き込ん
でおいたメモリアレーＢのワード線を選択する。その結
果、セレクタ単位回路ＳＴＡ１，．．，ＳＴＡｋにはそ
れぞれ、図１１の第１層のグループ＃１，．．，＃ｋの
ニューロン出力値が、セレクタ単位回路ＳＴＢ
１，．．，ＳＴＢｋにはそれぞれ、第１層のグループ＃
１，．．，＃ｋのニューロンから第２層の第１ニューロ
ンへの結合重み値が入力されラッチされる。つづいて、
ｈ回に分けて第２層の第１ニューロンの出力値を計算す
る。まず、第１サイクルでは、セレクタ単位回路ＳＴＡ
１，．．，ＳＴＡｋからそれぞれ第１層のグループ＃
１，．．，＃ｋ内の第１ニューロンの出力値を、セレク
タ単位回路ＳＴＢ１，．．，ＳＴＢｋからはそれぞれ図
１１において実線で示した結合の重み値をデジタル乗算
器ＭＴＤ１，．．，ＭＴＤｋに入力する。デジタル乗算
器ＭＴＤ１，．．，ＭＴＤｋでは、ニューロン出力値と
結合重み値の積が並列に計算される。つづいて、スイッ
チＳＷ１，．．，ＳＷｋを順番に導通させて乗算結果を
アキュムレータＡＣＣへ伝達する。次に、第２サイクル
では、セレクタ単位回路ＳＴＡ１，．．，ＳＴＡｋから
それぞれ、第１層のグループ＃１，．．，＃ｋ内の第２
ニューロンの出力値を、セレクタ単位回路ＳＴＢ
１，．．，ＳＴＢｋからはそれぞれ、図１１において破
線で示した結合の重み値をデジタル乗算器ＭＴＤ
１，．．，ＭＴＤｋに入力して乗算結果をアキュムレー
タＡＣＣへ伝達する。同様にして第ｈサイクルまで計算
を行うとアキュムレータＡＣＣには第２層の第１ニュー
ロンの出力値を求めるのに必要な積和結果が得られる。
ここで、その積和結果を非線形演算回路Ｄに入力して第
２層の第１ニューロンの出力値を求め、メモリアレーＡ
に書き込む（第１層のニューロンの出力値が書き込まれ
たメモリセルのあるワード線以外のワード線上のメモリ
セルに書き込む）。つづいて、入力層のニューロンと第
２層の第２ニューロンとの間の結合重み値Ｔ（２，ｉ，
１）（ｉ＝１，．．，ｎ）を書き込んでおいたメモリア
レーＢのワード線を選択して、同様にして第２層の第２
ニューロンの出力値の計算を行なう。なお、同じ層内の
ニューロンの出力値の計算を行なうときには、すでに必
要なニューロンの出力値は、セレクタにラッチされてい
るのでメモリアレーＡのワード線を選択しなおす必要は
ない。

【００４１】以上の動作を続けて第２層のニューロンの
出力値を１本のワード線上のメモリセルに書き込んでい
く。第２層の計算が終了したらつづいて第２層のニュー
ロンの出力値をメモリセルアレーＡから、第２層のニュ
ーロンと第３層の第１ニューロンとの間の結合重み値Ｔ
（１，ｉ，２）（ｉ＝１，．．，ｎ）をメモリアレーＢ
から読出して第３層の第１ニューロンの出力値の計算を
行ない、同様の計算をつづけて最終層の第ｎニューロン
の出力値を求めるまで計算を行なっていく。

【００４２】以上述べたように本実施例によれば、ｋ個
の乗算を並列に行なうので高速にニューラルネットワー
ク情報処理が行なえる。また、セレクタを用いているた
め、メモリセルアレーのデータ線ピッチとデジタル乗算
回路の入力線のピッチが異なっても両者を整合させてセ
レクタを挾んで近接して配置できる。このため長いバス
が不要となり信号の授受を高速に行なうことができる。
さらに、セレクタにラッチ機能を設けたため、メモリセ
ルアレーの読出し動作はメモリセルアレーＡでは、各層
ごと、Ｂでは各ニューロンごとに１回と少なくて良い。
したがって、メモリセルアレーの消費する電力が少なく
て済むという利点がある。また、セレクタ内のラッチ回
路から読みだすので、メモリセルアレーからの読みだし
に較べて高速動作が可能となる。

【００４３】図１２は、ニューロプロセッサの構成例
（２）であり、図１０の実施例と同様の機能を持つもの
をアナログの乗算器を用いて実現したものである。図１
２においてＤＡＡ１，．．，ＤＡＡｋおよびＤＡＢ
１，．．，ＤＡＢｋはＤＡコンバータでありセレクタＳ
ＴＡ，ＳＡＢから出力されるデジタル値をアナログ値に
変換して乗算器ＭＴＡ１，．．，ＭＴＡｋに入力する。
乗算器ＭＴＡ１，．．，ＭＴＡｋは出力が電流のものを
用いる。このため乗算結果を１度に足しあわせることが
できる。したがって、図１０の実施例のように演算回路
ＰＥ内にスイッチを設けて順番にアキュムレータに乗算
結果を伝達する場合に比べて高速であるという特長があ
る。また、本実施例ではアナログの乗算器を用いている
ため占有面積が小さくできるという利点がある。本実施
例の動作、計算アルゴリズムは図１０の実施例と同様で
あるので動作の詳細な説明は省略する。なお、出力が電
流の乗算器ＭＴＡ１，．．，ＭＴＡｋはたとえば、ア
イ、イー、イー、イー、ジャーナル、オブ、ソリッド、
ステート、サーキット、エス、シー１７、第６巻、１１
７４ページから１１７８ページ（IEEE Journal of Soli
d-State Circuits, vol, SC-17, no.6, December, 198
2, p.1174-1178）あるいはアイ、イー、イー、イー、ジ
ャーナル、オブ、ソリッド、ステート、サーキット、エ
ス、シー２２、第３巻、３５７ページから３６５ページ
（IEEE Journal of Solid-State Circuits, vol, SC-2
2, no.3, June, 1987, p.357-365）に記載の回路を用い
ることができる。ＤＡコンバータについては図１２の構
成に好適な実施例を後述する。

【００４４】図１３は、本発明を用いたニューロプロセ
ッサの構成例（３）で図１０の実施例と同じようにデジ
タル演算器を用いて構成してある。図１３においてＲＡ
はレジスタで、ニューロン出力値を記憶するためのもの
である。演算回路ＰＥは、ｋ個のデジタル乗算器ＭＴＤ
１，．．，ＭＴＤｋおよびアキュムレータＡＣＣ
１，．．，ＡＣＣｋより構成されている。セレクタ回路
ＳＴＣではスイッチＳＷ１，．．，ＳＷｋを１つずつ導
通することにより積和結果を非線形演算回路Ｄに伝達す
る。本実施例では図１１とは異なる計算アルゴリズムで
ニューロン出力値を計算する。以下、本実施例の動作を
図１４を用いて詳細に説明する。

【００４５】図１４は図１３のニューロプロセッサの構
成（３）における計算アルゴリズムを図示したものであ
る。前と同様にここでは、各層にｎ個のニューロンがあ
るＬ層の階層型ネットワークを仮定している。なお、図
１４では第２層の第１ニューロンから第ｋニューロンの
出力値を計算するアルゴリズムを示すために結合重みの
うち１部のみ示してある。あらかじめ、入力層のニュー
ロンの出力値をレジスタＲＡに書き込んでおく。またメ
モリアレーＢには（Ｌ−１）ｎ²個のすべての結合重み
値を書き込んでおく。このとき、第ｓ層のニューロンｈ
個と第（ｓ＋１）層ニューロンｋ個の間のｎ個の結合重
み値Ｔ（ｊ，ｉ，ｓ）が同一のワード線上のメモリセル
に記憶されるようにする。たとえば、図１４において入
力層のグループ＃１のｈ個のニューロンと第２層の第１
ニューロンから第ｋニューロンの間の結合重み値は同一
のワード線上のメモリセルに記憶されるようにする。

【００４６】まず、入力層のグループ＃１の第１ニュー
ロンの出力値をレジスタＲＡから読出し、入力層のグル
ープ＃１のｈ個のニューロンと第２層の第１ニューロン
から第ｋニューロンの間の結合重み値を書き込んでおい
たメモリアレーＢのワード線を選択する。その結果、セ
レクタ単位回路ＳＴＢ１，．．，ＳＴＢｋにはそれぞ
れ、ｈ個ずつの結合重み値Ｔ（１，ｉ，１），．．，Ｔ
（ｋ，ｉ，１）（ここで、ｉ＝１，．．，ｈ）が入力さ
れラッチされる。つづいて、入力層のグループ＃１のｈ
個のニューロンと第２層の第１ニューロンから第ｋニュ
ーロンの間の結合重み値の積をｈ回のサイクルに分けて
行なう。まず、第１サイクルでは、第１層の第１ニュー
ロンの出力値をレジスタＲＡから読出し、セレクタ単位
回路ＳＴＢ１，．．，ＳＴＢｋからはそれぞれ図１４に
おいて実線で示した結合の重み値をデジタル乗算器ＭＴ
Ｄ１，．．，ＭＴＤｋに入力する。デジタル乗算器ＭＴ
Ｄ１，．．，ＭＴＤｋでは、ニューロン出力値と結合重
み値の積が並列に計算され、乗算結果はアキュムレータ
ＡＣＣ１，．．，ＡＣＣｋへ蓄えられる。次に、第２サ
イクルでは、第１層の第２ニューロンの出力値をレジス
タＲＡから読出し、セレクタ単位回路ＳＴＢ１，．．，
ＳＴＢｋからはそれぞれ、図１１において破線で示した
結合の重み値をデジタル乗算器ＭＴＤ１，．．，ＭＴＤ
ｋに入力して乗算結果をアキュムレータＡＣＣ
１，．．，ＡＣＣｋへ伝達して加算する。同様にして第
ｈサイクルまで計算を行い、入力層のグループ＃１のｈ
個のニューロンと第２層の第１ニューロンから第ｋニュ
ーロンの間の結合重み値の積和計算を行なう。

【００４７】次に、入力層のグループ＃２の第１ニュー
ロンの出力値をレジスタＲＡから読出し、入力層のグル
ープ＃２のｈ個のニューロンと第２層の第１ニューロン
から第ｋニューロンの間の結合重み値を書き込んでおい
たメモリアレーＢのワード線を選択する。そして、上記
と同様に入力層のグループ＃２のｈ個のニューロンと第
２層の第１ニューロンから第ｋニューロンの間の結合重
み値の積をｈ回のサイクルに分けて行なう。以下、同様
にして入力層のグループ＃ｋのｈ個のニューロンと第２
層の第１ニューロンから第ｋニューロンの間の結合重み
値の乗算までを行なうとアキュムレータＡＣＣ
１，．．，ＡＣＣｋには第２層の第１ニューロンから第
ｋニューロンの出力値を求めるのに必要な積和結果が得
られる。ここで、その積和結果をスイッチＳＷ
１，．．，ＳＷｋを順番に導通させて非線形演算回路Ｄ
に入力してその出力をレジスタＲＡに書き込む。以下、
第２層のニューロン出力値をｋ個づつ求めていき、第２
層のニューロン出力値の計算が終わった後に第２層のニ
ューロン出力値を用いて第３層のニューロン出力値を求
め、出力層まで同様にして計算を行なう。

【００４８】以上述べたように本実施例では、デジタル
演算によりニューラルネットワーク情報処理を行うため
図１０の実施例と同じく高精度の演算ができる。さら
に、乗算器をｋ個、アキュムレータをｋ個設けて乗算、
加算とも並列に行なうので図１０の実施例より高速であ
る。なお、本実施例においてもセレクタを用いているた
め、メモリセルアレーのデータ線ピッチとデジタル乗算
回路、アキュムレータの入力線のピッチが異なっても両
者を整合させてセレクタを挾んで近接して配置できる。
このため長いバスが不要となり信号の授受を高速に行な
うことができることはもちろんである。さらに、セレク
タにラッチ機能を設けたため、メモリセルアレーＢの読
出し動作はｈサイクルごとと少なくて良い。したがっ
て、メモリセルアレーの消費する電力が少なくて済むと
いう利点がある。なお、本実施例では１つの非線形演算
回路Ｄを用いているが、個々のアキュムレータそれぞれ
に設けても良い。その場合には、非線形演算も並列に行
なうことができるため、さらに、高速処理が可能とな
る。その場合には、セレクタＳＴＣを用いずにレジスタ
ＲＡの入力バスをａｋ ｂｉｔに広げてレジスタＲＡへ
の書込みを並列に行なうようにして、さらに、高速処理
を行うことも可能となる。

【００４９】図１５は、本発明を用いたニューロプロセ
ッサの構成例（４）である。図１５において、ＰＥＡ，
ＰＥＢは演算回路、ＤＳＢはディストリビュータであ
る。前出の実施例と同じくレジスタＲＡ、メモリセルア
レーＢはそれぞれニューロン出力値、結合重み値を記憶
するためのもので、ニューロン出力値、結合重み値はそ
れぞれ、ａ ｂｉｔ、ｂ ｂｉｔで表現されて記憶され
る。本実施例の特長は、アキュムレータをｈｋ個設けた
ことである。以下、本実施例の動作を図１５、図１６を
用いて詳細に説明する。

【００５０】図１６は図１５のニューロプロセッサの構
成（４）における計算アルゴリズムを図示したものであ
る。本実施例と図１３、１４に示した実施例の最も大き
な違いは、本実施例では、ｎ個のアキュムレータを設け
て、１層分のｎ個のニューロンの出力値を計算を並列し
て行なうことである。あらかじめ、入力層のニューロン
の出力値をレジスタＲＡに書き込んでおく。またメモリ
アレーＢには（Ｌ−１）ｎ²個のすべての結合重み値を
書き込んでおく。このとき、同一のワード線上のメモリ
セルに第ｓ層の第ｉニューロンと第（ｓ＋１）層のニュ
ーロン間の結合重み値Ｔ（ｊ，ｉ，ｓ）（ｊ＝
１，．．．，ｎ）が記憶されるようにし、ワード線上の
順番はワード線を選択することによってセレクタ単位回
路ＳＴＢｘに、第ｓ層の第ｉニューロンと第（ｓ＋１）
層の第１グループから第ｈグループ（図１６に＃
１，．．，＃ｈで示した）の第ｘニューロンとの間の結
合重み値が入力されるようにする。例えば、図１６にお
いて入力層の第１ニューロンと第２層のｎ個のニューロ
ンの間の結合重み値は同一のワード線上に記憶され、入
力層の第１ニューロンと各グループの第１ニューロン
（斜線をつけたもの）の間のｈ個の結合重み値はそのワ
ード線を選択するとセレクタ単位回路ＳＴＢ１に入力さ
れる。

【００５１】計算は次のように行なう。まず、入力層の
第１ニューロンの出力値をレジスタＲＡから読出し、入
力層の第１ニューロンと第２層のニューロンの間の結合
重み値を書き込んでおいたメモリアレーＢのワード線を
選択する。その結果、セレクタ単位回路ＳＴＢ
１，．．，ＳＴＢｋにはそれぞれ、ｈ個ずつの結合重み
値が入力されラッチされる。つづいて、入力層の第１ニ
ューロンの出力値と第２層のｎ個のニューロンの間の結
合重み値の積をｈ回のサイクルに分けて行なう。まず、
第１サイクルでは、セレクタ単位回路ＳＴＢ１，．．，
ＳＴＢｋからはそれぞれ図１６において実線で示した結
合の重み値をデジタル乗算器ＭＴＤ１，．．，ＭＴＤｋ
に入力する。デジタル乗算器ＭＴＤ１，．．，ＭＴＤｋ
では、ニューロン出力値と結合重み値の積が並列に計算
され、乗算結果はディストリビュータを通じてアキュム
レータＡＣＣ（１，１），ＡＣＣ（１，２）．．，ＡＣ
Ｃ（１，ｋ）へ蓄えられる。次に、第２サイクルでは、
セレクタ単位回路ＳＴＢ１，．．，ＳＴＢｋからそれぞ
れ、図１６において破線で示した結合の重み値をデジタ
ル乗算器ＭＴＤ１，．．，ＭＴＤｋに入力して乗算結果
をアキュムレータＡＣＣ（２，１），ＡＣＣ（２，
２），．．，ＡＣＣ（２，ｋ）へ伝達して加算する。同
様にして第ｈサイクル計算を行い、入力層の第１のニュ
ーロンと第２層のｎ個のニューロンの間の結合重み値の
積和計算を行なう。

【００５２】次に、入力層の第２ニューロンの出力値を
レジスタＲＡから読出し、入力層の第２ニューロンと第
２層のｎ個のニューロンの間の結合重み値を書き込んで
おいたメモリアレーＢのワード線を選択する。そして、
上記と同様に入力層の第２ニューロンと第２層のニュー
ロンの間の結合重み値の積をｈ回のサイクルに分けて行
なう。以下、同様にして入力層の第ｎニューロンと第２
層のニューロンの間の結合重み値の乗算までを行なうと
アキュムレータには第２層の第１ニューロンから第ｎニ
ューロンの出力値を求めるのに必要な積和結果が得られ
る。たとえば、ＡＣＣ（２，３）には第２層の第２グル
ープの第３ニューロンの出力値を求めるのに必要な積和
結果が得られる。ここで、その積和結果をスイッチＳＷ
１，．．，ＳＷｋを順番に導通させて非線形演算回路Ｄ
に入力してレジスタＲＡに書き込む。以下、第３層のニ
ューロン出力値を求め、第３層のニューロン出力値の計
算が終わった後に第４層のニューロン出力値を求めて、
出力層まで同様にして計算を行なう。

【００５３】以上述べたように本実施例によれば、乗算
器をｋ個、アキュムレータをｎ個設けて同一層内のｎ個
のニューロンの出力値の計算を並列に行なうことができ
る。このため、非線形演算回路、レジスタへのアキュム
レータからのデータ転送をまとめて行なうことができる
ので高速にニューラルネットワーク情報処理が行なえ
る。なお、本実施例においてもセレクタを用いているた
め、メモリセルアレーのデータ線ピッチとデジタル乗算
回路の入力線のピッチが異なっていても両者を整合させ
てセレクタを挾んで近接して配置できる。このため長い
バスが不要となり信号の授受を高速に行なうことができ
ることはもちろんである。さらに、セレクタにラッチ機
能を設けたため、メモリセルアレーＢの読出し動作はｈ
サイクルごとと少なくて良い。したがって、前記した実
施例と同様にメモリセルアレーの消費する電力が少なく
て済み動作も高速になるという利点がある。なお、本実
施例でも前記した実施例と同様に非線形演算回路Ｄを複
数設けたり、レジスタＲＡの入力バスを広げるなどによ
り非線形演算やレジスタＲＡへの書込みを並列に行ない
さらに高速化を図ることが可能である。

【００５４】以下では、これまで述べた実施例に好適な
回路の実施例を示す。

【００５５】図１７は、ＤＲＡＭメモリセルアレーに好
適なセレクタの構成例である。本実施例は、図１、２、
３のメモリセルアレーＡとセレクタＳＴ、図４のメモリ
セルアレーＡ１，．．，ＡＪとセレクタＳＴ１，．．，
ＳＴＪ、図５、６のメモリセルアレーＡとセレクタＳ
Ｔ、図１０、１２のメモリセルアレーＡ，Ｂとセレクタ
ＳＴＡ，ＳＴＢならびに図１３、１５のメモリセルアレ
ーＢとセレクタＳＴＢ等に用いることができる。本実施
例の特長は、ＤＲＡＭメモリセルを用いてメモリセルア
レー部を高集積に実現したことと、セレクタのラッチ機
能をＤＲＡＭセルアレー内の再書込み用センスアンプを
利用して実現したことである。図１７においてＭはメモ
リセルアレー、ＳＴ１，．．，ＳＴｋはセレクタ単位回
路である。説明の都合上、メモリセルアレーＭはメモリ
セルアレー単位回路Ｍ１，．．，Ｍａ，．．セレクタ単
位回路ＳＴ１は基本セレクタＳＴ１１，．．，ＳＴ１ａ
に分けて示してある。メモリセルアレー単位回路Ｍ１に
示したようにメモリセルアレーは１つのトランジスタと
１つのキャパシタからなるダイナミック型メモリセルＭ
Ｃより構成されている。Ｄ１，Ｄ１Ｂ，．．．．Ｄｈ，
ＤｈＢはデータ線、Ｗ１，Ｗ２，．．，Ｗｍはワード線
である。ＰＲ，ＳＡ，ＲＳＡ，ＷＳは、メモリセルＭＣ
の情報の読出し書込みを制御する回路で、それぞれ、プ
リチャージ回路、センスアンプ、読出しアンプ、書込み
回路である。基本セレクタＳＴ１１に示したように１つ
の基本セレクタにはｈ対のデータ線対Ｄ１，Ｄ１
Ｂ，．．．．Ｄｈ，ＤｈＢが入力され、１対のセレクタ
出力線ＴＤ１，ＴＤ１Ｂが出力される。セレクタ単位回
路はＳＴ１１からＳＴ１ａまでのａ個の基本回路から構
成されている。基本回路ＳＴ１１に示したようにデータ
線対のうちＤ１，．．，ＤｈがそれぞれスイッチＭＯＳ
ＳＭ１，．．，ＳＭｈを通じて共通データ線ＣＤ１
に、Ｄ１Ｂ，．．，ＤｈＢがそれぞれスイッチＭＯＳ
ＳＭ１Ｂ，．．，ＳＭｈＢを通じて共通データ線ＣＤ１
Ｂに接続されている。共通データ線対ＣＤ１，ＣＤ１Ｂ
にはそれぞれ、プリチャージ用のｐＭＯＳ ＰＭ１，Ｐ
Ｍ１Ｂが接続され、ＣＭＯＳインバータを用いたバッフ
ァ回路ＢＦ１，ＢＦ１Ｂに入力される。バッファ回路Ｂ
Ｆ１，ＢＦ１Ｂの出力が出力線ＴＤ１，ＴＤ１Ｂとな
る。ここでは、バッファ回路にＣＭＯＳインバータを用
いたためバッファ回路の入出力の電位が反転するがバッ
ファ回路としてＣＭＯＳインバータを２段接続して入出
力の電位を一致させることももちろんできる。ＣＭＯＳ
インバータを多段接続した場合にはＣＭＯＳインバータ
の段間のトランジスタサイズの比を適当にとれば、共通
データ線対の容量を大きくすることなくバッファ回路の
駆動能力を上げることができるので入力容量の大きい演
算回路をセレクタと接続する場合に好適である。

【００５６】セレクタを通じた情報の読出し動作の概要
は以下のとおりである。まず、通常のＤＲＡＭの読み出
し動作と同じようにメモリセルアレーＭ内のワード線が
一本選択され、そのワード線上のメモリセルに蓄えられ
ていた情報がそれぞれのデータ線対に微小な電位差とな
って読出される。その微小な電位差を各データ線対に設
けたセンスアンプＳＡで増幅してメモリセルに再書込み
を行なう。増幅した電位差をセンスアンプＳＡでラッチ
した状態でセレクタを動作させてデータ線対ｈ対あたり
１対のデータを選択して出力する。したがって、図１７
に示した構成では、１本のワード線を選択することによ
り、セレクタ単位回路あたりａｈ対のデータ線、全体で
ａｈｋ対のデータ線にａｈｋ ｂｉｔの情報が読出さ
れ、そのなかから、セレクタによりａｋ ｂｉｔのデー
タが選択されて並列に出力されることになる。

【００５７】以下、図１８を用いて図１７のセレクタの
動作を詳細に説明する。なお、メモリセルから出力線
Ｏ，ＯＢを通じての読み出し、入力線Ｉ，ＩＢを通じて
の書込み動作は従来のＤＲＡＭと同様なので説明を省略
する。図１８は図１７のワード線Ｗ１を選択して読出し
た情報をａｋ ｂｉｔずつｈ回連続して並列読出しを行
なう場合の動作波形の例である。まず、動作の始めには
すべてのワード線の電位が低電位Ｖｓｓ、プリチャージ
信号φｐが高電位Ｖｃｃとなっており、これによりメモ
リセルは非選択の状態となり、すべてのデータ線はＶｃ
ｃとＶｓｓの間の電位ＶＨにプリチャージされている。
つぎに、プリチャージ信号φｐの電位を低電位に立ち下
げてからワード線Ｗ１を選択してその電位をＶｃｃ＋Ｖ
ｔ以上に立ちあげる（ここにＶｔはメモリセルＭＣのＭ
ＯＳトランジスタのしきい電圧である）。すると、各デ
ータ線対にはデータ線に接続されたメモリセルＭＣの記
憶情報にしたがって微小な電位差が生ずる。図１８で
は、データ線Ｄ１が、Ｄ１Ｂより高電位に、データ線Ｄ
ｈが、ＤｈＢより低電位になった場合を示している。つ
づいて、センスアンプＳＡ起動信号ＰＰ，ＰＮの電位を
ＶＨからそれぞれ、高電位、低電位に遷移させる。する
と、データ線対の微小な電位差が増幅され、高電位側の
データ線は電位がＶｃｃになるまで充電され、低電位側
のデータ線は電位がＶｓｓになるまで放電される。こう
して、全部でａｈｋ対のデータ線に読出され増幅された
信号は、センスアンプＳＡ起動信号ＰＰ，ＰＮの電位を
それぞれ高電位Ｖｃｃ、低電位Ｖｓｓに保つことにより
データ線対上にラッチされる。つづいて、セレクタによ
りａｋ ｂｉｔずつｈ回連続して並列読出しを行なう。
図１８に示したように動作の始めには共通データ線プリ
チャージ信号ＦＰおよび選択線Ｆ１，．．，Ｆｈの電位
はＶｓｓとなっており、すべての共通データ線はＶｃｃ
にプリチャージされている。上記のようにデータ線対上
読出した信号をラッチした状態で共通データ線プリチャ
ージ信号ＦＰの電位をＶｃｃに立上げたのち、選択線Ｆ
１の電位をＶｃｃに立上げる。するとスイッチＭＯＳが
オン状態となり、Ｖｃｃに充電されているデータ線に接
続された共通データ線の電位はＶｃｃのままであるが、
Ｖｓｓに放電されているデータ線に接続された共通デー
タ線の電位は低下する。たとえば、図１８に示したよう
にデータ線Ｄ１はＶｃｃに充電されているのでこれにス
イッチＭＯＳ ＳＭ１を通じて接続された共通データ線
ＣＤ１の電位はＶｃｃのままであるが、データ線Ｄ１Ｂ
はＶｓｓに放電されているので共通データ線ＣＤ１Ｂの
電位は低下する。共通データ線ＣＤ１Ｂからの電荷によ
りデータ線Ｄ１Ｂの電位は一時的に上昇するが、センス
アンプＳＡによって、データ線Ｄ１Ｂ、共通データ線Ｃ
Ｄ１ＢともにＶｓｓに放電される。こうして共通データ
線対ＣＤ１、ＣＤ１Ｂに読出された信号はＣＭＯＳイン
バータを用いたバッファ回路ＢＦ１，ＢＦ１Ｂに入力さ
れ電位が反転されてセレクタ出力線ＴＤ１Ｂ，ＴＤ１よ
り出力される。セレクタ出力線は図１７の各セレクタ単
位回路にａ対ずつ、全部でａｋ対あるのでａｋ ｂｉｔ
の信号が並列に出力されることになる。つぎに図１８に
示したように選択線Ｆ１の電位をＶｓｓに立ち下げてス
イッチＭＯＳをオフした後に、共通データ線プリチャー
ジ信号ＦＰの電位をＶｓｓに立ち下げてすべての共通デ
ータ線を再びＶｃｃにプリチャージする。その後、上記
と同様にして共通データ線プリチャージ信号ＦＰの電位
をＶｃｃに立上げたのち、選択線Ｆ２の電位をＶｃｃに
立上げると、選択信号線Ｆ２が入力されたスイッチＭＯ
Ｓ（図では省略してある）を通じて、該スイッチＭＯＳ
に接続されたデータ線の情報がセレクタ出力線より読み
出される。以下、同様の動作を行い、選択信号Ｆ
３，．．，Ｆｈを選択することによりすべてのデータ線
の信号をセレクタ出力線より読み出すことができる。な
お、ここでは選択信号を順番に選択する場合を例に採っ
たが、必要に応じてランダムに選択してもよいのはもち
ろんである。また、１本のワード線を選択して読出した
情報のうち１部の必要なものを出力したら、別のワード
線を選択してもよい。あるいは、１本のワード線を選択
して読出した情報をくりかえしランダムに選択すること
もできる。これらの選択はセレクタに接続される演算回
路の要求に応じて自由に設定することができる。なお、
本実施例では容量に電荷を蓄積するＤＲＡＭセルを用い
ているため、通常のＤＲＡＭと同じようにセルの電荷が
リークする。このため、セルの電荷が許容値にある間に
リフレッシュ動作を行う必要があり、演算回路の要求に
より、特定のワード線が選択されない時間が長く、リフ
レッシュ動作が必要な場合には選択線をＶｓｓとしたま
ま、該当するワード線を選択してリフレッシュ動作を行
なえばよい。あるいは、通常のＤＲＡＭでも行われてい
るようにリフレッシュ期間を設けてそのあいだにすべて
のワード線を順番に選択して集中的にリフレッシュ動作
を行うこともできる。ところで、上記の図１７、１８で
は共通データ線をプリチャージしたが、共通データ線の
容量がデータ線の容量より十分小さい場合には、スイッ
チＭＯＳがオンしたときに、共通データ線の残留電荷に
よりデータ線対の電位が反転してセンスアンプが誤動作
することがないので共通データ線プリチャージＭＯＳを
省略してセレクタ回路をさらに高集積に実現することが
できる。

【００５８】以上のように本実施例では、ＤＲＡＭメモ
リセルを用いてメモリセルアレーの高集積化を図り、さ
らにセレクタのラッチ機能をＤＲＡＭセルアレー内の再
書込み用センスアンプを利用して実現した。このため本
発明による情報処理装置を高集積に実現できる。なお、
図１７の読みだし回路ＲＳＡ，書き込み回路ＷＳはメモ
リセル１づつに対して行うものであるが、出力線Ｏ，Ｏ
Ｂ、入力線Ｉ，ＩＢを複数組設けて複数のメモリセルに
並列に書き込み、読み出しを行うようにすれば高速の書
き込み、読み出しが可能となる。さらに、図７に示した
ような並列書き込み回路を設けることにより同一ワード
線上のとびとびのメモリセルに並列書き込みを行うこと
もできる。

【００５９】図１９は、図５、６、１０、１３、１５の
実施例におけるデジタル乗算機ＭＴＤ１，ＭＴＤ
２，．．，ＭＴＤｋに好適な並列デジタル乗算器の単位
回路である。日経エレクトロニクス１９７８年５月２９
日号、第７６ページから９０ページに記載されているよ
うに並列デジタル乗算器は図１９の右に示したような入
出力論理関係を持つ単位回路をアレー状に組み合わせて
構成される。並列デジタル乗算器の単位回路は様々なも
のが提案されているが、本発明のようにメモリセルアレ
ーの直下に乗算器を配置する場合にはできるだけ狭いレ
イアウトピッチに収まるものが望ましい。図１９に示し
た単位回路の実施例は、１６個ずつのｎＭＯＳとｐＭＯ
Ｓから構成されており、いわゆる複合ゲートによって図
１９の右側に示した論理を実現している。本回路は、構
成するトランジスタが少ないことと入出力信号が対信号
でないためアレー状に組み合わせた場合に基本回路間の
配線数が少ないという特長を持つ。また、ＣＭＯＳ回路
であるため消費電力も小さく、本発明のように多数の乗
算器を高集積に実現する場合に適している。図１９の左
側に示した回路の入出力の論理が図１９の右側の式のよ
うになることは容易にわかるので説明は省略する。な
お、上記の日経エレクトロニクス１９７８年５月２９日
号、第８０ページに記載されているように２の補数を扱
う並列乗算器では単位回路の一部にインバータやオア回
路による補正が必要になる。インバータによる補正は図
１７の実施例のようにセレクタからの信号が対信号のも
のを用いれば乗算器内に新たにインバータを設けなくと
も実現できる。また、オア回路による補正は、図１９の
右側の式でＸとＹのアンドの項をオアに変更すればよ
い。そのためには図１９の回路でＸ，Ｙの入力されるｐ
ＭＯＳを直列接続に、ｎＭＯＳを並列接続にすればよい
ので、図１９の単位回路と同様のサイズで実現できる。
したがって、２の補数を扱う並列乗算器も高集積に実現
できる。

【００６０】図２０は図１２の実施例に好適なＤＡコン
バータの構成例である。図２０においてＣＢＩＡＳは共
通バイアス回路、ＤＡＡ１，．．，ＤＡＡｋはＤＡコン
バータである。ＤＡコンバータＤＡＡ１，．．，ＤＡＡ
ｋはメモリセルアレーからデータ線を通じて読出される
ａ ｂｉｔのデジタル信号をアナログ値の電流に変換し
て出力線Ｏ１，．．，Ｏｋに出力する。なお、図２０に
は示していないが図１２のＤＡＢ１，．．，ＤＡＢｋも
同様にして構成できる。ＤＡコンバータＤＡＡ
１，．．，ＤＡＡｋは共通バイアス回路ＣＢＩＡＳによ
りバイアス線ＢＬ１，．．，ＢＬａを通じてバイアスさ
れている。共通バイアス回路ＣＢＩＡＳにおいてｐＭＯ
ＳトランジスタＭＰ０は電流源ＩＳＯの負荷で、ｐＭＯ
ＳトランジスタＭＰ１，．．，ＭＰａのゲートをバイア
スしている。ｐＭＯＳトランジスタＭＰ１，．．，ＭＰ
ａのゲート巾／ゲート長（以下、サイズとする）は等し
く、ｎＭＯＳトランジスタＭＮ１，．．，ＭＮａのサイ
ズは比が１：２：，．．，：（２のａ−１乗）に設定さ
れている。これらのトランジスタには電流源ＩＳＯの電
流を基準とした等しい電流が正電源Ｖｃｃより流れてい
る。ＤＡコンバータＤＡＡ１においてｐＭＯＳトランジ
スタＭＰＤ０は出力線Ｏ１の負荷であり、ＭＮＣ
１，．．，ＭＮＣａはスイッチＭＯＳである。スイッチ
ＭＯＳ ＭＮＣ１，．．，ＭＮＣａは、それぞれのゲー
トが、メモリセルアレーのデータ線に接続されているの
でメモリセルアレーからデータ線を通じて読出されるａ
ｂｉｔのデジタル信号に応じてオン、オフする。ＭＮ
Ｄ１，．．，ＭＮＤａはサイズの等しいｎＭＯＳトラン
ジスタである。図２０よりわかるように、ｎＭＯＳトラ
ンジスタＭＮｉとＭＮＤｉ（ｉ＝１，２，．．，ａ）
は、カレントミラー接続になっており、スイッチＭＯＳ
をオンすると，ＭＮＤｉに電流が流れる。このとき流れ
る電流はカレントミラー比、すなわちｎＭＯＳトランジ
スタＭＮｉとＭＮＤｉのサイズの比で決まる。したがっ
て、スイッチＭＯＳ ＭＮＣ１，．．，ＭＮＣａがオン
したときにｎＭＯＳトランジスタＭＮＤ１，．．，ＭＮ
Ｄａに流れる電流の比は１：（１／２）：（１／
４）：，．．，：（１／（２のａ−１乗））すなわち、
（２のａ−１乗）：，．．，４：２：１となり、出力線
Ｏ１にはこれらの電流を足しあわせた電流が流れる。し
たがって、メモリセルアレーからデータ線を通じて読出
されるａ ｂｉｔのデジタル信号はアナログ値の電流に
変換されて出力線Ｏ１，．．，Ｏｋに出力されることに
なる。

【００６１】本実施例の特長は、共通バイアス回路を用
いることによりＤＡコンバータＤＡＡ１，．．，ＤＡＡ
ｋ内のＭＯＳトランジスタＭＮＤ１，．．，ＭＮＤａの
サイズを一定にしたことである。これにより高集積にＤ
Ａコンバータが構成できるので、図１２の実施例のよう
にアレー直下に容易に配置することができる。また、共
通のバイアス回路ＣＢＩＡＳ内の電流源ＩＳＯを基準に
電流値を制御しているため、高精度の変換が可能とな
る。

【００６２】なお、図２０の実施例ではＤＡコンバータ
に入力されるデータ線の信号は差動の必要はない。した
がって、メモリセルアレーとしてＤＲＡＭ，ＳＲＡＭア
レー等、データ線に差動信号が出力されるものを用いる
場合は、データ線対の片方を入力すればよい。なお、デ
ータ線対の片方のみをｎＭＯＳトランジスタＭＮＤ
１，．．，ＭＮＤａのゲートに接続するとそのゲート容
量によってデータ線対の容量がアンバランスとなり、動
作に悪影響がでる場合がある。そのようなときにはｎＭ
ＯＳトランジスタＭＮＤ１，．．，ＭＮＤａのゲートに
接続しないデータ線にもＭＮＤ１，．．，ＭＮＤａと同
じゲート巾、ゲート長のｎＭＯＳトランジスタを付加し
てデータ線対の容量のバランスをとればよい。

【００６３】これまでは、本発明を用いてニューラルネ
ットワーク情報処理装置を実現するための実施例を示し
てきた。ニューラルネットワークは最適解の探索、ある
いはパターン認識などにもちいられるが、パターン認識
に適用する場合には下記で説明するようなパターン判別
回路を用いるとあいまいな結果にたいしても認識処理を
行うことができる。ニューラルネットワークを用いたパ
ターン認識では、入力されたパターンが、明らかにある
クラスに分類される場合には、出力としてクラスに対応
する期待値を得ることができる。しかし、入力されたパ
ターンが、複数のいずれかのクラスに分類されるか微妙
な場合には、複数のクラスの期待値の中間的なものとな
ることがある。例えば音声認識において入力された音声
が｀Ｋ｀のときには、符号化して入力層に与えた音声波
形に対して出力層に１１１１というニューロン出力値
（期待値）が得られるように、また、入力が｀Ｃ｀のと
きには、００００という出力値（期待値）を出すように
結合重み値を設定した場合に、｀Ｋ｀、｀Ｃ｀の中間的
な音声波形が与えられると出力層のニューロン出力値
は、０００１とか１１１０など中間的な値を出すことが
ある。このような場合には出力層のニューロン出力値と
｀Ｋ｀に対する期待値１１１１あるいは｀Ｃ｀に対する
期待値００００との距離が入力音声の｀Ｋ｀あるいは｀
Ｃ｀に対する近さを与える尺度と解釈することができ
る。したがって、出力層のニューロン出力値とクラスの
期待値を比較するパターン判別回路を設けて出力結果と
期待値の距離を求めることによりあいまいな出力が得ら
れた場合にも認識を行うことができる。

【００６４】図２１は、上記のようなパターン判別回路
の構成例である。図２１においてＢＮＹは、ａ ｂｉｔ
のニューロン出力値を０、１の２値の１ ｂｉｔに変換
する２値化回路でＲＧＴは変換されたニューロン出力値
を１層分記憶するためのレジスタ、Ｍ−ＰＡＴＴＥＲＮ
はクラスの期待値を記憶するレジスタ、ＣＭＰはレジス
タＭ−ＰＡＴＴＥＲＮとレジスタＲＧＴの内容を並列に
比較してハミング距離を出力する回路である。ＣＯＭＰ
ＯＵＴはＣＭＰの出力結果を参照値と比較して結果を出
力する回路である。比較器ＣＭＰは並列に設けた比較回
路ＣＭＰＵと負荷抵抗Ｒ_CMPより構成され比較結果変換
回路ＣＯＭＰＯＵＴは差動アンプＡＭＰ２１１，ＡＭＰ
２１２，．．，ＡＭＰ２１Ｚより構成されている。比較
器ＣＭＰには、レジスタＭ−ＰＡＴＴＥＲＭのデータ線
対 （ＤＴＧ１，ＤＴＧＢ），．．，（ＤＴＧｒ，ＤＴ
ＧｒＢ）およびレジスタＲＧＴのデータ線対 （ＤＲ
１，ＤＲ１Ｂ），．．，（ＤＲｒ，ＤＲｒＢ）が入力さ
れている。本実施例の動作は、以下の通りである。

【００６５】まず、ある入力パターンについて得られた
最終層のニューロン出力値を２値化回路ＢＮＹに順番に
入力し、しきい値ＴＨと比較してＴＨより大きければ
１、小さければ０に変換してレジスタＲＧＴに蓄える。
最終層のニューロン出力値をすべて２値化したらつぎに
クリア信号Φ_Cを立ち上げＭＯＳトランジスタＱ２１６
をオンさせて、ＭＯＳトランジスタＱ２１５のゲート電
圧を立ち下げておく。つぎにクリア信号Φ_Cを立ち下げ
てレジスタＲＧＴ，Ｍ−ＰＡＴＴＥＲＮよりデータ線に
信号が読出されデータ線電位がＶｃｃあるいは０Ｖにな
った後、比較器起動信号Φ_CMPにより比較器ＣＭＰを起
動する。すると比較回路に入力されたデータ線（ＤＴＧ
１，ＤＲ１），（ＤＴＧ２，ＤＲ２），．．，（ＤＴＧ
ｒ，ＤＲｒ）のそれぞれの組で排他的オア（ＥＸＣＬＵ
ＳＩＶＥ−ＯＲ）の論理がとられる。その結果、アレー
Ｍ−ＰＡＴＴＥＲＮ側のデータ線とレジスタＲＧＴ側の
データ線とで情報が一致している場合にはＭＯＳトラン
ジスタＱ２１５のゲートが低電位のままであるが、一致
していない場合には高電位に遷移する。このため、アレ
ーＭ−ＰＡＴＴＥＲＮ側のデータ線とレジスタＲＧＴ側
のデータ線とで情報が一致しない比較器ＣＭＰＵではＭ
ＯＳトランジスタＱ２１５がオンする。この結果、デー
タ線（ＤＴＧ１，ＤＲ１），（ＤＴＧ２，ＤＲ
２），．．，（ＤＴＧｒ，ＤＲｒ）のそれぞれの組で不
一致の数が多いほど電源ＶＣＭＰから負荷抵抗ＲＣＭＰ
を通じて接地電極へ向けて電流が流れる。そのため、比
較線ＣＯの電位は一致しないものが多いほど低下する。
比較線ＣＯは、比較結果変換回路ＣＯＭＰＯＵＴに設け
られた差動アンプＡＭＰ２１１，ＡＭＰ２１２，．．，
ＡＭＰ２１Ｚに接続されている。これらの差動アンプの
参照電圧ＶＲＣ１，ＶＲＣ２，．．，ＶＲＣＺを適当な
値に設定しておけば、比較線ＣＯの電位低下が大きいほ
ど比較結果出力線ＤＣＯ１，ＤＣＯ２，．．，ＤＣＯＺ
のうち高電位になる本数が増加する。すなわち、比較結
果変換回路ＣＯＭＰＯＵＴは１種のＡＤ変換器として動
作する。このように本実施例によればレジスタＭ−ＰＡ
ＴＴＥＲＮの複数のデータ線に読出された情報とレジス
タＲＧＴの複数のデータ線に読出された情報を比較して
そのハミング距離の大きさを求めることができる。した
がって、各期待値をそれぞれレジスタＭ−ＰＡＴＴＥＲ
Ｎのメモリセルに記憶しておけば、レジスタＲＧＴに記
憶されたニューロン出力値と比較して、そのニューロン
出力値がどの期待値にどのくらい近いのか知ることがで
きる。したがって、得られたニューロン出力値がクラス
に対応する期待値と一致しないような場合でも高速に認
識処理を行うことができる。

【００６６】なお、図２１の実施例において２値化回路
を複数設けて２値化の計算を並列に行うことによりさら
に高速に処理を行うこともできる。

【００６７】図２１の実施例において差動アンプ、２値
化回路の詳細は省略したが、差動アンプはもちろん２値
化回路も単なる比較回路であるため通常の回路技術を用
いて容易に実現できる。

【００６８】なお、これまでは、いわゆる１トランジス
タ１キャパシタのＤＲＡＭセルを用いた実施例を示した
が、その他のメモリセル例えば、ＳＲＡＭセルやＥＥＰ
ＲＯＭセルあるいは強誘電体を用いた不揮発性のＤＲＡ
Ｍメモリセルなどを本発明に用いることももちろんでき
る。さらに、たとえば、結合重み値を記憶する部分など
は情報処理時には頻繁に書き替える必要がないので不揮
発性のメモリセルを、ニューロン出力値を記憶する部分
にはＤＲＡＭセルやＳＲＡＭセルを用いるなどメモリの
内容によりセルの種類を変えることもできる。

【００６９】ところで、１トランジスタ１キャパシタの
ＤＲＡＭセルなどの微小なメモリセルを用いてメモリ回
路を高集積化すると、微小な配線を用いるためにときに
は１部のメモリセルが動作しないことがある。ニューラ
ルネットワークは、結合重み値を多少変えても機能への
影響が少ないという特長を持つが、ニューロン出力値を
蓄えるメモリセルが動作しないような場合には情報処理
に支障を来すことがある。このような問題を避けるに
は、通常の高集積半導体メモリで使われているような冗
長ワード線あるいは、データ線を設けておいて欠陥のあ
るセルを使わないようにすることもできる。

【００７０】また、これまではＣＭＯＳを用いた回路を
示したが、さらに高速にするためにバイポーラトランジ
スタを用いても実現できる。さらに、バイポーラトラン
ジスタ、ＭＯＳトランジスタに限らず本発明を他のデバ
イスで実現してもよいことはもちろんである。

【００７１】これまで、主に階層型のネットワークをを
例にとり説明してきたが、本発明はこれらに限定される
ことなくホップフィールド型のネットワークや様々な型
のネットワークによるニューラルネットワーク情報処理
に適用できる。たとえば、ボルツマンマシンのようなニ
ューロン出力値の更新が確率的に行なわれるようなネッ
トワークも実現できる。ニューラルネットワーク情報処
理（産業図書、麻生英樹著）第２７ページに説明されて
いるように、ボルツマンマシンは、ネットワークの形状
はホップフィールド型のネットワークと同様であるが、
ニューロン出力値（０または１）が、ニューロンに入力
されるニューロン出力値と結合重み値の他の積和によっ
て一意に決まらず、確率的に決まるという特長を持って
いる。ニューロン出力値が１となる確率Ｐは、 Ｐ＝１／（１＋ｅｘｐ（−Ｉ／Ｔ）） と表せられる。ここで、Ｉはニューロンに入力されるニ
ューロン出力値と結合重み値の積和で、Ｔは温度とよば
れるパラメータである。本発明により上記のボルツマン
マシンは容易に実現できる。例えば、図１０，１２，１
３，１５に示した非線形回路Ｄの出力特性を時間的に変
化させればニューロン出力値を確率的に決めることがで
きる。変化の速度を変えることにより温度Ｔを変化する
のと同様の効果を得ることができる。

【００７２】以上では、主にニューラルネットワーク情
報処理への応用について説明したが、本発明はそれに限
定されることはなく、多数の情報を並列に用いる演算回
路とメモリセルアレーとを同一のチップ上に設けて情報
処理を行なうような装置ならば高い集積度で実現するこ
とができる。たとえば、画像処理を行う演算回路と画像
情報を記憶するメモリセルアレーとを同一のチップ上に
設けて高速でコンパクトな画像処理システムを構築する
こともできる。

【００７３】

【発明の効果】これまで述べたように本発明では、メモ
リセルアレーに隣接してセレクタと演算回路を配置し、
セレクタの入力線と出力線のピッチをそれぞれメモリセ
ルのデータ線ピッチと演算回路のピッチに合わせた。

【００７４】このため、メモリアレーのデータ線のピッ
チと演算回路の入力線のピッチが異なる場合においても
セレクタに隣接してメモリセルアレーと演算回路を配置
することができる。例えば、データ線のピッチが大変小
さいＤＲＡＭなどのメモリアレーと入力線のピッチが比
較的大きいデジタル演算回路などを長いバスを用いずに
セレクタを介して配置することも可能となる。

【００７５】したがって、従来問題となっていたバス本
数の増加による占有領域の増大、配線抵抗の増大による
信号遅延あるいはバスの長さの違いによる信号遅延の不
均一などが解決される。

【図面の簡単な説明】

【図１】本発明を用いた半導体チップの構成の一実施例
を示す図。

【図２】セレクタ、演算回路の構成の一実施例を示す
図。

【図３】セレクタ単位回路の構成の一実施例を示す図。

【図４】メモリセルアレーのデータ線を分割した場合の
構成の一実施例を示す図。

【図５】ベクトルとスカラの乗算を行うプロセッサの構
成の一実施例を示す図。

【図６】ベクトルとスカラの乗算を行うプロセッサの構
成の一実施例を示す図。

【図７】図５のプロセッサに適した並列書き込み回路の
構成の一実施例を示す図。

【図８】階層型ニューラルネットワークの構成を示す
図。

【図９】ホップフィールド型ニューラルネットワークの
構成を示す図。

【図１０】ニューロプロセッサの構成の一実施例を示す
図。

【図１１】図１０の構成の計算アルゴリズムの一実施例
を示す図。

【図１２】ニューロプロセッサの構成の一実施例を示す
図。

【図１３】ニューロプロセッサの構成の一実施例を示す
図。

【図１４】図１３の構成の計算アルゴリズムの一実施例
を示す図。

【図１５】ニューロプロセッサの構成の一実施例を示す
図。

【図１６】図１５の構成の計算アルゴリズムの一実施例
を示す図。

【図１７】ＤＲＡＭメモリセルアレーに好適なセレクタ
の一実施例を示す図。

【図１８】図１７の動作波形の一実施例を示す波形図。

【図１９】デジタル乗算器の単位回路の一実施例を示す
回路図。

【図２０】ＤＡコンバータの一実施例を示す回路図。

【図２１】パターン判別回路の構成の一実施例を示す回
路図。

【図２２】従来のニューロプロセッサの構成

【符号の説明】

ＳＴ，ＳＴＡ，ＳＴＢ，ＳＴＣ…セレクタ、ＰＥ，ＰＥ
Ａ，ＰＥＢ…演算回路、Ａ，Ａ１，Ａ２，．．，ＡＪ，
Ｂ，Ｍ…メモリセルアレー、ＣＴＬ…制御回路、ＩＯ…
入出力回路、ＬＡＴ…ラッチ回路、ＳＷ，ＳＷ１，ＳＷ
２，．．，ＳＷｋ…スイッチ、Ｄ…非線形演算回路、Ａ
ＣＣ…アキュムレータ、ＡＤ…ＡＤコンバータ、ＲＡ，
ＲＧＴ，Ｍ−ＰＡＴＴＥＲＮ…レジスタ、ＤＳＢ…ディ
ストリビュータ、ＰＲ…プリチャージ回路、ＳＡ…セン
スアンプ、ＲＳＡ…読み出しアンプ、ＷＳ…書込み回
路、ＣＢＩＡＳ…共通バイアス回路、ＤＡＡ１，．．，
ＤＡＡｋ…ＤＡコンバータ、ＢＮＹ…２値化回路、ＣＭ
Ｐ…比較器、ＣＭＰＯＵＴ…比較結果変換回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 正和 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 昭62−156349（ＪＰ，Ａ) 特開 平１−175251（ＪＰ，Ａ) 特開 平１−289138（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 9/30 - 9/38 G06F 15/16 - 15/177 G06F 15/78 G11C 11/34 H01L 27/04 H01L 27/10

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】複数のワード線と複数のデータ線との交差
   部に設けられた複数のメモリセルを有するメモリセルア
   レーと、 上記メモリセルアレーに隣接して設置され、かつ上記複
   数のデータ線に結合される複数の第１ノードを有するセ
   レクタと、 該セレクタに隣接して上記メモリセルアレーと反対側に
   設置され、かつ上記セレクタの複数の第２ノードに結合
   される複数の第３ノードを有する演算回路を具備し、 上記セレクタの上記複数の第１ノードのピッチは上記複
   数のデータ線のデータ線間ピッチに一致され、上記セレ
   クタの上記複数の第２ノードのピッチは上記演算回路の
   前記複数の第３ノードのピッチに一致され、 上記セレクタは、上記複数の第1ノードに入力される信
   号を選択して上記複数の第2ノードから出力し、 上記演算回路は、上記第2ノードから出力された信号を
   対応する上記複数の第3ノードに受けて複数の演算を並
   列して行うことを特徴とする情報処理装置。
2. 【請求項２】請求項１において、 上記セレクタは、上記複数の第１ノードに対応して設け
   らた複数の信号保持手段と、上記複数の信号保持手段の
   うち所定のものを選択して上記複数の第２ノードに結合
   する複数のスイッチ手段を有することを特徴とする情報
   処理装置。
3. 【請求項３】請求項２において、 上記メモリセルアレーの１回の読み出し動作によって上
   記複数のデータ線上に読出された情報は、前記複数の信
   号保持手段に保持され、 上記セレクタは、上記複数の信号保持手段に保持された
   情報を前記スイッチ手段により複数回に分けて前記第２
   ノードに伝達することを特徴とする情報処理装置。
4. 【請求項４】請求項１において、 上記セレクタは、上記複数の第１ノードに対応する数の
   複数のスイッチ手段を有し、 上記演算回路は、上記複数の第３ノードに対応する数の
   複数の要素演算回路を有し、 上記複数のスイッチ手段は、複数のスイッチ手段群に分
   割され、 上記セレクタは、上記複数のスイッチ手段群の中でそれ
   ぞれ一つのスイッチ手段により第１ノードと第２ノード
   の結合経路を形成することを特徴とする情報処理装置。
5. 【請求項５】請求項１から４のいずれかににおいて、 上記複数の第１ノードの数は、上記複数の第２ノードの
   数の整数倍であることを特徴とする情報処理装置。
6. 【請求項６】請求項１から５のいずれかにおいて、 上記複数のワード線の一つに接続され上記演算回路の動
   作時に並列に上記演算回路に入力されるべき情報が読み
   出される複数のメモリセルは、情報書き込み時にそれぞ
   れに所定のデータが並列に書き込まれることを特徴とす
   る情報処理装置。
7. 【請求項７】請求項１から５のいずれかにおいて、上記
   複数のメモリセルのそれぞれはダイナミック形メモリセ
   ルであることを特徴とする情報処理装置。
8. 【請求項８】複数のメモリセルと、上記複数のメモリセ
   ルの情報を入出力するための複数の入出力ノードとを有
   するメモリアレーと、 上記複数の出力ノードに結合される複数の第１ノードを
   有するセレクタと、 上記複数の第２ノードに結合される複数の第３ノードを
   有する演算回路とを具備し、 上記セレクタは、上記メモリアレーと上記演算回路の間
   に設けられ、 上記セレクタの上記複数の第１ノードのピッチは上記複
   数の出力ノードのピッチに一致し、上記セレクタの上記
   複数の第２ノードのピッチは上記複数の第３ノードのピ
   ッチに一致し、 上記セレクタは、上記複数の第1ノードに入力される信
   号を選択して上記複数の第2ノードから出力し、 上記演算回路は、上記第2ノードから出力された信号を
   対応する上記複数の第3ノードに受けて複数の演算を並
   列して行うことを特徴とする情報処理装置。
9. 【請求項９】請求項８において、 上記複数の第１ノードの数は、上記複数の第2ノードの
   数より多いことを特徴とする情報処理装置。
10. 【請求項１０】請求項８又は９において、 上記セレクタは、上記複数の第１ノードに対応して設け
    らた複数の信号保持手段と、上記複数の信号保持手段の
    うち所定のものを選択して上記複数の第２ノードに結合
    する複数のスイッチ手段を有し、 上記メモリセルアレーの１回の読み出し動作によって上
    記複数の出力ノードに読出された情報は、前記複数の信
    号保持手段に保持され、 上記セレクタは、上記複数の信号保持手段に保持された
    情報を前記スイッチ手段により複数回に分けて上記第２
    ノードに伝達することを特徴とする情報処理装置。
11. 【請求項１１】請求項１から１０のいずれかにおいて、 上記情報処理装置は、１つの半導体チップ上に形成され
    ることを特徴とする情報処理装置。
12. 【請求項１２】請求項１から１１のいずれかにおいて、 上記演算回路は、上記複数の第3ノードに入力された信
    号を用いて複数の積和演算を並列して行うことを特徴と
    する情報処理装置。