JP2831076B2 - ニューロコンピュータ - Google Patents

ニューロコンピュータ

Info

Publication number
JP2831076B2
JP2831076B2 JP2009911A JP991190A JP2831076B2 JP 2831076 B2 JP2831076 B2 JP 2831076B2 JP 2009911 A JP2009911 A JP 2009911A JP 991190 A JP991190 A JP 991190A JP 2831076 B2 JP2831076 B2 JP 2831076B2
Authority
JP
Japan
Prior art keywords
value
transistor
output
synapse
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009911A
Other languages
English (en)
Other versions
JPH03214373A (ja
Inventor
賢幸 森下
洋一 田村
幸男 斎藤
達男 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2009911A priority Critical patent/JP2831076B2/ja
Publication of JPH03214373A publication Critical patent/JPH03214373A/ja
Application granted granted Critical
Publication of JP2831076B2 publication Critical patent/JP2831076B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)
  • Feedback Control In General (AREA)

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、パターン認識、音声認識、信号の符号化な
どに利用されるニユーラルネツトワークを構成するため
のハードウエアであるニユーロコンピユータに関するも
のである。
従来の技術 ニユーラルネツトワークは、多数の入力を1出力に変
換して出力するニユーロンと、前段のニユーロン出力に
重み付けを行い後段のニユーロンに出力するシナプスか
ら構成されている。このようなニユーラルネツトワーク
においては、たとえば01、10などのある入力に対する出
力が、入力に対応した期待値に等しくなるようにシナプ
ス中の重みを変化させる学習という操作を行う。したが
つて、学習を実現するためには、重みを自由に変更でき
るようにする必要がある。従来は、第5図に示すような
MOSトランジスタ1で構成されたかけ算回路2からなる
シナプスが用いられ、重みに対応するMOSトランジスタ
1のゲート電圧は、MOSトランジスタ1のゲート容量や
ゲートに接続した容量3に電荷として保持される。学習
時には重みに対応した容量上の電荷量を適切な量だけ変
化させる。この容量は、ニユーラルネツトワークを集積
化する場合の面積上の制約から数pFの小さな値となる。
4はオペアンプである。
また、シナプスに用いるかけ算回路2やニユーロンに
用いるシグモイド関数(f=1/(1+exp(x))発生
回路(図示せず)には従来のVLSI技術との整合性が良
く、集積化が容易なことからMOSトランジスタが使用さ
れている。
発明が解決しようとする課題 上記従来の構成のものでは、MOSトランジスタ1の容
量に蓄えられる電荷は数十msec以内で放電するので、こ
のニユーラルネツトワークは定常的には動作せず、重み
電荷の放電に伴いネツトワークの出力も変化して入力に
対する期待されるような出力が維持されない。また、MO
Sトランジスタで構成したかけ算器やシグモイド関数発
生回路は精度が悪く、学習に時間がかかる。
本発明は上記従来の問題を解決するもので、定常的に
動作し、学習効率の高いニユーロコンピユータを提供す
ることを目的とするものである。
課題を解決するための手段 上記課題を解決するために本発明のニューロコンピュ
ータは、重みを保持するディジタルメモリと、このディ
ジタルメモリから出力されるディジタル値をアナログ値
に変換するディジタル−アナログ変換器と、変換された
アナログ値をトランジスタを介して保持するコンデンサ
と、入力信号が入力される第1のニューロンと、この第
1のニューロンから出力されるシグモイド関数に前記コ
ンデンサのアナログ値を用いて重み付けを行うシナプス
部と、このシナプス部からの出力が第2のニューロンを
介して入力され、この入力値が期待値に近づくように重
みを修正して前記ディジタルメモリにデータを出力する
学習制御回路と、前記ディジタルメモリとデコーダを介
して前記トランジスタとを制御するアドレス発生回路と
を備え、前記第2のニューロンの出力に応じて前記コン
デンサのアナログ値を、一定期間内に置き換える(すな
わち、コンデンサのアナログ値を第2のニューロンの出
力に応じて書き換える際に、その書き換えを一定期間内
に行う)ように構成したものである。
さらに、本発明のニューロコンピュータは、上記構成
に加えて、シナプス部が行列状に配置され、ディジタル
−アナログ変換器とシナプス部との間に列状に第1のト
ランジスタが、行状に第2のトランジスタが配置され、
前記第1のトランジスタにXデコーダが、前記第2のト
ランジスタにYデコーダが接続されたものである。
作用 上記構成により、重みを保持するデイジタルメモリと
その値をアナログ値に変換するD/A変換器を有する回路
を使用して、シナプス部に入力されるコンデンサに蓄え
られた重み電荷量を一定期間内に更新し、また、シナプ
ス部とニユーロンに演算精度の高いバイポーラトランジ
スタで構成したかけ算器とシグモイド関数発生回路を使
用するので、コンデンサに蓄えられた電荷、すなわち重
みの時間変化が低減されて重み保持容量が定常的に保持
され、しかも、演算精度が高く、したがつて学習効率の
良いニユーラルネツトワークが構成できることになる。
実施例 以下、本発明の一実施例について図面を参照しながら
説明する。
第1図は本発明の一実施例のニユーロコンピユータに
おける構成を示すブロツク図である。第1図において、
3個のニユーロン11からなる階層型のニユーラルネツト
ワークが構成されており、重みは学習制御回路12により
決定されて、RAMまたはEPROM.EEPROMなどのデイジタル
メモリ13に保存される。一方、アドレス発生回路14によ
つて選択されたアドレスに対応するデイジタルメモリ13
内の重みは、D/A変換器15でD/A変換された後、アドレス
発生回路14によつてデコーダ16を介してトランスフアー
ゲート17を制御し、トランスフアーゲート17を通して対
応するシナプス部18のコンデンサである容量19に電荷と
して与えられる。従来例で示したようにこの電荷は放電
するが、放電量が10%程度以下と少ないうちに、重みを
再びトランスフアーゲート17を通して容量19に書き込
み、電荷の放電を阻止する。こうして、シナプス部18の
容量19に蓄えられた電荷によつてシナプス部18の入力用
のMOSトランジスタのゲートの電圧がほぼ一定値にな
る。
また、第2図に示すように、シナプス部18を2次元の
マトリクス状に配置する。このとき、デイジタルメモリ
13の後段のD/A変換器15からの信号を時系列化すると、
配線は1本でよい。また、アドレス線もシナプス部18を
マトリクス状に配置することにより、行と列のアドレス
のみの配線ですむために著しく削減される。こうして、
Xデコーダ16aおよびYデコーダ16bでトランスフアーゲ
ート17a.17bを制御し、容量19に電荷を与えて重み電荷
量の更新が容易におこなわれる。この方法は、重み電荷
の保持時間を延ばすために容量部の面積を大きくするこ
とが不要であり、配線数も抑えられることから、回路の
集積化にも有効である。
初期状態では重みはランダムに与えられており、ある
入力に対する出力は期待値よりもずれる。出力が期待値
に近づくように重みを修正するバツクプロパゲーシヨン
とよばれる学習アルゴリズムなどにしたがつて、学習制
御回路12で重みを変化させる。こうして得られた重みを
デイジタルメモリ13中の値と置き換える。この学習は1
回では出力と期待値を一致させることができず、重みの
修正を多数回繰り返す。したがつて、重み保持用容量19
への書き込みに要する時間が短いことも重要であるが、
本発明の方法によれば、書き込みの時定数は、トランス
フアーゲート17のオン抵抗と重み保持用容量19との積で
決まり、通常1n秒以下の値となり非常に高速である。
次に、バイポーラトランジスタとMOSトランジスタで
構成されたシナプス部18を構成するかけ算器の回路を第
3図に示す。かけ算器は従来から使用される“Gilbert"
の回路を用いているが、重み入力線20に接続され、入力
電圧を保持している重み保持用容量19からの電荷の放電
を防ぐために、入力用の差動増幅器21には入力インピー
ダンスの高いMOSトランジスタを使用している。また、2
2はニユーロン11からの信号入力端子であり、MOSトラン
ジスタに接続されている。さらに、かけ算回路23の部分
にはバイポーラトランジスタをもちいているためにかけ
算の誤差は数%以下に抑えることができる。24はバツフ
アアンプ25の出力端に接続される、シナプス部18の出力
端子である。
第4図は、ニユーロンの回路図であり、バイポーラト
ランジスタで構成したジグモイド関数発生回路26を有し
ている。バイポーラトランジスタの差動増幅器の特性が
シグモイド関数型(1/(1+exp(qx/kT)))になるこ
とを利用している。ここで、xは入力電圧、qは電荷素
量、kはボルツマン定数、Tは温度(゜K)を表す。エ
ミツタ抵抗r1.r2は、シグモイド関数発生回路26への入
力レンジを拡大するために挿入している。この回路は単
純でありニユーロン11の集積数を向上させるには非常に
有効である。27はニユーロン11の入力端子であり、28は
出力端子である。また、29はオペアンプである。
このように、第3図および第4図で示された回路は、
いずれも誤差が5%以内と精度が高い。階層型ニユーラ
ルネツトワークの学習を行う場合、重み値の決定には、
最急降下法の一種であるバツクプロパゲーシヨンと呼ば
れる最適化のアルゴリズムが用いられる。これは、出力
と期待値との誤差にシグモイド関数の微分をかけて誤差
の重みについての偏微分を計算する。誤差が小さくなる
ように重みを偏微分の値に比例して変化させる。通常、
このような計算はコンピユータ上で行い、計算された重
みの値をニユーラルネツトワークのハードウエアに与え
て処理を行う。このようにすれば、計算された重みをセ
ツトするだけで学習済みの多数のニユーラルネツトワー
クを作製できる。ところが、ニユーラルネツトワークの
ハードウエア内の回路精度が悪く、計算に用いたシグモ
イド関数の形と差異があるとか、シナプス部のかけ算精
度が悪い場合には計算された重みの値では、ハードウエ
アの出力が変化し期待値には一致しない。
また、ニユーラルネツトワークのハードウエアがコン
ピユータよりも高速で動作できる場合には、学習自体も
ハードウエアを用いて行う。この場合はニユーラルネツ
トワークに入力を与え、そのネツトワークからの出力を
測定して、コンピユータで出力が期待値に近くなるよう
な重みを計算する。再度、この重みを使用してニユーラ
ルネツトワークの出力を測定し、この過程を繰り返す。
出力が期待値に収束するまでこれを繰り返すが、回路精
度が悪い場合には収束するまでの回数が非常に多くな
る。
以上のように、回路精度が良いとニユーラルネツトワ
ークの学習効率は良くなる。したがつて、本発明では回
路精度の高いバイポーラトランジスタを基本とした回路
設計を行つている。
発明の効果 以上のように本発明によれば、重みをコンデンサの重
い保持用容量にほぼ定常的に保持することができ、しか
も、学習効率の高いニユーラルネツトワークを構成する
ことができるものである。
【図面の簡単な説明】
第1図は本発明の一実施例のニユーロコンピユータにお
ける構成を示すブロツク図、第2図は同ニユーロコンピ
ユータのシナプス部の配置図、第3図は同ニユーロコン
ピユータのシナプス部の回路図、第4図は同ニユーロコ
ンピユータのニユーロンの回路図、第5図は従来のニユ
ーロコンピユータのシナプス部の回路図である。 11……ニユーロン、12……学習制御回路、13……デイジ
タルメモリ、14……アドレス発生回路、15……D/A変換
器、16……デコーダ、16a……Xデコーダ、16b……Yデ
コーダ、17.17a.17b……トランスフアーゲート、18……
シナプス部、19……容量、21……入力用差動増幅器、23
……かけ算回路、26……シグモイド関数発生回路。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大槻 達男 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平1−237754(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06G 7/60 G06F 15/18

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】重みを保持するディジタルメモリと、この
    ディジタルメモリから出力されるディジタル値をアナロ
    グ値に変換するディジタル−アナログ変換器と、変換さ
    れたアナログ値をトランジスタを介して保持するコンデ
    ンサと、入力信号が入力される第1のニューロンと、こ
    の第1のニューロンから出力されるシグモイド関数に前
    記コンデンサのアナログ値を用いて重み付けを行うシナ
    プス部と、このシナプス部からの出力が第2のニューロ
    ンを介して入力され、この入力値が期待値に近づくよう
    に重みを修正して前記ディジタルメモリにデータを出力
    する学習制御回路と、前記ディジタルメモリとデコーダ
    を介して前記トランジスタとを制御するアドレス発生回
    路とを備え、前記第2のニューロンの出力に応じて前記
    コンデンサのアナログ値を、一定期間内に置き換えるよ
    うに構成したニューロコンピュータ。
  2. 【請求項2】シナプス部が行列状に配置され、ディジタ
    ル−アナログ変換器とシナプス部との間に列状に第1の
    トランジスタが、行状に第2のトランジスタが配置さ
    れ、前記第1のトランジスタにXデコーダが、前記第2
    のトランジスタにYデコーダが接続された請求項1記載
    のニューロコンピュータ。
JP2009911A 1990-01-19 1990-01-19 ニューロコンピュータ Expired - Fee Related JP2831076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009911A JP2831076B2 (ja) 1990-01-19 1990-01-19 ニューロコンピュータ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009911A JP2831076B2 (ja) 1990-01-19 1990-01-19 ニューロコンピュータ

Publications (2)

Publication Number Publication Date
JPH03214373A JPH03214373A (ja) 1991-09-19
JP2831076B2 true JP2831076B2 (ja) 1998-12-02

Family

ID=11733292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009911A Expired - Fee Related JP2831076B2 (ja) 1990-01-19 1990-01-19 ニューロコンピュータ

Country Status (1)

Country Link
JP (1) JP2831076B2 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866645A (en) * 1987-12-23 1989-09-12 North American Philips Corporation Neural network with dynamic refresh capability

Also Published As

Publication number Publication date
JPH03214373A (ja) 1991-09-19

Similar Documents

Publication Publication Date Title
JP3260357B2 (ja) 情報処理装置
US5479579A (en) Cascaded VLSI neural network architecture for on-line learning
Choi et al. A Gaussian synapse circuit for analog VLSI neural networks
Morie et al. An all-analog expandable neural network LSI with on-chip backpropagation learning
US5056037A (en) Analog hardware for learning neural networks
US10453527B1 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
US11074499B2 (en) Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
JPH0467259A (ja) 情報処理装置
JP2831076B2 (ja) ニューロコンピュータ
JP2002117389A (ja) 情報処理装置
JPH0318985A (ja) 情報処理装置
Gi et al. A ReRAM-based convolutional neural network accelerator using the analog layer normalization technique
JPH0793277A (ja) ニューラルネットワークを用いた半導体集積回路装置
US20040083193A1 (en) Expandable on-chip back propagation learning neural network with 4-neuron 16-synapse
Narayanan et al. Neuromorphic technologies for next-generation cognitive computing
Lee et al. Parallel digital image restoration using adaptive VLSI neural chips
CN115062583B (zh) 一种求解优化问题的hopfield网络硬件电路及操作方法
MORIE et al. Analog VLSI implementation of adaptive algorithms by an extended Hebbian synapse circuit
JPH02181284A (ja) ニューラルネットワーク
Song et al. Analog neural network building blocks based on current mode subthreshold operation
Almeida et al. A mixed-mode architecture for implementation of analog neural networks with digital programmability
US20230229870A1 (en) Cross coupled capacitor analog in-memory processing device
JPH04281584A (ja) 複数の入力信号の重みづけられた複数の加算を行う装置
US20240028297A1 (en) Semiconductor device performing a multiplication and accumulation operation
CN115062583A (zh) 一种求解优化问题的hopfield网络硬件电路及操作方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees