JPH0512466A - Neural network device - Google Patents
Neural network deviceInfo
- Publication number
- JPH0512466A JPH0512466A JP3160566A JP16056691A JPH0512466A JP H0512466 A JPH0512466 A JP H0512466A JP 3160566 A JP3160566 A JP 3160566A JP 16056691 A JP16056691 A JP 16056691A JP H0512466 A JPH0512466 A JP H0512466A
- Authority
- JP
- Japan
- Prior art keywords
- digital value
- analog
- analog voltage
- digital
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Analogue/Digital Conversion (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明はニューラルネットワーク
装置に係り、特にニューロン間の伝達効率を制御するシ
ナプスとその制御装置の構成に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network system, and more particularly to a synapse for controlling the transmission efficiency between neurons and the structure of the control system.
【０００２】[0002]
【従来の技術】ニューラルネットワークは、音声認識等
の識別問題、ロボット等の運動制御問題、各種のプロセ
ス制御問題およびニューロコンピュータ等に広く利用さ
れ始めている。ニューラルネットワークの基本構成は、
図４に示されるようにニューロン１と、各ニューロン１
間を結合して伝達効率を制御するシナプス２からなって
いる。一般にニューロン数ａとシナプス数ｂとの間に
は、ｂ＝Ｏ（ａ2 ）の関係があり、シナプス数ｂは極め
て多数となる。シナプス２によるニューロン１間の伝達
効率は、可変であると共に、変化が必要でないときは長
時間にわたり一定不変でなければならない。2. Description of the Related Art Neural networks have begun to be widely used for identification problems such as voice recognition, motion control problems for robots, various process control problems and neurocomputers. The basic structure of the neural network is
As shown in FIG. 4, the neuron 1 and each neuron 1
It consists of synapse 2 that connects the two and controls the transmission efficiency. Generally, between the number of neurons a and the number of synapses b, b = O (a 2 ), The number of synapses b is extremely large. The efficiency of transmission between neurons 1 by synapses 2 must be variable and constant over time when no changes are required.
【０００３】アナログ電子回路によってシナプスの機能
を模擬することを考えると、図５に示す構成が考えられ
る。端子３に入力された前段ニューロンの出力をアナロ
グ乗算器４に入力し、この乗算器４でアナログ値発生器
６からのアナログ値を前段ニューロンと次段ニューロン
間の伝達効率を与える係数として乗じた後、端子５より
次段ニューロンの入力に導く。アナログ値発生器６は、
制御装置７により制御される。Considering simulating the function of a synapse by an analog electronic circuit, the configuration shown in FIG. 5 is conceivable. The output of the previous-stage neuron input to the terminal 3 is input to the analog multiplier 4, and the multiplier 4 multiplies the analog value from the analog value generator 6 as a coefficient that gives the transfer efficiency between the previous-stage neuron and the next-stage neuron. After that, it is led from the terminal 5 to the input of the next-stage neuron. The analog value generator 6
It is controlled by the controller 7.
【０００４】このようなシナプスを実現しようとする場
合、アナログ乗算器４については従来のアナログ電子回
路で容易に実現できるが、伝達効率を与えるためのアナ
ログ値発生器６については、上述したように発生するア
ナログ値が可変であって、しかも変化がない時は長時間
不変でなければならないというと性質を満たさなければ
ならないため、アナログ電子回路で実現することは容易
でない。In order to realize such a synapse, the analog multiplier 4 can be easily realized by a conventional analog electronic circuit, but the analog value generator 6 for giving the transmission efficiency is as described above. It is not easy to realize with an analog electronic circuit, because the property that the generated analog value is variable and must remain unchanged for a long time when there is no change must be satisfied.
【０００５】例えば従来の技術において、その値が可変
であって変化がない時は長時間不変であるようなアナロ
グ値を得る手段としては、ＥＥＰＲＯＭのような電気的
に書替え可能な不揮発性半導体メモリ、フェロラムデバ
イス、イオン伝導体デバイスを用いることが考えられて
いる。ＥＥＰＲＯＭではフローティングゲートの電荷
量、フェロラムデバイスでは残留分極量、イオン伝導体
デバイスでは電極の酸化量等にアナログ値がそれぞれ保
持される。そして、保持されたアナログ値は書き替えに
より可変であり、変化がない時は長時間不変とすること
ができる。For example, in the prior art, an electrically rewritable nonvolatile semiconductor memory such as an EEPROM is used as a means for obtaining an analog value whose value is variable and does not change for a long time when there is no change. It has been considered to use a ferroram device and an ion conductor device. Analog values are held in the floating gate charge amount in the EEPROM, the remanent polarization amount in the ferroram device, and the electrode oxidation amount in the ion conductor device, respectively. The held analog value can be changed by rewriting, and can remain unchanged for a long time when there is no change.
【０００６】これらのデバイス特性を利用して図５のア
ナログ値発生器６を実現すると、アナログ値の更新・保
持がアナログ値のままで可能であるため、アナログ値発
生器６および制御装置７を小形化できるという利点があ
る。しかし、これらのデバイスでは熱履歴に伴い記憶が
損傷したり、長期記憶特性が不十分であるという問題が
ある。例えば、文献１：IEEE PROC.IJCNN,June,1989, p
p.II-191〜II-196によれば、熱履歴に伴う記憶の損傷や
長期記憶特性を調べると、ＥＥＰＲＯＭのアナログ値記
憶性能は４ビット程度、すなわち記憶可能なアナログ値
のレベル数は、２4 ＝１６程度であることが報告されて
いるが、この程度のアナログ値記憶性能ではニューラル
ネットワークにおけるシナプスに適用してニューロン間
の伝達効率を精度よく設定することができず、不十分で
ある。When the analog value generator 6 shown in FIG. 5 is realized by utilizing these device characteristics, the analog value can be updated and held as the analog value. There is an advantage that it can be miniaturized. However, these devices have problems that memory is damaged due to thermal history and that long-term memory characteristics are insufficient. For example, Reference 1: IEEE PROC.IJCNN, June, 1989, p.
According to p.II-191 to II-196, when the memory damage due to thermal history and the long-term memory characteristics are examined, the analog value storage performance of the EEPROM is about 4 bits, that is, the number of levels of analog values that can be stored is Two four However, the analog value storage performance of this level is insufficient because it cannot be applied to synapses in a neural network to accurately set the transmission efficiency between neurons.
【０００７】また、ＤＲＡＭのリフレッシュ技術を利用
してアナログ値の更新・保持を行う技術も知られている
（文献２：IEEE PROC.ISSCC,1990, pp.142〜143 ）。こ
れは各シナプスの伝達効率に相当するディジタル値を記
憶したディジタルメモリと、このディジタルメモリから
逐次読み出されるディジタル値をアナログ値に変換する
Ｄ／Ａ変換器を持ち、得られたアナログ値をＤＲＡＭに
おけるアナログ記憶を受け持つキャパシタに書き込み、
以後ＤＲＡＭのワード線・ビット線を制御することによ
り、このキャパシタにリフレッシュをかけるものであ
る。この手法ではワード線・ビット線の制御により選択
できるキャパシタは、高々１つのシナプスに対応するも
ののみである。従って、シナプス数が前述のごとくｂ＝
Ｏ（ａ2 ）の関係で増大することを考えると、それに伴
いキャパシタへのリフレッシュ間隔が増大し、キャパシ
タからの電荷漏れを補えなくなることが容易に予想され
る。この結果、アナログ値が徐々に低下するため、ニュ
ーロン間の伝達効率を安定に保持できなくなる。A technique for updating / holding an analog value by utilizing a DRAM refresh technique is also known (reference 2: IEEE PROC.ISSCC, 1990, pp.142-143). This has a digital memory that stores a digital value corresponding to the transmission efficiency of each synapse, and a D / A converter that converts the digital value that is sequentially read from this digital memory into an analog value. Write to the capacitor responsible for analog storage,
After that, this capacitor is refreshed by controlling the word line and bit line of the DRAM. In this method, the capacitors that can be selected by controlling the word lines and the bit lines are only those that correspond to at most one synapse. Therefore, the number of synapses is b =
O (a 2 It is easily expected that the refresh interval to the capacitor will increase accordingly and the charge leakage from the capacitor cannot be compensated. As a result, the analog value gradually decreases, so that the transfer efficiency between neurons cannot be stably maintained.
【０００８】[0008]
【発明が解決しようとする課題】上述したように、従来
のアナログ値記憶技術を用いてニューラルネットワーク
のシナプスにおいてニューロン間の伝達効率を与えるア
ナログ値の更新・保持を行うと、アナログ値の記憶性能
が十分でなかったり、あるいはアナログ値記憶素子に対
するリフレッシュ間隔が増大することにより、伝達効率
を高精度・高安定に設定できないという問題があった。As described above, when the conventional analog value storage technique is used to update / hold the analog value which gives the transmission efficiency between neurons at the synapse of the neural network, the analog value storage performance is improved. However, there is a problem that the transmission efficiency cannot be set with high accuracy and high stability due to insufficient power supply or an increase in the refresh interval for the analog value storage element.
【０００９】本発明は、このような点に鑑みてなされた
もので、記憶可能なアナログ値のレベル数を多くすると
共に、シナプス数が増大してもアナログ記憶素子に対す
るリフレッシュ間隔を十分に短くとることができるよう
にして、多数のシナプスに対して伝達効率を精度よくか
つ安定に設定できるニューラルネットワーク装置を提供
することを目的とする。The present invention has been made in view of the above point, and increases the number of levels of storable analog values and sufficiently shortens the refresh interval for analog storage elements even if the number of synapses increases. It is an object of the present invention to provide a neural network device capable of accurately and stably setting transmission efficiency for a large number of synapses.
【００１０】[0010]
【課題を解決するための手段】上記の課題を解決するた
め、本発明のニューラルネットワーク装置はｋビットの
可変ディジタル値を発生するディジタル値発生回路と、
このディジタル値発生回路から発生されるディジタル値
に対応したアナログ電圧を発生するアナログ電圧発生回
路と、各シナプスに対応して設けられ、ｋビットのディ
ジタル値を記憶したディジタル記憶回路と、このディジ
タル値記憶回路から読み出されるディジタル値とディジ
タル値発生回路から発生されるディジタル値との一致を
検出する一致検出回路と、この一致検出回路により一致
が検出されたとき、アナログ電圧発生回路から発生され
るアナログ電圧をサンプルホールドして出力するサンプ
ルホールド回路と、このサンプルホールド回路の出力電
圧を一方の入力とし、前段ニューロンの出力を他方の入
力として、次段ニューロンの入力を出力するアナログ乗
算器とを有する。In order to solve the above problems, a neural network device of the present invention comprises a digital value generating circuit for generating a variable digital value of k bits,
An analog voltage generation circuit that generates an analog voltage corresponding to the digital value generated from this digital value generation circuit, a digital storage circuit that is provided corresponding to each synapse, and stores a k-bit digital value, and this digital value A match detection circuit that detects a match between the digital value read from the storage circuit and the digital value generated by the digital value generation circuit, and an analog signal generated from the analog voltage generation circuit when the match detection circuit detects a match. It has a sample-hold circuit that samples and holds a voltage and outputs it, and an analog multiplier that outputs the output voltage of this sample-hold circuit as one input, the output of the preceding-stage neuron as the other input, and the input of the next-stage neuron. .
【００１１】また、本発明の他の態様によるニューラル
ネットワーク装置では、アナログ電圧発生回路としてデ
ィジタル値発生回路から発生されるディジタル値に対応
した差動対のアナログ電圧をそれぞれ発生する第１およ
び第２のアナログ電圧発生回路を設けると共に、これに
対応してサンプルホールド回路として、一致検出回路に
より一致が検出されたとき、第１および第２のアナログ
電圧発生回路からそれぞれ発生されるアナログ電圧をサ
ンプルホールドして出力する第１および第２のサンプル
ホールド回路を設ける。そして、アナログ乗算器として
一方の入力が差動対入力の乗算器を用い、第１および第
２のサンプルホールド回路の出力電圧を差動対の一方の
入力とする。Further, in the neural network device according to another aspect of the present invention, the analog voltage generating circuit generates first and second differential pair analog voltages corresponding to the digital values generated from the digital value generating circuit. And an analog voltage generating circuit for the analog voltage generating circuit, and as the sample and hold circuit corresponding thereto, when the match is detected by the match detecting circuit, the analog voltage generated from each of the first and second analog voltage generating circuits is sampled and held. First and second sample-and-hold circuits for outputting the same are provided. Then, a multiplier having one input as a differential pair is used as an analog multiplier, and the output voltages of the first and second sample-hold circuits are used as one input of the differential pair.
【００１２】ディジタル値発生回路は、例えば一定ステ
ップで変化するディジタル値を所定周期で繰り返し発生
する。アナログ電圧発生回路は、例えばこのディジタル
値をアナログ値に変換するＤ／Ａ変換器により構成さ
れ、所定周期で繰り返すランプ波形のアナログ電圧を発
生する。The digital value generation circuit repeatedly generates, for example, a digital value that changes in a constant step at a predetermined cycle. The analog voltage generating circuit is composed of, for example, a D / A converter that converts this digital value into an analog value, and generates an analog voltage of a ramp waveform that repeats at a predetermined cycle.
【００１３】[0013]
【作用】ディジタル記憶回路に対応するシナプスにより
制御されるべき伝達効率に相当するディジタル値を予め
記憶しておくと、このディジタル値とディジタル値発生
回路から発生されるディジタル値が一致したとき、アナ
ログ発生回路からのアナログ電圧がサンプルホールド回
路でサンプルホールドされ、これが当該シナプスでの伝
達効率を乗じるためのアナログ乗算器に入力される。When the digital value corresponding to the transmission efficiency to be controlled by the synapse corresponding to the digital storage circuit is stored in advance, when the digital value and the digital value generated by the digital value generating circuit match, the analog value The analog voltage from the generation circuit is sampled and held by the sample and hold circuit, and this is input to the analog multiplier for multiplying the transmission efficiency at the synapse.
【００１４】この場合、サンプルホールド回路で保持さ
れるアナログ電圧は、ディジタル値発生回路から発生さ
れるディジタル値に従ってアナログ発生回路で発生され
たものであるため、そのレベル数はディジタル値のビッ
ト数ｋに対応して多くなり、ｋを大きくすることで、容
易にシナプスの伝達効率の精度が向上する。In this case, since the analog voltage held by the sample hold circuit is generated by the analog generating circuit according to the digital value generated by the digital value generating circuit, the number of levels is k, which is the number of bits of the digital value. And the k is increased, the accuracy of synapse transmission efficiency is easily improved.
【００１５】また、サンプルホールド回路に保持された
アナログ電圧は、ディジタル値発生回路からのディジタ
ル値発生周期と同一周期で一致検出回路において一致が
検出される毎にリフレッシュされる。このリフレッシュ
間隔はシナプス数が増えても増大することはないので、
伝達効率を変える必要がない場合、伝達効率が長時間安
定に保持される。Further, the analog voltage held in the sample hold circuit is refreshed every time a match is detected in the match detection circuit at the same cycle as the digital value generation cycle from the digital value generation circuit. This refresh interval does not increase even if the number of synapses increases, so
When it is not necessary to change the transmission efficiency, the transmission efficiency is kept stable for a long time.
【００１６】[0016]
【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は、本発明の一実施例に係るニューラルネッ
トワーク装置の要部の構成を示す回路図である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a circuit diagram showing a configuration of a main part of a neural network device according to an embodiment of the present invention.
【００１７】図１において、ランプ波形発生器１０はラ
ンプ波形のアナログ電圧を発生すると共に、このアナロ
グ電圧に対応したディジタル値を発生する回路であり、
ディジタル値発生回路１１とＤ／Ａ変換器１２およびボ
ルテージフォロワ１３によって構成される。このランプ
波形発生器１０は、ニューラルネットワークを構成する
複数のシナプスに対して共通に設けられている。In FIG. 1, a ramp waveform generator 10 is a circuit that generates an analog voltage of a ramp waveform and a digital value corresponding to this analog voltage.
It is composed of a digital value generating circuit 11, a D / A converter 12 and a voltage follower 13. The ramp waveform generator 10 is commonly provided for a plurality of synapses forming a neural network.
【００１８】ディジタル値発生回路１１はｋビットの可
変ディジタル値を発生する回路であり、例えば外部から
入力されるクロック信号ＣＫにより歩進動作するカウン
タによって構成される。Ｄ／Ａ変換器１２はディジタル
値発生回路１１から出力されるディジタル値をアナログ
電圧に変換することにより、図２（ａ）に示すようなラ
ンプ波形のアナログ電圧を発生する。ディジタル値発生
回路１１は簡単のためｋ＝３の場合を例にとると（実際
には、通常ｋはもっと大きな数が選ばれる）、例えば図
２（ｂ）に示すようなバイナリコードのディジタル値１
４を発生する。Ｄ／Ａ変換器１２の出力電圧は、ボルテ
ージフォロワ１３によりインピーダンス変換され、アナ
ログ電圧１５として出力される。なお、Ｄ／Ａ変換器１
２は電流源とその出力電流の時間積分値を求める積分器
からなるランプ波形発生器に置き換えてもよい。The digital value generating circuit 11 is a circuit for generating a k-bit variable digital value, and is composed of, for example, a counter which operates stepwise by a clock signal CK input from the outside. The D / A converter 12 converts the digital value output from the digital value generating circuit 11 into an analog voltage to generate an analog voltage having a ramp waveform as shown in FIG. Taking the case of k = 3 as an example for the sake of simplicity of the digital value generation circuit 11 (in actuality, a larger number is usually selected), for example, a binary code digital value as shown in FIG. 1
4 is generated. The output voltage of the D / A converter 12 is impedance-converted by the voltage follower 13 and output as the analog voltage 15. The D / A converter 1
The reference numeral 2 may be replaced with a ramp waveform generator including a current source and an integrator for obtaining a time integral value of its output current.
【００１９】シナプス２０は、前段ニューロンｉ（ｉ＝
１，２，…ｎ）と次段ニューロンｊ（ｊ＝１，２，…
ｍ）との間に設けられた（ｉ，ｊ）番目のシナプスであ
り、ディジタルメモリ２１、一致検出回路２２、サンプ
ルホールド回路２５およびアナログ乗算器２８を有す
る。ディジタルメモリ２１は、この例ではディジタル値
発生回路１１と同様にバイナリコードのｋビットディジ
タル値を記憶している。このディジタルメモリ２１に記
憶されたディジタル値は、当該シナプス２０における伝
達効率に対応して固有に定められる値である。The synapse 20 has a pre-stage neuron i (i =
1,2, ... n) and the next-stage neuron j (j = 1,2, ... n)
m), which is the (i, j) th synapse, and has a digital memory 21, a coincidence detection circuit 22, a sample hold circuit 25, and an analog multiplier 28. In this example, the digital memory 21 stores a k-bit digital value of a binary code like the digital value generating circuit 11. The digital value stored in the digital memory 21 is a value uniquely determined in accordance with the transmission efficiency in the synapse 20.
【００２０】一致検出回路２２は、ディジタル値発生回
路１１から出力されるディジタル値１４とディジタルメ
モリ２１から読み出されるディジタル値２３とを比較し
て一致を検出する回路であり、この例ではｋ個のＥＸ−
ＮＯＲ（イクスクルーシヴ・ノア）回路２４と、これら
ＥＸ−ＮＯＲ回路２４の出力の論理積をとるＡＮＤ回路
２５により構成される。図２（ｂ）に示すディジタル値
発生回路１１からのディジタル値１４と図２（ｃ）に示
すディジタルメモリ２１からのディジタル値２３とが一
致すると、一致検出回路２２から図２（ｄ）に示す一致
検出パルス２６が発生される。The coincidence detecting circuit 22 is a circuit for comparing the digital value 14 output from the digital value generating circuit 11 with the digital value 23 read out from the digital memory 21 to detect coincidence. EX-
It is composed of a NOR (exclusive NOR) circuit 24 and an AND circuit 25 which takes the logical product of the outputs of these EX-NOR circuits 24. When the digital value 14 from the digital value generating circuit 11 shown in FIG. 2 (b) and the digital value 23 from the digital memory 21 shown in FIG. 2 (c) match, the coincidence detecting circuit 22 shows to FIG. 2 (d). The coincidence detection pulse 26 is generated.
【００２１】サンプルホールド回路２７はＭＯＳスイッ
チ２８とキャパシタ２９からなり、一致検出パルス２６
が入力されると、ランプ波形発生器１０からのアナログ
電圧１５をＭＯＳスイッチ２８によりサンプリングし、
これをキャパシタンス２９にホールドする。サンプルホ
ールドされたアナログ電圧は、アナログ乗算器３０の一
方の入力に供給され、乗算器３０の他方の入力に端子３
１から入力される前段ニューロンｉの出力と乗算され
る。アナログ乗算器３０の出力は端子３２から次段ニュ
ーロンｊへの入力として出力される。The sample and hold circuit 27 comprises a MOS switch 28 and a capacitor 29, and a coincidence detection pulse 26
Is input, the analog voltage 15 from the ramp waveform generator 10 is sampled by the MOS switch 28,
This is held in the capacitance 29. The sampled and held analog voltage is supplied to one input of the analog multiplier 30, and the other input of the multiplier 30 receives the terminal 3
It is multiplied by the output of the preceding neuron i input from 1. The output of the analog multiplier 30 is output from the terminal 32 as an input to the next-stage neuron j.
【００２２】以上のようにして、シナプス２０によって
ニューロンｉ，ｊ間の伝達効率が設定される。この伝達
効率はディジタルメモリ２１に記憶するｋビットのディ
ジタル値を変えることで、任意に制御することができ
る。従って、ｋを大きくことにより、伝達効率を必要な
精度で設定することが可能である。As described above, the synapse 20 sets the transmission efficiency between the neurons i and j. This transmission efficiency can be arbitrarily controlled by changing the k-bit digital value stored in the digital memory 21. Therefore, it is possible to set the transmission efficiency with required accuracy by increasing k.
【００２３】また、サンプルホールド回路２７のサンプ
リング動作、換言すればキャパシタ２９に対するリフレ
ッシュ動作は、ランプ波形の周期（ランプ波形発生器１
０から出力されるアナログ電圧１５の周期）で行われ、
このリフレッシュ間隔はシナプス数の増加に対して増加
することはない。従って、サンプルホールド回路２７か
らアナログ乗算器３０に供給されるアナログ電圧、すな
わち伝達効率は、変化させる必要がない時は、ディジタ
ルメモリ２１の内容を一定に保つことで長時間安定に保
持されることになる。The sampling operation of the sample and hold circuit 27, in other words, the refresh operation for the capacitor 29, is performed by the cycle of the ramp waveform (ramp waveform generator 1).
The period of the analog voltage 15 output from 0)
This refresh interval does not increase as the number of synapses increases. Therefore, the analog voltage supplied from the sample hold circuit 27 to the analog multiplier 30, that is, the transmission efficiency, can be stably maintained for a long time by keeping the content of the digital memory 21 constant when it is not necessary to change it. become.
【００２４】さらに、ランプ波形発生器１０は精度を向
上させるためにｋを大きくするに従い回路規模が増大す
るが、複数のシナプスに対して共通に用いられるため、
ランプ波形発生器１０によるニューラルネットワーク全
体のハードウェア規模の増加は僅かである。一方、シナ
プス２０自体はＤ／Ａ変換機能の一部であるランプ波形
発生器１０をシナプス外に設置しているため、小形化が
実現される。Furthermore, the circuit scale of the ramp waveform generator 10 increases as k is increased in order to improve accuracy, but since it is commonly used for a plurality of synapses,
The increase in the hardware scale of the entire neural network by the ramp waveform generator 10 is slight. On the other hand, since the synapse 20 itself has the ramp waveform generator 10, which is a part of the D / A conversion function, installed outside the synapse, miniaturization is realized.
【００２５】図３に本発明の他の実施例を示す。この実
施例においては、ディジタル値発生回路１１から各ビッ
トの符号が互いに反転関係にある２種類のディジタル値
（すなわち、一方のディジタル値のあるビットが“１”
であれば、他方のディジタル値の同一ビットは“０”と
なる関係の２組のディジタル値）が発生される。そし
て、これらのディジタル値が２組のＤ／Ａ変換器１２
ａ，１２ｂでそれぞれアナログ電圧に変換された後、ボ
ルテージフォロワ１３ａ，１３ｂによってインピーダン
ス変換されることにより、差動対のアナログ電圧１５
ａ，１５ｂ、すなわち図２（ａ）に示したような正傾斜
のランプ波形と、負傾斜のランプ波形の電圧が発生され
る。FIG. 3 shows another embodiment of the present invention. In this embodiment, the digital value generating circuit 11 outputs two types of digital values in which the signs of the respective bits are in an inverse relationship with each other (that is, the bit having one digital value is "1").
If so, two sets of digital values are generated in which the same bit of the other digital value is "0". Then, these digital values have two sets of D / A converters 12
After being converted into analog voltage by a and 12b, respectively, impedance conversion is performed by voltage followers 13a and 13b.
Voltages of a and 15b, that is, a ramp waveform having a positive slope and a ramp waveform having a negative slope as shown in FIG. 2A are generated.
【００２６】一方、これに伴いシナプス２０において２
組のサンプルホールド回路２７ａ，２７ｂが設けられて
おり、一致検出回路２２からの一致検出パルス２６によ
ってアナログ電圧１５ａ，１５ｂがサンプルホールドさ
れ、アナログ乗算器３０の差動対入力に供給される。こ
の場合、アナログ乗算器３０としては一方の入力が差動
対入力であるギルバートマルチプライヤ等を用いればよ
い。On the other hand, along with this, at the synapse 20, 2
A pair of sample and hold circuits 27 a and 27 b are provided, and the analog detection voltages 22 a and 15 b are sampled and held by the coincidence detection pulse 26 from the coincidence detection circuit 22 and supplied to the differential pair inputs of the analog multiplier 30. In this case, as the analog multiplier 30, a Gilbert multiplier or the like in which one input is a differential pair input may be used.
【００２７】この実施例によると、２組のサンプルホー
ルド回路２７ａ，２７ｂが必要となる反面、次のような
利点が生じる。すなわち、ＭＯＳスイッチの断時に生じ
るキャパシタの蓄積電荷の誤差は、両方のサンプルホー
ルド回路２７ａ，２７ｂに同じように生じる。従って、
サンプルホールド回路２７ａ，２７ｂの出力電圧を差動
対信号としてアナログ乗算器３０に与えると、この誤差
が相殺されることになるため、より高精度に伝達効率を
設定することができる。According to this embodiment, two sets of sample and hold circuits 27a and 27b are required, but the following advantages occur. That is, the error of the charge accumulated in the capacitor, which occurs when the MOS switch is turned off, similarly occurs in both sample hold circuits 27a and 27b. Therefore,
When the output voltages of the sample and hold circuits 27a and 27b are given to the analog multiplier 30 as a differential pair signal, this error is canceled out, so that the transmission efficiency can be set with higher accuracy.
【００２８】[0028]
【発明の効果】本発明によれば、シナプスにより制御す
るニューロン間の伝達効率を高精度に設定でき、しかも
変化させる必要がない時は長時間にわたり安定して一定
値に保持することができる。According to the present invention, the transmission efficiency between neurons controlled by synapses can be set with high accuracy, and can be stably maintained at a constant value for a long time when it is not necessary to change it.
【図１】 本発明の一実施例の要部の構成を示す回路図FIG. 1 is a circuit diagram showing a configuration of a main part of an embodiment of the present invention.
【図２】 同実施例の動作を説明するためのタイムチャ
ートFIG. 2 is a time chart for explaining the operation of the embodiment.
【図３】 本発明の他の実施例に係る要部の構成を示す
回路図FIG. 3 is a circuit diagram showing a configuration of a main part according to another embodiment of the present invention.
【図４】 ニューラルネットワークの基本構成を示す図FIG. 4 is a diagram showing a basic configuration of a neural network.
【図５】 ニューラルネットワークの一部の構成を模式
的に示す図FIG. 5 is a diagram schematically showing a partial configuration of a neural network.
１０…ランプ波形発生器 １１…ディジタ
ル値発生回路
１２，１２ａ，１２ｂ…Ｄ／Ａ変換器 １４，１４ａ，
１４ｂ…アナログ電圧
１５…ディジタル値 ２０…シナプス
２１…ディジタルメモリ ２２…一致検出
回路
２３…ディジタル値 ２６…一致検出
パルス
２７，２７ａ，２７ｂ…サンプルホールド回路
３０…アナログ乗算器 ３１…前段ニュ
ーロンの出力端子
３２…次段ニューロンの入力端子10 ... Ramp waveform generator 11 ... Digital value generation circuit 12, 12a, 12b ... D / A converter 14, 14a,
14b ... Analog voltage 15 ... Digital value 20 ... Synapse 21 ... Digital memory 22 ... Match detection circuit 23 ... Digital value 26 ... Match detection pulse 27, 27a, 27b ... Sample hold circuit 30 ... Analog multiplier 31 ... Output terminal of pre-stage neuron 32 ... Input terminal of next-stage neuron
Claims (3)
効率を制御する複数のシナプスとを有するニューラルネ
ットワーク装置において、 ｋビットの可変ディジタル値を発生するディジタル値発
生手段と、 このディジタル値発生手段から発生されるディジタル値
に対応したアナログ電圧を発生するアナログ電圧発生手
段と、 各シナプスに対応して設けられ、ｋビットのディジタル
値を記憶したディジタル記憶手段と、 このディジタル値記憶手段から読み出されるディジタル
値と前記ディジタル値発生手段から発生されるディジタ
ル値との一致を検出する一致検出手段と、 この一致検出手段により一致が検出されたとき、前記ア
ナログ電圧発生手段から発生されるアナログ電圧をサン
プルホールドして出力するサンプルホールド手段と、 このサンプルホールド手段の出力電圧を一方の入力と
し、前段ニューロンの出力を他方の入力として、次段ニ
ューロンの入力を出力するアナログ乗算手段とを具備す
ることを特徴とするニューラルネットワーク装置。1. A neural network device having a plurality of neurons and a plurality of synapses for controlling the transfer efficiency between the neurons, and a digital value generating means for generating a k-bit variable digital value, and the digital value generating means. An analog voltage generating means for generating an analog voltage corresponding to the generated digital value, a digital storage means provided corresponding to each synapse and storing a k-bit digital value, and a digital value read from the digital value storage means. Coincidence detecting means for detecting a coincidence between a value and a digital value generated by the digital value generating means, and when the coincidence detecting means detects a coincidence, the analog voltage generated by the analog voltage generating means is sampled and held. Sample and hold means for outputting The output voltage of the sample-and-hold means as one input, the output of the preceding neuron as the other input, the neural network apparatus characterized by comprising an analog multiplier means for outputting an input of the next neuron.
効率を制御する複数のシナプスとを有するニューラルネ
ットワーク装置において、 ｋビットの可変ディジタル値を発生するディジタル値発
生手段と、 このディジタル値発生手段から発生されるディジタル値
に対応した差動対のアナログ電圧をそれぞれ発生する第
１および第２のアナログ電圧発生手段と、 各シナプスに対応して設けられ、ｋビットのディジタル
値を記憶したディジタル記憶手段と、 このディジタル値記憶手段から読み出されるディジタル
値と前記ディジタル値発生手段から発生されるディジタ
ル値との一致を検出する一致検出手段と、 この一致検出手段により一致が検出されたとき、前記第
１および第２のアナログ電圧発生手段からそれぞれ発生
されるアナログ電圧をサンプルホールドして出力する第
１および第２のサンプルホールド手段と、 これら第１および第２のサンプルホールド手段の出力電
圧を差動対の一方の入力とし、前段ニューロンの出力を
他方の入力として、次段ニューロンの入力を出力するア
ナログ乗算手段とを具備することを特徴とするニューラ
ルネットワーク装置。2. A neural network device having a plurality of neurons and a plurality of synapses for controlling the transmission efficiency between the neurons, and a digital value generating means for generating a k-bit variable digital value, and the digital value generating means. First and second analog voltage generating means for respectively generating differential pair analog voltages corresponding to the generated digital values, and digital storage means provided corresponding to each synapse and storing a k-bit digital value. A coincidence detecting means for detecting a coincidence between the digital value read from the digital value storage means and the digital value generated by the digital value generating means, and when the coincidence detecting means detects a coincidence, the first And analog voltage generated from the second analog voltage generating means, respectively. First and second sample-hold means for sample-holding and outputting, and output voltages of these first and second sample-hold means as one input of the differential pair and an output of the preceding-stage neuron as the other input, A neural network device comprising: an analog multiplication unit that outputs an input of a next-stage neuron.
で変化するディジタル値を所定周期で繰り返し発生する
ものであり、前記アナログ電圧発生手段は該ディジタル
値発生手段からのディジタル値を入力として、所定周期
で繰り返すランプ波形のアナログ電圧を発生するもので
あることを特徴とする請求項１または２記載のニューラ
ルネットワーク装置。3. The digital value generating means repeatedly generates a digital value which changes in a constant step at a predetermined cycle, and the analog voltage generating means receives the digital value from the digital value generating means as an input and at a predetermined cycle. 3. The neural network device according to claim 1, wherein the neural network device generates an analog voltage having a ramp waveform repeated in step 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3160566A JPH0512466A (en) | 1991-07-01 | 1991-07-01 | Neural network device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3160566A JPH0512466A (en) | 1991-07-01 | 1991-07-01 | Neural network device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0512466A true JPH0512466A (en) | 1993-01-22 |
Family
ID=15717749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3160566A Pending JPH0512466A (en) | 1991-07-01 | 1991-07-01 | Neural network device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0512466A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008152908A1 (en) | 2007-06-14 | 2008-12-18 | Sony Corporation | Resistive element, neuron element, and neural network information processing apparatus |
| US10141069B2 (en) | 2015-05-21 | 2018-11-27 | Semiconductor Energy Laboratory Co., Ltd. | Neural network and electronic device including artificial neural array |
| KR20190010413A (en) * | 2017-07-20 | 2019-01-30 | 삼성전자주식회사 | neural network |
| US10674168B2 (en) | 2015-10-23 | 2020-06-02 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US10922605B2 (en) | 2015-10-23 | 2021-02-16 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11099814B2 (en) | 2016-10-12 | 2021-08-24 | Semiconductor Energy Laboratory Co., Ltd. | Neural network semiconductor device and system using the same |
| US11195088B2 (en) | 2016-12-28 | 2021-12-07 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device using neural network, electronic component, and electronic device |
-
1991
- 1991-07-01 JP JP3160566A patent/JPH0512466A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008152908A1 (en) | 2007-06-14 | 2008-12-18 | Sony Corporation | Resistive element, neuron element, and neural network information processing apparatus |
| US10141069B2 (en) | 2015-05-21 | 2018-11-27 | Semiconductor Energy Laboratory Co., Ltd. | Neural network and electronic device including artificial neural array |
| US10699794B2 (en) | 2015-05-21 | 2020-06-30 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US11004528B2 (en) | 2015-05-21 | 2021-05-11 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US11776645B2 (en) | 2015-05-21 | 2023-10-03 | Semiconductor Energy Laboratory Co., Ltd. | Stacked electronic device capable of retaining an analog potential |
| US10674168B2 (en) | 2015-10-23 | 2020-06-02 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US10922605B2 (en) | 2015-10-23 | 2021-02-16 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11893474B2 (en) | 2015-10-23 | 2024-02-06 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11099814B2 (en) | 2016-10-12 | 2021-08-24 | Semiconductor Energy Laboratory Co., Ltd. | Neural network semiconductor device and system using the same |
| US11755286B2 (en) | 2016-10-12 | 2023-09-12 | Semiconductor Energy Laboratory Co., Ltd. | Neural network semiconductor device and system using the same |
| US11195088B2 (en) | 2016-12-28 | 2021-12-07 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device using neural network, electronic component, and electronic device |
| KR20190010413A (en) * | 2017-07-20 | 2019-01-30 | 삼성전자주식회사 | neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11436478B2 (en) | Control circuit for multiply accumulate circuit of neural network system | |
| TWI762719B (en) | System and methods for mixed-signal computing | |
| US9148159B1 (en) | Dual comparator-based error correction scheme for analog-to-digital converters | |
| EP0148488A2 (en) | Semiconductor memory having multiple level storage structure | |
| KR20190107143A (en) | Mixed-signal computation system and method | |
| CN114400031B (en) | Complement mapping RRAM (resistive random access memory) storage and calculation integrated chip and electronic equipment | |
| EP4086816A1 (en) | Neural network circuit and neural network system | |
| JPH0512466A (en) | Neural network device | |
| US5258759A (en) | Method and apparatus for monotonic algorithmic digital-to-analog and analog-to-digital conversion | |
| CN118072788A (en) | Integrated circuit, chip and electronic equipment for memory and calculation | |
| US10979065B1 (en) | Signal processing circuit, in-memory computing device and control method thereof | |
| TW200301995A (en) | Analog-digital conversion apparatus | |
| JP3268702B2 (en) | A / D converter | |
| CN116488646A (en) | Analog-to-digital conversion circuit, analog-to-digital conversion method and analog-to-digital conversion device | |
| CN113625034B (en) | Sampling circuit, sampling array, integrated memory chip and electronic equipment | |
| US20140118175A1 (en) | Successive approximation a/d converter | |
| KR102416605B1 (en) | Circuit for sensing multi-level voltage of bit line | |
| JPH056687A (en) | Analog signal storage device | |
| TW202234399A (en) | Memory system | |
| US3657563A (en) | Ac coupled comparator and a/d converter | |
| US10411726B2 (en) | Quantizer including capacitors and operating method of quantizer | |
| KR20210158698A (en) | Apparatus and method for performing predetermined operation using circuit | |
| KR20010005545A (en) | A driver circuit for low voltage operation of a successive approximation register (sar) analog to digital (a/d) converter and method therefor | |
| JPS63195896A (en) | Dynamic ram device for multivalued storage | |
| US20240028297A1 (en) | Semiconductor device performing a multiplication and accumulation operation |