JPH02181284A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH02181284A JPH02181284A JP89300A JP30089A JPH02181284A JP H02181284 A JPH02181284 A JP H02181284A JP 89300 A JP89300 A JP 89300A JP 30089 A JP30089 A JP 30089A JP H02181284 A JPH02181284 A JP H02181284A
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- input terminal
- value
- output terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 31
- 210000002569 neuron Anatomy 0.000 claims abstract description 107
- 210000005056 cell body Anatomy 0.000 claims description 77
- 210000000225 synapse Anatomy 0.000 claims description 46
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000000946 synaptic effect Effects 0.000 claims description 18
- 239000003990 capacitor Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims 5
- 239000004020 conductor Substances 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 6
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002964 excitative effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 101150082201 ASIP gene Proteins 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
- B65H3/00—Separating articles from piles
- B65H3/24—Separating articles from piles by pushers engaging the edges of the articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
- B65H3/00—Separating articles from piles
- B65H3/30—Separating articles from piles by escapement devices; from staggered piles; from piles of articles having staggered formations, e.g. cuts or perforations
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、少なくとも１個のニューロンから構成される
ニューラルネットを半導体集積回路（ＬＳＩ）で実現す
るのに好適なニューラルネトワークに関する。
ニューラルネットを半導体集積回路（ＬＳＩ）で実現す
るのに好適なニューラルネトワークに関する。
ニューラルネトワークを半導体集積回路で実現する試み
は、日経マイクロデバイス１９８８年７月号の４４ペー
ジから８９ページに紹介されている。その中の１つは、
′ア シーモス アソシエイティブ メモリ チップ
ペースト オンニューラル ネットワークス”、１９８
７年アイニスニスシーシー ダイジェスト オン テク
ニカル ペーパー ページ３０４〜３０５（”Ａ ＣＭ
Ｏ８ＡＳＳＯＣＩＡＲＩＶＥ ＭＥＭＯＲＹ ＣＨＩＰ
ＢＡＳＥＤ ０ＮＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ”
１９８７ ｌ５ＳＣＣＤＩＧＥＳＴ ０ＦＴＥＣＨＩ
ＣＡＬ ＰＡＰＥＲ５ｐＰ、３０４〜３０５）において
も発表れている。
は、日経マイクロデバイス１９８８年７月号の４４ペー
ジから８９ページに紹介されている。その中の１つは、
′ア シーモス アソシエイティブ メモリ チップ
ペースト オンニューラル ネットワークス”、１９８
７年アイニスニスシーシー ダイジェスト オン テク
ニカル ペーパー ページ３０４〜３０５（”Ａ ＣＭ
Ｏ８ＡＳＳＯＣＩＡＲＩＶＥ ＭＥＭＯＲＹ ＣＨＩＰ
ＢＡＳＥＤ ０ＮＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ”
１９８７ ｌ５ＳＣＣＤＩＧＥＳＴ ０ＦＴＥＣＨＩ
ＣＡＬ ＰＡＰＥＲ５ｐＰ、３０４〜３０５）において
も発表れている。
ニューロンモデル間の結合をアナログ信号で行なう場合
、信号の伝達の途中で配線抵抗による信号の電位降下を
生じる問題や、重み付けに必要な可変抵抗をデバイスに
作り込むのが難しいなどの問題がある。また、すべてを
ディジタル回路だけで構成する場合、トランジスタ数が
多くなり過ぎる問題がある。このため、大規模なニュー
ラルネットワークを実現するには、１ニユーロンモデル
を特にシナプス部分を少素子で実現しなけれならない。
、信号の伝達の途中で配線抵抗による信号の電位降下を
生じる問題や、重み付けに必要な可変抵抗をデバイスに
作り込むのが難しいなどの問題がある。また、すべてを
ディジタル回路だけで構成する場合、トランジスタ数が
多くなり過ぎる問題がある。このため、大規模なニュー
ラルネットワークを実現するには、１ニユーロンモデル
を特にシナプス部分を少素子で実現しなけれならない。
１′ア シーモス アソシエイティブ メモリチップ
ペースト オン ニューラネル ネットワークス” １
９８７年アイニスニスシーシーダイジェスト オン テ
クニカル ペーパー ページ３０４〜３０５ （“Ａ
ＣＭＯ３ＡＳＳＯＣＩＡＴＩＶＥ ＭＥＭＯＲＹ ＣＨ
ＩＰ ＢＡＳＥＤ ＯＮ ＮＥＵＲＡＬ ＮＥＴす０Ｒ
ＫＳ” １９ｇ？ ｌ５ＳＣＣＤＩＧＩＥＳＴ ＯＦ
ＴＥＣＨＮＩＣＡＬ ＰＡＰ［ＥＲ５ｐｐ、３０４〜
３０５）において発表されている方式では、ニューロン
回路内の計算はアナログ信号でニューロン回路間の通信
はディジタル信号で行なわれているが、重み値は１．Ｏ
，−１の３つの値、ニューロンの出力値は１または０の
１ビットで表現されているので、そのニューラルネット
ワークのアプリケーションの対象の問題が限定される。
ペースト オン ニューラネル ネットワークス” １
９８７年アイニスニスシーシーダイジェスト オン テ
クニカル ペーパー ページ３０４〜３０５ （“Ａ
ＣＭＯ３ＡＳＳＯＣＩＡＴＩＶＥ ＭＥＭＯＲＹ ＣＨ
ＩＰ ＢＡＳＥＤ ＯＮ ＮＥＵＲＡＬ ＮＥＴす０Ｒ
ＫＳ” １９ｇ？ ｌ５ＳＣＣＤＩＧＩＥＳＴ ＯＦ
ＴＥＣＨＮＩＣＡＬ ＰＡＰ［ＥＲ５ｐｐ、３０４〜
３０５）において発表されている方式では、ニューロン
回路内の計算はアナログ信号でニューロン回路間の通信
はディジタル信号で行なわれているが、重み値は１．Ｏ
，−１の３つの値、ニューロンの出力値は１または０の
１ビットで表現されているので、そのニューラルネット
ワークのアプリケーションの対象の問題が限定される。
本発明は、重み値及びニューロン回路の出力値を多ビッ
トで表現でき、少面積で大規模なデータを処理できるデ
ィジタル通信アナログ計算のダイナミック型ニューラル
ネットワークを提供することを目的とする。
トで表現でき、少面積で大規模なデータを処理できるデ
ィジタル通信アナログ計算のダイナミック型ニューラル
ネットワークを提供することを目的とする。
本発明は、ニューロン回路間のデータ転送をディジタル
信号で行い、積和演算をアナログ計算で、または積をア
ナログ計算で和をディジタル計算で行い、ニューロン回
路を少素子で実現する。そのため、ディジタル信号から
アナログ信号へ、またはアナログ信号からディジタル信
号へデータを変換しているが、本発明はそれも少素子で
実現する。
信号で行い、積和演算をアナログ計算で、または積をア
ナログ計算で和をディジタル計算で行い、ニューロン回
路を少素子で実現する。そのため、ディジタル信号から
アナログ信号へ、またはアナログ信号からディジタル信
号へデータを変換しているが、本発明はそれも少素子で
実現する。
ニューロン間のデータ転送はディジタル信号で行うため
、大規模なニューラルネットワークで各ニューロン間の
距離が大きくなっても、アナログ信号でデータ転送を行
うときのように、信号がン鎗線抵抗で減衰してしまうよ
うな問題はない。
、大規模なニューラルネットワークで各ニューロン間の
距離が大きくなっても、アナログ信号でデータ転送を行
うときのように、信号がン鎗線抵抗で減衰してしまうよ
うな問題はない。
また、本発明は重み値及びニューロンの出力値を多ビッ
トで表現でき、それを少素子で実現できる。
トで表現でき、それを少素子で実現できる。
本発明によれば、１個のニューロンの素子数が少ないた
め大規模なニューラルネットワークを実現できる。重み
値及びニューロンの出力値を多ビットで表現できる大規
模なニューラルネトワークを実現する場合、１個のニュ
ーロン回路が少素子で実現できても、そ゛の個数が膨大
であれば、当然、面積は太きなる。そのため１例えば、
ＷＳＩ（ウェハ・スケール・インテグレーション）上で
実現する場合、ニューロン間の距離は大きくなってしま
うが、本発明では、ニューロン間のデータ転送をディジ
タルで行うので、アナログ信号を通信に用いる場合に比
べ、長い距離のデータ転送を可能とする。
め大規模なニューラルネットワークを実現できる。重み
値及びニューロンの出力値を多ビットで表現できる大規
模なニューラルネトワークを実現する場合、１個のニュ
ーロン回路が少素子で実現できても、そ゛の個数が膨大
であれば、当然、面積は太きなる。そのため１例えば、
ＷＳＩ（ウェハ・スケール・インテグレーション）上で
実現する場合、ニューロン間の距離は大きくなってしま
うが、本発明では、ニューロン間のデータ転送をディジ
タルで行うので、アナログ信号を通信に用いる場合に比
べ、長い距離のデータ転送を可能とする。
また、すべてディジタル回路で実現した場合。
シナプスにおいて計算する重み付けをディジタル乗算器
で実現した場合、例えば、８ビットの乗算器を約１００
０トランジスタで実現して、１００個のニューロンで、
全シナプス数が１０００ｏ個あるとすると、シナプス回
路だけで１ｏ７トラン本発明によれば、１シナプスあた
り、数１０トランジスタで実現できので、約２×１０５
トランジスタで実現できる。
で実現した場合、例えば、８ビットの乗算器を約１００
０トランジスタで実現して、１００個のニューロンで、
全シナプス数が１０００ｏ個あるとすると、シナプス回
路だけで１ｏ７トラン本発明によれば、１シナプスあた
り、数１０トランジスタで実現できので、約２×１０５
トランジスタで実現できる。
本発明によるニューロンモデルを以下に説明する。
細胞体モデルとシナプスモデルから構成されるニューロ
ンモデルは、自分以外のニューロンモデルからの出力を
入力し、そのニューロンモデルに対する重み（ｗｉＪ）
付けをして、以下の計算を実行し、出力値Ｘ１を出力す
る。０−Ｎ−１番のＮ個のニューロンモデルからの出力
をｘｌ、、Ｘ工。
ンモデルは、自分以外のニューロンモデルからの出力を
入力し、そのニューロンモデルに対する重み（ｗｉＪ）
付けをして、以下の計算を実行し、出力値Ｘ１を出力す
る。０−Ｎ−１番のＮ個のニューロンモデルからの出力
をｘｌ、、Ｘ工。
Ｘ Ｚ ＋・・・ＸＪ、・・・ＸＮ−□とすると、各ニ
ューロンモデルは、 の計算を実行する。
ューロンモデルは、 の計算を実行する。
ここでは、関数ｆは、
ｆ（Ｓ）＝１／（１＋ｅｘｐ（Ｓ Ｓ）／Ｔ））
（２）のＳｉｇｍｏｉｄ関数である。Ｓはしきい値、
Ｔは定数で一般にＴ ＝１である。以下、ニューロンモ
デルを実現した回路をニューロン回路、シナプスモデル
を実現した回路をシナプス回路、細胞体モデルを実現し
た回路をＭＪ胞体回路と呼ぶ。複数個のニューロンモデ
ルを相互接続し、ニューラルネットワークを構成する。
（２）のＳｉｇｍｏｉｄ関数である。Ｓはしきい値、
Ｔは定数で一般にＴ ＝１である。以下、ニューロンモ
デルを実現した回路をニューロン回路、シナプスモデル
を実現した回路をシナプス回路、細胞体モデルを実現し
た回路をＭＪ胞体回路と呼ぶ。複数個のニューロンモデ
ルを相互接続し、ニューラルネットワークを構成する。
本発明は、ニューロン回路間のデータの送信をディジタ
ル信号で行い、ニューロン回路内における上記（１）式
の積和演算をアナログで演算した後ディジタル信号に変
換し、ディジタルインターフェースのアナログニューロ
ン回路の出力が多値の場合、入出力をディジタル信号で
行うためアナログ信号に比ベノイズの影響が少ない。ま
た、積和演算をアナログで行うので、すべての演算をデ
ィジタル信号で行う場合に比べ少素子で実現できる。
ル信号で行い、ニューロン回路内における上記（１）式
の積和演算をアナログで演算した後ディジタル信号に変
換し、ディジタルインターフェースのアナログニューロ
ン回路の出力が多値の場合、入出力をディジタル信号で
行うためアナログ信号に比ベノイズの影響が少ない。ま
た、積和演算をアナログで行うので、すべての演算をデ
ィジタル信号で行う場合に比べ少素子で実現できる。
第１図は、ニューロンモデルを実現したニューロン回路
４の１実施例を示した図である。第１図では、１個のニ
ューロン回路４を１個の細胞体回路上と１個のシナプス
回路２で構成しているが、シナプス回路２は１個以上で
あれば、いくつでもよい。そのとき、シナプス回路２の
すべての出力は細胞体回路１の細胞体回路入力ノード８
０３に接続する。細胞体回路１の出力端子７１はニュー
ロン回路４の出力端子でもある。
４の１実施例を示した図である。第１図では、１個のニ
ューロン回路４を１個の細胞体回路上と１個のシナプス
回路２で構成しているが、シナプス回路２は１個以上で
あれば、いくつでもよい。そのとき、シナプス回路２の
すべての出力は細胞体回路１の細胞体回路入力ノード８
０３に接続する。細胞体回路１の出力端子７１はニュー
ロン回路４の出力端子でもある。
まず、各ニューロン回路４からの出力をディジタル・Ｐ
ＷＭ変換回路１３の入力端子６１に接続し、ディジタル
・ＰＷＭ （Ｐｕｌｓｅ ＷｉｄｔｈＭｏｄｕｌａｔｉ
ｏｎ）変換回路１３によって、その入力値に比例したパ
ルス間を持つパルス信号に変換し、シナプス回路２の入
力ノードに出力する。シナプス回路２は各ニューロン回
路４の出力に対して重み付けをする。重み付は電流発生
回路５０１は、各ニューロン回路４の出力に対する重み
値Ｗ Ｉ Ｊをディジタル重み値出力回路３６から入力
する。ディジタル重み値出力回路３６は、公知のメモリ
またはレジスタなどによって作ることができる。重み値
Ｗ Ｉ Ｊをメモリまたはレジスタに予め書き込んでお
けばよい。重み付は電流発生回路５０１はその重み値に
比例する電流を発生する電流源７０１をシナプス回路２
の内部ノード８０２に接続している。スイッチ５０４は
、内部ノード８０２と細胞体入力ノードを導通状態また
は非導通状態とするスイッチで、入力ノード５１に入力
するディジタル・ＰＷＭ変換回路１３からのパルス信号
を制御信号とする。スイッチ５０４は、入力ノード５１
に入力されるパルス信号のパルス幅だけの時間、内部ノ
ード８０２と細胞体人力ノード８０３を導通状態とする
。この時に細胞体入力ノード８０３に流れ込むｆｉ流は
、重み付は電流発生回路５０１によって決められる。そ
の結果、細胞体人力ノード８０３に流れ込む電荷量は各
ニューロン回路４の出力値ＸＪとそれに対する重み値Ｗ
Ｉ Ｊの積ＷＩＪ”ＸＩに比例している。また、細胞
体入力ノード８０３には容量５０７が接続されており、
細胞体人力ノード８０３は積Ｗ□、・ＸＪに比例した電
位を変化させる。以上の動作を自分以外の各ニューロン
回路４の出力値に対して行えば、細胞体人力ノード８０
３は それは、細胞体回路入力ノード８０３に接続される複数
のシナプス回路２によって同時に行ってもよい。また、
１個のシナプス回路２を時分割で利用して積和演算を行
っても良い。ここで、容量５０７は寄生容量ではなく、
以下に示すように設定する。
ＷＭ変換回路１３の入力端子６１に接続し、ディジタル
・ＰＷＭ （Ｐｕｌｓｅ ＷｉｄｔｈＭｏｄｕｌａｔｉ
ｏｎ）変換回路１３によって、その入力値に比例したパ
ルス間を持つパルス信号に変換し、シナプス回路２の入
力ノードに出力する。シナプス回路２は各ニューロン回
路４の出力に対して重み付けをする。重み付は電流発生
回路５０１は、各ニューロン回路４の出力に対する重み
値Ｗ Ｉ Ｊをディジタル重み値出力回路３６から入力
する。ディジタル重み値出力回路３６は、公知のメモリ
またはレジスタなどによって作ることができる。重み値
Ｗ Ｉ Ｊをメモリまたはレジスタに予め書き込んでお
けばよい。重み付は電流発生回路５０１はその重み値に
比例する電流を発生する電流源７０１をシナプス回路２
の内部ノード８０２に接続している。スイッチ５０４は
、内部ノード８０２と細胞体入力ノードを導通状態また
は非導通状態とするスイッチで、入力ノード５１に入力
するディジタル・ＰＷＭ変換回路１３からのパルス信号
を制御信号とする。スイッチ５０４は、入力ノード５１
に入力されるパルス信号のパルス幅だけの時間、内部ノ
ード８０２と細胞体人力ノード８０３を導通状態とする
。この時に細胞体入力ノード８０３に流れ込むｆｉ流は
、重み付は電流発生回路５０１によって決められる。そ
の結果、細胞体人力ノード８０３に流れ込む電荷量は各
ニューロン回路４の出力値ＸＪとそれに対する重み値Ｗ
Ｉ Ｊの積ＷＩＪ”ＸＩに比例している。また、細胞
体入力ノード８０３には容量５０７が接続されており、
細胞体人力ノード８０３は積Ｗ□、・ＸＪに比例した電
位を変化させる。以上の動作を自分以外の各ニューロン
回路４の出力値に対して行えば、細胞体人力ノード８０
３は それは、細胞体回路入力ノード８０３に接続される複数
のシナプス回路２によって同時に行ってもよい。また、
１個のシナプス回路２を時分割で利用して積和演算を行
っても良い。ここで、容量５０７は寄生容量ではなく、
以下に示すように設定する。
１つの細胞体人力ノード８０３に接続するすべてのシナ
プス回路２によって、細胞体人力ノード８０３へ充電さ
れる最大の電荷量をＱに＾Ｘとすると、容量５０７は。
プス回路２によって、細胞体人力ノード８０３へ充電さ
れる最大の電荷量をＱに＾Ｘとすると、容量５０７は。
Ｃ＝ＱＨＡＸ／ΔＭＡＸ
なる容量に設定する。また、ＬＳＩで容量５０７は配線
を引き回すとか、ＭＯＳ ＦＥＴのゲート容量を利用
して、あるいは容量５０７を設定するためＭＯＳ Ｆ
ＥＴを別に設けるなどの方法によって構成することがで
きる。
を引き回すとか、ＭＯＳ ＦＥＴのゲート容量を利用
して、あるいは容量５０７を設定するためＭＯＳ Ｆ
ＥＴを別に設けるなどの方法によって構成することがで
きる。
その後、細胞体回路１によって、アナログ・ディジタル
変換（ＡＤ変換）を行い、さらに、非線形変換（Ｓｉｍ
ｏｉｄ関数）を行い、出力端子７１にその演算結果をデ
ィジタル値で出力する。細胞体入力ノード８０３の電位
をアナログ・ディジタル変換器３によってディジタル信
号を内部データ線８０４へ出力する。非線形変換回路２
６は、内部データ線８０４に出力されるディジタル信号
を入力し、Ｓｉｇｎ＋ｏｉｄ関数変換を行い、出力端子
７１に出力する。
変換（ＡＤ変換）を行い、さらに、非線形変換（Ｓｉｍ
ｏｉｄ関数）を行い、出力端子７１にその演算結果をデ
ィジタル値で出力する。細胞体入力ノード８０３の電位
をアナログ・ディジタル変換器３によってディジタル信
号を内部データ線８０４へ出力する。非線形変換回路２
６は、内部データ線８０４に出力されるディジタル信号
を入力し、Ｓｉｇｎ＋ｏｉｄ関数変換を行い、出力端子
７１に出力する。
本実施例は、容量５０７に電荷を充電または引き抜きに
よって積和演算を行うため、低消費電力で実現できる。
よって積和演算を行うため、低消費電力で実現できる。
また、その電荷は静電容量に蓄えられているので、和演
算を並列でも時分割でも行うことができる。例えば、重
み付けをニューロン回路からの出力とニューロン回路の
入力に抵抗を接続し、その抵抗に流れる電流和によって
初積和演算を行う場合、１個のシナプス回路に流れる電
流を平均１００μＡ、電源電圧を４ｖとすると、５００
個のニューロン回路で各ニューロン回路のシナプス回路
数が５００個の場合、全シナプス回路の消費電力は１０
０Ｗにもなるが、本実施例によれば、１個の重み付は電
流発生回路の設定する電流を平均５０μＡ、それをスイ
ッチ５０４によって容量５０７へ接続する平均時間を２
０ｎｓ、（１）式の１回のニューロン回路の計算を行う
のに２００ｎｓ、ｆ！！源電圧電圧ｖとすると、５００
個のニューロン回路で各ニューロン回路のシナプス回路
数が５００個の場合、全シナプス回路の消費電力は５Ｗ
となり、大間に消費電力を削減できる。
算を並列でも時分割でも行うことができる。例えば、重
み付けをニューロン回路からの出力とニューロン回路の
入力に抵抗を接続し、その抵抗に流れる電流和によって
初積和演算を行う場合、１個のシナプス回路に流れる電
流を平均１００μＡ、電源電圧を４ｖとすると、５００
個のニューロン回路で各ニューロン回路のシナプス回路
数が５００個の場合、全シナプス回路の消費電力は１０
０Ｗにもなるが、本実施例によれば、１個の重み付は電
流発生回路の設定する電流を平均５０μＡ、それをスイ
ッチ５０４によって容量５０７へ接続する平均時間を２
０ｎｓ、（１）式の１回のニューロン回路の計算を行う
のに２００ｎｓ、ｆ！！源電圧電圧ｖとすると、５００
個のニューロン回路で各ニューロン回路のシナプス回路
数が５００個の場合、全シナプス回路の消費電力は５Ｗ
となり、大間に消費電力を削減できる。
以上述べたように、入出力はディジタル信号で行い、積
和演算をアナログで行うニューロン回路を実現できる。
和演算をアナログで行うニューロン回路を実現できる。
また、シナプス回路２の入力をその入力値に比例するパ
ルス幅を持つパルス信号の代わりに、入力値に比例した
パルス密度を持つパルス信号としても、同様の動作を行
うことができる。
ルス幅を持つパルス信号の代わりに、入力値に比例した
パルス密度を持つパルス信号としても、同様の動作を行
うことができる。
第２図の実施例は、第１図の実施例をＣＭＳＯＬＳＩ上
で実現する１実施例である。
で実現する１実施例である。
以下の動作において、細胞体人力ノード８０３の電位を
上昇させる動作を興奮性、細胞体人力ノード８０３の電
位を降下させる動作を抑制性とする。興ｍｌ／抑制はデ
ィジタル重み値出力回路３６から出力される重み値の符
号ビットω３によって制御する。第２図では１重み値の
符号ビットω８がｖＳＳ電位（以下、ロウレベルまたは
０）のとき興奮性、ＶＤＤ電位（以下、ハイレベルまた
は１）のとき抑制性とする。
上昇させる動作を興奮性、細胞体人力ノード８０３の電
位を降下させる動作を抑制性とする。興ｍｌ／抑制はデ
ィジタル重み値出力回路３６から出力される重み値の符
号ビットω３によって制御する。第２図では１重み値の
符号ビットω８がｖＳＳ電位（以下、ロウレベルまたは
０）のとき興奮性、ＶＤＤ電位（以下、ハイレベルまた
は１）のとき抑制性とする。
重み値電流発生回路５０１とスイッチ５０４の具体的回
路構成について述べる。複数の１例えば４つのＰＭＯＳ
ＦＥＴ Ｐ工〜Ｐ４のソースを電源ＶＤＤに接続し、
ドレインを内部ノード８１０に接続し、各ゲートをディ
ジタル重み膜出力回路３６の各符号ビットω１〜ω４に
接続する。ソースを電流■ＳＳに接続し、ドレインを内
部ノード８１１に接続し、各ゲートをディジタル重み値
出力回路３６の各符号ビットω、〜ω、を接続するＮＭ
ＯＳ ＦＥＴ Ｎ、〜Ｎ、を設ける。さらに、ドレ
インを細胞体入力ノード８０３に接続し、ソースを内部
ノード８１０に接続し、ゲートを内部ノード８１２に接
続するＰＭＯＳ ＦＦＴ Ｐ、を設ける。ドレイン
を細胞体人力ノード８０３に接続し、ソースを内部ノー
ド８１１に接続し、ゲートを内部ノード８１３に接続す
るＮＭＯＳ ＦＥＴ Ｎｏを設ける。ここで、シナ
プス入力ノード５１に入力するパルス信号を、重み値の
符号ビットω５がロウレベルならＰＭＯＳ ＦＥＴ
Ｐ、がオン状態となるパルス信号に変換して内部ノー
ド８１２に出力し、符号ビットωＳがハイレベルならＮ
ＭＯＳ ＦＥＴ Ｎｏがオン状態となるパルス信号
に変換して内部ノード８１３に出力するように、スイッ
チ回路５０４を構成する。即ち、重み値の符号ビットω
Ｓを入力し、その論理反転を出力するインバータ回路２
２を設け、シナプス回路入力ノード５１インバータ回路
２２の出力を入力してＮＡＮＤＡＮＤ演算、その結果を
内部ノード８１２に出力する２人力ＮＡＮＤ回路２３を
設け、さらにシナプス回路入力ノードと重み値の符号ビ
ットωＳを入力してＡＮＤ演算を行い、その結果を内部
ノード８１３に出力する２人力ＡＮＤ回路２４を設ける
。
路構成について述べる。複数の１例えば４つのＰＭＯＳ
ＦＥＴ Ｐ工〜Ｐ４のソースを電源ＶＤＤに接続し、
ドレインを内部ノード８１０に接続し、各ゲートをディ
ジタル重み膜出力回路３６の各符号ビットω１〜ω４に
接続する。ソースを電流■ＳＳに接続し、ドレインを内
部ノード８１１に接続し、各ゲートをディジタル重み値
出力回路３６の各符号ビットω、〜ω、を接続するＮＭ
ＯＳ ＦＥＴ Ｎ、〜Ｎ、を設ける。さらに、ドレ
インを細胞体入力ノード８０３に接続し、ソースを内部
ノード８１０に接続し、ゲートを内部ノード８１２に接
続するＰＭＯＳ ＦＦＴ Ｐ、を設ける。ドレイン
を細胞体人力ノード８０３に接続し、ソースを内部ノー
ド８１１に接続し、ゲートを内部ノード８１３に接続す
るＮＭＯＳ ＦＥＴ Ｎｏを設ける。ここで、シナ
プス入力ノード５１に入力するパルス信号を、重み値の
符号ビットω５がロウレベルならＰＭＯＳ ＦＥＴ
Ｐ、がオン状態となるパルス信号に変換して内部ノー
ド８１２に出力し、符号ビットωＳがハイレベルならＮ
ＭＯＳ ＦＥＴ Ｎｏがオン状態となるパルス信号
に変換して内部ノード８１３に出力するように、スイッ
チ回路５０４を構成する。即ち、重み値の符号ビットω
Ｓを入力し、その論理反転を出力するインバータ回路２
２を設け、シナプス回路入力ノード５１インバータ回路
２２の出力を入力してＮＡＮＤＡＮＤ演算、その結果を
内部ノード８１２に出力する２人力ＮＡＮＤ回路２３を
設け、さらにシナプス回路入力ノードと重み値の符号ビ
ットωＳを入力してＡＮＤ演算を行い、その結果を内部
ノード８１３に出力する２人力ＡＮＤ回路２４を設ける
。
そして、ＰＭＯＳ ＦＥＴ Ｐ工〜Ｐ４とＮＭＯＳ
ＦＥＴ Ｎ工〜Ｎ４のゲート幅を順番に２のベキ
乗に設定することによって、１６階長の重みを持つこと
ができる。ＰＭＯＳ ＦＥＴ Ｐ０〜Ｐ。
ＦＥＴ Ｎ工〜Ｎ４のゲート幅を順番に２のベキ
乗に設定することによって、１６階長の重みを持つこと
ができる。ＰＭＯＳ ＦＥＴ Ｐ０〜Ｐ。
のオン状態のときのコンダクタンスをＧＰｏ〜Ｇｐ４と
し、ＧＰｚ〜Ｇｐ４を以下のように設定する。
し、ＧＰｚ〜Ｇｐ４を以下のように設定する。
ＰＭｏＳ ＦＥＴ Ｐ１〜Ｐ４のゲートニ接続するディ
ジタル重み値出力回路３６の出力ビットをω、〜ω、と
すると、ＶＤＤと細胞体人力ノード８０３間のコンダク
タンスは、重み値の符号ビットωＳが０のとき、 Ｐ工〜Ｐ、に比ベゲート幅を大きく設定する。同様に、
ＮＭＯＳ ＦＥＴ Ｎ０〜Ｎ４のオン状態のときの
コンダクタンスをＯｎ、〜Ｇｎ４とすると、１／（１／
Ｇｐ（１＋１（Ｇｐｌ（ω１・２’＋ω、・２’＋ω、
・２”＋ω、・２３）） （５）である。また、 Ｇ ｐｏ＞Ｇ ｐよ・（２°＋ ２１＋ ２” ＋ ２
” ）とすれば、ＶＤＤと細胞体人力ノード８０３間の
コンダクタンスは、 と近似できるため、（６）式の条件を満たすようにＰＭ
ＯＳ ＦＥＴ、Ｐ、はＰＭＯＳ ＦＥＴと設定すれ
ば、細胞体回路入力ノード８０３と７８８間のコンダク
タンスは ω８・Ｇｎ□・（ω、・２ａ＋ω２・２１＋ω、・２２
＋ω、・２３）（１ｏ）と近似できる。ＰＭＯＳ Ｆ
ＥＴ Ｐ工〜Ｐ４、ＮＭＯＳ ＦＥＴ Ｎ工〜Ｎ
２を飽和領域で動作させれば、重み位置流発生回路５０
１は重み値に略比例した電流源となる。第２図では重み
値を符号ビットも合わせて５ビットで表現したが、他の
ビソト数で表現してもかまわない。
ジタル重み値出力回路３６の出力ビットをω、〜ω、と
すると、ＶＤＤと細胞体人力ノード８０３間のコンダク
タンスは、重み値の符号ビットωＳが０のとき、 Ｐ工〜Ｐ、に比ベゲート幅を大きく設定する。同様に、
ＮＭＯＳ ＦＥＴ Ｎ０〜Ｎ４のオン状態のときの
コンダクタンスをＯｎ、〜Ｇｎ４とすると、１／（１／
Ｇｐ（１＋１（Ｇｐｌ（ω１・２’＋ω、・２’＋ω、
・２”＋ω、・２３）） （５）である。また、 Ｇ ｐｏ＞Ｇ ｐよ・（２°＋ ２１＋ ２” ＋ ２
” ）とすれば、ＶＤＤと細胞体人力ノード８０３間の
コンダクタンスは、 と近似できるため、（６）式の条件を満たすようにＰＭ
ＯＳ ＦＥＴ、Ｐ、はＰＭＯＳ ＦＥＴと設定すれ
ば、細胞体回路入力ノード８０３と７８８間のコンダク
タンスは ω８・Ｇｎ□・（ω、・２ａ＋ω２・２１＋ω、・２２
＋ω、・２３）（１ｏ）と近似できる。ＰＭＯＳ Ｆ
ＥＴ Ｐ工〜Ｐ４、ＮＭＯＳ ＦＥＴ Ｎ工〜Ｎ
２を飽和領域で動作させれば、重み位置流発生回路５０
１は重み値に略比例した電流源となる。第２図では重み
値を符号ビットも合わせて５ビットで表現したが、他の
ビソト数で表現してもかまわない。
シナプス回路２は重み値組流発生回路５０１を設定した
後、パルス信号をシナプス回路入力ノード５１に入力す
る。そして、重み値の符号ビットω３がロウレベルなら
、そのパルス信号のパルス幅の時間だけＰＭＯＳＦＥＴ
Ｐｏをオン状態とし、重み値の符号ビットωＳがハ
イレベルなら、そのパルス信号のパルス幅の時間だけＮ
ＭＯ５ＦＥＴ Ｎｏをオン状態として細胞体入力ノー
ド８０３に電荷を注入する。
後、パルス信号をシナプス回路入力ノード５１に入力す
る。そして、重み値の符号ビットω３がロウレベルなら
、そのパルス信号のパルス幅の時間だけＰＭＯＳＦＥＴ
Ｐｏをオン状態とし、重み値の符号ビットωＳがハ
イレベルなら、そのパルス信号のパルス幅の時間だけＮ
ＭＯ５ＦＥＴ Ｎｏをオン状態として細胞体入力ノー
ド８０３に電荷を注入する。
次にＡＤ変換回路３について説明する。まず、シナプス
回路２を動作させる前にアップダウンカウンタ１ｏをリ
セットする。また、細胞体入力ノードの電位及び細胞体
回路１の内部ノード８０５の電位を（ＶＤＤ＋ＶＳＳ）
／２ （ｖ） にハーフプリチャージする。その後、シ
ナプス回路２によって上述の積和演算動作を行い、細胞
体人力ノード８０３の電位は積和演算結果値に比例して
電位変化を起こす。シナプス回路２による演算が終わる
と、細胞体回路１は細胞体人力ノード８０３の電位ＶＮ
と内部ノード８０５の電位ＶＲをコンパレータ２０によ
って比較する。パルス制御回路１８はクロック信号入力
端子２０１にクロック信号を入力し、コンパレータ２０
の出力を制御信号として、Ｖ Ｎ ＞ Ｖ ＲならばＰ
ＭＯＳＦＥＴ Ｐ□。がオン状態となるようにクロッ
ク信号のパルスを内部ノード２００２に出力し、Ｖ Ｎ
＜ Ｖ ＲならばＮＭＯ５ＦＥＴ Ｎ工。がオン状
態となるようにクロック信号のパルスを変換し、内部ノ
ード２０ｏ３に出力する。また、ドレインを内部ノード
８０５に接続し、ソースをＶＤＤに接続し、ゲートを内
部ノード２００２ ニ接続するＰＭＯＳＦＥＴＰ工。と
、ドレインを内部ノード８０５に接続し、ソースをｖＳ
Ｓに接続し、ゲートを内部ノード２００３に接続するＮ
ＭＯＳＦＥＴ Ｎ工。を設ける。その結果、パルス幅
の等しいパルスを内部ノード２００２または内部ノード
２００３へ１回または複数回印加することによって内部
ノードの電位ＶＲは送信されたパルス数に比例した電位
だけ変化する。その結果、ＶＮとＶＲがほぼ等しくなす
、やがでコンパレータ２０の出力が反転する。
回路２を動作させる前にアップダウンカウンタ１ｏをリ
セットする。また、細胞体入力ノードの電位及び細胞体
回路１の内部ノード８０５の電位を（ＶＤＤ＋ＶＳＳ）
／２ （ｖ） にハーフプリチャージする。その後、シ
ナプス回路２によって上述の積和演算動作を行い、細胞
体人力ノード８０３の電位は積和演算結果値に比例して
電位変化を起こす。シナプス回路２による演算が終わる
と、細胞体回路１は細胞体人力ノード８０３の電位ＶＮ
と内部ノード８０５の電位ＶＲをコンパレータ２０によ
って比較する。パルス制御回路１８はクロック信号入力
端子２０１にクロック信号を入力し、コンパレータ２０
の出力を制御信号として、Ｖ Ｎ ＞ Ｖ ＲならばＰ
ＭＯＳＦＥＴ Ｐ□。がオン状態となるようにクロッ
ク信号のパルスを内部ノード２００２に出力し、Ｖ Ｎ
＜ Ｖ ＲならばＮＭＯ５ＦＥＴ Ｎ工。がオン状
態となるようにクロック信号のパルスを変換し、内部ノ
ード２０ｏ３に出力する。また、ドレインを内部ノード
８０５に接続し、ソースをＶＤＤに接続し、ゲートを内
部ノード２００２ ニ接続するＰＭＯＳＦＥＴＰ工。と
、ドレインを内部ノード８０５に接続し、ソースをｖＳ
Ｓに接続し、ゲートを内部ノード２００３に接続するＮ
ＭＯＳＦＥＴ Ｎ工。を設ける。その結果、パルス幅
の等しいパルスを内部ノード２００２または内部ノード
２００３へ１回または複数回印加することによって内部
ノードの電位ＶＲは送信されたパルス数に比例した電位
だけ変化する。その結果、ＶＮとＶＲがほぼ等しくなす
、やがでコンパレータ２０の出力が反転する。
それと同時にパルス制御回路１８はパルスの送信を停止
する。また、パルス制御回路１８の出力するパルスはア
ップダウンカウンタ１０へも送られる。アップダウンカ
ウンタ１０は内部ノード２００２と内部ノード２００３
を入力とし、内部ノード２００２にＰＭＯ８ＦＦＴ
Ｐ、。のオン状態となるパルスを入力すれば＋１、内部
ノード２００３にＮＭＯＳＦＥＴ Ｎ工。のオン状態
となるパルスを入力すれば−１をカウントする。すべて
のニューロン回路からのデータに対して以上の演算を行
なったあと、アップダウンカウンタ１０は、積和演算結
果を示している。その積和演算結果は内部データ腺８０
４に出力する。
する。また、パルス制御回路１８の出力するパルスはア
ップダウンカウンタ１０へも送られる。アップダウンカ
ウンタ１０は内部ノード２００２と内部ノード２００３
を入力とし、内部ノード２００２にＰＭＯ８ＦＦＴ
Ｐ、。のオン状態となるパルスを入力すれば＋１、内部
ノード２００３にＮＭＯＳＦＥＴ Ｎ工。のオン状態
となるパルスを入力すれば−１をカウントする。すべて
のニューロン回路からのデータに対して以上の演算を行
なったあと、アップダウンカウンタ１０は、積和演算結
果を示している。その積和演算結果は内部データ腺８０
４に出力する。
また、シナプス回路２によって、各ニューロン回路４か
らの出力を入力するたびに、細胞体人力ノード８０３の
ハーフプリチャージを行ない積演算を行なうこともでき
る。この場合、アップダウンカウンタ１０のリセットを
行なわず、アキュムレータとして動作させる。
らの出力を入力するたびに、細胞体人力ノード８０３の
ハーフプリチャージを行ない積演算を行なうこともでき
る。この場合、アップダウンカウンタ１０のリセットを
行なわず、アキュムレータとして動作させる。
次に非線形変換回路２６の具体的回路構成について、第
３図を用いて説明する。
３図を用いて説明する。
メモリを用いて、積和演算結果値に対応したアドレスに
Ｓｉｇｍｏｉｄ関数に対して、第３図（ｂ）に示すよう
に、入力するアドレスに対してＳｉｇｍｏｉｄ関数値を
出力するようにメモリに書き込んでおく。第３図（ａ）
は横軸に入力値、縦軸にＳｉｇｍｏｉｄ関数値をプロッ
トしたものである。
Ｓｉｇｍｏｉｄ関数に対して、第３図（ｂ）に示すよう
に、入力するアドレスに対してＳｉｇｍｏｉｄ関数値を
出力するようにメモリに書き込んでおく。第３図（ａ）
は横軸に入力値、縦軸にＳｉｇｍｏｉｄ関数値をプロッ
トしたものである。
非線形変換回路２６は、内部にメモリを保持し、積和演
算結果を入力し、そのアドレスに書き込まれている値を
出力端子７１に出力する。出力はディジタル値である。
算結果を入力し、そのアドレスに書き込まれている値を
出力端子７１に出力する。出力はディジタル値である。
以上に述べたニューロン回路４を複数個相互接続してニ
ューラルネットワークを構成し、上記の動作を繰返す。
ューラルネットワークを構成し、上記の動作を繰返す。
ニューロン回路４の出力のすべてが安定状態となる（収
束する）まで演算を実行する。しかし１時々、最適解に
収束しない場合（ローカル・ミニマム問題）がある。そ
のような場合、シミュレーティッド・アニーリング（Ｓ
ｉｍｕｌａｔｅｄＡｎｎｅａｌｉｎｇ）を行なうと最適
解に収束することがある。それは（２）式のＳｉｇｍｏ
ｉｄ関数において定数Ｔ（温度）を変えることである。
束する）まで演算を実行する。しかし１時々、最適解に
収束しない場合（ローカル・ミニマム問題）がある。そ
のような場合、シミュレーティッド・アニーリング（Ｓ
ｉｍｕｌａｔｅｄＡｎｎｅａｌｉｎｇ）を行なうと最適
解に収束することがある。それは（２）式のＳｉｇｍｏ
ｉｄ関数において定数Ｔ（温度）を変えることである。
上記の非線形変換回路２６は、関数をメモリに書き込ん
でおき、入力値に対応するアドレスのメモリの内容を出
力とする構成を用いているので、メモリにＲＡＭ （Ｒ
ａｎｓｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いてメ
モリの内容を書き換えることで、シミュレーティッド・
アニーリングを簡単に行なうことができる。
でおき、入力値に対応するアドレスのメモリの内容を出
力とする構成を用いているので、メモリにＲＡＭ （Ｒ
ａｎｓｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いてメ
モリの内容を書き換えることで、シミュレーティッド・
アニーリングを簡単に行なうことができる。
本発明では、重み値をディジタル信号で扱う。
ＭＯＳ ＦＥＴのゲート端子にアナログ信号を印加し
て、ＭＯＳ ＦＥＴのドレイン・ソースのコンダクタ
ンスをゲート電圧で制御することにより重み値及び入力
値を多値で表現する方法も考えられるが、その演算結果
も多値で出力する場合、ＭＯＳ ＦＥＴの特性は非線
形特性なので、ＭＯＳ ＦＥＴのゲート電圧によって
そのコンダクタンスを制御する方法では高精度を期待で
きない。
て、ＭＯＳ ＦＥＴのドレイン・ソースのコンダクタ
ンスをゲート電圧で制御することにより重み値及び入力
値を多値で表現する方法も考えられるが、その演算結果
も多値で出力する場合、ＭＯＳ ＦＥＴの特性は非線
形特性なので、ＭＯＳ ＦＥＴのゲート電圧によって
そのコンダクタンスを制御する方法では高精度を期待で
きない。
本実施例は、ニューロン回路内の積和演算をアナログで
行ない、ニューロン回路の入出力をディジタルで行なう
ニューラルネットワークであり、ディジタル回路のみで
ニューロン回路を実現した場合に比べ非常に少ない素子
数で実現できる。また、入出力はディジタル信号で行な
うので、ニューロン回路間のデータの送信をアナログ信
号で行う場合に比べ、ノイズマージンや、アナログ信号
の配線抵抗による信号減衰の問題がないため、設計が簡
単である。
行ない、ニューロン回路の入出力をディジタルで行なう
ニューラルネットワークであり、ディジタル回路のみで
ニューロン回路を実現した場合に比べ非常に少ない素子
数で実現できる。また、入出力はディジタル信号で行な
うので、ニューロン回路間のデータの送信をアナログ信
号で行う場合に比べ、ノイズマージンや、アナログ信号
の配線抵抗による信号減衰の問題がないため、設計が簡
単である。
第４図は、ディジタル・ＰＷＭ変換器１３の回路構成図
である。第４図において、１０１は変換開始信号入力端
子、１０２はクロック信号入力端子、１０３〜１０６は
データ信号入力端子、１１０は４ビットカウンタ、１１
１はＲＳフリップフロップ、１１２は４人力ＡＮＤ回路
、１１３はインバータ回路である。カウンタ１１０はノ
ードからクロック信号のパルスを入力するごとに１づつ
デクリメントされる。まず、入力端子１０３〜１０６に
データをセットし、その後、変換開始信号入力端子１０
１にパルスを送ると、フリップフロップ１１１の出力は
ハイレベルとなる。同時にノード１０２へのクロック信
号の送信を開始する。カウンタ１１０は、すでに入力さ
れいるデータはクロック信号のパルスを入力するたびに
１づつデクリメントされる。やがて、カウンタがＯを出
力すると４疫力アンド回路１１２の出力がハイレベルと
なり、ＲＳフリップフロップ１１１の出力をロウレベル
とする。ＲＳフリップフロップ１１１の出力は、変換開
始信号が入力されてから、入力端子１０３〜１０６に入
力された入力値のタロツク信号のパルス数を入力するま
で、ハイレベルを維持する。以上の動作を実行すること
によって、ディジタル信号をＰＷＭ信号に変換できる。
である。第４図において、１０１は変換開始信号入力端
子、１０２はクロック信号入力端子、１０３〜１０６は
データ信号入力端子、１１０は４ビットカウンタ、１１
１はＲＳフリップフロップ、１１２は４人力ＡＮＤ回路
、１１３はインバータ回路である。カウンタ１１０はノ
ードからクロック信号のパルスを入力するごとに１づつ
デクリメントされる。まず、入力端子１０３〜１０６に
データをセットし、その後、変換開始信号入力端子１０
１にパルスを送ると、フリップフロップ１１１の出力は
ハイレベルとなる。同時にノード１０２へのクロック信
号の送信を開始する。カウンタ１１０は、すでに入力さ
れいるデータはクロック信号のパルスを入力するたびに
１づつデクリメントされる。やがて、カウンタがＯを出
力すると４疫力アンド回路１１２の出力がハイレベルと
なり、ＲＳフリップフロップ１１１の出力をロウレベル
とする。ＲＳフリップフロップ１１１の出力は、変換開
始信号が入力されてから、入力端子１０３〜１０６に入
力された入力値のタロツク信号のパルス数を入力するま
で、ハイレベルを維持する。以上の動作を実行すること
によって、ディジタル信号をＰＷＭ信号に変換できる。
第５図は上記のニューロン回路４をＮ個用いて。
ホップフィールド型ニューラルネットワークを実現した
本発明の一実施例である。第５図において。
本発明の一実施例である。第５図において。
ニューロン回路４は１個のシナプス回路２と１個の細胞
体回路１で構成する。各ニューロン回路４は２つずつで
ペアを組み１例えばペアのニューロン回路４の細胞体人
力ノード８０３ａと８０３ｂをハーフプリチャージ回路
４１に接続する。ハーフプリチャージ回路４１は、細胞
体入力ノード８０３ａと８０３ｂを（ＶＤＤ＋ＶＳＳ）
／２（ｖ）にプリチャージする回路である。Ｎ個のニュ
ーロン回路４の出力端子７１はすべて、時分割ブロード
キャストネットワーク３５に接続されている。各ニュー
ロン回路４の出力端子７１から出力される出カイ直をそ
れぞれＸｏｔ ｘｌ、 ｘ２．・・・Ｘ ｓ−ｔとする
と、時分割ブロードキャストネットワーク３５は、その
１個を選択し、ＸｏからＸ Ｎ−１まで順番にディジタ
ル・ＰＷＭ変換器１３に出力する。ディジタル・ＰＷＭ
変換１３は、入力した各ニューロン回路４の出力値に比
例したパルス幅またはパルス密度を持つパルス信号に変
換し、すべてのニューロン回路４の入力端子５１にパル
ス信号を送る。以上の動作をＮ回行なえば、各ニューロ
ン回路４が必要とする全データが各ニューロン回路４に
到着する。第５図の実施例では、積和演算を時分割に行
うので、１個のニューロン回路４ではシナプス回路２を
１個しか必要としない。
体回路１で構成する。各ニューロン回路４は２つずつで
ペアを組み１例えばペアのニューロン回路４の細胞体人
力ノード８０３ａと８０３ｂをハーフプリチャージ回路
４１に接続する。ハーフプリチャージ回路４１は、細胞
体入力ノード８０３ａと８０３ｂを（ＶＤＤ＋ＶＳＳ）
／２（ｖ）にプリチャージする回路である。Ｎ個のニュ
ーロン回路４の出力端子７１はすべて、時分割ブロード
キャストネットワーク３５に接続されている。各ニュー
ロン回路４の出力端子７１から出力される出カイ直をそ
れぞれＸｏｔ ｘｌ、 ｘ２．・・・Ｘ ｓ−ｔとする
と、時分割ブロードキャストネットワーク３５は、その
１個を選択し、ＸｏからＸ Ｎ−１まで順番にディジタ
ル・ＰＷＭ変換器１３に出力する。ディジタル・ＰＷＭ
変換１３は、入力した各ニューロン回路４の出力値に比
例したパルス幅またはパルス密度を持つパルス信号に変
換し、すべてのニューロン回路４の入力端子５１にパル
ス信号を送る。以上の動作をＮ回行なえば、各ニューロ
ン回路４が必要とする全データが各ニューロン回路４に
到着する。第５図の実施例では、積和演算を時分割に行
うので、１個のニューロン回路４ではシナプス回路２を
１個しか必要としない。
そのため、ハードウェア量を大幅に削減できる。
第６図にハーフプリチャージ回路４１の具体的回路構成
６図（ａ）において、１５０，１５１はクロック信号入
力端子である。８０３ａ、８０３ｂの入力端子は２つの
ニューロン回路４のそれぞれの細胞体入力ノード８０３
に接続されている。
６図（ａ）において、１５０，１５１はクロック信号入
力端子である。８０３ａ、８０３ｂの入力端子は２つの
ニューロン回路４のそれぞれの細胞体入力ノード８０３
に接続されている。
５０７ａ、５０７ｂは細胞体人力ノード８０３ ａ 、
’８０３ｂに接続されている容量である。７１ａ。
’８０３ｂに接続されている容量である。７１ａ。
７１ｂは細胞体回路１の出力端子である。２個の細胞体
人力ノード８０３ａ、８０３ｂにおいて、プリチャージ
動作は、まず、クロック信号入力端子１５０をハイレベ
ルに、クロック信号入力端子１５１をロウレベルに印加
して、一方の細胞体入力ノード８０３ａをハイレベルに
充電し、もう−方の細胞体入力ノードｂをロウレベルと
する。次に、タロツク信号入力端子１５０をロウレベル
に、クロック信号入力端子１５１をハイレベルに印加す
ると、ＰＭＯ５ＦＥＴ Ｐ２□とＮＭＯＳＦＥＴ
Ｎ２．はオン状態となり、２個の細胞体人力ノード８０
３ａと６０３ｂは短絡する。その結果、容量５０７ａと
５０７ｂはほぼ等しく作っておけば、２個の細胞体人力
ノード８０３ａ及び８０３ｂは（ＶＤＤ＋ＶＳＳ）／２
（ｖ）にハーフプリチャージできる。
人力ノード８０３ａ、８０３ｂにおいて、プリチャージ
動作は、まず、クロック信号入力端子１５０をハイレベ
ルに、クロック信号入力端子１５１をロウレベルに印加
して、一方の細胞体入力ノード８０３ａをハイレベルに
充電し、もう−方の細胞体入力ノードｂをロウレベルと
する。次に、タロツク信号入力端子１５０をロウレベル
に、クロック信号入力端子１５１をハイレベルに印加す
ると、ＰＭＯ５ＦＥＴ Ｐ２□とＮＭＯＳＦＥＴ
Ｎ２．はオン状態となり、２個の細胞体人力ノード８０
３ａと６０３ｂは短絡する。その結果、容量５０７ａと
５０７ｂはほぼ等しく作っておけば、２個の細胞体人力
ノード８０３ａ及び８０３ｂは（ＶＤＤ＋ＶＳＳ）／２
（ｖ）にハーフプリチャージできる。
第７図の実施例は、１個の細胞体回路１とＮ−１個のシ
ナプス回路２から構成したニューロン回路４をＮ個用い
て、ホップフィールド型ニューラルネットワークを実現
する実施例である。１ｇＩのニューロン回路４では、す
べてのシナプス回路２の出力が細胞体入力ノード８０３
の１つのノード接続する（ワイヤードオア接Ｍ）。各シ
ナプス回路２は各ニューロン回路４からの出力を入力し
、入力に対応した重み付けを行い、各細胞体人力ノード
８０３ （８０３ａ 〜８０３ｃ、−、８０３ｚ）にそ
の積に略比例した電荷量を注入し、並列に積和演算を各
ニューロン回路４で行う。各ニューロン回路４の細胞体
回路１においてＡＤ変換及び非線形変換を行い、その後
ディジタル・ＰＷＭ変換回路１３によってパルス信号に
変換し、各ニューロン回路４のシナプス回路２の入力端
子５１に出力する。また、各ニューロン回路４の細胞体
人力ノード８０３ （８０３ａ 〜８０３ ｃ 、 −
８０３ｚ ）は、第５図の実施例に示したようにハーフ
プリチャージ回路４１に接続されている。
ナプス回路２から構成したニューロン回路４をＮ個用い
て、ホップフィールド型ニューラルネットワークを実現
する実施例である。１ｇＩのニューロン回路４では、す
べてのシナプス回路２の出力が細胞体入力ノード８０３
の１つのノード接続する（ワイヤードオア接Ｍ）。各シ
ナプス回路２は各ニューロン回路４からの出力を入力し
、入力に対応した重み付けを行い、各細胞体人力ノード
８０３ （８０３ａ 〜８０３ｃ、−、８０３ｚ）にそ
の積に略比例した電荷量を注入し、並列に積和演算を各
ニューロン回路４で行う。各ニューロン回路４の細胞体
回路１においてＡＤ変換及び非線形変換を行い、その後
ディジタル・ＰＷＭ変換回路１３によってパルス信号に
変換し、各ニューロン回路４のシナプス回路２の入力端
子５１に出力する。また、各ニューロン回路４の細胞体
人力ノード８０３ （８０３ａ 〜８０３ ｃ 、 −
８０３ｚ ）は、第５図の実施例に示したようにハーフ
プリチャージ回路４１に接続されている。
以上に述べた動作を繰返し出力値すべてが安定状態とな
るまで演算を実行する。
るまで演算を実行する。
第７図の実施例は積和演算及び非線変換を並列に行うも
のであり、第５図の実施例に比べ、シナプス回路２が約
Ｎ倍必要となるため、ハードウェア量は増加するが、ス
ピードでは約Ｎ倍高速である。
のであり、第５図の実施例に比べ、シナプス回路２が約
Ｎ倍必要となるため、ハードウェア量は増加するが、ス
ピードでは約Ｎ倍高速である。
第８図の実施例は第７図と同様にホップフィールド型ニ
ューラルネットワークを実現したものであるが、第７図
と異なる点は各ニューロン回路４の出力値がＯまたは１
の１ビットで表現していることである。ニューロンの出
力値を１ビットで表現するため、細胞体回路１は上記実
施例に比べ簡単になる。すなわち、細胞体人力ノード８
０３（８０３ａ 〜８０３ｃ、−８０３ｚ）にインバー
タ回路２１を接続し、インバータ回路２１の出力とクロ
ック信号入力端子２０２を入力する２人力アンド回路２
４を接続し、その出力を各シナプス回路２のシナプス回
路入力ノード５１に接続する。
ューラルネットワークを実現したものであるが、第７図
と異なる点は各ニューロン回路４の出力値がＯまたは１
の１ビットで表現していることである。ニューロンの出
力値を１ビットで表現するため、細胞体回路１は上記実
施例に比べ簡単になる。すなわち、細胞体人力ノード８
０３（８０３ａ 〜８０３ｃ、−８０３ｚ）にインバー
タ回路２１を接続し、インバータ回路２１の出力とクロ
ック信号入力端子２０２を入力する２人力アンド回路２
４を接続し、その出力を各シナプス回路２のシナプス回
路入力ノード５１に接続する。
細胞体回路４のインバータ回路２１の論理しきい値をＶ
ＴＨＬとすると、各ニューロン回路４は、を出力する
。
ＴＨＬとすると、各ニューロン回路４は、を出力する
。
各ニューロン回路４はクロック信号入力端子２０２がハ
イレベルのときのみ出力する。
イレベルのときのみ出力する。
第７図は第８図の実施例では５１個のニューロン回路４
内のすべてのシナプス回路２の出力は細胞体入力ツート
ノ８０３においてワイヤードオアで接続されている。し
かし、シナプス回路２の数が非常に多く、例えば数百側
のシナプス回路が１き、接続のための長くなり、配線抵
抗やリーク電流のため信号が減衰してしまい、細胞体人
力ノード８０３まで信号が到達しなかったり、またノイ
ズの影響を受けやすくなり、データ信号がノイズによっ
て消滅してしまう可能性がある。そのような場合、第９
図に示す４人力のニューロン回路４Ｒを基本ニューロン
回路とし、それを２段木（Ｔｒｅｅ）構造に接続して、
１６人力のニューロン回路４Ｔ１６や、それより多段に
接続して、さらに多数の入力を持つニューロンを実現で
きる。
内のすべてのシナプス回路２の出力は細胞体入力ツート
ノ８０３においてワイヤードオアで接続されている。し
かし、シナプス回路２の数が非常に多く、例えば数百側
のシナプス回路が１き、接続のための長くなり、配線抵
抗やリーク電流のため信号が減衰してしまい、細胞体人
力ノード８０３まで信号が到達しなかったり、またノイ
ズの影響を受けやすくなり、データ信号がノイズによっ
て消滅してしまう可能性がある。そのような場合、第９
図に示す４人力のニューロン回路４Ｒを基本ニューロン
回路とし、それを２段木（Ｔｒｅｅ）構造に接続して、
１６人力のニューロン回路４Ｔ１６や、それより多段に
接続して、さらに多数の入力を持つニューロンを実現で
きる。
第９図において、１３０１〜１３１６はシナプス回路入
力端子である。場合によっては、８人力ニューロン回路
や２人力ニューロン回路を基本ニューロンとしてもよい
。このとき、最終出力の細胞体回路１以外の中継の役目
をする細胞体回路１では、非線形変換ではなく線形変換
を行う。
力端子である。場合によっては、８人力ニューロン回路
や２人力ニューロン回路を基本ニューロンとしてもよい
。このとき、最終出力の細胞体回路１以外の中継の役目
をする細胞体回路１では、非線形変換ではなく線形変換
を行う。
第１０図は１本発明の別の実施例である。シナプス回路
２は第２図の実施例と同様であり、細胞体回路の構成が
若干具なる。
２は第２図の実施例と同様であり、細胞体回路の構成が
若干具なる。
第１０図において、Ｐ５はＰＭＯＳ ＦＥＴ、Ｎ、は
ＮＭＯＳＦＥＴである。
ＮＭＯＳＦＥＴである。
細胞体回路１ｂは、上記の実施例と同様にハーフプリチ
ャージ回路（図示せず）によって細胞体人力ノード８０
３を（ＶＤＤ＋ＶＳＳ）／２ （ｖ）にプリチャージし
、アップダウンカウンタ１０をリセットする。また、コ
ンパレータ２０の基準電圧入力端子８０６ （ＶＤＤ十
ＶＳＳ）／２ （ｖ）を印加する。細胞体入力ノード２
０を設ける。ドレインを細胞体入力ノード８０３に接続
し、ソースをＶＤＤに接続し、ゲートを内部ノード２０
０４の接続するＰＭＯＳ ＦＥＴ Ｐ５と、ドレイ
ンを細胞体人力ノード８０３に接続し、ソースをｖＳＳ
に接続し、ゲートを内部ノード２００５に接続するＮＭ
ＯＳＦＥＴ Ｎｓを設ける。コンパレータ２０の出力
を制御信号とし、クロック信号入力端子２０１にタロツ
ク信号を入力し、そのクロック信号のパルスを、コンパ
レータ２０の比較結果がＶ ｓ （Ｎ Ｒ２ならばＰＭ
ＯＳＦＥＴ Ｐ、がオン状態となるパルスを内部ノー
ド２００４に出力し、Ｖ Ｎ ） Ｖ Ｒ２ならばＮＭ
ＯＳＦＥＴ Ｎ、がオン状態となるパルスを内部ノー
ド２００５に出力するパルス制御回路１８を設ける。内
部ノードまたは内部ノード２００５にパルスが１回また
は複数回出力することによってＶＮとＶＲ２がほぼ等し
くなり、やがてコンパレータ２０の出力が反転する。そ
れと同時にパルス制御回路１８はパルスの送信を停止す
る。また、アップダウンカウンタ１０は内部ノード２０
０４と内部ノード２０ｏ５に接続され、内部ノード２０
０４にＰＭＯＳＦＥＴ Ｐ、をオン状態するパルスが
出力された−１、内部ノード２００５Ｌ、−ＮＭＯＳＦ
ＥＴＮ、をオン状態とするパルスが出力されたら＋１を
カウントする。すべてのニューロン回路４からのデータ
に対して以上の演算を行なったあと、アップダウンカウ
ンタ１０の値は、積和演算結果を示している。その後、
非線形変換回路２６によって非線形変換を行い、その結
果を出力端子７１に出力する。
ャージ回路（図示せず）によって細胞体人力ノード８０
３を（ＶＤＤ＋ＶＳＳ）／２ （ｖ）にプリチャージし
、アップダウンカウンタ１０をリセットする。また、コ
ンパレータ２０の基準電圧入力端子８０６ （ＶＤＤ十
ＶＳＳ）／２ （ｖ）を印加する。細胞体入力ノード２
０を設ける。ドレインを細胞体入力ノード８０３に接続
し、ソースをＶＤＤに接続し、ゲートを内部ノード２０
０４の接続するＰＭＯＳ ＦＥＴ Ｐ５と、ドレイ
ンを細胞体人力ノード８０３に接続し、ソースをｖＳＳ
に接続し、ゲートを内部ノード２００５に接続するＮＭ
ＯＳＦＥＴ Ｎｓを設ける。コンパレータ２０の出力
を制御信号とし、クロック信号入力端子２０１にタロツ
ク信号を入力し、そのクロック信号のパルスを、コンパ
レータ２０の比較結果がＶ ｓ （Ｎ Ｒ２ならばＰＭ
ＯＳＦＥＴ Ｐ、がオン状態となるパルスを内部ノー
ド２００４に出力し、Ｖ Ｎ ） Ｖ Ｒ２ならばＮＭ
ＯＳＦＥＴ Ｎ、がオン状態となるパルスを内部ノー
ド２００５に出力するパルス制御回路１８を設ける。内
部ノードまたは内部ノード２００５にパルスが１回また
は複数回出力することによってＶＮとＶＲ２がほぼ等し
くなり、やがてコンパレータ２０の出力が反転する。そ
れと同時にパルス制御回路１８はパルスの送信を停止す
る。また、アップダウンカウンタ１０は内部ノード２０
０４と内部ノード２０ｏ５に接続され、内部ノード２０
０４にＰＭＯＳＦＥＴ Ｐ、をオン状態するパルスが
出力された−１、内部ノード２００５Ｌ、−ＮＭＯＳＦ
ＥＴＮ、をオン状態とするパルスが出力されたら＋１を
カウントする。すべてのニューロン回路４からのデータ
に対して以上の演算を行なったあと、アップダウンカウ
ンタ１０の値は、積和演算結果を示している。その後、
非線形変換回路２６によって非線形変換を行い、その結
果を出力端子７１に出力する。
また、各ニューロン回路４からの出力を入力するたびに
、細胞体入力ノード８０３のハーフプリチャージを行い
積演算を行うこともできる。その場合、アップダウンカ
ウンタ１０のリセットを行わず、アキュムレータとして
動作させる。
、細胞体入力ノード８０３のハーフプリチャージを行い
積演算を行うこともできる。その場合、アップダウンカ
ウンタ１０のリセットを行わず、アキュムレータとして
動作させる。
第１１図にＡＤ変換回路３及び非線形変換回路２６を実
現する別の細胞体回路１ｃの実施例を示す。シナプス回
路２によって積和演算を行い、その結果、細胞体入力ノ
ード８０３の電位が変換した後の動作を第１１図を用い
て説明する。
現する別の細胞体回路１ｃの実施例を示す。シナプス回
路２によって積和演算を行い、その結果、細胞体入力ノ
ード８０３の電位が変換した後の動作を第１１図を用い
て説明する。
細胞体人力ノード８０３の電位ＶＮと階段波発生回路２
５の階段波出力ノード８０７の電位Ｖｎａを比較するコ
ンパレータ２０を設ける。コンパレータ２０の出力を制
御信号とし、階段波発生回路２５のパルス高給ノード８
０８に出力されるパルス数をカウントするカウンタ１９
を設ける。ＡＤ変換及び非線形変換を実行する前に、カ
ウンタ１９をリセットする。その後、コンパレータ２０
はＶＮとＶＲ，を比較する。カウンタ１９はコンパレー
タ２０の出力が反転するまで、パルス出力ノード８０８
に出力するパルス数をカウントする。
５の階段波出力ノード８０７の電位Ｖｎａを比較するコ
ンパレータ２０を設ける。コンパレータ２０の出力を制
御信号とし、階段波発生回路２５のパルス高給ノード８
０８に出力されるパルス数をカウントするカウンタ１９
を設ける。ＡＤ変換及び非線形変換を実行する前に、カ
ウンタ１９をリセットする。その後、コンパレータ２０
はＶＮとＶＲ，を比較する。カウンタ１９はコンパレー
タ２０の出力が反転するまで、パルス出力ノード８０８
に出力するパルス数をカウントする。
コンパレータ２ｏの出力が反転したときのカウンタ１９
が示す値は非線形変換を行った結果である。
が示す値は非線形変換を行った結果である。
例えば、Ｓｉｇｍｏｉｄ関数ｆの非線形変換を行いたい
ときは、階段波ｖＲ２を第１１図（ｂ）に示すように、
パルス出力ノード８０８に出力されるパルス数ｋに対し
てＳｉｇｍｏｉｄ関数ｆの逆関数ｆ−’（ｋ）を出力す
る。
ときは、階段波ｖＲ２を第１１図（ｂ）に示すように、
パルス出力ノード８０８に出力されるパルス数ｋに対し
てＳｉｇｍｏｉｄ関数ｆの逆関数ｆ−’（ｋ）を出力す
る。
以上の実施例はホップフィールド型のニューラルネット
ワークを実現しているが、第１２図に示す階層型のニュ
ーラルネットワークも、上記の実施例のシナプス回路２
及び細胞体回路１によって構成するニューロン回路４を
用いて実現できる。
ワークを実現しているが、第１２図に示す階層型のニュ
ーラルネットワークも、上記の実施例のシナプス回路２
及び細胞体回路１によって構成するニューロン回路４を
用いて実現できる。
第１２図において、入カバターンを１００１から入力し
、１１０ｏの入力層、１２００の中間層、１３００の出
力層のニューロンを通して、演算結果を１０ｏ２に出力
する。
、１１０ｏの入力層、１２００の中間層、１３００の出
力層のニューロンを通して、演算結果を１０ｏ２に出力
する。
本発明によれば、大規模なニューラルネットワークを少
面積で実現でき、多数のニューロンを必要とする連想記
憶や、大規模なデータを処理でき
面積で実現でき、多数のニューロンを必要とする連想記
憶や、大規模なデータを処理でき
第１図、第２図は本発明の一実施例を示す図、第３図は
非線形変換回路の一例を説明するための図、第４図はデ
ィジタル・ＰＷＭ変換回路の一例を示す回路図、第５図
は本発明の一実施例であるニューラルネットワークの概
略構成図、第６図はハーフプリチャージ回路の一例を示
す回路図、第７図、第８図、第９図、第１０図、第１１
図、第１２図はそれぞれ本発明の他の実施例を示す図で
ある。 １、ｌｂ、’ｌｃ・・・細胞体回路、２・・・シナプス
回路、３・・・アナログ・ディジタル変換回路（ＡＤ変
換器）、４・・・ニューロン回路、４Ｒ・・・基本４人
カニューロン回路、４Ｔ１６・・１６人カニューロン回
路、１０・・・アシプダウンカウンタ、１３・・・ディ
ジタル・ＰＷＭ変換回路、１８・・・パルス制御回路、
２ｏ・コンパレータ、２１．２２・・・インバータ回路
、２３・・・２人力ナンド回路、２４・・・２人カアン
ド回路、２６・・・非線形変換回路、３５・・・時分割
ブロードキャストネットワーク回路、３６・・ディジタ
ル重み値出力回路、４１・・・ハーフプリチャージ回路
、５１・・シナプス回路人力ノード、６１・・・ディジ
タル・ＰＷＭ変換回路入力端子、７１．７１ａ〜７１ｃ
、７１ｚ・・・出力端子、１０１・・・変換開始倍力端
子、１０２・・・クロック信号入力端子、１０３〜１０
６・・データ信号入力端子、１１０・・・４ビットカウ
ンタ、１１１・・・ＲＳフリップフロップ、１１２・・
・４人カアンド回路、１１３・・・インバータ回路、１
１４・・・出力端子、１５０，１５１・・・クロック信
号入力端子、２０１，２０２・・・クロック信号入力端
子、５０１・・・重み位置流発生回路、５０４・・・ス
イッチ、５０７ 、５０７ ａ 、 ５０７ ｂ ・−
容量、５０８・・・容量、７０１・・・電源値、８０３
゜８０３ａ〜８０３ｃ、８０３ｚ−細胞体人力ノード、
８０４・・・内部データ線、８０５・・・内部ノード。 ８０６・・・基準電圧入力端子、８０７・・・階段波出
力ノード、８０８・・・パルス出力ノード、８１０゜８
１１．８１２，８１３・・・内部ノード、１００１・・
入カバターン、１ｏ０２・・・出力、１１００・・・入
力層、１２００・・・中間層、１３００・・・出力層、
１３０１〜１３１６・・・入力端子、２００２゜２００
３．２００４．２００５・・・内部ノード、ω、〜ω、
・・・重み値の各ビット、ωＳ・・・重み値の符号ビッ
ト、Ｐｏ−Ｐ２．Ｐ、。、Ｐ、。、Ｐ２．・ ＰＭＯＳ
ＦＥＴ、Ｎ、〜Ｎ、、Ｎ工。ｌＮ２゜、Ｎ２□・・・Ｎ
ＭＯＳＦＥＴ、ＶＤＤ、ＶＳＳ・・・電源端子、Ｔ。 ・パルス周期。 第１目 第３目 ｆａ） ｒ−一一一一一一 第２目 −コ 第４図 （〜 醪 第７目 ４７１ｂ’、 ｙ＆入ｐニジ−マン用］會第７目 第７０＠ ｌｌ
非線形変換回路の一例を説明するための図、第４図はデ
ィジタル・ＰＷＭ変換回路の一例を示す回路図、第５図
は本発明の一実施例であるニューラルネットワークの概
略構成図、第６図はハーフプリチャージ回路の一例を示
す回路図、第７図、第８図、第９図、第１０図、第１１
図、第１２図はそれぞれ本発明の他の実施例を示す図で
ある。 １、ｌｂ、’ｌｃ・・・細胞体回路、２・・・シナプス
回路、３・・・アナログ・ディジタル変換回路（ＡＤ変
換器）、４・・・ニューロン回路、４Ｒ・・・基本４人
カニューロン回路、４Ｔ１６・・１６人カニューロン回
路、１０・・・アシプダウンカウンタ、１３・・・ディ
ジタル・ＰＷＭ変換回路、１８・・・パルス制御回路、
２ｏ・コンパレータ、２１．２２・・・インバータ回路
、２３・・・２人力ナンド回路、２４・・・２人カアン
ド回路、２６・・・非線形変換回路、３５・・・時分割
ブロードキャストネットワーク回路、３６・・ディジタ
ル重み値出力回路、４１・・・ハーフプリチャージ回路
、５１・・シナプス回路人力ノード、６１・・・ディジ
タル・ＰＷＭ変換回路入力端子、７１．７１ａ〜７１ｃ
、７１ｚ・・・出力端子、１０１・・・変換開始倍力端
子、１０２・・・クロック信号入力端子、１０３〜１０
６・・データ信号入力端子、１１０・・・４ビットカウ
ンタ、１１１・・・ＲＳフリップフロップ、１１２・・
・４人カアンド回路、１１３・・・インバータ回路、１
１４・・・出力端子、１５０，１５１・・・クロック信
号入力端子、２０１，２０２・・・クロック信号入力端
子、５０１・・・重み位置流発生回路、５０４・・・ス
イッチ、５０７ 、５０７ ａ 、 ５０７ ｂ ・−
容量、５０８・・・容量、７０１・・・電源値、８０３
゜８０３ａ〜８０３ｃ、８０３ｚ−細胞体人力ノード、
８０４・・・内部データ線、８０５・・・内部ノード。 ８０６・・・基準電圧入力端子、８０７・・・階段波出
力ノード、８０８・・・パルス出力ノード、８１０゜８
１１．８１２，８１３・・・内部ノード、１００１・・
入カバターン、１ｏ０２・・・出力、１１００・・・入
力層、１２００・・・中間層、１３００・・・出力層、
１３０１〜１３１６・・・入力端子、２００２゜２００
３．２００４．２００５・・・内部ノード、ω、〜ω、
・・・重み値の各ビット、ωＳ・・・重み値の符号ビッ
ト、Ｐｏ−Ｐ２．Ｐ、。、Ｐ、。、Ｐ２．・ ＰＭＯＳ
ＦＥＴ、Ｎ、〜Ｎ、、Ｎ工。ｌＮ２゜、Ｎ２□・・・Ｎ
ＭＯＳＦＥＴ、ＶＤＤ、ＶＳＳ・・・電源端子、Ｔ。 ・パルス周期。 第１目 第３目 ｆａ） ｒ−一一一一一一 第２目 −コ 第４図 （〜 醪 第７目 ４７１ｂ’、 ｙ＆入ｐニジ−マン用］會第７目 第７０＠ ｌｌ
Claims (10)
- １．少なくとも１個の第１の入力端子、少なくとも１個
の第１の出力端子、上記第１の入力端子の各々に対応す
る重み値を保持する手段及び上記第１の入力端子の各々
の入力値と上記第１の入力端子の各々の入力値に対応す
る上記重み値の積を演算してその積を上記第１の出力端
子に出力する手段を有する少なくとも１個のシナプスモ
デルと、少なくとも１個の第２の入力端子、少なくとも
１個の第２の出力端子及び上記第１の入力端子の各々に
ついて演算された上記積を上記第２の入力端子に入力し
てこれを加算し、その加算値に非線形または線形関数変
換を行った演算結果を少なくとも３値で表現し、該演算
結果を上記第２の出力端子に出力する手段を有する細胞
体モデルとから構成されるニューロンモデルであって、
ニューロンモデル間のデータの送信をディジタル信号で
行い、ニューロンモデル内における上記の積及び上記の
和の演算をアナログ信号で行うニューロンモデルを相互
接続して構成したことを特徴とするニューラルネットワ
ーク。 - ２．少なくとも１個の第１の入力端子、少なくとも１個
の第１の出力端子、上記第１の入力端子の各々に対応す
る重み値を保持する手段及び上記第１の入力端子にパル
ス幅またはパルス密度によって値を表現するパルス信号
を入力し、上記パルス信号のパルス幅またはパルス密度
と上記保持手段からの重み値とを積に略比例した電荷量
を上記第１の出力端子に出力する手段を有する少なくと
も１個のシナプスモデルと、少なくとも１個の第２の入
力端子と少なくとも１個の第２の出力端子を有し、少な
くとも１個の上記第１の出力端を上記第２の入力端子に
接続し上記第２の入力端子に接続され、各々の上記シナ
プスモデルによって出力された上記電荷量を充電され、
各々の上記電荷量の加算される容量及び各々の上記シナ
プスモデルが上記電荷量を出力した後の上記容量の電位
を検知し、上記電位に対して非線形または線形関数変換
を行い、その結果を上記第２の出力端子に出力する手段
を有する細胞体モデルとから構成されるニューロンモデ
ルを相互接続し、さらに、上記第２の出力端子の出力値
をパルス幅またはパルス密度によって値を表現するパル
ス信号に変換する手段を設けたことを特徴とするニュー
ラルネットワーク。 - ３．少なくとも１個の第１の入力端子、少なくとも１個
の第１の出力端子、上記第１の入力端子の各々に対応す
る重み値を保持する手段及び上記第１の入力端子にパル
ス幅またはパルス密度によって値を表現するパルス信号
を逐次入力し、上記パルス信号のパルス幅またはパルス
密度と上記保持手段からの重み値との積に略比例した電
荷量を上記第１の出力端子に逐次出力する手段を有する
少なくとも１個のシナプスモデルと、少なくとも１個の
第２の入力端子と少なくとも１個の第２の出力端子を有
し、少なくとも１個の上記第１の出力端子を上記第２の
入力端子に接続し、上記第２の入力端子に接続された上
記電荷量を充電する容量、上記シナプスモデルが上記電
荷量を出力した後の上記容量の電位を逐次検知して、上
記電位をディジタル信号に変換する手段、上記ディジタ
ル信号の加算を行う手段、及びその加算値に対して非線
形または線形関数変換を行いその結果を上記第２の出力
端子に出力する手段を有する細胞体モデルとから構成さ
れるニューロンモデルを相互接続し、上記第２の出力端
子の出力値をパルス幅またはパルス密度によって値を表
現するパルス信号に変換する手段を設けたことを特徴と
するニューラルネットワーク。 - ４．少なくとも１個の第１の入力端子、少なくとも１個
の第１の出力端子、上記第１の入力端子の各々に対応す
る重み値を保持する手段及び上記第１の入力端子にパル
ス幅またはパルス密度によって値を表現するパルス信号
を入力し、上記保持手段からの重み値に略比例した電流
を流す電流源を第１の内部ノードに接続し、上記パルス
信号のパルス幅またはパルス密度に比例した時間、上記
第１の内部ノードと上記第１の内部ノードと上記第１の
出力端子を導通状態とし、上記パルス信号のパルス幅ま
たはパルス密度と上記重み値の積に略比例した電荷量を
上記第１の出力端子に出力する手段を有する少なくとも
１個のシナプスモデルと、少なくとも１個の第２の入力
端子と少なくとも１個の第２の出力端子を有し、少なく
とも１個の上記第１の出力端子を上記第２の入力端子に
接続し、上記第２の入力端子に接続され、各々の上記シ
ナプスモデルによって出力された上記電荷量を充電され
、各々の上記電荷量の加算される容量、及び各々の上記
シナプスモデルが上記電荷量を出力した後の上記容量の
電位を検知し、上記電位に対して非線形または線形関数
変換を行い、その結果を上記第２の出力端子に出力する
手段を有する細胞体モデルとから構成されるニューロン
モデルを相互接続し、上記第２の出力端子の出力値をパ
ルス幅またはパルス密度によって値を表現するパルス信
号に変換する手段を設けたことを特徴とするニューラル
ネットワーク。 - ５．少なくとも１個の第１の入力端子、少なくとも１個
の第１の出力端子、上記第１の入力端子の各々に対応す
る重み値を保持する手段及び上記第１の入力端子の各々
の入力値と上記第１の入力端子の各々の入力値に対応す
る上記重み値の積を演算し、その積を上記第１の出力端
子に出力する手段を有する少なくとも１個のシナプスモ
デルと、少なくとも１個の第２の入力端子、少なくとも
１個の第２の出力端子、及び上記シナプスモデルにおい
て上記第１の入力端子の各々について演算された上記積
を上記第２の入力端子に入力し、これを加算し、さらに
、上記加算値に対応したアドレスに出力値を書き込んで
おくメモリを読みだすことによって非線形または線形関
数変換を行った演算結果を上記第２の出力端子に出力す
る手段を有する細胞体モデルとから構成されるニューロ
ンモデルを多段に相互接続して構成したことを特徴とす
。ニューラルネットワーク。 - ６．上記第２の入力端子を上記シナプスモデルによって
上記第２の入力端子の電位が変化する範囲にほぼ中間電
位に設定する手段を有することを特徴とする請求項１〜
５のいずれかに記載のニューラルネットワーク。 - ７．上記ニューラルモデルの上記第２の出力端子の出力
値から１個を選択し、該出力値を少なくとも１個のニュ
ーロンモデルの上記第１の入力端子に出力する手段を有
することを特徴とする請求図項１〜６のいずれかに記載
のニューラルネットワーク。 - ８．上記シナプスモデルは、上記パルス信号が、符号ビ
ットを持ち、少なくとも符号ビットを合わせて２ビット
のディジタル値で表現する重み値の符号ビットを除いた
各々のビットに対応して設けられ、ドレインを第１の内
部ノードに接続し、各々のゲートを上記重み値の符号ビ
ット以外の各々のビットに接続し、ソースを第２の電源
に接続する第２の導電型ＭＯＳ ＦＥＴと、ドレインを
上記第１の出力端子に接続し、ゲートを第２の内部ノー
ドに接続し、ソースを上記第１の内部ノードに接続する
上記第２の導電型ＭＯＳ ＦＥＴと、上記重み値の符号
ビット以外の各々のビットに対応して設けられ、ドレイ
ンを第３の内部ノードに接続し、各々のゲートを上記重
み値の符号ビット以外の各々のビットに接続し、ソース
を第１の電源に接続する第１の導電型ＭＯＳ ＦＥＴと
、ドレインを上記第１の出力ノードに接続し、ゲートを
第４の内部ノードに接続し、ソースを上記第３の内部ノ
ードに接続する第１の導電型のＭＯＳ ＦＥＴと、上記
第１の入力端子に入力したパルス信号を上記重み値の符
号ビットによって、上記第２の内部ノードに上記第２の
導電型ＭＯＳ ＦＥＴをオン状態とするパルス信号を出
力するか、または、上記第４の内部ノードに上記第１の
導電型ＭＯＳ ＦＥＴをオン状態とするパルス信号を出
力するか決める手段とからなることを特徴とする請求項
２〜５のいずれかに記載のニューラルネットワーク。 - ９．少なくとも２個の上記シナプスモデルと少なくとも
１個の上記細胞体モデルから構成される少なくとも２個
のニューロンモデルをｔｒｅｅ（木）構造に接続し、１
個の上記ニューロンモデルとして動作させることを特徴
とする請求項１〜８のいずれかに記載のニューラルネッ
トワーク。 - １０．少なくとも１個の第１の入力端子、少なくとも１
個の第１の出力端子、上記第１の入力端子の各々に対応
する重み値を保持する手段及び上記第１の入力端子の各
々の入力値と上記第１の入力端子の各々の入力値に対応
する上記重み値の積を演算し、上記積を上記第１の出力
端子に出力する手段を有する少なくとも１個のシナプス
モデと、少なくとも第２の入力端子、第２の出力端子も
第３の入力端子及び第１のクロック信号入力端子を有し
、上記シナプスモデルにおいて上記第１の入力端子の各
々について演算された上記積を上記第２の入力端子に入
力し、これを加算し、さらに、その加算値と上記第３の
入力端子に入力される電位を比較する手段、該比較の結
果を第１の内部ノードに出力する手段、上記第１のクロ
ック信号入力端子に入力されるクロック信号のパルス数
を数え、上記第１の内部ノードに出力される信号によっ
て上記パルス数を数えることを停止する手段、及び停止
したときの上記パルス数を上記第２の出力端子に出力す
る手段を有する少なくとも１個の細胞体モデルとから構
成されるニューロンモデルを相互接続して構成したこと
を特徴とするニューラルネットワーク。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/461,080 US5165010A (en) | 1989-01-06 | 1990-01-04 | Information processing system |
| EP90100171A EP0378115B1 (en) | 1989-01-06 | 1990-01-04 | Neural computer |
| DE69032680T DE69032680T2 (de) | 1989-01-06 | 1990-01-04 | Neuronaler Rechner |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE3804946A DE3804946A1 (de) | 1988-02-18 | 1988-02-18 | Verfahren und vorrichtung zum vereinzeln von ebenen teilen |
| DE3804946.5 | 1988-02-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01247342A JPH01247342A (ja) | 1989-10-03 |
| JPH02181284A true JPH02181284A (ja) | 1990-07-16 |
Family
ID=6347591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP89300A Pending JPH02181284A (ja) | 1988-02-18 | 1989-02-10 | ニューラルネットワーク |
Country Status (14)
| Country | Link |
|---|---|
| EP (1) | EP0328875B1 (ja) |
| JP (1) | JPH02181284A (ja) |
| KR (1) | KR890012875A (ja) |
| AR (1) | AR244173A1 (ja) |
| AT (1) | ATE103570T1 (ja) |
| AU (1) | AU619248B2 (ja) |
| BR (1) | BR8900732A (ja) |
| DE (2) | DE3804946A1 (ja) |
| DK (1) | DK71689A (ja) |
| ES (1) | ES2050724T3 (ja) |
| FI (1) | FI890115A (ja) |
| NO (1) | NO890680L (ja) |
| NZ (1) | NZ228015A (ja) |
| TR (1) | TR25109A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005122466A (ja) * | 2003-10-16 | 2005-05-12 | Canon Inc | 積和演算回路及びその方法 |
| JP2015053587A (ja) * | 2013-09-06 | 2015-03-19 | 国立大学法人九州工業大学 | 電流電圧変換回路と共に用いるバラツキ補償回路 |
| JP2019219990A (ja) * | 2018-06-21 | 2019-12-26 | 株式会社日立製作所 | ニューラルネットワーク回路 |
| JP2020197922A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社東芝 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
| US11093817B2 (en) | 2016-12-13 | 2021-08-17 | Fujitsu Limited | Information processing device and information processing method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108328299B (zh) * | 2018-02-28 | 2023-08-04 | 福州大学 | 一种曲柄滑块推送装置及其工作方法 |
| DE202023000233U1 (de) | 2023-02-03 | 2023-04-11 | Tobias Raymund Klostermann | Vorrichtung zum Stapeln von Gegenständen |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2723602A (en) * | 1950-03-18 | 1955-11-15 | Clinton Foods Inc | Automatic partition strip feeding mechanism |
| US2744551A (en) * | 1954-08-16 | 1956-05-08 | Gen Box Distributors | Veneer feeder and conveyor unit |
| DE1187246B (de) * | 1962-09-25 | 1965-02-18 | Telefunken Patent | Einrichtung zum Vereinzeln flacher Sendungen, wie beispielsweise Briefe |
| CH446188A (de) * | 1966-01-15 | 1967-10-31 | Tagers Gmbh | Verfahren und Vorrichtung zum Erfassen und Vereinzeln der Bleche eines Blechstapels, sowie zum Transportieren der einzelnen Bleche zu einer Arbeitsstelle |
| DE1561418A1 (de) * | 1967-03-08 | 1970-03-19 | Nordischer Maschb Rud Baader | Vorrichtung zum Entnehmen von Zuschnitten aus einem Stapel |
| FR1568091A (ja) * | 1968-01-26 | 1969-05-23 | ||
| US4093207A (en) * | 1976-12-01 | 1978-06-06 | R. A. Jones & Co. Inc. | Magazine and feeder for carton blanks |
| DE8122993U1 (de) * | 1981-08-05 | 1983-01-13 | Maschinenfabrik Fr. Niepmann GmbH & Co KG, 5820 Gevelsberg | Vorrichtung zum Vereinzeln von blattförmigen Zuschnitten |
| DE3247563A1 (de) * | 1982-12-22 | 1984-06-28 | Rovema Verpackungsmaschinen GmbH, 6301 Fernwald | Vorrichtung zur zufuehrung von faltschachtelzuschnitten zu einer kartoniermaschine |
| DE8306984U1 (de) * | 1983-03-10 | 1984-01-26 | Leuprecht, Karl, 8904 Friedberg | Ablagefach zur aufnahme von biegsamen, blattfoermigem material, wie einwickelpapier, frischhaltefolie oder dgl. |
| GB2150920B (en) * | 1983-11-28 | 1987-11-11 | Mead Corp | Equipment and method for feeding packaging blanks to a packaging machine |
| DD235228B1 (de) * | 1985-03-18 | 1989-04-05 | Esda Strumpfkombinat Veb | Einrichtung zur einhaltung einer konstanten stapelhoehe in einem magazin |
-
1988
- 1988-02-18 DE DE3804946A patent/DE3804946A1/de not_active Ceased
-
1989
- 1989-01-10 FI FI890115A patent/FI890115A/fi not_active Application Discontinuation
- 1989-01-13 AT AT89100563T patent/ATE103570T1/de not_active IP Right Cessation
- 1989-01-13 EP EP89100563A patent/EP0328875B1/de not_active Expired - Lifetime
- 1989-01-13 ES ES89100563T patent/ES2050724T3/es not_active Expired - Lifetime
- 1989-01-13 DE DE89100563T patent/DE58907314D1/de not_active Expired - Fee Related
- 1989-01-31 KR KR1019890001080A patent/KR890012875A/ko not_active Application Discontinuation
- 1989-02-10 JP JP89300A patent/JPH02181284A/ja active Pending
- 1989-02-15 AR AR89313215A patent/AR244173A1/es active
- 1989-02-16 DK DK071689A patent/DK71689A/da not_active Application Discontinuation
- 1989-02-16 NZ NZ228015A patent/NZ228015A/en unknown
- 1989-02-17 NO NO89890680A patent/NO890680L/no unknown
- 1989-02-17 AU AU30081/89A patent/AU619248B2/en not_active Ceased
- 1989-02-17 TR TR89/0157A patent/TR25109A/xx unknown
- 1989-02-20 BR BR898900732A patent/BR8900732A/pt not_active IP Right Cessation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005122466A (ja) * | 2003-10-16 | 2005-05-12 | Canon Inc | 積和演算回路及びその方法 |
| JP2015053587A (ja) * | 2013-09-06 | 2015-03-19 | 国立大学法人九州工業大学 | 電流電圧変換回路と共に用いるバラツキ補償回路 |
| US11093817B2 (en) | 2016-12-13 | 2021-08-17 | Fujitsu Limited | Information processing device and information processing method |
| JP2019219990A (ja) * | 2018-06-21 | 2019-12-26 | 株式会社日立製作所 | ニューラルネットワーク回路 |
| JP2020197922A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社東芝 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0328875A3 (en) | 1990-05-16 |
| AU3008189A (en) | 1989-08-24 |
| DE58907314D1 (de) | 1994-05-05 |
| TR25109A (tr) | 1992-09-28 |
| EP0328875B1 (de) | 1994-03-30 |
| AR244173A1 (es) | 1993-10-29 |
| ES2050724T3 (es) | 1994-06-01 |
| DE3804946A1 (de) | 1989-08-31 |
| BR8900732A (pt) | 1989-10-17 |
| FI890115A (fi) | 1989-08-19 |
| ATE103570T1 (de) | 1994-04-15 |
| EP0328875A2 (de) | 1989-08-23 |
| FI890115A0 (fi) | 1989-01-10 |
| AU619248B2 (en) | 1992-01-23 |
| DK71689A (da) | 1989-08-19 |
| NO890680L (no) | 1989-08-21 |
| DK71689D0 (da) | 1989-02-16 |
| JPH01247342A (ja) | 1989-10-03 |
| KR890012875A (ko) | 1989-09-19 |
| NO890680D0 (no) | 1989-02-17 |
| NZ228015A (en) | 1991-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Choi et al. | A high-precision VLSI winner-take-all circuit for self-organizing neural networks | |
| US9342780B2 (en) | Systems and methods for modeling binary synapses | |
| US5264734A (en) | Difference calculating neural network utilizing switched capacitors | |
| US5083285A (en) | Matrix-structured neural network with learning circuitry | |
| TWI762719B (zh) | 用於混和訊號運算的系統及方法 | |
| JPH03250244A (ja) | 情報処理装置 | |
| US5021988A (en) | Semiconductor neural network and method of driving the same | |
| Coue et al. | A four-quadrant subthreshold mode multiplier for analog neural-network applications | |
| US5187680A (en) | Neural net using capacitive structures connecting input lines and differentially sensed output line pairs | |
| KR20190114212A (ko) | 이진값 기반 신경회로망을 위한 단일 컬럼 멤리스터 크로스바 및 ｃｍｏｓ 활성화 함수 회로 | |
| JP2760543B2 (ja) | 多重帰還回路 | |
| US5745655A (en) | Chaotic neural circuit and chaotic neural network using the same | |
| Payvand et al. | A CMOS-memristive self-learning neural network for pattern classification applications | |
| JPH0467259A (ja) | 情報処理装置 | |
| JPH02181284A (ja) | ニューラルネットワーク | |
| US5274748A (en) | Electronic synapse circuit for artificial neural network | |
| US5220641A (en) | Multi-layer perceptron circuit device | |
| Bor et al. | Realization of the CMOS pulsewidth-modulation (PWM) neural network with on-chip learning | |
| KR102514931B1 (ko) | 확장 가능한 뉴로모픽 회로 | |
| US20190294957A1 (en) | Arithmetic device and arithmetic method | |
| CN111639757A (zh) | 一种基于柔性材料的模拟卷积神经网络 | |
| JPH0628504A (ja) | ニューラル・ネットワーク | |
| Li et al. | A 0.7 v low-power fully programmable gaussian function generator for brain-inspired gaussian correlation associative memory | |
| US5704014A (en) | Voltage-current conversion circuit employing MOS transistor cells as synapses of neural network | |
| Vohra et al. | CMOS circuit implementation of spiking neural network for pattern recognition using on-chip unsupervised STDP learning |