JPH0440581A - ニューロプロセッサ - Google Patents
ニューロプロセッサInfo
- Publication number
- JPH0440581A JPH0440581A JP2147816A JP14781690A JPH0440581A JP H0440581 A JPH0440581 A JP H0440581A JP 2147816 A JP2147816 A JP 2147816A JP 14781690 A JP14781690 A JP 14781690A JP H0440581 A JPH0440581 A JP H0440581A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- output
- neuron
- synapse
- processing element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002569 neuron Anatomy 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000000946 synaptic effect Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 4
- 210000000225 synapse Anatomy 0.000 abstract description 15
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明は、ニューラルネットワークをノ\−トウエア化
したもので、ニューロプロセッサとして、パターン認識
、音声認識2画像処理、符号変換等の分野で利用できる
ものである。
したもので、ニューロプロセッサとして、パターン認識
、音声認識2画像処理、符号変換等の分野で利用できる
ものである。
従来の技術
ニューロプロセッサとは、ニューラルネットワークをハ
ードウェア化したものである。二、−ラルネットワーク
には、階層構造や相互結合構造をはじめとするさまざま
な構造のものかあるが、これらはいずれも第3図に示し
たようなマトリクス構造の基本ブロックの組合せて実現
することができる。第3図は4人カー4出力、4ニユー
ロン16シナブスの基本ブロックの例の構成図である。
ードウェア化したものである。二、−ラルネットワーク
には、階層構造や相互結合構造をはじめとするさまざま
な構造のものかあるが、これらはいずれも第3図に示し
たようなマトリクス構造の基本ブロックの組合せて実現
することができる。第3図は4人カー4出力、4ニユー
ロン16シナブスの基本ブロックの例の構成図である。
第3図で、1はシナプス回路、2はニューロン回路であ
る。基本ブロックへの入力は、ニューロプロセッサへの
入力か、または他の基本ブロックの出力か、あるいは自
分自身の出力のフィードバックである。シナプス回路1
は乗算器で、入力信号にシナプスの結合の強度を乗算す
る機能を持つ。ニューロン回路2は、それに結合するシ
ナプス回路1の出力の総和に非線形の関数を作用させて
、その関数値を出力する機能を持つ。ニューロン回路2
の出力が基本ブロックの出力になる。基本ブロックの出
力を他の基本ブロックに入力したり、自分自身の入力に
フィードバックすることによってさまざまな構造のニュ
ーラルネットワークが構成され、その計算が行えるので
ある。
る。基本ブロックへの入力は、ニューロプロセッサへの
入力か、または他の基本ブロックの出力か、あるいは自
分自身の出力のフィードバックである。シナプス回路1
は乗算器で、入力信号にシナプスの結合の強度を乗算す
る機能を持つ。ニューロン回路2は、それに結合するシ
ナプス回路1の出力の総和に非線形の関数を作用させて
、その関数値を出力する機能を持つ。ニューロン回路2
の出力が基本ブロックの出力になる。基本ブロックの出
力を他の基本ブロックに入力したり、自分自身の入力に
フィードバックすることによってさまざまな構造のニュ
ーラルネットワークが構成され、その計算が行えるので
ある。
ところが、第3図の構成をそのままハードウェア化する
場合、ニューロン回路の数が増加すると必要なシナプス
回路の数はニューロン回路の数の2乗に比例して増加す
るので、ニューロン回路の数の多い大規模ネットワーク
の構成、したがって、その計算の成就が困難である。
場合、ニューロン回路の数が増加すると必要なシナプス
回路の数はニューロン回路の数の2乗に比例して増加す
るので、ニューロン回路の数の多い大規模ネットワーク
の構成、したがって、その計算の成就が困難である。
そこで、大規模なネットワークを計算するニューロプロ
セッサを実現するには、第4図に示すように、1つのニ
ューロン回路2に対して1つだけシナプス回路1を実装
し、シナプス回路1を時分割で使用することによって計
算する方式の構成が用いられる。第4図は第3図の基本
ブロックと同じ計算のできる基本ブロックである。第4
図で6は入力を選択するスイッチであり、このスイッチ
を順番に切り換えることによって入力信号が時分割でシ
ナプス回路1に入力される。シナプス回路1ては、入力
選択のスイッチに同期させてシ士ブスの結合強度の値を
切り換えて乗算を行ない、乗算結果を時分割でニューロ
ン回路2へ出力する。
セッサを実現するには、第4図に示すように、1つのニ
ューロン回路2に対して1つだけシナプス回路1を実装
し、シナプス回路1を時分割で使用することによって計
算する方式の構成が用いられる。第4図は第3図の基本
ブロックと同じ計算のできる基本ブロックである。第4
図で6は入力を選択するスイッチであり、このスイッチ
を順番に切り換えることによって入力信号が時分割でシ
ナプス回路1に入力される。シナプス回路1ては、入力
選択のスイッチに同期させてシ士ブスの結合強度の値を
切り換えて乗算を行ない、乗算結果を時分割でニューロ
ン回路2へ出力する。
そして、ニューロン回路2は、時分割で出力されるシナ
プス回路1の出力を加算して総和を求めて、それに非線
形の関数を作用させて関数値を出力する。この方式では
、シナプス回路1の数はニューロン回路2数に比例して
増加するだけなので、少ないハードウェア量で大規模な
ネットワークの構築ができる。
プス回路1の出力を加算して総和を求めて、それに非線
形の関数を作用させて関数値を出力する。この方式では
、シナプス回路1の数はニューロン回路2数に比例して
増加するだけなので、少ないハードウェア量で大規模な
ネットワークの構築ができる。
発明が解決しようとする課題
ところが、上記のようなシナプス回路を時分割で使用す
る方式では、ニューロン回路2がシナプス回路1の出力
の総和を求めるのに、シナプス回路が時分割で出力して
くる値を逐次加算していくことが必要である。そのため
、途中の加算結果を一時保持するメモリ手段およびそこ
に保持された値に次の出力値を加えて新たにその結果を
さらにメモリ手段に保持させる機能が必要になる。その
ようなハードウェアはディジタル回路では実現が容易で
あるが、アナログ回路ではなかなか困難である。
る方式では、ニューロン回路2がシナプス回路1の出力
の総和を求めるのに、シナプス回路が時分割で出力して
くる値を逐次加算していくことが必要である。そのため
、途中の加算結果を一時保持するメモリ手段およびそこ
に保持された値に次の出力値を加えて新たにその結果を
さらにメモリ手段に保持させる機能が必要になる。その
ようなハードウェアはディジタル回路では実現が容易で
あるが、アナログ回路ではなかなか困難である。
本発明の目的は、アナログ回路でも実現が容易て、回路
を時分割使用することによって、大規模なネットワーク
の計算も行えるニューロプロセッサを提供することにあ
る。
を時分割使用することによって、大規模なネットワーク
の計算も行えるニューロプロセッサを提供することにあ
る。
課題を解決するための手段
上記目的を達成するために、本発明のニューロプロセッ
サは、1個のニューロン回路とそれに結合する複数個の
シナプス回路とで構成されて、1個のニューロンの出力
を計算する機能を持ったプロセシングエレメントをそな
えたものである。そして、そのプロセシングエレメント
内の計算はシナプス回路の時分割使用なしでできるよう
に、ニューロン回路に結合すべきすべてのシナプス回路
を実装しておく。そして1個あるいは複数個のプロセシ
ングエレメントを時分割で使用することによって多数の
ニューロンの出力を計算する。
サは、1個のニューロン回路とそれに結合する複数個の
シナプス回路とで構成されて、1個のニューロンの出力
を計算する機能を持ったプロセシングエレメントをそな
えたものである。そして、そのプロセシングエレメント
内の計算はシナプス回路の時分割使用なしでできるよう
に、ニューロン回路に結合すべきすべてのシナプス回路
を実装しておく。そして1個あるいは複数個のプロセシ
ングエレメントを時分割で使用することによって多数の
ニューロンの出力を計算する。
作用
本発明のニューロプロセッサによれば、1個のニューロ
ン回路の出力は、シナプス回路を時分割使用することに
なしに、リアルタイムで計算が行えるので、シナプス回
路の出力の総和を求めるのに逐次加算していく必要がな
い。すなわち、途中の加算結果を一時保持するメモリ回
路や、保持された値に次の出力値を加えて新たにその結
果をメモリ回路に保持させる機能が必要なく、ニューロ
ン回路の出力のみを保持する回路だけがあればよい。し
たがってアナログ回路でも実現が容易である。
ン回路の出力は、シナプス回路を時分割使用することに
なしに、リアルタイムで計算が行えるので、シナプス回
路の出力の総和を求めるのに逐次加算していく必要がな
い。すなわち、途中の加算結果を一時保持するメモリ回
路や、保持された値に次の出力値を加えて新たにその結
果をメモリ回路に保持させる機能が必要なく、ニューロ
ン回路の出力のみを保持する回路だけがあればよい。し
たがってアナログ回路でも実現が容易である。
実施例
以下、本発明の一実施例を図面により説明する。
第1図は本発明の一実施例のニューロプロセッサの基本
ブロックの構成図で、これは4人力4出力の基本ブロッ
クの構成である。第1図において、1はシナプス回路、
2はニューロン回路である。また、第1図中、3はプロ
セシングエレメントで、1個のニューロン回路2とそれ
に結合する複数のシナプス回路1とで構成され、1個の
ニューロンの出力を計算する機能を持ったプロセシング
エレメントである。プロセシングエレメント3内の計算
はシナプス回路1の時分割使用なしでもできるように、
ニューロン回路2に結合ずへきずへてのシナプス回路を
実装しておく。第1図の実施例の場合、1つの二、−【
コンに4つの人力であるので、4つのシナプス回路を実
装しておく。さらに、第1図中、4は出力先選択のスイ
ッチで、5は出力保持回路である。プロセシングニレメ
ンh 3の出力はスイッチ4て選ばれた出力保持回路5
に入力されて保持される。出力保持回路5は基本ブロッ
クの外部から見た場合の仮想的なニューロン回路になる
。したがって、出力保持回路は必要な二。−ロンの数だ
け実装し、スイッチに配線しておく。第1図の実施例は
4ニヨーロンの場合なので、4一つの出力保持回路5が
ある。そして、スイッチ4を順番に切り換え、それと同
期させてシナプス回路]の結合の強度の値を切り換えて
いくことによって、プロセシングエレメント3は4つの
ニューロンの出力を次々と計算し、それぞれを出力保持
回路5に蓄えていく。このように1つのプロセシングエ
レメント3を時分割で使用し、その出力を出力保持回路
5に保持させることによって、基本ブロックの外側から
見ると、回路の時分割使用を全くしない場合と比へて計
算時間は長くなるかそれ以外は全く等価な働きをする。
ブロックの構成図で、これは4人力4出力の基本ブロッ
クの構成である。第1図において、1はシナプス回路、
2はニューロン回路である。また、第1図中、3はプロ
セシングエレメントで、1個のニューロン回路2とそれ
に結合する複数のシナプス回路1とで構成され、1個の
ニューロンの出力を計算する機能を持ったプロセシング
エレメントである。プロセシングエレメント3内の計算
はシナプス回路1の時分割使用なしでもできるように、
ニューロン回路2に結合ずへきずへてのシナプス回路を
実装しておく。第1図の実施例の場合、1つの二、−【
コンに4つの人力であるので、4つのシナプス回路を実
装しておく。さらに、第1図中、4は出力先選択のスイ
ッチで、5は出力保持回路である。プロセシングニレメ
ンh 3の出力はスイッチ4て選ばれた出力保持回路5
に入力されて保持される。出力保持回路5は基本ブロッ
クの外部から見た場合の仮想的なニューロン回路になる
。したがって、出力保持回路は必要な二。−ロンの数だ
け実装し、スイッチに配線しておく。第1図の実施例は
4ニヨーロンの場合なので、4一つの出力保持回路5が
ある。そして、スイッチ4を順番に切り換え、それと同
期させてシナプス回路]の結合の強度の値を切り換えて
いくことによって、プロセシングエレメント3は4つの
ニューロンの出力を次々と計算し、それぞれを出力保持
回路5に蓄えていく。このように1つのプロセシングエ
レメント3を時分割で使用し、その出力を出力保持回路
5に保持させることによって、基本ブロックの外側から
見ると、回路の時分割使用を全くしない場合と比へて計
算時間は長くなるかそれ以外は全く等価な働きをする。
第1図の実施例では、4人力4出力の基本ブロックを示
したが、入力数や出力数を変えた場合も全く同様にする
ことができる。また、本実施例はディジタル回路で実現
可能なのは明らかであるが、アナログ回路でも実現が容
易である。
したが、入力数や出力数を変えた場合も全く同様にする
ことができる。また、本実施例はディジタル回路で実現
可能なのは明らかであるが、アナログ回路でも実現が容
易である。
第2図に他の実施例を示す。第2図は4人力6出力の基
本ブロックの構成図の例で、2つのプロセシングエレメ
ント3を時分割で使用するこおによって計算するように
なっている。このように複数個のプロセシングエレメン
トを時分割で使用することも可能である。実装するプロ
セシングエレメントの数を増やせば、ハードウェア量は
増えるが、計算時間を短縮することができる。
本ブロックの構成図の例で、2つのプロセシングエレメ
ント3を時分割で使用するこおによって計算するように
なっている。このように複数個のプロセシングエレメン
トを時分割で使用することも可能である。実装するプロ
セシングエレメントの数を増やせば、ハードウェア量は
増えるが、計算時間を短縮することができる。
発明の効果
本発明によれば、プロセシングエレメントの回路を時分
割で使用することによって少ないハードウェア量で大規
模なニューラルネットワークを構築して計算することか
できる。また、本発明の時分割の方式は、ディジタル回
路だけてはなく、アナログ回路でも実現が容易である。
割で使用することによって少ないハードウェア量で大規
模なニューラルネットワークを構築して計算することか
できる。また、本発明の時分割の方式は、ディジタル回
路だけてはなく、アナログ回路でも実現が容易である。
第1図は本発明の実施例のニューロプロセッサの基本ブ
ロックの構成図、第2図はプロセシングエレメントを2
つ持つ本発明の実施例のニューロプロセッサの基本ブロ
ックの構成図、第3図は従来例の基本ブロックの構成図
、第4図はシナプス回路を時分割で使用する従来例の基
本ブロックの構成図である。 1・・・・・・シナプス回路、2・・・・・・ニューロ
ン回路、3・・・・・・プロセシングエレメント、4・
・・・・・出力選択スイッチ、5・・・・・・出力保持
回路。 代理人の氏名 弁理士 粟野重孝 ほか1名第 図 第 図 第 図 第 図
ロックの構成図、第2図はプロセシングエレメントを2
つ持つ本発明の実施例のニューロプロセッサの基本ブロ
ックの構成図、第3図は従来例の基本ブロックの構成図
、第4図はシナプス回路を時分割で使用する従来例の基
本ブロックの構成図である。 1・・・・・・シナプス回路、2・・・・・・ニューロ
ン回路、3・・・・・・プロセシングエレメント、4・
・・・・・出力選択スイッチ、5・・・・・・出力保持
回路。 代理人の氏名 弁理士 粟野重孝 ほか1名第 図 第 図 第 図 第 図
Claims (1)
- 1個のニューロン回路とそれに結合する複数個のシナ
プス回路とで構成されるプロセシングエレメントを備え
、前記プロセシングエレメントは、シナプス回路を時分
割使用することなしに、前記1個のニューロン回路の出
力をリアルタイムで計算する機能を有し、前記プロセシ
ングエレメントを時分割で使用することを特徴とするニ
ューロプロセッサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2147816A JPH0440581A (ja) | 1990-06-06 | 1990-06-06 | ニューロプロセッサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2147816A JPH0440581A (ja) | 1990-06-06 | 1990-06-06 | ニューロプロセッサ |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0440581A true JPH0440581A (ja) | 1992-02-10 |
Family
ID=15438874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2147816A Pending JPH0440581A (ja) | 1990-06-06 | 1990-06-06 | ニューロプロセッサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0440581A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020197922A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社東芝 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
-
1990
- 1990-06-06 JP JP2147816A patent/JPH0440581A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
US11238331B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method for augmenting an existing artificial neural network |
US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
US11263512B2 (en) | 2017-04-04 | 2022-03-01 | Hailo Technologies Ltd. | Neural network processor incorporating separate control and data fabric |
US11461614B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | Data driven quantization optimization of weights and input data in an artificial neural network |
JP2020197922A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社東芝 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Takefuji et al. | Artificial neural networks for four-coloring map problems and K-colorability problems | |
WO2010106587A1 (ja) | ニューラルネットワークシステム | |
JPH04505824A (ja) | ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア | |
EP0370543A3 (en) | Digital neural network | |
JPH04232562A (ja) | コンピユータ装置 | |
JPH0440581A (ja) | ニューロプロセッサ | |
EP0525543B1 (en) | Neural processor device | |
JPH0264787A (ja) | 階層構造ニューラルネット | |
JP3172352B2 (ja) | ニューラルネットワーク回路 | |
Abdelbaki et al. | Analog hardware implementation of the random neural network model | |
JPH05346914A (ja) | ニューロプロセッサ | |
Kuroe et al. | A learning method of nonlinear mappings by neural networks with considering their derivatives | |
KR950024083A (ko) | 신경망 및 이 신경망을 동작시키는 방법 | |
De Wilde | Class of Hamiltonian neural networks | |
JPH04188381A (ja) | ニューロプロセッサ | |
JPH02201586A (ja) | ニューロチップによる結合器 | |
Margaritis | On the systolic implementation of associative memory artificial neural networks | |
JP2679733B2 (ja) | ホップフィールドネット | |
JP3082530B2 (ja) | ニューラルネットワーク回路 | |
JPH0883261A (ja) | ニューロ演算装置 | |
Li et al. | Exponential Stability of Generalized Cohen-Grossberg Neural Networks with Time-Varying Delays and Reaction-Diffusion term | |
JPH08129540A (ja) | カオスニューロン素子及びこれを用いたニューラルネットワーク | |
SU1718247A1 (ru) | Устройство дл моделировани многополюсных линейных стационарных объектов | |
JPH0683796A (ja) | 信号処理装置 | |
JP2744299B2 (ja) | 演算処理装置及び方法 |