JPH01189755A - Neural network simulator - Google Patents
Neural network simulatorInfo
- Publication number
- JPH01189755A JPH01189755A JP63015116A JP1511688A JPH01189755A JP H01189755 A JPH01189755 A JP H01189755A JP 63015116 A JP63015116 A JP 63015116A JP 1511688 A JP1511688 A JP 1511688A JP H01189755 A JPH01189755 A JP H01189755A
- Authority
- JP
- Japan
- Prior art keywords
- node
- processing
- storage device
- stores
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 239000000872 buffer Substances 0.000 claims abstract description 20
- 230000003139 buffering effect Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
Description
【発明の詳細な説明】
（産業上の利用分野）
本発明はニューラルネットワークのシミュレーション技
術に関するものである。DETAILED DESCRIPTION OF THE INVENTION (Field of Industrial Application) The present invention relates to neural network simulation technology.
（従来の技術）
従来、計算機上のソフトウェアによるシミュレータや、
複数のマイクロプロセッサをバス結合したシミュレータ
や、１つのアナロクゴＣ上にニューラルネットワークを
実現したシミュレータが存在していた。(Conventional technology) Conventionally, simulators using computer software,
There were simulators in which multiple microprocessors were connected via a bus, and simulators in which a neural network was implemented on a single analog computer.
（発明が解決しようとする問題点）
しかし、ソフトウェアによるシミュレータではニューラ
ルネットワークの持つ並列性を活かすことができず高速
なシミュレーションは不可能であった。(Problem to be solved by the invention) However, software-based simulators cannot take advantage of the parallelism of neural networks, making high-speed simulation impossible.
複数のマイクロプロセッサをバスで結合したシステムで
は、シミュレーションのアルゴリズムの持つ並列性を活
かすことができず、さらにプロセッサの台数が増えた場
合にプロセッサ間の通信を効率よく行うことが出来なく
なり、大規模で高速なシミュレーションは不可能であっ
た。A system in which multiple microprocessors are connected via a bus cannot take advantage of the parallelism of simulation algorithms, and when the number of processors increases, communication between processors cannot be performed efficiently, resulting in large-scale Therefore, high-speed simulation was impossible.
アナロクゴＣ上にニューラルネットワークを実現したシ
ステムでは、１度作ってしまうと回路の変更が不可能で
柔軟性に欠け、また大規模なネットワークを集積するこ
とも不可能であった。In a system that realized a neural network on AnalogoC, once it was created, it was impossible to change the circuit and lacked flexibility, and it was also impossible to integrate large-scale networks.
本発明の目的は、大規模なニューラルネットワークの高
速なシミュレーションと、シミュレートするニューラル
ネットワークを柔軟に変更することが可能なシミュレー
タを提供することにある。An object of the present invention is to provide a simulator that can perform high-speed simulation of a large-scale neural network and flexibly change the neural network to be simulated.
（問題点を解決するための手段）
本発明は、各ノードが重み付きリンクを介して互いにメ
ッセージを授受し、メツセージの内容に応じて内部状態
及び出力を変化させるニューラルネットワークをシミュ
レートする装置であって、ニューラルネットワークを分
割した部分ネットワークを並列に処理するための複数の
プロセッサと、該複数のプロセッサを接続し、プロセッ
サ間でメツセージを転送するための多段接続ネットワー
クから構成され、各プロセッサは、（ａ）、他のプロセ
ッサからのメツセージと自分自身からのメツセージをマ
ルチプレックスするマルチプレクサ、
（ｂ）、該マルチプレクサの出力をバッファリングする
入力バッファ、
（ｃ）、入力バッファ内のメツセージに従って割り当て
られた該部分ネットワーク内のノードオの入力処理をす
る演算装置、
（ｄ）、入力処理の結果を格納する記憶装置、（ｅ）、
該入力処理をする演算装置と該入力処理の結果を格納す
る記憶装置間でデータ転送を行うための内部バス１
、ｒ：′−出）
（Ｏ０該入力処理の結果を格納する記憶装置の内容と、
ノードの内部状態を格納する記憶装置の内容とから、ノ
ードの内部状態の更新、及び該ノードの内部状態を格納
する記憶装置の内容とリンクの接続情報及びリンクの重
みを格納している記憶装置の内容とからノードの出力処
理を行う演算装置、
（ｇ）、該内部バスとは分離されており、該ノードの内
部状態を格納する記憶装置と該リンクの接続情報及びリ
ンクの重みを格納している記憶装置、（ｈ）、該ノード
の内部処理及び出力処理を行う演算装置間でデータ転送
を行うための内部バス、（ｉ）、該ノードの内部処理及
び出力処理を行う演算装置の出力処理の結果のメツセー
ジをバッファリングする８カバツフア、
（ｊ）、出力バッファ内のメッセージを該マルチプレク
サと他のプロセッサへ選択するセレクタ、とから構成さ
れることを特徴とするニューラルネットワークシミュレ
ータである。(Means for Solving the Problems) The present invention is a device that simulates a neural network in which each node exchanges messages with each other via weighted links and changes its internal state and output according to the content of the messages. It consists of a plurality of processors for parallel processing of partial networks obtained by dividing the neural network, and a multi-stage connection network for connecting the plurality of processors and transferring messages between the processors, and each processor has the following structure: (a) a multiplexer that multiplexes messages from other processors and messages from itself; (b) an input buffer that buffers the output of the multiplexer; and (c) an allocation according to the messages in the input buffer. an arithmetic device that performs input processing of nodes in the partial network; (d) a storage device that stores the results of the input processing; (e);
Internal bus 1 for transferring data between the arithmetic unit that performs the input processing and the storage device that stores the results of the input processing; r:'-out) (O0 Contents of the storage device that stores the results of the input processing) and,
Update the internal state of the node from the contents of the storage device that stores the internal state of the node, and the storage device that stores the contents of the storage device that stores the internal state of the node, the connection information of the link, and the weight of the link. (g) an arithmetic unit that performs output processing of the node from the contents of the node; (g) a storage device that is separated from the internal bus and stores the internal state of the node; (h) an internal bus for transferring data between arithmetic units that perform internal processing and output processing of the node; (i) an output of the arithmetic unit that performs internal processing and output processing of the node; The present invention is a neural network simulator characterized by comprising: (j) an eight buffer for buffering messages resulting from processing; and a selector for selecting a message in the output buffer to the multiplexer and another processor.
（作用）
へ６）
本発明においては、シミュレートするニューラルネット
ワークを部分ネットワークに分割し複数のプロセッサに
割当て並列に処理することによりニューラルネットワー
クの持つ並列性を引出し、また、各プロセッサに、分離
された２つのバスと、２つの演算装置を設け、並列に処
理を行うことにより、シミュレーションのアルゴリズム
のもつ並列性を引出し高速なシミュレーションを可能に
する。また、リンクの接続情報及びリンクの重みを格納
する記憶装置の内容を書き換えることによりシミュレー
トするニューラルネットワークを柔軟に変更することを
可能とする。(Function) 6) In the present invention, the neural network to be simulated is divided into partial networks, which are assigned to multiple processors and processed in parallel to bring out the parallelism of the neural network. By providing two buses and two arithmetic units and performing parallel processing, the parallel nature of the simulation algorithm is brought out to enable high-speed simulation. Furthermore, by rewriting the contents of a storage device that stores link connection information and link weights, it is possible to flexibly change the neural network to be simulated.
（実施例）
第１図は、システムを構成する１つのプロセッサ１のブ
ロック図で、マルチプレクサ２と、人カバソファ３と、
演算装置４と、内部ハス５と、記憶装置６と、セレクタ
７と、出力バッファ８と、演算装置９と、内部バス１０
と、記憶装置１１と、から構成される。(Embodiment) FIG. 1 is a block diagram of one processor 1 constituting the system, in which a multiplexer 2, a human cover sofa 3,
Arithmetic device 4, internal bus 5, storage device 6, selector 7, output buffer 8, arithmetic device 9, and internal bus 10
and a storage device 11.
第２図は、第１図のプロセッサを含む全体構成図で、複
数のプロセッサ１と、それらの間でデータの転送を行な
うための多段接続ネットワーク１４から構成される。多
段接続ネットワーク１４は、複数のルータセル１５から
構成される。FIG. 2 is an overall configuration diagram including the processor of FIG. 1, which is composed of a plurality of processors 1 and a multi-stage connection network 14 for transferring data between them. The multi-stage connection network 14 is composed of a plurality of router cells 15.
他のプロセッサから届いた入力メツセージ１２と、自分
自身のセレクタ７から届いたメツセージは、マルチプレ
クサ２で調停を受けて大力バッファ３に入る。Input messages 12 received from other processors and messages received from the own selector 7 are arbitrated by a multiplexer 2 and entered into a power buffer 3.
記憶装置６は、プロセッサ１が割り肖てられた部分ネッ
トワークの各ノード毎の入力処理の結果が格納される。The storage device 6 stores the results of input processing for each node of the partial network to which the processor 1 is assigned.
演算装置４は、大力バッファ３からメツセージを取り出
しなからメツセージの内容に従って入力処理を行い、結
果を記憶装置６に格納する。The arithmetic device 4 retrieves the message from the power buffer 3, performs input processing according to the contents of the message, and stores the result in the storage device 6.
記憶装置１１は、部分ネットワークの各ノードの内部状
態とリンクの接続情報及びリンクの重みを格納している
。The storage device 11 stores the internal state of each node of the partial network, link connection information, and link weights.
演算装置９は、記憶装置６の入力処理の結果と記憶装置
１１の各ノードの内部状態を参照し各ノードの内部状態
の更新処理を行う。また演算装置９は記憶装置１１の各
ノードの内部状態とリンクの接続情報及びリンクの重み
を参照して各ノードの出力処理を行いメツセージを出力
バッファ８に書き込む。The arithmetic device 9 refers to the result of the input processing of the storage device 6 and the internal state of each node in the storage device 11, and updates the internal state of each node. Further, the arithmetic unit 9 refers to the internal state of each node in the storage device 11, link connection information, and link weight, performs output processing for each node, and writes the message to the output buffer 8.
セレクタ７は、出カバソファ８からメツセージを取り出
しその内容に従ってメツセージを出力メツセージ１３と
して他のプロセッサに転送するか、または自分自身のマ
ルチプレクサ２に転送する。The selector 7 takes out a message from the output sofa 8 and transfers the message as an output message 13 to another processor or to its own multiplexer 2 according to its contents.
（発明の効果）′
以上のように、本発明においては、シミュレートするニ
ューラルネットワークを部分ネットワークに分割し複数
のプロセッサに割当て並列に処理することによりニュー
ラルネットワークの持つ並列性を引出し、また、各プロ
セッサに、分離された２つのバスと、２つの演算装置を
設け、並列に処理を行うことにより、シミュレーション
のアルゴリズムのもつ並列性を引出し高速なシミュレー
ションを可能にする。また、リンクの接続情報及びリン
クの重みを格納する記憶装置の内容を書き換えることに
よりシミュレートするニューラルネットワークを柔軟に
変更することが可能となる。(Effects of the Invention) As described above, in the present invention, the neural network to be simulated is divided into partial networks, which are assigned to multiple processors and processed in parallel, thereby bringing out the parallelism of the neural network. By providing two separate buses and two arithmetic units in the processor and performing parallel processing, the parallelism of the simulation algorithm is brought out to enable high-speed simulation. Furthermore, by rewriting the contents of the storage device that stores link connection information and link weights, it is possible to flexibly change the neural network to be simulated.
図の簡単な説明
第１図は、システムを構成する１つのプロセッサのブロ
ック図、第２図は、第１図のプロセッサを含む全体構成
図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of one processor constituting the system, and FIG. 2 is an overall configuration diagram including the processor of FIG. 1.
１・・・プロセッサ、２・・・マルチプレクサ、３・・
・入力バッファ、４・・・演算装置、５・・・内部バス
、６・・・記憶装置、７・・・セレクタ、８・・・出力
バッファ、９・・・演算装置、１０・・・内部バス、１
１・・・記憶装置、１２・・・入力メツセージ、１３・
・・出力メツセージ、１４・・・多段接続ネ・ノドワー
ク、１５・・・ルータセル1... Processor, 2... Multiplexer, 3...
- Input buffer, 4... Arithmetic device, 5... Internal bus, 6... Storage device, 7... Selector, 8... Output buffer, 9... Arithmetic device, 10... Internal bus, 1
1...Storage device, 12...Input message, 13.
...Output message, 14...Multi-stage connection node work, 15...Router cell
Claims (1)
授受し、メッセージの内容に応じて内部状態及び出力を
変化させるニューラルネットワークをシミュレートする
装置であって、ニューラルネットワークを分割した部分
ネットワークを並列に処理するための複数のプロセッサ
と、該複数のプロセッサを接続し、プロセッサ間でメッ
セージを転送するための多段接続ネットワークから構成
され、各プロセッサは、 （ａ）、他のプロセッサからのメッセージと自分自身か
らのメッセージをマルチプレックスするマルチプレクサ
、 （ｂ）、該マルチプレクサの出力をバッファリングする
入力バッファ、 （ｃ）、入力バッファ内のメッセージに従って割り当て
られた該部分ネットワーク内のノードの入力処理をする
演算装置、 （ｄ）、入力処理の結果を格納する記憶装置、 （ｅ）、該入力処理をする演算装置と該入力処理の結果
を格納する記憶装置間でデータ転送を行うための内部バ
ス、 （ｆ）、該入力処理の結果を格納する記憶装置の内容と
、ノードの内部状態を格納する記憶装置の内容とから、
ノードの内部状態の更新、及び該ノードの内部状態を格
納する記憶装置の内容とリンクの接続情報及びリンクの
重みを格納している記憶装置の内容とからノードの出力
処理を行う演算装置、 （ｇ）、該内部バスとは分離されており、該ノードの内
部状態を格納する記憶装置と該リンクの接続情報及びリ
ンクの重みを格納している記憶装置、 （ｈ）、該ノードの内部処理及び出力処理を行う演算装
置間でデータ転送を行うための内部バス、 （ｉ）、該ノードの内部処理及び出力処理を行う演算装
置の出力処理の結果のメッセージをバッファリングする
出力バッファ、 （ｊ）、出力バッファ内のメッセージを該マルチプレク
サと他のプロセッサへ選択するセレクタ、 とから構成されることを特徴とするニューラルネットワ
ークシミュレータ。[Claims] A device for simulating a neural network in which nodes exchange messages with each other via weighted links and change internal states and outputs according to the contents of the messages, the neural network being divided. It consists of a plurality of processors for processing partial networks in parallel, and a multi-stage connection network for connecting the plurality of processors and transferring messages between the processors, and each processor can: (a) receive information from other processors; (b) an input buffer buffering the output of the multiplexer; (c) an input of a node in the subnetwork allocated according to the message in the input buffer; (d) a storage device that stores the results of the input processing; (e) a storage device that performs the input processing and a storage device that stores the results of the input processing; an internal bus; (f) from the contents of a storage device that stores the results of the input processing and the contents of a storage device that stores the internal state of the node;
an arithmetic device that updates the internal state of a node and performs output processing of the node from the contents of a storage device that stores the internal state of the node and the contents of a storage device that stores link connection information and link weights; g) A storage device that is separated from the internal bus and stores the internal state of the node and the connection information of the link and the weight of the link; (h) Internal processing of the node. and an internal bus for transferring data between arithmetic units that perform output processing; (i) an output buffer that buffers messages resulting from internal processing of the node and output processing of the arithmetic units that perform output processing; ), a selector for selecting a message in an output buffer to the multiplexer and another processor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63015116A JPH0769893B2 (en) | 1988-01-25 | 1988-01-25 | Neural network simulator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63015116A JPH0769893B2 (en) | 1988-01-25 | 1988-01-25 | Neural network simulator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01189755A true JPH01189755A (en) | 1989-07-28 |
| JPH0769893B2 JPH0769893B2 (en) | 1995-07-31 |
Family
ID=11879858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63015116A Expired - Lifetime JPH0769893B2 (en) | 1988-01-25 | 1988-01-25 | Neural network simulator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0769893B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04344970A (en) * | 1991-05-23 | 1992-12-01 | Nippon Telegr & Teleph Corp <Ntt> | Neural network processor |
| US5253330A (en) * | 1988-07-05 | 1993-10-12 | Siemens Aktiengesellschaft | Network architecture for the programmable emulation of artificial neural networks having digital operation |
| US8429107B2 (en) | 2009-11-04 | 2013-04-23 | International Business Machines Corporation | System for address-event-representation network simulation |
| JP2019159997A (en) * | 2018-03-15 | 2019-09-19 | 富士通株式会社 | Optimizing device and control method for optimizing device |
-
1988
- 1988-01-25 JP JP63015116A patent/JPH0769893B2/en not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5253330A (en) * | 1988-07-05 | 1993-10-12 | Siemens Aktiengesellschaft | Network architecture for the programmable emulation of artificial neural networks having digital operation |
| JPH04344970A (en) * | 1991-05-23 | 1992-12-01 | Nippon Telegr & Teleph Corp <Ntt> | Neural network processor |
| US8429107B2 (en) | 2009-11-04 | 2013-04-23 | International Business Machines Corporation | System for address-event-representation network simulation |
| JP2019159997A (en) * | 2018-03-15 | 2019-09-19 | 富士通株式会社 | Optimizing device and control method for optimizing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0769893B2 (en) | 1995-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tilborg | MICROS, a distributed operating system for MICRONET, a reconfigurable network computer | |
| Thompson | Generalized connection networks for parallel processor intercommunication | |
| Siegel et al. | Using the multistage cube network topology in parallel supercomputers | |
| TW202022644A (en) | Operation device and operation method | |
| CN114329920B (en) | Virtual-real system combined large-scale satellite network simulation evaluation and test system | |
| US5243704A (en) | Optimized interconnect networks | |
| US11017290B2 (en) | Signal processing module, especially for a neural network and a neuronal circuit | |
| JPH07253954A (en) | Parallel computer | |
| EP0217922A1 (en) | An array for simulating computer functions for large computer systems. | |
| Lang et al. | Nonuniform traffic spots (NUTS) in multistage interconnection networks | |
| Sitkoff et al. | Implementing a genetic algorithm on a parallel custom computing machine | |
| JPH01189755A (en) | Neural network simulator | |
| Storaasli et al. | The finite element machine: An experiment in parallel processing | |
| CN116523045A (en) | Deep learning reasoning simulator oriented to multi-core chip | |
| Konstantinidou | The selective extra stage butterfly | |
| Li et al. | DPCell: Constructing novel architectures of data center networks on dual-port servers | |
| CA2028807C (en) | Decentralized simulator | |
| Chin et al. | Connection principles for multipath, packet switching networks | |
| JP2905695B2 (en) | Information processing system with shared memory | |
| Cherkassky et al. | Reliability and fail-softness analysis of multistage interconnection networks | |
| JPH05250346A (en) | Neural network simulation device | |
| Hota et al. | Hierarchical multicast network-on-chip for scalable reconfigurable neuromorphic systems | |
| WO2023214608A1 (en) | Quantum circuit simulation hardware | |
| Nitzberg et al. | The P-Mesh-a commodity-based scalable network architecture for clusters | |
| JPH04307654A (en) | Neural network simulation system |