JP7003021B2 - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置 Download PDFInfo
- Publication number
- JP7003021B2 JP7003021B2 JP2018173649A JP2018173649A JP7003021B2 JP 7003021 B2 JP7003021 B2 JP 7003021B2 JP 2018173649 A JP2018173649 A JP 2018173649A JP 2018173649 A JP2018173649 A JP 2018173649A JP 7003021 B2 JP7003021 B2 JP 7003021B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- region
- routers
- router
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
20 データ処理部
22 通信部
24 学習部
26 設定部
28 部分領域
28-F 順方向領域
28-R 逆方向領域
30 コア
40 ルータ
42 通信路
54 コア送信部
56 コア受信部
58 領域外送信部
60 領域外受信部
62 領域内送信部
64 領域内受信部
70 ルーティング部
Claims (12)
- ニューラルネットワークにおけるデータ処理と学習処理とを並行に実行するニューラルネットワーク装置であって、
それぞれが、前記ニューラルネットワークにおける前記データ処理および前記学習処理の一部の演算および処理を実行する複数のコアと、
前記複数のコアのそれぞれから出力されたデータを、前記複数のコアの何れか1つのコアに転送する複数のルータと
を備え、
前記複数のコアのそれぞれから出力される前記データは、実体データと、データ種別とを含み、
前記実体データは、前記ニューラルネットワークを順方向に伝播する順方向データ、または、前記ニューラルネットワークを逆方向に伝播する逆方向データであり、
前記データ種別は、前記実体データが前記順方向データであるか前記逆方向データであるかを識別する情報であり、
前記複数のルータは、前記複数のコアのそれぞれから出力された前記順方向データを含む前記データを前記データ処理における次の処理がされるように前記複数のコアの何れか1つのコアに転送し、前記複数のコアのそれぞれから出力された前記逆方向データを含む前記データを前記学習処理における次の処理がされるように前記複数のコアの何れか1つのコアに転送し、
前記複数のルータのそれぞれは、複数の部分領域の何れか1つに含まれており、
前記複数の部分領域のそれぞれは、順方向領域または逆方向領域であり、
前記複数のルータのそれぞれは、
前記データを受け取った場合、受け取った前記データに含まれる前記実体データに対して自身に接続されたコアにより次の処理が実行されるか否かを判断し、
前記実体データに対して自身に接続されたコアにより次の処理が実行される場合、受け取った前記データを自身に接続されたコアに送信し、
前記実体データに対して自身に接続されたコアにより次の処理が実行されない場合、前記データ種別に基づき、受け取った前記データが前記順方向データまたは前記逆方向データの何れを含むかを判断し、
前記順方向領域に含まれるルータは、前記逆方向データを含む前記データを受け取ったと判断した場合、他の部分領域内の他のルータに対して前記逆方向データを含む前記データを送信し、
前記逆方向領域に含まれるルータは、前記順方向データを含む前記データを受け取ったと判断した場合、他の部分領域内の他のルータに対して前記順方向データを含む前記データを送信し、
前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを含む前記データを送信し、
前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを含む前記データを送信する
ニューラルネットワーク装置。 - 前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを含む前記データを送信せず、
前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを含む前記データを送信しない
請求項1に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、他の部分領域に含まれる何れかの他のルータに接続された領域外送信部および領域外受信部を有し、
前記領域外送信部は、前記データを前記接続された他のルータに送信し、
前記領域外受信部は、前記データを前記接続された他のルータから受信する
請求項1または2に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、同一部分領域内に含まれる何れかの他のルータに接続された領域内送信部および領域内受信部をさらに有し、
前記順方向領域に含まれるルータが有する前記領域内送信部は、前記順方向データを含む前記データを前記接続された他のルータに送信し、
前記順方向領域に含まれるルータが有する前記領域内受信部は、前記順方向データを含む前記データを前記接続された他のルータから受信する
請求項3に記載のニューラルネットワーク装置。 - 前記逆方向領域に含まれるルータが有する前記領域内送信部は、前記逆方向データを含む前記データを前記接続された他のルータに送信し、
前記逆方向領域に含まれるルータが有する前記領域内受信部は、前記逆方向データを含む前記データを前記接続された他のルータから受信する
請求項4に記載のニューラルネットワーク装置。 - 前記複数のルータのうちの所定のルータは、前記複数のコアのうちの何れかのコアに接続されたコア送信部およびコア受信部をさらに有し、
前記コア送信部は、前記データを前記接続されたコアに送信し、
前記コア受信部は、前記データを前記接続されたコアから受信する
請求項5に記載のニューラルネットワーク装置。 - 前記複数の部分領域は、垂直方向に積層される複数の回路である
請求項6に記載のニューラルネットワーク装置。 - 前記複数の部分領域のそれぞれは、
マトリクス状に配置されたM(Mは2以上)×N(Nは2以上)個のルータと、
前記M×N個のルータに一対一に対応したM×N個のコアと、
を含む請求項7に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、
直下の層に形成された部分領域に含まれる同一のマトリクス位置の他のルータに接続される前記領域外送信部および前記領域外受信部を含む第1組と、
直上の層に形成された部分領域に含まれる同一のマトリクス位置の他のルータに接続される前記領域外送信部および前記領域外受信部を含む第2組と、
を有する請求項8に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、
同一部分領域内の行方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第3組と、
同一部分領域内の前記第3組とは逆の行方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第4組と、
同一部分領域内の列方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第5組と、
同一部分領域内の前記第5組とは逆の列方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第6組と、
をさらに有する
請求項9に記載のニューラルネットワーク装置。 - 前記複数の部分領域のそれぞれは、
M(Mは1以上)×N(Nは2以上)個のルータと、
前記M×N個のルータに一対一に対応したM×N個のコアと、
を含む請求項7に記載のニューラルネットワーク装置。 - 前記複数の部分領域は、前記順方向領域と前記逆方向領域とが交互に積層されている
請求項7から11の何れか1項に記載のニューラルネットワーク装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173649A JP7003021B2 (ja) | 2018-09-18 | 2018-09-18 | ニューラルネットワーク装置 |
US16/299,634 US11455526B2 (en) | 2018-09-18 | 2019-03-12 | Neural network device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173649A JP7003021B2 (ja) | 2018-09-18 | 2018-09-18 | ニューラルネットワーク装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020046821A JP2020046821A (ja) | 2020-03-26 |
JP7003021B2 true JP7003021B2 (ja) | 2022-01-20 |
Family
ID=69772959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018173649A Active JP7003021B2 (ja) | 2018-09-18 | 2018-09-18 | ニューラルネットワーク装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11455526B2 (ja) |
JP (1) | JP7003021B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502418A (ja) | 2013-12-30 | 2017-01-19 | ネットスピード システムズ | 可変な数のコア群、入出力(i/o)装置、ディレクトリ構造、及びコヒーレンシポイントを有する、キャッシュコヒーレントnoc(ネットワークオンチップ) |
US20170193361A1 (en) | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Neural network training performance optimization framework |
JP2018097716A (ja) | 2016-12-15 | 2018-06-21 | 富士通株式会社 | 電子回路装置 |
US20180192265A1 (en) | 2016-12-30 | 2018-07-05 | Riseio, Inc. | System and Method for a Building-Integrated Predictive Service Communications Platform |
WO2018154494A1 (en) | 2017-02-23 | 2018-08-30 | Cerebras Systems Inc. | Accelerated deep learning |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04130968A (ja) | 1990-09-21 | 1992-05-01 | Toshiba Corp | ニューラルネットワークを用いた配線方式 |
JPH05197707A (ja) * | 1992-08-05 | 1993-08-06 | Hitachi Ltd | 情報処理システム |
WO2008067676A1 (en) * | 2006-12-08 | 2008-06-12 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
US9135215B1 (en) | 2009-09-21 | 2015-09-15 | Tilera Corporation | Route prediction in packet switched networks |
US9263036B1 (en) * | 2012-11-29 | 2016-02-16 | Google Inc. | System and method for speech recognition using deep recurrent neural networks |
KR20150034900A (ko) | 2013-09-26 | 2015-04-06 | 삼성전자주식회사 | 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로 |
US9886275B1 (en) | 2013-10-09 | 2018-02-06 | Mellanox Technologies Ltd. | Multi-core processor using three dimensional integration |
US10474948B2 (en) | 2015-03-27 | 2019-11-12 | University Of Dayton | Analog neuromorphic circuit implemented using resistive memories |
US9934463B2 (en) | 2015-05-15 | 2018-04-03 | Arizona Board Of Regents On Behalf Of Arizona State University | Neuromorphic computational system(s) using resistive synaptic devices |
US11195079B2 (en) * | 2017-11-22 | 2021-12-07 | Intel Corporation | Reconfigurable neuro-synaptic cores for spiking neural network |
US20190236444A1 (en) * | 2018-01-30 | 2019-08-01 | International Business Machines Corporation | Functional synthesis of networks of neurosynaptic cores on neuromorphic substrates |
-
2018
- 2018-09-18 JP JP2018173649A patent/JP7003021B2/ja active Active
-
2019
- 2019-03-12 US US16/299,634 patent/US11455526B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502418A (ja) | 2013-12-30 | 2017-01-19 | ネットスピード システムズ | 可変な数のコア群、入出力(i/o)装置、ディレクトリ構造、及びコヒーレンシポイントを有する、キャッシュコヒーレントnoc(ネットワークオンチップ) |
US20170193361A1 (en) | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Neural network training performance optimization framework |
JP2018097716A (ja) | 2016-12-15 | 2018-06-21 | 富士通株式会社 | 電子回路装置 |
US20180192265A1 (en) | 2016-12-30 | 2018-07-05 | Riseio, Inc. | System and Method for a Building-Integrated Predictive Service Communications Platform |
WO2018154494A1 (en) | 2017-02-23 | 2018-08-30 | Cerebras Systems Inc. | Accelerated deep learning |
Also Published As
Publication number | Publication date |
---|---|
JP2020046821A (ja) | 2020-03-26 |
US20200090037A1 (en) | 2020-03-19 |
US11455526B2 (en) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6794336B2 (ja) | ニューラルネットワーク装置 | |
US10728176B2 (en) | Ruled-based network traffic interception and distribution scheme | |
Bogatyrev et al. | Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters | |
CN102365846B (zh) | 路由设置服务器、路由设置方法和路由设置程序 | |
US10623303B2 (en) | Method of routing data and switch in a network | |
US20180026878A1 (en) | Scalable deadlock-free deterministic minimal-path routing for dragonfly networks | |
CN102656850B (zh) | 用于处理多个数据的方法和用于交换通信分组的交换设备 | |
US11620501B2 (en) | Neural network apparatus | |
US8837487B2 (en) | Cascaded memory tables for searching | |
US20050286511A1 (en) | Method and apparatus for source authentication in a communications network | |
WO2022012576A1 (zh) | 路径规划方法、装置、路径规划设备及存储介质 | |
Wang et al. | SprintNet: A high performance server-centric network architecture for data centers | |
CN110011930A (zh) | 一种区块链中多联盟链的负载均衡方法及装置 | |
CN105634974A (zh) | 软件定义网络中的路由确定方法和装置 | |
JP7003021B2 (ja) | ニューラルネットワーク装置 | |
CN107409102A (zh) | 对多机架以太信道对等体的自动发现和配设 | |
CN105224501B (zh) | 改进圆环面网络及其确定数据包传输路径的方法和装置 | |
US10333794B2 (en) | Validating routing tables of routing devices | |
CN105122744A (zh) | 通过按需路径更新的msdc扩展 | |
JPH01175660A (ja) | マルチプロセッサシステム | |
CN113568863A (zh) | 数据传输方法、路由节点、众核系统、计算机可读介质 | |
WO2018028457A1 (zh) | 一种确定路由的方法、装置及通信设备 | |
Choi et al. | Design and performance analysis of load-distributing fault-tolerant network | |
US6807594B1 (en) | Randomized arbiters for eliminating congestion | |
CN106656808A (zh) | 一种二级全连接互连网络的容错完全自适应路由方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211228 |