JP7027371B2 - ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 - Google Patents
ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 Download PDFInfo
- Publication number
- JP7027371B2 JP7027371B2 JP2019103803A JP2019103803A JP7027371B2 JP 7027371 B2 JP7027371 B2 JP 7027371B2 JP 2019103803 A JP2019103803 A JP 2019103803A JP 2019103803 A JP2019103803 A JP 2019103803A JP 7027371 B2 JP7027371 B2 JP 7027371B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- weight value
- control unit
- input terminal
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4814—Non-logic devices, e.g. operational amplifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4818—Threshold devices
- G06F2207/4824—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Complex Calculations (AREA)
- Feedback Control In General (AREA)
Description
30 重み値供給コントロール部
31 セレクタ
32-0~32-2 レジスタ
40 制御処理装置
41 主制御装置
42 従属制御部
50 データ保持供給コントロール部
51-0~51-5 レジスタ
52、52A、52B、52C セレクタ
70 比較装置
71 セレクタ
81 第1のインタフェース
82 第2のインタフェース
Claims (13)
- データ入力端子とデータ出力端子と重み値入力端子とを有し、前記データ入力端子から到来するデータと前記重み値入力端子から到来する重み値とに基づき所定タイミングでアナログ積和演算を行う少なくとも1つのニューロンコア部と、
前記重み値入力端子に接続され、該重み値入力端子から前記ニューロンコア部へ重み値を供給する重み値供給コントロール部と、
を具備し、
前記重み値供給コントロール部は、それぞれ重み値を保持する複数の第一のレジスタと、この複数の第一のレジスタのいずれかを選択して保持された重み値を前記重み値入力端子へ与える経路を開閉するための第一のセレクタとを備えており、
前記重み値供給コントロール部から重み値を供給する制御を行うと共に、前記データ出力端子から前記ニューロンコア部において前記所定タイミングで行われるアナログ積和演算毎に出力される連続所定回分のデータを得て、それぞれの演算後のタイミングで出力データとして取り出し次へ送るか、積和演算の出力データを取り出すことはなく、最終結果値を次へ送るか、を制御することにより、幾つかの直列演算、幾つかの並列演算、幾つかの直列演算と幾つかの並列演算の混合演算を選択的に実行するニューラルネットワークを実現する制御処理装置による制御処理を受けることを特徴とするニューラルネットワークの演算装置。 - 少なくとも前記データ出力端子から出力されたデータを、前記データ入力端子へ供給可能に保持するデータ保持供給コントロール部を具備し、
前記制御処理装置により、前記データ保持供給コントロール部へのデータ保持のタイミング及び保持したデータを前記データ入力端子へ供給するタイミングが制御されることを特徴とする請求項1に記載のニューラルネットワークの演算装置。 - 前記データ保持供給コントロール部は、データを保持するための少なくとも1つの第二のレジスタと、この第二のレジスタを選択して保持されたデータを前記データ入力端子へ与える経路を開閉するための第二のセレクタとを具備することを特徴とする請求項2に記載のニューラルネットワークの演算装置。
- データ入力端子とデータ出力端子と重み値入力端子とを有し、前記データ入力端子から到来するデータと前記重み値入力端子から到来する重み値とに基づき所定タイミングでアナログ積和演算を行う少なくとも1つのニューロンコア部と、
前記重み値入力端子に接続され、該重み値入力端子から前記ニューロンコア部へ重み値を供給する重み値供給コントロール部と、
前記重み値供給コントロール部から重み値を供給する制御を行うと共に、前記データ出力端子から前記ニューロンコア部において前記所定タイミングで行われるアナログ積和演算毎に出力される連続所定回分のデータを得て、それぞれの演算後のタイミングで出力データとして取り出し次へ送るか、積和演算の出力データを取り出すことはなく、最終結果値を次へ送るか、を制御することにより、幾つかの直列演算、幾つかの並列演算、幾つかの直列演算と幾つかの並列演算の混合演算を選択的に実行するニューラルネットワークを実現する制御処理装置と、
を具備し、
前記重み値供給コントロール部は、それぞれ重み値を保持する複数の第一のレジスタと、この複数の第一のレジスタのいずれかを選択して保持された重み値を前記重み値入力端子へ与える経路を開閉するための第一のセレクタとを具備することを特徴とするニューラルネットワーク。 - 少なくとも前記データ出力端子から出力されたデータを、前記データ入力端子へ供給可能に保持するデータ保持供給コントロール部を具備し、
前記制御処理装置は、前記データ保持供給コントロール部へのデータ保持のタイミング及び保持したデータを前記データ入力端子へ供給するタイミングを制御することを特徴とする請求項4に記載のニューラルネットワーク。 - 前記データ保持供給コントロール部は、データを保持するための少なくとも1つの第二のレジスタと、この第二のレジスタのいずれかを選択して保持されたデータを前記データ入力端子へ与える経路を開閉するためのセレクタとを具備することを特徴とする請求項5に記載のニューラルネットワーク。
- 制御処理装置は、当該ニューラルネットワークを統括制御する主制御装置と、
前記主制御装置の指示に基づき前記ニューロンコア部、前記重み値供給コントロール部、前記データ保持供給コントロール部を直接制御する従属制御部により構成され、
前記主制御装置から、前記重み値供給コントロール部へ重み値を、前記データ保持供給コントロール部へデータを設定可能であることを特徴とする請求項5または6に記載のニューラルネットワーク。 - 前記主制御装置から、前記重み値供給コントロール部に設定された重み値を、前記データ保持供給コントロール部に設定されたデータを参照可能であることを特徴とする請求項7に記載のニューラルネットワーク。
- 前記データ保持供給コントロール部に設定されたデータと前記データ出力端子からの出力データを比較し、比較結果に基づき前記主制御装置へ通知を行うことを特徴とする請求項7または8に記載のニューラルネットワーク。
- データ入力端子とデータ出力端子と重み値入力端子とを有し、前記データ入力端子から到来するデータと前記重み値入力端子から到来する重み値とに基づき所定タイミングでアナログ積和演算を行う少なくとも1つのニューロンコア部と、
前記重み値入力端子に接続され、重み値入力端子から前記ニューロンコア部へ重み値を供給する重み値供給コントロール部であって、それぞれ重み値を保持する複数の第一のレジスタと、この複数の第一のレジスタのいずれかを選択して保持された重み値を前記重み値入力端子へ与える経路を開閉するための第一のセレクタとを備える重み値供給コントロール部と、
少なくとも前記データ出力端子から出力されたデータを、前記データ入力端子へ供給可能に保持するデータ保持供給コントロール部と、
を具備するニューラルネットワークの制御方法において、
前記重み値供給コントロール部から重み値を供給する制御を行い、
前記データ出力端子から前記ニューロンコア部において前記所定タイミングで行われるアナログ積和演算毎に出力される連続所定回分のデータを得て、それぞれの演算後のタイミングで出力データとして取り出し次へ送るか、積和演算の出力データを取り出すことはなく、最終結果値を次へ送るか、を制御することにより、幾つかの直列演算、幾つかの並列演算、幾つかの直列演算と幾つかの並列演算の混合演算を選択的に実行するニューラルネットワークを実現する
ことを特徴とするニューラルネットワークの制御方法。 - 前記データ保持供給コントロール部へのデータ保持のタイミング及び保持したデータを前記データ入力端子へ供給するタイミングを制御することを特徴とする請求項10に記載のニューラルネットワークの制御方法。
- 前記重み値供給コントロール部に設定された重み値と前記データ保持供給コントロール部に設定されたデータとを参照することを特徴とする請求項10または11に記載のニューラルネットワークの制御方法。
- 前記データ保持供給コントロール部に設定されたデータと前記データ出力端子からの出力データを比較し、比較結果に基づき当該ニューラルネットワークの状態を制御することを特徴とする請求項11または12に記載のニューラルネットワークの制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103803A JP7027371B2 (ja) | 2019-06-03 | 2019-06-03 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
US16/891,079 US20200380347A1 (en) | 2019-06-03 | 2020-06-03 | Neural network, method of control of neural network, and processor of neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103803A JP7027371B2 (ja) | 2019-06-03 | 2019-06-03 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020197922A JP2020197922A (ja) | 2020-12-10 |
JP7027371B2 true JP7027371B2 (ja) | 2022-03-01 |
Family
ID=73551262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103803A Active JP7027371B2 (ja) | 2019-06-03 | 2019-06-03 | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200380347A1 (ja) |
JP (1) | JP7027371B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7132196B2 (ja) | 2019-09-17 | 2022-09-06 | 株式会社東芝 | 処理装置および推論システム |
JP2021111142A (ja) | 2020-01-10 | 2021-08-02 | 株式会社東芝 | 演算装置 |
US11443091B1 (en) * | 2020-07-31 | 2022-09-13 | Xilinx, Inc. | Data processing engines with cascade connected cores |
JP7358312B2 (ja) | 2020-08-25 | 2023-10-10 | 株式会社東芝 | 記憶装置およびニューラルネットワーク装置 |
JP7532284B2 (ja) | 2021-02-24 | 2024-08-13 | 株式会社東芝 | 不揮発性メモリデバイス |
CN114978842B (zh) * | 2022-05-19 | 2023-05-02 | 西华大学 | 一种基于神经网络的二阶段ofdm系统的定时同步方法 |
CN116400597B (zh) * | 2023-04-07 | 2023-10-24 | 盐城工学院 | 一种二阶神经网络的同步控制方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117900A (ja) | 1999-10-19 | 2001-04-27 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置 |
JP2018116469A (ja) | 2017-01-18 | 2018-07-26 | 株式会社日立製作所 | 演算システムおよびニューラルネットワークの演算方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3804946A1 (de) * | 1988-02-18 | 1989-08-31 | Tetra Pak Rausing & Co Kg | Verfahren und vorrichtung zum vereinzeln von ebenen teilen |
EP0400147B1 (en) * | 1988-08-31 | 1997-10-15 | Fujitsu Limited | Neurocomputer |
JPH0440581A (ja) * | 1990-06-06 | 1992-02-10 | Matsushita Electric Ind Co Ltd | ニューロプロセッサ |
JPH0883261A (ja) * | 1994-09-13 | 1996-03-26 | Toshiba Corp | ニューロ演算装置 |
US6067536A (en) * | 1996-05-30 | 2000-05-23 | Matsushita Electric Industrial Co., Ltd. | Neural network for voice and pattern recognition |
US11226840B2 (en) * | 2015-10-08 | 2022-01-18 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Neural network unit that interrupts processing core upon condition |
US10360971B1 (en) * | 2015-11-02 | 2019-07-23 | Green Mountain Semiconductor, Inc. | Artificial neural network functionality within dynamic random-access memory |
US11509918B2 (en) * | 2017-01-26 | 2022-11-22 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device, and electronic device |
JP7173709B2 (ja) * | 2017-04-14 | 2022-11-16 | 株式会社半導体エネルギー研究所 | ニューラルネットワーク回路 |
-
2019
- 2019-06-03 JP JP2019103803A patent/JP7027371B2/ja active Active
-
2020
- 2020-06-03 US US16/891,079 patent/US20200380347A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117900A (ja) | 1999-10-19 | 2001-04-27 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置 |
JP2018116469A (ja) | 2017-01-18 | 2018-07-26 | 株式会社日立製作所 | 演算システムおよびニューラルネットワークの演算方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020197922A (ja) | 2020-12-10 |
US20200380347A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7027371B2 (ja) | ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法 | |
US10891544B2 (en) | Event-driven universal neural network circuit | |
CN112101517B (zh) | 基于分段线性脉冲神经元网络的fpga实现方法 | |
Liu et al. | A novel recurrent neural network with one neuron and finite-time convergence for $ k $-winners-take-all operation | |
TW202022644A (zh) | 一種運算裝置和運算方法 | |
CN109242094A (zh) | 用于执行人工神经网络正向运算的装置和方法 | |
CN107085562B (zh) | 一种基于高效复用数据流的神经网络处理器及设计方法 | |
CN108446761A (zh) | 一种神经网络加速器及数据处理方法 | |
CN111105023B (zh) | 数据流重构方法及可重构数据流处理器 | |
CN108304925B (zh) | 一种池化计算装置及方法 | |
TW202014886A (zh) | 晶片及基於其的資料處理方法 | |
CN110580519A (zh) | 一种卷积运算结构及其方法 | |
KR102263598B1 (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
CN113516225B (zh) | 具有脉动阵列的神经网络计算设备 | |
Carpegna et al. | Spiker+: a framework for the generation of efficient Spiking Neural Networks FPGA accelerators for inference at the edge | |
CN110197262B (zh) | 用于lstm网络的硬件加速器 | |
Aveyard | A boolean model for a class of discrete event systems | |
Zhang et al. | Shortest legal firing sequence of net condition/event systems using integer linear programming | |
US20070260805A1 (en) | Computer with a Reconfigurable Architecture for Integrating a Global Cellular Automaton | |
Stamoulias et al. | High-performance hardware accelerators for solving ordinary differential equations | |
Su et al. | Processing element architecture design for deep reinforcement learning with flexible block floating point exploiting signal statistics | |
WO2020051918A1 (zh) | 神经元电路、芯片、系统及其方法、存储介质 | |
Sriraman et al. | Customized FPGA Design and Analysis of Soft-Core Processor for DNN | |
CN117634577B (zh) | 向量处理器、神经网络加速器、芯片及电子设备 | |
CN113033798B (zh) | 一种降低精度损失的装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211129 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211130 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211224 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7027371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |