JP7371499B2 - 演算処理装置、演算処理装置の制御方法及び演算処理プログラム - Google Patents
演算処理装置、演算処理装置の制御方法及び演算処理プログラム Download PDFInfo
- Publication number
- JP7371499B2 JP7371499B2 JP2020000886A JP2020000886A JP7371499B2 JP 7371499 B2 JP7371499 B2 JP 7371499B2 JP 2020000886 A JP2020000886 A JP 2020000886A JP 2020000886 A JP2020000886 A JP 2020000886A JP 7371499 B2 JP7371499 B2 JP 7371499B2
- Authority
- JP
- Japan
- Prior art keywords
- decimal point
- point position
- calculation
- arithmetic
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000004364 calculation method Methods 0.000 claims description 336
- 230000008569 process Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 description 60
- 238000013135 deep learning Methods 0.000 description 52
- 230000002776 aggregation Effects 0.000 description 11
- 238000004220 aggregation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/499—Denomination or exception handling, e.g. rounding or overflow
- G06F7/49942—Significance control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4818—Threshold devices
- G06F2207/4824—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Advance Control (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
2 CPU
3 メモリ
4 演算用回路
5 PCIeバス
10 制御部
11 レジスタファイル
12 演算部
13 統計情報集約部
14 メモリインタフェース
15 メモリインタフェース
40 プロセッサ
41 命令RAM
42 データRAM
100 統括管理部
101 小数点位置決定部
102 指数値変換制御部
111 スカラレジスタファイル
112 ベクタレジスタファイル
113 アキュムレータレジスタ
114 ベクタアキュムレータレジスタ
115 統計情報格納部
121 スカラユニット
122 ベクタユニット
211,221 演算器
212,222 統計情報取得部
213,223 データ変換部
Claims (7)
- 演算を実行する演算部と、
前記演算の演算結果の統計情報を基に特定小数点位置を決定する小数点位置決定部と、
それぞれに対応する所定演算が決められた連続する複数の処理層毎に、候補小数点位置を用いて対応する前記所定演算を行う第1演算及び前記特定小数点位置を用いて対応する前記所定演算を行う第2演算を前記演算部に実行させ、前記第1演算の結果である第1演算結果を取得し、前記第1演算結果の統計情報を基に前記小数点位置決定部により決定された前記特定小数点位置を取得し、前記候補小数点位置及び前記特定小数点位置を基に、前記第1演算結果又は前記第2演算の結果である第2演算結果を最終演算結果として取得する処理を繰り返し、且つ、特定処理層における前記最終演算結果の取得に用いた前記候補小数点位置又は前記特定小数点位置を基に前記特定処理層の次の前記処理層における前記候補小数点位置を生成する管理部と
を備えたことを特徴とする演算処理装置。 - 前記管理部は、前記特定小数点位置に一致する前記候補小数点位置が存在する場合、前記特定小数点位置に一致する前記候補小数点位置を用いた前記第1演算の結果である前記第1演算結果を前記最終演算結果とすることを特徴とする請求項1に記載の演算処理装置。
- 前記管理部は、前記特定小数点位置に一致する前記候補小数点位置が存在しない場合、前記特定小数点位置を用いた前記第2演算の結果である前記第2演算結果を取得し、前記第2演算結果を前記最終演算結果とすることを特徴とする請求項1又は2に記載の演算処理装置。
- 前記管理部は、予め決められた前記候補小数点位置を保持することを特徴とする請求項1~3のいずれか一つに記載の演算処理装置。
- 前記管理部は、前記第1演算及び前記第2演算として前記演算部に所定積和演算を実行させる場合、前記所定積和演算を基に前記候補小数点位置を生成することを特徴とする請求項1~4のいずれか一つに記載の演算処理装置。
- 演算回路を有する演算処理装置の制御方法であって、
それぞれに対応する所定演算が決められた連続する複数の処理層毎に、候補小数点位置を用いて対応する前記所定演算を行う第1演算を前記演算回路に実行させ、
前記第1演算の結果である第1演算結果を取得し、
前記第1演算結果の統計情報を基に特定小数点位置を決定し、
前記特定小数点位置を用いて対応する前記所定演算を行う第2演算を前記演算回路に実行させ、
前記候補小数点位置及び前記特定小数点位置を基に、前記第1演算結果又は前記第2演算の結果である第2演算結果を最終演算結果として取得する処理を繰り返し、且つ、特定処理層における前記最終演算結果の取得に用いた前記候補小数点位置又は前記特定小数点位置を基に前記特定処理層の次の前記処理層における前記候補小数点位置を生成する
ことを特徴とする演算処理装置の制御方法。 - それぞれに対応する所定演算が決められた連続する複数の処理層毎に、候補小数点位置を用いて対応する前記所定演算を行う第1演算を演算回路に実行させ、
前記第1演算の結果である第1演算結果を算出させ、
前記第1演算結果の統計情報を基に特定小数点位置を決定し、
前記特定小数点位置を用いて対応する前記所定演算を行う第2演算を前記演算回路に実行させ、
前記候補小数点位置及び前記特定小数点位置を基に、前記第1演算結果又は前記第2演算の結果である第2演算結果を最終演算結果として取得する処理を繰り返し、且つ、特定処理層における前記最終演算結果の取得に用いた前記候補小数点位置又は前記特定小数点位置を基に前記特定処理層の次の前記処理層における前記候補小数点位置を生成する
処理をコンピュータに実行させることを特徴とする演算処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020000886A JP7371499B2 (ja) | 2020-01-07 | 2020-01-07 | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム |
EP20204359.2A EP3848791B1 (en) | 2020-01-07 | 2020-10-28 | Arithmetic processing device, method for controlling arithmetic processing device, and arithmetic processing program |
US17/090,942 US20210208849A1 (en) | 2020-01-07 | 2020-11-06 | Arithmetic processing device, method for controlling arithmetic processing device, and non-transitory computer-readable storage medium |
CN202011302402.9A CN113158137A (zh) | 2020-01-07 | 2020-11-19 | 算术处理设备、控制算术处理设备的方法和算术处理程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020000886A JP7371499B2 (ja) | 2020-01-07 | 2020-01-07 | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111016A JP2021111016A (ja) | 2021-08-02 |
JP7371499B2 true JP7371499B2 (ja) | 2023-10-31 |
Family
ID=73037787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020000886A Active JP7371499B2 (ja) | 2020-01-07 | 2020-01-07 | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210208849A1 (ja) |
EP (1) | EP3848791B1 (ja) |
JP (1) | JP7371499B2 (ja) |
CN (1) | CN113158137A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009271598A (ja) | 2008-04-30 | 2009-11-19 | Toshiba Corp | プロセッサ |
JP6528893B1 (ja) | 2018-11-07 | 2019-06-12 | 富士通株式会社 | 学習プログラム、学習方法、情報処理装置 |
US20190227769A1 (en) | 2018-01-19 | 2019-07-25 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Microprocessor with booth multiplication |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8081839B2 (en) * | 2006-08-31 | 2011-12-20 | Brother Kogyo Kabushiki Kaisha | Image processor |
JP6540725B2 (ja) * | 2017-01-30 | 2019-07-10 | 富士通株式会社 | 演算処理装置、方法、およびプログラム |
JP2019057249A (ja) * | 2017-09-22 | 2019-04-11 | 富士通株式会社 | 演算処理装置および演算処理方法 |
JP6540770B2 (ja) | 2017-10-17 | 2019-07-10 | 富士通株式会社 | 演算処理回路、演算処理回路を含む演算処理装置、演算処理装置を含む情報処理装置、および方法 |
US20190251429A1 (en) * | 2018-02-12 | 2019-08-15 | Kneron, Inc. | Convolution operation device and method of scaling convolution input for convolution neural network |
US11106598B2 (en) * | 2018-02-13 | 2021-08-31 | Shanghai Cambricon Information Technology Co., Ltd. | Computing device and method |
JP6540841B1 (ja) * | 2018-02-27 | 2019-07-10 | 富士通株式会社 | 演算処理装置、情報処理装置、情報処理方法、およびプログラム |
KR20200043169A (ko) * | 2018-10-17 | 2020-04-27 | 삼성전자주식회사 | 뉴럴 네트워크의 파라미터를 양자화하는 방법 및 장치 |
-
2020
- 2020-01-07 JP JP2020000886A patent/JP7371499B2/ja active Active
- 2020-10-28 EP EP20204359.2A patent/EP3848791B1/en active Active
- 2020-11-06 US US17/090,942 patent/US20210208849A1/en not_active Abandoned
- 2020-11-19 CN CN202011302402.9A patent/CN113158137A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009271598A (ja) | 2008-04-30 | 2009-11-19 | Toshiba Corp | プロセッサ |
US20190227769A1 (en) | 2018-01-19 | 2019-07-25 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Microprocessor with booth multiplication |
JP6528893B1 (ja) | 2018-11-07 | 2019-06-12 | 富士通株式会社 | 学習プログラム、学習方法、情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210208849A1 (en) | 2021-07-08 |
EP3848791B1 (en) | 2022-03-30 |
CN113158137A (zh) | 2021-07-23 |
EP3848791A1 (en) | 2021-07-14 |
JP2021111016A (ja) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6528893B1 (ja) | 学習プログラム、学習方法、情報処理装置 | |
EP3474132B1 (en) | Arithmetic processor, arithmetic processing apparatus including arithmetic processor, information processing apparatus including arithmetic processing apparatus, and control method for arithmetic processing apparatus | |
WO2018139266A1 (ja) | 演算処理装置、情報処理装置、方法、およびプログラム | |
CN108416431B (zh) | 神经网络微处理器与宏指令处理方法 | |
JP2019148896A (ja) | 演算処理装置、情報処理装置、情報処理方法、およびプログラム | |
CN111695671B (zh) | 训练神经网络的方法及装置、电子设备 | |
CN110008952B (zh) | 一种目标识别方法及设备 | |
JP2019148972A (ja) | 演算処理装置、情報処理装置、情報処理方法、およびプログラム | |
JP7292297B2 (ja) | 確率的丸めロジック | |
US20210097397A1 (en) | Information processing apparatus and information processing method | |
US11551087B2 (en) | Information processor, information processing method, and storage medium | |
JP7294017B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7371499B2 (ja) | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム | |
EP3671432B1 (en) | Arithmetic processing device and method of controlling arithmetic processing device | |
US20200134434A1 (en) | Arithmetic processing device, learning program, and learning method | |
JP7036224B2 (ja) | 演算処理装置及び演算処理装置の制御方法 | |
CN114444667A (zh) | 训练神经网络的方法及装置、电子设备 | |
US20210216867A1 (en) | Information processing apparatus, neural network computation program, and neural network computation method | |
JP2020190901A (ja) | 演算処理装置、演算処理装置の制御プログラム及び演算処理装置の制御方法 | |
JP2021124849A (ja) | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム | |
JP6984762B2 (ja) | 演算処理装置及び演算処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7371499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |