JP7298266B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- JP7298266B2 JP7298266B2 JP2019080454A JP2019080454A JP7298266B2 JP 7298266 B2 JP7298266 B2 JP 7298266B2 JP 2019080454 A JP2019080454 A JP 2019080454A JP 2019080454 A JP2019080454 A JP 2019080454A JP 7298266 B2 JP7298266 B2 JP 7298266B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- delimiter
- quantization
- setting unit
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/499—Denomination or exception handling, e.g. rounding or overflow
- G06F7/49942—Significance control
- G06F7/49947—Rounding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/499—Denomination or exception handling, e.g. rounding or overflow
- G06F7/49905—Exception handling
- G06F7/4991—Overflow or underflow
- G06F7/49915—Mantissa overflow or underflow in handling floating-point numbers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
- G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
- G06F5/01—Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising
- G06F5/012—Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising in floating-point computations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
図4および図5の数直線は、絶対値を示しており、正負は区別されない。数直線は、図の左側ほど絶対値が大きく、図の右側ほど絶対値が小さい。なお、量子化する前の変数(重み)は、浮動小数点数(32ビットまたは16ビット等)で表される。
12、12A 位置設定部
14、14A 量子化部
20 メモリ
30 アクセラレータ
40 通信バス
50 補助記憶装置
60 通信インタフェース
100、100A 情報処理装置
Δ0-Δ8 区切り位置
Claims (13)
- ニューラルネットワークの計算を実行する情報処理装置であって、
前記計算に使用する変数を量子化する場合の区切り位置を順次変更し、前記区切り位置の変更毎に量子化前後の変数の差分に基づく量子化誤差を算出し、前記量子化誤差が最小になる前記区切り位置を量子化に使用する前記区切り位置に設定する位置設定部と、
前記位置設定部が設定した前記区切り位置に基づいて変数を量子化する量子化部と、を有することを特徴とする情報処理装置。 - 前記位置設定部は、
複数の前記区切り位置を1つずつ変更して前記量子化誤差が最小になる複数の前記区切り位置を見つける処理を、複数の前記区切り位置が変更されなくなるまで繰り返し実行し、
変更されなくなった前記区切り位置を、量子化に使用する前記区切り位置に設定すること、を特徴とする請求項1に記載の情報処理装置。 - 前記位置設定部は、前記量子化誤差の変化が下に凸の特性を示す場合、黄金分割探索アルゴリズムを用いて前記量子化誤差が最小になる前記区切り位置を探索すること、を特徴とする請求項1に記載の情報処理装置。
- 前記位置設定部は、前記量子化誤差の変化が下に凸の特性を示す場合、前記区切り位置を隣接する前記区切り位置側から順次変更し、前記量子化誤差が減少から増加に転じた場合に前記量子化誤差が最小になったと判定すること、を特徴とする請求項1に記載の情報処理装置。
- 前記位置設定部は、前記区切り位置の間隔が均等に設定された初期状態から、前記区切り位置を設定する処理を開始すること、を特徴とする請求項1ないし請求項5のいずれか1項に記載の情報処理装置。
- 前記位置設定部は、各変数の絶対値を用いて前記区切り位置を設定すること、を特徴とする請求項1ないし請求項6のいずれか1項に記載の情報処理装置。
- 前記位置設定部は、正負が区別された変数を用いて前記区切り位置を設定すること、を特徴とする請求項1ないし請求項6のいずれか1項に記載の情報処理装置。
- 前記位置設定部は、2のm乗個(mは1以上の自然数)に量子化する個数に対応する数の前記区切り位置を設定すること、を特徴とする請求項1ないし請求項8のいずれか1項に記載の情報処理装置。
- 前記情報処理装置は、前記ニューラルネットワークの入力側から計算を順次実行する順伝播処理と、前記ニューラルネットワークの出力側から計算を順次実行する逆伝播処理と、前記逆伝播処理の結果に基づいて変数を更新する更新処理とを含むバッチを繰り返し実行し、
前記位置設定部は、各バッチにおいて前記更新処理の後に、次のバッチで使用する前記区切り位置を設定すること、を特徴とする請求項1ないし請求項9のいずれか1項に記載の情報処理装置。 - 前記情報処理装置は、前記位置設定部により設定された前記区切り位置を用いて、前記ニューラルネットワークの推論で使用する変数を量子化すること、を特徴とする請求項1ないし請求項9のいずれか1項に記載の情報処理装置。
- ニューラルネットワークの計算を実行する情報処理装置による情報処理方法であって、
前記計算に使用する変数を量子化する場合の区切り位置を順次変更し、前記区切り位置の変更毎に量子化前後の変数の差分に基づく量子化誤差を算出し、前記量子化誤差が最小になる前記区切り位置を量子化に使用する前記区切り位置に設定し、
設定した前記区切り位置に基づいて変数を量子化すること、を特徴とする情報処理方法。 - ニューラルネットワークの計算を実行する情報処理装置が実行する情報処理プログラムであって、
前記情報処理装置に、
前記計算に使用する変数を量子化する場合の区切り位置を順次変更し、前記区切り位置の変更毎に量子化前後の変数の差分に基づく量子化誤差を算出し、前記量子化誤差が最小になる前記区切り位置を量子化に使用する前記区切り位置に設定させ、
設定した前記区切り位置に基づいて変数を量子化させること、を特徴とする情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080454A JP7298266B2 (ja) | 2019-04-19 | 2019-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
EP20166174.1A EP3726372B1 (en) | 2019-04-19 | 2020-03-27 | Information processing device, information processing method, and information processing program |
US16/840,601 US11675567B2 (en) | 2019-04-19 | 2020-04-06 | Quantization device, quantization method, and recording medium |
CN202010285832.8A CN111831251A (zh) | 2019-04-19 | 2020-04-13 | 信息处理设备、信息处理方法及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080454A JP7298266B2 (ja) | 2019-04-19 | 2019-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020177535A JP2020177535A (ja) | 2020-10-29 |
JP7298266B2 true JP7298266B2 (ja) | 2023-06-27 |
Family
ID=70056859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080454A Active JP7298266B2 (ja) | 2019-04-19 | 2019-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11675567B2 (ja) |
EP (1) | EP3726372B1 (ja) |
JP (1) | JP7298266B2 (ja) |
CN (1) | CN111831251A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022075307A (ja) * | 2020-11-06 | 2022-05-18 | キオクシア株式会社 | 演算デバイス、計算機システム、及び演算方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180107925A1 (en) | 2016-10-19 | 2018-04-19 | Samsung Electronics Co., Ltd. | Method and apparatus for neural network quantization |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3183944B2 (ja) | 1992-04-24 | 2001-07-09 | オリンパス光学工業株式会社 | 音声符号化装置 |
US5432883A (en) | 1992-04-24 | 1995-07-11 | Olympus Optical Co., Ltd. | Voice coding apparatus with synthesized speech LPC code book |
JP2000200098A (ja) | 1999-01-07 | 2000-07-18 | Sony Corp | 学習装置および学習方法、並びに認識装置および認識方法 |
JP5310614B2 (ja) * | 2010-03-17 | 2013-10-09 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 |
JP2012221187A (ja) * | 2011-04-08 | 2012-11-12 | Fujitsu Ltd | 演算回路、演算処理装置、及び演算回路の制御方法 |
CN105760933A (zh) * | 2016-02-18 | 2016-07-13 | 清华大学 | 卷积神经网络的逐层变精度定点化方法及装置 |
US20180107926A1 (en) * | 2016-10-19 | 2018-04-19 | Samsung Electronics Co., Ltd. | Method and apparatus for neural network quantization |
CN106845640A (zh) * | 2017-01-12 | 2017-06-13 | 南京大学 | 基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 |
CN106897734A (zh) * | 2017-01-12 | 2017-06-27 | 南京大学 | 基于深度卷积神经网络的层内非均匀的k平均聚类定点量化方法 |
JP6293963B1 (ja) | 2017-08-31 | 2018-03-14 | Tdk株式会社 | ニューロモルフィック素子を含むアレイの制御装置、離散化ステップサイズの演算方法およびプログラム |
US11551077B2 (en) * | 2018-06-13 | 2023-01-10 | International Business Machines Corporation | Statistics-aware weight quantization |
-
2019
- 2019-04-19 JP JP2019080454A patent/JP7298266B2/ja active Active
-
2020
- 2020-03-27 EP EP20166174.1A patent/EP3726372B1/en active Active
- 2020-04-06 US US16/840,601 patent/US11675567B2/en active Active
- 2020-04-13 CN CN202010285832.8A patent/CN111831251A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180107925A1 (en) | 2016-10-19 | 2018-04-19 | Samsung Electronics Co., Ltd. | Method and apparatus for neural network quantization |
Non-Patent Citations (1)
Title |
---|
Fengfu Li et al.,"Ternary weight networks",arXiv.org [online],arXiv:1605.04711v2,米国,Cornell University,2016年11月,pp.1-5,[令和4年11月15日 検索], インターネット:<URL:https://arxiv.org/abs/1605.04711v2> |
Also Published As
Publication number | Publication date |
---|---|
EP3726372B1 (en) | 2022-02-16 |
US11675567B2 (en) | 2023-06-13 |
US20200334521A1 (en) | 2020-10-22 |
EP3726372A1 (en) | 2020-10-21 |
JP2020177535A (ja) | 2020-10-29 |
CN111831251A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11043962B2 (en) | Information processing apparatus, information processing method, and recording medium | |
EP3474132B1 (en) | Arithmetic processor, arithmetic processing apparatus including arithmetic processor, information processing apparatus including arithmetic processing apparatus, and control method for arithmetic processing apparatus | |
CN110222821B (zh) | 基于权重分布的卷积神经网络低位宽量化方法 | |
Carmichael et al. | Deep positron: A deep neural network using the posit number system | |
US11734568B2 (en) | Systems and methods for modification of neural networks based on estimated edge utility | |
CN110969251B (zh) | 基于无标签数据的神经网络模型量化方法及装置 | |
JP6540841B1 (ja) | 演算処理装置、情報処理装置、情報処理方法、およびプログラム | |
KR20200004700A (ko) | 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치 | |
JP7298266B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN114626516A (zh) | 一种基于对数块浮点量化的神经网络加速系统 | |
CN114462591A (zh) | 一种动态量化神经网络的推理方法 | |
CN113902109A (zh) | 一种神经网络规则化位串行计算的压缩方法及装置 | |
EP3796233A1 (en) | Information processing device and method, and program | |
US20210097397A1 (en) | Information processing apparatus and information processing method | |
JP7294017B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2021246892A1 (en) | Method for training an artificial neural network comprising quantized parameters | |
US20210216867A1 (en) | Information processing apparatus, neural network computation program, and neural network computation method | |
Kalali et al. | A power-efficient parameter quantization technique for CNN accelerators | |
CN110852361B (zh) | 基于改进深度神经网络的图像分类方法、装置与电子设备 | |
KR20210138382A (ko) | 뉴럴 네트워크에서의 다중 레벨 단계적 양자화 방법 및 장치 | |
CN114386469A (zh) | 一种对卷积神经网络模型量化的方法、装置及电子设备 | |
TWI846454B (zh) | 用於深度學習網路的優化方法及運算系統 | |
CN112596912B (zh) | 二值或三值神经网络卷积计算的加速运算方法及装置 | |
US20220147821A1 (en) | Computing device, computer system, and computing method | |
Athar | An Overview of Datatype Quantization Techniques for Convolutional Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7298266 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |