JP7117280B2 - ニューラルネットワークのパラメータを量子化する方法及びその装置 - Google Patents
ニューラルネットワークのパラメータを量子化する方法及びその装置 Download PDFInfo
- Publication number
- JP7117280B2 JP7117280B2 JP2019189522A JP2019189522A JP7117280B2 JP 7117280 B2 JP7117280 B2 JP 7117280B2 JP 2019189522 A JP2019189522 A JP 2019189522A JP 2019189522 A JP2019189522 A JP 2019189522A JP 7117280 B2 JP7117280 B2 JP 7117280B2
- Authority
- JP
- Japan
- Prior art keywords
- parameters
- fixed
- point format
- parameter
- bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
該ニューラルネットワーク装置は、入力データに対する多量の演算を行う。そのようなニューラルネットワーク演算を効率的に処理することができる技術が研究されている。
の値を有することができる。ただし、前述の数式(1)は、ニューラルネットワークにおいてデータを処理するために利用されるアクチベーション及び重みについて説明するための例示であるのみ、それに制限されるものではない。該アクチベーションは、以前レイヤから受信されたアクチベーションの加重和に、活性化を適用した値をして、ReLU(rectified linear unit)を通過させることによって獲得された値でもある。
図3Bを参照すれば、固定小数点形式のパラメータ35は、符号ビット315、整数部325、小数部335及び小数点345によっても構成される。固定小数点は、小数点を使用して固定された桁数の少数を示す表記法を意味する。
10 ニューラルネットワーク学習器
11 学習させられたニューラルネットワーク
20 ニューラルネットワーク推論器
21 量子化されたニューラルネットワーク
30 パラメータ
100,1230 ニューラルネットワーク装置
110,1210 プロセッサ
120,1240 メモリ
1200 電子システム
1220 RAM
1250 センサモジュール
1260 通信モジュール
Claims (17)
- ニューラルネットワークのパラメータを量子化する方法において、
パラメータそれぞれに対して、前記パラメータを量子化するための固定小数点形式のビット範囲を外れる程度を示すビットシフト値を計算する段階と、
前記パラメータのビットシフト値を利用し、前記固定小数点形式をアップデートする段階と、
アップデートされた固定小数点形式により、学習過程または推論過程でアップデートされたパラメータを量子化する段階と、を含み、
前記計算する段階は、
前記パラメータそれぞれについて、「1」値を有する最上位ビットを検出する段階と、
前記パラメータそれぞれについて、前記検出された最上位ビットと、前記固定小数点形式の整数部の最上位ビットとのビット数差をビットシフト値として決定する段階と、を含む、方法。 - 前記検出する段階は、
前記パラメータそれぞれについて、前記固定小数点形式の整数部の最上位ビットを基準に、所定の範囲内ビットを検索し、前記「1」値を有する最上位ビットを検出することを特徴とする請求項1に記載の方法。 - 前記アップデートする段階は、
前記ビットシフト値から、オーバーフローの発生回数及び最大ビットシフト値を決定する段階と、
前記オーバーフローの発生回数及び前記最大ビットシフト値を利用し、前記固定小数点形式をアップデートする段階と、を含むことを特徴とする請求項1乃至2のいずれか一項に記載の方法。 - 前記アップデートする段階は、
前記オーバーフローの発生回数が所定の値より多い場合、
前記固定小数点形式の小数部長を前記最大ビットシフト値ほど減少され、前記固定小数点形式をアップデートすることを特徴とする請求項3に記載の方法。 - 前記所定の値は、前記パラメータの個数に基づいて決定されることを特徴とする請求項4に記載の方法。
- 前記アップデートされたパラメータは、
(t+1)番目の学習過程または推論過程でアップデートされたパラメータであり、
前記パラメータは、
t番目の学習過程または推論過程でアップデートされたパラメータであり、
前記固定小数点形式は、
(t-1)番目の学習過程または推論過程でアップデートされたパラメータに基づいてアップデートされた固定小数点形式であり、
tは、2以上の自然数であることを特徴とする請求項1乃至5のいずれか一項に記載の方法。 - 前記計算する段階は、
前記固定小数点形式により、前記パラメータを量子化する過程において、前記パラメータそれぞれに係わるビットシフト値を計算することを特徴とする請求項1乃至6のいずれか一項に記載の方法。 - 前記パラメータは、
前記ニューラルネットワーク内の同一レイヤ上の重みまたはアクチベーションであることを特徴とする請求項1乃至7のいずれか一項に記載の方法。 - 請求項1乃至8のうちいずれか一項に記載の方法をコンピュータに実行させるプログラム。
- ニューラルネットワークのパラメータを量子化する装置において、
少なくとも1つのプログラムを保存するメモリと、
前記少なくとも1つのプログラムを実行することにより、パラメータそれぞれについて、前記パラメータを量子化するための固定小数点形式のビット範囲を外れる程度を示すビットシフト値を計算し、前記パラメータのビットシフト値を利用し、前記固定小数点形式をアップデートし、アップデートされた固定小数点形式により、学習過程または推論過程でアップデートされたパラメータを量子化するプロセッサと、を含み、
前記プロセッサは、
前記パラメータそれぞれについて、「1」値を有する最上位ビットを検出し、
前記パラメータそれぞれについて、前記検出された最上位ビットと、前記固定小数点形式の整数部の最上位ビットとのビット数差を、ビットシフト値として決定する、装置。 - 前記プロセッサは、
前記固定小数点形式の整数部の最上位ビットを基準に、所定の範囲内ビットを検索し、前記「1」値を有する最上位ビットを検出することを特徴とする請求項10に記載の装置。 - 前記プロセッサは、
前記ビットシフト値から、オーバーフローの発生回数及び最大ビットシフト値を決定し、
前記オーバーフローの発生回数及び前記最大ビットシフト値を利用し、前記固定小数点形式をアップデートすることを特徴とする請求項10乃至11のいずれか一項に記載の装置。 - 前記プロセッサは、
前記オーバーフローの発生回数が所定の値より多い場合、
前記固定小数点形式の小数部長を前記最大ビットシフト値ほど減少させ、前記固定小数点形式をアップデートすることを特徴とする請求項12に記載の装置。 - 前記所定の値は、前記パラメータの個数に基づいて決定されることを特徴とする請求項13に記載の装置。
- 前記アップデートされたパラメータは、
(t+1)番目の学習過程または推論過程でアップデートされたパラメータであり、
前記パラメータは、
t番目の学習過程または推論過程でアップデートされたパラメータであり、
前記固定小数点形式は、
(t-1)番目の学習過程または推論過程でアップデートされたパラメータに基づいてアップデートされた固定小数点形式であり、
tは、2以上の自然数であることを特徴とする請求項10乃至14のいずれか一項に記載の装置。 - 前記固定小数点形式により、前記パラメータを量子化する過程において、前記パラメータそれぞれに係わるビットシフト値を計算することを特徴とする請求項10乃至15のいずれか一項に記載の装置。
- 前記パラメータは、
前記ニューラルネットワーク内の同一レイヤ上の重みまたはアクチベーションであることを特徴とする請求項10乃至16のいずれか一項に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0123927 | 2018-10-17 | ||
KR1020180123927A KR20200043169A (ko) | 2018-10-17 | 2018-10-17 | 뉴럴 네트워크의 파라미터를 양자화하는 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020064635A JP2020064635A (ja) | 2020-04-23 |
JP7117280B2 true JP7117280B2 (ja) | 2022-08-12 |
Family
ID=67777176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019189522A Active JP7117280B2 (ja) | 2018-10-17 | 2019-10-16 | ニューラルネットワークのパラメータを量子化する方法及びその装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200125947A1 (ja) |
EP (1) | EP3640858A1 (ja) |
JP (1) | JP7117280B2 (ja) |
KR (1) | KR20200043169A (ja) |
CN (1) | CN111062475A (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6540725B2 (ja) * | 2017-01-30 | 2019-07-10 | 富士通株式会社 | 演算処理装置、方法、およびプログラム |
US10592799B1 (en) * | 2019-01-23 | 2020-03-17 | StradVision, Inc. | Determining FL value by using weighted quantization loss values to thereby quantize CNN parameters and feature values to be used for optimizing hardware applicable to mobile devices or compact networks with high precision |
US11676685B2 (en) | 2019-03-21 | 2023-06-13 | Illumina, Inc. | Artificial intelligence-based quality scoring |
US11210554B2 (en) | 2019-03-21 | 2021-12-28 | Illumina, Inc. | Artificial intelligence-based generation of sequencing metadata |
US11593649B2 (en) | 2019-05-16 | 2023-02-28 | Illumina, Inc. | Base calling using convolutions |
JP7272121B2 (ja) * | 2019-06-07 | 2023-05-12 | 富士通株式会社 | 演算処理装置、制御方法、及び制御プログラム |
JP7371499B2 (ja) * | 2020-01-07 | 2023-10-31 | 富士通株式会社 | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム |
JP2021124849A (ja) * | 2020-02-04 | 2021-08-30 | 富士通株式会社 | 演算処理装置、演算処理装置の制御方法及び演算処理プログラム |
US11861467B2 (en) * | 2020-03-05 | 2024-01-02 | Qualcomm Incorporated | Adaptive quantization for execution of machine learning models |
EP4177795A4 (en) * | 2020-07-01 | 2024-03-20 | Nippon Telegraph & Telephone | DATA PROCESSING DEVICE AND DATA PROCESSING METHOD |
WO2022197754A1 (en) * | 2021-03-16 | 2022-09-22 | Illumina Software, Inc. | Neural network parameter quantization for base calling |
WO2022201352A1 (ja) * | 2021-03-24 | 2022-09-29 | 三菱電機株式会社 | 推論装置、推論方法、及び、推論プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170220929A1 (en) | 2014-09-09 | 2017-08-03 | Intel Corporation | Improved fixed point integer implementations for neural networks |
US20180107451A1 (en) | 2016-10-14 | 2018-04-19 | International Business Machines Corporation | Automatic scaling for fixed point implementation of deep neural networks |
WO2018140294A1 (en) | 2017-01-25 | 2018-08-02 | Microsoft Technology Licensing, Llc | Neural network based on fixed-point operations |
JP2018124681A (ja) | 2017-01-30 | 2018-08-09 | 富士通株式会社 | 演算処理装置、情報処理装置、方法、およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
KR101885258B1 (ko) * | 2010-05-14 | 2018-08-06 | 삼성전자주식회사 | 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
US20160328645A1 (en) * | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Reduced computational complexity for fixed point neural network |
US11222263B2 (en) * | 2016-07-28 | 2022-01-11 | Samsung Electronics Co., Ltd. | Neural network method and apparatus |
US10997492B2 (en) * | 2017-01-20 | 2021-05-04 | Nvidia Corporation | Automated methods for conversions to a lower precision data format |
CN108364061B (zh) * | 2018-02-13 | 2020-05-05 | 北京旷视科技有限公司 | 运算装置、运算执行设备及运算执行方法 |
JP7056225B2 (ja) * | 2018-02-26 | 2022-04-19 | 富士通株式会社 | 演算処理装置、情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-10-17 KR KR1020180123927A patent/KR20200043169A/ko unknown
-
2019
- 2019-05-30 US US16/426,744 patent/US20200125947A1/en active Pending
- 2019-08-28 EP EP19194053.5A patent/EP3640858A1/en active Pending
- 2019-08-30 CN CN201910822654.5A patent/CN111062475A/zh active Pending
- 2019-10-16 JP JP2019189522A patent/JP7117280B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170220929A1 (en) | 2014-09-09 | 2017-08-03 | Intel Corporation | Improved fixed point integer implementations for neural networks |
US20180107451A1 (en) | 2016-10-14 | 2018-04-19 | International Business Machines Corporation | Automatic scaling for fixed point implementation of deep neural networks |
WO2018140294A1 (en) | 2017-01-25 | 2018-08-02 | Microsoft Technology Licensing, Llc | Neural network based on fixed-point operations |
JP2018124681A (ja) | 2017-01-30 | 2018-08-09 | 富士通株式会社 | 演算処理装置、情報処理装置、方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3640858A1 (en) | 2020-04-22 |
KR20200043169A (ko) | 2020-04-27 |
JP2020064635A (ja) | 2020-04-23 |
US20200125947A1 (en) | 2020-04-23 |
CN111062475A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7117280B2 (ja) | ニューラルネットワークのパラメータを量子化する方法及びその装置 | |
JP7329455B2 (ja) | ニューラルネットワーク量子化のための方法及び装置 | |
CN109389219B (zh) | 用于对神经网络的参数进行量化的方法和装置 | |
KR102589303B1 (ko) | 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치 | |
JP7349835B2 (ja) | ニューラルネットワークにおいてパラメータを処理する方法及び装置 | |
KR102564456B1 (ko) | 뉴럴 네트워크의 파라미터를 양자화하는 장치 및 방법 | |
KR102526650B1 (ko) | 뉴럴 네트워크에서 데이터를 양자화하는 방법 및 장치 | |
KR20190052893A (ko) | 뉴럴 네트워크 연산을 위한 전처리 장치 및 방법 | |
KR20190125141A (ko) | 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치 | |
US11663451B2 (en) | Two-dimensional array-based neuromorphic processor and implementing method | |
KR20210083935A (ko) | 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치 | |
US20240086694A1 (en) | Neuromorphic method and apparatus with multi-bit neuromorphic operation | |
US11853869B2 (en) | Neural network apparatus and method of processing variable-resolution operation by the same | |
US20240112030A1 (en) | Neural network method and apparatus | |
CN112668381A (zh) | 用于识别图像的方法和设备 | |
KR20210085461A (ko) | 프로세싱 장치 및 프로세싱 장치에서 부동 소수점 연산을 처리하는 방법 | |
CN114358274A (zh) | 训练用于图像识别的神经网络的方法和设备 | |
KR102581471B1 (ko) | 분류를 위한 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치 | |
KR20210121946A (ko) | 뉴럴 네트워크 양자화를 위한 방법 및 장치 | |
KR20210053791A (ko) | 뉴럴 네트워크의 데이터를 처리하는 방법 및 장치 | |
KR20240035013A (ko) | 뉴럴 네트워크의 파라미터 양자화 방법 및 장치 | |
CN115204377A (zh) | 具有多位运算的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |