JP7349835B2 - ニューラルネットワークにおいてパラメータを処理する方法及び装置 - Google Patents
ニューラルネットワークにおいてパラメータを処理する方法及び装置 Download PDFInfo
- Publication number
- JP7349835B2 JP7349835B2 JP2019124747A JP2019124747A JP7349835B2 JP 7349835 B2 JP7349835 B2 JP 7349835B2 JP 2019124747 A JP2019124747 A JP 2019124747A JP 2019124747 A JP2019124747 A JP 2019124747A JP 7349835 B2 JP7349835 B2 JP 7349835B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- values
- gradient
- neural network
- bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 306
- 238000000034 method Methods 0.000 title claims description 98
- 238000012545 processing Methods 0.000 title claims description 29
- 230000001186 cumulative effect Effects 0.000 claims description 72
- 230000015654 memory Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 34
- 238000010586 diagram Methods 0.000 description 28
- 238000007667 floating Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 230000004913 activation Effects 0.000 description 18
- 238000001994 activation Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 12
- 238000011478 gradient descent method Methods 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/50—Adding; Subtracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Neurology (AREA)
- Nonlinear Science (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Complex Calculations (AREA)
- Machine Translation (AREA)
Description
図2に図示されているように、2番目レイヤ(Layer 2)の最初ノードCH1のアクティベーションは、a2 1とも表現される。また、a2 1は、数式(1)により、
a2 1=σ(w2 1,1×a1 1+w2 1,2×a1 2+b2 1)
の値を有することができる。ただし、前述の数式(1)は、ニューラルネットワーク2において、データを処理するために利用されるアクティベーション、ウェート及びバイアスについて説明するための例示であるのみ、それに制限されるものではない。該アクティベーションは、以前レイヤから受信されたアクティベーションの加重値和(weighted sum)をsigmoid関数やReLU(Rectified Linear Unit)関数などのアクティベーション関数に通過させることによって獲得された値でもある。
特に、損失関数(J(θ))を計算するとき、全体学習データを使用することを、batch gradient descentと言うが、その場合、過度に多くの計算量が必要である。それを防止するために、全体データ(batch)の代わりに、一部小データの集まり(mini-batch)についてのみ損失関数(J(θ))を計算するSGD(stochastic gradient descent)方法が使用される。
パラメータをアップデートするために計算されるη(∂L/∂θ)は、損失関数の勾配方向にパラメータを調整するためのグラジエントを意味する。例えば、パラメータがウェートであるとき、η(∂L/∂θ)は、ウェートをアップデートするために計算される個別グラジエント値でもある。
数式(7)で、L Accumulated gradient/threshold 」×thresholdは、有効グラジエント値であるので、累積バッファの累積グラジエント値は、以前累積グラジエント値から有効グラジエント値が減算された値でもある。
ニューラルネットワーク装置は、中間連結値1140及び調整された個別グラジエント値1112それぞれを加算器1100にマッピングすることができる。例えば、ニューラルネットワーク装置は、加算器1100の上位31ビット桁に、中間連結値1140をマッピングすることができる。その場合、加算器1100の最下位ビット桁も、パッディングされる。
11,21 ニューラルネットワーク
20 ニューラルネットワーク推論器
710 個別グラジエント値
720 残余グラジエント値
760 アップデートされたウェート
770 アップデートされたグラジエント値
1400 ニューラルネットワーク装置
1410 プロセッサ
1420 メモリ
Claims (17)
- 低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法において、
前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、
前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、
前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、
加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算する段階と、
前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む方法。 - 前記残余グラジエント値を計算する段階は、
前記累積グラジエント値のうち、前記ウェートのビット桁に合算可能な値を有効グラジエント値と決定する段階と、
前記累積グラジエント値から前記有効グラジエント値を減算することにより、前記残余グラジエント値を計算する段階と、を含むことを特徴とする請求項1に記載の方法。 - 前記個別グラジエント値を調整する段階は、
前記個別グラジエント値のうち、前記残余グラジエント値の最下位ビット桁未満の値が省略されるように、前記個別グラジエント値を量子化する段階と、
前記残余グラジエント値の最上位ビット桁に対応するビット桁まで値が存在するように、前記量子化された個別グラジエント値をパッディングする段階と、を含むことを特徴とする請求項1又は2に記載の方法。 - 前記合算する段階は、
前記加算器のビット数に基づいて、前記調整された個別グラジエント値及び前記残余グラジエント値を前記加算器にマッピングし、前記加算器を利用して中間合算値を計算する段階と、
前記加算器のビット数に基づいて、前記ウェートを前記加算器にマッピングし、前記加算器を利用し、前記中間合算値及び前記ウェートを合算する段階と、を含むことを特徴とする請求項1-3のうち何れか一項に記載の方法。 - 前記合算する段階は、
前記加算器の全てのビット桁に値がマッピングされるように、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートをパッディングする段階と、
前記加算器を利用し、前記パッディングされた個別グラジエント値、前記パッディングされた中間合算値、及び前記パッディングされたウェートを合算する段階と、を含むことを特徴とする請求項4に記載の方法。 - 前記アップデートする段階は、
前記ウェートのビット桁に対応する前記合算結果のビット桁の値を前記ウェートにアップデートし、前記ウェートのビット桁に対応しない前記合算結果のビット桁の値を前記残余グラジエント値にアップデートする段階を含むことを特徴とする請求項1-5のうち何れか一項に記載の方法。 - 前記方法は、
前記合算結果の最上位ビット(MSB)である符号ビットを獲得する段階と、
前記符号ビットが前記アップデートされたウェート、及び前記アップデートされた残余グラジエント値のうち少なくともいずれか1つの最上位ビットになるように追加する段階と、をさらに含むことを特徴とする請求項1-6のうち何れか一項に記載の方法。 - 低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法において、
前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、
前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、
前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、
前記残余グラジエント値から符号ビットを除外した残りの値を前記ウェートに連結し、中間連結値を計算する段階と、
加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算する段階と、
前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む方法。 - 前記残余グラジエント値を計算する段階は、
前記累積グラジエント値のうち、前記ウェートのビット桁に合算可能な値を有効グラジエント値と決定する段階と、
前記累積グラジエント値から前記有効グラジエント値を減算することにより、前記残余グラジエント値を計算する段階と、を含むことを特徴とする請求項8に記載の方法。 - 前記個別グラジエント値を調整する段階は、
前記個別グラジエント値のうち、前記残余グラジエント値の最下位ビット桁未満の値が省略されるように、前記個別グラジエント値を量子化する段階と、
前記残余グラジエント値の最上位ビット桁に対応するビット桁まで値が存在するように、前記量子化された個別グラジエント値をパッディングする段階と、を含むことを特徴とする請求項8又は9に記載の方法。 - 前記合算する段階は、
前記加算器のビット数に基づいて、前記調整された個別グラジエント値、及び前記中間連結値を前記加算器にマッピングし、前記加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算する段階を含むことを特徴とする請求項8-10のうち何れか一項に記載の方法。 - 前記合算する段階は、
前記加算器の全てのビット桁に値がマッピングされるように、前記調整された個別グラジエント値、及び前記中間連結値をパッディングする段階と、
前記加算器を利用し、前記パッディングされた個別グラジエント値、及び前記パッディングされた中間連結値を合算する段階と、を含むことを特徴とする請求項11に記載の方法。 - 前記アップデートする段階は、
前記ウェートのビット桁に対応する前記合算結果のビット桁の値を前記ウェートにアップデートし、前記ウェートのビット桁に対応しない前記合算結果のビット桁の値を前記残余グラジエント値にアップデートする段階と、を含むことを特徴とする請求項8-12のうち何れか一項に記載の方法。 - 前記方法は、
前記合算結果の最上位ビット(MSB)である符号ビットを獲得する段階と、
前記符号ビットが前記アップデートされたウェート、及び前記アップデートされた残余グラジエント値のうち少なくともいずれか1つの最上位ビットになるように追加する段階と、をさらに含むことを特徴とする請求項8-13のうち何れか一項に記載の方法。 - 低精度ナンバーシステムを利用するニューラルネットワークを実施する装置において、
少なくとも1つのプログラムが保存されたメモリと、
前記少なくとも1つのプログラムを実行することにより、前記ニューラルネットワークにおいて、パラメータを処理する少なくとも1つのプロセッサと、を含み、
前記少なくとも1つのプロセッサは、
前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算し、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算し、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整し、加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算し、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする装置。 - 低精度ナンバーシステムを利用するニューラルネットワークを実施する装置において、
少なくとも1つのプログラムが保存されたメモリと、
前記少なくとも1つのプログラムを実行することにより、前記ニューラルネットワークにおいて、パラメータを処理する少なくとも1つのプロセッサと、を含み、
前記少なくとも1つのプロセッサは、
前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算し、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算し、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整し、前記残余グラジエント値から符号ビットを除外した残りの値を前記ウェートに連結し、中間連結値を計算し、加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算し、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする装置。 - 請求項1ないし8のうちいずれか1項に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180077894A KR20200004700A (ko) | 2018-07-04 | 2018-07-04 | 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치 |
KR10-2018-0077894 | 2018-07-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009444A JP2020009444A (ja) | 2020-01-16 |
JP7349835B2 true JP7349835B2 (ja) | 2023-09-25 |
Family
ID=65443702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124747A Active JP7349835B2 (ja) | 2018-07-04 | 2019-07-03 | ニューラルネットワークにおいてパラメータを処理する方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200012936A1 (ja) |
EP (1) | EP3591583B1 (ja) |
JP (1) | JP7349835B2 (ja) |
KR (1) | KR20200004700A (ja) |
CN (1) | CN110689109B (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
AU2019357615B2 (en) | 2018-10-11 | 2023-09-14 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US10769529B2 (en) * | 2018-12-04 | 2020-09-08 | Google Llc | Controlled adaptive optimization |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US10776721B1 (en) * | 2019-07-25 | 2020-09-15 | Sas Institute Inc. | Accelerating configuration of machine-learning models |
US20210064985A1 (en) | 2019-09-03 | 2021-03-04 | International Business Machines Corporation | Machine learning hardware having reduced precision parameter components for efficient parameter update |
JP7453563B2 (ja) * | 2020-01-10 | 2024-03-21 | 富士通株式会社 | ニューラルネットワークシステム、ニューラルネットワークの学習方法及びニューラルネットワークの学習プログラム |
US11468325B2 (en) * | 2020-03-30 | 2022-10-11 | Amazon Technologies, Inc. | Multi-model training pipeline in distributed systems |
US11651228B2 (en) * | 2020-04-17 | 2023-05-16 | Microsoft Technology Licensing, Llc | Dual-momentum gradient optimization with reduced memory requirements |
US20220244916A1 (en) * | 2021-01-29 | 2022-08-04 | Taiwan Semiconductor Manufacturing Company, Ltd. | Compute in memory |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5333239A (en) * | 1988-09-12 | 1994-07-26 | Fujitsu Limited | Learning process system for use with a neural network structure data processing apparatus |
JPH0784975A (ja) * | 1993-09-10 | 1995-03-31 | Hitachi Ltd | 情報処理装置および学習演算処理方法 |
US6418378B1 (en) * | 2000-06-26 | 2002-07-09 | Westerngeco, L.L.C. | Neural net prediction of seismic streamer shape |
US7219118B2 (en) * | 2001-11-06 | 2007-05-15 | Broadcom Corporation | SIMD addition circuit |
US10607226B2 (en) * | 2015-04-14 | 2020-03-31 | Samsung Electronics Co., Ltd. | System and method for fraud detection in a mobile device |
CN106297774B (zh) * | 2015-05-29 | 2019-07-09 | 中国科学院声学研究所 | 一种神经网络声学模型的分布式并行训练方法及系统 |
CN105160249B (zh) * | 2015-07-02 | 2018-10-26 | 哈尔滨工程大学 | 一种基于改进的神经网络集成的病毒检测方法 |
CN106796668B (zh) * | 2016-03-16 | 2019-06-14 | 香港应用科技研究院有限公司 | 用于人工神经网络中比特深度减少的方法和系统 |
EP3444758B1 (en) * | 2016-04-15 | 2021-11-17 | Cambricon Technologies Corporation Limited | Discrete data representation-supporting apparatus and method for back-training of artificial neural network |
US11321609B2 (en) * | 2016-10-19 | 2022-05-03 | Samsung Electronics Co., Ltd | Method and apparatus for neural network quantization |
CN107797962B (zh) * | 2017-10-17 | 2021-04-16 | 清华大学 | 基于神经网络的计算阵列 |
-
2018
- 2018-07-04 KR KR1020180077894A patent/KR20200004700A/ko active IP Right Grant
-
2019
- 2019-01-16 US US16/249,279 patent/US20200012936A1/en active Pending
- 2019-02-15 EP EP19157353.4A patent/EP3591583B1/en active Active
- 2019-06-25 CN CN201910558887.9A patent/CN110689109B/zh active Active
- 2019-07-03 JP JP2019124747A patent/JP7349835B2/ja active Active
Non-Patent Citations (1)
Title |
---|
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training,arXiv[online],2017年12月07日,https://doi.org/10.48550/arXiv.1712.02679 |
Also Published As
Publication number | Publication date |
---|---|
KR20200004700A (ko) | 2020-01-14 |
CN110689109B (zh) | 2024-04-12 |
JP2020009444A (ja) | 2020-01-16 |
EP3591583B1 (en) | 2022-01-12 |
CN110689109A (zh) | 2020-01-14 |
US20200012936A1 (en) | 2020-01-09 |
EP3591583A1 (en) | 2020-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7349835B2 (ja) | ニューラルネットワークにおいてパラメータを処理する方法及び装置 | |
JP7296709B2 (ja) | ニューラルネットワークのパラメータを量子化する装置及びその方法 | |
JP7072484B2 (ja) | パラメータ処理方法及び装置 | |
US11373087B2 (en) | Method and apparatus for generating fixed-point type neural network | |
JP7325158B2 (ja) | ニューラル・ネットワーク・コアにおける動的精度のためのデータ表現 | |
US20210004663A1 (en) | Neural network device and method of quantizing parameters of neural network | |
KR102562320B1 (ko) | 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치 | |
JP7117280B2 (ja) | ニューラルネットワークのパラメータを量子化する方法及びその装置 | |
US11915128B2 (en) | Neural network circuit device, neural network processing method, and neural network execution program | |
KR20200086581A (ko) | 뉴럴 네트워크 양자화를 위한 방법 및 장치 | |
US11657285B2 (en) | Methods, systems, and media for random semi-structured row-wise pruning in neural networks | |
KR20190130443A (ko) | 뉴럴 네트워크의 양자화 방법 및 장치 | |
CN112640037A (zh) | 学习装置、推理装置、学习模型的生成方法及推理方法 | |
KR20190089685A (ko) | 데이터를 처리하는 방법 및 장치 | |
KR102384588B1 (ko) | 신경망 연산방법 및 신경망 가중치 생성방법 | |
KR20200135059A (ko) | 데이터를 처리하는 방법 및 장치 | |
JP7506276B2 (ja) | 半導体ハードウェアにおいてニューラルネットワークを処理するための実装および方法 | |
KR20220040234A (ko) | 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치 | |
JP2023505237A (ja) | 柔軟な精度のニューラル推論処理ユニット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7349835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |