WO2019091020A1 - 权重数据存储方法和基于该方法的神经网络处理器 - Google Patents

权重数据存储方法和基于该方法的神经网络处理器 Download PDF

Info

Publication number
WO2019091020A1
WO2019091020A1 PCT/CN2018/077516 CN2018077516W WO2019091020A1 WO 2019091020 A1 WO2019091020 A1 WO 2019091020A1 CN 2018077516 W CN2018077516 W CN 2018077516W WO 2019091020 A1 WO2019091020 A1 WO 2019091020A1
Authority
WO
WIPO (PCT)
Prior art keywords
weight
effective weight
effective
index
sub
Prior art date
Application number
PCT/CN2018/077516
Other languages
English (en)
French (fr)
Inventor
韩银和
闵丰
许浩博
王颖
Original Assignee
中国科学院计算技术研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院计算技术研究所 filed Critical 中国科学院计算技术研究所
Priority to JP2020524354A priority Critical patent/JP7052034B2/ja
Priority to US16/762,810 priority patent/US11531889B2/en
Publication of WO2019091020A1 publication Critical patent/WO2019091020A1/zh
Priority to IL274535A priority patent/IL274535A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to the field of computer learning technologies, and in particular, to a weight data storage method and a neural network processor based thereon.
  • Deep neural network is one of the highest level of perceptual models in the field of artificial intelligence. It simulates the neural connection structure of the human brain by modeling, and describes the data features through multiple transformation stages, such as images, video and audio. Large-scale data processing tasks have brought about breakthroughs.
  • the deep neural network model is an operational model consisting of a large number of nodes through a mesh interconnect structure called nodes. The strength of the connection between every two nodes represents the weighted weight, ie the weight, between the two nodes through the connection signal, corresponding to the memory in the human neural network.
  • the neural network has problems such as slow processing speed and large operating power consumption. This is because deep learning techniques rely on a large amount of computation.
  • weight data in the neural network needs to be calculated repeatedly by iterative calculation in massive data.
  • the neural network also needs a very short response.
  • the processing of the input data is done in time (usually in the order of milliseconds), especially when the neural network is applied to a real-time system, for example, in the field of automatic driving.
  • the calculations involved in the neural network mainly include convolution operations, activation operations, and pooling operations, etc., in which convolution operations and pooling operations occupy most of the time of neural network processing.
  • the object of the present invention is to overcome the above drawbacks of the prior art and to provide a weight data storage.

Abstract

一种神经网络中的权重数据存储方法和卷积计算方法。所述权重存储方法包括：查找权重卷积核矩阵中的有效权重并获取有效权重索引，其中，所述有效权重是非零权重，所述有效权重索引用于标记所述有效权重在所述权重卷积核矩阵中的位置；存储所述有效权重以及所述有效权重索引。根据本权重数据存储方法和卷积计算方法能够节省存储空间并提高计算效率。

Description

权重数据存储方法和基于该方法的神经网络处理器 技术领域
本发明涉及计算机学习技术领域，尤其涉及一种权重数据存储方法和基于该方法的神经网络处理器。
背景技术
近年来，深度学习技术得到了飞速发展，在解决高级抽象认知问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用，成为学术界和工业界的研究热点。
深度神经网络是人工智能领域具有最高发展水平的感知模型之一，其通过建立模型来模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来突破性进展。深度神经网络模型是一种运算模型，由大量节点通过网状互连结构构成，这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权重，即权重，与人类神经网络中的记忆相对应。
然而，在现有技术中，神经网络存在处理速度慢，运行功耗大等问题。这是由于深度学习技术依赖于极大的计算量，例如，在训练阶段，需要在海量数据中通过反复迭代计算得到神经网络中的权重数据；在推理阶段，同样需要神经网络在极短的响应时间(通常为毫秒级)内完成对输入数据的运算处理，特别是当神经网络应用于实时系统时，例如，自动驾驶领域。神经网络中涉及的计算主要包括卷积操作、激活操作和池化操作等，其中，卷积操作和池化操作占用了神经网络处理的大部分时间。
因此，为了将神经网络推向更广泛应用，例如，智能穿戴、智能机器人、自动驾驶以及模式识别等领域，需要对现有技术进行改进，以实现数据处理的实时性、低功耗以及计算资源利用率的提升。
发明内容
本发明的目的在于克服上述现有技术的缺陷，提供一种权重数据存储

Claims (1)

  1. 方法和基于该方法的神经网络处理器。
    根据本发明的第一方面，提供了一种神经网络中的权重数据存储方法。该存储方法包括以下步骤：
    步骤1：查找权重卷积核矩阵中的有效权重并获取有效权重索引，其中，所述有效权重是非零权重，所述有效权重索引标记所述有效权重在所述权重卷积核矩阵中的位置；步骤2：存储所述有效权重以及所述有效权重索引。
    在一个实施例中，步骤1包括：
    步骤11：将所述权重卷积核矩阵扩展K*K的正方形矩阵以使所述正方形矩阵能被等分为P 2个子矩阵，其中P是大于等于2的整数；
    步骤12：将所述正方形矩阵等分为P 2个子矩阵；
    步骤13：对于所述P 2个子矩阵中包含有效权重的子矩阵进一步递归式等分，直到子矩阵仅包含一个权重，从而获得多级子矩阵；
    步骤14：对于所述多级子矩阵中包含有效权重的子矩阵，标记有效路径分支为比特值1，以获得所述有效权重索引。
    在一个实施例中，K取值为m n，m是大于等于2的整数，n是大于等于1的整数。
    在一个实施例中，在步骤1中，所述有效权重索引是所述有效权重在所述权重卷积核矩阵的行坐标和列坐标。
    根据本发明的第二方面，提供了一种神经网络中的卷积计算方法。该计算方法包括以下步骤：
    步骤41：获取根据本发明的权重数据存储方法所存储的有效权重以及有效权重索引；
    步骤42：根据所述有效权重索引获取与所述有效权重匹配的卷积域神经元；
    步骤43：执行所述有效权重和所述卷积域神经元的卷积操作。
    根据本发明的第三方面，提供了一种神经网络处理器。该处理器包括：
    用于存储本发明的权重数据存储方法获得的有效权重以及有效权重索引的权重和索引存储单元；
    用于根据所述有效权重索引获取与所述有效权重位置匹配的卷积域神经元的神经元索引单元；
    用于执行所述有效权重和所述卷积域神经元的卷积操作的计算阵列
PCT/CN2018/077516 2017-11-10 2018-02-28 权重数据存储方法和基于该方法的神经网络处理器 WO2019091020A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020524354A JP7052034B2 (ja) 2017-11-10 2018-02-28 重みデータの保存方法及びこの方法をベースとするニューラルネットワークプロセッサ
US16/762,810 US11531889B2 (en) 2017-11-10 2018-02-28 Weight data storage method and neural network processor based on the method
IL274535A IL274535A (en) 2017-11-10 2020-05-07 A method for storing weight data, and an artificial neural network processor based on the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711102821.6A CN107977704B (zh) 2017-11-10 2017-11-10 权重数据存储方法和基于该方法的神经网络处理器
CN201711102821.6 2017-11-10

Publications (1)

Publication Number Publication Date
WO2019091020A1 true WO2019091020A1 (zh) 2019-05-16

Family

ID=62013286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/077516 WO2019091020A1 (zh) 2017-11-10 2018-02-28 权重数据存储方法和基于该方法的神经网络处理器

Country Status (5)

Country Link
US (1) US11531889B2 (zh)
JP (1) JP7052034B2 (zh)
CN (1) CN107977704B (zh)
IL (1) IL274535A (zh)
WO (1) WO2019091020A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128658A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种神经网络处理方法、加速器及存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522254B (zh) * 2017-10-30 2022-04-12 上海寒武纪信息科技有限公司 运算装置及方法
KR102065672B1 (ko) * 2018-03-27 2020-01-13 에스케이텔레콤 주식회사 합성곱 연산을 위한 장치 및 방법
JP7240657B2 (ja) * 2018-05-15 2023-03-16 Ｔｏｋｙｏ Ａｒｔｉｓａｎ Ｉｎｔｅｌｌｉｇｅｎｃｅ株式会社 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム
CN108874914B (zh) * 2018-05-29 2021-11-02 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法
CN113190791A (zh) * 2018-08-06 2021-07-30 华为技术有限公司 矩阵的处理方法、装置及逻辑电路
CN110825311B (zh) * 2018-08-10 2023-04-18 昆仑芯(北京)科技有限公司 用于存储数据的方法和装置
US20210097647A1 (en) * 2018-09-13 2021-04-01 Shanghai Cambrico Information Technology Co., Ltd. Information processing method and terminal device
CN110928576A (zh) * 2018-09-20 2020-03-27 中兴通讯股份有限公司 一种卷积神经网络的卷积处理方法、装置及存储介质
US11436482B2 (en) 2018-10-29 2022-09-06 Western Digital Technologies, Inc. Storing neural net works and weights for neural networks
CN109933654A (zh) * 2019-01-30 2019-06-25 神思电子技术股份有限公司 一种基于状态树的对话管理方法
US11562214B2 (en) * 2019-03-14 2023-01-24 Baidu Usa Llc Methods for improving AI engine MAC utilization
CN111695683B (zh) * 2019-03-15 2023-09-01 华邦电子股份有限公司 可执行人工智能运算的存储器芯片及其运算方法
CN110097172B (zh) * 2019-03-18 2021-10-29 中国科学院计算技术研究所 一种基于winograd卷积运算的卷积神经网络数据处理方法及装置
CN110378468B (zh) * 2019-07-08 2020-11-20 浙江大学 一种基于结构化剪枝和低比特量化的神经网络加速器
KR20210060024A (ko) * 2019-11-18 2021-05-26 에스케이하이닉스 주식회사 신경망 처리 회로를 포함하는 메모리 장치
CN111242277B (zh) * 2019-12-27 2023-05-05 中国电子科技集团公司第五十二研究所 一种基于fpga设计的支持稀疏剪枝的卷积神经网络加速器
CN111260037B (zh) * 2020-02-11 2023-10-13 深圳云天励飞技术股份有限公司 图像数据的卷积运算方法、装置、电子设备及存储介质
CN111368981B (zh) * 2020-03-06 2021-07-09 上海新氦类脑智能科技有限公司 减小突触连接的存储面积的方法、装置、设备和存储介质
CN113822410A (zh) * 2020-06-18 2021-12-21 华为技术有限公司 神经网络模型训练、图像分类、文本翻译方法及装置、设备
CN111553471A (zh) * 2020-07-13 2020-08-18 北京欣奕华数字科技有限公司 一种数据分析处理方法及装置
CN113220606B (zh) * 2021-05-07 2021-11-26 珠海市芯动力科技有限公司 神经网络权值存储方法、读取方法及相关设备
CN114527930B (zh) * 2021-05-27 2024-01-30 北京灵汐科技有限公司 权重矩阵数据存储方法、数据获取方法和装置、电子设备
WO2022247908A1 (zh) * 2021-05-27 2022-12-01 北京灵汐科技有限公司 权重矩阵的数据存储方法、数据获取方法及装置、设备
CN113688983A (zh) * 2021-08-09 2021-11-23 上海新氦类脑智能科技有限公司 脉冲神经网络中减少权重储存的卷积运算实现方法、电路及终端
CN113704565B (zh) * 2021-10-28 2022-02-18 浙江大学 基于全局区间误差的学习型时空索引方法、装置及介质
CN116050469A (zh) * 2021-10-28 2023-05-02 华为技术有限公司 Ai模型的处理方法、运算方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447034A (zh) * 2016-10-27 2017-02-22 中国科学院计算技术研究所 一种基于数据压缩的神经网络处理器、设计方法、芯片
CN106951962A (zh) * 2017-03-22 2017-07-14 北京地平线信息技术有限公司 用于神经网络的复合运算单元、方法和电子设备
CN107239823A (zh) * 2016-08-12 2017-10-10 北京深鉴科技有限公司 一种用于实现稀疏神经网络的装置和方法
CN107729995A (zh) * 2017-10-31 2018-02-23 中国科学院计算技术研究所 用于加速神经网络处理器的方法和系统及神经网络处理器
CN107844829A (zh) * 2017-10-31 2018-03-27 中国科学院计算技术研究所 用于加速神经网络处理器的方法和系统及神经网络处理器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0219069A (ja) 1988-07-06 1990-01-23 Eiji Kawaguchi ２値画像符号化方式
US10061748B2 (en) * 2015-12-11 2018-08-28 Sap Se Adaptive tile matrix representation and multiplication
US20170249547A1 (en) * 2016-02-26 2017-08-31 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Holistic Extraction of Features from Neural Networks
JP6950675B2 (ja) 2016-03-09 2021-10-13 日本電気株式会社 情報処理装置、情報処理方法、データ構造およびプログラム
CN107239825B (zh) * 2016-08-22 2021-04-09 赛灵思电子科技(北京)有限公司 考虑负载均衡的深度神经网络压缩方法
CN106529670B (zh) * 2016-10-27 2019-01-25 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
CN106650924B (zh) * 2016-10-27 2019-05-14 中国科学院计算技术研究所 一种基于时间维和空间维数据流压缩的处理器、设计方法
CN107239824A (zh) * 2016-12-05 2017-10-10 北京深鉴智能科技有限公司 用于实现稀疏卷积神经网络加速器的装置和方法
US10515302B2 (en) * 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
CN107153873B (zh) * 2017-05-08 2018-06-01 中国科学院计算技术研究所 一种二值卷积神经网络处理器及其使用方法
CN107292352B (zh) * 2017-08-07 2020-06-02 北京中星微人工智能芯片技术有限公司 基于卷积神经网络的图像分类方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239823A (zh) * 2016-08-12 2017-10-10 北京深鉴科技有限公司 一种用于实现稀疏神经网络的装置和方法
CN106447034A (zh) * 2016-10-27 2017-02-22 中国科学院计算技术研究所 一种基于数据压缩的神经网络处理器、设计方法、芯片
CN106951962A (zh) * 2017-03-22 2017-07-14 北京地平线信息技术有限公司 用于神经网络的复合运算单元、方法和电子设备
CN107729995A (zh) * 2017-10-31 2018-02-23 中国科学院计算技术研究所 用于加速神经网络处理器的方法和系统及神经网络处理器
CN107844829A (zh) * 2017-10-31 2018-03-27 中国科学院计算技术研究所 用于加速神经网络处理器的方法和系统及神经网络处理器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128658A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种神经网络处理方法、加速器及存储介质

Also Published As

Publication number Publication date
CN107977704A (zh) 2018-05-01
CN107977704B (zh) 2020-07-31
JP7052034B2 (ja) 2022-04-11
US20210182666A1 (en) 2021-06-17
US11531889B2 (en) 2022-12-20
IL274535A (en) 2020-06-30
JP2021503644A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
WO2019091020A1 (zh) 权重数据存储方法和基于该方法的神经网络处理器
US11875268B2 (en) Object recognition with reduced neural network weight precision
WO2021159714A1 (zh) 一种数据处理方法及相关设备
US20180018555A1 (en) System and method for building artificial neural network architectures
CA2839279C (en) Method and apparatus for a local competitive learning rule that leads to sparse connectivity
Wang et al. General-purpose LSM learning processor architecture and theoretically guided design space exploration
Dai et al. Incremental learning using a grow-and-prune paradigm with efficient neural networks
CN112541159A (zh) 一种模型训练方法及相关设备
CN110781686B (zh) 一种语句相似度计算方法、装置及计算机设备
CN108171328B (zh) 一种神经网络处理器和采用其执行的卷积运算方法
CN109522432B (zh) 一种融合自适应相似度和贝叶斯框架的图像检索方法
CN112508190A (zh) 结构化稀疏参数的处理方法、装置、设备及存储介质
CN116644804B (zh) 分布式训练系统、神经网络模型训练方法、设备和介质
CN114241230A (zh) 目标检测模型剪枝方法和目标检测方法
CN114925320B (zh) 一种数据处理方法及相关装置
Du et al. Efficient network construction through structural plasticity
WO2020195940A1 (ja) ニューラルネットワークのモデル縮約装置
WO2019200548A1 (zh) 网络模型编译器及相关产品
JP7462206B2 (ja) 学習装置、学習方法、及び学習プログラム
CN110852361B (zh) 基于改进深度神经网络的图像分类方法、装置与电子设备
US20230289563A1 (en) Multi-node neural network constructed from pre-trained small networks
CN111144583B (zh) 一种基于神经集群的无监督学习方法
Zin Using auto-associative neural networks to compress and visualize multidimensional data
CN116306771A (zh) 一种模型训练方法及其相关设备
CN115730219A (zh) 二进制函数相似性检测方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18875739

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020524354

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18875739

Country of ref document: EP

Kind code of ref document: A1