WO2022001364A1 - 一种提取数据特征的方法和相关装置 - Google Patents

一种提取数据特征的方法和相关装置 Download PDF

Info

Publication number
WO2022001364A1
WO2022001364A1 PCT/CN2021/092073 CN2021092073W WO2022001364A1 WO 2022001364 A1 WO2022001364 A1 WO 2022001364A1 CN 2021092073 W CN2021092073 W CN 2021092073W WO 2022001364 A1 WO2022001364 A1 WO 2022001364A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
parameter
feature
target
extracted
Prior art date
Application number
PCT/CN2021/092073
Other languages
English (en)
French (fr)
Inventor
韩凯
王云鹤
许春景
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP21834596.5A priority Critical patent/EP4170547A4/en
Publication of WO2022001364A1 publication Critical patent/WO2022001364A1/zh
Priority to US18/148,304 priority patent/US20230143985A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • FIG. 3 is an exemplary structural diagram of a convolutional neural network according to an embodiment of the present application.
  • the methods and apparatuses provided in the embodiments of the present application can be applied to image retrieval, album management, safe cities, human-computer interaction, and other scenarios that require image processing (eg, image classification or image recognition).
  • the images in the embodiments of this application may be static images (or referred to as static images) or dynamic images (or referred to as dynamic images).
  • the images in this application may be videos or dynamic pictures, or, The images in this application may also be still pictures or photographs.
  • the present application collectively refers to static images or dynamic images as images in the following embodiments.
  • the pixel value of the image can be a red-green-blue (RGB) color value, and the pixel value can be a long integer representing the color.
  • the pixel value is 256*Red+100*Green+76*Blue, where Blue represents the blue component, Green represents the green component, and Red represents the red component. In each color component, the smaller the value, the lower the brightness, and the larger the value, the higher the brightness.
  • the pixel values can be grayscale values.
  • the executing device may inversely quantize the weight parameter and the data respectively, and then perform the inverse quantization on the inverse quantized weight parameter based on the inverse quantized weight parameter. data for feature extraction.
  • the feature data calculated by the additive convolution operation is -26.
  • a bus interface unit (BIU) 510 is used to realize the interaction between the main CPU, the DMAC and the instruction fetch memory 509 through the bus.
  • the data obtained after the data input by the user is processed by other layers of the target neural network may be referred to as initial feature data to be extracted.
  • the data in the embodiments of the present application may be data in the form of images, texts, languages, and the like. Taking an image as an example, the first feature data to be extracted may be a sub-feature map of the image.
  • this step may be implemented by a preprocessing module of the execution device.
  • this step can be realized by the main CPU.
  • this step may be implemented by a computing module of the execution device.
  • this step can be realized by a neural network processor, and further, this step can be realized by the operation circuit 303, wherein the second feature extraction parameter can be stored in the weight In the memory, the second feature data to be extracted may be stored in the input memory.
  • the determining of the second feature data to be extracted according to the first feature data to be extracted may include: reading a second quantization parameter from the target memory, where the second quantization parameter is for the initial feature data to be extracted The quantization parameter used for the second quantization processing of the feature data; the inverse quantization is performed on the first feature data to be extracted according to the second quantization parameter to obtain the second feature data to be extracted.
  • An example of the arithmetic circuit in this implementation is the arithmetic circuit shown in FIG. 7 .
  • example computer program product 1300 is provided using signal bearing medium 1301 .
  • the signal bearing medium 1301 may include one or more program instructions 1302 that, when executed by one or more processors, may provide the functions, or portions thereof, described above with respect to the method shown in FIG. 10 .
  • one or more of the features of S1010 to S1050 may be undertaken by one or more instructions associated with the signal bearing medium 1301 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了人工智能领域中提取数据特征的方法和装置。本申请的技术方案中，采用加法卷积运算，基于量化后的特征提取参数提取量化后的数据中的目标特征，即计算量化后的特征提取参数和量化后的数据的差值的绝对值之和，以根据该和获取目标特征，这样可以在节省存储资源的同时还能节省计算资源，从而可以减小人工智能在资源受限的设备上的应用。此外，本申请还提出了使用相同的量化参数对特征提取参数和数据进行量化，这样，在对提取到的特征数据进行反量化时，可以基于该量化参数对特征数据进行反量化，从而可以在提高特征数据的精准度的同时还能降低计算复杂度，进而节省计算资源。进一步地，本申请还提供了用于实现该加法卷积运算的硬件装置。

Description

一种提取数据特征的方法和相关装置
本申请要求于2020年06月30日提交中国专利局、申请号为202010614694.3、申请名称为“一种提取数据特征的方法和相关装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能领域的数据计算技术，并且更具体地，涉及一种提取数据特征的方法和相关装置。
背景技术
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
神经网络(neural network，NN)作为人工智能的重要分支，是一种模仿动物神经网络行为特征进行信息处理的网络结构。神经网络的结构由大量的节点(或称神经元)相互联接构成，基于特定运算模型通过对输入信息进行学习和训练达到处理信息的目的。一个神经网络包括输入层、隐藏层及输出层，输入层负责接收输入信号，输出层负责输出神经网络的计算结果，隐藏层负责学习、训练等计算过程，是网络的记忆单元，隐藏层的记忆功能由权重矩阵来表征，通常每个神经元对应一个权重参数。
其中，卷积神经网络(convolutional neural network，CNN)是一种多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成，每个平面的多个神经元共享权重，通过权重共享可以降低神经网络中的参数数目。目前，在卷积神经网络中，处理器进行卷积操作通常是将输入信号与权重的卷积，转换为信号矩阵与权重矩阵之间的矩阵乘运算，以提取输入信号的特征信息。在具体矩阵乘运算时，对信号矩阵和权重矩阵进行分块处理，得到多个分形(Fractional)信号矩阵和分形权重矩阵，然后对多个分形信号矩阵和分形权重矩阵进行矩阵乘和累加运算。
随着神经网络性能的增强，神经网络的权重参数也越来越多，神经网络运行时对存储、计算等的需求和消耗也越来越大，这不利用基于神经网络的人工智能在资源受限的硬件终端设备中进行应用。
经过研究发现，神经网络具有很好的鲁棒性。这使得对大型神经网络的权重参数进行量化，减小权重参数精度之后，该神经网络依然可以保持良好的性能。因此，本领域技术 人员提出了，若训练好的神经网络需要导入到资源受限的终端设备上应用，则可以对该神经网络的权重参数进行量化，以实现对该神经网络进行模型压缩的目的。这样，压缩后的神经网络在终端设备上应用时，可以减小权重参数的存储消耗以及基于该神经网络对输入信号进行特征提取操作的计算消耗。其中，在终端设备基于压缩后的神经网络对输入信号进行特征提取时，为了保证提取到的特征的精确度，可以对该神经网络的权重参数进行反量化。
但是，经研究还发现，基于量化后的神经网络的权重参数对输入信息进行乘法卷积时，所需的硬件电路资源非常多，计算复杂度高，能耗还是非常大。也就是说，基于量化后的神经网络的权重参数对输入信息进行乘法卷积所需的大量计算资源限制了人工智能在计算资源受限的设备上的应用。
因此，如何降低基于量化后的神经网络对输入信息进行特征提取所需的计算资源，是亟待解决的技术问题。
发明内容
本申请提供了一种提取数据调整的方法和相关装置，能够降低基于量化后的神经网络对输入信息进行特征提取所需的计算资源，即在节省存储神经网络相关参数所占的存储资源的同时，还能节省基于该神经网络的相关参数进行特征提取所需的计算资源，从而可以减小基于神经网络的人工智能在资源受限的设备上的应用的限制。
第一方面，本申请提供一种提取数据特征的方法。所述方法包括：从目标存储器中读取第一特征提取参数，所述第一特征提取参数中包含目标神经网络中用于提取目标特征的网络参数经过第一量化处理得到的参数；根据所述第一特征提取参数确定第二特征提取参数，所述第二特征提取参数包含M*N个参数，M和N为正整数；从所述目标存储器中读取第一待提取特征数据，所述第一待提取特征数据是初始待提取特征数据经过第二量化处理得到的数据；根据所述第一待提取特征数据确定第二待提取特征数据，所述第二待提取特征数据包含M*N个数据，所述M*N个数据与所述M*N个参数一一对应；使用目标处理器，对所述第二特征提取参数和所述第二待提取特征数据进行加法卷积运算，得到第一特征数据，所述加法卷积运算包括：计算所述M*N个参数中每个参数与对应数据的差值的绝对值，得到M*N个绝对值；计算所述M*N个绝对值的总和。
其中，第一特征提取参数的用途与现有技术中的卷积核中的参数的用途类似；初始待提取特征数据可以是经过神经网络的其他网络层的处理得到的数据，例如可以是图像数据或文字数据或语音数据经过池化或者特征提取得到的数据；初始待提取特征数据的获取方式与现有技术中通过卷积窗口获取对应待卷积数据的方式类似。
本申请的方法中，因为目标存储器中存储的是量化后的第一特征提取参数和量化后的第一待提取特征数据，因此可以节省存储资源，即减少存储消耗。此外，本申请的方法中，基于量化后的第一特征提取参数对量化后的第二待提取特征数据进行特征提取时，不再包含乘法运算，因此可以降低计算复杂度，即降低计算资源的消耗，从而有利于使用该神经网络的人工智能技术在资源受限的设备上的应用。
结合第一方面，在第一种可能的实现方式中，所述第二量化处理所使用的量化参数为第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化 参数。换句话说，对网络参数和初始待提取特征数据进行量化处理使用的是同一个量化参数，即对网络参数和初始待提取特征数据进行量化时，共享第一量化参数。
其中，所述根据所述第一特征提取参数确定第二特征提取参数，包括：将所述第一特征提取参数确定为所述第二特征提取参数；以及，所述根据所述第一待提取特征数据确定第二待提取特征数据，包括：将所述第一待提取特征数据确定为所述第二待提取特征数据。也就是说，使用目标处理器，基于第一特征提取参数对第二待提取特征数据进行加法卷积运算。
并且，所述方法还包括：根据所述第一量化参数对所述第一特征数据进行反量化处理，得到第二特征数据。
该实现方式中，直接使用经过量化处理的第一特征提取参数对经过量化处理的第一待提取特征数据进行加法卷积运算，以提取得到第一待提取特征数据中包含的目标特征所对应的第一特征数据；然后再使用共享的第一量化参数对第一特征数据进行反量化，得到第二特征数据，从而可以提高提取得到的特征数据的精准度。
并且，这种实现方式，仅进行一次反量化，这可以进一步降低计算复杂度和减低对计算资源的需要，从而可以进一步减小基于神经网络的人工智能在资源受限的设备上的应用的限制。
结合第一方面，在第二种可能的实现方式中，所述根据所述第一特征提取参数确定第二特征提取参数，包括：从所述目标存储器中读取第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数；根据所述第一量化参数对所述第一特征提取参数进行反量化，得到所述第二特征提取参数。
并且，所述根据所述第一待提取特征数据确定第二待提取特征数据，包括：从所述目标存储器中读取第二量化参数，所述第二量化参数为对所述初始特提取特征数据进行所述第二量化处理所使用的量化参数；根据所述第二量化参数对所述第一待提取特征数据进行反量化，得到所述第二待提取特征数据。
换句话说，该实现方式中，对网络参数进行量化处理和对初始待提取特征数据进行量化处理使用的量化参数是按照各自的情况分别获取得到的。
这种情况下，从目标存储器读取量化的第一特征提取参数和量化的第一待提取特征数据之后，分别基于各自对应的量化参数进行反量化，然后对反量化得到的第二特征提取参数和反量化得到的第二待提取特征数据进行加法卷积运算。
这种实现方式中，因为是基于反量化后的第二特征提取参数和反量化后的第二待提取特征数据进行特征提取，因此可以提高提取得到的特征的精准度。
另外，第二特征提取参数和第二待提取特征数据经过各自对应的量化参数量化得到，与第二特征提取参数和第二待提取特征数据通过同一个量化参数量化得到相比，精准度更高，从而可以进一步提取得到更精准的目标特征。
结合第一方面或上述任意一种可能的实现方式，在第三种可能的实现方式中，所述目标处理器包括运算电路，所述运算电路包含第一子电路和第二子电路，所述第一子电路包含M*N个运算单元，所述M*N个运算单元与所述M*N个参数和所述M*N个数据分别一一对应；所述M*N个运算单元中的每个运算单元用于计算对应参数与对应数据的差值的绝对值；所述第二子电路用于计算和输出所述M*N个运算单元中所有运算单元输出的 绝对值的总和，所述总和用于获取所述待提取特征数据中的所述目标特征的特征数据。
也就是说，使用硬件来实现加法卷积运算，这与通过软件模块来实现加法卷积运算相比，可以提高运算速度。
结合第三种可能的实现方式，在第四种可能的实现方式中，所述每个运算单元包含第一输入端口、第二输入端口、加法器、比较器、选择器和输出端口。
对于所述每个运算单元，第一输入端口用于输入所述对应参数，第二输入端口用于输入所述对应数据；加法器用于计算和输出所述对应参数减去所述对应数据得到的第一差值和所述对应数据减去所述对应参数得到的第二差值；比较器用于比较所述对应参数和所述对应数据的大小，并在所述对应参数大于所述对应数据时输出第一比较结果，以及在所述对应数据大于或等于所述对应参数时输出第二比较结果；选择器用于在输入所述第一比较结果时输出所述第一差值，在输入所述第二比较结果时输出所述第二差值；输出端口用于输出所述选择器的输出。
该实现方式中，通过加法器、选择器和比较器来实现加法卷积运算，可以进一步提高运算速率。
结合第四种可能的实现方式，在第五种可能的实现方式中，所述目标处理器还包括与所述运算电路连接的第一存储器、第二存储器和控制器。
所述第一存储器用于存储所述参数矩阵；所述第二存储器用于存储所述数据矩阵。
所述控制器用于执行指令，使得：所述对应参数输入所述每个运算单元的第一输入端口，所述对应数据数据输入所述每个运算单元的第二输入端口，所述每个运算单元的加法器计算所述第一差值和所述第二差值，所述每个运算单元的比较器对所述第一数据和所述第一参数进行比较并输出第一比较结果或第二比较结果，所述每个运算单元的选择器在所述每个运算单元的比较器输出所述第一比较结果时输出所述第一差值以及在所述每个运算单元的比较器输出所述第二比较结果时输出所述第二差值，所述第二子电路计算并输出所述M个运算组中所有运算单元输出的差值的总和。
该实现方式中，目标处理器中包括存储器和控制器，并且通过在控制器的控制下，从该存储器中直接读取参数和数据，以及基于该参数和数据进行加法卷积运算，与从目标处理器外部的存储器中读取参数和数据以及在外部指令的控制下来进行运算相比，可以加快运算速度。
第二方面，本申请提供一种处理器。所述处理器包括运算电路，所述运算电路包含第一子电路和第二子电路，所述第一子电路包含M*N个运算单元，M和N为正整数。
所述M*N个运算单元中的每个运算单元用于计算输入所述每个运算单元的目标参数与输入所述每个运算单元的目标数据的差值的绝对值。
所述第二子电路用于计算和输出所述M*N个运算单元中所有运算单元输出的绝对值的总和。
本申请提出的处理器，可以用于对神经网络的特征提取参数和待提取特征数据进行加法卷积计算，从而可以节省实现特征提取所需的计算资源，进而可以减小基于神经网络的人工智能在资源受限的设备上的应用的限制。
结合第二方面，在第一种可能的实现方式中，所述每个运算单元包含第一输入端口、第二输入端口、加法器、比较器、选择器和输出端口。
对于所述每个运算单元，第一输入端口用于输入所述对应参数，第二输入端口用于输入所述对应数据；加法器用于计算和输出所述对应参数减去所述对应数据得到的第一差值和所述对应数据减去所述对应参数得到的第二差值；比较器用于比较所述对应参数和所述对应数据的大小，并在所述对应参数大于所述对应数据时输出第一比较结果，以及在所述对应数据大于或等于所述对应参数时输出第二比较结果；选择器用于在输入所述第一比较结果时输出所述第一差值，在输入所述第二比较结果时输出所述第二差值；输出端口用于输出所述选择器的输出。
该实现方式中，通过加法器、选择器和比较器来实现加法卷积运算，可以进一步提高运算速率。
其中的目标参数可以是第一方面中的第二特征提取参数，其中的目标数据可以是第一方面中的第二待提取特征数据，该处理器可以是第一方面中的目标处理器。
结合第一种可能的实现方式，在第二种可能的实现方式中，所述处理器还包括与所述运算电路连接的第一存储器、第二存储器和控制器。
所述第一存储器用于存储所述目标参数；所述第二存储器用于存储所述目标数据。
所述控制器用于执行指令，使得：所述对应参数输入所述每个运算单元的第一输入端口，所述对应数据数据输入所述每个运算单元的第二输入端口，所述每个运算单元的加法器计算所述第一差值和所述第二差值，所述每个运算单元的比较器对所述第一数据和所述第一参数进行比较并输出第一比较结果或第二比较结果，所述每个运算单元的选择器在所述每个运算单元的比较器输出所述第一比较结果时输出所述第一差值以及在所述每个运算单元的比较器输出所述第二比较结果时输出所述第二差值，所述第二子电路计算并输出所述M个运算组中所有运算单元输出的差值的总和。
该实现方式中，处理器中包括存储器和控制器，并且通过在控制器的控制下，从该存储器中直接读取参数和数据，以及基于该参数和数据进行加法卷积运算，与从处理器外部的存储器中读取参数和数据以及在外部指令的控制下来进行运算相比，可以加快运算速度。
第三方面，提供了一种提取数据特征的装置，该装置包括用于执行上述第一方面或其中任意一种实现方式中的方法的模块。可选地，这些模块可以通过软件或硬件的方式来实现。
第四方面，提供了一种提取数据特征的装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行第一方面或者其中任意一种实现方式中的方法。
第五方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码用于执行第一方面或其中任意一种实现方式中的方法。
第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面或其中任意一种实现方式中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或其中任意一种实现方式中的方法。
例如，该芯片可以是AI芯片。又如，该芯片可以是神经网络加速器。
第七方面，提供了一种计算设备，该计算设备包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行第一方面或者其中任意一种实现方式中的方法。
附图说明
图1是本申请一个实施例的系统架构的示例性结构图；
图2是本申请一个实施例的量化处理的示例图；
图3是本申请一个实施例的卷积神经网络的示例性结构图；
图4是本申请一个实施例的乘法卷积运算和加法卷积运算的示例图；
图5是本申请一个实施例的芯片硬件结构的示例图；
图6是本申请一个实施例的乘法卷积运算电路的示例性结构图；
图7是本申请一个实施例的加法卷积运算电路的示例性结构图；
图8是本申请一个实施例的提取数据特征的方法的示例图；
图9是本申请另一个实施例的提取数据特征的方法的示例图；
图10是本申请又一个实施例的提取数据特征的方法的示例性流程图
图11是本申请一个实施例的提取数据特征的装置的示例性结构图；
图12是本申请另一个实施例的提取数据特征的装置的示例性结构图；
图13是本申请一个实施例的计算机程序产品的示例性构成图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的方法和装置能够应用在图片检索、相册管理、平安城市、人机交互以及其他需要进行图像处理(例如图像分类或者图像识别)的场景。可以理解的是，本申请实施例中的图像可以为静态图像(或称为静态画面)或动态图像(或称为动态画面)，例如，本申请中的图像可以为视频或动态图片，或者，本申请中的图像也可以为静态图片或照片。为了便于描述，本申请在下述实施例中将静态图像或动态图像统一称为图像。
本申请实施例的方法和装置示例性应用场景为相册分类和拍照识别。下面对这两种场景进行介绍。
相册分类：
用户在手机上存储了大量图片，按照类别对相册进行分类管理能提高用户的体验。利用本申请实施例的方法和装置对相册中的图片进行分类，能够减小相册分类对手机的存储资源和计算资源的需求，从而可以使得资源受限的手机上也可以实现相册分类。另外使用本申请实施例的方法和装置对相册中的图片进行分类，由于计算复杂度小，还可以节省用户的管理时间，提高相册管理的效率。
例如，在采用本申请实施例的方法和装置进行相册分类时，可以利用本申请提供的方法和装置，提取相册中图片的图片特征，然后再根据提取到的图片特征对相册中的图片进 行分类，得到图片的分类结果，接下来，再根据图片的分类结果对相册中的图片进行分类，得到按照图片类别进行排列的相册。
拍照识物：
用户在拍照时，可以利用本申请实施例的方法和装置对拍到的照片进行处理，能够自动识别出被拍物体的类别，例如，可以自动识别出被拍物体是花卉、动物等。其中，可以利用本申请实施例的方法和装置对拍照得到的物体进行识别，识别出该物体所属的类别，例如，用户拍照得到的照片中包括共享单车，利用本申请实施例的方法和装置能够提取出共享单车的特征，进而识别出该物体属于自行车。
应理解，上文介绍的相册分类和拍照识物只是本申请实施例的方法和装置的两个示例性应用场景，本申请实施例的方法和装置并不限于上述两个场景。本申请实施例的方法和装置能够应用到任何需要进行特征提取的场景中，例如，人脸识别；或者，本申请实施例中的方法和装置也可以类似地应用于其他需要进行特征提取的领域，例如，语音识别、机器翻译及语义分割等。
本申请实施例涉及了大量神经网络的相关应用，为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以x s和截距1为输入的运算单元，该运算单元的输出可以如公式(1-1)所示：
Figure PCTCN2021092073-appb-000001
其中，s＝1、2、……n，n为大于1的自然数，W s为x s的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
Figure PCTCN2021092073-appb-000002
其中，
Figure PCTCN2021092073-appb-000003
是输入向量，
Figure PCTCN2021092073-appb-000004
是输出向量，
Figure PCTCN2021092073-appb-000005
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
Figure PCTCN2021092073-appb-000006
经过如此简单的操作得到输出向量
Figure PCTCN2021092073-appb-000007
由于DNN层数多，系数W和偏移向量
Figure PCTCN2021092073-appb-000008
的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure PCTCN2021092073-appb-000009
上标3代表系数W所 在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure PCTCN2021092073-appb-000010
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。以图像处理为例，共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(5)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
(7)像素值
图像的像素值可以是一个红绿蓝(RGB)颜色值，像素值可以是表示颜色的长整数。例如，像素值为256*Red+100*Green+76*Blue，其中，Blue代表蓝色分量，Green代表绿色分量，Red代表红色分量。各个颜色分量中，数值越小，亮度越低，数值越大，亮度越高。对于灰度图像来说，像素值可以是灰度值。
图1为本申请一个实施例的系统架构100的示例性结构图。在图1中，数据采集设备160用于采集训练数据。以该系统架构用于图像处理为例，训练数据可以包括训练图像以及训练图像对应的分类结果，其中，训练图像的分类结果可以是人工预先标注的结果。
在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型101。本申请中的目标模型也可以替换为目标规则。
下面对训练设备120基于训练数据得到目标模型101进行描述。以该系统架构用于图像处理为例，训练设备120对输入的原始图像进行处理，将输出的图像与原始图像进行对比，并根据对比结果调整目标模型101的参数，直到训练设备120输出的图像与原始图像的差值小于一定的阈值，从而完成目标模型101的训练。
可以理解的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。此外，训练设备120也不一定必须完全基于数据库130维护的训练数据进行目标模型101的训练，也可以从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型101可以应用于不同的系统或设备中，如应用于图1所示的执行设备110中。所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端等，还可以是资源受限的服务器或者资源受限云端设备等。
在图1中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据。以该系统架构用于图像处理为例，所述输入数据可以包括：客户设备输入的待处理图像。
预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处理图像)进行预处理。在本申请实施例中，可以没有预处理模块113和预处理模块114(也可以只有其中的一个预处理模块)，而直接采用计算模块111对输入数据进行处理。
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后，I/O接口112将处理结果，以图像分类为例，将待处理图像的分类结果返回给客户设备140，从而提供给用户。
值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型101，该相应的目标模型101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在图1所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口 112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。
可以理解的是，图1仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。
图1所示系统架构中，训练设备120训练得到目标模型101之后，应用到相应系统或设备之前，还需要对该目标模型中的参数进行量化。
例如，目标模型中的参数使用32位浮点数据格式(FP32)进行存储时，可以将这些参数量化为16位浮点数据格式(FP16)、16位定点整数数据格式(INT16)、8位定点整数数据格式(INT8)、4位定点整数数据格式(INT4)、2位定点整数数据格式或1位定点整数数据格式等等数值格式。本申请实施例中的32位、16位、……、1位可以理解为相应数量的比特位。
一种示例性的量化方式包括：在目标模型的指定层的权重参数中找出绝对值最大的权中参数，并将该最大权重参数记为max(|X f|)；确定将该指定层的权重参数量化后的目标比特数n和该n个比特数的数值表示范围，该数值表示范围可以记为[-2 n-1,2 n-1-1]，例如，8位定点整数表示的数值范围为[-128,127]；确定量化参数scale，或者称为量化系数或缩放系数，量化参数的一种示例性计算方式为scale＝(2 n-1-1)/max(|X f|)；将所述指定层的权重参数均乘上量化参数scale，然后取近似整数，即得到量化后的权重参数。其中，指定层可以是目标模型中的一个层，例如卷积层，也可以是目标模型中的多个层，或者是所有层。
下面结合图2，以将32位浮点型数据格式的权重参数量化为2位定点整数型数据格式的权重参数为例，介绍本申请实施例的量化方式。
如图2所示，左图为4行4列的权重矩阵，该权重矩阵中的每个权重系数均为32位浮点型数值格式；该权重矩阵中的最大权重参数为第2行第4列的2.12，即max(|X f|)＝2.12；2为定点整数的数值范围为[-2,1]。也就是说，scale＝1/2.12。这样，将左图中的每个权重参数均乘上scale＝1/2.12并取近似整数，则可以得到右图中量化后的权重矩阵。
可以理解的是，上述量化方式仅是一种示例，本申请实施例并不对目标模型的权重参数的量化方式进行限制，例如，可以将最大权重参数除上(2 n-1-1)，得到量化参数，然后再将指定层的权重参数除上该量化参数，从而得到量化后的权重参数。
本申请实施例中，训练设备将量化后的权重参数发送给执行设备之后，相比与量化前的权重参数，执行设备可以使用较少的存储资源来存储权重参数。与存储量化前32位浮点型数值格式的权重参数相比，执行设备存储量化后的8位定点整数型数值格式的权重参数相比，所需的存储资源更少。
本申请实施例中，训练设备向执行设备发送量化后的权重参数的情况下，还可以将量化参数也发送给执行设备。这样，执行设备存储量化后的权重参数后，基于该权重参数提取特征时，在一些实现方式中，可以先基于该量化参数对该权重参数进行反量化，然后基于反量化的权重参数对用户输入的数据进行特征提取；在另一些实现方式中，可以先基于 该量化参数对用户输入的数据进行特征提取，然后在基于该量化参数对提取的特征数据进行反量化。本申请实施例中，进行反量化处理，可以提高最终得到的特征数据的精准度。
本申请实施例中，执行设备接收到用户输入的数据之后，可以对该数据进行量化，并存储量化后的数据。以图像分类为例，用户输入图像之后，执行设备，例如执行设备中的预处理模块可以对该图像进行量化处理，并存储量化后的图像数据，以便于计算模块基于量化后的图像数据对图像进行分类。用户输入的数据的量化处理的实现方式与权重参数的量化方式相似，此处不再赘述。这种实现方式中，执行设备在基于量化后的权重参数对量化后的数据进行特征提取之前，可以先分别反量化该权重参数和该数据，然后基于反量化后的权重参数对反量化后的数据进行特征提取。
其中，对权重参数和数据的反量化处理也可以理解为量化处理，只不过该量化处理所使用的量化参数为之前的量化参数的倒数。
该实现方式的一种示例如图8所示。其中，S1表示权重参数的量化参数，S2表示图像输入的量化参数，X表示权重矩阵，F表示图像矩阵。这种实现方式可以称为分立型加法量化技术。
本申请实施例的另一些实现方式中，训练设备对权重参数进行量化时，可以基于前述方法获取权重参数的一个量化参数，并基于其他执行设备的历史输入数据参考前述获取量化参数的方法确定输入数据的量化参数，然后基于这两个量化参数确定出权重参数的最终量化参数，例如，将这两个量化参数中的最大量化参数确定为最终的量化参数。得到最终量化参数之后，训练设备可以基于该最终量化参数对权重参数进行量化，并向执行设备发送量化后的权重参数和该最终量化参数。执行设备存储该权重参数和量化参数，并且在用户输入数据时，可以基于该量化参数对输入数据进行量化，并基于该权重参数对该量化后的数据进行特征提取，以及基于该量化参数对提取到的特征数据进行反量化，以得到最终的特征数据。这种实现方式中，权重参数和输入数据共享同一个量化参数，因此在反量化时，仅进行一次反量化处理即可，从而可以通过较少的计算复杂度和使用较少的计算资源来提高最终的特征数据的精准度。
其中，对权重参数和数据的反量化处理也可以理解为量化处理，只不过该量化处理所使用的量化参数为之前的量化参数的倒数。
该实现方式的一种示例如图9所示。其中，S表示共享的量化参数，X表示权重矩阵，F表示图像矩阵。该实现方式可以称为共享性量化技术。
图1所示的系统架构中，根据训练设备120训练得到的目标模型101可以是神经网络，例如，可以是CNN或深度卷积神经网络(deep convolutional neural networks,DCNN)等等。
下面结合图3，以CNN为例，介绍本申请实施例中的神经网络的结构。如上文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
如图3所示，卷积神经网络(CNN)300可以包括输入层310，卷积层/池化层320(其中池化层为可选的)，以及神经网络层330。下面对这些层的相关内容做详细介绍。
卷积层/池化层320：
卷积层：
如图3所示卷积层/池化层320可以包括如示例321-326层，举例来说：在一种实现方式中，321层为卷积层，322层为池化层，323层为卷积层，324层为池化层，325为卷积层，326为池化层；在另一种实现方式中，321、322为卷积层，323为池化层，324、325为卷积层，326为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层321为例，介绍一层卷积层的内部工作原理。
卷积层321可以包括很多个卷积算子，卷积算子也称为核，其他在相应的数据处理中，相当于从输入数据中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，并在训练过程中得到更新。
以图像分类为例，卷积算子在图像分类中的作用相当于一个从输入图像矩阵中提取特定图像信息的过滤器。在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中特定特征的提取工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入信息中提取特定信息，从而使得卷积神经网络300进行正确的预测。
当卷积神经网络300有多个卷积层的时候，初始的卷积层(例如321)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络300深度的加深，越往后的卷积层(例如326)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层/池化层320：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图3中320所示例的321-326各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。以图像分类为例，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素 作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
神经网络层330：
在经过卷积层/池化层320的处理后，卷积神经网络300还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层320只会提取特征，并减少输入数据带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络300需要利用神经网络层330来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层330中可以包括多层隐含层(如图3所示的331、332至33n)以及输出层340，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
在神经网络层330中的多层隐含层之后，也就是整个卷积神经网络300的最后层为输出层340，该输出层340具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络300的前向传播(如图3由310至340方向的传播为前向传播)完成，反向传播(如图3由340至310方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络300的损失，及卷积神经网络300通过输出层输出的结果和理想结果之间的误差。
在现有技术中，利用卷积层提取特征时，使用的是乘法卷积运算。下面结合图4，以图像处理为例，介绍现有技术中的乘法卷积的实现方式。
如图4所示，卷积层的一个权重矩阵为3行3列的矩阵，且输入图像的一个维度量化后的像素矩阵为5行5列的矩阵时，基于该权重矩阵，对该像素矩阵中相应像素进行乘法卷积运算，得到相应输出像素0。该乘法卷积运算中，包含9次乘法运算，且由于乘法运算需要较多计算资源，因此，基于乘法卷积运算来提取特定特征，对执行设备的资源需求较高，这会限制基于特征提取的人工智能在资源受限的执行设备上的应用。
为了解决上述问题，本申请实施例提出了加法卷积运算，即不用通过乘法或除法运算就能基于卷积核从输入数据中提取出特定特征。本申请提出的加法卷积运算中，先计算卷积核中的每个参数与输入数据中对应的数据之间的曼哈顿距离，或者说L1正则距离，然后计算该卷积核窗口中所有数据对应的曼哈顿距离的和获取该卷积核窗口中的特征数据。
例如，本申请加法卷积运算的一种示例性实现方式中，可以计算卷积核中的每个参数与输入数据中对应数据的差值的绝对值，并计算这些绝对值的和的相反数，最终将该相反数作为提取到的一个特征数据。
以图4为例，使用加法卷积运算计算得到的特征数据为-26，该加法卷积运算中没有任何乘法或除法运算，仅包含四则混合运算中的因此可以减少对计算资源的需求，从而可以减小人工智能的实现在资源受限的设备上的应用。
需要说明的是，如图4所示的卷积神经网络400仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。
图5为本申请实施例提供的一种芯片硬件结构。该芯片可以称为AI芯片。该芯片包括神经网络处理器(NPU)50，神经网络缓处理器50也可以称为神经网络加速器。
图5所示的芯片可以被设置在如图1所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图1所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型101。如图3所示的卷积神经网络中各层的算法均可在如图5所示的芯片中得以实现，例如卷积层的计算可以在运算电路503中实现。
神经网络处理器NPU 50作为协处理器挂载到主CPU(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路503，控制器504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。
在一些实现方式中，运算电路503内部包括多个处理单元(process engine,PE)。在一些实现方式中，运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现方式中，运算电路503是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路503从权重存储器502中取矩阵B相应的数据，并缓存在运算电路503中每一个PE上。运算电路503从输入存储器501中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)508中。
向量计算单元507可以对运算电路503的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
在一些实现方式中，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的向量，用以生成激活值。在一些实现方式中，向量计算单元507生成归一化的值、合并值，或二者均有。在一些实现方式中，处理过的输出的向量能够用作到运算电路503的激活输入，例如用于在神经网络中的后续层中的使用。
统一存储器506用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器505(direct memory access controller，DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502，以及将统一存储器506中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)510，用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。
与控制器504连接的取指存储器(instruction fetch buffer)509，用于存储控制器504使用的指令；
控制器504，用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过程。
一般地，统一存储器506，输入存储器501，权重存储器502以及取指存储器509均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random access memory，DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。
其中，图3所示的卷积神经网络中各层的运算可以由运算电路503或向量计算单元307执行。
现有技术中，基于卷积核，通过乘法卷积运算进行特征提取时，运算电路503中需要部署多个乘法计算单元，每个乘法计算单元中需要包含多个乘法器。下面以LeNet-5卷积神经网络中5行5列的卷积核为例，结合图6，介绍用于通过乘法卷积运算进行图像特征提取的运算电路的一种示例性结构图。
如图6所示，运算电路中包含5行5列的乘法计算单元和5行5列的加法计算单元，图像数据和卷积核中的权重参数从缓存中读出之后，输入到对应的乘法计算单元中，乘法计算单元计算输入的权重参数和图像数据的乘积之后，输入对应的加法计算单元中，最后计算得到所有乘积的和，获得乘累加结果。本申请实施例中，运算电路也可以称为乘累加(multiply accumulate，MAC)单元。
其中，以16位浮点型数值格式的权重参数和图像数据为例，每个乘法计算单元至少包含16个乘法器和15个加法器，以计算一个16位浮点型数值格式的权重参数和一个16位浮点型数值格式的图像数据的乘积。
由图6可知，乘法卷积运算所需的硬件结构比较复杂，所需硬件资源较多，计算时间也较长，能耗较大。
基于本申请前述实施例中提到的加法卷积运算，本申请提出了一种新的运算电路，该运算电路的一种示例结果如图7所示。
下面结合图7，以输入数据为图像为例，介绍本申请的运算电路。该运算电路中包含两个子电路，一个子电路称为第一子电路，两一个子电路称为第二子电路。第一子电路包含5行5列的运算单元，第二子电路包含5行5列的加法器。每个运算单元可以包含一个加法器、一个比较器和一个选择器，且每个运算单元用于计算一个权重参数和一个图像数据的差值的绝对值。
具体地，加法器用于计算输入的权重参数减去对应图像数据的差值，为了描述方面，将该差值称为第一差值，以及计算图像数据减去权重参数的差值，为了描述方面，将该差值称为第二差值；比较器用于比较权重参数与图像数据的大小，并在权重参数大于图像数据时输出第一输出结果，否则输出第二输出结果；选择器输入比较器输出的结果，并在比较器输出第一输出结果时，输出加法器计算得到的第一差值作为权重参数减去图像数据差值的绝对值，在比较器输出第二输出结果时，输出加法器计算得到的第二差值作为权重参数减去图像数据差值的绝对值。
由图7可以看到，针对相同的权重参数和输入图像，本申请实施例提供的运算电路仅需较少的硬件资源就可以实现特征提取，从而较小人工智能在资源受限的设备上的应用。
以权重参数和输入图像为16位浮点型数值格式的数据为例，本申请实施例的运算电路所需的硬件电路资源仅为用于乘法卷积运算的运算电路所需的硬件电路资源的十六分之一左右。
本申请实施例中所述的资源受限的设备可以是移动电话、平板个人电脑(tablet personal computer，TPC)、媒体播放器、智能电视、笔记本电脑(laptop computer，LC)、个人数字助理(personal digital assistant，PDA)、个人计算机(personal computer，PC)、照相机、摄像机、智能手表、可穿戴式设备(wearable device，WD)或者自动驾驶的车辆 等，本申请实施例对此不作限定。
图10示出了本申请实施例提供的提取数据特征的方法的示意性流程图。该方法可以由能够提取数据特征的装置执行。例如，该方法可以由图1中的执行设备执行。又如，该方法可以由图5中的芯片执行。
S1010，从目标存储器中读取第一特征提取参数，所述第一特征提取参数中包含目标神经网络中用于提取目标特征的网络参数经过第一量化处理得到的参数。
例如，该方法由图1中的执行设备执行时，该目标存储器可以是执行设备内的存储器，也可以是执行设备外接的存储器，该目标神经网络可以是训练设备训练得到的目标模型，例如可以是卷积神经网络，该网络参数一种示例为卷积层的权重参数。
以该目标神经网络为用于图像分类的神经网络为例，该目标特征可以图像边缘特征等。
又如，该方法由图5中的芯片执行时，该目标存储器可以是外部存储器。
S1020，根据所述第一特征提取参数确定第二特征提取参数，所述第二特征提取参数包含M*N个参数，M和N为正整数。
根据所述第一特征提取参数确定第二特征提取参数的一种示例为将第一特征提取参数作为第二特征提取参数，另一种示例为基于第一量化处理所使用的量化参数对第二特征提取参数进行反量化，并将反量化得到的结果作为第二特征提取参数。
例如，该方法由图1中的执行设备执行时，该步骤可以由执行设备的计算模块来实现。又如，该方法由图5中的芯片来执行时，该步骤可以由主CPU来实现。
S1030，从所述目标存储器中读取第一待提取特征数据。
其中，所述第一待提取特征数据可以是用户输入的数据经过目标神经网络的其它层进行处理得到的数据，或者可以是目标神经网络的其它层对用户输入的数据进行处理之后又进行量化处理得到的数据。为了描述方面该量化处理称为第二量化处理。
本申请实施例中，目标神经网络的其它层对用户输入的数据进行处理之后得到的数据可以称为初始待提取特征数据。本申请实施例中的数据可以是图像、文本、语言等形式的数据。以图像为例，第一待提取特征数据可以是图像的子特征图。
例如，该方法由图1中的执行设备执行时，该步骤可以由执行设备的计算模块来实现。又如，该方法由图5中的芯片来执行时，该步骤可以由主CPU来实现。
S1040，根据所述第一待提取特征数据确定第二待提取特征数据，所述第二待提取特征数据包含M*N个数据，所述M*N个数据与所述M*N个参数一一对应。
作为一种示例，可以将第一待提取特征数据作为第二待提取特征数据；作为另一种示例，可以将第一待提取特征数据反量化得到的数据作为第二待提取特征数据。
例如，该方法由图1中的执行设备执行时，该步骤可以由执行设备的预处理模块来实现。又如，该方法由图5中的芯片来执行时，该步骤可以由主CPU来实现。
S1050，使用目标处理器，对所述第二特征提取参数和所述第二待提取特征数据进行加法卷积运算，得到第一特征数据，所述加法卷积运算包括：计算所述M*N个参数中每个参数与对应数据的差值的绝对值，得到M*N个绝对值；计算所述M*N个绝对值的总和。
例如，该方法由图1中的执行设备执行时，该步骤可以由执行设备的计算模块来实现。又如，该方法由图5中的芯片来执行时，该步骤可以由神经网络处理器来实现，进一步地， 该步骤可以由运算电路303来实现，其中，第二特征提取参数可以存储在权重存储器中，第二待提取特征数据可以存储在输入存储器中。
本申请实施例的一种可能的实现方式中，所述第一待提取特征数据是初始待提取特征数据经过第二量化处理得到的数据，所述第二量化处理所使用的量化参数可以为第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数。
这种实现方式中，所述根据所述第一特征提取参数确定第二特征提取参数，可以包括：将所述第一特征提取参数确定为所述第二特征提取参数。
相应地，所述根据所述第一待提取特征数据确定第二待提取特征数据，可以包括：将所述第一待提取特征数据确定为所述第二待提取特征数据；
此外，所述方法还可以包括：根据所述第一量化参数对所述第一特征数据进行反量化处理，得到第二特征数据。
本申请实施例的另一种可能的实现方式中，所述第一待提取特征数据是初始待提取特征数据经过第二量化处理得到的数据，并且，所述根据所述第一特征提取参数确定第二特征提取参数，可以包括：从所述目标存储器中读取第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数；根据所述第一量化参数对所述第一特征提取参数进行反量化，得到所述第二特征提取参数。并且，所述根据所述第一待提取特征数据确定第二待提取特征数据，可以包括：从所述目标存储器中读取第二量化参数，所述第二量化参数为对所述初始待提取特征数据进行所述第二量化处理所使用的量化参数；根据所述第二量化参数对所述第一待提取特征数据进行反量化，得到所述第二待提取特征数据。
本申请的实施例中，所述目标处理器包括运算电路，所述运算电路包含第一子电路和第二子电路，所述第一子电路包含M*N个运算单元，所述M*N个运算单元与所述M*N个参数和所述M*N个数据分别一一对应。
所述M*N个运算单元中的每个运算单元用于计算对应参数与对应数据的差值的绝对值。
所述第二子电路用于计算和输出所述M*N个运算单元中所有运算单元输出的绝对值的总和，所述总和用于获取所述第二待提取特征数据中的所述目标特征的特征数据。
进一步地，作为一种示例，所述每个运算单元包含第一输入端口、第二输入端口、加法器、比较器、选择器和输出端口。
对于所述每个运算单元，第一输入端口用于输入所述对应参数，第二输入端口用于输入所述对应数据；加法器用于计算和输出所述对应参数减去所述对应数据得到的第一差值和所述对应数据减去所述对应参数得到的第二差值；比较器用于比较所述对应参数和所述对应数据的大小，并在所述对应参数大于所述对应数据时输出第一比较结果，以及在所述对应数据大于或等于所述对应参数时输出第二比较结果；选择器用于在输入所述第一比较结果时输出所述第一差值，在输入所述第二比较结果时输出所述第二差值；输出端口用于输出所述选择器的输出。
该实现方式中的运算电路的一种示例为图7所示的运算电路。
本申请实施例中的目标处理器中，作为一种示例，还包括与所述运算电路连接的第一存储器、第二存储器和控制器。
所述第一存储器用于存储所述参数矩阵；所述第二存储器用于存储所述数据矩阵；所述控制器用于执行指令，使得：所述对应参数输入所述每个运算单元的第一输入端口，所述对应数据数据输入所述每个运算单元的第二输入端口，所述每个运算单元的加法器计算所述第一差值和所述第二差值，所述每个运算单元的比较器对所述第一数据和所述第一参数进行比较并输出第一比较结果或第二比较结果，所述每个运算单元的选择器在所述每个运算单元的比较器输出所述第一比较结果时输出所述第一差值以及在所述每个运算单元的比较器输出所述第二比较结果时输出所述第二差值，所述第二子电路计算并输出所述M个运算组中所有运算单元输出的差值的总和。
以该目标处理器为神经网络处理器50为例，该第一存储器的示例为权重存储器，该第二存储器的示例为输入存储器，该控制器的示例为控制器504。
本申请的实施例中，使用共享参数对权重参数和输入数据进行8位定点整数型数据格式的量化以及通过加法卷积运算提取特征的技术方案，与不量化和通过加法卷积运算提取特征的技术方案相比，在输出结果的精确度上可以做到无损，即与不量化的技术方案的性能几乎没有差别。
例如，以ResNet-50用于基于ImageNet数据集进行图像分类为例，在不量化的情况下，分类结果中Top1的准确度为74.9％，Top5的准确度为91.7％；使用共享参数量化技术的情况下，分类结果中Top1的准确度为74.4％，Top5的准确度为91.4％；使用分立型量化技术的情况下，Top1的准确度为74.9％，Top5的准确度为91.6％。
使用传统乘法卷积运算提取特征的情况下，若权重参数为32为浮点型数值格式，则神经网络的分类结果的Top5准确度为91.80％；若量化为8位定点整数型数值格式，则神经网络的分类结果的Top5准确度为91.76％；若量化为4位定点整数型数值格式，则神经网络的分类结果的Top5准确度为89.54％。
基于共享性量化方案进行量化，且使用加法卷积运算提取特征的情况下，若权重参数和图像数据量化为8位定点整数型数值格式，则神经网络的分类结果的Top5准确度为91.78％；若量化为7位定点整数型数值格式，则神经网络的分类结果的Top5准确度为91.68％；若量化为6位定点整数型数值格式，则神经网络的分类结果的Top5准确度为91.60％；若量化为5位定点整数型数值格式，则神经网络的分类结果的Top5准确度为91.20％；若量化为4位定点整数型数值格式，则神经网络的分类结果的Top5准确度为87.57％。
本申请的实施例中，使用传统乘法卷积运算以及量化技术的神经网络进行特征提取时，需要2个32位浮点型的乘法器，1个8位整型的乘法器，且单个参数量化所需的能耗为7.6拍焦(Petajoule，pJ)。
使用分立型量化技术以及加法卷积运算技术的神经网络进行特征提取时，需要2个32位浮点型的乘法器，1个8位整型的加法器，单个参数量化所需的能耗为7.43pJ。
使用共享性型量化技术以及加法卷积运算技术的神经网络进行特征提取时，需要1个32为浮点型的乘法器，1个32位浮点型的加法器，单个参数量化所需的能耗为4.6pJ。
本申请以Xilinx公司的Zynq-7000系列开发板为例，设计并验证了经典卷积网络LeNet-5的权重参数分别为16位浮点型数值和8位定点整型数值时运行该网络进行图像分类所需功耗。其中，权重参数分别为16位浮点型数值的情况下，使用加法卷积运算比使 用乘法卷积运算所消耗的能耗少77.91％；权重参数分别为8位定点整数型数值的情况下，使用加法卷积运算比使用乘法卷积运算所消耗的能耗少56.57％。
本申请以Xilinx公司的Zynq-7000系列开发板为例，设计并验证了经典卷积网络LeNet-5部署时所需的电路资源。在该网络部署时，以相同的设计架构分别搭建乘法卷积和加法卷积网络，其中输入图像、卷积核参数、中间计算结果均存储在片上块(block RAM，BRAM)中，综合布局布线时不采用片上的专用计算单元(digital signal processor，DSP)模块，全部采用片上逻辑资源进行电路实现，以进行公平的对比。其中，使用加法卷积运算进行特征提取的网络称为加法卷积网络，使用乘法卷积运算进行特征提取的网络称为乘法卷积网络。
经验证，同样网络结构下，16位浮点型数值格式的加法卷积网络比乘法卷积网络的硬件资源消耗少了75.52％，8位定点整数型数值格式的加法卷积网络比乘法卷积网络的硬件资源消耗少了62.33％，即电路面积大幅下降。
图11是本申请一个实施例的提取数据特征的装置1100的示意性结构图。装置1100可以包括读取模块1110、处理模块1120和特征提取模块1130。装置1100可以用于实现图10所示的方法。
例如，读取模块1110可以用于执行S1010和S1030，处理模块1120可以用于执行S1020和S1040，特征提取模块1130可以用于执行S1050。
图12为本申请一个实施例的装置1200的示意性结构图。装置1200包括处理器1202、通信接口1203和存储器1204。装置1200的一种示例为芯片，另一种示例为设备。
处理器1202、存储器1204和通信接口1203之间可以通过总线通信。存储器1204中存储有可执行代码，处理器1202读取存储器1204中的可执行代码以执行对应的方法。存储器1204中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUX TM，UNIX TM，WINDOWS TM等。
例如，存储器1204中的可执行代码用于实现图10所示的方法，处理器1202读取存储器1204中的该可执行代码以执行图10所示的方法。
其中，处理器1202可以为CPU。存储器1204可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。存储器1204还可以包括非易失性存储器(2non-volatile memory，2NVM)，例如只读存储器(2read-only memory，2ROM)，快闪存储器，硬盘驱动器(hard disk drive，HDD)或固态启动器(solid state disk，SSD)。
在本申请的一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图13示意性地示出根据这里展示的至少一些实施例而布置的示例计算机程序产品的概念性局部视图，所述示例计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中，示例计算机程序产品1300是使用信号承载介质1301来提供的。所述信号承载介质1301可以包括一个或多个程序指令1302，其当被一个或多个处理器运行时可以提供以上针对图10所示的方法中描述的功能或者部分功能。因此，例如，图10中所示的实施例，S1010至S1050的一个或多个特征可以由与信号承载介质1301相关联的一个或多个指令来承担。
在一些示例中，信号承载介质1301可以包含计算机可读介质1303，诸如但不限于， 硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等等。在一些实施方式中，信号承载介质1301可以包含计算机可记录介质1304，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1301可以包含通信介质1305，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此，例如，信号承载介质1301可以由无线形式的通信介质1305(例如，遵守IEEE 802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令1302可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，前述的计算设备可以被配置为，响应于通过计算机可读介质1303、计算机可记录介质1304、和/或通信介质1305中的一个或多个传达到计算设备的程序指令1302，提供各种操作、功能、或者动作。应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能词条。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等 各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

  1. 一种提取数据特征的方法，其特征在于，包括：
    从目标存储器中读取第一特征提取参数，所述第一特征提取参数中包含目标神经网络中用于提取目标特征的网络参数经过第一量化处理得到的参数；
    根据所述第一特征提取参数确定第二特征提取参数，所述第二特征提取参数包含M*N个参数，M和N为正整数；
    从所述目标存储器中读取第一待提取特征数据；
    根据所述第一待提取特征数据确定第二待提取特征数据，所述第二待提取特征数据包含M*N个数据，所述M*N个数据与所述M*N个参数一一对应；
    使用目标处理器，对所述第二特征提取参数和所述第二待提取特征数据进行加法卷积运算，得到第一特征数据，所述加法卷积运算包括：计算所述M*N个参数中每个参数与对应数据的差值的绝对值，得到M*N个绝对值；计算所述M*N个绝对值的总和。
  2. 根据权利要求1所述的方法，其特征在于，所述第一待提取特征数据是初始待提取特征数据经过第二量化处理得到的数据，所述第二量化处理所使用的量化参数为第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数；
    其中，所述根据所述第一特征提取参数确定第二特征提取参数，包括：将所述第一特征提取参数确定为所述第二特征提取参数；以及
    所述根据所述第一待提取特征数据确定第二待提取特征数据，包括：将所述第一待提取特征数据确定为所述第二待提取特征数据；
    并且，所述方法还包括：
    根据所述第一量化参数对所述第一特征数据进行反量化处理，得到第二特征数据。
  3. 根据权利要求1所述的方法，其特征在于，所述第一待提取特征数据是初始待提取特征数据经过第二量化处理得到的数据；
    其中，所述根据所述第一特征提取参数确定第二特征提取参数，包括：
    从所述目标存储器中读取第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数；
    根据所述第一量化参数对所述第一特征提取参数进行反量化，得到所述第二特征提取参数；
    并且，所述根据所述第一待提取特征数据确定第二待提取特征数据，包括：
    从所述目标存储器中读取第二量化参数，所述第二量化参数为对所述初始待提取特征数据进行所述第二量化处理所使用的量化参数；
    根据所述第二量化参数对所述第一待提取特征数据进行反量化，得到所述第二待提取特征数据。
  4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述目标处理器包括运算电路，所述运算电路包含第一子电路和第二子电路，所述第一子电路包含M*N个运算单元，所述M*N个运算单元与所述M*N个参数和所述M*N个数据分别一一对应；
    所述M*N个运算单元中的每个运算单元用于计算对应参数与对应数据的差值的绝对 值；
    所述第二子电路用于计算和输出所述M*N个运算单元中所有运算单元输出的绝对值的总和，所述总和用于获取所述第二待提取特征数据中的所述目标特征的特征数据。
  5. 根据权利要求4所述的方法，其特征在于，所述每个运算单元包含第一输入端口、第二输入端口、加法器、比较器、选择器和输出端口；
    对于所述每个运算单元，第一输入端口用于输入所述对应参数，第二输入端口用于输入所述对应数据；加法器用于计算和输出所述对应参数减去所述对应数据得到的第一差值和所述对应数据减去所述对应参数得到的第二差值；比较器用于比较所述对应参数和所述对应数据的大小，并在所述对应参数大于所述对应数据时输出第一比较结果，以及在所述对应数据大于或等于所述对应参数时输出第二比较结果；选择器用于在输入所述第一比较结果时输出所述第一差值，在输入所述第二比较结果时输出所述第二差值；输出端口用于输出所述选择器的输出。
  6. 根据权利要求5所述的方法，其特征在于，所述目标处理器还包括与所述运算电路连接的第一存储器、第二存储器和控制器；
    所述第一存储器用于存储所述参数矩阵；
    所述第二存储器用于存储所述数据矩阵；
    所述控制器用于执行指令，使得：所述对应参数输入所述每个运算单元的第一输入端口，所述对应数据数据输入所述每个运算单元的第二输入端口，所述每个运算单元的加法器计算所述第一差值和所述第二差值，所述每个运算单元的比较器对所述第一数据和所述第一参数进行比较并输出第一比较结果或第二比较结果，所述每个运算单元的选择器在所述每个运算单元的比较器输出所述第一比较结果时输出所述第一差值以及在所述每个运算单元的比较器输出所述第二比较结果时输出所述第二差值，所述第二子电路计算并输出所述M个运算组中所有运算单元输出的差值的总和。
  7. 一种处理器，其特征在于，所述处理器包括运算电路，所述运算电路包含第一子电路和第二子电路，所述第一子电路包含M*N个运算单元，M和N为正整数；
    所述M*N个运算单元中的每个运算单元用于计算输入所述每个运算单元的目标参数与输入所述每个运算单元的目标数据的差值的绝对值；
    所述第二子电路用于计算和输出所述M*N个运算单元中所有运算单元输出的绝对值的总和。
  8. 根据权利要求7所述的处理器，其特征在于，所述每个运算单元包含第一输入端口、第二输入端口、加法器、比较器、选择器和输出端口；
    对于所述每个运算单元，第一输入端口用于输入所述目标参数，第二输入端口用于输入所述目标数据；加法器用于计算和输出所述目标参数减去所述目标数据得到的第一差值和所述目标数据减去所述目标参数得到的第二差值；比较器用于比较所述目标参数和所述目标数据的大小，并在所述目标参数大于所述目标数据时输出第一比较结果，以及在所述目标数据大于或等于所述目标参数时输出第二比较结果；选择器用于在输入所述第一比较结果时输出所述第一差值，在输入所述第二比较结果时输出所述第二差值；输出端口用于输出所述选择器的输出。
  9. 根据权利要求8所述的处理器，其特征在于，所述处理器还包括与所述运算电路 连接的第一存储器、第二存储器和控制器；
    所述第一存储器用于存储所述目标参数；
    所述第二存储器用于存储所述目标数据；
    所述控制器用于执行指令，使得：所述目标参数输入所述每个运算单元的第一输入端口，所述目标数据输入所述每个运算单元的第二输入端口，所述每个运算单元的加法器计算所述第一差值和所述第二差值，所述每个运算单元的比较器对所述目标数据和所述目标参数进行比较并输出第一比较结果或第二比较结果，所述每个运算单元的选择器在所述每个运算单元的比较器输出所述第一比较结果时输出所述第一差值以及在所述每个运算单元的比较器输出所述第二比较结果时输出所述第二差值，所述第二子电路计算并输出所述M个运算组中所有运算单元输出的差值的总和。
  10. 一种提取数据特征的装置，其特征在于，包括：
    读取模块，用于从目标存储器中读取第一特征提取参数，所述第一特征提取参数中包含目标神经网络中用于提取目标特征的网络参数经过第一量化处理得到的参数；
    处理模块，用于根据所述第一特征提取参数确定第二特征提取参数，所述第二特征提取参数包含M*N个参数，M和N为正整数；
    所述读取模块还用于从所述目标存储器中读取第一待提取特征数据，所述第一待提取特征数据是初始待提取特征数据经过第二量化处理得到的数据；
    所述处理模块还用于根据所述第一待提取特征数据确定第二待提取特征数据，所述第二待提取特征数据包含M*N个数据，所述M*N个数据与所述M*N个参数一一对应；
    特征提取模块，用于使用目标处理器，对所述第二特征提取参数和所述第二待提取特征数据进行加法卷积运算，得到第一特征数据，所述加法卷积运算包括：计算所述M*N个参数中每个参数与对应数据的差值的绝对值，得到M*N个绝对值；计算所述M*N个绝对值的总和。
  11. 根据权利要求10所述的装置，其特征在于，所述第二量化处理所使用的量化参数为第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数；
    其中，所述处理模块具体用于：将所述第一特征提取参数确定为所述第二特征提取参数，将所述第一待提取特征数据确定为所述第二待提取特征数据；
    并且，所述处理模块还用于：
    根据所述第一量化参数对所述第一特征数据进行反量化处理，得到第二特征数据。
  12. 根据权利要求10所述的装置，其特征在于，所述处理模块具体用于：
    从所述目标存储器中读取第一量化参数，所述第一量化参数为对所述网络参数进行所述第一量化处理所使用的量化参数；
    根据所述第一量化参数对所述第一特征提取参数进行反量化，得到所述第二特征提取参数；
    从所述目标存储器中读取第二量化参数，所述第二量化参数为对所述初始待提取特征数据进行所述第二量化处理所使用的量化参数；
    根据所述第二量化参数对所述第一待提取特征数据进行反量化，得到所述第二待提取特征数据。
  13. 根据权利要求10至12中任一项所述的装置，其特征在于，所述目标处理器包括运算电路，所述运算电路包含第一子电路和第二子电路，所述第一子电路包含M*N个运算单元，所述M*N个运算单元与所述M*N个参数和所述M*N个数据分别一一对应；
    所述M*N个运算单元中的每个运算单元用于计算对应参数与对应数据的差值的绝对值；
    所述第二子电路用于计算和输出所述M*N个运算单元中所有运算单元输出的绝对值的总和，所述总和用于获取所述第二待提取特征数据中的所述目标特征的特征数据。
  14. 根据权利要求13所述的装置，其特征在于，所述每个运算单元包含第一输入端口、第二输入端口、加法器、比较器、选择器和输出端口；
    对于所述每个运算单元，第一输入端口用于输入所述对应参数，第二输入端口用于输入所述对应数据；加法器用于计算和输出所述对应参数减去所述对应数据得到的第一差值和所述对应数据减去所述对应参数得到的第二差值；比较器用于比较所述对应参数和所述对应数据的大小，并在所述对应参数大于所述对应数据时输出第一比较结果，以及在所述对应数据大于或等于所述对应参数时输出第二比较结果；选择器用于在输入所述第一比较结果时输出所述第一差值，在输入所述第二比较结果时输出所述第二差值；输出端口用于输出所述选择器的输出。
  15. 根据权利要求14所述的装置，其特征在于，所述目标处理器还包括与所述运算电路连接的第一存储器、第二存储器和控制器；
    所述第一存储器用于存储所述参数矩阵；
    所述第二存储器用于存储所述数据矩阵；
    所述控制器用于执行指令，使得：所述对应参数输入所述每个运算单元的第一输入端口，所述对应数据数据输入所述每个运算单元的第二输入端口，所述每个运算单元的加法器计算所述第一差值和所述第二差值，所述每个运算单元的比较器对所述第一数据和所述第一参数进行比较并输出第一比较结果或第二比较结果，所述每个运算单元的选择器在所述每个运算单元的比较器输出所述第一比较结果时输出所述第一差值以及在所述每个运算单元的比较器输出所述第二比较结果时输出所述第二差值，所述第二子电路计算并输出所述M个运算组中所有运算单元输出的差值的总和。
  16. 一种提取数据特征的装置，其特征在于，包括：处理器，所述处理器与存储器耦合；
    所述存储器用于存储指令；
    所述处理器用于执行所述存储器中存储的指令，以使得所述装置实现如权利要求1至9中任一项所述的方法。
  17. 一种计算机可读介质，其特征在于，包括指令，当所述指令在处理器上运行时，使得所述处理器实现如权利要求1至9中任一项所述的方法。
PCT/CN2021/092073 2020-06-30 2021-05-07 一种提取数据特征的方法和相关装置 WO2022001364A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21834596.5A EP4170547A4 (en) 2020-06-30 2021-05-07 DATA FEATURE EXTRACTION METHOD AND RELATED APPARATUS
US18/148,304 US20230143985A1 (en) 2020-06-30 2022-12-29 Data feature extraction method and related apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010614694.3A CN111914996A (zh) 2020-06-30 2020-06-30 一种提取数据特征的方法和相关装置
CN202010614694.3 2020-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/148,304 Continuation US20230143985A1 (en) 2020-06-30 2022-12-29 Data feature extraction method and related apparatus

Publications (1)

Publication Number Publication Date
WO2022001364A1 true WO2022001364A1 (zh) 2022-01-06

Family

ID=73226958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/092073 WO2022001364A1 (zh) 2020-06-30 2021-05-07 一种提取数据特征的方法和相关装置

Country Status (4)

Country Link
US (1) US20230143985A1 (zh)
EP (1) EP4170547A4 (zh)
CN (2) CN111914996A (zh)
WO (1) WO2022001364A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914996A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 一种提取数据特征的方法和相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123684A (zh) * 2011-11-18 2013-05-29 江南大学 车牌定位方法
CN110135563A (zh) * 2019-05-13 2019-08-16 北京航空航天大学 一种卷积神经网络二值化方法及运算电路
CN110837887A (zh) * 2019-11-12 2020-02-25 西安微电子技术研究所 一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用
CN110874627A (zh) * 2018-09-04 2020-03-10 华为技术有限公司 数据处理方法、数据处理装置及计算机可读介质
CN111914996A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 一种提取数据特征的方法和相关装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5251164A (en) * 1992-05-22 1993-10-05 S-Mos Systems, Inc. Low-power area-efficient absolute value arithmetic unit
JP3918329B2 (ja) * 1998-11-24 2007-05-23 富士通株式会社 受信装置および受信方法
CN108122030A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种卷积神经网络的运算方法、装置和服务器
US10409888B2 (en) * 2017-06-02 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Online convolutional dictionary learning
CN109564638B (zh) * 2018-01-15 2023-05-26 深圳鲲云信息科技有限公司 人工智能处理器及其所应用的处理方法
CN110363279B (zh) * 2018-03-26 2021-09-21 华为技术有限公司 基于卷积神经网络模型的图像处理方法和装置
CN110598839A (zh) * 2018-06-12 2019-12-20 华为技术有限公司 卷积神经网络系统和卷积神经网络量化的方法
US11158063B2 (en) * 2018-07-30 2021-10-26 Hewlett Packard Enterprise Development Lp Objects and features neural network
CN109165728B (zh) * 2018-08-06 2020-12-18 浪潮集团有限公司 一种卷积神经网络的基本计算单元及计算方法
CN109472353B (zh) * 2018-11-22 2020-11-03 浪潮集团有限公司 一种卷积神经网络量化电路及量化方法
CN110796247B (zh) * 2020-01-02 2020-05-19 深圳芯英科技有限公司 一种数据处理方法、装置、处理器及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123684A (zh) * 2011-11-18 2013-05-29 江南大学 车牌定位方法
CN110874627A (zh) * 2018-09-04 2020-03-10 华为技术有限公司 数据处理方法、数据处理装置及计算机可读介质
CN110135563A (zh) * 2019-05-13 2019-08-16 北京航空航天大学 一种卷积神经网络二值化方法及运算电路
CN110837887A (zh) * 2019-11-12 2020-02-25 西安微电子技术研究所 一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用
CN111914996A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 一种提取数据特征的方法和相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4170547A4

Also Published As

Publication number Publication date
CN113919479B (zh) 2022-11-08
US20230143985A1 (en) 2023-05-11
EP4170547A1 (en) 2023-04-26
EP4170547A4 (en) 2023-12-20
CN111914996A (zh) 2020-11-10
CN113919479A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
WO2021043168A1 (zh) 行人再识别网络的训练方法、行人再识别方法和装置
WO2020228525A1 (zh) 地点识别及其模型训练的方法和装置以及电子设备
WO2021043273A1 (zh) 图像增强方法和装置
US20220375213A1 (en) Processing Apparatus and Method and Storage Medium
WO2021018245A1 (zh) 图像分类方法及装置
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
WO2021013095A1 (zh) 图像分类方法、图像分类模型的训练方法及其装置
WO2021018251A1 (zh) 图像分类方法及装置
CN110222718B (zh) 图像处理的方法及装置
WO2022001372A1 (zh) 训练神经网络的方法、图像处理方法及装置
CN112862828B (zh) 一种语义分割方法、模型训练方法及装置
WO2022021938A1 (zh) 图像处理方法与装置、神经网络训练的方法与装置
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
WO2023280113A1 (zh) 数据处理方法、神经网络模型的训练方法及装置
CN113361549A (zh) 一种模型更新方法以及相关装置
CN113284055A (zh) 一种图像处理的方法以及装置
WO2022179606A1 (zh) 一种图像处理方法及相关装置
US20230143985A1 (en) Data feature extraction method and related apparatus
WO2021189321A1 (zh) 一种图像处理方法和装置
WO2022227024A1 (zh) 神经网络模型的运算方法、训练方法及装置
WO2021227787A1 (zh) 训练神经网络预测器的方法、图像处理方法及装置
CN117036658A (zh) 一种图像处理方法及相关设备
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备
CN114730331A (zh) 数据处理装置和数据处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21834596

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021834596

Country of ref document: EP

Effective date: 20230119

NENP Non-entry into the national phase

Ref country code: DE